aifinlab/finance-news-source

财经新闻数据源

定位

finance-news-source 是金融数据源体系中专注新闻资讯的数据层 skill，与 cn-stock-data（行情/财务）互补。它聚合 12+ 财经网站，输出结构化新闻 JSON，供上层分析 skill（如 finance-news-analysis、a-share-morning-note）消费。

本 skill 只负责抓取和结构化，不做情感分析、影响评估等分析工作。

数据源一览

快讯类（实时，缓存 5-10 分钟）

| 源 key | 名称 | URL | 特点 | |--------|------|-----|------| | cls | 财联社 | https://www.cls.cn/telegraph | 7x24 电报，最快 | | wallstreet | 华尔街见闻 | https://www.wallstreetcn.com/live | 宏观+市场 | | eastmoney | 东方财富 | https://news.eastmoney.com/kx/ | A 股聚焦 | | xueqiu | 雪球 | https://xueqiu.com/hots | 社区热点 |

深度类（分析，缓存 1-2 小时）

| 源 key | 名称 | URL | 特点 | |--------|------|-----|------| | caixin | 财新 | https://www.caixin.com/ | 深度调查 | | yicai | 第一财经 | https://www.yicai.com/ | 产业分析 | | jiemian | 界面新闻 | https://www.jiemian.com/ | 商业报道 | | latepost | 晚点 LatePost | https://www.postlate.cn/ | 科技商业 |

宏观政策类（官方，缓存 24 小时）

| 源 key | 名称 | URL | 特点 | |--------|------|-----|------| | pbc | 央行官网 | http://www.pbc.gov.cn/ | 货币政策 | | csrc | 证监会 | http://www.csrc.gov.cn/ | 监管动态 | | stats | 国家统计局 | http://www.stats.gov.cn/ | 经济数据 |

港美股类（缓存 30 分钟）

| 源 key | 名称 | URL | 特点 | |--------|------|-----|------| | futunn | 富途牛牛 | https://www.futunn.com/learn | 港美股资讯 | | tiger | 老虎证券 | https://www.tigerbrokers.com/ | 美股分析 | | seekingalpha | Seeking Alpha | https://seekingalpha.com/ | 美股深度 |

脚本用法

SCRIPTS="$SKILLS_ROOT/finance-news-source/scripts"

# 抓取所有源（默认每源15条）
python "$SCRIPTS/fetch_news.py" --source all --limit 15

# 指定源（逗号分隔）
python "$SCRIPTS/fetch_news.py" --source cls,wallstreet,eastmoney

# 按市场过滤
python "$SCRIPTS/fetch_news.py" --market A   # A 股相关
python "$SCRIPTS/fetch_news.py" --market HK  # 港股相关
python "$SCRIPTS/fetch_news.py" --market US  # 美股相关

# 关键词过滤
python "$SCRIPTS/fetch_news.py" --keyword "AI,算力,英伟达"

# 只抓快讯源（最快）
python "$SCRIPTS/fetch_news.py" --source cls,wallstreet --limit 10

# 不保存到文件，只输出 JSON
python "$SCRIPTS/fetch_news.py" --source cls --no-save

输出格式（JSON）

{
  "ok": true,
  "source": "cls",
  "source_name": "财联社",
  "fetch_time": "2026-03-15T14:30:00",
  "count": 15,
  "news": [
    {
      "id": "a1b2c3d4e5f6",
      "title": "央行降准0.25个百分点",
      "content": "中国人民银行决定...",
      "url": "https://www.cls.cn/detail/...",
      "source": "cls",
      "source_name": "财联社",
      "time": "14:15",
      "date": "2026-03-15",
      "type": "fast"
    }
  ]
}

每条新闻包含：id（哈希去重）、title、content、url、source、source_name、time、date、type（fast/deep/policy/us_hk）。

个股映射表

内置 60+ 常见股票的名称→代码映射（A股/港股/美股），存储在 scripts/config.json 的 stocks 字段中。用于从新闻文本中识别提及的股票。

调用方可通过 extract_stocks(text) 函数提取文本中出现的股票：

from fetch_news import extract_stocks
stocks = extract_stocks("宁德时代发布新电池技术，比亚迪也在跟进")
# [{"name": "宁德时代", "code": "300750.SZ", "market": "A", "sector": "新能源"}, ...]

关键词扩展表

scripts/config.json 的 keywords 字段存储行业关键词的自动扩展规则：

{
  "AI": ["AI", "LLM", "GPT", "大模型", "人工智能", "算力", "GPU"],
  "新能源": ["新能源", "电动车", "电池", "锂电", "光伏", "风电", "储能"],
  "芯片": ["芯片", "半导体", "CPU", "GPU", "光刻机", "封装"]
}

搜索 "AI" 会自动扩展为搜索所有相关词。

缓存策略

| 源类型 | 缓存时间 | 说明 | |--------|----------|------| | fast（快讯） | 5 分钟 | 时效性最强 | | deep（深度） | 60 分钟 | 内容变化慢 | | policy（政策） | 24 小时 | 官方公告更新不频繁 | | us_hk（港美股） | 30 分钟 | 交易时段更新 |

缓存存储在 finance-news/cache/YYYY-MM-DD/ 目录下。

抓取方式

优先级从高到低：

1. WebFetch 工具：直接抓取网页内容，提取新闻列表（推荐，无额外依赖）
2. RSS Feed：部分源提供 RSS（财联社、华尔街见闻）
3. Python requests + BeautifulSoup：需安装额外依赖

脚本中各源的抓取函数为桩代码，实际使用时由调用方（通常是 LLM）通过 WebFetch 工具直接抓取对应 URL，再交给脚本中的 process_raw_news() 进行结构化。

与其他数据源的关系

| 数据源 skill | 覆盖范围 | 关系 | |-------------|----------|------| | cn-stock-data | 行情、财务、资金流 | 互补，本 skill 覆盖新闻 | | akshare-finance | 行情、基本面 | 互补 | | efinance-data | 行情、龙虎榜 | 互补 | | adata-source | 行情、北向资金 | 互补 | | pysnowball-data | 跨市场行情 | 互补 | | ashare-data | 轻量行情 | 互补 |

依赖

# 基础（标准库即可）
python --version  # 需要 3.8+

# 可选增强
pip install requests beautifulsoup4  # 如果需要 Python 直接抓取