aifinlab/multi-source-data-aggregation

多源数据聚合 Skill

数据来源

本 Skill 支持多种数据源聚合输入格式，核心数据来源包括：

1. 数据源类型

• 数据库：多个数据库数据源
• API接口：多个API接口数据源
• 文件数据：多个文件数据源
• 流式数据：多个流式数据源

2. 数据源特征

• 数据源数量：少量数据源（<10个）、大量数据源（>100个）
• 数据源类型：同类型数据源、混合类型数据源
• 数据更新频率：实时更新、定时更新、批量更新
• 数据源可靠性：高可靠性、低可靠性

3. 数据格式要求

• 数据源配置：数据源连接配置信息
• 聚合规则：数据聚合规则和策略
• 数据映射：数据字段映射关系
• 数据格式：数据格式和编码方式

4. 聚合特征

• 聚合方式：合并、汇总、关联等聚合方式
• 聚合粒度：明细级、汇总级、统计级
• 聚合时间：实时聚合、定时聚合、批量聚合
• 聚合范围：全量聚合、增量聚合

说明：本 Skill 不包含数据源配置功能，需要用户提供数据源配置信息。建议数据源稳定可靠，以便进行准确的数据聚合。

---

功能

本 Skill 提供全面的多源数据聚合能力，涵盖多种聚合功能：

1. 数据源管理

• 数据源连接：连接多个数据源
• 数据源配置：配置数据源参数
• 数据源监控：监控数据源状态
• 数据源调度：调度数据源访问

2. 数据提取

• 并行提取：并行从多个数据源提取数据
• 增量提取：增量提取数据源数据
• 全量提取：全量提取数据源数据
• 选择性提取：选择性提取指定数据

3. 数据聚合

• 数据合并：合并多个数据源的数据
• 数据汇总：汇总多个数据源的数据
• 数据关联：关联多个数据源的数据
• 数据聚合：聚合多个数据源的数据

4. 数据转换

• 格式转换：转换数据格式
• 结构转换：转换数据结构
• 字段映射：映射数据字段
• 数据标准化：标准化数据格式

5. 数据验证

• 数据完整性验证：验证数据的完整性
• 数据准确性验证：验证数据的准确性
• 数据一致性验证：验证数据的一致性
• 数据质量评估：评估数据的质量

6. 高级处理功能

• 数据去重：去除重复数据
• 数据补全：补全缺失数据
• 数据清洗：清洗数据问题
• 聚合报告：生成数据聚合报告

---

使用示例

输出示例

{
  "source_info": {
    "source_count": 5,
    "source_types": ["database", "api", "file"],
    "aggregation_strategy": "merge"
  },
  "data_sources": [
    {
      "source_id": "SRC001",
      "source_type": "database",
      "source_name": "financial_db",
      "status": "connected",
      "records_count": 10000
    },
    {
      "source_id": "SRC002",
      "source_type": "api",
      "source_name": "market_data_api",
      "status": "connected",
      "records_count": 5000
    }
  ],
  "aggregation_config": {
    "aggregation_mode": "merge",
    "key_fields": ["stock_code", "trade_date"],
    "merge_strategy": "outer",
    "conflict_resolution": "latest"
  },
  "aggregation_results": {
    "total_records": 15000,
    "merged_records": 12000,
    "duplicate_records": 3000,
    "aggregation_time": "2024-03-15T10:00:00",
    "duration": "60s"
  },
  "aggregated_data": {
    "sample_records": [
      {
        "stock_code": "000001",
        "trade_date": "2024-03-15",
        "price": 10.50,
        "volume": 1000000,
        "source": ["SRC001", "SRC002"]
      }
    ]
  },
  "data_quality": {
    "completeness": 0.98,
    "accuracy": 0.97,
    "consistency": 0.96,
    "overall_score": 0.97
  },
  "statistics": {
    "sources_processed": 5,
    "records_aggregated": 12000,
    "aggregation_rate": "200 records/s",
    "success_rate": 0.98
  }
}

---

注意事项与限制

1. 数据源要求

• 数据源需要稳定可靠
• 连接信息需要准确
• 数据格式需要兼容

2. 数据聚合性能

• 多数据源可能影响性能
• 大数据量可能影响速度
• 需要合理设置聚合策略

3. 数据一致性

• 不同数据源数据可能不一致
• 需要处理数据冲突
• 需要验证数据一致性

4. 数据质量

• 数据质量影响聚合结果
• 需要验证数据完整性
• 异常数据需要处理

5. 使用限制

• 本 Skill 不包含数据源管理功能
• 聚合结果需要人工复核
• 复杂聚合可能需要特殊处理

---

参考资料

• 见 references/ 目录中的相关文档，包括：
  • 多源数据聚合方法手册
  • 数据源配置指南
  • 数据聚合策略说明
  • 性能优化指南