aifinlab/semi-structured-data-ingestion

半结构化数据接入 Skill

数据来源

本 Skill 支持多种半结构化数据源输入格式，核心数据来源包括：

1. 数据源类型

• Excel文件：.xls、.xlsx格式的Excel文件
• 表单数据：在线表单、调查表单、登记表单
• JSON文件：JSON格式的半结构化数据
• XML文件：XML格式的半结构化数据

2. 数据结构类型

• 表格数据：Excel表格、CSV表格
• 表单数据：表单提交数据、表单响应数据
• 嵌套数据：嵌套JSON、嵌套XML
• 混合数据：混合格式数据

3. 数据格式要求

• 文件路径：本地文件路径或网络文件URL
• 文件格式：Excel、JSON、XML等格式
• 文件编码：UTF-8、GBK、GB2312等
• 文件权限：需要读取权限

4. 数据特征

• 数据规模：小数据集（<1万条）、大数据集（>10万条）
• 数据结构：规则结构、不规则结构
• 数据完整性：完整数据、部分数据
• 数据质量：高质量数据、低质量数据

说明：本 Skill 不包含数据采集功能，需要用户提供半结构化数据文件。建议数据格式规范，以便进行准确的数据接入。

---

功能

本 Skill 提供全面的半结构化数据接入能力，涵盖多种接入功能：

1. 文件读取

• Excel读取：读取Excel文件数据
• JSON读取：读取JSON文件数据
• XML读取：读取XML文件数据
• 文件格式识别：自动识别文件格式

2. 数据结构解析

• 表格结构解析：解析表格的行列结构
• 嵌套结构解析：解析嵌套数据结构
• 结构识别：识别数据结构模式
• 结构标准化：标准化数据结构

3. 数据提取

• 数据提取：从文件中提取数据
• 多工作表提取：提取Excel多个工作表数据
• 选择性提取：选择性提取指定数据
• 批量提取：批量提取多个文件数据

4. 数据转换

• 格式转换：转换数据格式
• 结构转换：转换数据结构
• 编码转换：转换数据编码
• 类型转换：转换数据类型

5. 数据验证

• 数据完整性验证：验证数据的完整性
• 数据准确性验证：验证数据的准确性
• 数据一致性验证：验证数据的一致性
• 数据质量评估：评估数据的质量

6. 高级处理功能

• 数据清洗：清洗数据中的问题
• 数据补全：补全缺失的数据
• 数据标准化：标准化数据格式
• 接入报告：生成数据接入报告

---

使用示例

输出示例

{
  "source_info": {
    "source_type": "excel_file",
    "source_file": "financial_data.xlsx",
    "file_size": 2048000,
    "sheet_count": 3
  },
  "ingestion_config": {
    "sheets": ["利润表", "资产负债表", "现金流量表"],
    "header_row": 1,
    "data_start_row": 2,
    "encoding": "UTF-8"
  },
  "ingestion_results": {
    "total_sheets": 3,
    "total_records": 5000,
    "successful_records": 4950,
    "failed_records": 50,
    "ingestion_time": "2024-03-15T10:00:00",
    "duration": "45s"
  },
  "data_structure": {
    "sheets": [
      {
        "sheet_name": "利润表",
        "row_count": 30,
        "column_count": 5,
        "headers": ["项目", "2024年", "2023年", "2022年", "2021年"],
        "data_records": 28
      }
    ]
  },
  "data_sample": [
    {
      "sheet": "利润表",
      "row": 2,
      "data": {
        "项目": "营业收入",
        "2024年": 1000000000,
        "2023年": 900000000,
        "2022年": 800000000,
        "2021年": 700000000
      }
    }
  ],
  "data_quality": {
    "completeness": 0.99,
    "accuracy": 0.97,
    "consistency": 0.96,
    "overall_score": 0.97
  },
  "statistics": {
    "files_processed": 1,
    "records_ingested": 4950,
    "records_failed": 50,
    "success_rate": 0.99
  }
}

---

注意事项与限制

1. 文件格式要求

• 标准格式文件接入准确率较高
• 非标准格式可能影响接入
• 文件损坏可能无法读取

2. 数据结构识别

• 规则结构识别准确率较高
• 不规则结构可能需要人工处理
• 复杂结构可能需要特殊处理

3. 数据提取准确性

• 标准表格提取准确率较高
• 复杂表格可能需要人工处理
• 合并单元格可能影响提取

4. 数据质量

• 数据质量影响接入结果
• 需要验证数据完整性
• 异常数据需要处理

5. 使用限制

• 本 Skill 不包含文件编辑功能
• 接入结果需要人工复核
• 复杂文件可能需要人工处理

---

参考资料

• 见 references/ 目录中的相关文档，包括：
  • 半结构化数据接入方法手册
  • Excel文件解析指南
  • JSON/XML解析说明
  • 性能优化指南