aifinlab/field-mapping-normalization

字段映射与标准化 Skill

数据来源

本 Skill 支持多种异构数据输入格式，核心数据来源包括：

1. 数据源类型

• 数据库：多个不同结构的数据库
• API接口：多个不同格式的API接口
• 文件数据：多个不同格式的文件
• 系统数据：多个不同系统的数据

2. 字段特征

• 字段名称：不同命名规则的字段名称
• 字段类型：不同数据类型的字段
• 字段格式：不同格式的字段值
• 字段单位：不同单位的字段值

3. 数据格式要求

• 源数据：需要映射的源数据
• 目标数据：目标数据格式和结构
• 映射规则：字段映射规则和转换规则
• 标准规范：字段标准规范定义

4. 映射特征

• 映射类型：一对一映射、一对多映射、多对一映射
• 映射复杂度：简单映射、复杂映射
• 映射规则：规则映射、自定义映射
• 映射范围：部分字段映射、全字段映射

说明：本 Skill 不包含数据采集功能，需要用户提供源数据和映射规则。建议映射规则清晰明确，以便进行准确的字段映射和标准化。

---

功能

本 Skill 提供全面的字段映射与标准化能力，涵盖多种映射功能：

1. 字段映射

• 字段名称映射：映射不同名称的字段
• 字段类型映射：映射不同类型的字段
• 字段格式映射：映射不同格式的字段
• 字段单位映射：映射不同单位的字段

2. 字段标准化

• 字段名称标准化：标准化字段名称
• 字段类型标准化：标准化字段类型
• 字段格式标准化：标准化字段格式
• 字段值标准化：标准化字段值

3. 数据转换

• 格式转换：转换数据格式
• 类型转换：转换数据类型
• 单位转换：转换数据单位
• 编码转换：转换数据编码

4. 映射规则管理

• 规则定义：定义字段映射规则
• 规则验证：验证映射规则的有效性
• 规则应用：应用映射规则到数据
• 规则优化：优化映射规则性能

5. 数据验证

• 映射完整性验证：验证映射的完整性
• 映射准确性验证：验证映射的准确性
• 数据一致性验证：验证数据的一致性
• 标准化结果验证：验证标准化结果

6. 高级处理功能

• 批量映射：批量处理多个字段映射
• 增量映射：增量更新字段映射
• 映射报告：生成字段映射报告
• 映射监控：监控映射过程和结果

---

使用示例

输出示例

{
  "source_info": {
    "source_data": "financial_data.csv",
    "source_format": "csv",
    "field_count": 20
  },
  "target_info": {
    "target_format": "standard_financial",
    "target_schema": "financial_schema_v1"
  },
  "mapping_rules": [
    {
      "source_field": "revenue",
      "target_field": "营业收入",
      "standard_field": "revenue",
      "mapping_type": "direct",
      "transformation": {
        "type": "unit_conversion",
        "from_unit": "USD",
        "to_unit": "CNY",
        "exchange_rate": 7.2
      }
    },
    {
      "source_field": "profit",
      "target_field": "净利润",
      "standard_field": "net_income",
      "mapping_type": "direct",
      "transformation": null
    }
  ],
  "mapping_results": {
    "total_fields": 20,
    "mapped_fields": 18,
    "unmapped_fields": 2,
    "mapping_time": "2024-03-15T10:00:00",
    "duration": "5s"
  },
  "normalized_data": {
    "sample_records": [
      {
        "revenue": 7200000000,
        "net_income": 200000000,
        "standard_format": true
      }
    ]
  },
  "statistics": {
    "fields_mapped": 18,
    "fields_normalized": 18,
    "mapping_accuracy": 0.95,
    "normalization_accuracy": 0.97
  }
}

---

注意事项与限制

1. 映射规则要求

• 映射规则需要清晰明确
• 规则需要覆盖所有字段
• 规则需要验证有效性

2. 数据转换准确性

• 标准转换准确率较高
• 复杂转换可能需要特殊处理
• 单位转换需要正确汇率

3. 字段标准化

• 标准字段标准化准确率较高
• 非标准字段可能需要人工处理
• 字段值标准化需要正确处理

4. 数据一致性

• 需要保证映射后数据一致性
• 需要验证映射结果
• 异常数据需要处理

5. 使用限制

• 本 Skill 不包含数据采集功能
• 映射结果需要人工复核
• 复杂映射可能需要特殊处理

---

参考资料

• 见 references/ 目录中的相关文档，包括：
  • 字段映射与标准化方法手册
  • 字段标准规范定义
  • 映射规则配置指南
  • 性能优化指南