aifinlab/entity-normalization

实体标准化 Skill

数据来源

本 Skill 支持多种实体数据输入格式，核心数据来源包括：

1. 实体数据来源

• 实体识别结果：从文本中识别出的实体
• 实体列表：已有的实体列表和实体库
• 数据库记录：数据库中的实体记录
• API接口数据：通过API获取的实体数据

2. 实体类型

• 公司实体：公司名称、机构名称
• 人物实体：人名、职位名称
• 产品实体：产品名称、服务名称
• 地点实体：地名、地址

3. 数据格式要求

• JSON格式：结构化的实体数据
• CSV格式：表格格式的实体数据
• 文本格式：纯文本实体列表
• 数据库连接：支持SQL数据库直接查询

4. 实体特征

• 实体名称：实体的名称和别名
• 实体类型：实体的类型和类别
• 实体属性：实体的相关属性
• 实体上下文：实体的上下文信息

说明：本 Skill 不包含实体识别功能，需要用户提供已识别的实体数据。建议实体数据包含足够的上下文信息，以便进行准确的标准化。

---

功能

本 Skill 提供全面的实体标准化能力，涵盖多种标准化功能：

1. 实体名称标准化

• 名称归一化：将不同表述的实体名称统一为标准名称
• 别名识别：识别实体的别名和简称
• 名称纠错：纠正实体名称中的错误
• 名称补全：补全实体名称的缺失部分

2. 实体类型标准化

• 类型分类：对实体进行类型分类
• 类型映射：将非标准类型映射到标准类型
• 类型验证：验证实体类型的正确性
• 类型补全：补全缺失的实体类型

3. 实体属性标准化

• 属性提取：提取实体的标准属性
• 属性映射：将非标准属性映射到标准属性
• 属性验证：验证实体属性的正确性
• 属性补全：补全缺失的实体属性

4. 实体消歧

• 同名实体区分：区分同名但不同的实体
• 实体合并：合并指向同一实体的不同表述
• 实体链接：将实体链接到知识库
• 实体验证：验证实体的唯一性

5. 实体匹配

• 相似实体匹配：匹配相似的实体
• 模糊匹配：支持模糊实体匹配
• 精确匹配：支持精确实体匹配
• 匹配评分：提供匹配评分和置信度

6. 高级处理功能

• 批量标准化：批量处理多个实体
• 增量标准化：增量更新实体标准化结果
• 标准化规则：支持自定义标准化规则
• 标准化报告：生成标准化报告和统计

---

使用示例

输出示例

{
  "input_entities": [
    {
      "entity_id": "ENT001",
      "original_name": "中国工商银行",
      "entity_type": "bank",
      "context": "公告中提到中国工商银行"
    },
    {
      "entity_id": "ENT002",
      "original_name": "工商银行",
      "entity_type": "bank",
      "context": "工商银行发布公告"
    },
    {
      "entity_id": "ENT003",
      "original_name": "ICBC",
      "entity_type": "bank",
      "context": "ICBC的财务报告"
    }
  ],
  "normalized_entities": [
    {
      "entity_id": "ENT001",
      "original_name": "中国工商银行",
      "normalized_name": "中国工商银行股份有限公司",
      "standard_name": "中国工商银行",
      "aliases": ["工商银行", "ICBC", "工行"],
      "entity_type": "bank",
      "standard_type": "bank",
      "normalized_attributes": {
        "full_name": "中国工商银行股份有限公司",
        "short_name": "工商银行",
        "english_name": "Industrial and Commercial Bank of China",
        "abbreviation": "ICBC",
        "stock_code": "601398"
      },
      "confidence": 0.98,
      "match_method": "exact_match"
    },
    {
      "entity_id": "ENT002",
      "original_name": "工商银行",
      "normalized_name": "中国工商银行股份有限公司",
      "standard_name": "中国工商银行",
      "aliases": ["工商银行", "ICBC", "工行"],
      "entity_type": "bank",
      "standard_type": "bank",
      "normalized_attributes": {
        "full_name": "中国工商银行股份有限公司",
        "short_name": "工商银行",
        "english_name": "Industrial and Commercial Bank of China",
        "abbreviation": "ICBC",
        "stock_code": "601398"
      },
      "confidence": 0.95,
      "match_method": "alias_match"
    },
    {
      "entity_id": "ENT003",
      "original_name": "ICBC",
      "normalized_name": "中国工商银行股份有限公司",
      "standard_name": "中国工商银行",
      "aliases": ["工商银行", "ICBC", "工行"],
      "entity_type": "bank",
      "standard_type": "bank",
      "normalized_attributes": {
        "full_name": "中国工商银行股份有限公司",
        "short_name": "工商银行",
        "english_name": "Industrial and Commercial Bank of China",
        "abbreviation": "ICBC",
        "stock_code": "601398"
      },
      "confidence": 0.92,
      "match_method": "abbreviation_match"
    }
  ],
  "entity_mapping": {
    "ENT001": "NORM001",
    "ENT002": "NORM001",
    "ENT003": "NORM001"
  },
  "statistics": {
    "input_count": 3,
    "normalized_count": 1,
    "merge_count": 2,
    "average_confidence": 0.95
  }
}

---

注意事项与限制

1. 数据质量要求

• 实体数据需要包含足够的上下文信息
• 实体名称需要清晰明确
• 实体类型需要准确

2. 标准化准确性

• 标准实体名称标准化准确率较高
• 非标准实体名称可能需要人工处理
• 实体消歧可能需要额外信息

3. 实体匹配

• 精确匹配准确率较高
• 模糊匹配可能需要人工复核
• 相似实体匹配可能产生误匹配

4. 知识库依赖

• 标准化结果依赖知识库的完整性
• 知识库更新可能影响标准化结果
• 新实体可能需要人工处理

5. 使用限制

• 本 Skill 不包含实体识别功能
• 标准化结果需要人工复核
• 复杂实体可能需要人工处理

---

参考资料

• 见 references/ 目录中的相关文档，包括：
  • 实体标准化方法手册
  • 实体匹配算法说明
  • 实体消歧指南
  • 性能优化指南