aifinlab/time-series-cleaning

时间序列数据整理 Skill

数据来源

本 Skill 支持多种时间序列数据输入格式，核心数据来源包括：

1. 数据源类型

• 数据库：SQL数据库、NoSQL数据库
• API接口：REST API、GraphQL API
• 文件数据：CSV文件、Excel文件、JSON文件
• 流式数据：Kafka、RabbitMQ等消息队列

2. 时间序列类型

• 金融时间序列：股价、汇率、利率等金融数据
• 业务时间序列：销售额、用户数、订单数等业务数据
• 监控时间序列：系统指标、性能指标等监控数据
• 传感器时间序列：温度、湿度、压力等传感器数据

3. 数据格式要求

• 时间字段：日期时间字段、时间戳字段
• 数值字段：数值型数据字段
• 数据频率：日度、周度、月度、年度等不同频率
• 数据完整性：需要包含时间序列的基本信息

4. 数据特征

• 数据规模：小数据集（<1000条）、大数据集（>100万条）
• 数据质量：完整数据、缺失数据、异常数据
• 时间范围：短期数据、长期数据、历史数据
• 数据格式：标准格式、非标准格式

说明：本 Skill 不包含数据采集功能，需要用户提供时间序列数据。建议数据包含完整的时间信息，以便进行准确的数据整理。

---

功能

本 Skill 提供全面的时间序列数据整理能力，涵盖多种整理功能：

1. 数据清洗

• 缺失值处理：识别和处理缺失值
• 异常值检测：检测和处理异常值
• 重复值处理：识别和处理重复值
• 数据格式转换：转换数据格式和类型

2. 时间标准化

• 时间格式统一：统一时间格式
• 时区处理：处理时区转换
• 时间频率转换：转换时间频率
• 时间对齐：对齐不同时间序列的时间

3. 数据标准化

• 数值标准化：标准化数值数据
• 单位统一：统一数据单位
• 精度处理：处理数据精度
• 数据归一化：归一化数据范围

4. 数据补全

• 缺失值填充：填充缺失值
• 插值处理：使用插值方法补全数据
• 外推处理：使用外推方法补全数据
• 数据重建：重建缺失的数据点

5. 数据验证

• 数据完整性验证：验证数据的完整性
• 数据准确性验证：验证数据的准确性
• 数据一致性验证：验证数据的一致性
• 数据质量评估：评估数据的质量

6. 高级处理功能

• 数据转换：转换数据格式和结构
• 数据聚合：聚合时间序列数据
• 数据采样：采样时间序列数据
• 数据报告：生成数据整理报告

---

使用示例

输出示例

{
  "source_info": {
    "data_source": "database",
    "table_name": "stock_prices",
    "time_field": "trade_date",
    "value_field": "close_price",
    "total_records": 10000
  },
  "cleaning_results": {
    "missing_values": {
      "count": 50,
      "percentage": 0.5,
      "handled": true,
      "method": "forward_fill"
    },
    "outliers": {
      "count": 20,
      "percentage": 0.2,
      "detected": true,
      "method": "iqr",
      "removed": false
    },
    "duplicates": {
      "count": 10,
      "percentage": 0.1,
      "removed": true
    }
  },
  "standardization_results": {
    "time_format": {
      "original": "YYYY-MM-DD",
      "standardized": "YYYY-MM-DD",
      "timezone": "UTC"
    },
    "value_format": {
      "original_unit": "元",
      "standardized_unit": "CNY",
      "precision": 2
    },
    "frequency": {
      "original": "daily",
      "standardized": "daily",
      "aligned": true
    }
  },
  "data_quality": {
    "completeness": 0.995,
    "accuracy": 0.98,
    "consistency": 0.97,
    "overall_score": 0.98
  },
  "cleaned_data": {
    "total_records": 9990,
    "time_range": {
      "start": "2024-01-01",
      "end": "2024-12-31"
    },
    "sample_data": [
      {
        "time": "2024-01-01",
        "value": 100.50,
        "quality": "good"
      },
      {
        "time": "2024-01-02",
        "value": 101.20,
        "quality": "good"
      }
    ]
  },
  "statistics": {
    "processing_time": "5.2s",
    "records_processed": 10000,
    "records_cleaned": 9990,
    "records_removed": 10
  }
}

---

注意事项与限制

1. 数据质量要求

• 数据需要包含时间信息
• 时间格式需要可识别
• 数值数据需要有效

2. 缺失值处理

• 不同处理方法结果可能不同
• 需要根据业务场景选择方法
• 缺失值过多可能影响结果

3. 异常值处理

• 异常值检测方法需要选择
• 异常值可能是真实数据
• 需要结合业务判断处理

4. 时间标准化

• 时间格式需要统一
• 时区处理需要正确
• 时间频率转换可能丢失信息

5. 使用限制

• 本 Skill 不包含数据分析功能
• 整理结果需要人工复核
• 复杂数据可能需要人工处理

---

参考资料

• 见 references/ 目录中的相关文档，包括：
  • 时间序列数据整理方法手册
  • 缺失值处理方法说明
  • 异常值检测算法指南
  • 性能优化指南