aifinlab/audio-video-transcription

音视频转写 Skill

数据来源

本 Skill 支持多种音视频文件输入格式，核心数据来源包括：

1. 音频文件类型

• 音频格式：MP3、WAV、AAC、FLAC、M4A等
• 录音文件：电话录音、会议录音、访谈录音
• 语音文件：语音留言、语音指令、语音报告

2. 视频文件类型

• 视频格式：MP4、AVI、MOV、MKV、WMV等
• 视频会议：会议录像、培训视频、演示视频
• 直播回放：直播录像、网络研讨会回放

3. 音视频特征

• 语言类型：中文、英文、多语言混合
• 音频质量：清晰度、背景噪音、采样率
• 视频质量：分辨率、帧率、清晰度
• 时长范围：短音频（<5分钟）、长音频（>1小时）

4. 数据格式要求

• 文件路径：本地文件路径或网络文件URL
• 文件编码：支持常见音视频编码格式
• 文件权限：需要读取权限

说明：本 Skill 不包含文件采集功能，需要用户提供音视频文件。建议文件质量良好，以便进行准确的转写。

---

功能

本 Skill 提供全面的音视频转写能力，涵盖多种转写功能：

1. 语音识别转写

• 实时转写：实时识别和转写语音内容
• 批量转写：批量处理多个音视频文件
• 分段转写：按时间段分段转写
• 多说话人识别：识别和区分不同说话人

2. 文本输出格式

• 纯文本输出：输出纯文本转写结果
• 时间戳文本：输出带时间戳的文本
• 分段文本：按段落输出转写结果
• 结构化文本：输出结构化的转写内容

3. 语言处理

• 多语言识别：自动识别音视频中的语言
• 方言识别：识别方言和口音
• 专业术语识别：识别金融、法律等专业术语
• 标点符号添加：自动添加标点符号

4. 音频处理

• 噪音降噪：降低背景噪音影响
• 音量均衡：均衡不同时段的音量
• 语速调整：识别和处理不同语速
• 静音检测：检测和标记静音片段

5. 视频处理

• 字幕提取：提取视频中的字幕
• 画面文字识别：识别视频画面中的文字
• 场景切换检测：检测视频场景切换
• 关键帧提取：提取关键帧画面

6. 高级处理功能

• 说话人分离：分离不同说话人的语音
• 情感识别：识别语音中的情感色彩
• 关键词提取：提取转写文本中的关键词
• 摘要生成：生成转写内容的摘要

---

使用示例

输出示例

{
  "file_info": {
    "filename": "meeting_recording.mp3",
    "file_size": 51200000,
    "duration": 3600,
    "format": "mp3",
    "language": "zh-CN"
  },
  "transcription": {
    "full_text": "会议转写完整文本内容...",
    "segments": [
      {
        "start_time": 0,
        "end_time": 120,
        "speaker": "speaker_1",
        "text": "大家好，今天我们讨论一下项目进展。",
        "confidence": 0.95
      },
      {
        "start_time": 120,
        "end_time": 240,
        "speaker": "speaker_2",
        "text": "项目目前进展顺利，已完成80%的工作。",
        "confidence": 0.92
      }
    ]
  },
  "speakers": [
    {
      "speaker_id": "speaker_1",
      "name": "张三",
      "total_duration": 1800,
      "segment_count": 15
    },
    {
      "speaker_id": "speaker_2",
      "name": "李四",
      "total_duration": 1200,
      "segment_count": 10
    }
  ],
  "keywords": [
    "项目进展",
    "完成度",
    "下一步计划"
  ],
  "summary": "会议主要讨论了项目进展情况，目前已完成80%的工作，下一步将进行测试和验收。"
}

---

注意事项与限制

1. 文件格式要求

• 支持常见音视频格式
• 文件质量影响转写准确率
• 过大文件可能需要分段处理

2. 转写准确性

• 清晰音频转写准确率较高
• 背景噪音会影响识别准确率
• 方言和口音可能影响识别

3. 性能考虑

• 长音频处理可能需要较长时间
• 处理时间与音频时长成正比
• 建议对超长音频进行分段处理

4. 语言支持

• 主要支持中文和英文
• 其他语言识别准确率可能较低
• 多语言混合可能影响识别

5. 使用限制

• 本 Skill 不包含音视频编辑功能
• 转写结果需要人工复核
• 受保护文件可能无法处理

---

参考资料

• 见 references/ 目录中的相关文档，包括：
  • 音视频转写方法手册
  • 语音识别算法说明
  • 多说话人识别指南
  • 性能优化指南