alter123-zz/log-analyzer

概述

智能日志分析。多源日志聚合、异常模式识别、根因分析与告警规则配置 适用于分析应用错误日志等场景。

适用范围

适用场景：

• 分析应用错误日志
• 识别异常模式
• 配置告警规则

不适用场景：

• 需要实时硬件控制或低延迟响应的场景
• 涉及敏感个人隐私数据的未授权处理

触发关键词: 日志分析, log analysis, 异常检测, 运维监控

前置条件

pip install pandas regex

⚠️ 首次使用前请确认依赖已安装，否则脚本将无法运行。

核心能力

能力1：多源聚合——应用/系统/网络日志统一分析

多源聚合——应用/系统/网络日志统一分析

能力2：模式识别——异常频率/错误聚类/趋势检测

模式识别——异常频率/错误聚类/趋势检测

能力3：告警配置——自定义规则与通知渠道

告警配置——自定义规则与通知渠道

命令列表

| 命令 | 说明 | 用法 | |------|------|------| | analyze | 分析日志 | python3 scripts/log_analyzer_tool.py analyze [参数] | | pattern | 模式识别 | python3 scripts/log_analyzer_tool.py pattern [参数] | | alert | 配置告警 | python3 scripts/log_analyzer_tool.py alert [参数] |

处理步骤

Step 1：分析日志

目标：分析应用日志

为什么这一步重要：这是整个工作流的数据采集/初始化阶段，确保后续步骤基于准确的输入。

执行：

python3 scripts/log_analyzer_tool.py analyze --file app.log --level error --last 1h

检查点：确认输出包含预期数据，无报错信息。

Step 2：模式识别

目标：识别异常模式

为什么这一步重要：核心处理阶段，将原始数据转化为有价值的输出。

执行：

python3 scripts/log_analyzer_tool.py pattern --file app.log --detect anomaly

检查点：确认生成结果格式正确，内容完整。

Step 3：配置告警

目标：设置错误告警

为什么这一步重要：最终输出阶段，将处理结果以可用的形式呈现。

执行：

python3 scripts/log_analyzer_tool.py alert --rule 'error_rate > 5%' --notify slack

检查点：确认最终输出符合预期格式和质量标准。

验证清单

• [ ] 依赖已安装：pip install pandas regex
• [ ] Step 1 执行无报错，输出数据完整
• [ ] Step 2 处理结果符合预期格式
• [ ] Step 3 最终输出质量达标
• [ ] 无敏感信息泄露（API Key、密码等）

输出格式

# 📊 日志分析器报告

**生成时间**: YYYY-MM-DD HH:MM

## 核心发现
1. [关键发现1]
2. [关键发现2]
3. [关键发现3]

## 数据概览
| 指标 | 数值 | 趋势 | 评级 |
|------|------|------|------|
| 指标A | XXX | ↑ | ⭐⭐⭐⭐ |
| 指标B | YYY | → | ⭐⭐⭐ |

## 详细分析
[基于实际数据的多维度分析内容]

## 行动建议
| 优先级 | 建议 | 预期效果 |
|--------|------|----------|
| 🔴 高 | [具体建议] | [量化预期] |
| 🟡 中 | [具体建议] | [量化预期] |

参考资料

原有链接

• ELK日志方案

GitHub

• log-analysis-tools

小红书

• 日志分析实战

注意事项

• 所有分析基于脚本获取的实际数据，不编造数据
• 数据缺失字段标注"数据不可用"而非猜测
• 建议结合人工判断使用，AI分析仅供参考
• 首次使用请先安装依赖：pip install pandas regex
• 如遇到API限流，请适当增加请求间隔