你是不是也遇到过：
- 线上出问题，日志一大堆，靠人肉 grep
- 想统计“最常见异常 / 最频繁报错模块 / 报错时间分布”
- 想把结果发给同事/领导，但复制粘贴太丑
这篇我给你一个生产可用的小工具：
✅ 支持大日志（流式读取）
✅ 自动抽取异常块（Java/Python 常见堆栈）
✅ 聚合 Top 异常、出现次数、首末出现时间
✅ 输出Markdown 报告（可直接贴到 CSDN/飞书/钉钉）
✅ 一行命令运行
1. 目标与效果
你运行：
python log_report.py --input app.log --out report.md会生成一份report.md，包含：
- 异常 Top N（按出现次数排序）
- 每种异常的：次数、首次时间、最后时间、示例片段
- 日志整体：时间范围、错误密度（每分钟 error 数）
2. 支持的日志格式（够用且好扩展）
行首时间（常见格式之一即可）
2026-01-09 01:47:122026-01-09T01:47:12
错误块识别：
- Java：
Exception/Error开头 + 多行at xxx(...) - Python：
Traceback (most recent call last):+ 多行堆栈
- Java：
没命中也没关系：工具仍会统计
ERROR行并输出密度。
3. 核心思路（3 句话讲清）
- 流式读取，不用一次性把日志读进内存
- 遇到“异常起始标记”时，开始收集多行堆栈，直到块结束
- 对异常块做指纹（hash），聚合计数、时间范围、示例
4. 直接上代码（完整可运行）
文件名：
log_report.py
Python 3.9+，无三方依赖
#!/usr/bin/env python3# -*- coding: utf-8 -*-importargparseimporthashlibimportrefromdataclassesimportdataclass,fieldfromdatetimeimportdatetimefromtypingimportDict,List,Optional,Tuple# --------- 时间解析（可扩展） ----------TS_PATTERNS=[# 2026-01-09 01:47:12re.compile(r"^(?P<ts>\d{4}-\d{2}-\d{2}[ T]\d{2}:\d{2}:\d{2})"),# 2026-01-09T01:47:12.123re.compile(r"^(?P<ts>\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d{3})"),]defparse_ts(line:str)->Optional[datetime]:forpatinTS_PATTERNS:m=pat.search(line)ifnotm:continueraw=m.group("ts")forfmtin("%Y-%m-%d %H:%M:%S","%Y-%m-%dT%H:%M:%S","%Y-%m-%dT%H:%M:%S.%f"):try:returndatetime.strptime(raw,fmt)exceptValueError:passreturnNone# --------- 异常块识别 ----------JAVA_START=re.compile(r"(\bException\b|\bError\b|\bCaused by:)")JAVA_STACK=re.compile(r"^\s+at\s+\S+\(.*\)$")PY_START=re.compile(r"^Traceback \(most recent call last\):")PY_STACK=re.compile(r"^\s+File\s+\".*\", line \d+, in .+$")LEVEL_ERROR=re.compile(r"\bERROR\b|\bFATAL\b",re.IGNORECASE)defis_java_exception_start(line:str)->bool:# 常见：xxxException: msg / Caused by: xxxreturnbool(JAVA_START.search(line))defis_java_stack_line(line:str)->bool:returnbool(JAVA_STACK.match(line))defis_py_exception_start(line:str)->bool:returnbool(PY_START.match(line))defis_py_stack_line(line:str)->bool:returnbool(PY_STACK.match(line))deflooks_like_blank_or_new_entry(line:str)->bool:# 用“有时间戳”判断是否进入下一条日志returnparse_ts(line)isnotNone@dataclassclassExceptionAgg:count:int=0first_seen:Optional[datetime]=Nonelast_seen:Optional[datetime]=Nonesample:str=""@dataclassclassReport:total_lines:int=0error_lines:int=0start_time:Optional[datetime]=Noneend_time:Optional[datetime]=Noneper_minute_errors:Dict[str,int]=field(default_factory=dict)exceptions:Dict[str,ExceptionAgg]=field(default_factory=dict)deffingerprint_exception(block:str)->str:""" 对异常块做指纹：去掉明显变化的信息后 hash """# 去掉数字、耗时、id 等易变项（可按你的日志优化）normalized=re.sub(r"\d+","N",block)normalized=re.sub(r"0x[0-9a-fA-F]+","0xHEX",normalized)normalized=re.sub(r"\b[a-f0-9]{16,}\b","HEXSTR",normalized)# 长 hashh=hashlib.sha1(normalized.encode("utf-8",errors="ignore")).hexdigest()returnh[:12]defminute_key(ts:datetime)->str:returnts.strftime("%Y-%m-%d %H:%M")defupdate_time_range(rep:Report,ts:Optional[datetime])->None:iftsisNone:returnifrep.start_timeisNoneorts<rep.start_time:rep.start_time=tsifrep.end_timeisNoneorts>rep.end_time:rep.end_time=tsdefadd_error_minute(rep:Report,ts:Optional[datetime])->None:iftsisNone:returnk=minute_key(ts)rep.per_minute_errors[k]=rep.per_minute_errors.get(k,0)+1defcommit_exception(rep:Report,ts:Optional[datetime],block:str)->None:fp=fingerprint_exception(block)agg=rep.exceptions.get(fp)ifaggisNone:agg=ExceptionAgg(count=0,first_seen=ts,last_seen=ts,sample=block[:1200])rep.exceptions[fp]=agg agg.count+=1iftsisnotNone:ifagg.first_seenisNoneorts<agg.first_seen:agg.first_seen=tsifagg.last_seenisNoneorts>agg.last_seen:agg.last_seen=tsifnotagg.sample:agg.sample=block[:1200]defparse_log(path:str)->Report:rep=Report()in_exc=Falseexc_lines:List[str]=[]exc_ts:Optional[datetime]=Noneexc_type:Optional[str]=None# "java" / "py"defflush_exc():nonlocalin_exc,exc_lines,exc_ts,exc_typeifin_excandexc_lines:commit_exception(rep,exc_ts,"\n".join(exc_lines))in_exc=Falseexc_lines=[]exc_ts=Noneexc_type=Nonewithopen(path,"r",encoding="utf-8",errors="ignore")asf:forlineinf:rep.total_lines+=1line=line.rstrip("\n")ts=parse_ts(line)update_time_range(rep,ts)# 错误行统计（即便没形成异常块）ifLEVEL_ERROR.search(line):rep.error_lines+=1add_error_minute(rep,ts)# 异常块状态机ifnotin_exc:ifis_py_exception_start(line):in_exc=Trueexc_type="py"exc_ts=ts exc_lines=[line]continueifis_java_exception_start(line):in_exc=Trueexc_type="java"exc_ts=ts exc_lines=[line]continueelse:# 已在异常块中：判断是否继续收集ifexc_type=="java":# Java 堆栈行 or 继续的 caused by 等ifis_java_stack_line(line)oris_java_exception_start(line)orline.strip().startswith("..."):exc_lines.append(line)continue# 新日志条目出现 → 结束异常块iflooks_like_blank_or_new_entry(line):flush_exc()# 这行可能是新异常起点（递归判断）ifis_py_exception_start(line):in_exc=Trueexc_type="py"exc_ts=parse_ts(line)exc_lines=[line]elifis_java_exception_start(line):in_exc=Trueexc_type="java"exc_ts=parse_ts(line)exc_lines=[line]continue# 其他行：也可能是异常信息补充，保守收集ifline.strip():exc_lines.append(line)continue# 空行：先收集exc_lines.append(line)continueifexc_type=="py":ifis_py_stack_line(line)orline.strip().startswith(("Traceback","During handling of the above exception")):exc_lines.append(line)continue# Python 异常块通常以 “Exception: msg” 结束行出现ifline.strip()andnotlooks_like_blank_or_new_entry(line):exc_lines.append(line)# 继续收集一两行也无妨continueiflooks_like_blank_or_new_entry(line):flush_exc()ifis_py_exception_start(line):in_exc=Trueexc_type="py"exc_ts=parse_ts(line)exc_lines=[line]elifis_java_exception_start(line):in_exc=Trueexc_type="java"exc_ts=parse_ts(line)exc_lines=[line]continueexc_lines.append(line)continue# 文件结束，别忘了 flushifin_exc:flush_exc()returnrepdefrender_md(rep:Report,top_n:int=10)->str:lines:List[str]=[]lines.append("# 日志异常分析报告\n")lines.append("## 概览\n")lines.append(f"- 总行数：**{rep.total_lines}**")lines.append(f"- ERROR/FATAL 行数：**{rep.error_lines}**")ifrep.start_timeandrep.end_time:lines.append(f"- 时间范围：**{rep.start_time}** ~ **{rep.end_time}**")lines.append("")# 错误密度 Topifrep.per_minute_errors:lines.append("## 错误密度（每分钟 ERROR Top 10）\n")top_minutes=sorted(rep.per_minute_errors.items(),key=lambdax:x[1],reverse=True)[:10]lines.append("| 分钟 | ERROR 数 |")lines.append("|---|---:|")fork,vintop_minutes:lines.append(f"|{k}|{v}|")lines.append("")# 异常 Topifrep.exceptions:lines.append(f"## 异常聚合 Top{top_n}\n")items=sorted(rep.exceptions.items(),key=lambdakv:kv[1].count,reverse=True)[:top_n]lines.append("| 指纹 | 次数 | 首次出现 | 最后出现 |")lines.append("|---|---:|---|---|")forfp,agginitems:lines.append(f"| `{fp}` |{agg.count}|{agg.first_seenor'-'}|{agg.last_seenor'-'}|")lines.append("")# 详情lines.append("## 异常详情（示例片段）\n")forfp,agginitems:lines.append(f"### `{fp}`（{agg.count}次）")lines.append(f"- 首次：{agg.first_seenor'-'}")lines.append(f"- 最后：{agg.last_seenor'-'}\n")lines.append("```text")lines.append(agg.sample.rstrip())lines.append("```\n")else:lines.append("## 异常聚合\n")lines.append("> 未识别到典型 Java/Python 堆栈异常块（可能是日志格式不同）。你仍可以从“错误密度”定位高发时间段。\n")return"\n".join(lines)defmain():ap=argparse.ArgumentParser(description="Generate log exception analysis report (Markdown).")ap.add_argument("--input","-i",required=True,help="log file path")ap.add_argument("--out","-o",default="report.md",help="output markdown report path")ap.add_argument("--top","-t",type=int,default=10,help="top N exceptions")args=ap.parse_args()rep=parse_log(args.input)md=render_md(rep,top_n=args.top)withopen(args.out,"w",encoding="utf-8")asf:f.write(md)print(f"[OK] Report generated:{args.out}")ifrep.start_timeandrep.end_time:print(f"[INFO] Time range:{rep.start_time}~{rep.end_time}")print(f"[INFO] Total lines:{rep.total_lines}, ERROR lines:{rep.error_lines}, exceptions:{len(rep.exceptions)}")if__name__=="__main__":main()5. 快速试跑（给你一个最小示例）
新建一个app.log，写入：
2026-01-09 01:47:12 ERROR c.xxx.Service - boom java.lang.NullPointerException: x is null at c.xxx.Service.run(Service.java:10) at c.xxx.App.main(App.java:5) 2026-01-09 01:47:13 INFO ok 2026-01-09 01:47:20 ERROR c.xxx.Service - boom again java.lang.NullPointerException: x is null at c.xxx.Service.run(Service.java:10) at c.xxx.App.main(App.java:5)运行：
python log_report.py -i app.log -o report.md打开report.md就能看到聚合结果（次数=2）。
6. 生产使用建议（别跳过）
✅ 1）放到服务器定时跑
0*/2 * * * /usr/bin/python3 /opt/tools/log_report.py -i /var/log/app/app.log -o /var/log/app/report.md✅ 2）结合告警，把 report.md 发到飞书/钉钉
下一篇我会写一个“报告自动推送器”，异常密度超过阈值才推送。
✅ 3）扩展你的日志格式
只需要改两处：
TS_PATTERNS增加时间格式- 增加一种异常起始识别
👉 后续工具会持续补充进《程序员自动化工具箱》，喜欢的朋友别忘了点个关注订阅此专栏。
