在车辆识别算法优化中，“车辆ID跟踪优化”（如纠正、增量识别）是评估车辆识别算法稳定性的核心指标。面对GB级的海量日志，人工排查无异于大海捞针。
分享一个轻量级 Python 分析工具，实现从日志流读取、关键事件提取、结果去重到二次分析的自动化全流程。
🚀 核心功能
- 正则捕获：基于状态记忆，锁定同一
车ID下的车牌变化，提取“增量车牌”与“车牌纠正”事件。 - 结果去重：利用
(ID, 原车牌, 新车牌)三元组作为唯一键，在日志刷屏时自动合并重复项，仅保留最后一次出现位置。 - 二次分析： Levenshtein（编辑距离） 算法（dp），自动识别 ID连续增加且原车牌高度相似 的记录，标记为“ID分裂疑点”。
🛠️ 完整代码实现
import glob
import os
import re
import csvclass LogAnalyzer:def __init__(self):self.records = {} # 记录每个ID的首次状态 {id: {'plate': str, 'loc': str}}self.conflicts = {} # 存储去重后的冲突记录# --- 配置区：关注的事件类型 ---self.target_events = ["增量车牌", "车牌纠正"]# ---------------------------self.re_plate = re.compile(r"车牌\[(.*?)\]")self.re_id = re.compile(r"车ID\[(\d+)\]")self.re_event = re.compile(r"事件类型\[(.*?)\]")self.re_pic = re.compile(r"Pic\[(.*?)\]")def run(self):files = glob.glob("*.log")if not files: return print("❌ 未找到日志文件")print(f"📂 扫描 {len(files)} 个文件... (关注事件: {self.target_events})")for fpath in files:self._process_file(fpath)self._export_combined_csv()def _process_file(self, fpath):fname = os.path.basename(fpath)try:with open(fpath, 'r', encoding='utf-8', errors='replace') as f:for i, line in enumerate(f, 1):# 1. 字符串预筛if "车ID[" not in line or "车牌[" not in line: continue# 2. 正则提取核心字段m_id = self.re_id.search(line)m_plate = self.re_plate.search(line)if not (m_id and m_plate): continuecid = int(m_id.group(1))plate = m_plate.group(1)if cid == 0: continue # 忽略初始化IDm_event = self.re_event.search(line)event = m_event.group(1) if m_event else ""m_pic = self.re_pic.search(line)pic = m_pic.group(1) if m_pic else ""# 3. 状态机逻辑if cid in self.records:old = self.records[cid]# 发现ID相同但车牌不同if old['plate'] != plate:if event in self.target_events:# 覆盖更新：保留该变动最后一次出现的行号self.conflicts[(cid, old['plate'], plate)] = {'id': cid,'old': old['plate'],'new': plate,'event': event,'pic': pic,'file': fname,'line': i}else:# 记录新ID的初始状态self.records[cid] = {'plate': plate, 'file': fname, 'line': i}except Exception as e:print(f"❌ 读取 {fname} 出错: {e}")def _levenshtein(self, s1, s2):"""动态规划计算字符串编辑距离，用于相似度比对"""if len(s1) < len(s2): return self._levenshtein(s2, s1)if len(s2) == 0: return len(s1)previous_row = range(len(s2) + 1)for i, c1 in enumerate(s1):current_row = [i + 1]for j, c2 in enumerate(s2):insertions = previous_row[j + 1] + 1deletions = current_row[j] + 1substitutions = previous_row[j] + (c1 != c2)current_row.append(min(insertions, deletions, substitutions))previous_row = current_rowreturn previous_row[-1]def _export_combined_csv(self):output_file = "algorithm_analysis_report.csv"# 按ID排序sorted_rows = sorted(self.conflicts.values(), key=lambda x: x['id'])processed_rows = []id_split_count = 0# --- 结果二次分析 ---for i in range(len(sorted_rows)):current = sorted_rows[i]analysis_note = ""# 逻辑：如果ID连续增加(N, N+1) 且 原车牌编辑距离<=2if i > 0:prev = sorted_rows[i - 1]if current['id'] - prev['id'] == 1:dist = self._levenshtein(current['old'], prev['old'])if dist <= 2:analysis_note = f"⚠️ ID分裂疑点 (与ID {prev['id']} 原牌差异{dist}位)"id_split_count += 1current['analysis'] = analysis_noteprocessed_rows.append(current)# --- 计算看板指标 ---total_unique_cars = len(self.records)div = total_unique_cars if total_unique_cars > 0 else 1correct_cnt = sum(1 for r in processed_rows if r['event'] == "车牌纠正")incr_cnt = sum(1 for r in processed_rows if r['event'] == "增量车牌")total_opt_cnt = len(processed_rows)try:with open(output_file, 'w', newline='', encoding='utf-8-sig') as csvfile:writer = csv.writer(csvfile)writer.writerow(["【算法优化指标看板】"])writer.writerow(["指标项", "数值", "占比/备注"])writer.writerow(["总服务车辆数 (Unique IDs)", total_unique_cars, "-"])writer.writerow(["异常记录总数", total_opt_cnt, f"{(total_opt_cnt / div):.2%} (优化率)"])writer.writerow(["-------------------------", "---", "---"])writer.writerow(["[事件] 车牌纠正", correct_cnt, f"{(correct_cnt / div):.2%}"])writer.writerow(["[事件] 增量车牌", incr_cnt, f"{(incr_cnt / div):.2%}"])writer.writerow(["[分析] ID分裂疑点", id_split_count, "连续ID且原车牌相似"])writer.writerow([]) writer.writerow([])headers = ['车ID', '原车牌', '新车牌', '触发事件', '二次分析结果', 'Pic完整路径', '日志文件名', '行号']writer.writerow(headers)for row in processed_rows:writer.writerow([row['id'],row['old'],row['new'],row['event'],row.get('analysis', ''),row['pic'],row['file'],row['line']])print(f"✅ 报告已生成: {os.path.abspath(output_file)}")print(f" -> 总车数: {total_unique_cars}, 异常: {total_opt_cnt}, ID分裂疑点: {id_split_count}")except Exception as e:print(f"❌ CSV 生成失败: {e}")if __name__ == "__main__":LogAnalyzer().run()
📊 输出报告示例
生成的 algorithm_analysis_report.csv 结构清晰，直接可用 Excel 打开：
| 【算法优化指标看板】 | ||
|---|---|---|
| 指标项 | 数值 | 占比/备注 |
| 总服务车辆数 (Unique IDs) | 1500 | - |
| 异常记录总数 | 15 | 1.00% (优化率) |
| [事件] 车牌纠正 | 12 | 0.80% |
| [事件] 增量车牌 | 3 | 0.20% |
| [分析] ID分裂疑点 | 1 | 连续ID且原车牌相似 |
| 车ID | 原车牌 | 二次分析结果 ... |
| 1689771065 | 闽D8R333 | ⚠️ ID分裂疑点 (与ID 1689771064 原牌差异1位) |
💡 总结
该工具通过流式处理解决了大文件读取的内存瓶颈，利用编辑距离解决了 ID 拖尾的识别难题。它不仅是一个日志提取脚本，更是一个算法质量评估的自动化基准工具。
)
)
