合同关键信息抽取：结合OCR与语义理解

在企业数字化转型过程中，合同作为核心法律与业务凭证，其结构化处理需求日益增长。传统人工录入方式效率低、成本高、易出错，已无法满足大规模文档处理的现实需求。随着计算机视觉与自然语言处理技术的发展，基于OCR与语义理解相结合的关键信息自动抽取方案正成为智能文档处理（IDP）领域的关键技术路径。

本文将围绕“万物识别-中文-通用领域”这一由阿里开源的图像识别模型，深入探讨如何构建一个端到端的合同关键信息抽取系统。我们将从环境配置、模型调用、OCR结果解析到语义理解后处理，完整还原工程实践中的技术链路，并提供可运行的代码示例和优化建议，帮助开发者快速落地此类解决方案。

万物识别-中文-通用领域：轻量级多场景OCR利器

“万物识别-中文-通用领域”是阿里巴巴推出的一款面向中文场景的通用图像文字识别模型，具备以下核心特点：

高精度中文字识别能力：针对中文字符集优化，在复杂背景、模糊字体、倾斜排版等常见问题下仍保持稳定表现。
多场景适应性：支持表格、手写体、印刷体混合内容识别，适用于发票、合同、证件等多种文档类型。
轻量化设计：模型体积小、推理速度快，适合部署在边缘设备或资源受限环境中。
开源开放：项目已在GitHub公开，社区活跃，便于二次开发与定制训练。

该模型基于PyTorch框架实现，兼容主流深度学习生态，尤其适合作为OCR前端模块嵌入到更复杂的文档智能系统中。

技术定位：它不是单纯的OCR工具，而是融合了布局分析、文本检测与识别三位一体的“文档理解引擎”，为后续语义解析提供了结构化输入基础。

环境准备与依赖管理

本项目运行于PyTorch 2.5环境，所有依赖均记录在/root目录下的requirements.txt文件中。建议使用Conda进行环境隔离与管理。

1. 激活虚拟环境

conda activate py311wwts

注意：该环境名称为py311wwts，表示Python 3.11 + PyTorch环境，确保安装了正确的CUDA版本以支持GPU加速。

2. 查看依赖列表

进入/root目录并查看依赖文件：

cd /root cat requirements.txt

典型依赖包括：

torch==2.5.0 torchvision==0.16.0 opencv-python numpy transformers pandas layoutparser[layoutmodels,tesseract]

若需扩展功能（如命名实体识别），可按需安装额外包：

pip install spacy seqeval

推理流程详解：从图片到结构化字段

整个信息抽取流程可分为四个阶段：

图像预处理
OCR识别获取原始文本块
布局结构分析
语义理解与关键字段匹配

我们以一份采购合同为例，目标是提取如下关键字段： - 合同编号 - 甲方名称 - 乙方名称 - 签订日期 - 金额（大写/小写） - 签章位置

步骤一：运行推理脚本

在/root目录下执行：

python 推理.py

该脚本将加载“万物识别”模型，对指定图片（如bailing.png）进行OCR识别，并输出带坐标信息的文本块列表。

脚本结构概览

# 推理.py import cv2 import torch from PIL import Image import numpy as np # 加载预训练模型（假设已下载至本地） model = torch.hub.load('alibaba-damo/ocr-system', 'general_recognition', source='github') # 读取图像 image_path = '/root/bailing.png' # ⚠️ 使用前请确认路径正确 img = cv2.imread(image_path) # 执行推理 results = model(img) # 输出结果格式示例： # [{'box': [x1,y1,x2,y2], 'text': '合同编号：HT202408001', 'score': 0.98}, ...] for res in results: print(f"文本: {res['text']} | 位置: {res['box']} | 置信度: {res['score']:.3f}")

步骤二：复制文件至工作区（便于调试）

为了方便在IDE中编辑和测试，建议将脚本和图片复制到工作空间：

cp 推理.py /root/workspace cp bailing.png /root/workspace

随后修改推理.py中的图像路径为：

image_path = '/root/workspace/bailing.png'

这样可以在左侧文件浏览器中直接打开并实时修改代码。

步骤三：上传新图片后的路径更新

当上传新的合同图片时（例如命名为contract.jpg），必须同步更新脚本中的路径变量：

image_path = '/root/workspace/contract.jpg'

同时建议添加异常处理机制，防止因路径错误导致程序中断：

import os if not os.path.exists(image_path): raise FileNotFoundError(f"未找到图像文件：{image_path}")

OCR结果解析：从无序文本到逻辑段落

原始OCR输出是一组带有坐标的文本片段，顺序混乱且缺乏语义关联。我们需要通过空间聚类+上下文分析将其组织成有意义的段落。

文本块空间排序策略

利用文本框的y坐标进行自上而下的排序，x坐标用于判断左右并列关系。

def sort_text_blocks(blocks): """按阅读顺序排序文本块""" return sorted(blocks, key=lambda b: (b['box'][1], b['box'][0])) # 先Y后X sorted_results = sort_text_blocks(results)

构建段落结构

相邻且Y坐标相近的文本行可合并为同一段落：

def group_into_paragraphs(blocks, line_threshold=10): paragraphs = [] current_para = [] for i, block in enumerate(sorted_results): if not current_para: current_para.append(block) continue last_y = current_para[-1]['box'][1] curr_y = block['box'][1] if abs(curr_y - last_y) < line_threshold: current_para.append(block) else: paragraphs.append(" ".join([b['text'] for b in current_para])) current_para = [block] if current_para: paragraphs.append(" ".join([b['text'] for b in current_para])) return paragraphs

输出示例：

[ "合同编号：HT202408001", "甲方：百灵科技有限公司", "乙方：星辰数据服务有限公司", "签订日期：2024年8月15日", ... ]

语义理解层：规则+模型双驱动字段抽取

仅有结构化段落还不够，还需从中精准定位关键字段。我们采用规则匹配 + 预训练NER模型的混合策略。

方法一：正则表达式规则抽取（简单高效）

适用于格式相对固定的字段：

import re def extract_contract_info(paragraphs): info = {} pattern_map = { 'contract_id': r'合同编号[：:]\s*([A-Z0-9]+)', 'party_a': r'甲方[：:]\s*([\u4e00-\u9fa5a-zA-Z0-9]+)', 'party_b': r'乙方[：:]\s*([\u4e00-\u9fa5a-zA-Z0-9]+)', 'date': r'签订日期[：:]\s*(\d{4}年\d{1,2}月\d{1,2}日)', 'amount_lower': r'金额[：:]\s*¥?(\d+\.?\d*)', 'amount_upper': r'大写[：:]\s*([零壹贰叁肆伍陆柒捌玖拾佰仟万亿]+)' } full_text = "\n".join(paragraphs) for key, pattern in pattern_map.items(): match = re.search(pattern, full_text) if match: info[key] = match.group(1) return info

方法二：基于BERT的命名实体识别（灵活泛化）

对于非标准格式或语义复杂的内容，可引入微调过的中文NER模型（如bert-base-chinese）进行字段识别。

from transformers import AutoTokenizer, AutoModelForTokenClassification from transformers import pipeline # 加载微调后的合同NER模型（需提前训练） tokenizer = AutoTokenizer.from_pretrained("my-contract-ner-model") model = AutoModelForTokenClassification.from_pretrained("my-contract-ner-model") ner_pipeline = pipeline("ner", model=model, tokenizer=tokenizer, aggregation_strategy="simple") # 对每段文本进行实体识别 for para in paragraphs: entities = ner_pipeline(para) for ent in entities: label = ent["entity_group"] value = ent["word"] if label == "CONTRACT_ID": info["contract_id"] = value elif label == "PARTY_A": info["party_a"] = value # ...其他标签映射

优势对比：
| 方法 | 准确率 | 维护成本 | 泛化能力 | |------|--------|----------|-----------| | 正则规则 | 高（固定模板） | 低 | 差 | | NER模型 | 中高（需训练） | 高 | 强 |

推荐组合使用：正则为主，NER为辅，兼顾效率与鲁棒性。

实践难点与优化建议

在真实项目中，以下问题是常见挑战：

1. 图像质量差导致OCR失败

解决方案：
增加图像预处理步骤：灰度化、二值化、去噪、透视矫正
使用超分辨率模型提升低清图像质量

def preprocess_image(img_path): img = cv2.imread(img_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) _, binary = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU) return binary

2. 字段别名多样（如“甲方” vs “买方”）

解决方案：
构建同义词词典，统一归一化关键词
在NER训练数据中覆盖多种表述方式

synonym_dict = { "party_a": ["甲方", "买方", "采购方", "委托人"], "party_b": ["乙方", "卖方", "供应方", "受托人"] }

3. 多页合同处理

解决方案：
支持PDF输入，逐页解析
添加页码上下文关联逻辑（如“续页”标记）

4. 签章区域定位难

解决方案：
利用颜色特征（红色印章）+ 形状检测（圆形/椭圆）
结合OCR识别签章旁的文字说明（如“签字盖章”）

# 简单红章检测（HSV空间） hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV) lower_red1 = np.array([0, 100, 100]) upper_red1 = np.array([10, 255, 255]) mask1 = cv2.inRange(hsv, lower_red1, upper_red1)

完整可运行代码整合

以下是整合后的完整脚本框架（简化版）：

# contract_extractor.py import cv2 import torch import re import os from PIL import Image # --- Step 1: Load OCR Model --- model = torch.hub.load('alibaba-damo/ocr-system', 'general_recognition', source='github') # --- Step 2: Read Image --- image_path = '/root/workspace/bailing.png' if not os.path.exists(image_path): raise FileNotFoundError(f"Image not found: {image_path}") img = cv2.imread(image_path) # --- Step 3: OCR Inference --- results = model(img) # --- Step 4: Sort & Group Text --- def sort_and_group(blocks): sorted_blocks = sorted(blocks, key=lambda b: (b['box'][1], b['box'][0])) paragraphs = [] current = [] for b in sorted_blocks: if not current or abs(b['box'][1] - current[-1]['box'][1]) < 15: current.append(b) else: paragraphs.append(" ".join([c['text'] for c in current])) current = [b] if current: paragraphs.append(" ".join([c['text'] for c in current])) return paragraphs paragraphs = sort_and_group(results) # --- Step 5: Extract Fields --- def extract_fields(paragraphs): full_text = "\n".join(paragraphs) patterns = { 'contract_id': r'合同编号[：:]\s*([A-Z0-9]+)', 'party_a': r'(?:甲方|买方)[：:]\s*([\u4e00-\u9fa5a-zA-Z0-9]+)', 'party_b': r'(?:乙方|卖方)[：:]\s*([\u4e00-\u9fa5a-zA-Z0-9]+)', 'date': r'签订日期[：:]\s*(\d{4}年\d{1,2}月\d{1,2}日)', 'amount': r'金额[：:]\s*¥?(\d+\.?\d*)' } info = {} for k, p in patterns.items(): m = re.search(p, full_text) if m: info[k] = m.group(1) return info result = extract_fields(paragraphs) print("✅ 提取结果：", result)