CRNN OCR模型训练指南：自定义数据集的fine-tuning

📖 项目简介

光学字符识别（OCR）是计算机视觉中一项基础而关键的技术，广泛应用于文档数字化、票据识别、车牌识别、智能办公等场景。随着深度学习的发展，OCR技术已从传统的模板匹配和特征提取方法，逐步演进为端到端的神经网络解决方案。

在众多OCR架构中，CRNN（Convolutional Recurrent Neural Network）因其在序列建模与上下文理解上的优异表现，成为工业界广泛采用的经典方案。它结合了卷积神经网络（CNN）对图像局部特征的强大提取能力，以及循环神经网络（RNN）对字符序列的时序建模能力，特别适合处理不定长文本识别任务。

本文将围绕一个基于CRNN的高精度通用OCR系统展开，详细介绍如何使用该模型进行自定义数据集的fine-tuning，从而适配特定业务场景（如手写体、发票、表格文字等），并实现更高的识别准确率。

💡 核心亮点回顾： -模型升级：从 ConvNextTiny 升级为 CRNN，显著提升中文识别准确率 -智能预处理：集成 OpenCV 图像增强算法，支持自动灰度化、尺寸归一化、去噪等 -轻量高效：纯CPU推理优化，平均响应时间 < 1秒，无GPU依赖 -双模交互：提供Flask WebUI可视化界面 + RESTful API接口，便于集成部署

🎯 为什么选择CRNN进行Fine-tuning？

尽管CRNN是一个经典模型，但在实际应用中仍具备极强的生命力，尤其适用于以下场景：

小样本训练：相比Transformer类大模型（如TrOCR），CRNN参数量更小，更适合在有限标注数据下进行迁移学习。
长文本识别稳定：CTC（Connectionist Temporal Classification）损失函数天然支持变长输出，避免分割错误累积。
中文支持良好：通过合理设计字典，可轻松扩展至数万汉字识别，且推理效率高。

因此，在需要快速落地、资源受限或领域特定的OCR任务中，基于CRNN的fine-tuning是一种性价比极高的解决方案。

🛠️ 环境准备与代码结构说明

本项目基于PyTorch框架实现，完整代码托管于ModelScope平台，目录结构如下：

crnn-ocr/ ├── data/ # 自定义数据集存放路径 ├── models/ # 模型定义文件（crnn.py） ├── utils/ │ ├── dataset.py # 数据加载器 │ ├── transforms.py # 图像预处理 pipeline │ └── ctc_decoder.py # CTC解码逻辑 ├── config.yaml # 训练超参配置 ├── train.py # 主训练脚本 ├── infer.py # 推理脚本 └── app.py # Flask Web服务入口

前置依赖安装

pip install torch torchvision torchaudio pip install opencv-python flask pillow numpy lmdb pip install editdistance # 用于评估WER/CER

建议使用Python 3.8+环境运行。

🧩 数据集准备：构建你的自定义OCR数据集

fine-tuning成功的关键在于高质量的数据集。以下是构建标准格式数据集的步骤。

1. 数据格式要求

CRNN通常采用LMDB或TXT清单文件作为输入格式。我们推荐使用txt清单方式，便于调试。

创建data/my_ocr_train.txt，每行格式为：

相对路径\t真实文本 example_images/invoice_001.jpg 增值税专用发票 example_images/handwrite_002.jpg 张三收货确认签字

示例：

data/images/img001.png 今天天气很好 data/images/img002.png 北京市朝阳区建国路88号

2. 图像预处理规范

尺寸统一：建议缩放到固定高度（如32），宽度按比例缩放但不超过固定值（如280）
灰度图输入：CRNN默认输入为单通道灰度图
去噪增强：对模糊、低对比度图像可添加CLAHE、二值化等OpenCV处理

# utils/transforms.py import cv2 import numpy as np def resize_and_normalize(img, height=32, max_width=280): h, w = img.shape[:2] ratio = height / h new_w = int(w * ratio) new_w = min(new_w, max_width) resized = cv2.resize(img, (new_w, height), interpolation=cv2.INTER_CUBIC) if len(resized.shape) == 3: resized = cv2.cvtColor(resized, cv2.COLOR_BGR2GRAY) normalized = resized.astype(np.float32) / 255.0 return normalized

3. 字符字典生成

根据你的任务语言体系生成专属字典。例如：

中文常用字：约7000字
英文数字符号：A-Za-z0-9标点

创建data/vocab.txt，每行一个字符：

京 沪 津 冀 ... 0 1 2 A B C

并在config.yaml中指定路径：

dataset: vocab_path: data/vocab.txt train_list: data/my_ocr_train.txt image_height: 32 image_max_width: 280

🔁 模型微调：从预训练CRNN开始

我们使用在大规模中文文本上预训练的CRNN模型作为起点，仅需少量领域数据即可完成有效迁移。

1. 加载预训练权重

# models/crnn.py import torch.nn as nn class CRNN(nn.Module): def __init__(self, vocab_size, hidden_size=256): super().__init__() # CNN backbone (e.g., VGG or ResNet-like) self.cnn = nn.Sequential( nn.Conv2d(1, 64, 3, 1, 1), nn.ReLU(True), nn.MaxPool2d(2, 2), nn.Conv2d(64, 128, 3, 1, 1), nn.ReLU(True), nn.MaxPool2d(2, 2), nn.Conv2d(128, 256, 3, 1, 1), nn.BatchNorm2d(256), nn.ReLU(True), nn.Conv2d(256, 256, 3, 1, 1), nn.ReLU(True), nn.MaxPool2d((2,2),(2,1),(0,1)), nn.Conv2d(256, 512, 3, 1, 1), nn.BatchNorm2d(512), nn.ReLU(True), nn.Conv2d(512, 512, 3, 1, 1), nn.ReLU(True), nn.MaxPool2d((2,2),(2,1),(0,1)), nn.Conv2d(512, 512, 2, 1, 0), nn.BatchNorm2d(512), nn.ReLU(True) # BxCxHxW ) self.rnn = nn.LSTM(512, hidden_size, bidirectional=True, batch_first=True) self.fc = nn.Linear(hidden_size * 2, vocab_size) def forward(self, x): conv = self.cnn(x) # BxCxHxW -> BxC'x1xL conv = conv.squeeze(2) # BxC'xL conv = conv.permute(0, 2, 1) # BxLxC' output, _ = self.rnn(conv) return self.fc(output) # BxLxV

加载预训练模型：

model = CRNN(vocab_size=len(vocab)) checkpoint = torch.load("pretrained/crnn_chinese.pth", map_location='cpu') model.load_state_dict(checkpoint['state_dict'])

2. 修改分类头以适配新字典

若你的字典与原模型不同，需重新初始化最后的全连接层：

num_classes = len(new_vocab) model.fc = nn.Linear(512, num_classes) # 替换最后一层

同时冻结主干网络参数，只训练头部：

for name, param in model.named_parameters(): if not name.startswith('fc'): param.requires_grad = False

3. 训练脚本核心逻辑（train.py）

# train.py import torch from torch.utils.data import DataLoader from utils.dataset import OCRDataset, collate_fn from models.crnn import CRNN from utils.ctc_decoder import decode_ctc def train_epoch(model, dataloader, optimizer, criterion, device): model.train() total_loss = 0.0 for images, labels, lengths in dataloader: images = images.to(device) targets = torch.IntTensor(labels) # flattened indices target_lengths = torch.IntTensor(lengths) logits = model(images) # BxTxV log_probs = torch.log_softmax(logits, dim=-1).permute(1, 0, 2) # TxNxV input_lengths = torch.full((logits.size(0),), log_probs.size(0), dtype=torch.long) loss = criterion(log_probs, targets, input_lengths, target_lengths) optimizer.zero_grad() loss.backward() optimizer.step() total_loss += loss.item() return total_loss / len(dataloader) # --- 主流程 --- device = torch.device('cuda' if torch.cuda.is_available() else 'cpu') dataset = OCRDataset('data/my_ocr_train.txt', vocab_path='data/vocab.txt') dataloader = DataLoader(dataset, batch_size=32, shuffle=True, collate_fn=collate_fn) model = CRNN(len(dataset.vocab)).to(device) criterion = torch.nn.CTCLoss(blank=0, zero_infinity=True) optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3) for epoch in range(20): loss = train_epoch(model, dataloader, optimizer, criterion, device) print(f"Epoch [{epoch+1}/20], Loss: {loss:.4f}")

📌 注意事项： - 使用CTCLoss时确保zero_infinity=True防止梯度爆炸 - 输入序列需做padding并对齐长度 - label编码应转换为字符索引列表

✅ 模型评估与推理测试

训练完成后，可在验证集上评估性能。

1. 推理函数实现

# infer.py def predict(model, image_path, vocab, device): img = cv2.imread(image_path, 0) # 灰度读取 img = resize_and_normalize(img) # 预处理 img = torch.FloatTensor(img).unsqueeze(0).unsqueeze(0) # CHW -> BCHW model.eval() with torch.no_grad(): logits = model(img.to(device)) pred_text = decode_ctc(logits.cpu(), vocab) return pred_text

2. 性能指标计算（CER/WER）

import editdistance def calculate_cer(preds, truths): total_dist = 0 total_len = 0 for p, t in zip(preds, truths): dist = editdistance.eval(p, t) total_dist += dist total_len += len(t) return total_dist / total_len if total_len > 0 else 0

🚀 部署上线：集成WebUI与API服务

项目已内置Flask服务，支持图形化操作和REST接口调用。

启动命令

python app.py --host 0.0.0.0 --port 7860

访问http://localhost:7860打开Web界面，上传图片即可实时识别。

API接口示例

curl -X POST http://localhost:7860/api/ocr \ -F "image=@test.jpg" \ -H "Content-Type: multipart/form-data"

返回JSON结果：

{ "text": "增值税专用发票", "confidence": 0.96, "time_ms": 842 }

📊 实验效果对比（ConvNextTiny vs CRNN）

| 模型 | 中文准确率（自测集） | 推理速度（CPU） | 参数量 | 是否支持手写 | |------|------------------|--------------|--------|------------| | ConvNextTiny | 78.3% | 420ms | ~5M | 弱 | |CRNN（fine-tuned）|93.7%|842ms| ~8M |强|