以下区域不属于官方网站,网页设计岗位职责,网站建设有哪些板块,建设主题网站一般要经历的顺序项目说明本项目是我2019年7月份的实习工作的**展示与记录**#xff1a;把倾斜的表格旋转水平#xff1b;制作5000张表格数据集#xff0c;需要标注每一个单元格#xff0c;并实现单元格检测第一项比较简单#xff0c;仿射变换、透视变换已经很成熟了#xff0c;关键是第二…项目说明本项目是我2019年7月份的实习工作的**展示与记录**把倾斜的表格旋转水平制作5000张表格数据集需要标注每一个单元格并实现单元格检测第一项比较简单仿射变换、透视变换已经很成熟了关键是第二项。考虑到人工标注太费时(1张表格图片大概30个单元格大概35分钟一张一共需2500小时)所以尝试利用常规的图像处理提取出表格线自动标注。涉及代码图像旋转(仿射变换)、表格线提取、转coco格式、可视化、随机保存文件、根据图片文件名匹配对应的标签文件等关键代码说明表格旋转table-rotation.py只需指定输入图像路径自动计算旋转角度、仿射变换、旋转调整整个图像(不限于表格图像文字图像也可以)过程: 1. HoughLines —— get the rotation angle 2. warpAffine ——affine(rotation)从表格图片提取每个单元格坐标extract-table-visual.py输入一张图片通过腐蚀膨胀等操作去除表格内容得到表格线可视化。本代码的参数设置使可视化效果很好但实际上左边框可能未闭合(肉眼不可见)extract-table.py输入一张图片可视化表格线。为了使表格闭合、得到交点故意调整参数使得横线、竖线都更长。制作coco格式数据集table-cell-to-coco.py (刚刚修改了多线程处理的bug-12月11日)table-cell 单元格识别说明文档任务一tabel-bank数据集(标注到表格级coco格式)数据集下载该数据集分两块word文档版和LaTeX文档版其中word版比较杂文件命名不规范文件名有大量的拉丁文、俄文中文系统下可能会有编码错误。表格识别任务建议使用LaTeX版的数据集。使用mmdetection目标识别库进行训练时只需修改config/xxx.py的数据集目录、图片大小、label_name、label种类数(2表示表格和背景两类)。表格检测示例图检测结果示意图(使用最简单的faster rcnn训练12个epoch准确率达到99%以上)任务二tabel-cell 数据集(标注到单元格级coco格式)对应代码table-cell-to-coco.py图片来源tablebank数据集word版图片选取以a-c开头的5116张图片(然后从这5116张图片中随机选择1000张做测试集、其余做训练集)。标签制作 bash利用opencv库提取出表格、单元格然后转成coco格式#### 分割单元格步骤# 1. 读取图像# 2. 二值化处理# 3. 横向、纵向的膨胀、腐蚀操作得到横线图img_row和竖线图img_col# 4. 得到点图img_row img_colimg_dot# 5. 得到线图img_row × img_colimg_line(线图只是拿来看看的后续没有用到)# 6. 根据点图得到闭合矩形单元格(左上角、右下角坐标)# 7. 人工设计规则优化这些坐标# 8. 利用得到的坐标、可视化、保存可视化结果人工从中选出结果好的样例做数据集# 9. 转化为coco格式示例图步骤5示例图步骤8示例图任务三倾斜矫正、单元格识别倾斜矫正 bash# 输入一张倾斜的图像,自动仿射变换、旋转调整整个图像# 步骤# 1. HoughLines —— get the rotation angle# 2. warpAffine —— affine(rotation)对应代码table-rotation.py示例图示例图2(拍照也能精准地调整到水平状态且不影响表格内容)单元格识别利用mmdetection目标识别库训练任务二标注的table-cell数据集。需要修改config文件如config/cascade_mask_rcnn_r101_fpn_1x.py的字段数据集路径data_root /home/weidafeng/dataset/coco/TableBank/Word/类别数目num_classes2,#两处图像大小img_scale(596842)修改label namemmdetection/mmdet/core/evaluation/class_names.pymmdetection/mmdet/datasets/coco.pypython setup.py install我使用config/cascade_mask_rcnn_r101_fpn_1x.py进行测试修改后的config文件、训练12个eopch达到99%以上的准确率该配置文件及模型以上传到云盘(链接:https://pan.baidu.com/s/1nfGd7s0AMujJ00pCFAOyrA 提取码:hupu)下载后可进行测试。测试步骤(详见mmdetection使用说明)使用提供的inference.py文件替换mmdetection/mmdet/apis/inference.py(我主要添加以文本形式保存预测结果的函数不替换也能看到可视化效果)重新编译 python setup.py install运行测试代码 bashbash test.sh ~/test_images/ ../mmdetection/config/mask_xxxx.py../mmdetection/workdir/latest.pth测试结果示例图测试结果示例图(拍照结果一样很好)测试示例图(少部分结果出现漏检、误检)ReferenceTableBank制作coco格式数据集mmdetection图像旋转数学原理仿射变换与透射变换仿射变换和透视变换更直观的叫法可以叫做“平面变换”和“空间变换”或者“二维坐标变换”和“三维坐标变换”.从另一个角度也能说明三维变换和二维变换的意思仿射变换的方程组有6个未知数所以要求解就需要找到3组映射点三个点刚好确定一个平面.透视变换的方程组有8个未知数所以要求解就需要找到4组映射点四个点就刚好确定了一个三维空间.傅里叶相关知识频率对于图像来说就是指图像颜色值的梯度即灰度级的变化速度幅度可以简单的理解为是频率的权即该频率所占的比例DFT之前的原图像在x y方向上表示空间坐标DFT是经过xy方向上的傅里叶变换来统计像素在这两个方向上不同频率的分布情况所以DFT得到的图像在x y方向上不再表示空间上的长度而是频率。