一种针对带表格合同的OCR识别方法与流程

文档序号:22325837发布日期:2020-09-25 17:54阅读:来源:国知局

技术特征:

1.一种针对带表格合同的ocr识别方法,其特征在于,包括以下步骤:

1)对输入的合同图片进行表格检测,如果合同图片中包含表格,将表格从合同图片中切片出来,得到表格切片,剩余部分作为非表格切片,并记录各切片在原合同图片中的位置信息,得到表格切片的位置信息和非表格切片的位置信息;如果合同图片中不含表格,整张合同图片就作为一个非表格切片;

2)对步骤1)得到的表格切片进行单元格检测,根据检测结果对表格切片中的单元格进行切片,得到单元格切片,每个单元格切片仅包含原表格样式中的一个单元格,并且记录单元格切片在表格切片中的位置信息,得到单元格位置信息;

3)对步骤2)产生的单元格切片进行文本识别,得到单元格的文本信息,并对步骤1)产生的非表格切片进行文本识别,得到非表格切片的文本信息;

4)结合步骤3)得到的单元格的文本信息以及步骤2)得到的单元格位置信息,得到结构化的表格信息,再结合步骤3)得到的非表格切片的文本信息和步骤1)得到的表格切片的位置信息和非表格切片的位置信息,得到整张合同图片的识别结果。

2.根据权利要求1所述的针对带表格合同的ocr识别方法,其特征在于,步骤1)中,所述的表格检测采用训练后的表格检测模型,表格检测模型的训练过程包括:

1.1)将模板合同转换成docx格式的word文档,在word文档中插入表格,插入表格后的word文档解压出document.xml文件,然后操作文档里面的document.xml文件,将表格外框修改成特定颜色,得到表格外框修改成特定颜色的word文档;

1.2)将表格外框修改成特定颜色的word文档转换成pdf文档,利用pdf转图片工具转换成合同图片,然后对合同图片进行矩形识别,得到表格在合同图片中的位置和大小,再将未修改的word文档转换成图片,得到标注数据;

1.3)在不同的模板合同中不同位置插入不同类型的表格,重复步骤1.1)和1.2)得到不同的标注数据;

1.4)利用步骤1.2)和1.3)得到的标注数据训练表格检测模型,得到训练后的表格检测模型。

3.根据权利要求2所述的针对带表格合同的ocr识别方法,其特征在于,步骤1.2)中,对图片进行矩形识别采用基于opencv库的矩形识别方法。

4.根据权利要求2所述的针对带表格合同的ocr识别方法,其特征在于,步骤1.4)中,所述的表格检测模型为yolov4。

5.根据权利要求1所述的针对带表格合同的ocr识别方法,其特征在于,步骤2)中,所述的单元格检测采用训练后的表格单元格检测模型,表格单元格检测模型的训练过程包括:

2.1)在空白的docx格式word文档中插入表格,插入表格后的word文档解压出document.xml文件,然后操作文档里面的document.xml文件,将表格线框修改成特定颜色,得到表格线框修改成特定颜色的word文档;

2.2)将表格线框修改成特定颜色的word文档转换成pdf文档,利用pdf转图片工具转换成合同图片,然后对合同图片进行矩形识别,得到表格在合同图片中的位置和大小,再将未修改的word文档转换成图片,得到标注数据;

2.3)利用步骤2.2)的标注数据训练表格单元格检测模型,得到训练后的表格单元格检测模型。

6.根据权利要求5所述的针对带表格合同的ocr识别方法,其特征在于,步骤2.2)中,对图片进行矩形识别采用基于opencv库的矩形识别方法。

7.根据权利要求5所述的针对带表格合同的ocr识别方法,其特征在于,步骤2.3)中,所述的表格单元格检测模型为yolov4。

8.根据权利要求1所述的针对带表格合同的ocr识别方法,其特征在于,步骤3)中,对步骤2)产生的单元格切片进行文本识别采用训练后的表格单元格识别模型,表格单元格识别模型的训练过程具体包括:

3.1)根据常用于表格中的字符及组合生成文字图片,得到标注数据;

3.2)采用标注数据训练表格单元格识别模型,得到训练后的表格单元格识别模型。

9.根据权利要求8所述的针对带表格合同的ocr识别方法,其特征在于,步骤3.2)中,表格单元格识别模型采用crnn+ctc模型。


技术总结
本发明公开了一种针对带表格合同的OCR识别方法,涉及OCR及深度学习领域。该方法具体包括:对输入的带表格合同图片使用基于YOLOv4的表格检测模型进行检测,利用检测结果对合同图片进行切片处理,得到表格图片;对表格图片使用基于YOLOv4的表格单元格检测模型进行检测,利用检测结果对表格图片进行切片处理,得到表格单元格切片;对表格单元格切片使用基于CRNN+CTC的文字识别模型进行识别,得到单元格内容;结合上述步骤输出信息得到整张合同图片结构化输出。该方法通过将带表格合同识别分成表格检测,单元格检测,单元格识别三个步骤,分别针对性地优化每个步骤模型的性能,提高了表格识别的效果。

技术研发人员:程欢;吴青昀;徐俊杰
受保护的技术使用者:杭州尚尚签网络科技有限公司
技术研发日:2020.06.11
技术公布日:2020.09.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1