1.一种针对带表格合同的ocr识别方法,其特征在于,包括以下步骤:
1)对输入的合同图片进行表格检测,如果合同图片中包含表格,将表格从合同图片中切片出来,得到表格切片,剩余部分作为非表格切片,并记录各切片在原合同图片中的位置信息,得到表格切片的位置信息和非表格切片的位置信息;如果合同图片中不含表格,整张合同图片就作为一个非表格切片;
2)对步骤1)得到的表格切片进行单元格检测,根据检测结果对表格切片中的单元格进行切片,得到单元格切片,每个单元格切片仅包含原表格样式中的一个单元格,并且记录单元格切片在表格切片中的位置信息,得到单元格位置信息;
3)对步骤2)产生的单元格切片进行文本识别,得到单元格的文本信息,并对步骤1)产生的非表格切片进行文本识别,得到非表格切片的文本信息;
4)结合步骤3)得到的单元格的文本信息以及步骤2)得到的单元格位置信息,得到结构化的表格信息,再结合步骤3)得到的非表格切片的文本信息和步骤1)得到的表格切片的位置信息和非表格切片的位置信息,得到整张合同图片的识别结果。
2.根据权利要求1所述的针对带表格合同的ocr识别方法,其特征在于,步骤1)中,所述的表格检测采用训练后的表格检测模型,表格检测模型的训练过程包括:
1.1)将模板合同转换成docx格式的word文档,在word文档中插入表格,插入表格后的word文档解压出document.xml文件,然后操作文档里面的document.xml文件,将表格外框修改成特定颜色,得到表格外框修改成特定颜色的word文档;
1.2)将表格外框修改成特定颜色的word文档转换成pdf文档,利用pdf转图片工具转换成合同图片,然后对合同图片进行矩形识别,得到表格在合同图片中的位置和大小,再将未修改的word文档转换成图片,得到标注数据;
1.3)在不同的模板合同中不同位置插入不同类型的表格,重复步骤1.1)和1.2)得到不同的标注数据;
1.4)利用步骤1.2)和1.3)得到的标注数据训练表格检测模型,得到训练后的表格检测模型。
3.根据权利要求2所述的针对带表格合同的ocr识别方法,其特征在于,步骤1.2)中,对图片进行矩形识别采用基于opencv库的矩形识别方法。
4.根据权利要求2所述的针对带表格合同的ocr识别方法,其特征在于,步骤1.4)中,所述的表格检测模型为yolov4。
5.根据权利要求1所述的针对带表格合同的ocr识别方法,其特征在于,步骤2)中,所述的单元格检测采用训练后的表格单元格检测模型,表格单元格检测模型的训练过程包括:
2.1)在空白的docx格式word文档中插入表格,插入表格后的word文档解压出document.xml文件,然后操作文档里面的document.xml文件,将表格线框修改成特定颜色,得到表格线框修改成特定颜色的word文档;
2.2)将表格线框修改成特定颜色的word文档转换成pdf文档,利用pdf转图片工具转换成合同图片,然后对合同图片进行矩形识别,得到表格在合同图片中的位置和大小,再将未修改的word文档转换成图片,得到标注数据;
2.3)利用步骤2.2)的标注数据训练表格单元格检测模型,得到训练后的表格单元格检测模型。
6.根据权利要求5所述的针对带表格合同的ocr识别方法,其特征在于,步骤2.2)中,对图片进行矩形识别采用基于opencv库的矩形识别方法。
7.根据权利要求5所述的针对带表格合同的ocr识别方法,其特征在于,步骤2.3)中,所述的表格单元格检测模型为yolov4。
8.根据权利要求1所述的针对带表格合同的ocr识别方法,其特征在于,步骤3)中,对步骤2)产生的单元格切片进行文本识别采用训练后的表格单元格识别模型,表格单元格识别模型的训练过程具体包括:
3.1)根据常用于表格中的字符及组合生成文字图片,得到标注数据;
3.2)采用标注数据训练表格单元格识别模型,得到训练后的表格单元格识别模型。
9.根据权利要求8所述的针对带表格合同的ocr识别方法,其特征在于,步骤3.2)中,表格单元格识别模型采用crnn+ctc模型。