技术特征：
1.一种智能化印章识别方法，其特征在于：包括：印章区域定位过程、印章图像预处理、模型预训练过程以及印章文本生成过程；所述印章区域定位过程具体为获取待识别的印章图像，自动定位印章区域的位置；所述印章图像预处理包括两次预处理，通过对印章图像进行第一次预处理，获得清晰、准确的印章图像；然后通过对印章图像进行第二次预处理，使其满足骨干网络的输入格式；所述模型预训练过程为多模态网络训练，包括印章图像模型训练、印章文本模型训练以及训练模型匹配程度判断；具体为：a、印章图像模型训练：采用骨干网络对预处理后的印章图像进行图片特征的提取，然后通过全连接层对提取的图片特征维度进行重映射，再对重映射后的向量个数进行随机重采样；b、印章文本模型训练：b1、mask predict训练：随机选取印章图像的印章文本20%～30%作为网络预测对象，对文本侧采用mask predict的方式进行训练；b2、shift predict训练：b
21
、采用seq
‑
to
‑
seq lm的模式、即左侧字符对右侧字符和网络信息不可见，从而对步骤b1中训练后的文本进行训练；b
22
、在步骤b
21
训练过程中，同时在模型的输入过程加入少许噪声，从而确保训练过程中识别更多的字符；b3、unilm训练：进行步骤b1与步骤b2的往复循环训练，直至完成最终的文本侧训练；c、训练模型匹配程度判断：模型融合：采用bert多模态模型融合步骤a中印章图像模型训练后的图片特征以及步骤b中印章文本模型训练的文本特征，设定分类函数loss，loss值误差反向传播，更新权重参数，不断迭代训练分类网络，直至误差收敛、loss值不再下降，完成学习；所述印章文本生成过程具体为：将步骤b中编码后的图片特征输入到bert多模态模型编码器，bert多模态模型解码器逐步输出识别的字符直到结束符号。2.根据权利要求1所述的一种智能化印章识别方法，其特征在于：所述自动定位印章区域的步骤具体为：采用图像处理方法保证图片中的印章区域为整个印章的完整区域、且印章区域面积在图像面积的占比大于25%。3.根据权利要求1或2任一项所述的一种智能化印章识别方法，其特征在于：所述第一次预处理为采用目标检测、裁剪、图像分割的方式，将图片边界定位到印章图像的边界，同时进行去噪处理；所述裁剪采用局部二值化处理的方法。4.根据权利要求1～3任一项所述的一种智能化印章识别方法，其特征在于：所述第二次预处理采用缩放、填充的操作；所述缩放具体为将所有图像等长宽比例调整（resize）到同样的尺寸，多余的面积采用黑色进行填充。5.根据权利要求1所述的一种智能化印章识别方法，其特征在于：所述骨干网络采用resnet或vgg网络模型中的任一种。6.根据权利要求1所述的一种智能化印章识别方法，其特征在于：所述分类函数loss采用二分类交叉熵损失函数，其具体步骤为：所述bert模型输出2*1的向量，分别代表匹配与不匹配的置信度；采用softmax层将置信度归一化到0～1的范围内、并让置信度总和为1，输
出归一化后匹配与不匹配的置信度；最后将置信度采用二分类交叉熵损失函数来表示模型的损失。
技术总结
本发明提供一种智能化印章识别方法，包括印章区域定位过程、印章图像预处理、模型预训练过程以及印章文本生成过程；其中，模型预训练过程为多模态网络训练，包括印章图像模型训练、印章文本模型训练以及训练模型匹配程度判断。该方法通过以BERT模型的多模态模型为基础，图像端输入骨干网络编码的图像特征，文本端用uniLM生成网络模型；通过印章图像自动构建方法，生成训练数据作为补充，训练包括图像和文本匹配的预训练；测试时，通过输入编码后的印章图像，逐步输出识别的字符直到结束符号；该方法相对现有技术的图像矫正+通用OCR识别方法，没有误差累积，同时多模态语言模型对公司名中的相似字有更高的识别率及准确率。公司名中的相似字有更高的识别率及准确率。公司名中的相似字有更高的识别率及准确率。
技术研发人员：吴乐琴 覃勋辉 刘科 申发海
受保护的技术使用者：傲雄在线（重庆）科技有限公司
技术研发日：2021.06.07
技术公布日：2021/10/26