多模态融合的保单图片识别方法及系统与流程

本发明涉及保单识别，具体为多模态融合的保单图片识别方法及系统。

背景技术：

1、保险单，简称保单，是保险人与投保人签订保险合同的书面证明，其主要内容包括：双方对有关保险标的事项的说明、双方的权利和义务以及附注条件。传统服务中，保险用户为了确定自己所购买的保险产品是否合适，需要将保单中关键信息告知保险业务人员，以执行后续的保险业务(如保险咨询业务、保险评估业务等)，该服务方式不仅需要保险用户高度配合，以确保上传的关键信息准确，且需要大量人为操作，效率极低。随着科技的不断发展，这种传统的服务方式正逐渐被自动识别服务取代。

2、就比如申请号为202310088705.2的专利文件公开了保单识别方法、装置、设备及计算机可读存储介质，该专利通过将待识别的保单图片上传至所述客户端的第一ocr识别模型，可通过第一ocr识别模型自动地对所述保单图片进行识别，获得第一保单识别文本，然后根据第一保单识别文本和所述保单图片，提取出保单中的关键信息，可避免保险用户或保险业务人员人为确定保单关键信息，提高了保单关键信息的确定效率和准确率，有利于快速执行后续的保险业务。

3、但类似于上述文件的现有保单识别技术依然存在以下不足：

4、现有的保单识别技术只能对单个模态的信息进行提取，而单个模态通常不能包含产生精确识别结果所需的全部有效信息，导致信息识别技术的鲁棒性较差，影响识别结果的精度，无法精确识别、获取保单的信息。

5、因此，急需对此缺点进行改进，本发明则是针对现有的结构及不足予以研究改良，提供有多模态融合的保单图片识别方法及系统。

技术实现思路

1、本发明的目的在于提供多模态融合的保单图片识别方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：多模态融合的保单图片识别方法，包括以下具体步骤：

3、s1、识别逻辑设计：

4、对计算机内的程序参数进行识别逻辑设计，确定识别流程，创建各流程所涉及软件之间的关联，并录入保单类型以及其对应的信息区域识别模板；

5、s2、保单类型确定：

6、通过各种获取途径获取保单图片，发送给计算机，预处理后，利用条码扫描软件依次扫描各保单图片上的条形码，获得保单号码信息，结合保单号码的编码规则，得出保单类型；

7、s3、图片分区扫描：

8、根据保单类型自动匹配对应的信息区域识别模板，并根据信息区域识别模板，采用不同的识别技术对保单图片各个区域进行扫描识别，识别出区域内的模态数据，提取相应的特征；

9、s4、特征融合与识别：

10、通过加权平均对各模态的特征进行融合，产生融合特征，并使用主成分分析和线性判别分析对融合特征进行降维处理，再将其作为输入数据输入到深度学习模型中，输出识别结果。

11、进一步的，所述步骤s2中，保单图片的获取途径包括但不限于图片上传、保单拍摄以及文件扫描。

12、进一步的，所述步骤s2中，预处理包括图片筛查和图片处理，且图片筛查是通过检查删除重复保单图片，并通过检验图片清晰度，剔除清晰度低的保单图片，图片剔除标准是dpi≥600x600dpi，图片处理是通过图片处理软件，对图片进行裁剪、修复、编辑、调色、抠图操作。

13、进一步的，所述步骤s2中，一种保单类型至少对应有一种编码规则，满足其中任一编码规则的保单号码均属于同一保单类型，且不同保单类型所对应的编码规则之间不存在重叠。

14、进一步的，所述步骤s3中，不同区域的识别出的模态数据类型不同，且每个区域有且只会识别出一种模态数据。

15、进一步的，所述步骤s3中，模态数据类型包括文本数据、图形数据、签名数据和图章数据，对于文本数据可以提取文本内容、字体类型、字体颜色和字体大小特征，对于图形数据可以提取图元位置、位数和形状特征，对于签名数据可以提取形状、纹理、大小和位置特征，对于图章数据可以提取形状、纹理、颜色和位置特征。

16、进一步的，所述步骤s4中，模态表示的融合方式包括但不限于对各模态表示进行相同位置元素的相乘或相加、构建编码器-解码器结构和用lstm作神经网络进行信息整合，所述lstm作神经网络通过引入门控机制来控制信息的累积速度，包括有选择地加入新的信息，并有选择地遗忘之前累积的信息，由此改善循环神经网络的长程依赖问题以及缓解长序列训练过程中的梯度消失问题，且lstm作神经网络由细胞状态、输入门、遗忘门和输出门组成，其中，输入门包含两个部分，一个是sigmoid激活函数，用于决定什么样的输入信息会被更新，且sigmoid输出的向量为：i(t)＝sigmoid(witst-1+uitxt+bi)，一个是tanh部分，用于构建出一个新的候选值向量，加入到当前细胞状态中，且tanh输出的向量为：

17、进一步的，所述步骤s4中，深度学习模型包括但不限于卷积神经网络模型、循环神经网络模型，利用深度学习模型可对多模态数据进行学习和特征提取，所述卷积神经网络模型包括如下公式：

18、卷积公式：输出＝输入*卷积核+偏置项；

19、池化公式：最大池化：输出＝max(输入)；

20、平均池化：输出＝sum(输入)/count(输入)；

21、批量归一化公式：

22、输出＝[输入-mean(输入)]/sqrt[variance(输入)+ε]；

23、输出＝γ*[输入-mean(输入)]/sqrt[variance(输入)+ε]+β；

24、其中，γ和β是批量归一化层的两个可学习的参数，ε是一个样本数据；

25、所述循环神经网络模型由输入层、隐藏层和输出层组成，且循环神经网络模型包括如下公式：

26、

27、其中，xt表示t时刻接收到输入数据，st表示隐藏层的值，ot表示输出值，st的值不仅仅取决于xt，还取决于st-1。

28、多模态融合的保单图片识别系统，应用于服务器，所述系统包括：

29、图片获取模块，所述图片获取模块用于通过各种获取途径获取保单图片；

30、预处理模块，所述预处理模块用于对获得的原始保单图片进行筛查和处理，去除重复或无用的保单图片，并对保留的保单图片进行软件处理；

31、条码扫描模块，所述条码扫描模块用于扫描各保单图片上的条形码，获得保单号码信息，结合保单号码的编码规则，得出保单类型；

32、模板匹配模块，所述模板匹配模块用于根据保单类型自动匹配对应的信息区域识别模板；

33、分区扫描模块，所述分区扫描模块用于根据信息区域识别模板，采用不同的识别技术对保单图片各个区域进行扫描识别，识别出区域内的模态数据，提取相应的特征；

34、特征融合模块，所述特征融合模块用于对各模态的特征进行融合，产生融合特征；

35、信息识别模块，所述信息识别模块用于降维处理融合特征后，将其作为输入数据输入到深度学习模型中，得出保单图片的识别结果。

36、进一步的，所述系统包括：

37、处理器，用于执行计算机指令，使所述系统执行：图片获取模块、预处理模块、条码扫描模块、模板匹配模块、分区扫描模块、特征融合模块和信息识别模块；

38、存储器，用于存储计算机识别逻辑，所述存储器上存储有计算机程序，该计算机程序被处理器执行时实现多模态融合的保单图片识别方法。

39、本发明提供了多模态融合的保单图片识别方法及系统，具备以下有益效果：

40、本发明通过扫描条形码获得保单号码信息，并结合保单号码的编码规则，得出保单类型，匹配对应的信息区域识别模板，以便采用不同的识别技术对保单图片各个区域进行扫描识别，获得各区域内的模态数据，再通过提取相应的特征进行特征融合，缓解了各模态中原始数据间的不一致性问题，然后将产生的融合特征降维处理后，作为输入数据输入到深度学习模型中，得出保单图片的识别结果，改进后的识别方法及系统通过将不同模态的数据进行联合分析和融合，结合了来自两个或多个模态的信息，实现信息补充，利用多模态融合拓宽输入数据所包含信息的覆盖范围，以实现更准确、更全面的信息理解，提升识别结果的精度，提高识别模型的鲁棒性，从而达到精确识别、获取保单信息的目的。