单据审核方法、装置、计算机设备及存储介质与流程

本发明涉及数据处理领域，尤其涉及一种单据审核方法、装置、计算机设备及存储介质。

背景技术：

随着科学技术的发展，需要对各种文档图像、单据图像进行审核的场景也越来越多，比如，很多场景下需要审核验证各类人员的填报单据的图像，以确定其中信息是否有误，工作量极大，且在各类人员的填报单据中，往往会出现手写的字符，目前，对于手写字符的识别，需要人工识别，存在一定的识别错误率；现有技术中，也会通过ocr(opticalcharacterrecognition，光学字符识别)技术识别单据图像，由于现有的ocr技术是逐个字符进行识别，因此其对字符(特别是手写字符)识别的响应时间较长且程序容量及负载大，加重了服务器的运行，导致识别效率存在瓶颈且服务器会超负载运作，最终影响审核效率，导致客户满意度差。

技术实现要素：

本发明提供一种单据审核方法、装置、计算机设备及存储介质，实现了自动识别单据中的字符串并对该字符串进行审核，达到自动审核单据的效果，大大缩小模型的容量和简化模型的结构，能应用于移动设备中提高了识别准确率和可靠性，并提升了客户的满意度。

一种单据审核方法，包括：

接收到单据审核指令之后，获取与所述单据审核指令关联的待审核单据图像；所述单据审核指令包括单据号、对象的身份证号码和对象的银行卡号码；

将所述待审核单据图像输入字符串区域识别模型，通过yolo算法，获取所述字符串区域识别模型识别出的所述待审核单据图像中至少三个字符串区域图像；

将各个所述字符串区域图像输入训练完成的轻量字符识别模型，所述轻量字符识别模型对所述字符串区域图像进行字符特征提取，获取所述轻量字符识别模型根据提取的所述字符特征输出的识别结果；所述识别结果包括所述字符串区域图像的字符串类别和字符串信息；所述字符串类别包括单据类、身份证类和银行卡类；所述字符串信息包括与所述单据类对应的单据信息、与所述身份证类对应的身份证信息和与所述银行卡类对应的银行卡信息；所述轻量字符识别模型为基于shufflenet模型的神经网络模型；

判断所述单据信息与所述单据号是否相同，得到第一判别结果，以及判断所述身份证信息与所述身份证号码是否相同，得到第二判别结果，同时判断所述银行卡信息与所述银行卡号码是否相同，得到第三判别结果；

若所述第一判别结果、所述第二判别结果和所述第三判别结果均为相同，则确定所述待审核单据图像为审核通过。

一种单据审核装置，包括：

接收模块，用于接收到单据审核指令之后，获取与所述单据审核指令关联的待审核单据图像；所述单据审核指令包括单据号、对象的身份证号码和对象的银行卡号码；

获取模块，用于将所述待审核单据图像输入字符串区域识别模型，通过yolo算法，获取所述字符串区域识别模型识别出的所述待审核单据图像中至少三个字符串区域图像；

识别模块，用于将各个所述字符串区域图像输入训练完成的轻量字符识别模型，所述轻量字符识别模型对所述字符串区域图像进行字符特征提取，获取所述轻量字符识别模型根据提取的所述字符特征输出的识别结果；所述识别结果包括所述字符串区域图像的字符串类别和字符串信息；所述字符串类别包括单据类、身份证类和银行卡类；所述字符串信息包括与所述单据类对应的单据信息、与所述身份证类对应的身份证信息和与所述银行卡类对应的银行卡信息；所述轻量字符识别模型为基于shufflenet模型的神经网络模型；

判断模块，用于判断所述单据信息与所述单据号是否相同，得到第一判别结果，以及判断所述身份证信息与所述身份证号码是否相同，得到第二判别结果，同时判断所述银行卡信息与所述银行卡号码是否相同，得到第三判别结果；

确定模块，用于若所述第一判别结果、所述第二判别结果和所述第三判别结果均为相同，则确定所述待审核单据图像为审核通过。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述单据审核方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述单据审核方法的步骤。

本发明提供的单据审核方法、装置、计算机设备及存储介质，通过yolo算法识别出待审核单据图像中至少三个字符串区域图像(包括印刷字符串区域图像和手写字符串区域图像)，将该待审核单据图像输入基于shufflenet模型的轻量字符识别模型进行字符特征提取，获取识别结果，根据识别结果确定是否审核通过，如此，本发明实现了自动识别单据中的字符串并对该字符串进行审核，达到自动审核单据的效果，大大缩小模型的容量和简化模型的结构，能应用于移动设备中，提高了识别准确率和可靠性，并提升了客户的满意度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中单据审核方法的应用环境示意图；

图2是本发明一实施例中单据审核方法的流程图；

图3是本发明另一实施例中单据审核方法的流程图；

图4是本发明一实施例中单据审核方法的步骤s20的流程图；

图5是本发明一实施例中单据审核方法的步骤s30的流程图；

图6是本发明一实施例中单据审核方法的步骤s302的流程图；

图7是本发明一实施例中单据审核方法的步骤s30201的流程图；

图8是本发明另一实施例中单据审核方法的步骤s30的流程图；

图9是本发明一实施例中单据审核装置的原理框图；

图10是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的单据审核方法，可应用在如图1的应用环境中，其中，客户端(计算机设备)通过网络与服务器进行通信。其中，客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种单据审核方法，其技术方案主要包括以下步骤s10-s50：

s10，接收到单据审核指令之后，获取与所述单据审核指令关联的待审核单据图像；所述单据审核指令包括单据号、对象的身份证号码和对象的银行卡号码。

可理解地，在工作人员填写完单据后并拍摄填写完的单据的图像之后，提交拍摄后的待审核单据图像进行审核，触发所述单据审核指令，其中，所述单据审核指令与所述待审核单据图像关联，所述单据审核指令包括单据号、对象的身份证号码和对象的银行卡号码，所述待审核单据图像包含有单据号、对象的身份证号码和对象的银行卡号码的填写内容(包括印刷内容和手写内容)，例如：用户在贷款申请的时候，工作人员需要将贷款合同号、贷款人的身份证号码和贷款人的银行卡号码进行填写；工作人员在为客户申请车险理赔单据时，需要填写理赔单据号、客户的身份证号码和客户的银行卡号码等等。

其中，所述单据号为预设的固定长度，所述对象的身份证号码为18位由数字和字母构成的字符串，所述对象的银行卡号码为16位由数字构成的字符串。

s20，将所述待审核单据图像输入字符串区域识别模型，通过yolo算法，获取所述字符串区域识别模型识别出的所述待审核单据图像中至少三个字符串区域图像。

可理解地，所述yolo(youonlylookonce)算法为对输入的图像进行网格分割后进行网格识别，监测出需识别物体的区域的算法，所述字符串区域识别模型为训练完成的基于yolo的神经网络模型，所述字符串区域识别模型通过对所述待审核单据图像进行提取字符串特征，所述字符串特征为连续的数字或字母组成的字符串的图像特征，所述字符串区域识别模型根据所述字符串特征识别出所述待审核单据图像中的至少三个所述字符串区域图像，所述字符串区域图像包括含有单据号内容的单据号图像、含有身份证号码内容的身份证号码图像和含有银行卡号码内容的银行卡号码图像，所述字符串区域图像包括印刷字符串区域图像和手写字符串区域图像，所述印刷字符串区域图像为含有印刷出来的字符串的区域范围的图像，所述手写字符串区域图像为含有手写的字符串的区域范围的图像。

在一实施例中，如图4所示，所述步骤s20中，即所述通过yolo算法，获取所述字符串区域识别模型识别出的所述待审核单据图像中多个字符串区域图像，包括：

s201，所述字符串区域识别模型中的预处理模型对所述待审核单据图像进行灰度处理，得到灰度图像。

可理解地，所述字符串区域识别模型包括所述预处理模型，所述预处理模型对所述待审核单据图像进行灰度处理，所述灰度处理为对所述待审核单据图像的每个像素点进行灰度化处理，所述灰度图像为所述待审核单据图像经过灰度处理之后的图像，如此，通过所述灰度处理，能够将所述待审核单据图像的字符串效果更加明显，让识别更加可靠。

s202，将所述灰度图像输入所述字符串区域识别模型中的yolo识别模型。

可理解地，所述字符串区域识别模型还包括所述yolo识别模型，所述yolo识别模型为基于yolo算法的神经网络模型，所述yolo识别模型的网络结构可以根据需求进行设定，比如所述yolo识别模型的网络结构为yolov1、yolov2、yolov3网络结构等等，作为优选，所述yolo识别模型的网络结构为yolov3网络结构，如此，通过所述yolo识别模型识别出的区域更加准确和高效。

s203，通过yolo算法，所述yolo识别模型根据对所述灰度图像中的字符串特征进行提取，获取所述灰度图像中的含有字符串的标识区域。

可理解地，所述字符串特征为连续的数字或字母组成的字符串的图像特征，通过yolo算法，对所述灰度图像中的字符串进行识别，并将在所述灰度图像中识别出的区域标记为标识区域。

s204，截取所述标识区域为所述字符串区域图像。

可理解地，对所述灰度图像中识别出的所述标识区域进行截取，并将截取后的所述标识区域确定为所述字符串区域图像。

本发明通过预处理模型对所述待审核单据图像进行灰度处理，得到灰度图像，并输入所述字符串区域识别模型中的yolo识别模型；通过yolo算法，对所述灰度图像中的字符串特征进行提取，获取含有字符串的标识区域；截取出所述字符串区域图像，如此，实现了通过灰度处理和yolo算法，能够快速地、准确地识别出待审核单据图像中的字符串区域图像，提高了识别准确率和可靠性。

s30，将各个所述字符串区域图像输入训练完成的轻量字符识别模型，所述轻量字符识别模型对所述字符串区域图像进行字符特征提取，获取所述轻量字符识别模型根据提取的所述字符特征输出的识别结果；所述识别结果包括所述字符串区域图像的字符串类别和字符串信息；所述字符串类别包括单据类、身份证类和银行卡类；所述字符串信息包括与所述单据类对应的单据信息、与所述身份证类对应的身份证信息和与所述银行卡类对应的银行卡信息；所述轻量字符识别模型为基于shufflenet模型的神经网络模型。

可理解地，所述字符特征为字母和数字的印刷及手写的图像特征，所述字符特征还包括图像长度特征，因为一个字符串对应的印刷字符串区域图像与对应的手写字符串区域图像的尺寸接近，之间符合预设的公差范围内，所述公差范围可以根据需求进行设定，通过将符合所述公差范围内的含有字符串(包括身份证号码、银行卡号码和单据号等等)的样本对所述轻量字符识别模型进行训练获得训练完成的轻量字符识别模型，所述轻量字符识别模型提取各个所述字符串区域图像(包括所述单据号图像、所述身份证号码图像和所述银行卡号码图像)的字符特征，根据所述字符特征进行预测并输出所述识别结果，因此，所述字符识别模型对印刷的字符串和手写的字符串都可以进行快速识别，不需要进行逐个字符拆分后再逐个字符识别的操作，也不需要对印刷和手写的区分识别处理，大大简化了神经网络的网络结构和大大降低了模型的容量；所述识别结果包括所述字符串区域图像的字符串类别和字符串信息；所述字符串类别包括单据类、身份证类和银行卡类；所述单据类为含有单据号的类别，所述身份证类为含有身份证号码的类别，所述银行卡类为含有银行卡号码的类别，所述字符串信息包括与所述单据类对应的单据信息、与所述身份证类对应的身份证信息和与所述银行卡类对应的银行卡信息，所述单据信息为识别出的单据号的信息，所述身份证信息为识别出身份证号码的信息，所述银行卡信息为识别出银行卡号码的信息。

其中，所述轻量字符识别模型为基于shufflenet模型的神经网络模型，所述shufflenet模型为包含基本resnet轻量级结构的模型，所述shufflenet模型为轻量级的神经网络模型，能够保持精度的同时大大降低了模型的计算量，因此大大缩小了神经网络的容量大小，可以应用在移动设备上减轻服务器的容量及运行负荷(即通过移动设备上进行运行，运行之后的结果再提供给服务器进行处理的操作)；所述shufflenet模型的网络结构可以根据需求进行设定，比如所述shufflenet模型的网络结构可以为shufflenetv1网络结构，也可以为shufflenetv2网络结构，所述shufflenet模型的网络结构还可以为首先是通道拆分(channelsplit)，分出两个分支，将其中一个分支路径设置为输入一个1×1卷积，连接着是一个3×3的深度卷积(dwconv，depthwiseconvolution)(主要是为了降低计算量)，再连接着另一个1×1卷积，最后进行一个短路连接，将所述另一个1×1卷积输出结果与另一个分支进行耦合，最后通过一个通道洗牌(channelshuffle，即为随机打乱通道次序)输出最终结果的网络结构。

在一实施例中，如图5所示，所述步骤s30中，即所述轻量字符识别模型对所述字符串区域图像进行字符特征提取，获取所述轻量字符识别模型根据提取的所述字符特征输出的识别结果，包括：

s301，将所述字符串区域图像输入所述轻量字符识别模型中的第一卷积层，所述第一卷积层对所述字符串区域图像进行压缩以及增维处理，得到第一字符特征图。

可理解地，所述轻量字符识别模型包括第一卷积层、第二卷积层、池化层、全连接层和输出层，所述第一卷积层可以根据需求进行设定，比如所述第一卷积层可以设定为一个单卷积层(3×3×24的卷积核，步长为2)，也可以设定为一个卷积层(3×3的卷积核)之后连接一个最大池化层(3×3池化)等等，通过综合字符的特性，优选地，所述第一卷积层为一个单卷积层，所述第一卷积层对所述字符串区域图像进行压缩及增维处理，即对所述字符串区域图像经过3×3×24卷积核的处理，能够将所述字符串区域图像的尺寸大小缩小并将所述字符串区域图像的维度(通常为3个维度)增加至数量为24个的维度，从而生成所述第一字符特征图，所述第一字符特征图为多维度的数值化的矩阵数组。

s302，将所述第一字符特征图输入所述轻量字符识别模型中的第二卷积层，所述第二卷积层对所述第一字符特征图进行字符特征提取，得到第二字符特征图；所述第二卷积层为基于向下采样模型和shufflenet模型的卷积层。

可理解地，所述第二卷积层包含有多个不同通道参数的向下采样模型和多个不同卷积核参数的shufflenet模型，所述向下采样模型的作用为缩小特征图大小同时添加通道(也为全文中的维度)，并提取更宽泛的特征，也即提高了整体模型的容错性，所述shufflenet模型最大作用为特征提取，能够更加精准的抓取特征；所述字符特征为字母和数字的印刷及手写的图像特征，所述字符特征还包括图像长度特征，所述第二字符特征图为经过对第一字符特征图进行字符特征提取后的矩阵数组。

在一实施例中，如图6所示，所述步骤s302中，即所述将所述第一字符特征图输入所述轻量字符识别模型中的第二卷积层，所述第二卷积层对所述第一字符特征图进行字符特征提取，得到第二字符特征图，包括：

s30201，将所述第一字符特征图输入所述第二卷积层中的第一融合模型，所述第一融合模型对所述第一字符特征图进行下采样处理及特征提取处理，得到第一融合特征图；所述第一融合模型包括一个第一向下采样模型和一个第一shufflenet模型。

可理解地，所述第二卷积层包括第一融合模型、第二融合模型和第三融合模型，所述第一融合模型、所述第二融合模型和所述第三融合模型均为基于向下采样模型和所述shufflenet模型进行构建的模型，所述第一融合模型包含所述第一向下采样模型和所述第一shufflenet模型，所述第一向下采样模型为含有第一采样参数的向下采样模型，所述向下采样模型为预设的卷积神经网络模型，所述向下采样模型包括通用模块和增强模块，所述通用模块和所述增强模块分别对输入的特征图进行处理以增加特征图的通道数及突显所述字符特征，将所述第一向下采样模型的网络结构和参数确定为第一通道参数，所述第一通道参数可以根据需求进行设定，所述第一通道参数包括所述通用模块和所述增强模块的所有参数，所述通用模块可以包括一个3×3的卷积核和一个1×1的卷积核，所述增强模块为在所述通用模块之前增加一个1×1的卷积核，所述第一向下采样模型对所述第一字符特征图进行下采样处理，所述下采样为也称为子采样或降采样，指通过卷积抽取出特征图中的特征值及降低特征图的通道(即维度)，以有效减少通道的同时防止过拟合现象。

其中，所述第一shufflenet模型为基于shufflenet模型的神经网络模型，所述第一所述shufflenet模型接收所述第一向下采样模型的输出结果，并对其进行特征提取处理，所述特征提取为对所述字符特征进行提取，所述第一shufflenet模型的网络结构可以根据需求进行设定，比如所述第一shufflenet模型的网络结构可以为shufflenetv1或者shufflenetv2的网络结构，作为优选，所述第一shufflenet模型的网络结构由三个shufflenetv2的网络结构进行拼接的网络结构。

在一实施例中，如图7所示，所述步骤s30201中，即所述将所述第一字符特征图输入所述第二卷积层中的第一融合模型，所述第一融合模型对所述第一字符特征图进行下采样处理及特征提取处理，得到第一融合特征图，包括：

s302011，将所述第一字符特征图输入所述第一向下采样模型中的通用模块，以及将所述第一字符特征图输入所述第一向下采样模型中的增强模块。

可理解地，所述通用模块包含有一个3×3的卷积核、步长为2的卷积和一个1×1的卷积核、步长为1的卷积，所述增强模块包含一个1×1的卷积核、步长为1的卷积、一个3×3的卷积核、步长为2的卷积和一个1×1的卷积核、步长为1的卷积，即所述增强模块在所述通用模块之前增加了一个1×1的卷积核、步长为1的卷积，所述通用模块和所述增强模块分别对所述第一字符特征图进行处理。

s302012，所述通用模块对所述第一字符特征图进行缩小特征图处理，得到通用矩阵，同时所述增强模块对所述第一字符特征图进行缩小特征图处理及增强处理，得到增强矩阵。

可理解地，所述缩小特征图处理为对所述第一字符特征图进行卷积处理，将所述第一字符特征图的尺寸进行缩小，所述通用矩阵为所述第一字符特征图经过所述通用模块进行缩小特征图处理后得到的矩阵数组，所述增强处理为通过一个1×1的卷积核、步长为1的卷积对所述第一字符特征图进行卷积处理，突显所述字符特征，所述增强矩阵为所述第一字符特征图经过所述增强模块进行缩小特征图处理及增强处理后得到的矩阵数组。

s302013，将所述通用矩阵与所述增强矩阵进行融合，得到融合矩阵。

可理解地，所述融合为通道之间的合并，例如：一个2通道的特征图与一个2通道的特征图进行融合得到一个4通道的特征图，将所述通用矩阵和所述增强矩阵进行通道合并，得到所述融合矩阵，所述融合矩阵的通道数为所述通道矩阵的通道数和所述增强矩阵的通道数之和。

s302014，根据预设的第一抽取参数，对所述融合矩阵进行通道抽取处理，得到第一特征图。

可理解地，所述第一抽取参数为在所有通道数中随机抽取的个数，对所述融合矩阵按照所述第一抽取参数进行抽取，得到所述第一特征图，所述通道抽取处理指对所有通道数随机进行抽取的操作，所述第一特征图为对所述融合矩阵进行通道抽取之后的矩阵数组。

s302015，将所述第一特征图输入所述第一shufflenet模型，所述第一shufflenet模型对所述第一特征图进行字符特征提取，得到所述第一融合特征图。

可理解地，所述第一shufflenet模型由三个不同卷积核的shufflenet模型构成的神经网络模型，所述第一shufflenet模型的网络结构由三个shufflenetv2的网络结构进行拼接的网络结构，所述第一shufflenet模型对所述第一特征图进行所述字符特征提取，得到所述第一融合特征图。

本发明通过将所述第一字符特征图输入所述第二卷积层中的第一融合模型，所述第一融合模型对所述第一字符特征图进行下采样处理及特征提取处理，得到第一融合特征图；将所述第一融合特征图输入所述第二卷积层中的第二融合模型，所述第二融合模型对所述第一融合特征图进行下采样处理及特征提取处理，得到第二融合特征图；将所述第二融合特征图输入所述第二卷积层中的第三融合模型，所述第三融合模型对所述第二融合特征图进行下采样处理及特征提取处理，得到第二字符特征图，如此，实现了通过将向下采样模型和shufflenet模型进行融合，对所述第一字符特征图进行下采样处理和所述字符特征提取，得到第二字符特征图，突显了所述字符特征，提高了识别的准确率和可靠性，并提高了识别效率。

s30202，将所述第一融合特征图输入所述第二卷积层中的第二融合模型，所述第二融合模型对所述第一融合特征图进行下采样处理及特征提取处理，得到第二融合特征图；所述第二融合模型包括一个第二向下采样模型和一个第二shufflenet模型。

可理解地，所述第二融合模型包含所述第二向下采样模型和所述第二shufflenet模型，所述第二向下采样模型为含有第二采样参数的向下采样模型，所述第二采样参数可以跟所述第一采样参数相同，也可以与所述第一采样参数不相同，所述第二向下采样模型对所述第一融合特征图进行下采样处理，所述第二shufflenet模型为基于shufflenet模型的神经网络模型，所述第二所述shufflenet模型接收所述第二向下采样模型的输出结果，并对其进行特征提取处理，所述第二shufflenet模型的网络结构可以根据需求进行设定，比如所述第二shufflenet模型的网络结构可以为shufflenetv1或者shufflenetv2的网络结构，作为优选，所述第二shufflenet模型的网络结构由七个shufflenetv2的网络结构进行拼接的网络结构。

s30203，将所述第二融合特征图输入所述第二卷积层中的第三融合模型，所述第三融合模型对所述第二融合特征图进行下采样处理及特征提取处理，得到第二字符特征图；所述第三融合模型包括一个第三向下采样模型和一个第三shufflenet模型。

可理解地，所述第三融合模型包含所述第三向下采样模型和所述第三shufflenet模型，所述第三向下采样模型为含有第三采样参数的向下采样模型，所述第三采样参数可以跟所述第一采样参数或所述第二采样参数相同，也可以与所述第一采样参数或所述第二采样参数不相同，所述第三向下采样模型对所述第二融合特征图进行下采样处理，所述第三shufflenet模型为基于shufflenet模型的神经网络模型，所述第三所述shufflenet模型接收所述第三向下采样模型的输出结果，并对其进行特征提取处理，所述第三shufflenet模型的网络结构可以根据需求进行设定，比如所述第三shufflenet模型的网络结构可以为shufflenetv1或者shufflenetv2的网络结构，作为优选，所述第三shufflenet模型的网络结构由三个shufflenetv2的网络结构进行拼接的网络结构。

本发明通过不同通道参数的向下采样模型进行缩小特征图大小同时添加通道(即维度)，并提取更宽泛的特征，也即提高了整体模型的容错性，以及通过不同卷积核参数的shufflenet模型进行特征提取，能够更加精准的抓取特征，提高了识别准确率和可靠性。

s303，将所述第二字符特征图输入所述轻量字符识别模型中的池化层，所述池化层对所述第二字符特征图进行池化处理，得到第三字符特征图。

可理解地，所述池化处理的方法可以根据需求进行设定，比如池化处理可以为平均池化，也可以为最大池化等等，所述池化处理的作用为对所述第二字符特征图降维处理，所述第三字符特征图为一个一维矩阵数组。

s304，将所述第三字符特征图输入所述轻量字符识别模型中的全连接层，所述全连接层对所述第三字符特征图进行特征连接，得到连接矩阵。

可理解地，所述特征连接为将获得的特征向量值映射到样本标记空间的位置，并且进行加权汇总，将这些特征向量进行连接，通过所述全连接层对所述第三字符特征图进行特征连接，得到所述连接矩阵，所述连接矩阵为排序后的一维矩阵数组。例如：通过160个1×1×1的3维卷积核进行卷积后连接成一个一维的160个的向量组。

s305，将所述连接矩阵输入所述轻量字符识别模型中的输出层，所述输出层对所述连接矩阵进行预测分类处理，得到识别结果。

可理解地，所述输出层对所述连接矩阵进行预测分类处理，所述预测分类处理为对所述连接矩阵中的数值进行分类及预测，即为softmax处理，最后得到识别结果。

本发明通过将所述字符串区域图像输入第一卷积层，对所述字符串区域图像进行压缩以及增维处理，得到第一字符特征图，以及输入第二卷积层，对所述第一字符特征图进行字符特征提取，得到第二字符特征图；所述第二卷积层为基于向下采样模型和shufflenet模型的卷积层；将所述第二字符特征图输入池化层，对所述第二字符特征图进行池化处理，得到第三字符特征图；将所述第三字符特征图输入全连接层，对所述第三字符特征图进行特征连接，得到连接矩阵；将所述连接矩阵输入输出层，所述输出层对所述连接矩阵进行预测分类处理，得到识别结果，如此实现了通过提取字符特征，并根据字符特征快速地、准确地识别出字符串区域图像(包括印刷字符串区域图像和手写字符串区域图像)中的字符串，无需逐个字符拆分后再逐个字符识别的操作，也无需对印刷和手写的区分识别处理，大大简化了神经网络的网络结构和大大降低了模型的容量，易于应用至移动设备。

在一实施例中，如图8所示，所述步骤s30之前，即所述将各个所述字符串区域图像输入基于shufflenet模型的轻量字符识别模型之前，包括：

s306，获取字符串图像样本集；所述字符串图像样本集含有多个字符串图像样本，所述字符串图像样本与一个字符串标签关联，所述字符串图像样本包括含有印刷字符的印刷样本和含有手写字符的手写样本。

可理解地，所述字符串图像样本集包含有至少一个所述字符串图像样本，每个所述字符串图像样本都关联一个所述字符串标签，所述字符串图像样本包括所述印刷样本和所述手写样本，所述字符串标签为对应的所述字符串图像样本中包含的字符串，所述印刷样本为有印刷字符的图像，所述手写样本为人工手写的字符的图像。

s307，将所述字符串图像样本输入含有初始参数的深度卷积神经网络模型。

可理解地，所述初始参数可以根据需求进行设定，比如初始参数可以为随机参数，或者通过相同网络结构的神经网络模型中迁移学习的参数。

s308，所述深度卷积神经网络模型对所述字符串图像样本进行字符特征提取，获取所述深度卷积神经网络模型根据提取的所述字符特征输出的样本结果。

可理解地，所述样本结果为所述深度卷积神经网络模型根据提取所述字符串图像样本中的所述字符特征进行识别输出的结果。

s309，根据所述字符串图像样本的所述样本结果与所述字符串图像样本的所述字符串标签确认损失值。

可理解地，通过所述字符串图像样本的所述样本结果与所述字符串标签进行比对，确定出与之相对应的损失值，即通过所述深度卷积神经网络模型的损失函数计算出损失值。

s3010，在所述损失值达到预设的收敛条件时，将收敛之后的所述深度卷积神经网络模型记录为训练完成的轻量字符识别模型。

可理解地，所述收敛条件可以为所述损失值小于设定阈值的条件，即在所述损失值小于设定阈值时，将收敛之后的所述深度卷积神经网络模型记录为训练完成的轻量字符识别模型。

s3011，在所述损失值未达到预设的收敛条件时，迭代更新所述深度卷积神经网络模型的初始参数，直至所述损失值达到所述预设的收敛条件时，将收敛之后的所述深度卷积神经网络模型记录为训练完成的轻量字符识别模型。

如此，所述收敛条件也可以为所述损失值经过了900次计算后值为很小且不会再下降的条件，即在所述损失值经过900次计算后值为很小且不会再下降时，停止训练，并将收敛之后的所述深度卷积神经网络模型记录为训练完成的轻量字符识别模型。

如此，在所述损失值未达到预设的收敛条件时，不断更新迭代所述深度卷积神经网络模型的初始参数，可以不断向准确的识别结果靠拢，让识别结果的准确率越来越高。

s40，判断所述单据信息与所述单据号是否相同，得到第一判别结果，以及判断所述身份证信息与所述身份证号码是否相同，得到第二判别结果，同时判断所述银行卡信息与所述银行卡号码是否相同，得到第三判别结果。

可理解地，将所述单据信息与所述单据号进行对比，根据所述单据信息与所述单据号对比的结果确定所述第一判别结果，所述第一判别结果包括相同和不相同，即在所述单据信息与所述单据号相同时，所述第一判别结果为相同；将所述身份证信息与所述身份证号码进行对比，根据所述身份证信息与所述身份证号码对比的结果确定所述第二判别结果，所述第二判别结果包括相同和不相同，即在所述身份证信息与所述身份证号码相同时，所述第二判别结果为相同；将所述银行卡信息与所述银行卡号码进行对比，根据所述银行卡信息与所述银行卡号码对比的结果确定所述第三判别结果，所述第三判别结果包括相同和不相同，即在所述银行卡信息与所述银行卡号码相同时，所述第三判别结果为相同。

s50，若所述第一判别结果、所述第二判别结果和所述第三判别结果均为相同，则确定所述待审核单据图像为审核通过。

可理解地，在所述第一判别结果、所述第二判别结果和所述第三判别结果都为相同时，确定所述待审核单据图像为审核通过，并标记所述待审核单据图像为审核通过，将标记后的待审核单据图像发送至服务器。

本发明实现了通过yolo算法识别出待审核单据图像中至少三个字符串区域图像(包括印刷字符串区域图像和手写字符串区域图像)，将该待审核单据图像输入基于shufflenet模型的轻量字符识别模型进行字符特征提取，获取识别结果，根据识别结果确定是否审核通过，能够自动识别单据中的字符串并对该字符串进行审核，达到自动审核单据的效果，大大缩小模型的容量和简化模型的结构，能应用于移动设备中，提高了识别准确率和可靠性，并提升了客户的满意度。

在一实施例中，如图3所示，所述步骤s40之后，即所述判断所述银行卡信息与所述银行卡号码是否相同，得到第三判别结果之后，还包括：

s60，若所述第一判别结果、所述第二判别结果和所述第三判别结果中至少有一个为不相同，则确定所述待审核单据图像为审核不通过。

可理解地，只要所述第一判别结果、所述第二判别结果和所述第三判别结果中存在一个的结果含有不相同，就确定所述待审核单据图像为审核不通过，说明该待审核单据图像不符合要求。

本发明实现了通过所述第一判别结果、所述第二判别结果和所述第三判别结果中至少有一个为不相同，确定所述待审核单据图像为审核不通过，如此，提高了识别效率。在一实施例中，提供一种单据审核装置，该单据审核装置与上述实施例中单据审核方法一一对应。如图9所示，该单据审核装置包括接收模块11、获取模块12、识别模块13、判断模块14和确认模块15。

各功能模块详细说明如下：

接收模块11，用于接收到单据审核指令之后，获取与所述单据审核指令关联的待审核单据图像；所述单据审核指令包括单据号、对象的身份证号码和对象的银行卡号码；

获取模块12，用于将所述待审核单据图像输入字符串区域识别模型，通过yolo算法，获取所述字符串区域识别模型识别出的所述待审核单据图像中至少三个字符串区域图像；

识别模块13，用于将各个所述字符串区域图像输入训练完成的轻量字符识别模型，所述轻量字符识别模型对所述字符串区域图像进行字符特征提取，获取所述轻量字符识别模型根据提取的所述字符特征输出的识别结果；所述识别结果包括所述字符串区域图像的字符串类别和字符串信息；所述字符串类别包括单据类、身份证类和银行卡类；所述字符串信息包括与所述单据类对应的单据信息、与所述身份证类对应的身份证信息和与所述银行卡类对应的银行卡信息；所述轻量字符识别模型为基于shufflenet模型的神经网络模型；

判断模块14，用于判断所述单据信息与所述单据号是否相同，得到第一判别结果，以及判断所述身份证信息与所述身份证号码是否相同，得到第二判别结果，同时判断所述银行卡信息与所述银行卡号码是否相同，得到第三判别结果；

确定模块15，用于若所述第一判别结果、所述第二判别结果和所述第三判别结果均为相同，则确定所述待审核单据图像为审核通过。

关于单据审核装置的具体限定可以参见上文中对于单据审核方法的限定，在此不再赘述。上述单据审核装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种单据审核方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中单据审核方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中单据审核方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。