一种图像检测方法和装置与流程

本发明涉及人工智能技术领域，特别是涉及一种图像检测方法和一种图像检测装置。

背景技术：

常见证件一般都是矩形的，如身份证、银行卡、行驶证、驾驶证和营业执照等，但是用户拍照并上传的证件文本图像的角度是任意的，0到360度的情况都有可能发生。针对证件文本图像的四点定位在ocr(opticalcharacterrecognition，光学字符识)中属于非常重要的前处理步骤，四点定位后可以透过透视变换将证件变成横平竖直的归一化的矩形的文本图像，此时证件文本图像的左上角不一定是按照阅读顺序的源点。因此，能够准确定位到证件的四个顶点，并且确定哪个顶点是证件的源点就可以进行四点透视变换，将证件切出来调整成为归整的矩形，方便后续的证件保存和文字行的检测和识别等操作。

目前，常见的证件文本图像四点定位的方法主要包括两种：一种是通过检测证件文本图像的四条边，然后求其四个交点作为证件的四个顶点，但是这种方法不能确定哪个顶点是证件的源点；另一种是通过回归证件的四个顶点，这种方法回归出的第一个顶点一般是左上角，也得不到证件源点信息。

技术实现要素：

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像检测方法和相应的一种图像检测装置。

本发明实施例公开了一种图像检测方法，包括：

获取待检测图像和源点定位模型，其中，所述源点定位模型包含四点定位网络模块和源点分类网络模块；

采用所述四点定位网络模块检测所述待检测图像的四个顶点；

采用所述源点分类网络模块对所述四个顶点进行分类，得到待检测图像的源点。

可选地，所述源点定位模型通过如下方式生成：

获取训练样本和初始检测模型，其中，所述初始检测模型包含四点定位网络模块和源点分类网络模块；

对所述训练样本进行特征检测，得到特征向量；

采用所述特征向量训练所述四点定位网络模块和源点分类网络模块，得到源点定位模型。

可选地，所述方法还包括：

获取测试样本；

采用所述源点定位模型对所述测试样本进行检测，得到检测结果；

若采用所述检测结果判定所述源点定位模型满足预设验证条件，则输出所述源点定位模型；

若采用所述检测结果判定所述源点定位模型未满足预设验证条件，则重新执行所述采用所述特征向量训练所述四点定位网络模块和源点分类网络模块，得到源点定位模型的步骤。

可选地，所述初始检测模型还包含非局部特征模块，所述对所述训练样本进行特征检测，得到特征向量，包括：

采用所述非局部特征模块对所述训练样本进行特征检测，得到特征向量。

可选地，所述四点定位网络模块包含dsnt损失函数，所述源点分类网络模块包含softmax损失函数。

可选地，在所述获取训练样本和初始检测模型的步骤之前，还包括：

获取证件图像；

按照顺时针方向标注所述证件图像的四个顶点，并将所述四个顶点中的第一个顶点标注为源点，得到样本图像；

将所述样本图像分为训练样本和测试样本。

可选地，所述方法还包括：

根据所述待检测图像的源点调整所述待检测图像的摆放方向；

存储调整后的所述待检测图像。

本发明实施例还公开了一种图像检测装置，包括：

图像获取模块，用于获取待检测图像和源点定位模型，其中，所述源点定位模型包含四点定位网络模块和源点分类网络模块；

顶点检测模块，用于采用所述四点定位网络模块检测所述待检测图像的四个顶点；

源点分类模块，用于采用所述源点分类网络模块对所述四个顶点进行分类，得到待检测图像的源点。

可选地，所述源点定位模型通过如下模块生成：

训练样本获取模块，用于获取训练样本和初始检测模型，其中，所述初始检测模型包含四点定位网络模块和源点分类网络模块；

特征检测模块，用于对所述训练样本进行特征检测，得到特征向量；

模型训练模块，用于采用所述特征向量训练所述四点定位网络模块和源点分类网络模块，得到源点定位模型。

可选地，所述装置还可以包括如下模块：

测试样本获取模块，用于获取测试样本；

检测模块，用于采用所述源点定位模型对所述测试样本进行检测，得到检测结果；

模型输出模块，用于若采用所述检测结果判定所述源点定位模型满足预设验证条件，则输出所述源点定位模型；

重新训练模块，用于若采用所述检测结果判定所述源点定位模型未满足预设验证条件，则重新执行所述采用所述特征向量训练所述四点定位网络模块和源点分类网络模块，得到源点定位模型的步骤。

可选地，所述初始检测模型还包含非局部特征模块，所述特征检测模块，包括：

特征检测子模块，用于采用所述非局部特征模块对所述训练样本进行特征检测，得到特征向量。

可选地，所述四点定位网络模块包含dsnt损失函数，所述源点分类网络模块包含softmax损失函数。

可选地，所述装置还可以包括如下模块：

证件图像获取模块，用于获取证件图像；

标注模块，用于按照顺时针方向标注所述证件图像的四个顶点，并将所述四个顶点中的第一个顶点标注为源点，得到样本图像；

样本确定模块，用于将所述样本图像分为训练样本和测试样本。

可选地，所述装置还可以包括如下模块：

图像调整模块，用于根据所述待检测图像的源点调整所述待检测图像的摆放方向；

图像存储模块，用于存储调整后的所述待检测图像。

本发明实施例还公开了一种电子设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如本发明实施例任一项所述的方法。

本发明实施例还公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例任一项所述的方法。

本发明实施例包括以下优点：

在本发明实施例中，通过训练包含四点定位网络模块和源点分类网络模块的源点定位模型，在需要确定待检测图像的源点时，首先通过四点定位网络模块检测得到待检测图像的四个顶点，然后通过源点分类网络模块对四个顶点进行分类，得到待检测图像的源点，从而通过将四点定位模块和源点分类模块放置在一个神经网络模型中处理，简化处理流程，大幅度提升定位精度及源点分类的准确率，并且性能得到极大提升。

附图说明

图1是本发明的一种图像检测方法实施例的步骤流程图；

图2是本发明的一种图像检测装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种图像检测方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，获取待检测图像和源点定位模型，其中，所述源点定位模型包含四点定位网络模块和源点分类网络模块；

待检测图像可以是需要检测源点的针对证件的图像，例如，针对身份证、银行卡、护照、驾驶证、营业执照等证件的图像。待检测图像可以由用户采用摄像设备(如，具备摄像头的移动终端，摄像机等设备)采集证件的图像，该待检测图像可以以任意角度采集得到。

源点定位模型可以是在先训练好的cnn(convolutionalneuralnetworks，卷积神经网络)backbone模型，该cnn是深度学习中的代表算法之一，常用的层有卷积层，批归一化层，激活层，池化层等，在图像检测中广泛使用，如resnet18，resnet50，mobilnetnetv3等，其中，mobilenetv3是一种轻量级的cnn网络，可以在移动端用于目标检测和图像分类等。

为了能够确定待检测图像中源点的位置，在本发明实施例中，可以通过源点定位模型对待检测图像进行检测，该源点定位模型包含四点定位网络模块和源点分类网络模块，其中，四点定位网络模块用于定位图像中的四个顶点，源点分类网络模块用于确定顶点中的源点，其中，源点可以是按照正常的阅读顺序正面摆放证件图像时的左上角的顶点。

步骤102，采用所述四点定位网络模块检测所述待检测图像的四个顶点；

具体的，可以采用源点定位模型中的四点定位网络模块对待检测图像进行检测，该四点定位网络模块可以是一种对数值回归的可微分模块，其可以通过优化整个神经网络模型输出的预测坐标的损失，来间接学习高斯热力图，并将高斯热力图转换为坐标点，从而得到待检测图像的四个顶点。需要说明的是，在采用四点定位网络模块检测待检测图像的四个顶点时，可以设置回归的第一个点为四个顶点中距离待检测图像的坐标原点最近的点。

步骤103，采用所述源点分类网络模块对所述四个顶点进行分类，得到待检测图像的源点。

具体的，可以采用源点定位模型中的源点分类网络模块对检测得到的四个顶点进行分类，该源点分类网络模块可以是一种用于分类的模块，通过将确定源点的问题视为一种对顶点的分类问题，对四个顶点进行分类，从而确定待检测图像的源点。

通过训练包含四点定位网络模块和源点分类网络模块的源点定位模型，在需要确定待检测图像的源点时，首先通过四点定位网络模块检测得到待检测图像的四个顶点，然后通过源点分类网络模块对四个顶点进行分类，得到待检测图像的源点，从而通过将四点定位模块和源点分类模块放置在一个神经网络模型中处理，简化处理流程，大幅度提升定位精度及源点分类的准确率，并且性能得到极大提升。

在本发明的一种优选实施例中，所述的方法还可以包括如下步骤：

根据所述待检测图像的源点调整所述待检测图像的摆放方向；存储调整后的所述待检测图像。

具体的，可以根据待检测图像的源点调整待检测图像的摆放方向，使得待检测图像的源点位于左上角，然后存储调整后的待检测图像，以便于后续对待检测图像进行文字行的检测和识别。

作为一种示例，待检测图像的源点位于左下角，则需要将待检测图像的源点从左下角调整到左上角，此时，可以将待检测图像顺时针旋转90度，使得待检测图像的源点位于左上角。

在本发明的一种优选实施例中，所述源点定位模型可以通过如下方式生成：

获取训练样本和初始检测模型，其中，所述初始检测模型包含四点定位网络模块和源点分类网络模块；对所述训练样本进行特征检测，得到特征向量；采用所述特征向量训练所述四点定位网络模块和源点分类网络模块，得到源点定位模型。

训练样本可以是用于进行模型训练的图像样本集，在本发明实施例中，训练样本中可以包含从各个角度采集的证件图像，还可以对采集到的证件图像进行任意角度(0到360度)的旋转，以及对证件图像进行随机剪切和/或缩放等，从而增强训练样本数据的多样性。

初始检测模型可以是原始的卷积神经网络模型，通过对初始检测模型进行训练，可以使得训练得到的模型具备图像检测的功能。该初始检测模型可以包含四点定位网络模块和源点分类网络模块，其中，四点定位网络模块用于定位图像中的四个顶点，源点分类网络模块用于确定顶点中的源点。

在本发明实施例中，可以通过初始检测模型对训练样本进行特征检测得到特征向量，然后采用特征向量训练四点定位网络模块和源点分类网络模块得到源点定位模型。在具体实现中，可以选用tensorflow框架进行模型训练，该tensorflow框架的模型训练过程可以由前向计算和反向传播两个过程组成，通过网络结构的前向计算进行图像检测，然后根据图像检测的结果通过反向传播的过程学习模型中各层函数的参数。

在本发明的一种优选实施例中，所述四点定位网络模块包含dsnt损失函数，所述源点分类网络模块包含softmax损失函数。

四点定位网络模块可以包含dsnt损失函数，该dsnt损失函数用于将高斯热力图转换为坐标点，dsnt损失函数可以设置于全卷积高斯热力图之后，通过对高斯热力图进行坐标回归得到顶点的坐标点。需要说明的是，在采用四点定位网络模块检测图像的四个顶点时，设置回归的第一个点为四个顶点中距离图像坐标原点最近的点。

源点分类网络模块可以包含softmax损失函数，该softmax损失函数用于预测四个顶点中的源点，在具体实现中，通过将源点检测的问题视为对顶点进行分类的问题，采用softmax损失函数分别确定各个顶点为源点的概率，并确定概率最高的顶点为源点。

在本发明的一种优选实施例中，所述的方法还可以包括如下步骤：

获取测试样本；采用所述源点定位模型对所述测试样本进行检测，得到检测结果；若采用所述检测结果判定所述源点定位模型满足预设验证条件，则输出所述源点定位模型；若采用所述检测结果判定所述源点定位模型未满足预设验证条件，则重新执行所述采用所述特征向量训练所述四点定位网络模块和源点分类网络模块，得到源点定位模型的步骤。

测试样本可以是用于测试模型的图像检测的准确性的图像样本集。在本发明实施例中，可以采用源点定位模型对测试样本进行检测得到检测结果，并采用检测结果判断源点定位模型是否满足预设验证条件，该预设验证条件可以是预先设定的验证条件，例如，预设验证条件可以为准确率90％。

若采用检测结果判定源点定位模型满足预设验证条件，则输出源点定位模型，若采用检测结果判定源点定位模型未满足预设验证条件，则重新执行采用特征向量训练所述四点定位网络模块和源点分类网络模块，得到源点定位模型的步骤，即重新训练源点定位模型，此外，还可以继续训练源点定位模型，以提高源点定位模型的图像检测的准确性。

在本发明的一种优选实施例中，所述初始检测模型还包含非局部特征模块，所述对所述训练样本进行图像特征检测，得到特征向量，包括：

采用所述非局部特征模块对所述训练样本进行特征检测，得到特征向量。

非局部特征模块可以为nonlocal模块，该非局部特征模块在进行特征检测时，能够看到神经网络全局特征，起到更好的融合局部特征和全局特征的作用。

在本发明实施例中，可以采用非局部特征模块对训练样本进行特征检测，得到特征向量，在源点定位模型中加入非局部特征模块，可以提升源点定位模型的特征提取的鲁棒性。

在本发明的一种优选实施例中，在所述获取训练样本和初始检测模型的步骤之前，还包括：

获取证件图像；按照顺时针方向标注所述证件图像的四个顶点，并将所述四个顶点中的第一个顶点标注为源点，得到样本图像；将所述样本图像分为训练样本和测试样本。

具体的，可以获取证件图像，该证件图像可以包括身份证、银行卡、护照、驾驶证、营业执照等证件的图像，例如，针对每一种证件获取1000张图像。在获取到证件图像之后，可以对证件图像进行切边处理并保存。

按照顺时针方向标注证件图像的四个顶点，并将四个顶点中的第一个顶点标注为源点，得到样本图像，将样本图像分为训练样本和测试样本，例如，将样本图像中的80％设置为训练样本，20％设置为测试样本。在进行模型训练时，可以根据标注的源点修改模型中各层函数的参数，在测试模型的准确性时，可以根据标注的源点来计算模型检测源点的准确性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图2，示出了本发明的一种图像检测装置实施例的结构框图，具体可以包括如下模块：

图像获取模块201，用于获取待检测图像和源点定位模型，其中，所述源点定位模型包含四点定位网络模块和源点分类网络模块；

顶点检测模块202，用于采用所述四点定位网络模块检测所述待检测图像的四个顶点；

源点分类模块203，用于采用所述源点分类网络模块对所述四个顶点进行分类，得到待检测图像的源点。

在本发明的一种优选实施例中，所述源点定位模型通过如下模块生成：

训练样本获取模块，用于获取训练样本和初始检测模型，其中，所述初始检测模型包含四点定位网络模块和源点分类网络模块；

特征检测模块，用于对所述训练样本进行特征检测，得到特征向量；

模型训练模块，用于采用所述特征向量训练所述四点定位网络模块和源点分类网络模块，得到源点定位模型。

在本发明的一种优选实施例中，所述装置还可以包括如下模块：

测试样本获取模块，用于获取测试样本；

检测模块，用于采用所述源点定位模型对所述测试样本进行检测，得到检测结果；

模型输出模块，用于若采用所述检测结果判定所述源点定位模型满足预设验证条件，则输出所述源点定位模型；

重新训练模块，用于若采用所述检测结果判定所述源点定位模型未满足预设验证条件，则重新执行所述采用所述特征向量训练所述四点定位网络模块和源点分类网络模块，得到源点定位模型的步骤。

在本发明的一种优选实施例中，所述初始检测模型还包含非局部特征模块，所述特征检测模块，包括：

特征检测子模块，用于采用所述非局部特征模块对所述训练样本进行特征检测，得到特征向量。

在本发明的一种优选实施例中，所述四点定位网络模块包含dsnt损失函数，所述源点分类网络模块包含softmax损失函数。

在本发明的一种优选实施例中，所述装置还可以包括如下模块：

证件图像获取模块，用于获取证件图像；

标注模块，用于按照顺时针方向标注所述证件图像的四个顶点，并将所述四个顶点中的第一个顶点标注为源点，得到样本图像；

样本确定模块，用于将所述样本图像分为训练样本和测试样本。

在本发明的一种优选实施例中，所述装置还可以包括如下模块：

图像调整模块，用于根据所述待检测图像的源点调整所述待检测图像的摆放方向；

图像存储模块，用于存储调整后的所述待检测图像。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明实施例提供了一种电子设备，包括：

一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述电子设备执行如本发明实施例任一项所述的方法。

本发明实施例公开了一种计算机可读存储介质，其上存储有指令，当由一个或多个处理器执行时，使得所述处理器执行如本发明实施例任一项所述的方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种图像检测方法和一种图像检测装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。