图片检测方法、装置、设备及存储介质与流程

[0001]
本发明涉及图像处理技术领域，尤其涉及一种图片检测方法、装置、设备及存储介质。


背景技术：

[0002]
在证件采集的过程中，由终端设备拍摄证件图像，上传到后台服务器，后台服务器对证件进行文字识别与人像识别。在识别时，由于受到拍摄环境光线与拍摄角度等因素的影响，拍摄的证件图像可能存在反光区域，处于反光区域的文字信息与人像信息无法识别，需要终端设备重新采集，再上传到后台服务器中，直到文字信息与人像信息识别成功。反复拍摄与等待识别结果，会降低证件识别的效率，浪费客户时间与系统资源。


技术实现要素：

[0003]
本发明的目的在于提供一种图片检测方法、装置、设备及存储介质，旨在提高证件图片识别的效率。
[0004]
本发明提供一种图片检测方法，包括：
[0005]
获取上传的证件图片，分析所述证件图片的证件类型；
[0006]
若所述证件图片的证件类型为预定的证件类型，则对所述证件图片进行旋转处理，使得所述证件图片处于正摆放状态；
[0007]
获取处于正摆放状态的证件图片的二值化图像，基于所述二值化图像获取关键信息区域；
[0008]
获取处于正摆放状态的证件图片的直方图，基于所述直方图获取所述证件图片的高亮区域；
[0009]
分析所述关键信息区域与所述高亮区域是否有重合的区域，若所述关键信息区域与所述高亮区域有重合的区域，则分析重合的区域是否为反光区；
[0010]
若是，则提示重新上传证件图片，若否，则将所述证件图片发送至服务器进行识别。
[0011]
本发明还提供一种图片检测装置，包括：
[0012]
分析模块，用于获取上传的证件图片，分析所述证件图片的证件类型；
[0013]
旋转模块，用于若所述证件图片的证件类型为预定的证件类型，则对所述证件图片进行旋转处理，使得所述证件图片处于正摆放状态；
[0014]
第一获取模块，用于获取处于正摆放状态的证件图片的二值化图像，基于所述二值化图像获取关键信息区域；
[0015]
第二获取模块，用于获取处于正摆放状态的证件图片的直方图，基于所述直方图获取所述证件图片的高亮区域；
[0016]
检测模块，用于分析所述关键信息区域与所述高亮区域是否有重合的区域，若所述关键信息区域与所述高亮区域有重合的区域，则分析重合的区域是否为反光区；
[0017]
处理模块，用于若是，则提示重新上传证件图片，若否，则将所述证件图片发送至服务器进行识别。
[0018]
本发明还提供一种计算机设备，所述计算机设备包括存储器及与所述存储器连接的处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的图片检测方法的步骤。
[0019]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图片检测方法的步骤。
[0020]
本发明的有益效果是：本发明在服务器识别证件图像中的文字与人像之前，获取证件图像的关键信息区域与高亮区域，分析关键信息区域与高亮区域是否有重合的区域，如果有重合的区域，再进一步分析重合的区域是否为反光区，反光会导致关键信息无法准确识别，若为反光则直接重新拍摄，不需要等待服务器识别，若检测为不反光，再上传到服务器进行文字识别与人像识别，本发明能够提高证件图像识别的效率。
附图说明
[0021]
图1为本发明图片检测方法一实施例的应用环境示意图；
[0022]
图2为本发明图片检测方法第一实施例的流程示意图；
[0023]
图3为图2中的步骤s5的细化流程示意图；
[0024]
图4为本发明图片检测装置一实施例的结构示意图；
[0025]
图5为本发明计算机设备一实施例的硬件架构的示意图。
具体实施方式
[0026]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0027]
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0028]
参阅图1所示，是本发明图片检测方法一实施例的应用环境示意图。在图1中，计算机设备1与服务器2通过网络连接，计算机设备1获取上传的证件图片，对证件图片进行检测，若检测得到该证件图片没有反光区，则将证件图片发给给服务器2进行识别，若检测得到该证件图片有反光区，则提示客户重新上传证件图片。
[0029]
本发明提供的方法，可应用在如图1的应用环境中。其中，计算机设备1可以包括但不限于各种个人计算机、笔记本电脑、平板电脑、智能手机及便携式可穿戴设备。
[0030]
参阅图2所示，为本发明图片检测方法第一实施例的流程示意图。以所述方法应用在图1的环境中为例进行说明，包括：
[0031]
步骤s1，获取上传的证件图片，分析所述证件图片的证件类型；
[0032]
其中，利用预先训练好的分类器对证件图片进行分类，得到证件图片对应的证件类型；
[0033]
分类器可以通过收集大量不同的证件图片来构建，首先对收集的每一证件图片进行类型标注，然后将标注后的证件图片作为样本数据，输入分类器中进行训练。
[0034]
分类器可以采用常见的分类模型，如cnn(卷积神经网络模型)、rnn(循环神经网络)、svm(支持向量机)模型等，其输入为证件图片，输出为输入的证件图片对应的证件类型，或者输出为输入的证件图片属于各种证件类型的得分，在后面这种情况下，可以取得分最高的证件类型作为相应证件图片所属的证件类型。
[0035]
步骤s2，若所述证件图片的证件类型为预定的证件类型，则对所述证件图片进行旋转处理，使得所述证件图片处于正摆放状态；
[0036]
其中，预定的证件类型可以包括：身份证、护照、驾驶证等。本步骤可以通过两种方式对预定的证件类型的证件图片进行旋转处理：
[0037]
第一种方式：通过检测证件图片中证件的边缘，提取证件的边缘线，根据边缘线与水平方向的夹角判断证件是否处于正摆放状态，如果夹角为0度，则为正摆放状态，如果夹角不是0度，则不是正摆放状态，需要对证件图片进行旋转，旋转的角度为上述夹角的角度，直至单据处于正摆放状态。
[0038]
第二种方式：可以提供一用于将证件图片中证件的朝向进行分类的深度学习模型，将证件图片输入至训练好的该深度学习模型中，获得该证件图片中证件的朝向，例如包括45－135度的第一朝向、135－225度的第二朝向、225－315度的第三朝向及315－45度的第四朝向，得到该证件图片中证件的朝向后，将其按照朝向对应的角度进行旋转，直至旋转到0度。为了提高精度，还可以在第二种方式之后，再采用第一种方式进行进一步旋转处理，以对证件图片进行微调。
[0039]
其中，深度学习模型例如为cnn(卷积神经网络模型)、rnn(循环神经网络)等，可以参考上述的分类器，此处不做赘述。
[0040]
步骤s3，获取处于正摆放状态的证件图片的二值化图像，基于所述二值化图像获取关键信息区域；
[0041]
其中，二值图像在图像中灰度等级只有两种，即图像中的任何像素点的灰度值为0或者255，分别代表黑色和白色。
[0042]
在一实施例方式中，可以通过使用现有的方法对二值化图像进行图像检测，得到关键信息区域；或者，在另一实施例方式中，可以预先制作各种证件类型对应的模板，模板中包括该证件类型对应的关键信息区域。通过将二值化图像与对应证件类型的模板进行匹配，从而提取关键信息区域。
[0043]
其中，对于证件图片，关键信息区域包括人像区域及各个文本区域。
[0044]
步骤s4，获取处于正摆放状态的证件图片的直方图，基于所述直方图获取所述证件图片的高亮区域；
[0045]
直方图用来表征图片像素值的分布情况，用一定数目的小区间来指定表征像素值的范围，每个小区间会得到落入该小区间表示范围的像素数目。对于灰度图像来说像素值范围为0－255。
[0046]
其中，对于证件图片的直方图，将像素值大于预设像素值的多个像素所在的区域定为高亮区域，例如，预设像素值为直方图中最大像素值的99％。本实施例中的预设像素值并不是固定不变的，考虑不同证件图片拍摄的环境及角度不同，因此需要根据每个证件图片确定自身相应的预设像素值，这样，才能找出其高亮区域。
[0047]
步骤s5，分析所述关键信息区域与所述高亮区域是否有重合的区域，若所述关键信息区域与所述高亮区域有重合的区域，则分析重合的区域是否为反光区；
[0048]
本实施例分析证件图片的关键信息区域与高亮区域是否有重合的区域，如果没有重合的区域，该证件图片可以直接发送给服务器进行关键信息的识别；如果有重合的区域，则需要进一步分析重合的区域是否反光，反光则不能识别出关键信息，需要重新上传证件图片。
[0049]
进一步地，如图3所示，上述步骤s5，具体包括：
[0050]
步骤s51，分析各个文本区域与所述高亮区域是否有重合的区域，若有文本区域与所述高亮区域有重合的区域，则分析所述文本区域与所述高亮区域有重合的区域是否为反光区；及
[0051]
步骤s52，分析所述人像区域与所述高亮区域是否有重合的区域，若所述人像区域与所述高亮区域有重合的区域，则分析所述人像区域与所述高亮区域重合的区域是否为反光区。
[0052]
其中，如果有文本区域与高亮区域重合，或者有人像区域与高亮区域重合，或者文本区域与高亮区域重合且人像区域与高亮区域重合，那么需要对重合的区域进行具体分析，以判断重合的区域是否反光。
[0053]
进一步地，上述步骤s51，具体包括：
[0054]
对于每一文本区域，进行垂直投影，基于垂直投影图像获取所述文本区域对应的字符区域；
[0055]
若所述字符区域与所述高亮区域有重合的区域，则计算所述字符区域与所述高亮区域重合的区域的清晰度，若所述清晰度小于预定的第一阈值，则所述字符区域与所述高亮区域重合的区域为反光区；
[0056]
其中，对于每一文本区域，其二值化后再进行垂直投影，得到垂直投影图像。通过垂直投影图像可以获得字符区域及字符间隔区域。对于字符间隔区域，其长度为字符间隔长度。两个文本区域对应的字符间隔长度可能相同也可能不同。
[0057]
当字符区域与高亮区域有重合的区域，则采用拉普拉斯算子计算字符区域与高亮区域重合的区域的清晰度，若清晰度小于预定的第一阈值，则重合的区域为反光区，若清晰度大于等于预定的第一阈值，则重合的区域不是反光区，可以正常识别出字符。其中，预定的第一阈值根据先验值确定。
[0058]
上述步骤s51，进一步包括：
[0059]
基于垂直投影图像获取所述文本区域对应的字符间隔区域；
[0060]
若所述字符间隔区域与所述高亮区域有重合的区域，且所述字符间隔区域的长度大于等于预定的长度阈值，则所述字符间隔区域与所述高亮区域重合的区域为反光区。
[0061]
当字符间隔区域与高亮区域有重合的区域，且字符间隔区域的长度大于等于预定的长度阈值，则重合的区域为反光区。其中，预定的长度阈值为该文本区域中字符间隔长度
的倍数，考虑到字符丢失的情况，若字符丢失则字符间隔长度变大，这种情况判定重合的区域为反光区。为了得到真正的字符间隔长度，可以在垂直投影图像中，通过对所有字符间隔长度进行分析，取多个字符间隔长度相同的长度作为本实施例中真正的字符间隔长度，例如，对于某一文本区域，第1个字符间隔长度为2、第2个字符间隔长度为2、第3个字符间隔长度为3、第4个字符间隔长度为2，那么取真正的字符间隔长度为2。优选地，预定的长度阈值为该文本区域中字符间隔长度的1.5倍。
[0062]
上述步骤s51，进一步包括：
[0063]
若所述字符间隔区域与所述高亮区域有重合的区域，且所述字符间隔区域的长度小于预定的长度阈值，则计算所述字符间隔区域与所述高亮区域重合的区域的第一亮度方差，计算所述字符间隔区域相邻的字符间隔区域的第二亮度方差，若所述第一亮度方差与所述第二亮度方差的差值大于等于预定的第二阈值，则所述字符间隔区域与所述高亮区域重合的区域为反光区。
[0064]
当字符间隔区域与高亮区域有重合的区域，且字符间隔区域的长度小于预定的长度阈值，则计算重合的区域的第一亮度方差，计算相邻的字符间隔区域的第二亮度方差，如果第一亮度方差与第二亮度方差的差值大于等于预定的第二阈值，则字符间隔区域与所述高亮区域重合的区域为反光区。本实施例考虑字符间隔区域亮度的分布情况，如果本字符间隔区域与相邻的字符间隔区域的亮度分布情况相差不大，则可以正常识别出字符，如果相差较大，则受高亮区域的影响而不能识别出字符，这种情况判定重合的区域为反光区。其中，预定的第二阈值根据先验值确定。
[0065]
进一步地，上述步骤s52，具体包括：
[0066]
获取人像关键点的位置信息，根据所述位置信息调整所述人像区域；
[0067]
若调整后的人像区域与所述高亮区域有重合的区域，则统计调整后的人像区域与所述高亮区域重合的区域的第一像素点数量，统计调整后的人像区域的第二像素点数量；
[0068]
若所述第一像素点数量与所述第二像素点数量的比值大于等于预定的第三阈值，则调整后的人像区域与所述高亮区域重合的区域为反光区。
[0069]
其中，获取的人像区域可能包括人所占的区域及其他与人不相关的区域。人像关键点的位置信息至少包括眼镜、耳朵、鼻子、嘴巴、下巴部位对应的位置信息。根据人像关键点的位置信息对人像区域进行调整，可以去掉人像区域中其他与人不相关的区域。
[0070]
当调整后的人像区域与高亮区域有重合的区域，则统计调整后的人像区域与所述高亮区域重合的区域的第一像素点数量，统计调整后的人像区域的第二像素点数量，如果第一像素点数量与第二像素点数量的比值大于等于预定的第三阈值，则认为高亮区域影响到人像的识别，不能识别出人像，这种情况判定重合的区域为反光区。如果比值小于预定的第三阈值，则认为高亮区域不影响到人像的识别。优选地，第三阈值取0.1％。
[0071]
步骤s6，若是，则提示重新上传证件图片，若否，则将所述证件图片发送至服务器进行识别。
[0072]
本实施例分析证件图片的关键信息区域与高亮区域是否有重合的区域，如果没有重合的区域，该证件图片可以直接发送给服务器进行关键信息的识别；如果有重合的区域，则需要进一步分析重合的区域是否反光，反光则不能识别出关键信息，需要重新上传证件图片。
[0073]
本实施例在服务器识别证件图像中的文字与人像之前，获取证件图像的关键信息区域与高亮区域，分析关键信息区域与高亮区域是否有重合的区域，如果有重合的区域，再进一步分析重合的区域是否为反光区，反光会导致关键信息无法准确识别，若为反光则直接重新拍摄，不需要等待服务器识别，若检测为不反光，再上传到服务器进行文字识别与人像识别，本实施例能够提高证件图像识别的效率。
[0074]
在一实施例中，本发明提供一种图片检测装置，该图片检测装置与上述实施例中方法一一对应。如图4所示，该图片检测装置包括：
[0075]
分析模块101，用于获取上传的证件图片，分析所述证件图片的证件类型；
[0076]
旋转模块102，用于若所述证件图片的证件类型为预定的证件类型，则对所述证件图片进行旋转处理，使得所述证件图片处于正摆放状态；
[0077]
第一获取模块103，用于获取处于正摆放状态的证件图片的二值化图像，基于所述二值化图像获取关键信息区域；
[0078]
第二获取模块104，用于获取处于正摆放状态的证件图片的直方图，基于所述直方图获取所述证件图片的高亮区域；
[0079]
检测模块105，用于分析所述关键信息区域与所述高亮区域是否有重合的区域，若所述关键信息区域与所述高亮区域有重合的区域，则分析重合的区域是否为反光区；
[0080]
处理模块106，用于若是，则提示重新上传证件图片，若否，则将所述证件图片发送至服务器进行识别。
[0081]
图片检测装置的具体限定可以参见上文中对于图片检测方法的限定，在此不再赘述。上述图片检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0082]
在一个实施例中，提供了一种计算机设备，该计算机设备是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述计算机设备可以是pc(personal computer，个人电脑)，或者是智能手机、平板电脑、计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
[0083]
如图5所示，所述计算机设备可包括，但不仅限于，可通过系统总线相互通信连接的存储器11、处理器12、网络接口13，存储器11存储有可在处理器12上运行的计算机程序。需要指出的是，图5仅示出了具有组件11－13的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0084]
其中，存储器11可以是非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。本实施例中，存储器11的可读存储介质通常用于存储安装于计算机设备的操作
系统和各类应用软件，例如存储本发明一实施例中的计算机程序的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0085]
所述处理器12在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片，用于运行所述存储器11中存储的程序代码或者处理数据，例如运行计算机程序等。
[0086]
所述网络接口13可包括标准的无线网络接口、有线网络接口，该网络接口13通常用于在所述计算机设备与其他电子设备之间建立通信连接。
[0087]
所述计算机程序存储在存储器11中，包括至少一个存储在存储器11中的计算机可读指令，该至少一个计算机可读指令可被处理器12执行，以实现本申请各实施例的方法，包括：
[0088]
获取上传的证件图片，分析所述证件图片的证件类型；
[0089]
若所述证件图片的证件类型为预定的证件类型，则对所述证件图片进行旋转处理，使得所述证件图片处于正摆放状态；
[0090]
获取处于正摆放状态的证件图片的二值化图像，基于所述二值化图像获取关键信息区域；
[0091]
获取处于正摆放状态的证件图片的直方图，基于所述直方图获取所述证件图片的高亮区域；
[0092]
分析所述关键信息区域与所述高亮区域是否有重合的区域，若所述关键信息区域与所述高亮区域有重合的区域，则分析重合的区域是否为反光区；
[0093]
若是，则提示重新上传证件图片，若否，则将所述证件图片发送至服务器进行识别。
[0094]
在一个实施例中，本发明还提供了一种计算机可读存储介质，计算机可读存储介质可以是非易失性和/或易失性存储器，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中图片检测方法的步骤，例如图2所示的步骤s1至步骤s6。或者，计算机程序被处理器执行时实现上述实施例中图片检测装置的各模块/单元的功能，例如图4所示模块101至模块106的功能。为避免重复，这里不再赘述。
[0095]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序在执行时，可包括如上述各方法的实施例的流程。
[0096]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0097]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。
[0098]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。