图片处理方法、装置及存储介质与流程

文档序号:15935655发布日期:2018-11-14 02:20阅读:131来源:国知局

本发明涉及图片处理领域,尤其涉及一种图片处理方法、装置及存储介质。

背景技术

目前,随着互联网技术的不断发展,人们可以利用手机端的应用程序实现越来越多的功能。在很多应用场景下,为了对用户进行鉴权,业务的提供者都要求用户通过应用程序上传证件图片,如身份证、驾驶证等证件的图片,以供业务的提供者核实用户的真实身份后,为用户提供服务。

现有技术中,由于拍照设备的机型、拍摄环境、以及人为拍摄的角度方向等因素的影响,用户拍摄的证件图片可能存在一定的角度旋转问题,并且在图片中除了包含证件的部分,还包括了复杂的背景,

采用现有技术,业务提供者在核实用户的证件图片时,需要对不同旋转角度的图片进行调整,造成了图片处理的效率较低。因此,如何对用户上传的证件图片进行处理,将证件图片的方向旋转矫正到正确的位置,是目前亟需解决的技术问题。



技术实现要素:

本发明提供一种图片处理方法、装置及存储介质,能够将用户上传的证件图片进行处理,将证件图片的方向旋转矫正到正确的位置,提高了图片处理的效率。

本发明第一方面提供一种图片处理方法,包括:获取至少三个指定目标在待处理图片中的位置,其中,所述待处理图片的第一部分为第一证件的图片,所述至少三个指定目标为每个所述第一证件上位置固定且特征相同的部分;

根据所述至少三个指定目标的位置确定所述待处理图片的旋转模式;

根据所述旋转模式对所述待处理图片进行旋转。

在发明第一方面一实施例中,还包括:

裁切所述待处理图片使所述待处理图片中只包括所述第一部分。

在发明第一方面一实施例中,所述根据所述至少三个指定目标的位置确定所述待处理图片的旋转模式,包括:

根据所述至少三个指定目标的位置与参考图片中所述至少三个指定目标的位置的对应关系确定所述图片的旋转模式。

在发明第一方面一实施例中,所述获取至少三个指定目标在待处理图片中的位置,包括:

通过卷积神经网络cnn获取所述至少三个指定目标在所述待处理图片中的位置。

在发明第一方面一实施例中,所述第一证件为驾驶证,所述至少三个指定目标至少包括:所述驾驶证的证件标题、红色盖章和驾驶人照片。

本发明第二方面提供一种图片处理装置,包括:获取模块,所述获取模块用于获取至少三个指定目标在待处理图片中的位置,其中,所述待处理图片的第一部分为第一证件的图片,所述至少三个指定目标为每个所述第一证件上位置固定且特征相同的部分;

确定模块,所述确定模块用于根据所述至少三个指定目标的位置确定所述待处理图片的旋转模式;

旋转模块,所述旋转模块用于根据所述旋转模式对所述待处理图片进行旋转。

在发明第二方面一实施例中,还包括:裁切模块;

所述裁切模块用于裁切所述待处理图片使所述待处理图片中只包括所述第一部分。

在发明第二方面一实施例中,所述确定模块具体用于,

根据所述至少三个指定目标的位置与参考证件图片中所述至少三个指定目标的位置的对应关系确定所述图片的旋转模式。

在发明第二方面一实施例中,所述获取模块具体用于,

通过卷积神经网络cnn获取所述至少三个指定目标在所述待处理图片中的位置。

在发明第二方面一实施例中,所述第一证件为驾驶证,所述至少三个关键区域至少包括:所述驾驶证的证件标题、红色盖章和驾驶人照片。

本发明第三方面提供一种服务器,包括:

处理器;

存储器;以及

计算机程序;

其中,所述计算机程序被存储在所述存储器中,并且被配置为由所述处理器执行,所述计算机程序包括用于执行如上述第一方面任一项所述的方法的指令。

本发明第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序使得服务器执行如上述第一方面任一项所述的方法。

本发明提供的图片处理方法、装置及存储介质,其中图片处理方法通过获取至少三个指定目标在待处理图片中的位置,其中,待处理图片的第一部分为第一证件的图片,至少三个指定目标为每个第一证件上位置固定且特征相同的部分;根据至少三个指定目标的位置确定待处理图片的旋转模式;并根据旋转模式对待处理图片的进行旋转。能够将用户上传的件图片进行处理,将证件图片的方向旋转矫正到正确的位置,提高了图片处理的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为参考图片的结构示意图;

图2a为待处理图片实施例一的结构示意图;

图2b为待处理图片实施例二的结构示意图;

图2c为待处理图片实施例三的结构示意图;

图2d为待处理图片实施例四的结构示意图;

图3为本发明图片处理方法实施例一的流程示意图;

图4为本发明待处理图片的实施例一的放大结构示意图;

图5为本发明获取指定目标位置的结构示意图;

图6a为待处理图片实施例一中指定目标的位置的结构示意图;

图6b为待处理图片实施例二中指定目标的位置的结构示意图;

图6c为待处理图片实施例三中指定目标的位置的结构示意图;

图6d为待处理图片实施例四中指定目标的位置的结构示意图;

图7a为待处理图片实施例一中指定目标的位置的结构示意图;

图7b为待处理图片实施例二中指定目标的位置的结构示意图;

图7c为待处理图片实施例三中指定目标的位置的结构示意图;

图7d为待处理图片实施例四中指定目标的位置的结构示意图;

图8为待处理图片实施例五的结构示意图;

图9为本发明对实施例五的证件图片处理方法的示意图;

图10为本发明图片处理装置实施例一的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

目前,在很多应用场景下,基于互联网的业务提供商为了对请求业务的用户进行身份验证,业务提供商在向用户提供业务服务之前,都会要求用户通过互联网将证件图片用于验证用户的身份,如身份证、驾驶证等证件的图片。当业务提供商对用户提供的证件图片进行验证通过后,业务提供商向用户提供所请求的服务。

例如:图1为参考图片的结构示意图。如图1以中华人民共和国机动车驾驶证为例,示出了业务提供商希望用户能够上传的证件图片的参考模板。其中,证件图片内仅包含驾驶证的图片部分,且驾驶证的图片部分处于证件图片中正确的方向,符合用户查看证件图片时的方向。

但是,用户在通过终端拍摄证件图片并通过终端内的应用程序上传证件图片时,由于终端设备的型号、拍摄环境、应用程序设置以及人为拍摄的角度方向等因素的影响,用户拍摄并上传的证件图片可能存在一定的角度旋转问题,并且在图片中除了包含证件的部分,还包括了复杂的背景。

例如:如图2a-图2d示出了待处理图片实施例一到实施例四的四种图片结构示意图。以驾驶证为例,示出了用户在上传证件图片时实际上传的证件图片的几种可能的实施例(图2a为待处理图片实施例一的结构示意图;图2b为待处理图片实施例二的结构示意图;图2c为待处理图片实施例三的结构示意图;图2d为待处理图片实施例四的结构示意图)。其中,在图2a的实施例一中,待处理图片中包括方向正确的驾驶证的图片,但是在驾驶证图片部分的四周存在较多空白的背景内容。背景内容多为驾驶证附页或者拍摄的背景。图2b的实施例二中待处理图片内的驾驶证部分与正确的方向相比向右侧旋转了90度。图2c的实施例三中待处理图片内的驾驶证部分与正确的方向相比旋转了180度。图2d的实施例三中待处理图片内的驾驶证部分与正确的方向相比向左侧旋转了90度。

因此,用户在上传证件图片时,通常上传的证件图片内驾驶证部分的图片方向都不正确,可能存在上述的角度偏差。造成了业务提供者在核实用户的证件图片时,需要对不同旋转角度的图片进行调整,导致图片处理的效率较低。因此,如何对用户上传的证件图片进行处理,将证件图片的方向旋转矫正到正确的位置,是目前亟需解决的技术问题。

综上,本发明提供一种图片处理方法及装置,能够将用户上传的证件图片进行处理,将证件图片的方向旋转矫正到正确的位置,提高了图片处理的效率。具体地,图3为本发明图片处理方法实施例一的流程示意图。如图3所示,本实施例提供的图片处理方法包括:

s101:获取至少三个指定目标在待处理图片中的位置,其中待处理图片的第一部分为第一证件的图片,至少三个指定目标为每个第一证件上位置固定且特征相同的部分。

本实施例的执行主体可以是服务器、终端或工作站等具备数据处理功能的电子设备。具体地,在s101中服务器获取待处理图片,并在待处理图片中获取至少三个指定目标在待处理图片中的位置。至少三个指定目标在待处理图片中的位置可以是每个指定目标相对于待处理图片的位置,也可以是至少三个指定目标之间的相互位置。

其中,待处理图片为包括证件的图片,即待处理图片中的第一部分图片包含第一证件。第一证件可以是身份证件、资格证件、关系证件或功能证件等各类国家法定证件。至少三个指定目标为每个第一证件上位置固定且特征相同的部分。例如:第一证件为如图1所示的驾驶证,则每个驾驶证中驾驶人图片的位置固定且特征相同,则可以将驾驶证内的驾驶人图片作为上述指定目标。此处所述的特征可以根据不同图片处理技术所提取的图像特征进行调整,包括图片的大小、颜色、内容等特征。

下面以驾驶证为例,详细描述获取三个指定目标的位置的方法应用于驾驶证图片处理时的实施例。例如:图4为本发明待处理图片的实施例一的放大结构示意图,4示出了上述图2a中待处理图片实施例的放大结构示意图。

其中,如图4所示,待处理图片10内包括第一部分101和第二部分102。第一部分101为驾驶证的图片部分,第二部分102为驾驶证图片部分之外的背景部分。选取驾驶证的至少三个指定目标至少包括:驾驶证的证件标题1、红色盖章2和驾驶人照片3。则服务器获取待处理图片10后,获取三个指定目标:证件标题1、红色盖章2和驾驶人照片3在待处理图片10中的位置。位置的表示方式可以通过标记待处理图片10的像素点来标记指定目标的位置。例如:待处理图片可以为600*400的像素矩阵,证件标题1的位置可通过证件标题1四个角的像素位置{(100,100),(500,100),(100,500),(500,500)},红色盖章2和驾驶人照片3的表示方式相同,不再赘述。此外,位置的表示方式还可以通过第一部分101内的像素点标记指定目标的位置,实现原理相同,不再赘述。需要说明的是,本实施例中通过像素的方式表示指定目标位置的方式仅为示例,还可以通过其他位置表示方式来表示至少三个指定目标的位置或相对位置。

可选地,在本步骤中s101中,通过卷积神经网络(convolutionalneuralnetworks,cnn)获取所述至少三个指定目标在所述待处理图片中的位置。具体地,可以通过提前训练的方式对cnn进行样本训练,使用人工标注的方式确定固定目标样本的待处理图片,每个待处理图片内至少三个指定目标已知。经过训练后的cnn可以将待处理图片中通过机器学习的方式与已经学习的样本进行比对,从而确定待处理图片中至少三个指定目标的位置。

较佳地,在cnn性能测试中,通过人工标注25k固定样本,每个样本中标注至少三个指定目标的位置,其中20k样本作为训练样本,5k作为测试集。最终得到cnn模型的性能为:iou=0.7时,map=0.98。

较佳地,由于本实施例提供的方法需要从待处理图片中获取至少三个指定目标的位置,而对于每个待处理图片中第一证件部分内,至少三个指定目标的位置相对固定。因此,在s101获取待处理图片中至少三个指定目标位置时,可以仅从待处理图片中第一部分的特定区域获取至少三个指定目标的位置。例如:在图4所示的实施例中,指定目标包括:证件标题1、红色盖章2和驾驶人照片3。由于对于每个驾驶证上述三个指定目标的位置固定。获取待处理图片后,可以从待处理图片的包含驾驶证的第一部分内获取指定目标的位置。图5为本发明获取指定目标位置的结构示意图。如图5所示了待处理图片中第一部分的轮廓,则可以通过图片处理技术提取待处理图片中第一部分后,从第一部分标号为①或二②的区域确定证件标题1的位置,从第一部分标号为③和④的区域确定红色盖章2和驾驶人照片3的位置。从而在获取指定目标的位置时,可以用处理整个图片的所有区域,而是在特定的区域内进行处理,从而减少了计算量提高了计算效率。

s102:根据至少三个指定的目标的位置确定待处理图片的旋转模式。

具体地,根据s101中获得的至少三个指定目标在待处理图片中的位置,确定待处理图片中第一部分的方向。一旦确定待处理图片中第一部分的方向则也可以确定待处理图片的方向,并根据待处理图片的方向确定待处理图片的旋转模式以对待处理图片进行旋转调整。例如:如图2b所示的实施例二中待处理图片内的驾驶证部分与正确的方向相比向右侧旋转了90度,则待处理图片的旋转模式可以表示为:向左旋转90度或者向右偏移90度。

可选地,在s102中一种可能的实现方式为,根据至少三个指定目标的位置与参考图片中至少三个指定目标的位置的对应关系确定所述图片的旋转模式。例如:将图1中所示的图片作为参考图片,在处理图2b所示的待处理图片时,将图2b至少三个指定目标的位置与图1中的至少三个指定目标的位置进行比较,确定待处理图片的旋转模式。

下面以驾驶证为例,详细描述s102一种具体的实施例。具体地,针对图2a-图2d示出的四种待处理图片中驾驶证的方向,提取图2a-图2d中四种待处理图片内至少三个指定目标的位置的方式如图6a-6d所示(图6a为待处理图片实施例一中指定目标的位置的结构示意图;图6b为待处理图片实施例二中指定目标的位置的结构示意图;图6c为待处理图片实施例三中指定目标的位置的结构示意图;图6d为待处理图片实施例四中指定目标的位置的结构示意图)。并针对如图7a-图7d中三个指定目标的位置设置设置四种可能的旋转模式(图7a为待处理图片实施例一中指定目标的位置的结构示意图;图7b为待处理图片实施例二中指定目标的位置的结构示意图;图7c为待处理图片实施例三中指定目标的位置的结构示意图;图7d为待处理图片实施例四中指定目标的位置的结构示意图)。其中,驾驶证的指定目标包括:证件标题title,红色盖章stamp,驾驶人照片face。通过s102确定的三个指定目标的矩形框位置记为face_rect,stamp_rect和title_rect。则四种旋转模式包括:

1、正常模式:图2a所示的证件标题在上、驾驶人照片在右、红色盖章在左,这种情况证件本身就是正确的方位,不需旋转,标;

2、顺时针旋转90度:图2b所示的标题在右、驾驶人照片在下、红色盖章在上,这种情况逆时针旋转90度将得到正常模式的证件,标记为rotate-90;

3、逆时针旋转90度:图2c所示的标题在左、驾驶人照片在上、红色盖章在下,这种情况顺时针旋转90度将得到正常模式的证件,标记为rotate90;

4、顺时针旋转180度(等同于逆时针旋转180度):图2d所示的标题在下,驾驶人照片在左,红色盖章右,这种情况逆时针旋转180度将得到正常模式的证件,标记为rotate-180。

而对于上述四种旋转模式分别执行如下的四种操作。具体地,对于一张待处理图像,标记为未知的旋转模式为rotate_mode,同时待确定的驾驶证主页区域标记为driverrect,具体定位主页区域步骤如下:

1、如果rotate_mode属于rotate0旋转模式,那么以红色盖章stamp_rect的左边为驾驶证主页左边,以驾驶人照片face_rect的右边边作为驾驶证主页右边,以标题title_rect的上边作为驾驶证主页上边,以驾驶人照片face_rect下边作为驾驶证主页下边。公式如下:

driverrect(left)=stamp_rect(left);

driverrect(right)=face_rect(right);

driverrect(top)=title_rect(top);

driverrect(bottom)=face_rect(bottom)。

2、如果rotate_mode属于rotate-90旋转模式,那么以驾驶人照片face_rect的左边为驾驶证主页左边,以标题title_rect的右边作为驾驶证主页右边,以红色盖章stamp_rect的上边作为驾驶证主页上边,以驾驶人照片face_rect的下边作为驾驶证主页下边。公式如下:

driverrect(left)=face_rect(left);

driverrect(right)=title_rect(right);

driverrect(top)=stamp_rect(top);

driverrect(bottom)=face_rect(bottom)。

3、如果rotate_mode属于rotate90旋转模式,那么以标题title_rect的左边为驾驶证主页左边,以驾驶人照片face_rect的右边作为驾驶证主页右边,以驾驶人照片face_rect的上边作为驾驶证主页上边,以红色盖章stamp_rect的下边作为驾驶证主页下边。公式如下:

driverrect(left)=title_rect(left);

driverrect(right)=face_rect(right);

driverrect(top)=face_rect(top);

driverrect(bottom)=stamp_rect(bottom)。

4、如果rotate_mode属于rotate-180旋转模式,那么以驾驶人照片face_rect的左边为驾驶证主页左边,以红色盖章stamp_rect的右边作为驾驶证主页右边,以驾驶人照片face_rect的上边作为驾驶证主页上边,以标题title_rect的下边作为驾驶证主页下边。公式如下:

driverrect(left)=face_rect(left);

driverrect(right)=stamp_rect(right);

driverrect(top)=face_rect(top);

driverrect(bottom)=title_rect(bottom)。

s103:根据旋转模式对待处理图片进行旋转。

具体地,根据s102中获取的待处理图片的旋转模式对待处理图片进行旋转。

例如:在上述示例中,通过s102得到了驾驶证主页区域driverrect,这个区域有四种旋转模式,因此需做旋转校正得到正常模式的驾驶证主页以利于后续的文本行检测与识别。具体包括如下四种模式:

1、如果rotate_mode属于rotate0旋转模式,对驾驶证主页区域不旋转。

2、如果rotate_mode属于rotate-90旋转模式,对驾驶证主页区域逆时针旋转90度;

3、如果rotate_mode属于rotate90旋转模式,对驾驶证主页区域顺时针旋转90度;

4、如果rotate_mode属于rotate-180旋转模式,对驾驶证主页区域逆时针旋转180度;

进一步地,在上述图片处理方法中,在s101之前或者s103之后还包括:裁切待处理图片,使待处理中只包括第一部分。具体地,以图4所示的待处理图片为例,将待处理图片的第二部分102裁切,仅在待处理图片10中保留第一部分101,从而将待处理图片处理为如图1所示的参考图片的结构。

综上,本实施例提供的图片处理方法,通过获取至少三个指定目标在待处理图片中的位置,其中,待处理图片的第一部分为第一证件的图片,至少三个指定目标为每个第一证件上位置固定且特征相同的部分;根据至少三个指定目标的位置确定待处理图片的旋转模式;并根据旋转模式对待处理图片的进行旋转。能够将用户上传的件图片进行处理,将证件图片的方向旋转矫正到正确的位置,提高了图片处理的效率。

可选地,图8为待处理图片实施例五的结构示意图。图8示出了用户上传的图片还可能存在的角度,待处理图片内包括证件的第一部分的矩形区域并不与待处理图片的任一边平行或垂直。则可以根据至少三个指定目标的位置,与参考图片中至少三个指定目标的位置进行比对,从而确定待处理图片的旋转角度,并按照特定的旋转角度对待处理图片进行旋转。

具体地,图9为本发明对实施例五的证件图片处理方法的示意图。如图9所示的图片处理方法中,以驾驶证为例,通过上述的方法确定驾驶证上三个指定目标的位置后,以其中的红色盖章和驾驶人照片两者矩形框的中心为连线,与参考图片中红色盖章和驾驶人照片两者矩形框的中心为连线的参考方向a作比较。得到待处理图片与参考图片之间存在α的角度偏差。则将待处理图片旋转相应的α角度。

图10为本发明图片处理装置实施例一的结构示意图。如图10所示,本实施例图片处理装置包括:获取模块1001,确定模块1002和旋转模块1003。其中,获取模块1001用于获取至少三个指定目标在待处理图片中的位置,其中,待处理图片的第一部分为第一证件的图片,至少三个指定目标为每个第一证件上位置固定且特征相同的部分;确定模块1002用于根据至少三个指定目标的位置确定待处理图片的旋转模式;旋转模块1003用于根据旋转模式对待处理图片进行旋转。

可选地,在上述图片处理装置中,还包括:裁切模块1004。其中,裁切模块1004用于裁切待处理图片使待处理图片中只包括第一部分。

可选地,在上述实施例中,确定模块1002具体用于,根据至少三个指定目标的位置与参考证件图片中至少三个指定目标的位置的对应关系确定图片的旋转模式。

可选地,在上述实施例中,获取模块1001具体用于,通过卷积神经网络cnn获取至少三个指定目标在待处理图片中的位置。

可选地,在上述实施例中,第一证件为驾驶证,至少三个关键区域至少包括:驾驶证的证件标题、红色盖章和驾驶人照片。

本发明实施例提供的图片处理装置可用于执行上述的图片处理方法,其实现方式和技术效果类似,此处不再赘述。

本发明实施例还提供一种服务器,包括:

处理器;

存储器;

以及计算机程序;

其中,计算机程序被存储在存储器中,并且被配置为由处理器执行,计算机程序包括用于执行如上述实施例中任一项的图片处理方法的指令。

本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序使得服务器执行如上述实施例中任一项的图片处理方法。

本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1