一种将文本及证照类图片智能摆正的方法、装置和设备与流程

1.本发明涉及图像处理技术领域，尤其涉及一种将文本及证照类图片智能摆正的方法、装置和设备。


背景技术：

2.目前，越来越多的场景需要对图片上的文字进行识别提取。在政务领域，光能识别出图片上的文字还不行，还需要能够将识别出来的文字进行结构化的排序输出。这个时候就需要识别出图片的旋转角度，并将其摆正。在材料治理中，需要将用户上传文本及证照类图片进行归档，这个也需要归档的图片是正向的。目前市面上有一些基于图像分类的方式识别文本类图片的方向，但是只能识别文件是正向，顺时针旋转过90度，顺时针旋转过180度，顺时针旋转过270度这四种情况，而且正确率不高，模型泛化能力很差，不能精确到度，在政务领域达不到落地要求。
3.因此，如何检测文本及证照类图片的旋转角度，并将图片摆正，以提高政务服务过程中材料治理的图片质量，以及辅助后续对图片进行ocr识别时文本的结构化排序输出，是本领域技术人员需要解决的问题。


技术实现要素：

4.本发明的目的在于提供一种将文本及证照类图片智能摆正的方法、装置和设备，以解决上述技术背景中提出的问题。
5.为实现上述目的，本发明采用以下技术方案：
6.本技术第一个方面提供了一种将文本及证照类图片智能摆正的方法，包括：
7.s1，利用文本检测模型识别出原始图像的文本区域，并将文本区域转化为矩形文本框；
8.s2，按照第一预设规则重新排列每个矩形文本框的四个顶点的坐标顺序；
9.s3，按照第二预设规则找到一个代表性的矩形文本框，以其第一个点为中心计算出该矩形文本框的长边逆时针旋转到与x轴平行所需要的旋转角度a；
10.s4，在原始图像上将找到的代表性的矩形文本框利用透视变换，截取出一个矩形小图，对透视变换后矩形小图进行长宽判断，如果高度像素大于宽度像素，则将矩形小图逆时针旋转90
°
；
11.s5，利用二分类图像方向判断器，判断步骤s4中得到的矩形小图是0
°
还是180
°
，记作角度c；
12.s6，结合旋转角度a和角度c，计算出原始图像最终的摆正角度k，k＝a+c，并旋转摆正。
13.优选地，步骤s1包括如下步骤：
14.采用图像分割模型dbnet，经过数据集准备、模型训练后，利用所述图像分割模型dbnet对原始图像进行预测，输出文本区域概率图，所述文本区域概率图即原始图像上每个
像素点属于文本区域的概率；
15.使用第一预设阈值将概率图做二值化处理，得到文本区域的二值化图，即概率大于第一预设阈值的认为属于文本区域，否则为非文本区域；
16.计算每个文本连通区域的最小外接矩形，并对每个最小外接矩形放大预设倍数，使放大后的矩形框中文本区域；
17.计算所有矩形的面积，当面积小于第二预设阈值时，过滤掉该矩形，最后得到文本区域的矩形文本框。
18.优选地，步骤s2中，所述第一预设规则包括：
19.当文本处于正向时，按读取习惯从上到下从左到右的顺序对每个矩形文本框的四个点重新排序；
20.计算出四个点中纵坐标y最小的点，如果y最小的点有两个，那么横坐标x最小的那个点设定为第一个点，逆时针推导出剩下三个点的顺序。
21.优选地，步骤s3中，所述第二预设规则包括：
22.s31，过滤掉图片中的两种矩形文本框：一种是单字文本框，另一种是与图片方向不一致的水印文本框，具体包括如下步骤：
23.计算出所有矩形文本框长边的长度，即第一个点到第二个点的距离和第一个点到第四个点的距离，哪个距离长就以此作为该矩形文本框的长边长度，然后过滤掉所有长边长度小于均值的矩形文本框；
24.计算出剩下的每个矩形文本框的长边与x轴的夹角a，并按照正负误差在2度以内的进行归类；
25.s32，计算包含矩形文本框最多的类别的所有夹角a的均值，离均值最近的夹角a的矩形文本框就是要找的代表性的矩形文本框，如果是多个，再从这多个里面找出长边的长度离均值最近的矩形文本框。
26.优选地，步骤s3中，所述旋转角度a的计算方法包括如下步骤：
27.假设代表性的矩形文本框排序后的四个顶点的坐标依次是：point1(x1,y1)，point2(x2,y2)，point3(x3,y3)，point4(x4,y4)；
28.计算y＝y4-y1，x＝x4-x1；
29.采用atan2函数进行角度计算，该函数的值域为(-π,π]，具体公式如下：
[0030][0031]
将求出的atan2(y,x)转换为角度，求出旋转角度a的大小，即a＝atan2(y,x)
×
180
÷
π。
[0032]
优选地，步骤s4中的所述透视变换，具体包括如下步骤：
[0033]
透视变换采用如下变换公式：
[0034][0035][0036]
其中，u，v代表原始图像坐标，w为原始图像的旋转角度，x，y为经过透视变换后的图片坐标，为变换矩阵；
[0037]
变换后的x和y的表达式为：
[0038][0039][0040]
优选地，步骤s5包括如下步骤：
[0041]
采用小网络模型(例如mobilenet)作为二分类图像方向判断器；
[0042]
将步骤s4中得到的矩形小图送到二分类图像方向判断器中，预测出角度c，角度c只有0
°
和180
°
两种可能。
[0043]
优选地，所述步骤s6包括如下步骤：
[0044]
设原始图像需要经过逆时针旋转k度进行摆正，那么k＝a+c；
[0045]
对原始图像进行不裁剪逆时针旋转k度，新增像素点用白色补充；
[0046]
对旋转后的图片，最外围的四个方向从外到内，如果整行或整列都是白色像素时进行剪除，当有一行或列出现非全白像素值时停止该方向的裁剪，得到最终的图片。
[0047]
本技术第二个方面提供了一种将文本及证照类图片智能摆正的装置，包括：检测模块，用于利用文本检测模型识别出原始图像的文本区域，并将文本区域转化为矩形文本框；
[0048]
坐标排序模块，用于按照第一预设规则重新排列每个矩形文本框的四个顶点的坐标顺序；
[0049]
第一计算模块，用于按照第二预设规则找到一个代表性的矩形文本框，以其第一个点为中心计算出该矩形文本框的长边逆时针旋转到与x轴平行所需要的旋转角度a；
[0050]
透视变换矫正模块，用于在原始图像上将找到的代表性的矩形文本框利用透视变换截取出一个矩形小图，并对透视变换后矩形小图进行长宽判断，如果高度像素大于宽度像素，则将矩形小图逆时针旋转90
°
；
[0051]
第二计算模块，用于利用二分类图像方向判断器，判断所述透视变换矫正模块得到的矩形小图是0
°
还是180
°
，记作角度c；
[0052]
摆正模块，用于结合旋转角度a和角度c，计算出原始图像最终的摆正角度k，k＝a+c，并旋转摆正。
[0053]
本技术第三个方面提供了一种电子设备，包括：
[0054]
至少一个处理器；以及
[0055]
与所述至少一个处理器通信连接的存储器；其中，
[0056]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的一种将文本及证照类图片智能摆正的方法。
[0057]
与现有技术相比，本发明的技术方案具有以下有益效果：
[0058]
本技术用于检测文本及证照类图片的旋转角度，并将图片摆正，提高了政务服务过程中材料治理的图片质量，同时可以辅助后续对图片进行ocr识别时文本的结构化排序输出。
附图说明
[0059]
构成本技术的一部分附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0060]
图1是本发明一种将文本及证照类图片智能摆正的方法的实现流程示意图；
[0061]
图2是本发明实施例提供的原始图像的示意图；
[0062]
图3是本发明实施例提供的原始图像做二值化处理后得到的文本区域的二值化图的示例图；
[0063]
图4是本发明实施例中将文本区域的二值化图的每个最小外接矩形放大一倍后形成的矩形文本框的示例图；
[0064]
图5是本发明实施例中经过步骤s1处理后得到的文本区域的矩形文本框的示例图；
[0065]
图6是本发明实施例的步骤s2中对矩形文本框的四个顶点按照第一规则进行重新排列的示例图；
[0066]
图7是本发明实施例的步骤s3中查找出单字文本框和与图片方向不一致的水印文本框，以及找出代表性的矩形文本框的旋转角度a的示例图；
[0067]
图8是本发明实施例的步骤s4中将找出的代表性的矩形文本框经过透视变换后得到一个矩形小图的示例图；
[0068]
图9是本发明实施例中将文本及证照类图片智能摆正的整个处理过程的示例图。
具体实施方式
[0069]
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0070]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0071]
实施例
[0072]
图1是本发明一种将文本及证照类图片智能摆正的方法的实现流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：
[0073]
步骤s1：利用文本检测模型识别出原始图片的文本区域，并将文本区域转化为矩形文本框。具体如下：
[0074]
s1.1，文本检测模型有很多，这里使用的是图像分割模型dbnet，经过数据集准备、模型训练后，就可以用图像分割模型dbnet对原始图像进行预测，该模型会输出文本区域概率图。文本区域概率图就是原始图像上每个像素点属于文本区域的概率。
[0075]
s1.2，使用固定阈值0.3将本区域概率图做二值化处理，可以得到文本区域的二值化图，也就是概率大于0.3的认为属于文本区域，否则为非文本区域。如图2～3所示，图2为原始图像的示例图，图3是将文本区域概率图做二值化处理得到的文本区域的二值化图，其中，文本区域二值图中白色部分为模型识别出的文本区域。
[0076]
s1.3，计算每个文本连通区域的最小外接矩形，并对每个最小外接矩形放大1倍，放大倍数由训练的模型决定。参阅图4所示，这里，图像分割模型dbnet预测的结果放大一倍可以正好框中文字区域。
[0077]
s1.4、计算所有矩形的面积，当面积小于某阈值时，过滤掉。参阅图5中的p部分，部分文字区域可能出现识别遗漏的现象，可以通过模型训练进行优化。如图5，经过处理已经可以得到文本区域的矩形文本框。
[0078]
步骤s2：制定第一规则，重新排列每个矩形文本框的四个顶点的坐标。具体如下：
[0079]
s2.1，当文本处于正向时，按读取习惯从上到下从左到右的顺序对每个矩形文本框的四个顶点重新排序。
[0080]
s2.2，计算出四个顶点中y最小的点，如果y最小的点有两个，那么x最小的那个点设定为第一个点，拟时针推导出剩下三个点的顺序。如图6所示，假设第一个点的坐标为points1＝(x0,y0)，然后拟时针推导出剩下三个点分别是points2，points3，points4。
[0081]
步骤s3：按照第二规则找到一个代表性的矩形，以第一个点为中心计算出这个矩形的长边逆时针旋转到与x轴平行所需要的旋转角度a。具体如下：
[0082]
s3.1，图片上的文本框有两种情况是需要过滤掉的，一种是单字文本框，另一种是与图片方向不一致的水印文本框。
[0083]
s3.2，计算出所有文本框长边的长度，也就是第一个点到第二个点的距离和第一个点到第四个点的距离，哪个距离长就以此作为该文本框的长边长度。然后过滤掉所有长边长度小于均值的文本框。主要是过滤掉单字等小文本框，如图7中的m部分。
[0084]
s3.3，再计算剩下的每个文本框的长边与x轴的夹角a，并按照正负误差在2度以内的进行归类。主要是过滤掉与图片方向不一的水印文本框，如图7中的n部分。
[0085]
s3.4，计算包含文本框最多的类别的所有夹角a的均值，离均值最近的夹角a的文本框就是要找的代表性矩形，如果是多个，在从这几个里面找长边的长度离均值最近的矩形。
[0086]
s3.5，以这个矩形第一个点为中心计算出这个矩形的长边逆时针旋转到与x轴平行所需要的旋转角度a，如图7所示的夹角a。
[0087]
s3.6，角度计算公式采用atan2，该函数的值域为(-π,π]。如图7中的point1(x1,y1)和point4(x4,y4)所在的直线。计算y＝y4-y1，x＝x4-x1，因为每个矩形框的点是经过规则排过序的，y只能是大于等于0，y＝0时角度a＝0，y》0时atan2的取值范围是(0,π]。求出atan2后需要转换为角度，公式为a＝atan2(y,x)
×
180
÷
π，即求出旋转角度a的大小。
[0088]
步骤s4：在原始图像上将上一步得到的矩形利用透视变换校正，截取出一个矩形小图。具体如下：
[0089]
s4.1，透视变换是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面也就是透视面绕透视轴旋转某一角度，破坏原有的投影光线束，仍能保持乘影面上投影几何图形不变的变换。简言之就是将一个平面通过一个投影矩阵投影到指定平面上。
[0090]
透视变换通用的变换公式如下：
[0091][0092][0093]
其中，u，v代表原始图像坐标，w为原始图像的旋转角度，x，y为经过透视变换后的图片坐标，为变换矩阵；
[0094]
变换后的x和y的表达式为：
[0095][0096][0097]
s42，对透视变换后的矩形小图进行长宽判断，如果高度像素大于宽度像素就将矩形小图逆时针旋转90
°
，如图8所示。
[0098]
步骤s5：训练一个二分类图像方向判断器，判断截取出的小图是0度还是180度。具体如下：
[0099]
s5.1，这里只需要用一些小网络模型如mobilenet等就可以，只需要预测截取的文本小图片是0
°
还是180
°
的状态就行。
[0100]
s5.2，步骤s4中得到的矩形小图送到二分类图像方向判断器中，预测出角度c，角度c只有0
°
和180
°
两种可能。
[0101]
步骤s6：结合旋转角度a和角度c，计算出原始图像最终的摆正角度k，k＝a+c，并旋转摆正。
[0102]
s6.1，设原图需要经过逆时针旋转k度可以摆正，那么k＝a+c。
[0103]
6.2、对原始图像进行不裁剪逆时针旋转k度，新增像素点用白色补充。
[0104]
6.3、对旋转后的图片，最外围的四个方向从外到内，如果整行或整列都是白色像
素时进行剪除，当有一行或列出现非全白像素值时停止该方向的裁剪，得到最终的图片。
[0105]
本实施例中将文本及证照类图片智能摆正的整个处理过程的逻辑图参阅图9所示。
[0106]
另一方面，本技术还提供了一种电子设备，所述电子设备包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的一种将文本及证照类图片智能摆正的方法的步骤。
[0107]
综上所述，本技术公开了一种将文本及证照类图片智能摆正的方法、装置和设备，用于检测文本及证照类图片的旋转角度，并将图片摆正，提高了政务服务过程中材料治理的图片质量，同时可以辅助后续对图片进行ocr识别时文本的结构化排序输出。
[0108]
以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。