证件版式分析的方法及装置与流程

本发明涉及图像处理技术领域，特别是涉及一种证件版式分析的方法及装置。

背景技术：

随着信息技术的发展，基于网络进行非接触式认证的应用越来越多，而远程身份认证技术则应运而生，其通过摄像头对证件拍照，并对证件照片做OCR文字识别，提取证件照信息的技术也得到了普及和广泛运用。该方案具有成本低，集成方便，容易拓展等优点，越来越多的厂家也都推出了自己的证件照识别系统。

目前，证件照识别的一般包含以下流程：1.对证件图像进行旋转倾斜校正；2.图像去噪，图像增强等预处理；3.版面分析，信息栏目定位；4.行分割和字符分割；5.字符识别；6.识别后处理。现有的证件照识别系统一般侧重于在预处理，字符分隔，字符识别，后处理等部分做优化提升，版面分析和信息栏目则依赖于先验知识。由于证件照的版式具有很强的先验知识，根据版式设定特定的规则来进行信息栏目的定位，大部分情况下，这些证件照识别系统都能很好的工作。

然而，由于我国具有多民族，并且部分少数民族有自己的文字的特点，少数民族地区的证件照往往有不同的版式，如二代身份证，西藏，新疆，内蒙古，广西等地区的少数民族的身份证版式就和主流的二代身份证版式不一致，而身份证识别系统则无法支持这些少数民族身份证的识别。因此，实现同类证件多种不同版式的识别，是证件照OCR识别领域的一个迫切需求。

要实现证件照多版式的识别，也可以通过对每种版式的先验规则对版式进行分析，从而实现版式的判断。但是使用这种方法的话，则每当有新的证件版式时，则需要提取该种版式的布局特征，设定版式判断的条件，这相当于进行一次新的开发过程，必须不断试验，迭代，整个开发过程繁琐，工作量大，并且结果还具有不确定性。如何构建一个通用的多版式分析框架，能够适用于同类证件的各种版式的识别，并且对新的版式能够快速扩展和集成，是证件照OCR识别领域的一个技术难点。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种证件版式分析的方法及装置，用于解决现有技术中同类证件中多种不同版式的识别问题。

为实现上述目的及其他相关目的，本发明提供一种证件版式分析的方法，包括：

获取证件图像；

提取所述证件图像中版式特征；

采用证件识别模型识别每个所述版式特征，获取对应版式特征的相关度等级，其中所述证件识别模型是通过对训练样本集进行训练后得到的；

筛选所有版式特征对应的相关度等级最高的为所述证件图像的正确版式。

本发明的另一目的在于提供一种证件版式分析的装置，包括：

获取模块，用于获取证件图像；

提取模块，用于提取所述证件图像中版式特征；

识别模块，用于采用证件识别模型识别每个所述版式特征，获取对应版式特征的相关度等级，其中所述证件识别模型是通过对训练样本集进行训练后得到的；

筛选模块，用于筛选所有版式特征对应的相关度等级最高的为所述证件图像的正确版式。

如上所述，本发明的证件版式分析的方法及装置，具有以下有益效果：

本发明在构建分析框架时，通过提前训练大量的证件图像得到对应的证件识别模型，获取待分析的证件图像的所有版式特征，然后采用证件识别模型获取每个特征的相关度等级，按相关度等级筛选其中相关度最接近的为正确版式。通过构建一个通用的多版式分析框架，能够识别不同版本的同类证件，即使出现新增的版式，只需准备相应的证件图像数据，重新训练和更新模型，对原有框架改动也极小，就能够快速扩展与集成，从而避免了重复开发，减少了开发的工作量，开发过程与结果都较为可控，便于证件图像的OCR识别，提高了识别效率。

附图说明

图1显示为本发明提供的证件版式分析的方法流程图；

图2显示为本发明提供的证件版式分析的方法中证件识别模型的训练流程图；

图3显示为本发明提供的证件版式分析的方法中步骤S2的流程图；

图4显示为本发明提供的证件版式分析的装置结构框图；

图5显示为本发明提供的证件版式分析的装置中证件识别模型的结构框图；

图6显示为本发明提供的证件版式分析的装置提取模块的结构框图。

元件标号说明：

1 证件识别模型

2 获取模块

3 提取模块

4 识别模块

5 筛选模块

11 采集单元

12 第一提取单元

13 标定单元

14 训练单元

31 分割单元

32 组合单元

33 第二提取单元

41 识别单元

51 筛选单元

S1～S4 步骤1～步骤4

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例1

请参阅图1，本发明提供一种证件版式分析的方法流程图，包括：

步骤S1，获取证件图像；

具体地，证件图像可为连接摄像头的终端设备或自带摄像头的终端设备所拍摄，也可为通过分析视频流所截取的图像或者直接存好的证件图像；终端设备例如可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理，简称：PDA)等。

步骤S2，提取所述证件图像中版式特征；

具体地，提取所述版式特征由文字梯度方向直方图特征、行间分布特征与行内字符间特征组合而成。

步骤S3，采用证件识别模型识别每个所述版式特征，获取对应版式特征的相关度等级，其中所述证件识别模型是通过对训练样本集进行训练后得到的；

具体地，证件识别模型是通过采集大量的证件图像，提取特征，然后使用LambdaMART Rank算法训练所得。在得到根据输入的证件图像所对应的各个版式特征时，分别识别各个版式特征，按照相关度等级进行排序，其中，相关度等级是版式与正确版式的相似程度的表示，正确版式的相关度等级为1，表示完全一致；很相似的版式相关度等级为2，一般为只有一个信息栏目和正确版式不对，其余信息栏目都对的情况；以此类推，依次为较为相似，一般相似，不相似设定相关度等级为3-5。标定时，“很相似”，“较为相似”等判断仅需要主观感受，只要保证“很相似”比“较为相似”的相似度更高即可，不需要定量确定。

步骤S4，筛选所有版式特征对应的相关度等级最高的为所述证件图像的正确版式。

具体地，通过筛选所有版式中相关度最高的版式特征为证件图像对应的正确版式，将其作为输出值，以便OCR(光学字符识别)时能够迅速对证件图像进行识别。

在本实施例中，通过对证件图像的多个版式特征进行分析，得到各个版式特征的所对应的相关度等级，从而迅速查找出该证件图像的正确版式；通过输出唯一的正确版式，提升了识别的效率。

实施例2

如图2所示，为本发明提供的证件版式分析的方法中证件识别模型的训练流程图，包括：

步骤S101，采集同类证件中不同版式的证件图像；

其中，如果待分析的证件为身份证，那么需要采集不同版本的身份证的证件图像，如果为待分析的证件为护照，那么需要采集不同版本的护照的证件图像；如果为待分析的证件为银行票据，那么需要采集不同版本的银行票据图像；根据待分析的证件类型不同，选用不同版本的该证件图像。

步骤S102，提取每张证件图像中所有的版式以及每个版式所对应的版式特征，

其中，每张证件图像均包含多个文字行，还涉及噪音引起的干扰行，而通过选取不同的文字行或干扰行组合成多个不同版式。

步骤S103，按相关度等级标定每张证件图像所有的版式对应的版式特征，其中，每张证件图像只对应唯一的相关度等级最高的版式为正确版式；

其中，每一张证件图像只对应唯一的一个正确版式，通过预先标定训练的证件图像样本所有版式特征的相关度，其相关度按等级排序，如果排序等级越高，则表示与正确版式越相近，如证件图像中某个版式特征对应的正确版式相关度等级标定为1，则该证件图像对应的其余的版式特征相关度等级标定则不能为1。

步骤S104，采用LambdaMART Rank算法训练所有证件图像以及标定的版式特征，得到证件识别模型。

其中，在版式训练时，采用LambdaMART Rank对同类的同一张证件照片进行排序，其实基于MART和列表模型LambdaMART的组合优化算法，在任何给定的队中，通过交换证件图像中版式特征的排序位置，对于构建排序函数的特征集合进行分析、然后重组和选择，利用排序学习方法学习排序函数，从而得到关于证件图像版式特征排序输出的证件识别模型。而使用其它的Rank算法也能达到训练的目的，如：Lambda Rank(基于样本点的排序算法)，Ranking SVM(基于样本对的排序算法)等。

在本实施例中，基于排序算法训练同类型的不同版本形式的证件图像，得到对应类型的证件图像的证件识别模型，当输入一个该类的证件图像为输入查询值，得到该证件图像中各个文字行重组的版式特征，按照相关度等级排序输出各个版式特征，而根据相关度等级高低确定证件图像的正确版式；即使新增不同版本的该类证件，也能在模型架构不变的基础上集成，避免了对新版式进行判断条件的试验和参数调整，具有标准的开发流程，开发过程和最终效果都较为可控，适于大面积的推广运用。

实施例3

如图3所示，为本发明提供的证件版式分析的方法中步骤S2的流程图，包括：

步骤S201，对所述证件图像进行二值分割，得到对应的文字行；

其中，采用二值化分割原理的目的在于处理证件图像中的关键点，分割图像时顺便去除背景，留下感兴趣的目标物体，便于提取文字行；所述二值化分割的方法具体包含如下三类，基于像素值的阈值、基于区域性质的阈值或基于坐标位置的阈值。

步骤S202，依次选取不同文字行进行组合，生成多个版式，其中每种组合为一个版式；

其中，将分割所得的各个文字行组合生成多个版式，每个版式及构成一个版式特征；

步骤S203，提取每个版式对应的版式特征，以向量方式进行表达，其中所述版式特征包含文字梯度方向直方图特征、行间分布特征与行内字符间特征。

其中，将所述文字梯度方向直方图特征、行间分布特征与行内字符间特征依次组合为一维向量；

例如得到文字梯度方向直方图特征具体步骤如下：归一化图像；为了减少光照因素的影响，首先对检测窗口中的图像进行归一化。在图像的纹理强度中，局部的表层曝光贡献比重较大，所以，这种压缩处理能够有效地降低图像局部的阴影和光照变化。

计算图像梯度；计算图像在设定的横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值，其中求取梯度方向值的操作不仅能够捕获轮廓和一些纹理信息，还能进一步弱化光照的影响。

为每个细胞单元构建梯度方向直方图；本步骤的目的是为局部图像区域提供一个编码，同时能够保持对证件图像中文字的姿势和外观的弱敏感性。本步骤中，将证件图像分成若干个“单元格cell”，例如每个Cell为6*6个像素。对Cell内的每个像素用梯度方向在直方图中进行加权投影(映射到固定的角度范围)，就可以得到这个Cell的梯度方向直方图了。

把细胞单元组合成大的块(Block)，块内归一化梯度直方图；由于局部光照的变化以及前景-背景对比度的变化，使得梯度强度的变化范围非常大。这就需要对梯度强度做归一化。归一化能够进一步地对光照、阴影和边缘进行压缩。

具体实现方法包括：把各个细胞单元组合成大的、空间上连通的区间(Blocks)。这样，一个Block内所有Cell的特征向量串联起来便得到该Block的HOG特征。这些区间是互有重叠的，这就意味着：每一个单元格的特征会以不同的结果多次出现在最后的特征向量中。我们将归一化之后的块描述符(向量)就称之为HOG描述符。收集文字HOG特征；将检测窗口中所有重叠的块进行HOG特征的收集，并将它们结合成最终的特征向量。

提取行间分布特征的具体步骤：

计算行的中心位置，计算相邻行的距离，依次将每行和其相邻行的距离拼接组成特征向量

提取行内字符间特征的具体步骤：

字符分割；对每行在水平方向进行投影，然后找到投影极小值点作为字符分割点，得到每个字符的分割位置。

统计字符尺寸特征；计算该行每个字符的高度，宽度，宽高比，统计该行所有字符的高度平均值、方差，高度平均值、方差，宽高比平均值、方差。

统计字符间距特征；计算相邻字符间的间距，统计该行所有字符间距的平均值，方差。

将上述特征组合成向量作为行内字符间的特征向量。

在本实施例中，通过针对每个版式特征提取其内的文字梯度方向直方图特征、行间分布特征与行内字符间特征，将上述特征依次组成一维向量表示，便于识别该向量特征在所有版式特征中的相关度等级。

实施例4

如图4所示，为本发明提供的证件版式分析的装置结构框图，包括：

获取模块2，用于获取证件图像；

提取模块3，用于提取所述证件图像中版式特征；

识别模块4，用于采用证件识别模型1识别每个所述版式特征，获取对应版式特征的相关度等级，其中所述证件识别模型是通过对训练样本集进行训练后得到的；

筛选模块5，用于筛选所有版式特征对应的相关度等级最高的为所述证件图像的正确版式。

在本实施例中，在获取模块之后，先分析出证件图像中的所有版式，并根据版式特征内具体的文字梯度方向直方图特征、行间分布特征与行内字符间特征组合的向量特征，通过使用证件识别模型1识别该版式特征对应向量特征的相关度等级，从而根据相关度等级高低确定证件图像的正确版式。

如图5所示，为本发明提供的证件版式分析的装置中证件识别模型1的结构框图，包括：

采集单元11，用于采集同类证件中不同版式的证件图像；

第一提取单元12，用于提取每张证件图像中所有的版式以及每个版式所对应的版式特征；

标定单元13，用于按相关度等级标定每张证件图像所有的版式对应的版式特征，其中，每张证件图像只对应唯一的相关度等级最高的版式为正确版式；

训练单元14，用于采用LambdaMART Rank算法训练所有证件图像以及标定的版式特征，得到证件识别模型。

在本实施例中，通过采集同类证件中不同版式的证件图像，按照证件图像中各个不同版本的版本特征，按相关度等级标定每个版式特征，采用LambdaMART Rank算法训练所有证件图像以及标定的版式特征，得到证件识别模型，便于后期识别和集成。

如图6所示，为本发明提供的证件版式分析的装置提取模块3的结构框图，包括：

分割单元31，用于对所述证件图像进行二值分割，得到对应的文字行；

组合单元32，用于依次选取不同文字行进行组合，生成多个版式，其中每种组合为一个版式；

第二提取单元33，用于提取每个版式对应的版式特征，以向量方式进行表达，其中所述版式特征包含文字梯度方向直方图特征、行间分布特征与行内字符间特征。

本实施例中，通过提取证件图像所有可能的版式特征，将每个版式特征均对应的用向量表示为向量特征，便于识别和区分。

综上所述，本发明在构建分析框架时，通过提前训练大量的证件图像得到对应的证件识别模型，获取待分析的证件图像的所有版式特征后，采用证件识别模型识别出每个版式特征的相关度等级，按相关度等级筛选其中相关度最接近的为正确版式。通过构建一个通用的多版式分析框架，能够识别不同版本的同类证件，即使出现新增的版式，只需准备相应的版式的证件图像，重新训练和更新模型，对原有框架改动也极小，就能够快速扩展与集成，从而避免了重复开发，减少了开发的工作量，开发过程与结果都较为可控，便于证件图像的OCR识别，提高了识别效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。