证件图像检测方法及设备的制造方法
【专利摘要】本申请提供一种证件图像检测方法及设备，本申请通过训练好的证件检测器检测出证件图像在待检测图像中的位置，与传统的基于边缘的身份证检测算法相比，本申请基于机器学习的算法更加鲁棒，且能够处理证件图像的背景复杂的问题。另外，本申请通过对所述待检测图像校正角度，从而实现对旋转的待检测图像进行证件图像所在位置的更精确的检测。
【专利说明】
证件图像检测方法及设备
技术领域
[0001] 本申请涉及通信及计算机领域，尤其涉及一种证件图像检测方法及设备。
【背景技术】
[0002] 目前在一些网站身份认证程序中，需要获取用户手持其证件的照片，后续需要从 照片中自动检测证件在照片中的位置，W为后续的证件信息的识别提供技术基础。例如，在 某一购物网站，卖家进行开店实名认证的时候需要上传自己的手持身份证的照片，然后需 要在卖家的手持身份证的照片中自动检测身份证的位置，W在认证的时候展示身份证特写 给卖家，让卖家自行检测身份证是否模糊，从而提高审核的一次性通过率，另外，检测出身 份证的区域也为后续的身份证信息的识别提供技术基础。
[0003] 但是传统的基于边缘的证件检测算法只适用于背景比较简单的图像。对于背景比 较复杂，送种现有的方法往往会有许多误检的区域。另外，当原始的图像有旋转时，传统的 方法往往无法检测到身份证。
【发明内容】
[0004] 本申请的目的是提供一种证件检测方法及系统，解决目前存在的无法检测到证件 或证件所在区域误检的问题。
[0005] 有鉴于此，本申请提供一种证件图像检测方法，包括：
[0006] 基于MB-LBP特征训练由多个强分类器级联成的证件检测器；
[0007] 通过所述证件检测器检测待检测图像中的证件图像。
[0008] 进一步的，基于MB-LBP特征训练由多个强分类器级联成的证件检测器包括：
[0009] 获取多个证件图像和非证件图像分别作为正样本和负样本；
[0010] 从正样本和负样本中随机选择不同的区域，分别提取不同的区域的MB-LBP特征；
[0011] 基于不同的区域的MB-LBP特征训练由多个强分类器级联成的证件检测器。
[0012] 进一步的，基于不同的区域的MB-LBP特征训练由多个强分类器级联成的证件检 测器包括：
[0013] 基于不同的区域的MB-LBP特征并使用gentle Ad油oost策略进行特征选择，根据 选择的特征生成每个由多个多分支回归树弱分类器组成的强分类器；
[0014] 使用cascade Ad油oost策略将多个强分类器级联成的证件检测器。
[0015] 进一步的，分别提取不同的区域的MB-LBP特征包括：
[0016] 分别将每个区域划分为若干个子区域，计算每个子区域的像素均值；
[0017] 通过比较每个区域内的中必子区域的像素均值与周围子区域的像素均值获得每 个区域的二进制编码的MB-LBP特征；
[0018] 将每个区域的二进制编码MB-LBP特征转化成十进制的MB-LBP特征。
[0019] 进一步的，基于不同的区域的MB-LBP特征并使用gentle Ad油oost策略进行特征 选择，根据选择的特征生成每个由多个多分支回归树弱分类器组成的强分类器包括：
[0020] 重复下述步骤直至当前强分类器中的多分支回归树弱分类器的个数是否达到预 设的个数，并输出生成的强分类器：
[0021] 根据正样本和负样本的数量设置每个正样本或负样本的权重，初始化强分类器；
[0022] 基于不同的区域的十进制的MB-LBP特征和正样本或负样本的权重训练得到对应 的多分支回归树弱分类器；
[0023] 从多分支回归树弱分类器中选择具有最小损失的多分支回归树弱分类器加入强 分类器；
[0024] 根据选择得到的多分支回归树弱分类器更新正样本和负样本的权重。
[00巧]进一步的，基于不同的区域的十进制的MB-LBP特征和正样本或负样本的权重训 练得到对应的多分支回归树弱分类器包括：
[0026] 基于不同的区域的十进制的MB-LBP特征和正样本或负样本的权重得到第一损失 函数；
[0027] 通过第一损失函数最小化后训练得到对应于不同的区域的十进制的MB-LBP特征 的每个多分支回归树弱分类器。
[0028] 进一步的，所述第一损失函数表示如下：
[002引
其中，表示第m个弱分类器， N表示正样本和负样本的数量，表示第i个正样本或负样本的区域的十进制的MB-LBP 特征，表示样本的类型，为正样本时y 1= 1，为负样本时y 1= -l，w 1表示当前第i个正样 本或负样本的权重，卖，采用多分支树，定义如下：
[0030]
[0031] 进一步的，通过第一损失函数最小化后训练得到对应于不同的区域的十进制的 MB-LBP特征的每个多分支回归树弱分类器中，
[0032] 通过最小化fm片BP))求得
。
[0033] 进一步的，根据选择得到的多分支回归树弱分类器更新正样本和负样本的权重 中，所述权重根据下式更正：
[0034]
[0035] 进一步的，通过所述证件检测器检测待检测图像中的证件图像之前还包括：
[0036] 对所述待检测图像校正角度。
[0037] 进一步的，对所述待检测图像校正角度包括：
[0038] 训练 ImageNet 模型；
[0039] 获取多种旋转角度的证件图像训练样本，使用所述ImageNet模型提取每个证件 图像训练样本的高层语义特征；
[0040] 使用线性支撑向量机对证件图像训练样本的高层语义特征进行训练得到确定图 像旋转角度的分类器；
[0041] 通过所述分类器确定一待检测图像的旋转角度，根据待检测图像的旋转角度调整 该待检测图像的角度。
[0042] 进一步的，训练ImageNet模型包括：
[0043] 将ImageNet数据库中的样本图像缩放到相同的分辨率；
[0044] 将所述样本图像进行减均值操作；
[0045] 对减均值操作后的样本图像进行随机裁切到统一尺寸；
[0046] 设置ImageNet模型的神经网络为依次连接的卷积层和全连接层；
[0047] 随机裁切后的样本图像在神经网络前向传播，计算出ImageNet模型的待优化的 参数的损失值；
[0048] 根据所述待优化的参数的损失值在所述神经网络上通过链式求导法反向逐层求 待优化的参数的梯度，根据求得的梯度并使用随机梯度下降算法对所述待优化的参数进行 优化W得到优化参数后的ImageNet模型。
[0049] 进一步的，计算出ImageNet模型的待优化的参数的损失值中，所述待优化的参数 的损失值J( Θ )根据如下第二损失函数获取，
[0050]
，其中，Θ表示待优化的参数，η表示样本 图像的数量，k表示输出类别的个数，表示第i个样本最后一个全连接层第j个类别的输 出值。
[0051] 进一步的，根据所述待优化的参数的损失值在所述神经网络上通过链式求导法反 向逐层求待优化的参数的梯度中，根据如下公式求得待优化的参数的梯度：
[0052] ，'-
[0053] 其中，gt表示第t次迭代的待优化的参数的梯度，g W表示第t+1次迭代的所述 待优化的参数的梯度，Θ t表示第t次迭代的待优化的参数，
表示第二损失函数 J( Θ )对当前待优化的参数Θ = Θ t时的梯度，0. 9，g t表示惯性动量，0. 0005 · Θ t是对Θ 的正则化约束，η表示学习率。
[0054] 进一步的，根据求得的梯度并使用随机梯度下降算法对所述待优化的参数进行优 化W得到优化参数后的ImageNet模型中，通过如下公式对所述待优化的参数进行优化： [005引 Θ w= Θ t+gw，其中，Θ W表示第t+1次迭代的待优化的参数。
[0056] 进一步的，使用所述ImageNet模型提取每个证件图像训练样本的高层语义特征 包括：
[0057] 将证件图像训练样本缩放到与ImageNet模型中随机裁切后的样本图像相同的尺 寸；
[0058] 将缩放后的证件图像训练样本进行减均值操作；
[0059] 使用所述优化参数后的ImageNet模型提取减均值操作后的每个证件图像训练样 本的所述全连接层高层语义特征；
[0060] 将每个证件图像训练样本的高层语义特征进行稀疏化操作，并采用二范数将经过 稀疏化操作的高层语义特征进行归一化操作。
[0061] 根据本申请的另一方面还提供一种用于证件图像检测的设备，包括：
[0062] 第一装置，用于基于MB-LBP特征训练由多个强分类器级联成的证件检测器；
[0063] 第二装置，用于通过所述证件检测器检测待检测图像中的证件图像。
[0064] 进一步的，所述第一装置包括：
[0065] 第一一模块，用于获取多个证件图像和非证件图像分别作为正样本和负样本；
[0066] 第一二模块，用于从正样本和负样本中随机选择不同的区域，分别提取不同的区 域的MB-LBP特征；
[0067] 第一Η模块，用于基于不同的区域的MB-LBP特征训练由多个强分类器级联成的 证件检测器。
[0068] 进一步的，所述第一 Η模块包括：
[0069] 第一Η-单元，用于基于不同的区域的MB-LBP特征并使用gentle Ad油oost策略 进行特征选择，根据选择的特征生成每个由多个多分支回归树弱分类器组成的强分类器；
[0070] 第一Η二单元，用于使用cascade Ad油oost策略将多个强分类器级联成的证件检 测器。
[0071] 进一步的，第一二模块包括：
[0072] 第一二一单元，用于分别将每个区域划分为若干个子区域，计算每个子区域的像 素均值；
[0073] 第一二二单元，用于通过比较每个区域内的中必子区域的像素均值与周围子区域 的像素均值获得每个区域的二进制编码的MB-LBP特征；
[0074] 第一二Η单元，用于将每个区域的二进制编码MB-LBP特征转化成十进制的 MB-LBP 特征。
[00巧]进一步的，第一 Η-单元包括：
[0076] 第一 Η-一子单元，用于根据正样本和负样本的数量设置每个正样本或负样本的 权重，初始化强分类器；
[0077] 第一Η-二子单元，用于基于不同的区域的十进制的MB-LBP特征和正样本或负 样本的权重训练得到对应的多分支回归树弱分类器；
[0078] 第一Η-Η子单元，用于从多分支回归树弱分类器中选择具有最小损失的多分支 回归树弱分类器加入强分类器；
[0079] 第一 Η-四子单元，用于根据选择得到的多分支回归树弱分类器更新正样本和负 样本的权重，判断当前强分类器中的多分支回归树弱分类器的个数是否达到预设的个数， 若是，则转到第一 Η-五子单元执行，若否，则转到第一 Η-二子单元执行；
[0080] 第一三一五子单兀，用于输出生成的强分类器。
[0081] 进一步的，所述第一Η-二子单元，用于基于不同的区域的十进制的MB-LBP特征 和正样本或负样本的权重得到第一损失函数，通过第一损失函数最小化后训练得到对应于 不同的区域的十进制的MB-LBP特征的每个多分支回归树弱分类器。
[0082] 进一步的，所述第一 Η-二子单元得到的所述第一损失函数中，表示如下：
[0083]
，其中，fm (χ\βρ)表示第m个弱分类器， N表示正样本和负样本的数量，表示第i个正样本或负样本的区域的十进制的MB-LBP 特征，表示样本的类型，为正样本时y 1= 1，为负样本时y 1= -l，w 1表示当前第i个正样 本或负样本的权重，'鸣^索，?·"ι(χ\βρ)采用多分支树，?·"ι(χ\βρ)定义如下：
[0084]
[00财进一步的，所述第一 S -二子单元通过最小化JiMsOw，fm(x\BP))求得
[0086] 进一步的，第一 Η-四子单元根据选择得到的多分支回归树弱分类器更新正样本 和负样本的权重中，所述权重根据下式更正：
[0087]
[0088] 进一步的，所述设备还包括第Η装置，用于对所述待检测图像校正角度。
[0089] 进一步的，所述第Η装置包括：
[0090] 第Η-模块，训练ImageNet模型；
[0091] 第Η二模块，获取多种旋转角度的证件图像训练样本，使用所述ImageNet模型提 取每个证件图像训练样本的高层语义特征；
[0092] 第HH模块，使用线性支撑向量机对证件图像训练样本的高层语义特征进行训练 得到确定图像旋转角度的分类器；
[0093] 第Η四模块，通过所述分类器确定一待检测图像的旋转角度，根据待检测图像的 旋转角度调整该待检测图像的角度。
[0094] 进一步的，所述第Η-模块包括：
[0095] 第Η--单元，用于将ImageNet数据库中的样本图像缩放到相同的分辨率；
[0096] 第Η-二单元，用于将所述样本图像进行减均值操作；
[0097] 第Η-Η单元，用于对减均值操作后的样本图像进行随机裁切到统一尺寸；
[0098] 第Η-四单元，用于设置ImageNet模型的神经网络为依次连接的卷积层和全连 接层；
[0099] 第立一五单元，用于随机裁切后的样本图像在神经网络前向传播，计算出 ImageNet模型的待优化的参数的损失值；
[0100] 第Η-六单元，用于根据所述待优化的参数的损失值在所述神经网络上通过链式 求导法反向逐层求待优化的参数的梯度，根据求得的梯度并使用随机梯度下降算法对所述 待优化的参数进行优化W得到优化参数后的ImageNet模型。
[01(Π ] 进一步的，第Η-五单元计算出ImageNet模型的待优化的参数的损失值中，所述 待优化的参数的损失值J( Θ )根据如下第二损失函数获取，
[0102]
其中，Θ表示待优化的参数，η表示样本 图像的数量，k表示输出类别的个数，:(6/表示第i个样本最后一个全连接层第j个类别的输 出值。
[0103] 进一步的，第Η-六单元根据如下公式求得待优化的参数的梯度：
[0104]
[0105] 其中，gt表示第t次迭代的待优化的参数的梯度，g W表示第t+1次迭代的所述 待优化的参数的梯度，Θ t表示第t次迭代的待优化的参数，
表示第二损失函数 J( Θ )对当前待优化的参数Θ = Θ t时的梯度，0. 9，g t表示惯性动量，0. 0005 · Θ t是对Θ 的正则化约束，η表示学习率。
[0106] 进一步的，第Η-六单元通过如下公式对所述待优化的参数进行优化：
[0107] Θ w= Θ t+gw，其中，Θ W表示第t+1次迭代的待优化的参数。
[010引进一步的，所述第Η二模块包括：
[0109] 第Η二一单元，用于获取多种旋转角度的证件图像训练样本；
[0110] 第Η二二单元，用于将证件图像训练样本缩放到与ImageNet模型中随机裁切后 的样本图像相同的尺寸；
[0111] 第Η二Η单元，用于将缩放后的证件图像训练样本进行减均值操作；
[0112] 第Η二四单元，用于使用所述优化参数后的ImageNet模型提取减均值操作后的 每个证件图像训练样本的所述全连接层高层语义特征；
[0113] 第Η二五单元，用于将每个证件图像训练样本的高层语义特征进行稀疏化操作， 并采用二范数将经过稀疏化操作的高层语义特征进行归一化操作。
[0114] 与现有技术相比，本申请通过训练好的证件检测器检测出证件图像在待检测图像 中的位置，与传统的基于边缘的身份证检测算法相比，本申请基于机器学习的算法更加鲁 棒，且能够处理证件图像的背景复杂的问题。
[0115] 另外，本申请通过对所述待检测图像校正角度，从而实现对旋转的待检测图像进 行证件图像所在位置的更精确的检测。
【附图说明】
[0116] 通过阅读参照W下附图所作的对非限制性实施例所作的详细描述，本申请的其它 特征、目的和优点将会变得更明显：
[0117] 图1示出根据本申请一个方面的证件图像检测方法的流程图；
[0118] 图2示出本申请一优选实施例的证件图像检测方法的流程图；
[0119] 图3示出本申请一更优的实施例的证件图像检测方法的流程图；
[0120] 图4示出本申请一实施例的证件检测器的检测原理图；
[0121] 图5示出本申请另一更优的实施例的证件图像检测方法的流程图；
[0122] 图6示出本申请一实施例的每个区域的二进制、十进制编码MB-LBP特征获取原理 图；
[0123] 图7示出本申请再一更优的实施例的证件图像检测方法的流程图；
[0124] 图8示出本申请又一更优的实施例的证件图像检测方法的流程图；
[0125] 图9示出本申请另一优选的实施例的证件图像检测方法的流程图；
[0126] 图10示出本申请另一更优的实施例的证件图像检测方法的流程图；
[0127] 图11示出本申请再一更优的实施例的证件图像检测方法的流程图；
[0128] 图12示出本申请一实施例的ImageNet模型的神经网络的结构图；
[0129] 图13示出本申请又一更优的实施例的证件图像检测方法的流程图；
[0130] 图14示出本申请另一方面的用于证件图像检测的设备的结构图；
[0131] 图15示出本申请一优选实施例的用于证件图像检测的设备的结构图；
[0132] 图16示出本申请一更优的实施例的用于证件图像检测的设备的结构图；
[0133] 图17示出本申请另一更优的实施例的用于证件图像检测的设备的结构图；
[0134] 图18示出本申请再一更优的实施例的用于证件图像检测的设备的结构图；
[0135] 图19示出本申请另一优选的实施例的用于证件图像检测的设备的结构图；
[0136] 图20示出本申请另一更优的实施例的用于证件图像检测的设备的结构图；
[0137] 图21示出本申请再一更优的实施例的用于证件图像检测的设备的结构图；
[013引图22示出本申请又一更优的实施例的用于证件图像检测的设备的结构图；
[0139] 图23示出本申请一具体应用实施例的原理图。
[0140] 附图中相同或相似的附图标记代表相同或相似的部件。
【具体实施方式】
[0141] 在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个 处理器（CPU)、输入/输出接口、网络接口和内存。
[0142] 内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM)和/ 或非易失性内存等形式，如只读存储器（ROM)或闪存（flash RAM)。内存是计算机可读介质 的示例。
[0143] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可W由任何方法 或技术来实现信息存储。信息可W是计算机可读指令、数据结构、程序的模块或其他数据。 计算机的存储介质的例子包括，但不限于相变内存（PRAM)、静态随机存取存储器（SRAM)、 动态随机存取存储器值RAM)、其他类型的随机存取存储器（RAM)、只读存储器（ROM)、电 可擦除可编程只读存储器巧EPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘值VD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性 存储设备或任何其他非传输介质，可用于存储可W被计算设备访问的信息。按照本文中的 界定，计算机可读介质不包括非暂存电脑可读媒体（transitory media),如调制的数据信 号和载波。
[0144] 图1示出根据本申请一个方面的证件图像检测方法的流程图，结合图1，本申请提 出一种证件图像检测方法包括：
[014引 步骤 S1,基于 MB-LBP (Multiscale Block Local Binary F^attern)特征训练由多 个强分类器级联成的证件检测器；
[0146] 步骤S3,通过所述证件检测器检测待检测图像中的证件图像。在此，所述证件图像 包括但不限于身份证图像、护照图像、工作证图像、学生证图像和驾驶证图像。本步骤中，检 测待检测图像中的证件图像不仅是指检测待检测图像中是否存在证件图像，还包括检测证 件图像在待检测图像中的位置。本实施例通过训练好的证件检测器检测出证件图像在待检 测图像中的位置，与传统的基于边缘的身份证检测算法相比，本实施例基于机器学习的算 法更加鲁棒，且能够处理证件图像的背景复杂的问题。
[0147] 图2示出本申请一优选实施例的证件图像检测方法的流程图。结合图2,图1中的 步骤S1包括：
[014引步骤S11，获取多个证件图像和非证件图像分别作为正样本和负样本；例如，本步 骤中可W使用103个正样本和500个负样本，正样本就是分辨率为40X60的身份证图像， 负样本是不包含身份证的任意图像；
[0149] 步骤S12,从正样本和负样本中随机选择不同的区域，分别提取不同的区域的 MB-LBP 特征；
[0150] 步骤S13,基于不同的区域的MB-LBP特征训练由多个强分类器级联成的证件检测 器。在此，每个强分类器由多个多分支回归树弱分类器生成，每个多分支回归树弱分类器由 基于所述正样本和负样本的MB-LBP特征训练得到。
[0151] 图3示出本申请一更优的实施例的证件图像检测方法的流程图。结合图3,图2中 的步骤S13包括：
[015引步骤S131，基于不同的区域的MB-LBP特征并使用gentle Ad油oost策略进行特征 选择，根据选择的特征生成每个由多个多分支回归树弱分类器组成的强分类器；
[0153] 步骤S132,使用cascade Ad油oost策略将多个强分类器级联成的证件检测器。由 于不同的区域的MB-LBP特征是二进制的01编码，无法采用一般的距离进行度量。所W在 此，训练弱分类器采用多分支回归树的策略，然后使用gentle Ad油oost策略进行特征选 择，组合出强分类器，最后引入cascade Ad油oost策略来加速证件的检测算法。
[0154] 本申请一更优的实施例中，所述证件检测器中在前的强分类器的多分支回归树弱 分类器的数量较少，在后的强分类器的多分支回归树弱分类器的数量较多。在此，为了使得 训练得到的检测器具有较高的检测率和较低的时间复杂度，采用级联强分类器的策略来训 练身份证检测的检测器。级联分类器的训练过程主要是强分类器的结合，越前面的强分类 器越简单，只要保证较高的检测率，所W前面几个强分类器主要用于过滤不是身份证的候 选区域。越后面级联的强分类器需要较高的准确率，从而确保过滤到不是身份证的区域。例 女口，可W训练由16个强分类器级联而成的证件检测器。例如，步骤S13中生成了如图4所 示的由16个强分类器级联成的证件检测器，相应的，步骤S3中，将待检测图像输入证件检 测器，证件检测器在检测证件区域的时候是一个逐级过滤非证件区域的过程，通过在候选 区域中计算MB-LBP特征，通过级联的强分类器一个一个判定，如果不是证件区域，就直接 认为该区域不是证件，如果通过强分类器判定为证件，进入下一个强分类器进行判定，只有 当所有的强分类器都认为是证件时，该区域才是证件所在的位置。本领域技术人员应能理 解上述证件检测器的训练的描述仅为举例，其他现有的或今后可能出现的证件检测器的训 练如可适用于本申请，也应包含在本申请保护范围W内，并在此W引用方式包含于此。
[0155] 图5示出本申请一更优的实施例的证件图像检测方法的流程图。结合图5,图2中 的步骤S12中的分别提取不同的区域的MB-LBP特征包括：
[0156] 步骤S121，分别将每个区域划分为若干个子区域，计算每个子区域的像素均值；
[0157] 步骤S122,通过比较每个区域内的中必子区域的像素均值与周围子区域的像素均 值获得每个区域的二进制编码的MB-LBP特征；
[0158] 步骤S123,将每个区域的二进制编码MB-LBP特征转化成十进制的MB-LBP特征。 例如，如图6所示，如果S121中将每个正样本和负样本划分为9干个矩形区域，可通过如下 公式将每个正样本或负样本的二进制的编码转化成十进制的特征值XUP:
[0159]
b表示8个周围区域 中的其中一个区域的序号，gb表示8个周围区域中的其中一个区域的平均像素值，g。表示 中必区域的平均像素值，图6中的区域的二进制编码的MB-LBP特征为11101001，转化成十 进制的MB-LBP特征为223。本领域技术人员应能理解上述提取MB-LBP特征的描述仅为举 例，其他现有的或今后可能出现的提取MB-LBP特征如可适用于本申请，也应包含在本申请 保护范围W内，并在此W引用方式包含于此。
[0160] 图7示出本申请一更优的实施例的证件图像检测方法的流程图。结合图7,图3中 的步骤S131，包括：
[0161] 步骤S1311，根据正样本和负样本的数量N设置每个正样本或负样本的权重 化*占丢，初始化强分类器F(x) = 0;
[016引步骤S1312,基于不同的区域的十进制的MB-LBP特征和正样本或负样本的权重训 练得到对应的多分支回归树弱分类器；
[0163] 步骤S1313,从多分支回归树弱分类器中选择具有最小损失的多分支回归树弱分 类器加入强分类器；
[0164] 步骤S1314,根据选择得到的多分支回归树弱分类器更新正样本和负样本的权重， 判断当前强分类器中的多分支回归树弱分类器的个数是否达到预设的个数，若是，则转到 步骤S1315,若否，则转到步骤S1312 ;
[0165] 步骤S1315,输出生成的强分类器
[0166] 图8示出本申请一更优的实施例的证件图像检测方法的流程图。结合图8,图7中 的步骤S1312,包括：
[0167] 步骤S13121，基于不同的区域的十进制的MB-LBP特征和正样本或负样本的权重 得到第一损失函数；
[016引步骤S13122,通过第一损失函数最小化后训练得到对应于不同的区域的十进制的 MB-LBP特征的每个多分支回归树弱分类器。
[0169] 本申请一更优的实施例中，步骤S13121中的所述第一损失函数表示如下：
[0170]
其中，fm(x\w)表示第m个弱分类器， N表示正样本和负样本的数量，表示第i个正样本或负样本的区域的十进制的MB-LBP 特征，表示样本的类型，为正样本时y 1= 1，为负样本时y 1= -l，w 1表示当前第i个正样 本或负样本的权重，雌奏，fm(x\ep)采用多分支树，fm(x\ep)定义如下：
[0171]
[017引本申请一更优的实施例中，步骤S13122中通过最小化fm(x\BP))求得
即fm(x\ep)。本领域技术人员应能理解上述损失函数的描述仅为举 例，其他现有的或今后可能出现的损失函数如可适用于本申请，也应包含在本申请保护范 围W内，并在此W引用方式包含于此。
[0173] 本申请一更优的实施例中，步骤S1314中的根据选择得到的多分支回归树弱分类 器更新正样本和负样本的权重中，所述权重根据下式更正：
[0174] 本领域技术人员应能理解上述权重更正的描述仅为 3 举例，其他现有的或今后可能出现的权重更正如可适用于本申请，也应包含在本申请保护 范围W内，并在此W引用方式包含于此。
[0175] 图9示出本申请一优选的实施例的证件图像检测方法的流程图。结合图9,图1中 的步骤S3之前还包括：
[0176] 步骤S2,对所述待检测图像校正角度，从而实现对旋转的待检测图像进行证件图 像所在位置的更精确的检测。
[0177] 图10示出本申请一更优的实施例的证件图像检测方法的流程图。结合图10,图9 中的步骤S2,包括：
[017引步骤S21，训练ImageNet模型；具体的，图像分类是计算机视觉、模式识别和机器 学习领域一个非常活跃的研究方向，近年来，随着大规模图像数据集的健全，图像分类算法 的准确率得到了极大程度的提升，而且每年都有基于Image化t数据库（100多万样本，1000 个类别）的图像分类竞赛平台，深度卷积神经网络目前在图像理解的领域，包括图像分类， 图像检索，目标检测等，得到了广泛的使用。特别是在图像分类方面，基于深度卷积神经网 络的图像分类算法在准确率方面往往比传统的BOW模型相比高出10个百分点，当样本量 比较小的时候，训练深度卷积神经网络的ImageNet模型容易出现过拟合的现象，从而导致 模型的泛化能力很差，为了克服送个缺点，本申请中首先训练在ImageNet数据集合上训练 1000类的图像分类模型，然后用送个模型来提取旋转图像的高层特征，最后用使用线性支 撑向量机（liblinear svm)分类器来进行图像分类，送种图像分类方法综合了深度学习和 线性svm分类器的特点，从而使得得到的模型具有较高的准确率W及较好的泛化能力； [0179] 步骤S22,获取多种旋转角度的证件图像训练样本，使用所述ImageNet模型提取 每个证件图像训练样本的高层语义特征；具体的，在互联网环境中有成千上万的不同年龄 段，不同性格的用户，用户上传的待检测图像如手持证件照照片也是千奇百怪，通过数据分 析，发现很多用户上传的手持照片是旋转过的，一般可W分为正常旋转0度，旋转90度，旋 转180度，旋转270度旋转，针对送些特点，本申请采用图像分类的方式来判断待检测图像 的旋转角度，在此，可W收集多个没有旋转的同一类证件图像，然后随机对送些证件图像进 行旋转，如分别旋转90度，180度，270度，从而得到4个不同旋转方向的证件图像作为用于 判断送一类证件图像旋转方向的证件图像训练样本，例如可W获得8609个样本（Ii，yi)，具 体用公式表示如下：
[0182] 其中，li表示证件图像训练样本，y i表示证件图像训练样本的标识1油el, Rg(I)表 示对证件图像训练样本旋转a度。本领域技术人员应能理解上述证件图像训练样本的描述 仅为举例，其他现有的或今后可能出现的证件图像训练样本如可适用于本申请，也应包含 在本申请保护范围W内，并在此W引用方式包含于此。
[0183] 步骤S23,使用线性支撑向量机对证件图像训练样本的高层语义特征进行训练得 到确定图像旋转角度的分类器；
[0184] 步骤S24,通过所述分类器确定一待检测图像的旋转角度，根据待检测图像的旋转 角度调整该待检测图像的角度。在此，当待检测图像照输入时，首先用步骤S23训练好的确 定图像旋转角度的分类器确定待检测图像的旋转角度，然后对待检测图像进行调整如调整 到0旋转角度，后续即可使用步骤S1训练好的证件检测器对调整过的待检测图像进行证件 所在位置的检测，例如，如果检测到证件图像，郝么可W对证件区域进行放大展示，如果未 检测到，就提示用户上传的待检测图像不符合规范。
[0185] 图11示出本申请一更优的实施例的证件图像检测方法的流程图。结合图11，图 10中的步骤S21，包括：
[0186] 步骤S211，将ImageNet数据库中的样本图像缩放到相同的分辨率；例如，可 将ImageNet数据库中的样本图像都缩放到256X256X3的分辨率，优选的，为了得到较 好的缩放效果，在ImageNet数据库中的样本图像的分辨率大于256的时候，采用抗银齿 (ANTI-ALIASING)的图像缩放算法；当ImageNet数据库中的样本图像的分辨率小于256的 时候，采用双Η次差值度ICUBIC)缩放算法，从而降低因图像缩放导致的损失，可通过如下 公式得到缩放到相同的分辨率的样本图像I。^;
[0187]
其中，I表示缩放前的 样本图像，表示缩放前的样本图像I的宽度，I h表示表示缩放前的样本图像I的高度， Rcsizc^,.、,,、、(I)表示采用抗银齿（ANTI-ALIASING)的图像缩放算法将Image化t数据库中 的样本图像都缩放到256X256的分辨率，R.馈ize證uBic(〇表示将Image化t数据库中的样本 图像都缩放到256X256的分辨率。本领域技术人员应能理解上述样本图像缩放的描述仅 为举例，其他现有的或今后可能出现的样本图像缩放如可适用于本申请，也应包含在本申 请保护范围W内，并在此W引用方式包含于此。
[018引步骤S212,将所述样本图像进行减均值操作；在此将样本图像的均值归一化到0， 减均值操作后的样本图像1。。《2可通过如下公式得到：
[0189]
，其中，η表示样本图像的数量，i表示η个样本图像中的 某个样本图像的序号；
[0190] 步骤S213,对减均值操作后的样本图像进行随机裁切到统一尺寸；在此，为了使 得模型具有平移不变性，在训练ImageNet模型的时候需要对缩放后的图像进行随机裁 切，裁切的分辨率设置为32,从而将原先缩放到分辨率256X256X3的图像裁切到分辨率 224X224X3,可通过如下公式得到随机裁切后的样本图像I。。心
[0191] x〇= rand (Ο, 31), y 〇= rand (0, 31)
[0192]
，其中，X。表示减均值操作后的样本图像进 行随机裁切的X向裁切起始点，y。表示减均值操作后的样本图像进行随机裁切的y向裁切 起始点，I"e>^3(x，y)表示随机裁切后的样本图像的某个像素点的像素值，Le?2(x+XD，y+y。）表 示表示随机裁切前的样本图像的某个像素点的像素值
[0193] 步骤S214,设置ImageNet模型的神经网络为依次连接的卷积层和全连接层； 在此，可在GPU(Gra地ic Processing化it,图形处理器）上训练深度卷积神经网络的 ImageNet模型，卷积神经网络在计算的过程中会对每个图像进行卷积操作，密集采样的卷 积操作会使得计算复杂度非常高，所W训练的过程中可采用GPU进行训练，例如可采用的 GPU型号为tesla k20系列GPU,深度卷积神经网络和传统的神经网络相比，主要有2个 特点，一个是卷积，用于提取图像特征，另外一个就是网络的深度比较深，模型包含大量的 参数。如图12所示，ImageNet模型的神经网络包含了 5个卷积层和3个全连接层，，总共 可含有650万个待优化的参数，其中，5个卷积层分别为CPN1、CPN2、C0NV3、C0NV4和CP5， 3个全连接层分别为FC6、FC7和FC8, CPN1依次进行卷积操作（filter、padding、stride、 filtersize)、池化操作（sizex、stride)和归一化操作，CPN2依次进行卷积操作（filter、 group、padding、stride、filtersize)、池化操作（sizex、stride)和归一化操作，C0NV3 依 次进行卷积操作（filter、padding、stride、filtersize)和归一化操作，C0NV4依次进行 卷积操作（filter、padding、stride、filtersize)和归一化操作，CP5依次进行卷积操作 (filter、g;roup、padding、stride、filtersize)、池化操作（sizex、stride)和归一化操作， FC6有4096个输出，FC7有4096个输出，FC8有4096个输出；本领域技术人员应能理解上 述ImageNet模型的神经网络的描述仅为举例，其他现有的或今后可能出现的ImageNet模 型的神经网络如可适用于本申请，也应包含在本申请保护范围W内，并在此W引用方式包 含于此。
[0194] 步骤S215,随机裁切后的样本图像在神经网络前向传播，计算出ImageNet模型的 待优化的参数的损失值；
[0195] 步骤S216,根据所述待优化的参数的损失值在所述神经网络上通过链式求导法反 向逐层求待优化的参数的梯度，根据求得的梯度并使用随机梯度下降算法（SGD)对所述待 优化的参数进行优化W得到优化参数后的ImageNet模型。
[0196] 本申请一更优的实施例中，步骤S215中所述待优化的参数的损失值J( Θ )根据如 下第二损失函数获取，
[0197]
，其中，Θ表示待优化的参数，η表示样本 图像的数量，k表示输出类别的个数，1/表示第i个样本最后一个全连接层第j个类别的输 出值。本领域技术人员应能理解上述损失函数的描述仅为举例，其他现有的或今后可能出 现的损失函数如可适用于本申请，也应包含在本申请保护范围W内，并在此W引用方式包 含于此。
[019引本申请一更优的实施例中，步骤S216中根据如下公式求得待优化的参数的梯度：
[0199] J
[0200] 其中，gt表示第t次迭代的待优化的参数的梯度，g W表示第t+1次迭代的所述 待优化的参数的梯度，Θ t表示第t次迭代的待优化的参数，
表示第二损失函数 J(e)对当前待优化的参数Θ = 时的梯度，0.9· gt表示惯性动量，惯性动量的引入使 得损失函数J(e)的下降和梯度更新更加平稳，0.0005 · θι是对Θ的正则化约束，η表 示学习率，一般地，学习率在一开始训练的时候设置为0.01，当训练到损失函数J( Θ)不下 降的时候，将学习率调小10倍即0. 001。本领域技术人员应能理解上述求得待优化的参数 的梯度的描述仅为举例，其他现有的或今后可能出现的求得待优化的参数的梯度的方式如 可适用于本申请，也应包含在本申请保护范围W内，并在此W引用方式包含于此。
[0201] 本申请一更优的实施例中，步骤S216中，通过如下公式对所述待优化的参数进行 优化：
[0202] Θ w= Θ t+gw，其中，Θ W表示第t+1次迭代的待优化的参数。本领域技术人员 应能理解上述对待优化的参数进行优化的描述仅为举例，其他现有的或今后可能出现的对 待优化的参数进行优化的方式如可适用于本申请，也应包含在本申请保护范围W内，并在 此W引用方式包含于此。
[0203] 图13示出本申请一更优的实施例的证件图像检测方法的流程图。结合图13,图10 的步骤S22中，使用所述ImageNet模型提取每个证件图像训练样本的高层语义特征包括：
[0204] 步骤S221，将证件图像训练样本缩放到与ImageNet模型中随机裁切后的样 本图像相同的尺寸；在此，可采用采用双线性插值的方式将证件图像训练样本缩放到 与ImageNet模型中随机裁切后的样本图像相同的尺寸，例如，如果S213中训练得到的 ImageNet模型输入数据即随机裁切后的样本图像的分辨率为224X224X3,所W对证件图 像训练样本直接缩放到分辨率224 X 224 X 3 ;
[0205] 步骤S222,将缩放后的证件图像训练样本进行减均值操作；具体的，本步骤中将 证件图像的均值归一化到0,减均值操作后的证件图像训练样本1。。《5可通过如下公式得 到；
[0206]
，其中，1。。《4表示减均值操作前的证件图像训练样本， η'表示证件图像训练样本的数量，i'表示η'个样本图像中的某个证件图像训练样本的 序号；
[0207] 步骤S223,使用所述优化参数后的ImageNet模型提取减均值操作后的每个证件 图像训练样本的所述全连接层高层语义特征；在此，提取到的是每个证件图像训练样本的 所述3个全连接层（f6,巧，巧全连接层）高层语义特征，例如，可W提取到总共的高层语义 特征的维数为9192 ;
[020引步骤S224,将每个证件图像训练样本的高层语义特征进行稀疏化操作，并采用二 范数将经过稀疏化操作的高层语义特征进行归一化操作。在此，进行稀疏化操作通过下式 实现：
[0209]
其中，护表示稀疏化操作前的第i维高层语义特征， 表示稀疏化操作后的第i维高层语义特征；
[0210] 采用二范数将经过稀疏化操作的高层语义特征进行归一化操作通过下式实现：
[0211]
其中，巧。表示经过归一化操作后的高层语义特征。本领域 技术人员应能理解上述稀疏化和归一化的描述仅为举例，其他现有的或今后可能出现的稀 疏化和归一化方式如可适用于本申请，也应包含在本申请保护范围W内，并在此W引用方 式包含于此。
[0212] 优选的，S23中使用线性支撑向量机对经过稀疏化和归一化的证件图像训练样本 的高层语义特征训练W得到确定图像旋转角度的分类器。在此，由于经过稀疏化和归一化 即步骤S224的证件图像训练样本的高层语义特征具有稀疏和高维度的特点，送种特征往 往都是线性可分的。所W，采用线性支撑向量机作为分类器，用于证件图像旋转角度的判 断。实际训练过程中，可将所有训练样本分成5份，4份作为证件图像训练样本用于训练， 1份作为证件图像测试样本用于测试，交叉校验后，训练得到确定图像旋转角度的分类器的 准确率为99%。
[0213] 上述实施例可通过C++语言实现，在Image化t模型训练阶段，使用GPU进行训练， GPU型号可为tesla K20,另外待检测图像旋转方向的确定W及证件区域的检测都可用C++ 语言实现。本领域技术人员应能理解上述实施例的语言实现方式的描述仅为举例，其他现 有的或今后可能出现的实施例的语言实现方式如可适用于本申请，也应包含在本申请保护 范围W内，并在此W引用方式包含于此。
[0214] 图14示出根据本申请另一个方面的用于证件图像检测的设备的结构图，结合图 14,本申请提出一种用于证件图像检测的设备100,包括：
[0215] 第一装置1，用于基于MB-LBP特征训练由多个强分类器级联成的证件检测器；
[0216] 第二装置2,用于通过所述证件检测器检测待检测图像中的证件图像。在此，所述 证件图像包括但不限于身份证图像、护照图像、工作证图像、学生证图像和驾驶证图像。本 步骤中，检测待检测图像中的证件图像不仅是指检测待检测图像中是否存在证件图像，还 包括检测证件图像在待检测图像中的位置。本实施例通过训练好的证件检测器检测出证件 图像在待检测图像中的位置，与传统的基于边缘的身份证检测算法相比，本实施例基于机 器学习的算法更加鲁棒，且能够处理证件图像的背景复杂的问题。
[0217] 图15示出本申请一优选实施例的用于证件图像检测的设备的结构图，结合图15， 图14中所述第一装置1包括：
[021引第一一模块11，用于获取多个证件图像和非证件图像分别作为正样本和负样本； 例如，第一一模块11可W使用103个正样本和500个负样本，正样本就是分辨率为40X60 的身份证图像，负样本是不包含身份证的任意图像；
[0219] 第一二模块12,用于从正样本和负样本中随机选择不同的区域，分别提取不同的 区域的MB-LBP特征；
[0220] 第一Η模块13,用于基于不同的区域的MB-LBP特征训练由多个强分类器级联成 的证件检测器。在此，每个强分类器由多个多分支回归树弱分类器生成，每个多分支回归树 弱分类器由基于所述正样本和负样本的MB-LBP特征训练得到。
[0221] 图16示出本申请一更优的实施例的用于证件图像检测的设备的结构图。结合图 16,图15中所述第一Η模块13包括：
[022引第一Η-单元131，用于基于不同的区域的MB-LBP特征并使用gentle Ad油oost 策略进行特征选择，根据选择的特征生成每个由多个多分支回归树弱分类器组成的强分类 器；
[022引第一Η二单元132,用于使用cascade Ad油oost策略将多个强分类器级联成的证 件检测器。由于不同的区域的MB-LBP特征是二进制的01编码，无法采用一般的距离进行 度量。所W在此，训练弱分类器采用多分支回归树的策略，然后使用gentle Adaboost策略 进行特征选择，组合出强分类器，最后引入cascade Ad油oost策略来加速证件的检测算法。
[0224] 本申请一更优的实施例中，所述证件检测器中在前的强分类器的多分支回归树弱 分类器的数量较少，在后的强分类器的多分支回归树弱分类器的数量较多。在此，为了使得 训练得到的检测器具有较高的检测率和较低的时间复杂度，采用级联强分类器的策略来训 练身份证检测的检测器。级联分类器的训练过程主要是强分类器的结合，越前面的强分类 器越简单，只要保证较高的检测率，所W前面几个强分类器主要用于过滤不是身份证的候 选区域。越后面级联的强分类器需要较高的准确率，从而确保过滤到不是身份证的区域。例 女口，可W训练由16个强分类器级联而成的证件检测器。例如，第一Η模块13生成了如图4 所示的由16个强分类器级联成的证件检测器，相应的，第二装置2将待检测图像输入证件 检测器，证件检测器在检测证件区域的时候是一个逐级过滤非证件区域的过程，通过在候 选区域中计算MB-LBP特征，通过级联的强分类器一个一个判定，如果不是证件区域，就直 接认为该区域不是证件，如果通过强分类器判定为证件，进入下一个强分类器进行判定，只 有当所有的强分类器都认为是证件时，该区域才是证件所在的位置。本领域技术人员应能 理解上述证件检测器的训练的描述仅为举例，其他现有的或今后可能出现的证件检测器的 训练如可适用于本申请，也应包含在本申请保护范围W内，并在此W引用方式包含于此。
[0225] 图17示出本申请一更优的实施例的用于证件图像检测的设备的结构图。结合图 17, 图15中第一二模块12包括：
[0226] 第一二一单元121，用于分别将每个区域划分为若干个子区域，计算每个子区域的 像素均值；
[0227] 第一二二单元122,用于通过比较每个区域内的中必子区域的像素均值与周围子 区域的像素均值获得每个区域的二进制编码的MB-LBP特征；
[0228] 第一二Η单元123,用于将每个区域的二进制编码MB-LBP特征转化成十进制的 MB-LBP特征。例如，如图6所示，如果第一二一单元121将每个正样本和负样本划分为9干 个矩形区域，可通过如下公式将每个正样本或负样本的二进制的编码转化成十进制的特征 值 Xlbp;
[0229]
b表示8个周围区域 中的其中一个区域的序号，gb表示8个周围区域中的其中一个区域的平均像素值，g。表示 中必区域的平均像素值，图6中的区域的二进制编码的MB-LBP特征为11101001，转化成十 进制的MB-LBP特征为223。本领域技术人员应能理解上述提取MB-LBP特征的描述仅为举 例，其他现有的或今后可能出现的提取MB-LBP特征如可适用于本申请，也应包含在本申请 保护范围W内，并在此W引用方式包含于此。
[0230] 图18示出本申请一更优的实施例的用于证件图像检测的设备的结构图。结合图 18, 图16中第一Η-单元131包括：
[0231] 第一 Η-一子单元1311，用于根据正样本和负样本的数量设置每个正样本或负样 本的权重，初始化强分类器；在此，可根据正样本和负样本的数量Ν设置每个正样本或负样 本的权重"V - -I，初始化强分类器F(x) = 0 ;
[0232] 第一Η-二子单元1312,用于基于不同的区域的十进制的MB-LBP特征和正样本 或负样本的权重训练得到对应的多分支回归树弱分类器；
[0233] 第一Η-Η子单元1313,用于从多分支回归树弱分类器中选择具有最小损失的多 分支回归树弱分类器加入强分类器；
[0234] 第一Η-四子单元1314,用于根据选择得到的多分支回归树弱分类器更新正样本 和负样本的权重，判断当前强分类器中的多分支回归树弱分类器的个数是否达到预设的个 数，若是，则转到第一Η-五子单元1315执行，若否，则转到第一Η-二子单元1312执行；
[0235] 第一三一五子单兀1315,用于输出生成的强分类器
[0236] 本申请一更优的实施例中，所述第一Η-二子单元1312,用于基于不同的区域的 十进制的MB-LBP特征和正样本或负样本的权重得到第一损失函数，通过第一损失函数最 小化后训练得到对应于不同的区域的十进制的MB-LBP特征的每个多分支回归树弱分类 器。
[0237] 本申请一更优的实施例中，所述第一 Η-二子单元得到的所述第一损失函数中， 表示如下：
[023引
其中，表示第m个弱分类器， N表示正样本和负样本的数量，表示第i个正样本或负样本的区域的十进制的MB-LBP 特征，表示样本的类型，为正样本时y 1= 1，为负样本时y 1= -l，w 1表示当前第i个正样 本或负样本的权重，W;表，fm(x\w)采用多分支树，fm(x\w)定义如下：
[0239]
[0240] 本申请一更优的实施例中，所述第一Η-二子单元13122通过最小化 JlMsOW，fm(xiLBP))求得
[0241] 本领域技术人员应能理解上述损失函数的描述仅为举例，其他现有的或今后可能 出现的损失函数如可适用于本申请，也应包含在本申请保护范围W内，并在此W引用方式 包含于此。
[0242] 本申请一更优的实施例中，第一Η-四子单元1314根据选择得到的多分支回归 树弱分类器更新正样本和负样本的权重中，所述权重根据下式更正：
[0243]
[0244] 本领域技术人员应能理解上述权重更正的描述仅为举例，其他现有的或今后可能 出现的权重更正如可适用于本申请，也应包含在本申请保护范围W内，并在此W引用方式 包含于此。
[0245] 图19示出本申请一更优的实施例的用于证件图像检测的设备的结构图。结合图 19, 图14,还包括第Η装置3,用于对所述待检测图像校正角度，从而实现对旋转的待检测 图像进行证件图像所在位置的更精确的检测。
[0246] 图20示出本申请一更优的实施例的用于证件图像检测的设备的结构图。结合图 20, 图19中所述第Η装置3包括：
[0247] 第Η-模块31，训练ImageNet模型；具体的，图像分类是计算机视觉、模式识别和 机器学习领域一个非常活跃的研究方向，近年来，随着大规模图像数据集的健全，图像分类 算法的准确率得到了极大程度的提升，而且每年都有基于Image化t数据库（100多万样本， 1000个类别）的图像分类竞赛平台，深度卷积神经网络目前在图像理解的领域，包括图像 分类，图像检索，目标检测等，得到了广泛的使用。特别是在图像分类方面，基于深度卷积神 经网络的图像分类算法在准确率方面往往比传统的BOW模型相比高出10个百分点，当样本 量比较小的时候，训练深度卷积神经网络的ImageNet模型容易出现过拟合的现象，从而导 致模型的泛化能力很差，为了克服送个缺点，本申请中首先训练在Image化t数据集合上训 练1000类的图像分类模型，然后用送个模型来提取旋转图像的高层特征，最后用使用线性 支撑向量机（liblinear svm)分类器来进行图像分类，送种图像分类方法综合了深度学习 和线性svm分类器的特点，从而使得得到的模型具有较高的准确率W及较好的泛化能力； [024引第Η二模块32,获取多种旋转角度的证件图像训练样本，使用所述ImageNet模型 提取每个证件图像训练样本的高层语义特征；具体的，在互联网环境中有成千上万的不同 年龄段，不同性格的用户，用户上传的待检测图像如手持证件照照片也是千奇百怪，通过数 据分析，发现很多用户上传的手持照片是旋转过的，一般可W分为正常旋转0度，旋转90 度，旋转180度，旋转270度旋转，针对送些特点，本申请采用图像分类的方式来判断待检测 图像的旋转角度，在此，可W收集多个没有旋转的同一类证件图像，然后随机对送些证件图 像进行旋转，如分别旋转90度，180度，270度，从而得到4个不同旋转方向的证件图像作为 用于判断送一类证件图像旋转方向的证件图像训练样本，例如可W获得8609个样本（Ii， yi)，具体用公式表示如下：
[024引 r = random (0,4)，
[0 巧 0]
[0巧1] 其中，Ii表示证件图像训练样本，表示证件图像训练样本的标识1油el,Rg(I)表 示对证件图像训练样本旋转a度。本领域技术人员应能理解上述证件图像训练样本的描述 仅为举例，其他现有的或今后可能出现的证件图像训练样本如可适用于本申请，也应包含 在本申请保护范围W内，并在此W引用方式包含于此。
[0252] 第HH模块33,使用线性支撑向量机对证件图像训练样本的高层语义特征进行训 练得到确定图像旋转角度的分类器；
[0253] 第Η四模块34,通过所述分类器确定一待检测图像的旋转角度，根据待检测图像 的旋转角度调整该待检测图像的角度。在此，当待检测图像照输入时，首先用步骤S23训练 好的确定图像旋转角度的分类器确定待检测图像的旋转角度，然后对待检测图像进行调整 如调整到0旋转角度，后续即可使用步骤S1训练好的证件检测器对调整过的待检测图像进 行证件所在位置的检测，例如，如果检测到证件图像，郝么可W对证件区域进行放大展示， 如果未检测到，就提示用户上传的待检测图像不符合规范。
[0巧4] 图21示出本申请一更优的实施例的用于证件图像检测的设备的结构图。结合图 21，图20中所述第Η-模块31包括：
[0巧引第Η-一单元311，用于将ImageNet数据库中的样本图像缩放到相同的分辨率； [0巧6] 第Η-二单元312,用于将所述样本图像进行减均值操作；
[ο巧7] 第Η-Η单元312,用于对减均值操作后的样本图像进行随机裁切到统一尺寸；
[0巧引第Η-四单元314,用于设置ImageNet模型的神经网络为依次连接的卷积层和全 连接层；
[0巧9] 第Η-五单元315,用于随机裁切后的样本图像在神经网络前向传播，计算出 ImageNet模型的待优化的参数的损失值；
[0260] 第Η-六单元316,用于根据所述待优化的参数的损失值在所述神经网络上通过 链式求导法反向逐层求待优化的参数的梯度，根据求得的梯度并使用随机梯度下降算法对 所述待优化的参数进行优化W得到优化参数后的ImageNet模型。
[026。 本申请一更优的实施例中，第Η-五单元315计算出ImageNet模型的待优化的参 数的损失值中，所述待优化的参数的损失值J( Θ )根据如下第二损失函数获取，
[0262]
庚中，Θ表示待优化的参数，η表示样本 图像的数量，k表示输出类别的个数，x/表示第i个样本最后一个全连接层第j个类别的输 出值。
[0263] 本申请一更优的实施例中，第Η-六单元316根据如下公式求得待优化的参数的 梯度：
[0264]
[0265] 其中，gt表示第t次迭代的待优化的参数的梯度，g W表示第t+1次迭代的所述 待优化的参数的梯度，Θ t表示第t次迭代的待优化的参数，
表示第二损失函数 J( Θ )对当前待优化的参数Θ = Θ t时的梯度，0. 9，g t表示惯性动量，0. 0005 · Θ t是对Θ 的正则化约束，η表示学习率。
[0266] 本申请一更优的实施例中，第Η-六单元316通过如下公式对所述待优化的参数 进行优化：
[0267] Θ w= Θ t+gw，其中，白W表示第t+1次迭代的待优化的参数。
[026引图22示出本申请一更优的实施例的用于证件图像检测的设备的结构图。结合图 22,图20中，所述第Η二模块32包括：
[0269] 第Η二一单元321，用于获取多种旋转角度的证件图像训练样本；
[0270] 第Η二二单元322,用于将证件图像训练样本缩放到与ImageNet模型中随机裁切 后的样本图像相同的尺寸；
[0271] 第Η二Η单元323,用于将缩放后的证件图像训练样本进行减均值操作；
[0272] 第Η二四单元324,用于使用所述优化参数后的ImageNet模型提取减均值操作后 的每个证件图像训练样本的所述全连接层高层语义特征；
[0273] 第Η二五单元325,用于将每个证件图像训练样本的高层语义特征进行稀疏化操 作，并采用二范数将经过稀疏化操作的高层语义特征进行归一化操作。
[0274] 上述实施例可通过C++语言实现，在Image化t模型训练阶段，使用GPU进行训练， GPU型号可为tesla K20,另外待检测图像旋转方向的确定W及证件区域的检测都可用C++ 语言实现。本领域技术人员应能理解上述实施例的语言实现方式的描述仅为举例，其他现 有的或今后可能出现的实施例的语言实现方式如可适用于本申请，也应包含在本申请保护 范围W内，并在此W引用方式包含于此。
[0275] 在一具体的应用实施例中，需要检测用户人提供的手持照片中是否有身份证图 像，如果有则确定身份证图像在手持照片中的位置。如图23所示，采用本申请的方法，首先 获取到手持照片201，可W通过步骤S23中得到的分类器确定手持照片201的旋转角度，根 据手持照片201的旋转角度手持照片201的角度得到调整角度的图片202,通过步骤S1中 训练得到证件检测器送里是身份证检测器检测待检测图像中的身份证图像得到框出身份 理证图像所在位置的手持照片203。
[0276] 综上所述，本申请通过训练好的证件检测器检测出证件图像在待检测图像中的位 置，与传统的基于边缘的身份证检测算法相比，本申请基于机器学习的算法更加鲁棒，且能 够处理证件图像的背景复杂的问题。
[0277] 另外，本申请通过对所述待检测图像校正角度，从而实现对旋转的待检测图像进 行证件图像所在位置的更精确的检测。
[027引显然，本领域的技术人员可W对本申请进行各种改动和变型而不脱离本申请的精 神和范围。送样，倘若本申请的送些修改和变型属于本申请权利要求及其等同技术的范围 之内，则本申请也意图包含送些改动和变型在内。
[0279] 需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采 用专用集成电路（ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例 中，本申请的软件程序可W通过处理器执行W实现上文所述步骤或功能。同样地，本申请的 软件程序（包括相关的数据结构）可W被存储到计算机可读记录介质中，例如，RAM存储器， 磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例 女口，作为与处理器配合从而执行各个步骤或功能的电路。
[0280] 另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被 计算机执行时，通过该计算机的操作，可W调用或提供根据本申请的方法和/或技术方案。 而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通 过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行 的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括 用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序 指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或 技术方案。
[0281] 对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在 不背离本申请的精神或基本特征的情况下，能够W其他的具体形式实现本申请。因此，无论 从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权 利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有 变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此 夕b显然"包括"一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多 个单元或装置也可W由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来 表示名称，而并不表示任何特定的顺序。
【主权项】
1. 一种证件图像检测方法，其中，包括： 基于MB-LBP特征训练由多个强分类器级联成的证件检测器； 通过所述证件检测器检测待检测图像中的证件图像。2. 如权利要求1所述的方法，其中，基于MB-LBP特征训练由多个强分类器级联成的证 件检测器包括： 获取多个证件图像和非证件图像分别作为正样本和负样本； 从正样本和负样本中随机选择不同的区域，分别提取不同的区域的MB-LBP特征； 基于不同的区域的MB-LBP特征训练由多个强分类器级联成的证件检测器。3. 如权利要求2所述的方法，其中，基于不同的区域的MB-LBP特征训练由多个强分类 器级联成的证件检测器包括： 基于不同的区域的MB-LBP特征并使用gentle Adaboost策略进行特征选择，根据选择 的特征生成每个由多个多分支回归树弱分类器组成的强分类器； 使用cascade Adaboost策略将多个强分类器级联成的证件检测器。4. 如权利要求3所述的方法，其中，分别提取不同的区域的MB-LBP特征包括： 分别将每个区域划分为若干个子区域，计算每个子区域的像素均值； 通过比较每个区域内的中心子区域的像素均值与周围子区域的像素均值获得每个区 域的二进制编码的MB-LBP特征； 将每个区域的二进制编码MB-LBP特征转化成十进制的MB-LBP特征。5. 如权利要求4所述的方法，其中，基于不同的区域的MB-LBP特征并使用gentle Adaboost策略进行特征选择，根据选择的特征生成每个由多个多分支回归树弱分类器组成 的强分类器包括： 重复下述步骤直至当前强分类器中的多分支回归树弱分类器的个数是否达到预设的 个数，并输出生成的强分类器： 根据正样本和负样本的数量设置每个正样本或负样本的权重，初始化强分类器； 基于不同的区域的十进制的MB-LBP特征和正样本或负样本的权重训练得到对应的多 分支回归树弱分类器； 从多分支回归树弱分类器中选择具有最小损失的多分支回归树弱分类器加入强分类 器； 根据选择得到的多分支回归树弱分类器更新正样本和负样本的权重。6. 如权利要求5所述的方法，其中，基于不同的区域的十进制的MB-LBP特征和正样本 或负样本的权重训练得到对应的多分支回归树弱分类器包括： 基于不同的区域的十进制的MB-LBP特征和正样本或负样本的权重得到第一损失函 数； 通过第一损失函数最小化后训练得到对应于不同的区域的十进制的MB-LBP特征的每 个多分支回归树弱分类器。7. 如权利要求6所述的方法，其中，所述第一损失函数表示如下：，其中表不第m个弱分类器，N表 示正样本和负样本的数量，x\BP表示第i个正样本或负样本的区域的十进制的MB-LBP特 征，y;表示样本的类型，为正样本时y i= 1，为负样本时y i= -1，w ;表示当前第i个正样本 或负样本的权重，采用多分支树，定义如下：8. 如权利要求7所述的方法，其中，通过第一损失函数最小化后训练得到对应于不同 的区域的十进制的MB-LBP特征的每个多分支回归树弱分类器中， 通过取小化 JldSS (XlbP，fm(X LBP))9. 如权利要求8所述的方法，其中，根据选择得到的多分支回归树弱分类器更新正样 本和负样本的权重中，所述权重根据下式更正：10. 如权利要求1至9任一项所述的方法，其中，通过所述证件检测器检测待检测图像 中的证件图像之前还包括： 对所述待检测图像校正角度。11. 如权利要求10所述的方法，其中，对所述待检测图像校正角度包括： 训练ImageNet模型； 获取多种旋转角度的证件图像训练样本，使用所述ImageNet模型提取每个证件图像 训练样本的高层语义特征； 使用线性支撑向量机对证件图像训练样本的高层语义特征进行训练得到确定图像旋 转角度的分类器； 通过所述分类器确定一待检测图像的旋转角度，根据待检测图像的旋转角度调整该待 检测图像的角度。12. 如权利要求11所述的方法，其中，训练ImageNet模型包括： 将ImageNet数据库中的样本图像缩放到相同的分辨率； 将所述样本图像进行减均值操作； 对减均值操作后的样本图像进行随机裁切到统一尺寸； 设置ImageNet模型的神经网络为依次连接的卷积层和全连接层； 随机裁切后的样本图像在神经网络前向传播，计算出ImageNet模型的待优化的参数 的损失值； 根据所述待优化的参数的损失值在所述神经网络上通过链式求导法反向逐层求待优 化的参数的梯度，根据求得的梯度并使用随机梯度下降算法对所述待优化的参数进行优化 以得到优化参数后的ImageNet模型。13. 如权利要求12所述的方法，其中，计算出ImageNet模型的待优化的参数的损失值 中，所述待优化的参数的损失值J( Θ )根据如下第二损失函数获取，其中，Θ表示待优化的参数，n表示样本图像 的数量，k表示输出类别的个数，表示第i个样本最后一个全连接层第j个类别的输出 值。14. 如权利要求13所述的方法，其中，根据所述待优化的参数的损失值在所述神经网 络上通过链式求导法反向逐层求待优化的参数的梯度中，根据如下公式求得待优化的参数 的梯度：其中，gt表示第t次迭代的待优化的参数的梯度，g t+1表示第t+Ι次迭代的所述待优化 的参数的梯度，Θ t表示第t次迭代的待优化的参数，表示第二损失函数J( Θ ) 对当前待优化的参数Θ = 9t时的梯度，〇.9· 8,表示惯性动量，0.0005 · Θ t是对Θ的正 则化约束，Π 表示学习率。15. 如权利要求14所述的方法，其中，根据求得的梯度并使用随机梯度下降算法对所 述待优化的参数进行优化以得到优化参数后的ImageNet模型中，通过如下公式对所述待 优化的参数进行优化： 0t+1= Θ t+gt+1,其中，0t+1表示第t+Ι次迭代的待优化的参数。16. 如权利要求12所述的方法，其中，使用所述ImageNet模型提取每个证件图像训练 样本的高层语义特征包括： 将证件图像训练样本缩放到与ImageNet模型中随机裁切后的样本图像相同的尺寸； 将缩放后的证件图像训练样本进行减均值操作； 使用所述优化参数后的ImageNet模型提取减均值操作后的每个证件图像训练样本的 所述全连接层高层语义特征； 将每个证件图像训练样本的高层语义特征进行稀疏化操作，并采用二范数将经过稀疏 化操作的高层语义特征进行归一化操作。17. -种用于证件图像检测的设备，其中，包括： 第一装置，用于基于MB-LBP特征训练由多个强分类器级联成的证件检测器； 第二装置，用于通过所述证件检测器检测待检测图像中的证件图像。18. 如权利要求17所述的设备，其中，所述第一装置包括： 第一一模块，用于获取多个证件图像和非证件图像分别作为正样本和负样本； 第一二模块，用于从正样本和负样本中随机选择不同的区域，分别提取不同的区域的 MB-LBP 特征； 第一三模块，用于基于不同的区域的MB-LBP特征训练由多个强分类器级联成的证件 检测器。19. 如权利要求18所述的设备，其中，所述第一三模块包括： 第一三一单元，用于基于不同的区域的MB-LBP特征并使用gentle Adaboost策略进行 特征选择，根据选择的特征生成每个由多个多分支回归树弱分类器组成的强分类器； 第一三二单元，用于使用cascade Adaboost策略将多个强分类器级联成的证件检测 器。20. 如权利要求19所述的设备，其中，第一二模块包括： 第一二一单元，用于分别将每个区域划分为若干个子区域，计算每个子区域的像素均 值； 第一二二单元，用于通过比较每个区域内的中心子区域的像素均值与周围子区域的像 素均值获得每个区域的二进制编码的MB-LBP特征； 第一二三单元，用于将每个区域的二进制编码MB-LBP特征转化成十进制的MB-LBP特 征。21. 如权利要求20所述的设备，其中，第一三一单元包括： 第一三一一子单元，用于根据正样本和负样本的数量设置每个正样本或负样本的权 重，初始化强分类器； 第一三一二子单元，用于基于不同的区域的十进制的MB-LBP特征和正样本或负样本 的权重训练得到对应的多分支回归树弱分类器； 第一三一三子单元，用于从多分支回归树弱分类器中选择具有最小损失的多分支回归 树弱分类器加入强分类器； 第一三一四子单元，用于根据选择得到的多分支回归树弱分类器更新正样本和负样本 的权重，判断当前强分类器中的多分支回归树弱分类器的个数是否达到预设的个数，若是， 则转到第一三一五子单元执行，若否，则转到第一三一二子单元执行； 第一三一五子单元，用于输出生成的强分类器。22. 如权利要求21所述的设备，其中，所述第一三一二子单元，用于基于不同的区域 的十进制的MB-LBP特征和正样本或负样本的权重得到第一损失函数，通过第一损失函数 最小化后训练得到对应于不同的区域的十进制的MB-LBP特征的每个多分支回归树弱分类 器。23. 如权利要求22所述的设备，其中，所述第一三一二子单元得到的所述第一损失函 数中，表示如下：其中，?^χ^ρ)表不第m个弱分类器，N表 示正样本和负样本的数量，x\BP表示第i个正样本或负样本的区域的十进制的MB-LBP特 征，y;表示样本的类型，为正样本时y i= 1，为负样本时y i= -1，w ;表示当前第i个正样本 或负样本的权重，紙=^ 采用多分支树，fjx^p)定义如下：24. 如权利要求23所述的设备，其中，所述第一三一二子单元通过最小化25. 如权利要求24所述的设备，其中，第一三一四子单元根据选择得到的多分支回归 树弱分类器更新正样本和负样本的权重中，所述权重根据下式更正：26. 如权利要求17至25任一项所述的设备，其中，还包括第三装置，用于对所述待检测 图像校正角度。27. 如权利要求26所述的设备，其中，所述第三装置包括： 第三一模块，训练ImageNet模型； 第三二模块，获取多种旋转角度的证件图像训练样本，使用所述ImageNet模型提取每 个证件图像训练样本的高层语义特征； 第三三模块，使用线性支撑向量机对证件图像训练样本的高层语义特征进行训练得到 确定图像旋转角度的分类器； 第三四模块，通过所述分类器确定一待检测图像的旋转角度，根据待检测图像的旋转 角度调整该待检测图像的角度。28. 如权利要求27所述的设备，其中，所述第三一模块包括： 第三--单元，用于将ImageNet数据库中的样本图像缩放到相同的分辨率； 第三一二单元，用于将所述样本图像进行减均值操作； 第三一三单元，用于对减均值操作后的样本图像进行随机裁切到统一尺寸； 第三一四单元，用于设置ImageNet模型的神经网络为依次连接的卷积层和全连接层； 第三一五单元，用于随机裁切后的样本图像在神经网络前向传播，计算出ImageNet模 型的待优化的参数的损失值； 第三一六单元，用于根据所述待优化的参数的损失值在所述神经网络上通过链式求导 法反向逐层求待优化的参数的梯度，根据求得的梯度并使用随机梯度下降算法对所述待优 化的参数进行优化以得到优化参数后的ImageNet模型。29. 如权利要求28所述的设备，其中，第三一五单元计算出ImageNet模型的待优化的 参数的损失值中，所述待优化的参数的损失值J( Θ )根据如下第二损失函数获取，，其中，Θ表示待优化的参数，n表示样本图像 的数量，k表示输出类别的个数，;r/表示第i个样本最后一个全连接层第j个类别的输出 值。30. 如权利要求29所述的设备，其中，第三一六单元根据如下公式求得待优化的参数 的梯度：其中，gt表示第t次迭代的待优化的参数的梯度，g t+1表示第t+Ι次迭代的所述待优化 的参数的梯度，Θ t表示第t次迭代的待优化的参数，表示第二损失函数J( Θ ) 对当前待优化的参数Θ = 9t时的梯度，〇.9· 8,表示惯性动量，0.0005 · Θ t是对Θ的正 则化约束，Π 表示学习率。31. 如权利要求30所述的设备，其中，第三一六单元通过如下公式对所述待优化的参 数进行优化： 0t+1= Θ t+gt+1,其中，0t+1表示第t+Ι次迭代的待优化的参数。32. 如权利要求28所述的设备，其中，所述第三二模块包括： 第三二一单元，用于获取多种旋转角度的证件图像训练样本； 第三二二单元，用于将证件图像训练样本缩放到与ImageNet模型中随机裁切后的样 本图像相同的尺寸； 第三二三单元，用于将缩放后的证件图像训练样本进行减均值操作； 第三二四单元，用于使用所述优化参数后的ImageNet模型提取减均值操作后的每个 证件图像训练样本的所述全连接层高层语义特征； 第三二五单元，用于将每个证件图像训练样本的高层语义特征进行稀疏化操作，并采 用二范数将经过稀疏化操作的高层语义特征进行归一化操作。
【文档编号】G06K9/66GK105825243SQ201510007186
【公开日】2016年8月3日
【申请日】2015年1月7日
【发明人】陈岳峰
【申请人】阿里巴巴集团控股有限公司