结合等价模式的自适应半径LBP特征层融合识别方法与流程

本发明属于生物特征识别及信息安全技术领域，特别涉及到手指静脉图像预处理领域。

背景技术：

随着科技的不断进步，指纹、指静脉作为生物识别技术，凭借其广泛稳定、准确度高等特点，成为了生物识别当中颇受关注的识别方式。但是单一生物模态的特征识别容易受各类噪声影响并且容易被伪造存在安全方面的问题，多模态融合识别技术则是将几类生物信息进行融合，在一定程度上弥补单一模态生物识别技术的不足。如在指静脉识别中，若因为成像问题无法拍摄出静脉导致特征不明显，从而导致识别性能下降，而再加入指纹识别时，能够弥补指静脉识别的性能缺陷。因此，对图像进行多特征融合是提高后续匹配性能的重要步骤。

rowe等人利用多谱线指纹传感器采集不同光学条件下的指纹图像并在图像层进行融合以获得具有完整生物信息的指纹图像；heo等人也提出利用像素加权平均的方式融合不同姿度、不同光照条件下的人脸图像。上述图像层融合可以获得较为完整的信息，但是无法对采集的原始数据当中包含的信息做一致性检验，所以图像层融合是带有盲目性的融合方式，因此图像层融合方式并不是特别适合应用于多模态融合识别。李温温等人将手形和指节纹的匹配分数通过分数加权得到最终的决策公式；dehache利用支持向量机将指纹和笔迹进行融合。上述量化层融合目前也取得很大的研究进展，但无法很好的解决各个模态匹配量化值之间的异质性，由于不同模态经过不同的匹配算法获得最终的匹配量化值，其分数分布区间以及所代表的含义因来源不同而有较大差异，提高了认假率。而特征层融合能够将多种模态的信息进行有效地整合并利用，对特征信息的利用率更高，是能够获得优秀识别性能的融合层次，对识别性能的提升潜力很大，研究价值较高。

技术实现要素：

本发明发目的是对于现有的指纹、指静脉识别特征由于不同图像之间维数不固定、变化大，很难将两个模态的特征拼接形成统一标准的新特征的问题，提供一种结合等价模式的自适应半径lbp特征层融合识别方法。

本发明所采用的技术方案包括以下步骤：

步骤s1、获取图像lbp特征矩阵的函数如式(1)：

式中r表示lbp的窗口半径，gc为中心目标点的像素灰度值，gi表示领域点的像素灰度值。

步骤s2、获得图像旋转lbp特征矩阵的函数如式(2)：

式中，min(x)表示求x的最小值，ror(x,i)表示将x按位循环移动。

步骤s3、对步骤s2进行修正，得到一种自适应多级窗口半径的lbp编码方式，对于图像中的每个像素点，比较不同窗口半径下的lbp编码值。如式(3)所示:

式中dis(x,y)表示计算x和y之间的二进制码距，若码距≤3，表示在这两个窗口半径下的编码值一致性良好，采用小窗口半径的结果作为编码值；若码距＞3，则用大窗口半径的结果对其进行修正。

步骤s4、将式(3)中的inter(x,y)与窗口半径为1的编码值比较码距，得到最终多级窗口半径修正后的lbp编码结果，如式(4):

步骤s5、根据lbp等价模式，对于lbp采样点数为8的模式而言，能形成从256维到59维的映射表，能够对原始lbp算子的模式种类实现降维，映射关系表达式如下：

式中u表示二进制编码形成的闭环中0、1跳变的次数。

步骤s6、将式(5)带入式(4)最终形成结合等价模式的改进lbp算法，其表达式如下：

lbp^auto+up(x,y)＝map(lbp^auto(x,y))(6)

步骤s7、针对ovo多分类器方法，不在类内的待匹配手指样本可以被视作与数据库中所有k类手指相似程度相同，在通过k(k-1)/2个分类器得到的匹配系数值之间相差较小；对于类内样本，在k(k-1)/2个结果中含有匹配系数较大的几项。根据这一特点，可以将k(k-1)/2个结果进行筛选，通过设定阈值剔除大部分无效匹配结果，如式(7)所示：

式中si为待匹配特征样本与第i个分类器的匹配系数，r1(si)表示匹配系数为si的特征匹配结果有效与否，smax为待匹配特征样本与k(k-1)个分类器匹配结果中最大的匹配系数，t1为阈值。

步骤s8、通过式(7)筛选出有效的匹配结果，让最后的投票结果分布较为集中，再对最终的投票结果进行决策判决，判别是否接受该待匹配特征样本的结果，如式(8):

nmax表示对k类手指的投票结果中，统计票数最多的类别所得票数，nsecmax表示得票数次大值；t2和t3为阈值。

本发明有益效果如下：

本发明提出一种结合等价模式的自适应半径lbp特征层融合识别算法，首先提出结合等价模式的自适应半径lbp特征，一定程度上解决了原始lbp特征对图像不同尺寸的纹理处理能力有限、高频冗余噪声信息过多、特征维数过高等问题；然后介绍了多分类支持向量机的原理，并针对传统svm对于类外待匹配样本中误识率为100％的问题，介绍阈值判决支持向量机模型；最后采用支持向量机，对分块lbp直方图并联融合的新特征向量进行训练。实验表明，本发明优于指纹和指静脉单一的自适应半径lbp识别算法和特征层融合+svm分类识别算法性能。同时在低误识下的拒识率降低同样也表明，本发明性能相比于单一模态识别算法的性能有明显的提升。此外，对比量化层融合匹配，本发明有效表征了单幅近红外图中提取的指纹、指静脉特征信息，将多种信息更加有效地利用并融合成一个完整的新特征，很好弥补了量化层融合匹配的缺陷，对这类低质量的近红外图像识别性能针对性提高。而且对比单一特征sift特征匹配，本发明在0误识下的识别率得到了明显的提升，验证了特征层手指多模态融合的识别性能优于单一模态。

附图说明

图1为原始lbp提取特征；

图2为不同手指纹理差异示意图；

图3为各种指纹lbp特征提取对比示意图；

图4为各种静脉lbp特征提取对比示意图；

图5为ovr多分类方法示意图；

图6为ovo多分类方法示意图；

图7为指纹、指静脉分块lbp直方图提取示意图；

图8为基于svm的改进lbp融合识别示意图；

图9为300手指库不同识别算法roc曲线；

图10为100低质量手指库量化层融合与特征层融合roc曲线对比；

图11为300手指库不同算法0误识下识别率对比结果；

图12为sdumla-hmtdatabase手指库不同算法0误识下识别率对比结果；

具体实施例

下面结合附图对本发明的具体实施例作进一步的说明。

本发明首先利用clahe算法增强指纹结构突出其纹理，有效解决图像中指纹信息无法被充分利用的问题；之后分别对单幅图像中的指纹和指静脉信息进行分离，分别提取指纹和指静脉细线特征；利用细线距离顺序统计量进行指纹和指静脉细线的匹配，解决了特征点识别方法因成像质量差、特征点提取不稳定而导致识别性能差的问题。其次提出了结合等价模式的自适应半径lbp特征，可以根据图像不同区域纹理尺寸，自适应调整lbp算子的半径，适应了纹理粗细、间隔宽度差异，并结合等价模式进行降维，一定程度上减弱噪声冗余信息。最后将独立提取的指纹和指静脉特征向量进行直方图融合，形成特征层融合新特征，并利用svm多类分类器对融合后的新特征进行训练，构成完整的单幅近红外手指图像指纹指静脉特征层融合识别模型。实验表明，本发明提出的特征层融合识别算法相比于量化层在针对低质量手指具有更好的识别性能，且相比于单一模态识别算法有一定的提升。因此，结合等价模式的自适应半径lbp特征层融合识别算法是一种对于由于光照噪声等问题导致某一模态提取的细线特征不明显的手指识别性能有提升的识别算法。

本实施例结合等价模式的自适应半径lbp特征层融合识别算法，包括以下步骤：

s1、以r＝3为例，分别将邻域内的像素点gi与中心目标点gc的像素值进行比较，若大于中心目标点的像素值，s(gi-gc)＝1,否则为0，从而得到图像经过原始lbp提取之后的图像。

s2、由于图像会产生旋转平移等变化。图像发生旋转变化时，若仍采用原始lbp特征提取方法，中心点的lbp编码值会发生相应改变。为了能更好地克服图像的旋转变化，如式(2),将原始的lbp算子进行移位循环取最小值得到旋转lbp算子。

s3、传统计算lbp的模式处理的区域是固定窗口半径，在处理不同尺寸的纹理时有一定的局限性，所以需要调整不同区域的lbp算子窗口半径来适应近红外特殊成像的指纹、指静脉图像。调整主要依据两个原则：不同窗口半径下的lbp编码码距相差很小时，表明该区域块编码值一致性好，属于纹线尺寸较小、纹理平缓的区域，采用小窗口半径lbp编码来更加精确地描述细节信息；若相差较大时，表明小窗口半径并不能覆盖整根纹线宽度，或表明该区域受噪声干扰严重，编码信息有误，所以用大窗口半径编码值对其进行修正。计算图像在窗口半径分别为1、2、3时的编码值和对于图像中的每个像素点，比较不同窗口半径下的lbp编码值。如式(3)所示，首先比较窗口半径为2和3的编码值，得到中间编码过程inter(x,y)。

s4、根据式(4),将式(3)得到的中间过程编码inter(x,y)与窗口半径为1的编码值比较码距，规则与式(2)相同，得到最终多级窗口半径修正后的lbp编码结果lbp^auto(x,y)，既保留了图像边缘交界处的细节信息，又能够减弱并抑制图像中噪声的影响，并且可用于表征指纹和指静脉图像中不同尺寸的纹理信息。

s5、由于不同lbp编码模式出现的概率不同，出现概率较低的编码模式是分离出的指纹、指静脉图像中噪声较多的背景区域，原始的lbp编码值随机且不稳定，对于这部分高频冗余信息应该将其编码为相同的值；出现概率较高的编码模式是图像中平滑稳定的区域，能够反映指纹和指静脉的整体纹理特征信息。对于稳定区域的lbp编码而言，因为像素灰度值较为稳定不易产生突变，所以在循环8位编码中产生的0和1跳变次数小于等于2。lbp等价模式(uniformpattern)根据这一特点，它规定对于跳变次数小于等于2的lbp编码模式为等价模式，将该类型保留并重新按序编码；将跳变次数大于2的lbp编码模式lbp值置为0。根据lbp等价模式，对于lbp采样点数为8的模式而言，能形成从256维到59维的映射表，能够对原始lbp算子的模式种类实现降维，如(5)所示。

s6、根据s5的映射关系，将其代入式(4)可以得到结合等价模式的改进lbp算法。

s7、匹配系数sii∈[1,k(k-1)/2]是由待分配样本与所有k(k-1)/2个分类器计算得到的。由于匹配系数si的取值范围并不固定，是随着待匹配特征的不同而改变的，所以可以根据该次匹配结果下最大的匹配系数来划定筛选阈值，将低于阈值的结果剔除。

s8、通过式(7)筛选出有效的匹配结果，可以让最后的投票结果分布较为集中，而不是像筛选前对类外特征样本的投票结果分布较为随机且平均的情况。此外，若之后仍采用得票最高的类别作为分类结果，依旧会产生上面所提的误识情况，因此需要对最终的投票结果进行决策判决，判别是否接受该待匹配特征样本。如式(8)所示，仅当得票数最大值超过规定阈值t2，且与阈值t3相乘后仍大于次大值才认为样本与最大值所代表的手指类别相匹配；若得票最大值和次大值比较接近，则说明与两类别的区分度较小，分类器很难给出“明确性”的分类结果，所以拒绝样本。通过调整t2和t3的大小，可以获得不同误识率far等级下的拒识率frr性能。

以下为本发明实验仿真结果的硬件环境及与其他方法的效果作比较：

本发明所用的图像是由自主设计研发的近红外图像采集设备采集的，总共由300类手指图像组成，图像尺寸为400×200，图像库包含了不同年龄段志愿者不同类别的手指图像。将图像库分类为两类，分别是300×10幅的训练集手指图像库以及300×5幅的测试集手指图像库；并人为从中挑选出100类成像质量较低的手指图像(同样组成100×10幅训练图像和100×5幅的测试图像)形成低质量手指图像库。实验仿真在matlabr2014a的libsvm工具箱的环境中进行。

图1为原始的lbp算子提取特征过程，通过对比中心点和周围点的像素灰度值大小实现编码，以中心点的灰度值作为门限，在半径为r的窗口内将领域剩余点的灰度值与其比较，若领域点的灰度值大于中心点的灰度值，则记为1，否则为0。最终按照顺时针或者逆时针方向，得到若干位二进制编码，把二进制转化为十进制，以此作为中心目标点的特征值，用来反映该区域的纹理特征信息。

图2为不同类的手指提取的纹理差异示意图。不同于高质量成像的独立图像，单幅近红外手指图像质量相对较低，从中分离的指纹和指静脉图像，不同手指或同手指不同区域纹线之间间隔宽度、粗细差异较大。图2展示了纹理间的差异性：图2(a)不同指纹图像间，框出区域左图指纹纹线要比右图粗、间隔宽。同根手指的横纹比竖纹宽；图2(b)中不同区域静脉的粗细也不相同。

图3、图4分别为指纹和指静脉由各种lbp特征提取模式提取出来的效果图。从其中的图(b)、(c)可以看出，固定半径的lbp算子在提取指纹特征时不能获取指纹的整体走势纹理信息，引入了大量的颗粒点状噪声，在提取指静脉特征时同样在静脉中间以及背景部分纹理结构杂乱。而在图(d)、(e)中采用自适应多级窗口半径的lbp算子在去除了噪声的同时，又保留了边缘细节信息，使得整幅图像在纹理上更加连续平滑且清晰。

图5、图6分别为ovr多分类器和ovo多分类器的示意图。ovr多分类方法分类器的优点是个数少，分类速度快，但是训练速度随着样本数量增加而增加，同时会出现样本不均衡的现象，一定程度上影响分类性能。若分类系统需要加入新样本时，必须对其重新训练，增加了大量的额外训练时间负担。而ovo多分类器方法在处理新添加类别时，只需要重新训练所增加类别相关的分类器，训练单个模型速度较快，但是其总体训练时间和测试时间相对较慢。

图7为指纹、指静脉分块lbp直方图提取效果图。首先分别提取指纹和指静脉结合等价模式的自适应半径lbp特征图，再分别将得到的特征图进行分块，均分成个数为h×h的矩形块。再以指纹和指静脉某相同分块区域图像为例，对分块图像进行直方图统计，统计完全部h×h个分块的直方图后，能够形成特征维数为h×h×59的特征向量。

图8为单幅近红外图像指纹指静脉特征层融合识别算法实现流程。首先从采集到的近红外手指图像中用对比度受限自适应直方图均衡方法从原图中分别提取增强后的指纹增强图和指静脉增强图像。然后采用结合等价模式的自适应半径lbp算子分别对分离出的指纹以及指静脉图像进行特征提取，得到不同模态的lbp分块直方图特征向量。随后将不同模态的特征向量进行数据归一化，采用特征层并联的方式实现融合。最后按照类别标签用训练集训练出k(k-1)/2个svm二分类器，最后对测试集实现匹配分类识别。

图9为300手指库不同识别算法roc曲线。对比原始lbp特征层融合+svm分类和结合等价模式的自适应半径lbp特征层融合+svm分类结果，frr从6.67％降至4.40％，说明结合等价模式的自适应半径lbp特征能够更好地描述单幅近红外手指图像中不同模态不同尺寸的纹理信息，并通过等价模式降维将随机的背景信息以及高频冗余噪声统一编码，提升了识别性能。

图10是从300手指库中挑选了100根低质量手指，进行量化层融合与特征层融合roc曲线对比。从曲线可以看出，本发明很好弥补了量化层融合匹配的缺陷，对这类低质量的近红外图像识别性能针对性提高，特别是在far为0时，frr从8.21％降至6.47％。

图11是将本发明与指纹传统的识别算法特征点匹配和sift特征匹配，以及与静脉传统的识别算法梯度相关系数和特征点mhd算法的识别率进行比对。如表中结果所示，自适应半径lbp特征层融合svm识别算法相比于单一模态识别算法，在0误识下的识别率得到了明显的提升，表明特征层手指多模态融合的识别性能优于单一模态。

图12采用公开数据库(sdumla-hmtdatabase)636类指静脉手指图像，每类手指6幅图像；以及数据库中ft-2bu电容传感器采集的636类指纹手指图像，每类手指6幅图像。利用该数据库仿真得到表中结果，可以看到融合后识别率较融合前单一模态识别率均有提升，表明了本发明提出特征层融合识别算法也同样适用于不同模态多个传感器采集的独立图像。

上面结合附图对本发明的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出得各种变化，也应视为本发明的保护范围。