本发明属于生物特征身份识别技术领域，特别涉及一种基于多模态融合的单幅近红外手掌图像识别方法。
背景技术：
随着社会经济快速发展，人们对识别技术的要求越来越高。由于磁卡，密码等传统身份认证方式存在丢失和盗取的风险，不能满足当今社会的需要，与此同时，生物识别技术的出现，在安全性和便捷性得到了很大的改善，因此，生物识别技术得到了广泛的应用。生物识别技术有单一生物特征识别技术和多特征融合识别技术；人体不同部位生物特征识别技术也存在很大差别。比如：人脸识别技术，其精度相对较低；虹膜识别技术相对更安全可靠但是采集费用比较大。相比于这些生物特征识别技术，基于手部生物识别技术的信息更容易采集且采集花费相对较低。基于手部的单一生物识别技术包括：指纹识别、手指静脉识别、掌纹识别、手背静脉识别、手掌静脉识别等。多特征融合技术包括：基于离散余弦变换的人脸、手掌静脉和掌纹图像特征层融合，该方法采用局部统计方法，用预先定义的dct系数块计算标准偏差，并将其存储为特征向量。利用测试向量与训练数据集之间的距离进行匹配；手形、掌纹和掌静脉融合识别,该方法在同一设备不同光源下采集掌静脉和掌纹图像。首先，将手指的相对长度作为手形特征进行初次匹配。然后，采用分块纹理基元模型进行掌静脉和掌纹融合图像的特征提取。最后，进行二次匹配并作为最终识别结果；掌纹与手背静脉融合，该方法通过低分辨率数字扫描仪和红外相机拍摄掌纹和静脉图像，采用混合融合规则进行特征融合；多特征融合识别技术需要采集更多的信息，信息量的增多，加大了信息采集、信息融合，识别等的难度，这些问题也给多生物特征识别技术研究带来了新的挑战。
目前，大多数研究者在多特征融合时，是采集不同光照下的多个特征图像，然后进行融合，采集过程较为复杂；李俊林等根据近红外手掌图像同时包含掌纹和掌静脉结构信息，尝试从一幅图像中获取掌纹、掌静脉结构，然后进行融合，这样就可以在提高图像识别率的同时减小图像采集和降低系统融合的难度。但是，该融合识别算法未能很好的突出掌纹结构和掌静脉结构。
技术实现要素：
本发明的目的是针对现有技术的缺陷，提供一种基于多模态融合的单幅近红外手掌图像识别方法。
为了实现上述目的，本发明采用以下技术方案：一种基于多模态融合的单幅近红外手掌图像识别方法，包括以下步骤：
步骤1：输入原始近红外手掌图像并对图像尺寸进行归一化处理；
步骤2：对处理后的图像使用分块增强模型提取掌纹的纹理结构同时去除掌静脉信息；
步骤3：使用定义的隶属度函数，对步骤2提取的掌纹结构进行模糊反锐化增强得到增强的掌纹图像；
步骤4：对步骤1处理后的近红外手掌图像使用自引导滤波去除掌纹信息，然后对掌静脉信息进行自适应滤波增强得到增强的掌静脉图像；
步骤5：将步骤3、4得到的掌纹图像和掌静脉图像进行特征自适应融合，得到相似系数；
步骤6：选取数据库的近红外手掌图像按照步骤1至5进行训练，获得加权后的相似系数，并将加权相似系数的最小值为识别阈值，对识别的样本的加权相似系数与训练样本的阈值进行比较，若识别的样本的加权相似系数≥训练样本的阈值，则识别正确。
进一步的，步骤2具体采用以下步骤：
步骤2.1：将归一化处理后的近红外手掌图像i分割成r*r的小块，计算每个小块像素灰度值的均值，得到维度变小的背景矩阵iback；
步骤2.2：对分块处理后得到的背景矩阵iback进行双三次插值，使背景矩阵的维数和近红外手掌图像矩阵i的维数相同，此时背景矩阵记为i'back；
步骤2.3：将近红外手掌图像矩阵i减去双三次插值处理后的背景矩阵i'back，对i-i'back进行直方图均衡化，得到增强的掌纹结构图像。
进一步的，步骤3具体采用以下步骤：
步骤3.1:定义的隶属度函数如下：
优化后的参数如下：
其中，δ为论域x的标准差，m为论域x的均值。c1,c2,c3,c4是四个参数，这个四个值是由统计值决定的；
步骤3.1：将步骤2处理后的掌纹图像作为输入图像i0；
步骤3.2：对输入图像i0进行ienhance＝i0-μifuzzy处理，获得增强后的掌纹结构图像；
其中，ifuzzy为i0经过隶属度函数模糊化后的图像矩阵，μ是细节增强系数。
进一步的，步骤4具体采用以下步骤：
步骤4.1：使用自引导滤波对输入的手掌图像i进行滤波处理，取滤波半径r＝2和规整化因子λ＝0.01，得到滤波后的结果q1；
步骤4.2：将q1作为引导滤波的引导图像和输入图像，选取r＝16和λ＝0.01，进行自引导滤波处理后，得到平滑掌纹后的图像q2；
步骤4.3：通过线性增强模型i'＝(q1-q2)·t+q2对掌静脉结构进行增强，得到增强后的掌静脉图像i'，线性增强模型中的系数t＝5；
步骤4.4：重复步骤4.1至4.3，进一步增强掌静脉结构，输出图像即为掌静脉增强后的图像。
进一步的，步骤5具体采用以下步骤：
步骤1：输入原始近红外手掌图像并对图像尺寸进行归一化处理；
步骤2：对处理后的图像使用分块增强模型提取掌纹的纹理结构同时去除掌静脉信息；
步骤3：使用定义的隶属度函数，对步骤2提取的掌纹结构进行模糊反锐化增强得到增强的掌纹图像；
步骤4：对步骤1处理后的近红外手掌图像使用自引导滤波去除掌纹信息，然后对掌静脉信息进行自适应滤波增强得到增强的掌静脉图像；
步骤5：将步骤3、4得到的掌纹图像和掌静脉图像进行特征自适应融合，得到相似系数；
步骤6：选取数据库的近红外手掌图像按照步骤1至5进行训练，获得加权后的相似系数，并将加权相似系数的最小值为识别阈值，对识别的样本的加权相似系数与训练样本的阈值进行比较，若识别的样本的加权相似系数≥训练样本的阈值，则识别正确。
进一步的，步骤6中的相似系数采用式4获得：
r′s(i)＝w1(i)rvein(i)+(1-w1(i))rprint(i)(4)
其中rvein(i)是训练样本中，掌静脉的相似系数的最小值；rprint(i)是训练样本中，掌纹的相似系数的最小值；w1是掌静脉相似系数的权值，采用式5获得：
w1＝1/3*lv1/(lv1+lp1)+1/3*lv2/(lv2+lp2)+1/3*lv3/(lv3+lp3)(5)
g是数据库样本，i∈(1,2,3,...,g)；lv1,lv2,lv3,是衡量掌静脉图像质量的三个指标；lp1,lp2,lp3是衡量掌纹图像质量的三个指标。
本发明无论从识别率还是稳定性上都具有最好的表现。由于本发明在掌纹增强时，使用自定义的隶属度函数，将高灰度区域和低灰度区域分开，通过模糊反锐化增强时，可以很好的突出掌纹结构，使得近红外手掌图像掌纹识别率更高。在掌静脉增强时，因为边缘检测加权引导滤波对图像静脉结构区域和平滑区域的进行了自适应处理，使用该引导滤波对掌静脉结构进行增强，更好的突出掌静脉结构信息，使得近红外手掌图像掌静脉识别率更高。因此，在融合后的识别率也提高了；本发明应用在近红外手掌图像掌纹、掌静融合识别上，取得了较好的效果。
本申请将所提出的掌纹掌静脉融合识别方法应用近红外手掌图像中，在香港理工大学提供的近红外掌纹图像数据库中进行对比实验，实验结果显示，相比其他同类方法，本发明具有更高的识别率，达到了99.81％。实验充分说明了本发明的掌纹掌静脉融合识别方法的有效性和普适性。
附图说明
图1是实施例近红外手掌图像掌纹增强方法的流程图。
图2是实施例近红外手掌图像掌静脉增强方法流程图。
图3是实施例近红外手掌图像掌纹掌静脉融合方法流程图。
图4是实施例(a)原始图像；(b)掌纹增强图像；(c)掌静脉增强图像。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的说明。
本发明所用的图库是香港理工大学提供的近红外掌纹图像数据库,数据库有500个样本，每个样本有12幅图像，数据库经过了感兴趣区域(roi)提取，图像大小为128*128。
近红外手掌图像掌纹增强方法流程见图1，包含以下步骤：
步骤1：待增强图片i分割成r*r的小块，计算每个小块像素灰度值的均值，得到维度变小的背景矩阵iback。
步骤2：对分块处理后得到的背景矩阵iback进行双三次插值，使背景矩阵的维数和待增强图片矩阵i的维数相同，此时背景矩阵记为i'back；
步骤3：将i待增强图片减去双三次插值处理后的背景矩阵i'back，对i-i'back进行直方图均衡化，得到增强的掌纹结构i0。
步骤4：将步骤3得到的掌纹图像最为输入图像，使用隶属度函数对其模糊化，得到模糊花后的图像ifuzzy；
步骤5：使用模糊反锐化算法对ienhance＝i0-μifuzzy处理；获得增强后的掌纹结构。
近红外手掌图像掌静脉增强方法流程见图2，包含以下步骤：
步骤1：使用自引导滤波对输入的手掌图像进行滤波处理，取滤波半径然r和规整化因子λ＝0.01,得到滤波后的结果q1；
步骤2：将q1作为引导滤波的引导图像和输入图像，选取r＝16和λ＝0.01，进行自引导滤波处理后，得到平滑掌纹后的图像q2；
步骤3：通过线性增强模型i'＝(q1-q2)·t+q2对掌静脉结构进行增强，得到增强后的掌静脉图像i'；
步骤4：重复步骤1，步骤2，步骤3，进一步增强掌静脉结构。此时，输出图像即为掌静脉增强后的图像。
步骤(1)(2)(3)整个的过程称为一次引导图像滤波细节增强过程，其中(2)中r取值较大是为了滤波掉更多细节，即静脉纹理细节，然后再倍乘放大这些细节加到引导滤波结果q2上来做手指静脉结构的增强。本发明进行了两次引导图像滤波细节增强过程，由图4可以看出，两次增强后的图像保持并突出了原图的静脉纹理细节。
近红外手掌图像掌纹掌静脉融合方法流程见图3，包含以下步骤：
步骤1：将输入的近红外手掌图像经过图1，图2流程操作，得到增强后的掌纹结构iprint和掌静脉结构ivein；
步骤2：计算图像的平均图像质量，得到掌纹、掌静脉的识别权值；
步骤3：分别提取掌纹、掌静脉的二级小波特征；
步骤4：通过训练得到的相似系数和步骤2得到的权值，分别得到掌纹、掌静脉加权后的相似系数；
步骤5：有步骤4得到掌纹掌静脉融合后的加权相似系数rfusion；
训练阶段，是对数据库500个样本的6幅图像按照上述步骤1至5进行训练，取相似系数的最小值为识别阈值，即rthreshold＝min(r's(i)),(i＝1,2,3...)。另外500个样本的6幅图像作为识别图像，识别时，根据识别的样本获取的加权相似系数rs'≥rthreshold确定为正确识别。
图4分别展示了经过上述流程图1、2得到的增强后的掌纹结构和掌静脉结构。可以看到从一张红外手掌图像提取的掌纹和掌静脉图像的边缘纹理特征清晰可见。
为了验证本发明所提出的改进的单幅近红外掌纹掌静脉融合识别方法相比于现有的单幅掌纹掌静脉融合识别方法的优越性，在香港理工大学提供的近红外掌纹图像数据库上进行实验。分别进行增强后掌纹识别率对比、掌静脉识别率对比以及融合后的识别率对比。实验结果如表1和2所示。
表1不同分块半径和增强系数的掌纹识别率
表2不同滤波窗口和增强系数的掌静脉识别率
表3掌纹掌静脉融合识别率
通过表1知：在r＝9，μ＝50时，掌纹的识别率达到最高值，其值为95.68％，比现有的单幅掌纹掌静脉融合识别算法中的掌纹识别率94.00％高出1.68％。通过表2数据可知，本发明的掌静脉增强算法在滤波窗口(r1＝2,r2＝16)取得最优识别率99.28％，比现有的单幅掌纹掌静脉融合识别算法中的掌纹识别率99.23％；由于参数在r＝9，μ＝50和(r1＝2,r2＝16,t＝5)条件下，掌纹、掌静脉识别率达到最高，所以在此条件下进行掌纹掌静脉融合，融合后的识别率为99.81％。比现有单幅掌纹掌静脉融合识别率99.69％高。这说明了本发明对原始的单幅掌纹掌静脉识别算法改进的有效性。
此外，为了评价本发明融合识别算法的时间性能，实验记录了从样本中选取2000幅图像进行识别并计算出平均识别时间。本发明实验在matlabr2014a上进行，计算机配置为corei52.50ghzcpu/4gbram。由表3可以看到，本发明的融合识别算法时间性能较为良好，具有实际应用价值。
表4掌纹掌静脉自适应权值融合识别时间
以上所述，仅是本发明的较佳实例而已，并非对本发明做任何形式的限制。凡是依据本发明的技术和方法实质对以上实例所作的任何简单修改、等同变化与修饰，均仍属于本发明的技术和方法方案的范围内。