专利名称：基于人脸识别和手形识别的双模态生物认证系统的制作方法
技术领域：
本发明属于模式识别技术领域，主要是一种基于人脸识别和手形识别的双模态生物认证系统。
每种生物识别技术都有其固有的缺陷如人的指纹图像约有4％是劣质的，加上指纹特征易受噪声影响，所以实际采集到的指纹图像有一部分难以被正确识别；虹膜特征易受眼疾影响，大众难以接受虹膜图像的采集，并且采集设备较昂贵；语音特征也容易受到被识别者身体状况和环境的影响；签字静态特征易被模仿、动态特征不稳定且难以提取；人脸识别因技术本身条件复杂，现在尚未达到实用水平；手形特征唯一性较差。现有的生物认证系统绝大多数是基于单一生物识别技术，也就相应地具有上述各种缺陷，从而大大地影响了系统的实用性。
同时采用两种或两种以上生物特征进行身份认证，可以提高认证准确性，并且减小系统被欺骗的可能。现有的多模态生物认证系统较少，国际上主要有BioID(人脸、语音和唇动)、FaceKey(人脸、指纹)等，但是由于采用了抗噪性差的指纹或语音特征，对使用环境条件要求较高，从而限制了它们的广泛应用。
在进行多模生物特征识别时，常用的理论方法有加权平均、贝叶斯方法、模糊积分、D-S证据法，以及神经网络方法。这些融合方法中有的依赖于各种先验概率分布及条件概率分布，或者依赖于信度函数及模糊集隶属度。前者只有在样本数目足够多的条件下才能得到较为准确的估计，而后两者在实际应用中也不易得到，往往根据历史数据或经验来确定；而基于神经网络的方法也遇到了如何确定网络结构、过学习、欠学习和陷入局部极小点等问题。
本发明的技术方案如下系统采集到人脸和手形图像后，经过图像预处理技术和模式识别技术分别得到人脸和手形两个匹配结果，利用标准归一化方法将这两个匹配结果归一化到同一范围，再利用统计学习理论中的支持向量机方法把得到的两个匹配结果进行决策融合，并作出判断，得出最后认证结果。
本发明的技术方案细节如下所述的人脸识别为系统采集到正面人脸图像后，通过区域增长法分割出人脸，再利用边缘检测、Hough变换、模板匹配和方差投影技术可以快速有效地提取出人脸面部器官眼睛、鼻子和嘴巴特征，基于人脸的这些几何特征，提取具有尺寸、旋转和位移不变性的特征向量，用此特征向量和数据库中存储的已知人脸特征向量作比较，来决定最佳匹配，从而得到匹配结果。
所述的手形识别为系统采集到手形图像后，首先应用自适应阈值分割得到手形的二值图像，然后通过轮廓跟踪算法将手形表示为欧氏平面内的有序点集。然后提取每个手指的图像，再应用基于确定性退火技术的点匹配方法，分别对相应的两个手指进行匹配，最后综合五个手指的匹配结果得到整个手形的参数，最后，应用由支持向量机算法设计的分类器对匹配参数进行判决分类，得出手形匹配结果。
多模信息的融合可以在原始数据层、特征抽取层和分类决策层实现，本发明选择在决策层实现。具体决策融合过程为利用标准归一化方法，将得到的人脸和手形两个匹配结果归一化到同一范围，再利用统计学习理论中的支持向量机方法进行融合、判断，给出最后结果。
本发明的基于人脸识别和手形识别的双模态生物认证系统装置如下嵌入式微控制器(MCU)芯片、DSP芯片、FlashROM、同步动态RAM(SDRAM)、LCD显示器、功能按键键盘和两个摄像头。
本发明的优点如下(1)手形和人脸两种生物特征抗噪性好，采集设备简单，采用人脸和手形双模态生物特征进行身份认证，提高了认证的准确性，降低了对使用环境的要求，而对使用环境条件要求高正是已有的基于生物识别技术的身份认证系统不能广泛应用的主要原因之一；(2)本发明的手形识别算法增加了采集手形图像的自由度，并且识别结果有较高的准确率和鲁棒性，人脸识别算法对正面人脸图像识别具有较高的准确率和鲁棒性；(3)本发明的人脸和手形识别的双模态生物认证系统装置基于嵌入式芯片系统实现，体积小，功耗低，便于室内外灵活安放。
下面结合附图对本发明具体实施过程作进一步描述。
如图4所示，嵌入式微控制器MCU完成系统控制和运算功能，融合决策应用程序和用户人脸和手形特征模板库存储在ROM中，图像预处理应用程序固化在DSP芯片中，首先，用户按键激活系统后，系统自动开始初始化装载硬件驱动程序和应用程序，然后检测是否采集到人脸和手形图像。采集成功后，即开始图像预处理和模式识别工作，详细如下第一步，人脸识别如图2所示用户双眼正视摄像头，由摄像头采集用户的正面人脸图像后，利用直方图变换和中值滤波方法解决光照不均匀问题，通过区域增长法分割出人脸，再利用边缘检测、Hough变换、模板匹配和方差投影技术快速有效地提取出人脸面步器官眼睛、鼻子和嘴巴特征，基于人脸的这些几何特征，提取具有尺寸、旋转和位移不变性的特征向量，用此特征向量和数据库中存储的已知人脸特征向量作比较，来决定最佳匹配，从而得到匹配结果。
第二步，手形识别如图3所示将手放在采集装置的固定平板上，五指自然张开，由摄像头采集图像，系统采集到手形图像后，首先应用自适应阈值分割得到手形的二值图像，然后通过轮廓跟踪算法将手形表示为欧氏平面内的有序点集，手形图像的匹配转化为手形特征点集。考虑到两个点集然后提取每个手指的图像，再应用基于确定性退火技术的点匹配方法，分别对相应的两个手指进行匹配，最后综合五个手指的匹配结果得到整个手形的匹配参数，最后，应用由支持向量机算法设计的分类器对匹配参数进行判决分类。
具体过程如下通过对手形图像的处理，将手形表示为欧氏平面上一系列有序点组成的点集，手形图像的匹配转化为手形特征点集之间的点匹配问题。考虑到两个点集之间一对一的双向约束，由两个点集之间的匹配矩阵和映射参数表征的凸化的自由能函数，通过最小化该自由能函数，获得最优的匹配矩阵和映射参数。在求解过程中将匹配矩阵模糊化，将其估计嵌入到确定性退火技术的框架中，通过退火温度来控制匹配矩阵的模糊度。
1.特征点匹配的自由能函数设{Xi｝和{Yj｝为两个2D点集，i＝1，2，...，N1，j＝1，2，...，N2，N1和N2分别是两个点集的点数。点匹配问题的要求是两个点集之间是一一对应的，而且其中一个点集中的某些点可能在另一点集中没有对应点。为满足上述匹配要求，定义一个匹配矩阵{Mij｝ 且∀j,Σi=1N1Mij≤1,∀i,Σj=1N2Mij≤1,Mij∈{0,1}---(1)]]>两个点集之间的点匹配问题可看作为求解下面自由能函数的极小状态E(M,θ,t,s)=Σi=1N1Σj=1N2Mij(||Xi-t-sR(θ)Yj||2-α)+γ(logs)2---(2)]]>其中，t为平移变量，s为缩放变量，R(θ)为旋转矩阵，γ为一调整参数，用来控制缩放比例，α为匹配误差的阈值，当‖Xi-t-sR(θ)Yj‖2＞α时，对于Yj，Xi被认为是出格点，α可根据不同的匹配要求确定。
这样点匹配问题就转化为联合求解匹配矩阵和映射参数的优化问题。由于匹配矩阵为二值矩阵，在求解过程中很容易陷入局部极小，因此放松对匹配矩阵的约束，将其转化为连续实数矩阵，即Mij∈{0，1｝→Mij∈
，允许部分匹配的存在，这样的匹配矩阵称为模糊匹配矩阵。匹配矩阵的模糊度是由退火温度来控制的，随着退火温度的降低，{Mij｝的模糊度逐渐减小，逐渐接近二值矩阵，当温度足够低时，就会得到最终的二值匹配矩阵。
应用线性规划方法，引入一松弛变量，将(1)式的不等式约束转化为等式约束，同时使点匹配算法能够鲁棒性地处理出格点∀j,Σi=1N1Mij≤1→Σi=1N1+1Mij=1,∀i,Σj=1N2Mij≤1→Σj=1N2+1Mij=1--(3)]]>在确定性退火技术中，要求当温度足够高时，能够很容易求出自由能函数的全局极小点，因此按照优化理论，应使自由能函数凸化。为此在(2)式中引入一阻尼项f(M)=TΣi=1N1+1Σj=1N+12MijlogMij---(4)]]>这种熵形式的阻尼项有两个作用(i)在高退火温度下，使自由能函数凸化，由退火温度T控制凸度；(ii)保证匹配矩阵的所有元素非负。
确定性退火技术是一种启发式的连续跟踪过程，它并不能保证从高退火温度下的全局极小一定会跟踪到低退火温度下的全局极小。因此为避免陷入局部极小，保证随着退火温度T→0，匹配矩阵Mij最终收敛于二值矩阵，需要在自由能函数中加入一项g(M)=-KΣi=1N1+1Σj=1N2+1Mij2---(5)]]>K为一常数，通常由试验确定。
考虑到式(3)、式(4)和式(5)后，得到完整的点匹配自由能函数为E(M,θ,t,s)=Σi=1N1Σj=1N2Mij||Xi-t-sR(θ)Yj||2+γ(logs)2-αΣi=1N1Σj=1N2Mij+Σi=1N1μi(Σj=1N2+1Mij-1)]]>+Σj=1N2vj(Σi=1N1+1Mij-1)TΣi=1N1+1Σj=1N2+1MijlogMij-KΣi=1N1+1Σj=1N2+1Mij2]]>(6)其中，μi和vj为Lagrange乘子。
2.点匹配算法的实现通过最小化自由能函数(6)，可以得到匹配矩阵和点集之间的映射参数，点匹配算法描述如下初始化t＝
T，θ＝0，s＝1，T＝T0，Mij＝1+εij，εij为一小的正随机变量，λij＝MijBegin ADo A until T≤TfinalBegin BDo B until M收敛or迭代次数＞I0Pij←-(||Xi-t-sR(θ)Yj||2-α+μi+vj-Kλij)]]>Mij←exp(Pij/T-1)]]>λij←Mij]]>共轭梯度法修正μi和vj修正点集映射参数修正θ由∂E/∂θ=0]]>修正t由∂E/∂t=0,]]>Newton法修正sEnd BT←T.r，γ←γ·r，r为退火速率End A3.匹配参数定义平均匹配误差(MME)和匹配率(MR)为MME=ss(A,B)n---(7)]]>MR=thenumberofmatchingpointsmin{N1,N2}×100%---(8)]]>其中，ss(A,B)=Σi=1n[(xiA-xiB)2+(yiA-yiB)2],]]>n为两个点集A、B中相匹配的点数，x、y为匹配点的横、纵坐标。
4.支持向量机(SVM)分类器采用下面4种核函数(1)线性核函数K(xi，x)＝(xi·x)(2)多项式核函数K(xi，x)＝[γ*(xi·x)+c0]d；(3)径向基核函数K(xi，x)＝exp{-γ*|xi-x|2}；(4)Sigmoid核函数K(xi，x)＝tanh(γ*(xi·x)+c0)。其中d为多项式的阶数，r，c0为系数，它们可通过试验确定适当的值，本文取d＝5，r＝0.5，c0＝1。
SVM分类器的分类函数为f(x)=sgn(w·x+b)=sgn(Σi=1lyiαiK(xi,x)+b)---(12)]]>其中，αi=argmaxα(Σiαi-12Σi,jαiαjyiyjK(xi,xj)),]]>采用改进的SMO算法来求解SVM分类器。
第三步，将人脸识别和手形识别结果进行决策融合判断如
图1所示利用标准归一化方法，将前面两部分的匹配结果归一化到同一范围，再利用统计学习理论方法，把两个结果数值组合成一个新的判决向量，先对样本向量进行训练得出支持向量，再用支持向量机的方法对两种匹配结果进行融合、判断，得出最后结果。
具体如下(一)训练设已取得k个决策样本值以及实际的决策值{(z1，y1)，(z2，y2)，Λ，(zk，yk)｝其中，zi=zi1zi2]]>表示对于第i个训练样本输入，人脸和手形两个识别模块分别作出的决策矢量，yi＝±1表示判决结果，yi＝+1表示判断正确，yi＝-1表示判断错误。训练过程即在约束条件Σi=1kαi1=Σi=1kαi2,0≤αij≤C,]]>j＝1，2；i＝1，2，Λ，k下对 极大化下列函数θ(α1,α2)=-12Σi,j=1k(αi1-αi2)(αj1-αj2)K(zi,zj)+Σj=1k(αi1-αi2)yi-Σi=1k(αi1+αi2)ϵ]]>通过求解上述优化问题，则可求得参数w,αij,j=1,2;i=1,2,Λ,k,b.]]>(二)判决融合后的决策为f(z)=Σi=1k(αi1-αi2)K(z,zi)+b]]>其中，可取K(z，zi)＝[(z·zi)+1]3。对于新输入的决策向量z，如果上式计算结果大于预设阈值，则表示该用户为合法用户，否则拒绝。
由图5，双模态身份认证系统程序流程如下“开始”后，“用户输入个人身份号码(PIN)”，如果PIN不存在，则“计数”，若“M＞3”否，返回“输入个人身份号码”，若“M＞3”成立，则“程序终止”。如果PIN存在，一路进入“分别调出相应的人脸和手形模板并放在内存中”，由系统自动根据PIN查出相应模板，并将该模板调到内存(SDRAM)中；另一路至“捕捉人脸和手形图像”，判断“成功否”，若不成功，则返回“捕捉人脸和手形图像”；若成功，进入“对手形和人脸图像预处理、提取特征形成模板、模板匹配”中，分别进行人脸识别和手形识别，得到两个匹配结果，然后进入“将两个匹配结果进行决策融合、判断”；判断“成功否”，若“成功”，则“认证成功”，用户是合法身份，进入“程序终止”。
若“不成功”，进入“计数N”，判断“N＞3否”，若不成立，则返回“捕捉人脸和手形图象”；若成立，则“认证失败”，进入“程序终止”。
权利要求
1.一种基于人脸识别和手形识别的双模态生物认证系统，其特征是系统采集到人脸和手形图像后，经过图像预处理技术和模式识别技术分别得到人脸和手形两个匹配结果，利用标准归一化方法将这两个匹配结果归一化到同一范围，再利用统计学习理论中的支持向量机方法把得到的两个匹配结果进行决策融合，并作出判断，得出最后认证结果。
2.根据权利要求1所述的基于人脸识别和手形识别的双模态生物认证系统，其特征在于手形识别应用自适应阈值分割得到手形的二值图像，然后通过轮廓跟踪算法将手形表示为欧氏平面内的有序点集；然后提取每个手指的图像，再应用基于确定性退火技术的点匹配方法，分别对相应的两个手指进行匹配，最后综合五个手指的匹配结果得到整个手形的参数，最后，应用由支持向量机算法设计的分类器对匹配参数进行判决分类。
全文摘要
基于人脸识别和手形识别的双模态生物认证系统，该系统采集到人脸和手形图像后，经过图像预处理技术和模式识别技术分别得到人脸和手形两个匹配结果，利用标准归一化方法将这两个匹配结果归一化到同一范围，再利用统计学习理论中的支持向量机方法把得到的两个匹配结果进行决策融合，并作出判断，得出最后认证结果。其手形识别算法增加了采集手形图像的自由度，并且识别结果有较高的准确性和鲁棒性。该系统的优点认证的准确性高、抗噪性好，系统装置体积小、功耗低，便于灵活安放。
文档编号G06F7/16GK1457015SQ0311951
公开日2003年11月19日 申请日期2003年3月7日 优先权日2003年3月7日
发明者裘正定, 谢纪刚, 梁满贵 申请人:北方交通大学