专利名称：基于有限多幅人脸图像的人脸匹配方法
技术领域：
本发明涉及一种基于有限多幅人脸图像的人脸匹配方法，涉及人脸检测、人脸匹配、模式识别、智能监控等领域，能直接判断监控视频中所检测到的人脸是否与多幅照片中的人脸匹配。
背景技术：
人脸匹配是当前模式识别和智能监控领域的一个热门话题，有着广泛的应用前景。人脸匹配的有效进行，能够提高监控系统中识别人物的速度和效率，为生产和生活等诸多方面带来极大的便利，尤其是在当前国际上恐怖事件频繁发生，国内还有一些不安定因素的环境下，人脸匹配对于公共场所的安全检查有着积极而深远的意义和影响。
目前在人脸匹配方面已经提出了许多方法，从PCA(主成分分析法)到E(PC)2A(增强的标准特征脸扩展技术)，从基于整体的人脸匹配到基于局部的人脸匹配，再到整体和局部相混合的人脸匹配技术。但还存在若干局限，1)在许多人脸匹配的问题中，均需通过训练已知人脸来匹配未知人脸，而训练和匹配的过程中，存在着“维数灾难”(计算量随维数的增加而呈指数增长)的问题，它将直接导致匹配率的降低和时间复杂度的提高。2)并且现在的研究中，以单幅人脸训练样本居多的先决条件导致训练样本的严重不足，这也将导致匹配率的降低。
发明内容
本发明的目的在于提供一种基于有限多幅人脸图像的人脸匹配方法，对实时的监控视频与已经采集到的有限多幅入脸照片进行人脸匹配。
为了实现这个目的，本发明的构思是采用双重主成分分析算法将E(PC)2A方法和PCA方法有机结合。E(PC)2A方法在只有单幅人脸图像的情况下具有很好的人脸匹配能力，该方法采用了二维投影的方法，有效地增强了人脸的关键特征部位，从而提高了人脸的匹配能力。而由于光线变化等的诸多因素，若将PCA方法作为该方法的补充，并利用获得的有限多幅人脸图像，则可以进一步提高人脸的匹配能力。
本发明所运用的人脸数据中每个人拥有3张不同表情的照片和一段实时监控视频。但必须满足以下要求1)照片和视频中的人脸为正面，上、下、左、右的倾角在5度之内均可；2)照片和视频的背景均为单一的颜色，允许有背景颜色的轻微变化；3)照片和视频以自然光为宜；4)照片和视频中只包含人脸。
根据上述的发明构思，本发明采用下述技术方案一种基于有限多幅人脸图像的人脸匹配方法，其特征在于采用双重主成分分析算法，以二维投影方法E(PC)2A方法为主，以PCA方法为辅，使用人脸主成分之间的相关性来检测人脸的匹配；具体操作步骤如下(1)照片和视频数据的归一化把用RGB形式的照片和视频帧数据转换成灰度图像，再把灰度值映射在0到1之间；(2)人脸在照片中的定位从上到下计算照片中行与行之间的相关性，当相关性发生了突变，则表明探测到了头顶的边界；从左到右计算列与列之间的相关性，当相关性发生了突变，则表明探测到了人脸的左边界；从右到左计算列与列之间的相关性，当相关性发生了突变，则表明探测到了人脸的右边界；(3)计算照片中人脸的主成分在已经定位完毕的人脸矩形区域中，分别用二维投影方法E(PC)2A方法和PCA方法计算人脸的主成分，两种方法所得的主成分均按照各个成分的影响大小从大到小排序；(4)人脸在视频中的定位每隔数帧抽取一帧进行人脸定位，定位方法同步骤(2)；(5)计算视频帧中人脸的主成分；(6)首次匹配；(7)处理首次匹配结果如果步骤(6)的匹配结果中有大于等于某个数值的视频帧和三幅照片之间的平均匹配程度Match_degree_A超过某个数值，则匹配成功；如果步骤(6)的匹配结果中有大于某个数值的视频帧和三幅照片之间的平均匹配程度Match_degree_A未达到某个数值，则匹配不成功；其他情况下跳到步骤(8)；(8)二次匹配；(9)处理二次匹配结果如果步骤(8)的结果中有大于等于某个数值的视频帧和三幅照片之间的匹配程度的最小值Match_degree_min超过了某个数值，则匹配成功；否则匹配不成功。
上述的E(PC)2A方法如下假设Imn(x，y)是经过归一化后的人脸的灰度值；x∈[1，row]，y∈[1，col]，m∈[1，P]，n∈[1，3]；(x，y)是像素点的坐标，假设每一帧人脸图像的分辨率是row*col，row表示图像帧的行数，col表示图像帧的列数；具体操作步骤如下①Jmn(x，y)＝Imn(x，y)*Imn(x，y)，Jmn是Jmn(x，y)矩阵的平均值；②V2mn(x)=1colΣy=1colJmn(x,y);]]>③H2mn(y)=1rowΣx=1rowJmn(x,y);]]>④P2mn(x,y)=V2mn(x)H2mn(y)Jmn‾;]]>⑤V1mn(x)=1colΣy=1colImn(x,y);]]>⑥H1mn(y)=1rowΣx=1rowImn(x,y);]]>⑦P1mn(x,y)=V1mn(x)H1mn(y)Imn(x,y)‾;]]>⑧IImn(x,y)=Imn(x,y)+αP1mn(x,y)+βP2mn(x,y)1+α+β,]]>α和β均为常量；⑨计算IImn的PCA主成分，并按照各个成分的影响大小从大到小排序，得Rmn。
上述的计算IImn的PCA主成分的方法步骤如下a、以大小为row×1的矩阵IImnvge记录图像帧IImn每一行的平均值；b、IImnnew(x，y)＝IImn(x，y)-IImnvge(x，1)，此处IImnnew记录了IImn和其平均值IImnvge作差之后的结果；c、对IImnnew进行奇异值分解，[U，S，V]＝SVD(IImnnew)，其中S是一对角矩阵，U和V代表二个相互正交矩阵；d、提取对角矩阵S的对角元素并按照元素值进行降序排列，记为S_diag；e、计算S_diag的前百分之i的元素的个数，记S_diag的前百分之i的元素的个数为num_n；f、取矩阵U的前num_n列作为IImn的主成分。
上述的计算视频帧中人脸的主成分步骤为步骤①-⑧同上述的步骤(3)的分步骤①-⑧步骤相同，步骤⑨为计算IImn的主成分，得VRmn。
上述的首次匹配是假设视频段中共有视频帧Video_frame_num帧，具体步骤如下①读入视频的第num_frame＝i帧的经E(PC)2A方法获得的前百分之n的主成分，假设前百分之n的主成分的个数是num_n。第一次迭代时，i＝15；②读入第num_photo＝j幅照片的经E(PC)2A方法获得的前num_n个主成分。第一次进入二次迭代时，j＝1；③计算第num_frame＝i帧视频帧和第num_photo＝j幅照片的前num_n个主成分之间的相关性，记为match_degreeij。j＝j+1；④如果j小于等于3，则继续分步骤②；⑤计算当前视频帧和三幅照片之间相关性的平均值，得Match_degree_Ai；⑥i＝i+15；⑦如果i小于等于视频帧总数Video_frame_num，则继续步骤①。
上次的二次匹配是，假设视频段中共有视频帧Video_frame_num帧，具体操作步骤如下①读入视频的第num_frame＝i帧的经PCA方法获得的前百分之n的主成分，假设前百分之n的主成分的个数是num_n；第一次迭代时，i＝15；②读入第num_photo＝j幅照片的经PCA方法获得的前num_n个主成分；第一次进入二次迭代时，j＝1；③计算第num_frame＝i帧视频帧和第num_photo＝j幅照片的前num_n个主成分之间的相关性，记为match_degree_pcaij；j＝j+1；④如果j小于等于3，则继续步骤②；⑤计算当前视频帧和三幅照片之间相关性的最小值，得Match_degree_mini；⑥i＝i+15；⑦如果i小于等于Video_frame_num，则继续步骤①。
本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点本发明的方法能够获得较高的匹配准确率由于基于视频和有限多幅照片的人脸匹配能够充分利用已有样例，而E(PC)2A方法的运用和PCA方法的补充，则能针对有限多幅图像从中发现更具有代表性的人脸的特征。而以往的人脸匹配方法由于缺少训练样本和采用单一的人脸匹配方法而未能得到比较高的匹配准确率。本发明的方法适用于通过有限多幅正面人脸进行实时监控所得视频之间的匹配，能获得比较高的测试准确率，更具有实际使用价值。
图1为本发明的人脸匹配方法的流程图。
图2为本发明的人脸匹配方法的操作界面示意图。
图3是本发明一个实施例中图像检测到的人脸图像。
图4是本实施例中视频检测到的人脸图像。
具体实施例方式
以下结合具体的实施例对本发明的技术方案作进一步详细描述。
本实施例中采用的人脸匹配方法数据库共有样例5份，不包括姓名等私人信息。每份样例均有3张不同表情的JPEG正面头部照片和一段avi头部视频。
参见图1和图2，整个人脸匹配实现过程如下(1)照片和视频数据的归一化把用RGB形式的照片转换成灰度图像，再把灰度值映射在0到1之间。每隔15帧从视频中抽取一帧进行归一化。如归一化后的某一象素的值为0.56。
(2)人脸在照片中的定位由于照片中只存在人脸且背景颜色比较单一，所以可通过确定头顶边界、脸左侧边界、脸右侧边界来定位人脸。在头顶边界的测定中，自上而下计算行与行之间的相关性，由于背景颜色几乎单一，所以还未探测到头顶边界时，行之间的相关性几乎在90％以上，一旦探测到了头顶，则相关性发生突变，此时相关性急剧下降，再继续计算以下行与行之间的相关性时，其值又立刻回升在90％左右，则表明相关性突变点处为头顶边界。检测人脸左边界和右边界的方法类似，所不同的是在检测人脸左边界时，是从左往右计算列与列之间的相关性，而在检测人脸右边界时，是从右往左计算列与列之间的相关性。人脸定位完毕之后，将所有的人脸区域都定在一个具有相同大小的矩阵[90*60]中。如图3。
(3)计算照片中人脸的主成分在人脸矩形区域中，分别用二维投影方法E(PC)2A方法和PCA方法计算人脸的主成分，两种方法所得的主成分均按照各个成分的影响大小从大到小排序。
E(PC)2A方法具体如下假设Imn(x，y)是经过归一化后的人脸的灰度值(x∈[1，90]，y∈[1，60]，n∈[1，5]，n∈[1，3])①Jmn(x，y)＝Imn(x，y)*Imn(x，y)，Jmn是Jmn(x，y)矩阵的平均值；②V2mn(x)=160Σy=160Jmn(x,y);]]>③H2mn(y)=190Σx=190Jmn(x,y);]]>④P2mn(x,y)=V2mn(x)H2mn(y)Jmn‾;]]>⑤V1mn(x)=160Σy=160Imn(x,y);]]>⑥H1mn(y)=190Σx=190Imn(x,y);]]>⑦P1mn(x,y)=V1mn(x)H1mn(y)Imn(x,y)‾;]]>⑧IImn(x,y)=Imn(x,y)+αP1mn(x,y)+βP2mn(x,y)1+α+β;]]>
⑨计算IImn的主成分，并按照各个成分的影响大小从大到小排序，得Rmn；取α＝0.25，β＝1.5PCA方法计算人脸Imn(x，y)的主成分，并按照各个成分的影响大小从大到小排序，得Qmn。
如Rmn是一个90×60的矩阵，Qmn是一个90×60的矩阵。
(4)人脸在视频中的定位在匹配的过程中，并非每一帧都被提取为可以匹配的帧，而是每隔15帧取一帧进行匹配。在提取的每一帧中，人脸的定位如步骤(2)所述。得到的结果如图4所示。
(5)计算视频帧中人脸的主成分对于每一个提取的帧，分别用二维投影方法E(PC)2方法和PCA方法计算人脸的主成分。假设视频中一共有N帧，则一共被提取num＝[N/15]帧，假设用E(PC)2A方法和PCA方法计算得到的前68％的主成分分别是VEab和VPab(α∈[1，5]，b∈[1，num])。如VEab是一个90×8的矩阵，VPab是一个90×6的矩阵。
(6)首次匹配(假设视频段中共有视频帧N帧)①读入视频的第num_frame＝i帧的经E(PC)2A方法获得的前68％的主成分，假设前68％的主成分的个数是num_n。第一次迭代时，i＝15。
②读入第num_photo＝j幅照片的经E(PC)2A方法获得的前num_n个主成分。第一次进入二次迭代时，j＝1。
③计算第num_frame＝i帧视频帧和第num_photo＝j幅照片的前num_n个主成分之间的相关性，记为match_degreeij。j＝j+1。如某次匹配的视频帧与某幅照片之间的相关性为0.83。
④如果j小于等于3，则继续分步骤②。
⑤计算当前视频帧和三幅照片之间相关性的平均值，得Match_degree_Ai。如当前视频帧与三张照片之间的相关性的平均数为0.87。
⑥i＝i+15。
⑦如果i小于等于N，则继续步骤①。
(7)处理首次匹配结果如果步骤(6)的匹配结果中有大于等于[num/3]的视频帧和照片的匹配程度超过了70％，则匹配成功；如果步骤(6)的匹配结果中有大于[num/3]的视频帧和照片的匹配程度未达到50％，则匹配不成功；其他情况下跳到步骤(8)。如某个首次匹配过程的结果如下{0.85，0.84，0.78，0.79，0.93，0.82，0.75，0.71，0.59，0.78，0.62，0.61，0.89，0.76，0.64}，则首次匹配通过。
(8)二次匹配(假设视频段中共有视频帧N帧)①读入视频的第num_frame＝i帧的经PCA方法获得的前68％的主成分，假设前68％的主成分的个数是num_n。第一次迭代时，i＝15。
②读入第num_photo＝j幅照片的经PCA方法获得的前num_n个主成分。第一次进入二次迭代时，j＝1。
③计算第num_frame＝i帧视频帧和第num_photo＝j幅照片的前num_n个主成分之间的相关性，记为match_degree_pcaij。j＝j+1。如某次匹配的视频帧与某幅照片之间的相关性为0.78。
④如果j小于等于3，则继续分步骤②。
⑤计算当前视频帧和三幅照片之间相关性的最小值，得Match_degree_mini。如当前视频帧与三张照片之间的相关性的最小值为0.73。
⑥i＝i+15。
⑦如果i小于等于N，则继续步骤①。
(9)处理二次匹配结果如果步骤(8)的结果中有大于等于[num/3]的视频帧和照片的匹配程度超过了70％，则匹配成功；否则匹配不成功。如某二次匹配的结果如下{0.85，0.83，0.72，0.81，0.76，0.79，0.60，0.75，0.86，0.90，0.70，0.84，0.88}，则二次匹配通过。
权利要求
1.一种基于有限多幅人脸图像的人脸匹配方法，其特征在于采用双重主成分分析算法，以二维投影方法E(PC)2A方法为主，以PCA方法为辅，使用人脸主成分之间的相关性来检测人脸的匹配；具体操作步骤如下(1)照片和视频数据的归一化把用RGB形式的照片和视频帧数据转换成灰度图像，再把灰度值映射在0到1之间；(2)人脸在照片中的定位从上到下计算照片中行与行之间的相关性，当相关性发生了突变，则表明探测到了头顶的边界；从左到右计算列与列之间的相关性，当相关性发生了突变，则表明探测到了人脸的左边界；从右到左计算列与列之间的相关性，当相关性发生了突变，则表明探测到了人脸的右边界；(3)计算照片中人脸的主成分在已经定位完毕的人脸矩形区域中，分别用二维投影方法E(PC)2A方法和PCA方法计算人脸的主成分，两种方法所得的主成分均按照各个成分的影响大小从大到小排序；(4)人脸在视频中的定位每隔数帧抽取一帧进行人脸定位，定位方法同步骤(2)；(5)计算视频帧中人脸的主成分；(6)首次匹配；(7)处理首次匹配结果如果步骤(6)的匹配结果中有大于等于某个数值的视频帧和三幅照片之间的平均匹配程度Match_degree_A超过某个数值，则匹配成功；如果步骤(6)的匹配结果中有大于某个数值的视频帧和三幅照片之间的平均匹配程度Match_degree_A未达到某个数值，则匹配不成功；其他情况下跳到步骤(8)；(8)二次匹配；(9)处理二次匹配结果如果步骤(8)的结果中有大于等于某个数值的视频帧和三幅照片之间的匹配程度的最小值Match_degree_min超过了某个数值，则匹配成功；否则匹配不成功。
2.根据权利要求1所述的基于有限多幅人脸图像的人脸匹配方法，其特征在于所述的E(PC)2A方法如下假设Imn(x，y)是经过归一化后的人脸的灰度值；x∈[1，row]，y∈[1，col]，m∈[1，p]，n∈[1，3]；(x，y)是像素点的坐标，假设每一帧人脸图像的分辨率是row*col，row表示图像帧的行数，col表示图像帧的列数；具体操作步骤如下①Jmn(x，y)＝Imn(x，y)*Imn(x，y)，Jmn是Jmn(x，y)矩阵的平均值；②V2mn(x)=1colΣy=1colJmn(x,y);]]>③H2mn(y)=1rowΣx=1rowJmn(x,y);]]>④P2mn(x,y)=V2mn(x)H2mn(y)Jmn;]]>⑤V1mn(x)=1colΣy=1colImn(x,y);]]>⑥H1mn(y)=1rowΣx=1rowImn(x,y);]]>⑦P1mn(x,y)=V1mn(x)H1mn(y)Imn(x,y);]]>⑧IImn(x,y)=Imn(x,y)+αP1mn(x,y)+βP2mn(x,y)1+α+β,]]>α和β均为常量；⑨计算IImn的PCA主成分，并按照各个成分的影响大小从大到小排序，得Rmn。
3.根据权利要求2所述的基于有限多幅人脸图像的人脸匹配方法，其特征在于所述的计算IImn的PCA主成分的方法步骤如下a、以大小为row×1的矩阵IImnvge记录图像帧IImn每一行的平均值；b、IImnnew(x，y)＝IImn(x，y)-IImnvge(x，1)，此处IImnnew记录了IImn和其平均值IImnvge作差之后的结果；c、对IImnnew进行奇异值分解，[U，S，V]＝SVD(IImnnew)，其中S是一对角矩阵，U和V代表二个相互正交矩阵；d、提取对角矩阵S的对角元素并按照元素值进行降序排列，记为S_diag；e、计算S_diag的前百分之i的元素的个数，记S_diag的前百分之i的元素的个数为num_n；f、取矩阵U的前num_n列作为IImn的主成分。
4.根据权利要求1所述的基于有限多幅人脸图像的人脸匹配方法，其特征在于所述的(5)步骤中计算视频帧中人脸的主成分步骤为①-⑧步骤与权利要求2中的①-⑧步骤相同；⑨计算IImn的主成分，得VRmn。
5.根据权利要求1所述的基于有限多幅人脸图像的人脸匹配方法，其特征在于所述的首匹配是假设视频段中共有视频帧Video_frame_num帧，操作步骤如下①读入视频的第num_frame＝i帧的经E(PC)2A方法获得的前百分之n的主成分，假设前百分之n的主成分的个数是num_n。第一次迭代时，i＝15；②读入第num_photo＝j幅照片的经E(PC)2A方法获得的前num_n个主成分。第一次进入二次迭代时，j＝1；③计算第num_frame＝i帧视频帧和第num_photo＝j幅照片的前num_n个主成分之间的相关性，记为match_degreeij。j＝j+1；④如果j小于等于3，则继续分步骤②；⑤计算当前视频帧和三幅照片之间相关性的平均值，得Match_degree_Ai；⑥i＝i+15；⑦如果i小于等于视频帧总数Video_frame_num，则继续步骤①。
6.根据权利要求1或5所述的基于有限多幅人脸图像的人脸匹配方法，其特征在于所述的二次匹配是假设视频段中共有视频帧Video_frame_num帧，操作步骤如下①读入视频的第num_frame＝i帧的经PCA方法获得的前百分之n的主成分，假设前百分之n的主成分的个数是num_n；第一次迭代时，i＝15；②读入第num_photo＝j幅照片的经PCA方法获得的前num_n个主成分；第一次进入二次迭代时，j＝1；③计算第num_frame＝i帧视频帧和第num_photo＝j幅照片的前num_n个主成分之间的相关性，记为match_degree_pcaij；j＝j+1；④如果j小于等于3，则继续步骤②；⑤计算当前视频帧和三幅照片之间相关性的最小值，得Match_degree_mini；⑥i＝i+15；⑦如果i小于等于Video_frame_num，则继续步骤①。
全文摘要
本发明涉及一种基于有限多幅人脸图像的人脸匹配方法。采用双重主成分分析算法，以E(PC)
文档编号G06K9/70GK1949245SQ20061011816
公开日2007年4月18日 申请日期2006年11月9日 优先权日2006年11月9日
发明者李丹, 李国正 申请人:上海大学