一种单幅正视人脸图像的虚拟多姿态生成方法与流程

本发明属于计算机视觉
技术领域：
，涉及一种单幅正视人脸图像的虚拟多姿态生成方法。
背景技术：
：在过去的几十年里，人脸识别作为计算机视觉的一个研究热点受到普遍关注，广泛地应用在机器人等学科中，对自动鉴别和人类自动分辨有着重要的意义。在有充分数量代表性的训练样本时，许多人脸识别方法能取得较好的识别效果。然而在身份证验证，海关护照验证以及公安执法等一些特殊场合中，通常每个人都只有一幅人脸样本前视图图像，并且待识别人脸相对于训练人脸图像的姿态发生变化，因此导致识别率大幅下降，有些方法甚至无法使用。技术实现要素：本发明的目的是提供一种单幅正视人脸图像的虚拟多姿态生成方法，解决了现有技术中，因人脸识别训练样本只有一幅前视图图像，存在单样本人脸识别情况下识别率较低的问题。本发明采用的技术方案是，一种单幅正视人脸图像的虚拟多姿态生成方法，按照以下步骤实施：步骤1、输入待变换单样本人脸对输入的待变换单样本人脸要求必须为正视图人脸，设输入正视图人脸为h行w列图像F(i,j)h×w，其中i＝1,2...h，j＝1,2...w；忽略鼻子、眼睛等无关的凹凸，假设其落在二维平面上，以下简称该二维平面为人脸面，即单样本的人脸正视图信息为成像物体，其不同角度拍摄下成像结果即为人脸在不同角度成像结果；步骤2、输入人脸面旋转变换方向及变换角度按照标准镜头视角设定摄像机视角为45度，输入需要得到的姿态变换角度为θ，已知人脸面原尺寸为h×w大小，原人脸正视图的平面以⑤⑥⑦⑧四个顶点表示该正视图与投影面重合，三维旋转之后，可见的旋转人脸图以①②③④四个顶点表示三维旋转后的图像成梯形形状，当人脸面向上旋转，即给出虚拟仰视姿态角度变化的话，转步骤3；当人脸面向下旋转，即给出虚拟俯视姿态角度变化的话，转步骤4；当人脸面向左旋转，即给出虚拟左偏姿态角度变化的话，转步骤5；当人脸面向右旋转，即给出虚拟右偏姿态角度变化的话，转步骤6；步骤3、人脸面向上旋转变换人脸面向上旋转变换时，三维旋转后的人脸图梯形顶点为①②③④，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则当时，令否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，对于本步骤三维旋转后的人脸图梯形①②③④与旋转前的正视图矩形⑤⑥⑦⑧建立平面直角坐标系，其中的⑦⑧边与③④边长度相等，此时已知，则对应点对坐标如下表1所示：表1人脸面向上旋转时4对对应点对的坐标据上述所求4对点对的坐标，可求得单应变换矩阵Hup：Hup=1-w-wnew12h00wnew1w00wnew1-wh·w1,]]>接下来转步骤7；步骤4、人脸面向下旋转变换人脸面向下旋转变换时，三维旋转后的人脸图梯形顶点为①②③④，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则当时，令否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，对于本步骤三维旋转后的人脸图像①②③④与旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑥边与①②边长度相等，此时已知，则对应点对坐标如下表2所示：表2人脸面向下旋转时4对对应点对的坐标据上述所求4对点对的坐标，可求得单应变换矩阵Hdown：Hdown=wwnew1w(w-wnew1)2hwnew1-w(w-wnew1)2wnew10wwnew100w-wnew1hwnew11,]]>接下来转步骤7；步骤5、人脸面向左旋转变换人脸面向左旋转变换时，三维旋转后的人脸图梯形顶点为①②③④)，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则当时，令否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，对于本步骤三维旋转后的人脸图像①②③④与旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑥⑧边与②④边长度相等，此时已知，则对应点对的坐标如下表3所示：表3人脸面向左旋转时4对对应点对的坐标据上述所求4对点对坐标，可求得单应变换矩阵Hleft：Hleft=hhnew100h(h-hnew1)2hnew1·whhnew1-h(h-hnew1)2hnew1h-hnew1hnew1·w01,]]>接下来转步骤7；步骤6、人脸面向右旋转变换人脸面向右旋转变换时，三维旋转后的人脸图梯形顶点为①②③④，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则当时，令否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，对于本步骤三维旋转后的人脸图像①②③④与旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑦边与①③边长度相等，此时已知，则对应点对的坐标如下表4所示：表4人脸面向右旋转时4对对应点对的坐标据上述所求4对点对的坐标，可求得单应变换矩阵Hleft：Hright=hnew1h00-h-hnew12w10hnew1-hh·w01,]]>接下来转步骤7；步骤7、多姿态人脸求取当两帧图像上的点来自空间同一平面时，则它们之间存在一个射影变换，可以用3×3的单应矩阵H表示，已知F(i,j)，i＝1,2...,h，j＝1,2...,w为输入的正视人脸图像上的点，f(i,j)，i＝1,2...,h，j＝1,2...,w为变换后的虚拟姿态人脸图像上的投影点，则满足F(i,j)＝H·f(i,j)，即f(i,j)＝H-1·F(i,j)，系数H分别代入上述步骤3、4、5、6中求得的Hup、Hdown、Hleft与Hright，即能够求得上述的四种姿态变换后的人脸结果；步骤8、输出生成的虚拟的多姿态人脸图像。本发明的有益效果是，能够从如身份证验证，海关护照验证以及公安执法等一些特殊场合中，利用单幅人脸前视图样本生成多姿态人脸样本，以便对该对应人脸进行训练和后续的识别，是单样本人脸情况下的人脸识别不可缺少的预处理方法。附图说明图1是本发明方法选用的实施例人脸正视图；图2是本发明方法成像三维示意图；图3是本发明方法人脸面旋转三维示意图；图4是本发明方法人脸面向上旋转时单应变换前人脸面所做平面关系；图5是本发明方法人脸面向上旋转时单应变换后人脸面所做平面关系；图6是本发明方法人脸面向下旋转时单应变换前人脸面所做平面关系；图7是本发明方法人脸面向下旋转时单应变换后人脸面所做平面关系；图8是本发明方法人脸面向左旋转时单应变换前人脸面所做平面关系；图9是本发明方法人脸面向左旋转时单应变换后人脸面所做平面关系；图10是本发明方法人脸面向右旋转时单应变换前人脸面所做平面关系；图11是本发明方法人脸面向右旋转时单应变换后人脸面所做平面关系；图12是本发明方法最终得到的人脸多姿态变换结果图。具体实施方式下面结合附图和具体实施方式对本发明进行详细说明。本发明单幅正视人脸图像的虚拟多姿态生成方法，按照以下步骤实施：步骤1、输入待变换单样本人脸对输入的待变换单样本人脸要求必须为正视图人脸，效果如图1所示，设输入正视图人脸为h行w列图像F(i,j)h×w，其中i＝1,2...h，j＝1,2...w；忽略鼻子、眼睛等无关的凹凸，假设其落在二维平面上，以下简称该二维平面为人脸面，即单样本的人脸正视图信息为成像物体，其不同角度拍摄下成像结果即为人脸在不同角度成像结果。拍摄人脸正视图时，摄像机光轴线必定垂直于人脸所在平面，与投影面重合，平行于成像面，如图2所示。步骤2、输入人脸面旋转变换方向及变换角度按照标准镜头视角设定摄像机视角为45度，输入需要得到的姿态变换角度为θ，已知人脸面原尺寸为h×w大小，人脸面三维示意图如图3所示，原人脸正视图的平面(以⑤⑥⑦⑧四个顶点表示该正视图)与投影面重合，三维旋转之后，可见的旋转人脸图(以①②③④四个顶点表示三维旋转后的图像)成梯形形状。其中的⑤⑥⑦⑧为原始正视图，是如图1所示的人脸图像的矩形的四个顶点，①②③④为对其进行三维旋转后，得到的旋转图像的四个顶点，因为是在三维空间上的旋转，如图2所示，这时的旋转后的图像为梯形，而不是矩形。当人脸面向上旋转，即给出虚拟仰视姿态角度变化的话，转步骤3；当人脸面向下旋转，即给出虚拟俯视姿态角度变化的话，转步骤4；当人脸面向左旋转，即给出虚拟左偏姿态角度变化的话，转步骤5；当人脸面向右旋转，即给出虚拟右偏姿态角度变化的话，转步骤6。步骤3、人脸面向上旋转变换人脸面向上旋转变换时，图4所示的三维旋转后的人脸图(梯形顶点为①②③④)，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则当时，令否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，对于图4所示的三维旋转后的人脸图梯形①②③④与图5所示的旋转前的正视图矩形⑤⑥⑦⑧建立平面直角坐标系，其中的⑦⑧边与③④边长度相等，如图4表示单应变换前的图像形状，图5所示为单应变换后的目标图像尺寸，此时已知，则对应点对坐标如下表1所示：表1人脸面向上旋转时4对对应点对的坐标据上述所求4对点对的坐标，可求得单应变换矩阵Hup：Hup=1-w-wnew12h00wnew1w00wnew1-wh·w1,]]>接下来转步骤7。步骤4、人脸面向下旋转变换人脸面向下旋转变换时，如图6三维旋转后的人脸图(梯形顶点为①②③④)，梯形高的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则当时，令否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，对于图6所示的三维旋转后的人脸图像①②③④与图7所示的旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑥边与①②边长度相等，如图6表示单应变换前的图像形状，图7所示为单应变换后的目标图像尺寸，此时已知，则对应点对坐标如下表2所示：表2人脸面向下旋转时4对对应点对的坐标据上述所求4对点对的坐标，可求得单应变换矩阵Hdown：Hdown=wwnew1w(w-wnew1)2hwnew1-w(w-wnew1)2wnew10wwnew100w-wnew1hwnew11,]]>接下来转步骤7。步骤5、人脸面向左旋转变换人脸面向左旋转变换时，如图8三维旋转后的人脸图(梯形顶点为①②③④)，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则当时，令否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，对于图8所示的三维旋转后的人脸图像①②③④与图9所示的旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑥⑧边与②④边长度相等，如图8表示单应变换前的图像形状，图9所示为单应变换后的目标图像尺寸，此时已知，则对应点对的坐标如下表3所示：表3人脸面向左旋转时4对对应点对的坐标据上述所求4对点对坐标，可求得单应变换矩阵Hleft：Hleft=hhnew100h(h-hnew1)2hnew1·whhnew1-h(h-hnew1)2hnew1h-hnew1hnew1·w01,]]>接下来转步骤7。步骤6、人脸面向右旋转变换人脸面向右旋转变换时，如图10所示三维旋转后的人脸图(梯形顶点为①②③④)，梯形宽的值设为且为保证人脸面信息完整，令短边与长边大小分别设为与则当时，令否则角度θ按照需求任意设定，每设定一个角度，就能够获得一个虚拟姿态，对于图10所示的三维旋转后的人脸图像①②③④与图11所示的旋转前的正视图⑤⑥⑦⑧建立平面直角坐标系，其中的⑤⑦边与①③边长度相等，如图10表示单应变换前的图像形状，图11所示为单应变换后的目标图像尺寸，此时已知，则对应点对的坐标如下表4所示：表4人脸面向右旋转时4对对应点对的坐标据上述所求4对点对的坐标，可求得单应变换矩阵Hleft：Hright=hnew1h00-h-hnew12w10hnew1-hh·w01,]]>接下来转步骤7。步骤7、多姿态人脸求取当两帧图像上的点来自空间同一平面时，则它们之间存在一个射影变换，可以用3×3的单应矩阵H表示，已知F(i,j)，i＝1,2...,h，j＝1,2...,w为输入的正视人脸图像上的点，f(i,j)，i＝1,2...,h，j＝1,2...,w为变换后的虚拟姿态人脸图像上的投影点，则满足F(i,j)＝H·f(i,j)，即f(i,j)＝H-1·F(i,j)，系数H分别代入上述步骤3、4、5、6中求得的Hup、Hdown、Hleft与Hright，即能够求得上述的四种姿态变换后的人脸结果，如图12。步骤8、输出生成的虚拟的多姿态人脸图像，见图12。当前第1页1 2 3