专利名称：一种基于立体匹配的人脸三维模型获取方法
技术领域：
本发明属于双目立体视觉的技术领域，涉及到基于立体匹配的人脸三维模型 获取问题，尤其涉及一种使用区域增长与动态规划相结合的算法，结合人脸特征 信息，获取人脸三维点云模型的方法。
背景技术：
立体匹配技术是一种被动三维测量技术，通过建立两幅从不同角度拍摄的被 测物体图像的像素点之间的对应关系恢复被测物体的三维信息。立体匹配技术可 以获得被测物体的稠密的三维点云数据，无需向被测物体投影光栅，自动化程度 较高，并且可以实现实时釆集。在三维人脸重建领域中，立体匹配是较为常用的 一种技术。
立体匹配算法可以分为局部最优算法和全局最优算法两大类。局部最优算法 基于区域相关，使用灰度相似性约束、唯一性约束、视差连续性约束、顺序一致 性约束等等约束，算法简单，运算速度快。但是由于这些约束作用范围都仅限于 图像的局部区域，获得的结果可能只是局部最优而非全局最优。全局最优算法则 是引入了全局最优搜索策略，即在算法中加入全局性约束条件，避免了局部极值 的困扰。这些约束条件一般以能量函数最小化的形式体现。全局最优算法匹配准 确度高，但算法复杂，运算速度慢。
在众多立体匹配技术算法中，区域增长算法和动态规划算法是在实际场合中 使用较多、效果较好的两种。
区域增长算法属于局部最优算法，利用连续性约束，将匹配关系从种子点对 传播至图像的其余部分。与传统的逐点独立计算的方法相比，区域增长算法极大 地提高了匹配的效率，并且由于加入了连续性约束，对连续表面的匹配效果也更 好。
动态规划算法属于全局最优算法，将匹配过程看成是在左右图像对应扫描线 上寻找最小化全局能量函数路径的过程，规划出的路径由趋向于具有最小化全局 能量函数值的匹配点的集合构成，即正确匹配点集合。动态规划法是全局最优算法中效率较高、匹配效果较好的一种方法。
但是区域增长算法和动态规划算法存在一些共同的缺点
(1) 它们虽然引入了平滑约束，但是都只能在一个方向上实现平滑。区域增 长算法只在每个种子点的增长方向上限制搜索范围，而由不同种子点增 长出的点、以及同一种子点位于不同增长方向上的点之间相互没有任何 约束。动态规划算法中的平滑约束只在规划路径上即同一条扫描线上有 效，不同扫描线之间同样没有约束。这种一维的平滑约束效果有限，容 易出现错位、拉丝等现象。
(2) 缺少对方向的控制。由于图像本身特性分布不均匀，采用不同的增长方 向和规划路径，匹配结果也会有比较大的差别。因此区域增长的方向和 动态规划的路径是影响最终结果的一个重要因素。但在这两种算法中缺 少对这一因素的考虑。
(3) 两种算法都存在错误传播的情况。 一旦增长的过程中或者动态规划的路 径中出现错误的匹配点，就很可能会影响到后续的匹配，使错误向下传 播。
(4) 在实际应用于三维人脸模型重建时，人脸的一些特征信息是可以用于辅
助匹配的。但这两种算法都无法使用这些辅助信息，造成信息的浪费。 由于存在以上缺点，区域增长算法和动态规划算法实际应用于三维人脸模型 重建中的效果不能令人满意。
发明内容
针对现有技术所存在的缺点和限制，本发明的目的在于提供一种结合区域增 长算法和动态规划算法并辅助以人脸特征信息的基于立体匹配的人脸三维模型
获取方法。
本发明采用如下技术方案对从两个不同角度拍摄的两幅人脸图像，任取其 中一幅为基准图像，另一幅为对准图像；首先在基准图像中提取脸和眼睛、眉毛、 鼻子、嘴的连续的封闭的单像素宽度的轮廓线，使用动态规划算法为轮廓线上的 每一点在对准图像中找到相应的匹配点，即对轮廓线进行匹配，并根据这些已匹 配的轮廓线将基准图像中的人脸划分为若干个待匹配区域；然后从这些待匹配区 域的外边缘线开始，向待匹配区域的内部，使用区域增长与动态规划相结合的算法，为基准图像中人脸的所有像素点在对准图像中找到对应的匹配点；最后根据 摄像机参数计算匹配点对所对应的人脸上实际点的三维坐标，得到整个人脸的三 维点云数据。
本发明的方法具体包括以下几个步骤
步骤1:使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，任取 其中一幅为基准图像，另一幅为对准图像，
步骤2:分别对两台摄像机进行标定，获得各自的内参数矩阵A、冉和外参
数矩阵[A rt]、 &]，
步骤3:从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线，使用动态 规划算法对轮廓线上的所有像素点进行匹配，并根据已匹配的轮廓线将基准图像 中的人脸划分为7个区域
步骤3.1:从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的连续的封闭的单 像素宽度的轮廓线，
步骤3. 2:分别将步骤3. 1提取出的基准图像中的每一条轮廓线作为动态规 划算法的路径，使用动态规划算法，找到这些轮廓线上的每一个像素点在对准图 像中对应的匹配点，
把为基准图像中的像素点在对准图像中找到对应匹配点的过程称为匹配过 程，把己经在对准像图像中找到对应匹配点的基准图像中的像素点称为己匹配 点，把还没有在对准图像中找到对应匹配点的基准图像中的像素点称为待匹配 点，把基准图像中完全由未匹配点组成的区域称为待匹配区域，
步骤3.3:在基准图像中，把眼睛轮廓线包围的区域称为眼睛区域，把眉毛 轮廓线包围的区域称为眉毛区域，把鼻子轮廓线包围的区域称为鼻子区域，把嘴 轮廓线包围的区域称为嘴区域，把脸部轮廓线所包围的除去眼睛、眉毛、鼻子、 嘴区域以外的区域为脸部区域，这些区域均为待匹配区域，相互之间被由已匹配 点组成的轮廓线分隔开，
步骤4:在基准图像中，对眼睛待匹配区域、眉毛待匹配区域、鼻子待匹配 区域、嘴待匹配区域，从每个待匹配区域的外边缘线开始，向区域内部，使用区 域增长与动态规划相结合的算法，对区域内的待匹配像素点进行匹配
步骤4. 1:在基准图像中选取鼻子待匹配区域的连续的单像素宽度的外边缘 线/,步骤4.2:对外边缘线/上的每一个像素点A， 4 = 1,2,3……尺，^为/上 的像素点数，选取所有与/^相邻的已匹配点^ ， w = l,2，3......M， M为与A
相邻的己匹配点数，令S^与S^在对准图中的匹配点5^组成种子点对，根据 区域增长算法原理，确定/^在对准图中的匹配点的搜索范围，
步骤4.3:以/为动态规划算法的路径，使用动态规划算法，对/上的每一点 A，在对准图中已确定的搜索范围内寻找对应的匹配点，完成/的匹配，
步骤4.4:重复执行步骤4. 1、 4.2、 4.3，为基准图像中鼻子待匹配区域内 的所有像素点在对准图像中找到对应的匹配点，
步骤4. 5:对眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区域执行步骤4. 1、 4.2、 4.3、 4.4，为基准图像中眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区 内的所有像素点在对准图像中找到对应的匹配点，
步骤5:在基准图像中，从脸部待匹配区域的外边缘线开始，向区域内部， 使用区域增长与动态规划相结合的算法，对基准图像中脸部待匹配区域内的像素 点进行匹配，
随着匹配过程的进行，脸部待匹配区域不断向区域内部收縮，区域的外边缘
会与眼睛、眉毛、鼻子、嘴的轮廓线相遇，据此将匹配过程分为两个阶段从匹
配过程开始直到脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中的任 意一条相遇为第一阶段，从脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮 廓线中的任意一条相遇之后直到整个匹配过程完成为第二阶段，
步骤5.1:在第一阶段中，在基准图像中直接选取脸部待匹配区域的连续的
单像素宽度的外边缘线/，在第二阶段中，脸部待匹配区域外边缘与眼睛、眉毛、 鼻子、嘴的轮廓线相遇后，以遇到的轮廓线为脸部待匹配区域的边界的一部分， 与原有边界一起形成了新的脸部待匹配区域边界，沿着新的边界选取脸部待匹配 区域的连续的单像素宽度的外边缘线/ ，
步骤5.2:与步骤4.2相同， 步骤5.3:与步骤4.3相同，
步骤5.4:重复执行步骤5.1、 5.2、 5.3，为基准图像中脸部待匹配区域内 的所有像素点在对准图像中找到对应的匹配点，
步骤6:将每个基准图像中的像素点和该像素点在对准图像中对应的匹配点
合称为一个匹配点对，根据步骤1得到的两台摄像机的内参数矩阵4、 4和外
参数矩阵[A l]、 ;]，计算步骤4和步骤5得到的匹配点对所对应的人脸上的实际点的三维坐标，进而得到整个人脸的三维点云数据。 与现有技术相比，本发明具有如下优点-
(1) 将区域增长和动态规划两种算法分别加以改进并结合，在两个接近垂直 的方向上分别同时进行区域增长和动态规划，两种算法的优势叠加，实 现了两维的平滑约束，相较于原来单一方向的平滑约束，效能明显加强， 匹配准确度更高。同时两种方法相互之间形成一种约束关系，也抑制了 错误匹配的产生。
(2) 将图像划分为若干区域，匹配关系由区域边缘向内部逐圈地传播，相比 于传统区域增长算法中匹配关系由散乱的种子点向四周自由扩散，本发 明的算法实现了对运算方向的控制。通过调整初始区域的位置和形状， 可以有效地控制后续匹配运算中区域增长的方向和动态规划的路径，使 整体匹配运算的方向和图像特性分布相贴合，达到更好的效果。
(3) 根据脸和脸部器官的自然轮廓划分区域，令匹配运算沿着人脸表面自然 变化的方向进行，将人脸特征信息加入了匹配，提高了在人脸三维模型 获取这个特定应用中的信息的利用率，进一步提高了匹配的准确度。
图l本发明完整流程图。 图2系统模型示意图。
图3基于灰度相似性的立体匹配算法的基本原理示意图
图4区域增长算法中匹配关系从种子点向四周传播的基本策略示意图。
图5区域增长算法中由多对种子点共同确定当前点搜索范围的示意图。
图6动态规划算法基本原理示意图。
图7动态规划算法中每一级的运算过程示意图。
图8传统动态规划算法的路径选取的示意图。
图9获取人脸图像示意图。
图IO根据轮廓线为脸部划分区域示意图。
图11选取待匹配区域边缘线示意图。
图12由种子点对确定/上一点户u在对准图像中对应匹配点搜索范围示意图。 图13鼻子区域的运算方向示意图。图14脸部区域的两个运算阶段示意图。
图15由匹配点对和摄像机内外参数使用空间交汇法计算对应物点的三维坐 标示意图。
具体实施例方式
下面参照附图，对本发明具体实施方案做出更为详细的描述。 图1为本发明的完整流程图。
图2为本发明的系统模型的示意图。使用两台摄像机从两个不同角度同时各 拍摄人脸的一幅图像，A、 C^分别为两台摄像机的光心，&、 ^分别为两台摄 像机的成像平面，P为被测人脸上的一个点，A, ^为物点P分别在两台摄像 机成像平面上所成的像点。称这种由同一物点在不同摄像机中所成的像点相互为 匹配点。任取其中一幅图像为基准图像，另一幅为对准图像，为基准图像中的像 素点，在对准图像中搜索对应的匹配点，这个过程称为立体匹配。由匹配点对， 根据系统模型，结合两台摄像机的内外参数，可以逆向运算，得到其对应的物点 的空间三维坐标。对从两个不同角度拍摄的两幅人脸图像进行立体匹配运算，就 可以得到整个人脸的三维点云模型。
图3所示为基于灰度相似性的立体匹配算法的基本原理。基于灰度相似性的 立体匹配算法是绝大多数立体匹配算法的基础，通过比较两幅图像中像素点的一 定邻域范围内的灰度分布之间的相似程度，来确定两幅图像中像素点的对应匹配 关系。如图3所示，f^)为基准图像，fZ^为对准图像，基准图像中，^为一个像 素点，R为以A为中心的一个窗口区域；对准图像中，虚线框内区域为《的对 应的匹配点的搜索范围，^的匹配点一定在此范围内，搜索范围通常由一个固 定的偏移量确定，/^为搜索范围中的一个像素点，『c,为以4为中心的一个与 『i同样大小的窗口区域。『,、『,,.称为模板窗。对搜索范围内的每一个像素点 4，计算模板窗f^和P^之间的相似度函数值p。常用的相似度函数有归一化 互相关系数(normalized correlation coefficient)禾卩差值平方禾口 (Sum of Squared Difference ，SSD)，分别如式(1)和式(2)所示<formula>formula see original document page 10</formula>
(1)
(2)
根据相似度函数的不同，选取搜索范围内户最大或最小的像素点^为A在对准 图像中的匹配点。若相似度函数为归一化互相关系数，则取p最大的像素点为匹
配点；如果相似度函数为差值平方和，则取p最小的像素点为匹配点。
图4、图5为基于区域增长的立体匹配算法的原理示意图。 图4所示为区域增长算法中匹配关系从种子点向四周传播的基本策略。 为基准图像，0J为对准图像，^与^为基准图像与对准图像中的一对匹配点， 称为种子点对，/1,和/^为基准图像中与&相邻的点，根据区域增长的思想，& 和点的匹配点&和4必定在^的匹配点&附近，&和&2点的搜索范围就 可以限制在&点的一个较小的邻域之内，图4 中两个粗线方框区域P^,和『m 即分别为A,和/^点的搜索范围。使用基于灰度相似性的立体匹配算法，在搜索 范围内找到^和Pi2的准确匹配点&和Pfi2 。这是一个匹配关系从已匹配点向四 周传播的过程，也是已匹配区域逐步增长扩大的过程。
图5为区域增长算法中由多对种子点共同确定当前点搜索范围的示意图。「W 为基准图像，f6j为对准图像，Su和Sw， &2和^2是两对种子点对，^为基准 图像中与&,和&2相邻的点，『w为对准图像中由Sw确定的^匹配点的搜索范 围，『M为对准图像中由5^确定的A匹配点的搜索范围，则A在对准图像中的 匹配点的搜索范围由『w和『m共同确定，即为图5 中所示的『M和『M的重叠 区域K。
图6-图8为基于动态规划的立体匹配的原理示意图。
动态规划算法将匹配过程看成是在图像中寻找最小化能量函数五(力路径的 过程，规划出的路径由趋向于具有最小能量函数五(力的匹配点的集合构成，即 正确匹配点集合。式(3)是一个典型的全局能量函数五(力<formula>formula see original document page 10</formula>) (3)其中 A她(力二Z附(《)
式中-
d为视差；
f为所有像素点的集合，^为所有相邻像素点对的集合；
W(A)为点p在视差为"时的匹配代价，代表该点的匹配程度，通常基于灰 度相似性，值越小匹配度越高；
s为相邻像素点和《的视差《和《之差绝对值l《-《I的一个单调递增函 数，是这一对相邻点的平滑代价，代表这两点之间的平滑程度，值越小平滑程度 越高；
五^。(fl )为全局匹配代价，是所有像素点的匹配代价之和； 乙。。j力为全局平滑代价，是所有相邻像素点之间平滑代价之和； 义为权重系数。
动态规划算法的步骤为
步骤l:在基准图像中，选取一条由相邻的待匹配像素点组成的待匹配路径， 确定路径上的每一点在对准图像中对应的匹配点的搜索范围。这个搜索范围通常 是由一个预先设定的偏移量确定的，不过也可以通过其他算法获得。如图6所示， 问为基准图像，〖^为对准图像，a"' = 1,2,3......7v,为基准图像中的相邻待匹
配像素点，组成一条待匹配路径/， s,.为a在对准图中的匹配点的搜索范围，％ 为S中的像素点。
步骤2:将全局能量函数改写成递推形式，如式(4)所示:
￡^) = m(《)+ ^(^ + )+ S ￡c(《) (4)
式中
p为当前像素点；
K为p在动态规划路径中的所有子节点的集合； J36为/7的父节点，/ C在动态规划路径中的子节点；
W(《)为点/7在视差为d时的匹配代价，S为相邻像素点p和《的平滑代价； 义为权重系数；)为； 在动态规划路径中的子节点pc上的能量函数值。 步骤3:计算每一个节点与其父节点的取值之间的对应关系。自路径末端节
点;^向前至第二个节点^，如图7(1)-(3)所示，对其中每一个节点/7,，计算与
其父节点/^每一个可能取值所对应的本节点的取值，具体作如下运算-
步骤3. 1:对p,父节点;7,—,的搜索范围内的每一个点A"w,找到如果^,为
/7,—,的正确匹配点时，那么A应该对应的匹配点。具体步骤如下首先计算《(,_1)4
点视差《,，然后-
步骤3.1.1:对A的搜索范围内的每一个点^.，计算视差《，根据《、《—,以 及A所有子节点能量值之和& ，按式(4)计算从开始到/ ,为止的路径上的总 的能量函数值&;
步骤3. 1.2:在所得的能量函数值￡^找到最小值，这个最小值对应所的搜索 范围中的点^.，即为如果^一w为p,-,的正确匹配点时，A所应该对应的匹配点
步骤3. 1. 3:重复步骤3.1. 1和3.1. 2，为的搜索范围内的每一个点》,—^ 找到一个对应的p,最优取值化p,
步骤4:对路径首节点/7,,由于没有父节点，式(4)简化为
五(匀=附(力)+5]4(0 (5)
对A的搜索范围内的每一个点仏P直接计算能量函数值五u，在所得能量函数值 中找到最小值，此最小值所对应的^，即为^的匹配点；
步骤5:自第二个节点^向后至路径末端节点；^，根据步骤3所得的子节 点与父节点取值之间的对应关系，直接得到每一个节点的匹配点。
在传统的动态规划算法中，通常将图像的行扫描线选取为待匹配路径，逐行 匹配。如图8所示。
针对现有的区域增长和动态规划两种算法的缺陷，我们提出了以下的改进思
想
首先，不再使用传统区域增长算法中散乱分布的种子点，这种散乱分布的种 子点无法控制增长方向，并且种子点和种子点之间、由种子点向不同方向增长出 的匹配点之间相互没有联系，缺少约束。取而代之的是对一个区域从边缘开始整体向内部一圈一圈的增长，通过调整初始区域的位置、形状，可以有效地控制接 下来增长的方向。
其次，传统区域增长算法仅仅是限定了匹配点的搜索范围，之后仍然使用最 基本的基于灰度相关的匹配算法逐点匹配。而本发明在此基础上进一步将动态规 划算法结合进来，将每一圈新增长的点看成一个整体，使用动态规划算法进行匹 配。对于区域增长算法，后续的匹配运算得到了强化；对于动态规划算法，较小 的搜索范围提供了一个更好的基础。从整体上看，则是在两个接近垂直的方向上 同时实现平滑约束。
并且，在划分初始区域的时候，充分考虑到对人脸特征信息的利用，根据脸 以及脸部器官的自然轮廓划分初始区域，令匹配运算沿着人脸表面自然变化的方 向进行，进一步提高了匹配的准确度。
本发明的具体步骤如下
步骤1:使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，任取 其中一幅为基准图像，另一幅为对准图像。如图9所示，C,和(^为两台摄像机， 令G拍摄的图像为基准图像，G拍摄的图像为对准图像。
步骤2:分别对两台摄像机进行标定，获得各自的内参数矩阵4、 ^和外参
数矩阵[A r丄]、:]。内参数矩阵^ =
厶 ^ "o 0力v。 00 1
，其中y;，/v分别表示"
轴和V轴的尺度因子，又称有效焦距，S表示M轴和V轴轴间不垂直因子，(w。,v。)
表示以像素为单位的图像的主点坐标，也称光学中心。外参数矩阵[及r中及为 旋转参数矩阵，r为平移参数矩阵。
现在已有多种成熟有效的标定方法可以自由选用，例如文献"A Flexible New Technique for Camera Calibration" (Zhang Z Y， IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 20(11): 1330—1334)提出一种被 称为平面模板法的标定算法，它主要是首先用理想针孔透视模型来线性求解摄像 机的除畸变系数外的内外参数，然后利用实际成像模型来求解畸变系数，最后利 用非线性最优化算法来优化所有摄像机内外参数。
步骤3:从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线，使用动态规划算法对轮廓线上的所有像素点进行匹配，并根据已匹配的轮廓线将基准图像 中的人脸划分为7个区域步骤3. 1:从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线。要求轮 廓线的宽度为一个像素，每一条轮廓线都是连续并且封闭的。现在己有多种从图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线的方法，例 如可以使用人工手动的方法，直接在图像中画出轮廓线。步骤3. 2:分别将步骤3. 1提取出的基准图像中的每一条轮廓线作为动态规 划算法的路径，使用动态规划算法，找到这些轮廓线上的每一个像素点在对准图 像中对应的匹配点，把为基准图像中的像素点在对准图像中找到对应匹配点的过程称为匹配过 程，把已经在对准像图像中找到对应匹配点的基准图像中的像素点称为己匹配 点，把还没有在对准图像中找到对应匹配点的基准图像中的像素点称为待匹配 点，把基准图像中完全由未匹配点组成的区域称为待匹配区域，步骤3.3:如图10所示，粗线为轮廓线，称眼睛轮廓线包围区域《和&为 眼睛区域，眉毛轮廓线包围区域及3和及4为眉毛区域，鼻子轮廓线包围区域及5为 鼻子区域，嘴轮廓线包围区域A为嘴区域，脸部轮廓线所包围的除去眼睛、眉 毛、鼻子、嘴区域以外的区域/ 7即图10中阴影区域为脸部区域。脸部轮廓线以 外的区域不参加运算。这些区域均为待匹配区域，其中所有的点都是待匹配点。各个区域相互之间 被由已匹配点组成的轮廓线分隔开。步骤4:在基准图像中，对眼睛待匹配区域、眉毛待匹配区域、鼻子待匹配 区域、嘴待匹配区域，从每个待匹配区域的外边缘线开始，向区域内部，使用区 域增长与动态规划相结合的算法，对区域内的待匹配像素点进行匹配步骤4. 1:在基准图像中选取鼻子待匹配区域的连续的单像素宽度的外边缘 线/。这里外边缘线指的是待匹配区域中的、与区域外部相邻的像素点所组成的 一条曲线，也就是待匹配区域中最靠外面的一圈像素点。图11^为基准图像中的已经划分好区域的人脸；图ll向为图ll问的局部放 大图，图中A是鼻子待匹配区域，及7是脸部待匹配区域，粗黑线为步骤3.2提取的鼻子轮廓线，细线/为及5的外边缘线；图11^为图ll(W的局部放大图，图 中灰色方块为轮廓线，白色方块为边缘线/，边缘线与轮廓线是紧邻的。步骤4.2:对外边缘线/上的每一个像素点A， A = l，2,3......K， /:为/上的像素点数，选取所有与A相邻的已匹配点S^， w = l,2，3......M， M为与；^相邻的已匹配点数，令S^与5^在对准图中的匹配点S^组成种子点对，根据 区域增长算法原理，确定A在对准图中的匹配点的搜索范围，如图12所示，图12f^为基准图像的局部放大图，图中白色方块为边缘线/， 灰色方块为轮廓线，同时也是已匹配点，尸u是/上的任意一点，A" &2是与/^ 相邻的已匹配点；图120_;为对准图像的局部放大图，图中灰色方块为基准图像 中轮廓线像素点在对准图像中对应的匹配点，其中&,、 &2是&,、 &2在对准 图像的匹配点，区域^、『2分别为由&,、 SM根据区域增长策略得到的i^匹 配点的搜索范围，^和『2的重叠区域即图中的粗线方框即为由&,、 &2共同 得到的尸u匹配点在对准图像中的最终搜索范围。步骤4.3:以/为动态规划算法的路径，使用动态规划算法，对/上的每一点 A，在对准图中己确定的搜索范围内寻找对应的匹配点，完成/的匹配。步骤4.4:重复执行步骤4.1、 4.2、 4.3，为基准图像中鼻子待匹配区域内 的所有像素点在对准图像中找到对应的匹配点。如图13所示，图中粗黑线为鼻 子轮廓线，细黑线为第一条外边缘线，虚线为第一次匹配完成后选取的第二条新 的外边缘线，也是动态规划的路径。箭头所示为区域增长的方向，由初始外边缘 线向区域内部一圈一圈地收縮，与动态规划路径接近垂直。步骤4. 5:对眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区域执行步骤4. 1、 4.2、 4.3、 4.4，为基准图像中眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区 内的所有像素点在对准图像中找到对应的匹配点。步骤5:在基准图像中，从脸部待匹配区域的外边缘线开始，向区域内部， 使用区域增长与动态规划相结合的算法，对基准图像中脸部待匹配区域内的像素 点进行匹配。随着匹配过程的进行，脸部待匹配区域不断向区域内部收縮，区域的外边缘 会与眼睛、眉毛、鼻子、嘴的轮廓线相遇，由此将匹配过程分为两个阶段从匹配过程开始到脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中任意一 条相遇为第一阶段，从脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线 中任意一条相遇之后到整个匹配过程完成为第二阶段。图14(a)为第一阶段示意图，图中粗线为轮廓线，灰色区域为己匹配区域， 白色区域为待匹配区域。此时脸部区域向内部收縮匹配，但外边缘还没有与任何 轮廓线相遇。图14(b)为第二阶段示意图，图中粗线为轮廓线，灰色区域为己匹配区域， 白色区域为待匹配区域。此时脸部待匹配区域的外边缘已经与轮廓线相遇，轮廓 线成为脸部待匹配区域边界的一部分，形成了新的边界。具体匹配过程如下，各步骤按阶段不同而略有不同步骤5.1:在第一阶段中，在基准图像中直接选取脸部待匹配区域的连续的 单像素宽度的外边缘线/,在第二阶段中，脸部待匹配区域外边缘与眼睛、眉毛、 鼻子、嘴的轮廓线相遇后，以遇到的轮廓线为脸部待匹配区域的边界的一部分， 与原有边界一起形成了新的脸部待匹配区域边界，沿着新的边界选取脸部待匹配 区域的连续的单像素宽度的外边缘线/ 。如图13所示，图14(a)为第一阶段，虚线为脸部待匹配区域^的外边缘线。 箭头所示为区域增长方向。图14(b)为第二阶段，虚线为沿新的边界取的外边缘线。箭头所示为新的区域增长方向。步骤5.2:与步骤4.2相同。 步骤5.3:与步骤4.3相同。步骤5.4:重复执行步骤5.1、 5.2、 5.3，为基准图像中脸部待匹配区域内 的所有像素点在对准图像中找到对应的匹配点，步骤6:将每个基准图像中的像素点和该像素点在对准图像中对应的匹配点 合称为一个匹配点对，根据步骤1得到的两台摄像机的内参数矩阵A、 J,和外 参数矩阵[A 71]、 [A &]，计算步骤4和步骤5得到的匹配点对所对应的人脸 上的实际点的三维坐标，进而得到整个人脸的三维点云数据。如图15所示，A、 A分别为两台摄像机的光心，&、 ^分别为两台摄像 机的成像平面，A、 ^分别为两台摄像机的内参数矩阵，[A 7).、7;]分 别为两台摄像机的外参数矩阵，A、 ^为两台摄像机所拍图像中的一对匹配点。 根据4、 [A l]、 O丄、A计算出一条由q发出，并且经过^的射线〔，根据 系统模型可知，A、 ^对应的人脸上的实际点尸也在这条射线上。同理，根据厶、7^、 A、 ^计算出一条由(^发出，并且经过^的射线，P点同样在这 条射线上。考虑到计算误差，取射线^和/,的公垂线的中点为尸点，由此得到匹 配点对A和^所对应的人脸上的实际点P的三维坐标。对每一个匹配点对重复 同样运算，即可得到整个人脸的三维点云数据。本发明的完整流程图如图1所示。
权利要求
1、一种基于立体匹配的人脸三维模型获取方法，其特征在于步骤1使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，任取其中一幅为基准图像，另一幅为对准图像，步骤2分别对两台摄像机进行标定，获得各自的内参数矩阵AL、AR和外参数矩阵[RL TL]、[RR TR]，步骤3从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线，使用动态规划算法对轮廓线上的所有像素点进行匹配，并根据已匹配的轮廓线将基准图像中的人脸划分为7个区域步骤3.1从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的连续的封闭的单像素宽度的轮廓线，步骤3.2分别将步骤3.1提取出的基准图像中的每一条轮廓线作为动态规划算法的路径，使用动态规划算法，找到这些轮廓线上的每一个像素点在对准图像中对应的匹配点，把为基准图像中的像素点在对准图像中找到对应匹配点的过程称为匹配过程，把已经在对准像图像中找到对应匹配点的基准图像中的像素点称为已匹配点，把还没有在对准图像中找到对应匹配点的基准图像中的像素点称为待匹配点，把基准图像中完全由未匹配点组成的区域称为待匹配区域，步骤3.3在基准图像中，把眼睛轮廓线包围的区域称为眼睛区域，把眉毛轮廓线包围的区域称为眉毛区域，把鼻子轮廓线包围的区域称为鼻子区域，把嘴轮廓线包围的区域称为嘴区域，把脸部轮廓线所包围的除去眼睛、眉毛、鼻子、嘴区域以外的区域为脸部区域，这些区域均为待匹配区域，相互之间被由已匹配点组成的轮廓线分隔开，步骤4在基准图像中，对眼睛待匹配区域、眉毛待匹配区域、鼻子待匹配区域、嘴待匹配区域，从每个待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对区域内的待匹配像素点进行匹配步骤4.1在基准图像中选取鼻子待匹配区域的连续的单像素宽度的外边缘线l，步骤4.2对外边缘线l上的每一个像素点pk，k＝1，2，3......K，K为l上的像素点数，选取所有与pk相邻的已匹配点SLm，m＝1，2，3......M，M为与pk相邻的已匹配点数，令SLm与SLm在对准图中的匹配点SRm组成种子点对，根据区域增长算法原理，确定pk在对准图中的匹配点的搜索范围，步骤4.3以l为动态规划算法的路径，使用动态规划算法，对l上的每一点pk，在对准图中已确定的搜索范围内寻找对应的匹配点，完成l的匹配，步骤4.4重复执行步骤4.1、4.2、4.3，为基准图像中鼻子待匹配区域内的所有像素点在对准图像中找到对应的匹配点，步骤4.5对眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区域执行步骤4.1、4.2、4.3、4.4，为基准图像中眼睛待匹配区域、眉毛待匹配区域、嘴待匹配区内的所有像素点在对准图像中找到对应的匹配点，步骤5在基准图像中，从脸部待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对基准图像中脸部待匹配区域内的像素点进行匹配，随着匹配过程的进行，脸部待匹配区域不断向区域内部收缩，区域的外边缘会与眼睛、眉毛、鼻子、嘴的轮廓线相遇，据此将匹配过程分为两个阶段从匹配过程开始直到脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中的任意一条相遇为第一阶段，从脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线中的任意一条相遇之后直到整个匹配过程完成为第二阶段，步骤5.1在第一阶段中，在基准图像中直接选取脸部待匹配区域的连续的单像素宽度的外边缘线l，在第二阶段中，脸部待匹配区域外边缘与眼睛、眉毛、鼻子、嘴的轮廓线相遇后，以遇到的轮廓线为脸部待匹配区域的边界的一部分，与原有边界一起形成了新的脸部待匹配区域边界，沿着新的边界选取脸部待匹配区域的连续的单像素宽度的外边缘线l，步骤5.2与步骤4.2相同，步骤5.3与步骤4.3相同，步骤5.4重复执行步骤5.1、5.2、5.3，为基准图像中脸部待匹配区域内的所有像素点在对准图像中找到对应的匹配点，步骤6将每个基准图像中的像素点和该像素点在对准图像中对应的匹配点合称为一个匹配点对，根据步骤1得到的两台摄像机的内参数矩阵AL、AR和外参数矩阵[RL TL]、[RR TR]，计算步骤4和步骤5得到的匹配点对所对应的人脸上的实际点的三维坐标，进而得到整个人脸的三维点云数据。
全文摘要
一种基于立体匹配的人脸三维模型获取方法，其实现步骤为(1)使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像，任取其中一幅为基准图像，另一幅为对准图像；(2)分别对两台摄像机进行标定；(3)从基准图像中提取脸和眼睛、眉毛、鼻子、嘴的轮廓线，使用动态规划算法对轮廓线上的所有像素点进行匹配，并根据已匹配的轮廓线将基准图像中的人脸划分为眼睛、眉毛、鼻子、嘴7个待匹配区域；(4)从每个待匹配区域的外边缘线开始，向区域内部，使用区域增长与动态规划相结合的算法，对基准图像中的待匹配像素点进行匹配；(5)根据摄像机参数计算匹配点对所对应的人脸上实际点的三维坐标，进而得到整个人脸的三维点云数据。
文档编号G06T17/00GK101320485SQ20081012262
公开日2008年12月10日 申请日期2008年6月3日 优先权日2008年6月3日
发明者傅有成, 达飞鹏, 邢德奎, 马倩倩 申请人:东南大学