专利名称：：一种从头肩的三维扫描原始数据中自动提取脸部区域的方法
技术领域：
：本发明涉及一种头肩三维扫描原始数据中脸部区域的自动提取方法，尤其涉及一种以高斯曲率和连通片搜索组合为核心技术、从三维扫描原始数据中自动地提取脸部核心区域的方法。
背景技术：
：随着三维采集技术的发展，三维数据正逐渐成为继声音、图像和视频之后的第四种多々某体数据类型，特别是三维人脸模型，在互联网、家庭娱乐、计算机动画、影视娱乐和安全监控等方面具有广泛的应用前景。大部分应用需要的三维人脸数据是正面人脸的核心区域。但是，现有的三维人脸数据采集设备获取的人脸数据不仅包含人脸正面区域，还包含除人脸之外的周边区域，如颈部、肩部、头发等区域。这些区域形状不稳定，属于局外的干扰信息，影响大多数应用的效果和准确性。采用人工方法去除局外信息会导致应用无法自动化，在某些情况下缺乏实用性(如安全监控中的人脸识别)。已有的自动切割技术要求二维图像的协助，难以直接用于三维人脸模型。
发明内容本发明提供一种基于曲率和连通片搜索的、全自动的脸部区域提取方法，主要解决的是大型三维人脸应用中头肩三维扫描原始数据的自动预处理问题。一种从头肩的三维扫描原始数据中自动提取脸部区域的方法，其步骤如下4(1)、三维人脸的曲面重构采用子分网格的思想，对原始的三维头肩数据(坐标点集)构建分段光滑的三角形网格曲面；(2)、高斯曲率的计算在曲面重构得到的三角形网格数据上计算每个顶点的离散高斯曲率；(3)、人脸区域提取(这一步分三个小步骤完成)首先是连通片的计算基于第2步计算的高斯曲率，按一定的阈值将原始三维人脸数据分割成多个连通片；其次是粗略的人脸区域选择在分割的连通片中，按一定规则选择包含人脸核心区域最大的连通片作为人脸区域的粗略计算结果；最后是人脸区域的精确提取借助粗略选择的连通片和原始的三维人脸数据，切割出精确的脸部核心区域。步骤(1)中所述的子分网格的方法，包括网格拓朴估计、网格优化和分段光滑曲面优化三步骤。步骤(2)中采用的高斯曲率的计算方法是对连续曲面上高斯曲率的计算的一个近似，釆用下面的公式<formula>formulaseeoriginaldocumentpage5</formula>步骤(3)中将原始三维人脸数据分割成多个连通片时，根据的是网格的1环邻居关系进行连通关系的拓展。步骤(3)中，所述的阀值取的是所有网格顶点的平均高斯曲率。步骤(3)中脸部区域的粗略选择规则需要计算三个量r&(右上点)、^^(左下点)和S戶，其计算所用公式如下7T^(x，y，z)=(max(A0)),max(/7,O))，max/,(z)))A^祝(3)5丄Jx,少,z)=(min(/,0)),minO,(力)，min(p,(z)))p^(4)"m=|77m-5i:m|(5)粗略选择规则是若S/7fl"^2A,S戸"^2决6,则选5^"较小的作为脸部区域，否则选择较大的作为脸部区域。步骤(3)中脸部区域的粗略选择中化的值取为180。步骤(3)中脸部区域精确提取时所用的切割半径为选出的粗略连通片的重心至集合中距重心最远点的距离。头肩的三维数据中脸部区域切割的问题可以定义如下给定一个初始三维头肩的数据尸={/^}，其中/;,=",乂,2,}是第/点的三维坐标，假设没有任何关于原始数据P的姿态和方向的信息，如何自动地提取P的一个子集,{p,'}，该子集^又包含正面人脸的区域。要正确辨别人脸区域，需要对人脸曲面的性质进行分析和统计。曲率表达了曲面的内在特性，而且其度量与曲面的方向无关，非常适合用来分析曲面的特征。由于曲率只对曲面而言才有意义，对坐标点集合无意义，我们拟从尸中重构三维曲面，然后计算曲面上每点的高斯曲率，通过分析该曲面高斯曲率的分布状况来寻求提取人脸区域的方法。直观上讲，尽管人脸区域因眼、鼻、嘴及眼眶造成曲面形状比较复杂，但是仔细观察从额头向头发走向、从脸颊向两侧走向和从下巴向颈部走向，这三个方向的共同特点是曲面形状有一个从平坦到弯曲的变化过程。高斯曲率是衡量这种变化趋势很好的度量。因此，首先从P中重构曲面信息，在重构的表面上计算每个顶点的曲率；然后根据曲率的大小将数据分割成不同的连通片，再从连通片中搜索包含最大的正面人脸的区域，最后对最大的正面人脸连通片进行调整得到准确的脸部区域结果。本发明有益的效果是可以从头肩的三维数据中自动地、准确地切割出脸部核心区域。图1是本发明的脸部区域提取的流程图；图2是本发明的三维头肩的数据和对应的曲面重构结果；图3是本发明的高斯曲率计算结果；图4是本发明的连通片的计算结果；图5是本发明的脸部区域提取结果；具体实施例方式头肩的数据中脸部区域自动提取如图1所示，具体步骤如下1、曲面重构曲面重构的目的是从三维坐标点集合包含的信息中重建表面的信息，我们的方法采用子分网格的思想，重构三角形网格，主要分为三个步骤(1)估计原曲面的拓朴结构。这一步首先确定模型几何的一个初始估计，构建一个规模较大、顶点个数较多的网格，以初步确定模型的拓朴。(2)网格优化。采用网格优化技术减少上一步构建网格的顶点和三角形数目，整个过程通过优化能量函数以平衡顶点、三角形数目和与原曲面拟合的程度之间的关系。优化过程中能量函数的自由变量包含顶点个数、连接关系和顶点的位置。(3)分段光滑曲面优化。这一步的工作基于第二步的优化结果，其本身也是一个优化过程。它改变顶点数量、连接关系、位置和尖锐特征的数量和位置。这一步的优化还实现对尖锐特征的自动检测和恢复。如图2，重构后的曲面。2、高斯曲率的计算在连续曲面上，设曲面上单连通区域D的边界如是分段光滑的闭曲线，即如-qUCV..UCn,每个C,是光滑的，设^是3D的顶点外角，高斯曲率采用式(l)来计算。J"+Js+2>,=2;r(1)其中K是任意点的高斯曲率，、是边界的测地曲率。经曲面重构后的三维头肩的数据，其数据表现方式为三维网格，其主要的元素包含三维坐标点的集合和用三角形表示的集合中点的连接关系，包括边和三角形面片。给定网格中的一个顶点v和它的邻接顶点集{v,.KJ，对/=0..."-1，令",=^"(,+1)%是顶点"的两条连续边6=w,，a+1=vv(,+1)%张成的夹角，％是求模运算符，离散情况下(1)式可以转化为(2)式。0扁=2"—(2)其中^是邻接顶点v的力三角形的总面积，在v的小邻域内，《是保持近似不变，可以作为顶点v的高斯曲率的估计w-l"广(3)3按(3)计算的高斯曲率较好地表达了网格曲面的特征信息，部分结果如图(3)所示，红色区域表示曲率较小，蓝色区域曲率较大。3、脸部区域自动提取有了高斯曲率的计算结果，我们通过以下三步完成人脸区域的自动提取。(1)连通片的计算从图(3)可见，人脸区域的周边区域具有较高的曲率值，中间区域具有较低的曲率值，我们通过设定一个阈值，将原始数据的不同区域分割开来。得益于曲面重建后的三维头肩的数据包含的拓朴信息，我们的连通片增长方法利用拓朴信息中的邻接关系进行区域延拓。令M=(VM，KM,CM)表示三角化的人脸网格，其中CM={Ct}是网格的顶点集合，KM表示网格的拓朴信息，q^^表示每个顶点/对应的高斯曲率值的集合，连通片计算方法如下I为每个顶点设置一个标签r,，设为0,令初始连通片个数/=0，初始化曲率阈值化；II从中选择一个ti=O对应的顶点v,，设置v=vi,ti=1，并将v,加入到连通片集合"中；III对顶点v的邻接顶点集7V(v)中的每一个邻接顶点vk，如果Ck<thc且tk=0，将^加入集合Pl；IV令顶点v为Pl中每一个未处理的顶点，设置该顶点的标签…1，回到第III步；/=/+i，回到第n步，直到找不到一个o的顶点。连通片的计算过程我们不维护拓朴关系，即不保持网格的三角形，仅保存各连通片的点集，在人脸区域提取完毕后再次重构曲面以简化计算。图4是分割后的连通片结果。(2)粗略的脸部区域连通片选取连通片的计算过程将三维头肩的数据分割成多个坐标点集合A...Pn,由图4可见，正面人脸区域能较好地聚合在一起，恰好作为多个连通片中的一个。多数情况下，人脸区域是所有连通片中面积最大的(点数最多)；但是，如果颈部、肩部和胸部生长成一个连通片，则后者比人脸区域要更宽、更大一些。因此，我们首先选出两个最大的连通片，然后才艮据连通片形状的先验知识，按一定的规则从中选出真正的人脸区域，如下对任意一个给定的连通片坐标点集合P^，首先计算r&(右上点)、S、(左下点)和&a，如下77m(x，y，z)=(max(/7,(x)),max(;,(力),max(-)))A^(4)5￡m(x，_y，z)=(minO,(x))，minO,0)),minO,0)》pe/)m(5)—=H^|(6)从《...尸中选出S戸"最大的两个连通片，记为i^,尸m2，相应有S戸,，S戶"^，设定一个阈值/4，使用下面三条规则选择真正的人脸区域1)若*a"ml<&,5^f"m2<A,，Pm2中S戸w较大的区i或:故选为正面人脸区域；2)若5^,，5^2两者中一个小于^，另一个大于^，i^,/^中S戸"较大的区域被选为正面人脸区域；3)若S/7fl"m12,&，5^"m22A,i^,尸M中印fl"较小的区域被选为正面人脸区域。阈值A的值由训练得到，我们取为180。(3)脸部区域精确提取由于离散曲率计算的误差，粗略选取的人脸区域是不平整的，而且会有一些洞，提取的也只是主要区域；但是，由于提取出的连通片已经是正面人脸区域的核心曲面片，可以通过再次调整得到较为光滑的面片。假设,是粗略选出的人脸面片点集，求解,集的一个重心，然后以重心为球心，用一个球在分割前最原始的数据集尸上进行一次再切割，半径取,集的重心至尸'集中距重心最远点的距离。通过这样的再调整，一个较为平整的人脸区域切割就完成了。本发明的试验结果在FRGCvl.O库上进行了实验，该库包含943个原始头肩的数据模型，本发明的方法在所有的模型上都取得很好的切割效果。图5是部分实验结果示意图。本发明方法的运行时间跟原始数据的采样率有^:大关系，在各个采样密度区段选择了50个模型，计算平均的运行时间，结果如表l所示，实验的计算平台是PC机，PentiumIV2.4GHz处理器和512MDDR内存。由表1可见，大部分时间消耗在曲面重建中，曲率计算和脸部区域提取占用大约25%的时间。总体运算性能可以满足应用的需求。表l脸部区域自动提取技术的平均时间消耗<table>tableseeoriginaldocumentpage11</column></row><table>权利要求1、一种从头肩的三维扫描原始数据中自动提取脸部区域的方法，其步骤如下(1)、三维人脸的曲面重构采用子分网格的思想，对原始的三维头肩数据构建分段光滑的三角形网格曲面；(2)、高斯曲率的计算在曲面重构得到的三角形网格数据上计算每个顶点的离散高斯曲率；(3)、人脸区域提取连通片的计算基于步骤(2)计算的高斯曲率，按一定的阈值将步骤(1)中得到的网格分割成多个连通片；粗略的人脸区域选择从分割的连通片中，按一定规则选择包含人脸核心区域最大的连通片作为人脸区域的粗略选择结果；人脸区域的精确提取借助粗略选择的连通片和原始的三维人脸数据，切割出精确的脸部核心区域。2、根据权利要求1所述的从头肩的三维扫描原始数据中自动提取脸部区域的方法，其特征是步骤(l)中所述的子分网格的方法，包括网格拓朴估计、网格优化和分段光滑曲面优化三步骤。3、根据权利要求1所述的从头肩的三维扫描原始数据中自动提取脸部区域的方法，其特征是步骤(2)中采用的高斯曲率的计算方法是对连续曲面上高斯曲率的计算的一个近似，采用下面的公式<formula>formulaseeoriginaldocumentpage2</formula><formula>formulaseeoriginaldocumentpage3</formula>是一个顶点的邻接三角面片的外角，乂为邻接三角面片总面积。4、根据权利要求1所述的从头肩的三维扫描原始数据中自动提取脸部区域的方法，其特征是步骤(3)中将原始三维人脸数据分割成多个连通片时，依据网格的1环邻居关系进行连通关系的拓展。5、根据权利要求1所述的从头肩的三维扫描原始数据中自动提取脸部区域的方法，其特征是步骤(3)的操作中，所述的阈值取的是所有网格顶点的平均高斯曲率。6、根据权利要求1所述的从头肩的三维扫描原始数据中自动提取脸部区域的方法，其特征是步骤(3)中脸部区域的粗略选择规则需要计算三个量77(右上点)、^^(左下点)和S戸，其计算所用公式如下<formula>formulaseeoriginaldocumentpage3</formula>(3)<formula>formulaseeoriginaldocumentpage3</formula>(4)<formula>formulaseeoriginaldocumentpage3</formula>(5)粗略选择规则是若S戸,2A，S/^mw22&，则选S戸"较小的作为脸部区域，否则选择较大的作为脸部区域。7、根据权利要求6所述的从头肩的三维扫描原始数据中自动提取脸部区域的方法，其特征是步骤(3)中脸部区域的粗略选择中化的值取为180。8、根据权利要求1所述的从头肩的三维扫描原始数据中自动提取脸部区域的方法，其特征是步骤(3)中脸部区域精确提取时所用的切割半径为选出的粗略连通片的重心至集合中距重心最远点的距离。全文摘要本发明公开了一种从头肩的三维扫描原始数据中自动提取脸部区域的方法，其步骤如下(1).三维人脸的曲面重构采用子分网格方法，对原始的三维头肩数据构建分段光滑的三角形网格曲面；(2).高斯曲率的计算在曲面重构得到的三角形网格数据上计算每个顶点的离散高斯曲率；(3).人脸区域提取。本发明有益的效果是可以从头肩的三维数据中自动地、准确地切割出脸部核心区域。文档编号G06K9/46GK101131729SQ20071007153公开日2008年2月27日申请日期2007年9月25日优先权日2007年9月25日发明者吴朝晖,纲潘,王跃明申请人:浙江大学