用于产生三维人脸模型的系统和方法_3

文档序号:9713617阅读:来源:国知局
0。可以通 过深度估计器112确定深度图240。如果第一校正图像236和第二校正图像238失真并且偏 斜,那么随后深度图240将很可能也失真并且偏斜。深度图240可以提供指示基于第一校正 图像236和第二校正图像238的深度差的深度值。
[0076]电子装置可以计算312反向深度图242。可以通过使第一矩阵(或第二矩阵)反向并 且将反向矩阵施加到深度图240而计算反向深度图242。举例来说,反向深度图计算器118可 以执行这些计算。反向第一矩阵或反向第二矩阵可以是反向单应矩阵,例如IV 1或Ρ?Γ1。单应 矩阵换向器116可以将反向第一矩阵或反向第二矩阵提供到反向深度图计算器118以获得 反向深度图242。
[0077]电子装置可以将反向深度图242正规化314以纠正由图像校正引起的深度图中的 失真。举例来说,反向深度图正规化器120可以调整失真。下文将更详细地描述关于正规化 的其它细节。
[0078]电子装置可以基于反向深度图242和两个图像中的一者(例如,第一图像230或第 二图像电子装置232)而生成3163D人脸模型。举例来说,3D人脸建模器114可以将初始图像 中的一者映射到已经正规化的反向深度图242。在生成3D人脸模型时,从对称特征检测器 122检测到的特征可以映射到反向深度图242上的对应点。3D人脸模型不包含由于通过此方 法300执行的纠正而由图像校正引起的失真中的至少一些。
[0079] 尽管计算反向深度图可以纠正一些失真,但是其它失真(偏斜、缩放和旋转失真) 仍可以影响反向深度图。可以由在图像校正期间创建的深度尺寸失真而引起这些失真。举 例来说,左眼可以从校正流程失真,并且左眼的深度值可以比右眼更大。正规化可以纠正未 通过创建反向深度图而纠正的失真。
[0080] 为优化深度图,可以使用人脸特征。举例来说,可以考虑左和右对称特征。作为另 一实例,可以基于前额和嘴巴区域调整倾斜。还可以基于对称脸部特征(例如,眼睛、耳朵、 嘴唇、鼻子、前额区域、脸颊、眼镜、眉毛等)调整缩放和旋转。图4至图9将更详细地描述各种 正规化方法,例如倾斜,缩放和旋转。
[0081] 图4说明两个倾斜的图像。所述倾斜的图像可以基于反向深度图242。如下文将描 述,倾斜图像中的过度倾斜,可以通过比较反向深度图242的各种部分中的不同深度值而纠 正。调整并且优化反向深度图242的倾斜可以是将反向深度图242正规化的一个方法。
[0082]图4中的两个倾斜图像可以包含第一倾斜图像444和第二倾斜图像454。第一椭圆 452可以经建模以匹配第一倾斜图像444中的人脸的周界。第一椭圆452可以包含第一长轴 (a)448和第一短轴(b)450,并且可以帮助检测失真,例如第一倾斜图像444中的过度倾斜。 举例来说,过度倾斜可以通过采用第一子集选择窗口 446检测到。过度倾斜可以指示所述图 像在超出可接受量的任一方向上倾斜。换句话说,过度倾斜的图像可以绕第一短轴(b)450 向前倾斜得太远或向后倾斜得太远。
[0083]第一子集选择窗口446可以是矩形;然而,可以采用其它形状。在一个配置中,第一 子集选择窗口446的高度和宽度可以为a/2和b/3。可以采用其它尺寸。在一些配置中,第一 子集选择窗口446可以与第一椭圆452中心相同。在一些配置中,在人脸的鼻子区域在第一 倾斜图像444上的情况下,第一子集选择窗口 446可以为中心。
[0084] 第二倾斜图像454可以类似地包含第二椭圆462,第二椭圆462包含第二长轴(a) 458和第二短轴(b)460。第二椭圆462可以经建模以对应于第二倾斜图像454中的人脸。 [0085] 第二倾斜图像454还可以包含第二子集选择456和第三子集选择466。第二子集选 择456和第三子集选择466的高度和宽度可以相同;然而,在一些配置中,其可以不同于彼 此。举例来说,第二子集选择456和第三子集选择466的高度和宽度可以为a/4和b/3。第二子 集选择456和第三子集选择466可以各自是矩形,或可以是另一类型的形状,例如椭圆形。此 外,第二子集选择456和第三子集选择466可以是不同的形状。
[0086]第二子集选择456可以放置在前额区上方,并且第三子集选择466可以定位在第二 倾斜图像454的嘴巴区域上方。在用于渲染3D人脸模型的理想图像中,个体人脸的前额和嘴 巴定位于同一平面中。因此,可以比较第二子集选择456与第三子集选择466以确定倾斜角。 [0087]下文在图5和图6中论述基于第一子集选择446或从第二子集选择456与第三子集 选择466的比较而确定倾斜角。
[0088]在将反向深度图242正规化(例如,倾斜、旋转、缩放、调整等)时,应该考虑图像前 景和背景以使得调整可以集中在个体的人脸而不是背景上。另外,区别前景和背景允许在 两个表面之间平滑化。
[0089] 在一个配置中,这种情况可以通过计算人脸深度匕的平均值而执行。人脸深度的 平均值可以用于设定背景深度d,背景深度d应该是3D人脸模型后方的平面。背景深度应该 小于平均人脸深度,然而,差不应该显著变化。如果d〈w*f m,那么可以调整图像深度。此处,w 是控制阈值以便预防在正调整图像深度时调整人脸深度的系数。以此方式,背景和人脸边 界可以平滑地合并以使得边界上不存在较大的模糊。
[0090] 图5是说明产生3D人脸模型的另一方法500的流程图。方法500可以在硬件或软件 中实施。在一些配置中,方法500可以在电子装置上实施。电子装置可以计算502反向深度图 242 〇
[0091] 电子装置可以确定504反向深度图242的子集选择中的每一列像素的深度导数。举 例来说,子集选择可以是第一子集选择446、第二子集选择456或第三子集选择466。可以运 算子集选择中的每一垂直列的深度导数。举例来说,可以从顶部到底部运算每一子集选择 的每一垂直列。
[0092] 在一个配置中,电子装置可以使用506单一矩形子集选择(例如,第一子集选择 446)。在此配置中,电子装置可以确定508子集选择(即,单一子集选择中的所有深度导数) 的平均值(m)。换句话说,可以将每一深度导数平均化以计算m。
[0093] 电子装置可以将平均值与阈值(t〇相比较510。如果|m| Hi,那么反向深度图242中 的人脸可以分类为过度倾斜并且可以进行调整直到满足|m| 的条件为止。换句话说,电 子装置可以基于所述比较而倾斜518反向深度图242。如上所述,电子装置可以基于反向深 度图242和两个图像中的一者而生成520 3D人脸模型。
[0094]在另一配置中,电子装置可以使用512两个矩形子集选择(例如,第二子集选择456 和第三子集选择466)。两个矩形子集选择可以表示第一子集选择区域和第二子集选择区 域。
[0095] 电子装置可以确定514每一子集选择的平均值(m)。举例来说,电子装置可以确定 514第一子集选择区域的第一平均值(nu)和第二子集选择区域的平均值(m 2)。
[0096] 电子装置可以将第一区域平均值与第二区域平均值之间的差与阈值(t2)相比较 516。举例来说,|mi-m21可以等于差值(diff) ;diff可以与t2相比较。如果| diff | >t2,那么反 向深度图242可以分类为过度倾斜并且可以进行调整直到满足| diff | < t2的条件为止。换 句话说,电子装置可以基于所述比较而倾斜518反向深度图242。阈值(即,t#Pt 2)可以基于 经验数据、用户偏好、历史值等。
[0097]电子装置可以基于反向深度图242和两个图像中的一者而生成520 3D人脸模型。 这种情况可以如上所述执行。
[0098]图6是说明用于使反向深度图242倾斜的方法600的流程图。方法600可以在硬件或 软件中实施。举例来说,方法600可以在电子装置上实施。这种方法600可以是将反向深度图 242正规化的一个实例。
[0099]电子装置可以发起602倾斜调整。电子装置可以执行604人脸检测和眼睛检测。举 例来说,人脸检测和眼睛检测可以在反向深度图242或原始输入图像中的一者上执行。在一 些配置中,执行604人脸检测和眼睛检测可以通过对称特征检测器122来执行。
[0100]电子装置可以通过长轴a和短轴b将人脸建模606为椭圆。举例来说,所述椭圆可以 相似于上文结合图4描述的第一椭圆452或第二椭圆462。
[0101 ]在一个配置中,电子装置可以设定608-个矩形,所述矩形与所述椭圆中心相同。 矩形的宽度和高度可以为b/3和a/2。举例来说,矩形可以相似于图4的第一子集选择446。
[0102] 电子装置可以沿人脸的垂直方向计算610平均导数值(m)。电子装置可以比较612 是否I m | >阈值tK 即,图像过度倾斜)。在这种情况下,电子装置可以沿人脸的垂直方向(例 如,绕短轴(b))调整614深度值直到|!11|〈=乜为止。
[0103] 在另一配置中,电子装置可以设定616两个矩形,每一矩形的宽度和高度为b/3和 a/2,中心定在椭圆中的前额和嘴巴区域处。举例来说,两个矩形可以相似于图4的第二子集 选择456和第三子集选择466。电子装置可以计算618两个矩形中的每一者的平均深度值(nu 和m2)。这种情况可以如结合上图5中所描述执行。电子装置可以比较620是否|nu-m2|>阈值 t2( 即,图像过度倾斜)。在这种情况下,电子装置可以沿人脸的垂直方向(例如,绕短轴(b)) 调整622深度值直到|nu-m 2| <t2为止。
[0104] 图7说明用于将反向深度图742正规化的过程700。过程700可以在硬件或软件中实 施。举例来说,过程700可以在电子装置上实施。在一些配置中,过程700可以对应于结合图1 描述的组件。
[0105] 图7说明可以对应于上文所描述的反向深度图242的反向深度图742。图7还说明检 测到的图像774、经正规化的反向深度图778和3D人脸模型780。可以在先前已调整并且纠正 反向深度图742的过度倾斜。在其它方法中,可以随后调整倾斜。
[0106] 在一些配置中,可以检测到的人脸区域和眼睛的位置,如检测到的对称特征776中 所示。基于左/右眼检测,可以按比例调整反向深度图742以使左侧和右侧在同一深度水平 上。换句话说,检测到的图像774可以包含检测到的对称特征776,例如。一对眼睛。其它对称 特征可以包含耳朵、嘴唇、鼻子、前额区域、脸颊、眼镜、眉毛等。
[0107] 检测到的图像774可以由对称特征检测器122生成。检测到的图像774可以采用来 自立体图像组的第一图像230或第二图像232。或者,检测到的图像774可以是深度图240或 反向深度图742。
[0108] 反向深度图742和检测到的图像774可以用于获得经正规化的反向深度图778。举 例来说,反向深度图正规化器120可以使用反向深度图742和/或检测到的图像774生成经正 规化的反向深度图778。
[0109] 可以基于反向深度图742和两个图像中的一者(例如,第一图像230或第二图像 232)而生成3D人脸模型780。举例来说,3D人脸建模器114可以生成3D人脸模型780以将图像 中的检测到的对称特征
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1