校正图像生成深度图。
[0042] 3D人脸建模器114可以基于深度图和两个图像中的一者而生成3D人脸模型。举例 来说，3D人脸建模器114可以将图像中的检测到的特征与深度图对准。在一些配置中，3D人 脸建模器114可以在生成3D人脸模型时采用反向深度图。
[0043] 单应矩阵换向器116可以使单应矩阵反向。单应矩阵换向器116可以使单应矩阵反 向以获得反向单应矩阵，例如3X3反向单应矩阵。单应矩阵换向器116可以获得反向第一单 应矩阵(ΡΓ 1)和反向第二单应矩阵(Ρ?Γ1)。
[0044] 反向深度图计算器118可以计算或映射反向深度图。举例来说，反向深度图计算器 118可以将深度图映射到反向单应矩阵以获得反向深度图。反向深度图可以纠正由图像校 正引起的深度图中的一些失真。
[0045] 反向深度图正规化器120可以调整反向深度图并且将其正规化。正规化可以包含 使反向深度图倾斜、旋转、缩放等。举例来说，反向深度图正规化器120可以检测反向深度图 中的失真并且因此可以执行调整。在一些配置中，反向深度图正规化器120可以调整反向深 度图中的像素的子集。在一些配置中，反向深度图正规化器120可以将非反向深度图正规 化。换句话说，反向深度图正规化器120可以将深度图242直接正规化。
[0046]对称特征检测器122可以检测图像中的对称特征，例如人脸。举例来说，对称特征 检测器122可以检测对称特征，例如眼睛、耳朵、嘴唇、鼻子、前额区域、脸颊、眼镜、眉毛等。
[0047] 图1中所说明的组件可以产生3D人脸模型。举例来说，给定人脸的两个立体图像， 可以估计深度图，并且深度图的背景部分可以设定为平面。通过已知深度值，可以计算人脸 点的3D坐标，并且3D人脸可以重构为3D人脸模型。
[0048] 在一个方法中，图像接收器102可以接收一组图像。所述图像组可以包含第一图像 和第二图像，左图像和右图像，顶部图像和底部图像，两个立体图像等。所述图像组中的两 个图像可以包含垂直对准但水平不同的对应像素。在一些配置中，两个图像之间的像素可 以水平对准，但不能垂直对准。
[0049] 图像接收器102可以将所述图像组提供到特征检测器/匹配器104。举例来说，图像 接收器102可以通过有线连接、以无线方式或经由存储媒体发送图像。
[0050] 特征检测器/匹配器104可以识别两个图像中的对应特征并且可以将对应图像匹 配在一起。图2中展示下文描述的特征匹配的图示。
[0051] 特征检测器/匹配器104可以将相关且匹配的图像提供到基本矩阵估计器106。一 旦已匹配一定数量的像素，特征检测器/匹配器104可以将此数据提供到基本矩阵估计器 106〇
[0052] 基本矩阵估计器106可以基于相关的图像而估计基本矩阵(H)。可以随后通过单应 矩阵分解器108分解基本矩阵以获得两个单应矩阵(Pl和Pr)。换句话说，可以基于基本矩阵Η 而运算用于校正立体图像的投影变换矩阵Pl和Pr。
[0053]图像校正器110可以使用单应矩阵Pl和Pr来校正第一图像和第二图像。举例来说， 第一单应矩阵Pl可以映射到左图像以产生第一校正图像，并且第二单应矩阵Pr可以映射到 右图像以产生第二校正图像。
[0054]现在将给出图像校正流程的实例。在一个配置中，图像校正包含通过特征检测器/ 匹配器104检测并且匹配两个图像之间的一组对应点。正确匹配的点用于通过基本矩阵估 计器106运算基本矩阵Η使得XrtHXl = 0,其中XL是左图像中的点（例如，像素），并且XR是右图 像中的对应点（例如，像素）。换句话说，Xl和Xr可以各自表示可以以[x，y，l]格式写成3D行矢 量的2D点。T可以表示矩阵转置。因此，当3D列矢量被转置时，结果是写成[x，y，l]的3D行矢 量(例如，列矢量[x，y，l] T=行矢量[x，y，l])。
[0055] 在此配置中，Pl和Pr是通过单应矩阵分解器108从3x3基本矩阵Η分解的3x3矩阵。给 定Pl和Pr，图像校正器110将2D投影变换施加到两个图像上。此处，校正图像将每一图像像素 (X)从原始数据像素（写成X=[x，y，l] T)变化成校正图像像素（写成Xl'=PlXl或Xr = PrXr)。 此外，在此配置中，不需要相机内部和外部参数。
[0056]然而，在此配置中，单应矩阵Pl和Pr对并不是唯一的，因为两个立体校正图像是通 过共同旋转立体校正的。换句话说，单应矩阵Pl和Pr对基于两个图像之间的差、围绕共同基 线旋转而共用共同旋转。因此，可能将不希望的失真(具体来说，偏斜和方位/比例失真）引 入校正图像。下文在图2中展示并且描述这种失真的图示。
[0057] 一旦校正图像组，两个校正图像可由深度估计器112使用以确定深度图。换句话 说，给定重构的立体图像，可以确定深度重构。但如果校正图像失真，那么深度图可以同样 失真。因此，通过这种方法，图像校正导致深度图中的不希望的失真，如果不纠正，那么所述 失真可以导致3D人脸模型失真。
[0058]为纠正由图像校正引起的深度图中的失真，可以由反向深度图计算器118生成反 向深度图。反向深度图计算器118可以从深度估计器112获得深度图并且从单应矩阵换向器 116获得反向单应矩阵。单应矩阵换向器116可以使从如上所述的单应矩阵分解器108获得 的单应矩阵反向。
[0059] 反向深度图计算器118可以将深度图映射到反向单应矩阵以产生反向深度图。举 例来说，给定根据两个校正立体图像估计的深度图(M)，M可以通过施加反向矩阵（例如，P L 或Pr)反向映射到初始图像中的一者。在此实例中，Μ中的像素(m)(写成m=[X，y，z]T)将变成 新像素(m'）（写成m'=PrV)。因此，在反向映射之后，!11' = 4'，7'，2']作为反向深度图(1'） 的部分。在以上实例中，z表示深度图中的像素值，并且z'表示反向深度图中的像素值。
[0060] 反向深度图可以部分地纠正由图像校正流程引起的深度图中的失真。举例来说， 可以纠正偏斜和方位比例失真。除部分地纠正由图像校正流程引起的深度图中的失真以 外，可以通过反向深度图正规化器120执行对深度图/反向深度图的正规化。正规化可以纠 正反向深度图以预防3D人脸模型不恰当地倾斜、旋转和/或缩放。举例来说，正规化的像素 可以写成[ Xa，ya]，其中Xa=x'/z'并且ya=y'/z'。因此，在正规化之后，深度图可以与原始 图像在同一平面上。此外，可以去除2D平面上的失真。
[0061] 反向深度图正规化器120可以从对称特征检测器122接收输入。举例来说，对称特 征检测器122可以将检测到的对称特征和图案发送到反向深度图正规化器120。反向深度图 正规化器120可以使用检测到的对称特征来执行调整，以确保检测到的对称特征成正确比 例。下文更详细地论述关于图像正规化的其它细节。
[0062] 一旦纠正并且正规化反向深度图，3D人脸建模器114可以生成3D人脸模型。3D人脸 建模器114可以将初始图像中的一者映射到反向深度图，从而通过反向深度图上的对应点 施加从对称特征检测器122发送的检测到的特征。
[0063]根据本文中呈现的系统和方法，可能有益的是使深度图反向并且基于人脸特有的 特征而修改反向深度图以减少图像校正期间不希望的失真。具体来说，如先前所描述，现有 的方法导致图像校正流程中的图像失真，并且常常需要大量的用户交互。本文中呈现的系 统和方法通过使深度图反向以部分地说明图像校正流程中引入的失真而改良现有的方法。 通过基于人脸特有的特征修改反向深度图并且将其正规化而施加进一步的纠正，以改良3D 人脸模型的质量。此外，本文中呈现的系统和方法需要极少的用户交互。
[0064]图2说明用于产生反向深度图242的过程200。过程200可以在硬件或软件中实施。 举例来说，过程200可以在电子装置上实施。在一些配置中，过程200可以对应于结合图1描 述的组件。
[0065] 图2说明第一图像230和第二图像232。第一图像230和第二图像232可以组成一组 立体图像。举例来说，两个图像可以是从不同视点拍摄的单一人脸。在一些配置中，可以使 用除人脸以外的对象。
[0066]在一些配置中，可以采用两个以上图像。举例来说，可以使用垂直像素全部对准的 任何数量的图像。所述图像可以提供到图像接收器102。
[0067]给定从不同视点（例如，第一图像230和第二图像232)拍摄的人脸的两个图像，可 以校正原始、未校准的立体图像。在校正两个图像中，第一图像230可以首先与产生组合的 相关图像234的第二图像232相关。举例来说，特征检测器/匹配器104可以检测并且匹配第 一图像230和第二图像232。随后，基本矩阵估计器106可以基于匹配点的线状投影而计算基 本矩阵，如组合的相关图像234中所示。
[0068]可以经由组合的相关图像234使用第一图像230和第二图像232以产生第一校正图 像236和第二校正图像238。举例来说，图像校正器110可以执行如上所述的图像校正流程的 部分。如图2所示，第一校正图像236和第二校正图像238可以在图像校正流程期间失真。 [0069] 可以从第一校正图像236和第二校正图像238确定深度图240。举例来说，深度估计 器112可以生成深度图240。由于第一校正图像236和第二校正图像238失真，深度图240可能 失真。
[0070]为纠正这种失真，可以计算反向深度图242。举例来说，反向深度图计算器118可以 计算反向深度图242。可以通过将反向单应矩阵（例如，Pf1或Ρ?Γ1)施加到深度图240而计算 反向深度图242。如图2中所示，反向深度图242可以纠正例如偏斜等由图像校正引起的深度 图240中的失真。
[0071]图3是说明用于产生3D人脸模型的方法300的流程图。方法300可以在硬件或软件 中实施。举例来说，方法300可以在电子装置上实施。电子装置可以获得302两个图像，例如 第一图像230和第二图像232。所述两个图像可以是通过图像接收器102接收的两个立体图 像。
[0072]电子装置可以从第一图像230和第二图像232确定304基本矩阵。基本矩阵(Η)可以 是追踪两个立体图像中的对应点的3x3矩阵。可以基于组合的相关图像234而由基本矩阵估 计器106生成基本矩阵。
[0073]电子装置可以从基本矩阵分解306对应于第一图像230的第一矩阵。电子装置还可 以从基本矩阵分解306对应于第二图像232的第二矩阵。举例来说，如上所述，第一矩阵和第 二矩阵可以分别是单应矩阵Pl和Pr。在一些配置中，第一矩阵和第二矩阵可以分别是Pr和Pl 或一些其它矩阵。在一些配置中，可以从单应矩阵分解器108分解第一矩阵和第二矩阵。 [0074]电子装置可以将第一矩阵施加 308到第一图像230以获得第一校正图像236。电子 装置可以将第二矩阵施加 308到第二图像232以获得第二校正图像238。举例来说，图像校正 器110可以将第一矩阵映射或投影到第一图像230以产生第一校正图像236。可以类似地生 成第二校正图像238。可能在图像校正期间引入失真。
[0075]电子装置可以从第一校正图像236和第二校正图像238确定310深度图24