使用摄像机和电视监视器的三维物体扫描的制作方法
【专利摘要】一种使用摄像机和电视监视器的三维物体扫描。本发明涉及根据物体的二维图像建立该物体的三维模型的方法及其装置。按照本发明的建立实物物体的计算机图形模型的方法包括下列步骤：选择第一照明图案；在显示设备上显示所述第一照明图案以便照亮实物物体；获取由所述第一照明图案所照亮的所述实物物体的第一图像，其中，所述第一图像包括具有阴影值的图像点；选择第二照明图案；在显示设备上显示所述第一照明图案以便照亮实物物体；获取由所述第二照明图案所照亮的所述实物物体的第二图像，其中，所述第二图像包括具有阴影值的图像点；确定计算机图形模型的一组模型点中的每个模型点的候选表面方位，所述确定基于所述第一和第二图像的图像点的阴影值。
【专利说明】使用摄像机和电视监视器的三维物体扫描
[0001]本申请为题为“使用摄像机和电视监视器的三维物体扫描”的中国发明专利200880013352.3的分案申请。
[0002]相关申请的交叉引用
[0003]该申请对2007 年 8 月 17 日提交的题为“3D Object Scanning Using VideoCamera and TV Monitor”的美国专利申请N0.11/840，813和2007年4月24日提交的题为 “3D Object Scanning Using Video Camera and TV Monitor” 的美国临时专利申请N0.60/913, 793主张优先权，以上申请通过引用并入本申请。
[0004]发明背景
[0005]本发明涉及根据物体的二维图像建立该物体的三维模型的方法及其装置。许多计算机图形图像(computer graphic image)的建立是通过利用一个场景下的三维模型,从给定的视点数学地建模光线的交互。这种过程称之为绘制(rendering)，其从给定的视点产生场景的二维图像，并且其类似于拍摄现实世界场景的照片。当场景随着时间流逝逐渐变化时，通过绘制一系列的场景图像，可以建立动画序列。交互式软件应用程序(诸如游戏和其它教育性或娱乐性的应用程序)经常使用绘制软件和硬件以交互帧速率产生计算机图形图像，从而响应用户的输入。
[0006]典型地，交互式软件应用程序中的三维模型通过计算机图形艺术家使用复杂的三维草图绘制或者建模应用程序产生。另外，雕刻家可以创作物体的实物(physical)模型，然后通过使用专门的三维扫描仪将其转换为三维计算机图形模型。所有这些技术都需要专门的硬件、软件和受过高度训练的艺术家。由于这种复杂性，包含在交互式软件应用程序中的三维物体通常仅限于那些由软件供应商或者能访问三维模型应用程序的用户所提供的三维物体。
[0007]因此，需要一种系统和方法以允许用户建立实物物体(physical object)的三维图形模型用于交互式软件应用程序。进一步的需要是在不要求使用建模或者草图绘制应用程序的情况下建立三维计算机图形模型。更进一步的需要是使用成本低、广泛可用的消费电子产品来实现该系统。
【发明内容】
[0008]本发明的一实施例包括一种用于建立实物物体的计算机图形模型的系统。在显示设备上显示的照明图案(Illumination Pattern)随之而来照亮了实物物体。摄像机获取一张或多张被照明图案所照亮的实物物体的图像。照明图案可以包括运动和多样性颜色，从而使摄像机能获取实物物体的表面阴影有较大变化的图像。分析来自所获取实物物体的图像的阴影值以确定该实物物体上点的表面方位。本发明一实施例评估所获取的图像的质量和适合性，并可以使用该评估的结果来进一步选择合适的要被显示的照明图案。照明图案可以针对实物物体的特定的光学、几何和物理属性而设计，以增加系统对不同类型物体的通用性。
[0009]在一实施例中，根据由照明图案所产生的实物物体的图像中的每个阴影值，照明模型确定一个或多个候选的表面方位(candidate surface orientation)。可选地,每个照明图案的阴影值可以与校准物体上类似的阴影值相互参照(be crossed referenced),校准物体具有已知的几何图形并且被同一照明图案照亮。随着更多的实物物体图像和其它的的照明图案，实物物体模型上的点的候选表面方位组在减少，直至模型表面能拟合于模型点的表面方位。
[0010]本发明的实施例可以为任意目的向应用提供实物物体的模型，包括使用户能建立和交换定制的虚拟物体，加强对实物物体的跟踪和视频会议应用。
【专利附图】
【附图说明】
[0011]本发明将参考以下附图描述，其中:
[0012]图1示出了根据本发明实施例的用于建立实物物体的三维计算机图形模型的系统；
[0013]图2A-2B示出了适合于与本发明实施例一起使用的、评估实物物体上的点的表面方位的技术；
[0014]图3示出了根据本发明实施例的建立三维计算机图形模型的方法；
[0015]图4A-4D示出了适合于与本发明实施例一起使用的照明图案实例；
[0016]图5A-5C示出了适合于与本发明实施例一起使用的校准物体实例；
[0017]图6示出了适合于实现本发明实施例的计算机系统实例；以及
[0018]图7示出了适合于实现本发明实施例的处理器实例。
【具体实施方式】
[0019]图1示出了根据本发明实施例的用于建立实物物体的三维计算机图形模型的系统100。系统100包括计算机设备105，其可以为任何类型的计算设备，包括个人计算机、娱乐用机顶盒(set-top entertainment)、家用或者便携式视频游戏控制台、个人数字助理、或视频会议设备。设备105经有线接口或者无线接口与摄像机110连接。在一实施例中，摄像机110内置于设备105中。在一替代实施例中，摄像机110与设备105分离。摄像机110被配置成获取静止或者移动的图像并传送这些图像到设备105。在一实施例中，摄像机110进一步包括一个或者多个内置光源112，该光源可以有选择地被激活，以提供可见的或者红外照明。相似地，摄像机110可以具有获取由可见光和/或者红外光组成的图像的能力。在一个典型实施例中，摄像机110可以类似于通常应用于因特网上或者其它广域网络上的视频会议的低成本网络摄像头。
[0020]除摄像机110之外，系统100还包括显示设备115。显示设备115可以为使用任何类型显示技术的电视或者计算机监视器，包括阴极射线管、LED、LCD、OLEDjP /或者等离子显示技术。设备105连接于显示设备115，以使设备105所产生的计算机图形图像和图案由显示设备115显示。
[0021]系统100的实施例设置显示设备115，使得由该显示设备115所产生的图像照亮要被扫描的物体120。物体120可以是由用户所选择的任何实物物体。尽管显示设备115不是旨在在屏幕或者任何其它物体上投射图像或者图案的投影仪，但显示设备115在显示图像时，通常有足够的亮度来附带照亮物体。[0022]当物体120被显示设备115所产生的一个或者多个图案所照亮时，摄像头110将获取其图像。正如以下的详细讨论，显示设备115可以输出许多不同的照明图案以建立物体120的准确模型。另外，用户能旋转或者移动物体120至不同的位置和方位，以至于从所有角度建立物体120的完整模型。通过分析这些图像，设备105能建立物体120的三维计算机图形模型。由设备105或者其它设备所执行的交互式软件应用程序随后可以将该三维计算机图形模型结合到它的操作中。
[0023]有许多本领域熟知技术来根据一张或多张图像确定物体的结构或者形状。一种常用的技术是根据响应于来自一个或者多个光源的照亮的物体的阴影来确定物体表面上的点的方位。图2A-2B所示为适合与本发明实施例一起使用的、评估实物物体上的点的表面方位的技术。
[0024]图2A示意常用的照明模型200，其基于物体表面在一个点上的方位规定该物体上该点的阴影。在照明模型200中，表面207上的点205的阴影是基于表面207上在点205处的法向矢量210和光线矢量215之间的角度，光线矢量215从点205延伸至光源。例如，Phong照明模型基于点积或者矢量210和215之间的角度给点分配漫射阴影值(diffuseshading value)。进一步,照明模型200可以让点205的阴影的一部分基于光线矢量215的反射225和观察矢量220之间的角度，其中，观察矢量220从点205延伸至摄像机或者观察者。例如，Phong照明模型基于点积或者矢量210和215之间的角度的指数值分配镜面阴影值(specular shading value)。
[0025]由于表面上点的阴影基于表面的方位，因此可以根据阴影值确定表面的方位。通常，来自单一光源的给定阴影值可以对应于多个可能的表面方位。然而，通过分析来自不同位置的多个光源的图像，表面点的候选方位数量可以通常减少至一个方位。对图像的额外处理以及所得到的提取的表面方位数据(诸如噪音减少和其它滤波、背景抽取、轮廓提取、以及网格(mesh)的产生、复合和简化)然后可以被用于构建物体的三维计算机模型。
[0026]图2B示意物体250的图像。通过从不同光源照明物体并分析多个点上的表面的阴影，可以确定物体表面的方位。矢量域包括矢量255a-255t，其定义物体250表面的法向矢量。本发明的实施例拟合表面于矢量域，以定义物体250的计算机图形模型。矢量域255中的矢量数量以示意目的示出，并且本发明实施例可以使用任意数量的矢量的矢量域来定义物体的模型的表面，其仅受限于摄像机的分辨率和应用程序的需求。
[0027]这种技术的之前实施方案在相对于物体和摄像机的特定位置上需要专门的光源。通常，这些光源的调整必须考虑(account for)特定物体的独特的拓扑特征、物理特征和光学特征，以建立精确和完整的物体。
[0028]相反，本发明的实施例使用显示设备所产生的图像或者图案作为光源来照亮物体。由于显示设备能够产生复杂并且变化的图案(这对于常规光源通常是不可能实现的)，所以本发明的实施例可以在不需要用户对光源进行复杂的人工调整的情况下，用于建立多种不同类型物体的模型。
[0029]图3示意根据本发明实施例的建立三维计算机图形模型的方法300。可选步骤305校准阴影参数。在一实施例中，步骤305在显示设备上显示一个或者多个照明图案，并测量已知物体的表面上的阴影值以使摄像机获取的阴影值与已知的表面方位值匹配。
[0030]步骤310选择用于显示的照明图案。在一实施例中，系统包括多个预先选定的或者算法产生的照明图案可供选择。在又一实施例中，照明图案可以包括动画，以使摄像机在光源相对物体移动时能够获取表面阴影的变化。如以下的详细讨论，每个照明图案可以合适地与任何类型的物体一起使用，或者可以设计为适合(be tailored to)获取具有特殊拓扑的、物理的、和/或者光学的特征的物体的细节。在步骤310的初始迭代时，通常选择通用的照明图案。利用这些照明图案所获取的作为结果的图像以及模型的几何形状可以在随后的迭代步骤310中用于选择更加特定的照明图案。
[0031]步骤315显示所选择的照明图案并使用摄像机来获取物体表面阴影的一个或者多个图像。在一实施例中，步骤315使照明图案与空白图案交替显示。涉及两个图案的图像之间差异将消除或者减少周围环境或其它光源对物体表面阴影的影响。
[0032]步骤320判断在步骤315所获得的一个或者多个图像中的物体表面的阴影是否适合用于确定模型的几何形状。例如，如果图像全部是或者几乎是空白，那么其可能不适合用来提取物体的表面方位。如果物体不能反射足够来自照明图案的光(例如如果蓝色的照明图案投射于绿色的物体上)，那么可产生空白图像。合适性的其它标准可以包括:是否有较多的图像噪音，图像是否清晰并且正确曝光，图像中物体的轮廓是否相似于从之前图像产生的轮廓，关联于物体的图像的一部分是否连续、或者在图像的这部分中是否存在许多空白区域或者间隙，以及阴影是否和其它图像的阴影相一致。
[0033]如果步骤315所获取的图像中的物体阴影不适合用于建立物体模型，则方法300从步骤320返回至步骤310以选择不同的照明图案。在一实施例中，步骤310中运用关于哪些照明图案产生合适的或者不合适的物体图像的知识来选择一个合的照明图案，以获取物体的其它图像。例如，如果蓝色的照明图案导致空白图像(其意味着物体很少或者几乎没有反射蓝光)，则步骤310的实施例可以将随后选择的照明图案限定在那些包括红色或者绿色光的照明图案。
[0034]相反地，如果步骤315所获取的一个或多个图像包括充分品质的物体阴影，方法300将从步骤320执行至步骤325。步骤325运用步骤315所获取的图像中的物体阴影来更新几何形状。在一实施例中，物体的轮廓被确定并且其内部分布大量的网格点。使用一个或者多个交叠或者靠近每个网格点的图像点的阴影值来确定每个网格点的一个或者多个候选表面方位。一个或者多个照明模型可以用于根据阴影值确定候选表面方位。随着来自不同照明图案的其他图像被处理，每个网格点的候选表面方位值的数量在减少。
[0035]在一实施例中，通过初始化每个网格点减少每个网格点的候选表面方位值的数量以包括所有可能表面方位。当根据网格点的照明图案确定候选表面方位组时，该表面方位组与网格点的之前候选表面方位的交集(intersection)被确定。然后,该候选表面方位的相交的子集作为网格点的剩余候选表面方位被存储。来自其它的的照明图案的其它候选表面方位与方法300的后续迭代中的网格点剩下的表面方位形成交集。近似和估计技术(诸如平均处理和最小二乘法近似)可以被运用于解决来自摄像机的测量误差。
[0036]步骤330判断物体模型几何形状是否完全确定。在一实施例中，如果所有或者大部分的网格点具有单个剩余候选表面方位，那么步骤330判定物体模型的几何形状是充分完整的。在又一实施例中，任何其它网格点的表面方位可以通过插值确定。一旦网格点的表面方位已经被确定，则拟合表面方位的模型表面被定义。模型表面可以使用三角形、多边形、诸如NURBS的高次曲面(higher-order curved surface)、细分表面、粒子系统(particle system)、或者本领域所熟知的任何其它的物体几何形状的数学表示来定义。
[0037]在一个实施例中，判断网格点的至少实质部分的每个是否与单一候选表面方位相关联。随后，响应于网格点的至少实质部分的每个与单一候选表面方位相关联的判定，定义适于网格点的实质部分的候选表面方位的所述计算机图形模型的表面。
[0038]如果几何形状被完全确定，那么方法300执行到步骤335以输出目标模型。否则，方法300返回至步骤310以选择其它的照明图案。在一实施例中，由步骤310后继迭代所选择的照明图案由网格点剩下的候选表面方位的数量和类型至少部分地确定。
[0039]例如，如果物体的一部分表面可能凸起或者凹陷(基于该表面点的候选表面方位)，则步骤310的实施例可以选择照明图案，该照明图案被设计为辨认凸起和凹陷的几何形状。例如，如果物体的凸起部分是从下方照亮，则该部分的底部将比该部分的顶部更亮。相反地，如果物体的凹陷部分是从下方照亮，那么，该部分的顶部将比该部分的底部更亮。
[0040]在又一实施例中，可以指导用户将物体旋转至新的位置，并重复步骤310-330以确定摄像机之前所不能看到的物体的其它部分的几何形状。该几何形状可以结合从物体之前的方位所辩识的物体几何形状以从所有角度建立完整的和闭合的物体模型。或者，从一个或多个方位所确定的物体几何形状可以结合预先定义的物体几何形状以建立闭合的物体。例如，方法300可以用来确定用户脸部的几何形状。该几何形状可以结合预先定义的头部模型。在再一实施例中，还根据物体图像建立结构图(texture map)或者其它表面阴影信息。在一实施例中，建立方式为选择其中一个图像或者多个图像的组合，消除背景，并且然后投影图像至模型表面以确定结构的坐标。
[0041]本发明的实施例可以使用广泛多样的不同类型的照明图案以确定物体表面上的点的方位。通常，照明图案被设计成从物体一个或者多个方向投射光线至物体表面。图4A - 4D示出了适合于与本发明实施例一起使用的照明图案实例。
[0042]图4A示意照明图案400实例。照明图案400包括图案左上角的红光区域405、图案右上角的绿光区域410、和图案底端中部的蓝光区域415。照明图案400适合与彩色摄像机一起使用。由于典型的彩色摄像机能同时地获取图像中的红、绿、蓝光，照明图案400使摄像机可以在单个图像的不同位置获取来自三种不同光源的物体的阴影。在该实例中，图像中所有的红光(即每个像素的红色分量)来源于区域405，图像中所有的绿光(即每个像素的绿色分量)来源于区域410，并且图像中所有的蓝光(即每个像素的蓝色分量)来源于区域415。
[0043]照明图案400实例假设物体表面对所有颜色的光的反射大约相等。每个颜色分量的阴影值的比例化(scaling)或者归一化可以被用于补偿以不同的量反射光的不同颜色的物体表面。在又一实例中，图4B示意第二种照明图案420。除了颜色区域的位置被交换夕卜，照明图案420与图案400相似。在照明图案420中，红色区域430位于右上角，绿色区域435位于底端中部，蓝色区域位于左上角。通过分别对比来自区域405和425的物体阴影、来自区域410和430的物体阴影、来自区域415和435的物体阴影，本发明实施例可以补偿物体对不同颜色的反射特性。例如，来自区域405和区域425的阴影值之比正比于红色光和蓝色光之间的物体表面反射差的比率。
[0044]除使用颜色之外，照明图案可以利用运动(诸如平移和旋转)来观察物体表面阴影的变化以响应于光源的移动。图4C示意包括在第一位置和方位的照明三角形445的照明图案440实例。图4D示意包括在不同位置和方位的相似三角形465的照明图案460实例。通过获取当三角形在不同位置和方位之间移动时的物体阴影的图像，就有可能辨认物体表面上的点的方位。
[0045]如上所述，表面光反射的阴影或者照明模型可以被用于基于来自光源的点的阴影值确定点的候选表面方位。在又一实施例中，具有已知表面方位的校准物体可以被用来改进表面方位分析的精确度。在一实施例中，系统用一个或多个照明图案照亮校准物体。通过摄像机获取在多个表面点上的校准物体的表面阴影。因为准物体具有已知的几何形状，所以每个表面点的方位也是已知的。这样，对于每个照明图案，系统存储使每个阴影值与一个或者多个候选表面方位相关联的数据结构。当以同样的照明图案分析未知物体时，表面点的阴影值可以用来从该数据结构中查找出一组候选表面方位。
[0046]图5A — 5C示出了适合于与本发明实施例一起使用的校准物体实例。图5A示意由第一照明图案500照亮的校准物体实例。在该实例中，校准物体是球形的。如果第一照明图案以迎面方向照亮校准物体，则区域505将具有大致相同的阴影值。由于校准物体的几何形状是已知的，所以区域505将与一组包括表面法向矢量510a — 5IOh的候选表面方位组510相关联。当用同样的照明图案分析未知物体时，其阴影值相似于区域505的阴影值的任何表面点将被分配以候选表面方位组的部分或全部方位。对于第一照明图案，可以为具有其它阴影值的校准物体表面的其它区域进行相似的分析。
[0047]图5B示意由第二照明图案520照亮的同一实例校准物体。在该实例中，第二照明图案520从侧面照亮校准物体。校准物体表面的区域525将具有大致相同的阴影值。由于校准物体的几何形状是已知的，区域525将与一组包括表面法向矢量530a — 530h的候选表面方位组530相关联。当用同样的照明图案分析未知物体时，其阴影值相似于区域525的阴影值的任何表面点将被分配以候选表面方位组530的部分或者全部方位。对于第二照明图案，可以为具有其它阴影值的校准物体表面的其它区域进行相似的分析。
[0048]作为特定校准物体的另一个选择，本发明的实施例可以使用用户的脸部特征作为校准物体。图5C示意由照明图案照亮的用户脸部实例550。某一用户脸部特征可具有已知的几何形状。例如，鼻尖560、额头555和眼睛565都大致为球形。该发明的实施例可以使用所有或者任一脸部特征上的照明图案的阴影，使阴影值与候选表面方位相关联。
[0049]使用本发明实施例所建立的物体模型可以以多种方式结合于交互式软件应用程序中。例如，用户所喜爱的物体模型可以用来装饰用户的虚拟空间，或者作为电子礼物给其它用户。用户可以把他们的脸加到游戏中的角色上。使用本来领域所熟知的任何绘制(rendering)技术(包括多边形光栅化(polygon rasterization)和射线跟踪绘制(raytracing rendering)技术),物体模型能被绘制和显示给用户。
[0050]在又一实例中，本发明的实施例在视频会议应用中可以纠正摄像机的位置。通常，视频会议的用户更多是看视频屏幕而不是摄像机。由于在视频会议应用中摄像机通常置于屏幕的旁边或者上面，所以在视频会议中用户难以通过眼睛交流。该发明的实施例使用以上所描述的技术建立用户的头部模型。该模型被用于确定摄像机相对于用户的头部的位置。基于这些信息，本发明实施例的应用程序可以将获取的视频映射为模型上的结构，并且然后绘制用户的头部模型，头部模型从迎面方向被获取的视频结构覆盖。这样模拟了用户直接看着摄像机的效果。[0051]在再一实施例中，系统使用从显示设备投射的照明图案以建立物体的初始高分辨率模型。然后，系统可以使用来自显示设备的部分的可见照明图案、或者从与该摄像机或另一摄像机关联的光源所投射的可见或红外照明图案，以获取物体的低分辨率模型。低分辨率模型可被应用程序用于追踪物体的位置或者方位的改变，或者用于获取物体形状的持续变化，例如，用户脸部的表情变化。这些变化可用来修改物体模型的高分辨率版本的位置或者形状。来自低分辨率模型的信息可用来作为应用程序的输入，例如让游戏中角色的脸部表情真实反映用户的脸部表情、或者让应用程序中的虚拟物体跟随用户的实物物体的运动。
[0052]图6示出了适合于用于实现本发明实施例的计算机系统1000实例。图6是适合于实现本发明实施例的计算机系统1000的方块图，该计算机系统例如是个人计算机、视频游戏控制台、个人数字助理或者其它数字设备。计算机系统1000包括中央处理器(CPU)1005，其用于运行软件应用程序，执行逻辑功能，和可选的操作系统。CPU1005可以包括一个或者多个处理核。内存1010存储CPU1005所使用的应用程序和数据。存储器1015为应用程序和数据提供非易失性存储，并且其可以包括固定盘驱动器(fixed disk drives)、移动盘驱动器(removable disk drives)、闪存、CD-ROM、DVD-ROM、蓝光光盘、HD-DVD 或者其它光学存储装置。用户输入设备1020将来自一个或多个用户的输入传输至计算机系统1000，用户输入设备1020的例子可包括键盘、鼠标、操纵杆、触控板(touch pad)、触摸屏,静态或者动态摄像机和/或麦克风。网络接口 1025允许计算机系统1000经由电子通信网络与其它计算机系统通信，并且可以包括在局域网和例如英特网之类的广域网上的有线或者无线通信。音频处理器1055用于根据CPU1005、内存1010和/或存储器1015提供的指令和/或数据产生模拟的或者数字的音频输出。计算机系统1000的组件包括CPU1005、内存1010、数据存储器1015、用户输入设备1020、网络接口 1025和音频处理器1055，这些组件经由一条或多条数据总线1060连接在一起。在又一实施例中，静态或者摄像机1065与数据总线1060连接。摄像机1065可以经由例如USB或火线(Firewire)接口的外部接口、无线接口或者内部接口与数据线1065连接。
[0053]图形子系统1030与数据总线1060和计算机系统1000的组件进一步连接。图形子系统1030包括图形处理单元(GPU) 1035和图形存储器1040。图形存储器1040包括用于存储输出图像的每个像素的像素数据的显存(例如，帧缓冲器)。图形存储器1040可以集成在相同的装置内作为GPU1035，也可以作为单独的器件连接于GPU1035，和/或在内存1010中实现。可以直接从CPU10005向图形存储器1040提供像素数据。或者，CPU1005提供定义所需输出图像的数据和/或指令给GPU1035，GPU1035据此产生一个或多个输出图像的像素数据。定义所需输出图像的数据和/或指令可以存储在内存1010和/或图形存储器1040中。在一实施例中，GPU1035包括根据指令和数据为输出图像产生像素数据的3D绘制能力，其中指令和数据定义几何形状、照明(lighting)、阴影、结构、运动和/或场景的摄像机参数。GPU1035进一步可包括一个或多个能执行阴影化程序(shader programs)的可编程执行单元。
[0054]图形子系统1030从图像存储器1040中周期性地输出图像的像素数据，以将这些像素数据显示于显示设备1050上。显示设备1050是任何能够响应于计算机系统1000信号而显示视觉信息的设备，其包括CRT、IXD、等离子显示器、OLED显示器。计算机系统1000能给显示设备1050提供模拟或者数字信号。
[0055]在本发明的实施例中，CPU1005是一个或多个具有一个或多个处理核的通用微处理器。本发明的其它实施例可使用下列一个或者多个CPU实现，该CPU具有特别适合于高度并行和高计算强度的应用(例如媒体和交互娱乐应用)的微处理器架构。图7示出了适合于实现本发明实施例的处理器2000实例。
[0056]处理器2000包括多个处理器单元，每个能够并行执行独立的程序。处理器2000包括PPE处理器单元2005。PPE处理器单元是CISC、RISC或者本领域所熟知的其它处理器架构的通用处理器。在一实例中，PPE处理器单元2005是64位、多线程RISC架构的处理器，例如，PowerPC架构。PPE处理器单元2005可以包括分为一级、二级或者更多级的缓存(cache memory) 2007,其暂时存储由PPE处理器单元2005所执行的数据和指令。
[0057]作为附加性能，处理器2000包括多个SPE处理器单元2010。在该实例中，处理器2000包括8个SPE处理器单元2010A — 2010H ;然而，其它实例的处理器可以包括不同个数的SPE处理器单元。SPE处理器单元2010适用于数据的流处理。在流处理中，程序在大的数据组中的每一项上被重复地执行。为促进数据流处理，SPE处理器单元2010可以包括指令执行单元，其能够同时对多个数据操作数执行SMD指令。SPE处理器单元2010也可包括指令单元，其能够执行用于更通常的处理任务的单指令、单数据(SISD)。
[0058]每个SPE处理器单元(例如SPE处理器单元2010A)包括本地数据和指令存储器2012A。数据和指令可以经由DMA单元2014A传送至和传送出本地数据指令存储器2012A。DMA单元(例如2014A单元)能够在没有处理器监督的情况下从每个SPE处理器单元2010传送出和传送进数据，从而使SPE处理器单元2010能够不中断地持续地处理数据。
[0059]数据和指令由处理器2000经由内存和I/O接口 2015进行输入和输出。数据和指令可以经由处理器总线2020在内存与I/O接口 2015、PPE处理器单元2005和SPE处理器单元2010之间通信。
[0060]为阐明目的，讨论了以上计算机系统实例，本发明实施例能够容易地适用于与包括摄像机以及能够照明附近物体的任何类型的显示设备的任何类型系统一起工作。本领域普通技术人员可以从说明书和附图预想出进一步的实施例。在其它实施例中，可以方便地做出对以上所揭示的发明的组合或者子组合。对结构的框图和流程图归类以易于理解。然而，应当理解的是，在当前发明可选择的实施例中，方框的组合、新方框的增加、方框的重新排布等都是可预料的。
[0061]相应地，说明书及附图被认为是示意性的而不是限制性的。但是，在不脱离本发明的精神和权利要求所阐明范围的前提下，在其上做出的各种各样的改进或者改动被认为是显而易见的。
【权利要求】
1.一种建立实物物体的计算机图形模型的方法，该方法包括: 选择第一照明图案； 在显示设备上显示所述第一照明图案以便照亮实物物体； 获取由所述第一照明图案所照亮的所述实物物体的第一图像，其中，所述第一图像包括具有阴影值的图像点； 选择第二照明图案； 在显示设备上显示所述第二照明图案以便照亮实物物体； 获取由所述第二照明图案所照亮的所述实物物体的第二图像，其中，所述第二图像包括具有阴影值的图像点； 确定计算机图形模型的一组模型点中的每个模型点的候选表面方位，所述确定基于所述第一和第二图像的图像点的阴影值。
2.如权利要求1所述的方法，其中所述第一或第二照明图案包括预先确定的照明图案。
3.如权利要求1所述的方法，其中所述第一或第二照明图案包括根据算法生成的图案。.
4.如权利要求1所述的方法，其中所述第一或第二照明图案包括平移或选择的三角形。
5.如权利要求1所述的方法，其中，所述第一照明图案包括不同颜色的区域。
6.如权利要求5所述的方法，其中，所述第二照明图案包括不同颜色的区域，其中所述颜色区域的位置与所述第一照明图案中的颜色区域的位置互换。
7.如权利要求1所述的方法，其中，确定一组模型点中的每个模型点的候选表面方位包括: 将所述第一或第二图像的阴影值与校准阴影值匹配，该校准阴影值得自具有已知几何形状并且被第一照明图案照亮的校准物体的图像；以及 根据所述校准物体的已知几何形状的部分定义第一组候选表面方位，该部分对应所述校准阴影值。
8.如权利要求7所述的方法，其中，所述校准物体是用户的脸的一部分。
9.如权利要求7所述的方法，其中，所述校准物体是球体。
10.如权利要求1所述的方法，进一步包括: 判断模型点组的至少一部分模型点的每一个是否与单一候选表面方位相关联；以及响应于模型点组的至少一部分模型点的每一个与单一候选表面方位相关联的判断，定义适于模型点组的至少一部分模型点的候选表面方位的计算机图形模型的表面。
11.一种建立实物物体的计算机图形模型的系统，包括: 用于选择第一照明图案的装置； 用于在显示设备上显示所述第一照明图案以便照亮实物物体的装置； 用于获取由所述第一照明图案所照亮的所述实物物体的第一图像的装置，其中，所述第一图像包括具有阴影值的图像点； 用于选择第二照明图案的装置； 用于在显示设备上显示所述第二照明图案以便照亮实物物体的装置；用于获取由所述第二照明图案所照亮的所述实物物体的第二图像的装置，其中，所述第二图像包括具有阴影值的图像点； 用于确定计算机图形模型的一组模型点中的每个模型点的候选表面方位的装置，所述确定基于所述第一和第二图像的图像点的阴影值。
12.如权利要求11所述的系统，其中所述第一或第二照明图案包括预先确定的照明图案。
13.如权利要求11所述的系统，其中所述第一或第二照明图案包括根据算法生成的图案。
14.如权利要求11所述的系统，其中所述第一或第二照明图案包括平移或选择的三角形。
15.如权利要求11所述的系统，其中，所述第一照明图案包括不同颜色的区域。
16.如权利要求15所述的系统，其中，所述第二照明图案包括不同颜色的区域，其中所述颜色区域的位置与所述第一照明图案中的颜色区域的位置互换。
17.如权利要求11所述的系统，其中，用于确定一组模型点中的每个模型点的候选表面方位的装置包括: 用于将所述第一或第二图像的阴影值与校准阴影值匹配的装置，该校准阴影值得自具有已知几何形状并且被第一照明图案照亮的校准物体的图像；以及 用于根据所述校准物体的已知几何形状的部分定义第一组候选表面方位的装置，该部分对应所述校准阴影值。
18.如权利要求17所述的系统，其中，所述校准物体是用户的脸的一部分。
19.如权利要求17所述的系统，其中，所述校准物体是球体。
20.如权利要求11所述的系统，进一步包括: 用于判断模型点组的至少一部分模型点的每一个是否与单一候选表面方位相关联的装置；以及 装置，用于响应于模型点组的至少一部分模型点的每一个与单一候选表面方位相关联的判断，定义适于模型点组的至少一部分模型点的候选表面方位的计算机图形模型的表面。
【文档编号】G06T17/00GK103489216SQ201310409656
【公开日】2014年1月1日 申请日期:2008年4月23日 优先权日:2007年4月24日
【发明者】S.奥斯曼 申请人:索尼电脑娱乐公司