在成像系统中具有非刚性部分的人体表示的制作方法

背景技术：

本实施例涉及人体表示系统。成人身体具有206个骨头、多于600个骨骼肌和遍及人口的发散的脂肪组织分布，使人体成为要有效和高效地建模的复杂对象。然而，由于在医学扫描、计算机视觉、计算机图形和人类-计算机交互中的新兴应用，此类表示正变得越来越合乎需要。

在分析人体的外部形式（即身体姿势和形状）时，考虑负责创建外部形式的底层结构是有益的。在对人体建模中常见的此解剖学角度是支持几层可变形组织（包括肌肉、脂肪组织和皮肤）的关节式骨骼（articulatedskeleton）。这些部件中的每个被建模并以各种方式合并以得到计及身体姿势和形状的变化的表示。

解剖学启发的几何身体模型是一个方法。使用几何模型来表示每个解剖学部件（例如骨骼、肌肉、脂肪和组织）。目标是具有人体的非常现实的表示，以便可合成具有各种姿势和形状的现实实例。这些方法通常用于计算机动画应用，其中可牺牲效率以便实现在视觉上更令人愉快的实例。在一个示例中，在上部身体中的大部分骨头和肌肉被建模，导致具有68个骨头（147个自由度）和814个骨骼肌的表示，其中每个肌肉使用分段线段模型（即肌肉组织的理想化）被建模。基于物理学的软组织模型创建高质量皮肤表面。此类模型被预期合成非常现实的实例，但是骨骼系统具有多于100个自由度，且肌肉系统具有要控制的数百个额外的参数。因此，在拟合情形中使用此类模型不是非常可行的。

用于拟合的另一方法是数据驱动身体模型，例如人的形状完成与动画（scape）。对于大部分非图形应用，更简单或足够复杂的骨骼系统（例如15-20个刚性部分）仍然可被几何地表示。代替使用可变形组织的几何表示，数据驱动方法对数层可变形组织建模。这使由于姿势（例如骨头或骨骼的取向）引起的变形与由于形状（即人特定的尺寸和其它特性）引起的变形去耦且单独地表示每个。骨骼部分在除了取向之外的特性方面是刚性的或固定的，允许对取向的解决方案。不同地，使用线性子空间来对形状变形建模，允许患者特定的变化。因此，形状空间覆盖由于在骨骼系统中的变化和可变形组织两者引起的所有人特定的身体形状变形。即使这是直观表示，但是由于所处理的变化的量，形状空间是有限的。

技术实现要素：

作为介绍，下面所述的优选实施例包括用于人体表示的方法、系统、指令和计算机可读介质。骨长度或在人口内变化的其它尺寸特性被合并到骨骼的几何模型中。几何模型可针对形状或组织建模被标准化，允许骨骼的建模而不是使数据驱动形状模型的各方面致力于长度或其它尺寸特性。在给定数据驱动形状模型的相同数目或范围的部件的情况下，形状的更大或更精细的细节可被建模，因为部件不致力于（committo）尺寸特性。

在第一方面中，提供用于人体表示的系统。成像系统配置成对具有外部姿势和形状的人成像。建模器配置成使具有非刚性部分的关节式树结构骨骼模型变形到外部姿势，该变形包括使关节式树结构骨骼的非刚性部分的长度适应于人的外部姿势，并使网格模板变形到具有所适应的标准化长度的形状。存储器配置成基于已变形的骨骼模型和已变形的网格模板来存储该人的人体表示。

在第二方面中，提供用于人体表示的方法。传感器捕获表示身体的实例的数据集。身体的骨骼被建模为具有可变长度的骨头。身体的形状使用从培训数据学习的线性子空间被建模。线性子空间从可变长度去耦。骨骼和然后的形状被拟合到身体的实例的数据集。

在第三方面中，计算机可读存储介质具有在其中存储的数据，其表示由编程处理器可执行的用于人体表示的指令。存储介质包括用于将人体表示初始化到照相机捕获的人的实例的姿势和骨骼尺寸的指令，使人体表示变形到由于用于实例的组织而引起的形状，该变形基于该初始化被标准化到骨骼尺寸和姿势并传输所变形的人体表示。

本发明由下面的权利要求限定，且在这章节中没有什么事物应被视为是对那些权利要求的限制。在下面结合优选实施来讨论并可稍后独立地或组合地要求保护本发明的更多方面和优点。

附图说明

部件和各图不一定按比例，改为将重点放在说明本发明的原理上。此外，在各图中，相似的参考数字遍及不同的视图指代对应的部分。

图1是用于人体表示的系统的一个实施例的框图；

图2a-c示出具有19个非刚性身体部分的关节式骨骼；

图3a-c示出在骨骼水平处的不同身体形状；

图4和5示出示例现有技术形状空间；以及

图6是用于在表示系统中的人体表示的方法的一个实施例的流程图。

具体实施方式

人体表示使用具有非刚性部分（包括关于尺寸（例如长度）为非刚性）的关节式骨骼。人体表示包括：1）关节式骨骼和2）可变形组织。此人体表示使由于骨骼系统而引起的身体变形与由于肌肉、脂肪组织和/或皮肤引起的身体变形分离。关节式骨骼是直接从人体骨骼系统启发的几何表示。在一个示例中，关节式骨骼是非刚性身体部分的配置，其中每个部分的取向和长度两者可取决于配置而改变。如果表示单个个体，则身体部分被建模为确定尺寸到那个单个个体的刚性部件。因为目标是表示跨数组人或人口的人体的一般骨头和/或关节结构，所以具有非刚性身体部分的关节式骨骼是更合适的。

对可变形组织建模是更复杂的任务，所以使用数据驱动方法，其使用单个线性子空间来表示数层可变形组织。为了得到更一致的表示，这个线性子空间在“骨骼标准化”设置中被学习。因为骨骼模型是尺寸变体，针对被标准化到给定尺寸的骨骼学习该线性子空间。与包括尺寸的形状空间相比，“骨骼标准化”可变形组织模型目的在于表示更小得多的变形空间，且因此可以以更小的模型复杂度来表示更精细的细节。骨骼和组织部件中的每个在专用子空间内被更有效和高效地表示。由于尺寸移动到几何模型，计算机可以更快地执行拟合操作。

在scape中，使用具有尺寸-刚性身体部分的关节式骨骼来对姿势变形建模，意味着部分不改变它们在实例之间（即在不同的身体之间）的尺寸（例如长度）。因此，由于在骨骼系统和可变形组织两者中的变化，对应的形状空间必须覆盖所有人特定的身体形状变形。通过改变在骨骼模型中的尺寸（例如身体部分的长度），相当大量的形状变化直接由具有最少添加的模型复杂性的骨骼本身解释。然后，在给定在定义形状空间中的相同数目的部件的情况下，数据驱动形状空间可被培训以表示可变形组织变化的更精细的细节。由于骨骼系统引起的变形与由于数层可变形组织引起的变形去耦。结果是具有更高的表示能力的更简单的模型。

在拟合情形中，在几何骨骼模型中的非刚性尺寸的使用允许更好的模型初始化。更好的初始化可在数据驱动形状拟合中提供更快的收敛和/或改善的拟合准确性。

图1示出用于人体表示的表示系统10的一个实施例。表示系统10对人体建模，例如对一系列成人身体建模。该建模使用具有非刚性尺寸的骨骼的几何表示或姿势模型。骨长度和/或其它尺寸特性的变化被合并到几何模型中。建模然后使用组织层的数据驱动形状模型。由合并到几何姿势模型中的尺寸特性例如通过标准化到对几何骨骼模型确定的尺寸来使数据驱动形状模型去耦或不被妨碍（unencumber）。

系统10包括照相机16、建模器26、存储器27、和显示器28。可提供额外的、不同的或更少的部件。例如，提供诸如用于与再现服务器或数据档案系统联网的网络或网络连接（例如接口卡）。作为另一示例，提供额外的照相机或不同类型的照相机。在另一示例中，提供用户接口和对应的输入设备。在又一示例中，一个或多个光或闪光源指向照相机16的视场。在另一示例中，提供用于由人穿戴的运动捕获或其它目标，人体表示将被拟合到该人。

建模器26、存储器27和显示器28是运动捕获系统、计算机视觉系统、机器人系统、游戏系统、计算机图形系统、用户接口或医学成像系统的一部分。替代地，建模器26、存储器27和显示器28是诸如与数据库、工作站或服务器相关的档案和/或图像处理系统的一部分。在其它实施例中，建模器26、存储器27和显示器28是个人计算机，例如桌上型计算机或膝上型计算机、工作站、服务器、网络或其组合。建模器26、存储器27和显示器28可以是不同系统的部分，例如存储器27在数据库中，建模器26是工作站的一部分，和/或显示器28是成像系统或远程显示器。

照相机16是成像系统的一部分。成像系统包括具有或没有其它部件（例如光源）的照相机16。可以使用任何数目的照相机16。照相机16中的每个属于相同或不同的类型。

照相机16是飞行时间照相机16。激光或超声用于使用照相机16来捕获物体的深度信息。确定在照相机16的视场中到不同位置的距离。作为结果，在三维中的身体的表面被捕获为三维点云。可使用其它三维照相机16，例如立体照相机和/或与捕获被投影到身体上的结构光组合的照相机。

照相机16被取向成捕获成人身体。照相机16对具有外部姿势和形状的人成像。如在图4中表示的，不同的人可具有不同的形状。照相机16的视场被设置或选择成捕获在任何范围上的身体的外部，例如身体的全部或上部身体（例如腰部向上）。在多个照相机16被使用的情况下，不同的照相机16可捕获照相机16的整个视场的不同部分或视图。替代地，照相机16被取向成具有重叠的相似视场，每个捕获同一视场的大部分（例如80%）。

外部姿势和形状被成像或捕获为三维点云（例如具有照片（photo）或三维体素数据的二维深度图）。对于飞行时间或其它三维照相机16，身体表面相对于照相机16的深度作为深度图被获取。每个照片或图是信息的二维阵列。深度图表示分布在二维视场上的不同深度。替代地，用数据的三维集合（例如体素）来表示深度信息。例如，照相机16是使用超声、无线电波、辐射发射、x射线或获取表示包括该人的体积的数据的其它能量的医学扫描仪。

建模器26是通用处理器、中央处理单元、控制处理器、图形处理器、图形处理单元、数字信号处理器、三维再现处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、其组合或用于创建人体表示、对人体建模和/或基于由照相机16捕获的数据将人体表示拟合到人的其它现在已知的或稍后发展的设备。建模器26是串行地、并行地或单独地操作的单个设备或多个设备。建模器26可以是计算机（例如膝上型或桌上型计算机）的主处理器，或可以是用于在较大的系统中（例如在成像系统中）处理一些任务的处理器。建模器26由硬件、固件和/或软件配置。

建模器26创建和/或使用人或人体表示的模型。下面的讨论在使用人体表示来拟合到由照相机16对特定的人捕获的3d点云的上下文中被提供，但也包括模型如何被创建的讨论。在其它实施例中，建模器26在没有拟合的情况下创建人体表示或在没有创建的情况下拟合。

通常，建模器26创建模型并拟合模型，如在scape或其它混合几何结构和数据驱动身体模型中完成的。使用混合骨骼或姿势和形状表示。与scape不同，混合模型的几何骨骼或姿势部件包括非刚性尺寸特性，例如骨骼部分或骨头的长度。作为结果，尺寸特性通过标准化而移动到几何模型，且否则将致力于尺寸特性的部件对更多的形状细节可用和/或简化拟合。

建模器26配置成使具有非刚性部分的关节式树结构骨骼模型变形到该人的外部姿势。外部姿势由3d点云或特定的人的其它图像捕获表示。变形是使用所创建的几何模型的拟合操作。几何模型在不同部分被接合的意义上是用关节连接的，或可相对于彼此被不同地取向。关节可以是或可以不是有限的，例如基于人类骨骼的物理学来限制取向。几何模型在特定的部分连接到彼此（例如手到前臂、到上臂、到肩部）的意义上是树结构模型。可创建其它几何模型。

为了拟合，建模器26使骨骼模型的非刚性部分的取向和尺寸特性适应于外部姿势。可使用任何尺寸特性，例如部分的长度。每个骨头具有可被使用的一系列不同的长度。长度可以例如在本质上或遍及给定人口（例如成人）由任何数目的出现的偏差的标准限制。确定适合于或最好地拟合到人的外部姿势的取向和尺寸，在部分的取向和尺寸方面定义骨骼模型的变形。

在骨骼变形的建模的一个实施例中，关节式树结构骨骼具有m个非刚性部分以对一般人骨骼系统建模。m可以是任何数字，例如12-30（例如19）。此骨骼的特定配置定义每个身体部分的长度和取向：，其中θ是定义部分i的骨骼模型的矢量，表示部分i的长度，而部分的取向相对于父部分（parentpart）使用旋转轴和旋转角来定义。可使用几何模型的其它矢量或非矢量定义。

图2a-c和3a-c示出表示整个人体的具有19个部分的示例骨骼模型（例如对头的一个部分，对颈部的一个部分，对两只手的两个部分，对每个臂的两个部分，对肩部的两个部分，对两只脚的两个部分，对每条腿的两个部分，以及对臀部的一个部分）。图2a-c示出在三个不同的姿势中的几何模型或关节式树结构骨骼模型。图2a和2b示出具有对一些部分的不同取向的模型的类似尺寸确定（sizing）。图2b和2c示出部分的类似取向，但具有不同的尺寸确定（例如对部分中的一些的不同长度）。

可使用在树结构内的所有部分原型（ancestor）的相对取向来计算部分i的绝对取向。让分别表示部分的相对和绝对取向。建模器26使用指数图：从角度-轴表示计算。绝对部分取向然后由：计算，其中是给定脚部分相对于世界坐标的相对旋转。

图2a-c为了简单而示出二维视图，但模型覆盖三维空间。如果具有非刚性部分的模型拟合到2d数据，则未知的深度信息导致模型模糊。例如，图2c可由在锐角下具有非常长的腿或在钝角下具有非常短的腿的模型产生。通过拟合到照相机16的3d点云，可以没有或有较少的模型模糊。

为了变形，建模器26将模型拟合到3d点云。可使用任何拟合。例如，3d点云被使成骨骼（例如识别中心线），且骨骼模型基于差异的最小化而拟合到成骨骼的线。作为另一示例，使用骨骼模型到3d点云的最小平方或其它拟合。在一个实施例中，从3d点云检测界标（例如关节）。骨骼模型然后拟合到界标。

在使骨骼模型变形之后，建模器26配置成使网格模板变形而没有针对尺寸（例如长度）变形。具有基于尺寸的非刚性部分的关节式骨骼的一个优点是总体人体模型初始化。使用尺寸-刚性身体部分，骨骼模型可能只能够解释具有平均身体尺寸和比率的人的输入。相反，使用尺寸非刚性部分，模型可解释正好在骨骼水平处的身体变形的更宽得多的范围，并因此实现更好的初始化。图3a-c示出三个不同的尺寸，都具有部分的相同或相似的取向。具有尺寸非刚性部分的变形允许拟合和初始化到一系列不同的人。

建模器26使用组织的数据驱动身体模型。混合人体表示的形状部分基于概率、统计或可能的形状的其它人口或示例导出的定义。例如，学习定义部分的形状的线性子空间。使用线性子空间来对形状变形建模。使用主成分分析（pca）或其它转换来从培训数据学习这个子空间。

身体形状由点云离散化。使用网格（mesh）来表示数据驱动形状模型。使用例如三角形网格（例如边缘连接的三角形）之类的三维网格来捕获形状。在一个实施例中，任意姿势和形状如下基于scape被建模。让为被定义为顶点的集合和三角形的集合的模板网格。模板网格是标准化或平均网格。在将许多示例变换到平均尺寸和/或取向之后，定义模板网格。

为了拟合，由照相机16将任意3d身体网格捕获为特定人的实例。将x映射到y的三角形级变换被表示为：

其中和是分别表示在实例和模板网格中的三角形n的第q个边缘的矢量。是三角形n属于的身体部分。、和分别是对应于：刚性姿势（仅旋转）、形状和非刚性姿势引发的形状的线性变换。

在scape模型中，假设是从独立于姿势的线性子空间生成的。从执行类似姿势的不同个体的一组身体网格学习这个子空间。图4示出在用于学习scape中的形状子空间的同一或模板姿势中的人的示例。

不准确性可由于形状和姿势变形的分离而产生（如在scape中完成的），因为姿势变形是人相关的。为了解决这个问题，在模板x和实例y之间的三角形级变换可被定义为：

其中非刚性变形矩阵被定义为局部姿势和形状参数两者的函数。局部形状参数（部分特定的）由全局（整个身体）形状子空间约束。图5示出具有这个重新定义的示例形状空间。

建模器26使用上面的网格拟合方法或不同的方法，但是计及几何模型的尺寸非刚性。为了拟合，网格模板被变形到如由3d点云表示的形状。使用被标准化到平均尺寸（例如平均长度）以用于拟合的几何模型的所适应的长度来执行变形。变形的网格模板转换到如被标准化的所适应的长度。

通过将几何模型的所适应的长度标准化到尺寸非刚性部分的平均长度以用于形状拟合，尺寸（在这个示例中是长度）与形状拟合去耦。使用骨骼系统的准确表示，由于骨骼系统引起的变形与由于数层可变形组织（例如肌肉、脂肪组织、皮肤或其组合）引起的变形去耦。使用模板网格x和实例网格y（即特定的人的3d点云或深度图），如在scape中完成的，但具有标准化。在给定实例网格的骨骼配置的情况下，实例网格是在三角形级下定义的如下的“骨骼标准化的”：

其中现在用作尺寸（例如长度）比率而不是仅仅尺寸，以及用作相对于模板部分的取向而不是绝对取向。根据绝对尺寸和取向来计算尺寸比率和相对于模板部分的取向。

对于使用标准化的形状子空间，收集具有不同姿势的不同个体的实例网格的集合。替代地，该集合具有在类似姿势中的人。

通过首先将这些实例中的每个“骨骼标准化”并接着执行主要成分分析（pca）或其它变换来学习数层可变形组织的组合模型。在三角形级下定义的pca被表示为：

其中和分别是对应于三角形n的子空间的基数和平均值。用表示对应的形状参数（即在线性子空间中规则化的形状）。可使用除了pca以外的其它学习，例如自举（bootstrap）形状空间学习。在其它实施例中，q和s被建模为局部和全局变形，并被组合用于学习可变形组织表示。

建模器26配置成使网格模板变形。为了拟合，变形是部分的所适应的尺寸与平均尺寸的比率、非刚性部分的绝对取向、和一个或多个线性变换的函数。例如，作为线性变换来执行姿势引发的形状变换。作为pca或使用线性子空间的其它子空间的基数和平均值的函数来将网格模板变形到由照相机16捕获的人的形状。

表示不同的部分和/或网格的各种形状的线性子空间独立于几何模型的姿势和/或尺寸。类似于scape，姿势引发的形状变形被建模为线性变换。这对准确地表示在关节周围的非刚性变形是有用的。使用这个添加，将x映射到y的三角形级变换被定义为：

模型拟合被用公式表达为优化问题：

其中表示模板网格被拟合到的数据（例如3d点云或深度图）。其它优化可用于拟合。

模板网格可被注解。例如，为具有不同的姿势和/或形状的患者不同地执行ct或其它医学成像。这些差异由注解定义或被链接到人体表示。通过拟合到患者，医学成像可以被自动化和/或计及不同的成像设置。所变形的模板网格基于变形来定义规则或设置。其它应用（例如运动捕获、视频生成、计算机视觉、计算机图形、或人类-计算机交互）可受益。

在一个实施例中，建模器26配置成从人体表示生成图像。从拟合网格再现图像，例如使用阿尔法（alpha）混合的再现、图形再现管线或其它表面再现。由照相机16捕获的图像可在有或没有来自拟合模型的再现的情况下被输出。

存储器27是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、高速缓存存储器、硬盘驱动器、光学介质、磁性介质、闪存驱动器、缓冲器、数据库、其组合或用于存储在混合模型创建和/或使用中使用的数据的其它现在已知的或以后开发的存储器设备。存储器27是照相机16的一部分、与建模器26相关的计算机的一部分、数据库的一部分、另一系统的一部分、或独立设备。

存储器27存储所捕获的图像、深度图、3d点云、模型、模型参数、在拟合到人之前和/或之后的人体表示、尺寸比率、取向、培训数据或其它数据。对于培训数据，可存储在处理的任何阶段下的数据，例如3d点云和/或许多人的拟合骨骼模型。在一个实施例中，存储器27基于使骨骼模型变形和所变形的网格模板来存储特定的人的人体表示。

存储器27或其它存储器是存储数据的计算机可读存储介质，所述数据表示由编程处理器26可执行以用于创建或使用人体表示的指令。在计算机可读存储介质或存储器（例如高速缓存存储器、缓冲器、ram、可移动介质、硬盘驱动器或其它计算机可读存储介质）上提供用于实现本文所讨论的过程、方法和/或技术的指令。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。响应于存储在计算机可读存储介质中或上的指令的一个或多个集合来执行在各图中所示或在本文所述的功能、动作或任务。功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并可由单独地或组合地操作的软件、硬件、集成电路、固件、微代码等执行。同样地，处理策略可包括多处理、多任务、并行处理等。

在一个实施例中，将指令存储在可移动介质设备上以用于由本地或远程系统读取。在其它实施例中，指令存储在远程位置上以用于通过计算机网络或在电话线上传输。在又一些实施例中，指令存储在给定计算机、cpu、gpu或系统内。

显示器28配置成显示人体表示或其它模型信息（例如拟合模型参数）的所再现的图像。显示器28是监视器、lcd、投影仪、等离子体显示器、crt、打印机或用于输出视觉信息的其它现在已知或以后开发的设备。通过从建模器26、存储器27、或照相机16接收图像、图形或其它信息来配置显示器28。

图6示出用于人体表示的方法的一个实施例的流程图。该方法由图1的表示系统10或另一系统实现。例如，动作30由照相机或医学扫描仪执行，且动作32-38由建模器、医学成像系统、工作站和/或服务器执行。任何一个或多个动作可由不同的设备执行。

以所示顺序（顶部到底部）或其它顺序来执行动作。例如，动作30在动作32和/或34之后被执行。

可以提供另外的、不同的或更少的动作。例如，提供用于在拟合到特定的人之后显示来自人体表示的再现或参数值的动作。作为另一示例，不提供动作30、36和/或38，例如其中在没有拟合到特定的人的情况下提供使用几何骨骼模型的非刚性尺寸和数据驱动形状模型的骨骼标准化的混合模型。作为又一示例，提供用于控制或其它目的的用户输入。

在动作30中，传感器捕获表示身体的实例的数据集。人被扫描或成像。为了培训形状子空间，传感器可捕获表示身体的实例的多个数据集。

在一个实施例中，使用照相机来获取该人的一个或多个照片或光学图像。照相机被指引到在期望或未计划的姿势中的人，例如在患者正被、已被或将被医学成像扫描仪扫描时和/或在患者正被、已被或将被医学成像扫描仪扫描的地方。在另一实施例中，医学成像扫描仪扫描该人。基于重构和/或扫描格式，获取表示患者的内部和外部的数据集。通过使用分段或其它图像处理，提取患者的外表面。

为了光学成像，使人脱去衣服，使得图像是患者的皮肤的。可替代地使用紧身衣。替代地，照相机使用毫米波来操作或是热照相机以通过衣服来对患者的皮肤成像。

传感器捕获身体的实例的外部的三维表示。获取来自表示体积的数据集（例如3d数据集）的体素。皮肤然后被分段。替代地或另外，获取在三维中定义的表面。例如，传感器获取在2d中的光学图像和每个像素的深度信息，提供深度图作为表面。

图像处理或过滤可被应用于所捕获的数据。例如，从照片的图像去除背景。可使用任何去除。图像处理检测人的边界，并且去除在边界之外的数据。可从人的图像减去没有人的空间的照片的图像以去除背景。可使用手动、自动或半自动剪裁（crop）。深度信息可用于识别背景以用于去除。作为另一示例，应用分段来从患者的内部去除信息。

在背景去除之后的所得到的数据仅仅表示人。这个所得到的数据表示或用于重构患者的皮肤或外表面的三维表示。重构患者的外表面。可重构任何表面表示，例如多边形表面或其它网格。网格可以被或可以不被填充有来自照片的图像的标量值和/或来自照片的图像的纹理。

外表面的表示是3d。通过使用深度映射、来自在相对于人的不同角度下拍摄的照片的图像处理、在所投影的栅格中的变形、深度测量（例如激光雷达）或其它过程，患者的3d外表面被重构。形成具有或没有纹理的3d多边形表面。

在动作32中，建模器将身体的姿势建模为具有可变长度和/或其它尺寸的骨头。建模是还未拟合到特定的人的一般或模板表示。几何模型或其参数被创建和/或加载以用于拟合。

除了对仿真骨骼的部分的取向进行建模以外，还几何地对尺寸信息建模。例如，姿势或骨骼模型包括每个部分的可变长度。几何模型处理（address）不同部分的取向和长度。

骨骼被建模为用于人体表示的混合的一个部分。当模型拟合到传感器捕获的人的实例时，人体表示的骨骼部分首先被拟合。这将人体表示初始化。骨骼的部分的取向和骨骼的至少一个部分的尺寸（例如长度）可拟合到实例。一旦被拟合，就在对形状的数据驱动拟合中使用这个初始骨骼信息。

在动作34中，建模器使用线性子空间对身体的形状建模。建模是还没有拟合到特定的人的一般或模板表示。数据驱动形状模型或其参数（例如子空间和网格模板）被创建和/或加载以用于拟合。

从培训数据学习线性子空间。聚集任何数目（例如数十、数百或数千）的示例。聚集来自许多人和/或许多姿势的实例。培训数据被初始化到几何模型并接着用于在对拟合骨骼模型标准化之后学习线性子空间。通过使用主要分量分析或其它学习，形状子空间被创建。形状子空间以线性方式为每个部分和/或为全局表示定义各种形状。通过识别在线性子空间中的形状的组合，人的形状被定义。学习定义线性子空间。

可以使用形状的任何表示。在一个实施例中，模型使用网格模板。为了学习和/或拟合，网格模板被标准化到平均尺寸。培训数据在尺寸方面被标准化，允许线性子空间的学习是用于从几何模型的可变长度或其它尺寸去耦的形状。替代地，拟合几何模型被标准化，以用于在形状空间中的学习。网格模板提供具有被标准化的尺寸的平均形状。形状模型包括平均网格模板以及已学习的线性子空间以根据平均值限定变化的范围。

模型包括针对拟合的优化。通过使用尺寸比率、取向、形状线性子空间项（term）、和姿势引发的形状变形作为线性变换，模板网格可变换到人的所捕获的实例。姿势引发的形状变形处理取向变化。尺寸比率将标准化合并到形状模型的拟合中。

在动作36中，用于创建形成人体表示的混合模型的相同或不同的建模器将混合模型拟合到身体的特定实例。姿势和然后的形状被拟合到身体的实例的数据集（例如表面网格）。

使用混合的几何模型来将拟合初始化。各种部分的取向和尺寸被拟合到实例。例如，从人的所捕获的数据来检测界标。几何模型的部分然后被拟合到界标，例如基于检测的腕和肘来拟合臂部分取向和长度。

一旦被初始化，形状就拟合到实例。作为尺寸比率（例如长度比）的函数来拟合形状。初始化的姿势被标准化到平均值以用于拟合形状。使用尺寸比率（例如拟合的可变长度到平均长度）、由于取向而引起的姿势引发的形状变形、姿势的取向、和线性子空间来拟合形状。由于实例的组织，人体表示被变形到形状。组合模型被求解或优化以使模板网格改变（morph）到实例的网格。

在动作38中，传输人体表示。人体表示被变形以表示特定的人。拟合限定表示人体的实例的网格，但被模型用参数表示（parameterize）。代替使用来自传感器（例如照相机）的网格，模型被拟合到实例。传输模型参数，诸如针对取向和尺寸拟合的具有或没有骨骼的几何模型的所变形的模板网格。传输变形到实例的人体表示。

该传输是到存储器，例如用于存储。传输出现在一个批次（batch）中或随着时间的过去当拟合出现时出现。在其它实施例中，传输是到用于通信的网络或到渲染器（图形处理单元）。

传输可以是到显示器，例如传输人体表示的再现。从人体表示的3d多边形表面再现图像。来自实例的捕获的纹理可以被或可以不被包括在再现中。再现可以使用或可以不使用暗影（shading）。例如来自用户定义的源的照明是虚拟的。在一个实施例中，在实例的捕获期间在房间中的实际照明被检测并用于暗影。

虽然上面已通过参考各种实施例描述了本发明，但是应理解的是，可作出许多变化和修改而不偏离本发明的范围。因此本文旨在前述详细描述被视为说明性的而不是限制性的，并且应理解，旨在限定本发明的精神和范围的是下面的权利要求（包括所有等价物）。