用于产生对象的三维表示的方法和系统的制作方法

用于产生对象的三维表示的方法和系统的制作方法
【专利摘要】根据一个实施例，一种由深度图像产生对象的三维表示的方法，包括：将对象的深度图像与多个表示图像相比较，其中，每一个表示图像都与对象的各自参数模型相关联；将多个表示图像中的一个表示图像识别为与对象的深度图像最接近的表示图像；选择与和深度图像最接近的表示图像相关联的参数模型；及通过将所选择的参数模型与对象的深度图像相适配来产生对象的三维表示。
【专利说明】用于产生对象的三维表示的方法和系统

【技术领域】
[0001] 本文所述的实施例总体上涉及根据深度图像来产生诸如人之类的对象的三维表 /Jn 〇

【背景技术】
[0002] 人体体形的估计具有广泛的应用，从医学到商业领域。例如在医学中，可以显现对 3D身体的未来变化，以鼓励生活方式的改变。在商业领域中，对赤裸体形的准确捕获会允许 虚拟试穿；顾客在不同着装中的显现。对于这些应用得以广泛开展的关键在于任何体形估 计系统的可用性。在这种系统中，如果能迅速产生三维展示是有利的。此外，如果能去除对 操作者手动设置标记的要求是有利的。

【专利附图】

【附图说明】
[0003] 在下文中，参考附图仅以示例的方式描述了实施例，在附图中：
[0004] 图1显示了用于产生对象的三维表示的系统；
[0005] 图2显示了用于产生对象的三维表示的方法；
[0006] 图3显示了产生三维扫描数据的方法；
[0007] 图4a_d显示了人对象的多分辨率模型；
[0008] 图5a_d显示了用于准备人对象的模型的体形与姿势的分离图示；
[0009] 图6显示了摆姿势的身体体形的样本的产生；
[0010] 图7显示了对象的聚类模型的产生；
[0011] 图8a显示了人对象的聚类模型；及
[0012] 图8b显示了对应于图8a中所示的聚类模型的表示图像。

【具体实施方式】
[0013] 根据一个实施例，一种根据深度图像来产生对象的三维表示的方法包括：将对象 的深度图像与多个表示图像相比较，其中，每一个表示图像都与对象的各自的参数模型相 关联；将多个表示图像中的一个表示图像识别为与对象的深度图像最接近的表示图像；选 择与和深度图像最接近的表示图像相关联的参数模型；及通过将所选择的参数模型与对象 的深度图像相适配来产生对象的三维表示。
[0014] 在一个实施例中，将所选择的参数模型与对象的深度图像相适配包括使得能量函 数最小，其中，所述能量函数包括距离项，其取决于在对象的深度图像上的点与所选择的参 数模型上的相应点之间的距离。
[0015] 在一个实施例中，距离项给出了对在由深度图像上的点限定的体积内的模型上的 点的优先选择。
[0016] 在一个实施例中，距离项包括重力函数，其与所选择的模型的表面的法向和重力 方向相关。
[0017] 在一个实施例中，每一个表示图像都是根据各自的参数模型来计算的深度图像。
[0018] 在一个实施例中，每一个表示图像都是根据各自的参数模型来计算的深度图像与 alpha图像的加权组合。
[0019] 在一个实施例中，所述方法进一步包括：在将对象的深度图像与多个表示图像相 比较之前，标准化深度图像中的对象的定向和/或对象的深度。
[0020] 在一个实施例中，所述方法进一步包括：在将对象的深度图像与多个表示图像相 比较之前，减小深度图像的分辨率。
[0021] 在一个实施例中，所述方法进一步包括：根据三维表示来计算对象的尺寸指标和 /或测量值。
[0022] 在一个实施例中，一种用于根据深度图像来产生对象的三维表示的系统包括：储 存设备，所述储存设备用于储存对象的多个参数模型和多个表示图像，每一个表示图像都 与各自的参数模型相关联；选择模块，所述选择模块用于将对象的深度图像与多个表示图 像中的每一个表示图像相比较，将多个表示图像中的一个表示图像识别为与对象的深度图 像最接近的表示图像，和选择与和深度图像最接近的表示图像相关联的参数模型；以及适 配模块，所述适配模块用于通过将所选择的参数模型与对象的深度图相适配来产生对象的 二维表不。
[0023] 在一个实施例中，适配模块用于通过使得能量函数最小化来将所选择的参数模型 与对象的深度图像相适配，其中，所述能量函数包括距离项，其取决于在对象的深度图像上 的点与所选择的参数模型上的相应点之间的距离。
[0024] 在一个实施例中，距离项给出了对在由深度图像上的点限定的体积内的模型上的 点的优先选择。
[0025] 在一个实施例中，距离项包括重力函数，其与所选择的模型的表面的法向与重力 方向相关。
[0026] 在一个实施例中，每一个表示图像都是根据各自的参数模型来计算的深度图像。
[0027] 在一个实施例中，每一个表示图像都是根据各自的参数模型来计算的深度图像与 alpha图像的加权组合。
[0028] 在一个实施例中，每一个表示图像的分辨率都小于100X 100像素。
[0029] 在一个实施例中，选择模块用于在将对象的深度图像与多个表示图像相比较之 前，标准化深度图像中对象的定向和/或对象的深度。
[0030] 在一个实施例中，系统进一步用于根据三维表示来计算对象的尺寸指标和/或测 量值。
[0031] 在一个实施例中，系统包括深度图像捕获设备，所述深度图像捕获设备被配置为 捕获对象的深度图像。
[0032] -个实施例提供了 一种计算机程序产品，所述计算机程序产品包括计算机可执行 指令，当所述指令被处理器执行时，得所述处理器执行以上阐述的方法。计算机程序产品可 以包含在载体介质中，其可以是储存介质或信号介质。储存介质可以包括光储存单元、或磁 储存单元、或电子储存单元。
[0033] 所述实施例可以结合在特定硬件设备中、结合在由适合的软件配置的通用设备 中、或者结合在二者组合中。本发明的某些方面可以在软件产品中实施，或者为完整软件实 施方式，或者为用于修改或增强现有软件的附加组件（例如插件程序）。这个软件产品可 以包含在载体介质中，例如储存介质（例如光盘或诸如闪存的大容量储存器）或信号介质 (例如下载）。适合于实施例的特定硬件设备可以包括特定应用程序设备，例如ASIC、FPGA 或DSP，或者其他专用功能硬件实施方式。读者应当理解，没有任何软件或硬件中的实施例 的前述讨论将本发明的未来实现方式限制于实施的尚待发现或尚待限定的方式。
[0034] 图1显示了根据实施例的用于产生对象的三维表示的系统。系统100包括处理器 110和储存设备120。处理器110包括选择模块112和适配模块114。储存设备120存储多 个聚类模型。在图1所示的示例中，储存设备存储三个聚类模型。第一聚类模型、即聚类模 型1130包括表示图像132、体形模型134和姿势模型136。第二聚类模型、即聚类模型2140 包括表示图像142、体形模型144和姿势模型146。第三聚类模型、即聚类模型3150包括表 示图像152、体形模型154和姿势模型156。
[0035] 系统100与深度图像捕获设备160和显示器170耦合。系统还可以包括摄像机。 摄像机可以与深度图像捕获设备集成，或者可以是分离的设备。
[0036] 聚类模型130、140和150是用于人对象的体形和姿势的模型。聚类模型130、140 和150是参数模型，就是说，它们包括数值变量，其可以改变以使得模型与对象的深度图像 相适配。每一个聚类模型130、140和150都对应于人对象的可能的体形和姿势的聚类。表 示图像132、142和152是根据各自的聚类模型的聚类平均值来计算的图像。
[0037] 在实施例中，表示图像是深度图像。在可替换的实施例中，表示图像是alpha图像 或轮廓。在一个实施例中，表示图像是深度图像与alpha图像的加权组合。
[0038] 在实施例中，表示图像的分辨率较低，例如小于100像素乘100像素。采用低分辨 率表示图像增大了匹配的效率。
[0039] 选择模块112和适配模块114是计算机程序模块。它们可以实施为在通用处理器 上运行的计算机软件，或可以是特定编程的硬件模块或二者的组合。
[0040] 图2显示了根据深度图像来产生对象的三维表示的方法，其由处理器110上的选 择模块112和适配模块114执行。
[0041] 深度图像可以由深度图像捕获设备160捕获。或者，可以对通过网络或储存介质 而转移到系统100的深度图像实施所述方法。
[0042] 可以使用诸如按钮之类的手动触发器或遥控来开始方法。或者，可以由语音或姿 势命令来触发方法。
[0043] 可以以不同方式来自动触发方法。如果检测到人站在特定区域中，可以自动触发 方法。这个检测可以作为来自深度图像捕获设备的检测的结果，或者由位于地面上的单独 传感器的检测的结果。或者，不管在现实世界中人的位置如何，如果将人检测为在姿势和体 形的统计空间内，就可以触发方法。例如，如果系统评估它能够提供良好的身体体形估计， 则方法将被触发。
[0044] 在步骤S202中，将深度图像与每一个表示图像132U42和152相比较。在步骤 S204中，识别与深度图像最接近的表示图像。在步骤S206中，选择用于与最接近的表示图 像对应的体形和姿势的参数模型。在步骤S208中，将所选择的模型与深度图像相适配。将 与对象适配的体形模型作为对象的三维表示。
[0045] 在实施例中，在将深度图像与表示图像相比较之前，使其标准化。标准化可以包括 调整深度图像中对象的定向，以使得对象的正面平面与图像平面平行。标准化还可以包括 标准化对象的正面的平面的深度。
[0046] 在实施例中，以两个方式改变输入深度图像。首先，将其旋转并从真实世界转化到 用户的正面。其次，为了效率，模糊并二次采样深度。
[0047] 在表示图像是深度图像与轮廓的加权组合的实施例中，以三个方式改变输入深 度。首先，将其旋转并从真实世界转化到用户的正面。其次，为了效率，模糊并二次采样深 度和相应的轮廓。第三，重新加权深度和轮廓，以匹配深度图像与根据表示图像的轮廓的加 权组合的权重。
[0048] 系统的输出可以是3D数据文件，其包括在三维和网格定义中的位置的集合。
[0049] 在实施例中，系统被配置为计算对象的测量值。测量值可以是离散的尺寸，例如 小、中和大，或者诸如对象的腰部或下落裆/小腿内侧的测量值。
[0050] 显示器170可以被配置为显示对象的三维表示。显示器也可以被配置为显示为对 象计算的测量值的结果。
[0051] 在实施例中，显示器可以被配置为显示对象穿着服装商品的形象，而无需他们试 穿真实产品。
[0052] 在上述方法中，将人的姿势和体形的估计视为配准问题。将在前学习的体形和姿 势的模型与深度图像相适配。这个模型允许在一定姿势范围中任何似乎可能的人体体形的 有效配准。
[0053] 在下文中，说明创建上述聚类模型的方法，并说明产生对象的三维表示的方法的 实施例。下述的方案关注效率，由在计算机图形领域中使用的特征网格来产生模型。学习 姿势和体形的分离模型，使用线性混合蒙皮（LBS)将身体体形变形为特定姿势。
[0054] 为了学习这种模型，需要包含在各种不同体形和姿势上完全对应的许多3D的人 类的数据集。
[0055] 图3显示了用于创建这个数据集的方法的概要。使用图3中所示的方法，因为无 法获得单个数据集。
[0056] 方法的输入是3D人体扫描302和简单的人的网格304。对于3D人扫描，使用一 定姿势范围中的多个人的扫描的数据库。为了创建可以用于学习体形和姿势的模型的数据 集，采用了图3中所示的方案。
[0057] 作为人的网格模型304,使用了普通3D立方体模型的具体实例，在以下说明中将 其称为立方体网格。随后在从粗到精的过程中将立方体网格模型与给定人扫描相适配。
[0058] 图4a显示了人对象的立方体网格模型。这个模型允许使用立方体而被构造的对 象类的3D形式的简单"草图"，其中，每一个立方体分配有不同的语义和结构信息。
[0059] 图4b到4d显示了从低分辨率到高分辨率的人的网格模型。
[0060] 随后可以将初始的几何粗略模型细分为每个立方体的任意分辨率。尽管在模型的 应用方面，任何细分的网格都是有用的，但可以在原始立方体上以连续方式参数化定义操 作。例如，这允许每一个立方体上的点或区域的指定，无需对细分的网格的特定顶点位置的 离散化。在配准人的网格的情况下，这个特性允许确定例程的指定，用于从任意给定配准的 网格产生人骨架。
[0061] 立方体网格模型允许基于粗略立方图的诸如图4a所示的人之类的3D对象类的 "草图"的描述。随后在如图4b到4d所示的从粗到细过程中将这个模型与给定人扫描相适 配，同时保留与每一个贴片有关的语义信息。模型还允许在原始立方体上具有连续参数的 确定性结构算法的容易指定，和其到高分辨率配准模型的转换。这个过程用于为每一个配 准网格恢复骨架。
[0062] 在配准步骤306中，将人立方体网格与一定姿势范围中的多个人的扫描的输入数 据库中的每一个3D扫描配准。为了减小计算时间，借助从粗到精策略执行配准。过程以最 粗略的网格表示开始，包括重复地适配立方体网格随后增大其分辨率。对于每一个分辨率， 使用标准梯度下降方案，通过使得代价函数最小来找到解决方案。代价函数是三项的线性 组合：平滑度项（曲率必须低）、数据项（立方图网格必须与扫描接近）和界标项（已知界 标必须接近）。立方体网格模型的连续参数表示用于增加对应于呈现在每一个被扫描人上 的现实世界标记的界标点。
[0063] 在步骤308中，对配准结果执行统计分析。统计分析的目的是识别任何异常值。统 计分析的结果用于去除错误的配准。例如，由于在获取扫描中的错误，会遗漏手臂的下侧。 在步骤310中，从数据集去除错误的扫描。
[0064] 在步骤312中，学习线性混合蒙皮（LBS)权重。从配准的网格学习 LBS权重，其允 许蒙皮过程的逆转和将每一个网格变形为标准姿势。存储学习的LBS权重与每一个姿势和 标准化身体体形的单一集合。
[0065] 在步骤314中，标准化扫描的姿势。身体扫描的姿势通过配准隐含地给出，因为对 于任何给定网格，存在给出基础骨架的确定性算法。更大的困难在于恢复无姿势的真实身 体体形。为此，必须选择标准规范姿势。将来自图4中所示的一定姿势范围中的多个人的 扫描的输入数据库的平均姿势用作标准规范姿势。
[0066] 使用是蒙皮过程的逆转的逆线性混合蒙皮（ILBS)来实现将配准的网格变形为标 准姿势，以便从变形的蒙皮的体形恢复穿衣服的体形。线性混合蒙皮（LBS)是在计算机图 形业界中为了有效的角色动画而使用的技术。
[0067] 按照应用于"穿衣姿势"顶点位置F的η个骨架骨骼变换Mb的加权和来计算每一 个顶点Vs的蒙皮或变形的位置，如下：
[0068]

【权利要求】
1. 一种根据深度图像来产生对象的三维表示的方法，所述方法包括： 将所述对象的深度图像与多个表示图像相比较，其中，每一个表示图像都与对象的各 自的参数模型相关联； 将所述多个表示图像中的一个表示图像识别为与所述对象的所述深度图像最接近的 表示图像； 选择与和所述深度图像最接近的表示图像相关联的所述参数模型；以及 通过将所选择的参数模型与所述对象的所述深度图像相适配来产生所述对象的三维 表不。
2. 根据权利要求1所述的方法，其中，将所选择的参数模型与所述对象的所述深度图 像相适配包括使能量函数最小，其中，所述能量函数包括距离项，所述距离项取决于在所述 对象的所述深度图像上的点与所选择的参数模型上的相应点之间的距离。
3. 根据权利要求2所述的方法，其中，所述距离项给出了对所述模型上的位于由所述 深度图像上的点限定的体积内的点的优先选择。
4. 根据权利要求2所述的方法，其中，所述距离项包括重力函数，所述重力函数与所选 择的模型的表面的法向和重力方向相关。
5. 根据权利要求1所述的方法，其中，每一个表示图像都是根据所述各自的参数模型 而计算的深度图像。
6. 根据权利要求1所述的方法，其中，每一个表示图像都是根据所述各自的参数模型 而计算的深度图像与alpha图像的加权组合。
7. 根据权利要求1所述的方法，进一步包括：在将所述对象的所述深度图像与所述多 个表示图像相比较之前，标准化所述深度图像中的所述对象的定向和/或所述对象的深 度。
8. 根据权利要求1所述的方法，进一步包括：在将所述对象的所述深度图像与所述多 个表示图像相比较之前，减小所述深度图像的分辨率。
9. 根据权利要求1所述的方法，进一步包括：根据所述三维表示来计算所述对象的尺 寸指标和/或测量值。
10. -种计算机可读介质，所述计算机可读介质承载处理器可执行指令，当所述指令在 处理器上被执行时，使得所述处理器执行根据权利要求1所述的方法。
11. 一种用于根据深度图像来产生对象的三维表示的系统，所述系统包括： 储存设备，所述储存设备用于存储所述对象的多个参数模型和多个表示图像，每一个 表示图像都与各自的参数模型相关联； 选择模块，所述选择模块用于： 将所述对象的所述深度图像与所述多个表示图像中的每一个表示图像相比较； 将所述多个表示图像中的一个表示图像识别为与所述对象的所述深度图像最接近的 表示图像；以及 选择与和所述深度图像最接近的表示图像相关联的参数模型；以及 适配模块，所述适配模块用于通过将所选择的参数模型与所述对象的所述深度图像相 适配来产生所述对象的三维表示。
12. 根据权利要求11所述的系统，其中，所述适配模块用于通过使得能量函数最小化 来将所选择的参数模型与所述对象的所述深度图像相适配，其中，所述能量函数包括距离 项，所述距离项取决于在所述对象的所述深度图像上的点与所选择的参数模型上的相应点 之间的距离。
13. 根据权利要求12所述的系统，其中，所述距离项给出了对所述模型上的位于由所 述深度图像上的点限定的体积内的点的优先选择。
14. 根据权利要求12所述的系统，其中，所述距离项包括重力函数，所述重力函数与所 选择的模型的表面的法向和重力方向相关。
15. 根据权利要求11所述的系统，其中，每一个表示图像都是根据所述各自的参数模 型来计算的深度图像。
16. 根据权利要求11所述的系统，其中，每一个表示图像都是根据所述各自的参数模 型来计算的深度图像与alpha图像的加权组合。
17. 根据权利要求11所述的系统，其中，每一个表示图像的分辨率都小于100X 100像 素。
18. 根据权利要求11所述的系统，其中，所述选择模块用于在将所述对象的所述深度 图像与所述多个表示图像相比较之前，标准化所述深度图像中的所述对象的定向和/或所 述对象的深度。
19. 根据权利要求11所述的系统，进一步用于根据所述三维表示来计算所述对象的尺 寸指标和/或测量值。
20. 根据权利要求11所述的系统，进一步包括深度图像捕获设备，所述深度图像捕获 设备被配置为捕获所述对象的所述深度图像。
【文档编号】G06T17/00GK104240288SQ201410283599
【公开日】2014年12月24日 申请日期:2014年6月23日 优先权日:2013年6月21日
【发明者】S·约翰逊, F·佩尔贝, B·施滕格, M-T·范, O·伍德福德, R·盖拉尔迪, R·奇波拉 申请人:株式会社东芝