专利名称：利用运动数据和图像数据生成骨架模型的设备和方法
技术领域：
示例实施例涉及一种在虚拟现实(virtual reality)中对用户进行建模的技术， 更具体地讲，涉及一种利用从图像传感器和运动传感器采集的数据来关于用户的全身生成 三维(3D)骨架模型(skeleton model)的设备和方法。
背景技术：
当前，已经提出各种利用虚拟现实的技术。具体地讲，通过检测用户的运动来在虚 拟现实中反映用户的实际运动的技术已经引起关注。对于与虚拟环境(如游戏等)交互而 言，用户的全身的轨迹会是重要的工具。在传统技术中，有许多检测用户运动的方法。例如，有通过在用户的全身附着众多 标记，或者通过简单地捕捉用户的图像，来对用户的运动建模的方法。在利用标记的方法中，可能由于用户活动的减少而难以精确地测量用户的运动， 或者当标记由于掩蔽而不可见时，可能无法测量用户的运动。此外，不管传感器数量如何， 可能需要利用特定姿态的校准。在捕捉用户的方法中，当拍摄装置的数量相对少时，3维 (3D)位置的准确度会变差，当用户的全身的部位重叠时，可能难以对用户的运动建模。此 外，可能无法针对用户的关节检测位置或取向。因此，需要一种更有效地对用户的全身建模的方法。
发明内容
根据示例实施例，可提供一种生成骨架模型的设备，该设备包括数据同步单元， 分别对由图像传感器采集的用户的图像数据和由运动传感器采集的用户的运动数据执行 同步；剪影提取单元，从同步的图像数据提取用户的剪影；关节信息计算单元，从同步的运 动数据计算用户的关节的位置或取向；骨架模型生成单元，利用所述剪影和用户的关节的 位置或取向，生成用户的全身的三维(3D)骨架模型。在这种情况下，骨架模型生成单元可基于所述剪影，从用户的关节的位置或取向来生成用户的全身的3D骨架模型。此外，骨架模型生成单元可基于用户的关节的位置或取向，从所述剪影来生成用 户的全身的3D骨架模型。此外，骨架模型生成单元可利用从剪影提取的3D骨架模型和从用户的关节的位 置或取向提取的3D骨架模型中的每一个的误差范围，来生成用户全身的3D骨架模型。根据示例实施例，提供一种生成骨架模型的方法，该方法包括分别对由图像传感 器采集的用户的图像数据和由运动传感器采集的用户的运动数据执行同步；从同步的图像 数据提取用户的剪影；从同步的运动数据计算用户的关节的位置或取向；利用所述剪影和用户的关节的位置或取向，生成用户的全身的3D骨架模型。示例实施例的另外的方面、特征和/或优点将通过下面的描述被部分地阐述，并且部分地将从描述变得明显，或者可通过本公开的实践而了解。
通过下面结合附图对实施例的描述，本发明的这些和/或其他方面和优点将变得 明显并更易于理解，其中图1示出根据示例实施例的用于生成骨架模型的设备的整体构造的框图；图2示出根据示例实施例的利用图像传感器和运动传感器关于用户的全身生成 三维(3D)骨架模型的过程；图3示出根据示例实施例的采集用户的图像数据和用户的运动数据的示例；图4示出根据示例实施例在图像数据和运动数据之间执行空间同步的处理的示 图；图5示出根据示例实施例的在图像数据和运动数据之间执行时间同步的处理的 示图；图6示出根据示例实施例的基于运动数据利用图像数据生成3D骨架模型的处理 的示图；图7示出根据示例实施例的基于图像数据利用运动数据生成3D骨架模型的处理 的示图；图8示出根据示例实施例的利用从2个3D骨架模型生成的误差范围来提炼3D骨 架模型的处理的示图；图9示出根据示例实施例的生成骨架模型的方法的整个过程的流程图。
具体实施例方式现在将详细说明一个或多个实施例，其示出于附图中，在附图中，相同的标号始终 表示相同的部件。以下参照附图描述示例实施例以解释本公开。图1示出根据示例实施例的用于生成骨架模型的设备100的整体构造的框图。参照图1，设备100可包括数据同步单元101、剪影(silhouette)提取单元102、关 节信息计算单元103和骨架模型生成单元104。设备100可利用用户的图像数据和用户的运动数据来生成用户的全身的三维 (3D)骨架模型，然后通过生成的3D骨架模型来检测用户的全身，从而获得用户的运动的轨 迹。数据同步单元101可在由图像传感器107采集的用户的图像数据和由运动传感器 108采集的用户的运动数据之间执行同步。设备100在生成3D骨架模型时可通过数据的同 步来交叉参照(cross-reference)图像数据和运动数据。例如，图像传感器107可表示拍摄用户以采集用户数据的装置(例如，照相机、摄 像机等)。在这种情况下，图像传感器107可包括深度图像传感器和颜色图像传感器，其中 深度图像传感器关于用户采集深度图像数据(3D)，颜色图像传感器关于用户采集颜色图像 数据(2D)。根据示例实施例，运动传感器108可被安装在构成用户的多个关节的部位中。
参照图1，数据同步单元101可包括空间同步单元105和时间同步单元106。空间同步单元105可对数据的位置信息进行同步，以在相同的位置交叉参照在不 同位置采集的图像数据和运动数据。例如，空间同步单元105可通过基于预定的参考位置 转换图像数据中的运动传感器108的位置以及运动数据中的运动传感器108的位置，来对 数据的位置信息进行同步。在这种情况下，参考位置可以指定世界坐标上的原点。具体地 讲，空间同步单元105可将运动传感器108的本地坐标转换为世界坐标，还将图像传感器 107的本地坐标转换为世界坐标，从而交叉参照由运动传感器108采集的运动数据和由图 像传感器107采集的图像数据。时间同步单元106可对图像数据的时间信息和运动数据的时间信息进行同步，以 在相同的时间交叉参照在不同时间采集的图像数据和运动数据。例如，时间同步单元106 可利用数据插值来对图像数据的时间信息和运动数据的时间信息进行同步。具体地讲，时 间同步单元106可调节运动传感器108和图像传感器107之间在数据获取时间上的差异。剪影提取单元102可从同步的图像数据提取用户的剪影。关节信息计算单元103可从同步的运动数据计算用户关节的位置或取向 (orientation)0骨架模型生成单元104可利用用户关节的位置或取向，并且还利用所述剪影，来 生成用户的全身的3D骨架模型。根据示例实施例，骨架模型生成单元104可参照剪影信息从用户的关节的位置或 取向来生成用户全身的3D骨架模型。在这种情况下，骨架模型生成单元104可利用逆运动 学(Inverse-Kinematics)，从运动数据中所包括的用户关节的位置或取向计算用户剩余关 节的解(solution)，并且当所述解是多个时，选择包括在剪影的范围内的最佳解。根据示例实施例，骨架模型生成单元104可基于用户关节的位置或取向从剪影生 成用户全身的3D骨架模型。在这种情况下，骨架模型生成单元104可利用从剪影提取的参 考点，并且还利用运动数据中所包括的用户关节的位置或取向，来确定包括在剪影的范围 内的用户的剩余关节。根据其它示例实施例，骨架模型生成单元104可利用从剪影提取的3D骨架模型和从用户关节的位置或取向提取的3D骨架模型中的每一个3D骨架模型的误差范围，来生成 用户全身的3D骨架模型。在这种情况下，骨架模型生成单元104可将从剪影提取的3D骨 架模型和从用户关节的位置或取向提取的3D骨架模型中的每一个3D骨架模型的误差范围 结合，并选择具有最小误差的位置。图2示出根据示例实施例的利用图像传感器和运动传感器关于用户的全身生成三维(3D)骨架模型的过程。参照图2的操作(I)，至少一个图像传感器可采集用户的图像数据。具体地讲，图 像传感器可对用户进行拍摄以获得用户的图像。例如，图像传感器可以是深度图像传感器 或颜色图像传感器。在这种情况下，图像传感器可被设置在预定距离处，并获得多视点图像 数据。参照图2的操作(II)，至少一个运动传感器可采集用户的运动数据。根据示例实 施例，运动传感器可被附着在用户上。在这种情况下，运动传感器可被附着在用户的关节 上。然而，由于当运动传感器被附着在用户的所有关节上时，检测用户的全身所需的处理时间可能相对较长，所以运动传感器可仅被附着在一些关节上。参照图2的操作(III)和图1，设备100可对图像数据和运动数据执行空间同步和时间同步，使得由图像传感器107采集的图像数据和由运动传感器108采集的运动数据被 交叉参照。将参照图4进一步描述空间同步，将参照图5进一步描述时间同步。参照图2的操作(IV)和图1，设备100可从图像数据提取用户的剪影。当图像传 感器107再次获得多视点图像数据时，可以每一视点地提取剪影。参照图2的操作(V)和图1，设备100可从运动数据计算用户的关节的位置或取 向。在这种情况下，设备100可计算附着有运动传感器108的用户关节的位置或取向。参照图2的操作(VI)和图1，设备100可利用用户关节的位置或取向，并且还利用 提取的剪影，来生成用户的全身的3D骨架模型。在这种情况下，设备100可确定关于图2 的操作(V)中没有计算的剩余关节的信息，从而生成包括用户全身的关节的3D骨架模型。参照图2的操作(VII)和图1，设备100可利用生成的3D骨架模型输出每一时间 情形下的3D骨架模型的全身的运动轨迹。具体地讲，设备100可将用户全身的实时运动应 用到虚拟的3D骨架模型。图3示出根据示例实施例的采集用户的图像数据和用户的运动数据的示例。参照图3，可设置采集图像数据的图像传感器301-1、301_2和301_3，以拍摄用 户300的全身。可将采集运动数据的运动传感器302附着在用户300的特定部位303-1、 303-2,303-3,303-4和303-5上。在这种情况下，图像传感器301-1至301-3可以是关于用 户300采集颜色图像数据的颜色图像传感器或者关于用户300采集深度图像数据的深度图 像传感器。可存在至少一个图像传感器。例如，运动传感器302可被附着在用户300的边缘部位，如头部303_1、手部303_2 和303-3、脚部303-4和303-5等上。上面提及的附着有运动传感器302的用户300的部位 仅是示例，运动传感器302可被附着在用户300的不同身体部位上。图4示出根据示例实施例在图像数据和运动数据之间执行空间同步的处理的示 图。骨架模型生成单元100 (图1)可在由图像传感器107 (图1)采集的用户的图像数 据和由运动传感器108(图1)采集的用户的运动数据之间执行同步。例如，设备100(图1) 可对数据的位置信息进行同步，使得在不同位置采集的图像数据和运动数据在相同的位置 被交叉参照。在这种情况下，设备100(图1)可基于预定的参考位置转换图像数据中的运 动传感器108 (图1)的位置和运动数据中的运动传感器108 (图1)的位置，从而对数据的 位置信息进行同步。参照图4，图像传感器401可拍摄用户404的全身。在这种情况下，由图像传感器 401采集的图像数据可包含运动传感器402的位置信息。如图4所示，在图像数据中运动传 感器402的位置可对应于点(5，-12，3)。此外，由运动传感器402采集的运动数据可包含 运动传感器402的位置信息。如图4所示，在运动数据中的运动传感器402的位置可对应 于点(6，0，-10)。具体地讲，由于被定位在不同的点，所以关于相同的位置，图像数据和运 动数据可具有不同的位置值。根据示例实施例，为了生成用户的全身的3D骨架模型，设备100(图1)可关于相 同的参考点执行坐标转换，以交叉参照图像数据和运动数据。图像数据可由图像传感器401的本地坐标配置，运动数据可由运动传感器402的本地坐标配置。相反，设备100(图1)可 将由图像传感器401的本地坐标和运动传感器402的本地坐标配置的数据匹配到相同的世 界坐标。在这种情况下，世界坐标可以指关于参考点403(0，0，0)实现的坐标。参照图4，图像数据中关于运动传感器的位置的点(5，-12,3)可被转换为关于参考点403的点(3，4，5)，运动数据中关于运动传感器的位置的点(6，0，-10)可被转换为关 于参考点403的点(3，4，5)。以这样的方式，可在连续输入的图像数据和运动数据中同样地 应用坐标转换。图5示出根据示例实施例的在图像数据和运动数据之间执行时间同步的处理的 示图。参照图5，随时间示出了运动数据的采集时间点和图像数据的采集时间点。由于运 动传感器108(图1)和图像传感器107(图1)之间的数据采集比率可不同，所以采集时间 点可不同。设备100(图1)可交叉参照图像数据和运动数据，以生成3D骨架模型。在从运动数据501生成3D骨架模型时参照图像数据的情况下，设备100 (图1)可 利用分别在0. 1秒和0. 2秒采集的图像数据生成与运动数据501的采集时间点对应的图像 数据502。随后，设备100(图1)可在参照生成的图像数据502的同时，生成用户的全身的 骨架模型。相反，在从图像数据503生成3D骨架模型时参照运动数据的情况下，设备100 (图 1)可利用分别在0. 18秒和0.21秒采集的运动数据生成与图像数据503的采集时间点对应 的运动数据504。随后，设备100(图1)可在参照生成的运动数据504的同时，生成用户的 全身的骨架模型。例如，设备100 (图1)可利用数据插值对图像数据和运动数据的时间信息进行同 步。参照图1和图5，设备100可对分别在0. 1秒和0. 2秒采集的图像数据进行插值，以生 成与运动数据501的采集时间点对应的图像数据502。另外，设备100可对分别在0. 18秒 和0. 21秒采集的运动数据进行插值，以生成与图像数据503的采集时间点对应的运动数据 504。图6至图8示出利用运动数据和图像数据生成3D骨架模型的处理。图6示出根据示例实施例的基于运动数据利用图像数据生成3D骨架模型的处理 的示图。具体地讲，在图6中，详细描述在关于运动数据生成3D骨架模型时参照图像数据 的处理。例如，设备100(图1)可在参照剪影的同时，从用户的关节的位置或取向生成用户 的全身的3D骨架模型。在这种情况下，设备100(图1)可利用逆运动学，从运动数据中所 包括的用户关节的位置或取向计算剩余关节的解。在这种情况下，当所述解是多个时，设备 100 (图1)可选择包括在剪影的范围内的最佳解。参照图6的操作⑴和图1，示出了与运动传感器108的位置对应的关节602。这 里，运动数据可包括关于关节602的六轴信息(位置和取向)或者三轴信息(取向或位置)。 在这种情况下，当设备100可将特定位置设置为参考点601，以应用逆运动学时，可创建关 于剩余关节的多个解603-1、603-2和603-3。参照图6的操作(II)和图1，示出了与运动传感器108的位置对应的关节602。在 这种情况下，设备100可利用从图像数据提取的剪影来提取参考点604。当从用户的关节602的位置或取向关于参考点604应用逆运动学时，可创建关于剩余关节的多个解。例如， 设备100可计算与所述多个解(包括603-1和603-2)中，被包括在剪影范围内的解603-3 对应的用户关节的位置或取向。当使用从单个图像传感器采集的剪影时，设备100可计算运动传感器108的位置 (关节602的位置)与解603-3之间的二维(2D)距离。另外，当使用从多个图像传感器采 集的剪影时，设备100可计算运动传感器108的位置(关节602的位置)与剪影603-3之 间的3D距离。根据示例实施例，设备100可通过多个解中被包括在剪影范围内的解来生成3D骨 架模型，从而利用具有最小误差的最佳解来提高3D骨架模型的准确度。 图7示出根据示例实施例的基于图像数据利用运动数据生成3D骨架模型的处理 的示图。具体地讲，在图7中，将详细描述在关于运动数据生成3D骨架模型时参照图像数 据的处理。例如，设备100(图1)可在参照用户关节的位置或取向的同时，从剪影生成用户的 全身的3D骨架模型。在这种情况下，设备100(图1)可利用从剪影提取的参考点，并且还 利用运动数据中所包括的关节的位置或取向，来确定包括在剪影范围内的剩余关节。参照图7的操作(I)和图1，设备100可从自图像数据提取的剪影中提取参考点 701。另外，设备100可利用运动数据中所包括的关节702的位置和取向来对3D骨架模型 进行初始化。具体地讲，通过关节703将参考点701与关节702彼此连接，从而对3D骨架 模型进行初始化。参照图7的操作(II)和图1，设备100可设置参考点701以及关节702的位置， 然后生成使剩余关节703中的匹配误差最小的3D骨架模型。在图7的操作(I)的剩余关 节703中，在图7的操作(II)的剪影的范围内所包括的剩余关节703的位置，匹配误差可最小。根据示例实施例，通过利用运动数据中所包括的关节702的位置或取向，设备100 可以对这样的复杂处理进行简化，从而提高处理速度，所处复杂处理指从能够在参考点 701中生成的所有位置和取向确定剩余关节703，然后从能够再次从剩余关节703生成的所 有位置和取向确定关节702。另外，通过交叉利用图像数据和运动数据，设备100可防止关 节的漂移，从而提高3D骨架模型的准确度。图8示出根据示例实施例的利用误差范围生成3D骨架模型的处理的示图。例如，设备100 (图1)可利用从用户关节的位置或取向提取的3D骨架模型和从剪 影提取的3D骨架模型中的每一个的误差范围，生成用户的全身的3D骨架模型。在这种情 况下，设备100 (图1)可将从剪影提取的3D骨架模型和从用户关节的位置或取向提取的3D 骨架模型中的每一个的误差范围结合，选择具有最小误差的位置。参照图8的操作(I)，示出了从关节的位置或取向提取的每一 3D骨架模型的误差 范围。参照图8的操作(II)，示出了从剪影提取的每一 3D骨架模型的误差范围。在这种情 况下，误差范围可表示用户的关节实际存在的概率。例如，误差范围可指定关于用户的关节 实际存在的概率的高斯函数分布。参照图8的操作(I)，在从运动数据中所包括的关节的位置或取向提取的3D骨架 模型中，示出了关节801的误差范围809和关节802的误差范围808。在这种情况下，误差范围808和误差范围809可根据运动传感器108 (图1)的跟踪质量而不同。如图8的操作 (I)所示，关节801的位置可指示用户的关节实际存在的概率相对高，关节802的位置可指 示用户的关节实际存在的概率相对高。参照图8的操作(II)，在利用从图像数据提取的剪影812生成的3D骨架模型中，示出了关节803的误差范围810和关节804的误差范围811。在这种情况下，误差范围810 和误差范围811可包括关节的误差范围和掩蔽时的估计的误差范围。关节803和关节802 可存在于用户全身的相似位置中。另外，关节801和关节804可存在于用户全身的相似位 置中。参照图8的操作(III)，示出了将误差范围810和误差范围808结合的结果以及将 误差范围809和误差范围811结合的结果。当如图8的操作(III)所示将误差范围810和 误差范围808结合时，可选择具有最小误差的关节807，当将误差范围809和误差范围811 结合时，可选择具有最小误差的关节806。具体地讲，最终3D骨架模型的关节可被确定在具 有高可靠性的关节807和关节806的位置。根据示例实施例，通过将从图像数据和运动数据中的每一个生成的3D骨架模型 的误差范围结合，可选择具有高可靠性的信息，从而提高用户全身的3D骨架模型的准确度。如图2的操作(VII)所示，如图6和图8中所描述的用户的全身的3D骨架模型可 用于在每一时间情形下输出用户的全身的轨迹。图9是示出根据示例实施例的生成骨架模型的方法的整个过程的流程图。参照图1和图9，在操作S901，图像传感器107可采集图像数据，运动传感器108 可采集运动数据。然后，采集的图像数据和运动数据可被输入到设备100中。在操作S902，设备100可在由图像传感器107采集的图像数据和由运动传感器 108采集的运动数据之间执行同步。在这种情况下，设备100可对数据的位置信息进行同步 (空间同步)，以在相同位置交叉参照在不同位置采集的图像数据和运动数据。另外，设备 100可对图像数据和运动数据的时间信息进行同步(时间同步)，以在相同的时间交叉参照 在不同时间采集的图像数据和运动数据。例如，设备100可通过基于预定的参考位置转换图像数据中的运动传感器108的 位置以及运动数据中的运动传感器108的位置，来对数据的位置信息进行同步。另外，设备 100可利用数据插值来对图像数据的时间信息和运动数据的时间信息进行同步。在操作S903，设备100可从同步的图像数据中提取用户的剪影。提取的剪影的数 量可依据图像数据的数量而不同。在操作S904，设备100可从同步的运动数据计算用户的关节的位置或取向。在这 种情况下，由于运动传感器108被附着在用户的全身的关节部位，所以可关于关节部位计 算用户的关节的位置或取向。在生成3D骨架模型时可计算剩余关节。在操作S905，设备100可利用剪影，并且还利用关节的位置或取向来生成用户的 全身的3D骨架模型。根据示例实施例，设备100可在参照剪影的同时，从关节的位置或取向来生成用 户的全身的3D骨架模型。在这种情况下，设备100可利用逆运动学，从运动数据中所包括的 用户的关节的位置或取向计算剩余关节的解。在这种情况下，当所述解是多个时，设备100可选择包括在剪影的范围内的最佳解。根据其它示例实施例，设备100可在参照关节的位置或取向的同时，从剪影生成 用户的全身的3D骨架模型。在这种情况下，设备100可利用运动数据中所包括的用户的关 节的位置或取向，并且还利用从剪影提取的参考点，来确定包括在剪影的范围内的剩余关 节。根据其它示例实施例，设备100可利用从剪影提取的3D骨架模型和从用户的关节 的位置或取向提取的3D骨架模型中的每一个的误差范围，来生成用户的全身的3D骨架模 型。在这种情况下，设备100可将从剪影提取的3D骨架模型和从用户的关节的位置或取向 提取的3D骨架模型中的每一个的误差范围结合，并选择具有最小误差的位置。当在操作S901至S905中生成用户的全身的3D骨架模型时，在操作S906，设备100 可获得每一时间情形下的3D骨架模型的轨迹。参照图1至图8的描述可应用于图9。如上所述，根据示例实施例，可利用由运动传感器采集的运动数据和由图像传感 器采集的图像数据来生成用户的全身的3D骨架模型，从而提高3D骨架模型的准确度。根据示例实施例，可在图像传感器中设置参考点，从而使运动传感器的数量最小 化。根据示例实施例，可基于关节的位置或取向以及剪影的参考点来应用逆运动学， 从而获得多个3D骨架模型方案，可从所述多个方案中选择最佳方案，从而提高处理速度以 及生成骨架模型的准确度。根据示例实施例，可使用剪影的参考点和关节的位置或取向，从而生成精确的3D 骨架模型。根据示例实施例，可使用从剪影提取的3D骨架模型和从用户的关节的位置或取 向提取的3D骨架模型中的每一 3D骨架模型的误差范围，从而生成具有高可靠性和高准确 度的3D骨架模型。除了上述实施例之外，还可通过介质(例如，计算机可读介质)中/上的计算机可 读代码/指令来实现实施例，以控制至少一个处理装置执行上述任何实施例。所述介质可 对应于允许计算机可读代码的存储和/或传输的任何介质。代码/指令的示例可包括由编 译器生成的机器代码以及包含能够被计算机利用解释器执行的高级代码的文件。计算机可读代码可以以各种方式被记录在介质上，记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光学记录介质(例如，⑶-ROM或DVD)。计算机可读代码还 可通过例如传输介质以及互联网元件被传送。因此，根据一个或多个实施例，例如，所述介 质可以是这样定义和可测量的结构，该结构携带或控制信号或信息，如携带比特流的装置。 所述介质还可以是分布式网络，从而计算机可读代码以分布式方式被存储/传送并执行。 另外，仅作为示例，所述处理装置可包括处理器或计算机处理器，处理元件可分布于或包括 在单个装置中。尽管已经显示和描述了若干示例实施例，但是本公开不限于所描述的示例实施 例。相反，本领域技术人员应该理解的是，在不脱离本公开的原理和精神的情况下，可对这 些示例实施例进行改变，本公开的范围由权利要求及其等同物限定。
权利要求
一种生成骨架模型的设备，该设备包括数据同步单元，分别对由图像传感器采集的用户的图像数据和由运动传感器采集的用户的运动数据执行同步；剪影提取单元，从同步的图像数据提取用户的剪影；关节信息计算单元，从同步的运动数据计算用户的关节的位置或取向；骨架模型生成单元，利用所述剪影和用户的关节的位置或取向，生成用户的全身的三维骨架模型。
2.根据权利要求1所述的设备，其中，所述数据同步单元包括空间同步单元，对图像数据和运动数据的位置信息进行同步，以在相同的位置交叉参 照 在不同位置采集的图像数据和运动数据；时间同步单元，对图像数据和运动数据的时间信息进行同步，以在相同的时间交叉参 照在不同时间采集的图像数据和运动数据。
3.根据权利要求2所述的设备，其中，空间同步单元通过基于预定的参考位置转换图像数据中的运动传感器的位置以及运 动数据中的运动传感器的位置，来对图像数据和运动数据的位置信息进行同步；时间同步单元利用数据插值来对运动数据和图像数据的时间信息进行同步。
4.根据权利要求1所述的设备，其中，图像传感器包括关于用户采集深度图像数据的深度图像传感器或者关于用户采集颜 色图像数据的颜色图像传感器；当图像传感器是深度图像传感器时，剪影提取单元从深度图像数据提取用户的剪影， 当图像传感器是颜色图像传感器时，剪影提取单元从颜色图像数据提取用户的剪影。
5.根据权利要求1所述的设备，其中，骨架模型生成单元基于所述剪影，从用户的关节 的位置或取向来生成用户的全身的三维骨架模型。
6.根据权利要求5所述的设备，其中，骨架模型生成单元利用逆运动学，从运动数据中 所包括的用户的关节的位置或取向来计算用户的剩余关节的至少一个解，并且当所述至少 一个解是多个时，选择包括在剪影的范围内的最佳解。
7.根据权利要求1所述的设备，其中，骨架模型生成单元基于用户的关节的位置或取 向，从所述剪影来生成用户的全身的三维骨架模型。
8.根据权利要求7所述的设备，其中，骨架模型生成单元利用从剪影提取的参考点，并 且还利用运动数据中所包括的用户的关节的位置或取向，来确定包括在剪影的范围内的用 户的剩余关节。
9.根据权利要求1所述的设备，其中，骨架模型生成单元利用从剪影提取的三维骨架 模型和从用户的关节的位置或取向提取的三维骨架模型中的每一个的误差范围，来生成用 户全身的三维骨架模型。
10.根据权利要求9所述的设备，其中，骨架模型生成单元将从剪影提取的三维骨架模 型和从用户的关节的位置或取向提取的三维骨架模型中的每一个的误差范围结合，并选择 具有最小误差的位置。
11.一种生成骨架模型的方法，该方法包括分别对由图像传感器采集的用户的图像数据和由运动传感器采集的用户的运动数据执行同步；从同步的图像数据提取用户的剪影；从同步的运动数据计算用户的关节的位置或取向；利用所述剪影和用户的关节的位置或取向，生成用户的全身的三维骨架模型。
12.根据权利要求11所述的方法，其中，执行步骤包括对图像数据和运动数据的位置信息进行同步，以在相同的位置交叉参照在不同位置采 集的图像数据和运动数据；对图像数据和运动数据的时间信息进行同步，以在相同的时间交叉参照在不同时间采 集的图像数据和运动数据。
13.根据权利要求12所述的方法，其中，对位置信息进行同步的步骤通过基于预定的 参考位置转换图像数据中的运动传感器的位置以及运动数据中的运动传感器的位置，来对 图像数据和运动数据的位置信息进行同步，对时间信息进行同步的步骤利用数据插值来对 运动数据和图像数据的时间信息进行同步。
14.根据权利要求11所述的方法，其中，生成三维骨架模型的步骤基于所述剪影，从用 户的关节的位置或取向来生成用户的全身的三维骨架模型。
15.根据权利要求14所述的方法，其中，生成三维骨架模型的步骤利用逆运动学，从运 动数据中所包括的用户的关节的位置或取向来计算用户的剩余关节的至少一个解，并且当 所述至少一个解是多个时，选择包括在剪影的范围内的最佳解。
16.根据权利要求11所述的方法，其中，生成三维骨架模型的步骤基于用户的关节的 位置或取向，从所述剪影来生成用户的全身的三维骨架模型。
17.根据权利要求16所述的方法，其中，生成三维骨架模型的步骤利用从剪影提取的 参考点，并且还利用运动数据中所包括的用户的关节的位置或取向，来确定包括在剪影的 范围内的用户的剩余关节。
18.根据权利要求11所述的方法，其中，生成三维骨架模型的步骤利用从剪影提取的 三维骨架模型和从用户的关节的位置或取向提取的三维骨架模型中的每一个的误差范围， 来生成用户全身的三维骨架模型。
19.根据权利要求18所述的方法，其中，生成三维骨架模型的步骤将从剪影提取的三 维骨架模型和从用户的关节的位置或取向提取的三维骨架模型中的每一个的误差范围结 合，并选择具有最小误差的位置。
全文摘要
本发明提供一种利用运动数据和图像数据生成骨架模型的设备和方法。生成骨架模型的设备可对图像数据和运动数据进行同步，利用从图像数据提取的剪影并且利用从运动数据提取的用户的关节的位置或取向来生成用户的全身的三维(3D)骨架模型。可利用图像数据和运动数据来生成所述骨架模型，从而提高用户的全身的骨架模型的精确度。
文档编号G06T1/00GK101840587SQ20101000317
公开日2010年9月22日 申请日期2010年1月14日 优先权日2009年3月17日
发明者方远喆, 李基彰, 林和燮, 金昌容, 金道均, 韩在濬 申请人:三星电子株式会社