本公开的各个实施例涉及三维(3d)建模和动画。更具体地，本公开的各个实施例涉及用于生成真实的(realistic)带绑定(rigged)三维(3d)模型动画以供视角变换的装置和方法。
背景技术：
三维(3d)计算机图形、建模和动画的领域中的进步已经提供了在3d计算机图形环境中使3d模型动画化和对真实对象进行可视化的能力。诸如3d人物模型的3d内容越来越多地被用在动画电影、游戏和虚拟现实系统中以增强用户体验。3d模型是与特定对象的形状相似的静态3d网格。通常，这种3d模型由通常被称为建模者的计算机图形艺术家通过建模软件应用的使用来手动设计。在动画中可以不以相同的方式使用这种3d模型。通常被称为绑定者的其他3d计算机图形专家手动将诸如数字绑定骨架(digitalrig)的支撑结构引入到静态3d网格以产生带绑定3d模型。带绑定3d模型中的数字绑定骨架充当骨骼，并且包括层次化(hierarchal)互连骨头集合，其可以包括关节和骨头的系统。这允许在带绑定3d模型中限定动画的运动。从除了捕获对象的姿势的对象视角以外的多个视角观看对象的带绑定3d模型动画涉及若干复杂性。进一步地，动画化的带绑定3d模型可能与对象的解剖骨骼结构不相似。例如，动画化的带绑定3d模型的数字绑定骨架的互连骨头的结构和相对尺寸可能不特定于其姿势被捕获的对象的结构。带绑定3d模型的数字绑定骨架的互连骨头的结构和尺寸的这种差异可能不是真实的动画所期望的。
如在本申请的其余部分和参考附图中所阐述的那样，通过所描述的系统与本公开的一些方面的比较，常规和传统的方法的进一步限制和缺点对于本领域技术人员将变得清晰。
技术实现要素：
如在权利要求中更完整地阐述的，如附图中的至少一个所示和/或结合附图中的至少一个所述，大体上提供了一种生成真实的带绑定三维(3d)模型动画以供视角变换的装置和方法。
本公开的这些和其他特征和优点可以通过阅览本公开的以下详细描述连同附图来理解，在附图中相同的附图标记始终表示相同的部分。
附图说明
图1是示出了根据本公开的实施例的生成真实的动画以供视角变换的示例性网络环境的框图。
图2是示出了根据本公开的实施例的示例性电子设备的框图。
图3a、图3b、图3c和图3d共同地示出了根据本公开的实施例的从第一3d模型生成第二3d模型的示例。
图4示出了根据本公开的实施例的用于实现所公开的装置和方法的第一示例性场景，所公开的装置和方法用于生成真实的带绑定3d模型动画以供视角变换。
图5是根据本公开的实施例的用于实现所公开的装置和方法的第二示例性场景，所公开的装置和方法用于生成真实的带绑定3d模型动画以供视角变换。
图6是根据本公开的实施例的用于实现所公开的装置和方法的第三示例性场景，所公开的装置和方法用于生成真实的带绑定3d模型动画以供视角变换。
图7是根据本公开的实施例的用于实现所公开的装置和方法的第四示例性场景，所公开的装置和方法用于生成多个真实的带绑定3d模型动画以供视角变换。
图8是示出了根据本公开的实施例的生成真实的带绑定3d模型动画以供视角变换的示例性操作的流程图。
具体实施方式
在所公开的用于生成真实的带绑定三维(3d)模型动画的装置和方法中可以找到以下所描述的实施方式。本公开的示例性方面可以包括可以通信地耦合到运动感测设备和显示设备的装置。装置可以包括被配置为存储第一3d模型的存储器设备。第一3d模型可以包括以第一骨头取向集合限定的第一层次化互连骨头集合。第一3d模型可以对应于带绑定3d模型。进一步地，第一3d模型中的第一层次化互连骨头集合可以对应于带绑定3d模型中的数字绑定骨架。装置可以被配置为经由通信信道从运动感测设备接收对象的第二层次化互连骨头集合的骨头结构信息。该对象可以对应于人、动物或模仿真人或动物的自然身体移动的机器人。装置可以被配置为将第一3d模型的第一层次化互连骨头集合的第一骨头取向集合修改为第二骨头取向集合。装置可以基于从运动感测设备接收到的骨头结构信息来将第一骨头取向集合修改为第二骨头取向集合。装置可以被配置为通过对第一3d模型中的第一层次化互连骨头集合中的一个或多个骨头的尺寸进行变换来生成第二3d模型。装置可以基于接收到的骨头结构信息对第一层次化互连骨头集合中的一个或多个骨头的尺寸进行变换。装置可以被配置为根据第二骨头取向集合和变换后的第一层次化互连骨头集合在显示设备上使生成的第二3d模型动画化。
根据实施例，第一3d模型的第一层次化互连骨头集合可以包括一个或多个根骨头(rootbones)、一个或多个非根骨头以及一个或多个端骨头(endbones)。装置可以进一步被配置为计算第一层次化互连骨头集合中的单个根骨头相对于第二层次化互连骨头集合中的对应根骨头的相对骨头取向。可以基于对应根骨头的骨头结构信息来计算第一层次化互连骨头集合中的根骨头的相对骨头取向。
装置可以进一步被配置为计算第一层次化互连骨头集合中的非根骨头相对于第二层次化互连骨头集合中的对应非根骨头的相对骨头取向。可以基于第一层次化互连骨头集合中的非根骨头的母骨头(parentbone)的对应母骨头和对应非根骨头的骨头结构信息来计算非根骨头的相对骨头取向。
装置可以进一步被配置为计算第一层次化互连骨头集合中的端骨头相对于第二层次化互连骨头集合中的对应端骨头的相对骨头取向。可以基于第一3d模型中的第一层次化互连骨头集合中的端骨头的关节位置来计算端骨头的相对骨头取向。
装置可以进一步被配置为确定对于第一3d模型的第一层次化互连骨头集合的移动的约束集合以使第二骨头取向集合稳定。可以实时地、接近实时地或滞后地从运动感测设备接收骨头结构信息。骨头结构信息可以包括对象的第二层次化互连骨头集合的骨头取向信息和尺寸信息。该信息可以与对象的视角相关联。
根据本公开的示例性方面，装置可以被配置为从运动感测设备接收多个对象的骨头结构信息。可以实时地、接近实时地或滞后地从运动感测设备接收多个对象的骨头结构信息。装置可以基于第一3d模型和从运动感测设备接收到的多个对象的骨头结构信息来生成多个第二3d模型。
第一3d模型可以进一步包括第一3d模型的一个或多个部分的诸如网格结构的表面表示。装置可以被配置为基于第二取向集合和变换后的第一层次化互连骨头集合对第一3d模型的一个或多个部分的表面表示进行变形。装置可以被配置为通过第二3d模型的生成，使第一3d模型的第一层次化互连骨头集合的一个或多个移动与由运动感测设备跟踪的对象的一个或多个移动同步。
装置可以实时地、接近实时地或滞后地在显示设备上呈现生成的第二3d模型。第二3d模型可以具有一个或多个同步的移动。根据实施例，可以由运动感测设备从对象的视角捕获所接收的骨头结构信息。进一步地，可以从对象的多个视角在显示设备上观看生成的第二3d模型。多个视角可以包括由运动感测设备捕获的对象的视角。生成的第二3d模型可以被呈现在显示设备上以创建对象在第一地点处的虚拟存在，并且该对象可以位于第二地点处。
图1是示出了根据本公开的实施例的生成真实动画以供视角变换的示例性网络环境的框图。参照图1，示出了网络环境100。网络环境100可以包括电子设备102、服务器104、运动感测设备106、对象108、显示设备110和通信网络112。进一步示出了与电子设备102相关联的用户114。用户114也可以与显示设备110相关联。电子设备102可以经由通信网络112通信地耦合到服务器104、运动感测设备106和显示设备110。
电子设备102可以包括可以被配置为生成真实的带绑定3d模型动画的合适的逻辑、电路、接口和/或代码。如同实际骨骼那样，带绑定3d模型中的绑定骨架包括层次化互连骨头集合，类似于关节和骨头的人类系统，这允许限定在带绑定3d模型的动画化期间使用的移动。电子设备102可以被配置为基于由运动感测设备106跟踪的对象108的移动来在显示设备110上对真实的带绑定3d模型进行动画化。电子设备102的示例可以包括但不限于游戏设备、视频会议系统、基于增强现实的设备、计算设备、服务器、计算机工作站、大型机和/或其他电子设备。
服务器104可以包括可以被配置为存储一个或多个带绑定3d模型的合适的电路、接口和/或代码。服务器104的示例可以包括但不限于应用服务器、云服务器、web服务器、数据库服务器、文件服务器、游戏服务器、大型机服务器或者其组合。
运动感测设备106可以包括可以被配置为捕获对象108的运动的合适的逻辑、电路、接口和/或代码。运动感测设备106可以被配置为实时地、接近实时地或滞后地捕获对象108的一个或多个姿势。运动感测设备106可以进一步被配置为基于对应的捕获的姿势来确定对象108的骨头结构信息。骨头结构信息可以包括对象108的骨骼取向信息。运动感测设备106可以被配置为经由通信网络112将确定的骨头结构信息传输到电子设备102。运动传感设备106可以包括诸如深度传感器、红外(ir)传感器和/或颜色传感器(诸如红-绿-蓝(rgb)传感器)的多个传感器，其可以从一个视角捕获对象108的一个或多个姿势。例如，运动感测设备106可以从对象108的右侧捕获对象108的姿势。因此，对象108的右侧可以对应于由运动感测设备106捕获的对象108的视角。运动感测设备106的示例可以包括但不限于深度传感器、ir传感器、rgb传感器、用于移动诸如对象108的对象的3d网格结构发生器、图像传感器和/或运动检测器设备。
对象108可以指其运动将由运动感测设备106捕获的感兴趣对象。对象108可以是人、动物或可以模仿真人或动物的自然身体移动的机器人。人体包括提供支撑身体并保持其形状的框架的骨骼。人体骨骼包括层次化互连骨头集合，其中骨头之间的关节(也称为结合处)允许人体部位(例如头、手和脚)的一定程度的移动。
显示设备110可以包含可以被配置为呈现从电子装置102接收的带绑定3d模型的合适的逻辑、电路、接口和/或代码。根据实施例，显示设备110可以从诸如用户114的用户接收输入。在这种场景中，显示设备110可以是使得用户114能够提供输入的触摸屏。根据实施例，显示设备110可以通过虚拟小键盘、触控笔、基于手势的输入和/或基于触摸的输入来接收输入。可以通过诸如但不限于液晶显示器(lcd)显示、发光二极管(led)显示、等离子体显示和/或有机led(oled)显示技术的几种已知技术来实现显示设备110。根据实施例，显示设备110可以指智能眼镜设备、透视显示器、基于投影的显示器、电致变色显示器和/或透明显示器的显示屏。透视显示器可以是透明或半透明显示器。根据实施例，透视显示器和/或基于投影的显示器可以生成带绑定3d模型在空气中漂浮在离用户的眼睛的预定距离处的3d光学错觉，其旨在提供增强的用户体验。
通信网络112可以包括通信介质，通过该通信介质电子设备102可以通信地耦合到服务器104和/或显示设备110。通信网络112的示例可以包括但不限于互联网、云网络、无线保真(wi-fi)网络、局域网(lan)和/或城域网(man)。网络环境100中的各种设备可以被配置为根据各种有线和无线通信协议连接到通信网络112。这种有线和无线通信协议的示例可以包括但不限于以下中的至少一个：传输控制协议和互联网协议(tcp/ip)、用户数据报协议(udp)、超文本传输协议(http)、文件传输协议(ftp)、紫蜂协议(zigbee)、edge、ieee802.11、光保真(li-fi)、802.16、ieee802.11s、ieee802.11g、多跳通信、无线接入点(ap)、设备到设备通信、蜂窝通信协议和/或蓝牙(bt)通信协议或者其组合。
在操作中，电子设备102可以被配置为存储第一3d模型。第一3d模型可以对应于可以包括第一层次化互连骨头集合的带绑定3d模型。第一层次化互连骨头集合可以对应于数字绑定骨架，数字绑定骨架允许限定在带绑定3d模型的动画化期间的移动。带绑定3d模型内的第一层次化互连骨头集合可以包括一个或多个根骨头、一个或多个非根骨头以及一个或多个端骨头。一个或多个根骨头指没有母骨头的骨头。一个或多个非根骨头指具有至少一个母骨头的骨头。一个或多个端骨头指提供对带绑定3d模型的一个或多个终端部分(诸如头部、拇指部分、脚部)的支撑的骨头。第一3d模型中的第一层次化互连骨头集合可以以第一骨头取向集合限定。第一骨头取向集合可以包括可以表示第一层次化互连骨头集合中的每个骨头的初始静止姿势取向的骨头取向。
电子设备102可以被配置为确定第一层次化互连骨头集合的第一骨头取向集合。第一3d模型可以进一步包括第一3d模型的一个或多个部分的表面表示，诸如网格结构。第一3d模型的一个或多个部分的表面表示可以在基于从运动感测设备106接收到的诸如对象108的对象的骨头结构信息来修改第一骨头取向集合的情况下进行变形。
对象108可以包括被称为支撑对象108的结构的第二层次化互连骨头集合的骨骼结构。对象108可以对应于人、动物或可以模仿真人或动物的自然身体移动的机器人。运动感测设备106通常在对象108的运动的跟踪期间从一个视角捕获对象108的一个或多个姿势。因此，从一个视角捕获的对象108的姿势可以包括对象108的部分深度数据信息。部分深度数据可以包括与从一个视角捕获的诸如对象108的对象的不同表面或身体部分的距离有关的信息。例如，对象108可以位于运动感测设备106可能仅能够捕获对象108的右侧轮廓视图的位置处。在这种情况下，对象108的右侧轮廓视图可以指捕获的视角。在对象108的姿势的捕获之后，运动感测设备106可以被配置为确定对象108的第二层次化互连骨头集合的骨头结构信息。对象108的骨头结构的示例稍后在图3a中描述。骨头取向信息可以表示对象108的捕获的姿势。
骨头结构信息可以包括对象108的第二层次化互连骨头集合的尺寸信息和骨头取向信息。该尺寸信息可以表示对象108的解剖体形。骨头结构信息中的骨头取向信息可以至少包括对象108的第二层次化互连骨头集合中的每个骨头在固定的全局坐标系中的骨头位置信息。骨头结构信息中的骨头取向信息可以进一步包括对象108的第二层次化互连骨头集合中的一个或多个根骨头以及一个或多个非根骨头在固定的全局坐标系中的绝对骨头取向信息。固定的全局坐标系中的绝对骨头取向信息可以表示捕获的对象108的姿势。运动感测设备106可以进一步将骨头结构信息实时地、接近实时地或滞后地传输到电子设备102。
电子设备102可以被配置为接收对象108的第二层次化互连骨头集合的骨头结构信息，对象108的移动可以由运动感测设备106跟踪。电子设备102可以进一步被配置为将第一3d模型的第一层次化互连骨头集合的第一骨头取向集合修改为第二骨头取向集合。电子设备102可以基于从运动感测设备106接收的骨头结构信息将第一骨头取向集合修改为第二骨头取向集合。对于该修改，电子设备102可以被配置为基于接收到的骨头结构信息来计算对于第一层次化互连骨头集合的相对骨头取向。
根据实施例，电子设备102可以被配置为计算一个或多个根骨头中的每一个相对于第二层次化互连骨头集合中的对应根骨头的相对骨头取向。基于第二层次化互连骨头集合中的对应根骨头的骨头结构信息，可以计算根骨头相对于该对应根骨头的相对骨头取向。例如，电子设备102可以确定第一层次化互连骨头集合中的根骨头的骨头取向与第二层次化互连骨头集合中的对应根骨头的骨头取向之间的差别。电子设备102可以基于从接收到的对象108的骨头结构信息获得的骨头取向信息来确定对应根骨头的骨头取向。确定的差别可以对应于相对骨头取向。电子设备102可以进一步利用相对骨头取向来将第一层次化互连骨头集合中的一个或多个根骨头的第一骨头取向集合修改为第二骨头取向集合。
根据实施例，电子设备102可以被配置为计算一个或多个非根骨头中的每一个相对于第二层次化互连骨头集合中的对应非根骨头的相对骨头取向。电子设备102可以基于接收到的第二层次化互连骨头集合中的对应非根骨头的骨头结构信息，计算第一层次化互连骨头集合中的非根骨头相对于该对应非根骨头的相对骨头取向。在非根骨头的情况下，第一层次化互连骨头集合中的非根骨头的母骨头的骨头结构信息也可以用于第一层次化互连骨头集合中的非根骨头的相对骨头取向的计算。非根骨头的母骨头可以指第一层次化互连骨头集合中与非根骨头互连的骨头。进一步地，母骨头的移动可能影响对应非根骨头的移动。
根据实施例，电子设备102可以被配置为基于第一层次化互连骨头集合中的一个或多个端骨头中的每一个的关节位置，计算一个或多个端骨头中的每一个相对于第二层次化互连骨头集合中的对应端骨头的相对骨头取向。电子设备102可以进一步利用骨头结构信息中的骨头位置信息来计算第一层次化互连骨头集合中的一个或多个端骨头中的每一个的相对骨头取向。例如，电子设备102可以确定第一层次化互连骨头集合中的端骨头的关节位置。进一步地，电子设备102可以利用所确定的端骨头的关节位置和第二层次化互连骨头集合中的对应端骨头的骨头位置信息以计算第一层次化互连骨头集合中的端骨头的相对骨头取向。电子设备102可以利用相对骨头取向以将第一层次化互连骨头集合中的一个或多个端骨头的第一骨头取向集合修改为第二骨头取向集合。
在修改之后，电子设备102可以被配置为对于第一3d模型的第一层次化互连骨头集合的移动确定约束集合。电子设备102可以确定约束集合以使第二骨头取向集合稳定。对于第一层次化互连骨头集合中的骨头的约束可以指施加在对应骨头的移动上的限制以使骨头的取向稳定。例如，在第一层次化互连骨头集合中，电子设备102可以确定对于骨头(诸如手腕骨头)的约束，该约束将对应骨头的旋转限制为围绕旋转轴(诸如y轴)一定角度。
根据实施例，电子设备102可以基于所确定的约束集合来进一步将第一层次化互连骨头集合的第一骨头取向集合修改为第二骨头取向集合。例如，电子设备102可以基于约束集合来对于第一层次化互连骨头集合更新相对骨头取向。因此，可以利用更新后的相对骨头取向以将第一层次化互连骨头集合中的一个或多个根骨头的第一骨头取向集合修改为第二骨头取向集合。在图3a至图3d中描述约束集合的确定的进一步细节。
电子设备102可以进一步被配置为变换第一3d模型的第一层次化互连骨头集合中的一个或多个骨头的尺寸以生成第二3d模型。电子设备102可以基于接收到的骨头结构信息来变换第一层次化互连骨头集合中的一个或多个骨头的尺寸。电子设备102可以利用对象108的第二层次化互连骨头集合的骨头结构信息中的尺寸信息以变换第一层次化互连骨头集合中的一个或多个骨头的尺寸。例如，电子设备102可以基于接收到的骨头结构信息来增加第一层次化互连骨头集合中的骨头的尺寸以匹配第二层次化互连骨头集合中的骨头的尺寸。生成的第二3d模型可以与对象108相似。进一步地，第二3d模型的生成可以包括第一3d模型的一个或多个部分的表面表示的变形。电子设备102可以基于第二骨头取向集合和变换后的第一层次化互连骨头集合来使第一3d模型的一个或多个部分的表面表示变形。电子设备102可以进一步被配置为根据第二取向集合和变换后的第一层次化互连骨头集合在显示设备110上对生成的第二3d模型进行动画化。
根据实施例，运动感测设备106可以被配置为捕获与对象108类似的多个对象的一个或多个姿势。运动感测设备106可以确定与捕获的一个或多个姿势下的多个对象中的每一个有关的骨头结构信息。因此，电子设备102可以经由通信网络112实时地、接近实时地或滞后地从运动感测设备106接收多个对象的骨头结构信息。进一步地，电子设备102可以基于一个或多个第一3d模型以及从运动感测设备106接收的多个对象的骨头结构信息来并发地生成多个第二3d模型。根据实施例，电子设备102可以检索存储在服务器104中的第一3d模型。根据实施例，在不偏离本公开的范围的情况下，可以由服务器104实现电子设备102的功能或操作。
图2是示出了根据本公开的实施例的示例性电子设备的框图。结合来自图1的元件解释图2。参照图2，示出了电子设备102。电子设备102可以包括处理器202、存储器204、取向估计单元206、模型变形单元208、输入/输出(i/o)设备210和网络接口214。i/o设备210可以包括显示屏210a，可以利用该显示屏210a以呈现应用接口212。处理器202可以通信地耦合到存储器204、取向估计单元206、模型变形单元208、i/o设备210和网络接口214。网络接口214可以被配置为经由通信网络112与服务器104和运动感测设备106进行通信。
处理器202可以包括可以被配置为执行存储在存储器204中的一组指令的合适的逻辑、电路、接口和/或代码。可以基于本领域已知的多种处理器技术来实现处理器202。处理器202的示例可以是图形处理单元(gpu)、中央处理单元(cpu)、基于x86的处理器、精简指令集计算(risc)处理器、专用集成电路(asic)处理器、复杂指令集计算(cisc)处理器、其他处理器和/或其组合。例如，gpu和cpu可以并发地工作以生成真实的动画。在这种情况下，可以由cpu执行相对取向计算，并且gpu可以执行诸如第一3d模型和第二3d模型的3d模型的渲染。
存储器204可以包括可以被配置为存储可由处理器202执行的一组指令的合适的逻辑、电路和/或接口。存储器204可以被配置为存储操作系统和相关联的应用。存储器204可以进一步被配置为存储各种算法以确定带绑定3d模型中的层次化互连骨头集合的一个或多个骨头取向。存储器204的实现的示例可以包括但不限于随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、硬盘驱动器(hdd)、固态驱动器(ssd)、cpu高速缓存和/或安全数字(sd)卡。
取向估计单元206可以包括可以被配置为确定带绑定3d模型中的层次化互连骨头集合的一个或多个骨头取向的合适的逻辑、电路、接口和/或代码。取向估计单元206可以进一步被配置为计算带绑定3d模型中的骨头相对于与对象108相关联的另一个骨头的相对取向。取向估计单元206可以被实现为电子设备中的单独的处理器或电路。取向估计单元206和处理器202可以被实现为执行取向估计单元206和处理器202的功能的处理器集群或集成处理器。取向估计单元206可以被实现为存储在存储器204中的一组指令，当该组指令由处理器202执行时，可以执行电子设备102的功能和操作。
模型变形单元208可以包括可以被配置为将诸如第一3d模型的带绑定3d模型的层次化互连骨头集合的第一骨头取向集合修改为第二骨头取向集合的合适的逻辑、电路、接口和/或代码。模型变形单元208可以进一步被配置为对第一3d模型执行骨头长度参数化操作以生成第二3d模型。骨头长度参数化操作可以基于对象108的一个或多个骨头的尺寸来变换第一3d模型中的层次化互连骨头集合中的一个或多个骨头的尺寸。进一步地，模型变形单元208可以被配置为在显示设备110上使第二3d模型动画化。模型变形单元208可以被实现为电子设备102中的单独的处理器或电路。模型变形单元208和处理器202可以被实现为执行模型变形单元208和处理器202的功能的处理器集群或集成处理器。模型变形单元208可以被实现为存储在存储器204中的一组指令，当该组指令由处理器202执行时，可以执行电子设备102的功能和操作。
i/o设备210可以包括可以被配置为接收来自用户114的输入的合适的逻辑、电路、接口和/或代码。i/o设备210可以进一步被配置为向用户114提供输出。i/o设备210可以包括可以被配置为与处理器202进行通信的各种输入和输出设备。输入设备的示例可以包括但不限于触摸屏、键盘、鼠标、操纵杆和/或麦克风。输出设备的示例可以包括但不限于显示屏210a和/或扬声器。
显示屏210a可以包括可以被配置为使得应用接口212从多个视角显示带绑定3d模型的真实的动画的合适的逻辑、电路、接口和/或代码。根据实施例，显示屏210a可能能够接收来自用户114的输入。在这种场景中，显示屏210a可以是使得用户114能够提供输入的触摸屏。触摸屏可以对应于电阻式触摸屏、电容式触摸屏或热触摸屏中的至少一个。根据实施例，显示屏210a可以通过虚拟小键盘、触控笔、基于手势的输入和/或基于触摸的输入来接收输入。可以通过诸如但不限于液晶显示器(lcd)显示、发光二极管(led)显示、等离子显示和/或有机led(oled)显示技术中的至少一种和/或其他显示的数种已知技术来实现显示屏210a。根据实施例，显示屏210a可以指智能眼镜设备、透视显示器、基于投影的显示器、电致变色显示器和/或透明显示器的显示屏。显示屏210a可以与显示设备110类似。
应用接口212可以对应于在诸如显示屏210a的显示屏上呈现的用户接口(ui)。根据实施例，应用接口212可以进一步在诸如显示设备110的显示设备上呈现。应用接口212可以向用户114显示与对象(诸如对象108)相关联的第二3d模型动画。通过应用接口212的使用，可以从多个视角观看第二3d模型。应用接口212的示例可以包括但不限于图形用户接口(gui)。
网络接口214可以包括可以被配置为经由通信网络112在电子设备102、服务器104和运动感测设备106之间建立通信的合适的逻辑、电路、接口和/或代码。网络接口214可以通过各种已知技术的使用来实现以支持电子设备102与通信网络112的有线或无线通信。网络接口214可以包括但不限于天线、射频(rf)收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码器(codec)芯片组、用户识别模块(sim)卡和/或本地缓冲器。网络接口214可以经由无线通信与诸如互联网、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(lan)和/或城域网(man))的网络进行通信。无线通信可以使用多种通信标准、协议和技术中的任何一种，诸如全球移动通信系统(gsm)、增强数据gsm环境(edge)、宽带码分多址(w-cdma)、长期演进(lte)、码分多址(cdma)、时分多址(tdma)、蓝牙、无线保真(wi-fi)(诸如ieee802.11a、ieee802.11b、ieee802.11g和/或ieee802.11n)、互联网协议上的语音(voip)、光保真(li-fi)、wi-max、用于电子邮件、即时消息和/或短消息服务(sms)的协议。
如图1中所描述的由电子设备102执行的功能和/或操作可以由处理器202、取向估计单元206和/或模型变形单元208执行。由处理器202、取向估计单元206和模型变形单元208执行的其它操作在例如图3a、图3b、图3c和图3d中进一步描述。
图3a、图3b、图3c和图3d共同地示出了根据本公开的实施例的从第一3d模型生成第二3d模型的示例。结合图1和图2的元件描述图3a、图3b、图3c和图3d。参照图3a，示出了存储在存储器204中的第一3d模型302。第一3d模型302可以是可以包括诸如第一层次化互连骨头集合304的数字绑定骨架的带绑定3d模型。第一层次化互连骨头集合304可以包括一个或多个根骨头，诸如根骨头304a。第一层次化互连骨头集合304可以进一步包括一个或多个非根骨头，诸如第一非根骨头304b和第二非根骨头304c。第一层次化互连骨头集合304还可以包括一个或多个端骨头，诸如端骨头304d。还示出了第一非根骨头304b的骨头长度306。
还示出了由运动感测设备106确定的对象108的骨骼结构，诸如第二层次化互连骨头集合308。可以从运动感测设备106接收诸如人的对象108的第二层次化互连骨头集合308的骨头结构信息。在从运动感测设备106作为骨头结构信息接收的第二层次化互连骨头集合308中示出了根骨头310a、第一非根骨头310b、第二非骨头根310c和端骨头310d。
在图3a中还示出了第二3d模型312。第二3d模型312可以包括变换后的第一层次化互连骨头集合314。在第二3d模型312的变换后的第一层次化互连骨头集合314中描绘了根骨头314a、第一非根骨头314b、第二非根骨头314c、端骨头314d。在第二3d模型312的变换后的第一层次化互连骨头集合314中描绘了第一非根骨头314b的骨头长度316。
根据示例，存储器204可以被配置为存储第一3d模型302。根骨头304a可以表示第一层次化互连骨头集合304的根骨头中的一个。第一非根骨头304b和第二非根骨头304c可以表示第一层次化互连骨头集合304中的两个非根骨头。端骨头304d可以表示第一层次化互连骨头集合304中的端骨头中的一个。第一层次化互连骨头集合304可以提供支撑第一3d模型302的一个或多个部分的表面表示(例如网格结构)的框架。第一3d模型302的一个或多个部分可以指一个或多个身体部分，诸如头部、臂部和/或腿部等。
可以以第一骨头取向集合限定第一3d模型302的第一层次化互连骨头集合304(或第一3d模型302的第一层次化互连骨头集合304可以在于第一骨头取向集合)，第一骨头取向集合可以表示第一姿势。第一骨头取向集合可以包括骨头排列(alignments)和方向，骨头排列和方向可以表示第一层次化互连骨头集合304中的每个骨头的初始静止姿势。取向估计单元206可以被配置为确定第一3d模型302的第一层次化互连骨头集合304的第一骨头取向集合。取向估计单元206可以确定可以表示第一骨头取向集合的第一四元数集合。四元数指用于表示诸如对象108的对象或对象的一个或多个部分在3d空间中的可能取向和/或旋转的数学符号。
处理器202可以被配置为从运动感测设备106接收诸如对象108之类的对象的第二层次化互连骨头集合308的骨头结构信息。处理器202可以实时地，接近实时地或滞后地经由网络接口214从运动感测设备106接收骨头结构信息。根据实施例，运动感测设备106可能从一个视角捕获了对象108的骨头结构信息。在骨头结构信息的捕获时，对象108可以以第二姿势取向。例如，对象108的右轮廓视图可以位于运动感测设备106的前方。因此，运动感测设备106可以捕获以第二姿势取向的对象108的右轮廓视图的骨头结构信息。换言之，运动感测设备106可以从单个视角捕获对象108的部分骨头结构信息，诸如部分深度数据。
骨头结构信息可以包括对象108的第二层次化互连骨头集合308的尺寸信息和骨头取向信息。骨头取向信息可以至少包括对象108的第二层次化互连骨头集合308中的每个骨头在固定的全局坐标系中的骨头位置信息。例如，矢量[1,1,0]可以表示第二层次化互连骨头集合308中的骨头的骨头位置。骨头取向信息可以进一步包括对象108的第二层次化互连骨头集合308在固定的全局坐标系中的绝对骨头取向。骨头取向可以被表示为第二四元数集合。对象108的第二层次化互连骨头集合308可以进一步包括一个或多个根骨头、一个或多个非根骨头以及一个或多个端骨头。因此，骨头结构信息可以包括与第二层次化互连骨头集合308的一个或多个根骨头(诸如根骨头314a)、一个或多个非根骨头(诸如第一非根骨头314b和第二非根骨头314c)以及一个或多个端骨头(诸如端骨头314d)相关联的取向和尺寸信息。
在从运动感测设备106接收到骨头结构信息之后，模型变形单元208可以被配置为将第一3d模型302中的第一层次化互连骨头集合304的第一骨头取向集合修改为第二骨头取向集合。换言之，基于接收到的骨头结构信息，第一3d模型302的第一姿势可以被修改为与对象108的第二姿势相似。对于该修改，模型变形单元208可以被配置为基于接收到的第二层次化互连骨头集合308的骨头结构信息来针对第一3d模型302中的第一层次化互连骨头集合304计算相对骨头取向。换言之，模型变形单元208可以被配置为计算第一3d模型302中的第一层次化互连骨头集合304的一个或多个根骨头、一个或多个非根骨头以及一个或多个端骨头的相对骨头取向。例如，在图3b至图3d中提供了相对骨头取向的计算的示例。
模型变形单元208可以进一步被配置为对于第一3d模型302的第一层次化互连骨头集合304的移动确定约束集合。模型变形单元208可以确定约束集合以使第二骨头取向集合稳定。换言之，模型变形单元208可以对第一层次化互连骨头集合304的移动施加一组限制以在第二3d模型312中生成真实的移动。例如，模型变形单元208可以基于第二取向集合中的手腕骨头的对应取向来确定在第一层次化互连骨头集合304中的诸如该手腕骨头的骨头的一个或多个3d(x、y和z)坐标。可以对于手腕骨头在对应旋转轴(诸如“y”轴)中的移动确定约束。模型变形单元208可以对于手腕骨头在“y”轴方向(即，手腕骨头的旋转轴)上的移动设置诸如“0度”的约束。根据实施例，模型变形单元208可以进一步基于所确定的约束集合将第一3d模型302中的第一层次化互连骨头集合304的第一骨头取向集合修改为第二骨头取向集合。
模型变形单元208可以进一步被配置为变换第一3d模型302的第一层次化互连骨头集合304中的一个或多个骨头的尺寸以生成第二3d模型312。模型变形单元208可以基于接收到的骨头结构信息来变换第一3d模型302中的第一层次化互连骨头集合304中的一个或多个骨头的尺寸。模型变形单元208可以利用骨头结构信息中的第二层次化互连骨头集合308的尺寸信息来变换第一层次化互连骨头集合304中的一个或多个骨头的尺寸。如图所示，模型变形单元208可以基于第二层次化互连骨头集合308中的第一非根骨头310b的尺寸信息来自动地将第一非根骨头304b的骨头长度306减小到骨头长度316。类似地，模型变形单元208可以基于第二层次化互连骨头集合308中的对应一个或多个骨头的对应尺寸信息来变换第一层次化互连骨头集合304中的其他一个或多个骨头的尺寸。第二3d模型312可以包括以第二取向集合限定的变换后的第一层次化互连骨头集合。第二3d模型312可以与由运动感测设备106捕获的对象108的姿势和结构相似。
第二3d模型312的生成可以进一步包括第一3d模型302的一个或多个部分的表面表示的变形。模型变形单元208可以被配置为基于第二骨头取向集合和变换后的第一层次化互连骨头集合314对第一3d模型302的一个或多个部分的表面表示进行变形。如图所示，基于骨头结构信息中的第二非根骨头310c的骨头取向信息，由于初始取向到最终取向的修改，第二非根骨头304c可以被修改为第二非根骨头314c。由于该修改，与第二非根骨头304c相关联的表面表示可以根据第二3d模型312中的第二非根骨头314c的最终取向而变形。
处理器202可以进一步被配置为根据第二取向集合和变换后的第一层次化互连骨头集合314在显示设备110上对生成的第二3d模型312进行动画化。第二3d模型312的动画化可以包括基于从运动感测设备106实时地、接近实时地或滞后地接收到的骨头结构信息，对第一3d模型302进行实时地、接近实时地或者滞后地修改和变换。生成的第二3d模型312的动画化可以使得生成的第二3d模型312能够在显示设备110上从多个视角观看。多个视角可以包括运动感测设备106可能捕获了对象108的第二姿势的一个视角。生成的第二3d模型312可以向诸如电子设备102的装置提供在没有任何人为现象(artifact)的情况下显示带绑定3d模型的能力。作为第一3d模型302的第一层次化互连骨头集合304的修改和变换的结果，由运动感测设备106跟踪的诸如用户114的用户的实际移动可能是由生成的第二3d模型312可模仿的。生成的第二3d模型312可以用于视频会议中以显示具有现实移动的人的带绑定3d模型，而不是视频会议系统的两个设备之间的通用视频共享。进一步地，生成的第二3d模型312可以用于在基于虚拟现实的远程呈现系统中创建虚拟存在，如例如图5中所描述的。生成的第二3d模型312还可以在游戏系统中找到应用，如例如图6中所描述的。
参照图3b，示出了根骨头304a的静止姿势骨头取向318、第二层次化互连骨头集合308中的根骨头310a的绝对骨头取向320以及根骨头304a的相对骨头取向322。取向估计单元206可以确定根骨头304a的静止姿势骨头取向318。根骨头304a的静止姿势骨头取向318可以被包括在第一3d模型302的第一层次化互连骨头集合304的第一骨头取向集合中。根骨头304a的静止姿势骨头取向318可以由静止姿势四元数(r)表示。进一步地，从运动感测设备106接收到的骨头结构信息可以包括与第二层次化互连骨头集合308中的根骨头310a的绝对骨头取向320有关的骨头取向信息。根骨头310a的绝对骨头取向320可以由绝对四元数(q)表示。
取向估计单元206可以计算根骨头304a相对于第二层次化互连骨头集合308中的根骨头310a的相对骨头取向322。对于根骨头304a的相对骨头取向322的计算，取向估计单元206可以通过如下所示的等式(1)的使用来确定静止姿势四元数(r)与绝对四元数(q)之间的差(w)：
w＝r-1q(1)
其中，r-1表示静止姿势四元数(r)的共轭。
差(w)可以表示根骨头304a的相对骨头取向322。模型变形单元208可以进一步将根骨头304a的相对骨头取向322应用于根骨头304a的静止姿势骨头取向318。将相对骨头取向322应用于静止姿势骨头取向318可以将静止姿势骨头取向318修改为绝对骨头取向320。将静止姿势骨头取向318修改为绝对骨头取向320是描述将第一骨头取向集合修改为第二骨头取向集合的示例。
模型变形单元208可以进一步被配置为确定对于根骨头304a的约束集合以使第二骨头取向集合中的对应取向稳定。根据实施例，模型变形单元208可以基于对应约束来更新根骨头310a的绝对骨头取向320。例如，骨头结构信息中的根骨头310a可能与对真人来说不太可能的非现实移动相关联。因此，模型变形单元208可以确定对于根骨头310a的移动的约束。进一步地，基于确定的约束，取向估计单元206可以更新绝对骨头取向320以使运动真实。根据实施例，取向估计单元206可以重新计算静止姿势四元数(r)和与更新后的绝对骨头取向320相关联的更新后的绝对四元数(q)之间的差(w)。根据实施例，如针对第一非根骨头304b计算那样，结合取向估计单元206，模型变形单元208可以计算其他一个或多个非根骨头的相对骨头取向。
参照图3c，示出了第一非根骨头304b的第一静止姿势骨头取向324a、第一非根骨头304b的第二静止姿势骨头取向324b以及第一非根骨头304b(图3a)的母骨头的静止姿势骨头取向326。还示出了第一非根骨头310b的绝对骨头取向328、第一非根骨头310b的母骨头的绝对骨头取向330以及第一非根骨头304b的相对骨头取向332。
取向估计单元206可以确定第一非根骨头304b的第一静止姿势骨头取向324a。第一非根骨头304b的第一静止姿势骨头取向324a可以被包括在第一3d模型302的第一层次化互连骨头集合304的第一骨头取向集合中。第一静止姿势骨头取向324a可以由第一静止姿势四元数(rc)表示。进一步地，从运动感测设备106接收到的骨头结构信息可以包括与第二层次化互连骨头集合308中的第一非根骨头310b的绝对骨头取向328有关的骨头取向信息。第二层次化互连骨头集合308中的第一非根骨头310b可以对应于第一3d模型302的第一层次化互连骨头集合304中的第一非根骨头304b。绝对骨头取向328可以由绝对四元数(qc)表示。
取向估计单元206可以确定第一非根骨头304b的母骨头的静止姿势骨头取向326。第一非根骨头304b的母骨头的静止姿势骨头取向326可以被包括在3d模型302的第一层次化互连骨头集合304的第一骨头取向集合中。第一非根骨头304b的母骨头的静止姿势骨头取向326可以由静止姿势四元数(rp)表示。从运动感测设备106接收到的骨头结构信息可以进一步包括与第二层次化互连骨头集合308中的第一非根骨头310b的母骨头的绝对骨头取向330有关的骨头取向信息。第二层次化互连骨头集合308中的第一非根骨头310b的母骨头的绝对骨头取向330可以由绝对四元数(qp)表示。
取向估计单元206可以计算第一层次化互连骨头集合304中的第一非根骨头304b相对于第二层次化互连骨头集合308中的第一非根骨头310b的相对骨头取向332。对于第一非根骨头304b的相对骨头取向332的计算，取向估计单元206可以通过如下所示的等式(2)的使用来确定静止姿势四元数(rp)和第一静止姿势四元数(rp)之间的第一差(w1)。
其中
取向估计单元206可以进一步通过如下所示的等式(3)的使用来确定绝对四元数(qp)与绝对四元数(qc)之间的第二差(w2)。
其中，
取向估计单元206可以进一步通过如下所示的等式(4)的使用来确定第一差(w1)与第二差(w2)之间的第三差(w3)。
其中
第三差(w3)可以表示第一非根骨头304b的相对骨头取向332。模型变形单元208可以进一步将相对骨头取向332应用于第一非根骨头304b的第二静止姿势骨头取向324b。相对骨头取向332的应用可以发生在第一非根骨头304b的母骨头从静止姿势骨头取向326移动到绝对骨头取向330、而第一非根骨头304b保持在第一静止姿势骨头取向324a中的情况下。第二静止姿势骨头取向324b可以表示第一非根骨头304b的静止姿势骨头取向。在这种场景中，第一非根骨头304b的第一静止姿势骨头取向324a可以被称为第二静止姿势骨头取向324b。将相对骨头取向332应用于第二静止姿势骨头取向324b可以将第二静止姿势骨头取向324b修改为绝对骨头取向328。将第二静止姿势骨头取向324b修改为绝对骨头取向330是将第一骨头取向集合修改为第二骨头取向集合的示例。
模型变形单元208可以进一步被配置为确定对于第一非根骨头304b和母骨头的约束集合以使第二骨头取向集合中的对应取向稳定。根据实施例，模型变形单元208可以基于对应约束来更新第一非根骨头304b的母骨头的绝对骨头取向330。例如，骨头结构信息中的第一非根骨头310b可以具有对于实际的人来说不太可能的非现实移动。因此，模型变形单元208可以确定对于第一非根骨头310b和对应母骨头的移动的约束。进一步地，基于确定的约束，取向估计单元206可以更新第一非根骨头304b的母骨头的绝对骨头取向330。进一步地，为使得移动真实，取向估计单元206可以基于对应骨头的更新后的绝对骨头取向330来更新第一非根骨头304b的绝对骨头取向328。
根据实施例，取向估计单元206可以基于第一非根骨头304b的更新后的绝对骨头取向328和对应母骨头的更新后的绝对骨头取向330来重新计算第一差(w1)、第二差(w2)和第三差(w3)。如针对第一非根骨头304b计算那样，结合取向估计单元206，模型变形单元208可以计算其他一个或多个非根骨头的相对骨头取向。
图3d示出了固定的全局坐标系的第一轴334a、第二轴334b、第三轴334c。还示出了第一3d模型302中的端骨头304d的骨头位置336和第二层次化互连骨头集合308中的端骨头310d的骨头位置338。在固定的全局坐标系中，第一轴334a可以表示y轴，第二轴334b可以表示x轴，并且第三轴334c可以表示z轴。
取向估计单元206可以被配置为确定端骨头304d在固定的全局坐标系中的骨头位置336。取向估计单元206可以确定端骨头304d在第一3d模型302中的关节位置。取向估计单元206可以利用与端骨头304d的关节位置相关联的第一取向集合中的取向信息以确定端骨头304d的骨头位置336。骨头位置336可以指表示端骨头304d的位置的矢量，诸如将位置指示为坐标的矢量。取向估计单元206可以进一步基于从骨头结构信息获得的骨头位置信息来识别端骨头310d的骨头位置338。
取向估计单元206可以进一步基于确定的端骨头304d的骨头位置336和识别的端骨头310d的骨头位置338来确定端骨头310d的绝对骨头取向。对于端骨头310d的绝对骨头取向的确定，取向估计单元206可以通过如下所示的等式(5)的使用来确定端骨头310d的旋转轴：
v＝(vx,vy,vz)＝b1×b2(5)
其中，v表示端骨头310d的旋转轴；
b1表示与端骨头310d的骨头位置338相关联的矢量；以及
b2表示与端骨头304d的骨头位置336相关联的另一个矢量。
取向估计单元206可以通过如下所示的等式(6)的使用来进一步确定端骨头310d的旋转角度(θ)：
其中，θ表示端骨头310d的旋转角度；
b1表示与端骨头310d的骨头位置338相关联的矢量；和
b2表示与端骨头304d的骨头位置336相关联的另一个矢量。
在旋转轴(v)和旋转角度(θ)的确定之后，取向估计单元206可以被配置为通过如下所示的等式(7)的使用来确定端骨头310d的绝对骨头取向：
其中q指表示端骨头310d的绝对骨头取向的四元数。
在端骨头310d的绝对骨头取向的确定之后，取向估计单元206可以计算端骨头304d相对于第二层次化互连骨头集合308中的端骨头310d的相对骨头取向。取向估计单元206可以通过端骨头310d的绝对骨头取向和端骨头304d的第一取向集合中的静止姿势骨头取向的使用来计算端骨头304d的相对骨头取向。对于第一非根骨头304b的相对骨头取向的计算，类似于如图3c中所描述的那样，取向估计单元206可以计算端骨头304d的相对骨头取向。
结合取向估计单元206，模型变形单元208可以通过使用与先前在图3c中所描述的用于确定针对第一非根骨头304b的约束的方法相同的方法来进一步确定用于使与端骨头304d相关联的取向稳定的约束。根据实施例，如针对端骨头304d计算的那样，结合取向估计单元206，模型变形单元208可以计算其他一个或多个端骨头的相对骨头取向。
图4示出了根据本公开的实施例的用于实现所公开的装置和方法的第一示例性场景，所公开的装置和方法用于生成真实的带绑定3d模型动画以供视角变换。结合来自图1、图2、图3a至图3d的元件解释图4。参照图4，示出了存储在存储器204中的多个带绑定3d模型402，诸如第一带绑定3d模型402a。第一带绑定3d模型402a可以包括以在第一取向集合404b限定的第一层次化互连骨头集合404a。
还示出了诸如对象108的同一对象的骨骼结构的多个姿势406，诸如第一姿势406a和第二姿势406b。对象108的骨骼结构可以包括第二层次化互连骨头集合308。第二层次化互连骨头集合308的第一姿势406a可以与第一骨头结构信息相关联。进一步地，第二层次化互连骨头集合308的第二姿势406b可以与第二骨头结构信息相关联。还在诸如第二骨头取向集合412a和第三骨头取向集合412b的不同骨头取向下示出了具有变换后的第一层次化互连骨头集合410的第二带绑定3d模型408。还示出了电子设备102、运动感测设备106和显示设备110。
根据第一示例性场景，电子设备102可以从运动感测设备106接收第一骨头结构信息。运动感测设备106可能已经从一个视角捕获了诸如人的对象108的第一姿势406a。第一骨头结构信息可以包括第一姿势406a下的对象108的第二层次化互连骨头集合的骨头取向信息和尺寸信息。
电子设备102可以基于从运动感测设备106接收到的第一骨头结构信息，将第一带绑定3d模型402a的第一层次化互连骨头集合404a的第一骨头取向集合404b修改为第二骨头取向集合412a。第二骨头取向集合412a可以表示对象108的第一姿势406a。进一步地，电子设备102可以基于对象108的第二层次化互连骨头集合404a的尺寸信息对第一带绑定3d模型402a的第一层次化互连骨头集合404a的尺寸进行变换。修改和变换后的第一带绑定3d模型402a可以对应于第二带绑定3d模型408，第二带绑定3d模型408可以与对象108的第一姿势406a相似。
在修改和变换之后，电子设备102可以在显示设备110上对第二带绑定3d模型408进行动画化。可以由诸如用户114的用户经由应用接口212从多个视角观看对象108的第二带绑定3d模型408。
在对象108将第一姿势406a改变为第二姿势406b的情况下，运动感测设备106可以捕获对象108的第二姿势406b，并且基于所捕获的第二姿势406b来确定第二骨头结构信息。电子设备102可以进一步实时地或接近实时地从运动感测设备106接收第二骨头结构信息。因此，电子设备102然后可以将变换后的第一层次化互连骨头集合410的第二骨头取向集合412a修改为第三骨头取向集合412b。第三骨头取向集合412b可以表示对象108的第二姿势406b。电子设备102然后可以基于第二骨头结构信息在显示设备110上经由应用接口212对第二带绑定3d模型408进行动画化。
根据实施例，电子设备102可以接收与多个对象相关联的骨头结构信息。在这种场景中，电子设备102可以对用于多个对象的多个第二带绑定3d模型进行动画化。图7中描述了用于多个对象的多个第二带绑定3d模型的生成的示例。
图5示出了根据本公开的实施例的用于实现所公开的装置和方法的第二示例性场景，所公开的装置和方法用于生成真实的带绑定3d模型动画以供视角变换。结合来自图1至图4的元件解释图5。参照图5，示出了第一地点502和第二地点504。还示出了第一姿势506a和第二姿势506b下的第一人506、第一姿势508a和第二姿势508b下的第二带绑定3d模型508、以及第二人510。进一步示出了电子设备102、无线网络512和应用接口212。
根据第二示例性场景，第一人506可以对应于对象108。无线网络512可以对应于通信网络112。运动感测设备106可以处于“开机”状态。第一人506可以出现于第一地点502处。第一地点502可以配备有运动感测设备106以捕获第一人506的一个或多个姿势。例如，运动感测设备106可以从一个视角捕获第一人506的第一姿势506a。在第一姿势506a的捕获之后，运动感测设备106可以确定在第一姿势506a下捕获的第一人506的骨头结构信息。运动感测设备106可以经由无线网络512将确定的第一人506的骨头结构信息传输到电子设备102。
在接收到骨头结构信息之后，电子设备102可以修改和变换存储在存储器204中的第一带绑定3d模型(未示出)以对第一姿势508a下的第二带绑定3d模型508进行动画化。在图3a至图3d中描述了从第一带绑定3d模型生成第二带绑定3d模型的示例。第二带绑定3d模型508的第一姿势508a可以与第一人506的第一姿势506a同步。电子设备102可以经由应用接口212对第一姿势508a下的第二带绑定3d模型508进行动画化。应用接口212可以呈现3d图形环境，3d图形环境可以允许第二人510从多个视角观看第一姿势508a下的第二带绑定3d模型508。第二人510可以与应用接口212进行交互以观看从第一3d带绑定模型的初始静止姿势向第一姿势508a发展的第二带绑定3d模型508的多个视角。
进一步地，在第一人506将第一姿势506a改变为第二姿势506b的情况下，电子设备102可以经由应用接口212将第二带绑定3d模型508重新发展到第二姿势508b。因此，电子设备102可以将第二带绑定3d模型508的第一姿势508a改变为第二姿势508b。第二带绑定3d模型508的第二姿势508b可以与第一人506的第二姿势506b同步。第二人510可能能够观看动画化的第二带绑定3d模型508，该第二带绑定3d模型508的移动与第一人506的移动同步。经由应用接口212对第一姿势508a和第二姿势508b下的第二带绑定3d模型508的显示可以在第二地点504处创建第一人506的虚拟存在。
根据实施例，电子设备102的操作可以由服务器104来实现。根据实施例，电子设备102可以在显示设备110上呈现应用接口212，或者在与出现在多个第二地点(未示出)处的多个第二用户(未示出)相关联的多个显示设备(未示出)上呈现应用接口212。
图6示出了根据本公开的实施例的用于实现所公开的装置和方法的第三示例性场景，所公开的装置和方法用于生成真实的带绑定3d模型动画以供视角变换。结合来自图1至图5的元件解释图6。参照图6，示出了第一姿势602a和第二姿势602b下的人602、第一姿势604a和第二姿势604b下的第二带绑定3d模型604。还示出了电子设备102、显示设备110、应用接口212和无线网络606，电子设备102、运动感测设备106和显示设备110可以通过无线网络606相互通信。
根据第三示例性场景，人602可以对应于对象108。无线网络606可以对应于通信网络112。运动感测设备106可以处于“开机”状态。第三示例性场景可以表示游戏环境。运动感测设备106可以捕获人602的一个或多个姿势。例如，如图所示，运动感测设备106可以从一个视角捕获人602的第一姿势602a。运动感测设备106可以进一步确定第一姿势602a下的人602的骨头结构信息，骨头结构信息可以经由无线网络606被传输到电子设备102。因此，基于接收到的骨头结构信息，电子设备102可以修改并变换(预先存储在存储器204中的)初始静止姿势下的第一带绑定3d模型以生成第二带绑定3d模型604。第二带绑定3d模型604可以是变换后的第一带绑定3d模型。可以将第二带绑定3d模型604动画化为与人602的所捕获的第一姿势602a相似的第一姿势604a。图3a至图3d中解释了第二带绑定3d的生成的示例。动画可以经由应用接口212显示在显示设备110上。
进一步地，在人602将第一姿势602a改变为第二姿势602b的情况下，运动感测设备106可以捕获第二姿势602b并且确定第二姿势602b下的人602的骨头结构信息。因此，电子设备102可以基于从运动感测设备106接收到的更新后的骨头结构信息，在显示设备110上从第一姿势604a到第二姿势604b重新生成并重新动画化第二带绑定3d模型604。第二带绑定3d模型604的第二姿势604b可以与人602的第二姿势602b同步。因此，人602可以改变一个或多个姿势以改变可以是游戏场景中的游戏人物的第二带绑定3d模型604的一个或多个姿势。这可以实现对游戏环境中游戏人物的一个或多个参数的控制。
图7是根据本公开的实施例的用于实现所公开的装置和方法的第四示例性场景，所公开的装置和方法用于生成真实的带绑定3d模型动画以供视角变换。结合来自图1至图6的元件解释图7。参照图7，示出了多个第一带绑定3d模型702。多个第一带绑定3d模型702可以包括第一带绑定3d模型702a和另一个第一带绑定3d模型702b。第一带绑定3d模型702a可以包括第一层次化互连骨头集合704a，并且另一个第一带绑定3d模型702b可以包括另一个第一层次化互连骨头集合704b。
还示出了诸如第一人的第二层次化互连骨头集合706a和第二人的另一个第二层次化互连骨头集合706b的多个骨骼结构。还示出了多个第二3d模型708。多个第二3d模型708可以包括第二3d模型708a和另一个第二3d模型708b。第二3d模型708a可以包括变换后的第一层次化互连骨头集合710a，并且另一个第二3d模型708b可以包括另一个变换后的第一层次化互连骨头集合710b。还示出了电子设备102、运动感测设备106和显示设备110。
根据第四示例性场景，电子设备102的存储器204可以存储多个第一带绑定3d模型702。多个第一带绑定3d模型702中的每一个可以包括以第一取向集合限定的第一层次化互连骨头集合704a或704b。多个第一带绑定3d模型702中的每一个可以处于相同姿势。运动感测设备106可能已经从一个视角捕获了第一人和第二人中的每一个的姿势。进一步地，可以由运动感测设备106分别基于第一对象和第二对象的所捕获的姿势并发确定了第一人的第一骨头结构信息和第二人的第二骨头结构信息。第一骨头结构信息可以包括第一人的第二层次化互连骨头集合706a的骨头取向信息和尺寸信息。第二骨头结构信息可以包括第二人的第二层次化互连骨头集合704b的骨头取向信息和尺寸信息。
电子设备102可以基于从运动感测设备106接收到的第一骨头结构信息将第一带绑定3d模型702a的第一层次化互连骨头集合704a的第一骨头取向集合修改为第二骨头取向集合。电子设备102可以进一步基于从运动感测设备106接收到的第二骨头结构信息将第一带绑定3d模型702b的第一层次化互连骨头集合704b的第一骨头取向集合修改为第二骨头取向集合。进一步地，电子设备102可以基于第一对象的第二层次化互连骨头集合706a的尺寸信息对第一带绑定3d模型702a的第一层次化互连骨头集合704a的尺寸进行变换。类似地，电子设备102可以基于第二对象的另一个第二层次化互连骨头集合706b的尺寸信息对第一带绑定3d模型702b的第一层次化互连骨头集合704b的尺寸进行变换。
修改和变换后的第一带绑定3d模型702a可以对应于可以与第一人的姿势相似的第二带绑定3d模型708a。修改和变换后的第一带绑定3d模型702b可以对应于可以与第二对象的姿势相似的第二带绑定3d模型708b。在修改和变换之后，电子设备102可以并发地在显示设备110上对多个第二带绑定3d模型708进行动画化。动画化的多个第二带绑定3d模型708可以由诸如用户114的用户从多个视角观看。根据实施例，电子设备102可以经由呈现在显示设备110(或显示屏210a)上的应用接口212对多个第二带绑定3d模型708进行动画化。
图8是示出了根据本公开的实施例的生成真实的带绑定3d模型动画以供视角变换的示例性操作的流程图。参照图8，示出了流程图800。结合图1至图7描述流程图800。在电子设备102处实施的操作在802开始并且前进到804。
在804处，可以包括第一层次化互连骨头集合的第一3d模型可以存储在电子设备102中。第一3d模型可以对应于带绑定3d模型。第一3d模型中的第一层次化互连骨头集合可以对应于第一3d模型中的数字绑定骨架。第一3d模型中的第一层次化互连骨头集合可以以第一骨头取向集合限定，第一骨头取向集合可以表示第一3d模型的初始静止姿势。进一步地，第一3d模型中的层次化互连骨头集合可以包括一个或多个根骨头、一个或多个非根骨头以及一个或多个端骨头。第一3d模型可以进一步包括第一3d模型的一个或多个部分的表面表示。表面表示可以对应于由第一层次化互连骨头集合支撑的网格结构。在图3a中示出和描述的示例描绘了在电子设备102存储第一3d模型302时的电子设备102。还示出了诸如根骨头304a的一个或多个根骨头、诸如第一非根骨头304b和第二非根骨头304c的一个或多个非根骨头以及诸如端骨头304d的一个或多个端骨头中的每一个的示例。
在806处，经由通信信道从运动感测设备106接收对象108的第二层次化互连骨头集合的骨头结构信息。可以实时地、接近实时地或滞后地从运动感测设备106接收骨头结构信息。骨头结构信息可以包括对象108的第二层次化互连骨头集合的骨头取向信息和尺寸信息。图3a中示出和描述的示例描绘了在电子设备102从运动感测设备106接收对象108的第二层次化互连骨头集合308的骨头结构信息时的电子设备102。
在808处，可以将第一3d模型的第一层次化互连骨头集合的第一骨头取向集合修改为第二骨头取向集合。第一骨头取向集合到第二骨头取向集合的修改可以基于从运动感测设备106接收到的骨头结构信息。第二骨头取向集合可以表示由运动感测设备106捕获的对象108的姿势。对于第一骨头取向集合的修改，电子设备102可以计算第一3d模型的第一层次化互连骨头集合中的一个或多个骨头中的每一个的相对骨头取向。在图3a中描述了将第一骨头取向集合修改为第二骨头取向集合的示例。进一步地，在图3b和图3c中描述了计算的相对骨头取向322和计算的相对骨头取向332的示例。
在810处，可以对于第一3d模型的第一层次化互连骨头集合的移动确定约束集合以使第二骨头取向集合稳定。该约束集合可以指施加在第一层次化互连骨头集合的移动上的限制。这可以被进行以使得第二骨头取向集合真实。在图3a至图3d中描述了约束集合的一个示例。
在812处，可以通过对第一3d模型中的第一层次化互连骨头集合中的一个或多个骨头的尺寸的变换来生成第二3d模型。对第一层次化互连骨头集合中的一个或多个骨头的尺寸的变换可以基于接收到的骨头结构信息。第二3d模型的示例可以包括第二3d模型312(图3a)、第二3d模型408(图4)和多个第二3d模型708(图7)。进一步地，第一3d模型的一个或多个部分的表面表示可以基于第二取向集合和变换后的第一层次化互连骨头集合而变形。在图3a中描述了将第一非根骨头304b的骨头长度306变换为骨头长度316的示例。进一步地，图3a中描述了第一3d模型302的一个或多个部分的表面表示的变形的示例。
在814处，可以根据第二骨头取向集合和变换后的第一层次化互连骨头集合对生成的第二3d模型进行动画化。可以在显示设备110上从多个视角观看动画化的第二3d模型。多个视角还可以包括由运动感测设备106捕获的对象108的一个视角。第二3d模型的动画可以包括将第一3d模型的第一层次化互连骨头集合的一个或多个移动与由运动感测设备106跟踪的对象108的一个或多个移动同步。图3a中描述了动画化的第二3d模型312。可以在动画、虚拟存在(图5)的创建和游戏环境(图6)中利用动画化的第二3d模型。控制可以传递到结束816。
根据本公开的实施例，公开了用于生成真实的动画的装置。诸如电子设备102(图1)的装置可以包括耦合到运动感测设备(诸如运动感测设备106(图1))和显示设备(诸如显示设备110(图1))的存储器设备(诸如存储器204)和一个或多个电路(诸如处理器202、取向估计单元206和模型变形单元208(图2))。存储器204可以被配置为存储可以包括以第一骨头取向集合限定的诸如第一层次化互连骨头集合304、404a、404b、704a或704b的第一层次化互连骨头集合的第一3d模型(诸如第一3d模型302(图3a)、多个带绑定3d模型402(图4)，多个第一3d模型702(图7))。处理器202可以被配置为接收对象(诸如图1中的对象108)的第二层次化互连骨头集合(诸如第二层次化互连骨头集合308、706a或706b)的骨头结构信息。结合模型变形单元208，取向估计单元206可以进一步被配置为将第一3d模型302的第一层次化互连骨头集合的第一骨头取向集合修改为第二骨头取向集合。模型变形单元208可以基于从运动感测设备106接收到的骨头结构信息将第一骨头取向集合修改为第二骨头取向集合。模型变形单元208可以进一步被配置为基于接收到的骨头结构信息，通过对第一3d模型中的第一层次化互连骨头集合中的一个或多个骨头(诸如图3a中的第一非根骨头304b)的尺寸(诸如图3a中的骨头长度306)的变换，生成第二3d模型(诸如第二3d模型312、第二3d模型408或多个第二3d模型708)。处理器202可以进一步根据第二骨头取向集合和变换后的第一层次化互连骨头集合在显示设备110上对生成的第二3d模型312进行动画化。可以从对象108的多个视角观看动画化的第二3d模型312。
在常规的动画3d环境中，从除了捕获诸如对象108的对象的姿势的对象视角之外的多个视角观看对象的带绑定3d模型动画涉及若干复杂性。在这种情况下，可以从单个视角观看带绑定3d模型。进一步地，常规的带绑定3d模型的数字绑定骨架的互连骨头的结构和相对尺寸可能并不特定于其姿势被捕获的对象的结构。带绑定3d模型的数字绑定骨架的互连骨头的结构和尺寸上的这种差异可能不适合于真实的动画并且对于真实的动画可能不是所期望的。因此，为了使得带绑定3d模型在现实上与实际对象更相似，必须创建具有与对象在结构上类似的数字绑定骨架的带绑定3d模型。这可能需要为多个对象创建具有不同尺寸的数字绑定骨架的多个带绑定3d模型，从而导致间接成本和时间的增加。因此，在数字绑定骨架的互连骨头的结构和尺寸方面展现差异的这种带绑定3d模型的动画也可能产生不真实的动画。
诸如电子设备102的所公开的装置的各个实施例包括一个或多个电路，诸如处理器202、取向估计单元206以及模型变形单元208，其可以基于从运动感测设备接收到的结构取向信息将带绑定3d模型的第一取向集合修改为第二取向集合。因此，所公开的装置可以基于多个对象的结构取向信息来修改相同形状的多个带绑定3d模型。进一步地，所公开的装置可以基于结构取向信息对带绑定3d模型中的层次化互连骨头集合中的一个或多个骨头的尺寸进行变换。与常规的动画3d环境相比，对带绑定3d中的层次化互连骨头集合中的一个或多个骨头的尺寸的变换可以自动地生成可能与实际对象的解剖骨骼结构在现实上更相似的带绑定3d模型，该实际对象的移动可以由例如运动感测设备106跟踪。例如，所生成的带绑定3d模型(诸如第二带绑定3d模型)中的数字绑定骨架的互连骨头的结构和相对尺寸可以类似于对象的互连骨头的结构和相对尺寸。因此，取向估计单元206和模型变形单元208使得诸如电子设备102的装置能够生成并显示真实的动画。作为对骨头取向的修改和对骨头尺寸的变换的结果，诸如电子设备102的装置能够通过真实的3d带绑定模型(诸如所生成的第二3d带绑定模型)的使用来生成真实的动画，从而提供3d动画技术中的具体改进。
本公开的各个实施例可以提供其上存储有机器代码和/或计算机程序的非暂态计算机可读介质和/或存储介质、和/或非暂态机器可读介质和/或存储介质，该机器代码和/或计算机程序具有可由包括通信地耦合到运动感测设备和显示设备的一个或多个电路的机器和/或计算机执行的至少一个代码段。该至少一个代码段可以是可由机器和/或计算机执行的，以执行包括第一3d模型的存储的步骤，该第一3d模型包括以第一骨头取向集合限定的第一层次化互连骨头集合。可以从运动感测设备接收对象的第二层次化互连骨头集合的骨头结构信息。第一3d模型的第一层次化互连骨头集合的第一骨头取向集合可以被修改为第二骨头取向集合。第一骨头取向集合到第二骨头取向集合的修改可以基于从运动感测设备接收到的骨头结构信息。可以根据第二骨头取向集合和变换后的第一层次化互连骨头集合对生成的第二3d模型进行动画化。进一步地，可以在显示设备上从多个视角观看动画化的第二3d模型。
根据本公开的示例性方面，电子设备102可以是基于虚拟现实的设备。因此，如本公开中所描述的，由电子设备102执行的所有操作也可以由基于虚拟现实的设备来执行。例如，基于虚拟现实的设备可以向第二人呈现第一人的诸如第二3d模型312的第二3d模型。第二3d模型312可以模仿第一人的一个或多个姿势。还可以用图像数据对第二3d模型312进行纹理化以与第一人相似。因此，基于虚拟现实的设备的第二3d模型312的显示为第二人在远程地点中创建第一人的虚拟存在。例如，在图5中提供了被实现为基于虚拟现实的设备的电子设备102的示例。
根据本公开的另一个示例性方面，电子设备102可以是游戏设备。因此，如在本公开中所描述的，由电子设备102执行的所有操作也可以由游戏设备来执行。例如，游戏设备可以向玩家在游戏环境中呈现诸如第二3d模型312的游戏人物。游戏设备可以进一步使得游戏人物模仿玩家的一个或多个姿势。这可以使玩家能够在游戏环境中控制游戏人物的移动。例如，在玩家开始跑的情况下，游戏人物可以模仿玩家的跑姿势。游戏环境也可以是多玩家游戏。在这种情况下，游戏设备可以呈现多个游戏人物，每个游戏人物在多玩家游戏中模仿多个玩家中的一个。例如在图6中描述了被实现为游戏设备的电子设备102的示例。
根据本公开的又一示例性方面，电子设备102可以是基于3d模型的会议系统。因此，如本公开中所描述的，由电子设备102执行的所有操作也可以由基于3d模型的会议系统来执行。通常，常规的视频会议系统需要高网络带宽以用于视频的无缝传输。在不能满足网络带宽的要求的情况下，视频会议受到阻碍。诸如电子设备102的基于3d模型的会议设备使得能够进行可以不需要高网络带宽用于视频传输的无视频会议。例如，基于3d模型的会议设备可以跟踪参与会议的第一人的一个或多个姿势。然后，基于3d模型的会议设备可以基于所跟踪的第一人的一个或多个姿势对诸如第二3d模型312的带绑定3d模型进行动画化。动画化的带绑定3d模型可以连同第一人的记录音频一起被呈现给参与会议的第二人。基于3d模型的会议设备可以进一步向第一人呈现模仿第二人的一个或多个姿势的另一个动画化的带绑定3d模型。因此，基于3d模型的会议设备使第一人和第二人能够参与会议。例如如图5中所描述的，创建虚拟存在的电子设备102的示例也可以被实现为基于3d模型的会议系统。
本公开可以以硬件或者硬件和软件的组合来实现。本公开可以在至少一个计算机系统中以集中的方式实现，或在不同的元件可以分布在几个互连的计算机系统上的情况下以分布的方式实现。适用于执行本文所描述的方法的计算机系统或其他装置可能是适合的。硬件和软件的组合可以是具有计算机程序的通用计算机系统，该计算机程序在被加载和执行时可以控制计算机系统使其执行本文所描述的方法。本公开可以以包括也执行其他功能的集成电路的一部分的硬件来实现。
本公开还可以被嵌入计算机程序产品中，该计算机程序产品包括能够实现本文所描述的方法的所有特征并且当被加载到计算机系统中时能够执行这些方法。在本上下文中，计算机程序是指以任何语言、代码或符号旨在使具有信息处理能力的系统直接执行特定功能或在以下中的一个或两个之后执行特定功能的一组指令的任何表达：a)转换为另一种语言、代码或符号；b)以不同的材料形式的复制。
虽然参照某些实施例描述了本公开，但是本领域技术人员将理解，在不偏离本公开的范围的情况下，可以进行各种改变并且可以替换等同物。此外，在不偏离本公开的范围的情况下，可以进行许多修改以使特定的情况或材料适应本公开的教导。因此，本公开旨在不局限于所公开的特定实施例，而是本公开将包括落入所附权利要求的范围内的所有实施例。