一种基于手持设备的动作捕捉方法及系统与流程

本发明涉及动作捕捉技术领域，具体涉及一种基于手持设备的动作捕捉方法及系统。

背景技术：

动作捕捉技术发展迅速，并已在影视摄制、广告宣传等方面得到了应用，其中，大空间动作捕捉方案是现今应用较为广泛的动作捕捉方案，其需要在大空间场景下布置摄影绿幕及多个高清摄像头，对穿着动作捕捉服饰的目标人物进行拍摄，以此来识别捕捉目标人物的动作。

依托于专用的场地设备及专业人员，上述大空间动作捕捉方案可实现高精度的动作捕捉。但从另一方面来看，为了追求高精度，大空间动作捕捉方案需要为场地设备投入大量资金，且需要专业人员来完成操作指导与后期制作等工作，高投入与高专业性限制了动作捕捉技术的推广应用，动作捕捉领域缺乏面向大众的产品方案。

技术实现要素：

本发明实施例公开了一种基于手持设备的动作捕捉方法及系统，通过手持设备进行移动拍摄，在无须布设大量设备的情况下实现对用户健身动作进行无死角拍摄，降低了实施成本。

本发明实施例第一方面公开了一种基于手持设备的动作捕捉方法，包括：

同步拍摄高清彩色影像及深度影像；

在所述高清彩色影像中选定动捕目标；

分析所述动捕目标的目标特征，所述目标特征包括rgb色值与hsi值；

在所述深度影像中确定所述动捕目标的空间坐标；

根据所述目标特征及所述空间坐标跟踪所述动捕目标；

跟踪拍摄所述动捕目标得到动捕影像；

处理所述动捕影像得到所述动捕目标的骨骼动画。

作为一种可选的实施方式，在本发明实施例的第一方面中，所述根据所述目标特征及所述空间坐标跟踪所述动捕目标，包括：

在所述动捕影像中识别所述动捕目标的运动轨迹；

根据所述运动轨迹确定摄像头的调整角度；

根据所述调整角度调整所述摄像头的朝向，使所述动捕目标始终处于所述摄像头的有效拍摄范围内，对所述动捕目标进行跟踪。

作为一种可选的实施方式，在本发明实施例的第一方面中，在所述跟踪拍摄所述动捕目标得到动捕影像之后，所述方法还包括：

根据所述动捕影像中的所述深度影像检测是否存在任一物体遮挡所述动捕目标；

若存在，拍摄所述动捕目标的热成像影像；

将所述热成像影像整合至所述动捕影像中。

作为一种可选的实施方式，在本发明实施例的第一方面中，所述方法还包括：

获取针对所述动捕目标的若干动捕影像；

对所述若干动捕影像进行同步处理，得到同步影像；

处理所述同步影像得到高精度骨骼动画。

本发明实施例第二方面公开了一种基于手持设备的动作捕捉系统，包括：

摄像单元，用于同步拍摄高清彩色影像及深度影像；

目标选定单元，用于在所述高清彩色影像中选定动捕目标；

特征分析单元，用于分析所述动捕目标的目标特征，所述目标特征包括rgb色值与hsi值；

目标定位单元，用于在所述深度影像中确定所述动捕目标的空间坐标；

目标跟踪单元，用于根据所述目标特征及所述空间坐标跟踪所述动捕目标；

所述摄像单元，还用于跟踪拍摄所述动捕目标得到动捕影像；

影像处理单元，用于处理所述动捕影像得到所述动捕目标的骨骼动画。

作为一种可选的实施方式，在本发明实施例的第二方面中，所述目标跟踪单元包括：

轨迹识别子单元，用于在所述动捕影像中识别所述动捕目标的运动轨迹；

调整规划子单元，用于根据所述运动轨迹确定摄像头的调整角度；

目标跟踪子单元，用于根据所述调整角度调整所述摄像头的朝向，使所述动捕目标始终处于所述摄像头的有效拍摄范围内，对所述动捕目标进行跟踪。

作为一种可选的实施方式，在本发明实施例的第二方面中，所述系统还包括：

遮挡检测单元，用于在所述摄像单元跟踪拍摄所述动捕目标得到动捕影像之后，根据所述动捕影像中的所述深度影像检测是否存在任一物体遮挡所述动捕目标；

所述摄像单元，还用于当所述遮挡检测单元检测到存在任一物体遮挡所述动捕目标时，拍摄所述动捕目标的热成像影像；

影像整合单元，用于将所述热成像影像整合至所述动捕影像中。

作为一种可选的实施方式，在本发明实施例的第二方面中，所述系统还包括：

影像获取单元，用于获取针对所述动捕目标的若干动捕影像；

影像同步单元，用于对所述若干动捕影像进行同步处理，得到同步影像；

所述影像处理单元，还用于处理所述同步影像得到高精度骨骼动画。

与现有技术相比，本发明实施例具有以下有益效果：

本发明实施例中，通过手持设备上的rgb摄像头及深度摄像头同步拍摄高清彩色影像及深度影像，在高清彩色影像中选定动捕目标并识别其目标特征，在深度影像中确定动捕目标的空间坐标，进而根据目标特征及空间坐标对动捕目标进行跟踪拍摄，得到动捕目标的动捕影像，从而处理动捕影像得到动捕目标的骨骼动画。可见，通过手持设备对动捕目标进行跟踪拍摄，可克服现有动作捕捉方案对场地及专业设备存在较高要求的问题，减少了资金投入，无须专业人士即可进行动作捕捉，便于推广应用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种手持设备的正/反面外观示意图；

图2是本发明实施例公开的一种基于手持设备的动作捕捉方法的流程示意图；

图3是本发明实施例公开的一种基于手持设备的动作捕捉系统的结构示意图；

图4是本发明实施例公开的另一种基于手持设备的动作捕捉系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同的对象，而不是用于描述特定顺序。本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面将结合实施例和附图对本发明实施例的技术方案作进一步的说明。

为了更好理解本发明实施例公开的一种基于手持设备的动作捕捉方法，下面先介绍本发明实施例公开的一种手持设备。请参阅图1，本发明实施例公开的一种手持设备可以包括：

高清摄像头1、深度摄像头2、红外摄像头3、触控屏4、旋转/伸缩杆5、手持握把6及处理芯片7。其中，高清摄像头1、深度摄像头2及红外摄像头3安装于同一面板，并与触控屏4通过旋转/伸缩杆5与手持握把6进行连接，处理芯片7安装于手持握把6内部，并与高清摄像头1、深度摄像头2、红外摄像头3及触控屏4通过数据线连接。

在本发明实施例公开的手持设备中，通过上述所描述的结构，针对动捕目标，高清摄像头1拍摄其高清彩色影像，深度摄像头2拍摄其深度影像高清彩色影像显示于触控屏4，用户在触控屏4上选取动捕目标，处理芯片7分析所选取动捕目标的目标特征，并据此在深度影像中确定出动捕目标的空间坐标，在用户或者动捕目标移动时，为了使各摄像头始终拍摄得到动捕目标，处理芯片7根据动捕目标相对于摄像头的运动轨迹，确定针对摄像头的调整角度；旋转/伸缩杆5内部安装有微型电动机，通过运行微型电动机使旋转/伸缩杆5产生旋转/伸缩动作，从而带动安装于旋转/伸缩杆5上的摄像头对准动捕目标，实现对动捕目标进行跟踪拍摄；而当动捕目标被遮挡时，则由红外摄像头13拍摄动捕目标的热成像影像；处理芯片7整合高清彩色影像、深度影像及热成像影像并进行处理，得到动捕目标的骨骼动画。

在本发明实施例公开的手持设备，用户可手持手持握把6进行移动，在用户或动捕目标移动时，处理芯片7实时通过旋转/伸缩杆5对摄像头的拍摄角度进行调整，对动捕目标进行跟踪拍摄，并根据跟踪拍摄得到的动捕影像识别动捕目标的骨骼动画，从而无需依托于场地设备及专业人员，普通用户通过手持设备即可对动捕目标进行动作捕捉，实施成本低，易用性强，便于面向大众进行推广。

实施例一

请参阅图2，如图2所示，本发明实施例公开的一种基于手持设备的动作捕捉方法可以包括以下步骤。

201、同步拍摄高清彩色影像及深度影像。

本发明实施例中，手持设备配置有包括高清rgb（red、green、blue，红绿蓝三原色）摄像头、深度摄像头及红外摄像头在内的多个不同用途的摄像头，分别用于实现不同功能，应对不同的拍摄场景；其中，高清摄像头用于拍摄高清彩色影像，深度摄像头用于拍摄深度影像。

202、在高清彩色影像中选定动捕目标。

本发明实施例中，高清彩色影像具有色彩明艳度高，物体轮廓清晰，易于辨认的特点，便于用户观察选定动捕目标。

作为一种可选的实施方式，采用yolo神经网络算法对高清彩色影像中存在的人物进行边框分割并输出分割完成的影像，从而用户在触控屏上可查看到被指示框所框选的人物，用户点选其中任一指示框，便选定了该指示框中的人物作为动捕目标。采用yolo神经网络算法可实现高响应速度，且点选指示框的操作方式直观便捷。

作为另一种可选的实施方式，在拍摄得到高清彩色影像后，处理芯片基于高清彩色影像中各物体的色彩及轮廓对高清彩色影像划分区域，并将划分为若干区域的高清彩色影像显示于手持设备的触控屏上，用户在触控屏上选取若干区域组合成动捕目标，例如，假设高清彩色影像中动捕目标穿着红色衣裤，则处理芯片根据色彩及轮廓，将动捕目标的红色衣裤划分为一个区域，将动捕目标的头部划分为一个区域，用户在触控屏上选定红色衣裤及动捕目标的头部所对应的区域组合得到动捕目标。可见，通过对高清彩色影像划分区域并在触控屏上进行显示，用户可简便地在触控屏上选定动捕目标，产品操作便捷，交互体验良好。

203、分析动捕目标的目标特征。

本发明实施例中，目标特征包括rgb色值与hsi值（hue、saturation、luminance，色调、饱和度、亮度），处理芯片逐一截取高清彩色影像的每帧画面，分析每帧画面上动捕目标的红绿蓝三原色色值作为其rgb色值，以及分析每帧画面上动捕目标的色调、饱和度及亮度值作为其hsi色值，综合上述rgb色值与hsi值作为该动捕目标的目标特征。通过以rgb色值及hsi色值作为动捕目标的目标特征，可直观地对高清彩色影像中的动捕目标进行表征。

204、在深度影像中确定动捕目标的空间坐标。

本发明实施例中，在识别得到动捕目标的目标特征后，再根据深度摄像头拍摄到的动捕目标的深度影像对动捕目标进行定位，获知的动捕目标的空间坐标。

205、根据目标特征及空间坐标跟踪动捕目标。

本发明实施例中，对于手持设备而言，动捕目标的行为趋势是不可知的，对动捕目标进行跟踪需要持续进行识别定位。

作为一种可选的实施方式，在动捕影像中识别动捕目标的运动轨迹；根据运动轨迹确定摄像头的调整角度；根据调整角度调整摄像头的朝向，使动捕目标始终处于摄像头的有效拍摄范围内，对动捕目标进行跟踪。具体地，处理芯片截取动捕影像中的每帧图像，根据目标特征识别其中的动捕目标从而确定出动捕目标实时的空间坐标，识别得到动捕目标的运动轨迹；在由深度影像构造得到的空间坐标系中，将动捕目标以该运动轨迹移动时相对摄像头所产生的位置变化转换为角度数据，作为摄像头的调整角度，旋转/伸缩杆根据调整角度调整摄像头的朝向，使动捕目标始终处于摄像头的有效拍摄范围内，则完成对动捕目标进行跟踪。可见，无需采用复杂的人体识别跟踪算法或者昂贵的专业设备，通过高清摄像头、深度摄像头及处理芯片的配合即可对动捕目标进行跟踪。

206、跟踪拍摄动捕目标得到动捕影像。

本发明实施例中，在步骤205对动捕目标进行跟踪的同时，也对动捕目标进行拍摄，得到动捕影像。

作为一种可选的实施方式，在跟踪拍摄动捕目标得到动捕影像之后，根据动捕影像中的深度影像检测是否存在任一物体遮挡动捕目标；若存在，拍摄动捕目标的热成像影像；将热成像影像整合至动捕影像中。具体地，假设动捕目标被窗帘、毛玻璃等物体所遮挡，则高清彩色影像及深度影像中动捕目标的部分躯干是缺失的，无法被识别的，此时启动红外摄像头拍摄动捕目标的热成像影像，在热成像影像中，障碍物后方的动捕目标呈现出其轮廓影像，可供处理芯片对动捕目标进行定位并跟踪，避免在跟踪过程中丢失动捕目标。

207、处理动捕影像得到动捕目标的骨骼动画。

本发明实施例中，处理芯片对动捕影像中动捕目标的躯干姿态及关键关节进行识别，并根据识别结果构建骨骼影像，对连贯的若干帧动捕影像所对应的骨骼影像进行整合，得到动捕目标的骨骼动画。

应当理解的是，单台手持设备即可完成对动捕目标的选取、定位、跟踪、拍摄及动作捕捉识别，适合普通用户的常规使用需求，而单台手持设备的拍摄视角无法涵盖宽广场景或众多动捕目标，且处理芯片的处理能力有限。

作为一种可选的实施方式，获取针对动捕目标的若干动捕影像；对若干动捕影像进行同步处理，得到同步影像；处理同步影像得到高精度骨骼动画。具体地，采用多台手持设备从不同视角对动捕目标进行跟踪拍摄，从而获得针对同批动捕目标的若干动捕影像，由于每一动捕影像的视角各不相同，更好地做到了对宽广场景中众多动捕目标进行无遮挡地跟踪拍摄；根据拍摄时间对跟踪拍摄得到的若干动捕影像进行同步处理，得到针对动捕目标的不同视角的同步影像，此时处理芯片处理同步影像得到无遮挡的高精度骨骼动画。可见，本发明实施例中的手持设备除了可独立使用，还可采用多台组合跟踪拍摄的方式来对动捕目标进行动作捕捉，获取高精度骨骼动画。

可见，实施图2所描述的基于手持设备的动作捕捉方法，通过握持手持设备即可对动捕目标进行跟踪拍摄，并根据跟踪拍摄得到的动捕影像识别动捕目标的骨骼动画，从而无需依托于场地设备及专业人员，普通用户即可对动捕目标进行动作捕捉，实施成本低，易用性强，便于面向大众进行推广。

实施例二

请参阅图3，图3是本发明实施例公开的一种基于手持设备的动作捕捉系统的结构示意图。该系统可以包括：

摄像单元301，用于同步拍摄高清彩色影像及深度影像；

目标选定单元302，用于在高清彩色影像中选定动捕目标；

特征分析单元303，用于分析动捕目标的目标特征，目标特征包括rgb色值与hsi值；

目标定位单元304，用于在深度影像中确定动捕目标的空间坐标；

目标跟踪单元305，用于根据目标特征及空间坐标跟踪动捕目标；

其中，摄像单元301还用于跟踪拍摄动捕目标得到动捕影像；

影像处理单元306，用于处理动捕影像得到动捕目标的骨骼动画；

遮挡检测单元307，用于在摄像单元301跟踪拍摄动捕目标得到动捕影像之后，根据动捕影像中的深度影像检测是否存在任一物体遮挡动捕目标；

此外，摄像单元301还用于当遮挡检测单元307检测到存在任一物体遮挡动捕目标时，拍摄动捕目标的热成像影像；

影像整合单元308，用于将热成像影像整合至动捕影像中；

影像获取单元309，用于获取针对动捕目标的若干动捕影像；

影像同步单元310，用于对若干动捕影像进行同步处理，得到同步影像；

另外，影像处理单元301还用于处理同步影像得到高精度骨骼动画；

而其中，目标跟踪单元305还包括了：

轨迹识别子单元3051，用于在动捕影像中识别动捕目标的运动轨迹；

调整规划子单元3052，用于根据运动轨迹确定摄像头的调整角度；

目标跟踪子单元3053，用于根据调整角度调整摄像头的朝向，使动捕目标始终处于摄像头的有效拍摄范围内，对动捕目标进行跟踪。

作为一种可选的实施方式，目标选定单元302采用yolo神经网络算法对高清彩色影像中存在的人物进行边框分割并输出分割完成的影像，从而用户在触控屏上可查看到被指示框所框选的人物，用户点选其中任一指示框，便选定了该指示框中的人物作为动捕目标。采用yolo神经网络算法可实现高响应速度，且点选指示框的操作方式直观便捷。

作为另一种可选的实施方式，在摄像单元301拍摄得到高清彩色影像后，目标选定单元302基于高清彩色影像中各物体的色彩及轮廓对高清彩色影像划分区域，并将划分为若干区域的高清彩色影像显示于手持设备的触控屏上，用户在触控屏上选取若干区域组合成动捕目标，例如，假设高清彩色影像中动捕目标穿着红色衣裤，则目标选定单元302根据色彩及轮廓，将动捕目标的红色衣裤划分为一个区域，将动捕目标的头部划分为一个区域，用户在触控屏上选定红色衣裤及动捕目标的头部所对应的区域组合得到动捕目标。可见，通过对高清彩色影像划分区域并在触控屏上进行显示，用户可简便地在触控屏上选定动捕目标，产品操作便捷，交互体验良好。

作为一种可选的实施方式，轨迹识别子单元3051在动捕影像中识别动捕目标的运动轨迹；调整规划子单元3052根据运动轨迹确定摄像头的调整角度；目标跟踪子单元3053根据调整角度调整摄像头的朝向，使动捕目标始终处于摄像头的有效拍摄范围内，对动捕目标进行跟踪。具体地，目标跟踪单元305截取动捕影像中的每帧图像，根据目标特征识别其中的动捕目标从而确定出动捕目标实时的空间坐标，识别得到动捕目标的运动轨迹；在由深度影像构造得到的空间坐标系中，调整规划子单元3052将动捕目标以该运动轨迹移动时相对摄像头所产生的位置变化转换为角度数据，作为摄像头的调整角度，旋转/伸缩杆根据调整角度调整摄像头的朝向，使动捕目标始终处于摄像头的有效拍摄范围内，则目标跟踪子单元3053完成对动捕目标进行跟踪。可见，无需采用复杂的人体识别跟踪算法或者昂贵的专业设备，通过高清摄像头、深度摄像头及处理芯片的配合即可对动捕目标进行跟踪。

作为一种可选的实施方式，在摄像单元301跟踪拍摄动捕目标得到动捕影像之后，遮挡检测单元307根据动捕影像中的深度影像检测是否存在任一物体遮挡动捕目标；若存在，摄像单元301拍摄动捕目标的热成像影像；影像整合单元308将热成像影像整合至动捕影像中。具体地，假设动捕目标被窗帘、毛玻璃等物体所遮挡，则高清彩色影像及深度影像中动捕目标的部分躯干是缺失的，无法被识别的，此时摄像单元301启动红外摄像头拍摄动捕目标的热成像影像，在热成像影像中，障碍物后方的动捕目标呈现出其轮廓影像，可供目标跟踪单元305对动捕目标进行定位并跟踪，避免在跟踪过程中丢失动捕目标。

作为一种可选的实施方式，影像获取单元309获取针对动捕目标的若干动捕影像；影像同步单元310对若干动捕影像进行同步处理，得到同步影像；影像处理单元306处理同步影像得到高精度骨骼动画。具体地，采用多台手持设备从不同视角对动捕目标进行跟踪拍摄，从而获得针对同批动捕目标的若干动捕影像，由于每一动捕影像的视角各不相同，更好地做到了对宽广场景中众多动捕目标进行无遮挡地跟踪拍摄；影像获取单元309根据拍摄时间对跟踪拍摄得到的若干动捕影像进行同步处理，得到针对动捕目标的不同视角的同步影像，此时影像处理单元306处理同步影像得到无遮挡的高精度骨骼动画。可见，本发明实施例中的手持设备除了可独立使用，还可采用多台组合跟踪拍摄的方式来对动捕目标进行动作捕捉，获取高精度骨骼动画。

可见，实施图3所描述的基于手持设备的动作捕捉系统，用户通过握持手持设备即可对动捕目标进行跟踪拍摄，并根据跟踪拍摄得到的动捕影像识别动捕目标的骨骼动画，从而无需依托于场地设备及专业人员，普通用户即可对动捕目标进行动作捕捉，实施成本低，易用性强，便于面向大众进行推广。

实施例四

请参阅图4，图4是本发明实施例公开的另一种基于手持设备的动作捕捉系统的结构示意图。如图4所示，该基于手持设备的动作捕捉系统可以包括：

存储有可执行程序代码的存储器401；

与存储器401耦合的处理器402；

其中，处理器402调用存储器401中存储的可执行程序代码，执行图1所示的一种基于手持设备的动作捕捉方法的部分步骤。

本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行图1所示的一种基于手持设备的动作捕捉方法的全部或部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器（read-onlymemory，rom）、随机存储器（randomaccessmemory，ram）、可编程只读存储器（programmableread-onlymemory，prom）、可擦除可编程只读存储器（erasableprogrammablereadonlymemory，eprom）、一次可编程只读存储器（one-timeprogrammableread-onlymemory，otprom）、电子抹除式可复写只读存储器（electrically-erasableprogrammableread-onlymemory，eeprom）、只读光盘（compactdiscread-onlymemory，cd-rom）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种基于手持设备的动作捕捉方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。