一种实时数据交互及监督的系统的制作方法

本发明涉及实时交互，尤其涉及一种实时数据交互及监督的系统。

背景技术：

1、体感互动是一种用手或其他物体作为工具进行人机实时数据交互的技术，与传统的交互方式相比，具有更加自然的交互体验，能够使用户和计算机进行双向互动。

2、在现有技术中，在实现体感互动时，往往是运用体感捕捉设备对用户的动作进行识别，将人体的运动信息通过摄像头传递给计算机，将处理后的人体动作指令进行计算，最后反馈到显示屏上去，实现实时数据交互，例如在公开号为cn106095098a的中国专利中，公开了体感交互装置以及体感交互方法，该方法通过处理单元对图像信息进行识别，根据识别结果获取对应的体感交互动作指令，根据体感交互动作指令对待显示的应用信息进行处理，并将处理后的应用信息发送至投影单元，投影单元对处理后的应用信息进行投影显示，但是在现有技术中进行动作识别和反馈的过程中，没有对显示后的影像进行监督，可能会因为实时数据交互出现异常导致体感互动准确性存在不足的问题。

技术实现思路

1、针对现有技术存在的不足，本发明目的是提供一种实时数据交互及监督的系统，通过对用户实时动作影像进行识别，能够给不同用户绑定骨架线数据，根据骨架线数据从指令库中匹配动作指令，再通过对投影显示与用户影像进行重叠比对，保证实时显示的准确度；以解决现有的实时数据交互对显示后的影像进行监督，实时数据交互出现异常，导致体感互动准确性存在不足的问题。

2、为了实现上述目的，本发明是通过如下的技术方案来实现：一种实时数据交互及监督的系统，所述系统包括动作捕捉模块、动作处理模块、指令库模块、显示模块和监督模块，所述动作捕捉模块用于采集用户动作数据，所述动作数据包括：正面影像、左侧影像和右侧影像；

3、所述动作处理模块用于对所述动作数据进行识别，根据识别结果从动作指令库模块中获取对应的体感交互动作指令，根据所述体感交互动作指令对待显示的应用信息进行处理，并将处理后的应用信息发送至显示模块；

4、所述显示模块用于对处理后的应用信息进行投影显示；

5、所述监督模块用于对显示屏所显示的投影和用户正面影像进行图像比对，判断显示模块显示是否准确。

6、进一步地，所述动作捕捉模块包括实时捕捉单元，所述显示模块包括至少一个显示装置；所述实时摄影单元配置有多个摄影设备；所述多个摄影设备分别位于所述显示装置的不同方位，用于采集不同区域内用户的动作数据，所述多个摄影设备至少包括一个正面摄影设备、一个左侧摄影设备和一个右侧摄影设备。

7、进一步地，所述指令库模块通过提前采集标准动作，并吻合标准动作的骨架线数据，将标准动作的骨架线和投影对应后预设为显示指令。

8、进一步地，所述动作处理模块包括投影单元、人体识别单元、骨架吻合单元、指令匹配单元和应用处理单元；所述投影单元用于对获取到的正面影像、左侧影像和右侧影像进行投影，得到用户的正面投影、左侧投影和右侧投影。

9、进一步地，所述人体识别单元配置有人体识别策略，所述人体识别策略包括：对用户正面投影进行描边处理，确定用户显示区域；根据预设正面人体对用户正面投影进行区域提取，将用户正面投影提取为头部动作区域、躯干动作区域和脚部动作区域；根据预设左侧人体对用户左侧投影进行区域提取，从用户左侧投影中提取左手动作区域；根据预设右侧人体对用户右侧投影进行区域提取，从用户右侧投影中提取右手动作区域。

10、进一步地，所述骨架吻合单元配置有骨架吻合策略，所述骨架吻合策略包括：获取所述用户投影的头部动作区域，将所述用户投影的头部动作区域的几何中心设置为头部关节点；提取所述用户投影的躯干动作区域中的关节点；对所述关节点进行连线，得到躯干区域的骨架线；提取所述用户投影的左手动作区域中的关节点；对所述关节点进行连线，得到左手区域的骨架线；提取所述用户投影的右手动作区域中的关节点；对所述关节点进行连线，得到右手区域的骨架线；获取所述用户投影的脚部动作区域，将所述用户投影的脚步动作区域的几何中心设置为脚部关节点，将所述头部关节点、躯干区域的骨架线、左手区域的骨架线、右手区域的骨架线和脚部关节点与用户进行绑定追踪。

11、进一步地，所述指令匹配单元配置有指令匹配策略所述指令匹配策略包括：依据所述头部关节点、躯干区域的骨架线、手部区域的骨架线和脚部关节点的坐标的变化与预设的动作指令库进行匹配，获取所述用户动作对应的体感交互指令。

12、进一步地，所述应用处理单元配置有应用处理策略，所述应用处理策略包括：根据所述体感交互动作指令对用户显示区域进行动作显示。

13、进一步地，所述监督模块包括显示处理单元和显示监督单元；所述显示处理单元配置有显示处理策略，所述显示处理策略包括：获取显示屏显示投影和用户实时影像数据，将显示屏投影进行描边处理得到显示描边；对用户影像进行描边处理得到实际描边。

14、进一步地，显示监督单元配置有显示监督策略，所述显示监督策略包括：将显示描边与实际描边进行重叠比对，所述重叠比对包括：获取显示描边的几何中心，设置为显示中心；获取实际描边的几何中心，设置为实际中心；对几何中心与实际中心进行重叠，标记几何中心与实际中心重叠后，显示描边上与实际描边不重叠的部分，设置为监督区域；获取监督区域面积；当监督区域面积超过面积阈值时，判断显示模块显示有误差。

15、本发明的有益效果：通过设置多个摄像单元，对用户实时动作进行多方位精准捕捉，为识别用户实时动作提供了全面的数据支持；

16、通过预设标准动作影像，提取标准动作影像的骨架线并储存在动作指令库中，再对用户实时动作影像进行识别，给不同用户绑定骨架线数据，根据骨架线数据从指令库中匹配动作指令，通过建立海量动作指令库，提高匹配动作指令的速度和准确度；

17、再通过对投影显示与用户影像进行重叠比对，保证实时显示的准确度，以解决现有的实时数据交互在对于用户动作识别反馈时出现误差的问题。

18、本发明附加方面的优点将在下面的具体实施方式的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

技术特征：

1.一种实时数据交互及监督的系统，其特征在于，所述系统包括动作捕捉模块、动作处理模块、指令库模块、显示模块和监督模块，所述动作捕捉模块用于采集用户动作数据，所述动作数据包括：正面影像、左侧影像和右侧影像；

2.根据权利要求1所述的一种实时数据交互及监督的系统，其特征在于，所述动作捕捉模块包括实时捕捉单元，所述显示模块包括至少一个显示装置；所述实时摄影单元配置有多个摄影设备；所述多个摄影设备分别位于所述显示装置的不同方位，用于采集不同区域内用户的动作数据，所述多个摄影设备至少包括一个正面摄影设备、一个左侧摄影设备和一个右侧摄影设备。

3.根据权利要求2所述的一种实时数据交互及监督的系统，其特征在于，所述指令库模块通过提前采集标准动作，并吻合标准动作的骨架线数据，将标准动作的骨架线和投影对应后预设为显示指令。

4.根据权利要求3所述的一种实时数据交互及监督的系统，其特征在于，所述动作处理模块包括投影单元、人体识别单元、骨架吻合单元、指令匹配单元和应用处理单元；所述投影单元用于对获取到的正面影像、左侧影像和右侧影像进行投影，得到用户的正面投影、左侧投影和右侧投影。

5.根据权利要求4所述的一种实时数据交互及监督的系统，其特征在于，所述人体识别单元配置有人体识别策略，所述人体识别策略包括：对用户正面投影进行描边处理，确定用户显示区域；根据预设正面人体对用户正面投影进行区域提取，将用户正面投影提取为头部动作区域、躯干动作区域和脚部动作区域；根据预设左侧人体对用户左侧投影进行区域提取，从用户左侧投影中提取左手动作区域；根据预设右侧人体对用户右侧投影进行区域提取，从用户右侧投影中提取右手动作区域。

6.根据权利要求5所述的一种实时数据交互及监督的系统，其特征在于，所述骨架吻合单元配置有骨架吻合策略，所述骨架吻合策略包括：获取所述用户投影的头部动作区域，将所述用户投影的头部动作区域的几何中心设置为头部关节点；提取所述用户投影的躯干动作区域中的关节点；对所述关节点进行连线，得到躯干区域的骨架线；提取所述用户投影的左手动作区域中的关节点；对所述关节点进行连线，得到左手区域的骨架线；提取所述用户投影的右手动作区域中的关节点；对所述关节点进行连线，得到右手区域的骨架线；获取所述用户投影的脚部动作区域，将所述用户投影的脚步动作区域的几何中心设置为脚部关节点，将所述头部关节点、躯干区域的骨架线、左手区域的骨架线、右手区域的骨架线和脚部关节点与用户进行绑定追踪。

7.根据权利要求6所述的一种实时数据交互及监督的系统，其特征在于，所述指令匹配单元配置有指令匹配策略所述指令匹配策略包括：依据所述头部关节点、躯干区域的骨架线、手部区域的骨架线和脚部关节点的坐标的变化与预设的动作指令库进行匹配，获取所述用户动作对应的体感交互指令。

8.根据权利要求7所述的一种实时数据交互及监督的系统，其特征在于，所述应用处理单元配置有应用处理策略，所述应用处理策略包括：根据所述体感交互动作指令对用户显示区域进行动作显示。

9.根据权利要求8所述的一种实时数据交互及监督的系统，其特征在于，所述监督模块包括显示处理单元和显示监督单元；所述显示处理单元配置有显示处理策略，所述显示处理策略包括：获取显示屏显示投影和用户实时影像数据，将显示屏投影进行描边处理得到显示描边；对用户影像进行描边处理得到实际描边。

10.根据权利要求9所述的一种实时数据交互及监督的系统，其特征在于，显示监督单元配置有显示监督策略，所述显示监督策略包括：将显示描边与实际描边进行重叠比对，所述重叠比对包括：获取显示描边的几何中心，设置为显示中心；获取实际描边的几何中心，设置为实际中心；对几何中心与实际中心进行重叠，标记几何中心与实际中心重叠后，显示描边上与实际描边不重叠的部分，设置为监督区域；获取监督区域面积；当监督区域面积超过面积阈值时，判断显示模块显示有误差。

技术总结
本发明提供一种实时数据交互及监督的系统，涉及实时交互技术领域；所述系统包括动作捕捉模块、动作处理模块、指令库模块、显示模块和监督模块，所述动作捕捉模块用于采集用户动作数据，所述动作处理模块用于对所述动作数据进行识别，所述显示模块用于对处理后的应用信息进行投影显示；所述监督模块用于对显示屏所显示的投影和用户正面影像进行图像比对，本发明通过对用户实时动作影像进行识别，能够给不同用户绑定骨架线数据，根据骨架线数据从指令库中匹配动作指令，再通过对投影显示与用户影像进行重叠比对，以解决现有的实时数据交互对显示后的影像进行监督，实时数据交互出现异常，导致体感互动准确性存在不足的问题。

技术研发人员：陶云,滕来,周攀
受保护的技术使用者：南京云升明电子科技有限公司
技术研发日：
技术公布日：2024/1/5