一种人机交互设备及其使用方法与流程

本发明涉及人机交互，更具体地说，它涉及一种人机交互设备及其使用方法。

背景技术：

1、基于计算机视觉技术的人机交互方式可通过各种图像获取和处理方法来视觉地获取用户输入。基于计算机视觉技术的人机交互方式成为了新一代人机交互技术的热门话题，尤其在休闲娱乐的人机交互方面得到了广泛的应用。在这种交互方式下，可通过用户的身体姿态、头部姿态、视线或人体动作来与计算机进行交互，从而可以使用户从传统的键盘、鼠标等的输入方式中解脱，得到前所未有的人机交互体验。

2、目前提出了多种基于计算机视觉的人机交互方式。在一种现有的人机交互方式中，可通过使用触摸输入和三维(3d)手势输入来产生、修改和操作3d物体。在另一种方法中，可通过人体姿态检测来与虚拟用户界面进行交互。

3、然而，现有的人机交互设备和方法所利用的运动检测的类型较为单一，通常需要基于触摸的输入装置并且需要用户记住大量的规定动作来执行交互。由于手势、姿势以及深度感应范围的原因，通常需要进行预处理或各种手动操作，例如，需要校准各种传感器，预先定义交互空间等。这使用户感到不方便。因此，需要一种能够利用多种运动检测方式且不依赖于附加的输入装置的人机交互方式

4、因此需要提出一种方案来解决这个问题。

技术实现思路

1、针对现有技术存在的不足，本发明的目的在于提供一种人机交互设备及其使用方法，通过待测图像对分类器进行修正以及补充目标图像的正负样本，使得人机交互的稳定性在使用过程中持续增强，实现效果更好的人机交互功能。

2、本发明的上述技术目的是通过以下技术方案得以实现的：一种人机交互设备，包括有运动检测模块，从图像数据中检测用户的多种类型的动作和姿态；

3、交互确定模块，根据运动检测模块检测的用户的多种类型的动作和姿态来确定用户想要将要进行的交互操作，并向显示控制模块发出相应的显示操作指令；

4、训练模块，用于响应所述学习指令，获取用户指定的目标图像，采集正样本和负样本，并基于随机森林训练，建立包含多个决策树的分类器；

5、存储模块，用于存储包含多个决策树的多个分类器，以及存储所述正样本和负样本，形成正负样本合集；

6、显示控制模块，根据交互确定模块确定的指令控制显示设备在显示屏幕上显示相应的交互操作；

7、比较模块，用于分析并得到待测图像和正负样本合集的相关度，并根据相关度和预设的第一相关度阀值，判定待测图像是否为目标图像；

8、判定模块，用于在待测图像在判定阀值和第一相关度阀值下均判定与目标图像相同时，最终判定待测图像是目标图像；

9、更新模块，用于利用最终判定与目标图像相同的待测图像，调整多个决策树的分类器的参数，当最终判定与目标图像相同的待测图像的相关度满足预设的第二相关度阀值时，将待测图像作为正样本添加到正负样本合集中，当最终判定与目标图像不同的待测图像的概率值达到预设校正阀值时，将待测图像作为负样本添加到正负样本合集中。

10、本发明进一步设置为：所述训练模块采集正样本和负样本的动作包括对目标图像进行旋转、投影、缩放或平移处理，并分别采集正样本。

11、本发明的上述技术目的还通过以下技术方案得以实现的：一种人机交互设备的使用方法，包括以下步骤：步骤s1：确定交互操作的步骤包括：从图像数据中检测用户的多种类型的动作和姿态；

12、根据检测的用户的多种类型的动作和姿态来确定将要进行的交互操作，并发出与交互操作对应的显示操作指令；

13、根据确定的指令控制显示设备在显示屏幕上显示相应的交互操作；

14、步骤s2:检测用户的多种类型的动作和姿态的步骤包括：从图像数据中检测用户的视线方向；追踪和识别用户身体各部分的姿态动作；

15、步骤s3：接收用户输入的学习指令，启动学习模式；

16、步骤s4：获取用户指定的目标图像，采集正样本和负样本，并基于随机森林训练，建立包含多个决策树的分类器；

17、步骤s5:存储所述包含多个决策树的多个分类器，以及存储所述正样本和负样本，形成正负样本合集。

18、综上所述，本发明具有以下有益效果：

19、本发明可接收用户的自定义目标图像，作为识别对象，为用户使用提供了很好的灵活性。并且还利用待测图像对分类器进行修正以及补充目标图像的正负样本，使得人机交互的稳定性在使用过程中持续增强，实现效果更好的人机交互功能。

技术特征：

1.一种人机交互设备，包括有运动检测模块，从图像数据中检测用户的多种类型的动作和姿态；

2.根据权利要求1所述的一种人机交互设备，其特征在于：所述训练模块采集正样本和负样本的动作包括对目标图像进行旋转、投影、缩放或平移处理，并分别采集正样本。

3.根据权利要求1-2任一所述的一种人机交互设备的使用方法，包括以下步骤：步骤s1：确定交互操作的步骤包括：从图像数据中检测用户的多种类型的动作和姿态；

技术总结
本发明公开了一种人机交互设备及其使用方法，其技术方案要点是：可以利用多种运动检测方式的组合来进行人机交互操作，从而在不需要额外的输入装置，例如，触摸屏输入装置，的情况下，降低人机交互操作识别的模糊度，提高人机交互操作的准确性，例如，在不采用触摸屏输入装置的情况下，可以实现显示目标的放大、缩小的交互操作，这样，充分利用了计算机视觉技术的运动检测方式，为用户带来了更好地交互操作体验。

技术研发人员：方兆忠,闫斌,吴志宏,郭韩健,朱旭锋,陆地
受保护的技术使用者：浙江省通信产业服务有限公司
技术研发日：
技术公布日：2024/3/4