基于计算机视觉的人机交互系统及交互方法

1.本发明属于人机交互技术领域，具体为一种基于计算机视觉的人机交互系统及交互方法。


背景技术：

2.目前，随着各类视频捕捉设备的快速普及，基于视觉的用户行为分析与自然交互技术的重要性也越来越突出，并可广泛应用于体感交互、ar教学演示、ar游戏场景等场合中。利用ar技术通过手机、游戏机、运动眼镜、游戏头盔等媒介在现实环境下展示出来，ar技术从位置服务、图像识别两个方面实现了人机交互，ar技术在形式上的重大突破给用户带来了全新的交互体验。
3.现有技术中，在对目标交互对象进行图像捕捉时，人机交互系统对目标交互对象的位置以及目标交互对象的形态、脸部表情还原效果不佳，降低了用户的交互体验。


技术实现要素：

4.针对现有技术的不足，本发明提供了一种基于计算机视觉的人机交互系统及交互方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于计算机视觉的人机交互系统，包括图像获取与处理模块、图像匹配模块以及摄像机定标与空间定位模块；
6.其中，图像获取与处理模块，用于获取目标交互对象的体型视频数据；
7.其中，图像匹配模块，用于将数据参数与预设的交互数据库进行特征匹配，根据图像特征量判断人机交互的优先级对象；
8.其中，摄像机定标与空间定位模块，采用摄像机标定算法确定摄像机和目标交互对象的3d位置，用于对摄像机和目标交互对象在人机交互界面进行位置定位。
9.进一步优化本技术方案，所述基于计算机视觉的人机交互系统基于开源的跨平台计算机视觉和机器学习软件库进行构建，所述基于计算机视觉的人机交互系统可以运行linux、windows、android和mac os操作系统。
10.进一步优化本技术方案，所述图像获取与处理模块包括图像的获取以及图像的处理，图像获取与处理模块通过对摄像机采集到的目标交互对象的体型视频数据进行获取，并利用图像处理技术对目标交互对象的体型特征嵌入到虚拟的人机交互系统的界面中，实现人机交互。
11.进一步优化本技术方案，所述图像获取与处理模块中图像的处理包括图像预处理功能、图像分割边缘检测功能、特征提取功能以及特征量计算获取功能，用以保证目标交互对象的体型视频数据经处理后还原到人机交互系统的界面中。
12.进一步优化本技术方案，所述图像的特征量在于建模、识别和解释人的实时行为动作，特征量的计算包括人脸检测和定位、人脸识别、头和脸部的跟踪、脸部表情分析、眼睛注视跟踪、身体跟踪、手跟踪、步态识别以及姿势、手势和活动识别，用于保证对目标交互对
象的人机交互效果。
13.进一步优化本技术方案，所述图像匹配模块在根据图像特征量判断人机交互的优先级对象时，优先级最高到低可以选择的排列方式为人脸特征识别、步态以及姿势识别、周围环境识别。
14.一种基于计算机视觉的人机交互方法，基于上述的基于计算机视觉的人机交互系统进行操作，包括以下具体步骤：
15.s1、启动交互程序，用于图像采集的摄像机设备进行初始化；
16.s2、在基准点的位置上摄取图像的信息；
17.s3、对图像的信息进行获取和处理；
18.s4、在基准点的两侧同时摄取目标交互对象的图像；
19.s5、对两侧摄取的目标交互对象的图像信息进行获取和处理；
20.s6、利用图像匹配模块对两图像中特征点进行匹配；
21.s7、对人机交互系统界面的空间三维进行重建和定位；
22.s8、再次对目标交互对象的图像信息进行摄取；
23.s9、完成人机交互工作。
24.进一步优化本技术方案，所述s6中，若两图像中的特征点匹配一致，则无需进行步骤s7的重新定位工作。
25.进一步优化本技术方案，所述s7中，根据重建和定位的工作参数，系统产生对应的调试指令并由用户人工对摄像机的安装位置进行调整。
26.与现有技术相比，本发明提供了一种基于计算机视觉的人机交互系统及交互方法，具备以下有益效果：
27.1、该基于计算机视觉的人机交互系统，通过对目标交互对象的特征量进行计算分析，并对图像特征量进行相似度匹配，对目标交互对象的头和脸部进行跟踪、脸部表情分析、眼睛注视跟踪、身体跟踪、手跟踪、步态识别以及姿势、手势和活动识别，用于保证对目标交互对象的人机交互效果。
28.2、该基于计算机视觉的人机交互方法，通过对用于图像采集的摄像机的基准点进行调试，建立人机交互界面的三维空间，确定摄像机和目标交互对象的3d位置，将目标交互对象在人机交互界面的三维空间进行交互还原，保证了用户在进行人机交互时良好的体验效果。
附图说明
29.图1为本发明提出的一种基于计算机视觉的人机交互系统的结构示意图；
30.图2为本发明提出的一种基于计算机视觉的人机交互方法的流程示意图。
具体实施方式
31.下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
32.实施例一：
33.请参阅图1，一种基于计算机视觉的人机交互系统，包括图像获取与处理模块、图像匹配模块以及摄像机定标与空间定位模块；
34.其中，图像获取与处理模块，用于获取目标交互对象的体型视频数据；
35.其中，图像匹配模块，用于将数据参数与预设的交互数据库进行特征匹配，根据图像特征量判断人机交互的优先级对象；
36.其中，摄像机定标与空间定位模块，采用摄像机标定算法确定摄像机和目标交互对象的3d位置，用于对摄像机和目标交互对象在人机交互界面进行位置定位。
37.具体的，所述基于计算机视觉的人机交互系统基于开源的跨平台计算机视觉和机器学习软件库进行构建，所述基于计算机视觉的人机交互系统可以运行linux、windows、android和mac os操作系统。
38.具体的，所述图像获取与处理模块包括图像的获取以及图像的处理，图像获取与处理模块通过对摄像机采集到的目标交互对象的体型视频数据进行获取，并利用图像处理技术对目标交互对象的体型特征嵌入到虚拟的人机交互系统的界面中，实现人机交互。
39.具体的，所述图像获取与处理模块中图像的处理包括图像预处理功能、图像分割边缘检测功能、特征提取功能以及特征量计算获取功能，用以保证目标交互对象的体型视频数据经处理后还原到人机交互系统的界面中。
40.具体的，所述图像的特征量在于建模、识别和解释人的实时行为动作，特征量的计算包括人脸检测和定位、人脸识别、头和脸部的跟踪、脸部表情分析、眼睛注视跟踪、身体跟踪、手跟踪、步态识别以及姿势、手势和活动识别，用于保证对目标交互对象的人机交互效果。
41.具体的，所述图像匹配模块在根据图像特征量判断人机交互的优先级对象时，优先级最高到低可以选择的排列方式为人脸特征识别、步态以及姿势识别、周围环境识别。
42.请参阅图2，一种基于计算机视觉的人机交互方法，基于上述的基于计算机视觉的人机交互系统进行操作，包括以下具体步骤：
43.s1、启动交互程序，用于图像采集的摄像机设备进行初始化；
44.s2、在基准点的位置上摄取图像的信息；
45.s3、对图像的信息进行获取和处理；
46.s4、在基准点的两侧同时摄取目标交互对象的图像；
47.s5、对两侧摄取的目标交互对象的图像信息进行获取和处理；
48.s6、利用图像匹配模块对两图像中特征点进行匹配；
49.s7、对人机交互系统界面的空间三维进行重建和定位；
50.s8、再次对目标交互对象的图像信息进行摄取；
51.s9、完成人机交互工作。
52.具体的，所述s6中，若两图像中的特征点匹配一致，则无需进行步骤s7的重新定位工作。
53.具体的，所述s7中，根据重建和定位的工作参数，系统产生对应的调试指令并由用户人工对摄像机的安装位置进行调整。
54.实施例二：
55.请参阅图1，一种基于计算机视觉的人机交互系统，包括图像获取与处理模块、图像匹配模块以及摄像机定标与空间定位模块；
56.其中，图像获取与处理模块，用于获取目标交互对象的体型视频数据；
57.其中，图像匹配模块，用于将数据参数与预设的交互数据库进行特征匹配，根据图像特征量判断人机交互的优先级对象；
58.其中，摄像机定标与空间定位模块，采用摄像机标定算法确定摄像机和目标交互对象的3d位置，用于对摄像机和目标交互对象在人机交互界面进行位置定位。
59.具体的，所述基于计算机视觉的人机交互系统基于开源的跨平台计算机视觉和机器学习软件库进行构建，所述基于计算机视觉的人机交互系统可以运行android、ios和mac os操作系统。
60.具体的，所述图像获取与处理模块包括图像的获取以及图像的处理，图像获取与处理模块通过对摄像机采集到的目标交互对象的体型视频数据进行获取，并利用图像处理技术对目标交互对象的体型特征嵌入到虚拟的人机交互系统的界面中，实现人机交互。
61.具体的，所述图像获取与处理模块中图像的处理包括图像预处理功能、图像分割边缘检测功能、特征提取功能以及特征量计算获取功能，用以保证目标交互对象的体型视频数据经处理后还原到人机交互系统的界面中。
62.具体的，所述图像的特征量在于建模、识别和解释人的实时行为动作，特征量的计算包括人脸检测和定位、人脸识别、头和脸部的跟踪、脸部表情分析、眼睛注视跟踪、身体跟踪、手跟踪、步态识别以及姿势、手势和活动识别，用于保证对目标交互对象的人机交互效果。
63.具体的，所述图像匹配模块在根据图像特征量判断人机交互的优先级对象时，优先级最高到低可以选择的排列方式为人脸特征识别、步态以及姿势识别、周围环境识别。
64.请参阅图2，一种基于计算机视觉的人机交互方法，基于上述的基于计算机视觉的人机交互系统进行操作，包括以下具体步骤：
65.s1、启动交互程序，用于图像采集的摄像机设备进行初始化；
66.s2、在基准点的位置上摄取图像的信息；
67.s3、对图像的信息进行获取和处理；
68.s4、在基准点的两侧同时摄取目标交互对象的图像；
69.s5、对两侧摄取的目标交互对象的图像信息进行获取和处理；
70.s6、利用图像匹配模块对两图像中特征点进行匹配；
71.s7、对人机交互系统界面的空间三维进行重建和定位；
72.s8、再次对目标交互对象的图像信息进行摄取；
73.s9、完成人机交互工作。
74.具体的，所述s6中，若两图像中的特征点匹配一致，则无需进行步骤s7的重新定位工作。
75.具体的，所述s7中，根据重建和定位的工作参数，系统产生对应的调试指令并由用户人工对摄像机的安装位置进行调整。
76.实施例三：
77.请参阅图1，一种基于计算机视觉的人机交互系统，包括图像获取与处理模块、图
像匹配模块以及摄像机定标与空间定位模块；
78.其中，图像获取与处理模块，用于获取目标交互对象的体型视频数据；
79.其中，图像匹配模块，用于将数据参数与预设的交互数据库进行特征匹配，根据图像特征量判断人机交互的优先级对象；
80.其中，摄像机定标与空间定位模块，采用摄像机标定算法确定摄像机和目标交互对象的3d位置，用于对摄像机和目标交互对象在人机交互界面进行位置定位。
81.具体的，所述基于计算机视觉的人机交互系统基于开源的跨平台计算机视觉和机器学习软件库进行构建，所述基于计算机视觉的人机交互系统可以运行linux、windows操作系统。
82.具体的，所述图像获取与处理模块包括图像的获取以及图像的处理，图像获取与处理模块通过对摄像机采集到的目标交互对象的体型视频数据进行获取，并利用图像处理技术对目标交互对象的体型特征嵌入到虚拟的人机交互系统的界面中，实现人机交互。
83.具体的，所述图像获取与处理模块中图像的处理包括图像预处理功能、图像分割边缘检测功能、特征提取功能以及特征量计算获取功能，用以保证目标交互对象的体型视频数据经处理后还原到人机交互系统的界面中。
84.具体的，所述图像的特征量在于建模、识别和解释人的实时行为动作，特征量的计算包括人脸检测和定位、人脸识别、头和脸部的跟踪、脸部表情分析、眼睛注视跟踪、身体跟踪、手跟踪、步态识别以及姿势、手势和活动识别，用于保证对目标交互对象的人机交互效果。
85.具体的，所述图像匹配模块在根据图像特征量判断人机交互的优先级对象时，优先级最高到低可以选择的排列方式为人脸特征识别、步态以及姿势识别、周围环境识别。
86.请参阅图2，一种基于计算机视觉的人机交互方法，基于上述的基于计算机视觉的人机交互系统进行操作，包括以下具体步骤：
87.s1、启动交互程序，用于图像采集的摄像机设备进行初始化；
88.s2、在基准点的位置上摄取图像的信息；
89.s3、对图像的信息进行获取和处理；
90.s4、在基准点的两侧同时摄取目标交互对象的图像；
91.s5、对两侧摄取的目标交互对象的图像信息进行获取和处理；
92.s6、利用图像匹配模块对两图像中特征点进行匹配；
93.s7、对人机交互系统界面的空间三维进行重建和定位；
94.s8、再次对目标交互对象的图像信息进行摄取；
95.s9、完成人机交互工作。
96.具体的，所述s6中，若两图像中的特征点匹配一致，则无需进行步骤s7的重新定位工作。
97.具体的，所述s7中，根据重建和定位的工作参数，系统产生对应的调试指令并由用户人工对摄像机的安装位置进行调整。
98.本发明的有益效果是：
99.1、该基于计算机视觉的人机交互系统，通过对目标交互对象的特征量进行计算分析，并对图像特征量进行相似度匹配，对目标交互对象的头和脸部进行跟踪、脸部表情分
析、眼睛注视跟踪、身体跟踪、手跟踪、步态识别以及姿势、手势和活动识别，用于保证对目标交互对象的人机交互效果。
100.2、该基于计算机视觉的人机交互方法，通过对用于图像采集的摄像机的基准点进行调试，建立人机交互界面的三维空间，确定摄像机和目标交互对象的3d位置，将目标交互对象在人机交互界面的三维空间进行交互还原，保证了用户在进行人机交互时良好的体验效果。
101.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
102.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。