一种基于混合现实技术的人机双向交互方法及系统

本发明属于人机交互，更具体地，涉及一种基于混合现实技术的人机双向交互方法及系统。

背景技术：

1、随着人口老龄化的加剧和残疾人群数量的急剧膨胀，劳动力短缺问题日益突出，于是，机器人假肢、康复外骨骼机器人、增强式外骨骼机器人、服务型机器人、人-机器人遥操作、人-机器人协作等以人为本的机器人研究与发展得到空前的重视。在这些机器人领域，人-机器人之间的双向交互对机器人和人快速准确地理解对方并做出正确的决策和响应、实现拟人的自然交互来说尤其重要。

2、人机双向交互主要包括两大内容：一是当人产生主动运动意图时，机器人可快速准确地理解人的运动意图、并以合理合适的方式进行响应，执行人希望机器人完成的任务；二是当机器人按照人的意图做出响应、执行任务的时候，人可以快速准确地获取机器人的状态以及机器人对环境的感知，进而做出正确的判断与决策。为了在人与机器人之间构建拟人的运动-感知闭环回路，实现人机双向交互，不仅要建立人与机器人的信息传输与转换接口，还要保证人机交互的准确性、可靠性和工作效率。为实现双向交互，常通过人的本体视觉、外部电刺激、外部振动刺激等将机器人的感知信息反馈至人。其中，本体视觉反馈的局限性在于，人无法通过视觉获知机器人所感知到的温度、触感、交互力、平衡状态等信息，在与环境发生交互的任务中具有局限性；基于外部电刺激、外部振动刺激的感知反馈受个体差异的影响较大，需经过大量重复训练将感知信息与刺激参数进行校准匹配，而且长时间的刺激还会造成相应感知神经的敏感度下降。理论上说，融合人体意图解码和机器人感知反馈技术，即可实现人机之间的双向交互，但事实上，仍存在交互方式不直观、效率不高、甚至实施困难等问题，尤其是对于截肢患者、瘫痪患者来说，患者肢体的缺失、运动神经、感知神经的损伤等，都对实现双向交互带来更大的挑战。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种基于混合现实技术的人机双向交互方法及系统，其目的在于解决现有人机交互效果不好的技术问题。

2、为实现上述目的，第一方面，本发明提供了一种基于混合现实技术的人机双向交互方法，所述方法包括：

3、通过混合现实设备采集用户凝视点和用户视野图像；

4、对用户视野图像进行目标识别获得多个目标，基于用户凝视点从多个目标中选出用户意图目标；

5、根据用户意图目标选择机器端的动作模式，机器端执行动作模式；

6、机器端采集其和环境之间的交互信息并反馈至所述混合现实设备。

7、优选的，通过混合现实设备采集用户凝视点，具体为：

8、混合现实设备采集用户双眼的眼动数据，获取双眼视线交点在世界空间下的三维空间坐标，并将所述三维空间坐标化为四维齐次坐标，其中w分量为1；

9、通过下式计算双眼视线交点在相机空间下的三维空间坐标：

10、cameraspacepos＝worldtocameramatrix×worldspacepos

11、其中，worldspacepos为双眼视线交点在世界空间下的四维齐次坐标；worldtocameramatrix为世界到相机矩阵；cameraspacepos中x,y,z分量即为双眼视线交点在相机空间下的三维空间坐标；

12、将cameraspacepos化为四维齐次坐标，其中w分量为1；通过下式计算双眼视线交点在裁剪空间下的三维空间坐标：

13、imageposunnormalized＝projectionmatrix×cameraspacepos

14、其中，projectionmatrix为投影矩阵；imageposunnormalized中x，y，z分量即为双眼视线交点在裁剪空间下的三维空间坐标，x，y，z分量都在(-w，w)范围内，w分量表征双眼视线交点到相机的距离；通过下式对所述x和y分量做透视除法，即除以w分量：

15、imageposprojected.x

16、＝imageposunnormalized.x/imageposunnormalized.w

17、imageposprojected.y

18、＝imageposunnormalized.y/imageposunnormalized.w

19、其中，imageposprojected.x和imageposprojected.y分别为imageposunnormalized做透视除法归一化后在(-1，1)范围内的x和y分量；通过下式将(-1，1)范围内的x和y分量转换到(0，1)范围内：

20、imageposzerotoone.x＝imageposprojected.x×0.5+0.5

21、imageposzerotoome.y＝imageposprojected.y×0.5+0.5

22、其中，imageposzerotoone.x和imageposzerotoone.y分别为(0，1)范围内的x和y分量；通过下式计算双眼视线交点在屏幕空间下的二维平面坐标：

23、pixelpos.x＝imageposzerotoone.x×tex.width

24、pixelpos.y＝(1-imageposzerotoone.y)×tex.height

25、其中，tex.width和tex.height分别为用户视野图像的宽和高；pixelpos.x和pixelpos.y即为双眼视线交点在屏幕空间下的二维平面坐标。

26、优选的，混合现实设备采集用户双眼的眼动数据，获取双眼视线交点在世界空间下的三维空间坐标，具体为：对用户所在世界空间下的三维空间进行网格化，双眼视线交点所在的网格坐标即为双眼视线交点在世界空间下的三维空间坐标。

27、优选的，基于用户凝视点从多个目标中选出用户意图目标，具体为：

28、若用户凝视点坐标位于所有边界框外，则无用户意图目标；

29、若用户凝视点坐标位于一个边界框内，则所述边界框中的目标为用户意图目标；

30、若用户凝视点坐标位于两个或两个以上边界框内，则找出中点和用户凝视点距离最近的边界框，所述边界框中的目标为用户意图目标；

31、所述边界框为：目标识别时，在识别目标外围生成的边框。

32、优选的，找出中点和用户凝视点距离最近的边界框，具体为：

33、通过下式计算用户凝视点的中心度m：

34、m＝a×b/s

35、其中，在边界框中找出和用户凝视点距离最近的顶点，用户凝视点到所述顶点相邻两条边的距离分别为a和b，所述边界框的面积为s；则最大中心度m所对应的边界框即为中点和用户凝视点距离最近的边界框。

36、优选的，根据用户意图目标选择机器端的动作模式，具体为：

37、预先建立动作模式和用户意图目标的映射关系，在映射关系中找出用户意图目标所映射的动作模式；其中，所述映射关系包括：

38、目标材质和动作力度的映射关系；

39、目标外形和动作形态的映射关系；

40、目标大小和动作幅度的映射关系。

41、优选的，机器端同时采集其和环境之间的交互信息并反馈至所述混合现实设备，具体为：

42、基于机器端的传感器采集所述交互信息，所述交互信息包括压力数据、温度数据、振动数据、滑移数据和图像数据中的至少两种；

43、将所述交互信息上传至混合现实设备后进行可视化处理。

44、优选的，通过预设语音触发混合现实设备采集用户双眼的眼动数据，获取双眼视线交点在世界空间下的三维空间坐标。

45、第二方面，本发明提供了一种基于混合现实技术的人机双向交互系统，所述系统包括：

46、图像采集模块，用于通过混合现实设备采集用户凝视点和用户视野图像；

47、目标识别模块，用于对用户视野图像进行目标识别获得多个目标，基于用户凝视点从多个目标中选出用户意图目标；

48、交互执行模块，用于根据用户意图目标选择机器端的动作模式，机器端执行动作模式；

49、交互反馈模块，用于控制机器端采集其和环境之间的交互信息并反馈至所述混合现实设备。

50、第三方面，本发明提供一种电子设备，包括：存储器，用于存储程序；处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面中所描述的任一方法。

51、第四方面，本发明提供一种存储介质，存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行第一方面中所描述的任一方法。

52、总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

53、(1)本发明混合现实设备对环境信息进行获取与分析，以使机器人正确地理解并响应用户的意图，机器人与环境之间的交互信息通过物理传感器进行采集并转换，最终传输至混合现实设备反馈给用户；通过该发明可实现人机双向交互，环境信息的视觉反馈相对于传统的电刺激、振动刺激来说也更加直观、便捷，且不受个体差异影响；该发明可用于截肢患者与假肢、截瘫患者与康复机器人、健康人群与增强型外骨骼机器人、人机遥操作、人机协作等场合的人机双向交互；

54、(2)本发明对用户所在世界空间下的三维空间进行网格化，用户双眼视线交点所在的网格坐标作为双眼视线交点在世界空间下的三维空间坐标，并将其转换到屏幕空间下的二维平面坐标，即为用户凝视点坐标，基于用户凝视点坐标和目标识别所生成的边界框顶点坐标，提出通过中心度进行判断，由此可以有效解决三维空间中存在的由于深度位置不同而产生的偏移和遮挡问题，并且可以在多个目标中快速、准确地选择用户意图目标，保证系统实时性；

55、(3)本发明将机器端和环境之间的交互信息与通过混合现实技术进行数字化渲染的全息场景相融合，由此可以将肉眼无法直接观测得到的信息可视化、具象化，并且可以实现多模态同步呈现，同时更加直观、有效，对用户认知负担小，交互过程更加自然。