增强现实设备显示方法、增强现实设备和可读存储介质与流程

本技术涉及增强现实设备，尤其涉及一种增强现实设备显示方法、增强现实设备和可读存储介质。

背景技术：

1、抬头显示（head up display，hud）又被叫做平视显示系统，是把时速、导航等重要的行车信息，投影到驾驶员前面的挡风玻璃上，让驾驶员尽量做到不低头、不转头就能看到时速、导航等重要的驾驶信息。增强现实（augmented reality，ar）是一种将虚拟信息与真实世界巧妙融合的技术，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

2、随着汽车的发展，抬头显示和增强现实技术已经在汽车中得到应用。将抬头显示和增强现实技术相结合应用在汽车上，可以使驾驶员在不低头的情况下，看到虚拟图像与真实环境相融合的图像，为驾驶员开车提供便利。

3、然而，目前汽车上仅能利用增强现实显示技术显示导航路线、车速等常规内容，而车内外环境复杂多变，该常规内容的显示方法不仅不能准确显示驾驶员需要观察的关键环境图像，甚至会遮挡或扰乱驾驶员的视线，严重降低了行车安全性，也即，在车内人员使用增强现实设备的过程中，对车外环境感知的准确性低，无法及时有效地识别出行车安全隐患。

技术实现思路

1、本技术的主要目的在于提供一种增强现实设备显示方法、增强现实设备和可读存储介质，旨在解决车内人员佩戴增强现实设备时对车外环境感知的准确性低，导致行车安全隐患的技术问题。

2、为实现上述目的，本技术提供一种增强现实设备显示方法，所述增强现实设备显示方法应用于车辆，所述车辆周身的多个方位设置有摄像头，所述方法包括：

3、通过各所述摄像头采集车辆周身的多个方位的环境图像；

4、基于各所述摄像头采集的环境图像，生成所述车辆周围预设区域内的全景空间图像；

5、获取增强现实设备的当前位姿信息，根据所述当前位姿信息确定所述增强现实设备在全景空间图像中的当前视窗图像；

6、将所述当前视窗图像发送至所述增强现实设备进行增强显示。

7、可选地，所述根据所述当前位姿信息确定所述增强现实设备在全景空间图像中的当前视窗图像的步骤包括：

8、识别当前触发的头戴设备显示模式；

9、根据当前触发的头戴设备显示模式，以及所述当前位姿信息，确定所述增强现实设备在全景空间图像中的当前视窗图像。

10、可选地，所述根据当前触发的头戴设备显示模式，以及所述当前位姿信息，确定所述增强现实设备在全景空间图像中的当前视窗图像的步骤包括：

11、根据所述当前位姿信息，确定当前注视区域；

12、根据所述当前注视区域，确定所述增强现实设备在全景空间图像中的初始视窗图像；

13、根据当前触发的头戴设备显示模式，以及所述初始视窗图像，生成所述增强现实设备在全景空间图像中的当前视窗图像。

14、可选地，所述根据当前触发的头戴设备显示模式，以及所述初始视窗图像，生成所述增强现实设备在全景空间图像中的当前视窗图像的步骤包括：

15、若当前触发的头戴设备显示模式为盲区显示模式，则根据所述当前注视区域，确定当前注视区域下的人眼盲区视角区域；

16、从所述初始视窗图像中提取出所述人眼盲区视角区域的图像，得到当前注视区域下的盲区行驶环境图像；

17、将所述盲区行驶环境图像，作为所述增强现实设备在全景空间图像中的当前视窗图像。

18、可选地，所述根据当前触发的头戴设备显示模式，以及所述初始视窗图像，生成所述增强现实设备在全景空间图像中的当前视窗图像的步骤包括：

19、若当前触发的头戴设备显示模式为风险阻挡物显示模式，则根据所述当前注视区域，确定当前注视区域下的风险阻挡物，其中，所述风险阻挡物包括与所述车辆的距离小于预设距离的物体；

20、从所述初始视窗图像中提取所述风险阻挡物对应的图像，得到当前注视区域下的风险物图像；

21、将所述风险物图像，作为所述增强现实设备在全景空间图像中的当前视窗图像。

22、可选地，所述根据当前触发的头戴设备显示模式，以及所述初始视窗图像，生成所述增强现实设备在全景空间图像中的当前视窗图像的步骤包括：

23、若当前触发的头戴设备显示模式为混合显示模式，则根据所述当前注视区域，确定当前注视区域下的风险阻挡物，其中，所述风险阻挡物包括与所述车辆的距离小于预设距离的物体；

24、根据所述当前注视区域，确定当前注视区域下的人眼盲区视角区域；

25、从所述初始视窗图像中提取所述风险阻挡物对应的图像，得到当前注视区域下的风险物图像，并从所述初始视窗图像中提取出所述人眼盲区视角区对应的图像，得到当前注视区域下的盲区行驶环境图像；

26、将所述风险物图像和所述盲区行驶环境图像进行融合，得到所述增强现实设备在全景空间图像中的当前视窗图像。

27、可选地，所述根据当前触发的头戴设备显示模式，以及所述初始视窗图像，生成所述增强现实设备在全景空间图像中的当前视窗图像的步骤包括：

28、若当前触发的头戴设备显示模式为全景显示模式，则将所述初始视窗图像，作为所述增强现实设备在全景空间图像中的当前视窗图像。

29、可选地，所述方法还包括：

30、若检测到显示模式切换指令，则根据所述显示模式切换指令，确定切换后的头戴设备显示模式；

31、根据切换后的头戴设备显示模式，对当前触发的头戴设备显示模式进行更新；

32、执行：所述识别当前触发的头戴设备显示模式的步骤。

33、本技术还提供一种车辆，所述车辆为实体设备，所述车辆包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述增强现实设备显示方法的程序，所述增强现实设备显示方法的程序被处理器执行时可实现如上述的增强现实设备显示方法的步骤。

34、此外，本技术还提供一种增强现实设备显示方法，所述增强现实设备显示方法应用于增强现实设备，所述增强现实设备与如上述的车辆进行通信连接，所述方法包括：

35、动态检测增强现实设备的当前位姿信息；

36、将动态检测的当前位姿信息发送至所述车辆；

37、动态接收车辆响应于所述当前位姿信息而返回的当前视窗图像，将所述当前视窗图像对应增强显示于所述增强现实设备的透视屏幕上。

38、可选地，所述方法还包括：

39、检测基于预设触发操作而触发的显示模式选择指令或者显示模式切换指令；

40、根据所述显示模式选择指令或者显示模式切换指令，确定当前触发的头戴设备显示模式；

41、将当前触发的头戴设备显示模式发送至车辆，以使所述车辆识别出当前触发的头戴设备显示模式。

42、本技术还提供一种增强现实设备，所述增强现实设备为实体设备，所述增强现实设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述增强现实设备显示方法的程序，所述增强现实设备显示方法的程序被处理器执行时可实现如上述的增强现实设备显示方法的步骤。

43、本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现增强现实设备显示方法的程序，所述实现增强现实设备显示方法的程序被处理器执行以实现如上述增强现实设备显示方法的步骤。

44、本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的增强现实设备显示方法的步骤。

45、本技术提供一种增强现实设备显示方法、增强现实设备和可读存储介质，该增强现实设备显示方法应用于车辆，该车辆周身的多个方位设置有摄像头，本技术的技术方案是通过各摄像头采集车辆周身的多个方位的环境图像，然后基于各个摄像头采集的环境图像，生成车辆周围预设区域内的全景空间图像，并获取增强现实设备的当前位姿信息，根据该当前位姿信息确定增强现实设备在全景空间图像中的当前视窗图像，将当前视窗图像发送至增强现实设备进行增强显示，从而使得车内人员在佩戴增强现实设备时，可通过调整头部位姿（头部位姿包括头部的位置和角度），来观察到当前头部位姿对应视野区域下的更加广阔、清晰的环境图像，借助多角度布局的摄像头采集环境图像，能够弥补人眼的视野盲区和/或视线清晰度不佳的问题，克服了车内人员仅通过肉眼观察的视野和清晰度的局限，从而便于及时、准确地观察到车外的关键环境图像，有效提升了车内人员佩戴增强现实设备时对车外环境感知的准确性，进而降低了行车安全隐患。