一种车载XR设备定位方法、装置、设备及存储介质与流程

一种车载xr设备定位方法、装置、设备及存储介质
技术领域
1.本发明涉及车载xr设备定位技术领域，尤其涉及一种车载xr设备定位方法、装置、设备及存储介质。


背景技术：

2.虚拟现实(vr)是利用设备模拟产生一个虚拟世界，提供用户关于视觉、听觉等感官的模拟，有十足的“沉浸感”与“临场感”；增强现实(ar)是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，它将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验；混合现实(mr)是将真实世界和虚拟世界混合在一起，来产生新的可视化环境，环境中同时包含了物理实体与虚拟信息，并且必须是“实时的”。
3.扩展显示(xr)包括了增强现实(ar)，虚拟现实(vr)，混合现实(mr)等多种形式，xr的出现和使用，也使得在虚拟空间的交互成为了可能。目前xr设备只能在固定空间内进行移动的支持，无法在移动车辆环境下进行使用，例如当车辆行驶时，无法将车辆的定位结果转换为xr设备的定位结果。


技术实现要素：

4.本发明实施例的目的是提供一种车载xr设备定位方法、装置、设备及存储介质，能够将车辆的定位结果转换为xr设备的定位结果，使得xr设备能够在移动车辆环境下进行使用。
5.为实现上述目的，本发明实施例提供了一种车载xr设备定位方法，包括：
6.获取车辆在世界坐标系的第一姿态；
7.获取xr设备在预先构建的车辆坐标系的第二姿态；
8.将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态。
9.作为上述方案的改进，所述获取车辆在世界坐标系的第一姿态，包括：
10.利用车辆相机拍摄到的若干第一图像和车辆gps测量到的数据，得到车辆在世界坐标系的第一定位结果；
11.通过对若干所述第一图像进行特征点匹配，对所述第一定位结果进行跟踪，得到所述车辆在所述世界坐标系的第一跟踪结果；
12.基于车辆imu和/或车辆底盘测量到的数据，得到所述车辆在所述世界坐标系中的第一线速度和第一角速度；
13.其中，所述车辆相机、所述车辆gps和所述车辆imu均设于所述车辆上，所述车辆相机至少包括前向相机。
14.作为上述方案的改进，所述获取xr设备在预先构建的车辆坐标系的第二姿态，包括：
15.利用xr相机拍摄到的若干第二图像，得到xr设备在预先构建的车辆坐标系的第二
定位结果；
16.通过对若干第二图像进行特征点匹配，对所述第二定位结果进行跟踪，得到所述xr设备在所述车辆坐标系的第二跟踪结果；
17.基于xr imu测量到的数据，得到所述xr设备在所述车辆坐标系中的第二线速度和第二角速度；
18.其中，所述xr相机和所述xr imu均设于所述xr设备上。
19.作为上述方案的改进，所述第一姿态包括：车辆在世界坐标系的第一定位结果、车辆在世界坐标系的第一跟踪结果、车辆在世界坐标系中的第一线速度和车辆在世界坐标系中的第一角速度；
20.所述第二姿态包括：xr设备在车辆坐标系的第二定位结果、xr设备在车辆坐标系的第二跟踪结果、xr设备在车辆坐标系中的第二线速度和xr设备在车辆坐标系中的第二角速度；
21.则所述将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态，包括：
22.将所述第一定位结果和所述第二定位结果进行叠加，得到所述xr设备在所述世界坐标系的定位结果；
23.将所述第一跟踪结果和所述第二跟踪结果进行叠加，得到所述xr设备在所述世界坐标系的跟踪结果；
24.将所述第二线速度和所述第二线速度进行叠加，得到所述xr设备在所述世界坐标系中的线速度；
25.将所述第一角速度和所述第二角速度进行叠加，得到所述xr设备在所述世界坐标系中的角速度。
26.作为上述方案的改进，通过以下步骤构建车辆坐标系为：
27.以所述车辆的后轴中心为原点、所述车辆的正前方为x轴、所述车辆的正右方为y轴和所述车辆的正上方为z轴，构建车辆坐标系。
28.为实现上述目的，本发明实施例还提供了一种车载xr设备定位装置，包括：
29.车辆姿态获取模块，用于获取车辆在世界坐标系的第一姿态；
30.xr设备姿态获取模块，用于获取xr设备在预先构建的车辆坐标系的第二姿态；
31.车载xr设备定位模块，用于将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态。
32.作为上述方案的改进，所述获取车辆在世界坐标系的第一姿态，包括：
33.利用车辆相机拍摄到的若干第一图像和车辆gps测量到的数据，得到车辆在世界坐标系的第一定位结果；
34.通过对若干所述第一图像进行特征点匹配，对所述第一定位结果进行跟踪，得到所述车辆在所述世界坐标系的第一跟踪结果；
35.基于车辆imu和/或车辆底盘测量到的数据，得到所述车辆在所述世界坐标系中的第一线速度和第一角速度；
36.其中，所述车辆相机、所述车辆gps和所述车辆imu均设于所述车辆上，所述车辆相机至少包括前向相机。
37.作为上述方案的改进，所述获取xr设备在预先构建的车辆坐标系的第二姿态，包括：
38.利用xr相机拍摄到的若干第二图像，得到xr设备在预先构建的车辆坐标系的第二定位结果；
39.通过对若干第二图像进行特征点匹配，对所述第二定位结果进行跟踪，得到所述xr设备在所述车辆坐标系的第二跟踪结果；
40.基于xr imu测量到的数据，得到所述xr设备在所述车辆坐标系中的第二线速度和第二角速度；
41.其中，所述xr相机和所述xr imu均设于所述xr设备上。
42.为实现上述目的，本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上述的车载xr设备定位方法。
43.为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述的车载xr设备定位方法。
44.与现有技术相比，本发明实施例提供的一种车载xr设备定位方法、装置、设备及存储介质，通过获取车辆在世界坐标系的第一姿态；获取xr设备在预先构建的车辆坐标系的第二姿态；将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态。由此可见，本发明实施例通过将车辆在世界坐标系的姿态和xr设备在车辆坐标系的姿态进行融合，将车辆的定位结果转换为xr设备在世界坐标系下的定位结果，使得在车辆行驶过程中，乘客通过xr设备看到的画面和当前车辆的位置匹配，提高用户体验。
附图说明
45.图1是本发明实施例提供的一种车载xr设备定位方法的流程图；
46.图2是本发明实施例提供的一种车载xr设备定位装置的结构框图；
47.图3是本发明实施例提供的一种终端设备的结构框图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.参见图1，图1是本发明实施例提供的一种车载xr设备定位方法的流程图，所述车载xr设备定位方法包括：
50.s1、获取车辆在世界坐标系的第一姿态；
51.s2、获取xr设备在预先构建的车辆坐标系的第二姿态；
52.s3、将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态。
53.可以理解的是，本发明实施例可以在车机端执行，首先计算第一姿态，接着接收xr
设备端传输来的第二姿态，最后将所述第一姿态和所述第二姿态进行融合；其中，车机端与xr设备端通过网络构建传输通路，以数据流(streaming)的方式持续做双向的数据传输。
54.在一可选实施例中，步骤s1所述获取车辆在世界坐标系的第一姿态，包括：
55.利用车辆相机拍摄到的若干第一图像和车辆gps测量到的数据，得到车辆在世界坐标系的第一定位结果；
56.可以理解的是，利用将若干第一图像输入至image深度学习模型得到车辆在世界坐标系的定位结果和车辆gps提供的车辆在世界坐标系的定位结果，得到车辆在世界坐标系的第一定位结果；其中，所述第一定位结果可以用于路线导航。其中，所述车辆相机和所述车辆gps均设于所述车辆上，所述车辆相机至少包括前向相机。
57.通过对若干所述第一图像进行特征点匹配，对所述第一定位结果进行跟踪，得到所述车辆在所述世界坐标系的第一跟踪结果；
58.可以理解的是，所述第一跟踪结果可以作为车辆在世界坐标系下的视觉观测。
59.基于车辆imu和/或车辆底盘测量到的数据，得到所述车辆在所述世界坐标系中的第一线速度和第一角速度；
60.具体地，根据车辆imu测量到的线性加速度和角速度，得到所述车辆在所述世界坐标系中的第一线速度和第一角速度；或，
61.根据车辆底盘测量到的线速度和角速度，得到所述车辆在所述世界坐标系中的第一线速度和第一角速度；或，
62.通过对车辆imu测量到的线性加速度和角速度及车辆底盘测量到的线速度和角速度进行处理，得到所述车辆在所述世界坐标系中的第一线速度和第一角速度；该第一线速度和第一角速度由于结合了车辆imu和车辆底盘的数据，准确性更高。
63.可以理解的是，所述车辆imu设于所述车辆上，所述车辆imu指的是车辆的惯性测量单元，用于测量车辆的线性加速度和角速度，通过对其线性加速度进行优化计算得到车辆的线速度；所述车辆底盘用于测量车辆的线速度和角速度；经过车辆imu和/或车辆底盘计算处理得到的第一线速度和第一角速度可以作为运动观测，提供车辆在世界坐标系下的运动状态。
64.在一可选实施例中，步骤s2所述获取xr设备在预先构建的车辆坐标系的第二姿态，包括：
65.利用xr相机拍摄到的若干第二图像，得到xr设备在预先构建的车辆坐标系的第二定位结果；
66.可以理解的是，利用将若干第二图像输入至image深度学习模型得到xr设备在预先构建的车辆坐标系的第二定位结果。
67.通过对若干第二图像进行特征点匹配，对所述第二定位结果进行跟踪，得到所述xr设备在所述车辆坐标系的第二跟踪结果；
68.可以理解的是，所述第二跟踪结果可以作为xr设备在车辆坐标系下的视觉观测。
69.基于xr imu测量到的数据，得到所述xr设备在所述车辆坐标系中的第二线速度和第二角速度；
70.可以理解的是，所述xr imu指的是xr设备的惯性测量单元，用于测量xr设备的线性加速度和角速度，通过对其线性加速度进行优化计算得到xr设备的线速度；第二线速度
和第二角速度可以作为运动观测，提供xr设备在车辆坐标系下的运动状态。
71.其中，所述xr相机和所述xr imu均设于所述xr设备上。
72.可以理解的是，本发明实施例可以在xr设备端执行，将计算得到第二姿态传输至车机端。
73.在一可选实施例中，所述第一姿态包括：车辆在世界坐标系的第一定位结果、车辆在世界坐标系的第一跟踪结果、车辆在世界坐标系中的第一线速度和车辆在世界坐标系中的第一角速度；
74.所述第二姿态包括：xr设备在车辆坐标系的第二定位结果、xr设备在车辆坐标系的第二跟踪结果、xr设备在车辆坐标系中的第二线速度和xr设备在车辆坐标系中的第二角速度；
75.则步骤s3所述将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态，包括：
76.将所述第一定位结果和所述第二定位结果进行叠加，得到所述xr设备在所述世界坐标系的定位结果；
77.将所述第一跟踪结果和所述第二跟踪结果进行叠加，得到所述xr设备在所述世界坐标系的跟踪结果；
78.将所述第二线速度和所述第二线速度进行叠加，得到所述xr设备在所述世界坐标系中的线速度；
79.将所述第一角速度和所述第二角速度进行叠加，得到所述xr设备在所述世界坐标系中的角速度。
80.在本发明实施例中，结合上述得到的定位结果、跟踪结果、线速度和角速度，能够得到xr设备相对于世界坐标系的定位，以及xr设备相对于世界坐标系的运动估计。
81.在一可选实施例中，通过以下步骤构建车辆坐标系为：
82.以所述车辆的后轴中心为原点、所述车辆的正前方为x轴、所述车辆的正右方为y轴和所述车辆的正上方为z轴，构建车辆坐标系。
83.本发明实施例所提供的一种车载xr设备定位方法，通过获取车辆在世界坐标系的第一姿态；获取xr设备在预先构建的车辆坐标系的第二姿态；将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态。由此可见，本发明实施例通过将车辆在世界坐标系的姿态和xr设备在车辆坐标系的姿态进行融合，将车辆的定位结果转换为xr设备在世界坐标系下的定位结果，使得在车辆行驶过程中，乘客通过xr设备看到的画面和当前车辆的位置匹配，提高用户体验。
84.参见图2，图2是本发明实施例提供的一种车载xr设备定位装置10的结构框图，所述车载xr设备定位装置10，包括：
85.车辆姿态获取模块11，用于获取车辆在世界坐标系的第一姿态；
86.xr设备姿态获取模块12，用于获取xr设备在预先构建的车辆坐标系的第二姿态；
87.车载xr设备定位模块13，用于将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态。
88.优选地，所述获取车辆在世界坐标系的第一姿态，包括：
89.利用车辆相机拍摄到的若干第一图像和车辆gps测量到的数据，得到车辆在世界
坐标系的第一定位结果；
90.通过对若干所述第一图像进行特征点匹配，对所述第一定位结果进行跟踪，得到所述车辆在所述世界坐标系的第一跟踪结果；
91.基于车辆imu和/或车辆底盘测量到的数据，得到所述车辆在所述世界坐标系中的第一线速度和第一角速度；
92.其中，所述车辆相机、所述车辆gps和所述车辆imu均设于所述车辆上，所述车辆相机至少包括前向相机。
93.优选地，所述获取xr设备在预先构建的车辆坐标系的第二姿态，包括：
94.利用xr相机拍摄到的若干第二图像，得到xr设备在预先构建的车辆坐标系的第二定位结果；
95.通过对若干第二图像进行特征点匹配，对所述第二定位结果进行跟踪，得到所述xr设备在所述车辆坐标系的第二跟踪结果；
96.基于xr imu测量到的数据，得到所述xr设备在所述车辆坐标系中的第二线速度和第二角速度；
97.其中，所述xr相机和所述xr imu均设于所述xr设备上。
98.优选地，所述第一姿态包括：车辆在世界坐标系的第一定位结果、车辆在世界坐标系的第一跟踪结果、车辆在世界坐标系中的第一线速度和车辆在世界坐标系中的第一角速度；
99.所述第二姿态包括：xr设备在车辆坐标系的第二定位结果、xr设备在车辆坐标系的第二跟踪结果、xr设备在车辆坐标系中的第二线速度和xr设备在车辆坐标系中的第二角速度；
100.则所述将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态，包括：
101.将所述第一定位结果和所述第二定位结果进行叠加，得到所述xr设备在所述世界坐标系的定位结果；
102.将所述第一跟踪结果和所述第二跟踪结果进行叠加，得到所述xr设备在所述世界坐标系的跟踪结果；
103.将所述第二线速度和所述第二线速度进行叠加，得到所述xr设备在所述世界坐标系中的线速度；
104.将所述第一角速度和所述第二角速度进行叠加，得到所述xr设备在所述世界坐标系中的角速度。
105.优选地，通过以下步骤构建车辆坐标系为：
106.以所述车辆的后轴中心为原点、所述车辆的正前方为x轴、所述车辆的正右方为y轴和所述车辆的正上方为z轴，构建车辆坐标系。
107.值得说明的是，本发明实施例所述的车载xr设备定位装置10中各个模块的工作过程可参考上述实施例所述的车载xr设备定位方法的工作过程，在此不再赘述。
108.本发明实施例所提供的一种车载xr设备定位装置10，通过获取车辆在世界坐标系的第一姿态；获取xr设备在预先构建的车辆坐标系的第二姿态；将所述第一姿态和所述第二姿态进行融合，得到所述xr设备在所述世界坐标系的姿态。由此可见，本发明实施例通过
将车辆在世界坐标系的姿态和xr设备在车辆坐标系的姿态进行融合，将车辆的定位结果转换为xr设备在世界坐标系下的定位结果，使得在车辆行驶过程中，乘客通过xr设备看到的画面和当前车辆的位置匹配，提高用户体验。
109.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上述实施例的车载xr设备定位方法。
110.参见图3，图3是本发明实施例提供的一种终端设备20的结构框图，所述终端设备20包括：处理器21、存储器22以及存储在所述存储器22中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述车载xr设备定位方法实施例中的步骤。或者，所述处理器21执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能。
111.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器22中，并由所述处理器21执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备20中的执行过程。
112.所述终端设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备20可包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，所述示意图仅仅是终端设备20的示例，并不构成对终端设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备20还可以包括输入输出设备、网络接入设备、总线等。
113.所称处理器21可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器21是所述终端设备20的控制中心，利用各种接口和线路连接整个终端设备20的各个部分。
114.所述存储器22可用于存储所述计算机程序和/或模块，所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块，以及调用存储在存储器22内的数据，实现所述终端设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
115.其中，所述终端设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件
来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器21执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
116.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
117.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。