一种多媒体信息的显示方法、装置和电子设备与流程

本公开涉及显示，尤其涉及一种多媒体信息的显示方法、装置和电子设备。

背景技术：

1、在一些场景中，用户在佩戴虚拟现实(virtual reality,vr)设备观看多媒体信息的过程中，会出现用户未旋转vr设备，而vr设备误以为用户有旋转vr设备的情况，如：vr设备为vr头盔，用户在乘坐交通工具时佩戴vr头盔观看多媒体信息，若交通工具在运行的过程中遇到转弯，由于交通工具的运行姿态发生改变，导致vr头盔误以为用户有旋转vr头盔，此时vr头盔播放的多媒体信息也会发生相应的旋转，导致用户的体验较差。

技术实现思路

1、本公开提供了一种多媒体信息的显示方法、装置和电子设备，解决了相关技术中vr头盔误以为用户有旋转vr头盔的问题。

2、为达到上述目的，本公开采用如下技术方案：

3、第一方面，本公开提供了一种多媒体信息的显示方法，应用于可安装有vr设备的交通工具，vr设备设置有至少一个图像采集装置，包括：获取交通工具在当前时刻的方向盘转角以及每个图像采集装置采集的当前图像；在方向盘转角大于转角阈值的情况下，根据当前图像，提取至少一个实际特征点；根据每个实际特征点在当前图像的图像坐标，以及实际特征点在车辆坐标系中的空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵；根据交通工具在车辆坐标系中绕z轴旋转的偏转角度、预先配置的第二转换矩阵和第一转换矩阵，确定vr设备对应的设备坐标系中绕z轴旋转的旋转矩阵；其中，第二转换矩阵用于表示相机坐标系中的坐标与设备坐标系中的坐标之间的转换关系；根据当前时刻vr设备在设备坐标系中的实际状态矩阵和旋转矩阵，确定去除偏转角度的理论状态矩阵；控制vr设备在下一时刻按照理论状态矩阵显示多媒体数据。

4、在一些可实施的示例中，根据每个实际特征点在当前图像的图像坐标，以及实际特征点在车辆坐标系中的空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵，包括：在预先配置的坐标集合中确定与每个实际特征点相匹配的理论特征点；根据预先配置的空间关系，以及每个实际特征点相匹配的理论特征点，确定每个理论特征点在车辆坐标系中的空间坐标；根据图像坐标和空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵。

5、在一些可实施的示例中，获取交通工具在当前时刻的方向盘转角以及每个图像采集装置采集的图像信息前，本公开提供的多媒体信息的显示方法还包括：获取每个图像采集装置采集交通工具的舱内在不同角度的理论图像信息；提取理论图像信息中的至少一个理论特征点；根据至少一个理论特征点，确定预先配置的坐标集合。

6、在一些可实施的示例中，本公开提供的多媒体信息的显示方法还包括：获取交通工具的舱内的三维重建模型；在三维重建模型中建立车辆坐标系；根据车辆坐标系和至少一个理论特征点，确定每个理论特征点在车辆坐标系中的空间坐标；根据每个理论特征点在车辆坐标系中的空间坐标，确定预先配置的空间关系。

7、在一些可实施的示例中，根据当前时刻vr设备在设备坐标系中的实际状态矩阵和旋转矩阵，确定去除偏转角度的理论状态矩阵，包括：根据旋转矩阵，确定旋转矩阵的逆矩阵；根据当前时刻vr设备在设备坐标系中的实际状态矩阵和逆矩阵，确定去除偏转角度的理论状态矩阵。

8、在一些可实施的示例中，根据当前时刻vr设备在设备坐标系中的实际状态矩阵和逆矩阵，确定去除偏转角度的理论状态矩阵，包括：根据当前时刻vr设备在设备坐标系中的实际状态矩阵和逆矩阵的乘积，确定去除偏转角度的理论状态矩阵。

9、第二方面、本公开提供一种多媒体信息的显示装置，应用于可安装有vr设备的交通工具，vr设备设置有至少一个图像采集装置，包括：获取单元，用于获取交通工具在当前时刻的方向盘转角以及每个图像采集装置采集的当前图像；处理单元，用于在获取单元获取的方向盘转角大于转角阈值的情况下，根据获取单元获取的当前图像，提取至少一个实际特征点；处理单元，还用于根据每个实际特征点在当前图像的图像坐标，以及实际特征点在车辆坐标系中的空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵；处理单元，还用于根据交通工具在车辆坐标系中绕z轴旋转的偏转角度、预先配置的第二转换矩阵和第一转换矩阵，确定vr设备对应的设备坐标系中绕z轴旋转的旋转矩阵；其中，第二转换矩阵用于表示相机坐标系中的坐标与设备坐标系中的坐标之间的转换关系；处理单元，还用于根据当前时刻vr设备在设备坐标系中的实际状态矩阵和旋转矩阵，确定去除偏转角度的理论状态矩阵；处理单元，还用于控制vr设备在下一时刻按照理论状态矩阵显示多媒体数据。

10、在一些可实施的示例中，处理单元，具体用于在预先配置的坐标集合中确定与每个实际特征点相匹配的理论特征点；处理单元，具体用于根据预先配置的空间关系，以及每个实际特征点相匹配的理论特征点，确定每个理论特征点在车辆坐标系中的空间坐标；处理单元，具体用于根据图像坐标和空间坐标，确定图像采集装置对应的相机坐标系与车辆坐标系之间的第一转换矩阵。

11、在一些可实施的示例中，获取单元，还用于获取每个图像采集装置采集交通工具的舱内在不同角度的理论图像信息；处理单元，还用于提取获取单元获取的理论图像信息中的至少一个理论特征点；处理单元，还用于根据至少一个理论特征点，确定预先配置的坐标集合。

12、在一些可实施的示例中，获取单元，还用于获取交通工具的舱内的三维重建模型；处理单元，还用于在获取单元获取的三维重建模型中建立车辆坐标系；处理单元，还用于根据车辆坐标系和至少一个理论特征点，确定每个理论特征点在车辆坐标系中的空间坐标；处理单元，还用于根据每个理论特征点在车辆坐标系中的空间坐标，确定预先配置的空间关系。

13、在一些可实施的示例中，处理单元，具体用于根据旋转矩阵，确定旋转矩阵的逆矩阵；处理单元，具体用于根据当前时刻vr设备在设备坐标系中的实际状态矩阵和逆矩阵，确定去除偏转角度的理论状态矩阵。

14、在一些可实施的示例中，处理单元，具体用于根据当前时刻vr设备在设备坐标系中的实际状态矩阵和逆矩阵的乘积，确定去除偏转角度的理论状态矩阵。

15、第三方面，本公开提供一种电子设备，包括：通信接口、处理器、存储器、总线；存储器用于存储计算机执行指令，处理器与存储器通过总线连接。当电子设备运行时，处理器执行存储器存储的计算机执行指令，以使电子设备执行如上述第一方面提供的多媒体信息的显示方法。

16、第四方面，本公开提供一种计算机可读存储介质，包括指令。当所述指令在计算机上运行时，使得计算机执行如上述第一方面提供的多媒体信息的显示方法。

17、第五方面，本公开提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面的设计方式所述的多媒体信息的显示方法。

18、需要说明的是，上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中，第一计算机可读存储介质可以与多媒体信息的显示装置的处理器封装在一起的，也可以与多媒体信息的显示装置的处理器单独封装，本公开对此不作限定。

19、本公开中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。

20、在本公开中，上述多媒体信息的显示装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本公开类似，属于本公开权利要求及其等同技术的范围之内。

21、本公开的这些方面或其他方面在以下的描述中会更加简明易懂。

22、本公开提供的技术方案与现有技术相比具有如下优点：

23、通过判别交通工具在当前时刻的方向盘转角与转角阈值的大小关系，从而可以确定出该交通工具是否在转弯。在方向盘转角大于转角阈值的情况下，说明交通工具正在转弯，可能造成vr设备保持静止时vr设备误以为用户有旋转vr设备。之后，通过提取vr设备上的图像采集装置采集的当前图像的特征点，从而可以确定至少一个实际特征点。根据每个实际特征点在当前图像中的图像坐标，以及实际特征点在车辆坐标系中的空间坐标，确定相机坐标系与车辆坐标系之间的第一转换矩阵。由于汽车在转弯的过程中，可看成汽车绕车辆坐标系中的z轴以一定的偏转角度进行旋转，而vr设备保持静止时，由于汽车的转动，会误认为用户的头发生了转动。因此，需要确定vr设备误以为发生转动的旋转矩阵。如：根据汽车在车辆坐标系中绕z轴旋转的偏转角度、预先配置的第二转换矩阵和第一转换矩阵，确定vr设备的在设备坐标系中绕z轴旋转的旋转矩阵。进一步地，根据当前时刻vr设备在设备坐标系中的实际状态矩阵和旋转矩阵，确定去除偏转角度的理论状态矩阵，这样便可以去除于汽车的转动，这样，即使汽车在转弯，vr设备显示的多媒体数据也不会发生旋转，保证用户的体验，解决了相关技术中vr设备误以为用户有旋转vr设备的问题。