全景视频显示方法、装置和计算机设备与流程

1.本技术涉及计算机技术领域，具体而言，涉及一种全景视频显示方法、装置和计算机设备。


背景技术：

2.随着全景相机技术的发展，越来越多的全景视频内容出现在人们的生活中，这些全景视频内容可以显示在电视或电脑或其他电子设备上以供人们。
3.相关技术中，一般地，在电视上展示全景视频的情况下，电视的屏幕上只能显示全景视频的一部分内容，可以通过按下电视遥控器上的方向键切换电视的屏幕上显示的全景视频的内容。具体地，可以根据按下的方向键指向的方向偏移一定的角度来切换电视的屏幕上显示的全景视频的内容。
4.因此，这种方案就存在可能导致显示的全景视频的内容切换不准确、不及时的问题。


技术实现要素：

5.本技术的目的在于提供一种全景视频显示方法、装置和计算机设备，可以达到准确、及时地切换显示的全景视频的内容的效果。
6.本技术的实施例是这样实现的：
7.本技术实施例的一方面，提供一种全景视频显示方法，应用于智能电视，所述智能电视与终端设备通信连接，所述方法包括：
8.解码全景视频流，得到所述全景视频流的类型和至少一帧全景视频图像；
9.根据所述全景视频流的类型确定渲染模型，所述渲染模型包括圆柱模型、球形模型或正六边形模型；
10.根据各所述全景视频图像的顺序，依次将各所述全景视频图像贴合在所述渲染模型上，得到渲染后的目标全景视频图像，并将所述目标全景视频图像显示在所述智能电视的显示屏幕上；
11.根据所述终端设备发送的位移信息，实时调整当前显示的所述目标全景视频图像在所述智能电视的显示屏幕上的显示角度，所述位移信息包括所述终端设备的旋转角度。
12.可选地，所述将各所述全景视频图像贴合在所述渲染模型上，包括：
13.生成与所述渲染模型的类型匹配的模型矩阵和纹理矩阵，所述模型矩阵包括多个模型顶点，所述纹理矩阵包括多个纹理顶点，各所述纹理顶点和各所述模型顶点一一对应；
14.基于所述模型矩阵和所述纹理矩阵，依次将各所述全景视频图像贴合在所述渲染模型上。
15.可选地，所述基于所述模型矩阵和所述纹理矩阵，依次将各所述全景视频图像贴合在所述渲染模型上，包括：
16.确定所述纹理矩阵中的各所述纹理顶点的位置，将各所述全景视频图像中与各所
述纹理顶点对应的点贴合在各所述纹理顶点上；
17.对各所述全景视频图像中的各个点进行映射处理，以使得各所述全景视频图像中的各个点均贴合在所述纹理矩阵中；
18.将所述纹理矩阵中的各所述纹理顶点对应贴合在所述模型矩阵中的各所述模型顶点上，以使得各所述全景视频图像贴合在所述渲染模型上。
19.可选地，所述将所述目标全景视频图像显示在所述智能电视的显示屏幕上，包括：
20.生成投影矩阵、观察矩阵和视图矩阵，所述投影矩阵用于框选需要显示的所述目标全景视频图像的显示范围，所述视图矩阵用于调整所述目标全景视频图像的显示比例，所述观察矩阵用于调整显示的所述目标全景视频图像的所述显示角度；
21.根据所述投影矩阵和所述视图矩阵确定所述目标全景视频图像的显示范围；
22.根据所述观察矩阵确定所述目标全景视频图像的显示角度；
23.以所述显示范围和显示角度将所述目标全景视频图像显示在所述智能电视的显示屏幕上。
24.可选地，所述根据所述终端设备发送的位移信息，实时调整当前显示的所述目标全景视频图像在所述智能电视的显示屏幕上的显示角度，包括：
25.根据所述终端设备发送的位移信息，生成旋转矩阵；
26.根据所述旋转矩阵和基准矩阵，实时调整当前显示的所述目标全景视频图像在所述智能电视的显示屏幕上的显示角度，所述基准矩阵包括：模型矩阵或观察矩阵。
27.可选地，所述根据终端设备发送的位移信息，调整在所述智能电视的显示屏幕上显示的目标全景视频图像的角度之前，还包括：
28.接收所述终端设备发送的连接指令；
29.根据所述连接指令，与所述终端设备建立通信连接并向所述终端设备发送确认信号；
30.接收所述终端设备实时发送的所述位移信息。
31.可选地，在所述将各所述全景视频图像贴合在所述渲染模型上，并将符合预设角度且符合预设范围的目标全景视频图像显示在所述智能电视的显示屏幕上之后，还包括：
32.响应于所述终端设备发送的视角范围调整指令，调整在所述智能电视的显示屏幕上显示的所述目标全景视频图像的视角范围，所述视角范围调整指令包括用于指示放大所述目标全景视频图像的视角范围的指令或用于指示缩小所述目标全景视频图像的视角范围的指令。
33.本技术实施例的第二方面，提供了一种全景视频显示装置，所述装置包括：
34.解码模块，用于解码全景视频流，得到所述全景视频流的类型和至少一帧全景视频图像；
35.确定模块，用于根据所述全景视频流的类型确定渲染模型；
36.显示模块，用于根据各所述全景视频图像的顺序，依次将各所述全景视频图像贴合在所述渲染模型上，得到渲染后的目标全景视频图像，并将所述目标全景视频图像显示在智能电视的显示屏幕上；
37.调整模块，用于根据终端设备发送的位移信息，实时调整当前显示的所述目标全景视频图像在所述智能电视的显示屏幕上的显示角度。
38.本技术实施例的第三方面，提供了一种计算机设备，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的全景视频显示方法。
39.本技术实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的全景视频显示方法。
40.本技术实施例的有益效果包括：
41.本技术实施例提供的一种全景视频显示方法，通过解码全景视频流，得到该全景视频流的类型和至少一帧全景视频图像，根据该全景视频流的类型确定渲染模型，根据各全景视频图像的顺序，依次将各全景视频图像贴合在该渲染模型上，得到渲染后的目标全景视频图像，并将该目标全景视频图像显示在该智能电视的显示屏幕上，根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。其中，根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，这样就可以在任意多个方向上调整该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，并且该智能电视可以在接收到该终端设备发送的位移信息之后实时对该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度进行调整。如此，可以解决可能导致显示的全景视频的内容切换不准确、不及时的问题，进而可以达到准确、及时地切换显示的全景视频的内容的效果。
附图说明
42.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
43.图1为本技术实施例提供的第一种全景视频显示方法的流程图；
44.图2为本技术实施例提供的第二种全景视频显示方法的流程图；
45.图3为本技术实施例提供的第三种全景视频显示方法的流程图；
46.图4为本技术实施例提供的第四种全景视频显示方法的流程图；
47.图5为本技术实施例提供的第五种全景视频显示方法的流程图；
48.图6为本技术实施例提供的第六种全景视频显示方法的流程图；
49.图7为本技术实施例提供的第七种全景视频显示方法的流程图；
50.图8为本技术实施例提供的一种全景视频显示装置的结构示意图；
51.图9为本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
52.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施
例的组件可以以各种不同的配置来布置和设计。
53.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
54.相关技术中，在电视上展示全景视频的情况下，电视的屏幕上只能显示全景视频的一部分内容，可以通过按下电视遥控器上的方向键切换电视的屏幕上显示的全景视频的内容。具体地，可以根据按下的方向键指向的方向偏移一定的角度来切换电视的屏幕上显示的全景视频的内容。由于同时按下方向键之后，在电视屏幕上显示的全景视频的内容的偏移角度是固定的，那么就可能会导致不能准确地切换到想要切换到的位置。另外，即使同时按下遥控器上的两个方向键，但遥控器也只能发送一个方向上的偏移信号，也就是说，同一时间只能在一个方向上切换在电视屏幕上显示的全景视频的内容。因此，这种方案就存在可能导致显示的全景视频的内容切换不准确、不及时的问题。
55.为此，本技术实施例提供了全景视频显示方法，通过解码全景视频流，得到该全景视频流的类型和至少一帧全景视频图像，根据该全景视频流的类型确定渲染模型，根据各全景视频图像的顺序，依次将各全景视频图像贴合在该渲染模型上，得到渲染后的目标全景视频图像，并将该目标全景视频图像显示在该智能电视的显示屏幕上，根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，可以达到准确、及时地切换显示的全景视频的内容的效果。
56.本技术实施例以应用在智能电视中的全景视频显示方法为例进行说明。但不表明本技术实施例仅能应用于智能电视中进行全景视频显示。
57.可选地，该智能电视可以是一种带有处理和通信功能的电视。
58.理所当然地，本技术实施例提供的全景视频显示方法也可以应用在其他带有显示、处理和通信功能的电子设备上。本技术实施例对此不作限定。
59.下面对本技术实施例提供的全景视频显示方法进行详细地解释说明。
60.图1为本技术提供的一种全景视频显示方法的流程图，该方法可以应用于智能电视，该智能电视可以与终端设备通信连接。在本技术中，可选地，终端设备可以是智能手机、平板电脑或其他带有通信、处理功能的电子设备。智能电视通过与终端设备通信连接，可以实时获取终端设备上显示的内容以及终端设备的实时状态，进而可以进行全景播放。参见图1，本技术实施例提供一种全景视频显示方法，包括：
61.步骤1001：解码全景视频流，得到该全景视频流的类型和至少一帧全景视频图像。
62.可选地，解码具体可以是逐帧分析全景视频流的视频内容、视频类型、视频时间长度和各帧之间的播放时序关系等，以得到该全景视频流的类型和至少一帧全景视频图像。
63.可选地，该全景视频流是一种使用3d摄像机进行全方位拍摄的视频流。
64.可选地，该全景视频流可以是存储在该智能电视的存储器中的全景视频流，该智能电视可以直接从存储器中获取该全景视频流。也可以是存储在该终端设备的存储器中的全景视频流，该终端设备可以将该全景视频流发送给该智能电视，以便于该智能电视对该全景视频流进行解码。还可以是存储在服务器的全景视频流，可以由该智能电视直接通过网络从该服务器获取该全景视频流，也可以由该终端设备通过网络从该服务器获取该全景
视频流之后再将该全景视频流发送给该智能电视。
65.这样，便于对该全景视频流进行后续操作。
66.步骤1002：根据该全景视频流的类型确定渲染模型。
67.可选地，该渲染模型可以包括圆柱模型、球形模型或正六边形模型。当然，该渲染模型也可以包括其他可能形状的模型。一般地，该渲染模型是一个三维的模型。
68.例如，若该全景视频流的类型为显示地图的类型，那么就可以确定该渲染模型为圆柱模型。
69.又例如，若该全景视频流的类型为显示物体结构的类型，那么就可以确定该渲染模型为球形模型。
70.理所当然地，在该全景视频流的类型为其他类型的情况下，可以确定该渲染模型为其他合适形状的模型。本技术实施例对此不作限定。
71.这样，可以为该全景视频流确定出合适的渲染模型，以便对该全景视频流进行贴图、渲染和显示。
72.步骤1003：根据各全景视频图像的顺序，依次将各全景视频图像贴合在该渲染模型上，得到渲染后的目标全景视频图像，并将该目标全景视频图像显示在该智能电视的显示屏幕上。
73.可选地，将该全景视频流进行解码之后，可以得到按照该全景视频流播放时序排列的各全景视频图像。各全景视频图像的顺序就是指按照该全景视频流播放时序排列的顺序。比如，该全景视频流在一秒中可以有24帧全景视频图像，那么在该全景视频流的第一秒中的24帧全景视频图像就排列在该全景视频流的第一秒中的24帧全景视频图像之前，并且每一秒中的这24帧全景视频图像也是按照播放时序排列的。
74.可选地，将各全景视频图像贴合在该渲染模型上的操作可以是对各全景视频图像进行渲染的操作。一般地，解码该全景视频流得到的各全景视频图像一般均是二维的图像，将二维的各全景视频图像贴合在三维的该渲染模型上，就可以将二维的各全景视频图像渲染为一个三维的图像。在对各全景视频图像进行渲染之后，就可以得到渲染后的目标全景视频图像。另外，在将该目标全景视频图像显示在该智能电视的显示屏幕上的过程，可以是将渲染之后的三维的目标全景视频图像映射到该智能电视的二维的显示屏幕上显示的过程。
75.可选地，该目标全景视频图像就是将各全景视频图像贴合在该渲染模型上之后的全景视频图像，也就是进行渲染处理后的全景视频图像。
76.可选地，可以将该目标全景视频图像全部显示在该智能电视的显示屏幕上，也可以将该目标全景视频图像的一部分显示在该智能电视的显示屏幕上，还可以按照预设的尺寸和/或预设的角度将该目标全景视频图像的一部分或全部的该目标全景视频图像显示在该智能电视的显示屏幕上。本技术实施例对此不作限定。
77.可选地，可以将该目标全景视频图像显示在该智能电视的整个显示屏幕上，也就是说，可以将该目标全景视频图像占满该智能电视的整个显示屏幕。也可以将该目标全景视频图像显示在该智能电视的显示屏幕上的一个区域中，这个区域的大小可以是提前进行设置的，具体大小可以根据实际场景进行设置。还可以将该目标全景视频图像分别显示在该智能电视的显示屏幕上的多个区域中，另外，可以在该智能电视的显示屏幕上的多个区
域中显示相同的该目标全景视频图像，也可以在该智能电视的显示屏幕上的多个区域中分别显示不同的该目标全景视频图像。本技术实施例对此不作限定。
78.这样，就可以按照该全景视频流播放时序的顺序依次将各全景视频图像显示在该智能电视的显示屏幕上，以供用户查看。
79.步骤1004：根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。
80.可选地，在该终端设备上可以安装有陀螺仪、加速度计传感器和/或旋转矢量传感器。
81.可选地，该位移信息可以是由在该终端设备上安装的陀螺仪、加速度计传感器和/或旋转矢量传感器直接采集到的信息，也可以是由在该终端设备上安装的陀螺仪、加速度计传感器和/或旋转矢量传感器采集到的数据进行计算得到的信息。
82.可选地，该位移信息可以是该终端设备实时发送的，也可以是在触发一些特定的条件之后由该终端设备发送的，比如该特定的条件可以是该终端设备检测到该位移信息发生变化。本技术实施例对此不作限定。
83.可选地，该位移信息包括该终端设备的旋转角度。
84.可选地，该终端设备的旋转角度可以包括该终端设备在水平方向上的旋转角度和该终端设备在垂直方向上的旋转角度。
85.可选地，该水平方向可以是与地面平行的方向，该垂直方向可以是与地面垂直的方向。该水平方向还可以是与任意参考平面平行的方向，该垂直方向还可以是与任意参考平面垂直的方向。另外，该水平方向与该垂直方向是垂直的。本技术实施例对此不作限定。
86.示例性地，以与地面平行的方向作为该水平方向，以与地面垂直的方向作为该垂直方向，并且以顺时针旋转的方向为正方向，以逆时针旋转的方向为负方向。那么，该位移信息可以用于指示该终端设备在该水平方向旋转了-60
°
，且该终端设备在该垂直方向旋转了10
°
，也就是说，该位移信息可以用于指示该终端设备在该水平方向沿逆时针旋转了60
°
，且在该垂直方向沿顺时针旋转了10
°
。
87.示例性地，若该终端设备上同时安装有陀螺仪和加速度计传感器，那么陀螺仪和加速度计传感器同时采集到该终端设备的位移数据或旋转数据，那么该终端设备可以对该位移数据或该旋转数据进行模拟计算，以生成该终端设备的旋转角度。
88.值得说明的是，由于该位移信息包括该终端设备的旋转角度，那么就可以实现根据该终端设备的旋转角度来实时调整该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。这样，就可以在任意多个方向上调整该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，并且该智能电视可以在接收到该终端设备发送的位移信息之后实时对该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度进行调整。如此，就可以解决可能导致显示的全景视频的内容切换不准确、不及时的问题。
89.在本技术实施例中，通过解码全景视频流，得到该全景视频流的类型和至少一帧全景视频图像，根据该全景视频流的类型确定渲染模型，根据各全景视频图像的顺序，依次将各全景视频图像贴合在该渲染模型上，得到渲染后的目标全景视频图像，并将该目标全景视频图像显示在该智能电视的显示屏幕上，根据该终端设备发送的位移信息，实时调整
当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。其中，根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，这样就可以在任意多个方向上调整该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，并且该智能电视可以在接收到该终端设备发送的位移信息之后实时对该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度进行调整。如此，可以解决可能导致显示的全景视频的内容切换不准确、不及时的问题，进而可以达到准确、及时地切换显示的全景视频的内容的效果。
90.一种可能的实现方式中，参见图2，将各全景视频图像贴合在该渲染模型上，包括：
91.步骤2001：生成与该渲染模型的类型匹配的模型矩阵和纹理矩阵。
92.可选地，该模型矩阵包括多个模型顶点。该模型矩阵可以用于指示该渲染模型的形状和特征位置点。
93.可选地，该模型矩阵的模型顶点可以是与该渲染模型的特征位置点对应的，该模型矩阵的中的其他点还可以是与该渲染模型的其他点是对应的。该渲染模型的特征位置点可以是用于指示该渲染模型的形状的位置点，还可以是用于指示将各全景视频图像贴合在该渲染模型上的位置的位置点。本技术实施例对此不作限定。
94.可选地，该模型顶点可以包括三维坐标系的坐标原点。
95.可选地，该纹理矩阵包括多个纹理顶点。另外，各纹理顶点和各模型顶点一一对应。这样，就可以将该纹理矩阵和该模型矩阵对应起来，以便将该纹理矩阵和该模型矩阵合并。
96.可选地，该纹理顶点可以包括三维坐标系的坐标原点。
97.步骤2002：基于该模型矩阵和该纹理矩阵，依次将各全景视频图像贴合在该渲染模型上。
98.可选地，依次将各全景视频图像贴合在该渲染模型上就是指将各全景视频图像按照该全景视频流播放时序的顺序一一贴合在该渲染模型，以实现对各全景视频图像的渲染处理。
99.由于该纹理贴图的纹理顶点和该模型矩阵的模型顶点是对应的，这样，就可以精准地将各全景视频图像贴合在该渲染模型上，可以确保该目标全景视频图像显示在该智能电视的显示屏幕的准确性，进而可以提高全景视频显示的可靠性。
100.一种可能的实现方式中，参见图3，该基于该模型矩阵和该纹理矩阵，依次将各全景视频图像贴合在该渲染模型上，包括：
101.步骤2003：确定该纹理矩阵中的各纹理顶点的位置，将各全景视频图像中与各纹理顶点对应的点贴合在各纹理顶点上。
102.可选地，各全景视频图像中与各纹理顶点对应的点可以是对各全景视频图像提前进行标注的特征点，也可以是在解码该全景视频流并得到各全景视频图像的过程中对各全景视频图像标注的特征点。本技术实施例对此不作限定。
103.通过将各全景视频图像中与各纹理顶点对应的点贴合在各纹理顶点上，这样，就可以使得各全景视频图像与该纹理矩阵对齐，以便进行后续操作。
104.步骤2004：对各全景视频图像中的各个点进行映射处理，以使得各全景视频图像中的各个点均贴合在该纹理矩阵中。
105.可选地，该映射处理可以是根据该渲染模型的类型改变各全景视频图像中的各个点的坐标的操作。该映射处理也可以是根据该纹理矩阵的纹理顶点或该模型矩阵的模型顶点改变各全景视频图像中的各个点的坐标的操作。
106.可选地，在经过映射处理之后，各全景视频图像中的各个点的坐标发生改变，各全景视频图像也从二维图像变形成为了三维图像，这样，各全景视频图像中的各个点就可以对应贴合该纹理矩阵中。
107.值得注意的是，通过解析该全景视频流得到的各全景视频图像可以是二维图像。那么，若要将各全景视频图像贴合在到三维的渲染模型上，就要通过对各全景视频图像中的各个点进行映射处理以改变各全景视频图像中的各个点的坐标。
108.步骤2005：将该纹理矩阵中的各纹理顶点对应贴合在该模型矩阵中的各模型顶点上，以使得各全景视频图像贴合在该渲染模型上。
109.值得说明的是，各纹理顶点分别与各模型顶点是对应的，那么将该纹理矩阵中的各纹理顶点对应贴合在该模型矩阵中的各模型顶点上就可以使得该纹理矩阵和该模型矩阵合并或贴合在一起。而由于该模型矩阵的模型顶点可以是与该渲染模型的特征位置点对应的，那么该纹理矩阵和该模型矩阵合并或贴合在一起之后，也就代表各全景视频图像贴合在该渲染模型上。这样，就可以完成对各全景视频图像的渲染处理，以便将该目标全景视频图像显示在该智能电视的显示屏幕上。如此，可以确保该目标全景视频图像显示在该智能电视的显示屏幕的准确性，进而可以提高全景视频显示的可靠性。
110.一种可能的实现方式中，参见图4，将该目标全景视频图像显示在该智能电视的显示屏幕上，包括：
111.步骤3001：生成投影矩阵、观察矩阵和视图矩阵。
112.可选地，该投影矩阵可以用于框选需要显示的该目标全景视频图像的显示范围。
113.可选地，该视图矩阵可以用于调整该目标全景视频图像的显示比例。
114.可选地，该观察矩阵可以用于调整显示的该目标全景视频图像的该显示角度。
115.步骤3002：根据该投影矩阵和该视图矩阵确定该目标全景视频图像的显示范围。
116.可选地，该投影矩阵还可以用于将三维图像映射到一个二维平面上显示，就是说，该投影矩阵可以把三维坐标映射为二维坐标，同时因为三维空间有深度的概念，因此该投影矩阵还可以把三维的世界坐标系的z轴坐标转化成深度。具体地，该投影矩阵可以把三维的目标全景视频图像映射到该智能电视的二维的显示屏幕上显示。本技术实施例对此不作限定。
117.具体地，该投影矩阵可以用于从整个该目标全景视频图像中框选出一个范围，整个范围就是需要在该智能电视上显示的该目标全景视频图像的显示范围。一般地，框选出的显示范围可以是一个矩形或一个圆形，当然，该显示范围也可以是其他可能的形状。本技术实施例对此不作限定。
118.具体地，该视图矩阵可以用于将经过该投影矩阵调整过显示范围的该目标全景视频图像的比例调整为该智能电视的显示屏幕的宽高比。
119.例如，该智能电视的显示屏幕的宽高比为16比9，那么该视图矩阵就可以将该目标全景视频图像的比例也调整为16比9。
120.步骤3003：根据该观察矩阵确定该目标全景视频图像的显示角度。
121.具体地，该观察矩阵可以用于确定经过该投影矩阵调整过显示范围和经过该视图矩阵调整过比例的该目标全景视频图像的显示角度。
122.比如，该观察矩阵可以将该目标全景视频图像的显示角度确定为指向世界坐标系的原点的角度。本技术实施例对此不作限定。
123.步骤3004：以该显示范围和显示角度将该目标全景视频图像显示在该智能电视的显示屏幕上。
124.这样，就可以将一定范围、一定比例和一定角度的各全景视频图像显示按照该全景视频流的播放时序显示在该智能电视的显示屏幕上，以供用户查看。如此，可以提高全景视频显示的实用性和可靠性。
125.一种可能的实现方式中，参见图5，该根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，包括：
126.步骤1005：根据该终端设备发送的位移信息，生成旋转矩阵。
127.可选地，该旋转矩阵可以是基于该终端设备在水平方向上的旋转角度和该终端设备在垂直方向上的旋转角度计算得到的。
128.可选地，该旋转矩阵可以用于改变该目标全景视频图像在该智能电视的显示屏幕上的显示角度。
129.可选地，该旋转矩阵可以是根据该渲染模型的形状进行调整的。
130.示例性地，若该渲染模型为圆柱模型，那么该旋转矩阵仅仅在垂直方向上可以改变的显示角度的范围为正负120
°
。若该渲染模型为球形模型，那么该旋转矩阵则在垂直方向上可以改变的显示角度的范围为正负180
°
。本技术实施例对此不作限定。
131.步骤1006：根据该旋转矩阵和基准矩阵，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。
132.可选地，该基准矩阵包括：模型矩阵或观察矩阵。
133.一种可能的方式，可以在该智能电视接收到该终端设备发送的位移信息之后，实时生成该旋转矩阵并将该旋转矩阵作用于该模型矩阵，使得该模型矩阵或该渲染模型旋转，以实时调整在该智能电视的显示屏幕上显示的该目标全景视频图像的该显示角度。
134.具体地，将该旋转矩阵作用于该模型矩阵的操作可以是：将该旋转矩阵与该模型矩阵相乘。
135.一种可能的方式，可以在该智能电视接收到该终端设备发送的位移信息之后，实时生成该旋转矩阵并将该旋转矩阵作用于该观察矩阵，使得该观察矩阵旋转，以实时调整在该智能电视的显示屏幕上显示的该目标全景视频图像的该显示角度。
136.具体地，将该旋转矩阵作用于该观察矩阵的操作可以是：将该旋转矩阵与该观察矩阵相乘。
137.值得说明的是，通过该终端设备的位移信息生成该旋转矩阵，并根据该旋转矩阵和基准矩阵，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。这样，就可以在任意多个方向上调整该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，并且该智能电视可以在接收到该终端设备发送的位移信息之后实时对该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度进行调整。如此，就可以解决可能导致显示的全景视频的内容切换不准确、不及时的问题。
138.一种可能的实现方式中，参见图6，该根据终端设备发送的位移信息，实时调整在该智能电视的显示屏幕上显示的目标全景视频图像的角度之前，还包括：
139.步骤1007：接收该终端设备发送的连接指令。
140.可选地，该连接指令可以是由相关技术人员通过该终端设备发送给该智能电视的指令。该连接指令也可以是触发一定的条件之后该终端设备自动发送给该智能电视的指令，比如该条件可以是该终端设备响应于打开特定应用程序的操作。
141.可选地，该连接指令可以是通过用户数据包协议(user datagram protocol，简称udp)广播的形式发送的。
142.可选地，该连接指令可以用于使得该终端设备与该智能电视连接。
143.步骤1008：根据该连接指令，与该终端设备建立通信连接并向该终端设备发送确认信号。
144.可选地，该确认信号可以是用于表征该智能电视已经与该终端设备成功建立通信连接的信号。
145.可选地，在该终端设备接收到该确认信号之后，可以在该终端设备的屏幕上显示用于提示连接成功的信息。
146.可选地，该确认信号可以是通过用户数据包协议(user datagram protocol，简称udp)广播的形式发送的。
147.步骤1009：接收该终端设备实时发送的该位移信息。
148.可选地，在该终端设备接收到该确认信号之后，该终端设备即可实时发送该位移信息给该智能电视，以便于该智能电视根据该终端设备的位移信息来实时调整该当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。
149.可选地，该位移信号可以是通过用户数据包协议(user datagram protocol，简称udp)广播的形式发送的。
150.通过接收该终端设备发送的连接指令，再根据该连接指令，与该终端设备建立通信连接并向该终端设备发送确认信号，然后才接收该终端设备实时发送的该位移信息。这样，提高全景视频显示的实用性和安全性。
151.一种可能的实现方式中，参见图7，在该将各全景视频图像贴合在该渲染模型上，并将符合预设角度且符合预设范围的目标全景视频图像显示在该智能电视的显示屏幕上之后，还包括：
152.步骤1019：响应于该终端设备发送的视角范围调整指令，调整在该智能电视的显示屏幕上显示的该目标全景视频图像的视角范围。
153.可选地，该视角范围调整指令可以是用于指示放大该目标全景视频图像的视角范围的指令，该视角范围调整指令还可以是用于指示缩小该目标全景视频图像的视角范围的指令。本技术实施例对此不作限定。
154.一种可能的实现方式中，在解码全景视频流得到所述全景视频流的类型和至少一帧全景视频图像，还包括：
155.响应于播放该全景视频流的指令，获取该全景视频流。
156.可选地，该播放该全景视频流的指令可以是用户通过遥控器或该终端设备发送的用于控制该智能电视播放该全景视频流的指令。若该智能电视具有触屏功能，该播放该全
景视频流的指令也可以是该智能电视根据用户的触发操作生成的用于控制该智能电视播放该全景视频流的指令。本技术实施例对此不作限定。
157.一种可能的实现方式中，根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，包括：
158.确定该终端设备在预设时间段内发送该位移信息的频率。
159.可选地，该预设时间段可以是提前进行设置的。该预设时间段可以设置的较小，比如可以将该预设时间段设置为2秒，当然也可以将该预设时间段设置为其他时间长度。本技术实施例对此不作限定。
160.若该频率小于或等于预设频率阈值，则根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。
161.可选地，该预设频率阈值可以是提前进行设置的。另外，该预设频率阈值可以设置的较大，比如可以将该预设频率阈值设置为每秒5次，当然也可以将该预设频率阈值设置为其他频率。本技术实施例对此不作限定。
162.若该频率大于该预设频率阈值，则不对当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度进行调整。
163.值得注意的是，用户可能会想要观看一个固定角度的目标全景视频图像，也就是说，用户可能想要固定当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，但是可能用户会在手持该终端设备的情况下进行观看该全景视频流，由于手部在持握该终端设备时难免会发生抖动，使得该终端设备的位移信息发生改变，这样，就会造成不能固定当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度的问题。
164.值得说明的是，通过确定该终端设备在预设时间段内发送该位移信息的频率，且仅在该频率小于或等于预设频率阈值的情况下，根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。这样，就可以避免因为手部抖动改变该终端设备的位移信息造成的不能固定当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度的问题。如此，可以提高全景视频显示的实用性和稳定性，还可以提升用户的使用体验。
165.一种可能的实现方式中，根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度，包括：
166.确定该终端设备发送的旋转角度。
167.若该旋转角度等于或小于预设角度阈值，则根据该终端设备发送的该旋转角度，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。
168.可选地，该预设角度阈值可以是提前进行设置的。另外，该预设角度阈值可以设置的较大，比如可以将该预设角度阈值设置为90
°
，当然也可以将该预设角度阈值设置为其他大小的角度值。本技术实施例对此不作限定。
169.若该旋转角度大于该预设角度阈值，则不对当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度进行调整。
170.值得说明的是，若该终端设备发送的旋转角度大于该预设角度阈值，则可以表征可能是用户误操作或用户被撞击，在这种情况下，则不对当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度进行调整。仅在该旋转角度等于或小于该预设角度
阈值的情况下调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。这样，就可以提高提高全景视频显示的实用性和稳定性，还可以提升用户的使用体验。
171.下述对用以执行的本技术所提供全景视频显示方法的装置、设备及计算机可读存储介质等进行说明，其具体的实现过程以及技术效果参见上述，下述不再赘述。
172.图8是本技术实施例提供的一种全景视频显示装置的结构示意图，参见图8，该装置包括：
173.解码模块401，可以用于解码全景视频流，得到该全景视频流的类型和至少一帧全景视频图像；
174.确定模块402，可以用于根据该全景视频流的类型确定渲染模型；
175.显示模块403，可以用于根据各全景视频图像的顺序，依次将各全景视频图像贴合在该渲染模型上，得到渲染后的目标全景视频图像，并将该目标全景视频图像显示在该智能电视的显示屏幕上；
176.调整模块404，可以用于根据该终端设备发送的位移信息，实时调整当前显示的该目标全景视频图像在该智能电视的显示屏幕上的显示角度。
177.上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。
178.以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，一个或多个微控制器，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
179.图9是本技术实施例提供的一种计算机设备的结构示意图。参见图9，计算机设备包括：存储器501、处理器502，存储器501中存储有可在处理器502上运行的计算机程序，处理器502执行计算机程序时，实现上述任意各个方法实施例中的步骤。
180.本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
181.可选地，本技术还提供一种程序产品，例如计算机可读存储介质，包括程序，该程序在被处理器执行时用于执行上述任一全景视频显示方法实施例。
182.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
183.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
184.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
185.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文：read-only memory，简称：rom)、随机存取存储器(英文：random access memory，简称：ram)、磁碟或者光盘等各种可以存储程序代码的介质。
186.上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。
187.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。