全景视频图像编码传输方法、获取方法及相关装置、系统与流程

1.本技术涉及视频编解码及网络直播技术领域，特别是涉及一种全景视频图像的编码传输方法、全景视频图像的获取方法、全景直播视频传输系统、全景视频图像的编码传输装置、全景视频图像的获取装置、电子设备和计算机可读存储介质。


背景技术：

2.roi(region of interest，感兴趣区域)编码是一项基于感兴趣区域的视频编码技术，即对图像中感兴趣的区域降低量化参数值，从而分配更多码率以提升画面质量，而对不感兴趣的区域则提高量化参数值，从而分配更少码率，在不损失图像整体质量的前提下，降低视频码率。其中，感兴趣区域编码基于二维的图像帧进行，感兴趣区域需要根据目标对象(如人脸)设置，并且感兴趣区域不能过大。
3.随着网络直播技术的发展，直播平台为用户提供了全景直播服务以丰富优质内容的传播形式。对于此类场景所需传输的如360
°
、720
°
的全景视频，使用等距圆柱投影方式渲染的情况下，离赤道位置越远畸变越严重，图像中一些对象的形状可能会发生各种各样的畸变，例如一个正方形，在图像的顶部边缘区域会被拉伸成长条形，而利用目前对全景视频图像的编码传输方式，在对该正方形设置感兴趣区域时会产生大量冗余的区域，导致对全景视频图像中感兴趣区域的编码传输效率较低。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种全景视频图像的编码传输方法、全景视频图像的获取方法、全景直播视频传输系统、全景视频图像的编码传输装置、全景视频图像的获取装置、电子设备和计算机可读存储介质。
5.第一方面，本技术提供了一种全景视频图像的编码传输方法。所述方法包括：
6.获取对全景画面按等距圆柱投影得到的第一全景视频图像；
7.对所述第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理，得到第二全景视频图像以及获得所述第二全景视频图像的变换还原信息；
8.根据设于图像中心且与所述目标对象匹配的感兴趣区域对所述第二全景视频图像进行感兴趣区域编码，得到第三全景视频图像；
9.发送所述第三全景视频图像和所述变换还原信息至全景视频接收端，以供所述全景视频接收端解码所述第三全景视频图像后根据所述变换还原信息获取图像中心还原的第四全景视频图像。
10.在其中一个实施例中，所述对所述第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理，包括：
11.识别所述第一全景视频图像中的目标对象；确定所述第一全景视频图像中所述目标对象的几何中心；根据将所述目标对象的几何中心移动至所述第一全景视频图像的图像中心的变换关系，对所述第一全景视频图像进行变换处理。
12.在其中一个实施例中，所述全景画面为目标静止类场景的全景画面；所述根据将所述目标对象的几何中心移动至所述第一全景视频图像的图像中心的变换关系，对所述第一全景视频图像进行变换处理，包括：
13.所述第一全景视频图像为全景视频的首帧图像时，获取将所述目标对象的几何中心移动至所述图像中心的变换关系并作为所述首帧图像的变换关系，根据所述首帧图像的变换关系对所述第一全景视频图像进行变换处理；所述第一全景视频图像为全景视频的非首帧图像时，根据所述首帧图像的变换关系对所述第一全景视频图像进行变换处理。
14.在其中一个实施例中，所述全景画面为目标运动类场景的全景画面；所述根据将所述目标对象的几何中心移动至所述第一全景视频图像的图像中心的变换关系，对所述第一全景视频图像进行变换处理，包括：
15.所述第一全景视频图像为编码图像组的首个图像时，获取将所述目标对象的几何中心移动至所述图像中心的变换关系并作为所述首个图像的变换关系，根据所述首个图像的变换关系对所述第一全景视频图像进行变换处理；所述第一全景视频图像为编码图像组的非首个图像时，根据所述首个图像的变换关系对所述第一全景视频图像进行变换处理；其中，所述编码图像组的大小根据所述目标运动类场景下，所述目标对象的运动特征设置。
16.在其中一个实施例中，所述根据设于图像中心且与所述目标对象匹配的感兴趣区域对所述第二全景视频图像进行感兴趣区域编码之前，所述方法还包括：
17.确定几何中心位于所述第二全景视频图像的图像中心的目标对象的外接矩形；根据所述外接矩形，在所述图像中心设置所述感兴趣区域。
18.在第二方面，本技术提供了一种全景视频图像的获取方法。所述方法包括：
19.接收来自全景视频发送端的第三全景视频图像和变换还原信息；
20.对所述第三全景视频图像进行解码，得到解码后的第三全景视频图像；
21.根据所述变换还原信息对所述解码后的第三全景视频图像进行图像中心还原处理，得到第四全景视频图像；
22.其中，所述第三全景视频图像由所述全景视频发送端根据设于图像中心且与目标对象匹配的感兴趣区域对第二全景视频图像进行感兴趣区域编码得到；所述第二全景视频图像和所述变换还原信息由所述全景视频发送端对第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理得到；所述第一全景视频图像对全景画面按等距圆柱投影得到。
23.在第三方面，本技术提供了一种全景直播视频传输系统。所述系统包括：全景直播的主播端和观看端；其中，
24.所述主播端，用于根据如上任一项所述的全景视频图像的编码传输方法将全景直播画面对应的第一全景直播视频编码后传输至所述观看端；所述观看端，用于如上所述的全景视频图像的获取方法解码还原得到图像中心与所述第一全景直播视频一致的第二全景直播视频。
25.在第四方面，本技术提供了一种全景视频图像的编码传输装置。所述装置包括：
26.图像获取模块，用于获取对全景画面按等距圆柱投影得到的第一全景视频图像；
27.中心变换模块，用于对所述第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理，得到第二全景视频图像以及获得所述第二全景视频图像的变换还原信
息；
28.图像编码模块，用于根据设于图像中心且与所述目标对象匹配的感兴趣区域对所述第二全景视频图像进行感兴趣区域编码，得到第三全景视频图像；
29.图像发送模块，用于发送所述第三全景视频图像和所述变换还原信息至全景视频接收端，以供所述全景视频接收端解码所述第三全景视频图像后根据所述变换还原信息获取图像中心还原的第四全景视频图像。
30.在第五方面，本技术提供了一种全景视频图像的获取装置。所述装置包括：
31.图像接收模块，用于接收来自全景视频发送端的第三全景视频图像和变换还原信息；
32.图像解码模块，用于对所述第三全景视频图像进行解码，得到解码后的第三全景视频图像；
33.中心还原模块，用于根据所述变换还原信息对所述解码后的第三全景视频图像进行图像中心还原处理，得到第四全景视频图像；
34.其中，所述第三全景视频图像由所述全景视频发送端根据设于图像中心且与目标对象匹配的感兴趣区域对第二全景视频图像进行感兴趣区域编码得到；所述第二全景视频图像和所述变换还原信息由所述全景视频发送端对第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理得到；所述第一全景视频图像对全景画面按等距圆柱投影得到。
35.在第六方面，本技术提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
36.获取对全景画面按等距圆柱投影得到的第一全景视频图像；对所述第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理，得到第二全景视频图像以及获得所述第二全景视频图像的变换还原信息；根据设于图像中心且与所述目标对象匹配的感兴趣区域对所述第二全景视频图像进行感兴趣区域编码，得到第三全景视频图像；发送所述第三全景视频图像和所述变换还原信息至全景视频接收端，以供所述全景视频接收端解码所述第三全景视频图像后根据所述变换还原信息获取图像中心还原的第四全景视频图像。
37.在第七方面，本技术提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
38.接收来自全景视频发送端的第三全景视频图像和变换还原信息；对所述第三全景视频图像进行解码，得到解码后的第三全景视频图像；根据所述变换还原信息对所述解码后的第三全景视频图像进行图像中心还原处理，得到第四全景视频图像；其中，所述第三全景视频图像由所述全景视频发送端根据设于图像中心且与目标对象匹配的感兴趣区域对第二全景视频图像进行感兴趣区域编码得到；所述第二全景视频图像和所述变换还原信息由所述全景视频发送端对第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理得到；所述第一全景视频图像对全景画面按等距圆柱投影得到。
39.在第八方面，本技术提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
40.获取对全景画面按等距圆柱投影得到的第一全景视频图像；对所述第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理，得到第二全景视频图像以及获得
所述第二全景视频图像的变换还原信息；根据设于图像中心且与所述目标对象匹配的感兴趣区域对所述第二全景视频图像进行感兴趣区域编码，得到第三全景视频图像；发送所述第三全景视频图像和所述变换还原信息至全景视频接收端，以供所述全景视频接收端解码所述第三全景视频图像后根据所述变换还原信息获取图像中心还原的第四全景视频图像。
41.在第九方面，本技术提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
42.接收来自全景视频发送端的第三全景视频图像和变换还原信息；对所述第三全景视频图像进行解码，得到解码后的第三全景视频图像；根据所述变换还原信息对所述解码后的第三全景视频图像进行图像中心还原处理，得到第四全景视频图像；其中，所述第三全景视频图像由所述全景视频发送端根据设于图像中心且与目标对象匹配的感兴趣区域对第二全景视频图像进行感兴趣区域编码得到；所述第二全景视频图像和所述变换还原信息由所述全景视频发送端对第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理得到；所述第一全景视频图像对全景画面按等距圆柱投影得到。
43.上述全景视频图像的编码传输方法、获取方法、装置、系统、设备和介质，全景视频发送端获取对全景画面按等距圆柱投影得到的第一全景视频图像，对其进行将图像中目标对象变换至图像中心的变换处理得到第二全景视频图像及其变换还原信息，然后根据设于图像中心且与该目标对象匹配的感兴趣区域对第二全景视频图像进行感兴趣区域编码得到第三全景视频图像，发送该第三全景视频图像和变换还原信息至全景视频接收端，全景视频接收端解码第三全景视频图像后根据变换还原信息获取图像中心还原的第四全景视频图像。该方案在发送端将目标对象变换至图像中心，此时目标对象在变换后的图像中不存在被拉伸的情况，故对该图像进行roi编码相比未变换前没有过多的冗余信息，然后将相应的变换还原信息和编码后的图像发给接收端，由接收端根据变换还原信息获得图像中心还原的全景视频图像，实现提高编码传输效率的同时使接收端的图像中心与发送端保持一致。
附图说明
44.图1为本技术实施例中相关方法的应用场景图；
45.图2为本技术实施例中全景视频图像的编码传输方法的流程示意图；
46.图3为本技术实施例中对第一全景视频图像进行变换处理的流程示意图；
47.图4为本技术实施例中全景视频图像的获取方法的流程示意图；
48.图5为本技术实施例中全景直播视频传输系统的结构示意图；
49.图6为本技术实施例中全景视频图像的编码传输装置的结构框图；
50.图7为本技术实施例中全景视频图像的获取装置的结构框图；
51.图8为本技术实施例中电子设备的内部结构图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
53.本技术实施例提供的全景视频图像的编码传输方法、全景视频图像的获取方法可应用于如图1所示的应用场景中，该应用场景可以包括全景视频发送端、服务器和全景视频接收端，全景视频发送端可用于将全景视频图像编码后通过服务器传输至全景视频接收端。其中，全景视频发送端可以是配置全景视频拍摄设备的智能手机、个人计算机等电子设备；全景视频接收端可以是配置全景视频显示设备的智能手机、个人计算机等电子设备；服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
54.以下部分在图1所示应用场景的基础上结合各实施例及相关附图，对本技术的全景视频图像的编码传输方法及全景视频图像的获取方法依次说明。
55.在一个实施例中，如图2所示，提供了一种全景视频图像的编码传输方法，该方法由图1中的全景视频发送端执行，该方法包括：
56.步骤s201，获取对全景画面按等距圆柱投影得到的第一全景视频图像。
57.本步骤中，全景视频发送端可通过其配置的全景视频拍摄设备拍摄并制作好全景画面后按等距圆柱投影方式渲染，得到该全景画面对应的全景视频图像，记为第一全景视频图像，此时，拍摄的全景画面由一帧一帧的二维的第一全景视频图像组成。
58.步骤s202，对第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理，得到第二全景视频图像以及获得第二全景视频图像的变换还原信息。
59.具体的，全景视频发送端可对每帧第一全景视频图像进行目标对象的识别，如识别每帧第一全景视频图像中的人脸作为目标对象等，具体的目标对象可根据实际应用需求进行确定。针对每帧第一全景视频图像，全景视频发送端识别目标对象后，可获得该目标对象在第一全景视频图像的相关信息，如组成目标对象的图像像素信息、目标对象的几何中心等等。然后，本步骤中，全景视频发送端对第一全景视频图像进行将该图像中的目标对象变换至图像中心的变换处理，也即将目标对象所在位置变换至图像中心，获得第二全景视频图像，在该第二全景视频图像中，目标对象位于图像中心，通过此处理使得目标对象变换到图像中心位置，此时目标对象畸变最小，对其设置感兴趣区域相比未进行位置变换前能够大大减少冗余信息，提高编码传输效率。除获得第二全景视频图像外，本步骤中，全景视频发送端还获取该第二全景视频图像的变换还原信息，根据该变换还原信息可将第二全景视频图像中各图像像素所在的位置还原回第一全景视频图像中各图像像素所在的位置，也即可以将第二全景视频图像中位于图像中心的目标对象的位置还原回其原来在第一全景视频图像中的位置，同时也会还原回第一全景视频图像的图像中心。
60.步骤s203，根据设于图像中心且与目标对象匹配的感兴趣区域对第二全景视频图像进行感兴趣区域编码，得到第三全景视频图像。
61.因步骤s202将目标对象移动至图像中心，故本步骤中，全景视频发送端可直接在第二全景视频图像的图像中心处设置感兴趣区域，且该感兴趣区域与目标对象匹配，可根据该目标对象在图像中的形状、尺寸设置，例如按照目标对象的尺寸等比例放大若干倍等，具体可根据场景需求进行设置。本步骤中，全景视频发送端根据如上方式所设置的感兴趣区域对第二全景视频图像进行感兴趣区域编码，得到编码后的第二全景视频图像，记为第三全景视频图像。
62.对于感兴趣区域设置，在其中一些实施例中，全景视频发送端可在步骤s203的根据设于图像中心且与目标对象匹配的感兴趣区域对第二全景视频图像进行感兴趣区域编
码之前，通过以下步骤设置感兴趣区域设置，具体包括：
63.确定几何中心位于第二全景视频图像的图像中心的目标对象的外接矩形；根据外接矩形，在图像中心设置感兴趣区域。
64.其中，全景视频发送端可在步骤s202中将目标对象的几何中心变换至第二全景视频图像的图像中心，得到目标对象的几何中心位于图像中心的第二全景视频图像。本实施例中，全景视频发送端确定该几何中心位于第二全景视频图像的图像中心的目标对象的外接矩形，根据该外接矩形的尺寸在该第二全景视频图像的图像中心设置与目标对象匹配的感兴趣区域。示例性的，全景视频发送端可以以图像中心为区域中心，按照外接矩形的尺寸等比例放大若干倍得到与目标对象匹配的感兴趣区域，从而精准高效地为目标对象设置感兴趣区域。
65.步骤s204，发送第三全景视频图像和变换还原信息至全景视频接收端，以供全景视频接收端解码第三全景视频图像后根据变换还原信息获取图像中心还原的第四全景视频图像。
66.本步骤是感兴趣区域编码后的第二全景视频图像即第三全景视频图像和变换还原信息的发送步骤。全景视频发送端可以通过服务器将第三全景视频图像和变换还原信息发送至全景视频接收端，全景视频接收端可从服务器接收包含该第三全景视频图像和变换还原信息的视频流，全景视频接收端可解析该视频流得到第三全景视频图像和变换还原信息，在解码第三全景视频图像得到解码后的第三全景视频图像后，因该解码后的第三全景视频图像的图像中心与第一全景视频图像的图像中心并不一致，为达到与第一全景视频图像的图像中心保持一致的效果，全景视频接收端根据变换还原信息对解码后的第三全景视频图像进行图像中心还原处理，获得图像中心还原的第四全景视频图像，此时第四全景视频图像的图像中心与第一全景视频图像的图像中心相一致，全景视频接收端再根据第四全景视频图像进行后续渲染流程，从而保证在全景视频接收端的用户看到的全景画面与全景视频发送端的用户看到的全景画面保持一致。
67.本实施例的全景视频图像的编码传输方法，在全景视频发送端将目标对象变换至图像中心此时目标对象在变换后的图像中不存在被拉伸的情况，故对该图像进行roi编码相比未变换前没有过多的冗余信息，然后将相应的变换还原信息和编码后的图像发给全景视频接收端，由全景视频接收端根据变换还原信息获得图像中心还原的全景视频图像，实现提高编码传输效率的同时使全景视频接收端的图像中心与全景视频发送端保持一致。
68.在一个实施例中，如图3所示，步骤s202中的对第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理，可以包括：
69.步骤s301，识别第一全景视频图像中的目标对象。
70.本步骤中，全景视频发送端获得第一全景视频图像后，识别第一全景视频图像中的目标对象，该目标对象可以是某个人物或某个人物的人脸等。
71.步骤s302，确定第一全景视频图像中目标对象的几何中心。
72.本步骤中，全景视频发送端识别第一全景视频图像中目标对象后，可获得该目标对象的相关信息，如第一全景视频图像上组成该目标对象的图像像素信息等，全景视频发送端可根据第一全景视频图像上组成该目标对象的图像像素计算该目标对象的几何中心在第一全景视频图像中的位置。
73.步骤s303，根据将目标对象的几何中心移动至第一全景视频图像的图像中心的变换关系，对第一全景视频图像进行变换处理。
74.本步骤中，对于第一全景视频图像，全景视频发送端根据将目标对象的几何中心所在位置移动至第一全景视频图像的图像中心所在位置的变换关系，对第一全景视频图像中各图像像素进行变换处理。其中，该变换关系可以为变换矩阵。全景视频发送端根据变换矩阵对第一全景视频图像进行变换处理后，可以得到第二全景视频图像，接着全景视频发送端还可计算该第二全景视频图像变换回第一全景视频图像的变换还原矩阵，并将该变换还原矩阵作为第二全景视频图像的变换还原信息。本实施例的方案提供了一种精确且便捷的将目标对象变换至图像中心以获得第二全景视频图像及其变换还原信息的方式。
75.对于第一全景视频图像的变换处理，在其中一些实施例中，全景画面为目标静止类场景的全景画面的情况下，上述步骤s303，具体包括：
76.第一全景视频图像为全景视频的首帧图像时，获取将目标对象的几何中心移动至图像中心的变换关系并作为首帧图像的变换关系，根据首帧图像的变换关系对第一全景视频图像进行变换处理；第一全景视频图像为全景视频的非首帧图像时，根据首帧图像的变换关系对第一全景视频图像进行变换处理。
77.本实施例提供了针对目标静止类场景的全景画面的变换处理方式，以节约运算资源。其中，目标静止类场景的全景画面是指全景视频发送端所拍摄的全景画面中，目标对象相对静止，例如网络直播中目标对象一直坐在或站在舞台上某个固定位置，拍摄得到的该全景画面为目标静止类场景的全景画面。对此，因为目标对象在全景画面中位置变化很小甚至保持不变，所以本实施例中，全景视频发送端只需计算全景视频的首帧图像的变换关系，便可将其应用至该首帧图像以及全景视频中其他的非首帧图像的变换处理中，且能够使得目标对象所在区域始终在原来设置的感兴趣区域内，以节约运算资源。也即，当第一全景视频图像为全景视频的首帧图像时，全景视频发送端获取将目标对象的几何中心移动至图像中心的变换关系并作为首帧图像的变换关系，根据该变换关系对该第一全景视频图像进行变换处理，而对于全景视频的非首帧图像，全景视频发送端直接根据前述首帧图像的变换关系对该非首帧图像进行变换处理，在保证对全景视频整体的感兴趣区域编码效果的前提下节约运算资源。
78.对于第一全景视频图像的变换处理，在另外一些实施例中，全景画面为目标运动类场景的全景画面的情况下，上述步骤s303，具体包括：
79.第一全景视频图像为编码图像组的首个图像时，获取将目标对象的几何中心移动至图像中心的变换关系并作为首个图像的变换关系，根据首个图像的变换关系对第一全景视频图像进行变换处理；第一全景视频图像为编码图像组的非首个图像时，根据首个图像的变换关系对第一全景视频图像进行变换处理；其中，编码图像组的大小可根据目标运动类场景下，目标对象的运动特征设置。
80.本实施例提供了针对目标运动类场景的全景画面的变换处理方式，以提高此场景下感兴趣区域编码的效果。其中，目标运动类场景与目标静止类场景相对，目标运动类场景的全景画面是指全景视频发送端所拍摄的全景画面中，目标对象不断移动使其位置不断发生变化，例如网络直播中目标对象在舞台上跳舞，其位置不断发生变化，拍摄得到的该全景画面为目标运动类场景的全景画面。对此，在视频图像编码中，有gop(group of pictures，
本技术记为编码图像组)的概念，表征多久一个关键帧。其中，一个编码图像组内除了关键帧以外，其他帧的编码都依赖于关键帧，如果在一个编码图像组内发生大幅的画面变更(如目标对象位置移动幅度大、速度快等)，会对编码质量带来严重的负面影响。为了保证编码效果，在一方面，本实施例中，编码图像组的大小根据目标运动类场景下目标对象的运动特征设置，对应目标对象运动明显的场景，可提前预测目标对象运动范围大小、速度快慢等运动特征，根据这些运动特征设置相应的编码图像组的大小；在另一方面，本实施例中，用于对第一全景视频图像进行变换处理的变换关系，与该编码图像组保持同步，即一个编码图像组对应一个变换关系，即每个编码图像组重新计算一次变换关系，即目标对象运动范围大，需要更加频繁地计算/更新变换关系，以保证目标对象始终在图像中心所设置的感兴趣区域内，以提高此场景下感兴趣区域编码的效果。也即，对于每一编码图像组，当第一全景视频图像为该编码图像组的首个图像时，全景视频发送端可以获取将目标对象的几何中心移动至图像中心的变换关系并作为该首个图像的变换关系，并根据该变换关系对该首个图像进行变换处理，然后对于该编码图像组的其他的非首个图像，全景视频发送端则可以根据前述首个图像的变换关系对该非首个图像进行变换处理，实现了对目标对象实时跟踪，将目标对象所在区域始终置于感兴趣区域内，提高目标运动类场景下感兴趣区域编码的效果。
81.在一个实施例中，如图4所示，提供了一种全景视频图像的获取方法，该方法由全景视频接收端执行，该方法包括：
82.步骤s401，接收来自全景视频发送端的第三全景视频图像和变换还原信息。
83.本步骤中，全景视频接收端可从服务器接收包含该第三全景视频图像和变换还原信息的视频流，全景视频接收端除需要解析得到其中的第三全景视频图像外还需解析得到其中的变换还原信息。其中，该第三全景视频图像和变换还原信息由全景视频发送端提供，全景视频发送端形成并发送该第三全景视频图像和变换还原信息的具体方式，详见前述全景视频图像的编码传输方法的各实施例中公开的相关内容。
84.步骤s402，对第三全景视频图像进行解码，得到解码后的第三全景视频图像。
85.本步骤中，全景视频接收端对第三全景视频图像进行解码，得到解码后的第三全景视频图像，该解码后的第三全景视频图像的图像中心与全景视频发送端最初获得的第一全景视频图像的图像中心并不一致，全景视频接收端需执行步骤s403进行图像中心还原。
86.步骤s403，根据变换还原信息对解码后的第三全景视频图像进行图像中心还原处理，得到第四全景视频图像。
87.本步骤中，全景视频接收端根据变换还原信息对解码后的第三全景视频图像进行图像中心还原处理，即全景视频接收端根据变换还原信息将当前帧中各图像像素的变换后的位置还原回变换前的位置，得到图像中心与第一全景视频图像相一致的第四全景视频图像，达到与第一全景视频图像的图像中心保持一致的效果，然后全景视频接收端再根据第四全景视频图像进行后续渲染流程，这样便能保证在全景视频接收端的用户看到的全景画面与全景视频发送端的用户看到的全景画面保持一致。
88.本实施例的方案，全景视频接收端进行解码及位置还原获得图像中心与第一全景视频图像相一致的第四全景视频图像，在实现提高编码传输效率的同时使全景视频接收端的图像中心与全景视频发送端保持一致。
89.在一个实施例中，提供了一种全景直播视频传输系统，如图5所示，包括全景直播的主播端和观看端。其中，主播端可用于根据如上任一项实施例所述的全景视频图像的编码传输方法将全景直播画面对应的第一全景直播视频编码后传输至观看端，观看端可用于根据如上实施例所述的全景视频图像的获取方法解码还原得到图像中心与第一全景直播视频一致的第二全景直播视频。
90.具体的，本实施例中，全景直播的主播端可通过其配置的全景视频拍摄设备拍摄全景直播画面，全景直播的主播端获取该全景直播画面对应的第一全景直播视频，对于该第一全景直播视频中每一帧视频图像，采用如上任一项实施例所述的全景视频图像的编码传输方法，将其编码后连同相应的变换还原信息通过直播服务器传输至全景直播的观看端，全景直播的观看端从直播服务器接收编码后的视频图像及相应的变换还原信息，根据如上实施例所述的全景视频图像的获取方法解码还原得到图像中心与第一全景直播视频一致的第二全景直播视频，然后将该第二全景直播视频进行渲染显示，而主播端始终是按照第一全景直播视频进行渲染显示，这样全景直播的观看端和主播端的画面都是保持一致的。
91.本实施例将全景视频图像的编码传输方法及全景视频图像的获取方法应用于全景直播系统中，可在主播端有效选取感兴趣区域，尽量没有过多的冗余像素信息，提高了全景直播视频的编码传输效率，达到降码率、省成本、高流畅度、目标对象清晰及画面一致的全景直播效果。
92.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
93.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的全景视频图像的编码传输方法的全景视频图像的编码传输装置、用于实现上述所涉及的全景视频图像的获取方法的全景视频图像的获取装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个装置实施例中的具体限定可以参见上文中对于相应方法的限定，在此不再赘述。
94.在一个实施例中，如图6所示，提供了一种全景视频图像的编码传输装置，该装置600包括：
95.图像获取模块601，用于获取对全景画面按等距圆柱投影得到的第一全景视频图像；
96.中心变换模块602，用于对所述第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理，得到第二全景视频图像以及获得所述第二全景视频图像的变换还原信息；
97.图像编码模块603，用于根据设于图像中心且与所述目标对象匹配的感兴趣区域对所述第二全景视频图像进行感兴趣区域编码，得到第三全景视频图像；
98.图像发送模块604，用于发送所述第三全景视频图像和所述变换还原信息至全景视频接收端，以供所述全景视频接收端解码所述第三全景视频图像后根据所述变换还原信息获取图像中心还原的第四全景视频图像。
99.在一个实施例中，中心变换模块602，用于识别所述第一全景视频图像中的目标对象；确定所述第一全景视频图像中所述目标对象的几何中心；根据将所述目标对象的几何中心移动至所述第一全景视频图像的图像中心的变换关系，对所述第一全景视频图像进行变换处理。
100.在一个实施例中，所述全景画面为目标静止类场景的全景画面；中心变换模块602，用于所述第一全景视频图像为全景视频的首帧图像时，获取将所述目标对象的几何中心移动至所述图像中心的变换关系并作为所述首帧图像的变换关系，根据所述首帧图像的变换关系对所述第一全景视频图像进行变换处理；所述第一全景视频图像为全景视频的非首帧图像时，根据所述首帧图像的变换关系对所述第一全景视频图像进行变换处理。
101.在一个实施例中，所述全景画面为目标运动类场景的全景画面；中心变换模块602，用于所述第一全景视频图像为编码图像组的首个图像时，获取将所述目标对象的几何中心移动至所述图像中心的变换关系并作为所述首个图像的变换关系，根据所述首个图像的变换关系对所述第一全景视频图像进行变换处理；所述第一全景视频图像为编码图像组的非首个图像时，根据所述首个图像的变换关系对所述第一全景视频图像进行变换处理；其中，所述编码图像组的大小根据所述目标运动类场景下，所述目标对象的运动特征设置。
102.在一个实施例中，该装置600包括：区域设置模块，用于确定几何中心位于所述第二全景视频图像的图像中心的目标对象的外接矩形；根据所述外接矩形，在所述图像中心设置所述感兴趣区域。
103.在一个实施例中，如图7所示，提供了一种全景视频图像的获取装置，该装置700包括：
104.图像接收模块701，用于接收来自全景视频发送端的第三全景视频图像和变换还原信息；
105.图像解码模块702，用于对所述第三全景视频图像进行解码，得到解码后的第三全景视频图像；
106.中心还原模块703，用于根据所述变换还原信息对所述解码后的第三全景视频图像进行图像中心还原处理，得到第四全景视频图像；
107.其中，所述第三全景视频图像由所述全景视频发送端根据设于图像中心且与目标对象匹配的感兴趣区域对第二全景视频图像进行感兴趣区域编码得到；所述第二全景视频图像和所述变换还原信息由所述全景视频发送端对第一全景视频图像进行将图像中目标对象变换至图像中心的变换处理得到；所述第一全景视频图像对全景画面按等距圆柱投影得到。
108.上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
109.在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图8所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输
入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种全景视频图像的编码传输方法或全景视频图像的获取方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
110.本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
111.在一个实施例中，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
112.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
113.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
114.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
115.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。