全景视频图像处理方法、服务端、目标设备、装置和系统与流程

1.本发明属于视频处理领域，具体涉及全景视频图像处理方法、服务端、目标设备、装置和系统。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.全景视频图像的出现给消费者带来了更好的视觉体验。全景视频播放设备以4k分辨率为主，常见设备为头显，手机等。目前，受限于全景视频播放设备的视频解码、渲染能力及传输过程中的带宽，全景视频点播/直播大多数使用8m～10m码率的4k分辨率的视频。视频码率对于视频的质量有很大的影响，在一定范围内，视频的码率越高，视频画面质量越好。但是由于用户所使用的带宽环境及部分平台节省带宽的需求，全景视频的码率通常被压缩到了无法支持4k分辨率的码率水平。此外，用户在全景视频播放设备观看时，由于受限于视野范围，用户观看到的画面仅占整个视频画面的一部分，用户会感觉到十分模糊,无法体现4k分辨率的优势。因此，在码率及分辨率不足的情况下，用户使用全景视频播放设备观看全景视频的体验需要改进。


技术实现要素：

4.针对上述现有技术中存在的问题，提出了全景视频图像处理方法、服务端、目标设备、系统、装置及计算机可读存储介质，利用这种方法、装置及计算机可读存储介质，能够解决上述问题。
5.本发明提供了以下方案。
6.第一方面，提供一种全景视频图像处理方法，应用于服务端，包括：获取待处理的全景视频图像，所述全景视频图像包括热点区域；对所述全景视频图像进行预处理以得到预处理图像，其中，所述预处理包括：将所述全景视频图像划分为多个图像区块，以及根据各个所述图像区块和所述热点区域之间的距离分别对各个所述图像区块进行缩放处理；对所述预处理图像进行编码处理，得到编码数据；将所述编码数据传送到目标终端。
7.在一种可能的实施方式中，预处理进一步包括：基于热点区域确定目标注视方向，根据目标注视方向和人眼视野角范围将全景视频图像划分为多个图像区块；以及，根据各个图像区块对应的注视方向和目标注视方向之间的角度差对各个图像区块进行缩放处理。
8.在一种可能的实施方式中，预处理进一步包括：垂直于球面型的全景视频图像的中心纵向截面对全景视频图像进行第一类划分，获得多个第一图像区块，第一类划分采用的多个第一类划分线在中心纵向截面上的投影汇总于中心点且彼此之间按照第一预设角度分隔开；根据各个第一图像区块对应的第一类划分线和目标注视方向之间的角度差分别对各个第一图像区块的高度尺寸进行高度缩放处理；其中，目标注视方向指向全景视频图像的中心纵向截面和中心横向截面的交点。
9.在一种可能的实施方式中，预处理进一步包括：垂直于球面型的全景视频图像的中心横向截面对全景视频图像进行第二类划分，获得多个第二图像区块，第二类划分采用的多个第二类划分线在全景视频图像的中心横向截面上的投影汇总于中心点且彼此之间按照第二预设角度分隔开；根据各个第二图像区块对应的第二类划分线和热点区域之间的角度差分别对各个第一图像区块的宽度尺寸进行缩放处理，其中，目标注视方向指向全景视频图像的中心纵向截面和中心横向截面的交点。
10.在一种可能的实施方式中，目标注视方向指向的视点位于全景视频图像的经纬图的0纬度处；预处理进一步包括：根据预设纬度间隔对全景视频图像进行横向划分，得到多个横向图像区块，确定各个横向图像区块和视点在全景视频图像上的纬度差，根据纬度差的余弦值对各个横向图像区块的高度尺寸进行缩放；和/或，根据预设经度间隔对全景视频图像进行纵向划分，得到多个纵向图像区块，确定各个纵向图像区块和视点在全景视频图像上的经度差，根据经度差的余弦值对各个纵向图像区块的宽度尺寸进行缩放。
11.在一种可能的实施方式中，预处理还包括：在进行划分之前，根据目标注视方向和人眼视野角范围对全景视频图像进行裁剪。
12.在一种可能的实施方式中，待处理的全景视频图像为实时获得的直播视频图像或者预先获得的录播视频图像。
13.在一种可能的实施方式中，还包括：根据目标终端支持的分辨率水平对全景视频图像进行预处理，以使得预处理图像满足目标终端支持的分辨率水平。
14.第二方面，提供一种全景视频图像处理方法，应用于目标终端，包括：接收如第一方面的方法处理得到的编码数据；对所述编码数据进行解码处理，得到解码数据；对解码数据进行复原处理以至少部分地复原全景视频图像，其中，所述复原处理与第一方面的缩放处理相逆。
15.在一种可能的实施方式中，还包括：展示复原后的所述全景视频图像，其中，所述全景视频图像的热点区域位于展示中心区域。
16.第三方面，提供一种服务端，其被配置为用于执行如第一方面的方法，服务端包括：获取单元，获取待处理的全景视频图像，所述全景视频图像包括热点区域；预处理单元，对所述全景视频图像进行预处理以得到预处理图像，其中，所述预处理包括：将所述全景视频图像划分为多个图像区块，以及根据各个所述图像区块和所述热点区域之间的距离分别对各个所述图像区块进行缩放处理；编码单元，对所述预处理图像进行编码处理，得到编码数据；发送单元，将所述编码数据传送到目标终端。
17.第四方面，提供一种目标终端，其被配置为用于执行如第二方面的方法，所述目标终端包括：接收单元，接收如第一方面处理得到的编码数据；解码单元，对所述编码数据进行解码处理，得到解码数据；复原单元，对解码数据进行复原处理以至少部分地复原全景视频图像，其中，所述复原处理与第一方面的缩放处理相逆。
18.第五方面，提供一种全景视频图像处理系统，包括：服务端，被配置为用于执行如第一方面的方法；目标终端，被配置为用于执行如第二方面的方法。
19.第六方面，提供全景视频图像处理装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行：如第一方面的方法或如第二方面的方
法。
20.第七方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，当所述程序被多核处理器执行时，使得所述多核处理器执行：如第一方面的方法，或如第二方面的方法。
21.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：在本实施例中，利用上述技术方案，可以在保证用户感兴趣的热点区域的画面清晰度的前提下，无需对常规编解码器进行额外修改，即可减小视频数据传输所导致的带宽压力。
22.应当理解，上述说明仅是本发明技术方案的概述，以便能够更清楚地了解本发明的技术手段，从而可依照说明书的内容予以实施。为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举例说明本发明的具体实施方式。
附图说明
23.通过阅读下文的示例性实施例的详细描述，本领域普通技术人员将明白本文所述的优点和益处以及其他优点和益处。附图仅用于示出示例性实施例的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的标号表示相同的部件。在附图中：
24.图1为根据本发明一实施例的全景视频图像处理方法的流程示意图；
25.图2为根据本发明一实施例的全景视频图像的示意图；
26.图3为根据本发明一实施例的全景视频图像的划分示意图；
27.图4为根据本发明另一实施例的全景视频图像的示意图；
28.图5为根据本发明一实施例的全景视频图像的中心纵向截面示意图；
29.图6为根据本发明一实施例的全景视频图像的中心横向截面示意图；
30.图7为根据本发明另一实施例的全景视频图像的划分示意图；
31.图8为根据本发明又一实施例的全景视频图像处理装置的结构示意图；
32.图9为根据本发明另一实施例的全景视频图像处理方法的流程示意图；
33.图10为根据本发明又一实施例的全景视频图像处理装置的结构示意图；
34.图11为根据本发明又一实施例的全景视频图像处理系统的结构示意图；
35.图12为根据本发明又一实施例的全景视频图像处理装置的结构示意图。
36.在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
37.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
38.在本技术实施例的描述中，应理解，诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。
39.除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独
存在a，同时存在a和b，单独存在b这三种情况。
40.术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
41.本技术中的所有代码都是示例性的，本领域技术人员根据所使用的编程语言，具体的需求和个人习惯等因素会在不脱离本技术的思想的条件下想到各种变型。
42.为清楚阐述本技术实施例，首先将介绍一些后续实施例中可能会出现的概念。
43.分辨率：视频画面的大小或尺寸，例如4k分辨率，8k分辨率。
44.dpi：每英寸长度中，取样、显示或输出的像素点的数目。显示设备的dpi越大，图像输出的色点就越小，输出的图像效果就越精细。
45.帧率：单位时间内显示的帧数。
46.码率：单位时间内传输或者处理二进制数据的数据量。
47.清晰度：单位面积的画面所承载的信息，在对视频进行评价时，当帧率(每秒画面显示的数量)和分辨率固定时，考察视频的清晰度。
48.经纬图：即等距柱状投影图(equirectangular projection，erp)。全景图像投影方式的一种，将球面信号按照等经度间隔和等纬度间隔均匀采样映射获得的能够用于保存和传输的二维全景图像。该图像的横纵坐标可以用经纬度来表示，宽度方向上可用经度表示，跨度为360
°
；高度方向上可用纬度表示，跨度为180
°
。
49.视频解码(video decoding)：将视频码流按照特定的语法规则和处理方法恢复成重建图像的处理过程。
50.视频编码(video encoding)：将图像序列压缩成码流的处理过程。
51.另外还需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
52.本发明实施例提供一种全景视频处理方法，下面，首先对所述方法的发明构思进行介绍。
53.在诸如剧场、演唱会、球赛等场景中所采用的全景视频的内容具有一定的特点，如用户的观看注意力集中在热点区域上(比如舞台、球场等区域)，而对全景视频中的其他非热点区域(比如观众席)的关注度不高。基于此，本发明实施例提供一种全景视频图像处理方法，其通过对原始的360度全景视频进行一系列预处理，从而保留以热点区域为中心的一定分辨率的画面，缩放或去除重要性不高的内容。如此，此方案可以在不损失画质且保证用户观看习惯上的热点区域的画面清晰度的前提下，降低全景视频图像的分辨率，进而一方面减小了视频数据传输所导致的带宽压力，另一方面可以兼容视频解码能力不足的全景视频播放设备(如普通电视、4k vr眼镜等)。
54.本领域技术人员可以理解，所描述的应用场景仅是本发明的实施方式可以在其中得以实现的一个示例。本发明实施方式的适用范围不受任何限制。在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
55.图1为根据本技术一实施例的全景视频图像处理方法的流程示意图，用于对待播放的全景视频图像进行数据处理，在该流程中，从设备角度而言，执行主体可以是一个或者
多个电子设备，更具体地可以是服务端的处理模块；从程序角度而言，执行主体相应地可以是搭载于这些电子设备上的程序。在本实施例中，方法的执行主体可以是图1所示实施例中的服务端。
56.如图1所示，本实施例提供的方法可以包括以下步骤s11
‑
s14。
57.s11、获取待处理的全景视频图像，全景视频图像包括热点区域；
58.全景视频图像是指全景视频的帧图像。全景视频也可以称为360度全景视频或360度视频，是一种用多个摄像头进行全方位360度进行拍摄的视频。本领域技术人员可以理解的是，全景视频图像可以是。参考图3，全景视频图像一般可以展示在一个球体的球体表面,用户能观看到的图像区域是在该球体表面上的位置。本实施例中所提及全景视频可以是直播视频也可以是录播视频，本技术对此不作具体限制。
59.热点区域是指全景视频图像中用户感兴趣程度高的内容区域。比如，在诸如舞台剧、球赛等场景中，可以将全景视频图像的舞台区域和球场区域定义为热点区域，将全景视频图像的观众席区域、走道区域等定义为非热点区域，用户对于热点区域的感兴趣程度明显会远高于非热点区域。
60.在一个示例中，参考图2，示出了一种球型的全景视频图像3，在该全景视频图像中包括热点区域31，用户在观看该全景视频图像3时会注视该热点区域31，该热点区域31的中心位置或附近可以作为视点32，从全景视频图像的球型中心点o指向该视点的方向为目标注视方向，也即用户观看全景视频图像的最优注视方向。
61.s12、对全景视频图像进行预处理以得到预处理图像，其中，该预处理包括：将全景视频图像划分为多个图像区块，以及根据各个图像区块和热点区域之间的距离分别对各个图像区块进行缩放处理。
62.本实施例中，为了减小全景视频图像的分辨率，在对全景视频图像进行编码之前，需要对其进行缩放处理，该缩放处理是对全景视频图像划分出的多个图像区块进行的差异化的缩放处理，也即，本实施例并非是将全景视频图像整体缩放至某一尺寸，而是可以差异化地将不同图像区块缩放至不同的缩放程度。比如，可以依照距离热点区域的远近程度依次将全景视频图像划分为n个区，其中第1区距离热点区域最近，第n区距离热点区域最远，由此可以对划分出的n个区进行差异化的缩放处理，距离越远则缩放程度越高。优选地，对于包括热点区域的一个或更多的图像区块，为了保证热点区域的分辨率，可以不进行缩放或者进行较小程度地缩放。当然，由于可能存在两个或多个图像区块与热点区域之间的距离是相等或相近的，因此该两个或多个图像区块对应的缩放程度也可以是相同的。可以将球型的全景视频图以及划分出的各个图像区块投影为2维全景视频图，进而对2维全景视频图上各个图像区块的宽和/或高进行不同程度的缩放处理。
63.可以采用任意划分方式将全景视频图像划分为多个图像区块。比如可以根据经纬度将全景视频图像的球型表面进行横向划分和纵向划分以得到若干图像区块。又比如，还可以对全景视频图像进行单向划分以得到若干图像区块，比如仅横向划分或仅纵向划分。又比如，还可以基于球型表面的内接正多面体将全景视频图像划分为若干尺寸相等的图像区块。诸如此类，本技术对此不作具体限制。
64.上述各个图像区块和热点区域之间的距离是用于评价二者之间远近程度的指标，其可以是各个图像区块和热点区域之间的球面距离，比如最小/最大/平均球面距离，也可
以是各个图像区块和热点区域之间的直线距离，比如最小/最大/平均直线距离，还可以是各个图像区块对应的注视方向和热点区域对应的目标注视视点之间的角度距离(也可称为角度间隔)，本技术对此不作具体限制。
65.在对全景视频图像进行预处理之后可以得到预处理图像，该预处理图像的整体分辨率相较于原始的全景视频图像更低，并且该预处理图像仍然能够在一定程度上保留了热点区域处的画面分辨率。
66.s13、对预处理图像进行编码处理，得到编码数据；
67.s14、将编码数据传送到目标终端。
68.为了将经过预处理的全景视频图像发送至用于展示视频图像的目标终端上，需要利用预设视频编码格式对该经过预处理的预处理图像进行编码处理，比如可以利用x264、x265等常规视频编码器对预处理图像进行编码处理。本领域技术人员可以理解的是，在官方的x264、x265的等编码器的设计中，视频画面的每个像素重要性相同，对每个像素的码率分配并无区域权重的差异，如果需要差异化地对不同区域像素进行编码，则需要额外修改该常规编码器，以使其实现对不同区域像素的码率权重差异化。然而，在本实施例中，由于视频编码器的编码对象已经被执行如s12中描述的预处理，因此无需对所使用的常规编码器进行修改，即可在输出的编码数据中实现对原始的全景视频图像的不同区域的差异化分辨率表示，从而达到减少全景视频的数据量、降低视频分辨率、压缩视频码率的目的。
69.在本实施例中，利用上述技术方案，可以在保证用户感兴趣的热点区域的画面分辨率的前提下，无需对常规编码器进行额外修改，即可减小视频数据传输所导致的带宽压力。
70.在一种可能的实施方式中，由于目标终端支持的分辨率水平有限，可能存在不兼容全景视频图像的情况，基于此，可以根据目标终端支持的分辨率水平对全景视频图像进行如上预处理，使得预处理图像满足目标终端支持的分辨率水平。
71.在一个示例中，假设原始的全景视频图像为8k视频图像，8k视频图像的宽高分别为w、h，而目标终端仅支持4k视频图像，为了使得目标终端支持播放该全景视频图像，可以对全景视频图像进行预处理，使得预处理之后得到的预处理图像的视频尺寸为0.5w，0.5h。换言之，将8k视频处理为4k视频，如此能够兼容不能解码8k视频的目标终端，提高了用户体验。本技术可以通过上述预处理将任意高分辨率的视频转换为任意低分辨率的视频，上述8k视频转换为4k视频仅是作为一个示例，本技术对此不作具体限制。
72.在一种可能的实施方式中，在s12中，预处理进一步包括：基于热点区域确定目标注视方向，根据目标注视方向和人眼视野角范围将全景视频图像划分为多个图像区块；以及，根据各个图像区块对应的注视方向和目标注视方向之间的角度差对各个图像区块进行缩放处理。
73.在一种示例中，参考图3，可以将热点区域的中心位置作为视点32，将全景视频图像的球型中心点指向视点32的方向作为目标注视方向，可以以视点32为顶点在球体表面确定n
‑
1个环形划分线，从右至左将全景视频图像分为第1区至第n区。可以采用各个图像区块对应的注视方向和目标注视方向之间的最小角度间隔，其中，第1区至第n区与目标注视方向之间的最小角度间隔分别为0度、i度、2i度、
…
、(n
‑
1)i度。可以利用夹角余弦值作为评价各个图像区块和热点区域的距离指标，夹角余弦值分布在(
‑
1,1]之间，其中，第1区的缩放
因子s可以为余弦值1，其画面可以基本不变，其余区域的缩放因子s随着余弦值的减小可以逐渐减小，直至接近0。在另外的示例中，也可以根据将余弦值小于0的区域的缩放因子设定为0，也即完全截去。
74.本实施例中，缩放因子s是指进行缩放处理后的各个图像区块与原始图像区块的尺寸比例。优选地，缩放因子s可以包括图像宽度方向上的宽度缩放因子sw和图像高度方向上的高度缩放因子sh，令s＝sw*sh，可以将缩放因子均匀或不均匀地分布在sw和sh上。
75.若原始全景视频图像的分辨率为w、h，且划分为n个图像区块，则缩放处理完的视频的分辨率为(sw1+sw2+sw3+sw4+...+swn)*w、(sh1+sh2+sh3+sh4+...+shn)*h。其中，(sw1、sh1)分别为第1图像区块的宽度缩放因子和高度缩放因子，以此类推。
76.在一种可能的实施方式中，在s12中，预处理可以包括：垂直于球面型的全景视频图像的中心纵向截面对全景视频图像进行第一类划分，获得多个第一图像区块，其中，第一类划分采用的多个第一类划分线在中心纵向截面上的投影汇总于中心点且彼此之间按照第一预设角度α分隔开；根据各个第一图像区块对应的第一类划分线和目标注视方向之间的角度差分别对各个第一图像区块的高度尺寸进行高度缩放处理；其中，目标注视方向指向全景视频图像的中心纵向截面和中心横向截面的交点。
77.参考图4，示出了图2的全景视频图像的中心纵向截面41和中心横向截面42，其中视点32位于中心纵向截面41和中心横向截面的交汇处。
78.参考图5，示出了全景视频图像的中心纵向截面41的示意图，其中，在中心纵向截面41上，以目标注视方向为0度角，根据第一预设角度α围绕中心点o进行旋转，从而将全景视频图像在纵向划分为多个图像区块，其中距离目标注视方向的角度差越大的图像区块的高度缩放程度越大。同样地，可以利用该角度差的余弦值确定各个第一图像区块的高度缩放因子sh。
79.例如，图5中将中心纵向截面41划分为12份，在对各个第一图像区块进行高度缩放时，假设各第一图像区块的尺寸为w*h，缩放完尺寸为w*(h*sh)，其中sh为高度缩放因子(sh<1)。在一个示例中，可以依据各个第一图像区块的第一类划分线在中心纵向截面41上投影与目标注视方向的夹角余弦值计算各个第一图像区块的高度缩放因子,第h1区至第h12区与目标注视方向之间的最小角度间隔分别为0度、30度、
…
、150度、210度
…
、360度。可以利用夹角余弦值作为评价各个图像区块和热点区域的距离指标，夹角余弦值分布在(
‑
1,1]之间。对于其中的h1、h2、
…
、h6区域，夹角余弦值分布在(
‑
1,1]之间，sh6<
…
<sh1，缩放完后区域h6的压缩程度最高，区域h1几乎无压缩，保持原画质。以此类推,区域h7到区域h12，sh7<
…
<sh12。此处理方法保留了0度角附近视频画面的dpi，缩小了远离0度角的画面。
80.值得注意的是，上述第一预设角度也可以是多个预设角度的集合，由此，多个第一类划分线可以按照多个预设角度进行非均分式的第一类划分。
81.在一种可能的实施方式中，在s12中，预处理可以包括：垂直于球面型的全景视频图像的中心横向截面对全景视频图像进行第二类划分，获得多个第二图像区块，第二类划分采用的多个第二类划分线在全景视频图像的中心横向截面上的投影汇总于中心点且彼此之间按照第二预设角度β分隔开；根据各个第二图像区块对应的第二类划分线和热点区域之间的角度差分别对各个第一图像区块的宽度尺寸进行缩放处理，其中，目标注视方向指向全景视频图像的中心纵向截面和中心横向截面的交点。
82.值得注意的是，上述第二预设角度也可以是多个预设角度的集合，由此，多个第二类划分线可以按照多个预设角度进行非均分式的第二类划分。
83.仍参考图4，示出了图2的全景视频图像的中心纵向截面41和中心横向截面42，其中视点32位于中心纵向截面41和中心横向截面42的交汇处。
84.参考图6，示出了中心横向截面42的示意图，可以在中心横向截面上以目标注视方向为起点，根据第二预设角度β围绕绕中心点进行旋转，从而将全景视频图像在横向上划分为m份，其中距离目标注视方向的角度差越大的区域的宽度缩放程度越大。同样地，可以利用角度差的余弦值确定各个第二图像区块的宽度缩放因子sw。
85.在一种可能的实施方式中，当然可以对全景视频图像进行上述第一类划分与高度缩放处理、以及第二类划分与宽度缩放处理的组合。
86.例如，若原始全景视频图像的分辨率为w、h，且经过第一类划分和第二类划分得到n个图像区块，则缩放处理完的视频的分辨率为(sw1+sw2+sw3+sw4+...+swn)*w、(sh1+sh2+sh3+sh4+...+shn)*h。其中，(swn、shn)分别为第n图像区块的宽度缩放因子和高度缩放因子，以此类推。
87.在一种可能的实施方式中，s12中的预处理还可以包括：根据预设纬度间隔γ对全景视频图像进行横向划分，得到多个横向图像区块，确定各个横向图像区块和视点在全景视频图像上的纬度差，根据纬度差的余弦值对各个横向图像区块的高度尺寸进行缩放；和/或，根据预设经度间隔δ对全景视频图像进行纵向划分，得到多个纵向图像区块，确定各个纵向图像区块和视点在全景视频图像上的经度差，根据经度差的余弦值对各个纵向图像区块的宽度尺寸进行缩放。
88.一种可实现的方式中，参见图7，示出了全景视频图像的经纬图，其中目标注视方向指向的视点32位于经纬图的0纬度处，横向划分采用的多个划分线为球型的全景视频图像的多个预设维度线，且多个预设维度线按照预设纬度间隔γ分隔开，纬度越高的横向图像区块的缩放程度越大，可以根据图像区块的纬度的余弦值确定高度缩放的缩放因子。纵向划分采用的多个划分线为球形的全景视频图像多个预设经度线，且多个预设经度线按照预设经度间隔δ分隔开，和视点在全景视频图像上的经度差越大的纵向图像区块的缩放程度越大，可以根据该经度差的余弦值确定宽度缩放的缩放因子。
89.可选地，横向划分时，也可以按照不同纬度间隔设置该多个预设纬度线，比如纬度越高横向划分间隔可以越大。可选地，纵向划分时，也可以按照不同经度间隔设置该多个预设经度线，比如距离目标注视方向越远经度间隔可以越大。
90.可选地，在s12中，预处理可以仅包括以上横向划分或仅包含以上纵向划分或二者结合。
91.在一些可能的实施方式中，为了进一步降低全景视频图像的分辨率，在s12中，预处理还可以包括：根据目标注视方向和视野角范围对全景视频图像进行裁剪。
92.本领域技术人员可以理解的是，受限于人眼的视野角范围，用户仅能看到全景视频图像的部分区域内容，因此，对于与目标注视方向相比超出人眼视野角范围过多的画面区域，可以采用裁剪方式进行预处理。
93.在一个示例中，假设人眼视野角范围在纵向上最大为90度，在横向上最大为180度，则可以将全景视频图像上与目标注视方向的纵向角度差超过45度(或更多)的画面区域
截去，还可以将全景视频图像上与目标注视方向的横向角度差超过90度(或更多)的画面区域截去。
94.在本说明书的描述中，参考术语“一些可能的实施方式”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
95.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
96.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
97.关于本技术实施例的方法流程图，将某些操作描述为以一定顺序执行的不同的步骤。这样的流程图属于说明性的而非限制性的。可以将在本文中所描述的某些步骤分组在一起并且在单个操作中执行、可以将某些步骤分割成多个子步骤、并且可以以不同于在本文中所示出的顺序来执行某些步骤。可以由任何电路结构和/或有形机制(例如，由在计算机设备上运行的软件、硬件(例如，处理器或芯片实现的逻辑功能)等、和/或其任何组合)以任何方式来实现在流程图中所示出的各个步骤。
98.基于相同的技术构思，本发明实施例还提供一种服务端，其被配置为用于执行如上述实施例的方法，参考图8，该服务端80包括：获取单元801，获取待处理的全景视频图像，全景视频图像包括热点区域；预处理单元802，对全景视频图像进行预处理以得到预处理图像，其中，预处理包括：将全景视频图像划分为多个图像区块，以及根据各个图像区块和热点区域之间的距离分别对各个图像区块进行缩放处理；编码单元803，对预处理图像进行编码处理，得到编码数据；发送单元804，将编码数据传送到目标终端
99.需要说明的是，本技术实施例中的装置可以实现前述方法的实施例的各个过程，并达到相同的效果和功能，这里不再赘述。
100.基于相同的技术构思，本发明实施例还提供一种全景视频图像处理方法，其应用于诸如vr设备的目标终端，图9示出了全景视频图像处理方法的流程图。
101.如图9所示，该方法包括：
102.s91、接收编码数据；编码数据利用以上实施例中描述的方法处理得到的。
103.s92、对编码数据进行解码处理，得到解码数据；
104.s93、对解码数据进行复原处理以至少部分地复原全景视频图像，其中，复原处理与上述实施例中描述的缩放处理相逆。
105.其中，可以至少将缩放处理的全景视频图像进行复原处理，得到缩放前尺寸。
106.在一种可能的实施方式中，还可以包括：展示复原后的全景视频图像，其中，全景视频图像的热点区域位于展示中心区域。
107.基于相同的技术构思，本发明实施例还提供一种目标终端，其被配置为用于执行如上的全景视频图像处理方法，如图10所示，目标终端包括：接收单元101，接收如第一方面处理得到的编码数据；解码单元102，对编码数据进行解码处理，得到解码数据；复原单元103，对解码数据进行复原处理以至少部分地复原全景视频图像，其中，复原处理与上述实施例描述的缩放处理相逆。
108.基于相同的技术构思，本发明实施例还提供一种全景视频图像处理系统110，如图11所示，包括：服务端80，被配置为用于执行如图1的方法；目标终端100，被配置为用于执行如图9的方法。
109.需要说明的是，本技术实施例中的装置、系统可以实现前述方法的实施例的各个过程，并达到相同的效果和功能，这里不再赘述。
110.图12为根据本技术一实施例的全景视频图像处理装置，用于执行图1所示出的全景视频图像处理方法，该装置包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例所述的方法。
111.根据本技术的一些实施例，提供了全景视频图像处理方法的非易失性计算机存储介质，其上存储有计算机可执行指令，该计算机可执行指令设置为在由处理器运行时执行：上述实施例所述的方法。
112.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以其描述进行了简化，相关之处可参见方法实施例的部分说明即可。
113.本技术实施例提供的装置、设备和计算机可读存储介质与方法是一一对应的，因此，装置、设备和计算机可读存储介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述装置、设备和计算机可读存储介质的有益技术效果。
114.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
115.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
116.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
117.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
118.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
119.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
120.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
121.虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。