一种tile大小感知的360度视频比特率分配方法

1.本发明属于视频流媒体技术，具体涉及一种tile大小感知的360度视频比特率分配方法。


背景技术：

2.360度视频可以给用户带来更加沉浸式的体验，近年来，360度视频越来越受欢迎。由于全景的特点，360度视频与传统视频相比，需要更高的网络带宽，并且用户在某个时刻只能观看全景视频的一部分，即视口部分，传输视口外视频内容的这部分带宽是浪费的。在这样的背景下，许多基于tile的视口自适应的360度视频传输方法被提出，首先将投影到平面的360度视频视频编码为不同的码率等级，然后以固定的时间间隔切割为视频块，并将这些视频块在空间上切割为多个tile，存储在http服务器上。客户端播放时，运行自适应比特率(adaptive bitrate algorithm，abr)算法，根据用户视口(field of view，fov)和网络条件为每个tile选择合适的码率等级，以实现高质量的体验(quality of experience，qoe)。
3.目前的360度视频媒体系统大多采用比特率作为质量评估指标，并侧重于提高tile的比特率。然而，这些方法有两个局限性。首先，虽然视频比特率被广泛用于评估视频质量，但用于衡量视频感知质量的指标对提高用户的观看体验更为重要。此外，目前大多数abr方法都没有考虑视频切割后得到的tile之间大小的显著变化性。在实践中，不同视频块甚至同一个视频块中的tile大小显示出显著的可变性。如果将大部分带宽分配给高比特率的大tile，那么大量低比特率的小tile将无法获得足够的带宽，从而导致整体视频质量低下。


技术实现要素：

4.针对为360度视频不同tile分配合适的比特率的问题，本发明提供一种tile大小感知的360度视频比特率分配方法，该方法小心地降低了少量大tile的质量，从而为大量的小tile分配更多的网络带宽，从而提高了整体视频的感知质量，并且不会过度牺牲大tile的质量。由于当tile较小时，随着tile大小的小幅增大，质量会显著提高，但是当tile增大到一定程度后，质量的提高速度明显变慢，本发明可以更优地为tile分配网络带宽，从而改善用户的观看体验。
5.一方面，本发明提供的一种tile大小感知的360度视频比特率分配方法，应用于服务器端，包括以下步骤：
6.服务器端的视频处理按以下步骤操作：
7.步骤1-1：将360度视频投影到2d平面，并编码为不同的比特率等级；
8.步骤1-2：将所有比特率等级下的视频以固定的时间间隔切割为视频块，并进一步将视频块在空间维度切割为若干个tile；
9.步骤1-3：统计每个tile的大小，计算每个tile的vmaf，并把每个tile的相关信息
存储在清单文件中。
10.服务器端接收客户端的请求和做出响应按以下步骤操作：
11.步骤2-1：接收来自客户端的tile请求；
12.步骤2-2：服务端向客户端发送相应的tile，转至步骤2-1继续接收来自客户端的tile请求。
13.第二方面，本发明提供一种tile大小感知的360度视频比特率分配方法，应用于客户端，包括以下步骤：
14.步骤1-1：更新客户端缓冲区数据，预测当前视频块的总比特率和当前的视口位置。
15.步骤2-1：向服务器请求当前视频块的清单文件，包括各tile的位置信息，大小信息，质量信息等。
16.tile比特率分配过程包括：
17.步骤3-1：根据清单文件中的信息和视口位置，为所有视口外的tile分配最低比特率等级，并更新剩余带宽；
18.步骤3-2：在带宽的约束下，为视口内的tile选择相同的最高比特率等级，并更新剩余带宽；
19.步骤3-3：把视口内的tile分出两类，class1：vmaf大且存储大小大的tile，class2：vmaf小且存储大小小的tile；
20.步骤3-4：选择class1中vmaf与存储大小乘积最大的tile，记为l；选择class2中vmaf与存储大小乘积最小的tile，记为s；
21.步骤3-5：把tile l的比特率等级降低一级，更新剩余带宽；
22.步骤3-6：判断剩余带宽是否够把tile s的比特率等级提升一级，如果是则转至步骤3-7，否则转至步骤3-4；
23.步骤3-7：把tile s的比特率等级提升一级，更新剩余带宽；
24.步骤3-8：判断是否满足tile l的质量等级降到最低或者vmaf低于阈值，或者tile s的质量等级升到最高或者vmaf高于阈值，如果是转至步骤4-1；否则转至步骤3-4；
25.步骤4-1：按照比特率分配结果向服务器请求tile；
26.步骤5-1：判断视频播放是否完成，如果是则结束，否则转至步骤2-1。
27.第三方面，本发明提供的一种客户端，包括：
28.更新模块，用于更新客户端缓冲区的数据；
29.预测模块，用户预测用户视口信息和网络带宽；
30.比特率分配模块，用于为每个tile分配合适的比特率；
31.请求模块，用于向服务器发送请求；
32.接收模块，用于从服务器接收响应；
33.缓存模块，用于将接收到的tile，存放在缓冲区。
34.第四方面，本发明提供的一种服务器，包括：
35.视频处理模块，将投影到2d平面的360度视频，编码为不同的比特率等级，在时间和空间维度切割为若干个tile；
36.信息收集模块，用于统计计算所有tile的信息，包括大小，vmaf，位置；
37.请求接受模块，用于接受客户端的请求，包括清单文件的请求和tile；
38.请求响应模块，用于向客户端发送相应的请求文件和视频。
39.第五方面，本发明提供的一种系统，包括上述应用所述tile大小感知的360度视频比特率分配技术的客户端和服务器，所述客户端与所述服务器通信连接。
40.第六方面，本发明提供的一种可读存储介质，存储了计算机程序，处理器调用计算机程序以执行所述的tile大小感知的360度视频比特率分配技术。
41.有益效果
42.本发明提出了一种名为tsa(tile-存储大小aware bitrate allocation)的tile大小感知的360度视频比特率分配方法，为每个tile分配合适的比特率，以提高用户观看体验。为了为每个tile选择合适的比特率，tsa谨慎地降低了少量大tile的质量，从而为大量的小tile分配更多的网络带宽，从而提高了整体视频的感知质量，并且不会过度牺牲大tile的质量。本发明通过为每个tile分配更合适的比特率，提高视频的整体感知质量，从而改善用户的观看体验。
附图说明
43.图1为本发明的流程图(客户端)。
44.图2位本发明的流程图(服务器)。
45.图3为不同算法的比特率分配结果的tile的大小和vmaf分布图。tsa即本发明技术方案，即tile大小感知的360度视频比特率分配方法(tile-存储大小aware bitrate allocation，tsa)。fovplus为另一种比特率分配算法，即为视口外的tile选择最低比特率等级，为视口内的tile选择不超过带宽的相同的最高比特率等级。图3(a)为fovplus的比特率分配结果的tile的大小和vmaf分布图，图3(b)为使用tsa的比特率分配结果的tile的大小和vmaf分布图。
46.图4为不同网络条件下，不同方法的v-vmaf性能测试图，其中图4(a)为4g网络条件下的不同方法的v-vmaf性能测试图，图4(b)为fcc网络条件下的不同方法的v-vmaf性能测试图。
47.图5为不同视频类型下，不同方法的v-vmaf性能测试图。从每种类型视频中选择一种进行试验，其中图5(a)为运动类型视频下的不同方法的v-vmaf性能表现，图5(b)为纪录片类型视频下的不同方法的v-vmaf性能表现，图5(c)为电影类型视频下的不同方法的v-vmaf性能表现，图5(d)为表演类型视频下的不同方法的v-vmaf性能表现。
48.图6为不同网络条件下，不同方法的归一化平均qoe性能测试图，其中，图6(a)为4g网络条件下的不同方法的归一化平均qoe性能测试图，图6(b)为fcc网络条件下的不同方法的归一化平均qoe性能测试图。
49.图7为不同视频类型下，不同方法的归一化平均qoe性能测试图。
具体实施方式
50.下面将结合实施例对本发明做进一步的说明。
51.实施例1：
52.如图1所示，本实施例中所述tile大小感知的360度视频比特率分配方法应用在客
户端，其包括以下步骤：
53.步骤1-1：更新客户端缓冲区数据，预测当前视频块的总比特率和当前的视口位置。
54.步骤2-1：向服务器请求当前视频块的清单文件，包括各tile的位置信息，大小信息，质量信息等。
55.tile比特率分配过程包括：
56.步骤3-1：根据清单文件中的信息和视口位置，为所有视口外的tile分配最低比特率等级，并更新剩余带宽；
57.步骤3-2：在带宽的约束下，为视口内的tile选择相同的最高比特率等级，并更新剩余带宽；
58.步骤3-3：把视口内的tile分出两类，class1：vmaf大且存储大小大的tile，class2：vmaf小且存储大小小的tile；
59.步骤3-4：选择class1中vmaf与存储大小乘积最大的tile，记为l；选择class2中vmaf与存储大小乘积最小的tile，记为s；
60.步骤3-5：把tile l的比特率等级降低一级，更新剩余带宽；
61.步骤3-6：判断剩余带宽是否够把tile s的比特率等级提升一级，如果是则转至步骤3-7，否则转至步骤3-4；
62.步骤3-7：把tile s的比特率等级提升一级，更新剩余带宽；
63.步骤3-8：判断是否满足tile l的质量等级降到最低或者vmaf低于阈值，或者tile s的质量等级升到最高或者vmaf高于阈值，如果是转至步骤4-1；否则转至步骤3-4；
64.步骤4-1：按照比特率分配结果向服务器请求tile；
65.步骤5-1：判断视频播放是否完成，如果是则结束，否则转至步骤2-1。
66.实施例2：
67.如图2所示，本实施例中所述tile大小感知的360度视频比特率分配方法应用在服务器，其包括以下步骤：
68.步骤1-1：将360度视频投影到2d平面，并编码为不同的比特率等级；
69.步骤1-2：将所有比特率等级下的视频以固定的时间间隔切割为视频块，并进一步将视频块在空间维度切割为若干个tile；
70.步骤1-3：统计每个tile的大小，计算每个tile的vmaf，并把每个tile的相关信息存储在清单文件中。
71.服务器端接收客户端的请求和做出响应按以下步骤操作：
72.步骤2-1：接收来自客户端的tile请求；
73.步骤2-2：服务端向客户端发送相应的tile，转至步骤2-1继续接收来自客户端的tile请求。
74.实施例3：
75.基于前述实施例1的描述，本实施例还提供一种客户端，其包括：相互连接的更新模块、预测模块、比特率分配模块、请求模块、接收模块和缓存模块。
76.其中，更新模块，用于更新客户端缓冲区的数据；
77.预测模块，用户预测用户视口信息和网络带宽；
78.比特率分配模块，用于为每个tile分配合适的比特率；
79.请求模块，用于向服务器发送请求；
80.接收模块，用于从服务器接收响应；
81.缓存模块，用于将接收到的tile，存放在缓冲区。
82.其中，各个模块的具体实现过程请参照上述方法的对应过程，本发明再次不进行赘述。并且，这个功能模块是逻辑划分，实际实现时可以根据具体情况采用其他的划分。
83.实施例4：
84.基于前述实施例2的描述，本实施例提供一种服务器，其包括：视频处理模块、信息收集模块、请求接受模块和请求响应模块。
85.其中，视频处理模块，用于将投影到2d平面的360度视频，编码为不同的比特率等级，在时间和空间维度切割为若干个tile；
86.信息收集模块，用于统计计算所有tile的信息，包括大小，vmaf，位置；
87.请求接受模块，用于接受客户端的请求，包括清单文件的请求和tile；
88.请求响应模块，用于向客户端发送相应的请求文件和视频。
89.其中，各个模块的具体实现过程请参照上述方法的对应过程，本发明再次不进行赘述。并且，这个功能模块是逻辑划分，实际实现时可以根据具体情况采用其他的划分。
90.实施例5：
91.本实施例提供一种可读存储介质，其存储了计算机程序，处理器调用计算机程序以执行所述的tile大小感知的360度视频比特率分配方法。
92.方法的具体实现步骤请参照前面的阐述。
93.图3到图7是本发明的性能测试结果，测试中采用了四个不同类别的视频，包括表演、运动、电影和纪录片。每个视频使用等距投影(equirectangular projection，erp)，分辨率为1440
×
2880，并使用ffmpeg编码为6个比特率等级的版本，比特率分别为100kbps、1000kbps、3000kbps、5000kbps、7000kbps和9000kbps。每个视频在时间上被划分为长度1s的视频块，每个视频块在空间上被按照4
×
6的切割方式切割为24个tile。每个tile的大小和vmaf存储在mpd清单文件中。网络数据集采用了根特大学测量的4g网络和fcc发布的宽带网络数据集。
94.图3为不同算法的比特率分配结果的tile的大小和vmaf分布图。图3(a)和图3(b)分别展示了使用fpvplus和tsa比特率分配算法后的tile大小和vmaf的分布。两种方法分配的总带宽是相同的。与图3(a)的fovplus相比，tsa降低了高vmaf的大tile的比特率，即绿色的点，提高了低vmaf的小tile的比特率，即红色的点，显著地提升了红色点的vmaf。32个红色的点的vmaf提升了56.0％，而11个绿色的点的vmaf降低了28.8％，所有tile的平均vmaf提升了20％。
95.图4为不同网络条件下，不同方法的v-vmaf性能测试图。其中greedy tsa为基于贪心算法的tile大小感知的360度视频比特率分配方法，dp tsa为基于动态规划方法的tile大小感知的360度视频比特率分配方法。与其他算法相比，greedy tsa在4g和fcc数据集下分别提高了9.3％～21.0％和10.1％～26.6％的v-vmaf。在4g数据集和fcc数据集下，dp tsa比erp和fovplus提高了17.7％～30.3％和17.9％～35.4％的v-vmaf。
96.图5为不同视频类型下，不同方法的v-vmaf性能测试图。实验结果表明，在不同的
视频类型下，dptsa都达到了最高的vvmaf。与其他算法相比，dp tsa算法在运动、纪录片、电影和表演视频类型下分别提高了19.6％～33.2％、20.4％～32.6％、21.3％～33.6％和25.4％～39.0％。greedy tsa也优于erp和fovplus，在体育、纪录片、电影和表演视频类型下，v-vmaf分别提高了11.9％～24.6％、12.6％～23.8％、13.6％～25.1％和17.7％～32.9％。。
97.图6为不同网络条件下，不同方法的归一化平均qoe性能测试图。图6(a)和图6(b)分别为4g数据集和fcc数据集下的qoe性能。实验结果表明，dp tsa和greedy tsa在4g和fcc网络条件下都能获得较好的qoe。
98.图7为不同视频类型下，不同方法的归一化平均qoe性能测试图。实验结果表明，greedy tsa和动态规划算法dp tsa都比erp和flare在尺寸变化和感知视频质量方面取得了更好的qoe性能。dp tsa的qoe性能最好，因为它能在比特率分配中获得全局最优解。
99.需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。