一种基于视点预测的低时延流媒体传输方法

本发明属于计算机信道编码领域，具体是一种基于视点预测的低时延流媒体传输方法。

背景技术：

近年来，随着移动通信技术的快速发展，相应的移动通信业务也得到了极大的增长；在所有的通信业务中，流媒体业务是一个非常重要的组成部分。

流媒体业务的特点是数据量大，实时性要求高。相比于普通的通信业务，流媒体需要通过移动通信信道传输图片，文字和视频等内容，必然要占用较大的带宽资源。另外，流媒体业务对于时延的要求较高，较大的时延会影响用户的观看体验；针对上述流媒体业务的特点，有许多研究对流媒体业务的传输进行了相应的改善和优化。

视点预测技术是基于预测算法和模型，对未来时刻用户观看流媒体内容的视点轨迹或分布进行预测；其目的在于找到最大可能的用户观看区域，在进行信道传输时，尽可能保证这一部分区域的传输质量，从而保证用户的观看体验。

视点预测算法可以分为内容预测和运动预测；内容预测算法是通过机器学习或神经网络等方法，结合流媒体内容的图像特征和上下文信息，进行预测模型的训练，实现对于用户的视点预测。运动预测是通过研究用户观看流媒体时的头部特征，进行数学建模，得到用户视点轨迹的预测模型。运动预测相比于内容预测，不需要很多的训练数据，但是需要较为复杂的数学建模过程，在预测准确率上，两者相当。

喷泉码是一种无速率编码方式，属于信道编码；第一次实际使用于真实信道传输场景的喷泉码，是最早由luby在2002年提出的lt喷泉码。lt码的码字长度是任意的，其中输入符号与编码符号之间的运算是异或运算，输入符号经过lt编码得到的每一个编码符号都是独立生成的。喷泉码的关键在于度分布的设计，luby在设计lt码时，提出了2种度分布，理想弧波分布和鲁棒弧波分布，度值越低，相应的数据传输质量越高；扩展窗喷泉码是利用这一特性设计得出的。

扩展窗喷泉码在编译码端只需要一个编码或译码器，具有良好的不等保护性能。如图1所示，ewf代表扩展窗喷泉码，lt代表lt喷泉码；bpsk是信道调制方式，h.264是视频编码标准，h.264编码器的网络适配层有两种工作模式：分别为分割模式和不分割格式，在分割模式下，h.264有3种不同的分割方式：a型分割实现头信息的划分，b型分割实现帧内信息的划分，c型分割实现帧间信息的划分，这3种分割数据，a型的重要性较高，b,c型的重要性较低。

ewf中mib(mostimportantbit)代表重要性最高的部分，lib(leastimportantbit)代表重要性最低的部分。w1,w2分别代表扩展窗喷泉码的窗口1和窗口2，ω⁽¹⁾和ω⁽²⁾代表两种扩展窗喷泉码的度分布。

基于扩展窗喷泉码的h.264视频流不等差错保护传输方案的实现过程是：首先，输入视频流经过h.264编码器编码，对编码的码流按照h.264的数据分割方法，获得重要性不同的a,b,c三种视频码流，然后采用扩展窗喷泉码作为信道编码，分别采用鲁棒弧波分布对w1,w2进行lt编码，完成分割码流的不等差错保护，并调制成bpsk信号在无线信道中传输；在接收端，对收到的数据进行bpsk解调及相应的扩展窗喷泉码解码，将还原的a,b,c码流送至h.264解码器中进行解码，实现视频的重建和质量评价。

之后aminshokrollahi在lt码的基础上提出了一种新的喷泉码编码方案，称为raptor码，raptor码一般采用ldpc码作为预编码，原始信息经过预编码后再进行lt码的编码，通过两步编码的方式，降低了编译码的复杂度，提高了编译码的速度。

但是，上述现有方案没有采用视点预测技术对流媒体数据进行重要性划分，不能保证接收端用户的观看体验；并且不能支持多种流媒体业务，包括vr全景视频和立体视频等。

技术实现要素：

基于喷泉码的编解码特性，将喷泉码作为信道编码，本发明提出一种基于视点预测的低时延流媒体传输方法，利用视点预测技术和喷泉码的编解码特性，改善流媒体业务的无线信道传输，降低传输时延，保证用户的观看体验。

所述的一种基于视点预测的低时延流媒体传输方法，具体步骤如下：

步骤一、针对某段流媒体视频中的各帧图像，根据传输信道的质量，在发送端对每帧图像进行分块，各帧图像分别对应得到m×n个区域块。

其中m≥1,n≥1；

分块大小的准则为：将每帧图像的左下角作为坐标原点，按照长宽相等的尺寸，将各帧图像进行均匀划分；从而得到各图像中每个区域块的坐标位置。

分块数量的准则为：传输信道质量状况较好时，减少流媒体内容的分块数；传输信道质量状况较差时，增加流媒体内容的分块数；

步骤二、针对每帧图像，采用视点预测算法，对m×n个区域块分别进行概率赋值和归一化，得到m×n维的归一化预测概率矩阵p。

矩阵中的每个元素分别代表各归一化后的概率值，数值大小代表概率的大小；

预测的准则为：对下一时刻用户将要观看的流媒体区域块，赋值大于等于50％的概率；对用户在下一时刻不会观看或者很少观看的流媒体内容区域块，赋值低于50％的概率。

步骤三、对归一化预测概率矩阵p中的每个元素pi,j，分别取倒数后向下取整，得到m×n维的相应元素组成度分布矩阵d。

步骤四、逐个判断度分布矩阵d中的每个元素，将大于临界值的度值，统一为高值；

临界值根据实际需要人为设定。

步骤五、度分布矩阵d中各度值分别对应各自的流媒体内容区域块，利用喷泉码编码器对各个区域块分别进行喷泉码编码，将各喷泉码编码内容及对应的区域块坐标位置(i,j)封装在一起，形成一个独立的数据传输单元，共得到m×n个数据传输单元。

所述喷泉码编码，是指每个区域块对应在度分布矩阵d中的元素，作为喷泉码编码的度分布参数，喷泉码编码的各分布值参数相互独立，彼此不相关。喷泉码编码器根据独立的度分布参数对每个区域块进行独立编码，得到喷泉码编码信息；同时，喷泉码编码器对统一为高值的各度值进行统一编码，每个区域块分别得到各自的数据传输单元。

步骤六、各数据传输单元经过无线信道传输后，在接收端进行解码，实现流媒体内容的传输。

具体为：

首先，接收端接收封装的数据传输单元，对接收到的喷泉码编码内容采用高斯消元法或者置信传播法进行解码；

然后，根据数据传输单元中包含的流媒体区域块的位置信息，将解码出的流媒体内容在对相应的区域位置播放输出。

本发明的优点在于：

1)一种基于视点预测的低时延流媒体传输方法，根据视点预测结果得到喷泉码的度分布参数，通过对不同的流媒体视频区域块，进行独立的喷泉码编码，降低了传输时延。

2)一种基于视点预测的低时延流媒体传输方法，在信道质量较差时，通过将大于临界值的度值进行统一，在喷泉码编码时优先保证了视点预测结果中的较高概率的流媒体视频区域块的传输，保证了用户的观看体验。

3)一种基于视点预测的低时延流媒体传输方法，通过优先传输视点预测较高概率的视频区域块，减小无线传输信道的带宽负载。

附图说明

图1为现有技术中扩展窗喷泉码的应用原理示意图；

图2为本发明所述低时延流媒体传输方法基于的模块构建图；

图3为本发明一种基于视点预测的低时延流媒体传输方法的流程图；

图4为本发明基于视点预测的低时延流媒体传输方法的实施例示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细和深入描述。

为了对基于视点预测的低时延流媒体传输方法进行更好的描述，本发明设计了如图2所示的低时延流媒体传输模块，具体包括：媒体分块模块，视点预测模块，编码矩阵模块，数据封装模块和解码接收模块。

首先，针对某流媒体内容的视频帧图像，媒体分块模块根据传输信道的质量，在发送端对各帧图像进行不同大小的分块；然后针对各帧分块图像，视点预测模块对分得的各区域块进行视点预测，得到归一化预测概率矩阵p；编码矩阵模块对归一化预测概率矩阵p中的每个元素分别取倒数后向下取整，得到喷泉码编码的度分布矩阵d。利用喷泉码编码器对度分布矩阵d相应的各区域块进行独立的喷泉码编码后，数据封装模块将每个喷泉码编码结果及各分块所在的位置分别封装在一起，形成一个数据传输单元。解码接收模块对各封装的数据传输单元进行解码，并根据流媒体区域块的位置信息，将解码出的流媒体内容在对相应的位置播放输出。

所述的一种基于视点预测的低时延流媒体传输方法，如图3所示，具体步骤如下：

步骤一、针对某段流媒体视频中的各帧图像，根据传输信道的质量，在发送端利用媒体分块模块对每帧图像进行分块，各帧图像分别对应得到m×n个区域块。

其中m≥1,n≥1；

分块大小的准则为：将每帧图像的左下角作为坐标原点，按照长宽相等的尺寸，将各帧图像进行均匀划分；从而得到各图像中每个区域块的坐标位置。

分块数量的准则为：传输信道质量状况较好时，减少流媒体内容的分块数；传输信道质量状况较差时，增加流媒体内容的分块数；

步骤二、针对每帧图像，利用视点预测模块对m×n个区域块分别进行概率赋值和归一化，得到m×n维的归一化预测概率矩阵p。

矩阵中的每个元素分别代表各归一化后的概率值，数值大小代表概率的大小；

预测的准则为：对下一时刻用户将要观看的流媒体区域块，赋值大于等于50％的概率；对用户在下一时刻不会观看或者很少观看的流媒体内容区域块，赋值低于50％的概率。

步骤三、编码矩阵模块对归一化预测概率矩阵p中的每个元素pi,j，分别取倒数后向下取整，得到m×n维的相应元素组成度分布矩阵d。

步骤四、逐个判断度分布矩阵d中的每个元素，将大于临界值的度值，统一为高值；

临界值根据实际需要人为设定。

步骤五、度分布矩阵d中各度值分别对应各自的流媒体内容区域块，利用喷泉码编码器对各个区域块分别进行喷泉码编码，数据封装模块将各喷泉码编码内容及对应的区域块坐标位置(i,j)封装在一起，形成一个独立的数据传输单元，共得到m×n个数据传输单元。

所述流媒体区域块的位置信息，是指相对于原始流媒体内容，进行分块所得到的区域位置。

所述喷泉码编码信息，是指将编码矩阵模块得到的度分布矩阵d中的元素，作为喷泉码编码的度值，对每一个对应位置的流媒体区域块进行独立编码，得到喷泉码编码信息同时，喷泉码编码器对统一为高值的各度值进行统一编码，每一个流媒体区域块对应一个数据传输单元。

步骤六、各数据传输单元经过无线信道传输后，在接收端利用解码接收模块进行解码，实现流媒体内容的传输。

具体为：

首先，接收端接收封装的数据传输单元，对接收到的喷泉码编码内容采用高斯消元法或者置信传播法进行解码；

然后，根据数据传输单元中包含的流媒体区域块的位置信息，将解码出的流媒体内容在对相应的区域位置播放输出。

实施例

如图4所示，首先，采用一段流媒体视频作为传输内容，媒体分块模块根据信道质量状况，将视频中的各帧图像分别划分成5*8个流媒体视频区域。

视点预测模块采用视点预测算法，对视频内容进行用户的视点预测，根据视频划分的区域，将用户将要观看或者正在观看的区域赋予较大的概率值，对所有概率值进行归一化处理，得到归一化预测概率矩阵p＝[pi，j]5×8。

编码矩阵模块对于归一化概率矩阵中的各个元素，分别取得到喷泉码编码对应的度分布矩阵d＝[di，j]5×8。

喷泉码编码器将度分布矩阵中的各度分布元素作为编码参数，对各个区域块分别进行独立编码；

数据封装模块将各区域块的位置信息以及根据度分布参数得到的该区域块的喷泉码编码数据，封装成一个数据传输单元，每帧图像共得到5*8个数据传输单元。

数据传输单元经过无线信道传输后，在接收端进行解码，解码接收模块先对接收的喷泉码编码内容进行解码，之后根据接收到的流媒体区域位置信息，在对应的区域位置进行流媒体内容的输出播放。