一种全景视频的多描述视频编码方法与流程

本发明涉及全景视频通信领域，尤其是一种全景视频的多描述视频编码方法。

背景技术：

高帧率、高分辨率的全景视频由于能为用户提供了更为真实的沉浸式体验，日益受到了用户的青睐；与此同时，全景视频通信的需求也在不断增加。全景视频通信为了给用户提供身临其境的感觉，对于传输的时延有很高的要求。与传统的视频通信相比，全景视频通信的比特率急剧增加；在接收端，由于视野的限制，用户在同一时刻只观察全景视频的部分内容，而不需要整个全景视频序列。在全景视频通信中，全景视频编码是决定系统性能的核心技术之一。

目前，已有的全景视频编码方法主要专注于提高压缩性能、降低编码复杂度等方面，并已经在这些方面取得了很大进展。然而，仍存在如下缺点：(1)已有的全景视频编码方案未考虑到视频传输的鲁棒性。在设计理念为尽力而为的网络(如互联网)或不可靠网络中，全景视频通信服务要求达到的带宽或时延无法得到有效的保证，特别是需要短时延、低丢包率的实时视频通信。视频信号的传输由于带宽有限和时延长可能导致严重的数据包丢失。而视频都进行了压缩，由于视频压缩通常采用运动预测和运动补偿，数据包丢失不但会对包内包含的部分视频信号的重建产生影响，这种影响还会进一步扩散到同一视频序列的其余部分，造成严重的视频重建质量下降。(2)使用已有的全景视频编码方案，在视频数据包发生严重丢失时，需要重新传送视频数据包。重新传送会给全景视频通信带来较大的时延。如果数据丢失是由于网络拥塞造成的，数据包重传会进一步加剧网络拥塞状况，造成更多的数据包丢失。

技术实现要素：

本发明所要解决的技术问题在于，提供一种全景视频的多描述视频编码方法，能够提高全景视频通信的鲁棒性。

为解决上述技术问题，本发明提供一种全景视频的多描述视频编码方法，包括如下步骤：

(1)按照接收端设备的视角大小，对全景视频划分为多个空域片段；

(2)选择包含用户感兴趣区域的空域片段并对之进行编码，进行片交织，生成相应的两个描述，两个描述各自独立地在网络中传输；

(3)在接收端，根据接收到单个描述或同时接收到两个描述的不同情况分别进行解码。

优选的，步骤(1)中，按照接收端设备的视角大小，对全景视频划分为多个空域片段，具体为：将接收端设备的视场大小记为fov，每个全景视频划分后的空域片段数目n可由以下公式进行计算：

以每个全景视频在水平方向上划分成五个空域片段，第一次空域划分将全景视频均匀划分成n个空域片段(t1,t2,...,tn)；第二次空域划分亦对全景视频进行均匀划分分成n个空域片段(t1',t2',...,tn')，与第一次空域划分相比，第二次空域划分的分割点错开了的位置。

优选的，步骤(2)中，选择包含用户感兴趣区域的空域片段并对之进行编码，进行片交织，生成相应的两个描述，两个描述各自独立地在网络中传输，具体为：片选择的过程如下：首先选择与用户当前视角v重叠最大的空域片段，记为ti；然后，在另一的空域片段集合选择与ti重叠的两个空域片段，即ti'和ti'modn+1，其中将空域片段划分成很小的片，以片为单位，对ti进行精细的hevc编码，以片为单位，对ti'和ti'modn+1进行相对较低质量的hevc编码；通过片交织生成两个独立的均衡的描述。

优选的，步骤(2)中，片交织的过程具体为：将ti中的奇数片与ti',ti'modn+1中的偶数片对应的码流结合在一起，生成描述1；将ti中的偶数片与ti',ti'modn+1中的奇数片对应的码流结合在一起，生成描述2，两个描述独立得在网络中进行传输。

优选的，步骤(3)中，接收端根据接收到单个描述或同时接收到两个描述的不同情况分别进行解码具体为：在解码端，如果只成功接收到单个描述，通过hevc解码器进行边路解码；在解码端，如果同时接收到两个描述，通过中心解码器进行解码。

优选的，若只收到描述1，对描述1依次进行hevc解码，恢复出ti中奇数片的所有图像块和ti',ti'modn+1中偶数片的图像块，重建出质量可以被接受的粗略的部分全景视频，提供一个质量可以被接受的粗略的重建视频信号；描述2的边路解码过程与描述1相同，通过hevc解码器解码获得质量可被接受的重建全景视频。

优选的，对描述1和描述2分别依次进行hevc解码，描述1中可恢复出奇数片的高质量图像块和偶数片的低质量图像块，描述2中可恢复出偶数片的高质量图像块和奇数片的低质量图像块，将描述1中含有的ti奇数片的低质量图像块和描述2中含有的ti偶数片的低质量图像块丢弃，将ti奇数片和偶数片的高质量图像块进行组合，可得到一个质量更佳的部分重建全景视频，同时解码恢复的相邻区域的粗略视频，使得未来的视角转换更为流畅。

本发明的有益效果为：本发明采用多描述技术对全景视频进行编码，使得在部分描述丢失的情况下用户需要的部分全景视频仍能被重建，而不要求丢失数据包的重传，它提供了鲁棒视频传输方案，既能满足实时的通信需求又能减轻网络拥塞。

附图说明

图1为本发明的视频编码通信系统的整体框图。

图2为本发明的编码方法的原理框图。

图3为本发明空域划分方法示意图。

具体实施方式

一种全景视频的多描述视频编码方法，包括如下步骤：

(1)按照接收端设备的视角大小，对全景视频划分为多个空域片段；

(2)选择包含用户感兴趣区域的空域片段并对之进行编码，进行片交织，生成相应的两个描述，两个描述各自独立地在网络中传输；

(3)在接收端，根据接收到单个描述或同时接收到两个描述的不同情况分别进行解码。

本发明全景视频多描述视频编码通信系统的整体框图如图1所示，在发送端，根据视场大小和视角信息对用户观察范围内的部分全景视频序列通过多描述编码器进行多描述编码产生两个独立的描述，每个描述独立地在网络传输，在接收端对接收到的描述进行解码得到重建视频信号，当接收端接收到单个描述时采用边路解码器进行解码重建，同时接收到两个描述时采用中心解码器进行解码重建，恢复出部分全景视频序列。

本发明提出的一种全景视频的多描述视频编码方法如图2所示，其包括如下步骤：

步骤一，按照接收端设备的视场大小，对全景视频进行两次空域划分为多个空域片段。

将接收端设备的视场大小记为fov，每个全景视频划分后的空域片段数目n可由以下公式进行计算：

以每个全景视频在水平方向上划分成五个空域片段(n＝5)为例，本发明空域划分方法的示意图如图3所示。第一次空域划分将全景视频均匀划分成n个空域片段(t1,t2,...,tn)；第二次空域划分亦对全景视频进行均匀划分分成n个空域片段(t1',t2',...,tn')，与第一次空域划分相比，第二次空域划分的分割点错开了的位置。

步骤二，根据用户的视角进行片选择，对包含用户感兴趣区域的空域片段分别进行编码，然后进行片交织生成相应的两个描述，两个描述各自独立地在网络中传输。

片选择的过程如下：首先选择与用户当前视角v重叠最大的空域片段，记为ti；然后，在另一的空域片段集合选择与ti重叠的两个空域片段，即ti'和ti'modn+1，其中

将空域片段划分成很小的片(tiles)，以片为单位，对ti进行精细的hevc编码，例如选用较小的量化步长，生成若干高质量片。以片为单位，对ti'和ti'modn+1进行相对较低质量的hevc编码，例如选用较大的量化步长，生成若干低质量片。

最后通过片交织生成两个独立的均衡的描述。片交织的过程如下：将ti中的奇数片与ti',ti'modn+1中的偶数片对应的码流结合在一起，生成描述1；将ti中的偶数片与ti',ti'modn+1中的奇数片对应的码流结合在一起，生成描述2。两个描述独立得在网络中进行传输。

在解码端，如果只成功接收到单个描述，通过hevc解码器进行边路解码。边路解码过程以只收到描述1为例，对描述1依次进行hevc解码，可恢复出ti中奇数片的所有图像块和ti',ti'modn+1中偶数片的图像块，这样便可重建出质量可以被接受的粗略的部分全景视频，提供一个质量可以被接受的粗略的重建视频信号；描述2的边路解码过程与描述1相同，通过hevc解码器解码获得质量可被接受的重建全景视频。

在解码端，如果同时接收到两个描述，通过中心解码器进行解码。中心解码过程如下：对描述1和描述2分别依次进行hevc解码，描述1中可恢复出奇数片的高质量图像块和偶数片的低质量图像块，描述2中可恢复出偶数片的高质量图像块和奇数片的低质量图像块，将描述1中含有的ti奇数片的低质量图像块和描述2中含有的ti偶数片的低质量图像块丢弃，将ti奇数片和偶数片的高质量图像块进行组合，可得到一个质量更佳的部分重建全景视频，同时解码恢复的相邻区域(即(ti'∪ti'modn+1)\ti)的粗略视频，这使得未来的视角转换更为流畅。

本发明方法在对全景视频序列进行编码前，先进行空域片划分，再进行片选择、hevc编码、片交织生成多个描述。与现有只生成一个码流的全景视频编码方案相比，采用多描述全景视频编码方案在不可靠网络中能取得更好的重建视频质量。由于每个描述都能独立得解码恢复出视频信号，在一个描述的数据包发生丢失时不需要对丢失数据包进行重传，可利用另外一个描述进行解码，这样既能满足实时的通信需求，与重传数据包的方案相比又能减轻网络拥塞。同时，边路解码和中心解码两种情况能提供不同质量的全景视频信号，给网络资源不同、需求不同的用户提供了一定的可伸缩性功能。

尽管本发明就优选实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。