一种基于人类视觉系统的多描述视频编码方法
【专利摘要】本发明提供了一种基于人类视觉系统的多描述视频编码方法，其过程包括：首先读入一视频序列，对其进行奇偶帧分离，得到主信息奇数帧子序列X1和偶数帧子序列X2；根据JND错误预测机制分别得到重建出来的偶数帧序列和奇数帧序列经过编码模式选择模块处理后得到奇数帧一路的冗余信息Y2和偶数帧一路的冗余信息Y1；将主信息X1，X2和冗余信息Y1，Y2分别通过标准编码器和冗余信息编码器进行编码；编码后，X1和Y2形成描述1，X2和Y1形成描述2，通过不同信道传输到解码端进行解码。
【专利说明】一种基于人类视觉系统的多描述视频编码方法
【技术领域】
[0001]本发明涉及数字视频处理【技术领域】，具体涉及一种基于人类视觉系统的多描述视频编码方法。
【背景技术】
[0002]近年来随着因特网的爆炸式发展，视频传输应用越来越广泛。然而，网络拥塞、随机比特错误和数据包丢失将导致视频压缩数据质量严重下降，这就给视频传输带来了极大挑战。因此，需要开发一种视频编解码方案，它不仅要有高压缩效率还要保证视频传输的鲁棒性。
[0003]多描述编码作为一种能在易错信道上提高传输鲁棒性的技术，吸引了越来越多的学者研究。可以假设在信源和信宿之间存在着很多信道，不可能所有信道同时在一个视频帧出错，多描述编码是在这个假设的基础上提出来的。在编码端信源产生多个比特流(称之为描述)，每个比特流具有同样的优先级，在多个相互独立的信道上进行传输。在解码端，每一个描述都能被独立解码，重建用户可接受质量的视频序列；随着接收到描述数量的增加，重建视频序列质量也随之提高。
[0004]多描述视频编码的基本思想是如何利用描述的冗余信息来提高传输的鲁棒性。因此，在多描述视频编码中需要一些必要的冗余，尽管这样会降低压缩效率。在过去几年里，设计一个多描述编解码方法的主要目标是在传输比特率和重建质量之间折衷。经典多描述编码方法是利用变换和量化。根据多描述标量量化原则，设计了不同的多描述视频编码方法。多描述相关性变换被用来设计运动补偿多描述视频编码。有文献提出了X树非平衡保护多描述编码方法。尽管上述方法取得了较好的实验结果，但是这些方法不能兼容广泛应用的标准编解码器，如H.26x和MPEG系列。为了解决这个问题，国外文献中多描述视频编码通过应用H.264/AVC标准中先进的视频编码工具来引入描述间的冗余信息。此外，很多方法都是针对于某一种确定的标准编解码器而提出的，如H.264/AVC。为了提高性能，针对
H.264/AVC采用了片级和宏块级的多描述视频编码方法。根据多描述采样原则，有文献提出了基于交织抽取与分块压缩感知策略的图像多描述编码方法，但是压缩效率不是很高。有文献提出了一种适用于丢包信道的小波编码图像传输方法，利用分层多描述编码来提高信源编码的容错性能，但它依赖于信源编码的结构。还有文献提出的方法只针对特定图像。上述方法都取得很好的效果，但是都没有考虑到人类视觉系统的特性，忽略了无论图像还是视频，最终的接收者都是人类视觉系统。
【发明内容】
[0005]本发明的目的在于针对上述技术中存在的问题，提供一种基于人类视觉系统的多描述视频编码方法。为每个描述分配必要的冗余信息，避免可能产生的视觉失真，设计了不同的编码模式来生成冗余信息并用JND (Just Noticeable Distortion)调整残差信息,实现丢失视频帧的高质量恢复。[0006]为了实现上述目的，本发明采用的技术方案为:
[0007]—种基于人类视觉系统的多描述视频编码方法，其过程包括:
[0008](I)首先读入一视频序列，对其进行奇偶帧分离，得到主信息奇数帧子序列X1和偶数帧子序列X2 ；
[0009](2)根据JND错误预测机制分别得到重建出来的偶数帧序列文:和奇数帧序列尤，
[0010](3)经过编码模式选择模块处理后得到奇数帧一路的冗余信息Y2和偶数帧一路的冗余信息Y1 ；
[0011](4)将主信息XpX2和冗余信息YpY2分别通过标准编码器和冗余信息编码器进行编码；
[0012](5)编码后，X1和Y2形成描述1，X2和Y1形成描述2，通过不同信道传输到解码端进行解码。
[0013]其中，所述JND错误预测机制的重建过程为:
[0014]在编码端，对于奇数帧构成的视频子序列，首先用奇数帧视频序列通过帧内插方式重建出偶数帧视频序列，如图2所示，然后对重建出来的偶数帧进行分块，取块大小为a X b，结合真实的偶数帧和JND信息，求出每一块中变化范围超过JND值的像素所占的比例T ；
[0015]对于偶数帧视频子序列，用偶数帧序列通过帧内插方式重建出奇数帧序列，然后对重建出来的奇数帧进行分块，取块大小为aXb，结合真实的奇数帧和JND信息，求出每一块中变化范围超过JND值的像素 所占的比例T。
[0016]JND(Just Noticeable Distortion)即刚能觉察到的失真,对于视频图像来说,它表示人眼不能觉察到的最大的图像失真。JND揭示了人眼对图像中某个点的像素值改变的容忍度阈值。心理学实验表明，由于HVS (Human Vision System)对时间和空间频率的敏感性和掩藏特性，人眼很难感觉到低于JND阈值的变化。这里的JND指的是时空域的JND。
[0017]其中，所述JND信息包括空域JND信息和时空域JND信息，JND信息的获取过程也包括这两方面信息的获取。
[0018]空域JND的获取
[0019]空域JND主要由两部分决定，即背景亮度自适应和纹理掩藏效应。HVS对亮度对比度的敏感性远高于对绝对亮度值的敏感性。由于纹理区域的非均一性,导致了纹理区域比平坦区域可以隐藏更多信号失真。在任何视频序列当中，这两种特性都是共同作用的。
[0020]JNDs (X，y) = T1 (x, y) +Tt (x, y) -Clt X min (T1 (x, y)，Tt (x, y)}<>[0021]其中，I\(X，y)和Tt(x，y)分别表示背景亮度自适应和纹理掩藏的效果；Clt用来调整两个因素之间的叠加程度，O < Clt < 1，在本发明中取Clt=0.3。
[0022]
【权利要求】
1.一种基于人类视觉系统的多描述视频编码方法，其特征在于，过程包括: (1)首先读入一视频序列，对其进行奇偶帧分离，得到主信息奇数帧子序列X1和偶数帧子序列X2 ； (2)根据JND错误预测机制分别得到重建出来的偶数帧序列;T和奇数帧序列;T (3)经过编码模式选择模块处理后得到奇数帧一路的冗余信息Y2和偶数帧一路的冗余信息Y1 ; (4)将主信息X1,X2和冗余信息Y1, Y2分别通过标准编码器和冗余信息编码器进行编码； (5)编码后，X1和Y2形成描述1，X2和Y1形成描述2，通过不同信道传输到解码端进行解码。
2.如权利要求1所述的多描述视频编码方法，其特征在于，所述JND错误预测机制的重建过程为: 在编码端，对于奇数帧构成的视频子序列，首先用奇数帧视频序列通过帧内插方式重建出偶数帧视频序列，然后对重建出来的偶数帧进行分块，取块大小为aXb，结合真实的偶数帧和JND信息，求出每一块中变化范围超过JND值的像素所占的比例T ； 对于偶数帧视频子序列，用偶数帧序列通过帧内插方式重建出奇数帧序列，然后对重建出来的奇数帧进行分块，取块大小为aXb，结合真实的奇数帧和JND信息，求出每一块中变化范围超过JND值的像素所占的比例T。
3.如权利要求2所述的多描述视频编码方法，其特征在于:所述JND信息包括空域JND信息和时空域JND信息，JND信息的获取过程也包括这两方面信息的获取。
4.如权利要求3所述的多描述视频编码方法，其特征在于:空域JND主要由两部分决定，即背景亮度自适应和纹理掩藏效应，HVS对亮度对比度的敏感性远高于对绝对亮度值的敏感性，由于纹理区域的非均一性，导致了纹理区域比平坦区域可以隐藏更多信号失真，在任何视频序列当中，这两种特性都是共同作用的；
JNDs (X，y) = T1 (X，y) +Tt (x, y) -Clt X min (T1 (x, y)，Tt (x, y)} 其中，!\(X，y)和Tt(x，y)分别表示背景亮度自适应和纹理掩藏的效果；Clt用来调整两个因素之间的叠加程度，O < Clt < 1，在本发明中取Ch=0.3;
5.如权利要求3所述的多描述视频编码方法，其特征在于:时空域的JND模型表示为 JND(x, y, t) = f(ild(x, y, t)).JNDs(x, y) 式中ild(x，y, t)代表了第t帧和第t-Ι帧之间的像素值差异， 1--
Hd(wyj) = —(f(x,yj)-/(\\ / -1) + /(x, ν,/) -/(x, ν,/-1)) 函数f (X)为一个经验函数。
6.如权利要求1所述的多描述视频编码方法，其特征在于:所述编码模式选择包括: 奇数帧一路时，根据JND错误预测机制重建的模块中所得比例T，设置阈值T1，若重建块中像素变化超过JND值的像素所占的比例T < T1，该模式定义为Model ;若重建块中像素变化超过JND值的像素所占的比例T ^ T1，该模式定义为Mode2，此时对重建块进行补偿；若重建块在经过Mode2中的补偿之后其像素变化超过JND值的像素所占的比例还是T ≥ T1,该模式定义为Mode3 ； (1)Model时，重建块中像素变化超过JND值的像素所占的比例T< T1，不需要任何冗余信息只依靠主信息的重建质量就能达到满意效果，采用灵活的Skip模式，降低了码率； (2)Mode2时，重建块中像素变化超过JND值的像素所占的比例T≥T1,重建块需要一部分冗余信息来提高块的重建质量，把运动矢量MV作为冗余信息传送到解码端，过程如下:用I(t)的当前块通过运动估计在I (t-1)中寻找差异最小块，记录其运动矢量MV; (3)Mode3时，经过Mode2中运动矢量的补偿后重建块中像素变化超过JND值的像素所占的比例T≥T1，块的重建质量很差，需要传送Mode2中的运动矢量MV，还需要传送残差信息，运动矢量MV的获取过程同Mode2，找到运动矢量MV后，用当前块减去I (t-Ι)中差异最小块得到另一部分冗余信息，即残差数据； 由于运动矢量要无失真地传输到解码端，所以直接对运动矢量信息进行算术编码，而对于残差数据，首先用JND信息进行调整，即残差大于对应的JND值时保持不变，小于对应的JND值时直接置0，这样残差的熵就变小了，然后再进行DCT变换，量化取整，而后进行算术编码，传送到解码端进行解码。
7.如权利要求6所述的多描述视频编码方法，其特征在于:所述编码模式中的参数阈值T1的选择直接和冗余信息多少相关，T1大致和冗余信息多少呈反比关系，即T1取值太小，冗余信息就会很多J1取值太大，冗余信息就会很少，对视频序列的重建质量提高不明显，根据信道带宽的大小或者用户要求的视频的主观重建质量确定冗余多少，进而确定阈值V
8.如权利要求1所述的多描述视频编码方法，其特征在于:采用Peak SignalPerceptual Noise Ratio,即PSPNR作为评价标准，由于所述PSPNR只考虑失真超过JND阈值的情况，能更好的的反应人眼对重建视频的评价:
【文档编号】H04N7/66GK103501441SQ201310413810
【公开日】2014年1月8日 申请日期:2013年9月11日 优先权日:2013年9月11日
【发明者】白慧慧, 周文帅, 刘美琴, 林春雨, 赵耀 申请人:北京交通大学长三角研究院