专利名称：一种利用视觉特性的多视点视频编码系统的制作方法
技术领域：
本发明涉及多视点视频编解码技术领域，尤其涉及一种利用视觉特性的多视点视频编码系统。
背景技术：
多视点视频由多个摄像机从不同角度对物体进行拍摄而得，与单视点视频相比， 多视点视频的数据量随着视点数目的增加而急剧增加，因此如何对多视点视频进行高效的压缩已成为多视点视频应用的一项关键技术。现有的多视点视频编码仍是以数字信号处理理论和香农信息论为基础的基于预测和变换的混合编码，但是，基于预测和变换的混合编码要进一步提高编码效率，则需要以较大的复杂度为代价，难有大的提升空间。视频处理多数情况下，人眼是最终的接受体，但是，目前的视频编码方法中存在大量的视觉冗余数据被编码，是一种浪费。最小可察觉失真(Just Noticeable Distortion, JND)，也可称为恰可察觉失真，最小可察觉失真是指人类视觉系统(Human Visual System, HVS)存在的各种视觉屏蔽效应，人眼只能察觉到超过某一阈值，该阈值即为最小可察觉失真阈值，它能表征视频图像中的人类视觉冗余。利用最小可察觉失真阈值进行多视点视频编码，能在视频图像主观质量不变情况下降低码率，提高多视点视频编码效率。目前的JND模型主要是利用人眼的亮度自适应性特性、视觉掩盖效应、对比灵敏度函数(Contrast Sensitivity Function, CSF)以及平滑跟踪眼球移动效应(Smooth Pursuit Eye Movement, SPEM)等视觉特性。例如，文献[1] [2]提出了根据背景亮度掩盖效应，纹理掩盖效应和空间对比灵敏度函数建立的离散余弦变换(Discrete Cosine Transform，DCT)域的JND模型，由于该JND模型没有考虑时间特性，因此只适合应用于静态图像。文献[3]是针对文献[1]提出的一种改进的JND模型，该JND模型对文献[1] [2]提出的JND模型增加了时间对比灵敏度函数和物体的运动信息，但是，该模型仅仅是把物体运动的幅值考虑到最终的JND阈值中，却没有考虑物体运动的方向，物体运动是个矢量，两个有着相同幅值的矢量，他们的方向却可能是不同的，在二维空间频率上就会导致不同的时间效应，从而会产生不同的JND阈值，因此，JND模型不考虑物体运动的方向是不完整的。 文献[4]是针对文献[3]提出的一种改进的JND模型，该JND模型引入物体运动的方向，同时在考虑纹理掩盖效应时采用了块分类的方法，但是，文献[4]只是单纯的给出了 JND模型的理论计算方法，并没有将JND模型应用于视频编码和多视点视频编码的实际应用领域。多视点视频是一种新兴的多媒体技术，但是其庞大的数据量给多视点视频的处理、传输和存储带来很多不便，以至于多视点视频一直无法普及。因此，在保持多视点视频主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频的编码效率是多视点视频编码领域一个急需解决的问题。本发明专利申请首次提出将JND模型应用到多视点视频编码中的DCT域滤波和率失真优化模块，在保证多视点视频编码系统重建视频图像主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频的编码效率。
文献[1] X. Zhang, W. S. Lin, and P. Xue, "Improved estimation for just-notice-able visual distortion, 〃 Signal Process. , vol. 85, pp. 795-808， 2005。文献[2]: Zhenyu Wei and King N. Ngan, "Spatial Just Noticeable Distortion Profile for Image in DCT Domain,“ IEEE Int. Conf., Multimedia and Expo. , 2008。文献[3] : Y. Jia, W. Lin, and A. A. Kassim, "Estimating just-noticeable distortion for video,〃 IEEE Trans. Circuits Syst. Video Technol. , vol. 16，no. 7，pp. 820—829，Jul. 2006。文献[4] : Zhenyu Wei and King N. Ngan. , “Spatio-Temporal Just Noticeable Distortion Profile for Grey Scale Image/Video in DCT Domain. 〃 IEEE transactions on circuits and systems for video technology. VOL. 19, NO. 3, March 2009。
发明内容
本发明的目的是提供一种利用视觉特性的多视点视频编码系统，该系统在重建图像主观质量一定的情况下，能够降低多视点视频编码码率，提升多视点视频的压缩效率。为达到上述目的，本发明采用如下的技术方案
一种利用视觉特性的多视点视频编码系统，包括DCT域的最小可察觉失真阈值计算模块1、多视点视频编码模块2，其特征在于
上述DCT域的最小可察觉失真阈值计算模块1进一步包括 空间对比灵敏度函数子模块11，用于计算出空间对比灵敏度函数阈值； 背景亮度掩盖效应子模块12，用于计算出背景亮度掩盖效应调制因子； 纹理掩盖效应子模块13，用于计算出每个块的纹理掩盖效应调制因子； 时间对比灵敏度函数子模块14，用于计算出时间对比灵敏度函数调制因子； DCT域的最小可察觉失真阈值子模块15，用于计算上述DCT域的最小可察觉失真阈值， 将DCT域的最小可察觉失真阈值计算模块1中空间对比灵敏度函数阈值、背景亮度掩盖效应调制因子、纹理掩盖效应调制因子、时间对比灵敏度函数调制因子相乘，该乘积作为DCT 域的最小可察觉失真阈值；
上述多视点视频编码模块2，用于通过DCT域的最小可察觉失真阈值，对多视点视频图像进行视觉优化编码，该模块进一步包括
预测编码子模块21，用于对多视点视频视点内和视点间的视频序列进行视点内/视点间预测编码；
DCT编码子模块22，用于对通过预测编码部分的信号进行DCT编码； DCT域滤波子模块23，用于利用DCT域的最小可察觉失真阈值，对通过DCT编码部分的信号进行滤波，将小于等于最小可察觉失真阈值的DCT系数置为零；
量化和熵编码子模块对，用于对通过DCT域滤波部分的信号进行预订的量化和熵编
码；
重建视频序列子模块25，用于对通过量化和熵编码部分的信号进行反量化和反DCT编码，以重建视频序列；率失真优化子模块26，用于比较各种编码模式下的代价函数，选择最优的编码模式。本发明的一种利用视觉特性的多视点视频编码系统与已有技术相比具有如下有益效果
1)、该多视点视频编码系统在重建图像主观质量一定的情况下，通过建立DCT域的JND 模型，并将其应用到多视点视频编码框架中DCT域滤波和率失真优化模块，对于多视点视频编解码JMVC(Joint Multiview Video Coding)代码最大能将其降低22. 54%的码率开销；
2)、该多视点视频编码系统重建图像的主观质量保持不变，本发明采用对比手法进行主观测试，即主观上打出差别分，当主观分数接近O时，说明两种方法的主观质量越接近， 本发明的主观差别分数平均为0. 15，因此说本发明的主观质量与多视点视频编解码JMVC 代码的主观质量相当；
3)、复杂度低，本发明没有增加任何高复杂度的编码模块，其复杂度与多视点视频编解码JMVC代码的复杂度相当。
图1是本发明中的一种利用视觉特性的多视点视频编码系统的结构图。图2是本发明中的最小可察觉失真阈值模型的计算框图。图3是本发明提供的一种利用视觉特性的多视点视频编码系统框图。图4是视频序列hllroom第0个视点第12帧图像使用JMVC原始编码方法的重建图像。图5是视频序列killroom第0个视点第12帧图像使用本发明方法的重建图像。图6是视频序列hiIroom使用JMVC原始编码方法和本发明方法在不同QP和不同视点情况下，码率、PSNR值、重建视频主观质量评价分数差(DMOS)的对比结果。图7是视频序列racel第4个视点第42帧图像使用JMVC原始编码方法的重建图像。图8是视频序列racel第4个视点第42帧图像使用本发明方法的重建图像
图9是视频序列racel使用JMVC原始编码方法和本发明方法在不同QP和不同视点情况下，码率、PSNR值、重建视频主观质量评价分数差(DMOS)的对比结果。图10是视频序列Crowd第2个视点第46帧图像使用JMVC原始编码方法的重建图像。图11是视频序列Crowd第2个视点第46帧图像使用本发明方法的重建图像。图12是视频序列Crowd使用JMVC原始编码方法和本发明方法在不同QP和不同视点情况下，码率、PSNR值、重建视频主观质量评价分数差(DMOS)的对比结果。
具体实施例方式
以下结合附图对本发明的实施例作进一步的详细说明
本发明提供的一种利用视觉特性的多视点视频编码系统，具体采用如下技术方案，参见图1，包括以下组成部分
①DCT域的最小可察觉失真阈值计算模块1，该模块进一步包括空间对比灵敏度函数子模块11、背景亮度掩盖效应子模块12、纹理掩盖效应子模块13、时间对比灵敏度函数子模块14 ；计算DCT域的最小可察觉失真阈值的子模块15 ；
其中，空间对比灵敏度函数子模块11，用于计算出空间对比灵敏度函数阈值； 背景亮度掩盖效应子模块12，用于计算出背景亮度掩盖效应调制因子； 纹理掩盖效应子模块13，用于计算出纹理掩盖效应调制因子； 时间对比灵敏度函数子模块14，用于计算时间对比灵敏度函数效应调制因子； DCT域的最小可察觉失真阈值子模块15，用于计算DCT域的最小可察觉失真阈值，将 DCT域的最小可察觉失真阈值计算模块(1)中空间对比灵敏度函数阈值、背景亮度掩盖效应调制因子、纹理掩盖效应调制因子、时间对比灵敏度函数效应调制因子相乘，其乘积作为 DCT域的最小可察觉失真阈值；
②多视点视频编码模块2，该模块用于通过DCT域的最小可察觉失真阈值，对多视点视频图像进行视觉优化编码，该模块进一步包括预测编码子模块21、DCT编码子模块22、 DCT域滤波子模块23、量化和熵编码子模块M、重建视频序列子模块25、率失真优化子模块 26 ；
其中，预测编码子模块21，用于对多视点视频视点内部和视点之间的视频序列进行视点内/视点间预测编码；
DCT编码子模块22，用于对通过预测编码部分的信号进行DCT编码； DCT域滤波子模块23，用于利用DCT域的最小可察觉失真阈值，对通过DCT编码部分的信号进行滤波，将小于等于最小可察觉失真阈值的DCT系数置为零；
量化和熵编码子模块对，用于对通过DCT域滤波部分的信号进行预定的量化和熵编
码；
重建视频序列子模块25，用于对通过量化和熵编码部分的信号进行反量化和反DCT编码以重建多视点视频图像；
率失真优化子模块26，用于比较各种编码模式下的代价函数，选择最优的编码模式； 利用DCT域的最小可察觉失真阈值，修改代价函数中的失真部分；首先，将失真信号进行 DCT编码；然后，利用DCT域的最小可察觉失真阈值对DCT编码后的失真信号进行滤波，将小于或者等于最小可察觉失真阈值的信号置为零；最后，对滤波后的失真信号进行反DCT 编码，得到新的失真信号，并参与率失真优化；
本多视点视频编码系统输入端输入原始序列3，输入端输出编码后的多视点视频流4。下面进一步详细描述本发明所示系统的子模块的具体实施过程 1)最小可察觉失真阈值计算模块
如图2所示，最小可察觉失真阈值分为空间对比灵敏度函数子模块、背景亮度掩盖效应子模块、纹理掩盖效应子模块、时间对比灵敏度函数子模块。(1)空间对比灵敏度函数子模块
空域对比灵敏度阈值？^办人力由和叠加因子s的乘积得到，其中5为常数， 取 0. 25。
7^k(OJ) = 5 χ 冷人·/)T(n,i,j)由下式计算得到
权利要求
1. 一种利用视觉特性的多视点视频编码系统，其特征在于，包括DCT域的最小可察觉失真阈值计算模块(1)、多视点视频编码模块0)，上述DCT域的最小可察觉失真阈值计算模块(1)进一步包括 空间对比灵敏度函数子模块(11)，用于计算出空间对比灵敏度函数阈值； 背景亮度掩盖效应子模块(12)，用于计算出背景亮度掩盖效应调制因子； 纹理掩盖效应子模块(13)，用于计算出每个块的纹理掩盖效应调制因子； 时间对比灵敏度函数子模块(14)，用于计算出时间对比灵敏度函数调制因子； DCT域的最小可察觉失真阈值子模块(1 ，用于计算上述DCT域的最小可察觉失真阈值，将DCT域的最小可察觉失真阈值计算模块(1)中空间对比灵敏度函数阈值、背景亮度掩盖效应调制因子、纹理掩盖效应调制因子、时间对比灵敏度函数调制因子相乘，该乘积作为 DCT域的最小可察觉失真阈值；上述多视点视频编码模块(2)，用于通过DCT域的最小可察觉失真阈值，对多视点视频图像进行视觉优化编码，该模块进一步包括预测编码子模块01)，用于对多视点视频视点内和视点间的视频序列进行视点内/视点间预测编码；DCT编码子模块(22)，用于对经过预测编码部分的信号进行DCT编码； DCT域滤波子模块，用于利用DCT域的最小可察觉失真阈值，对通过DCT编码部分的信号进行滤波，将小于等于最小可察觉失真阈值的DCT系数置为零；量化和熵编码子模块(M)，用于对通过DCT域滤波部分的信号进行预定的量化和熵编码；重建视频序列子模块(25)，用于对通过量化部分的信号进行反量化和反DCT编码以重建视频序列；率失真优化子模块(26)，用于比较各种编码模式下的代价函数，选择最优的编码模式。
全文摘要
本发明涉及多视点视频编解码技术领域，尤其涉及一种利用视觉特性的多视点视频编码系统。本发明包括DCT域的最小可察觉失真阈值计算模块、多视点视频编码模块，其中，DCT域的最小可察觉失真阈值计算模块包括空间对比灵敏度函数子模块、背景亮度掩盖效应子模块、纹理掩盖效应子模块、时间对比灵敏度函数子模块，多视点视频编码模块包括预测编码子模块、DCT编码子模块、DCT域滤波子模块、量化和熵编码子模块、视频序列重建子模块、率失真优化子模块，本发明通过建立DCT域的JND模型，并将其运用到多视点视频编码中的DCT域滤波和率失真优化模块。本发明能够在主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频编码效率。
文档编号H04N13/00GK102420988SQ20111039425
公开日2012年4月18日 申请日期2011年12月2日 优先权日2011年12月2日
发明者刘静, 宋允东, 张兆杨, 梁亮, 武翠芳, 王永芳 申请人:上海大学