专利名称：一种基于恰可察觉失真的宏块模式快速选择方法
技术领域：
本发明涉及ー种图像处理技术，尤其是涉及一种基于恰可察觉失真的宏块模式快速选择方法。
背景技术：
随着三维电视(3Dtelevision, 3DTV)和自由视点电视(Free-viewpointtelevision, FTV)等多媒体技术的快速发展，使用多个视点进行立体视频的场景描述的需求日益増加。三维立体视频能够提供更真实的感受和新颖的视觉享受，但需要多个摄像机同时从不同的位置或角度采集、编码、传输、解码、传输、显示等过程才能呈现出真正的3D世界的内容。然而，由于数据量与视频序列视点的数量成正比，因此三维立体视频需要巨大的存储空间、较宽的传输频带和较高的计算能力。多视点视频编码中的多视点视频信号具有很强的相关性，这些相关性主要集中在同一时刻的不同视点之间和同一视点的不同时间域。为了消除多视点视频信号时间上的冗余和视点间的空间冗余，以使多视点视频编码达到高效压缩的目的，通常采用联合多视点视频模型(Joint Multiview VideoModel, JMVM )编码平台，JMVM编码平台采用分层B巾贞(Hierarchical B Pictures, HBP)编码预测结构。在HBP编码预测结构中，多视点视频编码结合了运动估计和视差估计预测技木，使得编码压缩效率明显提高，但同时显著增加了编码的复杂性。因此，多视点视频进入实际应用系统之前，高压缩效率和低复杂度的多视点视频编码(Multiview video encoding, MVC)方法的发展是必要的。目前，国内外很多研究者致カ于宏块模式快速选择方法,而传统的宏块模式快速选择方法一般不能直接应用于多视点视频编码的HBP编码预测结构中，或者只能降低多视点视频中某些视点的编码复杂度。除此之外，因为人眼是视频的最終接受者，而传统的宏块模式快速选择方法并没有充分考虑人眼视觉系统(Human visual system, HVS)的特点，因此不能充分利用人眼的感知冗余提高编码的效率。所以在多视点视频编码中需结合人眼视觉系统的特点，例如人眼受到双目融合与抑制效应会增强或抑制甚至屏蔽某些信号的失真，从而使人眼并不能察觉到图像或者视频的所有失真。因此，如何充分利用人眼的视觉特性，在保证立体图像主观感知质量不变的前提下，直接或间接地用于改善视频信息的处理，已成为视频编码技术中ー个重要课题。一般来说，恰可察觉失真(Just noticeabledistortion, JND)模型的建立主要考虑HVS的感知特点，根据人眼掩蔽效应，人眼并不能在小于JND值的范围内感觉到任何的变化。所以，合适的JND模型将有利于视频编码方法性能的提高，在保持主观感知质量不变的情况下，降低多视点视频编码的复杂度。
发明内容
本发明所要解决的技术问题是提供ー种在保证立体图像主观感知质量不变的前提下，能够有效缩短编码时间、降低编码复杂度的基于恰可察觉失真的宏块模式快速选择方法。
本发明解决上述技术问题所采用的技术方案为一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于它的处理过程为首先，获取待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像；然后，将待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像分割成多个互不重叠的且尺寸大小为16X16的图像块；接着，计算待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值；最后，根据待处理的彩色视频序列中的每幅彩色图像的帧类型为每幅彩色图像中的每个宏块选择最优宏块编码模式，当彩色图像为HBP编码预测结构中的I帧或P帧时，按照JMVC编码方法为彩色图像中的每个宏块选择各自对应的最优宏块编码模式，当彩色图像为HBP编码预测结构中的B帧时，根据待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，确定彩色图像中的每个宏块的最优宏块编码模式。本发明方法具体包括以下步骤①将待处理的彩色视频序列记为{C(W，H，k)}，其中，W表示{C(ff, H, k)}中的彩色图像的水平分辨率，H表示{C(W，H，k)}中的彩色图像的竖直分辨率，C(W，H，k)表示{C(ff, H, k)}中的第k幅彩色图像，I彡k彡K，k的初始值为1，K表示{C(ff, H, k)}中包含的彩色图像的幅数；②获取{C(W，H，k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像，将{C(W，H，k)}中的第k幅彩色图像C(W，H，k)对应的时空域的恰可察觉失真图像记为STjnd(ff, H, k);然后将{C(W，H，k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像分
割成一个互不重叠的且尺寸大小为16X 16的图像块,将STjnd (W，H，k)中坐标位置为
(i, j)的图像块记为yri 其中,
权利要求
1.一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于它的处理过程为首先，获取待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像；然后，将待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像分割成多个互不重叠的且尺寸大小为16X16的图像块；接着，计算待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值；最后，根据待处理的彩色视频序列中的每幅彩色图像的帧类型为每幅彩色图像中的每个宏块选择最优宏块编码模式，当彩色图像为HBP编码预测结构中的I帧或P帧时，按照JMVC编码方法为彩色图像中的每个宏块选择各自对应的最优宏块编码模式，当彩色图像为HBP编码预测结构中的B帧时，根据待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，确定彩色图像中的每个宏块的最优宏块编码模式。
2.根据权利要求1所述的一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于它具体包括以下步骤 ①将待处理的彩色视频序列记为{C(W，H，k)}，其中，W表示{C (W，H，k)}中的彩色图像的水平分辨率，H表示{C (W，H，k)}中的彩色图像的竖直分辨率，C (W，H，k)表示{C (W，H，k)}中的第k幅彩色图像，I≤k≤K，k的初始值为1，K表示{C(W，H，k)}中包含的彩色图像的幅数； ②获取{C(W，H，k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像，将{C (W，H，k)}中的第k幅彩色图像C (W，H，k)对应的时空域的恰可察觉失真图像记为STjnd(ff, H, k);然后将{C(W，H，k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像分 W H割成&XT7个互不重叠的且尺寸大小为16X16的图像块，将STjm(Wjj)中坐标位置为 (i，j)的图像块记为、其中，
3.根据权利要求2所述的一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于所述的步骤②中获取{C(W，H，k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像的具体过程为 ②-1、计算{C(W，H，k)}中的每幅彩色图像中的每个像素点的空域的恰可察觉失真值，得到{C(W，H，k)}中的每幅彩色图像对应的空域的恰可察觉失真图像，将{C(W，H，k)}中的第k幅彩色图像C (W，H，k)对应的空域的恰可察觉失真图像记为Sjnd (W，H，k)； ②-2、计算{C(W，H，k)}中的每幅彩色图像中的每个像素点的时域的恰可察觉失真值，得到{C(W，H，k)}中的每幅彩色图像对应的时域的恰可察觉失真图像，将{C(W，H，k)}中的第k幅彩色图像C (W，H，k)对应的时域的恰可察觉失真图像记为Tjnd (W，H，k)； ②-3、根据{C(W，H，k)}中的每幅彩色图像对应的空域的恰可察觉失真图像和时域的恰可察觉失真图像，获得{C(W，H，k)}中的每幅彩色图像对应的时空域的恰可察觉失真图像，将{C(W，H，k)}中的第k幅彩色图像C(W，H，k)对应的时空域的恰可察觉失真图像记为STtnd(W，H，k),将STtnd (W，H，k)中坐标位置为(x, y)的像素点的恰可察觉失真值记为I厕'(X，y)，其中，I≤X≤W，I≤y≤H。
4.根据权利要求2或3所述的一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于所述的步骤⑥中的宏块模式选择阈值T的确定过程为 ⑥-1、采用HBP编码预测结构使用JMVC编码方法对一个彩色视频序列中的每幅彩色图像进行编码； ⑥_2、按照步骤①至步骤②的操作过程，获取该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值； ⑥-3、按照JMVC编码方法为该彩色视频序列中的每幅彩色图像中的每个尺寸大小为·16 X 16宏块选择各自对应的最优宏块编码模式； ⑥-4、统计该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与该彩色视频序列中的每幅彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系，得到该彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值与该彩色视频序列中的每幅彩色图像中坐标位置对应的宏块的最优宏块编码模式的对应关系图； ⑥_5、按照步骤⑥-1至步骤⑥-4的操作过程，获取N个彩色视频序列相应的对应关系图，分析N个彩色视频序列相应的对应关系图，根据N幅对应关系图的统计规律,确定宏块模式选择阈值T的具体值，其中，N ^ I。
5.根据权利要求4所述的一种基于恰可察觉失真的宏块模式快速选择方法，其特征在于所述的宏块模式选择阈值T的具体值为9。
全文摘要
本发明公开了一种基于恰可察觉失真的宏块模式快速选择方法，其通过获取待处理的彩色视频序列中的每幅彩色图像对应的时空域的恰可察觉失真图像，然后计算时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，再根据时空域的恰可察觉失真图像中的每个图像块的恰可察觉失真值，确定B帧彩色图像中的每个宏块的最优宏块编码模式，这种宏块编码模式的选择方法使得在保证彩色视频视觉感知质量的前提下，能够有效节约彩色视频的编码时间，节省的编码时间平均可达到72.7%，大大降低彩色视频的编码复杂度。
文档编号H04N7/26GK103024381SQ201210536759
公开日2013年4月3日 申请日期2012年12月10日 优先权日2012年12月10日
发明者郁梅, 刘星宇, 蒋刚毅, 彭宗举, 邵枫 申请人:宁波大学