有损压缩编码数据方法和设备以及相应的重构数据方法和设备的制作方法
【专利摘要】本发明提出了修改量化系数以信号表示后处理方法。因此，提出了一种用于有损压缩编码数据的方法，所述数据至少包括图像数据和音频数据的一种。所述方法包括使用所述数据的预测的离散余弦变换的残差的量化来确定量化系数。所述方法进一步包括修改所述量化系数以最小化速率-失真成本，其中，使用数据的后处理的重构来确定所述失真，后处理的重构是根据后处理方法进行后处理的，并压缩编码所述修改的系数。在所述所提出的方法中，所述后处理方法是n>l个不同的预定后处理方法候选之一，其在后处理方法候选的排列的预定顺序中的位置等于修改的系数的和除以n的余数。这样做免除了比特流中标志的开销。
【专利说明】有损压缩编码数据方法和设备以及相应的重构数据方法和设备
【技术领域】
[0001]本发明是在包括图像数据和音频数据中的至少一种的有损压缩编码数据领域作出的。
【背景技术】
[0002]有损压缩编码试图使用尽可能少的比特来表示例如音频或视频数据的数据，同时设法从有损压缩编码的表示中尽可能好地重构数据。
[0003]为了实现这一目标，通常定义速率-失真成本函数。最小化这个函数则允许在比特率方面的编码成本和在重构数据相对于原始数据的失真方面的信息丢失之间传送最佳权衡的有损压缩方案。
[0004]重构数据可以包括后处理。也就是说，首先，使用包含在压缩编码数据中的信息生成该数据的初步重构。然后，应用后处理方法以重新获得通过有损压缩从原始数据中移除的信息部分。
[0005]它的一个示例是在有损压缩的过程中从图像数据中移除胶片颗粒噪声(filmgrain noise)和随后向从有损压缩编码的图像数据获得的初步重构添加模拟的胶片颗粒噪声。
[0006]失真的另一示例性来源是量化。为了压缩视频或音频数据，通常使用已编码的数据来预测数据。残差剩余形式预测是使用例如离散余弦变换或小波变换的从空间和/或时间域到频率域的变换。然后对由此产生的系数进行量化。最后，使用例如霍夫曼编码或算术编码将量化系数压缩编码。
[0007]量化可以是非线性的，使得系数被稀释或稀疏，S卩，只保留频率信息的一个子集。这与和修改相结合的线性量化类似或相同。E.Candes>J.Romberg和T.Tao在关于信息理论的 IEEE 期刊 2006 年 2 月第 52 卷第 489 - 509 页的《Robust uncertainty principles: Exactsignal reconstruction from highly incomplete frequency information))中理论上证明了，不论以何种方式，可以使用适当的后处理从这样的子集精确地重构图像。
[0008]Y.Zhang,S.Me1、Q.Chen 和 Z.Chen 在 IEEE ICASSP 学报 2008 年 4 月第 1361-1364页的((A novel image/video coding method based on compressed sensing theory))中提出了一种通过采用变换系数的二次抽样和基于残差域中对初步块重构的后处理的总偏差(TV)最小化的图像/视频编码方法。
[0009]M.R.Dadkhah,S.Shirani,M.J.Deen 在 IEEE ICASSP 学报 2010 年 3 月 14-19 日第1030-1033 页的〈〈Compressive sensing with modified total variation minimizationalgorithm))中提到利用范数-1后处理用于图像重构。
[0010]基于总偏差最小化的后处理的另一应用示例可以在T.T.Do,X.Lu、J.Sole在ICIP学报2010年9月 26-29 日第3377-3380页的《Compressive sensing wi th adaptive pixeldomain reconstruction for block-based video coding》中找到。其中，提出了一种视频编码器，其在采用自适应全偏差最小化块恢复的新的编码模式和现有的H.264模式之间进行选择。采用表示为CS-标志的附加标志来标记所选择的编码模式。解码器读取该CS标志并且然后执行对应于CS模式或正常模式的适当的重构算法。
【发明内容】
[0011]当前发明的发明人发现这样的问题，即无论是否执行像是总偏差(TV)正则化的后处理，标志的传输都会导致比特流中显著的开销，尤其是对于低比特率压缩。这个问题在可以使用若干后处理方法并且因此必须以信号表示的情况下甚至会加剧。
[0012]发明人意识到，可以使用量化系数的修改来信号表示后处理方法。
[0013]因此，根据权利要求1提出了一种用于有损压缩编码数据的方法，所述数据包括图像数据和音频数据中的至少一种。所述方法包括使用所述数据的预测的离散余弦变换的残差的量化来确定量化系数。所述方法进一步包括:修改所述量化系数以最小化速率-失真成本，其中，使用数据的后处理的重构来确定所述失真，后处理的重构是根据后处理方法进行后处理的，以及压缩编码所述修改的系数。在上述提出的方法中，所述后处理方法是n>l个不同的预定后处理方法候选之一，其在后处理方法候选的排列的预定顺序中的位置等于修改后的系数的和除以n的余数。
[0014]这样做免除了比特流中标志的开销。
[0015]在一个实施例中，使用相应地适配的处理部件来执行这些步骤。
[0016]本发明人还提出了非临时性部件，其至少部分专用于压缩编码数据的存储和传输中的至少一种，所述数据包含图像数据和音频数据中的至少一种，根据所述提出的用于有损压缩编码的方法来压缩编码数据。
[0017]根据权利要求7的用于重构包含图像数据和音频数据中的至少一种的数据的相应方法包括:压缩解码系数、使用处理部件来使用压缩解码的系数确定数据的初步重构，以及通过使用n>l个不同的预定后处理方法候选之一来后处理所述初步重构以确定数据的重构，所述n>l个不同的预定后处理方法候选之一在后处理方法候选的排列的顺序中的位置等于压缩解码后的系数的和除以n的余数。
[0018]此外，提出了根据权利要求12和13的相应的设备。
[0019]在从属权利要求中指定进一步有利实施例的特征。
【专利附图】
【附图说明】
[0020]本发明的示例性实施例在附图中示出并且在随后的说明中进行了更详细的解释。解释示例性实施例仅为了阐明本发明，而不是限制本发明的公开或仅由权利要求限定的范围。
[0021]附图中:
[0022]图1描绘了根据本发明的编码过程的示例性流程图；
[0023]图2描述了在比特流中在后处理上嵌入隐蔽信息的示例性流程图；以及
[0024]图3描绘了根据本发明的解码过程的示例性流程图。
【具体实施方式】[0025]可以在包含相应地适配的处理设备的任何电子设备上实现本发明。例如，本发明可以实现在电视、移动电话、个人计算机、数字静态相机、数码摄像机、mp3播放器、导航系统或汽车音频系统中。
[0026]在一个示例性实施例中，本发明被用于编码由图像像素构成的图像。在所述实施例中，确定要被编码的图像像素块和所述块的预测之间的残差。使用已编码的图像像素确定所述预测。其次，在所述残差上应用从空间域到频域的变换，诸如离散余弦变换。由根据扫描顺序的量化和扫描从所述变换的结果生成量化系数的序列，在所述扫描顺序中，首先发生量化还是扫描是不重要的。
[0027]在量化系数中，为了进行进一步的修改，选择那些对于人类视觉系统具有减少的关联性的系数，例如，与和人类感知灵敏度相关联的阈值之上的频率相关联的系数。这保证了随后的修改不会导致对用户的极端显著的失真。
[0028]然后，在所选择的系数中，确定正值的且不超过正阈值的那些系数和进一步被包含在至少正数个零值系数的连续子序列中的那些系数，即，每个所确定的系数是相应的子序列中的唯一非零值系数。
[0029]所有所确定的系数可以被设置为零，这导致不显著影响图像质量的压缩。或者，可以使用速率-失真成本优化以在所确定的系数中识别那些系数并将其设置为零，所述系数当被设置为零时，导致速率-失真成本的改善。
[0030]这样做提供了 一种基于视频编码方案的自适应压缩感知，其自适应选择在表示视频帧中最有效率的系数。
[0031]速率-失真成本优化可以考虑一种或多种类似总偏差正则化的后处理方法，总偏差正则化也被称为总偏差最小化，或I1最小化(也被称为范数-1最小化)，所述一种或多种后处理方法以这样一种顺序(即，每个后处理具有相关联的序号)与代表没有后处理的虚设后处理方法(dummy post-processing method) 一同排列。
[0032]因此，在一个实施例中，确定后处理是否改善了恢复的图象的质量以及确定最大地改善质量的后处理。
[0033]然后，可以对确定的系数做出修改使得包括修改的系数的所有系数的和除以n的余数等于最适合用于最小化失真的后处理方法的序号。为了更容易地实现这种相等，甚至可以修改与低于或在感知阈值处的频率相关联的系数。进一步地或作为替代地，可以以迭代的方式实现这种相等，即，确定初步合适的后处理，然后修改系数以实现所述相等，响应于此，验证初步确定的后处理仍然是合适的，或者确定触发进一步的修改的新的初步合适的后处理。
[0034]实践中，人们发现，在验证第一初步确定的后处理失败的极少数情况下单次迭代是足够的。
[0035]最后，与允许解码器确定所述预测的信息一起编码所得到的系数。
[0036]这样做使得能够在比特流中进行信号表示，所述比特流包含使用图像像素块的预测的离散余弦变换的残差的量化所确定的压缩编码的量化系数，后处理方法是n>l个不同的、排序的和预定的后处理方法候选之一，其在当被用于利用所述编码系数和所述预测来重构所述块时最小化失真。
[0037]也就是说，在隐蔽通信信道发送信息，无论和/或哪个后处理最好地改善图像恢复。
[0038]变化的量化参数可用于量化。在这种情况下,正阈值和每个子序列中的最小正数个零值系数中的至少一个也可以依赖于所述量化参数变化。
[0039]为了重构以这样的方式编码的图像像素块，解码系数和允许解码器确定所述预测的信息。接着，确定解码的系数的和除以预定的正数n的余数。为了重构所述残差，将解码的系数去量化和逆变换，并且，为了重构所述预测，使用所述解码的信息。然后，组合预测和残差。所述除法的余数被用于选择候选后处理，其之后被应用在重构的残差和重构的预测的组合上以确定最终的块的重构。
[0040]编码设备的示例性实施例在DCT和每个块的量化之后扫描系数，并找出不显著有助于重构质量的孤立的小系数(例如，多个连续零的中间的孤立的I)。然后丢弃这样的系数，因为这可能会略微降低质量但大量降低比特率。因此，只有显著的系数被选择并写入到比特流中。
[0041]附加地或可替换地，编码设备的示例性实施例能够在I1最小化、总偏差最小化和跳过后处理之间自适应地进行选择，并通过隐蔽通信指示该选择。
[0042]在许多情况下，后处理模式，例如总偏差(TV)最小化，在补偿由量化和/或系数丢弃造成的失真上运行良好，同时，它们有时会失败。编码设备的示例性实施例可以处理每个块并例如通过计算PSNR来计算失真。如果质量提高，它将“进行TV正则化”的消息嵌入到隐蔽通信信道中的比特流中。
[0043]隐蔽消息的一个实例是，如果在解码器侧要求TV正则化并且TV正则化是除了无后处理之外的唯一可用的候选后处理方法，系数的和应为奇数；否则，和应为偶数。对于3个可用的后处理模式的情况，将使用模数-3来代替奇偶性检查。
[0044]由于系数之和在TV正则化有用的情况下并不一定是奇数，并且在优选是没有后处理的情况下不一定是偶数，因此有时需要修改系数。这最好以降低比特率并最小化从这样的修改所产生的失真的方式进行，即，不仅确保修改的系数的总和具有正确的奇偶性，还进一步最小化速率-失真成本。
[0045]由于人类的眼睛对较低的频率分量中的变化更为敏感，所述修改优选地在高于阈值的较高频率分量上进行。
[0046]而且，由于编码小的和孤立的系数相较地需要许多比特，因此所述修改优选地在小的和孤立的高频分量上进行。
[0047]因此，在一个实施例中还包括丢弃小的和孤立的高频分量，总之，可以通过不丢弃所有的小的和孤立的系数和/或通过不丢弃而只是减少这些系数的部分或全部来控制系数的总和。
[0048]权利要求中提出的发明原理是在H.264编解码器上建立的示例性编码器中进行测试的。为简单起见，仅 使用8x8变换，但是，所提出的方法也适用于其他块尺寸，例如4x4。此外，只考虑将TV正则化用于后处理。
[0049]测试的示例性编码器经历以下步骤:
[0050]给定H.264压缩的量化参数(QP)，测试的示例性编码器至少计算参数ThresholcLRun>ThreshoId_LeveI>TV_1 ambda?这些计算的参数使得自适应感应算子或TV正则化模块在每个QP可以实现最佳压缩。使用各种视频序列的训练集已将参数ThresholcLLevel和Threshold_Run对于每个QP进行了优化。
[0051]测试的示例性编码器通过从原始块Forg中减去帧间/帧内预测来获得残差数据，然后将该残差数据变换、量化，并通过根据预定的扫描顺序进行扫描来排列在序列中，例如，各个频率分量被按之字形重新排序。
[0052]一种在测试的示例性编码器中实现的自适应感应算子ASO之后尝试尽可能准确地以相对低的比特成本代表所述帧。为了这么做，检查具有小幅度的、消耗许多比特的系数是否可被丢弃。这是通过研究系数序列实现的。对于在a个连续的零之前和b个连续的零之后的每一个系数C,如果C ^ Threshold_Level且a+b ^ Threshold_Run,则C是要被设置为零的候选。
[0053]通过自适应感应算子ASO采用速率-失真优化来确定是否将检测到的候选系数设
置为零。 [0054]考虑到主观质量，自适应感应算子ASO适合于将对人眼来说敏感的开始的25个系数排除在被设置为零之外。
[0055]对于每个被实际上设置为零的候选系数，保存水平值和游程长度值的比特，而无需显著地降低质量。
[0056]为了减少由量化和系数丢弃引起的质量损失，原则上，TV最小化是有利的。不过，虽然基于各种视频为给定的量化参数优化了参数TV_lambda，仍有TV正则化实际上会降低质量的可能性。
[0057]因此，在后处理模块PP中，测试的示例性编码器试验性地将TV正则化应用在重构块Frec上，获得块FTV。然后，示例性编码器通过与原始数据Forg进行比较来评估Frec和FTV的质量。如果FTV的失真较小，则测试的示例性编码器信号表示在解码器侧使用的TV正则化用于输出以及预测。
[0058]因此，测试的示例性编码器将是否使用TV正则化的消息嵌入到比特流中。如果TV正则化使得质量更好并因此被要求，则系数之和应为奇数；否则，和为偶数。然后，测试的示例性编码器计算系数之和，并检查奇偶性是否遵循上述规则，即，奇偶性是否符合根据编码器和解码器中存在的规则的后处理的适用性。如果不是，则测试的示例性编码器在模块MOD中通过I或-1修改其余非零系数之一或丢弃的小和孤立的高频系数之一以满足这一要求。
[0059]由于对可见度的影响的原因，修改的系数的频率应尽可能地高。由于比特率的原因，修改的系数的频率应尽可能地高。因此,可以使用速率-失真成本最小化来确定修改哪些不同的频率分量以及如何修改。
[0060]由于该确定的搜索空间很大，在所测试的示例性编码器中应用下面的优先顺序:
[0061]如果任何丢弃的系数是奇数:恢复与最低频率相关联的那个系数或者对其丢弃造成了最大的附加失真的那个系数。
[0062]仅在丢弃的系数都是偶数时:按照±1修改丢弃的系数之一。
[0063]如果没有系数被丢弃:按照±1修改非零系数之一。
[0064]如果修改的系数的绝对值减小，则确定是有利的。
[0065]由于修改可能会影响TV正则化的有效性，重新进行TV正则化对失真和系数的修改的影响的评估，直到系数的奇偶性等于重构的优选方式。
[0066]最后，将从最终得到的系数重构的块保存在缓冲器中作为要被编码的块的预测的候选；并且对最终得到的系数进行熵编码，并写入到非临时性存储介质上的比特流中或者将最终得到的系数作为信号进行传输。
[0067]用于重构这样的编码的数据的设备的示例性实施例接收编码的系数并对其解码。然后，该设备确定系数的奇偶性。奇偶性为奇数告知示例性解码器可以有利地应用TV正则化。奇偶性为偶数告知示例性解码器可以省略TV正则化的计算工作，而不损害图像质量。接下来，示例性解码器对系数应用逆量化和逆变换。得到的系数被排列在对应于在编码器侧使用的预定的扫描顺序的块中。这导致与在解码块FDEC中得到的预测相结合的重构的残差。最后，取决于解码的系数的奇偶性应用或省略后处理。
【权利要求】
1.一种用于有损压缩编码数据的方法，所述数据包括图像数据和音频数据中的至少一种，所述方法包括 使用所述数据的预测的离散余弦变换的残差的量化来确定量化系数， 修改所述量化系数以最小化速率-失真成本，其中，使用数据的后处理的重构来确定所述失真，后处理的重构是根据后处理方法进行后处理的，以及压缩编码所述修改的系数，其中， 所述后处理方法是n>l个不同的预定后处理方法候选之一，其在后处理方法候选的排列的预定顺序中的位置等于修改的系数的和除以n的余数。
2.根据权利要求1所述的方法，其中，使用所述修改的系数和所述预测来确定所述重构，使用已压缩编码的数据来确定所述预测，并且对已压缩编码的数据的引用被进一步压缩编码。
3.根据权利要求1或2所述的方法，其中，修改所述量化系数的步骤包括: (a)确定量化系数的和除以n的余数与n个不同的、有序的并且预定的后处理方法候选之一的位置之间存在不等于零的差值，所述后处理方法候选之一在被用于使用所述量化系数和所述预测重构所述块时，最小化失真，以及 (b)修改量化系数使得整体修改等于非零差值。
4.根据权利要求3所述的方法，还包括重复步骤(a)和(b)，在步骤(a)的每次重复中使用在紧接步骤(b)的执行前得 到的修改的系数，直到确定不存在不等于零的差值。
5.根据权利要求1-4中的任何一项所述的方法，其中，将数据和量化系数排列为二维块,并且修改系数包括: 通过下述方式确定系数的序列: 根据扫描顺序扫描量化系数并且使用该序列来确定这些量化系数，这些量化系数中的每一个: 代表预定频率阈值之上的频率， 不超过预定正阈值，并且 是包含在至少预定正数个量化系数的连续子序列中的唯一非零系数，以及在确定的系数中识别这些系数，当被设置为零时，这些系数导致最小化速率-失真成本，并且将所识别的系数设置为零。
6.根据权利要求5所述的方法，还包括确定量化的量化参数，其中，正阈值和正数量中的至少一个取决于确定的量化参数。
7.一种用于重构包含图像数据和音频数据中的至少一种的数据的方法，所述方法包括: 压缩解码系数， 使用压缩解码的系数来确定数据的初步重构，以及 通过使用n>l个不同的预定后处理方法候选之一来后处理所述初步重构以确定数据的重构，所述n>l个不同的预定后处理方法候选之一在后处理方法候选的排列的顺序中的位置等于压缩解码后的系数的和除以n的余数。
8.根据权利要求1-7任何一项所述的方法，其中，后处理方法候选之一是总偏差正则化。
9.根据权利要求1-9中的任何一项所述的方法，其中，后处理方法候选之一是I1最小化。
10.根据权利要求1-10中的任何一项所述的方法，其中，后处理方法候选之一是不进行任何处理的虚设后处理方法。
11.一种用于有损压缩编码数据的设备，所述数据包括图像数据和音频数据中的至少一种，所述设备包括 处理部件，适于使用所述数据的预测的离散余弦变换的残差的量化来确定量化系数，该处理部件进一步适于修改所述量化系数以最小化速率-失真成本，其中，使用根据后处理方法后处理的块的重构来确定失真， 编码部件，适于压缩编码所述修改的系数，其中 用于失真确定的所述后处理方法是n>l个不同的预定后处理方法候选之一，其在后处理方法候选的排列的预定顺序中的位置等于修改的系数的和除以n的余数。
12.一种用于重构包含图像数据和音频数据中的至少一种的数据的设备，所述设备包括: 解码部件，适于压缩解码系数，以及 处理部件，适于使用压缩解码的系数来确定数据的初步重构，其中所述处理部件进一步适于通过使用n>l个不同的预定后处理方法候选之一来后处理所述初步重构以确定块的重构，所述n>l个不同的预定后处理方法候选之一在后处理方法候选的排列的顺序中的位置等于压缩解码的系数的和除以n的余数。
13.—种部件，其至少部分专用于压缩编码的数据的存储和传输中的至少一种，所述数据包含图像数据和音频数据中的至少一种，根据权利要求1-6中的任何一项的方法来压缩编码所述数据。
【文档编号】H04N19/132GK103748876SQ201180071804
【公开日】2014年4月23日 申请日期:2011年4月22日 优先权日:2011年4月22日
【发明者】江文斐, 陈志波, 张帆 申请人:汤姆逊许可公司