使用量化误差的额外的控制编码、解码视频信号的方法和装置的制造方法

使用量化误差的额外的控制编码、解码视频信号的方法和装置的制造方法
【专利摘要】在此所公开的是一种编码视频信号的方法，包括：接收原始视频信号；将原始视频信号与预先重建的信号比较；产生校正信号以最小化失真分量和速率分量的总和；以及熵编码校正信号，其被发送给解码器供视频信号重建，其中预先重建的信号已经通过另外使用缩放对角矩阵反变换。
【专利说明】
使用量化误差的额外的控制编码、解码视频信号的方法和 装置
技术领域
[0001] 本发明设及用于编码和解码视频信号的方法和装置，尤其是，设及使用量化误差 的附加控制的编码技术。
【背景技术】
[0002] 压缩编码指的是用于经由通信线路发送数字化的信息或者W适用于存储介质的 形式存储数字化的信息的一组信号处理技术。介质，诸如视频、图像和语音可W是压缩编码 的对象。尤其是，用于对视频执行压缩编码的技术称作视频压缩。
[0003] 许多的介质压缩技术基于两种解决方法:预测编码和变换编码。尤其是，混合编码 技术包括使用预先解码的上下文值空间预测采样并对预测的误差执行变换编码。运样的过 程对高斯信号执行，使得其具有优化的率失真(RD)值。
[0004] 但是，普通视频信号需要被更加有效地编码，因为它们具有不适用于高斯信号的 结构。
[0005] 同时，在出现在块的其它部分中的误差的每个中，重要性可能是不同的。因此，存 在对能够控制在空间域和频率域两者中的误差方法的需要。

【发明内容】

[0006] 技术问题
[0007] 本发明的一个实施例针对更加有效地编码具有边缘和方向结构的信号。
[000引本发明的一个实施例针对与预测的信号一起使用变换编码的信号非因果地预测 视频信号。
[0009] 本发明的一个实施例针对基于非正交的变换编码视频信号。
[0010] 本发明的一个实施例针对获得最小化失真的优化的变换系数。
[0011] 本发明的一个实施例针对导出率失真(RD)优化的量化步长。
[0012] 本发明的一个实施例针对使用具有形式和参数的非正交的变换表示本发明可W 适用于其的非因果的编码技术。
[0013] 本发明的一个实施例针对在空间域和频率域两者中控制量化误差。
[0014] 本发明的一个实施例针对定义不同的对角矩阵W便区分在空间域上误差的重要 性。
[0015] 本发明的一个实施例针对提出从率失真(RD)的视点计算优化的对角矩阵的方法。
[0016] 本发明的一个实施例针对提出在空间域上更加精细地控制量化误差的方法。
[0017]技术方案
[0018] 本发明提出更加有效地编码具有边缘和方向结构的信号的方法。
[0019] 此外，本发明提出与预测的信号一起使用变换编码的信号非因果地预测视频信号 的方法。
[0020] 此外，本发明提出基于非正交的变换编码视频信号的方法。
[0021] 此外，本发明提出用于获得优化的变换系数的量化算法。
[0022] 此外，本发明提出导出优化的量化步长的方法。
[0023] 此外，本发明提出可W由具有形式和参数的非正交的变换表示的非因果的编码技 术。
[0024] 此外，本发明提出使用所有已经重建的信号和上下文信号产生优化的预测信号的 方法。
[0025] 此外，本发明提出在空间域和频率域两者中控制量化误差的方法。
[0026] 此外，本发明定义不同的对角矩阵W便区分在空间域上误差的重要性。
[0027] 此外，本发明提出从率失真(RD)的视点计算优化的对角矩阵的方法。
[0028] 此外，本发明提出在空间域上更加精细地控制量化误差的方法。
[00巧]有益效果
[0030] 本发明可W使用所有解码的信息执行更加精细和改进的预测。
[0031] 此外，本发明可W通过与预测的信号一起使用变换编码的信号非因果地预测视频 信号而更加有效地编码具有边缘和方向结构的信号。
[0032] 此外，本发明可W通过提出可W由具有形式和参数的非正交的变换表示的非因果 的编码技术执行更加精细和改进的预测。
[0033] 此外，本发明可W通过提出用于获得优化的变换系数的量化算法来最小化量化误 差D
[0034] 此外，本发明可W通过提出导出优化的量化步长的方法执行更加改进的编码。
[0035] 此外，本发明可W使用所有已经重建的信号和上下文信号产生优化的预测信号。
[0036] 此外，本发明可W通过在空间域和频率域两者中控制量化误差执行更加改进的编 码。
【附图说明】
[0037] 图1和2是执行视频编码的编码器和解码器的简略方框图；
[0038] 图3和4图示本发明可W适用于其的实施例，并且是改进的编码方法已经适用于其 的编码器和解码器的简略方框图；
[0039] 图5和6图示本发明可W适用于其的实施例，并且定义图示使用预先编码的像素执 行预测方法的层；
[0040] 图7图示本发明可W适用于其的实施例，并且是图示使用对于每个层预先编码的 像素执行预测方法的流程图；
[0041] 图8图示本发明可W适用于其的实施例，并且是图示用于获得优化的系数的量化 过程的流程图；
[0042] 图9图示本发明可W适用于其的实施例，并且是图示用于获得优化的系数的量化 过程的详细流程图；
[0043] 图10图示本发明可W适用于其的实施例，并且是图示获得优化的量化步长过程的 流程图；
[0044] 图11和12图示本发明可W适用于其的实施例，其中图11图示本发明已经适用于其 的测试图像，和图12图示速率增益对测试图像的百分比；
[0045] 图13图示本发明可W适用于其的实施例，并且是图示改进的预测编码方法的简略 流程图；
[0046] 图14图示本发明可W适用于其的实施例，并且是图示基于优化的量化步长执行量 化的方法的简略流程图；
[0047] 图15和16图示本发明可W适用于其的实施例，并且是改进的编码方法经由量化误 差的控制已经适用于其的编码器和解码器的简略方框图；
[0048] 图17图示本发明可W适用于其的实施例，并且是图示经由率失真(RD)优化过程获 得缩放对角矩阵（scaling diagonal matrix)过程的流程图；
[0049] 图18图示本发明可W适用于其的实施例，并且是图示在使用优化的缩放矩阵执行 编码的情形下，和在使用现有的方法执行编码的情形下，在相应的图像的编码增益之间的 比较的图形；
[0050] 图19和20图示本发明可W适用于其的实施例，并且是改进的编码方法已经适用于 其的编码器和解码器的简略方框图；和
[0051] 图21图示本发明可W适用于其的实施例，并且是图示改进的视频编码方法的简略 流程图。
【具体实施方式】
[0052] 本发明的一个实施例提供一种编码视频信号的方法，包括:接收原始视频信号;将 原始视频信号与预先重建的信号比较;产生校正信号W最小化失真分量和速率分量的总 和；W及赌编码校正信号，其被发送给解码器用于视频信号重建，其中预先重建的信号已经 通过另外使用缩放对角矩阵被反变换。
[0053] 在本发明的一个方面中，校正信号基于用于在空间域中区分误差的权重的另一个 对角矩阵被产生。
[0054] 在本发明的一个方面中，该方法进一步包括:计算包括缩放对角矩阵的多个对角 矩阵的最佳集合，其中校正信号基于多个对角矩阵的最佳集合被产生。
[0055] 在本发明的一个方面中，多个对角矩阵的最佳集合被编码为侧信息，并且被发送 给解码器。
[0056] 在本发明的一个方面中，多个对角矩阵的最佳集合在编码原始视频信号的帖之前 被编码。
[0057] 在本发明的一个方面中，失真分量由在原始视频信号和重建的信号之间总的失真 表示，并且速率分量由发送量化的系数需要的比特数表示。
[005引本发明的另一个实施例提供一种解码视频信号的方法，包括:接收包括校正信号 的视频信号;从视频信号读取包括多个对角矩阵的侧信息;通过赌解码视频信号获得校正 信号；W及基于校正信号和多个对角矩阵重建信号。
[0059] 在本发明的一个方面中，多个对角矩阵包括缩放对角矩阵。
[0060] 在本发明的一个方面中，该方法进一步包括:通过另外使用缩放对角矩阵对校正 信号执行反变换。
[0061] 在本发明的一个方面中，校正信号包括最佳系数值，其最小化失真分量和速率分 量的总和。
[0062] 在本发明的一个方面中，多个对角矩阵在解码视频信号的帖之前被读取。
[0063] 本发明的另一个实施例提供一种编码视频信号的装置，包括:接收单元，配置为接 收原始视频信号;优化器，配置为将原始视频信号与预先重建的信号比较，并产生校正信号 W最小化失真分量和速率分量的总和;和赌编码单元，配置为赌编码校正信号，其被发送给 解码器用于视频信号重建，其中预先重建的信号已经通过另外使用缩放对角矩阵反变换。
[0064] 在本发明的一个方面中，其中该优化器进一步配置为计算包括缩放对角矩阵的多 个对角矩阵的最佳集合，其中校正信号基于多个对角矩阵的最佳集合被产生。
[0065] 本发明的另一个实施例提供一种解码视频信号的装置，包括:接收单元，配置为接 收包括校正信号的视频信号，和从视频信号读取包括多个对角矩阵的侧信息;赌解码单元， 配置为通过赌解码视频信号获得校正信号；W及重建单元，配置为基于校正信号和多个对 角矩阵重建信号。
[0066] 在本发明的一个方面中，该解码装置进一步包括反变换单元，配置为通过另外使 用缩放对角矩阵对校正信号执行反变换。
[0067] 用于发明的模式
[0068] 在下文中，按照本发明的实施例示范的单元和操作参考伴随的附图描述。但是，注 意到，参考附图描述的本发明的单元和操作被仅仅作为实施例提供，并且本发明的技术精 神和核屯、配置和操作不受限于此。
[0069] 此外，在本说明书中使用的术语是现在广泛地使用的公用术语，但是，在特定的情 形下，使用由本
【申请人】随机地选择的术语。在运样的情况下，相应的术语的含义在对应部分 的详细说明中清楚地描述。因此，应当注意，本发明不应该认为是仅仅基于在本说明书的相 应的描述中使用的术语的名称，并且本发明应该通过检查甚至相应的术语的含义解释。
[0070] 此外，在本说明书中使用的术语是选择描述本发明的常见术语，但是，如果存在具 有类似含义的运样的术语，可W W其他术语替换W更加适合于分析。例如，信号、数据、采 样、图片、帖和块可W在每个编码过程中适当地替换和解释。
[0071] 图1和2图示执行媒体编码的编码器和解码器的简略方框图。
[0072] 图1的编码器100包括变换单元110、量化单元120、去量化单元130、反变换单元 140、缓存器150、预测单元160和赌编码单元170。图2的解码器200包括赌解码单元210、去量 化单元220、反变换单元230、缓存器240和预测单元250。
[0073] 编码器100接收原始视频信号，并且通过从原始视频信号减去由预测单元160输出 的预测信号产生预测误差。产生的预测误差被发送给变换单元110。变换单元110通过将变 换方案适用于预测误差产生变换系数。
[0074] 该变换方案可W例如包括基于块的变换方法和基于图像的变换方法。基于块的变 换方法例如可W包括离散余弦变换(DCT)和Karimhen-Loeve变换。DCT指的是在空间域上的 信号被分解为二维的频率分量。在块内朝着左上角的方向具有低频率分量和在块内朝着右 下角的方向具有高频率分量的图案被形成。例如，64个二维的频率分量(其被设置在左上角 上）的仅一个可W是直流(DC)分量，并且可W具有0的频率。剩余的频率分量可W是交流 (AC)分量，并且可W包括从最低的频率分量到较高的频率分量的63个频率分量。执行DCT包 括计算包括在原始视频信号块中的基础分量(例如，64个基础图案分量)每个的大小，基础 分量的大小是离散余弦变换系数。
[0075] 此外，DCT是用于简单表示为原始视频信号分量的变换。在反变换时，原始视频信 号从频率分量被完全重建。也就是说，仅仅表示视频的方法被改变，并且除了冗余信息之外 包括在原始视频中的所有信息块被保留。如果对原始视频信号执行DCT，则与原始视频信号 的幅度分布不同，DCT系数聚集在接近于0的值。因此，可W使用DCT系数获得高压缩效果。
[0076] 量化单元120量化产生的变换系数，并且将量化的系数发送给赌编码单元170。赌 编码单元170对量化的信号执行赌编码，并且输出赌编码的信号。
[0077] 量化单元120将用于输入数据的输入值的特定范围映射为单个代表值。量化可W 通过输入数据除W量化步长计算，如W下的公式1。
[007引[公式U
[0079]
[0080] 在公式1中，Y表示量化的数据、X表示输入数据，并且Q表示量化步长。函数SignO 是用于获得数据的符号的操作，并且函数RoundO表示取整操作。量化步长可W由量化范围 表示。此外，在本说明书中，量化步长可W指的是缩放参数(scaling parameter)。当执行视 频编码时，量化步长可W变化。压缩比例可W使用变化的量化步长控制。同时，使用整数值 的量化参数可W被使用，代替量化步长。
[0081] 在量化过程中，如W下的公式2,量化的系数C'可W通过输入变换系数邱余W量化 步长Q获得。
[0082] [公式 2]
[0083] C'=C/Q
[0084] 在公式2中，C'表示量化的系数，C表示输入变换系数，并且Q表示量化步长。
[0085] 同时，由量化单元120输出的量化的信号可用于产生预测信号。例如，在编码器100 的环路内的去量化单元130和反变换单元140可W对量化的信号执行去量化和反变换，使得 量化的信号被重建为预测误差。可W通过将重建的预测误差加到由中间预测单元160输出 的预测信号产生重建的信号。
[0086] 缓存器150存储重建的信号用于预测单元160未来参考。预测单元160使用存储在 缓存器150中预先重建的信号产生预测信号。
[0087] 图2的解码器200接收由图1的编码器100输出的信号。赌解码单元210对接收的信 号执行赌解码。去量化单元220基于有关量化步长的信息从赌解码的信号获得变换系数。反 变换单元230通过对变换系数执行反变换获得预测误差。通过将获得的预测误差加到由预 测单元250输出的预测信号产生重建的信号。
[0088] 去量化单元220可W通过量化的数据乘W去量化缩放值Q计算重建的数据，如W下 的公式3。
[0089] [公式 3]
[0090] X'=巧Q
[0091] 在公式3中，X'表示重建的数据，Y表示量化的数据，并且Q表示去量化缩放值。去量 化缩放值Q可W具有与量化步长相同的值。
[0092] 缓存器240存储重建的信号用于预测单元250未来参考。预测单元250使用存储在 缓存器240中预先重建的信号产生预测信号。
[0093] 本发明提供在混合视频编码器中的内部预测方法。要压缩的采样值被使用预先编 码的上下文值预测，并且预测的误差被变换编码。运样的过程可W对高斯信号执行，使得其 具有优化的RD值。普通视频信号包括不适用于高斯信号的许多的信号。因此，本发明针对运 样的信号，并且提出用于与预测采样一起使用变换编码的采样和上下文值非因果地预测每 个采样的技术。运样的非因果编码可W由包括形式和参数的非正交的变换表示。
[0094] 图3和4图示本发明可W适用于其的实施例，并且是改进的编码方法已经适用于其 的编码器和解码器的简略方框图。
[00M]图3的编码器300包括优化器(310)、量化单元315、反变换单元320、预测单元330、 重建单元340、缓存器350和赌编码单元360。图4的解码器400包括赌解码单元410、去量化单 元420、反变换单元430、重建单元440、缓存器450和预测单元460。
[0096] 优化器310可W从缓存器350提取有关当前块的像素的信息、有关预先解码的块的 像素的信息，和有关量化步长的信息的至少一个。在运种情况下，当前块的像素信息可W由 排列为矢量的要编码的块的像素表示。预先解码的块的像素信息可W由排列为矢量的预先 解码的块的像素表示。量化步长信息可W由排列为矢量的量化步长表示。
[0097] 优化器310可W基于当前块的像素信息、预先解码的块的像素信息，和量化步长信 息的至少一个获得变换系数c(i，j)。变换系数c(i，j)可W指的是去量化的变换系数。
[0098] 反变换单元320可W接收获得的变换系数C(i，j)，并且对接收的变换系数C(i，j) 执行反变换。反变换单元320可W通过对接收的变换系数C(i，j)执行反变换获得残留信号 res(i，j)。
[0099] 预测单元330可W从缓存器350提取有关预先解码的块的像素的信息。预测单元 330可W使用预先解码的块的像素和从先前的层重建的像素的至少一个预测当前层的像 素。预测单元330可W通过执行运样的预测获得预测信号VedQjr。在运种情况下，假设 当前块是BXB块，水平分量是j，并且垂直分量是i，当前层化的像素可W由设置在位置化， i)和（j，k)(i = l、…、B，j = l、…、B，k=l、…、B)的像素表示。在运种情况下，从先前的层重 建的像素可W由所有先前的层LU…、化-1的重建的像素表示。运些将参考图5和6更详细地 描述。
[0100] 重建单元340可W通过将由预测单元330获得的预测信号"pred(i，j)"和由反变换 单元320获得的残留信号"res(ij)相加获得重建的信号"recQjr。在运种情况下，重建 的信号"recQjr可W指的是当前层化的重建的信号。重建的信号"recQjr被发送给缓 存器350，供下一层未来的预测。
[0101] 由优化器310获得的变换系数C(i，j)被发送给量化单元315。
[0102] 量化单元315执行量化处理，并且将量化的变换系数发送给赌编码单元360。
[0103] 在运种情况下，变换系数C(i，j)可W指的是率失真(RD)优化的变换系数。此外，量 化处理可W通过变换系数C( i，j)除W量化步长执行。
[0104] 赌编码单元360可W接收量化的变换系数，并且对接收的变换系数执行赌编码。
[0105] 图4的解码器400可W接收由图3的编码器300输出的信号。
[0106] 赌解码单元410可W接收比特流，并且对该比特流执行赌解码。
[0107] 去量化单元420可W使用量化步长信息从赌解码的信号获得变换系数。
[0108] 反变换单元430可W通过对变换系数执行反变换获得残留信号"resQjr。
[0109] 重建单元440可W通过将由预测单元450获得的残留信号"res(i J)"和预测信号 "pred(i，jr相加获得重建的信号"recQjr。重建的信号"recQjr可W被发送给缓存 器450,并且存储在其中。此外，重建的信号"rec(i J)"可W被发送给预测单元450,用于接 下来信号未来的预测。
[0110] 参考图3的编码器300描述的实施例可W适用于图4的解码器400的单元的操作。
[0111] 本发明可W适用于其的混合视频编码器通过使用预先解码的采样（即，上下文 值），空间地预测采样执行有效的预测编码，并且对预测的误差执行变换编码。
[0112] 在运样的编码方法中，对于其块变换已经部分地优化的偶数信号连贯地执行块变 换。例如，部分地优化的信号可W包括具有很大块间相关性的信号，和具有边缘和不同的方 向特性的信号。因此，空间预测操作可W被认为是不太适配于精细预测处理，因为其产生更 加适配于简单变换压缩的预测信号。运样的预测操作的效率可W强烈地取决于具有高斯信 号的基本处理，因为预测操作使用上下文值来执行。
[0113] 为了详细地讨论，考虑一维的示例，其中序列XiQ = I~N)被使用上下文采样XO压 缩。
[0114] 例如，X包括来自目标块的一系列的水平或者方向的像素，对其使用使用上下文采 样XO执行方向性预测。在运种情况下，上下文采样XO可W从预先解码的块的边缘中获得。上 下文采样XO被假设为在编码器和解码器两者中是可用的。假设使用上下文采样XO的Xi的线 性预测是Pi(XO)，残留信号"ri"可W如在W下的公式4中定义的。
[01巧][公式4]
[0116] ri = xi-Pi(xO)
[0117] 在其经历按照编码过程的变换编码、经历按照解码过程的变换解码之后，残留信 号"ri"可W如在W下的公式5中表示的。
[011引[公式5]
[0119] x'i=Pi(xO)+r'i
[0120] 在公式5中，表示重建的信号。
[0121] 如果优化的线性预测器被获得，并且使用化T，则该过程对于高斯序列的压缩可W 逐渐地变为最佳。但是，该过程可能不适用于许多的图像/视频结构，诸如，高斯建模。因此， 在本发明的一个实施例中，预测方法可W使用在解码过程期间使用所有解码的信息的更好 的预测器进一步改进。本发明可W对于具有边缘和方向结构的视频信号具有出色的效果。
[0122] 在下文中，首先，基本想法经由本发明的一维的示例描述。接下来，通过集中于线 性预测器论述在本发明和DPCM之间的联系，并且等效的非正交的变换将被导出。此外，在论 述编解码器设计之后，描述使用非正交的变换的压缩和率失真(RD)优化的量化参数的导 出。最后，描述本发明可W适用于其的模拟结果的细节。
[0123] 在变换解码之后，解码器可W访问所有残留采样。但是，当解码第i个采样时， 其仅仅使用XO和ri。尤其是，当解码x~i+l时，解码器已经重建x~i，与XO相比，其通常是x~i+ 1的更好的预测器。在本发明中，解码链可W设计如W下的公式6。
[0124] [公式 6]
[0125]
[0126] 因为解码器具有可用的所有变换解码的残留，所W运个链和增强的预测器Pt可能 是合理的。相应的编码链可W被描述为最佳编码的变换系数的选择，当在公式6中馈送进变 换解码器时，其导致x~，其在给定的目标比特率上具有最小失真。
[0127] 虽然本发明对于非线性的预测功能可W通用化，其将保持可计算的简单、线性预 测器，但是使用最靠近的可用的采样，而不是始终使用XO实现预测。对于一维的示例，本发 明可W构成公式7。
[012引 「公式71
[0129]
[0130] 在运种情况下，预测可W与单元的预测权重成线性关系。在运个设置中，在公式7 中预测Pi(XO)可W简单地WPi(x~i-l)替换。线性预测器的其它的权重和类型可W直接推 广。
[0131] 在下文中，将解释有关与DPCM和等效的非正交的变换的关系。
[0132] 公式7类似于一阶DPCM解码器，其W统一的预测权重操作。DPCM系统将因果地和独 立地编码残留，而公式7的解码器对应于非因果地和联合地编码的残留的解码。运是由于 是在公式6中示出的变换解码器的输出。可W说建议的系统获得DPCM系统的预测精确度，同 时经由变换编码利用了残留相关性和其它的DPCM R-D低效。
[0133] 公式7可W导致矩阵公式8。
[0134] [公式引
[0135]
[0136] 在运里，F是具有公式9的(N X N)下S角形预测矩阵。
[0137] [公式 9]
[013 引
[0139] 运个实施例是具有单位条目的(NXl)矩阵。增强公式8适应变换编码，本发明可W 结果形成公式10。
[0140] [公式 10]
[0141]
[0142] 在公式10中，T(NXN)是在压缩(例如，在肥VC中的块DCT/DST)中使用的变换，并且 c~是去量化的变换系数。令G = FT，公式10对应于具有经由公式11非正交的变换G的x~-BxO 的变换编码。
[0143] 「公击111
[0144]
[0145] 在运个简单线性形式中，本发明可W是使用非正交的变换G的x-BxO的变换压缩。
[0146] 使用基于模式的线性预测器，通过设计F和B矩阵，并导出用于每个预测模式的等 效的非正交的变换G，建议的解码链可W结合在类似肥VC的基线混合编解码器内。
[0147] 与基线相比，运样的解码链将仅仅具有微小的复杂度增长，因为其所做的是使用 最靠近的采样而不是边缘采样预测。编码链更加复杂，但是，因为其必须选择最佳系数W发 送用于解码链。在下文中，本发明将提供编码器必须实现和导出率失真最佳量化参数的迭 代量化算法。
[0148] 图5和6图示本发明可W适用于其的实施例，并且定义图示使用预先编码的像素执 行预测方法的层。
[0149] 本发明的一个实施例提供使用预先编码的像素非因果地预测采样的方法。
[0150] 在运种情况下，当前块的像素和用于预测的预先编码的像素可W使用各种方法确 定。
[0151] 在本发明可W适用于其的实施例中，当前块可W被W至少一个层为单位分解。因 此，预先编码的像素可W W每个层为单位确定。
[0152] 在运种情况下，层单元可W基于按照特定准则设置的像素不同地定义。例如，基于 设置在当前块的左上的像素排列在水平和垂直方向中的像素可W定义为单个层。此外，排 列在设置在左上的像素的对角方向的像素可W定义为顺序的层。
[0153] 在运种情况下，层可W定义为一个像素或者多个像素，或者可W定义为块的全部 像素。此外，层可W定义为如在5中图示的一组顺序的像素，但是，可W定义为按照情形不是 顺序的一组像素。
[0154] 例如，参考图5,假设当前块是BXB块，并且在块内像素的位置是Q J)。在运种情 况下，ie{l、2、…、8}〇￡{1、2、一、8}。在运种情况下，基于设置在当前块的左上的像素排 列在水平和垂直方向中的像素可W定义为层L1。也就是说，设置在像素位置（IJ)和Q，1) 上的像素可W定义为层Ll。
[0155] 运可W概括如下。例如，设置在像素位置(k，j)和（i，k)上的像素可W定义为层化 化=1、2、...、B)。
[0156] 在本发明可W适用于其的实施例中，预先编码的像素可W包括正好在要编码的层 之前编码的层的像素。
[0157] 参考图6,为了预测当前的层化，可W使用正好在当前的层化之前编码的层化-1。 在运种情况下，为了预测当前的层化，也可W使用邻近当前块的边缘的像素。也就是说，邻 近于邻近当前块的已经解码的块的像素可用于预测层化。
[0158] 例如，当前的层化可W基于所有先前的层LU…、化-1的重建的像素和邻近已经解 码的块的像素预测。
[0159] 本发明的另一个实施例可W提供预测形式。
[0160] 编码器可W将系数(i , j)、i E {1、2、…、B}、j E {1、2、…、B}排列为矢量C。其可W如 公式12表示。
[0161] [公式 12]
[0162] C( Q-I)地+(j-l)+l) = CoeffsQ ,j)
[0163] 并且，编码器可W将'63(1^)、1￡{1、2、-，、8}〇￡{1、2、-，、8}排列为矢量'。其可 W如公式13表示。
[0164][公式 13]
[01 化]r((i-l)*^(j-l)+l)=res(i，j)
[0166] 然后，编码器可W将来自预先解码的块的像素排列为矢量y。
[0167] 在运种情况下，本发明可W使用如公式14的矩阵乘法实现。
[016 引
[0169] JT是重建的块。
[0170] 村5的矩阵乘法实现。
[0171]
[0172] 送里T是反变换的矩阵等效。
[0173] 村6的矩阵乘法实现。
[0174]
[0175] G = FT
[0176] 村7的矩阵乘法实现。
[0177]
[017引 送里6'=。'1'，并且。'和山是经训练集合优化的矩阵。
[0179] 同时，参考图5和6描述的实施例可W适用于内部预测，并且也可W适用于供内部 预测的各种预测模式。但是，本发明不受限于此。例如，运些实施例也可W适用于中间预测。
[0180] 图7图示本发明可W适用于其的实施例，并且是图示使用对于每个层预先编码的 像素执行预测方法的流程图。
[0181] 首先，赌编码的系数可W从接收的比特流中提取。在步骤S710可W对赌编码的系 数执行赌解码，并且赌解码的系数可W在步骤S720被去量化，从而能够获得变换系数 "coeffs(i,j)"。
[0182] 残留信号"resQjr可W在步骤S730通过对变换系数执行反变换而获得。残留信 号"res( i，jr用于重建当前的层化。
[0183] 为了预测当前的层化的像素，可W使用预先解码的块的像素。在运种情况下，当前 的层化的像素可W在步骤S740-起使用所有先前的层LU…、化-1的重建的像素被预测。
[0184] 在步骤S740产生的预测信号"pred(i，jr可W被加到在步骤S730获得的残留信号 "res(i，j)"，从而能够在步骤S750重建当前的层化的像素。如上所述产生的重建的信号 "rec( i，jr可用于预测下一个层。
[0185] 图8图示本发明可W适用于其的实施例，并且是图示用于获得优化的系数的量化 过程的流程图。
[0186] 本发明提供一种具有非正交的变换的压缩方法。
[0187] 考虑随机矢量X(NXl)。为了标记的便利，假设上下文预测在X内被吸收。矢量X被 使用线性变换G(NXN)表示，其列gi，i = l.....N形成变换基。假设G是满秩，但是，否则是常 规的，即，G可W不必正交，并且gi可W不必是单位范数(norm)。
[0188] [公式 18]
[0189] X=Gc
[0190] 在公式18中，c(NX I)是变换系数。系数可W被标量（scalar)量化W得到c~ =Q (C)，其然后被赌编码，并且发送给解码器。
[0191] 其一个目的是最小化量化失真的相对于非正交基G的标量量化问题可W如公式19 编写。
[0192] [公式 19]
[0193] I X-Gc'I
[0194] 虽然本发明可W适应用于与视频编码器兼容的各种量化器，其将如公式20采用。
[0195] 「公式 201
[0196]
[0197] 在公式20中，（NXl)是整数的矢量，并且A是量化器步长的对角矩阵，即，具有M， 第i个步长的A i，j = MSi , j，并且Si, j是克朗内克化ronecker)符号函数。因此可W导出公 式21。
[019引[公式21]
[0199] IIx-GAiM
[0200] 公式21可W识别为网格量化器，就t需要解决整数问题而言，其是最佳解决方案。 许多次最佳的技术已经建议用于公式19的解决方案。为了适应快速解决方案，本发明可W 随后结合类似于集中在每个系数的一个迭代解决标量量化问题的方法。假设除第i个系数 之外的所有系数已经被量化。误差矢量可W如公式22限定。
[0201] 「公古Wl
[0202]
[0203] 数最小化。
[0204]
[0205]
[0206] W如公式24获得。
[0207]
[020引
[0209] 运可W导致要W下解释的量化算法。
[0210] 编码器可W在步骤S810执行重复模拟W便获得要发送给解码器的优化的系数。
[0211] 如果作为在当前的系数和先前的系数之间比较的结果，当前的系数满足特定条 件，则当前的系数可W被确定为是优化的系数。例如，假设当前的系数是Cn,并且先前的系 数是化-1，是否在当前的系数和先前的系数之间的差值化-1-化收敛于0可W在步骤S820检 查。作为该检查的结果，如果发现差值化-1-化收敛于0,则当前的系数化可W在步骤S830被 确定为是优化的系数，并且被发送给解码器。作为该检查的结果，如果发现差值化-I-Cn没 有收敛于0,则当前的系数化可W被返回使得先前的步骤S810和S820被重复地执行。
[0212] 在另一个特定的条件下，优化的系数可W通过将在当前的系数和先前的系数之间 的差值化-1-化与特定的阔值比较而被确定。例如，作为该比较的结果，如果发现差值化-1-Cn大于特定的阔值T，则当前的系数Cn可W被返回使得先前的步骤S810和S820被重复地执 行。相比之下，作为该比较的结果，如果发现差值化-I-Cn等于或者小于特定的阔值T，则当 前的系数化可W确定为是优化的系数，并且被发送给解码器。
[0213] 运样的操作可W由图3的编码器执行。例如，该操作可W由优化器310执行。
[0214] 图9图示本发明可W适用于其的实施例，并且是图示用于获得优化的系数的量化 过程的详细流程图。
[0215] 按照本发明的一个实施例，编码器可W基于有关当前块的像素信息、有关预先解 码的块的像素信息，和有关量化步长信息的至少一个获得优化的系数。运样的操作可W由 编码器的量化单元执行。
[0216] 首先，编码器可W在步骤S910基于有关当前块的像素信息，和有关预先解码的块 的像素信息获得最初量化的系数。最初量化的系数可W如在公式25中表示的。
[0217][公式測 [0別引 CO=G-I(X-Hy)
[0219] 在运种情况下，CO表示最初量化的系数，X表示有关当前块的像素信息，并且y表示 有关预先解码的块的像素信息。在运种情况下，G、H表示对训练集合优化的矩阵。此外，矩阵 G可W由非正交的变换矩阵表示。
[0220] 由在原始信号和重建的信号之间的差值表示的误差矢量可W在步骤S920基于最 初量化的系数获得。在运种情况下，当前块的像素信息X和预先解码的块的像素信息y可W 使用，其可W如在公式26中表示的。
[0扣。[公式26]
[0222] en = X-Hy-G 化-1
[0223] 在公式26中，en表示误差矢量，并且n = 0、l、2、…，其可W被重复执行直到获得优 化的系数为止。对于运样的迭代过程，临时的矢量可W如在公式27中限定的。
[0224] [公式 27]
[02 巧]t = en+gkQi-Uk)
[0226] 在公式27中，t表示临时的矢量，并且gk表示矩阵G的第K个列矢量。此外，Cn-I (k) 表示第(n-1)个量化的系数。
[0227] 第n个量化的系数化可W在步骤S930基于临时的矢量t和量化步长信息Mk)获得。 在运种情况下，可W使用公式28。
[0。8][公式 28]
[02巧]化化）=MlOround(址TtA化）（址Tgk) Kk = I ,2,... ,B2)
[0230] 在公式28中，Mk)表示用于第K个变换系数的量化步长。
[0231] 此外，误差矢量en可W在步骤S940如在公式29中被更新。
[02创[公式29]
[0233] en+ =址(化-1化)-化化））
[0234] 如果第n个量化的系数Cn经由运样的过程被获得，则是否特定的条件满足可W通 过将第n个量化的系数化与先前的系数化-1比较检查。第n个量化的系数化可W基于该比较 的结果确定为是优化的系数。例如，是否在第n个量化的系数Cn和先前的系数Cn-I之间的差 值化-1-化收敛于9可W在步骤S950被检查。
[0235] 作为检查的结果，如果发现差值化-1-化收敛于0,则第n个量化的系数化可W在步 骤S960被确定为是优化的系数，并且被发送给解码器。相比之下，作为检查的结果，如果发 现差值化-1-化没有收敛于0,则第n个量化的系数化可W被返回使得先前的步骤被迭代。
[0236] 在又一个特定的条件下，优化的系数可W通过将在当前的系数和先前的系数之间 的差值化-1 -化与特定的阔值比较确定。例如，运可W如在公式30中表示的。
[0237] [公式 30]
[023引 //Cn-Cn-I//2〉T
[0239] 如果差值//Cn-Cn-I//2大于特定的阔值T，则当前的系数Cn可W被返回使得先前 的步骤被迭代。相比之下，如果差值//Cn-Cn-I//2等于或者小于特定的阔值T，则当前的系 数化可W确定为是优化的系数，并且被发送给解码器。
[0240] 图10图示本发明可W适用于其的实施例，并且是图示获得优化的量化步长过程的 流程图。
[0241] 如上参考图9所述，优化的量化步长可W在由编码器执行量化W便获得优化的系 数的过程中导出。
[0242] 首先，量化步长信息可W在步骤SlOlO从量化参数值中获得。例如，量化步长信息 可W如在公式31中表示的。
[02创[公式31]
[0244] A (k)=2(QP-4)/6(k = l,2,---,62)
[0245] 在公式31中，A化)表示第K个量化步长，并且QP表示量化参数。
[0246] 用于获得优化的系数的矩阵和矢量可W在步骤S1020被初始化。例如，矢量和矩阵 可W如在公式32和33中表示的。
[0247] [公式 32]
[024引 U化）= Kk = I ,2,... ,B2)
[0249] 「公式 331
[0巧0]
[0251]
[0252]优化器可W在步骤S1030基于第K个量化步长A化)和初始化的矢量U化）W及矩阵
I获得优化的量化步长。在运种情况下，可W使用凸最优化算法。
[0253] 本发明的一个实施例可W提供导出最佳量化器步长的方法。
[0254] 量化器步长的率失真最佳设计通常是难题，因为用于速率和失真易处理的表示是 编解码器相关的，并且难W获得。在运个实施例中，高速率近似值可W使用，W便优化步长入 的矢量。
[02W]继之W成功的图像和视频编码器的变换编码方法利用标量赌编码器。因此，在e中 传送量化的系数需要的速率可W近似为公式34。
[0巧6][公式34]
[0 巧 7]
[0258] 在公式34中，HO表示赌。因为系数f是使用步长M标量量化的，所W近似值可W W 高的比特率调用。
[0259] [公式 35]
[0260]
[0261]在公式35中，h(ci)是连续定值的系数的微分赌。因此，为了满足速率约束条件，可 能需要公式36。
[02创[公式36]
[0%3]
[0264] 由干G戸,经市专化，在A方面用于平均失真的直接的近似值将是
其通过采用均匀分布的量化误差获得。
[0265] 借助于非正交的G，信号域和系数域失真不相同，并且人们无法使用运个近似值。 假设所有数值是零均值。信号域平均失真可W书写为其中E[]表示期望值，并且化（.）是矩 阵的迹。使用
可W获得公式37。
[0%6]
[0%7]
[0268] 在公式37中，P=C-按已经设置表示系数域误差。假设系数域误差被去相关，即，E
[PPT]是对角的，具有对角项JTi，i = 1、…、N，直接的代数得到公式38。
[0269] [公式 38]
[0270]
[0271] 因为量化经由量化算法实现，所W形式3i = M2/12的近似值不是有效的。为了相关 n与A，让我们集中在由量化算法导出的舍入误差上。在关注点上，可W获得公式39。
[0272] 「公古391
[0273]
[0274] 吴差。
[02巧] 、误差是均匀的，则可W获得公式40。
[0276][公式 40]
[0277]
[027引令孩是具有第i个列的矩阵。可W获得公式41。
[0279] [公式 41]
[0284] 考虑公式42的对角元素可W导致公式43。[0285] [公式 43]
[0280]
[0281]
[0282]
[0283]
[0286]
[0287] 令霞和摄表示分别具有G和H的平方的矩阵元素的矩阵。公式38和43变为公式44。
[028引[公式44]
[0289]
[0290]
[0291] 在公式44中，U是全一的矢量，并占
，
[0292] 因此，可W获得公式45。
[0293] 「公击 451
[0294]
[0295] 可W W受制于速率约束条件的平均失真（公式45)的最小化的形式赋予优化W获 得公式46。
[0巧6][公式46]
[0297]
[0298] 在公式46中，丫是拉格朗日乘数。公式46的优化得到W下的公式47。
[0299] 「公才 471
[0300]
[0301] 图11和12图示本发明可W适用于其的实施例，其中图11图示本发明已经适用于其 的测试图像，和图12图示速率增益对测试图像的百分比。
[0302] 如上所述，按照本发明的一个实施例，具有边缘和方向结构的信号可W通过与预 测的信号一起使用变换编码信号非因果地预测视频信号更加有效地编码。
[0303] 在给出的模拟中，对在块内的1像素厚度的层执行内部预测，并且参考图3至10描 述的预测过程和量化过程被适用于该模拟。
[0304] 图11图示6个测试图像(a)~(f)，并且6个图像的每个具有图像特点。
[0305] 与其他常见的图像相比，6个测试图像的每个可W被认为对应于边缘和方向的特 性的至少一个显著出现的信号。
[0306] 作为测量运样的测试图像的速率增益的结果，可W发现诸如图12(a)的结果。也就 是说，从图12(a)中，可W看到，与相对于所有6个测试图像的现有的编解码器的效率相比， 效果已经改善。
[0307] 也可W看到，与图11 (C)、ll(d)和11(f)的剩余的图像相比，图11(a)、11(b)和11 (e)的图像具有极大的方向特性。因此，从图12(a)中，可W看到，图ll(a)、ll(b)和11(e)的 图像具有相对更高的速率增益。
[0308] 同样地，从图12(b)中，可W看到，在用于视频序列模拟的情况下，与现有的编解码 器的效率相比，效果已经改善。
[0309] 图13图示本发明可W适用于其的实施例，并且是图示改进的预测编码方法的简略 流程图。
[0310] 首先，当在步骤S1310接收到原始视频信号时，编码器可W在步骤S1320将原始视 频信号与可用的重建的信号比较。并且，编码器可W基于比较的结果确定校正信号。
[0311] 在运种情况下，校正信号可W被确定为最小化失真分量和速率分量的总和。失真 分量由在原始视频信号和校正信号之间的总的失真表示，并且速率分量由发送变换编码的 校正信号需要的比特数表示。为了确定校正信号，编码器可W执行解码模拟。
[0312] 编码器可W在步骤S1330基于比较的结果产生变换编码的校正信号。
[0313] 并且，编码器可W在步骤S1340基于变换编码的校正信号和可用的重建的信号产 生预测信号。
[0314] 然后，编码器可W在步骤S1350通过将变换编码的校正信号与预测信号相加来重 建信号。
[0315] 图14图示本发明可W适用于其的实施例，并且是图示基于优化的量化步长执行量 化的方法的简略流程图。
[0316] 本发明的一个实施例提供在执行量化W便获得优化的系数的过程中导出优化的 量化步长的方法。可W基于导出的量化步长执行量化。
[0317] 首先，有关量化步长的信息可W从量化参数值中获得。在运种情况下，量化步长信 息可W指的是缩放参数。缩放参数可W使用率失真(RD)优化的算法获得。例如，缩放参数可 W在步骤S1410被确定为最小化失真分量和速率分量的总和的值。
[0318] 变换编码的校正信号可W按照如上参考图8至10所述的实施例获得。例如，变换编 码的校正信号可W包括优化的变换系数。
[0319] 在步骤S1420,可W基于在步骤S1410确定的缩放参数对变换编码的校正信号执行 量化。
[0320] 量化的系数可W经历赌编码，并且在步骤S1430被发送。
[0321] 图15和16图示本发明可W适用于其的实施例，并且是改进的编码方法经由量化误 差的控制已经适用于其的编码器和解码器的简略方框图。
[0322] 本发明通过在=个空间：空间、频谱和网格范数中同时地操纵因素，来限定控制量 化效果的一组编码参数。改进的压缩可W通过找到使用特定的类型和图像压缩方法的训练 技术确定的优化的参数提供。
[0323] 在图1中，包括用于预测编码、变换编码和混合编码需要的所有因素。
[0324] 预测编码基于W信号元素被使用预先编码的部分预测，W及在预测值和实际值之 间的差值被编码。n维的矢量X用于表示编码的数据(例如，图像或者视频帖），并且矢量P用 于表示从n维的矢量X预测的值。运样的预测使用由重建的矢量袭的过去的值形成的矢量y 执行。
[0325] 首先，由预测残留表示的差值矢量可W如在W下公式48中计算。
[0326] [公式4引
[0327] d = x-p(y)
[0328] 通常，运样的差值被另外使用由NXN矩阵T表示的正交线性变换变换。此后，矢量 系数被转换为用于赌编码的整数。
[0329] 具有整数系数的矢量由C表示，并且可W如在W下的公式49中限定的。
[0330] [公式 49]
[0331 ] c = Q(T[x-p]) ,ciEZ,i = l,2,...,N
[0332]通常，量化被使用正交缩放矩阵Q执行，并且可W如在W下公式50中限定的。
[0；3削[公式50]
[0334] C = [ [ QT (x-p)]]
[0335] 在公式50中，双括号[[]]表示如在W下的公式51中的每个元素取整。
[0336] 「公式 511
[0337]
[0338] 重建的矢量X可W由编码器和解码器两者使用W下的公式52计算。
[0339] 「公式 521
[0340]
[CX341]在公式52中，繁表示重建的矢量，P表示预测矢量，T表示变换矩阵，Q表示量化矩 阵，W及C表示变换系数。
[0342] 如果矩阵T通过变换，诸如DCT限定，则运样的变换的应用差不多与计算残留矢量d 的频谱分量的应用相同。因此，在本发明的一个实施例中，在频率域中量化误差的分配可W 使用对角矩阵Q的不同的值变化。
[0343] 当执行中间块预测时，在图像或者视频块的矢量内的所有元素不能W相同的方式 使用。因此，由于存在于块的边缘中某些元素的误差，预测精度可能显著地降低。
[0344] 此外，如果线性变换，诸如DCT被独立地适用于矢量，则块伪影可能在块的边缘上 产生。
[0345] 在运种情况下，在块的其他部分出现的误差的每个中的重要性是不同的。在本发 明的一个实施例中，块伪影可W通过对空间域提供更加精细地控制量化误差的方法降低。 但是，使用对角矩阵Q的方法可W仅仅在频率域中控制。因此，本发明可W通过在空间域和 频率域两者中控制量化误差解决运样的问题。
[0346] 参考图15,本发明可W适用于其的编码器1500可W包括优化器1520、去量化单元 1530、反变换单元1540、缓存器1550、预测单元1560和赌编码单元1570。在运种情况下，反变 换单元1540可W包括空间缩放单元1545。
[0347] 参考图15的编码器1500,优化器1520可W获得最佳地量化的变换系数。
[0348] 首先，优化器1520可W经由训练步骤获得最佳地量化的变换系数。例如，优化器 1520可W从率失真(RD)的视点计算优化的对角矩阵S、W和Q的集合。
[0349] 本发明的一个实施例提供增加另一个对角矩阵S，即，在空间域上的缩放因子的方 法。在运样的情况下，用于重建信号的过程可W如在W下的公式53中变化。
[0；350][公式 53]
[0：351] x = p+ST-lQ-lc
[0352]有关优化的变换系数使用如在公式3中的简化取整计算的正交条件可W变化。因 此，在本发明的一个实施例中，优化的变换系数可W基于W下的公式54计算。
[0；353] 「公式 541
[0354]
[0355] 在公式54中，W表示用于在空间域中区分误差重要性的另一个对角矩阵。
[0356] 此外，在本发明的一个实施例中，为了找到优化对角矩阵S、W和Q的集合，客观失真 测量，诸如均方误差(MSE)，和包括主观因素的另一个失真测量，诸如块伪影的可见性，可W 被使用。
[0357] 此外，在编码图像或者图像帖之前，对角矩阵S、W和Q的值，即侧信息，可W被编码。 在运种情况下，可W使用可W由解码器识别的适当的协议。
[0358] 去量化单元1530可W通过对最佳地量化的变换系数执行去量化获得变换系数。
[0359] 反变换单元1540可W通过对变换系数执行反变换获得预测误差矢量。在运种情况 下，反变换可W包括缩放正交矩阵S。通过在如上所述的空间域上增加缩放矩阵，量化误差 可W甚至在空间域上被控制。
[0360] 使用缩放正交矩阵S的缩放可W由反变换单元1540的空间缩放单元1545执行。此 夕h空间缩放单元1545可W放置在反变换单元1540的反变换过程之后。
[0361] 重建的信号可W通过将获得的预测的误差矢量加到由预测单元1560输出的预测 信号而产生。
[0362] 缓存器1550存储重建的信号用于预测单元1560的将来参考。预测单元1560使用存 储在缓存器1550中预先重建的信号产生预测信号。
[0363] 由优化器1520获得的最佳地量化的变换系数可W发送给赌编码单元1570。赌编码 单元1570可W对最佳地量化的变换系数执行赌编码，并且输出该结果变换系数。
[0364] 参考图16,本发明可W适用于其的解码器1600可W包括赌解码单元1610、去量化 单元1620、反变换单元1630、缓存器1640和预测单元1650。在运种情况下，反变换单元1630 可W包括空间缩放单元1635。
[0365] 图16的解码器1600接收由图15的编码器1500输出的信号。接收的信号经由赌解码 单元1610经历赌解码。
[0366] 去量化单元1620使用量化步长信息从赌解码的信号中获得变换系数。反变换单元 1630通过对变换系数执行反变换获得预测的误差。在运种情况下，反变换可W包括缩放正 交矩阵s。
[0367] 使用缩放正交矩阵S的缩放可W由反变换单元1630的空间缩放单元1635执行。空 间缩放单元1635可W放置在反变换单元1630的反变换过程之后。此外，可W适用参考图15 描述的实施例。
[0368] 重建的信号通过将获得的预测的误差加到由预测单元1650输出的预测信号而产 生。
[0369] 缓存器1640存储重建的信号用于预测单元1650的将来参考。预测单元1650可W使 用存储在缓存器1640中预先重建的信号产生预测信号。
[0370] 图17图示本发明可W适用于其的实施例，并且是图示经由率失真(RD)优化过程获 得缩放对角矩阵过程的流程图。
[0371] W由公式46限定的编码的形式，可W获得像素值的近似再现，因为ceZN，即，要编 码的数据的矢量可W仅仅具有整数值。
[0372] 本发明可W通过限定附加误差矢量e使用统计方法模拟近似值。
[037；3][公式5引
[0374] T-lQ-lc = x-p+e
[0375] 在C的每个分量中的舍入误差可W经由乘W正交矩阵T合并。对于高速率近似值， 我们可W假设e的分量是具有零均值和相同的变化的单独的随机高斯变量。因此，从公式46 中获得的值得到公式56。
[0376] [公式 56]
[0377]
[0378] 公式56指的是对于在块中的所有像素误差具有大致相同的分布。
[0379] 借助于由公式57限定的新的方法，由S-I预先缩放的残留值x-pW获得适当的再 现。
[0380] [公式 57]
[0381] ST-lQ-lc = S[S-l (x-p)+e]
[0382] e的元素是具有零均值和相同的变化的单独的随机高斯变量。
[0383] 但是，在运种情况下，我们具有由公式58给出的再现的像素。
[0384] 「公古 Wl
[0385]
[0386] 公式52指的是与在对角矩阵S中的缩放因子成正比，现在在每个像素中的误差具 有不同的变化。较大的Si, i的值因此生成相对更大的误差方差，并且反之亦然。
[0387] 在下文中，我们给出本发明稍微更加详细的描述。本发明可W适用于每个预先限 定的视频分割，例如，编码单元、帖、贴片、片等等。
[0388] 在编码器上，本发明可W按照W下的步骤执行。首先，编码器可W选择用于编码在 分割内的像素块的矩阵S、W和Q。
[0389] 接下来，在编码在每个分割中的像素之前，编码器可W将有关矩阵S和Q的信息加 到压缩的比特流。例如，T假设是恒定的，并且W仅仅由编码器使用。
[0390] 然后，对于每个像素块，编码器可W发现最佳矢量C e ZN，赌编码其值，并且将其加 到压缩的比特流。
[0391 ]在解码器，本发明可W按照W下的步骤执行。
[0392] 首先，在解码在每个分割中的像素之前，解码器可W从压缩的比特流中读取有关 矩阵S和Q的信息。
[0393] 然后，对于每个像素块，解码器可W赌解码矢量ceZN，并且使用公式59计算重建 的像素值。
[0394] 「公式 591
[0395]
[0396] 本发明的一个实施例提供经由率失真(RD)优化过程获得缩放对角矩阵的过程。
[0397] 首先，编码器可W在步骤S1710经由训练执行RD优化过程。例如，运样的RD优化过 程可W由优化器1520执行。
[0398] 优化的对角矩阵S、W和Q的集合可W在步骤S1720经由RD优化过程计算。
[0399] 对角矩阵S、W和Q的值可W在步骤S1730被编码为侧信息。
[0400] 此后，视频信号可W在步骤S1740上按照参考图15和16描述的过程编码或者解码。
[0401] 例如，对角矩阵的缩放对角矩阵S可W在编码器1500的反变换单元1540,或者解码 器1600的反变换单元1630中使用，使得甚至在空间域上控制量化误差。
[0402] 图18图示本发明可W适用于其的实施例，并且是图示在使用优化的缩放矩阵执行 编码的情形下，和在使用现有的方法执行编码的情形下，在相应的图像的编码增益之间的 比较的图形。
[0403] 图18图示在误差转移的控制和编码增益之间的关系。
[0404] 在该图形中的虚线表示通用的编解码器的编码增益，并且实线表示当使用优化的 对角矩阵时的编码增益。
[0405] 当前的实施例对应于使用平面预测和4X4DCT的情形。可W看到，当在S个测试图 像，"妇女"、"自行车"和"咖啡馆"中使用所有优化的对角矩阵时，获得更好的编码效率。
[0406] 运仅仅是本发明的一个实施例，并且本发明不局限于前面提到的条件，并且可W 适用于具有其它条件的实施例。
[0407] 图19和20是本发明可W适用于其的实施例，并且是图示改进的编码方法可W适用 于其的编码器和解码器的简略方框图。
[040引图19的编码器1900包括优化器1910、量化单元1920和赌编码单元1930。图20的解 码器2000包括赌解码单元2010、去量化单元2020、反变换单元2030和重建单元2040。
[0409] 参考图19的编码器1900,优化器1910获得优化的变换编码的校正信号。优化器 1910可W使用W下的实施例W便获得优化的变换编码的校正信号。
[0410] 为了图示本发明可W适用于其的实施例，首先，用于重建信号的重建函数可W限 定如下。
[0411] 「A 井GfH
[0412]
[0413] 在公式60中，墓表示重建的信号，C表示解码的变换编码的校正信号，W及y表示上 下文信号。R(c，y)表示使用C和yW便产生重建的信号的重建函数。
[0414] 在当前的实施例中，重建函数可W限定为在预先重建的值和变换编码的校正信号 之间的关系。因此，解码的校正信号不仅影响重建值，而且影响整个重建过程和重建函数的 选择。
[0415] 例如，校正信号可W限定如下。
[0416] [公式 61]
[0417] G = Tc
[0418] 在公式61中，e表示校正信号，C表示变换编码的校正信号，W及T表示变换矩阵。此 夕h在某些情况下，校正信号可W指的是误差信号或者预测误差信号。
[0419] 在运种情况下，重建的信号可W限定如下。
[0420] [公式 62]
[0421]
[0422] 在公式62中，荀1表示重建的信号的第n个分量，e表示校正信号，W及y表示上下文 信号。化表示使用e、y和爱W便产生重建的信号的重建函数。
[0423] 在一个实施例中，重建函数化可W限定如下。
[0424] [公式 63]
[04 巧]
[0426] 在公式63中，Pn表示由参数形成W便产生预测信号的预测函数的类型。
[0427] 该预测函数例如可W是中值函数、级系滤波器和非线性的函数的组合，或者线性 函数的组合。此外，非线性预测函数化O的每个可W是不同的非线性的函数。
[0428] 在本发明的另一个实施例中，量化单元1920可W被包括在优化器1910中，或者优 化器1910可W包括变换单元。
[0429] 在本发明的另一个实施例中，编码器1900和解码器2000可W包括用于选择非线性 预测函数的候选者函数的存储单元。
[0430] 在运种情况下，优化的非线性预测函数可W是从存储在存储单元中的候选函数中 选择出来的。
[0431] 当优化的非线性预测函数如上所述选择时，优化器1910可W使用优化的非线性预 测函数产生优化的预测信号。并且，优化器1910可W基于优化的预测信号产生优化的预测 误差信号，并且可W对优化的预测误差信号执行变换编码。优化器1910可W经由变换编码 输出变换编码的系数。在运种情况下，变换编码的系数可W指的是优化的变换系数。
[0432] 输出的变换系数被发送给量化单元1920。量化单元1920量化该变换系数，并且将 量化的变换系数发送给赌编码单元1930。
[0433] 赌编码单元1930可W对量化的变换系数执行赌编码，并且输出压缩的比特流。
[0434] 图20的解码器2000可W从图19的编码器接收压缩的比特流，可W经由赌解码单元 2010执行赌解码，并且可W经由去量化单元2020执行去量化。在运种情况下，由去量化单元 2020输出的信号可W指的是优化的变换系数。
[0435] 反变换单元2030接收优化的变换系数，执行反变换过程，并且可W经由反变换过 程获得预测误差信号。
[0436] 重建单元2040可W通过将预测误差信号和预测信号相加在一起获得重建的信号。 在运种情况下，参考图19描述的各种实施例可W适用于该预测信号。
[0437] 图21是本发明可W适用于其的实施例，并且是图示改进的视频编码方法的简略流 程图。
[0438] 首先，当在步骤S2110接收到原始视频信号时，编码器可W在步骤S2120将原始视 频信号与可用的重建的信号比较。并且，编码器可W在步骤S2130基于该比较的结果确定校 正信号。
[0439] 在运种情况下，校正信号可W被确定为最小化失真分量和速率分量的总和。失真 分量由在原始视频信号和校正信号之间的总的失真表示，并且速率分量由发送变换编码的 校正信号需要的比特数表示。为了确定校正信号，编码器可W执行解码模拟。
[0440] 本发明可W进一步包括确定用于信号重建的重建函数，并且重建函数包括线性分 量和非线性分量的至少一个。
[0441] 并且，重建函数可W基于所有预先重建的采样和校正信号确定。
[0442] 然后，编码器可W在步骤S2140产生变换编码的校正信号W发送用于信号重建。在 运里，变换编码的校正信号可W乘W去量化矩阵和反变换矩阵，并且其中去量化矩阵可W 选择用于控制比特率和量化误差。
[0443] 此外，变换编码的校正信号可W对应于用于一组图片的校正信号，并且空间与时 间的变换编码可W适用于校正信号。
[0444] 按照本发明的一个实施例，解码器可W接收包括按照本发明获得的变换编码的校 正信号的比特流，可W经由赌解码单元执行赌解码，可W经由去量化单元执行去量化，并且 可W经由反变换单元执行反变换。解码器可W通过对变换编码的校正信号执行反变换获得 校正信号。
[0445] 然后，解码器可W使用重建函数获得重建的信号，重建函数合并获得的校正信号 和上下文信号。在运里，上下文信号可W基于所有预先重建的采样获得。
[0446] 此外，解码器可W确定用于信号重建的重建函数，并且重建函数可W包括线性分 量和非线性分量的至少一个。在运里，重建函数可W基于所有预先重建的采样和校正信号 确定。
[0447] 变换编码的校正信号可W乘W去量化矩阵和反变换矩阵。此外，变换编码的校正 信号可W对应于用于一组图片的校正信号，并且空间与时间的变换编码已经适用于校正信 号。
[0448] 如上所述，本发明可W适用于其的解码器和编码器可W包括在多媒体广播传输/ 接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视照相机、视频聊天装 置、诸如视频通信的实时通信装置、移动流装置、存储介质、摄录一体机、VoD服务提供装置、 因特网流服务提供装置、=维(3D)视频装置、电话会议视频装置，和医学视频装置中，并且 可用于编码视频信号和数据信号。
[0449] 此外，本发明可W适用于其的解码/编码方法可W W由计算机执行，并且可W存储 在计算机可读的记录介质中的程序的形式生成。具有按照本发明的数据结构的多媒体数据 也可W存储在计算机可读的记录介质中。计算机可读的记录介质包括由计算机系统可读的 数据存储在其中的所有类型的存储设备。计算机可读的记录介质例如可W包括BD、USB、 ROM、RAM、CD-ROM、磁带、软盘，和光数据存储设备。此外，计算机可读的记录介质包括W载波 (例如，经由因特网传输)的形式实现的介质。此外，由编码方法产生的比特流可W存储在计 算机可读的记录介质中，或者可W经有线/无线通信网络发送。
[0450] 工业实用性
[0451] 为了说明性的目的已经公开了本发明示范的实施例，并且本领域技术人员可W在 附加的权利要求中公开的本发明的技术精神和范围内改进、变化、替换或者增加各种其它 的实施例。
【主权项】
1. 一种编码视频信号的方法，包括： 接收原始视频信号； 将所述原始视频信号与预先重建的信号比较； 产生校正信号以最小化失真分量和速率分量的总和；以及 熵编码所述校正信号，所述校正信号被发送给解码器用于视频信号重建， 其中，已经通过另外使用缩放对角矩阵反变换所述预先重建的信号。2. 根据权利要求1所述的方法，其中，基于用于在空间域中区分误差的权重的另一个对 角矩阵产生所述校正信号。3. 根据权利要求1所述的方法，进一步包括： 计算包括所述缩放对角矩阵的多个对角矩阵的最佳集合， 其中，基于所述多个对角矩阵的最佳集合产生所述校正信号。4. 根据权利要求3所述的方法，其中，所述多个对角矩阵的最佳集合被编码为侧信息， 并且被发送给解码器。5. 根据权利要求3所述的方法，其中，在编码所述原始视频信号的帧之前编码所述多个 对角矩阵的最佳集合。6. 根据权利要求1所述的方法，其中： 所述失真分量由在所述原始视频信号和重建的信号之间总的失真表示，以及 所述速率分量由发送量化的系数需要的比特数表示。7. -种解码视频信号的方法，包括： 接收包括校正信号的视频信号； 从所述视频信号读取包括多个对角矩阵的侧信息； 通过熵解码所述视频信号获得所述校正信号；以及 基于所述校正信号和所述多个对角矩阵重建信号。8. 根据权利要求7所述的方法，其中，所述多个对角矩阵包括缩放对角矩阵。9. 根据权利要求8所述的方法，进一步包括： 通过另外使用所述缩放对角矩阵对所述校正信号执行反变换。10. 根据权利要求7所述的方法，其中，所述多个对角矩阵包括用于在空间域中区分误 差权重的对角矩阵。11. 根据权利要求所述7的方法，其中，所述校正信号包括最佳系数值，所述最佳系数值 最小化失真分量和速率分量的总和。12. 根据权利要求11所述的方法，其中： 所述失真分量由在所述原始视频信号和重建的信号之间总的失真表示，以及 所述速率分量由发送量化的系数需要的比特数表示。13. 根据权利要求7所述的方法，其中，在解码所述视频信号的帧之前读取所述多个对 角矩阵。14. 一种编码视频信号的装置，包括： 接收单元，所述接收单元被配置为接收原始视频信号； 优化器，所述优化器被配置为将所述原始视频信号与预先重建的信号比较，并产生校 正信号以最小化失真分量和速率分量的总和；以及 熵编码单元，所述熵编码单元被配置为熵编码所述校正信号，所述校正信号被发送给 解码器用于视频信号重建， 其中，已经通过另外使用缩放对角矩阵反变换所述预先重建的信号。15. 根据权利要求14所述的装置，其中，基于用于在空间域中区分误差的权重的另一个 对角矩阵产生所述校正信号。16. 根据权利要求14所述的装置，进一步包括： 优化器，所述优化器被配置为计算包括所述缩放对角矩阵的多个对角矩阵的最佳集 合， 其中，基于所述多个对角矩阵的最佳集合产生所述校正信号。17. 根据权利要求16所述的装置，其中，所述多个对角矩阵的最佳集合被编码为侧信 息，并且被发送给解码器。18. -种解码视频信号的装置，包括： 接收单元，所述接收单元被配置为接收包括校正信号的视频信号，并从所述视频信号 读取包括多个对角矩阵的侧信息； 熵解码单元，所述熵解码单元被配置为通过熵解码所述视频信号获得所述校正信号； 以及 重建单元，所述重建单元被配置为基于所述校正信号和所述多个对角矩阵重建信号。19. 根据权利要求18所述的装置，进一步包括： 反变换单元，所述反变换单元被配置为通过另外使用缩放对角矩阵对所述校正信号执 行反变换。20. 根据权利要求18所述的装置，其中，所述多个对角矩阵包括用于在空间域中区分误 差权重的对角矩阵。
【文档编号】H04N19/13GK105850124SQ201480070463
【公开日】2016年8月10日
【申请日】2014年12月22日
【发明人】阿米尔·赛义德, 奥努尔·格嫩·居莱尔于兹, 芮世薰
【申请人】Lg电子株式会社