使用自适应采样编码和解码视频信号的方法和装置的制造方法

使用自适应采样编码和解码视频信号的方法和装置的制造方法
【专利摘要】此处公开的是一种使用自适应采样编码和解码视频信号的方法。该方法可以包括基于有关解码图片的属性的信息来确定自适应采样速率，以及使用已经应用自适应采样速率的采样来执行内插滤波。自适应采样速率对应于均匀采样速率、降低的采样速率和可变的采样速率中的一个。
【专利说明】
使用自适应采样编码和解码视频信号的方法和装置
技术领域
[0001] 本发明设及用于使用自适应采样编码和解码视频信号的方法和装置，并且更具体 地，设及内插滤波过程中的自适应采样方法。
【背景技术】
[0002] 压缩编译指的是用于经由通信线路发送数字化的信息或者W适用于存储介质的 形式存储数字化的信息的一系列信号处理技术。媒体，诸如视频、图像和语音可W是压缩编 译的对象。尤其是，用于对视频执行压缩编译的技术称作视频压缩。
[0003] 下一代视频内容期待W高空间分辨率、高帖速率、和视频场景表示的高维度为特 色。运样内容的处理将需要存储器、存储器存取速度和处理能力方面很大提升。
[0004] 因此，希望设计解决运些可预见挑战的编译工具W及提供一些解决方案。尤其是， 在现有的视频编译方法中，内插滤波不自适应于局部信号复杂度。因此，存在对在内插滤波 过程中更加有效率的采样方法的需要。

【发明内容】

[0005] 技术问题
[0006] 本发明的实施例是允许设计用于高效压缩的编译工具和降低需要的计算资源。
[0007] 此外，本发明的实施例是在编码或者解码视频信号的过程中应用需要局部自适应 采样的步骤。
[000引此外，本发明的实施例是在视频信号的内插滤波步骤中应用局部自适应采样。 [0009]此外，本发明的实施例是基于编译图片的属性(例如，块大小和图片参数)来确定 自适应采样速率。
[0010]技术方案
[0011] 本发明提供在编译视频信号中的局部自适应采样方法。
[0012] 此外，本发明提供一种在编码或者解码视频信号的过程中应用于需要局部自适应 采样步骤的方法。
[0013] 此外，本发明提供一种经由可W基于编译的图片的属性（例如，块大小和图片参 数)得到的自适应的采样网格来访问用于上采样的图片的采样的方法。
[0014] 此外，本发明提供一种在视频信号的内插滤波步骤中使用局部自适应采样的方 法。
[0015] 此外，本发明提供一种基于有关解码图片的属性的信息来确定自适应采样速率或 者自适应采样样式的方法。
[0016] 此外，本发明提供一种使用已经应用自适应采样速率或者自适应采样样式的像素 来执行内插滤波的方法。
[0017] 此外，本发明提供一种确定包括滤波器支持范围内的均匀采样速率、降低的采样 速率和可变的采样速率中的至少一个的自适应采样速率的方法。
[0018] 此外，本发明提供一种使用在滤波器支持范围内的不同的采样速率来确定可变采 样速率的方法。
[0019] 此外，本发明提供一种具有不同的滤波器支持范围的二维(2D)内插滤波方法。
[0020] 此外，本发明提供一种具有不同的采样速率的2D内插滤波方法。
[0021] 此外，如果基于块边界左侧块的大小与右侧块的大小相同，则本发明提供一种同 等地将自适应采样速率或者自适应采样样式应用于左侧块和右侧块的方法。
[0022] 此外，如果基于块边界左侧块的大小与右侧块的大小不同，则本发明提供一种不 同地将自适应采样速率或者自适应采样样式应用于左侧块和右侧块的方法。
[0023] 此外，本发明提供一种W低频采样或者降低的采样将自适应采样速率或者自适应 采样样式应用于具有更大的大小的块的方法。
[0024] 此外，本发明提供一种通过W速率转换值缩放偏移值应用自适应采样速率的方 法。
[0025] 此外，本发明提供一种基于块边界将速率转换值不同地应用于左侧块和右侧块的 方法。
[0026] 此外，本发明提供一种基于子速率转换偏移值另外调整采样的位置的方法。
[0027] 有益效果
[0028] 本发明可W通过提出局部自适应采样方法允许设计用于高效压缩的编译工具，并 且还可W显著地降低需要的计算资源、存储器需求、存储器存取带宽W及计算复杂度。
[0029] 此外，具有较高编译增益的压缩工具可W通过在确定采样值中除去冗余和噪声来 设计。
【附图说明】
[0030] 图1图示在应用本发明的实施例中被配置成编码视频信号的编码器的示意性框 图；
[0031] 图2图示在应用本发明的实施例中被配置成解码视频信号的解码器的示意性框 图；
[0032] 图3示意地图示在应用本发明的实施例中在用于执行内插滤波的块内的采样位置 之间的关系；
[0033] 图4是图示在应用本发明的实施例中执行应用自适应采样的内插滤波的方法的流 程图；
[0034] 图5图示在应用本发明实施例中应用自适应采样的ID内插滤波，其中图5A图示应 用均匀采样速率的ID内插滤波，图5B图示应用降低的采样速率的ID内插滤波，W及图5C图 示应用可变的采样速率的ID内插滤波；
[0035] 图6图示在应用本发明实施例中用于图示应用自适应采样的滤波的信号和响应特 征，其中图6A图示FIR滤波器的响应特征，图6B图示ID信号的特征，并且图6C图示应用自适 应采样的FIR滤波器的响应特征；
[0036] 图7图示在应用本发明的实施例中用于基于有关编译信号的空间方差的信息得到 自适应滤波器的语法；
[0037] 图8图示在应用本发明的实施例中用于基于变换系数得到自适应滤波器的语法；
[0038] 图9是图示在应用本发明的实施例中执行应用不同的速率参数(RP)值的2D内插滤 波的方法的流程图；
[0039] 图10图示在应用本发明的实施例中应用不同的RP值的2D内插滤波；
[0040] 图11是图示在应用本发明的实施例中执行应用不同的滤波器支持范围的2D内插 滤波的方法的流程图；
[0041] 图12图示在应用本发明的实施例中应用不同的滤波器支持范围的2D内插滤波，
[0042] 图13和14图示在应用本发明的实施例中应用可变的采样速率的2D内插滤波；W及
[0043] 图15图示在应用本发明的实施例中应用降低的采样速率的2D内插滤波；
[0044] 图16示意地图示按照应用本发明的实施例在当执行滤波时使用的块内的采样之 间的位置关系；
[0045] 图17是按照应用本发明的实施例用于执行局部自适应采样的滤波单元的示意性 内部框图；
[0046] 图18和19是应用本发明的实施例，其中图18是图示执行局部自适应采样方法的流 程图，并且图19是图示使用局部自适应采样执行滤波的方法的流程图；
[0047] 图20至22是图示按照应用本发明的实施例基于解码图片的属性信息确定自适应 采样速率的图；
[0048] 图23是图示按照应用本发明的实施例使用局部自适应采样执行滤波的方法的图； W及
[0049] 图24图示按照应用本发明的实施例使用速率转换值和子速率转换偏移值执行采 样的各种示例。
[0050] 最佳模式
[0051] 按照本发明的一个方面，提供一种对视频信号执行内插滤波的方法，包括:基于有 关解码图片的属性的信息确定自适应采样速率，W及使用已经应用自适应采样速率的采样 执行第一内插滤波，其中自适应采样速率对应于均匀采样速率、降低的采样速率和可变采 样速率中的一个。
[0052] 如果自适应采样速率对应于降低的采样速率，则可W基于在滤波器支持范围上均 匀地降低的抽头长度执行第一内插滤波。
[0053] 如果自适应采样速率对应于可变的采样速率，则可W在滤波器支持范围内使用不 同的采样速率执行内插滤波。
[0054] 该方法可W进一步包括使用已经应用第一内插滤波的采样执行第二内插滤波。
[0055] 该方法可W进一步包括在不同的滤波器支持范围内使用由内插滤波生成的采样 执行第二内插滤波。
[0056] 自适应采样速率可W被基于速率转换参数确定。
[0057] 自适应采样速率可W根据内插采样的位置基于距离函数确定。
[0058] 第一和第二内插滤波可W被W不同的采样速率执行，并且第一和第二内插滤波的 采样速率可W被基于速率转换参数确定。
[0059] 有关解码图片的属性的信息可W包括块大小和图片参数中的至少一个。
[0060] 图片参数可W从编码的比特流中获得，或者从解码图片得到。
[0061] 按照本发明的一个方面，提供一种对视频信号执行内插滤波的装置，包括:图片属 性检查单元，该图片属性检查单元被配置成检查解码图片的属性信息；自适应采样单元，该 自适应采样单元被配置成基于解码图片的属性信息确定自适应采样速率；W及内插滤波 器，该内插滤波器被配置成使用已经应用自适应采样速率的采样执行第一内插滤波，其中 自适应采样速率对应于在滤波器支持范围内的均匀采样速率、降低的采样速率或者可变的 采样速率中的一个。
[0062] 内插滤波器被进一步配置成使用已经应用第一内插滤波的采样执行第二内插滤 波。
[0063] 内插滤波器被进一步配置成使用由具有不同的滤波器支持范围的内插滤波生成 的采样执行第二内插滤波。
【具体实施方式】
[0064] 在下文中，参考附图，描述按照本发明的实施例的示例性要素和操作。然而，应该 注意，参考附图描述的本发明的要素和操作被仅仅作为实施例提供，并且本发明的技术精 神W及核屯、配置和操作不受限于此。
[0065] 此外，在本说明书中使用的术语是现在广泛使用的常用术语，但是，在特定的情形 下，使用由本
【申请人】随机地选择的术语。在运样的情况下，相应的术语的含义在相应部分的 详细说明中被清楚地描述。因此，应当注意，本发明不应该被解释为是仅仅基于在本说明书 的相应的描述中使用的术语的名称，并且本发明应该通过检查甚至相应的术语的含义来解 释。
[0066] 此外，在本说明书中使用的术语是被选择来描述本发明的常用术语，但是，如果存 在具有类似含义的运样的术语，可W W用于更合适的分析的其他术语替换。例如，信号、数 据、采样、图片、帖和块可W在每个编译过程中被适当地替换和解释。
[0067] 本发明提出在视频编译中使用本地自适应采样的方法。更具体地说，本发明提供 在用于视频编译的内插滤波步骤中使用本地自适应采样的方法。
[0068] 本发明提供一种经由可W基于编译图片的属性(例如，块大小和图片参数)得到的 自适应采样网格访问用于上采样的图片采样的方法。
[0069] 按照本发明的一个实施例，提供一种执行应用自适应采样的内插滤波的方法。例 如，提出一种应用自适应采样的ID内插滤波方法和2D内插滤波方法。在运种情况下，自适应 采样可W包括均匀采样速率、降低的采样速率和可变的采样速率中的至少一个。
[0070] 更具体地说，本发明提供一种基于有关编译信号的空间方差的信息得到自适应滤 波器的方法。此外，本发明提供一种基于变换系数得到自适应滤波器的方法。在运种情况 下，自适应滤波器可W指的是已经应用自适应采样的滤波器。
[0071] 此外，本发明可W提供一种执行应用不同的RP值的2D内插滤波的方法，和一种执 行应用不同的滤波器支持范围的2D内插滤波的方法。
[0072] 自适应采样速率可W被应用于位于块边界的解码图片的采样。自适应采样速率可 W从有关编译图片的属性(例如，块大小和图片参数)的信息中提取。例如，自适应采样可W 被应用于序列级、条带(slice)级、帖级、图片级、块级、像素级，或者编译相关的单元(例如， 预测单元、变换单元和编译单元)级中的至少一个。
[0073] 因此，本发明可W允许设计用于高效压缩的编译工具，并且还可W降低需要的计 算资源(例如，存储器需求、存储器存取带宽和计算复杂度）。
[0074] 在视频编译中自适应采样的示例如下。
[0075] 跳过模式可W被解释为在时间方向的局部自适应采样。此外，在视频编译中，块分 割可W被解释为用于编译参数、运动信息和编译模式的自适应采样。
[0076] 此外，当执行去块滤波时，无需访问采样数据，在块级执行某些决策过程。运可W 被解释为用于使用编译图片的编译参数(例如，运动信息、编译模式和变换大小）的本地自 适应采样。
[0077] 此外，在序列级自适应分辨率变化也可W被解释为局部自适应采样。在某些应用 中，视频编码器可W选择用于表示视频数据的分辨率，视频数据提供最佳率失真(RD)代价， 并且在编译之前执行视频信号重采样。例如，边信息信令机制（例如，SEI消息）可W被使用 W指定用于重采样解码的视频为原始分辨率的解码器操作。
[0078] 此外，在图片级自适应分辨率变化也可W被解释为本地自适应采样。在某些应用 中，视频编码器可W选择用于表示编译图片的分辨率，编译图片提供最佳率失真(RD)代价， 并且在编译之前执行视频信号重采样。在运样的系统中，解码器在Dro单元或者在参考图片 列表中设置其之前将对每个特定图片执行标准的重采样/分辨率归一化。可缩放的视频编 译系统可W是运样的系统的示例。
[0079] 此外，按照应用本发明的一个实施例，W下的自适应滤波方法可W在用于视频编 译的内插滤波过程中使用。例如，滤波器结构没有变化，但是，滤波器系数可W被自适应地 应用。在运种情况下，滤波器系数可W随时间或者根据滤波器支持范围变化。运样的方法可 W通过实时更新滤波脉冲响应的权重，或者经由并行执行多个滤波或者在多个滤波器之间 切换来执行。此外，自适应滤波方法可W通过自适应地改变滤波器结构来执行。例如，在滤 波器支持范围之间切换是可允许的，或者滤波器支持范围可W水平地和垂直地具有不同的 滤波器抽头长度。
[0080] 下一代视频内容很可能W高空间分辨率、高帖速率、和场景表示的高维度为特色。 运样的视频内容的处理将需要存储器、存储器存取速度和处理能力方面很大的提升。
[0081] 相比之下，运样的高采样速率可能导致在特定的内容中的过采样问题。例如，视频 可WW在重建的数据的质量方面没有损失的较低的采样速率表示。另外，对非常简单的信 号复杂模型的应用可能导致引入噪声分量、处理伪影(adifact) W及压缩效率的损失。
[0082] 因此，为了使下一代视频应用具有合理的计算成本，视频编译系统需要使用多速 率信号处理方法设计。
[0083] 例如，多速率信号处理方法可W使用采样速率转换。运样的方法可W被应用于具 有不同的输入/输出采样速率的系统。
[0084] 运样的采样速率转换可用于解决复杂的多变量优化问题，但是，在视频信号中，由 于复杂度时空变化，所W运样的方法可能不是优选的。
[0085] 因此，如果在处理视频内容时使用局部自适应采样，则计算资源可W被降低，其允 许去设计更有效率的压缩工具。
[0086] 例如，编译图片的自适应分割可W在不相重叠的图片帖（或者块）中使用。运样的 自适应分割包括对编译的视频数据执行基本分析W及选择编译模式的采样。例如，大的块 大小可用于编译低复杂度信号，并且小的块大小可用于编译高复杂度信号。
[0087] 此外，在主要的视频编译工具（例如，MC预测、变换和信令）的情况下，不同的块大 小的分割可W被定义。块可W伴随各自的编译参数(例如，"mv"和"refidx")。
[0088] 然而，因为它们不受选择的块分割大小的影响，所W包括内插、内环滤波(例如，去 块滤波器和采样自适应偏移)和内预测（intra-prediction)模式的大多数的编译工具不具 有来自编译信号的局部信号复杂度的可用的估计的优点。
[0089] 因此，本发明提出在视频编译中使用局部自适应采样的方法。更具体地说，下面描 述在内插滤波步骤中使用局部自适应采样的实施例。
[0090] 图1是按照应用本发明的实施例对视频信号执行编码的编码器的示意性框图。
[0091] 参考图1，编码器100包括变换单元120、量化单元125、去量化单元130、反变换单元 135、滤波单元140、解码图片缓存器(DPB)单元150、间预测单元（inter-prediction unit) 160、内预测单元（intra-prediction unit) 165和赌编码单元170。并且，滤波单元140包括 图片属性检查单元、自适应采样单元和滤波执行单元。
[0092] 编码器100接收输入视频信号，并且通过从输入视频信号中减去由间预测单元160 或者内预测单元165输出的预测信号生成残差信号。生成的残差信号被发送给变换单元 120,并且变换单元120通过将变换方案应用于残差信号生成变换系数。
[0093] 量化单元125量化生成的变换系数，并且将量化的系数发送给赌编码单元170。赌 编码单元170对量化的信号执行赌编码，并且输出结果信号。
[0094] 由量化单元120输出的量化的信号可用于生成预测信号。例如，残差信号可W通过 经由在环内的去量化单元130和反变换单元135将去量化和反变换应用于量化的信号而被 重建。重建的信号可W通过将重建的残差信号增加给由间预测单元160或者内预测单元165 输出的预测信号而被生成。
[0095] 在运样的压缩过程中，块边界出现的伪影(adifact)可能发生，因为邻近块由不 同的量化参数量化。运样的现象被称作块效应，其是可用于人们评估图片质量的因素中的 一个。为了降低运样的非自然信号，可W执行滤波处理。块效应可W经由运样的滤波过程被 除去，并且因此，图片质量可W改善，因为在当前帖中的差错被降低。
[0096] 滤波基本上包括内环滤波和后滤波。后滤波不会对图像解码过程有影响，并且可 W在显示设备中或者由用户选择地使用。因此，后滤波的详细说明在本说明书中被省略。参 考滤波单元140描述内环滤波。滤波单元140可W执行去块滤波或者采样自适应偏移滤波， 或者可W执行去块滤波和采样自适应偏移滤波两者。
[0097] 滤波单元140将滤波应用于重建的信号，并且将滤波的信号输出给播放设备，或者 将滤波的信号发送给DPB单元150。发送给DPB单元150的滤波的信号可W在间预测单元160 中用作参考帖。可W W如上所述的间预测模式使用滤波的帖作为参考帖改善图片质量和编 译效率两者。在运种情况下，滤波计算过程复杂，并且导致频繁的存储器存取，因为滤波单 元140必须加载存储在存储器中的重建的采样，并且再次在存储器中存储滤波的采样，W便 执行滤波。因此，解码器的复杂度增加。因此，在本发明的一个实施例中，设计能够降低解码 器复杂度的编译工具。更具体地说，本发明可W通过在滤波过程中应用局部自适应采样使 得在需要的计算资源方面降低。
[0098] DPB单元150可W存储滤波的帖，W便在间预测单元160中作为参考帖来使用滤波 帖。
[0099] 间预测单元160参考重建的图片执行时间预测和/或空间预测，W便除去时间冗余 和/或空间冗余。在运种情况下，当参考图片被事先编译或者解码时，用于执行预测的参考 图片可W包括块效应或者振铃效应，因为其是已经W块为单位量化或者去量化的信号。
[0100] 因此，为了解决运样的信号的不连续性或者可归因于信号的量化的性能恶化，间 预测单元160可W使用低通滤波器W子像素为单位在像素之间内插信号。在运种情况下，子 像素指的是通过将内插滤波应用于子像素生成的虚拟像素，并且整数像素指的是存在于重 建的图片中的实际像素。内插方法可W包括线性内插、双线性内插和维纳(wiener)滤波器。
[0101] 内插滤波可W被应用于重建的图片W便改善预测精度。例如，间预测单元160可W 通过将内插滤波应用于整数像素生成内插像素，并且将由内插的像素形成的内插块作为预 测块使用来执行预测。本发明的一个实施例提供内插滤波过程中局部自适应采样方法。在 运种情况下，用于内插滤波的采样可W经由自适应采样网格被访问，自适应采样网格可W 基于编译图片的属性(例如，块大小和图片参数)得到。自适应采样网格可W基于自适应采 样速率或者自适应采样样式而确定。
[0102] 此外，在本发明的实施例中，内插滤波可W使用已经应用自适应采样速率或者自 适应采样样式的像素来执行。在运种情况下，自适应采样速率或者自适应采样样式可W包 括在滤波器支持范围内的均匀采样速率、降低的采样速率可变的采样速率中的至少一个。 此外，本发明的一个实施例可W提供具有不同的滤波器支持范围的2D内插滤波方法和具有 不同的采样速率的2D内插滤波方法。
[0103] 内预测单元165参考邻近现在要被编译的块的采样预测当前块。内预测单元165可 W执行W下的处理W便执行内预测。首先，可W准备生成预测信号所需要的参考采样。此 夕h预测信号可W使用准备的参考采样生成。此后，预测模式被编译。在运种情况下，参考采 样可W被准备参考采样的填充和/或参考采样的滤波。参考采样可W包括量化误差，因为其 经历预测和重建处理。因此，为了降低运样的误差，可W对在内预测中使用的每种预测模式 执行参考采样滤波处理。
[0104] 本发明的一个实施例提供一种参考采样滤波处理中的自适应采样方法。在运种情 况下，用于运样的参考采样滤波的采样可W经由自适应采样网格被访问。自适应采样网格 可W基于编译图片的属性(例如，块大小和图片参数)得到。自适应采样网格可W基于自适 应采样速率或者自适应采样样式而被确定。应用于参考采样滤波过程的自适应采样方法也 可W被应用于在本说明书中描述的其他实施例。
[0105] 经由间预测单元160或者内预测单元165生成的预测信号可被用于生成重建的信 号，或者可用于生成差分信号。
[0106] 将在下面更详细地描述运些实施例。
[0107] 图2图示在应用本发明的实施例中被配置成解码视频信号的解码器的示意性框 图。
[0108] 图2的解码器200包括赌解码单元210、去量化单元220、反变换单元225、滤波单元 230、DPB单元240、间预测单元250和内预测单元255。此外，经由解码器200输出的重建的信 号可W显示在显示器上。并且，滤波单元230包括图片属性检查单元、自适应采样单元和滤 波执行单元。
[0109] 解码器200接收由图1的编码器100输出的信号。接收的信号经由赌解码单元210经 历赌解码。去量化单元220使用有关量化步长的信息从赌解码的信号中获得变换系数。反变 换单元225通过反向地变换变换系数获得差分信号。重建的信号通过将获得的差分信号增 加给由间预测单元250或者内预测单元255输出的预测信号而生成。
[0110] 滤波单元230将滤波应用于重建的信号，并且将滤波的信号输出给播放设备或者 DPB单元240。由Dro单元240发送的滤波的信号可W在间预测单元250中被用作参考帖。
[0111] 在本说明书中，参考编码器的滤波单元140、间预测单元160和内预测单元165描述 的实施例也可W被分别同等地应用于解码器的滤波单元240、间预测单元250和内预测单元 255。
[0112] 此外，本发明可W在编码或者解码视频信号的过程中被应用于需要内插滤波的单 J L O
[0113] 例如，滤波单元140/230、间预测单元160/250或者内预测单元165/255中的至少一 个可W包括滤波执行单元，并且滤波执行单元可W包括内插滤波器。
[0114] 图3示意地图示在应用本发明的实施例中被用于执行内插滤波的块内的采样位置 之间的关系。
[0115] 参考图3,大写字母A指示放置在整数像素网格中的整数采样的位置。小写字母a、 6、(3、(1、6^、邑、11、1〇、以11、口、9和4旨示放置在整数像素网格中的内插采样的位置。内插采样 可W在子像素网格上被指示。例如，假设V'被放置在离A 1/4的距离上，并且"b"和V'被放 置在离A 1/2和3/4的相应的距离上。V'、"b"和V'指示在水平方向已经被内插的采样的ID 位置。"d"、节'和V'指示在垂直方向已经被内插的采样的ID位置。V'、吁"、"g"、"i"、"j"、 "k"、V'、V和V指示在水平/垂直方向已经被内插的采样的2D位置。
[0116] 此外，相对于脚注（i，j)，水平地在(0,0)左边上采样的位置可W由（-1,0)指示，并 且水平地在(0,0)右边上采样的位置可W由（1，0)指示。此外，垂直地在(0,0)的顶部上的采 样的位置可W由（〇，-1)指示，并且垂直地在(〇,〇)的底部上的采样的位置可W由（〇，1)指 示。例如，在采样Ao,0的左边上采样的位置可W由A-1,0指示，在采样Ao,0的右边上采样的位置 可W由Ai,o指示，在采样Ao,o的顶部上采样的位置可W由Ao,-i指示，并且在采样Ao,o的底部上 采样的位置可W由Ao,1指示。相同的原理可W被应用于内插采样。
[0117] 图3已经基于1/4像素网格被图示，但是，本发明可W被应用于具有像素精度的各 种类型的网格。
[0118] 在应用本发明的一个实施例中，为了获得子像素单元的运动矢量，在重建的图片 内的子像素位置上的采样需要被经由内插滤波计算。滤波过程可W经由两步的有限冲激响 应(FIR)过程而被执行。在运种情况下，8抽头滤波器可W被应用于在像素网格上1/2子像素 位置处的采样，并且7抽头滤波器可W被应用于在像素网格上1/4子像素位置处的采样。例 如，W下的等式1可W被提供作为用于在子像素位置处内插采样的滤波器系数。
[0119] [等式 1]
[0120] 化F= [-1 4-11 40 40-11 4 U [01 別]QuF= [-1 4-10 58 17-5 U
[0122] 在运种情况下，化F表示被应用于在像素网格上的1/2位置处的采样的FIR滤波器， 并且如F表示被应用于在像素网格上的1/4位置处的采样的FIR滤波器。
[0123] 如在W下的等式2,可W基于子像素位置计算分配给解码图片的整数像素网格的
[0125] 亮度采样。[0124] [等式 2]
[0126]
[0127]
[012 引
[0129]
[0130]
[0131] 如在W下的公式3,可W经由单独的2D滤波计算设置在小数像素位置上的亮度采 样和没有分配给整数像素网格的亮度采样。
[0132] [等式 3]
[0133]
[0134]
[0135]
[0136]
[0137]
[013 引
[0139]
[0140]
[0141]
[0142] 图4是图示在应用本发明的实施例中执行应用自适应采样的内插滤波的方法的流 程图。
[0143]首先，自适应义样速率可W在步骤S410基于有关解码图片的属性的f目息而被确 定。在运种情况下，自适应采样速率可W对应于均匀采样速率、降低的采样速率和可变的采 样速率中的至少一个。
[0144] 此外，内插滤波可W在步骤S420使用已经应用自适应采样速率的采样而被执行。
[0145] 例如，如果自适应采样速率对应于降低的采样速率，则内插滤波可W基于滤波器 支持范围的降低的抽头长度而被执行。
[0146] 对于另一个示例，如果自适应采样速率对应于可变的采样速率，则内插滤波可W 使用不同的采样速率而被执行。例如，=个采样速率全部都可W被应用于最初的N个抽头， 并且降低的采样速率可W被应用于接下来的M个抽头。
[0147] 图5图示在应用本发明的实施例中应用自适应采样的ID内插滤波。
[0148] 在本发明的实施例中，引入在滤波器支持范围内局部自适应采样方法W便计算在 子像素位置上的采样值。用于访问在整数像素网格上的采样的采样速率或者采样样式可W 基于编译图片的属性(例如，分割或者块大小和图片参数)得到。
[0149] 参考图5,白色圆圈指示设置在内插的图片的整数像素网格中的内插采样。白色圆 圈可被用于计算W黑色交叉的圆圈掩蔽的内插滤波的采样的位置。黑色交叉的圆圈指示已 经经历2D内插滤波的内插采样的位置。实线矩形块指示在水平方向中ID滤波器支持范围。
[0150] 在图5中图示的滤波器支持范围仅是一个实施例，并且其不指示全部滤波器支持 范围。
[0151] 图5A图示应用均匀采样速率的ID内插滤波。
[0152] 例如，图5A图示W均匀采样速率对滤波器支持范围执行巧由头长度的ID滤波。运可 W如在W下的等式4中所表示的。
[0153] [等式 4]
[0154]
[0155] 在等式4中，水平滤波器HF表示N抽头滤波器的脉冲响应，Xi表示设置在整数像素 网格中的内插采样，并且y表示经由内插滤波获得的内插采样。
[0156] 图5B图示应用降低采样速率的ID内插滤波。
[0157] 参考图5B，降低的采样速率可W指降低的抽头长度，例如，4抽头而不是7抽头在相 同的滤波器支持范围内被使用。运样的内插滤波器可W被应用于具有朝向缓慢变化的趋势 的平滑图片片段范围。运可W如在W下的等式5中所表示的。
[015引[等式引
[0159]
[0160] 图5C图示应用可变的采样速率的ID内插滤波。
[0161] 从图5c中，可W看到可变的采样速率在相同的滤波器支持范围内被应用。例如，= 个采样速率全部都可W被应用于最初的N个抽头，并且在滤波器支持范围被保持的同时，降 低的采样速率可W被应用于接下来的M个抽头。
[0162] 最初的N个抽头被应用于=个采样速率全部的采样，并且接下来的M个抽头被应用 于降低的采样速率的采样。运可W如在W下的等式6中所表示的。
[0163] 「空才 Rl
[0164]
[0165] 当对对象边缘或者设置在背景中的边缘执行滤波时，运样的内插滤波器可W被使 用。在图5C的情况下，最初的N个抽头可W被应用于具有复杂结构的信号，并且接下来M个抽 头可W被应用于具有更小复杂结构的信号。
[0166] 图6图示在应用本发明的实施例中用于图示应用自适应采样的滤波的信号和响应 特征。图6A图示FIR滤波器的响应特征，图6B图示ID信号的特征，和图6C图示已经应用自适 应采样的FIR滤波器的响应特征。
[0167] 参考图6A，FIR滤波器的响应可W如在W下的等式7中所表示的。
[0168] [等式7]
[0169] HF= [12,-43,159,159,-43,121/256
[0170] 为了描述的方便起见，在等式7中滤波器系数指示它们已经被256个因子非归一 化。
[0171] 图6B图示输入信号的相应的采样位置的特征。运可W如在W下的等式8中所表示 的。
[0172] [等式引
[0173] X= [140,85,142,128,128,128]
[0174] 从图6B中，可W看到在采样1、2和3中出现的输入信号的特征不同于在采样4、5和6 中出现的。也就是说，较低的采样速率可W被应用于采样4、5和6,因为在采样4、5和6中信号 的变化小。因此，可W如W下的等式9获得自适应滤波器响应HFsa。
[0175] [等式 9]
[0176] HFsa= [12,-43,159,0,128,01/256
[0177] 可W如W下的等式10执行在等式6中的滤波过程。
[017引[等式10]
[0179] y = HFi*xi+HF2*X2+HF3*X3+HF5*X5
[0180] 此外，在等式10的实施例中，虽然二个滤波器的卷积化F*HFsa)被应用于输入信号 V'，但可W获得相同的滤波器响应。
[0181] 在应用本发明的另一个实施例中，针对不同的采样速率的滤波器的冲激响应可W 事先地定义。运样的示例可W包括去块滤波器。通常，去块滤波器可W被应用于块边界。例 如，半个冲激响应可W被应用于块A，并且另一半可W被应用于块B。
[0182] 在应用本发明的另一个实施例中，相对于滤波器支持范围的针对不同的采样速率 的滤波器冲激响应可W基于信号参数或者语法元素来计算。例如，在具有用于滤波器抽头 的各种特征的信号的情况下，不同的采样速率可W被应用于滤波器支持范围。
[0183] 在应用本发明的另一个实施例中，滤波器响应可W基于滤波的采样的值或者空间 与时间上互相邻近的采样的值得到。
[0184] 图7图示在应用本发明的实施例中用于基于有关编译信号的空间方差的信息得到 自适应滤波器的语法。
[0185] 滤波器响应可W基于从比特流中提取的语法元素获得。例如，自适应滤波可W基 于指示有关编译信号的空间方差的信息而被执行。例如，可W使用codetsub_block_flag、 LastSignif icantCoeffX和LastSignif icantCoeffY。
[0186] 参考图7,首先，在步骤S710上，如果当前的预测模式是内模式（intra mode),并且 内预测模式是1，则可W检查coded_sub_block_f lag。在运种情况下，coded_sub_block_ flag是在当前变换块内的位置（xS，yS)上用于获得与子块的变换系数幅值（transform coefficient level)相关的信息的标记。
[0187] 如果在步骤S720上coded_sub_block_f lag对于所有(xS，yS)! = (0,0)等于0,则可 W 检查 LastSi 即 if icantCoeffX和 LastSi 即 if icantCoeff Y的值。
[0188] 在运种情况下，如果(XastSignificantCoeffX,LastSignificantCoeffY)在步骤 S730上等于(0,0)，则可W在步骤S740上使用已经应用自适应采样的滤波器，诸如等式9。
[0189] 如果(XastSignif icantCoeffX，LastSignificantCoeffY)在步骤 S750 上不等于 (〇,〇)，则可W在步骤S760上使用滤波器，诸如等式7。
[0190] 图8图示在应用本发明的实施例中用于基于变换系数得到自适应滤波器的语法。
[0191] 滤波器响应可W基于从比特流中提取的语法元素 W及设置在块边界上的变换单 元的解码或者得到的变换系数值而获得。例如，可W使用codetsub_block_f lag和 transf ormBlockl! j ] [ i ]。
[0192] 参考图8,首先，在步骤S810上，如果当前的预测模式是内模式，并且内预测模式是 I，则可W检查coded_sub_block_f lag。在运种情况下，coded_sub_block_f lag是在当前变 换块内的位置(xS，yS)上用于获得与子块的变换系数幅值相关的信息的标记。
[0193] 如果在步骤S820上coded_sub_block_f lag对于所有(xS，yS)! = (0,0)等于0,则可 W 检查 transformBlockl! j ] [ i ]的值。
[0194] 在运种情况下，如果在步骤S830上hansformBlockl! j] [i]对于所有（j，i)! = (0， 0)等于0,则可W在步骤S840上使用已经应用自适应采样的滤波器，诸如等式9。
[01巧]如果在步骤S850上transformBlock[ j ] [ i]对于所有（j，i)! = (0，0)不等于0，则可 W在步骤S860上使用滤波器，诸如等式7。
[0196] 图9是图示在应用本发明的实施例中执行应用不同的速率参数(RP)值的2D内插滤 波的方法的流程图。
[0197] 首先，自适应采样速率可W在步骤S910上基于有关解码图片的属性的信息而被确 定。在运种情况下，自适应采样速率可W对应于均匀采样速率、降低的采样速率和可变的采 样速率中的至少一个。
[0198] 此外，第一内插滤波可W在步骤S920上使用已经应用自适应采样速率的采样而被 执行。
[0199] 例如，如果自适应采样速率对应于降低的采样速率，则内插滤波可W基于滤波器 支持范围的降低的抽头长度而被执行。
[0200] 对于另一个示例，如果自适应采样速率对应于可变的采样速率，则内插滤波可W 使用不同的采样速率而被执行。例如，=个采样速率全部可W被应用于最初的N个抽头，并 且降低的采样速率可W被应用于接下来的M个抽头。
[0201] 此后，第二内插滤波可W在步骤S930上使用已经应用第一内插滤波的采样而被执 行。例如，第一内插滤波可W是在水平方向的内插滤波，并且第二内插滤波可W是在垂直方 向的内插滤波。
[0202] 图10图示在应用本发明的实施例中应用不同的RP值的2D内插滤波。
[0203] 本发明的一个实施例提供在滤波器支持范围内局部自适应采样方法W便计算在 子像素位置上的采样值。用于访问在整数像素网格上采样的采样速率或者采样样式可W基 于编译图片的属性(例如，分割或者块大小和图片参数)得到。
[0204] 参考图10,白色圆圈指示设置在内插的图片的整数像素网格中的内插采样。白色 圆圈可用于计算W黑色交叉的圆圈掩蔽的内插滤波的采样的位置。黑色交叉的圆圈指示已 经经历2D内插滤波的内插采样的位置。实线矩形方块指示在水平方向的ID滤波器支持范 围，并且相对于在水平方向从第一内插滤波中获得的内插采样，虚线矩形方块指示在垂直 方向的ID滤波器支持范围。在图10中图示的滤波器支持范围仅是一个实施例，并且其不指 示所有滤波器支持范围。
[0205] 图10和11图示使用两种类型的单独的2D滤波的内插实施例。两种类型的单独的2D 滤波可W使用两个步骤趋近方法而被执行。在第一步骤中，可W在水平方向对在滤波器支 持范围（即，实线矩形方块）内的采样执行財由头滤波。滤波的采样可被用于在垂直方向计算 内插采样。
[0206] 在第二步骤中，可W在垂直方向对在滤波器支持范围（即，虚线矩形方块）内的内 插采样执行M抽头滤波。滤波的采样可被用于计算在整数像素网格中不存在的像素位置上 的采样的值。
[0207] 在本发明的一个实施例中，在原始像素网格中的采样可W基于自适应采样速率被 访问。例如，自适应采样速率可W基于速率转换参数(在下文中，称作"RP")被确定。
[0208] 从图10中，可W看到不同的采样速率在相同的滤波器支持范围中被水平地应用。 例如，具有7抽头长度的滤波器可W被应用于设置在相同的水平方向中的采样，并且具有4 抽头长度的滤波器可W被应用于该采样。运可W如在W下的等式11中所表示的。
[0209] 「望古111
[0210]
[0211] 在等式11中，V門表示在垂直方向应用于滤波的滤波系数，并且HFw表示在水平方 向应用于滤波的滤波系数。V'表示在垂直方向中RP的值，并且"护表示在水平方向中RP的 值。应用等式11的内插滤波被应用于2D信号V'，并且（j，i)表示采样、,1的空间坐标。如果 滤波被在垂直方向执行，则单独的滤波器可W被应用于每个列。
[0212] 图11是图示在应用本发明的实施例中执行应用不同的滤波器支持范围的2D内插 滤波的方法的流程图。
[0213] 本发明的一个实施例提供用于执行应用不同的滤波器支持范围的内插滤波的自 适应采样方法。
[0214] 首先，自适应采样速率可W在步骤SlllO上基于有关解码图片的属性的信息而被 确定。在运种情况下，自适应采样速率可W对应于均匀采样速率、降低的采样速率和可变的 采样速率中的至少一个。
[0215] 此外，第一内插滤波可W在步骤S 1120上使用已经应用自适应采样速率的采样而 被执行。在运种情况下，可W在水平方向对具有不同的滤波器支持范围的采样执行第一内 插滤波。在运种情况下，滤波器支持范围可W基于速率转换参数值而被确定。例如，不同的 滤波器支持范围可W基于不同的速率转换参数而被确定。
[0216] 此后，可W在步骤S1130使用属于已经应用第一内插滤波并且具有不同的滤波器 支持范围的采样的采样执行第二内插滤波。在运种情况下，第一内插滤波可W是在水平方 向的内插滤波，并且第二内插滤波可W是在垂直方向的内插滤波。
[0217] 图12图示在应用本发明的实施例中应用不同的滤波器支持范围的2D内插滤波。
[0218] 图12图示一个执行应用不同的滤波器支持范围的2D内插滤波的实施例。
[0219] 参考图12,白色圆圈、黑色交叉圆圈和黑色圆圈与参考图10描述的那些相同。此 夕h实线矩形方块和虚线矩形方块也与参考图10描述的那些相同。同样地，在图12中图示的 滤波器支持范围仅是实施例，并且它们不指示所有滤波器支持范围。
[0220] 在应用本发明的实施例中，如果当访问采样时应用不同的速率转换参数(RP)值， 则滤波器支持范围可W被有效地改变。运可W如在W下的等式12中所表示的。
[0221 ] 「隹才 191
[0222]
[0223]在等式12中，V門表示在垂直方向应用于滤波的滤波系数，HFw表示在水平方向中 应用于滤波的滤波系数，并且e表示在水平方向中RP的值。应用等式12的内插滤波被应用于 2D信号V'，并且（j，i)表示采样、,1的空间座标。如果滤波被在垂直方向应用，则独立的滤 波器可W被应用于每个列。
[0224] 图13和14图示在应用本发明的实施例中应用可变的采样速率的2D内插滤波。
[0225] 对于在图13和14中图示的符号的描述，可W参考图12给出的描述。
[0226] 在本发明的一个实施例中，引入在滤波器支持范围内的局部自适应采样方法W便 计算在子像素位置上的采样值。用于访问在整数像素网格上采样的采样速率或者采样样式 可W基于编译图片的属性(例如，分割或者块大小和图片参数)得到。
[0227] 参考图13和14,应用本发明的自适应采样速率可W根据内插采样的位置基于距离 函数来确定。
[02%]在其它的实施例中，图13和14图示已经应用可变的采样速率的2D滤波。在运种情 况下，可变的采样速率可W根据内插像素（由黑色圆圈指示）的位置由距离函数表示。运可 W如在W下的等式13中表示的。
[0229] 「隹才 1 Q1
[0230]
[0231] 在等式13中，V門表示在垂直方向应用于滤波的滤波系数，并且HFw表示在水平方 向应用于滤波的滤波系数。V'表示在垂直方向上RP的值，并且"护表示在水平方向上RP的 值。应用等式13的内插滤波被应用于2D信号V'，并且（j，i)表示采样、,1的空间坐标。如果 滤波被在垂直方向执行，则独立的滤波器可W被应用于每个列。
[0232] 图15图示在应用本发明的实施例中应用降低的采样速率的2D内插滤波。
[0233] 对于在图15中图示的符号的描述，可W参考图12给出的描述。
[0234] 在本发明的一个实施例中，引入在滤波器支持范围内的局部自适应采样方法W便 计算在子像素位置上的采样值。参考图15,降低的采样速率可W在水平方向被应用。
[0235] 首先，自适应采样速率可W基于有关解码图片的属性的信息来确定。在运种情况 下，自适应采样速率可W是降低的采样速率。此外，可W使用已经应用降低的采样速率的采 样执行第一内插滤波。参考图15,可W基于降低的抽头长度对滤波器支持范围执行第一内 插滤波。此外，降低的抽头长度可W基于速率转换参数(RP)值来确定。
[0236] 此后，可W使用已经应用第一内插滤波的采样执行第二内插滤波。在运种情况下， 自适应采样可W当执行第二内插滤波时被应用。例如，自适应采样速率可W对应于均匀采 样速率、降低的采样速率和可变的采样速率中的至少一个。
[0237] 如在图15中图示的，已经在水平方向应用降低的采样速率的2D滤波可W如在W下 的等式14中所表示的。
[023引「坐/11
[0239]
[0240] 在等式14中，V門表示在垂直方向应用于滤波的滤波系数，并且HFw表示在水平方 向应用于滤波的滤波系数。e表示在水平方向上RP的值。应用等式14的内插滤波被应用于2D 信号V'，并且(j，i)表示采样、,1的空间坐标。如果滤波被在垂直方向应用，则独立的滤波 器可W被应用于每个列。
[0241] 在另一个实施例中，自适应采样速率可W在水平、垂直或者带有角度的方向被应 用于滤波。例如，可W使用在内预测中应用的方向。
[0242] 在另一个实施例中，自适应采样速率可W在时间方向上被应用于滤波。例如，自适 应采样速率可W被应用于仿射运动补偿或者时间上采样。
[0243] 在另一个实施例中，在水平、垂直或者带有角度的方向，或者在它们的组合的方向 应用的速率转换参数(RP)的值可W基于解码图片的视频信号的局部参数来确定，解码图片 经由编码器和解码器空间与时间上互相邻近。例如，局部参数可W包括块分割、编译模式、 运动信息、转换类型和解码的采样值。
[0244] 在另一个实施例中，相同的采样速率可W被应用于输入数据和滤波器脉冲响应。 在运样的情况下，可W对输入数据有效地执行稀疏滤波。此外，特定滤波系数可W被设置为 0。
[0245] 在另一个实施例中，不同的采样速率可W被应用于输入数据和滤波器脉冲响应。 如果滤波器的采样速率大于输入数据的采样速率，则输入数据的滤波器支持范围可W增 加。相比之下，如果滤波器的采样速率小于输入数据的采样速率，则其可能导致用于输入数 据的降低的滤波器支持范围。
[0246] 在另一个实施例中，滤波器的脉冲响应可W被减弱W便满足输入数据的采样速 率。例如，窗函数可W经由拉伸、内插和/或外推被应用于脉冲响应。
[0247] 在另一个实施例中，用于特定采样速率的自适应脉冲响应函数可W经由特定过程 或者语法元素由解码器或者编码器得到。
[0248] 在另一个实施例中，内插滤波可W包括控制输入数据的采样速率或者滤波器脉冲 响应或者控制滤波器支持范围，W便执行围绕内插的位置的邻近空间的分析，并且将有关 局部复杂信号的信息合并进内插滤波。
[0249] 在另一个实施例中，可变的采样速率和/或可变的抽头长度/自适应滤波系数可W 基于视频信号的复杂度测量值被应用于自适应滤波器。
[0250] 图16示意地图示按照应用本发明的实施例在当执行滤波时使用的块内的采样之 间的位置关系。
[0251] 在视频编译中的去块滤波可W主要地被划分为分析阶段和滤波阶段。
[0252] 在分析阶段中，可W通过参数集来建立解码图片的编译伪影的模型，参数集与有 限抽头长度的ID表示和伪影特征估计相关。例如，如在图16中图示的，基于块的纵向边界的 左侧块和右侧块中的每个的四个采样可W被使用。此外，在采样数据处理和伪影建模阶段 的确定被基于特定的去块类型和去块滤波器的参数执行。
[0253] 块伪影可W出现在纵向边缘和横向边缘两者中。因此，可W首先对属于现在在水 平方向重建的图片的块边界的纵向边缘执行滤波，并且然后可W对属于现在重建的图片的 块边界的横向边缘执行滤波。在本说明书中，已经图示对纵向边缘水平地执行滤波的实施 例，但是，该实施例可W同样地被应用于横向边缘的滤波。运样的滤波的顺序也不局限于W 上所述的示例。
[0254] 参考图16,在左侧上的采样位置可W被定义为p0、pl、p2和p3,并且在右侧上的采 样位置基于纵向边界可W被定义为q〇、ql、q2和q3。此外，脚注表示采样的行标识符。例如， 在第一行中左侧块P的采样位置可W被定义为P〇o、plo、p2o和p3o,并且右侧块Q的采样位置 可W被定义为q〇〇、ql〇、q2o和q3o(1610)。同样地，在第四行中左侧块P的采样位置可W被定 义为P〇3、pl3、p23和p33,并且右侧块Q的采样位置可W被定义为q〇3、ql3、q2沸q33(1620)。
[0255] 分析阶段需要使用各种编译参数，诸如编译模式、编译的残差信号、运动信息W及 在块边界上实际的采样。
[0256] 分析阶段可W被认为是去块滤波的复杂的部分，并且需要访问各种编码参数，诸 如编译模式（内（intra)或者间（inter))、编译的残差、运动信息（运动矢量和参考索引）W 及在块边界上实际的采样。
[0257] 由于运样的参数的某些存在于块级，所W滤波的复杂度将遵循用于编译当前的图 片的块分割。运样的处理的示例可W包括边界强度(BS)的推导。
[0258] 较少复杂的视频信号将W较大的块大小表示，因此更少的参数从存储器取得，并 且用于去块处理。例如，简单的内容很可能W大的块来编译，并且复杂的内容很可能W大量 的小块来编译。
[0259] 因此，滤波的复杂度可W通过基于有关分割和/或每个块的编译模式的信息应用 局部自适应采样，而不是当执行滤波时，将固定方式应用于所有块来降低。
[0260] 图17是按照应用本发明的实施例的用于执行局部自适应采样的滤波单元的示意 性内部框图。
[0%1]滤波单元140、230包括图片属性检查单元1710、自适应的采样单元1720和滤波执 行单元1730。
[0262] 滤波单元140、230可W首先在水平方向对用于每个宏块的纵向边缘执行滤波，然 后在垂直方向对横向边缘执行滤波。在一些实施例中，滤波单元140、230可W对在图片单元 中现在重建的图片的所有块边界的纵向边缘执行滤波，并且对图片的所有块边缘的所有横 向边缘执行滤波，但是本发明不受限于此。
[0263] 首先，图片属性检查单元1710可W检查解码图片的属性信息。例如，解码图片的属 性信息可W包括块大小、图片参数等等。该图片参数可W是包括在比特流中并且发送的信 息，或者可W是从解码器得到的信息。但是，本发明不受限于此。例如，解码的数据的属性信 息可W在不同的级别上被定义，例如，SPS(序列参数集）、PPS(图片参数集）、条带(slice)或 者LCU(最大编译单元)等等。因此，自适应采样速率和/或自适应采样样式可W基于在不同 的级别上被W信号发送或者得到的参数来确定。
[0264] 自适应采样单元1720可W基于从图片属性检查单元1710接收的属性信息确定自 适应采样速率和/或自适应采样样式。
[0265]例如，自适应的义样单兀1720可W基于W块边界为基础的左侧块的大小和右侧块 的大小确定自适应采样速率和/或自适应采样样式。例如，如果左侧块的大小与右侧块的大 小相同，则自适应采样单元1720可W同等地将自适应采样速率和/或自适应采样样式应用 于左侧块和右侧块。
[0266]对于另一个示例，如果左侧块的大小不同于右侧块的大小，则自适应采样单元 1720可W不同地将自适应采样速率和/或自适应采样样式应用于左侧块和右侧块。例如，自 适应采样单元1720可W对具有较大的块大小的块应用低频采样，或者可W对具有较大的块 大小的块应用降低的采样。
[0267] 同时，要滤波的采样的位置可W基于块边界由用于右侧块的最左像素的相对位置 寻址。此外，自适应采样速率可W通过W速率转换值缩放偏移来确定，并且速率转换值可W 基于块边界被不同地应用于左侧块和右侧块。
[0268] 此外，要滤波的采样的位置可W基于子速率转换偏移值被另外调整。
[0269] 滤波执行单元1730可W通过应用由自适应采样单元1720确定的自适应采样速率 和/或自适应采样样式执行滤波。也就是说，滤波执行单元1730可W使用已经应用自适应采 样速率和/或自适应采样样式的采样执行滤波。
[0270] 图18和19是应用本发明的实施例，其中图18是图示执行局部自适应采样的方法的 流程图，而图19是图示使用局部自适应采样执行滤波的方法的流程图。
[0271] 在本发明的一个实施例中，首先，为了确定是否去执行滤波，解码图片的属性信息 可W在步骤S1810上被检查。
[0272] 例如，解码图片的属性信息可W包括编译块大小、预测块大小、变换块大小、分割 的块大小、编译模式和编译参数中的至少一个。
[0273] 自适应采样速率和/或自适应采样样式可W在步骤S1820上基于解码图片的检查 的属性信息来确定。
[0274] 例如，自适应采样速率和/或自适应采样样式可W基于W块边界为基础的左侧块 的大小和右侧块的大小来确定。如果左侧块的大小与右侧块的大小相同，则自适应采样速 率和/或自适应采样样式可W同等地被应用于左侧块和右侧块。
[0275] 如果左侧块的大小不同于右侧块的大小，则自适应采样速率和/或自适应采样样 式可W被不同地应用于左侧块和右侧块。例如，低频采样可W被应用于具有较大的块大小 的块，或者降低的采样可W被应用于具有较大的块大小的块。
[0276] 如上所述，在自适应采样速率和/或自适应采样样式被确定之后，可W在步骤 S1830上使用已经应用自适应采样速率和/或自适应采样样式的采样执行滤波。
[0277] 例如，参考图19,当在步骤S1910上要滤波的采样通过应用自适应采样速率和/或 自适应采样样式被确定时，可W在步骤S1920上通过将有限冲激响应(FIR)滤波应用于采样 来计算偏移值。在运种情况下，可W在步骤S1930上W计算的偏移值来替换采样值。
[0278] 此外，滤波的采样的值可W在步骤S1950上通过在步骤S 1940上将限幅函数应用 于计算的偏移值而获得。
[0279] 图20至22是图示按照应用本发明的实施例基于解码图片的属性信息确定自适应 采样速率的图。
[0280] 本发明提出在滤波阶段的局部自适应采样方法。局部自适应采样方法可W基于解 码图片的属性信息来确定。例如，自适应采样速率和/或自适应采样样式可W根据基于块边 界的左侧块的大小和右侧块的大小来确定。在运种情况下，自适应采样速率和/或自适应采 样样式可W由采样的数目和采样之间的间隔中的至少一个来定义。
[0281] 在图20的实施例中，如果左侧块P的大小与右侧块Q的大小相同，则自适应采样速 率和/或自适应采样样式可W被同等地应用于左侧块P和右侧块Q。
[0282] 参考图20,如果基于块边界的邻近块的大小是相同的，则在左侧块P内使用的采样 的数目可W与在右侧块Q内使用的采样的数目相同。此外，在左侧块P内使用的采样之间的 间隔可W与在右侧块Q内使用的采样之间的间隔相同。
[0283] 在图21和22的实施例中，如果左侧块P的大小与右侧块Q的大小不相同，则自适应 采样速率和/或自适应采样样式可W被不同地应用于左侧块P和右侧块Q。
[0284] 参考图21，如果左侧块P的大小大于右侧块Q的大小，则相对低频采样可W被应用 于左侧块P。在运种情况下，低频采样可W基于经历编译的视频信号的复杂度估计来确定。 并且，低频采样可W被随机地确定，或者可W基于块的相对大小被应用。
[02化]例如，在图21中，如果左侧块P的大小是32 X 32,并且右侧块Q的大小是16 X 16,贝。 在要滤波的左侧块P的采样之间的间隔可W是在要滤波的右侧块Q的采样之间的间隔的两 倍，并且要滤波的左侧块P的采样的数目和要滤波的右侧块Q的采样的数目可W是相同的， 其是4。
[0286] 参考图22,如果左侧块P的大小大于右侧块Q的大小，则相对降低的采样可W被应 用于左侧块P。在运种情况下，降低的采样可W基于经历编译的视频信号的复杂度估计来确 定。并且，降低的采样可W被随机地确定，或者可W基于块的相对大小被应用。
[0287] 例如，在图22中，如果左侧块P的大小是32X32,并且右侧块Q的大小是16X16，贝リ 要滤波的左侧块P的采样的数目可W是要滤波的右侧块Q的采样的数目的1/2,并且在要滤 波的左侧块P的采样之间的间隔可W是在要滤波的右侧块Q的采样之间的间隔的四倍。也就 是说，要滤波的左侧块P的采样的数目可W是二个，也就是说，PO和P2,并且要滤波的右侧块 Q的采样的数目可W是四个，也就是说，q〇、ql、q2和q3。
[0288] 图23是图示按照应用本发明的实施例使用局部自适应采样执行滤波的方法的图。
[0289] 参考图23,假设基于纵向边界，在左侧上的采样位置是p0、pl、p2和p3,并且在右侧 上的采样位置是qO、ql、q2和q3，并且do、dl、d2、d3、d4和d5是替换设置在相应的采样位置上 的像素值的偏移值。例如，在图23中，偏移值d0、dl和d2可W替换设置在左侧块P的采样位置 p2、pl、p0上的各自的像素值I(p2)、I(pl)和1(9〇)，并且偏移值(13、(14和(15可^替换设置在 右侧块Q(2300)的采样位置q0、ql和q2上的各自的像素值I(qO)、I(ql)和I(q2)。
[0290] 偏移值(10、(11、(12、(13、(14和(15可^通过应用有限冲激响应巧11〇滤波来计算，诸如 W下的等式15。
[0291] [等式 15]
[0292] do =((巧I(p3)+3*I(p2)+I(pl)+I(pO)+I(qO)+4)>>3);
[0 巧 3] dl = ((I(p2+I(p2)+I(p3)+I(p4)+2)>>2)；
[0294] d2 = ((I(p2)+^I(pl)+^I(pO)+^I(qO)+I(ql)+4)>>3);
[02M] d3 = ((I(pl)+^I(pO)+^I(qO)+^I(ql)+I(q2)+4)>>3);
[0296] d4=((I(pO)+I(qO)+I(ql)+I(q2)+2)>>2)；
[0297] d5 = ((I(pO)+I(qO)+I(ql)+3*I(q2)+巧 I(q3)+4)>>3);
[0298] 在等式15中应用的有限冲激响应(FIR)滤波器仅是一个实施例，并且本发明不受 限于此。
[0299] 如果偏移值do~d5被使用等式15计算，诸如等式16的限幅函数可W被应用，W便 替换相应的采样位置p2~p0，q0~q2。
[0300] [等式 16]
[0301] I(p2)=Clip3(A，A'，d0);
[0302] I(pl)=Clip3(B，B'，dl);
[0303] I(p〇)=Clip3(C，C'，d2);
[0304] I(q〇)=Clip3(D，D'，d3);
[0305] I(ql)=Clip3(E，E'，d4);
[0306] I(q2)=Clip3(F，F'，d5);
[0307] 在运种情况下，A~F和A'~F'由采样p3~q3的上和下动态范围边界指示。也就是 说，偏移值do~d5在分别地包括A和A'、B和B'、…、F和F'的范围内收敛。在运样的情况下，通 过滤波替换的采样值的范围被局限于上限值A~F和下限值A'~F'。上限值A~F和下限值A' ~F'可W基于左侧块P和右侧块Q的量化参数来确定。例如，如果量化参数具有大的值，则由 上限值A~F和下限值A'~F'确定的范围可W增加。
[0308] 同时，采样位置p3~q3可W基于块边界由相对位置来确定。例如，采样位置p3~q3 可W基于块边界由用于右侧块Q的最左像素的相对位置寻址。可W使用右侧块Q的最左像素 顺序地将空间采样位置p3~q3识别为参考位置。
[0309] 假设解码图片的行被表示为"piSrc"，则右侧块Q的最左像素被作为"piSrc[0r给 出。如果由原始像素网格指示的偏移是1，则采样位置p3~q3可W被给出如下。
[0310] [等式 17]
[0311] p3 = piS;rc[-0ffse1:*4];
[0312] p2 = piS;rc[-0ffse1:*3];
[0313] pi =piS;rc[-0ffse1:*2];
[0314] pO = piSrc[-0ffset]；
[0315] q0 = piSrc[0]；
[0316] ql =piSrc[0ffset]；
[0317] q2 = piSrc[0ffset巧];
[0318] q3 = piSrc[0ffset*3]；
[0319] 在本发明的某些实施例中，采样位置p3~q3可W W局部自适应采样速率寻址。例 如，局部自适应采样速率可W如在W下的等式18中通过W速率转换(RP)值缩放偏移值来执 行。
[0320] [等式 18]
[0321] p3 = piSrc[-0ffse 巧 RP*4];
[0322] p2 = piSrc[-0ffse 巧 RP*3];
[0323] pl=piSrc[-0ffse 巧 RP巧];
[0324] p0 = piS;rc[-0ffse1:*RP];
[0325] q0 = piSrc[0]；
[0326] ql =piSrc[Offset*RP]；
[0327] q2 = piSrc[0ffset*RP巧];
[032引 q3 = piSrc[0ffset*RP*3];
[0329] 在等式18中，RP表示速率转换值。
[0330] 在本发明的某些实施例中，不同的RP值可W基于块边界被应用于左侧块P和右侧 块Q。例如，应用于左侧块P的速率转换值可W被定义为RPL(左侧)缩放因子，并且应用于右 侧块Q的速率转换值可W被定义为RPR(右侧)缩放因子。在运种情况下，可W如在W下的等 式19中给出采样位置p3~q3。
[0331] [等式 19]
[0332] p3 = piS;rc[-0ffse1:*RPL*4];
[0333] p2 = piSrc[-0ffse 巧 RPL*3];
[0334] pl=piSrc[-0ffse^RPL*2];
[0335] p〇 = piSrc[-0ffse 巧 RPL];
[0336] q0 = piSrc[0]；
[0337] ql =piSrc[Offset*RPR]；
[033引 q2 = piSrc[0ffset*RPR*2];
[0339] q3 = piSrc[0ffset*RPR*3]；
[0340] 按照本发明的另一个实施例，采样位置可W基于子速率转换偏移值被另外细化。 例如，采样位置可W通过W速率转换值缩放偏移值，然后增加子速率转换偏移值来另外精 确地调整。在运种情况下，可W如在W下的等式20中给出采样位置p3~q3。
[0341] [等式 20]
[0342] p3 = piSrc[-0ffse巧RPL*4+subRPL];
[0343] p2 = piSrc[-0ffse巧RPL*3+subRPL];
[0344] pi =piSrc[-0ffse 巧 RPL* 化 SUbR化];
[0345] p〇 = piSrc[-0ffse巧RPL+subRPL];
[0；346] q0 = piSrc[0+subRPR]；
[0；347] ql =piSrc[Offset*RPR+subRPR]；
[0：34引 q2 = piSrc[0ffset*RPR*化subRPR];
[0349] q3 = piSrc[0ffset*RPR*3+subRPR]；
[0350] 在等式20中，"subRPL"指示应用于左侧块P的子速率转换偏移值，并且"subRPR"指 示应用于右侧块Q的子速率转换偏移值。
[0351] 图24图示按照应用本发明的实施例使用速率转换值和子速率转换偏移值执行采 样的各种示例。
[0；352] 图24(a)图示RPL = 2、subR化= 0、RPR = 2和SUbRPR=O的示例。也就是说，当前的实 施例对应于一个示例，其中所有子速率转换偏移值是0，并且相同的速率转换值，也就是说， 2，已经被应用于左侧块P和右侧块Q。
[O%3] 图24(b)图示RPL = 2、subR化= 0、RPR = 2和SUbRPR=I的示例。也就是说，当前的实 施例对应于一个示例，其中子速率转换偏移值1已经仅被应用于右侧块Q，并且相同的速率 变换值，也就是说，2,已经被应用于左侧块P和右侧块Q。当图11(b)的示例与图11(a)的示例 相比较时，可W看到在右侧块Q中的所有采样的位置已经被右移1个像素。
[0：354] 图24(c)图示RPL=I、subR化= 0、RPR = 2和SUbRPR=I的示例。当前的实施例对应 于一个示例，其中速率转换值和子速率转换偏移值被不同地应用于左侧块P和右侧块Q。也 就是说，应用于右侧块Q的速率转换值是应用于左侧块P的速率展换值的2倍，并且子速率转 换偏移值1已经仅被应用于右侧块Q。当图24(c)的示例与图24(b)的示例相比较时，可W看 到在左侧块P中的所有采样的位置已经被移1/2到了块边界。
[03巧]在本发明的又一个实施例中，它们的值RPR、RPL、subWL和SUbWR或者子集值可W 由编码器和解码器从在空间-时间邻近解码图片内的局部参数来确定。例如，局部参数可W 包括块分割、编译模式、运动信息、变换类型、解码图片采样值和其他可用的先验信息。
[0356] 在本发明的又一个实施例中，它们的值RPR、RPL、subWL和SUbWR或者子集值可W 由编码器和解码器从在空间-时间邻近解码图片内的局部参数来确定。例如，局部参数可W 包括块分割、编译模式、运动信息、变换类型、解码图片采样值、其他可用的先验信息和信 号，诸如语法元素（即，块分割等级)或者边信息(例如，在后期处理的情况下的SEI)。
[0357] 在本发明的某些实施例中，更新值do~d5可W被应用于基于如在W下的等式21中 的速率转换值和子速率转换偏移值设置的解码图片采样。
[0；35引[等式21]
[0359] P i SrC[-OffSe 巧RPL*3+subRPL]= do;
[0360] piSrc[-0ffse巧RPL*化subRPL] =dl;
[0361] piSrc[-0ffse 巧 RPL+subRPL] =d2;
[0362] piSrc[0+subRPL] =d3；
[0363] P i SrC[OffSe 巧RPL+subRPR]= d4;
[0364] piSrc[0ffse 巧 RPL* 化 subRPR]=d5;
[0365] 在本发明的某些实施例中，如果值RPL、WR大于I，则设置在子整数像素网格上的 采样可W通过两个最靠近的更新值的内插来更新。例如，如果WL = WR = 2,并且使用线性 内插，则可W获得等式22。
[0366] [等式 22]
[0367] piSrc[-0ffse 巧 RPL*3]=dO;
[0368] piSrc[-0ffse 巧 RPL*3]=dO;
[0369] piSrc[-0ffse 巧 RPL*3+l] = (dO+dl)/2;
[0370] piSrc[-0ffse 巧 RPL*2]=dl;
[0371] piSrc[-0ffse巧 RPL*化l] = (dl+d2)/2;
[0372] piSrc[-0ffse 巧 RPL]=d2;
[0373] piSrc[-0ffSe巧RPL+1]=(3*d化d3)/4;
[0374] piSrc[0] = (d 化 3*d3)/4;
[0375] piSrc[0+l]=d3；
[0376] piSrc[0ffSe巧RPL]=(d3+d4)/2;
[0377] piSrc[0ffse 巧 RPL+l]=d4;
[037引 piSrc[0ffse巧RPL*2] = (d4+d5)/2;
[03 巧]piSrc[0ffse 巧 RPL*化 l]=d5;
[0380] 在本发明的又一个实施例中，其他的内插方法可用于生成设置在子整数像素网格 上的采样值。非限制性示例可W包括平方、立方、高阶、样条(spline)、基于变换的内插、非 线性内插和自适应内插方法。
[0381] 运样的采样的更新值do~d5 W及采样值可W通过拉伸、内插和外推由等式15提供 的脉冲响应，然后将窗函数应用于它们来计算。
[0382] 在本发明的又一个实施例中，自适应脉冲响应函数可W经由指定的过程在解码器 或者编码器侧上得到，或者可W使用在比特流或者边信息内的语法元素 W信号发送。
[0383] 在本发明的某些实施例中，如果使用大的块大小，则在去块时，可W使用边界采样 的子采样的版本执行块边界条件的分析。可替选地，去块可W使用不同的抽头长度的滤波， W便包含有关视频信号的局部复杂度的信息。
[0384] 在本发明的某些实施例中，具有可变采样速率的内插滤波器可W根据经历编译的 复杂度估计被应用。
[0385] 在本发明的某些实施例中，自适应滤波器、采样自适应的偏移(SAO)滤波器，或者 变换可W基于经历编译的复杂度估计，W各种采样速率和/或抽头长度/自适应滤波器系数 而被应用。
[0386] 在应用本发明的另一个实施例中，滤波单元140、230可W基于邻近块边界的块的 大小、编译模式和编译参数中的至少一个确定边界强度(BS)值。是否去执行滤波可W基于 BS值确定。例如，为了确定是否去执行滤波，采样值的变化可W被基于在第一行中的采样 (参见图16的1610)和在第四行中的采样(参见图16的1620)测量。在运样的情况下，可W应 用在本说明书中描述的局部自适应采样方法。
[0387] 此外，滤波单元140、230可W使用邻近块边界的块的量化参数值计算另一个变量 值，并且基于另一个变量值确定是否去执行滤波。如果应用滤波的条件被满足，则滤波单元 140、230可W选择要被应用于块边界的滤波器类型。
[0388] 如果在横向边缘上执行滤波，则其可W W行为单位执行。此外，可W基于块边界对 特定数目的采样执行滤波。例如，如果执行强滤波，可W使用块内的=个采样。如果执行弱 滤波，可W使用块内的两个采样。甚至在运样的情况下，也可W应用在本说明书中描述的局 部自适应采样方法。
[0389] 如上所述，应用本发明的解码器和编码器可W被包括在多媒体广播发送/接收装 置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控摄像头、视频聊天装置、实 时通信装置，诸如，视频通信、移动流装置、存储介质、摄录一体机、VoD服务提供装置、互联 网流服务提供装置、=维（3D)视频装置、电话会议视频装置，和医学视频装置中，并且可用 于编译视频信号和数据信号。
[0390] 此外，应用本发明的解码/编码方法可W W由计算机执行，并且可W存储在计算机 可读的记录介质中的程序的形式生成。具有根据本发明的数据结构的多媒体数据也可W被 存储在计算机可读的记录介质中。计算机可读的记录介质包括由计算机系统可读的数据存 储在其中的所有类型的存储设备。例如，计算机可读的记录介质可W包括抓、USB、R0M、RAM、 CD-ROM、磁带、软盘，和光数据存储设备。此外，计算机可读的记录介质包括W载波(例如，经 由互联网传输)的形式实现的介质。此外，由编码方法生成的比特流可W存储在计算机可读 的记录介质中，或者可W经由有线/无线通信网络被发送。
[0391] 工业实用性
[0392] 为了说明性的目的已经公开了本发明示例性实施例，并且本领域技术人员可W在 附加的权利要求中公开的本发明的技术精神和范围内改进、变化、替换或者增加各种其他 的实施例。
【主权项】
1. 一种对视频信号执行内插滤波的方法，包括： 基于有关解码图片的属性的信息，确定自适应采样速率；以及 使用已经应用所述自适应采样速率的采样来执行第一内插滤波， 其中，所述自适应采样速率对应于均匀采样速率、降低的采样速率和可变的采样速率 中的一个。2. 根据权利要求1所述的方法，其中，如果所述自适应采样速率对应于所述降低的采样 速率，则基于在滤波器支持范围上均匀降低的抽头长度来执行所述第一内插滤波。3. 根据权利要求1所述的方法，其中，如果所述自适应采样速率对应于所述可变的采样 速率，则使用在滤波器支持范围内不同的采样速率来执行所述内插滤波。4. 根据权利要求1所述的方法，进一步包括:使用已经应用所述第一内插滤波的采样来 执行第二内插滤波。5. 根据权利要求1所述的方法，进一步包括:使用在不同的滤波器支持范围内通过所述 内插滤波生成的采样来执行第二内插滤波。6. 根据权利要求1所述的方法，其中，基于速率转换参数来确定所述自适应采样速率。7. 根据权利要求6所述的方法，其中，根据内插采样的位置基于距离函数来确定所述自 适应米样速率。8. 根据权利要求4所述的方法，其中： 以不同的采样速率来执行所述第一和第二内插滤波，以及 基于速率转换参数来确定所述第一和第二内插滤波的采样速率。9. 根据权利要求1所述的方法，其中，所述有关解码图片的属性的信息包括块大小和图 片参数中的至少一个。10. 根据权利要求9所述的方法，其中，所述图片参数从编译的比特流获得，或者从所述 解码图片得到。11. 一种对视频信号执行内插滤波的装置，包括： 图片属性检查单元，所述图片属性检查单元被配置成检查解码图片的属性信息； 自适应采样单元，所述自适应采样单元被配置成基于所述解码图片的属性信息来确定 自适应米样速率；以及 内插滤波器，所述内插滤波器被配置成使用已经应用所述自适应采样速率的采样来执 行第一内插滤波， 其中，所述自适应采样速率对应于在滤波器支持范围内的均匀采样速率、降低的采样 速率或者可变的采样速率中的一个。12. 根据权利要求11所述的装置，其中，当所述自适应采样速率对应于所述降低的采样 速率时，基于在滤波器支持范围上均匀降低的抽头长度来执行所述第一内插滤波。13. 根据权利要求11所述的装置，其中，当所述自适应的采样速率对应于所述可变的采 样速率时，通过使用在滤波器支持范围内不同的采样速率来执行所述内插滤波。14. 根据权利要求11所述的装置，其中，所述内插滤波器被进一步被配置成使用已经应 用所述第一内插滤波的采样来执行第二内插滤波。15. 根据权利要求14所述的装置，其中，在不同的采样速率上执行所述第一和第二内插 滤波， 其中，基于速率转换参数来确定用于所述第一和第二内插滤波的采样速率。16. 根据权利要求11所述的装置，其中，所述内插滤波器被进一步配置成使用由具有不 同的滤波器支持范围的内插滤波生成的采样来执行第二内插滤波。17. 根据权利要求11所述的装置，其中，基于速率转换参数来确定所述自适应采样速 率。18. 根据权利要求17所述的装置，其中，基于离内插的采样位置的距离的函数来确定所 述自适应采样速率。19. 根据权利要求11所述的装置，其中，所述解码图片的属性信息包括块大小和图片参 数中的至少一个。20. -种计算机可读介质，所述计算机可读介质包含用于使计算机执行权利要求1的所 述方法的程序指令。
【文档编号】H04N19/146GK105830442SQ201480069700
【公开日】2016年8月3日
【申请日】2014年12月19日
【发明人】德米特罗·鲁萨诺夫斯基
【申请人】Lg电子株式会社