专利名称：用高分辨率的参考帧的视频编码的制作方法
用高分辨率的参考帧的视频编码本发明涉及一种用于对包括视频帧的视频信号进行编码和解码的设备和方法，所述视频帧每个由图像块组成。在视频编码中，利用视频序列中的图像之间的相似性以便减小尺寸并从而减小已压缩位流的数据速率。针对视频编码，生成来自先前编码帧的时间预测算子(temporalpredictor)。从当前巾贞减去此时间预测算子以提供使用例如离散余弦变换(DCT)进一步编码的预测误差。生成的变换系数被量化单元量化，并且熵编码器执行已量化系数的熵编码。图I示出了使用时间预测的常规视频编码设备VENC的方框图。在编码器的输入端处接收到的巾贞被供应给运动估计单元ME,其向运动补偿单元MC供应运动矢量MV,运动补偿单元MC计算被供应给减法器的时间预测算子TP。运动估计单元ME和运动补偿单元MC在输入侧被连接到帧缓冲器FB。此帧缓冲器FB可以包括用于存储参考帧的存储器。还可以将由运动估计单元ME计算的运动矢量MV供应给复用器MUX并经由通信信道传送到解码器。此外，如图I中所示的常规编码器包括逆量化单元Q—1，其使量化的索引步骤倒转并向 逆变换单元Γ1供应信号，这形成逆变换。在类似于H. 264/AVC的当前视频编码标准中，针对图像的矩形区域、所谓的图像块产生由运动估计单元ME计算的运动矢量MV。这些图像块可以具有不同的尺寸，例如4X4、8X8、16X16、8X4和8X16个像素。为了计算准确的时间预测算子TP，具有全像素、即要编码的像素的准确度的位移是不够的，因为不能准确地捕捉真实运动。因此，例如具有半像素元素或半像素的准确度的子像素运动补偿改善以建模平移运动并因此生成更准确的时间预测算子TP。因此，子像素运动补偿减小了由变换单元T变换的预测误差和因此的已编码位流的尺寸和数据速率。由于子像素位置处的像素值在原始视频数据流中并不存在，所以其在常规编码设备中是借助于内插生成的。为了计算子像素位置处的像素值，通过使用滤波操作来执行内插。可以使用不同的滤波长度，诸如2分接头(tap)双线性滤波器或6分接头滤波器，如在H. 264/AVC标准中定义的。这些滤波器近似由sine (x) = sin (x)Λ定义的正弦函数的最佳内插过程。然后可以在由视频编码器采用的运动估计和运动补偿过程中使用所提供的虚拟高分辨率图像作为时间预测。然而，使用内插的常规编码和解码过程具有这样的缺点，即，这样不能重新生成在具有在尼奎斯特频率以上的频率的原始图像中不存在的高空间频率。因此，本发明的目的是提供一种编码和解码方法，其改善了预测的准确度和因此的经历编码和解码过程的信号的性能和信号质量。由包括权利要求I的特征的编码器实现此目的。本发明提供了一种用于对包括视频帧的视频信号进行编码的编码器，该视频帧每个由图像块组成，其中，该编码器包括处理单元，其通过执行超分辨率算法以执行局部运动补偿而基于先前编码的图像块来计算至少一个高分辨率参考图像块；以及运动补偿单元，其基于所计算的高分辨率参考图像块来计算时间预测算子，其被从所述视频信号的当前图像块中减去。根据一个实施例，可以将处理单元配置成在空间域中计算至少一个高分辨率参考图像块。根据另一实施例，可以将处理单元配置成在执行超分辨率算法时使用基于块和/或基于网孔的运动补偿方案。在根据本发明的编码器的另一实施例中，该编码器包括运动估计单元，其根据所述视频信号的当前图像块和所述计算的高分辨率参考图像块来执行运动估计以提供用于所述视频信号的当前图像块的运动矢量，其中，所述运动矢量被供应给所述编码器的所述运动补偿单元。在根据本发明的编码器的可能实施方式中，运动补偿单元和运动估计单元可以包括用于子像素运动补偿的滤波器。在根据本发明的编码器的可能实施例中，提供了一种数据存储器，其包括用于存储被供应给处理单元的预定数目的先前编码图像块的多个缓冲器。
在根据本发明的编码器的又另一可能实施例中，所述编码器包括变换单元，其将所述视频信号的运动补偿的当前图像块变换成频域信号，其被所述编码器的量化单元量化以提供被施加给所述编码器的熵编码器的量化信号。所述编码器在另一可能实施例中包括复用单元，其是为了将由所述编码器的所述熵编码器提供的熵编码量化信号与由所述编码器的处理单元所采用的超分辨率算法的参数信息数据和/或由所述编码器的所述运动估计单元提供的运动矢量复用而提供的。复用单元的输出信号包括熵编码量化信号且可以经由无线或有线传输介质传送到解码器。替换地，可以将包括熵编码量化信号的所述复用信号存储在数据存储介质中。在根据本发明的编码器的可能实施方式中，被编码器的处理单元采用的超分辨率算法的复用参数信息数据包括许多先前编码的参考图像或图像块和/或被各超分辨率算法所使用的先前编码参考图像块的索引。在另一可能实施方式中，超分辨率算法的复用参数实现数据可以包括一种类型的所使用的超分辨率算法。在另一可能的实施方式中，超分辨率算法的复用参数信息数据包括被各超分辨率算法所使用的滤波器的滤波器参数。在另一可能实施方式中，复用参数信息还可以包括块模式指示符，其指示各超分辨率算法是否被用于当前图像块的一部分或用于完整当前图像块。在根据本发明的编码器的另一可能实施例中，编码器的处理单元和运动补偿单元适合于处理由照相机生成的二维视频信号。在根据本发明的编码器的另一可能实施例中，编码器的处理单元和运动补偿单元适合于处理由照相机生成的三维视频信号。在编码器的可能实施方式中，编码器的处理单元和运动补偿单元适合于实时地处理二维或三维视频信号。替换地，所述处理可以脱机地(off-line)被执行。本发明还提供了一种用于对包括每个由图像块组成的视频帧的视频信号进行编码的编码方法，
其中，所述编码方法包括步骤生成至少一个高分辨率参考图像块，其是借助于超分辨率算法以执行局部运动补偿基于先前编码图像块来计算，以及
基于所计算的高分辨率参考图像块来计算被从当前图像块减去的时间预测算子。根据一个实施例，超分辨率算法可以包括
(al)使用过采样滤波器来创建在每个维度上在尺寸方面为多重的图像；
(a2)当匹配算法检测到图像中的对象的相应像素时，对过采样图像执行像素匹配；以
及
(a3)对过采样和像素匹配的图像执行运动补偿算法。 可选地，该超分辨率算法还可以包括
(a4)将运动补偿的图像叠加以创建高位深度图像；以及 (a5)通过使用带通滤波器来重构高位深度图像中的高频率。在根据本发明的编码方法的可能实施方式中，所述视频信号的运动补偿的当前图像块被变换成频域信号，其被量化以提供随后被进行熵编码的量化信号。在可能的实施例中，可以将熵编码量化信号与附加数据、特别是与运动估计矢量和/或所使用超分辨率算法的参数复用。在根据本发明的编码方法的可能实施例中，所使用超分辨率算法的参数和/或由运动估计提供的运动矢量被编码作为侧面信息或作为编码信号的一部分。本发明还提供了一种用于对包括每个由图像块组成的视频帧的视频信号进行解码的解码器，
其中，所述解码器包括
处理单元，其通过执行超分辨率算法以执行局部运动补偿基于先前解码图像块来计算至少一个高分辨率参考图像块；以及
运动补偿单元，其基于高分辨率参考图像块来计算被添加到接收视频信号的预测误差块的时间预测算子。根据一个实施例，可以将根据本发明的解码器的处理单元配置成在空间域中计算所述至少一个高分辨率参考图像块。根据另一实施例，可以将根据本发明的解码器的处理单元配置成在执行超分辨率算法时使用基于块和/或基于网孔的运动补偿方案。在根据本发明的解码器的可能实施例中，所述解码器还包括解复用单元，其是为了将熵编码量化信号、所述超分辨率算法的参数信息数据和被所述解码器接收到的视频信号的运动矢量解复用而提供的。在根据本发明的解码器的可能实施例中，所述超分辨率算法的解复用参数信息数据包括许多编码图像或图像块和/或被各超分辨率算法所使用的编码参考图像或图像块的索引。在可能实施例中，复用的参数信息数据还包括一种类型的所使用的超分辨率算法。在可能的实施例中，解复用的参数信息数据还可以包括被各超分辨率算法所使用的滤波器的滤波器参数。在另一可能实施例中，解复用的参数信息数据可以包括块模式指示符，其指示各超分辨率算法是否被用于当前图像块的一部分或用于完整当前图像块。
在根据本发明的解码器的可能实施例中，由解复用单元提供的解复用的参数信息数据被解复用单元供应给所述解码器的处理单元。在下文中，参考附图
来更详细地描述用于视频信号的编码和解码的方法和设备的可能实施例。图I示出了常规视频编码器的方框 图2示出了根据本发明的第一方面的用于对视频信号进行编码的编码器的可能实施方式的方框 图3示出了根据本发明的另一方面的用于对视频信号进行解码的解码器的可能实施方式的方框 图4示出了用于图示出根据本发明的另一方面的编码方法的可能实施方式的流程图； 图5示出了用于图示出根据本发明的另一方面的用于对视频信号进行解码的解码方法的可能实施例的流程图。如在图2中可以看到的，根据本发明的视频编码器I在图2的所示实施方式中包括用于接收包括视频帧的视频序列的信号输入端2，其中，每个视频帧由图像块组成。施加的视频信号被供应给运动估计单元3，其根据视频信号的当前图像块和所计算的高分辨率参考图像块来执行运动估计以提供用于视频信号的当前图像块的运动矢量MV。供应给运动估计单元3的高分辨率参考图像块是由处理单元4计算的，其通过执行超分辨率算法SRA基于先前编码图像块来计算高分辨率参考图像块。所计算的高分辨率参考图像块被处理单元4供应给运动估计单元3和运动补偿单元5。运动补偿单元5基于高分辨率参考图像块和从运动估计单元3接收到的运动矢量MV来计算时间预测算子TP。编码器I包括减法器6，其从视频信号的当前图像块减去由运动补偿单元5提供的时间预测算子TP以计算预测误差PE。视频编码器I还包括变换单元7，其将从减法器6接收到的预测误差PE变换成频域信号，其被编码器I的后续量化单元8量化。该量化信号随后被施加于熵编码器9。由量化单元8提供的量化信号还被供应给使量化倒转的逆量化单元10和使由变换单元7执行的变换倒转的随后逆变换单元11。变换单元7可以例如是DCT变换单元。逆变换单元11的输出端被连接至加法器12，其将由运动补偿单元5生成的时间预测算子TP与逆变换单元11的输出信号相加。当加法器12的信号被供应给数据存储器13，其包括用于存储可以供应给处理单元4以便执行超分辨率算法SRA的预定数目的先前编码图像块的多个缓冲器。数据存储器13内的缓冲器的数目可以改变。在图2中所示的实施方式中，数据存储器13可以包括用于存储四个先前编码图像块的四个缓冲器。在图2中所示的实施例中，编码器I还包括复用单元14，其是为了将由熵编码器9供应的熵编码量化信号与附加数据复用而提供的，所述附加数据在可能实施方式中包括被处理单元4采用的所述超分辨率算法SRA的参数信息数据P和/或由运动估计单元3提供的运动矢量V。由复用单元14提供的复用信号在编码器I的输出端子15处被输出。超分辨率算法SRA的复用参数信息数据P可以包括许多先前编码参考图像或图像块和/或被各超分辨率算法SRA所使用的先前编码参考图像或图像块的索引。可能的是复用参数信息数据P还可以包括一种类型的所使用的超分辨率算法和/或被各超分辨率算法SRA使用的滤波器的滤波器参数。在另一可能实施方式中，复用参数信息数据P还可以包括块模式指示符，其指示各超分辨率算法SRA是否被用于当前图像块的一部分或用于完整当前图像块。如图2的实施例中所示的编码器I可以适合于处理二维视频信号。在另一可能实施例中，编码器I且特别是所述编码器的处理单元和运动补偿单元可以适合于处理三维视
频信号。在可能实施例中，施加于编码器I的输入端子2的视频信号可以是由数字式照相机生成。所施加的视频信号的处理可以由如图2中所示的编码器I实时地执行。还可能的是脱机地执行所施加的视频信号的处理。可以经由有线或无线传输介质将在视频编码器I的输出端子15处输出的复用信号传送到解码器。还可能的是如图2中所示的视频编码器I的编码输出信号被存储在数据 存储介质上以用于进一步处理。在可能实施方式中，运动补偿单元5可以包括用于子像素运动补偿的附加内插滤波器。在如图2中所示的视频编码器I内，采用超分辨率算法SRA以用于时间预测和在混合视频编码中计算时间预测算子TP。针对超分辨率图像的生成，施加空间域中的运动补偿，并且尤其是通过诸如基于块的运动补偿方案或基于网孔的运动补偿方案的局部运动补偿(MC)方案的使用。不需要允许有规则运动补偿过程和被用于像素匹配的运动补偿之间的运动补偿和交互的更灵活设计的全局运动补偿。与全局运动补偿相反，当使用诸如基于块的运动补偿或基于网孔的运动补偿的局部运动补偿时，可以不妨碍(respect)具有分叉运动的多个区域。用如图2的实施方式中所示的视频编码器1，使用先前编码图像块来生成用于参考图像块的较高分辨率。可以在不需要在子像素位置处生成内插图像值的情况下将此高分辨率参考图像块或区域用于运动估计和运动补偿。在需要由超分辨率算法SRA提供的甚至更高分辨率下的图像值的情况下，可以另外应用常规滤波过程，即子像素内插。替换地，可以修改所采用的分辨率算法SRA，使得直接由SRA算法来提供更高的分辨率。在来自运动补偿单元5的运动信息并未很好地适合分辨过程的需要的情况下，可以发送新的运动信息。可以由指定运动估计ME算法单独地但同样地在编码器和解码器侧导出运动矢量MV。在可能实施方式中，可以由编码器I将类似于阈值的运动估计控制信息发送到解码器。在可能实施方式中，还由复用单元14将此运动估计控制信息复用成数据流。在图2中所示的实施例中，将超分辨率算法SRA的参数作为复用信息从编码器I传送到图3中所示的解码器16。可以将此信息作为已编码位流的整体部分或者作为单独配置数据流来传送。替换地，还可能的是隐含地在解码器侧导出该参数。图3示出了经由数据传输介质从视频编码器I接收位流的视频解码器16的可能实施例的方框图。解码器16包括用于接收位流的输入端子17。在所示的实施例中提供了用于对熵编码量化信号、参数信息数据P以及接收的视频信号数据流的运动矢量MV进行解复用的解复用单元18。解复用熵编码量化信号被供应给熵解码器19，其执行接收熵编码量化信号的熵解码。随后，解码信号被供应给逆量化单元20和逆变换单元21。生成的残余图像块或预测误差块被施加于加法器222，其将由解码器16的运动补偿单元23生成的时间预测算子相加。补偿单元23基于高分辨率参考图像块来计算时间预测算子TP。此时间预测算子TP被与视频信号的预测误差块相加。如图3的实施例中所示，运动补偿单元23从处理单元24接收高分辨率参考图像块，处理单元24通过执行超分辨率算法SRA基于先前解码图像块来计算至少一个高分辨率参考图像块。处理单元24的输入端被连接到数据存储器25，其可以包括用于存储预定数目的先前解码图像块的多个缓冲器。在所示实施例中，数据存储器25包括用于存储四个先前解码图像块的四个缓冲器。如在图3中可以看到的，可以将在编码侧所采用的超分辨率算法SRA的解复用参数信息数据供应给视频解码器16的处理单元24。这些解复用参数信息数据P可以包括许多编码参考图像或图像块或在编码侧被各超分辨率算法SRA所使用的编码参考图像或图像块的索引。此外，提供给处理单元24的解复用参数信息数据P可以包括编码器I的一种类型的所使用的超分辨率算法SRA和编码器I的各超分辨率算法SRA所使用的滤波器参数或滤波器。
此外，供应给解码器16的处理单元24的解复用参数信息数据P可以包括块模式指示符，其指示各超分辨率算法SRA是否被用于当前图像块的一部分或用于完整当前图像块。可以在视频解码器16的端子26处输出解码的视频信号以用于进一步处理。类似于图2中所示的编码器，图3的解码器可以存储相同数目的参考块并产生相同的高分辨率参考图像块。可以将不同数目的块用于高分辨率参考图像块的生成，可以由编码器I从其中选择最佳预测算子。图像块不一定必须是相邻图像块。可以针对图像的每个区域、例如块或宏块来自适应地选择超分辨率算法SRA所使用的图像块的数目和图像块索弓I。这可以在位流中明确地用信号通知或从图像性质导出，例如用于该图像区域的运动的量。可以使图像块的选择与位流中的随机访问图案对准，例如不应使用IDR帧之前的块。在可能的实施方式中，还可以在参考图片列表中结合规则、S卩非高分辨率参考图像块。该选择可以例如在块/宏块水平发生。在可能实施方式中，可以将该选择编码到位流中或隐含地在解码器侧导出，类似于编码器中的选择算法。在可能实施例中，超分辨率算法SRA可以包括多个步骤。在第一步骤中，可以执行图象过采样，其中，使用过采样滤波器来创建在每个尺度上在尺寸方面为多重的图像，其是带通限制的。在所采用的SRA算法的另一步骤中，当匹配算法检测到对象的相应像素时，执行像素匹配。像素匹配算法的要求不同于不需要发现正确运动的用于数据压缩的运动估计。有能力的匹配算法例如是与变化块尺寸匹配的分级块。在超分辨率算法SRA的另一步骤中，根据所检测的运动矢量MV用块分级的最小块来执行适当的算法，诸如逐块运动补偿。在另一步骤中，执行运动补偿图像的叠加。通过过采样运动补偿图像的逐像素添力口，可以提供更高范围的图像。此更高范围或更高位深度是用于随后的后处理操作保持最初包含在图像中的所有信息所需要的。此外，可以在超分辨率算法SRA的另一步骤中执行诸如图像锐度重构的后处理。由于叠加图像与单个原始图像相比包含更多详细信息和减少的噪声，所以可以重构在原始信号图像中不可用的高频率。可以将带通滤波器用于该操作。在根据本发明的方法的可能实施例中，作为将变形图像累加的替代，可以不同地对单个图像的像素进行加权，例如根据其估计准确度或可靠性，诸如像素方差。例如，可以对表示全像素位置的像素比表示子像素位置(即，其被内插)的像素更高地加权。可以通过将用逆方差加权的信号覆盖来使总重构误差最小化。用于加权因数导出的附加潜在参数可以包括QP、与当前帧的时间距离或块类型或MB类型或SAD值。加权因数可以是零。在可能实施方式中可以例如根据噪声特性或根据内插过程来导出像素方差。在可能实施方式中，可以将信号噪声和量化噪声用于计算方差。此外，可能的是可以采用内插滤波器来计算遗漏中间像素。要定义内插像素的准确度或方差，例如来自邻点的方差或来自内插滤波器的方差，存在两种可能性。当图像统计可以独立于变焦时，一个人可以将内插像素的方差设置成等于已知像 素的环境的方差。替换地，使用内插滤波器来预测内插像素的环境中的现有值并计算预测误差。可以将其方差用于估计遗漏、即内插像素的方差。在可能实施方式中，保证加权因数的总和针对块或帧的每个像素保持恒定。在可能实施例中，将有能力的带通滤波器应用于叠加图像以重构图像细节，取决于例如过采样速率、输入信号的噪声和编码器的速率失真函数。在可能实施方式中，可以在速率失真的意义上使带通滤波最优化。两个部件可以负责增加数据速率。在可能实施例中滤波器适合于可以包括例如照相机噪声和量化噪声的噪声。如果图像细节对于不同的帧而言不同，则运动估计可以产生失配。因此，可以将附加低通滤波器应用于参考帧以增强匹配可靠性，尤其是针对低量化值。因此，可以将带通滤波器配置成实现该要求。在另一方法中，用用于预测误差的最小化过程、即通过将重构之后的预测块信号与原始信号块相比较来自适应地导出重构滤波器。在可能实施例中，在位流中用信号通知滤波器参数。另外，可以将基于RD0、速率失真最优化的判定应用于选择具有相应的预测误差成本和信令成本的滤波器参数的最佳组合。可以每个序列、子序列、帧、切片、MB或信号块应用滤波自适应。在可能实施例中，可以将滑动窗方法用于连续超分辨率图像块的计算。尤其是，可以针对被用于前一超分辨率参考图像块的生成的图像重复图像过采样、图片匹配和图像变形的步骤中的操作，但是可以从前一超分辨率参考块计算和/或从规则运动估计过程重新使用。如果在变换域中完成用于超分辨率的运动补偿，同时在空间域中完成用于帧分辨率时间预测算子的运动补偿，则这是不可能的。图4示出了用于图示出根据本发明的编码方法的可能实施方式的简单流程图。编码方法是为了对包括视频帧的视频信号进行编码而提供的，所述视频帧每个由图像块组成。在第一步骤SI中，生成至少一个高分辨率参考图像块，其中，借助于超分辨率算法SRA基于先前编码图像块来计算所述高分辨率参考图像块。
在另一步骤S2中，基于所计算的高分辨率图像块来计算时间预测算子TP并从当前图像块中减去。图5示出了用于图示出根据本发明的另一方面的解码方法的可能实施方式的另一流程图。解码方法是为了对包括视频帧的视频信号进行解码而提供的，所述视频帧每个由图像块组成。在步骤S3中，借助于超分辨率算法基于先前解码图像块来计算至少一个高分辨率参考图像块。在另一步骤S4中，将接收的视频信号的预测误差块与基于生成的高分辨率参考图像块计算的时间预测算子相加。图2示出了根据本发明的视频编码器I的可能实施例，并且图3示出了根据本发明的另一方面的视频解码器16的可能实施例。 根据本发明的另一方面，提供了包括诸如图2中所示的视频编码器I的视频编解码器设备且提供了诸如图3中所示的视频解码器16。本发明应用超分辨率技术以便在编码器和解码器中产生更精确的参考图像块。通过将图像叠加，减少结果得到的图像的噪声，同时保留了图像细节。本发明的另一优点是由于减少的噪声而改善了运动估计。超分辨率算法SRA增强了每个像素的位深度。覆盖2"个帧将位增强η。这个事实改善了编码器和重构滤波器内的滤波的质量。因此，用根据本发明的编码和解码方法，能够增强速率失真意义上的编码质量。此外，能够实现由于用于超分辨率和帧分辨率时间预测算子的运动补偿过程的交互而引起的较低复杂性。
权利要求
1.一种用于对包括视频帧的视频信号进行编码的编码器(I)，所述视频帧每个由图像块组成， 其中，所述编码器(I)包括 (a)处理单元(4)，其被配置成 通过执行超分辨率算法(SRA)以执行局部运动补偿基于先前编码图像块来计算至少一个高分辨率参考图像块；以及 (b)运动补偿单元(5)，其被配置成基于所计算的高分辨率参考图像块来计算时间预测算子(TP )，其被从所述视频信号的当前图像块减去。
2.根据权利要求I所述的编码器， 其中，所述处理单元(4)被配置成 在空间域中计算所述至少一个高分辨率参考图像块。
3.根据权利要求2所述的编码器， 其中，处理单元(4)被配置成在执行超分辨率算法(SRA)时使用基于块和/或基于网孔的运动补偿方案。
4.一种用于对包括视频帧的视频信号进行编码的编码方法，所述视频帧每个由图像块组成， 其中，所述编码方法包括步骤 Ca)生成(SI)至少一个高分辨率参考图像块，其借助于超分辨率算法(SRA)以执行局部运动补偿基于先前编码图像块来计算，以及 (b)基于所计算的高分辨率参考图像块来计算(S2)被从当前图像块减去的时间预测算子(TP)。
5.根据权利要求4所述的编码方法， 其中，所述超分辨率算法(SRA)包括 (al)使用过采样滤波器来创建在每个维度上在尺寸方面为多重的图像； (a2)当匹配算法检测到图像中的对象的相应像素时，对过采样图像执行像素匹配；以及 (a3)对过采样和像素匹配的图像执行运动补偿算法。
6.根据权利要求5所述的编码方法，其中，基于在运动估计中确定的运动矢量来执行被过采样图像上的像素匹配，运动估计向计算时间预测算子TP的运动补偿算法供应运动矢量。
7.根据权利要求4至6中的一项所述的编码方法， 其中，超分辨率算法(SRA)的参数信息数据(P)包括许多先前编码参考图像或图像块和/或被各超分辨率算法(SRA)所使用的先前编码参考图像或图像块的索引，和/或一种类型的所使用的超分辨率算法(SRA)和/或被各超分辨率算法(SRA)所使用的滤波器的滤波器参数和/或指示各超分辨率算法(SRA)是否被用于当前图像块的一部分或用于完整当前图像块的块模式指示符，并且其中，超分辨率算法(SRA)的参数信息数据(P)和/或由超分辨率算法(SRA)的运动估计提供的运动矢量(MV)被编码作为侧面信息或作为编码视频信号的一部分。
8.一种用于对视频信号进行解码的解码器(16)，该视频信号包括视频帧，所述视频帧每个由图像块组成； 其中，所述解码器(16)包括 (a)处理单元(24)，其被配置成通过执行超分辨率算法(SRA)以执行局部运动补偿基于先前解码图像块来计算至少一个高分辨率参考图像块；以及 (b)运动补偿单元(23)，其被配置成基于高分辨率参考图像块来计算时间预测算子(TP)，其被与所述视频信号的预测误差块相加。
9.根据权利要求8所述的解码器， 其中，所述处理单元(4)被配置成在空间域中计算所述至少一个高分辨率参考图像块。
10.根据权利要求9所述的解码器， 其中，处理单元(4)被配置成在执行超分辨率算法(SRA)时使用基于块和/或基于网孔的运动补偿方案。
11.一种用于对包括视频帧的视频信号进行解码的解码方法，所述视频帧每个由图像块组成， 其中，所述解码方法包括步骤 Ca)生成(S3)至少一个高分辨率参考图像块，其借助于超分辨率算法(SRA)以执行运动补偿基于先前解码图像块来计算，以及 (b)将基于所生成的高分辨率参考图像块计算的时间预测算子(TP)与所述视频信号的预测误差块相加(S4)。
12.根据权利要求11所述的解码方法， 其中，所述超分辨率算法(SRA)包括； (al)使用过采样滤波器来创建在每个维度上在尺寸方面为多重的图像； (a2)当匹配算法检测到图像中的对象的相应像素时，对过采样图像执行像素匹配；以及 (a3)对过采样和像素匹配的图像执行运动补偿算法。
13.根据权利要求12所述的解码方法，其中，基于在计算时间预测算子的运动补偿中使用的运动矢量来执行被过采样图像上的像素匹配。
14.根据权利要求11至13中的一项所述的解码方法， 其中，超分辨率算法(SRA)的参数信息数据(P)包括许多先前解码参考图像或图像块和/或被各超分辨率算法(SRA)所使用的先前解码参考图像或图像块的索引，和/或一种类型的所使用的超分辨率算法(SRA)和/或被各超分辨率算法(SRA)所使用的滤波器的滤波器参数和/或指示各超分辨率算法(SRA)是否被用于当前图像块的一部分或用于完整当前图像块的块模式指示符，并且其中，超分辨率算法(SRA)的参数信息数据(P)和/或由超分辨率算法(SRA)的运动补偿所使用的运动矢量(MV)被解码作为侧面信息或作为编码视频信号的一部分并在解码过程中使用。
15.一种包括根据权利要求I至3中的一项的编码器(I)和根据权利要求8至10中的一项的解码器(16)的视频编解码器设备。
全文摘要
本发明提供了一种用于对包括视频帧的视频信号进行编码的编码器(1)，所述视频帧每个由图像块组成，其中，所述编码器(1)包括处理单元(4)，通过执行超分辨率算法(SRA)以执行局部运动补偿而基于先前编码的图像块来计算至少一个高分辨率参考图像块；以及运动补偿单元(5)，其基于所计算的高分辨率参考图像块来计算被从所述视频信号的当前图像块减去的时间预测算子(TPtemporalpredictor)。此外，提供了一种相应的解码器(16)。
文档编号H04N7/36GK102986220SQ201180035351
公开日2013年3月20日 申请日期2011年7月20日 优先权日2010年7月20日
发明者P.阿蒙, A.胡特, R.库特卡, N.奥尔特尔 申请人:西门子公司