对图像的块进行编码的方法和设备以及对应的重建方法和设备的制作方法
【专利摘要】本发明涉及对图像块进行编码和解码。更具体地，本发明涉及使用图像的参考块进行块预测。提出了一种方法，该方法包含使用处理部件进行：使用至少该块来确定图像的已经编码的部分中的一个参考块并重建图像的一部分，使用至少该块来确定所重建的部分中的一个参考块以及参考该一个参考块的矢量，使用该一个参考块来确定所重建的部分中的至少一个另外的参考块，并且对所确定的矢量以及该块相对于该一个和至少一个另外的参考块的残差进行编码。使用该块进行关于一个参考块的确定考虑到对其进行选择，从而使其与该块相似并且保持与该块之间的相关性。
【专利说明】对图像的块进行编码的方法和设备以及对应的重建方法和 设备
【技术领域】
[0001] 本发明涉及图像块编码和重建。更具体地，本发明涉及使用图像的参考块的块预 测。
【背景技术】
[0002] 近邻嵌入（neighbour embedding)是一种用于确定图像块的残差编码的预测以及 用于对经残差编码的图像块进行重建的技术。
[0003] 在近邻嵌入中，确定结合起来用于块的预测或近似的参考块，确定参考块基于所 述参考块的空间邻域与该块的空间邻域的相似性。两个块之间的相似性是指它们的语义内 容是类似的。
[0004] 这种近似或预测能够以相同的方式发生在编码器侧和解码器侧，并且只将该预测 的残差从编码器传送或传输给解码器。
【发明内容】
[0005] 对于仅基于邻域的相似性而确定出的参考块，发明人认识到与该块之间可能缺少 相关性。
[0006] 因此，为了对图像的块进行编码，提出了一种根据权利要求1所述的方法以及一 种根据权利要求7所述的设备。所述方法包含：使用处理部件对图像的一部分进行编码和 重建；至少使用所述块来确定所重建的部分中的一个参考块以及参考所述一个参考块的矢 量；使用所述一个参考块来确定所重建的部分中的至少一个另外的参考块；以及，对所确 定的矢量以及所述块相对于所述一个参考块与所述至少一个另外的参考块的组合的残差 进行编码。
[0007] 使用所述块以确定一个参考块允许对其进行选择，从而使其与所述块相似并且保 持与所述块之间的相关性。
[0008] 在一个实施例中，邻近所述块的重建的邻域还被用于确定所述一个参考块。
[0009] 在这个或另一个实施例中，邻近所述一个参考块的重建的邻域还被用于确定所述 至少一个另外的参考块。
[0010] 在另外的实施例中，所述一个参考块与所述至少一个另外的参考块的组合可以是 加权线性组合。例如，可以通过解决约束最小平方问题或非局部均值问题来确定用于所述 加权线性组合的权重。
[0011] 根据邻近所述块的邻域以及邻近至少一个另外的块的一个邻域和至少一个另外 的邻域来确定所述加权线性组合的权重。
[0012] 或者，使用所述块、所述一个参考块以及所述至少一个另外的参考块来确定用于 所述加权线性组合的权重，并且对所确定的权重进行编码。
[0013] 在约束最小平方问题的情况下，可以使用局部线性嵌入或非负矩阵因数分解来确 定解。
[0014] 在另外的实施例中，至少使用所述块来确定所重建的部分中的至少一个其他参考 块以及参考所述至少一个其他参考块的至少一个其他矢量。使用邻近所述至少一个其他参 考块的至少一个其他邻域来确定所重建的部分中的至少一个另外的其他参考块，并且确定 所述块相对于所述一个其他参考块与所述至少一个另外的其他参考块的另外的加权线性 组合的另外的残差的成本高于所述残差的成本，其中，所述残差和所述另外的残差的成本 是预测成本或者率失真成本。
[0015] 为了重建图像的块，提出了一种根据权利要求10所述的方法以及一种根据权利 要求15所述的设备。该用于重建图像的块的方法包含使用处理部件进行：重建所述图像的 一部分；对所述块的经编码的残差进行解码，并且对参考所重建的部分中的参考块的经编 码的矢量进行解码；使用所述参考块来确定所重建的部分中的至少一个另外的参考块；以 及，通过结合所述残差与所述参考块和所述至少一个另外的参考块的组合来重建所述块。
[0016] 在从属权利要求中指定另外的有利实施例的特征。
【专利附图】
【附图说明】
[0017] 在下面的附图中示例本发明的示例性的实施例，并且在下面的说明中进行更详细 的解释。解释这些示例性的实施例仅是用于阐明本发明，而不是用于限制在权利要求书中 定义的本发明的公开或范围。
[0018] 附图中：
[0019] 图1图示了现有技术的近邻嵌入；
[0020] 图2图示了映射辅助近邻嵌入（map-aided neighbour embedding)的示例性的实 施例；并且
[0021] 图3图示了优化的映射辅助近邻嵌入的示例性的实施例。
【具体实施方式】
[0022] 本发明可以在任何包含经对应适配的处理设备的电子设备上实现。例如，本发明 可以在电视机、移动电话、个人计算机、数字静态摄像机、数字视频摄像机、导航系统或者视 频首频系统中实现。
[0023] 根据现有技术，确定参考块RBI、RB2、RB3,使得邻近参考块RBI、RB2、RB3的模板 MT1、MT2、MT3与邻近要编码或要重建的块BLK的模板TPL极为相似。在图1中对此进行了 示例性的图示，其中，图像MG的灰色区域已经被重建，在编码器侧在编码之后在预测中使 用而在解码器侧在重建中使用，图像IMG的白色区域尚未被编码或重建。
[0024] 在近邻嵌入方法的提出的改进的示例性的实施例中，使用矢量VEC来考虑要预测 的当前块BLK的纹理信息。
[0025] S卩，在编码器侧通过参考矢量VEC的块匹配和编码而在解码器侧通过对经编码的 参考矢量VEC进行解码来确定一个参考块RB1，使其与当前块BLK相似。例如，可以使用欧 氏距离来测量块的相似性或类似性，并且可以将搜索区域中的最小距离认为是最接近的匹 配。该搜索区域可以是整个重建的图像或其一部分。
[0026] 然后，在编码器侧以与解码器侧相同的方式确定至少一个另外的参考块RB2、RB3。 艮P，确定至少第二参考块RB2、RB3,使其与所述一个参考块RB1相似。
[0027] 可以确定一对权重，以使用所确定的权重使得要预测的块相对于所述一个参考块 与所述至少一个另外的参考块的加权线性组合的残差的编码的率失真成本最小化。然后， 必须对所确定的权重进行编码以使得具有可判定性。
[0028] 在图2中示例性地图示的另一个示例性的实施例中，确定所述一个参考块RB1，使 得包含邻近所述一个参考块RB1的一个参考邻域的一个参考补片（patch)FMP与包含当前 块的对应邻域和当前块BLK的补片PTC相似。在图2中所示的邻域的形状和位置仅用于示 例性的目的，可能有其他的形状和位置。
[0029] 在又一个示例性的实施例中，确定第二参考块RB2,使得包含第二参考邻域和第二 参考块RB2的第二参考补片MP2与所述一个参考补片FMP相似。
[0030] 可以将这些构思向选择k个补片扩展，其中，使用k个补片中的k个块的加权线性 组合来预测该块。确定k个补片之一，使得至少包含在该一个补片中的至少一个参考块与 要预测的块相似。或者，确定k个补片之一，使其与包含要预测的块的对应的补片相似。
[0031] 然后，确定剩余的（k-ι)个补片，使得还包含在剩余补片中的参考邻域与包含在 所述k个补片之一中的邻域相似。或者，如在图2中示例性地图示的那样，然后，确定剩余 的（k-Ι)个补片，使它们与所述k个补片之一相似。
[0032] 堆叠在矩阵中（每个补片均被矢量化），这样，补片还可以用于计算加权系数。选 取补片以近似要预测的块的邻域中的模板像素。这使得能够得到更好地适配于估计要预测 的块的未知像素的一组补片以及对应的加权矢量。当仅基于模板像素时，可以在编码器和 在解码器侧以相同的方式确定权重。
[0033] 扩展到k个补片的构思的示例性的实施例是所谓的映射辅助近邻嵌入方法 (MANE)，该方法按照对要预测的输入块的k个补片进行两个步骤的搜索来进行：
[0034] 第一步骤在于使用块匹配（BM)实施例来搜索包含要预测的块加上其对应的邻域 的当前补片的最相似的参考补片，其中，邻域也被称为模板。因为使用包含要预测的块的当 前补片来确定最相似的参考补片，所以参考最接近的参考补片的矢量是编码的一部分。在 编码器侧执行该步骤。解码器对所述矢量进行解码，并且将其用于确定参考补片。
[0035] 在第二步骤中，该实施例搜索作为在第一步骤中找到的最相似的补片的（k-Ι)个 最接近的匹配的（k-Ι)个另外的参考补片。对于编码和解码，可以相同的方式实施该步骤。
[0036] 根据包括与当前块位置相同的（co-located)像素加上对应的模板像素的整个补 片来计算用于确定当前补片的最接近的补片以及（k-Ι)个另外的参考补片的距离。
[0037] 可以根据其对候选补片进行分级（rank)以便确定（k-Ι)个最接近的补片的距离 度量的示例有欧氏距离或者由输入补片和每个候选补片的像素形成的矢量之间的均方误 差。
[0038] -旦确定了 k个补片，在实施例中，本发明通过例如分别使用LLE或NMF方法解决 约束最小平方问题来进行，以便确定在要预测的块的线性近似中使用的权重。
[0039] 可以不同地确定权重。在一个实施例中，将它们确定为使用所确定的权重使要预 测的块相对于包含在补片中的参考块的加权线性组合的残差的编码的率失真成本最小化。 然后，必须对所确定的权重进行编码以使得能够进行重建。
[0040] 以大致相同的方式，可以将权重确定为使用所确定的权重使得包含要预测的块以 及其模板的当前补片相对于参考补片的加权线性组合的残差的编码的率失真成本最小化。 再次，必须对所确定的权重进行编码以使得能够进行重建。
[0041] 可替代地，可以将权重确定为使用所确定的权重使得要预测的块的模板相对于包 含在补片中的参考模板的加权线性组合的残差的编码的率失真成本最小化。在这种情况 下，编码器和解码器可以相同的方式确定权重，并且不需要对权重进行编码。
[0042] 如在图3中示例性地图示的那样，可以将该构思向η个候选集DIC1、DIC2进一步 地扩展，其中，每个候选集均包含k个补片，对于η = 2,在图3中示例性地图示为FMP1和 FMP2。即，不仅确定包含要预测的块BLK加上其对应的邻域TPL的当前补片PTC最接近的 参考补片FMP1，还确定当前补片的一组η个最接近的参考补片FMPUFMP2。
[0043] 对于η个最接近的参考补片FMP1、FMP2中的每一个，所提出的方法包含搜索作为 η个最接近的参考补片FMPUFMP2中的各个参考补片的（k-Ι)个最接近的匹配的（k-Ι)个 另外的参考补片MP21、MP22,并且确定对应的率失真成本最小化权重。选取η个候选集之 一，该候选集将导致率失真成本不高于任何其他的其他候选集的率失真成本。参考所选取 的候选集的最接近的参考补片的矢量VECUVEC2之一是被编码或被解码的那一个。
[0044] 由于允许率失真成本的更全局的最小化，所以可以使用被确定为使用所确定的权 重使要预测的块的模板相对于包含在补片中的参考模板的加权线性组合的残差的编码的 率失真成本最小化的权重来得到良好的预测而不必对权重进行编码。
[0045] 换言之，该实施例的根本的基本思路是通过将使给出的指标最小化的"最佳"匹配 矢量来选择k个参考补片。因此，所使用的匹配矢量将有助于发现比基于现有技术水平的 近邻嵌入的预测更加适合的参考块。
[0046] 扩展到k个补片的构思的示例性的实施例是所谓的oMANE实施例（优化的映射辅 助近邻嵌入），其对要结合到加权线性组合中以便进行块预测的k个块实施三个步骤的搜 索：
[0047] 1)确定包含块BLK和邻近邻域或模板TPL的补片PTC的L个参考补片FMPUFMP2。 所述L个参考补片FMPUFMP2是那些就基于嵌入预测误差的距离度量（例如欧氏距离）而 言与补片PTC最为相似的补片。每个参考补片FMPUFMP2都与各自的参考矢量VECUVEC2 相关联。
[0048] 2)对于在步骤1中找到的每个参考补片FMP1、FMP2,创建词典DIC1、DIC2,词典 包含有包含在参考补片FMP1、FMP2中的各自的参考块RB11、RB12以及包含在与参考补片 FMPUFMP2相匹配或相似的另外的补片MP12、MP22中的（k-Ι)个另外的参考块RB2URB22， 并且使用在所述词典中的块的加权线性组合来确定预测。
[0049] 3)然后，为了选择与将予以保留以预测当前块的L个词典之一相关联的一组权重 V1，可以考虑两个距离度量：一个是直接基于嵌入预测误差的距离度量，例如，可以基于词 典41的预测A^V 1与要预测的当前块Xu之间的平方误差的最小和来得到最佳预测:
[0050] ?8?ι?ιπ|!^-4Ι/：^
[0051] 第二个是在期望选择提供重建的块的质量与该块的编码成本之间的最佳折衷的 预测的情况下的基于嵌入率失真成本的距离度量。即，使得率失真成本最小化以便选择提 供重建的块的质量与该块的编码成本之间的最佳折衷的预测，亦即：
[0052]
【权利要求】
1. 一种用于对图像的块进行编码的方法，该方法包含使用处理部件进行： 对所述图像的一部分进行编码和重建； 使用至少所述块来确定所重建的部分中的一个参考块，使得所述参考块与所述至少一 个块相似，并且确定参考所述一个参考块的矢量； 使用所述一个参考块来确定所重建的部分中的至少一个另外的参考块，使得所述参考 块与所述至少一个另外的参考块相似；以及 对所确定的矢量以及所述块相对于所述一个参考块和所述至少一个另外的参考块的 组合的残差进行编码。
2. 如权利要求1所述的方法，其中，邻近所述块的重建的邻域还被用于确定所述一个 参考块。
3. 如权利要求1或2所述的方法，其中，邻近所述一个参考块的重建的邻域还被用于确 定所述至少一个另外的参考块。
4. 如权利要求1至3的一项所述的方法，其中，所述一个参考块与所述至少一个另外的 参考块的组合是加权线性组合，其中，通过解决约束最小平方问题或非局部均值问题来确 定用于所述加权线性组合的权重。
5. 如权利要求4所述的方法，其中，根据邻近所述块的邻域以及邻近所述至少一个另 外的块的一个邻域和至少一个另外的邻域来确定用于所述加权线性组合的权重。
6. 如权利要求4所述的方法，其中，使用所述块、所述一个参考块以及所述至少一个另 外的参考块来确定用于所述加权线性组合的权重，并且其中对权重进行编码。
7. 如权利要求4所述的方法，其中，使用局部线性嵌入或非负矩阵因数分解来解决所 述约束最小平方问题。
8. 如权利要求4至7的一项所述的方法，还包含使用所述处理部件进行： 至少使用所述块来确定所重建的部分中的至少一个其他参考块，所述至少一个其他的 矢量参考所述至少一个其他的参考块； 使用所述至少一个其他的参考块来确定所述图像的所重建的部分中的至少一个另外 的其他参考块，使得所述至少一个另外的其他参考块中的每一个均与所述至少一个其他参 考块相似；以及 确定所述块相对于所述一个其他的参考块和所述至少一个另外的其他参考块的另外 的加权线性组合的另外的残差的预测误差或者率失真成本高于所述残差的预测误差或者 率失真成本。
9. 一种用于对图像的块进行编码的设备，该设备包含处理部件，被配置为： 对所述图像的一部分进行编码和重建； 使用至少所述块来确定在所重建的部分中的一个参考块，使得所述参考块与所述至少 一个块相似，并且确定参考所述一个参考块的矢量； 使用所述一个参考块来确定在所重建的部分中的至少一个另外的参考块，使得所述参 考块与所述至少一个另外的参考块相似；以及 对所确定的矢量以及所述块相对于所述一个参考块和所述至少一个另外的参考块的 组合的残差进行编码。
10. -种用于重建图像的块的方法，该方法包含使用处理部件进行： 对所述图像的一部分进行解码； 对所述块的经编码的残差进行解码，并且对参考所重建的部分中的参考块的经编码的 矢量进行解码； 使用所述参考块来确定所重建的部分中的至少一个另外的参考块；以及 通过结合所述残差与所述参考块和所述至少一个另外的参考块的组合来重建所述块。
11. 如权利要求10所述的方法，其中，邻近所述参考块的重构的邻域还被用于确定所 述至少一个另外的参考块。
12. 如权利要求10或11所述的方法，其中，所述参考块和所述至少一个另外的参考块 的组合是加权线性组合，其中，通过解决约束最小平方问题或非局部均值问题根据邻近所 述块的邻域以及邻近所述至少一个另外的块的一个邻域和至少一个另外的邻域来确定用 于所述加权线性组合的权重。
13. 如权利要求12所述的方法，其中，使用局部线性嵌入或非负矩阵因数分解来解决 所述约束最小平方问题。
14. 如权利要求10或11所述的方法，其中，所述参考块的组合是加权线性组合，所述方 法还包含对用于所述加权线性组合的经编码的权重进行解码。
15. -种用于重建图像的块的设备，该设备包含处理部件，被配置为： 对所述图像的一部分进行解码； 对所述块的经编码的残差进行解码，并且对参考所重建的部分中的参考块的经编码的 矢量进行解码； 使用所述参考块和/或邻近所述参考块的重建的邻域来确定所重建的部分中的至少 一个另外的参考块；以及 通过结合所述残差与所述参考块和所述至少一个另外的参考块的组合来重建所述块。
【文档编号】H04N19/14GK104067616SQ201380005411
【公开日】2014年9月24日 申请日期:2013年1月7日 优先权日:2012年1月13日
【发明者】S.谢里吉, C.吉尔莫特, D.索罗, P.吉洛特尔 申请人:汤姆逊许可公司