从原始图像的低质量版本和摘要构建原始图像的估计的方法和装置的制造方法
【技术领域】
[0001] 本发明一般地涉及借助于原始图像的低质量版本和摘要(epitome)进行图像的构 建。
【背景技术】
[0002] 该部分意在向读者介绍可能与以下描述和/或要求的本发明的各个方面有关的现 有技术的各个方面。该讨论被认为有助于向读者提供背景信息以促进对本发明的各个方面 的更好理解。因此，应当理解，要从这个角度来阅读这些陈述，而不是作为对现有技术的承 认。
[0003] 摘要是包含图像的纹理特性的本质的图像(或视频)信号的浓缩(因式分解)表示。
[0004] 图像由其摘要和赋值(assignation)映射进行描述。摘要包括来源于该图像的一 组图表(chart)。赋值映射对于图像的每个块指示纹理摘要中的哪个补片(patch)用于该块 的构建。在编码上下文中，摘要需要与赋值映射一起存储和/或传送（S. Cher igui， C.Guillemot，D.Thoreau，P.Guillotel和P.Perez，"Epitome-based image compression using translational sub-pixel mapping"，IEEE MMSP 2011)〇
[0005] 已经提出了不同形式的摘要，诸如高"完整性"的图像概要(D.Simak〇v，Y.Caspi， Ε· Shechtman，M. Irani，"Summarizing visual data using bidirectional similarity'，， 计算机视觉与模式识别，CVPR 2008)或者从静止图像补片学习的基于补片的概率模型 (N. Jojic等，"Epitomic analysis of appearance and shape"，IEEE国际计算机视觉大会 (ICCV'03)，第34-41页，2003)或者从取自输入视频的时空纹理立方体学习的基于补片的概 率模型(V. Cheung，B，J.Frey和N. Jojic，"Video Epitomes"，国际计算机视觉杂志，第76卷， 第2期，2008年2月）。这些概率模型连同适当的推断算法，对于绘画中或者超分辨率内容分 析是有用的。
[0006] 另一族方法是利用计算机视觉技术，诸如KLT跟踪算法，以便恢复图像内和跨图像 的自相似性（H.Wang，Y.Wexler，E.Ofek，H.Hoppe，"Factoringrepeatedcontentwithin and among images"，美国计算机学会图形学报，SIGGRAPH 2008)〇
[0007] 并行地，另一类型的方法已经在（M.Aharon和M.Elad，"Sparse and Redundant Modeling of Image Content Using an Image-Signature-Dictionary"，SIAM J.成像科 学，第1卷，第3期，第228-247页，2008年7月）中进行介绍，其目的在于使用稀疏编码和字典 学习从图像提取类似摘要的签名。
[0008] 基于图像摘要的帧内预测方法已经在(A.Efros，T.Leung，"Texture synthesis by non-parametrie sampling"，国际计算机视觉大会，第1033-1038页，1999)中进行介绍， 其中通过模板匹配从图像摘要生成对于每个块的预测。基于视频摘要分析的帧内编码方法 也在（Q.Wang，R.Hu，Z.Wang，"IntracodinginH.264/AVCbyimageepitome"，PCM 2009)中提出，其中使用由图像摘要的长度和宽度所决定的固定长度码来编码变换映射(匹 配矢量）。这两个方法所使用的摘要图像是基于具有金字塔方法的EM(期望最大化)算法。
[0009] 这种摘要图像保留了原始图像的全局纹理和形状特征，但是引入了不期望的视觉 伪像(例如，输入图像中不存在的附加补片）。
【发明内容】
[0010] 本发明以一种用于从原始图像的低质量版本和摘要构建原始图像的估计的方法 来纠正现有技术的某些缺点，该方法限制原始图像的构建的估计中不期望的伪像。
[0011] 更确切地，该方法获得包括至少一个补片对的字典，每一个补片对包括被称为第 一补片的摘要的补片和被称为第二补片的原始图像的低质量版本的补片。通过原地匹配来 自摘要的补片和来自低质量图像的补片来对于摘要的每一补片提取补片对。
[0012] 接下来，对于原始图像的低质量版本的每一补片，该方法在补片对的字典内选择 至少一个补片对，根据涉及原始图像的低质量版本的补片和所选择的补片对的第二补片的 准则来选择每一个补片对。
[0013] 然后，该方法根据所述至少一个所选择的补片对获得映射函数，使用该映射函数 将原始图像的低质量版本的补片投影为最终补片。
[0014] 根据变型，当最终补片在一个像素中彼此重叠时，该方法进一步将一个像素中的 最终补片进行平均，以给出原始图像的估计的像素值。
[0015] 根据实施例，所述至少一个所选择的补片对是原始图像的低质量版本的补片的最 近邻。
[0016] 根据实施例，通过从所述至少一个所选择的补片对进行学习来获得映射函数。
[0017] 根据实施例，学习映射函数被定义为使得所述至少一个所选择的补片对的第一补 片与第二补片之间的最小平方误差最小化。
[0018] 根据实施例，原始图像的低质量版本是具有原始图像的分辨率的图像。
[0019] 根据实施例，如下获得原始图像的低质量版本：
[0020] -生成原始图像的低分辨率版本，
[0021 ]-编码图像的低分辨率版本，
[0022] -解码图像的低分辨率版本，以及
[0023] -对已解码的图像的低分辨率版本进行内插，以便得到具有与原始图像的分辨率 相同的分辨率的原始图像的低质量版本。
[0024] 根据实施例，从原始图像获得摘要。
[0025] 根据实施例，从原始图像的低分辨率版本获得摘要。
[0026] 根据其各方面之一，本发明涉及一种用于从原始图像的低质量版本和根据图像计 算的摘要构建原始图像的估计的装置。该装置的特征在于其包括用于以下的部件：
[0027] -获得包括至少一个补片对的字典，每一个补片对包括被称为第一补片的摘要的 补片和被称为第二补片的原始图像的低质量版本的补片，通过原地匹配来自摘要的补片和 来自低质量图像的补片来对于摘要的每一补片提取补片对，
[0028] -对于原始图像的低质量版本的每一补片，在补片对的字典内选择至少一个补片 对，根据涉及原始图像的低质量版本的补片和所选择的补片对的第二补片的准则来选择每 一个补片对，
[0029] -根据至少一个所选择的补片对获得映射函数，
[0030] -使用该映射函数将原始图像的低质量版本的补片投影为最终补片。
[0031] 本发明的特定性质以及本发明的其它目的、优点、特征和使用，将从结合附图做出 的优选实施例的以下描述中变得明显。
【附图说明】
[0032] 将参考以下附图描述实施例：
[0033]-图1示出了用于从原始图像的低质量版本和根据图像计算的摘要构建原始图像 的估计的方法的步骤的图；
[0034] -图2示出了关于图1所描述的方法的实施例的步骤的图；
[0035] -图2_(2)示出了关于图1所描述的方法的实施例的变型的步骤的图；
[0036] -图2_(3)示出了关于图1所描述的方法的实施例的另一变型的步骤的图；
[0037] -图3图示用于从图像获得摘要的步骤的实施例；
[0038] -图4示出了在传输上下文中的编码/解码方案的示例；
[0039] -图5示出了实现用于构建原始图像的估计的方法的实施例的编码/解码方案的示 例的步骤的图；
[0040] -图6示出了图5的编码/解码方案的变型的步骤的图；
[0041] -图7示出了设备的架构的示例。
【具体实施方式】
[0042] 将在参考其中示出了本发明的实施例的附图之后在此更完全地描述本发明。然 而，本发明可以体现在许多替换形式中并且不应当被看作为限于在此提出的实施例。因此， 虽然本发明易经历各种修改和替代形式，在图中通过示例的方式示出具体实施例，并且在 此将详细描述这些具体实施例。然而应当理解的是，不意图将本发明限于公开的特定形式， 而是相反地，本发明意图覆盖落入如权利要求所限定的本发明的精神和保护范围内的所有 修改、等效和替换。相同的附图标记涉及贯穿【附图说明】的相同的元件。