针对纹理区域的图像编码器的制作方法

专利名称：针对纹理区域的图像编码器的制作方法
针对紋理区域的图像编码器本发明涉及用于将包括紋理区域的图像压缩成压缩数据流的图像 编码器。本发明进一 步涉及将包括紋理区域的图像编码成压缩数据流的方 法、用于将压缩数据流解码成包括紋理区域的图像的图像解码器、将 压缩数据流解码成包括紋理区域的图像的方法、用于传输包括紋理区 域的编码图像压缩数据流的发送器、用于传输编码图像压缩数据流的 便携式设备、用于接收压缩数据流并解码包括紋理区域的图像的接收 器、压缩的编码图像信号、压缩的编码图像信号的传输方法以及用于 执行上述任何方法的计算机程序产品。为了高效的传输及存储，将包括图像序列的视频信息编码成压缩 数字数据流。近年来，人们对开发更好的编码器和解码器以在保持解 码图像的高质量的同时减少带宽产生了极大的兴趣。具有紋理区域的 图像序列的压缩带来了附加的挑战，例如，为了在解码图像中更高质 量地再现紋理，对带宽的要求更高。其它类型紋理中的图像可以包含随才几的紋理。通过找出随才几紋理 的最相似的参数模型便能获得该随机紋理的表示。在比特率减少方面， 有利的是，在任何需要的地方将紋理的参数模型以及区域的边界信息 编码成压缩数据流，而不是通过常规方法编码紋理区域。在解码器处 接收压缩数据流，并利用解码的紋理参数(例如紋理的统计参数)和 边界信息在输出图像中重构紋理区域。由于人眼的心理视觉感知的缘 故，不能将这些重构的紋理与存在于原始图像中的紋理有效地区别开 来。一种用于将表示紋理模型的参数编码成压缩数据流、解码紋理模 型的参数以及在输出图像处重构紋理化区域的图像编码系统的实施例在5见有才支术中是已^口的，5见有才支术如J戈口 Adrina Dumitras和Barry G. Haskell发表于《IEEE电路与系统学报》20(M年6月第l4巻第6期 的"编码器-解码器紋理置换方法在基于内容的电影编码中的应用(An Encoder—Decoder Texture Replacement Method With Application toContent-Based Movie Coding)，，。然而，现有技术的缺点在于，即使在对表示紋理模型的参数进行 编码时，编码大量的紋理仍然需要相当大的数据量以待编码，如果想 要精确地编码紋理，情况尤其如此。期望提供一种图像编码器，该图像编码器用于以更有效率的方式 压缩包括紋理区域的图像。用于压缩包括第一区域、第二区域和第三区域至少其一的图像的 图像编码器实现了上述期望，该图像编码器包括- 估值器，设置为依据预先确定的估计算法根据第一区域的第一紋 理参数和第二区域的第二紋理参数至少其一估计第三紋理参数；- 比较器，设置为根据预先确定的匹配标准把对应于所估计的第三 紋理参数的产生的紋理表示和位于输入图像第三区域中的紋理表示进 行比较并计算出匹配度值；以及- 数据编码器，设置为将第一紋理参数和第二紋理参数至少其一编 码成压缩数据流，并设置为当匹配度值在预先规定区间之内时在压缩 数据流中利用估计算法的字典化(codification)对位于输入图像的 第三区域中的紋理进行编码。本发明人已经认识到，图像中的紋理相互之间常常具有一定程度 的相似性， 一个紋理的参数可以根据一个或多个相似的紋理的参数来 估计。能够根据相关紋理的参数而被估计的紋理参数不必被编码和传 输，借此节省了相当大量的带宽或存储空间。然而需要在压缩数据流 中字典化(codified)和传输预先确定的估计算法。解码器使用估计 算法来估计未被传输的紋理参数。根据本发明，估值器设置为依据预先确定的估计算法根据第一紋 理和第二紋理参数至少其一来估计第三紋理参数。在数据编码器中， 使估计算法能用于字典化和进一步的传输或存储。比较器设置为比较通过估计的紋理参数所产生的第三紋理表示和 图像中现有的第三紋理表示。第三紋理的表示可以是像素或从紋理中 得出的模型参数或统计特性的形式，紋理的比较可以在相应的域中完 成。比较器得出的匹配度值是产生的紋理和现有的紋理之间相似性的 一个度量，并且可以用来确定是否可以用重新产生的紋理替代现有的紋理。在数据编码器中，如果发现匹配度值在一个预先规定区间之内时， 那么将估计算法编码成压缩数据流。否则在数据流中对第三紋理的实 际参数进行编码。有利的是，使用比编码第三紋理参数所需比特率更 少的比特率来编码估计算法。因而实现了比特率的节省并由此提高了 具有紋理区域的图像的编码效率。除了比特率的节省，根据本发明的编码器具有许多另外的优点。 匹配度值可^f皮认为是一个有用的质量度量，它有利地用于编码器中以 选择紋理的区域，可以根据估计的参数重构所述紋理，使其与现有的 紋理很类似。通过在数据编码器中针对可接受的匹配度值设置一个期 望的预定义区间，能得到产生的紋理和现有的紋理之间的期望的匹配 质量。因而通过改变预定义区间，可由估计算法表示的紋理区域个数 可以变化。紋理参数和估计标准的字典化可作为附加数据包含在压缩数据流 中，并使得该方案与任何一种预定义的视频压缩标准兼容。在根据本发明的图像编码器的 一 个实施例中，估值器设置成应用 第一紋理参数和第二紋理参数的加权组合作为预先确定的估计算法。加权组合允许用比例变化的起作用的紋理参数对估计的紋理参数 进行内插或外推。通过调节权重可以有效地得到具有预先确定精度的 第三紋理参数的估计。在根据本发明的图像编码器的另 一 个实施例中，估值器设置为通 过最小化匹配度值自适应地针对加权组合选择权重。权重事前是未知的，必须通过搜索过程进行选择。在从最初的状 态递增地改变权重的同时，匹配度值可以用作待最小化的得分。匹配 度值是根据估计的第三紋理参数所产生的紋理与存在于图像中的原始 紋理之间相似性的 一 个度量。可以有利地使用反馈机制来根据相似性 的度量以自适应的方式控制权重的选择。为了收敛到预定义匹配度值， 可以迭代地和自适应地选择最优的一组权重。在根据本发明的图像编码器的另 一个实施例中，比较器设置为应 用心理一见觉匹配函数作为预定义匹配函数，该心理—见觉匹配函数把所 产生的纹理的表示和现有的紋理的表示(所述两个表示均通过许多像 素来定义)作为输入，产生匹配度值作为输出。比较器设置为应用心理视觉匹配函数，该函数用于把产生的紋理 和现有的紋理进行比较。常常使用心理视觉匹配函数来仿效人类视觉 系统用于评价图像视觉质量。心理视觉匹配函数可以特别地设计为比 较两个通过许多像素表示的紋理并产生指示紋理相似性度量的匹配度 值。匹配度值可以用于确定现有的紋理能否由产生的紋理所取代以致 人眼几乎感知不出失真。在本发明中使用心理一见觉函数的优点在于， 现有的紋理以一定量预先决定的视觉质量被产生的紋理所取代。在根据本发明的图像编码器的另 一 个实施例中，比较器设置为应 用统计匹配函数作为预定义匹配函数，该统计匹配函数把产生的紋理 表示的统计特性和现有的紋理表示(所述两个表示均通过许多像素来 定义)的统计特性作为输入，产生匹配度值作为输出。当由像素区域表示的两个紋理必须进行相似性的比较时，可以对 许多公知的统计特性进行比较。统计特性的范围可以是从基本特性到 更高级的统计特性。基本统计特性的一些例子有平均值、方差、标准 差、矩、熵、相关性、从共生矩阵中提取的矩和度量。也可以考虑更高级的统计特性，例如均匀性度量和能量聚集度量(energy clustering measures)。可以^使用这些统计特性的组合以获得表示两个紋理相似 性的匹配度值。在根据本发明的图像编码器的另一个实施例中，比较器设置为应 用距离度量函数作为预先确定的匹配标准，该距离度量函数把第三紋 理参数和位于第三区域中的紋理的紋理参数作为输入，产生匹配度值 作为输出。当两个紋理的参数表示为两个向量时，可以应用距离度量计算两 个向量之间的匹配度。可以适当地变换距离度量来以匹配度值的形式 表示两个紋理的相似性。在根据本发明的图像编码器的另 一 个实施例中，编码器设置为对 包括图像时间序列的视频信息进行编码。特别是在图像中的紋理是相关的或相似的时候，本发明可以应用 于视频中的时间序列图像或任何图像序列中。在图像序列中，根据位 于相邻图像中的相关紋理的紋理内和紋理间估计是可能的。结果，包 括紋理的图像序列的编码也可以使用紋理参数和估计算法有利地完 成。在根据本发明的图像编码器的另 一 个实施例中，图像编码器设置 为对包括第一区域的第一图像、包括第二区域的第二图像以及包括第 三区域的第三图像进行编码，其中第一图像和第二图像与第三图像在 时间上相邻。其参数有待估计的第三紋理不必包括在相同的图像中，可以包括 在时间上相邻的图像之一中，这些时间上相邻的图像包含相关的紋理， 例如第一和第二区域的紋理。因而本发明可以有利地应用于可能包含 相关紋理的视频序列和图像序列中。进一步期望提供一种图像编码的方法，其提供一种以更有效率的 方式对包括第 一 区域、第二区域和第三区域至少其 一 的图像进行编码 的方法。对包括第一区域、第二区域和第三区域至少其一的图像进行编码的方法实现了上述期望，该编码方法包括_ 依据预先确定的估计算法根据第一区域的第一紋理参数和第二区 域的第二紋理参数至少其一估计第三紋理参数；- 根据预先确定的匹配标准把对应估计的第三紋理参数的产生的紋 理表示和位于输入图像第三区域中的紋理表示进行比较并计算出匹配 度值；以及- 将第一紋理参数和第二紋理参数至少其一编码成压缩数据流，并 当匹配度值在预先规定区间之内时在压缩数据流中利用估计算法的字 典化对位于输入图像的第三区域中的紋理进行编码。对用于根据第一和第二紋理参数估计第三紋理参数的估计算法而 不是参数本身进行字典化，这样节省了大量的比特率。把根据估计参 数的产生的第三紋理和现有的第三紋理进行比较以产生一个匹配度 值。如果匹配度值在预定义极限内，则再现质量可以认为在可接受的 范围内。在这些情况中，代替对第三紋理参数进行编码和传输的是， 对估计算法进行字典化和传输，使得有效地减少了用于图像或图像序 列的带宽和存储空间。进一步期望提供一种用于以更有效的方式解码压缩数据流的图像 解码器。用于将包括估计算法的字典化的压缩数据流解码成包括第 一 区 域、第二区域和第三区域至少其一的图像的图像解码器实现了上述期望，该图像解码器包括，_ 数据解码器，设置为从压缩数据流中解码第一区域的第一紋理参数和第二区域的第二紋理参数；- 检测器，用于从压缩数据流中检测估计算法的字典化；- 估值器，用于依照由估计算法所表明的预先确定估计算法根据第 一紋理参数和第二紋理参数至少其一估计第三区域的第三紋理参数。图像解码器可以设置为解码第一和第二紋理参数，根据估计算法 可以估计第三紋理参数并根据这些参数合成这些紋理。解码器配备有 用于检测估计标准的字典化的检测器机构。基于估计算法计算第三紋 理参数。减少了解码第三紋理参数的工作量。因而提高了根据本发明 的解码器的解码效率。进一步期望提供一种以更有效的方式对压缩数据流进行图像解码 的方法。将包括估计算法的字典化的压缩数据流解码成包括第 一 区域、第 二区域和第三区域至少其一的图像的方法实现了上述期望，该方法包 括，- 从压缩数据流中解码第 一 紋理区域的第 一 紋理参数和第二紋理区 域的第二紋理参数；- 从压缩数据流中检测估计算法的字典化；- 依照估计算法表明的预先确定估计算法根据第一区域的第一紋理 参数和第二区域的第二紋理参数至少其 一估计第三紋理参数。根据本发明的解码方法包括解码第 一 紋理参数和第二紋理参数。 在检测估计算法的字典化之后，根据第 一和第二紋理参数估计第三紋 理参数。在用于根据本发明编码至少一个图像的图像编码器的另一个实施 例中，该图像编码器包括- 编码器的第一部分，其设置为把包括至少一个图像对象的至少一 个图像编码成符合预定义图像压缩标准的压缩数据流的第一部分，以及；- 编码器的第二部分，其设置为把紋理区域编码成第二压缩数据流， 该第二压缩数据流包括第一和第二紋理参数的已编码参量数据以及用 于根据第一和第二紋理估计第三紋理的估计算法的字典化，其中交叉放置第 一和第二压缩数据流，使其代表符合预定义图像 压缩标准的组合数据流。一些图像包含其后有大量背景紋理的对象，例如有运动员的足球 场。在这些图像中，有益的是，在编码器的两个部分中分别压缩前景 对象和背景紋理，并组合这两部分的压缩数据流以形成单 一数据流。 根据本发明构建了用于编码多个紋理的编码器的笫二部分。因为可以 用相比常规压缩方案所需的比特个数少得多的比特个数来再现紋理， 所以该方案可以导致比特率的大量节省。因为压缩数据流的第 一部分符合公知的图像压缩标准之一 ，所以 常规解码器仍然能够将压缩数据流解码成具有粗造背景的对象。因此 根据本发明的编码器的实施例能够可选地包括在公知图像压缩标准的 常规解码器中。进一步期望提供一种发送器，用于传输通过编码包括紋理区域的 至少一个输入图像而获得的压缩数据流。用于传输通过编码包括紋理区域的至少一个输入图像而获得的压缩数据流的发送器实现了上述期望，该发送器包括- 紋理建模单元，其设置为借助例如二维自回归模型的预定义模型 对紋理区域的紋理建模，估计该模型的紋理参数并将该模型的信息编 码成压缩数据流；- 图像编码器，其设置为接收紋理参数以及图像中现有的至少一个 纹理的表示，还设置为将紋理参数以及估计算法的字典化进一步编码 到所述压缩数据流中；以及- 传输单元，其设置为传输压缩数据流到数据传输机构或存储机构。 发送器包括紋理建模单元，在其中可以分割紋理区域并估计紋理参数。发送器进一步包括编码器，该编码器设置为根据第一和第二紋 理估计第三紋理参数，把产生的第三紋理与现有的第三紋理进行比较 并且当匹配度值在预定义区间内时把估计算法编码成压缩数据流。因 而压缩数据流的带宽相比常规系统减少了 。发送器进一步包括发送器 单元，该发送器单元转换压缩数据流，使其与传输介质(例如，有线、 无线或因特网)兼容。本发明的发送器可以接收图像序列并以相比编 码所有紋理参数的现有技术发送器更少的带宽传输它们，因此本发明 的发送器效率更高。根据本发明的用于传输视频序列的发送器可设置于多种广播选项中，例如电缆接线员头端或者无线广播站或者直接 到户广播站或者因特网服务器。进一步期望提供一种便携式设备，用于以更有效的方式存储和/或 传输图像的编码版本。所述期望因以下的便携式设备而得以实现，该便携式设备包括- 照相机，设置为捕捉至少一个图像；- 根据本发明的发送器，其设置为传输所述至少一个图像的编码版 本到数据传输机构或存储机构。该便携式设备可以包括照相机和根据本发明的发送器。照相机可 以提供可被存储或传输的图像序列。根据本发明的发送器可以将图像 序列变换成压缩数据流。该便携式设备的发送器与根据本发明的在前 面段落中说明的发送器相似。根据本发明，相比常规发送器，本发送 器设置为减少比特率和存储空间。因此，所述便携式设备可以有益地 用在带宽有限或存储量有限的应用中。这些设备的例子有，带有摄像 头的移动电话、带有摄像头或数字静止/视频照相机的个人数字助理 (PDA)。在所有这些可能的例子里，还可能具有用于存储图像的存储 介质或者用于传输图像序列的发送器。当使用"发送器"这个词时， 我们指的是包括向存储存储器(根据其数据标准)的传输，例如向存 储棒等的传输。在根据本发明的图像解码器的 一个实施例中，图像解码器设置为 把压缩数据流解码成至少一个图像，该图像解码器包括- 解码器的第一部分，其设置为把符合预定义图像压缩标准的压缩 数据流的第一部分解码成至少一个图像对象；以及- 解码器的第二部分，其设置为解码压缩数据流的第二部分，该压缩数据流的第二部分包括估计算法的字典化以及紋理区域的参数，其中解码器的第二部分进一步设置为根据区域紋理的参数合成紋理区域并将紋理区域添加到图像对象中以产生输出图像。解码器可以解码符合公知图像压缩标准的压缩数据流。压缩数据 流的第一部分解码时可以产生图像对象，按照本发明编码的压缩数据 流的第二部分可以产生包括紋理的区域，这两个输出都加起来以形成 输出图像。解码器设置为解码压缩数据流的第一部分，并与已知标准 的压缩数据流兼容。进一步期望提供一种接收器，用于以更有效的方式接收压缩数据 流，该压缩数据流包括输出至少一个图像的至少一个图像的编码版本。用于接收来自图像传输或存储机构的压缩数据流的接收器实现了 该期望，所述压缩数据流包括至少一个图像的编码版本，该接收器包括- 根据本发明的解码器，设置为将压缩数据流解码成至少一个输出图像；- 输出装置，设置为将输出图像连接到被包含的或可连接的显示器上。根据本发明的图像编码器包括在用于接收压缩数据流以及输出至 少一个图像的接收器中。接收器设置为接收符合已知视频压缩标准的 压缩数据流和/或包括紋理参数和估计算法的字典化的压缩数据流，并 输出图像序列。接收器可以包括显示器，或者它可以具有用于耦合到 外部显示器上的装置。本发明可以用于许多接收器之一，例如，电视 接收器、家庭影院系统、机顶盒、带有或不带有因特网连接的个人电 脑以及便携式设备，这些便携式设备例如媒体中心、便携式视频播放器、个人数字助理(PDA)和移动电话。进一步期望提供一种压缩编码图像信号，该信号以更有效的方式 压缩图像序列。该期望因以下的压缩编码图像信号而得以实现，所述压缩编码图 像信号包括- 数据，其根据预定义的图像压缩标准基于像素组的像素值的线性 变换对位于图像中的图像对象进行编码，所述像素组包含在图像对象中；- 参量数据，其编码包含在图像内的紋理区域；以及- 模型的字典化，该模型用于基于编码紋理的参量数据生成另外的 紋理参数，这些紋理参数可用于重建该图像的另一个紋理。适当地修改符合公知图像压缩标准的压缩编码图像信号，使其容 纳例如模型的字典化的附加成分，所述模型用于根据传输的紋理参数 生成另 一个紋理。用于基于紋理参数生成另 一个紋理的附加的模型的 字典化在比特率减少方面相比标准图像压缩信号把图像信号设置得更 有效率。当在常规解码器中解码时，可以丟弃所述附加成分并只合成具有接收的参数的紋理区域。因而生成的图像信号仍然可以符合常规解码器。进一步期望提供一种以更有效的方式传输压缩编码图像信号的方法。该期望通过以下压缩编码图像信号而得以实现，所述压缩编码图 像信号包括用于识别模型的字典化，该模型用于基于参量数据生成另 外的紋理参数，所述参量数据编码包含在图像中的第一紋理区域，所述紋理参数可用于重建包含在图像中的另一个紋理区域，该方法包括- 根据预定义的图像压缩标准基于像素组的像素值的线性变换将位 于图像中的图像对象编码成压缩编码图像信号，所述像素组包含在图 像对象中；- 借助参量数据编码包含在图像内的第 一紋理区域；- 编码模型的字典化，该模型用于基于参量数据生成另外的紋理参 数，这些紋理参数可用于重建该图像的另一个紋理。- 通过数据传输的有线或无线介质传输编码压缩数据流。 根据本发明的压缩编码视频信号的传输方法包括编码模型的字典化的步骤，模型用于根据第一紋理的参数生成另外的紋理参数。因而 该编码方法通过对紋理重建的模型而不是对紋理参数本身进行编码而 节省了比特率。因此本方法比编码图像紋理的常规方法更有效率。进一步期望提供一种能够使处理器以更有效的方式执行编码图像 的方法的计算机程序产品。由计算机装置装载的所述程序产品实现了该期望，所述程序产品 包括用于将包含紋理区域的图像压缩成压缩数据流的指令，所述计算 机装置包括处理单元和存储器，所述计算机程序产品在被装载之后赋 予所述处理单元完成以下任务的能力- 依据预先确定的估计算法根据第 一 区域的第 一 紋理参数和第二区 域的第二紋理参数至少其 一估计第三紋理参数；- 根据预先确定的匹配标准把对应估计的第三紋理参数的产生的紋 理表示和第三区域的现有的紋理表示进行比4交并计算出匹配度值；以 及- 将第一紋理参数和第二紋理参数编码成压缩数据流，并当匹配度 值在预先规定区间之内时在压缩数据流中利用估计算法的字典化对位于第三区域中的紋理进行编码，从而压缩了图像。计算机程序产品通过对估计标准而不对紋理参数进行编码从而减 少比特率来增加编码效率，该计算机程序产品包括用于执行根据本发 明的方法的一步一步的指令。该计算机程序产品是有用的，它相比编 码所有紋理参数的程序能实现更好的压缩。该计算机程序是一种能应 用在多种平台上以有效地执行编码方法的通用工具。该计算机程序产 品能用于各种形式的用户器件和设备中，例如机顶盒、视频接收器、 录音机、播放器、手持设备和移动设备。该计算机程序产品可以安装在多种平台之上的这些设备之一中，所述多种平台例如是PC机、手持设备、视频播放器的操作系统(os)，或者安装在任何一个公知的嵌入式系统中或者安装在Java虚拟机上。在根据本发明图像编码器的 一 个实施例中，手工分割图像以获得 纹理区;或。图像中紋理化的区域可以手工分割以获得相比机器分割的区域相 对更精确和更有意义的区域。就重复的场景和占据大部分场景的紋理 化图段(例如足球场上的草地)来说，手工分割是有用的。紋理估计和内插值的技术可以有利地应用于整合具有图形设置和 背景的图像；例如，计算机图形学在制作方起作用。在根据本发明的图像编码器的 一个实施例中，借助于图像分割算 法对图像进行预分割以获得紋理的区域和参数。应用经典的分割方法之一 (例如，分裂合并或递归直方图分裂或 区域增长)可以自动地分割图像。可以在计算机器中以软件或硬件来 执行这些算法。可以通过假定和测试参数模型与现有的紋理的适合度 来预分割图像，在这个过程中，也可以分割区域。分裂合并方法可以 用于二次迭代中以对改进的图段的模型参数进行改进。可以将紋理区 域和紋理参数直接加到才艮据本发明的编码器中以进一步编码紋理参 数。利用参数模型的自动分割比第一次分割和寻找区域紋理参数要快。 自动分割可以任选地设置为获取常规形状和大小的区域，例如16x16 像素的正方形区域或16 x 32像素的矩形区域。本发明的上述目的和期望的特征通过下面参考附图对优选实施例 的描述将变得更加明了，其中

图1是具有紋理区域的示例图像的示意图。图2是根据本发明的图像编码器的一个实施例的示意图。图3是包括根据本发明的图像编码器的估值器和比较器的示范单元30的示意图。图4是根据本发明的比较器的一个实施例的方块图示意图。图5是包括紋理区域的图像视频序列的示意图。图6是根据本发明的编码图像方法的一个实施例的流程图示意图。图7是根据本发明的图像编码器的一个实施例的方块图示意图。图8是根据本发明的解码图像方法的 一个实施例的流程图示意图。图9是根据本发明的图像编码器的一个实施例的方块图示意图。图IO是根据本发明的发送器的一个实施例的方块图示意图，该发送器用于传输压缩数据流。图11是根据本发明实施例的一种便携式设备的实施例的方块图示意图。图12是根据本发明的图像解码器的 一 个实施例的方块图示意图。图13是根据本发明的接收器的方块图示意图。图H是根据本发明的计算机程序产品的方块图示意图。编码和压缩图像序列以减少传输和存储它们所需的数据量。实现 的压缩率可以直接影响解码的图像质量，例如较高的压缩率可能导致 差质量的解码图像。图像中的紋理具有一些空间相似特性并且一般包 括重复的结构，这些结构常常具有一些随机变化，例如随机位置、方 向或颜色。当紋理的重要统计信号特性不取决于图像的位置时，认为 紋理是平稳的。当试图实现较高压缩率的同时实现高质量的解码图像 时，压缩具有紋理区域的图像提出了附加的挑战。图1是具有紋理区域的示例图像10的示意图。图像10包括图像 对象(例如前景中的人15 )以及背景中的三个紋理区域11, 12和13。 紋理区域13可以和紋理区域11和12相似。和紋理11和12至少其一 相似、相关或取决于它的紋理区域13可以出现在图像任何地方。例如， 紋理区域13可以在相似的紋理11和12这两者的相邻位置出现或者它 可以分开出现。因而图像中的紋理可以以相似性和互相关性聚合。与 一个或两个紋理非常相似的紋理是利用相似紋理的估计参数进行重构 的良好的候选对象。紋理区域13也可能从一端到另一端逐渐变化，在一端和一个紋理 ll相似，在另一端与另外的紋理12相似。在一些图像种类中，在大区 域中的紋理可以包括组成紋理的大小可变的元素。它们有时可能#_称 为从粗颗粒变化到细颗粒的紋理。从区域的 一个边界到另 一个边界逐 渐变化的紋理颗粒结构也是利用估计参数(例如表示相似紋理的统计 参数)进行重构的良好的候选对象。可对紋理进行分析，并用参数模型拟合紋理。借助从模型获得的 参数，紋理可被特性化。因此编码压缩流中的模型参数就可能足以使 得可以在图像的合适位置合成并重构紋理。可以要求发送紋理的位置 和边界信息。可以任选地例如通过几何图形的边界逼近，或通过4吏用 多项式函数、傅里叶描述子或分形几何的边界描述来对边界信息进行 编码以实现数据压缩。不是每个实施例都需要边界信息，因为例如在预固定的图像子部 分中的背景草地紋理可以根据任何起初的紋理来完成，前景对象可以 叠加在该起初的紋理之上。可以使用一些策略来平滑根据本发明的前 景对象中的紋理以及由参数生成的背景紋理的转换。一般地，可以生成具有和原始紋理相同的统计特性的紋理实现。 也可以根据一个或多个相关的或从属的紋理的模型参数从这些紋理中 生成中间的或渐变的紋理。在这些情况中，相比编码位于图像中的所 有紋理区域的模型参数，可以实现比特率的减少。图2是根据本发明的图像编码器20的一个实施例的方框图示意图。图像编码器20包括估值器21、比较器22和数据编码器23。图像 编码器设置为接收紋理区域的紋理参数。紋理参数是紋理的表示并可 用于紋理的再次生成。有各种各样的估计紋理区域紋理参数的方法。 紋理随机表示的紋理参数例如可以通过找到和它最相似的参数^t型来 获得。紋理参数可以附加地包括紋理区域边界信息的表示。图像编码器20设置为对图1中所示的包括第一区域11、第二区域 12以及第三区域13至少其一的图像10进行编码。估值器21设置为接 收第一区域的第一紋理参数(p ,。)和第二区域的第二紋理参数(p2。) 至少其一，并根据预先确定的估计算法(K)估计第三紋理参数(p3e)。 估计算法可以是一个例如对紋理参数进行平均的简单算法，也可以是一个例如紋理参数的多项式非线性方程的较复杂的算法。紋理参数的 加权平均可以有利地用作估计算法。可以在编码器外部提供用于接收输入图像、分割紋理化区域以及 计算紋理参数的分割装置，或者将其作为编码器内部的一个附加模块。 可以把紋理化区域的分割和参数估计组合在一起，或者可以分阶段有利地完成分割。例如自回归移动平均(ARMA)模型的参数模型的预测 和修正可用于分割和参数估计。通过分裂合并或其它任何公知的程序 的分割的改进也可以包含在分割模块内。所述分割可以是应用任何一 种公知技术(例如直方图分裂)的自动分割。提出紋理化区域的模型拟合和参数估计的一个例子。考虑紋理A, 它是位置(历，/7)的函数J。假设紋理是平稳的。这样一个紋理的一些 有用的统计参数可以是均值和自协方差。在本例中，说明了自协方差 参数p,的估计。为了标记的简单，可以进一步假设均值为零。对于非 零均值的情况，可以估计并减去该均值。自协方差定义为两个观测值J(/ 。 ， /7。)和J (历。+ △历，A + △")之间的协方差，其中(△历，)是坐标(A , A)的增量位移p , ( △ /7， △ 777) = E {J(/Z70 , 77。) /(碼+ △历，/70 + △ /7 ) } ( 1 )平稳的特性导致Pi与位置(A,"。)无关，且只取决于两个观测 值的相对位置(A历，△/ )。方差由坐标位移(0， O)处的自协方差 给出c^ = Pl(0，0) (2) 可以使用2维自回归(2D AR)模型以获得紋理协方差函数中统计意义上重要细节的紧凑表示。下面的差分方程给出了对于紋理J的2DAR模型7(W,") + _ Z., W —力=77) ( 3 )其中J是该紋理，S(/ ，历)是零均值独立同分布随机变量。求和中使用的周围区域S定义为支撑域(ROS)。点(/ ， / )可以称为支撑域 的^心,《。该求和是周围观测值的带有系数,的线性组合。 可以使用AR模型参数a基于周围像素对f 0z/，/7)进行预测 i(m， w)=-》,,(m - " w -力 (4 ),通过2维Yule-Walker方程与自协方差相关《对于(A:,/)^ 0否则 (5)模型拟合的文献中存在用于确定模型阶数和最佳系数的其它技术。可以通过手工分割获得紋理区域。可以进一步处理这些区域以获 取紋理参数。手工分割具有一些优点在单次迭代中可以获得语义上 有意义的区域；分割的错误相比自动分割要少得多；手工分割可以非 常适合静态的和重复的场景。比较器22设置为将对应估计的第三紋理参数(p3e)的生成的紋 理和图1所示图像10中的现有的第三紋理13(A)进行比较。比较器 的不同实施例设置为比较从不同的可能表示开始的紋理并生成相似度 的度量，该相似度的度量称为匹配度值(。匹配度值在决定第三 紋理能否由估计的紋理参数所生成的紋理取代时是有用的。采用"生成测试"策略用于寻找产生的紋理相对图像中找到的紋 理的适合度。可以通过借助于统计匹配函数或心理^见觉匹配函数对紋 理进行比较来计算匹配度值。当匹配度值在某个区间内时，这表示根 据其它紋理参数满意地估计出了第三紋理参数并且可以做出用估计算 法替代第三紋理参数的决定。当匹配度值超出预先确定的阈值时也能 做出决定。例如，假设利用2维自回归(AR)模型M和瓶对具有从左往右渐 变紋理的区域进行了建模，模型M和雄与紋理区域的左半边和右半边 拟合。在过渡区域中，可以预料模型浙和M之间的过渡模型#3比厲或 浙更适合。对于该过渡区域可以确定一个中间模型。然而，这个新模型产生 必须传输到解码器的附加参数，增加了比特率。可替换的是，通过现 有的模型参数M和M的组合估计模型浙的参数，所述组合例如通过模 型参数M和瓶的内插来实现。估计可以在不增加比特率的同时，为过 渡区域产生比模型厲或#2更精确的模型。模型参数的许多等价的表示 是可利用的，例如自相关系数，反射系数和预测参数。还是在该例子中，可以通过以权重(M,的)对^f莫型浙和#2的自协 方差系数P和P 2进行加权平均来获得模型#3的自协方差系数P 36。 P 3e =『1P 1 +的P 2 ( 6 )对应的冲莫型参数表示为a",,。可以通过解Yule-Walker方程求出 P^找出这些模型参数<formula>formula see original document page 22</formula>针对特定图段A的内插模型的质量可以通过计算该模型对数据的 适合度来评估。该适合度是残数r的均方值4》2 (8)其中真实紋理J(/z;， /7)的统计特性f(/z , / )和预测紋理f U，刀) 的统计特性f ")之间的差异给出r，这里(历，/0是坐标。<formula>formula see original document page 22</formula>在更一般的情况下，残数r可用于确定特定区域中的紋理是否适 合紋理合成。例如，如果紋理合成是利用把高斯白噪声e作为输入的 2D-AR模型来进行的，那么残数r应该具有相似的统计特性。这可以借 助统计4全验来证实。数据编码器23设置为将第一紋理参数和第二紋理参数(p 1Q , p2。 )编码成压缩数据流5T( Pl。， p2。，.)。根据已知的标准在格式 化的帧中插入参数值能够形成压缩数据流。可替换地，可以将这些参 数压缩和编码成数据流。数据编码器进一步设置为当匹配度值在预先 规定的区间内时，用估计算法(vT)的字典化而不是P3。对位于第三区 域13中的紋理进行编码。能以一定精确度进行估计的紋理参数不必在 压缩数据流中编码，因为对表示估计算法的预定义的、约定的符号或 短代码进行编码已足够，这样导致节省了比特率。因此相比现有技术 更好的图像压缩是可能的，在现有技术中，在压缩数据流中同样编码 紋理参数。在解码器中，可以从预先确定的估计算法表中选择对应接 收的符号的估计算法。图3是包括根据本发明的图像编码器的估值器31和比较器32的 示范单元30的示意图。估值器31设置为接收作为输入的第一紋理参数(Pl。)和第二紋 理参数(P2。)并根据预先确定的估计算法(vO估计第三紋理参数(p3。 )。许多估计算法可以预先存储在估值器中，标准(;O之一被用于 第三紋理参数的估计，其又被耦合到数据编码器23。比较器32接收估计的第三紋理参数(p3e)以及第三紋理(A)的表示，比较它们并计算匹配度值(M J作为输出。使从现有的第三紋理区域获得的紋理参 数(p3。)在比较器中也可用，以便用于和估计的紋理参数(p3e)进 行比较的。可以将匹配度值(y J反馈回估值器，使得估值器31选择 预先确定的估计方案以获得在预先确定的区间内的匹配度值。为了获 得在预定义区间内的值，可以增加或减少该匹配度值。因而估值器31 可以设计成通过施加来自比较器32的反馈控制信号来有效地估计第三 紋理参数(p3e)。图4是根据本发明的比较器40的 一个实施例的方块图示意图。比较器40的一个实施例设置为通过如图4中所示调用至少一个下 面可能的匹配函数来计算匹配度值(M )。可以使用心理一见觉匹配函 数43或统计匹配函数44或距离度量匹配函数45。可以通过随意地组 合一个或多个这些函数的输出来计算匹配度值(ju )。心理视觉匹配函数(PVMF) 43设置为接收图像中现有的第三区域 (A)以及对应估计的第三紋理参数(p3e)的第三区域(《)。为了 该目的，紋理合成器41可以任选地设计在比4交器40的内部。PVMF设 计成仿效人眼感知的匹配。 一些公知的PVMF使用人类视觉系统模型以 感知用亮度域表示的两个图像，并计算匹配度值作为输出。可以将人 类详见觉系统的特征(例如在各种频率下的频率敏感性、在各种频率下 的能量敏感性以及低频感知与高频感知的关系)建立进加权函数中以 获得适当的匹配度值作为输出。统计匹配函数可以设计为用于紋理的统计检验。统计参数估值器 46可以任选地建立到用于根据现有的紋理(A )计算第 一统计参数(A ) 的比较器4G中。类似地，第二统计参数估值器42可以任选地建立到 用于根据重构的紋理(^)计算第二统计参数(尸3')的比较器40中。 统计匹配函数42设置为接收第一统计参数(尸3)以及统计参数(尸3') 并计算匹配度值(。紋理的统计参数可以从基本的参数(例如均 值、方差、标准差、协方差、熵以及矩)变到较高级的参数(例如能 量度量和相关度量(relation measures))。提出了通过统计匹配函数估计匹配度值的一个示例。如下面方程 给出的相对谱误差度量/A例如可以是用于比较两个紋理区域(A,尺S ) 的有用的统计匹配函数。<formula>formula see original document page 24</formula>(10)<formula>formula see original document page 24</formula>(11)<formula>formula see original document page 24</formula>(12)其中/"( w )是现有的紋理的归一化谱密度，)是估计的紋理的归 一化谱密度，r是施加于像素区域以获得归 一化谱密度的变换。 可以将线性变换应用于/w以获得匹配度值。该方法的优点在于可以容易地计算这种匹配函数的统计特性。Piet M. T. Broersen发表 于《IEEE仪器与测量学报》2001年6月第50巻第3期的"波谱质量 度量的性負^ (The Performance of Spectral Quality Measures)，， 中已经描述了这些有用的统计匹配函数的许多例子。距离度量函数45可以设置为接收根据位于第三区域中的紋理估计 的紋理参数(p3。)，以及根据一个或多个其它紋理参数估计的第三紋 理参数(p3e)。紋理参数可以设想为向量。在参数域中比较比在亮度 域中比较要简单得多。而且，通过线性变换可以有效地生成匹配度值 (。比较两个向量的例子之一是计算切线距离或计算两个向量的 点积。图5是包括紋理区域的图像视频序列的示意图。本发明可用于单个的图像或序列中的图像或视频序列。包括第一 图像51、第二图像52和第三图像53的图像序列50如图5中所示。第 一图像51包括第一区域54，第二图像52包括第二区域55,第三图像 包括第三区域56。根据一个或多个位于相同图像的紋理或根据一个或 多个位于相邻图像的紋理估计紋理是可能的。在估计紋理时，紋理的 相邻性是有用的标准，图像的排序不重要。估计静止图像序列中的紋 理也是可能的，例如在海滩或足球场上拍摄的图片序列。在这些图像 中，前景可以包括对象、人物、树木或建筑物，背景可以包括草地或 沙滩的紋理。图6是根据本发明的编码图像方法60的一个实施例的流程图示意图。在估计步骤61中接收第一和第二紋理参数(p,。， p2。)并估计第 三紋理参数(p 3e)。在下一个步骤62中，把估计的第三紋理参数(p1e)与位于图像中的第三紋理(A)的紋理参数(p3。)进行比较。可以 有很多比较紋理的方法，例如，在像素域中比较，在模型化的参数域 中比较或在统计参数域中比较。任何一种比较的输出都设置为输出匹 配度值(PJ。可以有组合多于一个的比较输出以获得匹配度值(JLU)的可选择的方法。在数据编码步骤63中检验匹配度值(juj ,看该值是否在预先规定的区间内。如果该匹配度值(JLU)是可接受的，那么在压缩数据流5T( p,。， p2。， 中对第三紋理参数(p3e)的估计算 法(幻进行编码，导致节省了比特率。否则，在压缩数据流5T( Pl。，p2。，..)中对对应位于第三区域中的紋理的紋理参数(p3。)进行编 码。这两个压缩数据流在组合器64中进行组合。因而，只要匹配度值(ya)在预先规定的区间内时，图像编码方法60就生成压缩数据流， 其中位于第三区域的紋理通过估计算法(if)进行编码。根据估计参数的紋理重构除了是一种精美的方法外，还发现它相 比现有技术常常推荐的在亮度域中的内插值法要简单一些并产生较少 的人工痕迹(artefacts)。图7是根据本发明的图像解码器7G的一个实施例的方块图示意 图。
解码器71接收压缩数据流5T( Pl。， p2。，..)。压缩数据流可以 包括估计算法5T的字典化(Pl。， p2。， f)。数据解码器71解码第一 紋理参数和第二紋理参数(P", P")。检测器72设置为从压缩数据 流中检测估计标准(f)的字典化。依照检测的估计标准(>0 ,根据 第一和第二紋理参数(Pl。， p2。)至少其一在估值器73中估计[生成] 并记录下来第三紋理参数(pJ 。依照从数据流中检测的估计算法根 据至少一个紋理参数估计一个或多个紋理参数是可能的。只要估计算 法没被检测到，估值器就不工作。在这些情况下，数据解码器继续解 码从压缩数据流中接收的紋理参数。图8是根据本发明的图像解码方法8 0的 一个实施例的流程图示意图。解码方法80包括根据压缩数据流5T( Pl。， p2。，..)解码第一和 第二紋理参数(plD, p2。，)的第一步骤81。压缩数据流5T( Pl。， p2。， vO有时包括字典化的估计算法(f)。在下一个步骤82中，检 验解码的数据流以探求估计算法的存在。当检测到估计算法时，依照估计算法(>0根据第一和第二紋理参数(Pl。， p2。，)至少其一估计第三紋理参数(p3e)。否则，对由数据解码器解码的参数进行进一步 的处理，例如紋理的合成。图9是根据本发明的图像编码器90的一个实施例的方块图示意图。根据本发明的图像编码器90包括编码器的第一部分91,编码器的 第一部分91才艮据例如H. 264或高级—见频编码(AVC)标准的确定性的 压缩标准编码图像。在这个方案中，对可能不落在紋理区域范畴内的 图像对象进行线性变换，更特别地即DCT (离散余弦变换)，并将其 编码成压缩数据流98A。也可以通过分配相比图像对象较少的比特数在 压缩数据流98A中粗略地编码紋理区域。得到的紋理在用标准的解码 器解码时可能会显得平坦，有时还被认为是"具有塑料的外观"。在 减法器95中把由编码器的第一部分91提供的重构图像96A从原始图 像96中减去。差异图像包括紋理区域96B。紋理区域96B可能包括更 精细的紋理细节，并可以用于参数建模。紋理分析模块92设置为对紋理区域96B建模并估计模型参数。不 以预先规定的精确度与模型适合的紋理区域97A可以耦合回到编码器 的第一部分91。以预先规定的精确度与模型适合的紋理区域"B可以 被选择并耦合到编码器的第二部分93。在方程(8)中说明了评定模型 与紋理的适合度的一个例子。紋理分析模块92可以任选地建立到编码 器的第一部分91中或编码器的第二部分93中。在另 一个实施例中，可以借助紋理过滤器把图像对象和紋理区域 97B从图像96中分离出来，并分别将它们单独耦合到编码器的第一部 分91中和编码器的第二部分93。在另外又一个实施例中，可以直接将 图像96施加到紋理分析模块92，不以预先规定的精度与任何一个预先 规定的模块适合的区域可以被认为是图像对象97A并被耦合到编码器 的第一部分。适合规定模型的紋理区域9"7B可以耦合到编码器的第二 部分93。只要根据其它紋理参数的至少一个来估计紋理参数是可能的，根 据本发明的编码器第二部分93便以参数和估计标准的字典化对紋理区 域97B进4亍编码。将包括编码的紋理参数以及算法标准的字典化的压 缩数据流98B与由编码器第一部分91生成的压缩数据流98A组合起来。组合器单元94设置为交叉放置两个压缩数据流98A和98B并生成仍然 能与确定性的压缩标准兼容的组合数据流99。例如，来自编码器第二 部分93的压缩数据流98B可以作为补充增强信息(SEI)消息包括在 兼容高级视频编码(AVC)标准的压缩数据流98A中。SEI消息可以包 括模型参数以及估计标准的字典化。除了这些信息，SEI消息可以附加 地包括区域分割信息、针对区域的紋理模型的指标、用于进行估计和 被估计紋理的模型指标以及估计系数，该估计系数例如用于估计紋理 的加权平均方案的权重。图IO是根据本发明的发送器100的一个实施例的方块图示意图， 该发送器用于传输压缩数据流。发送器100包括紋理建模单元101,在其中接收图像104,建模紋 理区域并估计它们的紋理参数。分割和紋理建模可以是组合的或独立 的过程。如果分割是独立的过程，它可以基于经典的分割技术，该技 术基于一个或多个统计特性的一致性。可以在由F. Ernst、P. Wilinski 和K. van Overveld发表于2002年丹麦哥本哈4艮欧洲计算机^见觉大会 会议论文集(Proceedings of European Conference on Computer Vision)中的"依据运动的稠密结构基于图,殳匹配的方法(Dense structure f rom mot ion: an approach based on segment matching )，， 一文中找到基本分割的一个例子。可以考虑用于紋理分割的多种其它 参数模型，例如自回归模型(AR)、移动平均模型(MA)、自回归移 动平均模型(ARMA)或者分形模型。也可以考虑基于符合标准的编码 器的确定性编码基层的紋理分割，所述符合标准的编码器例如H. 264 编码器。紋理建模模块可以进一步设置为包括图段改进模块，所述图段改 进模块用于获取视觉上更有意义的分割的区域。通过比较相邻图段A 和B的模型，确定图段是否属于相同的紋理。在这些情况中，合并区 域以形成单一区域并相应地更新模型参数。在一些情况中，当图段包 括多于一个区域并且模型适合度导致相当大的误差时，将图段分裂成 两个或更多个区域并为每个图段再次匹配模型以观察该模型是否导致 残差的显著减少。在拆分图段上再次执行合并操作。可以重复这个过 程以获得改进的分割结杲。在另一个实施例中，在容许一定量误差的情况下，区域的边界可以接近于常规形状(例如正方形、矩形或圓形)，只要所述接近不覆 盖或遮掩位于图像中的对象。可以使用这些技术以大量减少用于编码 区域边界的比特率。例如，在图1中描绘的第一区域11的边界之一可以接近于楼梯状的结构并以较少的比特数编码。类似地，第二区域12 的边界可以尽量地接近于矩形，只要它不遮挡位于图像中的对象15。 编码常规边界时节省的带宽可用于对位于这些区域11, 12内的紋理进 行更精确的建模。因而可以有效地实现边界编码和紋理内容编码之间 的带宽或比特率的平衡。在另一个实施例中，可以^使用矩形/圓形包围盒(bounding box) 和强度和/或颜色间距(interval )的组合对用于合成的紋理区域进行 编码。例如，为了表示足球场中草地紋理的区域，可以对矩形包围盒 以及对应绿色背景的一定范围的色度和亮度值(Y, 11和V值)进行编 码以节省比特数。例如，可以用预先确定的方式分割高级^见频编码 (AVC)标准中的解码的基层。在紋理建才莫单元101中，生成了紋理区域105A以及它们的对应紋 理参数105B。另外，生成了包括紋理模型信息的压缩数据流106。将 包括紋理区&戈105A、它们对应的紋理参数105B以及压缩数据流的紋理 建模单元101的输出耦合到编码器102,所述压缩数据流106包括紋理 模型的信息。编码器102设置为根据第一和第二紋理估计第三紋理参 数，把生成的第三紋理与现有的第三紋理相比较并当匹配度值在预先 规定的区间内时将第一和第二紋理参数以及估计算法编码成压缩数据 流106。编码器的输出是包括紋理参数、估计算法以及纹理模型信息的 压缩数据流107。发送器进一步包括发送器单元103，该发送器单元103 可任选地转化压缩数据流107,使其兼容传输介质，例如，有线的、无 线的或因特网。在编码器102中或传输单元103中可以完成将紋理模 型信息包含到压缩数据流中。包括压缩数据流的传输信号108的信号 带宽相比现有技术系统要少些。传输信号108可以通过例如因特网服 务器的传输机构109A传输，或存储在例如硬盘或光存储设备的存储机 构109B中。图11是根据本发明实施例的一种便携式设备110的实施例的方块 图示意图。根据本发明的便携式设备110包括照相机111和发送器112。照相机111可以是捕获至少一个图像115的静物照相机或视频摄像机。图 像113被发送器单元112接收，并被转换成包含压缩数据流的传输信 号114。图12是根据本发明的图像解码器120的一个实施例的方块图示意图。图像解码器120设置为接收兼容公知图像压缩标准的输入压缩数 据流1"并将数据流解码成至少一个图像。图像解码器包括分裂器 (splitter ) Hl、解码器的第一部分122以及解码器的第二部分123。 分裂器121设置为把压缩数据流125分裂成兼容公知图像压缩标准的 压缩数据流的第一部分126。压缩数据流的第二部分127包括紋理参数 和根据本发明的估计标准的字典化。第一解码器122设置为将符合预 定义图像压缩标准的压缩数据流的第一部分126解码成至少一个图像 对象128。解码器的第二部分123设置为将压缩数据流的第二部分127 解码成紋理参数。解码器的第二部分123进一步设置为根据紋理参数 合成紋理区域129并将紋理区域129添加到图像对象128上以产生输 出图像130。图13是根据本发明的接收器的一个实施例的方块图示意图。 接收器140包括解码器143、输出装置142以及包含的显示器148。根据本发明的解码器设置为接收包括编码的紋理参数以及估计算法的 字典化的压缩数据流143。可以从远处的发送器144或内部存储装置 145中接收压缩数据流。内部存储器可以在接收器的内部也可与接收器 共处一处。内部存储器可以是硬盘驱动器或者例如数字通用光盘(DVD) 或蓝光光盘的光存储设备。接收器包括根据本发明的解码器141。解码 器将压缩数据流解码成至少一个包含紋理区域的图像M6。图像146 被转换成适合被包含的显示器148或被连接的显示器149的格式。接 收器的例子有机顶盒、媒体中心、个人数字助理、移动电话、电视、 家庭影院、个人电脑或DVD/蓝光光盘播放器。图14是根据本发明的计算机程序产品方块图的示意图。 计算机程序产品可以安装在计算机器中，并能够操作包括处理单 元和存储器的机器，计算机程序产品在被装载之后赋予所述处理单元 在包含紋理区域的图像上执行编码过程和/或在压缩数据流上执行解 码过程以获得包含区域的图像的能力。可以在标准的被包含的或可分离的存储器(例如闪存或紧凑光盘或硬盘)中操作计算机程序产品。 计算机程序产品可以作为嵌入式软件嵌入在计算机器中，或者保持从 标准存储设备之一预安装或安装。可以用任何已知代码(例如才几器语 言代码或汇编语言代码)来设计计算机程序产品，并可以使其操作于 任何可用平台之上，例如个人计算机或服务器。本发明人从他的实验中还已经意识到，对于包括运动补偿的相同 区域中相关紋理的连续图片进行紋理合成可能导致令人讨厌的图案时 间波动(其中，理想地，静止的图案——例如局部草地——会随着局 部运动而移动)。这可以通过在编码器中对运动之前的图像紋理进行编码并对其进 行运动补偿来处理。新呈现的紋理(其中例如，如今其上有了一些阴影)可能会有些 不同，并可以作为相比已编码紋理的差别进4亍编码。区域X运动补偿的之前的紋理还可以用新生成的紋理进行加权(根据任何标准，例如，之前紋理的运动补偿(例如扭曲)+更新的紋理)， 因此时间一致性和真实性(对于时间上变化无常的现象，例如突然的 遮蔽)之间的最优(视觉上满意的)匹配得以保持。加权策略可以利 用用户面板进行预先优化。可以确定最匹配的紋理，然后可以以如以上对于主要实施例描述 的相似的方式对它们的模型参数进行编码。解码器执行相反的过程。应当注意，上述实施例说明了而不是限制了本发明，本领域的技 术人员在不偏离所附的权利要求书的范围的条件下，能够设计出许多 可替换实施例。在权利要求书中，在括号之间所加的任何附图标记不 应当被认为是对于权利要求的限制。使用动词"包括"并不排除存在 除权利要求中所述的元件和步骤以外的元件和步骤。在元件前边的冠 词"一"或"一个"并不排除存在多个这样的元件。本发明可以借助 于包括若干不同元件的硬件，以及借助于适当编程的计算机来实施。 在系统权利要求书中列举了一些装置，这些装置中的一些可以通过同 一计算机可读软件或硬件项目来实施。在相互不同的从属权利要求中列举了某些技术措施这一事实并不表明不能有利地使用这些技术措施 的组合。
权利要求
1.用于压缩包括第一区域(11)、第二区域(12)和第三区域(13)至少其一的输入图像(10)的图像编码器(20)，该图像编码器包括-估值器(21)，设置为依据预先确定的估计算法(K)根据第一区域(11)的第一纹理参数(ρ1o)和第二区域(12)的第二纹理参数(ρ2o)至少其一估计第三纹理参数(ρ3e)；-比较器(22)，设置为根据预先确定的匹配标准把对应估计的第三纹理参数(ρ3e)的产生的纹理表示(R3′)和位于输入图像第三区域(13)中的纹理表示(R3)进行比较并计算出匹配度值(μm)；以及-数据编码器(23)，设置为将第一纹理参数和第二纹理参数(ρ1o，ρ2o)至少其一编码成压缩数据流ST(ρ1o，ρ2o，.)，并设置为当匹配度值(μm)在预先规定的区间之内时在压缩数据流ST(ρ1o，ρ2o，K)中利用估计算法(K)的字典化对位于输入图像的第三区域(13)中的纹理进行编码。
2. 根据权利要求1的图像编码器，其中估值器(31 )设置成应用 第一紋理参数(p,。)和第二紋理参数(p2。)的加权组合作为预先确定的估计算法(>n 。
3. 根据权利要求2的图像编码器，其中估值器(31 )进一步设置 为通过最小化匹配度值(JLU)自适应地为加权组合选择权重。
4. 根据权利要求1的图像编码器，其中比较器(40)设置为应用 心理^见觉匹配函数(43)作为预先确定的匹配标准，该心理一见觉匹配 函数把产生的紋理表示(& )和现有的紋理表示(A)作为输入，并 且产生匹配度值(作为输出，所述两个表示均通过图像中的许多 像素来定义。
5. 根据权利要求1的图像编码器，其中比较器(40)设置为应用 统计匹配函数(44)作为预先确定的匹配标准，该统计匹配函数把产 生的紋理表示(& )的统计特性(尸3')和现有的紋理表示(A)的统 计特性(A)作为输入，产生匹配度值(juffl)作为输出。
6. 根据权利要求1的图像编码器，其中比较器(40)设置为应用 距离度量函数(45)作为预先确定的匹配标准，该距离度量函数把第 三紋理参数(p 3e)和位于输入图像第三区域中的紋理的紋理参数(P3。 )作为输入，产生匹配度值(y J作为输出。
7. 根据权利要求1的图像编码器，其中编码器设置为对包括图像 时间序列(50)的视频信息进行编码。
8. 根据权利要求1的图像编码器，其中图像编码器设置为对包括 第一区域(54)的第一图像(51)、包括第二区域(")的第二图像(52)以及包括第三区域(56)的第三图像(53)进行编码，其中第 一图像(51 )和第二图像(52)与第三图像(53)在时间上相邻。
9. 图像(10)的编码方法(60),所述图像包括第一区域(11 )、 第二区域(12)和第三区域(13)中的至少一个，所述编码方法(60) 包括- 依据预先确定的估计算法(K)根据第一区域(11 )的第一紋理参 数(p^)和第二区域(l2)的第二紋理参数(p2。)至少其一估计(") 第三紋理参数(p3e);- 根据预先确定的匹配标准把对应估计的第三紋理参数(P^)的产 生的紋理表示(《)和位于输入图像第三区域(13 )中的紋理表示(A ) 进行比较并计算出匹配度值(jiJ ;以及- 将第一紋理参数和第二紋理参数(P ,。， p2。)至少其一 编码(63) 成压缩数据流，并当匹配度值(nJ在预先规定的区间之内时在压缩 数据流(67)中利用估计算法("的字典化对位于输入图像的第三区 域中的紋理进行编码。
10. 用于将包括估计算法()O的字典化的压缩数据流5T( Pl。， p2。，..)解码成包括第一区域、第二区域和第三区域至少其一的图像 的图像解码器(70),该图像解码器(70)包括- 数据解码器(71),设置为从压缩数据流5T( Pl。， p2。，..)中 解码第一区域的第一紋理参数(plQ)和第二区域的第二紋理参数(P 2。)中的至少一个；- 检测器(72),用于从压缩数据流5T( Pl。， p2。， .)中检测估 计算法的字典化；- 估值器(73),用于依照由估计算法(r)表明的预先确定的估计 算法根据第一紋理参数(P")和第二紋理参数(p2。)至少其一估计 第三区域的第三紋理参数(p3e)。
11. 将包括估计算法()O的字典化的压缩数据流P,。， p2。，..) 解码成包括第一区域、第二区域和第三区域至少其一的图像的解码方法(80)，该方法包括- 从压缩数据流5T( Pl。， p2。，..)中解码(81)第一紋理区域的 第一紋理参数(Pl。)和第二紋理区域的第二紋理参数(p2。)；- 从压缩数据流5T ( p 1D， p 2。， J)中检测(82 )估计算法(vf)的 字典化；- 依照由估计算法(vT)表明的预先确定的估计算法根据第一区域的 第一紋理参数(Pl。)和第二区域的第二紋理参数(p2。)至少其一估 计(83)第三紋理参数(p3e)。
12. 用于将至少一个包括紋理区域的图像(94)压缩成压缩数据 流(99)的图像编码器(90),该图像编码器包括- 编码器的第一部分(91)，设置为把包括至少一个图像对象的至 少一个图像(96)编码成符合预定义图像压缩标准的压缩数据流的第 一部分(98A ),以及；- 编码器的第二部分(93),设置为把紋理区域(97B)编码成根据 权利要求1或8的第二压缩数据流，其中交叉放置第一 (98A)和第二 (98B)压缩数据流，使其代表 符合预定义图像压缩标准的组合数据流(99)。
13. 发送器(100),用于传输通过编码包括紋理区域的至少一个 输入图像(104)而获得的压缩数据流(108)，该发送器(100)包括- 紋理建模单元(101),设置为借助例如二维自回归模型的预定义 模型对紋理区域的紋理建模，估计该模型的紋理参数(105)并将该模 型的信息编码成压缩数据流(106);- 如权利要求1或12中所述的图像编码器(102),设置为接收紋 理参数(105 )以及图像(l(M )中现有的至少一个紋理的表示，并且 设置为将紋理参数(105)以及估计算法的字典化进一步编码成压缩数 据流(107 );以及- 传输单元(103),设置为传输压缩数据流(107)到数据传输机 构或存储纟几构。
14. 便携式设备(110),包括- 照相机(111 ),设置为捕捉至少一个图像(115 );- 根据权利要求13的发送器(112)，设置为传输至少一个图像(114) 的编码版本到数据传输机构或存储机构。
15. 用于把压缩数据流(125)解码成至少一个图像(130)的图 像解码器(120),该图像解码器(120)包括- 解码器的第一部分(121 ),设置为把符合预定义图像压缩标准的 压缩数据流的第一部分(126)解码成至少一个图像对象(128),以 及；- 解码器的第二部分(123),设置为解码压缩数据流的第二部分 (127)，该压缩数据流的第二部分包括如权利要求10所述的估计算法的字典化以及紋理区域的参数，其中解码器的第二部分(123)进一步设置为根据区域紋理的参数 合成紋理区域(129)并将紋理区域(129)添加到图像对象中以产生 输出图像(130)。
16. 用于接收来自图像传输机构(144)或存储机构(145)的压 缩数据流(143)的接收器(140)，所述压缩数据流(143)包括至少 一个图像的编码版本，该接收器(140)包括- 解码器(141 ),如权利要求15所述设置为将压缩数据流(143) 解码成至少一个输出图像(M6 );- 输出装置(142 ),设置为将输出图像(146 )连接到被包含的(143 ) 或可连接的(149)显示器上。
17. —种压缩编码图像信号，包括- 数据，该数据根据预定义的图像压缩标准基于像素组的像素值的 线性变换对位于图像中的图像对象进行编码，所述像素组包含在图像 对象中；- 参量数据，这些参量数据编码包含在图像内的紋理区域；以及- 模型的字典化，该模型用于基于编码紋理的参量数据生成另外的 紋理参数，所述紋理参数可用于重建另一个图像紋理。
18. —种传输压缩编码图像信号的方法，所述压缩编码图像信号 包括识别模型的字典化，该模型用于基于参量数据生成另外的紋理参 数，所述参量数据编码包含在图像中的第一紋理区域，所述紋理参数 可用于重新生成另一个包含在图^象中的紋理区^t该方法包"^:- 根据预定义的图像压缩标准基于像素组的像素值的线性变换将位 于图像中的图像对象编码成压缩编码图像信号，所述像素组包含在图 像对象中；- 借助参量数据编码包含在图像内的第一紋理区域；- 对模型的字典化进行编码，该模型用于基于参量数据生成另外的 紋理参数，所迷紋理参数可用于重建另一个图像紋理；以及；- 通过数据传输的有线或无线介质传输编码压缩数据流。
19，由计算机装置装载的计算机程序产品(150)，包括用于将包 含紋理区域的图像压缩成压缩数据流的指令，所述计算机装置包括处 理单元和存储器，所述计算机程序产品在被装载之后赋予所述处理单 元执行以下任务的能力- 依据预先确定的估计算法(K)根据第一区域(11 )的第一紋理参 数(p,。)和第二区域(12)的第二紋理参数(p2。)至少其一估计第 三紋理参数(p 3e);- 根据预先确定的匹配标准把对应估计的第三紋理参数(Pk)的产 生的紋理表示(《)和位于第三区域(U)中的紋理表示(A)进行 比较并计算出匹配度值(yw);以及- 将第一紋理参数(p,。)和第二紋理参数(p2。)编码成压缩数据 流5T( Pl。， p2。，.)，并当匹配度值(juffl)在预先规定的区间之内 时在压缩数据流5T( Pl。， p2。， 中利用估计算法(iO的字典化对 位于第三区域中的紋理进行编码。
20. 根据权利要求1的编码器，其中手工分割图像以获得紋理区域。
21. 根据权利要求1的编码器，其中借助于图像分割算法对图像 进行预分割以获得紋理的区域和参数。
22，根据权利要求7的图像编码器，其中估值器(21)设置为基 于位于当前时间输入图像的第三区域(13)中的紋理以及运动补偿给 当前时间图像第三区域(13)的紋理对于当前时间图像的时刻编码差 异紋理，所述运动补偿给当前时间图像第三区域(13)的紋理生成于 位于可比较的，并优选地时间相反的运动补偿区域中的紋理，所述时 间相反的运动补偿区域对应当前时间图像的第三区域(13),紋理区 域在至少一个在前的图像中，其中数据编码器(23)设置为编码差异 紋理。
全文摘要
用于压缩包括第一区域、第二区域和第三区域至少其一的输入图像的图像编码器(20)，该图像编码器包括估值器(21)，设置为依据预先确定的估计算法(K)根据第一区域的第一纹理参数(ρ_2o)和第二区域的第二纹理参数(ρ_2o)至少其一估计第三纹理参数(ρ_3e)，比较器(22)，设置为根据预先确定的匹配标准把对应估计的第三纹理参数(ρ_3e)的产生的纹理表示(R₃′)和位于输入图像第三区域中的纹理表示(R₃)进行比较并计算出匹配度值(μ_m)；以及数据编码器(23)，设置为将第一纹理参数和第二纹理参数(ρ_1o，ρ_2o)至少其一编码成压缩数据流ST(ρ_1o，ρ_2o，.)，并设置为当匹配度值(μ_m)在预先规定的区间之内时在压缩数据流ST(ρ_1o，ρ_2o，K)中利用估计算法(K)的字典化对位于输入图像的第三区域中的纹理进行编码。
文档编号H04N7/26GK101223787SQ200680025933
公开日2008年7月16日 申请日期2006年7月12日 优先权日2005年7月15日
发明者P·威林斯基, S·德瓦勒 申请人:皇家飞利浦电子股份有限公司