图像边界邻域中的自回归像素预测的制作方法
【专利说明】图像边界邻域中的自回归像素预测
[0001] 本发明涉及用于编码数字图像数据的方法以及涉及对应的解码方法。另外，本发 明涉及用于编码数字图像数据的设备和用于解码数字图像数据的设备。
[0002] 增加对视觉内容（比如图像、视频或多维医学数据）的分辨率和质量要求提升了对 于高度高效的编码方法的需求。在预测编码技术中，对图像数据中的像素的像素值进行预 测。经预测的相似值与原始像素值之间的差（即预测误差）被压缩，从而形成经编码的图像 数据的一部分。
[0003] 在文献[1]至[3]中，描述了所谓的分段式自回归像素预测方法的不同变型。在 那些方法中，基于邻近于当前像素的邻域区中的经重构的、之前处理的像素的加权和计算 要预测的当前像素的像素值。为了确定权重，对基于针对邻近于当前像素的训练区中的已 知像素值的加权和的线性方程组进行求解。
[0004] 为了进行精确预测，分段式自回归像素预测方法要求围绕当前像素的已知经重构 的像素的大因果（largecausal)邻域区。通常，这样的大邻域区并非对所有图像位置都可 用，例如在图像边界处。如果图像区必须被彼此独立地进行编码，则该问题变得更严重，因 为这是并行编码实现中的分块式处理的情况。
[0005] 以上描述的出现在分段式自回归像素预测方法中的边界问题在现有技术公开物 中通常未被解决，或者建议在使用自回归像素预测方法时跳过边界区。解决该问题而没有 算法改变的直接方式是在边界区处例如利用已经传输的边界像素值的已知值的图像填充 (例如恒定边界扩展)。在文献[4]中，建议减小在边界位置处的训练区尺寸。然而，这造成 过拟合并且通常导致不良状态的线性方程组。用于应对边界区的另一选择是使用具有松弛 上下文要求的不同预测方案的特殊边界像素处置，比如中值预测(参见文件[5])。这样的特 殊处置要求附加的实现努力，造成不均一的预测，并且可能通常显著地危及预测精度。
[0006] 本发明的目的是提供一种克服以上缺点并且使得能够实现具有低复杂性的高效 压缩的包括分段式自回归像素预测方法的用于编码数字图像数据的方法。另外，本发明的 目的是提供对应的解码方法以及用于编码的设备和用于解码的设备。
[0007] 该目的通过独立专利权利要求解决。本发明的优选实施例在从属权利要求中限 定。
[0008] 根据本发明的方法，编码包括具有对应像素值的像素的一个或多个阵列的数字图 像数据（即2-D、3_D或甚至N维数据)，其中通过下述预测来预测每一个阵列中的待编码像 素的像素值，在所述预测中，基于邻近于当前像素的特定邻域区中的经重构的、之前处理的 像素的经重构像素值的加权和来确定当前像素的经预测的值。所述经重构的像素值涉及之 前已经在该方法中被压缩和解压缩的像素值或甚至涉及在使用无损编码方法的情况中的 原始像素值。基于用于邻近于当前像素的特定训练区中的经重构像素的线性和/或非线性 方程来确定经重构的像素值的加权和的权重，其中训练区至少具有邻域区的尺寸并且优选 地(但不必然地)包括邻域区的像素。所描述的方法目前涉及分段式自回归预测方法。在用 于生成经编码的图像数据的编码方法中处理经预测的像素值与原始像素值之间的预测误 差，如从现有技术中得知的那样。以上术语"线性和/或非线性方程"涉及就作为变量的权 重而言为线性和/或非线性的方程。
[0009] 本发明的方法基于用于确定在所述预测方法中使用的特定邻域区和特定训练区 的新技术。如在下文中描述的那样确定那些区。
[0010] 在步骤a)中，邻近于当前像素的预设邻域区中的下述那些像素被确定，S卩：对于 这些像素而言存在阵列中的经重构的像素值，从而导致由所确定的像素限定的经修改的邻 域区。另外，在步骤b)中，邻近于当前像素的预设训练区中的下述那些像素被确定，S卩：对 于这些像素而言存在阵列中的经重构的像素值，并且对于这些像素而言，邻近于相应像素 的经修改的邻域区排他性地包括这样的像素，即：对于这样的像素而言存在阵列中的经重 构的像素值，从而导致由所确定的像素限定的经修改的训练区。
[0011] 在步骤C)中，验证值被确定为随参数而变(例如是所述参数)，所述参数依赖于经 修改的训练区中的像素的增加数目而增加(其中经修改的邻域区中的像素数目是固定的） 并且所述参数依赖于经修改的邻域区中的像素的减小数目而增加(其中经修改的训练区中 的像素数目是固定的)。优选地，验证值依赖于增加的参数而增加或减小。在特别优选的实 施例中，所述参数和优选地所述验证值是经修改的训练区中的像素数目与经修改的邻域区 中的像素数目之间的比值。
[0012] 在根据本发明的方法的步骤d)中，如果验证值对应于小于或者小于或等于预确定 的阈值的参数，则执行迭代。在针对验证值的该条件不满足的情况中，特定邻域区对应于经 修改的邻域区并且特定训练区对应于经修改的训练区。
[0013] 在执行迭代的情况中，本发明的方法以步骤e)继续进行，其中在每一个迭代步骤 中从经修改的邻域区移除至少一个附加像素，从而在每一个迭代步骤中导致更新的经修改 的邻域区，其中当在对应迭代步骤中基于更新的经修改的邻域区中的像素数目（例如基于 (更新的）经修改的训练区中的像素数目与更新的经修改的邻域区中的像素数目的比值）确 定的验证值对应于超过或达到预确定的阈值的参数时，迭代终止。在迭代终止的情况中， 特定邻域区是更新的经修改的邻域区并且特定训练区是这样的区，即：该区排他性地包括 预设训练区的下述像素，即：对于所述像素而言存在经重构的像素值，并且对于所述像素而 言，在迭代的终止处的更新的经修改的邻域区排他性地包括这样的像素，即：对于这样的像 素而言存在经重构的像素值。
[0014] 本发明的方法基于以下发现：训练区中的像素数目与邻域区中的像素数目之间的 低比值由于基于线性和/或非线性方程组的权重的不精确的确定而造成不精确的预测。因 而，在这样的情况中，通过在邻域区中剪除像素来增加比值，直到达到预确定的阈值。在优 选实施例中，将预确定的阈值选择成至少1. 5。优选地，将阈值选择成大约5,从而导致非常 好的预测。
[0015] 在本发明的一个变型中，以上描述的在步骤e)中确定的特定训练区是经修改的训 练区。然而，该区还可以是更新的经修改的训练区，其排他性地包括预设训练区的所有像 素，对于该所有像素而言，存在经重构的像素值，并且对于该所有像素而言，在迭代的终止 处的更新的经修改的邻域区排他性地包括这样的像素，即：对于这样的像素而言存在经重 构的像素值。在后一种情况中，实现权重的更准确的确定，因为更新的经修改的训练区由于 邻域区中的像素的减少的数目而可以包括比经修改的训练区更多的像素。
[0016] 在本发明的优选实施例中，基于更新的经修改的邻域区中的像素数目和以上限定 的更新的经修改的训练区中的像素数目二者确定步骤e)中的验证值。例如，基于更新的经 修改的训练区中的像素数目与更新的经修改的邻域区中的像素数目之间的比值确定验证 值。这导致用于预测精度的非常好的度量。
[0017]在本发明的另一实施例中，在每一个迭代步骤中移除的至少一个像素是这样的像 素：该像素导致造成具有大部分像素的更新的经修改的训练区的更新的经修改的邻域区。 该实施例提供造成大验证值的训练区的良好适配，并且因此提供预测的良好精度。
[0018] 在本发明的另一变型中，在像素的每一个阵列中限定欧几里德距离，其中在每一 个迭代步骤中移除的至少一个像素是具有到当前像素的最大欧几里德距离的像素。类似于 之前所描述的实施例，这导致预测的良好精度。
[0019] 在存在导致具有大部分像素的更新的经修改的训练区的若干像素的情况中和/ 或如果存在具有最大欧几里德距离的若干像素，则从那些若干像素中移除这样的像素：其 导致具有有着到当前像素的最小距离的形心的更新的经修改的邻域区。这导致邻域区中的 像素的移除，其中存在许多其它像素，从而导致良好的预测结果。
[0020] 在本发明的另一变型中，基于一个或多个准则，特别是在迭代不能找到造成验证 值(该验证值对应于超过或达到所述预确定值的参数）的更新的经修改的邻域区的情况中， 除以上描述的分段式自回归像素预测之外的另一类型的预测被用于特定当前像素。另一类 型的预测的示例是基于邻域区中的可用像素的平均值或最近像素到当前像素的直接拷贝 的预测。
[0021] 在本发明的另一变型中，以基于行扫描和/或Z次序扫描和/或希尔伯特扫描的 编码次序编码数字图像数据的像素。
[0022] 优选地，在编码方法中确定的预测误差经受熵编码。可选地，预测误差在应用熵编 码之前可以经受有损压缩方法。如果预测误差仅仅被熵编码，这导致无损编码方案。优选 地，用于像素的每一个阵列的熵编码是自适应算术编码或自适应可变长度编码，其优选地 以具有一个或多个分布参数和优选地具有方差的初始概率分布开始。例如，概率分布是拉 普拉斯或高斯概率分布。分布参数被包括作为经编码的图像数据中的边信息，并且因此使 得能够实现经编码的图像数据的正确解码。
[0023] 在本发明的另一优选实施例中，同时编码像素的若干和优选地所有阵列，使得能 够实现若干阵列的并行处理，导致图像数据的快速编码。
[0024] 在本发明的优选变型中，在执行像素值的预测之前执行以上所描述的步骤a)至 e)，其中在存储装置中预存储针对像素的特定邻域区和特定训练区，在像素值的预测期间 访问所述存储装置。因而，可以在图像数据的实际编码之前执行邻域和训练区的确定，导致 图像数据的快速预测和因此的快速编码。
[0025] 在本发明的优选变型中，编码方法是视频编码方法，其编码数字图像的序列，其中 像素的每一个阵列涉及所述序列中的一个块。术语块要被宽泛地解释并且还可以包括整个 图像。特别地，视频编码可以基于标准H. 264/AVC或(草案）标准HEVC(HEVC=高效视频编 码)。
[0026] 本发明的方法还可以用于编码包括具有三个或更多维度的一个或多个图像的图 像数据，特别是例如由计算机断层摄影系统确定的医学体积图像。在这样的情况中，以上提 到的块涉及N维立方体，其在三维情况中为正六面体。
[0027] 除以上的编码方法之外，本发明还涉及用于解码通过以上描述的编码方法编码的 数字图像数据的方