用于针对视觉数据压缩的像素预测的方法和设备的制作方法
【专利摘要】本发明涉及基于至少两个模型函数之中的一个的选择中的一个的像素预测方法和设备，所述至少两个模型函数提供能够预测被用于预测的参考像素的强度特性的预测函数和自适应模型函数。
【专利说明】用于针对视觉数据压缩的像素预测的方法和设备
[0001]针对视觉像素数据的快速且高效的传输和存储，应用压缩算法来利用其空间和概率性冗余。可以通过用于信号能量减少和后续熵编码的主要可逆数据变换来实现位速率降低。在预测方法中，变换在于从每个像素中减去预测值，其也可以在解码器处获得。如果预测值与真实像素值并未精确地匹配，则能量减少失败且熵编码不能显著地降低数据速率。尤其是对于具有特定边缘特性的图像数据(例如，超声波图像或计算机断层成像(CT)切片，其表示通过人体切割平面的图像，其中组织的密度已被映射到灰度水平值)而言，当前预测模型并不适用。
[0002]另一方面，随着医学成像扫描仪的日益增加的分辨率(例如，在CT获取中)以及随着即将来临的远程放射诊断，对医学图像压缩技术给予了越来越多的注意。此外，由于法律约束或者在诊断决定取决于图像数据时医生常常需要无损压缩。
[0003]对预测问题的简单解决方案是根据邻域(neighborhood)的线性预测。随后提交图像的像素以便基于已接收到的像素进行预测。通常，按照行扫描顺序穿过它们，使得可以使用上方和左侧像素来形成预测因子(predictor)。要预测像素周围的此像素的某个区域被定义为所谓的邻域或背景(context)。针对线性预测，向该背景的每个像素位置指派权重。将邻域内的每个像素与其对应的权重相乘并将结果加在一起以得到预测。线性预测的最简单示例是差分脉码调制(DPCM)，其中，在当前像素左侧的像素得到权重一，并且因此直接被看作预测值。更复杂的方法可以使用最小二乘方回归(例如，用尤尔-沃克(Yule-Walker)等式)将用于特定图像的权重优化并将其作为边信息(side informat1n)发射。最近的方法还设法根据先前发射的像素值来计算权重，或者甚至单个地使其适应于每个像素[I]以便保存边信息。
[0004]作为用于连续色调图像的无损/近无损压缩标准的众所周知的算法JPEG-LS(JPEG一联合图片专家组，LS—无损)是基于L0C0-1 (L0C0-1一用于图像的低复杂性无损压缩)算法[2]，或者比如CALIC (CALIC—基于上下文的、自适应、无损图像编解码器)[3]的更加近期的方法使用非线性预测用于瞬态信号的更好利用。一般地，这些是通过并入比如边缘的图像结构来计算预测值的规则。
[0005]作为示例，在L0C0-1中所使用的中值预测因子如下工作:作为预测，如果上和左像素两者都小于左上像素，则其取上和左像素中的较小值，如果两者都大于左上像素，则取较大值，并且否则取两者的和减去左上像素。在从1994的美国专利[6]中描述了另一类型的非线性预测:由邻域模板和对应的预测值来描述典型图像结构。来自所有模板的预测值根据模板多好地拟合当前观察结果而被加权，并且然后被相加用于最后的预测。
[0006]JPEG-LS和CALIC两者都在预测之后利用背景建模以便适于观察到的较大比例图像特性。在每个像素处，从其邻域提取特征，该特征然后被用来将其分类到某个背景群组。在JPEG-LS中，这些特征是根据邻域位置的量化图像梯度。CALIC使用包括邻域强度值的符号模式减去当前非线性预测的组合特征。在解码的同时，针对每个背景群组，保持属于该背景群组的像素处的平均观察预测误差的值。这样，针对每个新像素预测，可以由来自共享同一背景群组的先前像素的平均预测误差来修正该预测误差。
[0007]在美国专利[7]中，使用所支持像素的值由几个计算单元的结果的加权和来生成预测因子。
[0008]目的是提供允许更精确地预测视觉数据的像素的方法和设备。
[0009]用独立权利要求来解决本发明的此目的。从属权利要求提供了本发明的特定限制和替换解决方案。
[0010]本发明涉及一种用于通过生成预测像素强度来对像素的像素强度进行编码或重构的第一方法，由此，像素是图像的一部分，包括:
一从图像的像素中选择至少一个参考像素，由此，相应的参考像素被预先编码；
一提供模型函数，其
a)基于一个或多个参考像素的相应强度来提供用于生成预测像素强度候选的特定预测方法，
b)表示用于生成预测像素强度候选的自适应规则，由此，该自适应规则基于参考像素的强度特性；
一基于模型函数将像素的预测像素强度候选设置为预测像素强度；
一基于预测像素强度对像素的像素强度进行编码或重构。
[0011]本发明还涉及一种用于通过生成预测像素强度来对像素的像素强度进行编码或重构的第二方法，由此，像素是图像的一部分，包括:
一从图像的像素中选择至少一个参考像素，由此，相应的参考像素被预先编码；
一提供至少两个不同的模型函数，其基于一个或多个参考像素的相应强度来提供用于生成预测像素强度候选的特定预测方法，
一将模型函数中的一个选择为所选模型函数，由此
a)该选择是基于预测像素强度候选，
b)在没有对像素的像素强度的了解的情况下执行该选择，以及
c)所选模型函数比模型函数中的任何其它的更好地表示参考像素的强度特性；
一基于所选模型函数将像素的预测像素强度候选设置为预测像素强度；
一基于预测像素强度对像素的像素强度进行编码或重构。
[0012]两个方法的优点都是其预测精度在符合所采取模型函数的形状的区域中是优越的。用适当的后续熵编码，这导致有损压缩中的较高压缩比或较少失真。
[0013]另一优点在于准确预测所需的由参考像素定义的小的邻域区域。除较小的缓冲器尺寸之外，对于同一图像内的不同图像特性而言以及对于其中没有太多背景信息可用的图像的第一发射区域而言，这对于比如在感兴趣区域编码中的小图像而言尤其有用。并且，可以更容易地实现并行实施方式，因为对其它图像区域的依赖性并不如在其它方案中那样大。
[0014]最后，该方法不限于2D图像，而是还可以例如在3D体积、超谱图像或视频中使用。对于其中特性预先已知的所有数据集而言，很少的模型函数足以覆盖这些结构的大量实现，例如几乎无穷数目的边缘方向。
[0015]通过使用比模型函数中的任何其它的更好地表示参考像素的强度特性的所选模型函数，由映射单元执行的选择步骤的期望是所选模型函数将递送比其它模型函数中的任何一个更准确的预测像素强度的预测。由使用自适应规则的模型函数进行的预测将在相应模型函数相对于参考像素的优化之后执行。
[0016]在第二方法的扩展中，模型函数中的至少一个表示用于生成预测像素强度的静态规则。这允许预测像素强度的低复杂性实施和低复杂性计算，因为该模型函数是静态函数。
[0017]在第二方法的扩展中，模型函数中的至少一个表示用于生成预测像素强度候选的自适应规则，由此，该自适应规则基于参考像素的强度特性。该自适应规则允许对要编码的像素的更精确预测，因为其函数可以动态地适于参考像素的特定强度特性。
[0018]在可选扩展中，作为自适应规则，可用最小化的残差来优化模型函数以便生成被用来使模型函数适于参考像素的强度特性的至少一个参数，由此，该残差描述了参考像素的位置处的预测像素强度候选与参考像素的强度之间的差。此扩展允许模型函数对参考像素的强度特性的非常精确的适应。
[0019]在一个可选示例中，模型函数描述了用于参考像素的强度特性的二维图案。使用二维图案极大地改善了预测像素强度的预测。
[0020]特别地，可以由用于强度特性中的边缘的模型函数来实现本示例，其被描述如下:
【权利要求】
1.一种用于通过生成预测像素强度(PPI)来对像素(XO)的像素强度(PI)进行编码或重构的方法，由此像素(XO)是图像(PIC)的一部分，包括: 一从图像(Pic)的像素中选择至少一个参考像素(PREF、X1、...、X12)，由此，相应的参考像素(PREF、X1.....X12)被预先编码； 一提供模型函数(MODFI)，其 a)基于一个或多个参考像素(PREF、Xl.....X12)的相应强度(PI)来提供用于生成预测像素强度候选(CPPIl)的特定预测方法， b)使用用于生成预测像 素强度候选(CPPI1、CPPI3)的自适应规则，由此，该自适应规则是基于参考像素(PREF、X1.....X12)的强度特性； 一基于模型函数(M0DF1 )M0DF1 (XO )将用于像素(XO )的预测像素强度候选(CPPII)设置为预测像素强度(PPI); 一基于预测像素强度(PPI)对像素(XO)的像素强度(PI)进行编码或重构。
2.一种用于通过生成预测像素强度(PPI)来对像素(XO)的像素强度(PI)进行编码或重构的方法，由此，像素(XO)是图像(PIC)的一部分，包括: 一从图像(Pic)的像素中选择至少一个参考像素(PREF、X1、...、X12)，由此，相应的参考像素(PREF、X1.....X12)被预先编码； 一提供至少两个不同的模型函数(M0DF1、M0DF2、M0DF3)，其基于一个或多个参考像素(PREF、Xl.....X12)的相应强度(PI)而提供用于生成预测像素强度候选(CPPI1、CPPI2、CPPI3)的特定预测方法； 一将模型函数(MODFl、M0DF2、M0DF3)中的一个选作所选模型函数(M0DF1 )，由此 a)所述选择基于预测像素强度候选(CPPI1、CPPI2、CPPI3)， b)在没有对像素(XO)的像素强度(PI)的了解的情况下执行该选择，以及 c)所选模型函数(MODFl)比模型函数(M0DF2、M0DF3)中的任何其它的更好地表示参考像素(PREF、X1.....X12)的强度特性； 一基于所选模型函数(MODFl) MODFl (XO)将用于像素(XO)的预测像素强度候选(CPPIl)设置为预测像素强度(PPI)； 一基于预测像素强度(PPI)对像素(XO)的像素强度(PI)进行编码或重构。
3.权利要求2的方法，其中 模型函数(M0DF2)中的至少一个表示用于生成预测像素强度(PPI)的静态规则。
4.权利要求2或3的方法，其中 模型函数(M0DF1、M0DF2)中的至少一个使用用于生成预测像素强度候选(CPPI1、CPPI3)的自适应规则，由此，该自适应规则是基于参考像素(PREF、X1、...、X12)的强度特性。
5.权利要求1或4的方法，其中 作为自适应规则，模型函数(MODFl)使用残差，其被最小化以便生成被用来使模型函数(MODFl)适于参考像素(PREF、X1、...、X12)的强度特性的至少一个参数(d、φ、o、s、σ )，由此，该残差描述参考像素(XI)的位置处的预测像素强度候选(CPPII)与参考像素(XI)的强度(PI)之间的差。
6.权利要求1、4或5的方法，其中模型函数(MODFl)描述用于参考像素(PREF、Xl.....X12)的强度特性的二维图案。
7.权利要求6的方法，其中 能够由下式来描述用于强度特性中的边缘的模型函数(MODFl)
其中: 一Pg:定义位置X处的预测像素强度候选(CPPI1),例如具有X和y维度； -erf(.):是高斯误差函数，在I一D高斯函数上的不定积分的缩放版； 一d:移位距尚d —Φ:在X平面中旋转一定角度 —ο:偏移 —S:与比例S相乘 -O:平滑化的量 可以由下式将参数优化成参考像素:
其中: 一 wk:加权因数； 一k:参考像素Xk的特定位置 —η:参考像素的数目。
8.权利要求6的方法，其中 能够由下式来描述用于强度特性中的两个边缘的模型函数(M0DF3)
其中: 一Pg:定义位置X处的预测像素强度候选(CPPI1),例如具有X和y维度； -erf(.):是高斯误差函数，在I一D高斯函数上的不定积分的缩放版； 一d:移位距尚d —Φ:在X平面中旋转一定角度 —ο:偏移 —S:与比例S相乘 -O:平滑化的量 —δ:两个边缘之间的距离。
9.前述权利要求中的一项的方法，其中 参考像素(PREF、X1、...、X12)是(a)采用其原始形式的像素和(b)在编码之后被重构的像素中的一个。
10.前述权利要求中的一项的方法，其中 参考像素(PREF、X1、...、X12)中的至少一些是像素(XO)的相邻像素。
11.权利要求2至10中的一项的方法，其中 生成相应模型函数(MODF1、MODF2)的失配值(rl、r2、r3),由此，失配值分别地定义参考像素(Xl)的位置处的预测像素强度候选(CPPIl)与参考像素(Xl)的强度(PI)之间的差， 所选模型函数(MODF1)示出了与其它失配值相比最小的失配值(rI)。
12.权利要求2至11中的一个的方法，其中 在执行选择步骤之前丢弃至少一个模型函数(MODREF3)，由此，如果两个不同模型函数(MODFK M0DF2)的像素强度候选(CPPI1)之间的差超过可定义第一阈值(TP)，或者相应的模型函数(MODFl)的失配值(rl)超过第二阈值(TR)，则执行此步骤。
13.前述权利要求中的一项的方法，其中 编码的步骤包括由预测误差(PR)的熵编码器(EC)用于入口编码的概率分布(DP)的选择，所述预测误差(PR)是基于从像素(XO)的像素强度(PI)中减去预测像素强度(PPI)，由此，该选择包括使用图像(PIC)的预先编码像素、例如参考像素(PREF、X1.....X12)的相应 的预测误差(PR)。
14.权利要求11和13的方法，其中 选择概率分布(DP)的步骤是基于相应模型函数(M0DF1、M0DF2)的像素强度候选(CPPI1、CPPI2、CPPI3)或失配值(rl、r2、r3)中的至少一个。
15.前述权利要求中的一项的方法，其中 所述强度(P1、PPI)是基于相应像素的辉度。
16.用于通过生成预测像素强度(PPI)而对像素(XO)的像素强度(PI)进行编码和重构的设备(DEV)，由此，像素(XO)是图像(PIC)的一部分，包括: 一像素缓冲器单元(PBU)，用于从图像(PIC)的像素中选择至少一个参考像素(PREF、X1、...、X12)，由此，相应的参考像素(PREF、X1、...、X12)被预先编码； 一模型函数(M0DF1)，其 a)基于一个或多个参考像素(PREF、Xl.....X12)的相应强度(PI)来提供用于生成预测像素强度候选(CPPI1、CPPI2、CPPI3)的特定预测方法， b)表示用于生成预测像素强度候选(CPPI1、CPPI3)的自适应规则，由此，该自适应规则是基于参考像素(PREF、X1.....X12)的强度特性； 一映射单元(MAPU)，用于基于模型函数(MODFl)MODFl (XO)将用于像素(XO)的预测像素强度候选(CPPIl)设置为预测像素强度(PPI)； 一编码单元(ENC、DEC)，用于基于预测像素强度(PPI)对像素(XO)的像素强度(PI)进行编码或重构。
17.用于通过生成预测像素强度(PPI)而对像素(XO)的像素强度(PI)进行编码或重构的设备(DEV)，由此，像素(XO)是图像(PIC)的一部分，包括: 一像素缓冲器单元(PBU)，用于从图像(PIC)的像素中选择至少一个参考像素(PREF、X1、...、X12)，由此，相应的参考像素(PREF、X1、...、X12)被预先编码； 一至少两个不同的模型函数(M0DF1、M0DF2、M0DF3)，用于基于一个或多个参考像素(PREF、Xl.....X12)的相应强度(PI)而提供用于生成预测像素强度候选(CPPI1、CPPI2、CPPI3)的特定预测方法； 一映射单元(MAPU)，用于将模型函数(M0DF1、M0DF2、M0DF3)中的一个选作所选模型函数(M0DF1)，由此 &)所述选择基于预测像素强度候选(0--11、0--12、0--13)， b)在没有对像素(XO)的像素强度(PI)的了解的情况下执行该选择，以及 c)所选模型函数(MODF1)，比模型函数(MODF2、MODF3)中任何其它的更好地表示参考像素(PREF、X1、...、X12)的强度特性，并且基于所选模型函数(MODFl) MODFl (XO)将用于像素(XO)的预测像素强度候选(CPPIl)设置为预测像素强度(PPI)； 一编码单元(ENC、DEC)，用于基于预测像素强度(PPI)对像素(XO)的像素强度(PI)进行编码或解码。
18.权利要求16或17的设备(DEV)，具有用于实施并执行权利要求3至15的步骤中的至少一个的补充单元(SU)。
【文档编号】H04N19/11GK104081436SQ201280067484
【公开日】2014年10月1日 申请日期:2012年12月4日 优先权日:2012年1月19日
【发明者】A.魏因利希, P.阿蒙, A.胡特, A.考普 申请人:西门子公司