专利名称：基于区域的纹理编码和译码方法以及相应的系统的制作方法
技术领域：
本发明涉及编码图象序列中的图象的方法，对于每一图象，该方法包括以下步骤(A)把所述图象分割成为均匀区域；(B)编码所述区域的轮廓；(C)编码所述区域的纹理。
本发明还涉及相应的译码方法以及实现所述编码及译码方法的系统。
本发明可应用于甚低位速率视频编码领域，对于正在形成的支持新的数字音-视频数据的通信、存取和处理方式的编码标准MPEG4来说尤其有吸引力。
可用来处理基于区域的纹理编码的技术是相当少的。向正交基的多项式近似法能够逼近区域内的灰度电平或彩色函数，但只能检索到低频。为了获得高频，已将专用于基于块的方法的技术应用于区域并给出了良好的结果，但存在在甚低位速率时出现块状效应的不足。
自从约15年以来，已提出了新的数学工具来对信号进行分析和综合，尤其当这种信号相应于声音或图象时。这种称为“子波变换”的工具允许把任何任意的信号表示为子波的叠加，这种称为“子波变换”的工具的描述可参看例如由Y.Meyer、S.Jaffard和O.Rioul发表于1987年9月的杂志“Pour la Science”第28-37页上的文章“L’analyse Parondelettes”。子波是从一个子波通过扩展和平移而产生的函数，能够把所关心的信号分解成为不同的级别(每一级别再利用适合于该级别的分辨率进行分解)。
这一重要的数学工具已在若干个技术领域、尤其在图象压缩领域得到应用。IEEE的“图象处理学报”1992年4月1日卷2期205-220页上的论文“采用子波变换的图象编码”描述了这种应用。结果，如将要看到的那样，图象不是按照各向同性的方式被进行处理的。
因此，本发明的第一个目的是提出新的基于区域的纹理编码方法，该方法基于图象的子波分解，但比已知的方法更有效。
为此，本发明涉及如说明书开头一段所描述的编码方法，其中所述的纹理编码步骤包括分解分割图象，这种分解包括对其数目与迭代的次数相同的若干个相继的分解级别的每一个所执行的以下操作(a)根据先前的低通频带分割掩码产生两个下降取样的低通和高通分割掩码，第一次迭代的低通频带分割掩码是原始分割图象本身；(b)沿其区域的边界扩展低通频带图象；(c)根据这些掩码和扩展信号对区域进行滤波和下降取样。
这种方法的优点在于提供了比已知技术准确的分析由于没有占优的方向，并更多地考虑了领域的象素之间的空间相关性，所以变换是各向同性的。
本发明的另一个目的是提出实现这一方法的编码系统。
为此，本发明涉及编码图象序列中的图象的系统，该系统包括-在每一相继图象内确定均匀区域的分割装置；-分别编码每一相继图象的区域的轮廓和纹理的轮廓和纹理编码装置；其中所述纹理编码装置为了根据若干个相继级别对每一分割图象进行分解，包括了以迭代的方式执行以下操作的处理器(a)根据先前的低通频带分割掩码产生两个下降取样的低通和高通分割掩码，第一次迭代的低通频带分割掩码是原始分割图象本身；(b)沿其区域的边界扩展低通频带图象；(c)根据这些掩码和扩展信号对区域进行滤波和下降取样；每次迭代相应于每一分解级别。
本发明的再一个目的是提出适合于对按照所述编码方法编码的信号进行译码的方法以及相应的译码系统。
为此，本发明涉及对相应于已利用如所描述的方法编码的图象的信号进行译码的方法，所述译码方法包括以下步骤(A)译码相应于区域的轮廓的编码信号；(B)译码相应于区域的纹理的编码信号；(C)再现相应于原始序列的图象的图象；其中所述译码相应于区域的纹理的编码信号的步骤包括对其数目与迭代的次数相同的若干个相继的再现级别的每一个所执行的以下操作(a)产生下降取样的分割掩码；(b)沿区域的边界扩展区域；(c)上升取样和滤波；本发明还涉及相应的系统，该系统包括-译码相应于区域的轮廓的编码信号的译码装置；-译码相应于区域的纹理的编码信号的译码装置；-再现相应于原始图象的图象的再现装置；其中所述再现装置为了进行所述再现，包括了以迭代的方式执行以下操作的处理器产生分割掩码，沿区域的边界扩展区域，上升取样和滤波。
参看以下描述的实施例将对本发明的这些及其它特点一清二楚。
附图中
图1和2分别说明在利用子波变换对单维输入信号进行处理时的分析过程和综合过程的原理；图3说明图象分解如何利用双值二维变换提供不同分辨率和取向的子图象；图4表示在所谓的五点形二维子波变换的情况下不同分解级别的取样网格；图5和6概略地表示对于图象分解(在分析一侧)和对于图象再现(在综合一侧)所执行的操作；图7说明在基于区域的五点形子波变换的情况下分割掩码的分解；图8说明区域边界的扩展，允许使沿图象边界的再现误差减至最小；图9表示在五点形网格或在矩形网格内的象素的连通性；图10表示在矩形网格的情况下附加层的计算的一个例子。
一般来说，子波技术依赖于图象的空间/频率分解。子波变换允许输入信号用一组子频带信号来描述，每一子频带信号表示给定分辨率和特定频率范围的输入信号。图1和2表示供子波分析和综合用的滤波器组，分别说明在利用子波变换进行处理的单维输入信号MS的通常情况下，在传输前的分析过程和在传输后的综合过程。
在发送(或存储)一侧执行的分析步骤期间，分辨率为2-m的信号MS的近似AP(m,MS)和相应的残留部分RD(m,MS)可通过分别用低通滤波器11和高通滤波器12滤波这一信号的先前近似AP(m-1,MS)(分辨率为2-(m-1))和通过分别利用相关的二次取样电路13和14进行二中取一的取样来获得。利用低通滤波器15和高通滤波器16以及相关的二次取样电路17和18对AP(m,MS)执行相同的滤波处理，以便获得后续近似AP(m+1,MS)和相应的信号RD(m+1,MS)，等等。然后把所有获得的信号传送给传输信道100。
在接收一侧执行的综合步骤期间，分辨率为2-m的近似AP(m,MS)可通过(在上升取样电路21和22)对信号AP(m+1,MS)和RD(m+1,MS)进行倍数为2的内插、分别利用低通和高通滤波器23和24滤波这些信号以及最后在加法器25内对被滤波后的信号求和来获得。同样地，利用上升取样电路26和27、低通滤波器28、高通滤波器29和加法器30来获得AP(m-1,MS)，等等。
在处理作为输入信号的图象时，已建议了扩展供图象用的上述单维子波变换。这种称为双值二维子波变换的方法使用作用于图象的行和列的可分单维滤波器。如说明利用所述双值变换的图象分解的图3所示，图象I1(例如方形图象)的第一次低通滤波步骤(FLPF)和第一次高通滤波步骤(FHPF)以及对所述图象的行的后续二次取样产生了两个半列的矩形图象I2L和I2H。这些图象I2L和I2H的第二次低通滤波(SLPF(L)和SLPF(H))和第二次高通滤波(SHPF(L)和SHPF(H))以及对列的后续二次取样产生了四个半列和半行的方形图象I3LL、I3LH、I3HL和I3HH，这四个方形图象分别是低通图象、具有垂直部分的图象、具有水平部分的图象以及具有对角部分的图象。
考虑到这一方法因滤波器对水平和垂直方向有选择性而不允许以各向同性的方式对图象进行处理，建议了使用二维不可分的低通和高通滤波器。这种称为五点形二维子波变换的方法使用
的比例系数(而在双值方法中比例系数是2)，并且由于分辨率电平的数目加倍，所以该方法能够改善分析的精度。如图4所示，在该图中可看到不同分解级别的取样网格，子频带图象在五点形取样网格内被定义。低通滤波器L和高通滤波器H随图象而旋转、移位其在由十字(圆圈)表示的象素上的中心点。从矩形网格(相应于例如级j、即相应于现在被称为二维信号即BS的信号的近似AP(j,BS))到五点形网格，把低通滤波器L和高通滤波器H作用到被移位的取样网格上，而从五点形网格到矩形网格，则把相同的滤波器(旋转了π/4之后)作用到矩形取样网格上。为了节省计算时间，实际上是同时执行滤波和二次取样。
根据本发明，把这一改进的方法应用于基于区域的方法，图5和6分别概略地说明在分析(即发送、存储)一侧和在综合即接收一侧所执行的操作。
在描述分析和综合过程之前，必需记住基于区域的编码方法将涉及到三个主要步骤。首先是分割步骤把每一原始图象分割为一组就纹理和/或运动而言是均匀的相邻对象。然后利用例如在P.J.Nicholl和R.J.Millar发表在1995年7月4-6目的“第五届图象处理及其应用国际会议”论文集第564-568页上的论文“利用无约束链式编码方法的螺旋式图象压缩”中所描述的诸如链式编码方法这样的技术对区域的轮廓进行编码。最后对区域的颜色进行编码(纹理编码)。
该纹理编码步骤则包括在每一分解级别(在所述图中为Ln)下根据在分析一侧所执行的三种相继的操作(图5)对分割图象进行分解。
首先，由于子波变换依赖于多分辨率的分析，所以在每一分辨率的级别上产生两个分割掩码，相应于低通和高通子频带。对于产生下降取样的分割掩码(即BDSM)的这一操作，根据先前低通频带分割掩码(在分解的第一次迭代中，该低通频带分割掩码是原始分割掩码本身，而低通频带图象是待编码的原始图象)产生两个低通和高通分割掩码。
在区域被独立地进行了处理后，就将对每一区域独立地执行图象的滤波和下降取样，这涉及到必需以有效的方式扩展每一区域的边界，以便将沿图象边界的再现误差减至最小。对于该第二操作(沿区域的边界扩展区域，即ERAB)，低通频带图象沿每一区域的边界被扩展。
第三操作根据扩展信号和掩码对区域进行滤波和下降取样(FADS)，以便获得两个新的低通和高通子频带。
关于在综合一侧的整个过程(图6)，在每一级别下类似地执行三个相继的操作BDSM、ERAB和USAF，只有第三个操作(上升取样和滤波、即USAF)是不同的，这是由于该操作依赖于从最粗的分辨率到初始分辨率执行上升取样和滤波操作。
执行产生高通和低通分割掩码的操作BDSM的方式如下。为了在每一分解级别下产生这些掩码，必需把每一分割掩码(包括原始图象的原始分割掩码)、即父掩码分离成为相应于低通和高通子频带的两个分割掩码(即子掩码)。图7分别表示-在分解级别n=0，原始图象的分割掩码；-在分解级别n=1/2，低通和高通频带的分割掩码(五点形网格QG)；-在分解级别n=1，低通和高通频带的分割掩码(方形网格SG)(从分解级别n-1/2至分解级别n，被执行的操作等价于旋转π/4加上
的扩展)。
执行沿区域边界扩展区域的操作ERAB的方式如下。一旦完成了对分割掩码的分离，就对每一区域独立地执行图象的滤波和下降取样。为了把在区域边界的再现误差减至最小，如图8所示地完成边界的扩展，图8表示区域R以及具有在该区域周围的N个附加层(N是滤波器的一半尺寸)的这种扩展。重复相同的过程来产生每一层在每次迭代中，把附加层的象素的幅度作为属于该区域的这些象素的相邻象素的平均值进行计算。如图9所示，不管什么样的网格(五点形网格QG还是矩形网格RG)，连通性都是4个邻近象素。图10表示在矩形网格的情况下一附加层的计算在左图中，字母表示初始区域的象素值而圆圈相当于该附加层的象素，而在右图中，该附加层的象素的值已被计算。
本发明不限于这一编码方法，不超出本发明的范围可以在这一编码方法的基础上作出修改或改进。例如，显然可以按照若干种方式、例如利用布线电子模块或者最好按照包括处理器或微处理器的编码系统的方式实施这一编码方法，处理器或微处理器保证相应于以上对于编码方法所描述的并在所述电子模块内被执行的操作的指令序列的执行。
本发明同样地涉及译码相应于已通过执行上述编码方法被编码的图象序列的信号的方法，也是显然的。与分割和编码步骤相应，该译码方法包括译码分别相应于所述图象的区域的轮廓和纹理的编码信号的两个译码步骤，以及再现相应于原始图象的图象的再现步骤。如编码方法一样，也可以按照若干种方式实施这一译码方法，尤其是采用包括执行相应于上述步骤的指令的处理器或微处理器的编码系统。
权利要求
1．编码图象序列中的图象的方法，对于每一图象，该方法包括以下步骤(A)把所述图象分割成为均匀区域；(B)编码所述区域的轮廓；(C)编码所述区域的纹理。其中所述纹理编码步骤包括分解分割图象，这种分解包括对其数目与迭代的次数相同的若干个相继的分解级别的每一个所执行的以下操作(a)根据先前的低通频带分割掩码产生两个下降取样的低通和高通分割掩码，第一次迭代的低通频带分割掩码是原始分割图象本身；(b)沿其区域的边界扩展低通频带图象；(c)根据这些掩码和扩展信号对区域进行滤波和下降取样。
2．编码图象序列中的图象的系统，包括-在每一相继图象内确定均匀区域的分割装置；-分别编码每一相继图象的区域的轮廓和纹理的轮廓和纹理编码装置；其中所述纹理编码装置为了根据若干个相继级别对每一分割图象进行分解，包括了以迭代的方式执行以下操作的处理器(a)根据先前的低通频带分割掩码产生两个下降取样的低通和高通分割掩码，第一次迭代的低通频带分割掩码的原始分割图象本身；(b)沿其区域的边界扩展低通频带图象；(c)根据这些掩码和扩展信号对区域进行滤波和下降取样；每次迭代相应于每一分解级别。
3．译码相应于已利用权利要求1的方法进行了编码的图象序列的编码信号的方法，所述译码方法包括以下步骤(A)译码相应于区域的轮廓的编码信号；(B)译码相应于区域的纹理的编码信号；(C)再现相应于原始序列的图象的图象；其中所述译码相应于区域的纹理的编码信号的步骤包括对其数目与迭代的次数相同的若干个相继的再现级别的每一个所执行的以下操作(a)产生下降取样的分割掩码；(b)沿区域边界扩展区域；(c)上升取样和滤波。
4．译码相应于已在权利要求2所述的编码系统中被编码的图象序列的编码信号的系统，所述译码系统包括-译码相应于区域的轮廓的编码信号的译码装置；-译码相应于区域的纹理的编码信号的译码装置；-再现相应于原始图象的图象的再现装置；其中所述再现装置为了进行所述再现，包括了以迭代的方式执行以下操作的处理器产生分割掩码，沿区域边界扩展区域，上升取样和滤波。
全文摘要
本发明涉及相对于图象的轮廓和纹理对图象进行分割和编码的图象序列编码方法。利用依赖于图象的子波分解的新技术来执行纹理编码步骤,以便能够在保持良好的图象质量的同时达到甚低的位速率,这种新技术称为五点形二维子波变换,适合于基于区域的编码方法。本发明可应用于多媒体数据存储、视频和静止图象传输。
文档编号G06T9/00GK1217124SQ96191237
公开日1999年5月19日 申请日期1996年10月11日 优先权日1995年10月18日
发明者L·保查德, R·阿斯肯纳兹斯 申请人:皇家菲利浦电子有限公司