专利名称：视频信号编码方法及设备和视频信号译码设备的制作方法
技术领域：
本发明涉及视频信号编码方法和编码设备及视频信号译码方法和译码设备，本发明尤其适合于考虑到视频信号的视觉重要性而将其分解为多个分量，然后对其进行编码和译码。本发明还涉及适合于上述分解的边缘检测方法和边缘检测设备。
背景技术：
变换编码通常广泛用于图象压缩。这些技术的成功除了它们的能量压缩(energy compaction)特性外，还在于由压缩造成的失真是在空间域中以非直接的方式、即通过频域分量方式出现的缘故。这通常使失真不太严重。但是，在例如包括边缘的区域中的频域失真将产生例如阻尼振荡这样的不希望有的干扰。减少这种缺陷的解决方案是对图象的不同区域(通常称为方块)进行分类，对每一不同的种类采用不同的量化对策。
分类的标准非常重要。通常采用基于每一区域(块)的变换系数的AC值的活动性(activity)的度量。基于AC系数的活动性的分类相当好地区分了平滑区域和具有高频分量的其它区域。但这一技术不能很好地区分包括边缘的区域和具有结构状(texture-like)活动性的区域。
虽然频域失真一般来说在结构中是不可见的，但主要因为存在阻尼振荡干扰物的缘故，在存在边缘的情况下它们变得非常清晰。因此，为了在另外的阶段中将更有效的编码对策应用于每一种类，好的分类应当能够正确地区分边缘区域和结构区域。为了适应这种状况，可以考虑基于AC系数值的更加复杂的活动性检测。但是，如果要找到有效的对策，这种检测将使系统的复杂性增加许多。
发明概述鉴于以上所述，本发明提供能够以比以前更高压缩率的、改善被恢复图象的可视图象质量的视频信号编码方法和编码设备及视频信号译码方法和译码设备。
为了解决这一问题，在本发明中，由输入视频信号平滑分量组成的局部亮度分量利用第一编码方法进行编码；由输入视频信号轮廓分量组成的亮度边缘分量用链式编码方式的第二编码方法进行编码；由除局部亮度分量和亮度边缘分量之外的分量组成的结构分量则用第三编码方法进行编码。
此外，本发明提供了以下的各装置，即用第一编码方法对由输入视频信号的平滑分量组成的局部亮度分量进行编码来产生第一编码信号的第一编码装置；用链式编码方式的第二编码方法对由输入视频信号轮廓分量组成的亮度边缘分量进行编码来产生第二编码信号的第二编码装置；以及用第三编码方法对由除局部亮度分量和亮度边缘分量之外的分量组成的结构分量进行编码来产生第三编码信号的第三编码装置。
此外，利用通过编码由至少包括亮度分量的输入视频信号的平滑分量组成的局部亮度分量而产生的第一编码信号、利用通过用链式编码方式的第二编码方法来编码由输入视频信号的轮廓分量组成的亮度边缘分量而产生的第二编码信号、以及利用通过用第三编码方法来编码由除输入视频信号的局部亮度分量和亮度边缘分量之外的分量组成的结构分量而产生的第三编码信号来再现视频信号的本发明的视频信号译码方法包括以下步骤译码第一编码信号来产生再现局部亮度；译码第二编码信号来产生再现边缘；根据再现局部亮度分量和再现边缘分量来再现边缘图象；译码第三编码信号来产生再现结构；求和边缘图象和再现结构来再现原始视频信号。
此外，利用通过编码由至少包括亮度分量的输入视频信号的平滑分量组成的局部亮度分量而产生的第一编码信号、利用通过用链式编码方式的第二编码方法来编码由输入视频信号的轮廓分量组成的亮度边缘分量而产生的第二编码信号、以及利用通过用第三编码方法来编码由除输入视频信号的局部亮度分量和亮度边缘分量之外的分量组成的结构分量而产生的第三编码信号来再现视频信号的本发明的视频信号译码设备包括译码第一编码信号来产生再现局部亮度的第一译码装置；译码第二编码信号来产生再现边缘的第二译码装置；根据再现局部亮度分量和再现边缘分量来再现边缘图象的装置；译码第三编码信号来产生再现结构的第三译码装置；以及求和边缘图象和再现结构来再现原始视频信号的求和装置。
此外，本发明的检测输入视频信号的边缘的边缘检测方法包括以下步骤微分(differentiate)输入视频信号；将微分步骤的微分结果与一个被自适应地控制的阈值作比较以便从微分结果中提取大于阈值的分量；检测提取分量的变化点；以及根据变化点确定奇点。
此外，本发明的检测输入视频信号的边缘的边缘检测设备包括微分输入视频信号的微分装置；将微分装置的微分结果与被自适应地控制的阈值作比较以便从微分结果中提取大于阈值的分量的装置；检测提取分量的变化点的装置；以及根据变化点确定奇点的装置。
视频信号被分解成为由平滑分量组成的局部亮度信息、由轮廓分量组成的边缘信息、以及由除平滑分量和轮廓分量之外的分量组成的结构信息，根据每种信息的视频重要性对它们进行不同的编码，因此能够以比以前高的压缩率并考虑被恢复图象的可视图象质量来进行编码。还可以在考虑再现的情况下来检测边缘信息。
此外，通过译码已编码的局部亮度信息来产生再现局部亮度，译码已编码的边缘信息来产生再现边缘信息，并且将根据再现局部亮度所产生的边缘图象与再现边缘信息附加到被译码的结构信息上以便来再现原始图象，所以能够保证在考虑被恢复图象的可视图象质量的情况下来译码已编码的数据。
附图概述
图1是表示本发明的视频信号编码设备的一实施例的方框图。
图2是表示本发明的视频信号译码设备的一实施例的方框图。
图3是表示图1的视频信号编码设备中的局部亮度产生和编码处理单元的方框图。
图4是表示图1的视频信号编码设备中的边缘信息检测和编码处理单元的方框图。
图5是表示在图4的边缘信息检测和编码处理单元中被编码的边缘信息分量的位流语法的示意图。
图6是说明当在图4的边缘信息检测和编码处理单元中进行编码时象素的链式编码信息的示意图。
图7是表示图2的视频信号译码设备中的局部亮度译码和再现处理单元的方框图。
图8是表示图2的视频信号译码设备中的边缘信息译码和再现处理单元的方框图。
图9是说明本发明的色度视频信号编码设备的主要结构的方框图。
图10是说明由作为边缘检测的奇点检测所得到的再现信号的方框图。
图11(A)-11(E)是表示具有在边缘检测时造成错误检测的相同的中断的边缘的示意图。
图12(A)-12(D)是说明是边缘检测的特征的检测对于中断的奇点的操作的信号波形图。
图13是表示作为边缘检测设备的奇点检测设备的一实施例的方框图。
图14(A)-14(F)是说明在包括噪声的阶跃边缘处检测奇点和再现的操作的信号波形图。
图15(A)-15(D)是说明用于检测奇点的自适应阈值的重要性的信号波形图。
图16(A)-16(D)是说明用于检测奇点的变化的检测以及冗余点的删除和替换的信号波形图。
图17(A)-17(D)是说明在包括噪声的阶跃边缘处检测奇点的操作的信号波形图。
图18(A)-18(D)是说明利用传统的Canny方法在包括噪声的阶跃边缘处检测奇点和再现的操作的信号波形图。
图19是表示应用了检测奇点的方法的2D边缘检测设备的结构的方框图。
图20是表示利用图1的视频信号编码设备获得的传输位流的一实施例的图示。
图21表示用3CC的模拟。其中图21(A)表示原始图象的视频信号。图21(B)表示再现的局部亮度分量。图21(C)表示边缘信息。图21(D)表示经过后处理的边缘信息。图21(E)表示再现的边缘图象。图21(F)表示结构分量。
图22表示3CC和JPEG之间的比较。其中图22(A)表示3CC的译码图象。图22(B)表示JPEG的译码图象。图22(C)表示译码图象的局部区域被以3CC来放大了的图象。图22(D)表示译码图象的肩部区域被以JPEG放大的图象。图22(E)表示由3CC译码的图象的误差图象。图22(F)表示由JPEG译码的图象的误差图象。
图23表示根据实施例的奇点的检测和再现。其中，图23(A)表示原始图象。图23(B)表示用新的边缘检测设备获得的奇点。图23(C)表示从在用淡化(diffusion)处理重复了32次之后的奇点和原始图象的奇点再现的数据的每一振幅。
图24表示利用Canny边缘检测的奇点检测和再现。其中，图24(A)表示原始图象。图24(B)表示用Canny边缘检测设备获得的奇点。图24(C)表示从在用淡化处理重复了32次之后的奇点和原始图象的奇点再现的数据的每一振幅。
编号说明1.视频信号编码设备2.局部亮度产生和编码处理单元3.边缘信息检测和编码单元4.边缘信息编码与再现处理单元5.减法处理单元6.结构信息编码处理单元10.视频信号编码设备11.局部亮度编码和再现处理单元12.边缘信息编码和再现处理单元13.结构信息编码处理单元14.加法处理单元20.色度视频信号编码设备21.色度3CC编码设备30.奇点检测设备31.噪声减少处理单元32.一次导数操作符处理单元33.阈值产生处理单元34.自适应阈值处理单元
35.变化检测处理单元36.冗余点消除和替代处理单元40.二维边缘检测设备41.一维奇点检测(水平)设备42.一维奇点检测(垂直)设备43.“或”电路实现本发明的最佳方式现在参看附图描述本发明的最佳实施例。
(1)3分量编码原理和译码方法在这一实施例中，在考虑要被编码的图象信息的视觉相对性的情况下用3分量编码方法(以后称为3CC(3分量编码))压缩色度图象。因此，图象信息被分解成为三种不同的分量，即由平滑分量组成的局部亮度、由轮廓组成的边缘信息和由其它分量组成的结构信息。这些分量的视觉重要性从后者向前者逐渐变大，每一分量中的可允许失真按照这一视觉重要性而有所不同。另外，根据这些不同的特性而对各个分量的编码采用不同的编码方法。
可以认为这个3CC是恰当地分类图象区域的好的编码方法。这一方法对于减小计算的复杂性是如此有效以至于它能够取代普通的检测基于系数的AC值的活动性的方法。3CC的基本概念很简单并且非常一般化(见X.Ran and N.Farvardin的“采用3分量图象模型的低位速率图象编码”，马里兰大学“技术公报TR”92-75，1992)。
在3CC的编码方法中，原始图象首先被分解成为三种不同的分量，即局部亮度、边缘信息和结构信息。有若干种提取这些分量的方法，每种方法产生不同的结果。除了提取每一分量的方法外，对于译码图象的总体质量而言，特定编码方法所用的和不同分量间的位速率是特别重要的。例如，边缘的振幅不如边缘的位置重要。因此，虽然振幅信息被简单和粗略地量化，但足以获得令视觉满意的图象。相反地，边缘位置信息就必须尽可能地准确。
另外，3CC的另一特点是可以在更宽广的应用领域中更适宜地得到应用(类属编码)。例如，在非常低位速率的应用中，存储边缘信息而不是存储结构信息就可以更加令视觉满意地恢复图象。这是因为轮廓信息不受到严重影响的缘故，这一点与普通编码方法不同。还有，可以用任意分辨率译码局部亮度和边缘信息，不需要高级别处理。因此，利用多分辨率编码结构信息就能够容易地实现多分辨率编码。这一实施例提供了新的3CC，它通过进一步改进上述3CC能够利用简单的结构来实现高效传输。(2)新3CC的视频信号编码设备和视频信号译码设备图1中的1概括地表示3CC的视频信号编码设备。现在描述对视频信号中的亮度信号的编码。虽然视频信号中的色度信号的编码与亮度信号的编码几乎相同，但有微小的差别。以后描述对色度信号进行编码的视频信号编码设备。
视频信号编码设备1包括局部亮度产生和编码处理单元2，边缘信息检测和编码处理单元3，边缘信息译码和再现处理单元4，减法处理单元5，以及结构信息编码处理单元6。输入视频信号的亮度信号S1分别输入给局部亮度产生和编码处理单元2，边缘信息检测和编码处理单元3以及减法处理单元5。
图2的10概括地表示3CC的视频信号译码设备，它包括局部亮度译码和再现处理单元11，边缘信息译码和再现处理单元12，结构信息译码处理单元13以及加法处理单元14，其中，局部亮度分量S2，边缘信息分量S4和结构信息分量S7分别输入给前三个单元。
如图3所示，视频信号编码设备1的局部亮度产生和编码处理单元2包括低通滤波器2A，下取样单元2B，均匀量化单元2C和PCM编码单元2D。在局部亮度产生和编码处理单元2中，为了获得局部亮度，原始亮度信号S1首先被高斯(Gaussian)形的低通滤波器2A滤波，然后在下取样单元2B中被以合适的系数进行下取样。顺便地说，低通滤波器2A输出的局部亮度还提供给边缘信息译码和再现处理单元4。
因为这一局部亮度分量的重要性，所产生的系数在均匀量化单元2C中被均匀量化，然后在PCM编码单元2D中以N位/系数(N一般在8至12位之间)方式被编码。这一级的结果相当于基于变换编码的DC值。这样一来，在局部亮度产生和编码处理单元2中，亮度信号S1的局部亮度被编码以便作为局部亮度分量S2被发送。如图4所示，边缘检测和编码处理单元3包括预处理单元3A，边缘检测处理单元3B，后处理单元3C和轮廓编码处理单元3D。首先运行预处理单元3A以便减小噪声和结构信息对边缘检测质量的影响。这一级不仅可以包括对结构区域有较强作用而对边缘作用很小或没有作用的较复杂的空间变化滤波，而且还可以包括简单的低通滤波器。接着的边缘检测处理单元3B是边缘图象再现中重要的步骤。以后将描述与边缘检测和从边缘信息再现图象有关的新的方法。在这一级中采用新的边缘检测处理。但是，在这一级中还可以采用从边缘信息再现图象的所有其它处理方法。此外，后处理单元3C消除独立的或不太相关的边缘并连接由于噪声造成的彼此断开的轮廓。在这一后处理单元3C中，按照接受或抑制相关边缘信息的强度设定阈值来控制边缘信息的位速率。
当最相关边缘被选择时，这些边缘的位置信息与它们的振幅一道在轮廓编码单元3D中被编码，然后传送给译码方。根据人的视觉特性，边缘的振幅通常不如其位置重要。此外，视频信号的亮度不与其边缘一道明显地发生变化。因此，给属于同一轮廓的所有象素指定相同的振幅，此时的振幅是该轮廓中的所有象素振幅的平均值。轮廓的位置用链式编码算法来编码。事实上，编码边缘信息的位流的结构如图5所示，在图象的高和宽之后的每一轮廓用确定所有象素的振幅的预定数目的位开头，然后是链长。
此外，在每一链中，该链中的第一个象素的坐标用垂直和水平轴的绝对值来表示，该链中随后的象素如图6所示按照它们相对于前面象素的相对位置被编码。顺便说到，图中白象素表示以前被编码的象素，而黑象素表示目前要被编码的象素。位字Wn用来表示新象素相对于以前象素的坐标。由于编码边缘信息的结构完全不依赖于图象的大小，所以在译码位流时通过非常简单的坐标变换就能够得到边缘信息的减小或增大。边缘信息再现则以类似的方式变成了依赖于编码技术的准分辨率(quasiresolution)。
在局部亮度和边缘信息中不出现的其余信息被定义为结构信息。具体来说，结构信息被如以下方式提取。首先，作为被编码边缘信息的边缘信息分量S4在边缘信息译码和再现处理单元4中被译码。然后，边缘信息译码和再现处理单元4利用淡化处理从该译码边缘信息和由低通滤波器波2A提供的局部亮度来再现局部译码的图象。在S.Carlsson的“恢度图象的基于轮廓编码”(Sketch based coding of gray level images)(见《信号处理》杂志15(1)57-58，1988)中详细描述了淡化处理。在此获得的局部译码图象在一定程度上类似于输入图象S1。然后减法处理单元5求输入图象S1和局部译码图象之间的差，该差成为结构信息。图象中典型的结构区域属于结构信息，但弱相关轮廓的未检测边缘也可以利用这一结构信息来传送。在结构信息编码单元6中可以使用任何经典技术来编码结构信息。在结构信息编码单元6中被编码的该结构信息作为结构信息分量S7来输出。因为其较小的视觉重要性，所以对结构信息可以进行较大的压缩。在用具有多分辨率数据结构的编码方法来编码结构信息时，由于局部亮度和边缘信息实际上是与分辨率无关的，所以3CC将具有多分辨率的特性。在未示出的多路转换器电路中，如此获得的并被进行多路复用的局部亮度分量S2、边缘信息分量S4和结构信息分量S7被附加上用于区分各个分量的标题以便作为一帧。然后这些分量作为例如图20所示的位流被传送。顺便说到，图20中的边缘信息分量的详情如上所述如图5所示。
如图7所示，视频信号译码设备10的局部亮度译码和再现处理单元11由PCM译码单元11A、上取样单元11B和低通滤波器11C组成。由未示出的分离电路从传输位流中分离的局部亮度分量S2、边缘信息分量S4和结构信息分量S7输入给视频信号译码设备10。事实上，局部亮度分量S2被PCM译码单元11A译码，然后输入给上取样单元11B。上取样单元11B的处理过程等价于二次取样亮度信息的图象放大(Zoom)。图象放大系数，例如上取样系数，等于在译码方的下取样系数。但是，对于任意的分辨率，通过改变由后面的低通滤波器11C的特性和上取样系数组成的上变频参数就可以变换到具有不同分辨率的亮度信号。因此在某种意义上亮度分量是准独立于原始图象的分辨率的。
边缘信息译码和再现处理单元12的结构如图8所示。首先，边缘分量S4输入给对链式编码进行译码的轮廓译码单元12A。然后，边缘图象再现单元12B通过利用被译码的边缘信息和被再现的局部亮度S10来恢复边缘图象S11。如上所述，边缘信息的再现依赖于提取边缘信息的技术。在这种技术中，与边缘信息译码和再现处理单元4的编码方类似，利用淡化处理根据局部亮度、轮廓位置和振幅来恢复边缘图象。类似于局部亮度信息，边缘信息可以用简单的坐标变换和按照所需的分辨率来进行译码。此外，结构信息分量S7输入给结构信息译码单元13，它与结构信息编码单元6相对应地译码这一分量并将其作为译码结构信息S12输出。边缘图象S11和译码结构信息S12在加法处理单元14中相加，这就获得了再现图象S13。
以上关于亮度信号来描述了利用3CC对视频信号的编码和译码，除了以下一点外，色度信号的处理类似于亮度信号的处理。更准确地说，如图9所示，利用3CC的色度视频信号编码设备20由亮度3CC编码设备1和色度3CC编码设备21组成。因为亮度信号S1和色度信号S20之间的强相关性，所以可以假定它们的边缘位置信息是相似的。
因此对于色度信号S20不需要传送专门的链式编码信息。但是，必须计算每一链中的色度信号的振幅并将其传送给视频信号译码设备。此外，在色度信号具有较低分辨率的彩色图象格式的场合中，进行坐标变换以便按色度信号S20的分辨率来译码亮度信号的边缘信息S21。
图21和22通过用典型的图象作为例子说明上述利用3CC的视频信号编码设备的处理。图21分别表示了原始视频信号S1(图21(A))、再现局部亮度分量S2(图21(B))、边缘信息(图21(C))、经过后处理之后的边缘信息S4(图21(D))、再现边缘图象S5(图21(E))和结构分量S7(图21(F))。这些图象中的白色表示高能量部分而黑色表示低能量部分。
此外，图22表示了结构分量，图中将利用3CC的编码结果与用JPEG算法编码整个图象的编码结果进行比较。模拟是用等于12∶1的相同压缩率对同一图象进行的。图22分别表示了利用3CC的译码图象(图22(A))、利用JPEG的译码图象(图22(B))、利用3CC的译码图象的肩膀区域被放大的图象(图22(C))、利用JPEG的译码图象的肩膀区域被放大的图象(图22(D))、利用3CC的译码图象的误差图象(图22(E))、以及利用JPEG的译码图象的误差图象(图22(F))。这些图象中的白色表示高能量部分而黑色表示低能量部分。
如测试图象中肩部的放大区域所示，3CC的图象质量在轮廓区域附近较好。通过观察两种技术中再现误差的能量得知再现误差集中在轮廓区域的顶部，并且是难以被察觉。在JPEG算法的场合中扩散区域较大，在运动视频图象的情况下将导致令人厌烦的副产品。
根据上述结构，视频信号被分解成为由平滑分量组成的局部亮度信息、由轮廓分量组成的边缘信息、以及由除平滑分量和轮廓分量之外的分量组成的结构信息。然后，局部亮度信息被以将该信息全部进行存储的编码方法进行编码；边缘信息被以具有链信息和恒定振幅信息的编码方法进行编码；结构信息被以与局部亮度信息和边缘信息相比具有较大压缩率的编码方法进行编码。因此能够以比以前高的压缩率改善来恢复图象的视觉质量。(3)边缘检测处理现在描述在边缘检测和编码处理单元3中对视频信号进行边缘检测的处理方法以及利用该边缘信息的图象再现方法。视频信号的信号中断等代表了自然和合成信号非常重要的特征，由它们所携带的信息的重要部分存在于它们的奇点之中。为了根据它们的奇点表示信号，已经进行了若干研究。
具体地说，零交叉或最大值的信号表示、例如边缘检测已经被详细地研究过了(R.Hummel和R.Moniot，Reconstructionsfrom zero crossings in scale space，IEEE Trans.on ASSP，37(12)2111-2130，1989.S.G.Mallat，zero-crossing of wavelettransform，IEEE Trans.on Information theory，37(4)1019-1033，1991.S.G.Mallat和S.Zhong，Characterization ofsignals from multiscale edges，IEEE Trans.on PAMI，14(7)710-732，1992.S.G.Mallat和S.Zhong，Singularity detectionand processing with wavelet，IEEE Trans.on Informationtheory，38(2)617-643，1992)。
在图象的情况下，人类视觉系统的研究表明代表奇点的边缘信息是特征提取和图象理解方面非常重要的组成部分。(D.Marr，Vision，W.H.Freeman and Company，New York，1983.M.Kunt，A.Ikonomopoulos及M.Kocher，Secondgeneration image coding techniques，Proceedings of IEEE，73(4)549-575，4月，1985.M.Kunt，M.Bernark及R.Leonardi，Resent resulte in high compression image coding，IEEE Trans.on Circuits and Systems，34(11)1306-1336，11月，1987)。此外，根据其奇点再现信号在若干应用(例如编码、计算机视觉、信号分析等)方面非常有用。
图10表示通过将信号分解为其奇点、只利用这些奇点来获得对同一信号的良好逼近的奇点检测处理和再现处理。图中第一个方框的目的是提取奇点。一般来说，将一次和二次微分量用于该边缘检测设备。已经探讨过边缘检测的问题并已提出了若干种边缘检测设备(J.F.Canny，A Computational approach to edgedetection，IEEE，Trans.on PAMI，8(6)679-698，11月，1986。D.Marr和E.C.Hildreth，Theory of edge detection，InProc.Roy.Soc.London B，207卷，187-217页，1980)。
Canny和Marr-Hildreth的边缘检测设备是分别利用了一次和二次微分的最流行的检测设备之一。大多数其它边缘检测设备都是这两种技术的派生。但是，上述技术只被用在与特征提供有关的条件下来最佳化检测问题，而没有考虑到从奇点再现信号的问题。
例如，假设如图11(A)、(B)、(C)、(D)和(E)所示的各种类型边缘。图11中的图形被假定为陡边缘(图11(A))、平滑边缘(图11(B))、非常平滑边缘(图11(C))、强对比(图11(D))、和弱对比(图11(E))。普通的边缘检测方法发现所有这些边缘的位置都是相同的。因此，简单的位置信息不足以表征中断。本实施例表示了更加适合于信号再现的新的边缘检测方法。
图10的第二方框表示利用奇点的再现处理单元。关于这一再现已提出了几种方案，每种方案依赖于用于奇点检测的方法(S.G.Mallat和S.Zhong，Characterization of signals frommultiscale edges，IEEE Trans.on PAMI，14(7)710-732，1992。S.G.Mallat和S.Zhong，Singularity detection and processingwith wavelets，IEEE Trans.on Information Theory，38(2)617-643，1992.S.Carlsson，Sketch based coding of qray levelimages，Signal Processing，15(1)57-83，1988)。本实施例采用S.Carlsson，在论文“Sketch based coding of qray level images”(Signal Processing，15(1)57-83，1988)中提出的技术来从其奇点再现该信号，该技术采用了淡化处理。与其它方法相比，该方法在计算复杂性方面非常有效。
现在对新的边缘检测方法的主要部分进行描述。为使描述简单，将描述限于一维信号(1-D信号)。但是，可以将相同的推论推广到n＞1的n维信号(n-D信号)的场合。在下面的段落中，为了更清楚，将给出二维信号(2-D信号)的例子。为了更好地理解该边缘检测方法，在图12(A)、(B)、(C)和(D)中给出在每一级后被应用于包括噪声的阶梯边缘的各步骤的结果。图12表示了原始信号(图12(A))、一次微分的绝对值信号(图12(B))、二次微分的信号(图12(C))以及表示该实施例的主点(dominant point)的信号(图12(D))。
如上所述，该技术的主要目的是检测信号中的额外点(在本实施例中称为主点)，以便从信号再现的观点来看尽可能准确地表征其奇异性。在基于一次微分的技术的情形中，边缘点相当于如图12(B)所示的一次微分的局部最大值，而在二次微分技术的情形中，边缘点如图12(C)所示地位于二次微分的零交叉点处。
虽然这些方法能够正确地找出中断的位置，但它们不能完整地描述该中断的例如陡度这样的性质。为此，图12(D)所示的其它点(即主点)将更加合适，为了确定中断附近信号的概要内容，可以利用本实施例提议的主点(例如，利用简单的线性内推)，而这在采用一次微分和二次微分的普通边缘检测设备检测的奇点的场合中是不可能的。
图13表示本实施例的奇点检测设备30的结构，它包括噪声减少处理单元31、一次微分运算单元32、阈值产生处理单元33、自适应阈值处理单元34、变化检测处理单元35、以及冗余点消除和替代处理单元36。图14(A)、(B)、(C)、(D)、(E)和(F)表示将这一奇点检测技术应用于由包括噪声的阶梯边缘组成的原始信号的情形。图14中分别表示了原始信号中包括噪声的阶梯边缘(图l4(A))、利用高斯形的低通滤波器平滑的信号(图14(B))、梯度函数和自适应阈值(图14(C))、作为奇点的候选点(图14(D))、用本实施例的算法获得的主点(图14(E))、以及在利用主点重复了100次淡化处理后的再现结果(图14(F))。实际上，噪声减少处理单元31根据一次导数改善了检测的质量。为了减小噪声对在一次导数处理单元32中的一次导数处理的影响，在此使用了高斯形的低通滤波器。
低通滤波器的强度依赖于原始数据中噪声量。在这一级还可以使用其它噪声减少执行机构，如中间(median)或结构(morphological)滤波器。图14(B)表示在这一级对于图14(A)所示包括噪声的原始信号的阶梯边缘滤波的结果。在这一例子中，将影响函数(Kemel)(0.25 0.5 0.25)用作低通滤波器。
然后，使一次导数处理单元32应用到在第一级中的噪声减少处理单元31的结果上。在这一级中可以使用逼近一次导数的全部影响函数。在将要描述的步骤中，使用了对称影响函数(-10+1)以便防止中断的位置检测的偏移。这两个第一级的结果等价于梯度检测。
为了从噪声正确地提取主点，由阈值产生处理单元33提供一阈值。该阈值依赖于在梯度中的噪声大小以及该梯度的局部振幅。采用自适应定阈值的方法来正确地根据信号的局部状态选择阈值。此外，如上所述，该阈值依赖于自适应阈值处理单元34中的两个参数信号中的噪声和梯度的局部振幅。
实际上在每一点用以下公式来确定阈值θ(K)＝max(α(K)，ε)(1)此处的操作符max(，)是由以下公式定义的最大操作符 顺便说到，在公式(1)中，α(K)是对信号梯度的绝对值进行平均滤波操作的结果，其影响函数由(a-w,a-w+1…a0…aw-1,aw)给出。ε是依赖于数据中的噪声大小的最小阈值。图14(c)表示梯度以及公式(1)的自适应阈值。在这一模拟中的W的值选为等于8，影响函数内的所有系数值选为1/(2W＋1)，ε的值等于10。
当用图15(A)、(B)、(C)和(D)表征剧烈和局部转换时，以下描述就指出了自适应定阈值的重要性。图15分别表示了原始信号(图15(A))、梯度和自适应阈值(图15(B))、变化点(图15(C))以及在消除和替代了冗余点后的主点(图15(D))。如果选择恒定阈值，则在高阈值的情况下(例如在图15(B)中将阈值固定为40)，将检测不到表征信号的某些重要点(即转换的最大点因为其值小于40而不被检测)，而在阈值太小的情况下(例如在图15(B)中将阈值固定为10)，则因为剧烈转换部分的所有点都超过设定值，所以特征点的位置不再准确。
在本实施例的主点检测中，所有梯度值大于阈值的取样值都被认为是表征中断的候选点。虽然这些点能够表征数据中的中断，但在它们中间仍然存在某些冗余。后随的处理的目的就是提取作为主点被认为能够以足够好的近似来表征中断的取样值。然后除去所有其它的候选点。这一级可被划分为变化检测处理单元35以及冗佘点消除和替代处理单元36。顺便说到，图17(A)、(B)、(C)和(D)表示应用于包括噪声的阶梯边缘的奇点检测操作它们的每一个表示了原始信号(图17(A))、候选点(图17(B))、变化检测的结果(图17(C))以及消除和替代冗余点的结果(图17(D))。
首先，在变化检测处理单元35中，如果一候选点附近的点是其它候选点，则因为可以断定该候选点不是一变化点，所以可消除该候选点。在这种状态中，剧烈的中断被检测为两个相继的阶梯边缘。图17(C)表示这种结果的一个例子。接着，在冗佘点消除和替代处理单元36中，利用以下简单步骤就能够在上述情况下在减少它们的数目的同时改善主点检测的质量。
利用一个尺寸为D的滑动窗口对在变化检测之后获得的候选点进行检查。如果在该窗口内有至少两个候选点，就比较在原始信号中的这两个候选点的各自的振幅。如果它们的差值不超过某一阈值T，就消除这两个候选点，在这两个候选点之间的中部产生一新的候选点。主点检测的结果如图17(D)所示。这一例子中的阈值选为T＝10，滑动窗口的尺寸是D＝4。
图16用取样电平表示上述处理的一个例子。如果原始信号是图16(A)所示的信号，则自适应阈值处理单元34就提取图16(B)上部所示的取样值作为候选点。然后变化检测处理单元35通过替代从检测的变化点中消除冗佘点，并将图16(D)上部所示的取样值检测为主点。相应于这些主点位置的原始信号的取样值被看作的奇点，这些奇点的位置信息及它们的振幅的图4所示的轮廓编码单元3D中被进行链式编码。
以下对提议的边缘检测设备和普通边缘检测设备的性能进行比较。图18(A)、(B)、(C)和(D)表示利用被应用于包括噪声的阶梯边缘的Canny形的奇点检测的奇点的信号再现作为比较各图表示包括噪声的阶梯边缘(图18(A))、采用高斯形的低通滤波器的平滑信号(图18(B))、一次导数的绝对值和作为其最小值的边缘位置(图18(C))、以及利用该边缘位置重复了100次淡化处理后的再现结果(图18(D))。图18(D)的这一模拟结果和图14(D)结果之间的比较表明图14(D)的形状更加接近原始信号，因此当目的是从中断再现信号时，这一边缘检测设备明显地优于普通设备。
图19表示上述奇点检测和再现扩展到2-D信号的2-D边缘检测设备40。更准确地说，通过沿两坐标轴进行两个1-D奇点检测处理构成了这一2-D边缘检测设备40。这一2-D边缘检测设备40的每一子方框代表与上述图13所示的奇点检测设备相同的结构。两个奇点检测设备41和42沿水平和垂直方向独立地应用于2-D信号。每一分支的输出是等于奇点处的1的二进制信号。可以利用“或”电路43从两个分支的“或”的和中得到最后的结果。
图23表示用于这一模拟的测试图象以及以上所述的新技术的2-D方案的结果。再现图象是用淡化处理来获得的。所有参数的值与图14模拟中的参数值相同。为了比较，也进行相同的模拟，两次都是使用Canny边缘检测设备(相同的参数值)。再现信号的结果如图24所示。由该图可见，从信号再现的观点来看，这一边缘检测技术显示了优于Canny边缘检测设备的性能。
图23表示了对于灰度图象用奇点检测设备从奇点获得的图象再现结果各幅图表示原始图象(图23(A))、用新的边缘检测设备获得的奇点(图23(B))、以及重复淡化处理30次之后从原始图象中的奇点及它们各自的振幅得到的再现数据(图23(C))。
图24表示了对于灰度图象用Canny边缘检测设备从奇点获得的图象再现结果各幅图表示原始图象(图24(A))、用Canny的边缘检测设备获得的奇点(图24(B))、以及重复淡化处理30次之后从原始图象中的奇点及它们各自的振幅得到的再现数据。
如上所述，根据本发明，视频信号被分解成为由平滑分量组成的局部亮度信息，由轮廓分量组成的边缘信息，以及由除平滑分量和轮廓分量之外的分量组成的结构信息。然后，局部亮度信息的编码过程利用存储上述信息的编码方法来实现，边缘信息的编码过程利用基于链式信息和恒定振幅信息的编码方法来实现，以及结构信息的编码过程利用具有比局部亮度信息和边缘信息更高的压缩率的编码方法来实现，然后进行译码。因此就能够实现以比以往更高的压缩率进行编码的、并考虑了恢复图象的可视图象质量的编码视频信号的方法以及编码视频信号的设备。
此外，通过再现已编码的局部亮度信息来产生再现局部亮度，通过译码已编码的边缘信息以便根据再现局部亮度来产生边缘图象，译码已编码的结构信息，使边缘图象与译码的结构信息相加来产生再现图象，在再现局部亮度的基础上来产生边缘图象，将再现边缘信息与译码的结构信息相加来再现原始图象，因此，能够实现可保证考虑恢复图象的可视图象质量的对编码数据进行可靠地译码的图象信号译码设备。工业实用性本发明的视频信号编码方法及设备和视频信号译码方法及设备可以应用于需要利用相对较低的位速率进行传输的电视电话系统以及电视会议系统等。
权利要求
1.一种用于编码至少包括亮度分量的输入视频信号的视频信号编码方法，在该方法中，用第一编码方法编码由输入视频信号的平滑分量组成的局部亮度分量，从而产生第一编码信号；用链式编码方式的第二编码方法编码由所述输入视频信号的轮廓分量组成的亮度边缘分量，从而产生第二编码信号；用第三编码方法编码由除所述输入视频信号的所述局部亮度分量和所述亮度边缘分量之外的分量组成的结构分量，从而产生第三编码信号。
2.权利要求1的视频信号编码方法，其特征在于，在该方法中，从所述输入视频信号和根据译码所述局部亮度分量和所述第二编码信号得到的信号产生的局部译码图象之间的差值来求得所述结构分量。
3.权利要求1的视频信号编码方法，其特征在于，在该方法中，所述第一编码方法包括以下步骤通过低通滤波器来平滑所述输入视频信号；下取样所述平滑的信号；量化所述下取样的信号；以及对所述量化的信号进行PCM编码。
4.权利要求1的视频信号编码方法，其特征在于，在该方法中，所述输入视频信号包括色差分量，所述色差分量根据所述亮度边缘分量的边缘信息来进行编码。
5.权利要求1的视频信号编码方法，其特征在于，在该方法中，在一个所述第二编码信号链中的振幅信息用单个振幅来表示。
6.权利要求1的视频信号编码方法，其特征在于，在该方法中，所述第三编码方法的压缩率高于所述第一编码方法的压缩率。
7.权利要求1的视频信号编码方法，其特征在于，在该方法中，所述第二编码方法包括以下步骤微分所述输入视频信号；将微分的结果与一个被自适应地控制的阈值进行比较，以便从所述微分结果中提取大于所述阈值的分量；检测所述提取分量中的变化点；根据所述变化点确定奇点；以及对所述奇点进行所述链式编码。
8.权利要求7的视频信号编码方法，其特征在于，其中所述确定奇点的步骤包括用新的点替代所述变化点中的冗余点的步骤。
9.一种用于编码至少包括亮度分量的输入视频信号的视频信号编码设备，其特征在于，包括用第一编码方法来编码由输入视频信号的平滑分量组成的局部亮度分量以便产生第一编码信号的第一编码装置；用第二编码方法来编码由所述输入视频信号的轮廓分量组成的亮度边缘分量以便产生第二编码信号的第二编码装置；以及用第三编码方法来编码由除所述输入视频信号的所述局部亮度分量和所述亮度边缘分量外的分量组成的结构分量以便产生第三编码信号的第三编码装置。
10.权利要求9的视频信号编码设备，其特征在于，在该设备中，从所述输入视频信号和根据译码所述局部亮度分量和所述第二编码信号得到的信号而产生的局部译码图象之间的差值来求得所述结构分量。
11.权利要求9的视频信号编码设备，其特征在于，在该设备中，所述第一编码装置包括平滑所述输入视频信号的低通滤波器；下取样所述平滑的信号的装置；量化所述下取样的信号的装置；以及对所述量化的信号进行PCM编码的装置。
12.权利要求9的视频信号编码设备，其特征在于，在该设备中，所述输入视频信号包括色差分量，所述设备还包括根据所述亮度边缘分量的边缘信息来编码所述色差分量的装置。
13.权利要求9的视频信号编码设备，其特征在于，在该设备中，在一个所述第二编码信号链中的振幅信息用单个振幅来表示。
14.权利要求9的视频信号编码设备，其特征在于，在该设备中，所述第三编码方法的压缩率高于所述第一编码方法的压缩率。
15.权利要求9的视频信号编码设备，其特征在于，在该设备中，所述第二编码装置包括；微分所述输入视频信号的装置；将微分的结果与一个被自适应地控制的阈值进行比较以便从所述微分结果中提取大于所述阈值的分量的装置；检测所述提取分量中的变化点的装置；根据所述变化点确定奇点的装置；以及对所述奇点进行所述链式编码的装置。
16.权利要求15的视频信号编码设备，其特征在于，其中所述确定奇点的装置用新的点替代所述变化点中的冗佘点。
17.一种利用通过编码由至少包括亮度分量的输入视频信号的平滑分量组成的局部亮度分量而产生的第一编码信号、利用通过编码由所述输入视频信号的轮廓分量组成的亮度边缘分量而产生的第二编码信号，以及利用通过编码由除所述输入视频信号的所述局部亮度分量和所述亮度边缘分量之外的分量组成的结构分量而产生的第三编码信号来再现视频信号的视频信号译码方法，在该译码方法中，译码所述第一编码信号来产生再现局部亮度；译码所述第二编码信号来产生再现边缘；根据所述再现局部亮度分量和所述再现边缘分量来再现边缘图象；译码所述第三编码信号来产生再现结构；求和所述边缘图象和所述再现结构来再现原始视频信号。
18.权利要求17的视频信号译码方法，其特征在于，在该方法中，译码所述第一编码信号的步骤包括以下步骤对所述第一编码信号进行PCM译码；上取样所述PCM译码信号；以及使用低通滤波器滤波所述上取样信号。
19.一种视频信号译码设备，利用通过编码由至少包括亮度分量的输入视频信号的平滑分量组成的局部亮度分量而产生的第一编码信号、通过编码由所述输入视频信号的轮廓分量组成的亮度边缘分量而产生的第二编码信号、以及通过编码由除所述输入视频信号的所述局部亮度分量和所述亮度边缘分量外的分量组成的结构分量产生的第三编码信号来再现视频信号，包括译码所述第一编码信号来产生再现局部亮度的第一译码装置；译码所述第二编码信号来产生再现边缘的第二译码装置；根据所述再现局部亮度分量和所述再现边缘分量来再现边缘图象的装置；译码所述第三编码信号来产生再现结构的第三译码装置；以及求和所述边缘图象和所述再现结构来再现原始视频信号的求和装置。
20.权利要求19的视频信号译码设备，其特征在于，在该译码设备中，所述第一译码装置包括对所述第一编码信号进行PCM译码的装置；上取样所述PCM译码信号的装置；以及通过使用低通滤波器来滤波所述上取样信号的装置。
21.一种用于传输编码视频信号的视频信号传输方法，在该方法中，使用第一编码方法来编码由至少包括亮度分量的输入视频信号的平滑分量组成的局部亮度分量以便产生待传输的第一编码信号；使用链式编码的第二编码方法来编码由所述输入视频信号的轮廓分量组成的亮度边缘分量，以便产生待传输的第二编码信号；使用第三编码方法来编码由除所述输入视频信号的所述局部亮度分量和所述亮度边缘分量之外的分量组成的结构分量，以便产生第三编码信号。
22.权利要求21的视频信号传输方法，其特征在于，在该方法中，用单个振幅来表示在一个所述第二编码信号链中的振幅信息。
23.权利要求21的视频信号传输方法，其特征在于，在该方法中，一个所述第二编码信号链还包括链长、该链的顶部象素的坐标信息，以及链象素的相对位置信息。
24.一种用于检测输入视频信号的边缘的边缘检测方法，包括以下步骤微分所述输入视频信号；将微分的结果与一个被自适应地控制的阈值进行比较以便从微分结果中提取大于所述阈值的分量；检测所述提取分量中的变化点；以及根据所述变化点确定奇点。
25.权利要求24的边缘检测方法，其特征在于，其中所述确定奇点的步骤包括用新的点替代所述变化点中的冗余点的步骤。
26.一种用于检测输入视频信号的边缘的边缘检测设备，包括微分所述输入视频信号的微分装置；将微分的结果与一个被自适应地控制的阈值进行比较以便从微分结果中提取大于所述阈值的分量的装置；检测所述提取分量中的变化点的装置；以及根据所述变化点确定奇点的装置。
27.权利要求26的边缘检测设备，其特征在于，其中所述确定奇点的装置用新的点替代所述变化点中的冗余点。
全文摘要
本发明的视频信号编码方法及设备和视频信号译码设备以比以往高的压缩率改善了译码图象的可视图像质量。视频信号(S1)被分解为由平滑分量组成的局部亮度分量、由轮廓分量组成的边缘信息以及由除平滑分量和轮廓分量外的、相应于每一不同的视觉重要性的分量组成的结构信息。然后，用存储全部局部亮度信息的编码方法编码局部亮度信息(S2)，用链式编码的编码方法编码边缘信息(S4)，用与局部亮度信息(S2)和边缘信息(S4)相比具有较高压缩率的编码方法编码结构信息。因此能以比以往高的压缩率并考虑恢复图象的可视图象质量来进行编码。
文档编号G06T9/20GK1127562SQ9519033
公开日1996年7月24日 申请日期1995年4月20日 优先权日1994年4月22日
发明者T·埃巴阿伊米 申请人:索尼公司