专利名称：增强图像清晰度的方法和设备的制作方法
技术领域：
本发明涉及到改进视频信号中所包含图像清晰度的方法和设备。
关于图像处理很重要的一个方面是增强清晰度。在这方面进行了很多努力来提高视频信号(如电视信号)的质量。由于包含动态的视频信号和不包含动态的视频信号增强清晰度的方法是不同的，因此需要开发出在这些信号中适应动态状态变化的方法。例如，在EP 0 164 203 A2中公开了垂直清晰度增强方法，它考虑了在视频信号中的动态。当图像中没有产生动态时，将垂直清晰度加入到表征亮度的信号中，并且从中提取用来分别形成第一个和第二个增强亮度信号的增强信号。
为了实现这个目的，本发明提供了改进图像清晰度的方法、设备，和采用上述方法的计算机程序产品。
根据本发明，改进视频信号中所包含的图像的清晰度的方法，包括以下步骤a)在阶梯/边缘增强方法的基础上处理上述图像，以获得增强的阶梯/边缘图像；b)在结构增强方法的基础上处理上述图像以获得结构增强的图像；c)将上述阶梯/边缘增强的图像和上述结构增强的图像进行组合以便获得视频信号，它包含清晰度增强的图像；其中步骤a)和b)要根据与上述图像相关的动态信息来进行。
换句话说，将一组要处理的图像(它们包含在视频信号中)复制成两组相同的图像，其中根据阶梯/边缘增强方法将其中一组复制的图像进行处理，根据结构增强方法将另一组图像进行处理。最好这两种处理程序同时进行。阶梯/边缘增强方法最好包含客厅于增强图像特殊部分或者图像属性的非线性计算。阶梯/边缘方法例如最适合于增强房屋顶和蓝天之间的过渡。使用“标准的”清晰度增强方法不足以增强这种过渡。使用阶梯/边缘增强方法适合处理的图像中其它部分的例子是窗户的边缘，眼睛，在标准图像上图形的人工图层(例如文字等)。通常，这种方法试图避免在标准高频放大中边缘所产生的“曝光过度”现象。基本的原理是假定有一个“曝光过度”并且使用非线性操作例如限幅器等将其进行适当的切割。
相应地，结构增强方法最好执行适用于增强图像整体清晰度的高通滤波计算和/或二阶导数计算。可能的实现方式是采用矩阵核执行一维或者二维滤波计算的滤波器，在行和列上进行一维或者二维的可分开的滤波器计算，或者是在对角线上进行一维或者二维可分的滤波器计算。采用结构增强方法适合进行处理的图像结构或者图像部分的实例是青草、水、树木和头发。阶梯/边缘增强方法和结构增强方法的主要区别是，由于所述区域的不规则结构，结构增强方法所要处理的图像区域中很明显的消失了曝光过度，因而结构增强方法对曝光过度不进行切割。在优选实施例中，阶梯/边缘增强方法和结构增强方法是相同的，除了为了避免在阶梯/边缘增强过程中加入曝光过度的非线性操作之外。
两组处理后的图像最好按照下面的方式进行组合，一组图像中的每个图像和另一组中其相应的图像进行组合。重新生成的一组图像是一组视频信号，它包含清晰度增强的图像。
上述两种不同方法的组合获得很好的清晰度效果。由于这种创造性的方法考虑到上述图像中出现的动态，因此对于有动态的图像和没有动态的图像都能取得很好的清晰度效果。两种不同方法和动态检测的组合提供了有效灵活的增强图像清晰度的方法。
在优选实施例中，两组复制的图像中每一个图像都在执行相应的增强方法前进行复制。结果，每种增强方法要处理两组图像。
根据本发明的阶梯/边缘增强方法最好执行下列操作在第一个方法中(第一组图像)，仅仅使用当前处理图像的信息来增强该图像，这样获得第一组阶梯/边缘增强的图像。在第二种方法(第二组图像中)，使用当前处理图像的信息和以前处理或以后要处理图像的信息来增强上述图像，从而获得了第二组阶梯/边缘得到增强的图像。根据动态信息将第一组阶梯/边缘增强的图像中的每一个和第二组阶梯/边缘增强的图像中相应的图像进行组合。这样就得到了上述步骤a)中最终的阶梯/边缘增强的图像。
此外，根据本发明结构增强方法最好执行下列操作，在第一个方法(第三组图像)中，仅仅使用当前处理图像的信息来增强该图像，这样获得第一组结构增强的图像。在第二种方法(第四组图像中)，使用当前处理图像的信息和以前处理或以后要处理图像的信息来增强上述图像，从而获得了第二组结构增强的图像。根据动态信息将第一组结构增强的图像中的每一个和第二组结构增强的图像中相应的图像进行组合。这样就得到了上述步骤b)中最终的结构增强的图像。
如果动态效果显著，应该加强第一种处理方式(又称为区域增强)，而在动态效果不明显时应该强调第二种处理方式(又称为帧增强)。当将第一组和第二组图像进行组合时通过确定组合比例来实现加强措施。
组合比例最好是可动态调整的，并且要根据动态信息来确定，这些动态信息通过动态检测处理直接从上述图像中计算得到或者由事先确定的作为视频信号一部分的动态信号来提供。
最好根据通过阶梯/边缘检测处理从上述图像中直接计算的阶梯/边缘信息以及以视频信号所包含的特殊阶梯/边缘信息的形式提供的阶梯/边缘信息来执行步骤c)。换句话说，阶梯/边缘增强的图像和结构增强的图像的组合比例可以根据上述的阶梯/边缘信息进行动态的调整。
为了进一步改善图像清晰度，在步骤c)中获得的每个清晰度增强的图像可以根据与原始图像相关的特征信息与其相应的未处理的原始图像进一步组合。该特征信息可以通过特征检测处理直接从图像中获得或者以视频信号中包含的特殊特征信息的形式提供。通过合理地设定组合比例，如果不需要进行清晰度的增强可以切断增强方法，这样可以节省计算功率，还可以在某些情况下改善清晰度质量。
根据计算资源，动态/阶梯/边缘/特征信息可以分别以图片的方式来提供。增强方法和/或滤波处理采用这些图片以执行它们的任务。这些图片最好用作查询表，它包含区域(至象素级)与相应数值的关系。如果当前的计算资源很低，可以进行微粒度(fine granularity)操作(仅仅在局部使用这些信息，仅仅处理图像的某些部分)。特征信息的实例是图像噪声。特征信息主要指噪声，但是它也可以采用其它的方式来避免处理菜单区域或者其它人工产生的曲线等区域，这有时留着不处理较好。
在优选实施例中，采用结构和阶梯/边缘增强方法进行处理的增强数量是外部控制的。例如，如果用户希望增加/降低图像清晰度，他可以使用外部控制设备向对应的增强设备发送相应的信号。
根据本发明增强视频信号中包含的图像的清晰度的设备包括输入上述图像的输入设备；阶梯/边缘增强设备，它与上述输入设备相连，增强上述输入图像以获得阶梯/边缘增强的图像；结构增强设备，它与上述的输入设备相连用于增强上述输入的图像以获得结构增强的图像；第一个组合设备，它与上述阶梯/边缘增强设备和上述结构增强设备相连用来将上述阶梯/边缘增强的图像和结构增强的图像进行组合以获得包含清晰度得到改善的图像的视频信号，其中上述阶梯/边缘增强设备和结构增强设备根据与上述图像相关的动态信息可进行操作。
在优选实施例中，阶梯/边缘增强设备以两种不同的方式来增强每个图像在第一种方式中，只使用当前处理图像的信息来增强上述图像，因而获得第一组阶梯/边缘增强的图像。在第二种方式中，使用当前处理的图像以及以前或者以后要处理的图像的信息来增强上述图像，因而获得第二组阶梯/边缘增强的图像。在这个实施例中，该设备还包含与上述阶梯/边缘增强设备相连的第二个组合设备，用来根据动态信息将第一组阶梯/边缘增强的图像中每一个和上述第二组阶梯/边缘增强的图像中相应的图像进行组合。组合程序的结果是获得了上述步骤a)中所述的阶梯/边缘增强的图像。
相应的，在上述实施例中，结构增强设备以两种不同的方式来增强每个图像在第一种方式中，只使用当前处理图像的信息来增强上述图像，因而获得第一组结构增强的图像。在第二种方式中，使用当前处理的图像以及以前或者以后要处理的图像的信息来增强上述图像，因而获得第二组结构增强的图像。在这个实施例中，该设备还包含与上述结构增强设备相连的第三个组合设备，用来根据上述动态信息将第一组结构增强的图像中每一个和上述第二组结构增强的图像中相应的图像进行组合。组合程序的结果是获得了上述步骤b)中所述的结构增强的图像。
该设备最好包含与输入设备和第二个及第三个组合设备相连的动态检测设备，用来从上述输入的图像中直接计算动态信息和/或提取上述动态信息作为视频信号中包含的特殊的动态信息。第二个和第三个组合设备根据动态检测设备的输出是来控制。
该设备还包括与上述输入设备和第一个组合设备相连的阶梯/边缘检测设备，用来直接从所输入的图像中计算阶梯/边缘信息和/或提取上述阶梯/边缘信息作为视频信号中包含的特殊的阶梯/边缘信息。第一个组合设备是根据上述阶梯/边缘检测设备的输出来控制的。
该设备还包括与输入设备和第四个组合设备相连的特征检测设备。第四个组合设备根据特征检测设备检测到的并且与原始图像相关的特征信息将每个清晰度增强的图像和其对应的未处理的原始图像进行组合。特征检测设备从上述输入的图像中直接计算特征信息和/或提取视频信号中包含的特殊的特征信息。
该设备还包含外部控制的设备，它可以从外部控制上述结构和阶梯/边缘增强方法所采用的增强量。
该设备还包含存储设备，用来存储上述阶梯/边缘/动态/特征检测设备产生的阶梯/边缘/动态/特征信息。
最后，本发明提供了计算机程序产品，它包含计算机程序，当在计算机、数字信号处理设备等上执行时它用来执行这种创造性的方法或者其中任何的步骤。
图1描述了根据本发明仪器的优选实施例；图2是第一个实施例的示意图，描述了结构增强方法的执行过程；图3是第二个实施例的示意图，描述了结构增强方法的执行过程；图4是第三个实施例的示意图，描述了结构增强方法的工作过程。
在下面的描述中，参照图1，将描述根据本发明的仪器的第一个优选实施例。
仪器1包含阶梯/边缘增强设备2，结构增强设备3，动态检测设备4，阶梯/边缘检测设备5，特征检测设备6，输入缓冲器7，外部控制设备8，第一个组合设备9，第二个组合设备10，第三个组合设备11，第四个组合设备12和输出缓冲器13。阶梯/边缘增强设备2包含第一个阶梯/边缘增强设备21和第二个阶梯/边缘增强设备22。结构增强设备3包括第一个结构增强设备31和第二个结构增强设备32。
在下面的描述中，将描述仪器1是如何执行图像清晰度的增强操作的。
首先，向输入缓冲器7输入包含多组图像的视频信号并在那里按照事先确定的时间进行存储。然后，这些图像输出给第一个和第二个阶梯/边缘增强单元21和22，第一个和第二个结构增强单元31和32，动态检测设备4，阶梯/边缘检测设备5，特征检测设备6，第四个组合设备12。动态检测设备4处理这些图像用来检测是否存在动态。如果存在动态，动态检测设备4向第二个组合单元10和第三个组合单元11各发送一个输出信号来表示所检测的动态的数量。可以分别向第二个组合单元10和第三个组合单元11发送一个表征动态的单一数值或者一幅完整的动态图片。这些图像被第一个阶梯/边缘增强单元21，22和第一个及第二个结构增强单元31，32处理。
第一个阶梯/边缘增强单元21和第一个结构增强单元31使用至少两个连续的图像(分别构成一个帧的两个连续的视频区域)来完成它们的增强任务。因此，如果没有动态出现这些单元产生很好的清晰度。第二个阶梯/边缘增强单元22和第二个结构增强单元32只使用一个视频区域来完成相应的增强任务。如果出现动态这些单元产生良好的清晰度效果。第一个阶梯/边缘增强单元21输出第一组阶梯/边缘增强的图像，第二个阶梯/边缘增强单元22输出第二组阶梯/边缘增强的图像。这些组图像经过第二个组合设备10的重新组合以获得一组阶梯/边缘增强的图像。
相应地，第一个结构增强单元31输出第一组结构增强的图像，第二个结构增强单元32输出第二组结构增强的图像。这些组图像经过第三个组合设备11的重新组合来获得一组结构增强的图像。这组阶梯/边缘增强的图像和结构增强的图像经过第一个组合单元9的重新组合以获得包含清晰度得到增强的图像的视频信号。第一个组合设备9的组合程序根据阶梯/边缘检测设备5的输出来进行，它可以是一个数值或者是一个包含阶梯/边缘数据的完整图像。
在第四个组合设备12中，一组原始的图像和第一个组合设备9输出的清晰度得到改善的一组图像进行组合，以获得最终清晰度得到改善的视频信号，最终的视频信号输出到输出缓冲器13中用于进一步的处理。
第四个组合设备12根据特征检测设备6的输出信号来工作，该信号是表征相应图像中噪音的信号。如果图像检测设备6检测到图像中不存在噪音，就不需要增强图像的清晰度。在这种情况下，特征检测单元6的输出信号按照以下方式来设定以便第四个组合设备12阻断了第一个组合设备9的输出，导致第四个组合设备12的输出和输入缓冲器7输出的图像是相同的。这一特征确保了仪器的高灵活性(当不需要进行清晰度增强时自动断电功能)。
上述仪器1的优点是在最低限度的努力下可以取得最佳的清晰度效果。除此而外，可以获得高灵活性和可量测性。此外，该仪器在软件、硬件或者两者结合方面很容易实现。
下面将参照图2至图4描述操作结构增强设备3的三种可行方法。在所有的图中，实线201到20n，211到21n表示象素边界，而虚线箭头221到22n，231到23n，241到24n和251到25n表示各个滤波装置的工作方向。
从图2中可以看出，滤波装置的工作方向要么和象素区域30的水平轴(参考数字221，222表示工作方向)平行，要么和象素区域纵轴(参考数字231和232表示工作方向)平行。
与之相比，图3中的工作方向分别与象素区域30的纵轴相比转动了45o(参考数字241到245表示工作方向)和45o(参考数字251到255表示工作方向)。
从图4中可以看出，滤波矩阵40的工作方向要么和象素区域30水平轴要么和象素区域纵轴(参考数字222到233表示工作方向)平行。这是实现普通二维滤波器的标准方法，它采用矩阵核并用矩阵图来包围。缺点是其计算负荷，有时候会负荷过高以至于不能完成全部的计算。
从前面的描述中可以看出，本发明最好按照下述的方式进行操作从输入的电视信号中取出两个或者多个图像，检测动态区域和非动态区域，并且建立相应的图片(也可以使用已有可用的动态图片)。在处理的目标图像中检测诸如边缘、噪声、高频和低频等特别的属性，产生一组或者多组相应的图片。采用二维高通滤波器或者二阶导数计算或者类似的滤波器。众所周知的至少有下列几种方法带有矩阵核的全二维滤波器(图4)，沿着行和列工作的可分开的滤波器(图2)或者沿着对角线工作的可分开的滤波器(图3)。在二阶导数的情况下最后一种滤波器应用地非常好，它具有良好的增强性能(好于行和列方向工作的)，较低的噪声曲线(仍好于行列方向工作的)以及合理的计算负荷。在区域和帧的基础上该滤波器进行工作，然后在计算的动态图片的基础上工作，将两组结果进行对比和合并。这样在静止的区域(帧操作)就会有很好的质量并避免了人工因素，而在动态区域(区域操作)中仍然保持良好的性能。这种操作根据最适合的解决方法和使用的合并类型可以按照两步来进行或者合并成一步。采用同样的方法将二维阶梯增强方法用于目标图像中。这是用来增强图像特殊部分如边缘等所使用的特殊的非线性处理。然后所测量的属性将第一个滤波器和第二个滤波器的结果进行对比和合并。当然，考虑到其它测量的属性比如噪声等要将滤波的数量与原始图像进行对比。处理后的图像输出给输出缓冲器。也可以采用外部控制来对整个过程进行很好的调整。
权利要求
1.增强视频信号中包含的图像的清晰度的方法，包括以下步骤a)根据阶梯/边缘增强方法处理上述图像以获得阶梯/边缘增强的图像；b)根据结构增强方法处理上述图像以获得结构增强的图像；c)将上述阶梯/边缘增强的图像和结构增强的图像进行组合以获得包含清晰度增强的图像的视频信号，其中步骤a)和b)根据与上述图像相关的动态信息来进行。
2.根据权利要求1的方法，其特征在于，上述阶梯/边缘增强方法按照两种不同的方式对每个图像进行增强，其中在第一种方法中，只使用当前处理的图像的信息来增强上述图像，这样获得了第一个组梯/边缘增强的图像；在第二种方法中，使用当前处理的图像的信息以及以前处理或以后要处理图像的信息来增强上述图像，这样获得了第二组阶梯/边缘增强的图像，其中，根据上述动态信息上述第一组阶梯/边缘增强的图像中每一个和第二组阶梯/边缘增强的图像中相应的图像进行组合，因而获得了上述阶梯/边缘增强的图像。
3.根据权利要求1或者2的方法，其特征在于，上述结构增强方法按照两种不同的方式对每个图像进行增强，其中在第一种方法中，只使用当前处理的图像的信息来增强上述图像，这样获得了第一组结构增强的图像；在第二种方法中，使用当前处理的图像的信息以及以前处理或以后要处理图像的信息来增强上述图像，这样获得了第二组结构增强的图像，其中，根据上述动态信息上述第一组结构增强的图像中每一个和第二组结构增强的图像中相应的图像进行组合，因而获得了上述结构增强的图像。
4.根据上述权利要求任何之一的方法，其特征在于，通过动态检测处理直接从上述图像中计算出上述动态信息，和或由视频信号中包含的特殊动态信息提供上述动态信息。
5.根据上述权利要求任何之一的方法，其特征在于，根据阶梯/边缘信息来执行步骤c)，通过阶弱梯/边缘检测处理直接从上述图像中计算得到该信息，和/或由视频信号中包含的特殊阶梯/边缘信息来提供该信息。
6.根据上述权利要求任何之一的方法，其特征在于，根据与上述原始图像相关的特征信息将步骤c)中获得的每个清晰度增强的图像和相应未经处理的原始图像进行组合，其中，通过信息检测处理直接从上述图像中计算得到上述特征信息，和/或由视频信号中包含的特殊特征信息直接提供上述特征信息。
7.根据权利要求6的方法，其特征在于，上述特征信息包含图像噪音信息。
8.根据上述权利要求任何之一的方法，其特征在于，用上述结构和阶梯/边缘增强方法，对增强量进行外部控制。
9.根据上述权利要求任何之一的方法，其特征在于，用上述增强方法产生并存储要用的动态/阶梯/边缘/特征信息的图片。
10.根据上述权利要求任何之一的方法，其特征在于，上述阶梯/边缘增强方法采用非线性计算来增强图像的特殊部分。
11.根据上述权利要求行何之一的方法，其特征在于，上述结构增强方法采用高通滤波计算和/或二阶导数计算来增强整个图像。
12.根据权利要求11，其特征在于，上述滤波计算包含带有矩阵核的全二维滤波计算，在行和列上进行可分开的滤波计算，或在对角线上进行可分开的滤波器计算。
13.用来增强视频信号中包含的图像的清晰度的仪器1，包含输入上述图像的输入设备(7)；阶弟/边缘增强设备(2)，它与上述输入设备相连用来增强上述输入的图像以获得阶梯/边缘增强的图像；结构增强设备(3)，它与上述输入设备(7)相连用来增强上述输入图像以获得结构增强的图像；第一个组合设备(9)，它与上述阶梯/边缘增强设备(2)和上述结构增强设备(3)相连，用来将上述阶梯/缘增强的图像和结构增强的图像进行组合，以获得包含清晰度得到增强的图像的视频信号，其中，根据与上述图像相关的动态信息可操作上述阶梯/边缘增强设备(2)和上述结构增强设备(3)。
14.根据权利要求13的仪器(1)，其特征在于，上述阶梯/边缘增强设备按照以下两种不同的方式增强每个图像，其中在第一种方法中，只使用当前处理的图像的信息来增强上述图像，这样获得了第一组阶梯/边缘增强的图像；在第二种方法中，使用当前处理的图像的信息以及以前处理或以后要处理图像的信息来增强上述图像，这样获得了第二组阶梯/边缘增强的图像，其中，上述仪器(1)还包括第二个组合设备(10)，它与上述阶梯/边缘增强设备(2)相连，根据上述动态信息用来将第一组阶梯/边缘增强的图像中每一个与第二组阶梯/边缘增强的图像中相应的图像进行组合，因而获得了上述阶梯/边缘增强的图像。
15.根据权利要求13或者14的仪器(1)，其特征在于，上述结构增强方法按照两种不同的方式对每个图像进行增强，其中在第一种方法中，只使用当前处理的图像的信息来增强上述图像，这样获得了第一组结构增强的图像；在第二种方法中，使用当前处理的图像的信息以及以前处理或以后要处理图像的信息来增强上述图像，这样获得了第二组结构增强的图像，其中，上述仪器(1)还包括第三个组合设备11，它与上述结构增强设备3相连，根据上述动态信息将第一组结构增强的图像中每一个和第二组结构增强的图像中相应的图像进行组合，因而获得了上述结构增强的图像。
16.根据权利要求13到15任何之一的仪器(1)，其特征在于，动态检测设备(4)连接到上述输入设备(7)和第二个和第三个组合设备(10、11)上用来直接从上述输入的图像中计算上述动态信息或者提取上述动态信息作为视频信号中包含的特殊动态信息，其中上述第二个和第三个组合设备(10、11)根据上述动态检测设备(4)的输出来控制。
17.根据权利要求13到16任何之一的仪器(1)，其特征在于，阶梯/边缘检测设备(5)与上述输入设备(7)和第一个组合设备(9)相连用来从上述输入的图像中直接计算阶梯/边缘信息或者提取上述阶梯/边缘信息作为视频信号中包含的特殊的阶梯/边缘信息，其中上述第一个组合设备(9)根据上述阶梯/边缘检测设备(5)的输出进行控制。
18.根据权利要求13到17任何之一的仪器(1)，其特征在于，特征检测设备(6)与上述输入设备(7)和上述第四个组合设备(12)相连，上述第四个组合设备(12)根据上述特征检测设备(6)产生的并且与原始图像相关的特征信息将每个清晰度增强的图像和其对应未处理的原始图像进行组合，其中上述特征检测设备(6)直接从上述输入的图像中计算上述特征信息和/或提取上述视频信号中包含的特殊特征信息。
19.根据权利要求13到18任何之一的仪器(1)，其特征在于，外部控制设备(8)允许从外部控制上述结构增强设备和阶梯/边缘增强设备(2，3)执行的增强数量。
20.一种计算机程序产品，它包括计算机程序设备，当在计算机，数字信号处理设备等上执行时用来执行根据权利要求1到12任何之一的上述的方法或者步骤。
全文摘要
增强视频信号中包含的图像的清晰度的方法包含以下步骤a)根据阶梯/边缘增强方法处理上述图像以获得阶梯/边缘增强的图像；b)根据结构增强方法处理上述图像以获得结构增强的图像，并且将上述阶梯/边缘增强的图像和上述结构增强的图像进行组合，以获得含有清晰度得到增强的图像的视频信号，其中步骤a)和b)根据与上述图像相关的动态信息来进行。
文档编号H04N5/208GK1449184SQ0311077
公开日2003年10月15日 申请日期2003年2月22日 优先权日2002年2月22日
发明者P·萨托尔, F·梅斯勒, P·瓦纳 申请人:索尼国际(欧洲)股份有限公司