用于执行基于分段的视频图象的增强的系统和方法

专利名称：用于执行基于分段的视频图象的增强的系统和方法
技术领域：
本发明涉及用于增强视频信号的设备和方法，更具体地，涉及用于根据概率函数把连续地变化的视频增强的量有选择地施加到象素组的设备和方法。
电视工业由于从当前的标准清晰度电视(SDTV)过渡到高清晰度电视(HDTV)而正经受着重大的改变。这种改变的很大部分是由FCC规定推动的，即到2006年，美国的所有的广播台必须按HDTV发送所有的节目内容以及必须停止发送SDTV信号。结果，高清晰度电视的供应在市场上正不断增长，HDTV变换系统的发展情况也与其相同，该系统可以把HDTV信号变换成SDTV图象，以便在标准清晰度电视机上显示。
对于向HDTV过渡的某种推动力是提供更大的和更清晰的图象的可能性，在某些系统中改变的宽高比(类似于电影格式)，和在向观众传输的过程中数字信号对噪声敏感度的降低。随着屏幕变得更大，观众期待提供提高的分辨率。然而，在即将到来的许多年，HDTV电视机必须能够接收和显示按照现有的SDTV标准(例如，PAL，NTSC，SECAM)的电视信号，而同时广播设施正在进行到新的HDTV标准(ATSC)的过渡。在这中间，非常希望HDTV电视机能够以增加的分辨率显示SDTV信号，以便创建高清晰度电视图象的主观印象。另外，从广播方面看，需要能够把现有的标准清晰度(SD)素材上变换成高清晰度(HD)格式的技术。
不幸地，在电视接收机中的视频信号的分辨率受到原先的视频信号(例如，PAL，NTSC，SECAM)的质量或传输信道的带宽的限制。所以，为了提高SDTV信号的分辨率以便得到更好的可感知的质量，在解调后对接收机中的视频信号进行后处理变得越来越重要。
电视图象的分段(segmetation)是这样一种后处理技术，其中图象序列的每个帧被再划分成区域或分段。每个分段是包括一个具有性质的共性的图象区域的一个象素簇(cluster)。例如，一个分段可通过共同的颜色、共同的纹理结构、特定的形状、幅度范围或时间变化而被区分。早先已知的分段的应用包括图案识别、目标跟踪、和保密监视。最近的对于分段的研究是涉及到MPEG-4和MPEG-7标准的应用。在前者的情形下，分段被识别和被独特地编码，以实现数据压缩。在MPEG-7的情形下，分段被使用来识别图象分量，以便进行图象分类和检索。
在电视图象增强的情况下，已知的增强技术包括全局的和局部的增强方法。全局增强技术的例子可包括电视(TV)接收机的亮度和对比度控制，它对整个图象进行DC偏置控制和整体地(或均匀地)控制信号增益。局部控制增强技术的例子是边缘增强，其中由图象处理器自动地检测图象中边缘的位置，以及把适当的增强只施加到边缘的局部区域上。
虽然局部增强技术只施加到图象的局部区域，但无论如何，传统的方法被全局参量所控制。在边缘增强的情形下，例如，边缘增强算法可适用于局部边缘特性。然而，控制算法的参量是全局的(即，它们对于图象的每个区域是相同的)。全局参量的使用对可被应用到任何给定的图象的最有效的增强设置一个限制。如果增强算法可被训练成识别出在不同的图象分段上描绘的特性以及可动态地选择对于每种类型的图象特性最佳化的图象增强参量，则可提供较大的增强量。
已知的图象分段的方法可被描述为进行二进制判决的“硬”分段。每个区域或者满足分段的相对准则以及被包括在想要的分段中，或者它是完全排除在外的。许多传统的硬分段技术对于在现有技术中公开的应用是满意的。然而，这些硬分段技术在许多先进的应用中是不满意的。
例如，在把硬分段技术应用到运动图象序列的情形下，外观、舞台灯光或远景上小的改变可能只引起图象的小的改变。结果常常是随着图象帧的不同，图象中的一些部分以随机的方式满足或不满足硬的分段准则。当图象增强技术被唯一地应用到分段的区域时，结果可能是通常在分段的区域的边缘处增强发生随机变化。在运动的序列中，这样的随机变化显示出观众所不能接受的扰动的人工产物。
所以在技术上需要用于增强电视图象质量的改进的设备和方法。具体地，在技术上需要各种改进的图象增强技术，它们不受在视频图象中相继的帧之间的外观、照明或远景等等的细小变化的影响。更具体地，需要用于分段和增强视频图象的改进的设备和方法，使得视频图象不依赖于硬的二进制判决，而不论是否把增强技术或分段技术应用到图象的象素或象素组。
为了克服以上讨论的现有技术的缺陷，本发明的主要目的是提供用于执行基于分段的视频信号的增强的设备。按照本发明的有利的实施例，该设备包括(1)输入缓存器，用于存储输入的视频信号的视频帧；(2)分段控制器，它能够把第一存储的帧分段成多个分段，每个这样的多个分段包括多个具有至少一个共同性质的象素；(3)图象处理器，它能够计算与第一存储的帧中的至少一个象素有关的概率函数，该概率函数表示该至少一个象素属于该多个分段的第一选择的分段的概率；以及(4)增强控制器，它能够增强作为该至少一个象素的概率函数的函数的该至少一个象素的参量。
按照本发明的一个实施例，分段控制器把第一存储的帧分段成作为概率函数的函数的多个分段。
按照本发明的另一个实施例，当概率函数的数值增加时，增强控制器增加参量的增强量。
按照本发明的再一个实施例，当概率函数的数值减小时，增强控制器减小参量的增强量。
按照本发明的又一个实施例，设备还包括存储器，它能够存储分段算法，该分段算法包括可由分段控制器执行的指令，用于把第一存储的帧分段成多个分段。
按照本发明的再一个实施例，存储器还能够存储增强算法，该增强算法包括可由增强控制器执行的指令，用于增强至少一个象素的参量。
按照本发明的又一个实施例，与至少一个象素有关的概率函数是根据与至少一个象素有关的(y，u，v)彩色数值被计算的。
上述的内容相当广泛地概述了本发明的特性和技术优点，这样，本领域技术人员可以更好地了解后面给出的本发明的详细说明。下面将描述本发明的附加的特性和优点，它们构成本发明的权利要求的主题。本领域技术人员应当看到，他们可容易地使用所揭示的概念和特定的实施例，以作为修正或设计用于实行本发明的相同的目的的其他结构的基础。本领域技术人员还应当看到，这样的等同的结构在最广泛的形式上并未背离本发明的精神和范围。
在进行详细说明之前，阐述在本专利申请中使用的某些单字和词组的定义可能是有利的术语”include(包括)”和”comprise(包括)”和它们的派生字，是指不带有限制的包括；术语”or(或)”是包括的，是指和/或；术语”associated with(与有关)”和”associatedtherewith(与其有关)”以及它们的派生字，是指包括，被包括在内，与其互联，包含，被包含在内，连接到或与连接，耦合到或与耦合，可与其通信的，与其合作，交织，并列，接近于，与其相联系，具有，具有性质等等；术语“controller(控制器)”是指控制至少一个操作的任何设备，系统或它们的部件，这样的设备可以用硬件，固件或软件，或至少其中两项的某种组合来实施。应当指出，与任何特定的控制器有关的功能可以是集中的或分布的，或者本地地或者远程地。对于某些单字或词组的定义被提供在本专利申请中，本领域技术人员应当看到，在许多情形下(即使不是大多数情形)，这些定义适用于这样规定的单字和词组的现在的使用以及将来的使用中。
为了更全面地理解本发明及其优点，现在参照结合附图作出的以下的说明，其中相同的参考数字表示相同的事物，以及其中

图1是包含按照本发明的原理的、用于分段和增强视频图象的设备的电视机的方框图；图2更详细地显示按照本发明的一个实施例的、设置在示例的电视机中的后处理电路；图3显示按照本发明的一个实施例的、示例的基于PC的图象处理系统；以及图4是显示按照本发明的一个实施例的、后处理电路的选择的部分的运行的流程图。
下面讨论的图1和4，以及在本专利文件中用来描述本发明的设备和方法的原理的各种实施例仅仅是说明性的，无论如何不应当被看作为限制本发明的范围。本领域技术人员将明白，本发明的原理可以在任何适当地设计的视频处理系统中被实施，包括而不限于电视接收机，电视广播系统，以及其中包含先进的视频处理电路和相关的视频处理软件的个人计算机(PC)等等。在以下的说明中，按照本发明的视频图象鲜明化(sharpening)设备将在电视机和在个人计算机(PC)中被实施，以便仅仅用于说明的目的。
图1是包含按照本发明的原理的、用于分段和增强视频图象的设备的电视机100的方框图。电视机100包括天线105，电视接收机110和显示单元115。天线105接收射频(RF)电视信号，这些信号被电视接收机110处理。显示单元115可以是阴极射线管，平板显示器或用于显示视频图象的任何其他类型的设备。
电视接收机110包括调谐器120，中频(”IF”)处理器125，可任选的MPEG译码器130，和后处理电路140。MPEG译码器130(以虚线表示)在示例性实施例中是可任选的，因为电视接收机110可以是不包含MPEG译码器的模拟电视接收机。在这样的实施例中，IF处理器125的输出直接被后处理电路140使用。调谐器120下变频输入的RF信号，以便产生中频(IF)信号。调谐器120的IF输出被IF处理器125下变频，以便产生基带信号，它们可以是输送的数据流。MPEG译码器130可以包括解复用器电路，它从输送数据流中提取至少一个基本数据流，诸如MPEG编码的数据流。MPEG译码器130然后变换所述已编码的MPEG数据流，以及产生能够被显示单元115显示的标准视频信号。然而，为了进一步改进由MPEG译码器130产生的视频信号的质量，MPEG译码器130的输出被传送到后处理电路140，以用于附加处理。在后处理电路140的输出端处的改进的视频信号然后被发送到显示单元115。
后处理电路140能够实行几种不同的类型的视频信号处理。由后处理电路140执行的示例性视频信号处理功能可包括噪声减小算法，彩色校正，缩放，扫描速率变换，自适应特性增强，和其他自适应的基于对象的算法。在有利的实施例中，后处理电路140包括这样的分段电路和彩色增强电路，它们能够按照本发明的原理执行软分段和自适应彩色增强。
图2更详细地显示按照本发明的一个实施例的后处理电路140。后处理电路140包括输入帧缓存器210，图象处理器220，存储器230，和输出帧缓存器240。后处理电路140接收来自可任选的MPEG译码器130和IF处理器125(正如可能存在的情形)的输入的视频帧，以及把每个视频帧的象素数据存储在输入帧缓存器210中。接着，图象处理器220按照本发明的原理执行每个视频帧的软分段(如下面更详细地说明的那样)。
分段控制器222包括图象处理器220的一些部分，它们能够执行软图象分段。按照本发明的有利的实施例，分段控制器222通过执行被存储在存储器230中的分段算法232中的指令而执行分段。增强控制器224包括图象处理器220中的这样一些部分，它们能够执行一种或多种类型的图象分段(即，彩色移位，增加彩色饱和，边缘增强等等)。按照本发明的有利的实施例，增强控制器224通过执行被存储在存储器230中的增强算法234中的指令而执行这些图象增强。分段的和增强的视频图象然后被存储在输出帧缓存器240，以用于以后传送到显示器115去。
以上指出，本发明可以在任何适当的安排的图象处理系统中被实施，包括包含先进的视频处理电路和相关的视频处理软件的个人计算机。在这种情形，本发明可被实施为可被存储在PC的硬盘驱动中或在可拆卸的贮存媒体中的计算机可执行的指令和数据，这些贮存媒体可以是CD-ROM盘，DVD盘，3.5英寸软盘等等。
图3显示按照本发明的一个实施例的、示例的图象处理系统300。图象处理系统300包括个人计算机(PC)310，外部数据库380，监视器385，和用户设备390。个人计算机310执行从视频文件中检索出的视频帧的分段和增强。内部数据库380包括可以从中检索出数字化的视频图象的一个或多个源。这些数据库可通过接入局域网(LAN)，广域网(WAN)，互联网，和或其他源，诸如通过外部设备(诸如磁带，磁盘，或其他贮存装置)直接接入到数据而被提供。
监视器385显示增强的视频图象。用户设备390代表一个或多个外围设备，它可以由图象处理系统300的用户操纵，以提供用于系统的用户输入。典型的外围的用户输入设备包括计算机鼠标，键盘，光笔，游戏棒，触模板和相关联的触针(stylus)，或任何可选择地被使用来输入，选择和操纵数据(包括所有的或部分的检索的图象)其他的设备。用户设备390也可以包括输出设备(诸如彩色打印机)，它可被利用来获取特定的被检索或修正的图象。
个人计算机310包括图象处理器320，随机存取存储器(RAM)330，磁盘贮存装置340，用户输入/输出(I/O)卡350，视频卡360，I/O接口370，和处理器总线375。RAM 330还包括图象分段应用332和图象增强应用332。处理器总线375在个人计算机110的所有的部件之间传送数据。图象处理器320提供对个人计算机110的总体控制，以及按照本发明的原理执行视频图象的软分段。图象处理器320也按照本发明的原理执行彩色增强，边缘鲜明化，和其他增强。图象处理器320的要求和能力在技术上是熟知的，因此，除了对于本发明所需要的以外，无需作更详细地描述。
RAM 330提供用于临时贮存由个人计算机310产生的数据的随机存取存储器，它不是由系统内的部件提供的。RAM 330包括用于分段应用332和增强应用334的存储器，以及图象处理器320与相关的设备所需要的其他存储器。分段应用332表示部分RAM 330中的一个部分，在其中在软分段期间临时存储内部的视频图象和任何修正的基于区域的图象。分段应用332包括用来规定和分段具有相同的彩色、相同的纹理结构、特定的形状、幅度范围、或时间变化的区域和形状的可执行的指令。增强应用334包括应该由图象处理器320执行的应用程序中的可执行的指令，该图象处理器320对分段应用334所规定的各分段执行各种类型的增强。分段应用332和增强应用334也可被体现为装在CD-ROM、计算机磁盘、或其他贮存媒体中的程序，所述其他贮存媒体可被装载到磁盘贮存器340或其他(诸如外部数据库380)部位中的可拆卸磁盘端口中。
磁盘贮存340包括一个或多个磁盘系统，其中包括可拆卸的磁盘，用于永久贮存应用程序，其中包括分段应用332和增强应用334、以及其他数据。用户I/O卡350是在用户设备390与个人计算机310的其余部分之间的接口。视频卡360提供监视器385与个人计算机310的其余部分之间的接口，以及I/O接口370提供在外部数据库380与个人计算机310的其余部分之间的接口。
本发明把分段和局部增强组合在一起，提供现有技术中所没有提供的新的增强功能。例如，考虑以植物(诸如草地，树和其他绿色植物)为特征的图象。本发明包括一个算法，它识别每个图象中包含绿色植物的所有区域。本发明然后把被认为对于绿色植物最佳的图象处理步骤只应用到这些区域。图象的其他部分则会得到对于它们的特性唯一地最佳化的增强处理。
本发明提供了这样一种软分段的概念，它定义一个连续的(即，非二进制的)函数，该函数建立一批象素处在所要求的分段内的概率的模型。这样的分段可以对于例如植物、天空、人的皮肤等等的颜色和纹理结构预先规定象素值范围。分段是按照一组象素是同一个分段中的一部分的概率而被规定的。
在分段被规定后，所施加的增强的量也是概率测量值的函数。一个象素处在分段内的概率越大，施加到该象素的增强的量越大。在概率最大的地方，施加最大的增强。由于在分段的边缘处该概率是较低的，在分段的边缘处的增强适度地衰减。这就允许这种基于分段的增强被施加到运动图象，而不会出现起因于硬(或二进制)分段的、逐帧变化的人工产物。
按照本发明的有利的实施例，用于许多软分段任务的一个适用的概率模型是高斯分布。然而，对于其他数学分布函数，软分段模型的效力也可以得到保持。按照本发明的一个实施例，概率函数可以在色彩饱和值(HSV)彩色空间或在YUV彩色空间中被定义。虽然本发明覆盖这些或任何其他彩色空间对于规定彩色性质的使用，但YUV彩色空间是特别想要的，因为具有YUV形式的TV信号是早已可提供的，以及不需要进一步变换到另一个彩色空间。三维高斯分布函数可被使用来为软分段的概率建立模型。这个函数具有以下形式P(y，u，v)＝eZ其中Z＝(-A2+B2+C2)；对于0＜y＜255，0＜u＜255，0＜v＜255，A＝(y-yMID)/σy；B＝(u-uMID)/σu；C＝(v-vMID)/σv。
一组示例性参量值可包括yMID＝102uMID＝106vMID＝108σy＝89σu＝19σv＝19在植物分段的情形下，一种示例性增强算法可以把植物分段的彩色移向明亮的绿色草地的颜色，增加彩色饱和度，增加亮度和施加边缘增强。所施加的增强的量与该概率函数成正比。这里描述的概念并不限于作为样本应用而给出的植物分段。其他区域(诸如天空、人的皮肤、建筑物等等)可能需要不同的概率函数和不同的参量值。
图4是显示按照本发明的一个实施例的后处理电路140中的经过挑选的一些部分的运行的流程图400。在例行程序运行期间，后处理电路140接收来自MPEG译码器130的视频帧，并且把它们存储在输入帧缓存器210中。图象处理器220然后计算以上描述的、对于每个帧的所有的象素的概率函数(处理步骤405)。接着，图象处理器220通过把象素概率与公共对象(诸如天空、不同类型的人的皮肤、草地等等)的预定的数值相比较而进行分段(处理步骤410)。那些与预定数值的比较结果良好的象素组被识别为属于一个公共的分段。可替换地，除了(或代替)基于上述的概率函数的分段，也可使用其他已知的现有技术的分段技术(处理步骤415)。
一旦帧被分段，图象处理器220就按照与每个象素有关的概率函数对于被分段的视频帧执行一种或多种视频增强技术。按照本发明的原理，增强量正比于概率函数(处理步骤420)。也就是，如果象素具有属于某个分段的相对较高的概率，则施加相对较大的增强量。相反，如果象素具有相对较低的属于某个分段的概率，则施加相对较小的增强量。例如，在被规定为一个区域的棕榈叶边界内的绿色象素，比起在边缘附近的象素具有更大的概率值，边缘附近的这些象素在棕榈叶移动时可能过渡到另一个颜色。因此，增加棕榈叶的绿色颜色的彩色增强技术对于靠近棕榈叶的中心比起对于棕榈叶的边缘将会施加更大的彩色增强量。最后，分段的和增强的视频帧被传送到显示器115，或替换地，传送到本发明的个人计算机实施例中的贮存装置。
虽然已详细地描述了本发明，但本领域技术人员应当看到，他们在这里可作出各种改变、替换和更新，而在最广泛的形式上并不背离本发明的精神和范围。
权利要求
1.用于执行基于分段的视频信号的增强的设备(140)，所述设备包括-输入缓存器(210)，用于存储输入的视频信号的视频帧；-分段控制器(222)，它能够把第一存储的帧分段成多个分段，每个所述的多个分段包括具有至少一个共同性质的多个象素；-图象处理器(220)，它能够计算与第一存储的帧中的至少一个象素有关的概率函数，该概率函数表示该至少一个象素属于多个分段中的第一选择的分段的概率；以及-增强控制器(224)，它能够增强作为该至少一个象素的概率函数的函数的该至少一个象素的参量。
2.权利要求1中阐述的设备(140)，其中所述分段控制器(222)把第一存储的帧分段成作为概率函数的函数的多个分段。
3.权利要求2中阐述的设备(140)，其中所述增强控制器(224)在概率函数的数值增加时增加参量的增强量。
4.权利要求3中阐述的设备(140)，其中所述增强控制器(224)在概率函数的数值减小时减小参量的增强量。
5.权利要求1中阐述的设备(140)，还包括存储器(230)，它能够存储分段算法(232)，所述分段算法(232)包括可由所述分段控制器(222)执行的用于把第一存储的帧分段成多个分段的指令。
6.权利要求5中阐述的设备(140)，其中所述存储器(230)还能够存储增强算法(234)，所述增强算法(234)包括可由所述增强控制器(224)执行的用于增强至少一个象素的参量的指令。
7.权利要求1中阐述的设备(140)，其中与至少一个象素有关的所述概率函数是根据与所述至少一个象素有关的(y，u，v)彩色数值被计算的。
8.电视接收机(110)，包括-解调电路(120，125，130)，它能够接收输入的RF电视信号和从其中产生基带视频信号，该基带视频信号能够在视频显示器(115)上被显示为多个象素；以及-后处理电路(140)，被耦合到所述解调电路(120，125，130)和从其中接收基带视频信号，并且能够执行基于分段的视频信号的增强，所述后处理电路(140)包括-输入缓存器(210)，用于存储输入的视频信号的视频帧；-分段控制器(222)，能够把第一存储的帧分段成多个分段，每个所述多个分段包括多个具有至少一个共同性质的象素；-图象处理器(220)，它能够计算与第一存储的帧中的至少一个象素有关的概率函数，该概率函数表示该至少一个象素属于多个分段中的第一选择的分段的概率；以及-增强控制器(224)，它能够增强作为该至少一个象素的概率函数的函数的该至少一个象素的参量。
9.权利要求8中阐述的电视接收机(110)，其中所述分段控制器(222)把第一存储的帧分段成作为概率函数的函数的多个分段。
10.权利要求9中阐述的设备(140)，其中所述增强控制器(224)在概率函数的数值增加时增加参量的增强量。
11.权利要求10中阐述的电视接收机(110)，其中所述增强控制器(224)当概率函数的数值减小时减小参量的增强量。
12.权利要求8中阐述的电视接收机(110)，还包括能够存储分段算法(232)的存储器(230)，所述分段算法(232)包括可由所述分段控制器(222)执行的用于把第一存储的帧分段成多个分段的指令。
13.权利要求12中阐述的电视接收机(110)，其中所述存储器(230)还能够存储增强算法(234)，所述增强算法(234)包括可由所述增强控制器(224)执行的用于增强至少一个象素的参量的指令。
14.权利要求8中阐述的电视接收机(110)，其中与至少一个象素有关的所述概率函数是极据与所述至少一个象素有关的(y，u，v)彩色数值被计算的。
15.用于执行基于分段的视频信号的增强的方法，包括以下步骤-把输入的视频信号的视频帧存储到输入缓存器(210)；-把第一存储的帧分段成多个分段，每个多个分段包括多个具有至少一个共同性质的象素；-计算与第一存储的帧中的至少一个象素有关的概率函数，该概率函数表示该至少一个象素属于多个分段中的第一选择的分段的概率；以及-增强作为该至少一个象素的概率函数的函数的该至少一个象素的参量。
16.权利要求15中阐述的方法，其中分段步骤把第一存储的帧分段成作为概率函数的函数的多个分段。
17.权利要求16中阐述的方法，其中增强步骤在概率函数的数值增加时增加参量的增强量。
18.权利要求17中阐述的方法，其中增强步骤在概率函数的数值减小时减小参量的增强量。
19.被存储在计算机可读的贮存媒体(340)上和能够执行基于分段的视频信号的增强的计算机可执行的指令，所述计算机可执行的指令包括以下步骤-把输入的视频信号的视频帧存储到输入缓存器(210)；-把第一存储的帧分段成多个分段，每个多个分段包括多个具有至少一个共同性质的象素；-计算与第一存储的帧中的至少一个象素有关的概率函数，该概率函数表示该至少一个象素属于多个分段的第一选择的分段的概率；以及-增强作为该至少一个象素的概率函数的函数的该至少一个象素的参量。
20.如权利要求19中阐述的、被存储在计算机可读的贮存媒体(340)上的计算机可执行的指令，其中分段步骤把第一存储的帧分段成作为概率函数的函数的多个分段。
21.如权利要求20中阐述的、被存储在计算机可读的贮存媒体(340)上的计算机可执行的指令，其中增强步骤在概率函数的数值增加时增加参量的增强量。
全文摘要
揭示了用于执行基于分段的视频信号的增强的设备。该设备包括(1)输入缓存器，用于存储输入的视频信号的视频帧；(2)分段控制器，能够把第一存储的帧分段成多个分段，每个多个分段包括多个具有至少一个共同性质的象素；(3)图象处理器，它能够计算与第一存储的帧中的至少一个象素有关的概率函数，该概率函数表示该至少一个象素属于多个分段的第一选择的分段的概率；以及(4)增强控制器，它能够增强作为该至少一个象素的概率函数的函数的该至少一个象素的参量。
文档编号H04N5/14GK1528092SQ02800898
公开日2004年9月8日 申请日期2002年3月13日 优先权日2001年3月28日
发明者S·赫尔曼, S 赫尔曼, J·G·杨森, 杨森 申请人:皇家菲利浦电子有限公司