场景改变检测器及其方法

文档序号:7974072阅读:144来源:国知局
专利名称:场景改变检测器及其方法
技术领域
本发明涉及场景改变检测器及其方法,尤其涉及利用关于色度或亮度的彩色信号的直方图之间的相关信息,检测运动图像之间的场景改变的场景改变检测器和方法。
背景技术
一般说来,场景改变表示一个场景完成之后,运动图像在连续场景(屏幕图像)中,从一个场景改变到另一个场景。场景改变一般分为几种模式某个场景逐渐消失和另一个场景慢慢出现的淡出(fade-out)和淡入(fade-in)模式、在某个时间间隔内某两个场景从不同方向慢慢重叠的重叠模式和简单场景改变模式。
场景改变检测器是检测运动图像的场景改变的设备,它可应用于数字TV(电视机)、基于计算机的图像处理系统和MPEG(运动图像专家组)信号处理系统。
例如,通过使场景改变检测器的场景改变检测适用于提高数字TV等的图像的对比度,可以适当地处理发生在图像对比度上的闪烁或像移现象。
对于MPEG信号处理系统,利用运动预测和补偿的帧间编码技术适用于在时间轴上密切相关的数据。当运动图像的场景之间发生场景改变时,相同图像数据的重复频率很低,从而使数据量增加。因此,当在没有反映像场景改变那样的特殊图像效果的情况下使用MPEG信号处理系统时,位利用率降低了,和运动图像的质量变差了,因此,有必要在运动图像的信号处理之前,进行场景改变检测。
已经为检测运动图像的场景之间的场景改变的场景改变检测器及其方法开发了几种技术。
例如,名称为“对TV和IR数据进行场景改变分析的对象检测方法和系统(Object detection method and system for scene change analysis inTV and IR data)”的美国专利第6,049,363号公开了基于用于场景改变检测的两个帧的边缘信息的像素差异法。
名称为“连续图像之间的剧烈改变的精确检测(Accurate detection ofa drastic change between successive pictures)的美国专利第5,032,905号公开了应用在用于场景改变检测的两个帧之间的帧差异法。
名称为“记录代表视频信号中的切断的图像数据的设备(Apparatus forrecording image data representative of cuts in a video signal)”的美国专利第5,835,663号公开了把两个帧划分成子块之后,获取关于每个子块的色度彩色信号的直方图的场景改变检测的另一种方法,其中,计算相关信息是通过子块的总比较,从统计上加以处理的。
如上所述的这些传统场景改变检测器及其方法使用了基于运动向量或帧差异法的算法。这些算法的缺点在于,由于它们结构复杂,导致处理速度慢。因此,当图像帧中的运动信息不是非常重要时,比如,在提高图像的对比度或颜色的情况下,这些方法就不那么有效了。
此外,传统场景改变检测器及其方法不能提供通过检测作为显示在运动图像上的副标题的TI(“标题插入”),或PIP(“画中画”),即,与场景改变一起加以考虑的显示在运动图像中的另一个图像,提高运动图像的质量的有效方法。

发明内容
本发明就是为了克服现有技术中存在的上述和/或其它问题而作出的。因此,本发明的一个方面是提供一种当图像帧中的运动信息不重要时,譬如,在提高图像帧中图像的对比度的情况下可以使用的场景改变检测器及其方法。
本发明的另一个方面是提供一种当存在TI(标题插入)或PIP(画中画)时,通过考虑场景能够改变提高图像的质量的场景改变检测器及其方法。
本发明的其它方面和优点部分在如下的描述中摆出来,和部分可从如下的描述中明显看出,或者,可以通过具体实施本发明来获知。
根据本发明一个方面,一种场景改变检测器包括第一和第二直方图检测单元,每一个用于从第一和第二视频信号中分别计算具有相同值的各自像素的每个个数,并从第一和第二视频信号中分别计算代表具有相同值的各自像素的各自个数的第一和第二直方图;交叉相关系数计算单元,用于计算第一和第二直方图之间的相关值,其中,当将相关值与阈值相比较时,判决单元输出场景改变信号;判决单元,用于按照第一和第二视频信号每一个的像素个数,输出场景改变信号。其中,第一和第二视频信号在视频流数据中存在一个时间间隔。
根据本发明一个方面,一种用在场景改变检测器中的方法包括从第一和第二视频信号中分别计算具有相同值的各自像素的各自个数;按照第一和第二视频信号的像素的各自个数,输出场景改变信号。其中,各自个数包括具有不同值的像素的第二个数,并且,各自像素的个数的计算包括从与不同值的第二个数相对应的各自像素的各自个数中计算第一和第二视频信号之间的相关值。
根据本发明一个方面的场景改变检测器包括第一和第二直方图检测单元,用于分别计算关于预定输入的第一和第二彩色信号的第一和第二直方图;交叉相关系数计算单元,用于计算由第一和第二直方图检测单元分别计算的第一和第二直方图之间的相关值;和判决单元,用于通过将相关值与预定阈值相比较,输出场景改变信号。
根据本发明的另一个方面,场景改变检测器还包括第一和第二帧缓冲器,用于分别存储检测场景改变的两个图像帧数据;和第一和第二彩色空间转换单元,用于把存储在第一和第二帧缓冲器中的图像帧数据转换成预定第一和第二彩色信号,和把预定第一和第二彩色信号分别输出到第一和第二直方图检测单元。
预定第一和第二彩色信号是亮度彩色信号或色度彩色信号。第一和第二直方图检测单元可以把输入的彩色信号的各个彩色信号量化成预定信号频带,对预定帧中所有像素计算量化输入彩色信号的具有相同值的像素个数,和通过使计算的个数标准化计算第一和第二直方图。当相关值小于在0.9到0.95范围之内的预定阈值时,判决单元可以输出场景改变信号。
根据本发明的另一个方面,场景改变检测器包括第一和第二直方图检测单元,用于分别计算关于预定输入的第一和第二彩色信号的直方图;第一和第二平均值/最大值计算单元,用于从由第一和第二直方图检测单元分别计算的第一和第二直方图中计算平均值和最大值;比较单元,用于通过将第一和第二平均值/最大值计算单元计算的第一和第二平均值之间的第一差值与预定第一阈值相比较,输出平均信号,和通过将第一和第二平均值/最大值计算单元计算的第一和第二最大值之间的第二差值与预定第二阈值相比较,输出最大信号;第一和第二滤波器,用于通过滤波第一和第二直方图,分别输出具有各自抑制峰值的第一和第二直方图;交叉相关系数计算单元,用于计算经滤波的第一和第二直方图之间的相关值;和判决单元,用于通过将相关值与预定阈值相比较,输出场景改变信号,和根据场景改变信号和从比较单元输出的平均信号和最大信号,输出TI信号和PIP信号。
场景改变检测器还可以包括第一和第二帧缓冲器,用于分别存储检测场景改变的两个图像帧数据;和第一和第二彩色空间转换单元,用于把存储在第一和第二帧缓冲器中的图像帧数据转换成预定第一和第二彩色信号,和把预定第一和第二彩色信号分别输出到第一和第二直方图检测单元。
预定第一和第二彩色信号可以是亮度彩色信号或色度彩色信号。
第一和第二直方图检测单元可以把各个输入彩色信号量化成预定信号频带,从关于预定帧中所有像素的量化输入彩色信号中计算量化彩色信号的具有相同值的像素个数,和通过使计算的个数标准化分别计算第一和第二直方图。
当相关值小于在0.9到0.95范围之内的预定第三阈值时,判决单元可以输出场景改变信号。
比较单元在第一和第二平均值之间的差值大于预定第一阈值时,可以输出平均信号,和在第一和第二最大值之间的差值大于预定第二阈值时,可以输出最大信号。
并且,判决单元可以接收平均信号和最大信号,和当场景改变信号大于预定第一阈值时,输出TI信号和PIP信号。
根据本发明另一个方面,场景检测的方法包括计算关于预定输入的第一和第二彩色信号的第一和第二直方图;计算第一和第二直方图之间的相关值;和当相关值小于预定阈值时,输出场景改变信号。
场景检测的方法还可以包括分别存储检测场景改变信号的两个图像帧数据;和分别把图像帧数据转换成预定第一和第二彩色信号。
根据本发明的另一个方面,场景检测的方法包括分别计算关于预定输入的第一和第二彩色信号的直方图;从第一和第二直方图中计算第一和第二平均值和第一和第二最大值;当计算的第一和第二平均值之间的第一差值大于预定第一阈值时,输出平均信号,和当计算的第一和第二最大值之间的第二差值大于预定第二阈值时,输出最大信号;滤波第一和第二直方图,以限制峰值,和分别输出经滤波的第一和第二直方图;计算经滤波的第一和第二直方图之间的相关值;和当相关值小于预定第三阈值时,输出场景改变信号,输入平均信号和最大信号,和当相关值大于预定第三阈值时,输出TI信号或PIP信号。
本发明的场景检测的方法还可以包括分别存储检测场景改变信号的两个图像帧数据,和把图像帧数据转换成预定第一和第二彩色信号。


通过结合附图,对本发明的优选实施例进行如下描述,本发明的这些和/或其它方面和优点将更加清楚,在附图中图1是显示根据本发明一个实施例的场景改变检测器的方块图;图2是显示图1的场景改变检测器的操作方法的流程图;图3A和3B是显示在图1的场景改变检测器中生成的直方图的图形;图4是显示根据本发明另一个实施例的场景改变检测器的方块图;和图5A和5B是显示在图4的场景改变检测器中生成的直方图的图形。
具体实施例方式
现在详细介绍其例子显示在附图中的本发明的优选实施例,其中,相同的标号自始至终表示相同的部件。通过参照这些图形描述这些实施例是为了说明本发明。
从现在开始,通过参照附图更详细地描述本发明。
图1是显示根据本发明一个实施例的场景改变检测器的方块图。
场景改变检测器包括第一帧缓冲器100、第一彩色空间转换单元102、第一直方图检测单元104、第二帧缓冲器110、第二彩色空间转换单元112、第二直方图检测单元114、交叉相关系数计算单元120和判决单元130。
参照图1,第一帧缓冲器和第二帧缓冲器100和110分别存储具有预定时间间隔的两个图像帧数据,以便从输入视频流数据中检测场景改变。第一和第二彩色空间转换单元102和112分别将存储在第一和第二帧缓冲器100和110中的图像帧数据的各自彩色空间转换成各自彩色信号。第一和第二直方图检测单元104和114从在第一和第二彩色空间转换单元102和112上转换的彩色信号中计算第一和第二直方图。
交叉相关系数计算器120计算所计算的第一和第二直方图之间的相关值C,和判决单元130将计算的相关值C与预定阈值相比较,并且输出场景改变信号。
图2是显示图1的场景改变检测器的操作方法的流程图。参照图2,在操作S150中,把具有预定时间间隔的两个图像帧数据分别存储在第一和第二帧缓冲器100和110中,以便从输入音频流数据中检测场景改变。在操作S152中,在第一和第二彩色空间转换单元102和112上把存储在第一和第二帧缓冲器100和110中的图像帧数据的彩色空间转换成色度(或亮度)彩色信号。换句话说,根据使用环境,存储到第一和第二帧缓冲器100和110中的图像帧数据可以具有彩色空间,譬如,RGB、YIQ、YUV、YcbCr或HLS。利用适当的方程把这些彩色空间转换成色度(或亮度)彩色信号。例如,利用如下方程1,可以从RGB彩色信号中计算出色度(或亮度)彩色信号方程1Y=a·R+b·G+c·BS=Max[R,G,B]-Min[R,G,B]Max[R,G,B]]]>这里,a、b和c是转换系数。例如,根据CCIR(国际无线电咨询委员会)的推荐601-1,a=0.29900,b=0.58700和c=0.1140。它们是用于JPEG(联合图像专家组)压缩的典型转换系数。
在操作S154中,第一和第二直方图检测单元104和114从在第一和第二彩色空间转换单元102和112上转换的色度(或亮度)彩色信号中分别计算直方图。此时,在第一直方图计算单元104上计算的直方图之一是第一直方图,和在第二直方图计算单元114上计算的直方图的另一个是第二直方图。计算第一和第二直方图的方法如下。把第一和第二彩色空间转换单元102和112从各自彩色空间转换的色度(或亮度)彩色信号量化成预定信号频带,譬如,0~100数值范围、0~127数值范围、0~255数值范围,和计算每个直方图,以便对所选的局部窗口或图像帧或半帧的所有像素计算具有相同值的像素个数。在直方图中搜索到最大值之后,通过标准化而使最大值具有某个值(例如,100),来计算直方图。
图3A和3B是显示根据上面方法计算的第一和第二直方图的图形。所示的直方图具有0~255的信号频带和100的最大值。换句话说,X轴是0~255的信号频带,和与每个X轴相对应的Y轴是具有相同值的像素个数的计数值。
在操作S156中,交叉相关系数计算单元120利用如下方程,计算在第一直方图计算单元104上计算的第一直方图和在第二直方图计算单元114上计算的第二直方图之间的相关值C。
方程2C=Σ(xi-x‾)(yi-y‾)Σ∀i(xi-x‾)2Σ∀i(yi-y‾)2]]>这里,xi是在第一直方图计算单元104上计算的第一直方图在X轴上的预定值,和yi是在第二直方图计算单元114上计算的第二直方图在X轴上的预定值。 是第一直方图的独立直方图计数的平均值,和 是第二直方图的独立直方图计数的平均值。
通过方程2计算的相关值C具有在-1和1之间的值。当第一直方图与第二直方图正交时,相关值C是-1。当第一直方图和第二直方图之间的相关程度变得较强时,那么,相关值C接近1。当相关值C是1时,确定第一直方图和第二直方图是相同的。
判决单元130通过将在方程2上计算的相关值C与预定阈值相比较,产生场景改变信号Csc。换句话说,当相关值C小于预定阈值时,可以认为发生了场景改变。通过试验计算的阈值是0.9到0.95。因此,当相关值C小于0.9到0.95时,确定存在场景改变,因此,把场景改变信号Csc输出成1。当相关值C大于0.9到0.95时,场景改变信号Csc是0。
正如到目前为止所述的那样,即使在利用色度(或亮度)直方图之间的相关信息,而不是利用运动信息检测到场景改变之后,在图像帧中存在运动,也不能确定存在场景改变。
图4是显示根据本发明另一个实施例的场景改变检测器的方块图。参照图4的方块图,场景改变检测器包括第一帧缓冲器200、第一彩色空间转换单元202、第一直方图检测单元204、第一滤波器206、第一平均值/最大值计算单元208、第二帧缓冲器210、第二彩色空间转换单元212、第二直方图检测单元214、第二滤波器216、第二平均值/最大值计算单元218、交叉相关系数计算单元220、比较单元222和判决单元230。
如图4的方块图所示,场景改变检测器拥有比图1的场景改变检测器更多的附加块,譬如,第一和第二滤波器206和216、第一和第二平均值/最大值计算单元208和218和比较单元222。这些附加块用于主要检测画中画(PIP)信号或标题插入(TI)信号。
第一和第二帧缓冲器200和210、第一和第二彩色空间转换单元202和212、第一和第二直方图检测单元204和214和交叉相关系数计算单元220的各自功能与图1的场景改变检测器的那些部件的功能相同。因此,从现在开始描述附加块的功能。
第一和第二平均值/最大值计算单元208和218对在第一和第二直方图检测单元204和214上计算的第一和第二直方图分别计算平均值和最大值。在第一平均值/最大值计算单元208上从第一直方图中计算的平均值和最大值分别是第一平均值和第一最大值,和在第二平均值/最大值计算单元218上从第二直方图中计算的平均值和最大值分别是第二平均值和第二最大值。
把在第一和第二平均值/最大值计算单元208和218上计算的第一平均值和第一最大值和第二平均值和第二最大值传输到比较单元222。比较单元222根据如下方程,计算平均信号Cmean和最大信号Cmax方程3ΔSmax=|Smax(Y-ΔT)-Smax(T)|,ifΔSmax<Th1 then Cmax=0,else Cmax=1方程4ΔSmean=|Smean(T-ΔT)-Smean(T),ifΔSmean<Th2 then Cmean=0,else Cmean=1这里,ΔT是预定时间间隔,因此,Smax(T-ΔT)和Smax(T)分别是第一和第二直方图的最大值。第一和第二直方图的平均值的情况与上述相同。
把在比较单元230中计算的平均信号Cmean和最大信号Cmax传输到判决单元230。
同时,第一和第二滤波器206和216利用线性或非线性滤波器降低由TI信号或PIP信号形成的各自直方图的峰值。例如,图5A显示了由TI或PIP信号形成的直方图,和图5B显示了由经过第一滤波器206或第二滤波器216的信号形成的另一个直方图。如图5A和5B所示,当信号经过第一和第二滤波器206和216时,信号的峰值受到限制。利用限制由PIP或TI信号引起的峰值的第一和第二滤波器206和216,即使产生了PIP和TI信号,也可以防止场景改变信号Csc被无条件输出。
第一和第二滤波器206和216是线性低通滤波器或非线性中间滤波器。
如下方程是利用5-Tab中值滤波器计算的、关于输入直方图值的输出直方图值的例子方程5Fout(i)=MedianFinput(i-2),Finput(i-1),Finput(i),Finput(i+1),Finput(i+12),这里,Finput(i)是输入直方图值,和Fout(i)是输出直方图值。中值运算器是按它们的幅度重新排列给定直方图值,取出中间值的过滤方法。一旦对直方图完成它的过滤,最大值就得到设置,并且把最大值标准化成预定值(例如,100)。
把标准化直方图传输到交叉相关系数计算单元220。交叉相关系数计算单元220利用上面说明的方程2,计算相关值C。把计算的相关值C传输到判决单元230。
判决单元230利用相关值C、平均信号Cmean和最大信号Cmax,根据如下方程生成场景改变信号CSC和PIP(画中画)/TI(标题插入)信号CTI/P方程6If(C≤Th3)then CSC=1,else CSC=0If((Cmean==1or Cmax==1)AND C>Th3)then CTI/P=1else CTI/P=0换句话说,当相关值C小于阈值时,这是一般场景改变的情况。在这种情况下,把场景改变信号CSC输出成1。当Cmax或Cmean是1时,在前面和后面图像中存在显著改变,同时,如果相关值C大于阈值,那么,确定存在TI或PIP。
正如到此为止所述的那样,由于可以检测到场景改变是一般改变或由TI或PIP引起的改变的事实,通过把上述信息用于提高图像信号的对比度,可以有效地提高图像质量,从而适当地处理了上述问题。
根据本发明,利用色度或亮度彩色信号的直方图之间的相关信息,可以检测图像帧中与运动无关的场景改变。此外,由于可以把TI或PIP引起的场景改变和一般场景改变彼此分开,可以更有效地提高图像的质量。
虽然已经对本发明的优选实施例进行了描述,但是,本领域的普通技术人员应该明白,本发明不局限于所述的优选实施例,可以在本发明的精神和范围内进行各种各样的调换和修改。因此,本发明的范围不局限于所述的范围,而是由所附权利要求书及其等效物来限定。
权利要求
1.一种场景改变检测器,包括第一和第二直方图检测单元,每一个用于从第一和第二视频信号中分别计算具有相同值的各自像素的每个个数,并从第一和第二视频信号中分别计算代表具有相同值的各自像素的各自个数的第一和第二直方图;交叉相关系数计算单元,用于计算第一和第二直方图之间的相关值,其中,当将相关值与阈值相比较时,判决单元输出场景改变信号;以及判决单元,用于按照第一和第二视频信号每一个的像素个数,输出场景改变信号,其中,第一和第二视频信号在视频流数据中存在一个时间间隔。
2.根据权利要求1所述的场景改变检测器,其中,第一和第二视频信号包括RGB型信号、YIQ型信号、YUV型信号、YcbCr型信号和HLS型信号之一。
3.根据权利要求1所述的场景改变检测器,还包括第一和第二存储器,用于分别存储第一和第二视频信号。
4.根据权利要求1所述的场景改变检测器,还包括第一和第二存储器,用于分别存储与第一和第二视频信号相对应的视频流数据的第一和第二图像帧/半帧数据。
5.根据权利要求4所述的场景改变检测器,还包括第一和第二彩色空间转换单元,用于把存储的视频流数据的第一和第二图像帧/半帧数据分别转换成第一和第二视频信号。
6.根据权利要求1所述的场景改变检测器,其中,第一和第二直方图的每一个包括每一个代表具有相同值的像素个数的第一个数;和每一个代表具有不同值的像素个数的第二个数。
7.根据权利要求6所述的场景改变检测器,其中,判决单元按照第一个数和第二个数,输出场景改变信号。
8.根据权利要求1所述的场景改变检测器,还包括第一和第二滤波器,用于分别滤波具有相同值的像素的各自个数,以抑制像素的各自个数中大于峰值的那一个。
9.根据权利要求1所述的场景改变检测器,其中,第一和第二直方图检测单元分别计算具有不同值的各自像素的另一个个数,和判决单元按照第一和第二视频信号每一个的像素的个数和另一个个数,输出场景改变信号。
10.根据权利要求1所述的场景改变检测器,其中,第一和第二直方图检测单元分别计算具有不同值的各自像素的另一个个数,把像素的个数和另一个个数分别标准化在第一和第二范围之内,和判决单元按照第一和第二视频信号每一个的像素的个数和另一个个数,输出场景改变信号。
11.根据权利要求1所述的场景改变检测器,其中,第一和第二直方图检测单元计算具有不同值的各自像素的另一个个数,和检测器还包括第一和第二平均值/最大值计算单元,用于从像素的个数中分别计算第一和第二平均信号和第一和第二最大信号。
12根据权利要求11所述的场景改变检测器,其中,判决单元按照第一和第二平均值/最大值计算单元的第一和第二平均信号和第一和第二最大信号,输出场景改变信号。
13.根据权利要求11所述的场景改变检测器,其中,把像素的个数和另一个个数分别标准化在第一和第二范围之内。
14.根据权利要求13所述的场景改变检测器,其中,第一范围是1到100(包括1和100)之间的数值范围的N倍,和N是正数。
15.根据权利要求13所述的场景改变检测器,其中,第二范围是0到255之间的数值范围的N倍,和N是正数。
16.根据权利要求11所述的场景改变检测器,其中,当像素的个数处在1到100(包括1和100)之间的数值范围内时,像素的个数具有100的最大数。
17.根据权利要求11所述的场景改变检测器,其中,当像素的个数处在0到255(包括0和255)之间的数值范围内时,像素的另一个个数具有255的最大数。
18.根据权利要求1所述的场景改变检测器,其中,各自像素具有不同值的第二个数之一,和检测器还包括交叉相关系数计算单元,用于从与不同值的第二个数相对应的各自像素的各自个数中计算第一和第二视频信号之间的相关值。
19.根据权利要求18所述的场景改变检测器,其中,当将相关值与阈值相比较时,判决单元输出场景改变信号。
20.根据权利要求19所述的场景改变检测器,其中,当相关值小于阈值时,场景改变信号代表在第一和第二视频信号之间存在场景改变。
21.根据权利要求19所述的场景改变检测器,其中,当相关值大于阈值时,场景改变信号代表在第一和第二视频信号中存在标题插入信号或画中画信号。
22.根据权利要求1所述的场景改变检测器,其中,各自像素是分别形成与第一和第二视频信号相对应的帧或半帧的所有像素的一部分。
23.一种用在场景改变检测器中的方法,该方法包括从第一和第二视频信号中分别计算具有相同值的各自像素的各自个数;和按照第一和第二视频信号的像素的各自个数,输出场景改变信号,其中,各自个数包括具有不同值的像素的第二个数,并且,各自像素的个数的计算包括从与不同值的第二个数相对应的各自像素的各自个数中计算第一和第二视频信号之间的相关值。
24.根据权利要求23所述的方法,其中,场景改变信号的输出包括将相关值与阈值相比较,以输出代表第一和第二视频信号中场景改变和标题插入或画中画信号之一的场景改变信号。
全文摘要
一种场景改变检测器,包括第一和第二直方图检测单元,每一个用于从第一和第二视频信号中分别计算具有相同值的各自像素的每个个数,并从第一和第二视频信号中分别计算代表具有相同值的各自像素的各自个数的第一和第二直方图;交叉相关系数计算单元,用于计算第一和第二直方图之间的相关值,其中,当将相关值与阈值相比较时,判决单元输出场景改变信号;判决单元,用于按照第一和第二视频信号每一个的像素个数,输出场景改变信号,其中,第一和第二视频信号在视频流数据中存在一个时间间隔。因此,场景改变可以利用源自彩色信号的直方图来检测。
文档编号H04N9/64GK1984237SQ20061016318
公开日2007年6月20日 申请日期2003年7月9日 优先权日2002年7月9日
发明者金文喆 申请人:三星电子株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1