专利名称：用于视频的场景切换检测的制作方法
技术领域：
本发明涉及视频处理，具体涉及一种用于检测场景切换的方法和设
备o
背景技术：
本节旨在向读者介绍与下面描述和/或主张本发明相关方面相关的各 种背景技术。相信此处的描述将有助于为读者提供背景信息，从而使读者 对本发明的方方面面了解得更清楚。因此，可以认为此处描述的目的即是 为了方便读者，而并非做为对现有技术的承认。
通常，电影视频内容数据作为一系列静止图象被捕捉、存储、传输、 处理和输出。当静止图片在足够紧凑的时间段内输出时，观众会把逐帧数 据内容的细微变化视为运动，而相邻两帧之间数据内容的大幅变化则被视 为一个场景切换(例如，室内到室外的场景切换，摄影角度的变化，图像 亮度的突然变化，等等)。
编码和压縮过程利用逐帧视频数据内容的细微变化来减少需要存储、 传输、处理的视频数据内容的数量。用于描述上述变化的数据量比用于描
述原始静止图像所需要的数据量要少。例如，根据运动图像专家组(Moving Pictures Experts Group, MPEG)开发的标准， 一组帧的起始帧是一个帧内 编码图象帧(intra-coded frame, I-帧)，起始帧中的编码视频内容数据对应 于原始静止图像的视觉特征(如，亮度、色度)。该组帧中的后续帧，比如预测编码图象帧(predictive coded frame, P-帧)和双向编码图象帧 (bi-directional coded frame, B-帧)，它们都是基于该组帧中前面的帧的变 化而进行编码的。新出现的各组帧，即包含新的I-帧的一组图像帧，每隔 一段时间出现一次，从而可以阻止噪声，比如引起伪视频内容数据变化的 噪声。当视频内容数据大幅变化时，新出现的各组帧和其包含的新的I-帧 也可以从场景切换开始，这是因为描述一个新的静止图像所需的数据比描 述两个相邻静止图像间的大幅变化所需的数据要少。换言之，是因为来自 不同场景的两个图片之间的相关性很小。把新图像压縮成一个I-帧比使用 一个图像来预测另一图像更为有效。因此，在内容数据编码过程中，识别 相邻视频内容数据帧之间的场景切换至关重要。
此外，还应注意到，场景切换的识别与胶片后期制作处理也有关。例 如，色彩校正处理是后期制作处理的一种，它主要应用于基于逐个场景切 换的电影视频内容数据。所以说，快速准确地检测场景边界是很关键的。 识别两个视频内容帧之间的场景切换的方法有很多种。基于运动的方 法，即通过比较两帧间的图像元素(像素)的块的矢量运动来识别场景切 换。基于直方图的方法，譬如可以绘制两个帧的像素色彩数据分布情况， 通过比较这些分布情况来识别场景切换。基于图像特征的方法，即识别视
频内容数据帧中的一个特定对象(如演员、场景的一部分、等等)，从 而来确定该对象的特定属性是否与预定的场景分类有关。然而，每种方法 都各有缺陷。例如，基于运动的方法通常都很耗时，因为它需要多个时钟 周期和专用的处理器带宽。当单独使用基于直方图的方法时，往往不够精 准而无法正确地检测场景切换。最后要说的是，使用基于图像特征的方法通常要比使用基于运动的方法更难操作、更耗时。
本发明旨在克服以上缺陷。
发明内容
一
本发明介绍了一种通过使用绝对直方图差分和(SAHD)以及绝对显 示帧差分和(SADFD)来检测场景切换的设备和方法。本发明通过利用同 一场景的时间信息来找出变化从而准确地检测场景切换。本发明既可以应 用于实时操作(如实时视频压縮)又可应用于非实时操作(如胶片后 期制作)。
对于本发明的这些优点和特征以及其他优点和特征，所属领域的技术 人员在研读了下文中的具体实施方式
和附图之后，将会更加清晰明了。
图1示出了一个使用本发明的场景检测模块的示例性系统的框图； 图2示出了另一个使用本发明的场景检测模块的示例性系统的框图； 图3示出了本发明的场景检测方法的流程图。
具体实施例方式
下文中具体描述了本发明的现有优选实施例。当然，本发明并不局限 于下文中所论述的实施方式或附图中所示的实施方式。更确切地说，说明 书和附图仅仅示出了就目前情况来说本发明的优选实施例。
以下将描述本发明的一个或多个具体实施例。说明书中并未描述具体 实施方案中的全部特征，这是为了简要地描述这些实施例。应该明确，这 种具体实施方案的实施过程和任何一个工程项目或设计项目的实施过程是一样的，实施者都必须针对实施方案做出很多很多的决定，才能实现既 定目标，比如说要遵守系统相关的限制条件和业务相关的限制条件，而 这些限制条件又是随着实施过程的变化而变化的。此外，还应该明确，这 样的实施计划可能会很复杂和耗时，但是，如果普通技术人员能了解本发 明公开内容的优势所在，那么该计划就绝对不只是一个常规的设计、装配、 以及制造过程。
现参照图1，该框图中示出了应用于一个编码装置或编码系统10的本 发明的实施例。编码装置10包括编码器12，比如一个高级视频编码
(advanced video encoding, AVC)编码器，该编码器可连接于场景检测模 块14和后处理模块16。该编码器12在其输入端接收包含一系列静止图 像帧的未压縮电影视频内容数据流。编码器12按照诸如由MPEG制定的 标准通过使用从场景检测模块14中接收的控制信号把未压縮数据流转换 成压縮数据流，该压缩数据流中包含一组帧，该组帧的起始帧是帧内编码 图像帧(I-帧)，且I-帧中的编码视频内容数据对应于原始未编码静止图像 的视觉特征(例如亮度、色度)。这组帧中的后续帧，比如预测编码图 象帧(P-帧)和双向编码图象帧(B-帧)，它们都是基于该组帧中前面的 帧的变化而进行编码的。如上所述，当视频内容数据大幅变化时，新出现 的各组帧和其包含的新的I-帧从场景切换开始，这是因为描述一个新的静 止图像所需的数据比描述两个相邻静止图像间的大幅变化所需的数据要 少。下文以及图3中对本发明的检测方法进行了详细的描述，场景检测模 块14应用该方法检测所接收的未压縮电影视频内容数据流中的一个新场 景，并且向编码器12传输一个控制信号，表明有新的一组帧需要编码。该控制信号可以包含时间戳、指针、同步数据等等，指出新的一组帧应该 出现的时间和位置。在编码器12对未压縮数据流进行压縮之后，压縮数 据流被传到后处理模块16，并在这里对编码数据进行附加处理从而使数据
能够被存储(如，在硬盘驱动(hard disk drive, HDD)中、数字化视频光 盘(digital video disk, DVD)中、高清数字化视频光盘(high definition digital video disk, HD-DVD)中等等)、能够在介质中传输(如，无线、因特网、 广域网(wide area network, WAN)或者局土或网(local area network, LAN)
等等)、能够被显示(如，在电影院里、在数字显示器上(又如等离子 显示器、LCD显示器、LCOS显示器、DLP显示器、CRT显示器)等等)。 现参照图2，该框图中示出了使用色彩校正装置或色彩校正系统20 的本发明的实施例。色彩校正装置20包括色彩校正模块22，比如Avid， Adobe Premiere或者Apple FinalCut色彩校正模块等等，该色彩校正模块 可被连接于场景检测模块24和后处理模块26。该色彩校正模块22在其输 入端接收包含一系列静止图像帧的未压缩电影视频内容数据流。色彩校正 模块22利用从场景检测模块24中接收的控制信号对接收的数据流中的场 景进行色彩校正，并把已校正色彩的数据流传递给后处理模块26。后处 理程序26可以对已校正色彩的数据流实施附加的后期制作方法，例如 对比度调整、胶片颗粒调整(例如去除或插入)等等。应该明确的是， 附加的后期制作方法和系统也可以使用本发明中的场景检测方法。下文及 图3中对本发明的检测方法进行了详细的描述，场景检测模块24采用该 方法来检测所接收的未压缩电影视频内容数据流中的一个新场景，并且向 编码器2传输一个控制信号，表明有一个新场景需要进行色彩校正。该控制信号可以包含时间戳、指针、同步数据等等，用于指出新场景的位置。
现参照图3，图中示出了本发明的检测方法30。该场景检测方法30 用于识别或检测场景切换或场景边界。在步骤32，检测开始；在步骤34， 场景检测模块把一个新场景值设置为0。接下来在步骤36，场景检测模 块读入所接收的未压缩电影视频内容数据流中的一个第一图像。在步骤 38，场景检测模块计算第一图像的直方图，比如通过计算出与预定的色彩 信道值相匹配的第一图像中的像素数目来进行计算。随后在步骤40，场景 检测模块确定是否在所接收的未压縮电影视频内容数据流中有更多图像 将要读入。如果没有，场景检测模块将在歩骤42结束该场景检测过程30。 如果有，场景检测模块在步骤44从所接收的未压縮电影视频内容数据流 中读入下一个图像，并且在歩骤46计算该图像的直方图。然后在步骤48， 场景检测模块计算相邻图像之间的绝对显示帧差分和(sum of absolute display frame difference, SADFD)以及绝对直方图差分和(sum of absolute histogram difference, SAHD)。
例如，使用下面的公式来计算第一对图像的SADFD: S層Df ,=。 f — I p,(i,j) - p2(i,j) I
其中，M是一个图像的宽，N是该图像的高。p,(i,j)是第一图像在像
素(i,j)处的一信道值，P2(i,j)是第二图像在该像素处的一信道值。
使用如下公式计算第一对图像的SAHD: SAHD=S255i=0 I H,(i) - H2(i) I
其中，H"i)是第一图像单一信道中具有i值的像素的数目，H2(i)是第二 图像单一信道中具有i值的像素的数目。应注意的是，当SADFD小于4时，有可能检测出伪场景切换。为了 避免检测出这种伪场景切换，如果计算出的SADFD小于4，则把该SADFD 设置为4。
在步骤50中，场景检测模块确定被处理的图像是否是新场景中的第 一图像。如果是，则在步骤70，把SADFD和SAHD的累计总值设置为0， 并且场景检测模块返回到步骤40，接收未压縮电影视频内容数据流中的下 一个图像。如果否，场景检测模块利用一个加权公式累计得出一个SADFD 总值(TotalSADFD)和一个SAHD总值(TotalSAHD)。已知的能够生成正
确的场景检测结果的示例性的加权公式如下所示
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD
除了0.4和0.6以外，还可以使用其他的加权值。不过，这些加权值 必须能够生成准确的场景检测结果。
之后，为了检测出是否存在场景切换，场景检测模块在步骤52至步 骤68执行所选取的一系列测试。具体来说，每个测试都使用当前读取图 像的SADFD与累计的TotalSADFD的比值，以及当前读取图像的SAHD 与累计的TotalSAHD的比值。
第一场景检测测试从步骤52开始，其中场景检测模块确定当前读取 图像的SADFD是否大于累计的TotalSADFD,并确定该当前读取图像的 SAHD是否大于累计的TotalSAHD。如果否，则在步骤54，场景检测模块 开始进行第二场景检测测试，详见下文。如果是，则在步骤58场景检测 模块生成基于SADFD的比值和基于SAHD的比值。具体而言，生成的比值如下所述
ratioSADFD = SADFD / TotalSADFD ratioSAHD = SAHD / TotalSAHD
接下来在步骤66，场景检测模块计算一个新场景值，如下所示 newscene=(int)( ratioSADFD *4+ ratioSAHD)/8
然后，在步骤68，场景检测模块确定计算出的新场景值是否大于或等 于1。如果新场景值大于或等于1，场景检测模块则生成一个控制信号(如 图2和图3中所示)，且在歩骤70把SADFD和SAHD的累计总值重新设 定为0，然后返回到歩骤40，接收未压缩电影视频内容数据流的下一个图 像。如果新场景值小于l，则在步骤72，场景检测模块按照如下公式调整 SADFD总值和SAHD总值
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD
除了0.4和0.6以外，还可以使用其他的加权值。不过，这些加权值 必须能够生成准确地场景检测结果。随后，场景检测模块返回到歩骤40， 接收未压縮电影视频内容数据流的下一个图像。
如果在歩骤52，场景检测模块确定得出当前读取图像的SADFD不 大于累计的TotalSADFD,或者该当前读取图像的SAHD不大于累计的 TotalSAHD,那么在歩骤54场景检测模块开始进行第二场景检测测试。在 歩骤54，场景检测模块确定当前读取图像的SADFD是否小于累计的 TotalSADFD,并且确定该当前读取图像的SAHD是否小于累计的 TotalSAHD。如果否，则在步骤56场景检测模块开始进行第三场景检测测试，详见下文。如果是，则在步骤60场景检测模块生成基于SADFD的比 值和基于SAHD的比值。具体而言，生成的比值如下所示
ratioSADFD = TotalSADFD / SADFD
ratioSAHD = TotalSAHD / SAHD
接下来在步骤66，场景检测模块计算一个新场景值，如下所示
newscene=(int)( ratioSADFD *4+ ratioSAHD)/8
然后，在步骤68，场景检测模块确定计算出的新场景值是否大于或等 于l。如果新场景值大于或等于1，场景检测模块生成一个控制信号(如 图2禾n图3中所示)，且在歩骤70把SADFD和SAHD的累计总值重新设 定为0，再返回到步骤40接收未压缩电影视频内容数据流的下一个图像。 如果新场景值小于1，则在步骤72场景检测模块按照如下公式调整SADFD 总值和SAHD总值
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD
除了 0.4和0.6以外，还可以使用其他的加权值。不过，这些加权值 必须能够生成准确的场景检测结果。随后，场景检测模块返回到步骤40， 接收未压縮电影视频内容数据流的下一个图像。
如果在歩骤54，场景检测模块确定出，当前读取图像的SADFD不小 于累计的TotalSADFD,或者该当前读取图像的SAHD不小于累计的 TotalSAHD,那么在步骤56场景检测模块开始进行第三场景检测测试。在 步骤56，场景检测模块确定当前读取图像的SADFD是否大于累计的 TotalSADFD,并且确定该当前读取图像的SAHD是否小于累计的TotalSAHD。如果否，场景检测模块则确定得出当前读取图像的SADFD 小于累计的TotalSADFD，且当前读取图像的SAHD大于累计的 TotalSAHD;同时场景检测模块开始进行第四场景检测测试，详见下文。 如果是，在步骤62场景检测模块生成基于SADFD的比值和基于SAHD 的比值。具体而言，生成的比值如下所示
ratioSADFD = SADFD / TotalSADFD
ratioSAHD = TotalSAHD / SAHD
接下来在步骤66，场景检测模块计算一个新场景值，如下所示
newscene=(int)( ratioSADFD *4+ ratioSAHD)/8
然后，在步骤68，场景检测模块确定计算出的新场景值是否大于或等 于l。如果新场景值大于或等于1，场景检测模块生成一个控制信号(如 图2和图3中所示)，且在步骤70把SADFD和SAHD的累计总值重新设 定为0，再返回到步骤40接收未压縮电影视频内容数据流的下一个图像。 如果新场景值小于1 ，则在步骤72场景检测模块按照如下公式调整SADFD 总值和SAHD总值
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD
除了 0.4和0.6以外，还可以使用其他的加权值。不过，这些加权值 必须能够生成准确的场景检测结果。随后，场景检测模块返回到步骤40， 接收未压缩电影视频内容数据流的下 一个图像。
如上所述，如果场景检测模块确定当前读取图像的SADFD小于累计 的TotalSADFD且当前读取图像的SAHD大于累计的TotalSAHD,则在步骤64场景检测模块生成基于SADFD的比值和基于SAHD的比值。具体 而言，生成的比值如下所示
ratioSADFD = TotalSADFD / SADFD
ratioSAHD = SAHD / TotalSAHD
接下来在步骤66，场景检测模块计算一个新场景值，如下所示
newscene=(int)( mtioSADFD *4+ ratioSAHD)/8 然后，在步骤68，场景检测模块确定计算出的新场景值是否大于或等 于1。如果新场景值大于或等于1，场景检测模块则生成一个控制信号(如 图2和图3中所示)，且在步骤70把SADFD和SAHD的累计总值重新设 定为0，再返回到歩骤40接收未压縮电影视频内容数据流的下一个图像。 如果新场景值小于1 ，则在歩骤72场景检测模块按照如下公式调整SADFD 总值和SAHD总值
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD 除了 0.4和0.6以外，还可以使用其他的加权值。不过，这些加权值 必须能够生成准确的场景检测结果。随后，场景检测模块返回到步骤40， 接收未压縮电影视频内容数据流的下一个图像。
如上所述，本发明把绝对直方图差分和(SAHD)以及绝对显示帧差 分和(SADFD)结合起来使用。生成差分元素包括亮度、色度、R、 G、 B 及其他视频元素，但并不仅限于这些元素。
因为本发明是基于以上优选实施例进行描述的，所以本领域的技术人 员会发现，只要不超出本发明的主旨和范围，他们就可以对已公开的实施例进行修改、替换和增补。例如，可以把本文中所描述的设备和方法应用 于硬件、软件或者硬件和软件结合的环境。前提是，所有修改、替换和增 补都必须在本发明的范围内。下文中的权利要求对本发明的范围作出了最 明确的限定。
权利要求
1. 一种用于识别场景切换的方法，该方法包括以下步骤接收包含多个场景的数据流，每个场景包含多个图像(32)；计算一对相邻图像之间的绝对直方图差分和(48)；计算所述一对相邻图像之间的绝对显示帧差分和(48)；通过使用所述绝对直方图差分和以及所述绝对显示帧差分和，确定所述一对相邻图像之间是否存在一个场景边界(50-72)。
2. 根据权利要求1所述的方法，其中，所述确定步骤包括以下步骤把所述绝对直方图差分和和绝对直方图差分和的累计总值进行比较(52-56);且把所述绝对显示帧差分和和绝对显示帧差分和的累计总值进行比较(52-56)。
3. 根据权利要求2所述的方法，其中，所述确定歩骤包括以下步骤基于所述绝对直方图差分和和所述绝对直方图差分和的累计总值之间的所述比较结果，生成绝对直方图差分和的比值(58-64);且基于所述绝对显示帧差分和和所述绝对显示帧差分和的累计总值的 所述比较结果，生成绝对显示帧差分和的比值(58-64)。
4. 根据权利要求3所述的方法，其中所述确定步骤包括以下歩骤把所述绝对直方图差分和的比值和所述绝对显示帧差分和的比值结 合起来(66);且如果所述结合至少等于一个预定的限定，则确定存在所述场景边界(68)。
5. 根据权利要求1所述的方法，其中，所述方法被应用到一个后期制作 过程中。
6. 根据权利要求5所述的方法，其中，该后期制作过程是色彩校正。
7. 根据权利要求5所述的方法，其中，该后期制作过程是对比度调整。
8. 根据权利要求5所述的方法，其中，该后期制作过程是胶片颗粒调整。
9. 根据权利要求1所述的方法，其中，所述方法被合并到一个编码过程 中。
10. —个用于检测场景切换的设备，所述设备包括用于接收(32)包含多个场景的数据流的装置，每个场景包含多个图像；用于计算(48) —对相邻图像之间的绝对直方图差分和的装置； 用于计算(48)所述一对相邻图像之间的绝对显示帧差分和的装置；通过使用所述绝对直方图差分和以及绝对显示帧差分和，确定(50-72) 所述一对相邻图像之间是否存在一个场景边界的装置。
11. 根据权利要求10所述的设备，其中，所述用于确定的装置包括 用于把所述绝对直方图差分和和绝对直方图差分和的累计总值进行比较(52-56)的装置；禾口用于把所述绝对显示帧差分和和绝对显示帧差分和的累计总值进行比较(52-56)的装置。
12. 根据权利要求11所述的方法，其中，所述用于确定的装置还包括基于所述绝对直方图差分和和所述绝对直方图差分和的累计总值之间的所述比较结果，生成(58-64) —个绝对直方图差分和的比值的装置；和基于所述绝对显示帧差分和以及所述绝对显示帧差分和的累计总值的所述比较结果，生成(58-64) —个绝对显示帧差分和的比值的装置。
13. 根据权利要求12所述的方法，其中，所述用于确定的装置还包括 用于结合(66)所述绝对直方图差分和的比值以及所述绝对显示帧差分和的比值的装置；和当所述结合至少等于一个预定的极限值时，用于确定(68)存在所述 场景边界的装置。
14. 根据权利要求IO所述的设备，其中，所述设备被组合到一个后期制 作系统中。
15. 根据权利要求14所述的设备，其中，所述后期制作系统是一个色彩校正系统。
16. 根据权利要求14所述的设备，其中，所述后期制作系统是一个对比 度调整系统。
17. 根据权利要求14所述的设备，其中，所述后期制作系统是一个胶片 颗粒调整系统。
18. 根据权利要求10所述的设备，其中，所述设备被组合到一个编码系 统中。
全文摘要
一种通过使用绝对直方图差分和(SAHD)以及绝对显示帧差分和(SADFD)来检测场景切换的设备(14，24)和方法(30)。该设备(14，24)和方法(30)通过使用同一场景的时间信息来找出变化从而准确地检测场景切换。该设备(14，24)和方法(30)既可以应用于实时操作(如实时视频压缩)又可应用于非实时操作(如胶片后期制作)。
文档编号H04N7/26GK101449587SQ200680054789
公开日2009年6月3日 申请日期2006年6月8日 优先权日2006年6月8日
发明者书 林 申请人:汤姆逊许可公司