专利名称：梳状赝像检测装置和梳状赝像检测方法
技术领域：
本文所讨论的实施方式涉及梳状赝像(combing artifact)检测装置和梳状赝像 检测方法。
背景技术：
在符合全国电视系统委员会(NTSC)标准的电视上显示电影视频时(例如在日本 和美国)或者使用NTSC信号在电视机上显示数字通用盘(DVD)上记录的电影视频时，将24 帧逐行视频(即，电影视频)转换成60场交错视频(S卩，电视电影视频)。
这种类型的转换被称作2:3下拉处理(pulldown process)，在该过程中，以5场为 周期，2场之前的1场重复一次(下文称为"重复场")。具体来讲，以5场为周期，同一场重 复一次，从而产生了帧频为之前帧频的5/4倍的视频。 电视电影视频被设计成显示在诸如阴极射线管(CRT)的交错显示器上；因此，当 电视电影视频被显示在60场交错显示器上时，视频直接向其输出。然而，近年来，视频通常 显示在诸如液晶显示电视机和等离子电视机的逐行显示器上。为了在逐行显示器上显示交 错视频，要对交错视频进行反交错处理，从而将其显示为逐行视频。 反交错的实例包括通过将交错视频的顶场和底场进行组合而得到单帧的方法。当 待转换的交错视频是通过2:3下拉处理得到的电视电影视频时，换言之，当由24帧逐行视 频产生的60帧交错视频被转换成60帧逐行视频时，优选地将由24帧逐行视频的单帧产生 的顶场和底场进行组合。 典型的常规方法是所谓的胶片模式检测，其检测交错视频是否是电视电影视频。 一种已知的对交错视频进行胶片模式检测(即，2:3下拉次序检测)的方法是如下的技术 以像素为单位，计算相对于当前场的图像和当前场之前的第二场的图像的帧间绝对差(特 征值)之和，并且通过使用其中关联性高的场以5场为周期重复一次的特性来执行胶片检 测/非检测(例如参见日本特开专利公报No. 2007-300152)。因为采用这种方式检测重复 场，所以利用反交错可以正确地组合顶场和底场。 在典型的反交错处理中，假设重复场周期性地循环，则当检测到胶片模式并且确 定了重复场出现的时序时，执行反交错处理，同时保持胶片模式。然而，例如，在制作商业视 频以供宣传的过程中，虽然优选地通过编辑电影视频然后将编辑后的电影视频转换成电视 电影视频来制作商业视频，但是大多数商业视频是通过编辑电视电影视频而制成的。因此， 在某些部分中，5场周期变得不规则。 因为在编辑后的交错电影视频中5场周期有时会中断，所以当使用上述方法来检
测胶片模式并通过基于检测结果对场进行组合来执行反交错处理时，在某些情况下，位于 编辑点两侧的视频图像会被组合。当位于编辑点两侧的图像以此方式被组合时，60-逐行扫 描帧是通过将获得自电视电影视频的不同场的顶场和底场进行组合而生成的，这造成了梳 状赝像。 提出本发明来解决传统系统的以上问题；本发明的目的在于提供一种胶片模式检测装置、梳状赝像检测方法和胶片模式检测装置，它们能够通过高精度地检测梳状赝像来 提高编辑后的电影视频的编辑点的检测性能，并且能够通过实现快速脱离胶片模式和正确 的图像组合来生成高品质图像。
发明内容
根据本发明的一个方面，一种梳状赝像检测装置包括特征值计算单元，其根据输 入图像来计算特征值；胶片模式检测单元，其利用该特征值来检测胶片模式；像素差计算 单元，其利用作为胶片模式检测结果的2:3下拉次序检测信息和输入图像组合信息，来计 算场间像素差；亮度变化确定单元，其基于像素差计算单元的计算结果来确定亮度差；梳 状赝像候选检测单元，其基于亮度变化确定单元的确定结果来检测每行的梳状赝像候选； 以及梳状赝像确定单元，其基于梳状赝像候选检测单元的检测结果来确定每个图像是否出 现了梳状赝像。 本发明的目的和优点将通过权利要求书中具体指出的元件和组合来实现和获得。
要理解的是，上述总体描述和下面详细描述都是示例性的和说明性的，不是对所 要求保护的本发明的限制。
图1是说明根据本发明实施方式的胶片模式检测装置的构成的框图； 图2是说明视频图像转换的框图； 图3是说明编辑点和出现梳状赝像的框图； 图4是说明检测梳状赝像的方法的框图； 图5是说明检测梳状赝像的处理的流程图；而 图6是说明根据本实施方式的变型例的胶片模式检测装置的框图。
具体实施例方式
将参照附图来说明本发明的优选实施方式。 图1是说明根据本发明实施方式的胶片模式检测装置1的构成的框图。如图1所 示，胶片模式检测装置1包括场存储器10、特征值计算单元11、胶片模式检测单元12和梳 状赝像检测单元20。 场存储器10内存储有输入图像的至少两个场。特征值计算单元11读出当前场的 视频图像F(n)和当前场之前的第二视频图像F(n-2)，并且以像素为单位计算帧间的绝对 差，即特征值。 特征值计算单元11计算出的特征值说明表示高关联性的场以5场为周期出现一 次。通过利用这种特性，胶片检测单元12执行胶片检测/非检测，并将检测结果输出到再 现装置2。 参照图2来描述视频图像转换。如图2所示，利用将24帧逐行视频(电影视频) 转换成60场交错视频的2:3下拉处理(即，电视电影转换)，与24帧逐行视频的第一帧相对 应的帧24P(1)产生分别与60场交错视频的第一场和第二场相对应的场60i(1)和60i(2)。
与24帧逐行视频的第二帧相对应的帧24P(2)产生分别与60场交错视频的第三场、第四场和第五场相对应的场60i (3) 、60i (4)和60i (5)。 在60场交错视频中，场60i (1) 、60i (3)和60i (5)是顶场，而场60i (2)和60i (4) 是底场。具体来讲，60场交错视频中的场60i(3)和60i(5)是由帧24P(2)产生的顶场，60 场交错视频中的场60i(5)是场60i(3)的重复场。 当检测到重复场时，胶片模式检测单元12将表明"检测到了胶片模式"的检测结 果，连同表明哪个场对应于重复场的信息，发送给进行反交错处理的再现装置2。
如图1所示，再现装置2包括变换反交错单元31、运动补偿反交错单元32和组合 单元33。变换反交错单元31是这样一种处理单元它通过将交错视频的顶场和底场进行 组合，将该交错视频转换成逐行视频。运动补偿反交错单元32是这样一种处理单元它通 过检测交错视频中场间运动并且进行插值处理，将该交错视频转换成逐行视频。组合单元 33将从变换反交错单元31和运动补偿交错单元32得到的交错结果中的一个设置成有效的 (effective)。具体来讲，当组合单元33接收到胶片模式检测单元12的表明胶片模式状态 的检测结果时，组合单元33将变换反交错单元31的输出变为有效。 如图2所示，对于变换交错来讲，由电影电视转换中的帧24P(1)产生的顶场 60i(l)与由电影电视转换中的24P(1)产生的底场60i(2)进行组合，并且产生了60帧逐行 视频的第二帧60P(2)和第三帧60P(3)。通过使用类似于上述变换反交错的方式而产生的 场，产生了 60帧逐行视频中的第一帧60P(1)。 通过这样将源自24帧逐行视频的同一帧的顶场与底场进行组合，得到的帧 60P(2)和60P(3)是高品质的图像且没有梳状赝像。 类似地，通过将由电影电视转换中的帧24P(2)产生的顶场60i(3)与由电影电视 转换中的24P(2)产生的底场60i(4)进行组合，产生了 60帧逐行视频中的第四帧60P(4) 和第五帧60P(5)。 另外，与重复场相对应的场60i(5)是由帧24P(2)产生的。因此，通过将底场 60i (4)与顶场60i (5)进行组合，产生了 60帧逐行视频中的第六帧60P(6)。
通过重复上述处理，只要重复场是正确排序的，就可以正确地执行顶场与底场的 组合，所述顶场和所述底场源自同一帧并且经历了 24帧逐行视频到电影电视的转换。
然而，如图3所示，在编辑60场交错视频时，重复场中出现了时序偏移。当时序偏 移保持现状时，在反交错处理中不希望被组合的场被错误地组合，即，错误地组合了经历24 帧逐行视频到电影电视转换的顶场和底场。结果，出现了梳状赝像。 根据图3所示的实例，在电影电视转换过程中，通过编辑删除了 60场交错图像中 的第四场60i(4)和第五场60i(5)。利用这种编辑处理，没有被编辑的场60i(6)至60i(12) 被转换成编辑过的场60i(4)'至60i(10)'。 对于图3所示的实例，场60i(4)'对应于编辑点。在这种状态下执行反交错处理 时，60帧逐行视频中的帧60P(4)和60P(5)分别与由24帧逐行视频中的第二场24P(2)产 生的顶层和由24帧逐行视频中的第三场24P(3)产生的底层进行组合，由此在图像中造成 了梳状赝像。 因为这种偏移是周期性地出现的，所以在60帧逐行视频中的后续帧60P(9)和 60P(10)中周期性地出现了梳状赝像。 因此，对于根据本实施方式的胶片模式检测装置l，按照以下方式来进行梳状赝像检测梳状赝像检测单元20输出作为胶片模式检测单元12的检测结果而获得的各个场的 组合信息和2:3下拉次序的检测状态。 梳状赝像检测单元20包括场间像素差绝对值计算单元21、亮度变化确定单元22、 梳状赝像候选检测单元23和梳状赝像确定单元24。 参照图4和图5来描述梳状赝像检测单元20执行的处理。图4是说明检测梳状 赝像的方法的框图。 在梳状赝像检测单元20中，场间像素差绝对值计算单元21针对待组合的两个场
来计算场间绝对差，该绝对差是基于胶片模式检测结果由组合信息得到的。 亮度变化确定单元22提取包含连续排列的Nx或更多个像素的像素组合，在该像
素组合中，像素的亮度值(即，场间绝对差)超过了阈值。 当某一行包括含亮度变化确定单元22所确定的连续排序的Nx或更多个像素的Mx 或更多个像素组合时，梳状赝像候选检测单元23确定该行是梳状赝像候选，并且为该行设 置梳状赝像候选标记。 当梳状赝像候选的Ny或更多行连续排列时，梳状赝像确定单元24确定随后要组 合的两个场具有梳状赝像。 当梳状赝像检测单元20确定出现了梳状赝像时，胶片模式检测单元12将2:3下 拉次序的检测状态切换到非检测状态，从而不能执行胶片模式检测。 图5是说明梳状赝像检测单元20的操作的流程图。梳状赝像检测单元20选择场 中的第一个像素作为待处理的像素(步骤S101)。 场间像素差绝对值计算单元21针对待处理的像素来计算场间像素绝对差(步骤 S102)。当计算出的场间像素绝对差小于阈值(步骤S103的"否")时，场间像素差绝对值 计算单元21确定当前像素是否是图像中的最后一个像素(步骤S104)。如果该像素不是 最后一个像素(步骤S104中的"否")，则场间像素差绝对值计算单元21选择下一个像素 (步骤S105)，并且处理控制返回到步骤S102。如果针对最后一个像素的处理结束而没有检 测到像素绝对差等于或大于阈值的像素(步骤S104中的"是")，则处理控制结束。
当计算出的所选像素的场间像素绝对差等于或大于阈值时(步骤S103中的 "是")，亮度变化确定单元22将当前像素的位置确定为基准(步骤S106)并且确定基准行 (即，从基准沿着图4所示方向(X方向)延伸的行)中的亮度变化(步骤S107)。
利用亮度变化的确定结果，梳状赝像候选检测单元23确定基准行是否是梳状赝 像候选的行(步骤S108)。具体来讲，如果基准行包括像素绝对差等于或大于阈值的Nx或 更多个连续像素，则梳状赝像候选检测单元23确定具有Mx或更多个像素组合的行是梳状 赝像候选行，在所述像素组合中，连续排列了 Nx或更多个像素。 如果基准行是梳状赝像候选行(步骤S108中的"是")，则梳状赝像确定单元24确 定是否有连续Ny个梳状赝像候选行(步骤S109)。如果有连续Ny个梳状赝像候选行(步 骤S109中的"是")，则梳状赝像确定单元24确定这些梳状赝像候选行是梳状赝像，并且处 理控制结束(步骤S112)。 另一方面，如果基准行不是梳状赝像候选行(步骤S108中的"否")，并且如果有 Ny或少于Ny个连续梳状赝像候选行(步骤S109中的"否")，则梳状赝像确定单元24确定 当前基准行是否是场中最后一行(步骤S113)。如果当前基准行不是场中最后一行，则梳状赝像确定单元24将基准移动到下一行的第一个像素(步骤S114)，并且处理控制返回到步 骤S107。如果当前基准行是最后一行(步骤S113中的"是")，则处理控制结束，而不指示 梳状赝像。 梳状赝像检测单元20通过基于胶片模式检测结果(2:3下拉次序的检测状态和 组合信息)以像素为单位提取场间绝对差，来确定亮度变化(亮度)，并且当存在亮度变化 (亮度)的预定或者更多组合时检测梳状赝像。 利用梳状赝像检测结果，即梳状赝像的状态，胶片模式检测单元12将2:3下拉次 序的检测状态从检测状态切换到非检测状态。 对于传统的胶片模式检测技术而言，即使存在使用当前场来编辑的电影视频，也 基于恰好在编辑前得到的胶片模式检测结果(2:3下拉次序的检测状态和视频图像的组合 信息)来执行视频图像的组合。因此，使用当前场来输出视频时，出现了梳状赝像，造成了 传统技术中存在的问题。相比之下，利用梳状赝像检测单元20的构成，解决了这样的问题， 并且可以改进编辑后的电影图像的编辑点的检测性能。因此，通过实现快速脱离胶片模式 和正确的图像组合，可以产生高品质图像。 实施方式中所描述的构成和操作只是个例子。本发明不限于上述构成和操作。以 示例性构成的方式描述了这样的实施方式，其中，将梳状赝像的检测结果返回到胶片模式 检测单元12。然而，取代该构成，可以将梳状赝像的检测结果输出到外部单元，并且该外部 单元响应于胶片模式和梳状赝像的检测结果而工作。 图6中示出了该实施方式的变型的具体例子。对于图6所示的胶片模式检测装置， 梳状赝像检测单元20a将梳状赝像确定单元24a的确定结果输出给外部单元，胶片模式检 测单元12a在不使用梳状赝像检测结果的情况下检测场模式，并且将检测结果输出到该外 部单元。因为其它构成和操作与图1所示的胶片模式检测装置1中的相同，所以与胶片模 式检测装置1中使用的组件相同的组件被分配了相同的标号，并且这里省略了对它们的描 述。 在实施方式中，梳状赝像检测单元20包括在胶片模式检测装置1中。然而，构成 并不限于此。例如，梳状赝像检测装置可以被构造为独立的单元。 根据实施方式的一个方面，利用胶片模式检测装置、梳状赝像检测方法和胶片模 式检测装置，通过以高精度检测梳状赝像，可以改进编辑后的电影视频的编辑点的检测性 能。因此，通过实现快速脱离胶片模式和正确的图像组合，可以产生高品质图像。
权利要求
一种梳状赝像检测装置，该梳状赝像检测装置包括特征值计算单元，其根据输入图像来计算特征值；胶片模式检测单元，其利用该特征值来检测胶片模式；像素差计算单元，其利用作为胶片模式检测结果的2∶3下拉次序检测信息和输入图像组合信息，来计算场间像素差；亮度变化确定单元，其基于该像素差计算单元的计算结果来确定亮度变化；梳状赝像候选检测单元，其基于该亮度变化确定单元的确定结果，针对每一行来检测梳状赝像候选；以及梳状赝像确定单元，其基于该梳状赝像候选检测单元的检测结果，针对每个图像来确定是否出现了梳状赝像。
2. 根据权利要求l所述的梳状赝像检测装置，其中，所述像素差计算单元利用所述2:3下拉次序检测信息和所述组合信息，以像素为单 位来计算相关输入图像之间的亮度绝对差；并且所述梳状赝像候选检测单元基于所述亮度绝对差超过阈值的连续像素的组合，来检测 所述梳状赝像候选。
3. 根据权利要求2所述的梳状赝像检测装置，其中，当单行上有预定数量或更多个所 述连续像素的组合时，所述梳状赝像候选检测单元确定所述行为梳状赝像候选行。
4. 根据权利要求3所述的梳状赝像检测装置，其中，当预定数量或更多个行被确定为 所述梳状赝像候选行时，所述梳状赝像确定单元确定在所述输入图像中出现了梳状赝像。
5. 根据权利要求1至4中任一个所述的梳状赝像检测装置，其中，所述胶片模式检测单 元利用所述梳状赝像的确定结果来检测所述胶片模式。
6. —种检测梳状赝像的方法，该方法包括以下步骤计算步骤，利用与连续输入图像有关的2:3下拉次序检测信息和与这些连续输入图 像有关的组合信息，来计算相关输入图像之间的像素差；检测步骤，基于所述计算的结果，针对输入图像的每一行来检测梳状赝像候选；以及 确定步骤，基于所述检测的结果，针对每个输入图像来确定是否出现了所述梳状赝像。
7. 根据权利要求6所述的方法，其中，所述计算步骤包括利用所述2 : 3下拉次序检测信息和所述组合信息，以像素为单位 来计算亮度的绝对差，并且所述检测步骤包括基于所述亮度的绝对差超过阈值的连续像素的组合，来检测所述梳 状赝像候选。
8. 根据权利要求7所述的方法，其中，所述检测步骤包括当单行上有预定数量或更多 个所述连续像素的组合时，将所述行确定为梳状赝像候选行。
9. 根据权利要求8所述的方法，其中，所述确定步骤包括当预定数量或更多个行被确 定为所述梳状赝像候选行时，确定在所述输入图像中出现了梳状赝像。
10. —种胶片模式检测装置，该胶片模式检测装置包括 特征值计算单元，其根据输入图像来计算特征值； 胶片模式检测单元，其利用该特征值来检测胶片模式；像素差计算单元，其利用作为胶片模式检测结果的2 : 3下拉次序检测信息和输入图像组合信息，来计算场间像素差；亮度变化确定单元，其基于该像素差计算单元的计算结果来确定亮度变化；梳状赝像候选检测单元，其基于该亮度变化确定单元的确定结果，针对每一行来检测梳状赝像候选；以及梳状赝像确定单元，其基于该梳状赝像候选检测单元的检测结果，针对每个图像来确定是否出现了梳状赝像。
11.根据权利要求10所述的胶片模式检测装置，其中，所述胶片模式检测单元利用所述梳状赝像的确定结果来检测所述胶片模式。
全文摘要
本发明提供了一种梳状赝像检测装置和梳状赝像检测方法，该梳状赝像检测装置包括特征值计算单元，其根据输入图像来计算特征值；胶片模式检测单元，其利用该特征值来检测胶片模式；像素差计算单元，其利用作为胶片模式检测结果的2∶3下拉次序检测信息和输入图像组合信息，来计算场间像素差；亮度变化确定单元，其基于该像素差计算单元的计算结果来确定亮度变化；梳状赝像候选检测单元，其基于该亮度变化确定单元的确定结果，针对每一行来检测梳状赝像候选；以及梳状赝像确定单元，其基于该梳状赝像候选检测单元的检测结果，针对每个图像来确定是否出现了梳状赝像。
文档编号H04N5/44GK101729841SQ200910208090
公开日2010年6月9日 申请日期2009年10月27日 优先权日2008年10月27日
发明者松冈秀树, 浜野崇 申请人:富士通株式会社