专利名称：场序列检测器、方法和视频设备的制作方法
技术领域：
本发明总地来说涉及视频设备，并更具体地涉及场序列(例如3:2/2:2下拉)检测器。
背景技术：
运动图片被存储为视频。运动图片代表一序列静止图像，当该一序列静止图傳被显示时呈现出运动的外观。图像可存储为"帧"或"场"。帧代表单个静止图像。与此相对，场通常代表静止图像中的每隔一个的水平线(或行)。 一般地，可以认为帧是形成图像的2个场的组合。
场通常称为奇数场和偶数场，其中奇数场包含帧的奇数线，而偶数场包含帧的偶数线。
北美的模拟电视是遵循NTSC标准而播放的，并使用隔行扫描场(interlaced fields )。 NTSC标准要求每秒呈现约60(精确地说是59.4)个场。接收并呈现出连续的场。人眼将两个连续的场感知为单个的帧。
多数影院胶片是以每秒24张图像的速率来摄制的。因而，在历史上对于模拟NTSC电视使用被称为3:2下拉的处理来转换影院胶片。该转换具体如图l所示。如图示，将表示为帧ABCDE…的一序列胶片图像分成偶数和奇数场，并每隔一帧的一个场被重复。结果得到的场序列是A0AEA0BEB0CEC0CED0DEE0EEE(v..。于是，每两帧中的一个帧的场以三个场来表示，而由每两帧中的另一个帧形成的场以仅两个场来表示。于是将24帧转换为60个隔行扫描场。
在欧洲，模拟电视是遵循PAL或SECAM标准而发送的。这些标准要求每秒50个隔行扫描场。使用被称为2:2下拉的处理而对模拟PAL/SECAM电视来转换影院胶片。该转换也如图l所示。如图示， 一序列胶片帧ABCDE…用来形成相对应的偶数和奇数场。各偶数和奇数场每隔一帧显示一次。所得的场序列是AoAEB。BECoCEDoDEEoEE…。于是将24帧转换为约50(即48)个隔行扫描场。然而较新的电视机、计算机和类似的显示器不再显示隔行扫描的视 频。这种显示器一行接着一行顺序地显示视频。因而，如数字多用光盘
(DVB)播放器、计算机游戏等较新的视频输出设备一行接着一行逐行地输 出视频。
要由这种逐行扫描设备呈现的视频通常是来自于作为场而提供的视 频。例如，许多DVD仍将视频存储为必须要被去隔行(de-interlaced) 的MPEG(或是MPEG2)数据的场。而且，许多这种源将视频存储为胶片 模式的场(例如3:2下拉或2:2下拉)。逐行扫描设备必须能够从隔行扫描 数据准确地组装逐行扫描帧。因此它们必须能够检测场序列(常称作韵律) 以正确地组合场从而形成帧。为此，许多源(如DVD)都以标志来编码，该 标志意在指示所存储的视频是否以胶片模式存储。然而不幸的是视频时常 编辑得很差视频被分开并以破坏或更改序列的方式而组装。类似地，视 频时常不带这些标志而被传送或播放。简而言之，标志是不可信赖的。
结果，已知其它的场序列检测器(或韵揮:检测器)。若干个检测器比较 相邻场中的像素之间的差。如果源视频是以胶片模式存储的，则该差遵循 可预测的图案(pattern )。然而许多检测电路不能健壮地区分噪声、緩慢 移动、将隔行扫描与胶片模式素材叠加的内容、高频成分、以及传统的隔 行扫描的内容。
其它技术包括逐场地分析运动向量数据。然而这种技术十分复杂。
因而，需要一种能够轻易和快速g测胶片模式视频的存在的场序列 检测器和方法。
发明内容
根据本发明的一个方面，场序列检测器通过评价假想的去隔行化的图 4象的垂直频率成分来确定多个视频场的场序列。假想图像是从当前被处理 的场和相邻的(例如前一或下一)场而形成的。如果假想图《象中的垂直频率 成分比较高(例如高于图像的1/2奈查斯特频率)，则假想图^N^评价为包 含伪影，且很可能由属于不同帧的场而形成。如果频率成分比较低，则假 想图像^L评价为由相同帧的两个互补的场而适当组装的。 一系列场中的场 序列可4吏用若干个场的被评价的频率成分来确定。
根据本发明的一个方面，提供了一种检测一系列视频的场的场序列的 方法。该方法包括通过评价沿着对来自当前被处理的场的交替的行和来自相邻的场的行进行交织而形成的第一假想图像的垂直方向的频率成分， 处理所述一 系列场的每一个，以确定所述第 一假想图4象中的高频垂直伪影
的存在；从被确定为具有高频垂直伪影的第一假想图像的序列中检测所述 一系列场中的所述场序列。
根据本发明的另一方面，提供了一种用于检测一系列视频的场的场序 列的检测器。所述检测器包括第一频率分析器，用于评价在通it)tt来自
假想图l象中的垂直频率成分；处理器，所述处理器与所述第一频率分析器 通信，以从所述一系列场的若干个当前被处理的场的所述被评价的垂直频 率成分中确定所述一 系列场的所述序列。
根据本发明的又一方面，提供了一种用于检测一系列视频的场的场序 列的设备。所述i殳备包括用于处理所述一系列场的每一个，以构造通过
的第一假想图像的至少一部分的装置；用于评价沿所述第 一假想图像的垂 直方向的频率成分，以确定所述第 一假想图4象中的高频垂直伪影的存在的 装置；用于通过分析所述一系列场中的若干个的所述^L评价的频率成分， 来险测所述一 系列场中的所述场序列的装置。
根据本发明的又一方面， 一种方法包括对于多个视频场的每个场，
交织而形成的关联的假想图像的至少一部分；评价所述关联的假想图像的 每一个的垂直方向的频率成分，以确定其中高频垂直伪影的存在；>^被确 定为具有高频垂直伪影的关联的假想图像的序列中确定所述多个场中的 场序列。
根据本发明的又一方面，提供了一种处理一系列视频的场的方法。对 于各个场，评^it过对来自所述场的交替的行和来自相邻场的行进行交织 而形成的关联的假想图像的垂直方向的频率成分；基于所述评价，将所述 关联的假想图像的每个归类为具有或不具有高频垂直伪影。
本发明的方面可作为存储在计算机可读介质上的计算机可读指令而 实施。
通过结合附图阅读以下对本发明的具体实施例的"i兌明，本发明的其它 方面和特;M"本领域的普通技术人员来说是明显的。
附图仅作为示例而示出了本发明的实施例，在附图中，
图1示意性示出将胶片帧编码为隔行扫描的胶片模式(3:2下拉和2:2 下拉)场的序列；
图2是包括作为本发明的实施例的实例的场序列检测器在内的视频 设备的简化示意性框图3是图2的场序列检测器的简化示意才匡图4A和4B分别是不包括和包括垂直伪影的图像的频谱；
图5A 5D是示出了对于各种假想图像接近高频垂直成分的像素的 分布的直方图6是示出了由作为^^发明的实施例的实例的图3的场序列检测器所 进行的步骤的流^呈图；以及
图7A和7B示出了对3:2下拉和2:2下拉场序列中的示例场进行去隔 行4t的编织图案(weave pattern )。
具体实施例方式
图2示出了用于生成逐行扫描视频输出信号的视频设备10。视频设 备10包括作为本发明的实施例的实例的场序列检测器20。视频设备10 可以是适于对数字视频进行解码和/或呈现的任何设备。设备10可以是例 如计算设备、电祝机、用于接收线缆、卫星、广播或类似视频信号的机顶 盒、DVD播放器等。
可以明显地看出，场序列检测器20判断一系列场的相邻场是否可能 来自于相同或不同的帧。序列检测器20依赖于这一观察将不同帧的场 组M来通常导致图像在垂直方向具有高频伪影，而将来自相同帧的互补 场组^来则不导致这种伪影。
如图示，视频设备10包括数字化视频的视频源12，其将一序列视频 场提供给帧緩冲器18。在图2的实施例中，视频源12提供解码的视频， 该视频存储为例如来自MPEG源14的MPEG 1或2视频。MPEG源14 可以是例如MPEG编码的视频的源，并可以是例如由适当的读取器读取 的DVD。 MPEG源14可以类似地成为由卫星或线缆电视信号、或数字广播电视信号携带的解调MPEG流。解码器16将数字流解码为光栅化的视 频帧或场。例如，对于隔行扫描的源，解码器16将隔行扫描的视频解码 为奇数和偶数场，并将这些场提供给帧緩冲器18。
当然，本发明可同等地应用于DVD以外的、不是来自MPEG的视频。 例如，视频可以是MPEG4; H.264; Quicktime的格式。视频源12可提 供如视频卡式录^4^的模拟视频源的数字化版本。与视频源12关联的任 何音频可以被单独提取并以传统方式放大，此处不再详述。
在,情况下，视频源12的输出都作为光栅化的视频的场而提供给 帧緩冲器18。场序列检测器20与帧緩冲器18和视频块22相互连接。
如图示，视频块22包括去隔行器24、行緩冲器26、叠加生成器27 和数字-模拟转换器(DAC)28。视频块22逐行地将帧緩冲器18中的像素 数据转换成模拟输出，以显示在如计算机监视器、电g等的显示器上。 要由DAC转换的行中的数据存储在行緩冲器内，在行緩冲器中该数据可 按本领域的普itA员所理解的传统方式被缩放或与附加视频信息相叠加。 提供给行緩冲器26的数据通过去隔行器24从帧緩冲器18提供。此外， 图案、字幕等形式的叠加可由叠加生成器27生成。
去隔行器24掌管着将帧緩冲器18内的视频的行转换成模拟视频的次 序。去隔行器24的操作模式受到场序列检测器20控制。在替代的实施例 中，视频块22可不需DAC而直接输出数字数据，以驱动基于像素的数字 显示器(如LCD、数字光处理(DLP)显示器等)。
要注意，奇数场包含视频帧的奇数行，而偶数场包含视频帧的偶数行。 帧緩冲器18在任何给定时刻存储至少三个场这些场可认为是前一场、 当前场和下一场。优选地，帧緩冲器18以先进先出方式工作每当新的 场>^视频源12到达时即丢弃旧的场，而前一场、当前场和下一场被逐场 *储在相同位置。可以明显看出，去隔行器24从当前场和下一场或当 前场和前一场组装提供给DAC 28的逐作现频的帧。
解码器16、帧緩冲器18、视频块22和胶片序列检测器20各自可使 用普通人员所熟悉的传统的半导体设计和制造工艺来形成。
图3进一步示出了作为本发明的实施例的实例的场序列检测器20 (和 帧緩冲器18)。
如图示，场序列检测器20包括地址生成器/数据解码器30，其用于在 帧緩沖器18内的地址处生成如下所述被处理的像素值。像素值通常代表像素的色彩和/或浓度。
场序列检测器20依赖于通过交织来自相邻的场一一当前场和前一场 的交替的行而形成的假想图像和/或通过交织来自当前场和下一场视频的 交替的行而形成的假想图像的垂直方向上的频率成分。如果假想图像包含 高频伪影，则相应的源场有可能以不同的帧而形成，并且不应被组合以形 成去隔行化的图像。
在一个实施例中，对假想图像内的垂直方向上的频率成分进行评价。 具体地，对假想图像中的全部或许多像素周围的垂直方向上的频率成分进 行确定，以将假想图像归类为具有比较高(H)或低(L)的垂直频率。
为此，在第一实施例中，地址生成器/数据解码器30在通过组合当前 和相邻场而形成的假想图像中，顺序地生成关心的像素周围的列内的值。 也即，对于假想图像内的坐标为(x, y)的各像素，地址生成器/数据解码器 30从当前场、下一场和前一场生成十个地址和相应的像素值紧挨着的 前一场内的像素在緩冲器18内的地址Pa(x， y)(对应于假想图^/帧中的像 素F(x， y))和像素值P(x， y);紧接着的随后的(即下一)场中的地址 N a(x， y)和《象素值N(x， y)，以及当前场、前一场和下一场中像素正上和正 下方的像素的地址。
《象素的地址(由下标A表示)可在数学上表示为
Pa(x，y-2) =FCPA(x，y-2)
Pa(x，y) =FCPA(x，y)
Pa(x，y+2)=FCPA(x，y+2)
Na(x，y-2) =FCNA(x，y-2)
Na(x，y) =FCNA(x，y)
Na(x，y+2)=FCNA(x，y+2)
Ca(x，y-3) =FCNA(x，y-3)=FCPA(x，y曙3)
Ca(x，y-1) =FCNA(x，y-i)=FCPA(x，y-i)
Ca(x，y+l)=FCNA(x，y+i);=Fcpa(x，y+i)，
Ca(x,y+3)=FCNA(x，y+3)=Fcpa(x，y+3)
其中(x， y)代表假想图H7帧内的坐标；P、 N和C代表前一场、下一 场和当前场;FCN代表通过将当前场与下一场组M来而形成的假想图像而Fcp代表通过将当前场与前一场组^来而形成的假想图像。注意，为 了简便,地址是参考所构造的图^/帧来表达的。坐标可类似地表示为场P、 N和C内的坐标。
地址生成器/数据解码器30还输出在所生成的地址处緩冲器18的值。 为此，地址生成器/数据解码器30可进一步包括緩冲器(未示出)，其将 帧緩冲器18内的数据存储在指定的像素地址处。在十个所生成的地址处 的像素值可由地址生成器/数据解码器30从帧緩冲器18中顺序地读取。
下面，使用指定的地址处的緩冲器18内的像素，有可能重建代表可 能的去隔行化的帧的假想图像FcN或Fcp中的列的部分。例如，像素序列
C(x， y画3); P(x， y-2); C(x， y國l); P(x， y); C(x， y+l); P(x， y+2); C(x, y+3)代表从前一场和当前场构造的假想图像Fcp内的、以坐标(x， y) 处的像素为中心的七个像素的列。
类似地，像素序列
C(x， y-3); N(x, y-2); C(x， y画l); N(x， y); C(x, y+l); N(x， y+2); C(x， y+3)代表从当前场和下一场构建的假想图像FCN内的、以坐标(x， y)处的〗象素为中心的列的部分。
场序列检测器20还包括2个频率分析器当前场和前一场(CP)频率 分析器44;以及当前场和下一场(CN)频率分析器38。频率分析器38、 44 的每个对所提供的像素值的序列进行频率分析。在所图示的实施例中，频 率分析是由各分析器38、 44使用图像内七个垂直排列的像素来进行的。 当然，也可将更多或更少的像素用于频率分析。
具体地，频率分析器38对在緩冲器18内的地址Ca(x， y-3); PA(x， y國2); Ca(x， y-l); PA(x, y); CA(x， y+l); PA(x， y+2); CA(x， y+3)处的 4象素序列C(x， y國3); P(x， y-2); C(x， y-l); P(x， y); C(x, y+l); P(x， y+2); C(x， y+3)进行频率分析。
频率分析器44对在緩冲器18内的地址Ca(x， y-3); NA(x， y-2); CA(x， y画l); Na(x, y); CA(x， y+l); NA(x, y+2); CA(x， y+3)处的像素序列C(x， y國3); N(x， y-2); C(x， y-l); N(x， y); C(x， y+l); N(x， y+2); C(x, y+3) 进行频率分析。
很明显，各频率分析器38、 44可对所提供的像素序列的值进行快速 傅立叶分析、离嘲:傅立叶分析、小波分析、离散小波分析或类似的频率分 析。注意，通过对来自两个不同帧的两个场进行隔行化而形成的图像通常 导致可见的伪影，该伪影常称为"梳状图案"、"鼠齿"、"撕裂状"、"羽状" 或"锯齿状"。具有这种伪影的一序列垂直4象素的频率成分一般相当高， 且通常呈现不同的特征。相反，由相同帧的偶数和奇数场形成的图像的一
列4象素的频率成分则比较低。具体地，图4A和4B分别示出了不带和带 有垂直伪影的典型图像的垂直频率成分。注意，在大于1/4卑^样频率(即奈 查斯特频率的一半)的频率处的频率成分对于包含垂直伪影的图4象(图4B) 比不包含这种伪影的图像(图4A)更显著。
检测器20利用由相邻场形成的假想图像的频率成分来检测场序列， 如3:2下拉、2:2下拉或其它场序列。
现在各分析器38、 44输出所分析的像素的频语质量的度量。在图示 的实施例中，由^析器38、 44计算的度量是频率高于某阈值频率(通常 是1/4取样频率或者说奈查斯特频率的一半)的主要频率成分的振幅。分析 器38、 44可通过将频谱的部分的本地最大值定位于高于该阈值频率，并 输出关联的振幅来作到这一点。
此外，分析器38、 44还可有选择地验汪该本地最大值确实可能代表 由垂直伪影导致的主要频率。为此，分析器38、 44可IHE垂直频率成分 接近关心的像素(x， y)，近似于包含伪影的假想图像的垂直频率特征。具 体地，如图4B所示，因垂直伪影造成的频率成分仅在频镨的上半部分的 频率处才显现自身。另外，关联频率的振幅一般增加。已发现该频镨图案 是所述"编织，，伪影的特征。于是，分析器38、 44可另外地^i对于每 个关心的像素存在这一或类似的特征。分析器38、 44可通过确定该频镨 内容的振幅一般在奈奎斯特频率的0.5和0.75之间增加来实现这一点。作 为替代，分析器38、 44可确定在奈查斯特频率的0.5 ~ 0.625、 0.625 ~ 0.75 和0.75 ~ 0.875的频镨域中的本地最大值增加。其它技术也有可能。在任 何情况下，如果分析器38、 44未能验证特征的存在，则它们可输出值"0"， 否则可输出频镨上半部分中的频镨成分的最大值。
附加的差计算器52计算下一图像N和上一图像P中的坐标(x， y)处 的l象素之间的绝对差。
处理器50经由滤波器46和累加器组42、 48和50与分析器38、 44 和差计算器52通信，以读取分析器38、 44和差计算器52的输出，以评 价备底想图像的频率成分并检测场序列。广义地说，处理器50评价频率 成分以将假想图像归类为包含作为伪影的结果而预期的高频成分(H)、或包含在恰当形成的图像中预期的低频成分。
滤波器46可通过对多个相邻4象素求出频率度量的平均值或滤波该频 率度量，从而去除与前次生成的数据不一致的数据或使该数据平滑。
对于各当前场，将滤波器46的输出提供给累加器组42、 48。累加器 组形成累加直方图，该累加直方图反映出频率分析器38、 44对于整个当 前场的M想图像的输出。很明显，累加器组42和48对频率度量落AJL 定范围内的所分析像素的数量进行计数，于是为假想图像提供累加的频率 度量的直方图。同样，各累加器组42、 48可包括多个寄存器，每一寄存 器对应于a定范围。具体地，累加器组42、 48对滤波器38、 44的输出 度量(即，在取样频率的1/4以上的主要频率的振幅)在几个范围之一以内 的像素数量进行计数。该范围可凭经验来确定。作为替代，该范围可由处 理器50动态地更新。
差计算器52的输出类似地输出到累加器组54。累加器组54对(N(x， y)-P(x， y))的绝对值低于阈值的像素数量进行计数。
本发明的实施例的示例的方式下的处理器50的^Mt是通过一系列的 处理器可执行指令来控制的，该处理器可执行指令可载入与处理器50关 联的指令RAM/ROM或固件(未具体示出)。RAM/ROM可设在处理器50 的外部或与处理器50形成一个^。处理器可读指令可从计算机可读介 质(未示出)栽入。
在图示的实施例中，顺序地对场进行处理。然而，人们会意识到可对 多个场进行緩冲和处理。如图示，对于由视频源12提供的各当前被处理 的场(即序列内的第N场)，地址生成器/数据解码器30为当前场内的4象素 生成十个地址的集合。跨过各场的至少一部分的十个4象素地址的集合， 序地生成。地址生成器/数据解码器30因而为拔一供给地址生成器/lt据解码 器30的各坐标(x， y)生成十个地址的集合。
对于各当前场，生成(x她，y她)和(x隨，y腿)之间的多个坐标(x， y) 的地址。Xmin、 xmax、 ymin和y,的值可分别存储在寄存器32、 34、 36和 40中。(Xmin， y她)和(x鹏，y鹏x)的值通常是固定的，并可被选择为允许 对^底想图像的典型区域内的像素进行分析。在一个实施例中，选择(x^n，
ymin)和(X咖x， y咖x)以便分析形成图像的所有像素。当然，可分析更小的典
型区域内的像素。类似地，可使用图像的不连续^HIL。
在所描绘的实施例中，地址生成器/数据解码器30对于Xmin < x < xmax和 y min 、 y 、 ymax ，
在地址Ca(x， y-3); PA(x, y-2); CA(x， y画l); PA(x， y); CA(x, y+l); PA(x， y+2); CA(x, y+3)处和地址CA(x, y曙3); NA(x， y-2); Ca(x， y-l); NA(x， y); CA(x， y+l); NA(x， y+2); CA(x， y+3)处生 成数据的集合。
频率分析器44使用在生成的地址处的像素的值来确定频率度量，该 频率度量代表由当前(第N)场C和前一(第(N-1))场P形成的假想图像的、 各像素处的垂直频率成分。
频率分析器38类似地确定度量，该度量代表由当前(笫N)场C和下 一(第(N+1))场N形成的假想图像的、各像素处的垂直频率成分。
差计算器52计算(N(x, y)-P(x， y))的绝对值。
在由频率分析器38和44确定了各当前-下一场和当前-前一场假想图 像中的一个像素的度量后，地址生成器/数据解码器30可对于备暇想图像 而推进场内的行和列地址，从而可对假想图像内关于多个像素的垂直频率 进行评价。滤波器46可滤波与多个相邻像素关联的频率度量，以对假想 图像中的各像素提供频率度量。
然后更新累加器组42、 48和54，以对具有规定范围内的频率度量的 像素的数量进行计数。在图5A~5D中示出了使用4个可能范围(范围1、 范围2、范围3和范围4)的假想图像的可能的直方图。如图示，由相同帧 的互补场形成的图像通丢应展现出如图5A或5B所示的直方图，并可被 评价为具有比较低(L)的垂直频率成分。呈现编织伪影的图像应呈现出如 图5C或5D所示的直方图，并可被评价为具有比较高(H)的垂直频率成分。
又对处理器50提供存储在累加器组42、 48中的对于各当前场的由当 前场和前一场以及当前场和下一场形成的两个假想图像的垂直方向上的 频率成分的度量。处理器50接下来试图确定当前场和下一场还是当前场 和前一场被最佳地组合以形成去隔行化的图像。为此，处理器50确定存 储在累加器组42和48中的直方图是更像图5A或5B中的直方图、还是 更像图5C或5D中的直方图，且假想图像应被评价为具有相对低(L)或相 对高(H)的垂直频率成分。
可选择地，存储有差小于阈值的前一场和当前场中的像素的数量的累 加器54的输出可被处理器50用来更好地确定直方图是反映了高频伪影还 是仅反映了图像中存在的高频。具体地，如果对于所关注的区域中的4^P (或几乎4^|5)像素差值都是O(或接近0)，则当前-下一场频率评价应与如对紧接着的在前处理的场确定的当前-前一场频率评价相同。接着可认定 当前-下一场中的垂直高频成分是原图像中的作为结果的高频成分而不是 伪影。
注意，累加器组42、 48的内容不需^lt确，而是只需要相对的即可。 也即，累加器组42、 48的内容仅是用来评价假想图像的垂直方向上的频 率成分是否高于(此处记作H)适当去隔行化的图像的预期的频率成分(此 处记作L)。因而，可使用任何适当的技术来评价特定假想图像的直方图 是否更像是图5A、 5B还是更像图5C、 5D，并将图像归类。可仅通过简 单地确定由累加器组42、 48计数的超过某阈值的垂直方向上的主要频率 处在最高振幅区间中的一部分像素来实现这一点。在这种情况下，假想图
分更高的频率成分(H)。
便利地，可使用累加器组42、 48中过去的值来对累加器组42、 48中 的值进行进一步处理。具体地， 一旦确定假想图像不包含伪影，则将相应 的直方图视为^^1直方图，并用作未来直方图的比较器或滤波器。用于未 来假想图像的累加器组42、 48中的直方图可通过减去或施加该;^板直方 图而被滤波。修正的结果更好地反映了可归因于伪影或噪声的内容。
一旦已评价了多个当前场的假想图像的垂直方向上的频率成分，则处 理器50可逐场地估计源的场序列。具体地，对于每一当前场，将假想的 当前-前一场图像和当前-下一场图像频率评价与已知图案做比较，以确定 已解码图像的场序列。
例如，考虑3:2下拉序列中的相邻场
AoAeA()BeBoCeCoCeDoDeEoEeEoFeFo ■
由当前和前一场形成的假想图像的垂直频率成分通常是
HIX肌HIXHLHIX肌...
类似地，由当前和下一场形成的假想图《象的垂直频率成分是 LLHLHLLHLHLLHL… 对于2:2下拉序列中的相邻场 AoAeBoBeCoCeDoDeEoEeFoFe…
由当前和前一场形成的假想图像中的垂直频率成分通常是HLHLHLHLHLHL…
同理，由当前和下一场形成的假想图像的垂直频率成分是
LHLHLHLHLHL…
对于5:5下拉序列中的相邻场
AoAeAoAeAoBeBoBeBoBeCoCeCoCeCoDeDoDeDoDe… 由当前和前一场形成的假想图像中的垂直频率成分是 HIXIXHIXIXHIXIXHIXL… 而对于由当前和下一(CN)场形成的图像则是 IXIXHIXIXHIXIXHIXIXHIXIX… 类似地，对于8:7下拍:序列中的相邻场
AoAeAoAeAoAeAo AeBoBeBoBeBoBeBoCeCoCeCoCeCoCeCo 由当前和前一场形成的假想图像中的垂直频率成分通常是 HLIXIXIXHIXIXUL肌IXIXIXH… 而对于由当前和下一(CN)场形成的图像则是 IXIXIJXHIXIXIXHLIXIXIX…
一般地，对于m:n下拉序列，由多个场的当前和下一场形成的假想 图像中的垂直频率成分是
(LWH(LV卿)m曙卿)w…
而由当前和前一场形成的假想图^^中的垂直频率成分是 H(LWH(L)^H(LW讽L)n曙i…
类4以地，对于m:n:l:k下4i序列(例如2:4:4:2、 2:3:3:2、 2:3:2:3:2:2 序列)，由当前和下一场形成的假想图像中的垂直频率成分是
(LWH(L)n-卿)u孤WH(L)n^…
而由当前和前一场形成的假想图4象中的垂直频率成分是
H(L)m-卿V卿)wH(L)wH(LW…
处理器50使用当前和下一场以及当前和前一场的假想图像的垂直频 率值，**测3种可能的模式模式0=未检测到下^ 式；切换至去隔行化 模式1=将当前场编织至下一场，以形成帧；以及 模式2=将当前场编织至前一场，以形成帧
在图6中详细地示出了由处理器50进行的检测场序列的步骤S600。 具体地，处理器50最初可通过在步骤S606 ~ S622中分析累加器组42(或 48)的内容来确定当前-下一场或当前-前一场是否包含伪影，从而检测模 式。如前述，存储在累加器组42(或48)中的一个或两个中的直方图可与已 知直方图做比较，以确定是否可将当前场和下一场或将当前场和前一场组 M来，从而确定是否应使用模式1或2。如果当前场和下一场累加器42 指示低频垂直内容(L)，则可选"^模式1(S608 S612)。如果当前场和前一 场累加器48指示低频垂直内容(L)，则可选择模式2(S608~S612)。可选 择地，如果在步骤S602和S604中可用，则如上述在使用适当去隔行化的 图像的模板直方图值做比较前、可先调整累加器组42(或48)中的值。
此外，可对多个图^^的垂直频率成分的指示符进^ft緩冲。在已对多个 场的指示符(H或L)进行緩冲后，在步骤S624中可检测3:2、 2:2或其它 下拉序列。具体地，如果对于每5场中的2个不相邻场在假想图像中评价 高频垂直内容(即图案…HLLHLHLLHLHLLH…)，则检测到3:2序列。 同理，如果是图案…HLHLHLHLHLH…，则可检测到2:2下拉序列。
一旦确定了已知场序列，则在步骤S608和S614中使用各场的其它累 加器组48(或42)来验证在步骤S624和S626中确定的模式的一致性。也 即，做出评价以确保互补图案(对于3:2下拉是…LLHLHLLHLHLL…， 对于2:2下拉是…LHLHLHLHL…)已由其它分析器44、 38生成。否则可 在步骤S624 ~ S628中再度验证当前的下拉序列。场的所选模式可仍基于 由池42和48中的哪一个指示低频内容，或可选择地认定模式0。
步骤S624、 S626和S608、 S614可类似地检测并lHt各种其它场序 列，包括但不限于5:5下拉、8:7下拉、编辑的3:2下拉等。
一旦识别并验汪了已知的下拉序列，则处理器50可4吏用无伪影的假 想图像的累加器组42或48的内容来更新在步骤S604和步骤S628中使用 的^^板直方图。
便利地，频率分析器38和44以及累加器组42和48的输出可对以下 相当敏感劣质编辑(例如加入的商业广告、因影片分级审查而剪掉的场 景等)、带变动字幕的静止图像、插入错误的场景变化、为减少运行时间而由人工来去掉场/帧、或胶片模式序列的其它异常。
在任何情况下，在模式检测后，由检测器20将检测到的模式的指示 符提供给去隔行器24。相应地，去隔行器24将帧组^来，以在緩冲器 18中从奇数和偶数场显示，从而呈现在逐行扫描视频显示器上。注意， 在模式1中，去隔行器24在緩冲器18中将当前场与下一场编织，以形成 逐行的帧。在模式2中，去隔行器24将当前场与前一场编织，以形成帧。 在模式0中，以传统方式将视频去隔行化。例如，可使用本领域的普通人 员理解的传统去隔行技术将相邻场编织和/或插补(插值)在一起。3:2和2:2 下拉序列的去隔行化模式的实例分别如图7A和7B所示。
更一般地，检测器20可用i(b险测非隔行帧的序列中的帧重复序列。 这种帧重复序列可例如显现在由3:2下拉或2:2下拉源形成的逐行扫描帧 中。类似地，帧可在动画或计算机生成的帧中重复。通过考虑到视频源中 的帧的重复，从而可将对帧序列的知识用来更有效地在帧速率间转换。
为了使用检测器20来检测帧序列，检测器20设有可由相邻帧形成的 场。例如，可将当前帧的偶数行、前一帧和下一帧的奇数行存储在帧緩冲 器18中，或从帧緩冲器18中提取。检测器20将继续如上述工作。因而 分析器38和44评价由前一-当前帧和当前-下一帧形成的假想图像中的频 率成分。低频内容将指示由相同帧乃至帧重复形成的假想图像，而高频成 分则指示由不同帧形成的假想图像。频率成^f价后的处理然后可确定帧 重复，以进行帧速率转换和可选的插补。
尽管以上图示的实施例一般地依赖于对2个频率分析器38和44以及 累加器组42和48的使用，但明显的是仅使用单个分析器38或44以及关 联的累加器组42或48可形成检测器的变形。可仅分析当前-前一场假想 图像或当前-下一假想图像。于是可去掉步骤S606 ~ S608中的验证。这种 检测器可以像上述那样发挥功能，但可能不够健壮，且不能在某些特殊的 场序列中工作。
此外，尽管上述实施例依赖于使用直方图来更准确地确定各假想图像 的垂直频率成分，但普通技术人员应注意，使用这种直方图不是必须的， 而是可以变化。例如，如果各频率分析器38、 44可准确地评价是否特定 像素的垂直频谱内容代表或不代表"编织的"伪影的存在，则分析器38、 44可简单地输出各像素的二进制值，其反映了像素附近是否存在伪影。 通过简单地对反映伪影的像素数量进行计数，处理器50可评价图像是否 可能存在伪影。当然，随着分析器38、 44的输出变得更二值化，分析器38、 44应当能更精确地确定频率成分。因而使用直方图可使得从分析器 38、 44的输出更为定性以及不太准确。在另一种替代实施例中，频率分 析器38、 44的原始输出可对于各像素被存储起来，以供处理器50做进一 步处理。以这种方式，可生成各假想图像的三维频率轮廓，以供处理器 50进行分析。处理器50使用该轮廓可评价假想图像的频率成分。
尽管以上实施例是在可编程处理器50和关联的硬件频率分析器38和 44以及累加器组42和48的环境下示出的，但普通技术人员应注意，本 发明的示例实施例的方法可容易地完全以软件来实施，并存储在计算机可 读介质上。类似地，处理器50和关联的软件可部分或全部地以硬件来取 代。
当然，以上说明的实施例仅意在说明而绝非限制。实施本发明的所述 实施例可以允许许多形式、部件的排列、操作的细节和次序的^"改。
本发明意在涵盖如权利要求书所规定的其范围内的4^P这种修改。
权利要求
1. 一种检测视频的一系列场的场序列的方法，所述方法包括通过评价沿着对交替的来自当前被处理的场的行和来自相邻的场的行进行交织而形成的第一假想图像的垂直方向的频率成分，处理所述一系列场的每一个，以确定所述第一假想图像中的高频垂直伪影的存在；从被确定为具有高频垂直伪影的第一假想图像的序列中检测所述一系列场中的所述场序列。
2. 根据权利要求1所述的方法，其中所述评价包括进行在所述第一 假想图4象的所关注的4象素周围的列内的《象素的频率分析。
3. 根据权利要求2所述的方法，其中所述评价包括进行在所述所关 注的像素周围的所述列内的所述《象素的小波或傅立叶分斗斤。
4. 根据前述任一项权利要求所述的方法，其中所述检测包括对于 所述一 系列场的规定图案识别沿所述第 一假想图像的垂直方向的高频成 分。
5. 根据前述任一项权利要求所述的方法，其中所述评价包括使用沿 所述第 一假想图像的列的多个频率分析来将所述第 一假想图像归类为在 垂直方向上具有或不具有高频成分。
6. 根据前述任一项权利要求所述的方法，其中所述评价包括确定接 近所述第一假想图像中的所关注的像素的、在阈值频率以上的垂直方向上 的主要频率成分的幅度。
7. 根据权利要求6所述的方法，其中所述评价包括分析所述幅度的 分布并基于所述分布将所述第 一假想图像归类为具有垂直方向上的高频 成分。
8. 根据权利要求7所述的方法，进一步包括使用在不具有垂直伪影分布进行滤波。
9. 根据前述任一项权利要求所述的方法，其中响应于将每五场的所 述第 一假想图像的两个非顺序场评价为在垂直方向上具有高频成分，而将 所述场序列检测为3:2下拉序列。
10. 根据权利要求1~8中的任一项所述的方法，其中响应于将所述第一假想图像评价为对于所述一系列场的每个交替的场具有高的垂直频率成分，而将所述场序列检测为所述一系列场中的2:2下拉序列。
11. 根据前述任一项权利要求所述的方法，其中所述第一假想图像是通过对交替的来自当前被处理的场的行和 来自紧接着的下一场的行进行交织而形成的，所述方法进一步包括构造通过对交替的来自当前被处理的场的行和来自紧接着的前一场 的行进行交织而形成的第二假想图像的至少一部分，从而顺序地处理所述 一系列场的每一个；评价沿所述第二假想图像的垂直方向的频率成分，以确定所述第二假 想图像中的高频垂直伪影的存在。
12. 根据权利要求11所述的方法，其中响应于沿所述第一假想图像 的垂直方向检测相对低频成分，而将所述当前被处理的场和紧接着的下一 场进行去隔行化。
13. 根据权利要求12所述的方法，进一步包括形成所述前一场的像 素和所述下一场的像素之间的差，且其中所述评价包括对于所述当前被处 理的场使用所述差对所述第 一和第二假想图像中的每一个进行归类。
14. 根据权利要求1~8中的任一项所述的方法，其中响应于对于所 述第一假想图像中的m+n+l+k个顺序图像，检测到垂直方向中的相对高 (H)和相对低(L)频率成分的图案，而将所述场序列检测为m:n:l:k下拉序 列，所述图案对应于(L)^H(L)^H(L)wH(L)k4H(L)w…。
15. 根据前述任一项权利要求所述的方法，其中所述当前被处理的场 和所i^目邻场是由一系列视频帧中的相邻帧形成的，以检测帧重复。
16. —种用于检测一系列视频的场的场序列的检测器，所述检测器包括'.第一频率分析器，用于评价在通it^t交替的来自当前被处理的场的行 和来自相邻的场的行进行交织而形成的第一假想图像中的垂直频率成分；处理器，所述处理器与所述第一频率分析器通信，以从所述一系列场 的若干个当前被处理的场的所述被评价的垂直频率成分中确定所述一系 列场的所^列。
17. 根据权利要求16所述的检测器，其中所述第一频率分析器确定 接近所述第一假想图像中的单独像素的垂直频率成分。
18. 根据权利要求17所述的检测器，进一步包括地址解码器，用于价接近所l单独像素的所述垂直频率成分。 、 ' '
19. 根据权利要求18所述的检测器，其中所述地址解码器对已编程 范围中的所述单独像素的所选择的像素的地址进行解码。
20. 根据权利要求16~19中的任何一个所述的检测器，其中所述第 一频率分析器可操作以确定接近在所述第一假想图像中的所述单独像素 的每一个的、在所述垂直频率成分中的阈值频率以上的主要频率的幅度。
21. 根据权利要求20所述的检测器，进一步包括累加器组，所述累 加器组存储所述第 一假想图像的每一个的所述主要频率的所述幅度的分 布，所述累加器组与所述处理器通信，并且其中所述处理器基于所述累加 器组将备底想图 <象归类为具有垂直方向上的高频成分。
22. 根据权利要求21所述的检测器，其中所述处理器进一步可操作 以调整所述累加器组的内容，以基于不带伪影的假想的图像的所述幅度的 分布来滤波所述累加器组的所述内容。
23. 根据权利要求16~22中的任一项所述的检测器，其中所述第一 频率分析器分析通过对交替的来自当前被处理的场的行和来自紧接着的 下一场的行进行交织而形成的假想图像，所述检测器进一步包括第二频率分析器，所述第二频率分析器用于评价在通it^t交替的来自 当前被处理的场的行和来自前一场的行进行交织而形成的第二假想图像 中的垂直频率成分。
24. 根据权利要求23所述的检测器，其中所述第 一分析器可操作以确定接近在所述第 一假想图像中的单独像 素的在阈值频率以上的主要频率的幅度；并且所述第二分析器可操作以确定接近在所述第二假想图像中的单独像 素的在阈值频率以上的主要频率的幅度。
25. 根据权利要求24所述的检测器，其中所述第一和第二分析器进 行小波分析或傅立叶分析。
26. 根据权利要求24或25所述的检测器，进一步包括差计算器，用 于计算所述紧接着的下一场中的像素和所述紧接着的前一场的像素之间的差。
27. 根据权利要求16~26中的任一项所述的检测器，其中所述处理 器可操作以响应于确定对于每五个所述当前被处理的场的所述第 一假想 图像的两个非顺序场的相对高的被评价的垂直频率成分，而检测所述一系 列场中的3:2下拉序列。
28. 根据权利要求16~26中的任一项所述的检测器，其中所述处理 器可操作以响应于确定所述一 系列场中的每个交替的场的相对高的被评 价的垂直频率成分，而检测所述一系列场中的2:2下拉序列。
29. —种视频i更备，包括检测器，所述检测器用于确定才艮据权利要求 24或其任何从属权利要求而形成的场序列。
30. —种用于检测一系列视频的场的场序列的设备，所述设备包括用于处理所述一系列场的每一个，以构造通itxt交替的来自当前被处 理的场的行和来自相邻的场的行进行交织而形成的第一假想图^f象的至少 一部分的装置；用于评价沿所述第一假想图像的垂直方向的频率成分，以确定所述第 一假想图像中的高频垂直伪影的存在的装置；用于通过分析所述一系列场中的若干个的所述被评价的频率成分，来 检测所述一 系列场中的所述场序列的装置。
31. —种存储有处理器可读指令的计算机可读介质，所述指令当载入 计算设备时，可操作以将视频解码为多个视频场，使所述计算设备适于根 据权利要求1~15中的任一项所述的方法而检测所述一系列视频场的场 序列。
32. —种方法，包括 于多个视频场的每一个场一，构造通过对来自所述多个视频场中的所述分；评价所述关联的假想图像的每一个的垂直方向的频率成分，以确定其中高频垂直伪影的存在；从被确定为具有高频垂直伪影的关联的假想图像的序列中确定所述多个场中的场序列。
33. —种处理一系列视频的场的方法，所述方法包括对于各个场，评价通it^"交替的来自所述场的行和来自相邻场的行进 行交织而形成的关联的假想图像的垂直方向的频率成分；基于所述评价，将所述关联的假想图像的每个归类为具有或不具有高 频垂直伪影。
34. 根据权利要求33所述的方法，进一步包括从被归类为具有高频垂直伪影的关联假想图像的序列中，确定一系列 场中的场序列。
35. 根据权利要求33或权利要求34所述的方法，进一步包括对于将其关联的假想图像归类为不具有高频垂直伪影的各场，通过将 一系列场中的场和相邻场组^来而形成去隔行化的视频的帧。
36. 根据权利要求33~35中的任一项所述的方法，其中所述评价包 括进行在假想图像的所关注的像素周围的列内的像素组的频率分析。
37. 根据权利要求36所述的方法，其中所述评价包括进行所述像素 组的小波分析或傅立叶分析。
38. 根据权利要求33~37中的任一项所述的方法，其中所述确定包 括识别关联的假想图像被归类为具有高频垂直伪影的场的规定图案。
39. 根据权利要求33~38中的任一项所述的方法，其中所述评价包 括进行沿各关联的假想图像的列的多个频率分析。
40. 根据权利要求33~39中的任一项所述的方法，其中所述评价包 括确定接近关联的假想图像中的所关注的像素的、阈值频率以上的垂直方 向上的主要频率成分的幅度。
41. 根据权利要求40所述的方法，其中所述评价包括分析多个所关 注的像素的幅度的分布并基于所述分布而进行归类。
42. 根据权利要求41所述的方法，进一步包括使用在不具有垂直伪 影的假想图像中的、在所述阈值以上的主要频率的幅度分布来滤波所述幅 度的分布。
43. 根据权利要求33~42中的任一项所述的方法，其中响应于将一 系列场的每五场中的两个非顺序场的关联假想图像归类为具有高频垂直伪影，而将所述场序列确定为3:2下拉序列。
44. 根据权利要求33~42中的任一项所述的方法，其中响应于将一 系列场的每两场的关联假想图像归类为具有高频垂直伪影，而将所述场序 列检测为2:2下拉序列。
45. 根据权利要求33 ~ 44中的任一项所述的方法，其中通过对交替的来自场的行和来自紧接着的下一场的行进行交织 而形成各关联的假想图像，对于每个场，评价通it^t交替的来自所述场的行和来自紧接着的前一 场的行进行交织而形成的第二关联的假想图像的垂直方向的频率成分；基于沿所述第二关联的假想图像的垂直方向的频率成分的评价，将所 述第二关联的假想图像的每一个归类为具有或不具有高频垂直伪影。
46. 根据权利要求45所述的方法，其中响应于将其第二关联的假想 图#>归类为不具有高频垂直伪影，而将场和其紧接着的前一场去隔行化。
47. 根据权利要求45所述的方法，进一步包括形成所述紧接着的前 一场的像素和所述紧接着的下一场的像素之间的差，且其中所述评价包括 使用所述差对于所述场的每一个对所述关联的假想图像和所述第二关联 的假想图像的每个进行归类。
48. 根据权利要求33~42中的任一项所述的方法，其中响应于在 m+n+l+k个相邻场中仅将第m个、第m+n个、第m+n+l个和第m+n+l+k 个关联的假想图像归类为具有高频垂直伪影，而将所述场序列检测为 m:n:l:k下拉序列。
全文摘要
一种场序列检测器通过评价假想的去隔行化的图像的垂直频率成分来确定一系列视频的场的场序列。假想图像是从正在被处理的场和相邻的(例如前一或下一)场而形成的。如果假想图像中的垂直频率成分比较高(例如高于图像的1/2奈奎斯特频率)，则假想图像被评价为由属于不同的帧的不正确地隔行的场形成的。如果频率成分比较低，则假想图像被评价为由相同帧的场而适当组装的。一系列场中的场序列可从若干个所述一系列场的已评价频率成分来检测。已知的场序列例如3:2下拉、2:2下拉、以及更一般地是m:n:l:k下拉序列。
文档编号H04N7/01GK101485201SQ200780024793
公开日2009年7月15日 申请日期2007年5月1日 优先权日2006年5月2日
发明者丹尼尔·多斯瓦尔德 申请人:Ati科技公司