用于高清晰度和标准清晰度视频的高级去隔行器的制作方法

专利名称：用于高清晰度和标准清晰度视频的高级去隔行器的制作方法
技术领域：
本发明一般地涉及用于使用空间和时间运动的自适应技术来去隔行高 清晰度和标准清晰度的视频的系统和方法。
背景技术：
视频经常被交织以便改善画面质量，并且降低传输所需要的带宽。交 织的视频格式提供在任何给定帧的图像中的一半的行一一可以在一个时刻 显示帧的奇数水平行，而在在后的时刻显示帧的偶数行。每组行可以被称 作一个场。为了在逐行或者非隔行格式中显示视频，必须对于隔行视频去 隔行。去隔行要求得出任何给定场的丢失的组的行。
一种被称为影片模式去隔行的去隔行技术使用影片内容的3-2步调来 每秒建立60个良好的视频全帧。步调表示连续场的型式。被称为视频模 式去隔行的另一种去隔行技术使用单模式插值、交织、垂直插值、运动自 适应去隔行或者这样的技术的组合来处理视频内容，以每秒产生60个视 频全帧。视频模式去隔行经常导致在视频中的不期望有的伪像。这些伪像 包括行闪烁、波纹或者图形失真。可以在以诸如480i或者720i之类的较 低分辨率格式显示视频的中等尺寸电视机(诸如42英寸大小或者更小的 电视机)上或多或少地注意到这些伪像。但是，在42英寸或者更大大小 并且能够显示1920x1080像素的分辨率的电视机上显示视频可以使得这些 伪像更显著。
高清晰度电视机的典型的去隔行方案使用视频模式去隔行而不是影片模式去隔行来去隔行混合模式内容或者包括文本内容的影片内容。去隔行 的这种使用可以使得文本看起来模糊或者具有羽毛状，并且可能引入诸如 行闪烁和波纹之类的伪像。而且，高清晰度电视机的已知的去隔行方案提 供了用于处理运动的单个引擎。这个缺陷可以使得视频的多个部分被使用 不最理想的技术来去隔行。
鉴于上述情况，持续期望提供一种强壮的去隔行方案，其在所有尺寸 和分辨率的显示器上提供高质量的视频。

发明内容
运动自适应视频去隔行器可以接收视频帧序列。每个视频帧可以包括 多个场。 一个场可以包括帧中的视频的每个偶数水平行，而另一个场可以 包括帧中的视频的每个奇数水平行。运动自适应视频去隔行器可以包括时
间和空间运动抽头电路(tap circuitry)，该时间和空间运动抽头电路可以 接收帧并且建立几个延迟版本的帧和它们的对应的场。抽头可以一般被定 义为到电路部分的可用连接。例如，空间运动抽头电路可以允许访问所存 储的当前帧、前一帧，以及下一帧或者未来的帧。
运动自适应视频去隔行器也可以包括运动处理电路。运动处理电路可 以产生关于由去隔行器处理的视频帧的场中的每个像素的运动信息。运动 处理电路可以使用像素运动引擎来产生该信息。这些像素运动引擎可以包 括执行空间滤波并计算多个场之间的多组像素之间的各种差别。运动引擎 可以并行地产生它们的输出。可以根据围绕场中的特定像素的细节量来选 择来自运动引擎的输出之一，该特定像素可以是场中缺少的像素，例如场 中所未包括的行中的像素。
运动自适应视频去隔行器可以包括递归运动电路。递归运动电路可以 使用像素运动引擎来提供场的时间运动扩展。时间运动扩展表示将场的一 部分并入相邻的时间场(例如前一场或者后一场)中。递归运动电路可以 通过向像素运动信息和延迟版本的像素运动信息应用加权平均函数来提供 这样的时间运动扩展。
运动自适应视频去隔行器可以包括步调处理电路。步调处理电路可以检测由去隔行器正在处理的视频中的步调。由去隔行器处理的视频可以被 划分为多个区域。步调检测电路可以检测这些区域中的每一个区域的步 调。 一旦已经检测到步调，则可以按照特定的处理模式来处理那个特定区 域的视频。
步调检测电路可以使用影片步调状态机电路来检测步调。影片步调状 态机电路可以检测去隔行器内的一组全局标记中的型式。可以将全局标记 与型式输入相比较。
在一些实施例中，步调检测电路可以根据所计算出的噪声阈值来确定 何时进入和退出特定的处理步调模式。可以根据多个场之间的多组像素之 间的差别来计算噪声阈值。
在其他实施例中，步调检测电路可以通过跟踪多个场之间的多组像素 之间的最小差异的位置来进入和退出处理的步调模式。可以在由去隔行器 处理视频帧的同时由状态机来跟踪最小差异的位置。


通过下面结合附图的详细说明，本发明的上述和其他优点将会显而易 见，在整个附图中，类似的附图标号表示类似的部分，其中
图1A示出了按照本发明的一个实施例的去隔行器电路的顶层方框
图.，
图1B示出了按照本发明的一个实施例的去隔行器电路的更详细的顶 层方框图2A示出了按照本发明的一个实施例的时间和空间抽头电路的说明 性顶层方框图2B示出了按照本发明的一个实施例的时间和空间抽头电路的更详 细的视图3示出了按照本发明的一个实施例的用于计算各种类型的帧运动的 说明性设置；
图4示出了按照本发明的一个实施例的用于计算各种类型的场运动的 说明性设置；图5A示出了按照本发明的一个实施例的视频运动组合器电路的顶层 方框图。
图5B示出了按照本发明的一个实施例的视频运动组合器电路的更详 细的顶层方框图5C示出了按照本发明的一个实施例的递归运动电路的说明性顶层 方框图6A示出了按照本发明的一个实施例的帧像素运动检测模块的说明 性顶层方框图6B示出了按照本发明的一个实施例的自动噪声校准电路的说明性 顶层方框图7示出了按照本发明的一些实施例的边界排除窗口的说明图； 图8示出了按照本发明的一个实施例的影片步调处理器模块的说明性 顶层方框图9示出了按照本发明的一个实施例的影片步调处理器状态机电路的 说明性顶层方框图10示出了按照本发明的一个实施例的影片步调处理器状态机的说 明图IIA示出了可以使用所公开的技术的示例性硬盘驱动器的方框图； 图IIB示出了可以使用所公开的技术的示例性数字通用盘的方框图； 图11C示出了可以使用所公开的技术的示例性高清晰度电视机的方框
图IID示出了可以使用所公开的技术的示例性车辆的方框图； 图UE示出了可以使用所公开的技术的示例性蜂窝电话的方框图； 图IIF示出了可以使用所公开的技术的示例性机顶盒的方框图；以及 图IIG示出了可以使用所公开的技术的示例性媒体播放机的方框图。
具体实施例方式
图1A示出了按照本发明的一个实施例的去隔行器电路100A的说明性 顶层图。去隔行器100A可以接收时间和空间运动数据110来作为输入。时间和空间运动数据110可以包括来自标准清晰度电视机信号、高清晰度 电视机信号或者两者的组合的交织视频帧。所述交织视频帧可以包括几个 场。例如，单个视频帧可以包括两个场——由在帧中的视频的所有偶数水 平行构成的一个场和由在帧中的视频的所有奇数水平行构成的第二场。这 两个场可以被称为具有相反的极性，时间和空间运动数据110可以被传送
到运动处理电路120来进一步处理。
运动处理电路120可以处理与空间运动和时间运动相关联的所有的去 隔行任务。空间运动可以被定义为与在同一帧中的像素组相关联的运动。 时间运动可以被定义为从一个帧到在后的帧的与像素相关联的运动。运动 处理电路120可以提供运动自适应处理引擎。所述运动自适应处理引擎可 以计算运动信息，诸如运动向量、插值的运动像素、运动幅度或者任何适 当的运动信息。所述运动自适应处理引擎可以包括每个像素运动引擎。每 个像素运动引擎可以计算在场中的特定像素的空间和时间运动信息。每个 像素运动引擎可以估计在前一场和后续场之间的中间场中的缺少像素的运 动值。
所述运动自适应处理引擎可以被定制用于视频信号的彩色和非彩色的 分量——即，亮度和色度。可以诸如使用可以执行不同处理技术的不同电 路与色度运动信息分别地计算亮度运动信息。
运动处理电路也可以提供运动扩展引擎。所述运动扩展引擎可以根据 在同一场或者在相邻的时间场(例如前一场或者后一场)中的相邻像素的 运动信息计算特定像素的运动信息。
运动扩展引擎可以包括时间运动扩展引擎。所述时间运动扩展引擎可 以使用运动递归来在时间上扩展运动信息。时间运动扩展表示将场的一部 分并入相邻的时间场(例如前一场或者后一场)中。另外，所述运动扩展 引擎可以包括空间运动扩展引擎。所述空间运动扩展引擎可以使用来自围 绕所关心的特定像素的多个像素的信息来计算该特定像素的运动信息。
在一个实施例中，运动自适应处理引擎可以包括两个每个像素运动引 擎。这两个每个像素运动引擎可以并行工作以计算运动信息。第一每个像 素运动引擎可以使用空间滤波来估计像素运动，第二每个像素运动弓I擎可以通过空间运动扩展信息来计算运动。在某些实施例中，可以根据围绕正 在被计算运动信息的像素的像素的细节来选择多个每个像素运动引擎之一 的输出。例如，当围绕正在被计算运动信息的像素几乎没有细节或者几乎 没有像素值上的变化时，可以选择第二每个像素运动引擎的输出。该约束 限制了空间运动扩展的使用以及与之相关联的缺陷，同时仅在确实需要空 间运动扩展的地方(例如均匀的图像区域)使用空间运动扩展。使用空间 运动扩展的缺陷可以包括软化运动图像和使得文本具有羽毛状。运动处理
电路120可以将运动信息传送到步调检测电路130。
步调检测电路130可以处理与视频和影片步调的检测相关联的所有的 去隔行任务。步调表示连续场的型式。 一种常见的步调被称为3-2影片步 调。在3-2影片步调中，影片的24个帧被表示为60个交织的场。这是通 过将每个帧表示为两个独立的场(视频的奇数水平行的场和视频的偶数行 的场)以每秒产生48个交织场来完成的。通过选择性地每隔一个帧加入 额外场，建立剩余的12个帧。例如，考虑影片的四个帧A、 B、 C和 D。帧A被划分为视频的奇数水平行的一个场，后跟视频的偶数行的一个 场。但是，帧B被划分为奇数行的一个场，后跟偶数行的一个场，后跟奇 数行的另一个场。这个循环对于帧C和D重复。
步调检测电路130可以使用时间和空间运动数据和状态机电路来检测 各种影片和视频步调。所述状态机电路可以检测在时间和空间运动数据 中、在由运动处理电路120计算的运动信息中或者在两者的组合中的型 式。对于每个影片步调可以有独立的状态机。由步调检测电路130检测的 影片步调可以包括3画2、 2-2、 2隱2-2醫4、 2-3-3-2、 3-2-3-2-2、 5-5、 6-4、 8-7 或者任何适当的影片步调。
在某些实施例中，运动处理电路120和步调检测电路130可以将视频 划分为多个区域。每个区域可以然后由单独的运动引擎和/或步调检测逻辑 来处理。该技术可以有助于处理混合模式视频，诸如在帧的一个部分中包 含运动图像和在帧的另一个部分中包含字母文本的影片。在一个实施例 中，运动处理电路120和步调检测电路130可以将帧划分为两个独立的区 域——例如全帧和帧的顶部。帧的顶部可以被定义为除了在帧的底部的视频的可编程数量的水平行之外的全帧。并行的运动和步调检测逻辑可以被
应用于全帧和帧的顶部。可以根据一组步调检测电路130来处理帧的顶 部，同时根据另一组步调检测电路130来处理全帧，以使用与帧的顶部不 同的逻辑来有效地处理帧的底部。例如，如果帧的顶部被检测为影片，而 全帧未被检测为影片，则只有帧的顶部将被使用专门的步调检测电路130 来处理。这种技术提供了优于对帧的顶部和帧的底部执行并行步调检测的 优点，因为经常难于检测在帧的底部的步调，因为其包含很少的像素。
步调检测电路130也可以包括自动噪声校准电路。所述自动噪声校准 电路可以设置噪声阈值。所述噪声阈值可以被步调检测电路130结合来自 运动处理电路120的运动信息用来确定在视频中是否存在噪声。这种确定 有益于检测来自运动处理电路120的错误的运动信息，并且防止将噪声被 检测为运动信息。
步调检测电路130可以确定在各种步调模式下何时进入和退出处理。 可以通过比较在具有相同极性的两个相邻的场中的像素之间的特定特性来 进行这种确定。
步调检测电路130可以产生输出140。输出140可以包括去隔行的视 频的场。根据被输入到去隔行器电路100A中的时间和空间运动数据 110，去隔行视频的场可以属于标准清晰度或者高清晰度的格式。
图1B示出了按照本发明的一个实施例的去隔行器电路IOOA的更详细 的说明性顶层图IOOB。去隔行器图IOOB包括时间和空间运动抽头(tap) 110。时间和空间运动抽头110包括与在图1A中的时间和空间运动数据 110中所述的数据类似的数据的缓冲器。时间和空间运动抽头110可以包 括用于亮度和色度场信息的多个独立缓冲器。
时间和空间运动抽头110可以向运动引擎122传送数据。运动引擎 122可以包括用于各种每个像素运动自适应处理引擎的电路。运动自适应 处理引擎可以包括与关于在图1A中的运动处理电路120讨论的那些基本 上类似的运动自适应处理引擎。这些引擎可以计算多个每个像素运动测量 结果。例如，运动引擎122可以计算在连续帧中的对应像素组之间的绝对 差的平均值或者称为MAD。另夕卜，运动引擎122可以计算在连续帧中的对应像素组之间的绝对差之和或者称为SAD。而且，运动引擎122可以计 算在对应的像素组之间的绝对差，并且选择最大的绝对差或者称为 MAX。另外，运动引擎122可以从在连续帧中的像素组计算边缘自适应测 量结果或者称为EDAP。这些每个像素测量结果可以被传送到视频运动组 合器124和影片步调处理器132。
视频运动组合器124可以从运动引擎122获得每个像素测量结果，并 且使用该数据来计算亮度运动值和色度运动值。在一个实施例中，根据围 绕正在被计算其运动的像素的细节自适应地从运动引擎122之一选择亮度 运动值。可以使用来自相邻场的亮度运动值递归地处理特定场的亮度运动 值，以便平均亮度运动值。当确定在连续场之间存在高度运动时，可以使 用场运动值来替代每个像素运动值。另外，可以使用水平运动扩展来计算 最后的像素运动。和亮度运动值不同，色度运动值不可以被递归地处理。
时间和空间运动抽头110也可以将信息传送到向量插值器126。向量 插值器126可以使用滤波技术来执行传统的二维或者空间滤波。另外，向 量插值器126可以使用边界排除窗口来消除场中的包含缺少像素或者垃圾 像素的部分。
影片步调处理器132可以从运动引擎122获得每个像素测量结果，并 且检测在视频中的影片步调的存在。另外，影片步调处理器可以根据每个 场在步调中的特定位置来产生每个场的编织方向。对于某些视频模式，编 织方向可以向去隔行器电路100B指示要组合哪些连续场以便形成全视频 帧。
作为检测影片步调的一部分，影片步调处理器132可以设置标记以表 示何时进入和何时退出特定的影片处理模式。处理模式可以包括3-2步调 影片模式、2-2步调影片模式或者任何适当的影片步调模式。在确定何时 进入或者退出特定影片步调模式时，影片步调处理器132可以计算在相同 极性的连续场中的像素组之间的SAD。可以对于多组连续场存储SAD 值。这多个SAD值可以然后用于确定何时进入和退出特定视频处理模 式。 一旦已经进行了这些确定，则影片步调处理器132可以向影片模式状 态指示器142和运动自适应混合器134发送关于处理模式的进入和退出以及编织方向的信息。
运动自适应混合器134可以使用来自向量插值器126的空间插值的运 动信息、来自视频运动组合器124的亮度和色度运动信息、来自时间和空 间运动抽头110的关于在前场和后续场的信息和来自影片步调处理器132 的关于影片步调模式的进入和退出以及编织方向的信息，以便构成去隔行 视频的场。运动自适应混合器134可以使用来自影片步调处理器132的信 息来确定在构成视频场时要使用来自视频运动组合器124、时间和空间运 动抽头110和向量插值器126的什么信息。例如，如果来自影片步调处理 器132的信息指示去隔行器应当进入影片模式，则运动自适应混合器134 可以忽略来自视频运动组合器124和向量插值器126的信息，并且使用来 自时间和空间运动抽头110的信息来产生在当前场中的视频的缺少行。运 动自适应混合器134可以具有两种独立的输出——用于奇数水平视频行的 场的输出和用于偶数水平视频行的场的输出。运动自适应混合器134可以 向影片模式状态指示器142发送这些场。
影片模式状态指示器142可以使用来自影片步调处理器132的关于影 片步调模式的进入和退出的信息和来自运动自适应混合器134的视频场输 出来产生具有指示符的视频场输出。指示符可以表示应当使用什么影片模 式来显示视频场输出。指示符可以是任何适当的数据结构或者信号。影片 模式状态指示器142可以具有两个独立的输出——用于具有指示符的奇数 水平视频行的场的输出和用于具有指示符的偶数水平视频行的场的输出。 影片模式状态指示器142可以向行去复用器144发送这些具有指示符的 场。
行去复用器144可以使用具有影片模式指示符的视频场来构成去隔行 视频的帧。在某些实施例中，行去复用器144可以根据视频场的相应影片 模式状态指示符来组合视频场，以形成视频帧。在某些实施例中，行去复 用器144可以根据场的影片模式状态指示符来加倍特定场的行速率以形成 视频帧。行去复用器144可以产生输出140。输出140可以包括适合于显 示在任何显示设备上的全视频帧。
图2A示出了按照本发明的一个实施例的时间和空间抽头电路200A的说明性顶层框图。时间和空间抽头电路200A可以大致类似于在图1B中所 示的时间和空间运动抽头110。可以以8.3格式来表示在时间和空间运动 抽头电路200A中的数据。时间和空间抽头电路200A可以包括用于下述信 息的数据抽头亮度帧运动、色度帧运动、边缘相关检测信息、亮度空间 平均信息、色度空间平均信息、亮度和色度时间混合信息，或者关于要处 理的视频帧的其他适当信息。
时间和空间抽头电路200A可以包括下一帧数据210。下一帧数据210 可以包括后一视频帧的亮度和色度信息。当前帧数据230可以是经第一延 迟电路220延迟的下一帧数据210。当前帧数据230可以包括当前正在被 去隔行器处理的视频帧的亮度和色度信息。前一帧数据250可以是经第二 延迟电路240延迟的当前帧数据230。前一帧数据250可以包括前一视频 帧的亮度和色度信息。第一延迟电路220和第二延迟电路240可以包括锁 存器、触发器或者任何适当的延迟电路，下一帧数据210、当前帧数据 230和前一帧数据250可以被任何适当的存储器电路存储。
图2B示出了时间和空间抽头电路200A中的一部分的更详细的视图 200B。当前帧数据230可以包括第一当前抽头延迟元件233、第二当前抽 头延迟元件235和第三当前抽头延迟元件237。这些延迟元件中的每一个 可以类似于在图2A中所示的延迟电路220和240。另外，当前帧数据230 可以包括顶端像素抽头238、第二顶端像素抽头236、第三顶端像素抽头 234和底端像素抽头232。这些像素抽头中的每一个可以由在视频场的不 同行中的像素构成。例如，顶端像素抽头238可以包括在特定场的第一行 中的像素，第二顶端像素抽头236可以包括在同一场的第三行中的像素， 第三顶端像素抽头234可以包括在同一场的第五行中的像素，并且底端像 素抽头232可以由同一场的第七行构成。每个所述像素可以被第二延迟电 路240延迟以产生前一帧数据250。
图3示出了用于计算各种类型的帧运动的说明性设置300。可以在图 1B中所示的去隔行器的运动引擎122中执行这些计算。设置300可以包含 在后的场像素310、在前的场像素330和当前场像素320。被蚀刻的像素 可以表示在视频的偶数水平行上的像素，并且非蚀刻的像素可以表示在视频的奇数水平行上的像素。在后的场像素310和在前的场像素330可以与 在当前场像素320中的缺少像素322对齐。例如，在后的场像素310的中 心像素312和在前的场像素330的中心像素332可以与在当前场像素320 中的缺少像素322对齐。
设置300可以用于使用在前的场像素330和在后的场像素310的亮度 值之间的绝对差的平均值来计算缺少像素322的亮度帧运动。该运动引擎 在视频中存在高度的噪声时可被使用，因为这种技术对于噪声误差较不敏 感。可以计算在对应的在前的场像素330和在后的场像素310的亮度值之 间的绝对差，例如在在前的场像素330和在后的场像素310的块中类似地 定位的像素之间的绝对差。对应的像素可以限于在类似极性的行(例如像 素的偶数行和奇数行)中的像素集。可以从在像素块之间计算的绝对差集 来计算所述平均值。在某些实施例中，设置300可以类似地用于使用在前 的场像素330和在后的场像素310的色度值之间的绝对差的平均值来计算 缺少像素322的色度帧运动。
在某些实施例中，设置300可以用于使用在前的场像素330和在后的 场像素310的值之间的绝对差的最大值来计算缺少像素322的亮度帧运 动。该运动引擎在视频中有较少噪声并且需要空间运动扩展中时可被使 用。可以如上所述地计算在同一极性的行中的类似地定位的像素之间的绝 对差。在某些实施例中，设置300可以类似地用于使用在前的场像素330 和在后的场像素310的色度值之间的绝对差的最大值来计算缺少像素322 的色度帧运动。
在后的场像素310和在前的场像素330的大小可以与设置300中所示 的3x3核不同。例如，在后的场像素的大小可以是lxl、 5x3、 7x3或 者任何适当的核大小以计算关于缺少像素322的运动信息。
在某些实施例中，可以定标绝对差计算。该定标可以将绝对差的表示 减少到四比特的值。定标可以基于两个阈值——低阈值和高阈值。所有小 于低阈值的计算值可以被分配最低的4个比特值，即0，并且所有大于高 阈值的计算值可以被分配最高的四比特值，即15。所有位于低阈值和高阈 值之间的计算值可以分布在14个剩余的4比特值之间。图4示出了用于计算各种场运动的说明性设置400。可以在图1B中所 示的去隔行器的运动引擎122中执行这些计算。设置400可以包含在前的 像素410、在后的像素430和当前像素420。在前的像素410和在后的像 素430可以与在当前像素420中的像素和'q'之间的缺少像素对 齐。例如，在前像素410中的像素'b'和在后的像素430中的像素'y' 可以与在当前像素420中的像素'p'禾Q 'q'之间的缺少像素对齐。当前 像素420中的缺少像素可以是场所缺少的行(例如，在包括所有奇数水平 像素的场中的偶数水平像素的行)中的像素。
设置400可以用于计算连续场之间的运动和详细信息。参考设置400 中的像素？ 、 V 、 <c， 、 T 、 'm， 、 V 、 'q， 、 'x，、 'y'和的值，可以计算下面的量度-
max—motion ——■ max—detail (式1)
max—motion — min—detail (式2 )
min—motion — max—detail (式3 )
min—motion — min—detail (式4)
max—motion (式5 )
min—motion (式6 )
其中，max—motion=max[abs (avg (p,q)-b), abs (avg(p,q)-y)] min—motion=min[abs (avg (p，q)-b)， abs (avg (p,q)-y)] max—detail=max[abs (a-b), abs (b-c), abs (p-q), abs (x-y), abs (y-z)]以及 min—detail=min[abs (a-b)， abs (b-c), abs (p-q)， abs (x-y), abs (y-z)] 函数abs()可以表示任何适当的绝对值函数，函数max()可以表示任何适当 的最大值函数，函数min()可以表示任何适当的最小值函数。
式i_4中的差如果被计算为负则可以被表示为0。另外，类似于针对 图3中的设置300公开的处理，可以将在式1-6中计算的值定标为四比特 值。
设置400也可以用于使用在场之间的合并的像素集来计算场运动。在 某些实施例中，可以如图所示合并当前像素420和在前像素410以形成当 前和在前的合并场440。另外，当前像素420和在后像素430可以如图所示被合并以形成当前和在后的合并场450。
设置400可以用于计算场间差。可以通过以加权系数对设置400中的 像素的值进行加权来计算场间差。可以计算经加权的像素值之间的绝对 差。可以使用该绝对差和可编程的增益和阈值来计算二进制运动值。可编 程增益和阈值可以被选择来控制在计算场间运动时给予特定空间细节的重 要性。所计算的场间差可以被用作像素场运动标记以检测影片步调。
图5A示出了按照本发明的一个实施例的视频运动组合器电路500A的 说明性顶层方框图。视频运动组合器电路500A可以类似于在图1B中公开 的视频运动组合器124。视频运动组合器电路124可以使用像素测量结果 502来作为输入。像素测量结果502可以包括由图3中所公开的视频运动 引擎计算的帧运动信息。视频运动组合器电路500A可以从视频运动引擎 获得帧运动信息并对其进行处理，以产生亮度运动值和色度运动值输出 536。
视频运动组合器电路500A可以包括引擎选择电路510。引擎选择电 路510可以从视频运动引擎选择要处理哪个帧运动信息。该选择可以基于 围绕正在被计算运动信息的像素的像素中的细节。所选择的帧运动信息可 以被传送到递归运动电路520以供进一步处理。
递归运动电路520可以使用帧运动信息来作为输入。可以使用来自在 前场的运动信息来处理帧运动信息。加权的平均函数可以被应用到帧运动 信息和来自在前场的运动信息。当当前帧运动在值上小于来自在前场的运 动信息时，可以应用加权的平均函数。这个处理可以被称为运动递归。运 动递归可以提供时间运动扩展。经处理的帧运动信息可以被传送到帧/场运 动值选择电路530以供进一步处理。
帧/场运动值选择电路530可以将来自递归运动电路520的经处理的帧 运动信息来作为输入。帧/场运动值选择电路530在检测到当前正在被去隔 行的整个视频帧中的高度运动时可以输出经处理的场运动信息。当经处理 的帧运动信息超过所选择的阈值时，可以检测到高度运动。但是，当未检 测到高度运动时，帧/场运动值选择电路530可以输出帧运动信息。场运动 信息可以包括如在图4中所公开那样计算出的信息。当在正在被去隔行的视频帧中有低度运动时，该选择处理可能将去隔行器的敏感性限于使用错 误的场运动信息。
图5B示出了按照本发明的一个实施例的视频运动组合器电路的更详
细的顶层方框图。视频运动组合器电路可以包括亮度引擎选择电路516。 亮度引擎选择电路516可以在亮度引擎输入512之间进行选择。亮度输入 512可以包括由在图3中公开的视频运动引擎所计算的亮度帧运动信息。 选择可以基于被细节检测器电路514发送到亮度引擎选择电路516的信 息。细节检测器电路514可以计算用于指示当前被处理其运动信息的像素 周围的细节的层次的值。这个计算可以基于围绕当前正在被处理其运动信 息的像素的像素值变化。在某些实施例中，当像素值没有太大变化(即单 调的像素区域)时可以使用包括像素的绝对差的最大值的帧运动信息。另 外，当像素值存在高度变化时，可以使用包括像素的绝对差平均值的帧运 动信息。可以使用如图3中所公开的任何尺寸的核来计算绝对差的平均 值。可以向核中的每个像素分配二进制值。如果像素的值比所计算的平均 值大可编程的阈值，则该二进制值可以被设置为1。可以计算具有二进制 值1的像素的总数。细节检测器的输出可以表示该值是否超过可编程的阈 值。该选择处理可以通过防止充斥噪声的运动信息传播到相邻的帧来限制 去隔行的视频帧中的噪声的扩展。亮度引擎选择电路516可以输出所选择 的亮度帧运动，并且将其传送到递归运动电路520和高帧运动检测电路 522。
图5C示出了按照本发明的一个实施例的递归运动电路520的顶层方 框图。递归运动电路520可以使用所选择的亮度帧运动信息521来作为到 亮度引擎选择电路516的输入，并且输出再循环的/递归的帧运动信息527 来作为输出。亮度帧运动信息521可以被输入到加权系数计算电路526。
加权系数计算电路526可以向亮度帧运动信息521应用加权平均函 数。另外，加权系数计算电路526可以经由上游递归线523选择性地将亮 度帧运动信息521传送到递归延迟电路524。递归延迟电路524可以是在 图2A中公开的时间和空间抽头电路110的一部分。递归延迟电路524可 以建立延迟版本的亮度帧运动信息521。在某些实施例中，递归延迟电路524可以产生一场延迟版本和两场延迟版本的亮度帧运动信息521。由于 视频场的奇数和偶数特性， 一场延迟版本的亮度帧运动521可能不在空间 上与正在被计算其运动信息的像素对齐。但是，两场延迟版本的亮度帧运 动521可能在空间上与正在被计算其运动信息的像素对齐。递归延迟电路 可以经由下游递归线525向加权系数计算电路526发送适当版本的亮度帧 运动信息。
加权系数计算电路526可以通过下述方式在时间上扩展亮度帧运动信 息521:通过向亮度帧运动信息521和在递归延迟电路524中建立的延迟 版本的亮度帧信息521应用加权平均函数。该加权平均函数可以包括可编 程的加权系数。所述加权系数的范围可以是从0到1。加权平均函数的输 出可以被作为再循环/递归帧运动信息527发送到高帧运动检测电路522。
在某些实施例中，递归运动电路520可以执行不对称递归。例如，加 权系数计算电路526可以通过下述方式在时间上扩展亮度帧运动信息 521:通过仅当前一帧中的运动信息在幅度上小于当前帧中的运动信息 时，向亮度帧运动信息521和延迟版本的亮度帧运动信息521应用加权平 均函数。
向回参见图5B，高帧运动检测电路522可以将再循环/递归帧运动信 息527和来自亮度引擎选择电路516的信息来作为输入，并且输出帧运动 信息以及视频帧中的帧运动程度的指示。该信息可以被传送到场/帧运动值 选择电路530。场/帧运动值选择电路530可以根据来自高帧运动检测电路 522的帧运动的指示来在来自场运动检测器电路504的场运动信息和帧运 动信息之间进行选择。场运动检测器电路504可以计算如图4中所公开的 信息。所选择的信息可以被传送到运动扩展电路532。
运动扩展电路532可以将所选择的场运动信息或者帧运动信息作为输 入。可以在水平方向上扩展所选择的场运动或者帧运动。经处理的场运动 或者帧运动可以被输出为视频运动组合器的亮度输出。
视频运动组合器电路也可以包括色度引擎输入506。色度引擎输入 506可以包括由图3中所公开的视频运动引擎计算的色度帧运动信息。色 度引擎输入506可以在视频运动组合器电路中被色度引擎延迟电路534延迟。色度引擎延迟电路534可以输出经延迟的色度引擎输入506来作为视 频运动组合器的色度输出。色度引擎延迟电路534可以包括任何适当的延 迟电路来延迟色度引擎输入506，以与运动扩展电路532的亮度输出相匹 配。
图6A示出了按照本发明的一个实施例的帧像素运动检测模块610的 顶层方框图600A。在一些实施例中，帧像素运动检测模块610可以是如 图1A和1B的去隔行器电路100A中所公开的影片步调处理器132的一部 分。在其他实施例中，帧像素运动检测模块610可以是如图1A和1B的去 隔行器电路100A中所公开的运动自适应混合器134的一部分。帧像素运 动检测模块610可以从在图1B中公开的时间和空间运动抽头110获得下 一场信息602和前一场信息604来作为输入。另外，帧像素运动检测模块 610可以将区域阈值输入632以及像素和全局阈值输入634作为输入。可 以通过去隔行器来编程区域阈值输入632以及像素和全局阈值输入634。
帧像素运动检测模块610可以包括阈值校准电路630。阈值校准电路 630可以获得区域阈值输入632以及像素和全局阈值输入634，并且对噪 声阈值635和全局阈值637进行校准。噪声阈值635可以指示正在被去隔 行的视频帧中的噪声的水平。阈值校准电路630当其输入表示有高水平的 噪声时可以将噪声阈值635设置为更高的值。噪声阈值635可以确定何时 去隔行器进入和退出影片模式。噪声阈值635可以被发送到帧像素MAD 运动检测电路642。可以从像素和全局阈值输入634中选择全局阈值 637。
可以由自动噪声校准电路620自动地校准噪声阈值635。图6B示出了 按照本发明的一个实施例的自动噪声校准电路620的顶层方框图600B。自 动噪声校准电路620可以包括每个像素绝对差计算电路622。每个像素绝 对差计算电路622可以为下一场信息602和前一场信息604的像素的组或 者核中的每个像素计算二进制值。这些核可能类似于在图3的设置300中 所公开的那些。该二进制值可以表达两个核之间的绝对差的平均值是否大 于可编程的阈值。例如，如果特定的一组核的平均值大于阈值，则二进制 值可以是l。否则，二进制值可以是0。每个像素绝对差计算电路622也可以计算下一场信息602和前一场信 息604中的像素的核之间的绝对差的和，或者称为SAD。对于具有3-2步 调的视频，诸如下一场信息602和前一场信息604这样的一对交替场在5 个连续场的时段上本来就是类似的。为两个匹配的场计算的SAD值可以 给出在特定的视频序列中的噪声的最小量的指示。因此，累加器电路624 可以累加多个SAD值，并且将它们存储在SAD存储电路626中。SAD存 储电路626可以包括触发器、锁存器或者任何寄存器电路。所述多个SAD 值可以被发送到最小SAD选择电路628。最小SAD选择电路可以选择输 入的SAD值中的最小SAD值。该最小SAD值可以然后被发送到阈值检测 电路630以供进一步处理。
在某些实施例中，自动噪声校准电路620可以计算下述场的序列中的 最小SAD值的位置，所述场的SAD值被存储在SAD存储电路626中。该 值可以被输出为最小SAD值位置629。
向回参见图6A，阈值检测电路630可以将最小SAD值与区域阈值输 入632相比较。在一个实施例中，可以将最小SAD值与三个不同的阈值 相比较。在其他实施例中，可以相对于1、 2、 3、 5或者大于5个阈值评 估最小SAD值。这些比较可以确定对于特定的帧区域，什么阈值可以 被输出为噪声阈值635和全局阈值637。当去隔行初始开始时，可以编程 这些阈值。这些阈值可以被编程为在去隔行器预期将具有较高噪声量的视 频序列中较高。
帧像素MAD运动检测电路642可以将噪声阈值635、下一场信息602 和前一场信息604作为输入，并且输出用于表示正被去隔行器处理的视频 帧中的像素运动量的值。与在图3中公开的手段类似，帧像素MAD运动 检测电路可以使用下一场信息602和前一场信息604来计算下一场和前一 场中的像素的核之间的绝对差的平均值，或者称为MAD。该MAD值可以 被与噪声阈值635相比较。该比较可以用于产生用于表示在正在被处理的 视频帧中的像素运动量的输出。例如，如果MAD值小于噪声阈值635， 则帧像素MAD运动检测电路642的输出可以表示在由去隔行器正在处理 的视频帧中存在小数量的像素运动。相反，如果MAD值大于噪声阈值635，则帧像素MAD运动检测电路642的输出可以表示在由去隔行器正在 处理的视频帧中存在大量的像素运动。帧像素MAD运动检测电路642可 以将该输出传送到帧全局运动检测电路644。
帧全局运动检测电路644可以将获得全局阈值637和来自帧像素 MAD运动检测电路642的输出，并且输出用于表示在由去隔行器正在处 理的视频帧中的全局帧运动量的值。该输出可被发送到3-2帧步调处理器 状态机644。例如，帧全局运动检测电路644可以求和来自帧像素MAD 运动检测电路642的信息，并且将该和与全局阈值637相比较。该比较可 以设置全局帧运动标记。该全局帧运动标记可以然后用于3-2帧步调处理 器状态机中以检测影片步调的改变。
3-2帧步调处理器状态机646可以使用最小SAD值位置629和来自帧 全局运动检测电路644的输出来作为输入，以便确定是否退出影片模式。 在某些实施例中，如果最小SAD值的位置不出现在跨越几个场的连续移 位位置中，则3-2帧步调处理器状态机646可以退出影片模式。另外，当 在跨越几个连续场的连续移位位置中出现最小SAD值位置629时，3-2帧 步调处理器可以进入影片模式。可以将连续场的数量定义为5。可以将连 续移位位置定义为每过一个状态机过渡时段就递增1的位置。状态机过渡 时段可以被定义为状态机在状态之间过渡所用的处理时间。因此，如果存 在在连续帧之间几乎没有运动的视频序列，则去隔行器将退出影片模式， 如果存在包含指示3-2步调的特征的视频序列，则去隔行器进入影片模 式。在没有在帧像素运动检测模块610中使用任何阈值的情况下发生这种 进入和退出影片模式。
图7示出了按照本发明的一些实施例的边界排除窗口 710、 720、 730 和740的图。边界排除窗口 710、 720、 730和740可以用于向量插值器 126中以排除帧中的包含缺少像素或者垃圾像素的区域。这些区域可以包 括由去隔行器处理的每个场的边界。可以由边界排除寄存器722、 724、 728和726来构造边界排除窗口 710、 720、 730和740。边界排除寄存器可 以是任何适当的寄存器硬件，其存储了帧中的要在特定的边界排除窗口中 排除的位置的表格。这些边界像素可能引起从影片和视频模式的错误退出。因此，重要的是它们用于排除场中的可能包含缺少像素或者垃圾像素 的部分。
全局边界排除窗口 710包括一个全帧。縮小的全局边界排除窗口 720 包括减去存储在顶部边界排除寄存器722、左边界排除寄存器728、底部 边界排除寄存器726和右边界排除寄存器724中的像素的一个全帧。顶部 边界排除窗口 730包括减去存储在底部边界排除寄存器726中的像素的一 个全帧。縮小的全局边界排除窗口 740包括减去存储在顶部边界排除寄存 器722、左边界排除寄存器728和右边界排除寄存器724中的像素的一个 全帧。
在某些实施例中，两组步调检测电路可被应用于一个帧。因此，如果 在顶部边界排除窗口 730的底部出现滚动的文本，则由底部边界排除寄存 器726限定的帧底部区域将进入视频模式，同时帧的顶部部分保持在3-2 影片模式中。
图8示出了按照本发明的一个实施例的影片步调处理器模块800的顶 层方框图。该影片步调处理器模块800可以类似于在图1B中公开的影片 步调处理器132。影片步调处理器模块800可以获得来自帧运动检测器 810和场运动检测器820的输入。这两个检测器可以包括针对图1B中的运 动引擎122公开并且在图3和4中详细说明的帧运动和场运动引擎。
帧运动检测器810可以向噪声校准/规格化电路830发送帧运动信息 812。噪声校准/规格化电路830可以使用任何适当的规格化电路来规格化 帧运动信息812。帧运动信息812可以包括像素帧运动标记。可以使用与 由图5B中所公开的细节检测器124计算的标记类似的技术来计算像素帧 运动标记。规格化电路可以使用与针对图3公开的技术类似的技术来定标 帧运动信息812。噪声校准/规格化电路830也可以包括自动噪声校准电 路。自动噪声校准电路可以使用在下一帧和前一帧中的像素的核之间的绝 对差的平均值来计算帧运动阈值。这个处理可以是针对图6A和6B中的自 动噪声校准电路620所公开的处理。规格化帧运动信息、像素帧运动标记 和帧运动阚值可以作为噪声校准/规格化电路输出832被发送到标记累加电 路840。场运动检测器820可以产生场运动标记822。可以使用与在图4中公 开的类似的技术来计算像素场运动标记822。像素场运动标记822可以被 发送到标记累加电路840和标记检测电路860以进一步帮助步调检测。
在某些实施例中，去隔行器可以使用多个场运动弓I擎来计算像素场运 动并使用多个帧运动引擎来计算像素帧运动。场运动引擎或者帧运动引擎 的数量可以等于1、 2、 3或者大于3。像素场运动标记可以是2比特二进 制值。最低有效位可以表示正在被去隔行的当前场和将被去隔行的下一个 场之间的场运动。最高有效位可以表示在正在被去隔行的当前场和已经被 去隔行的前一个场之间的运动。所述像素帧运动标记可以是单个二进制比 特，其表示在正在被去隔行的下一个场和已经被去隔行的前一个场之间的 运动。
像素场运动标记822和在噪声校准/规格化电路输出832中的像素帧运 动标记可以在标记累加电路840中累加。标记累加电路840可以对输入的 标记进行分类并且输出全局标记842和顶部标记844。全局标记842可以 是与整个帧相关的运动标记。顶部标记844可以是仅与帧的顶部相关的运 动标记。可以与图7中所公开的顶部边界排除窗口 730类似地定义帧的顶 部。全局标记842和顶部标记844可以被传送到状态机电路850，并且用 于检测各种步调。
状态机电路850可以检查输入的全局运动标记842和顶部标记844以 寻找型式。这些型式可以向去隔行器表示何时进入和退出特定的步调处理 模式。状态机电路850可以包括几个状态机对于去隔行器能够检测的每 个步调，都有一个状态机。这些步调可以包括3-2、 2-2、 2-2-2-4、 2-3-3-2、 3-2-3-2-2、 5-5、 6-4、 8-7或者任何可编程的步调。状态机电路850中 的每个状态机可以产生模式标记和编织标记来作为输出。模式标记可以是 单个二进制比特，其表示由去隔行器当前正在处理的视频属于特定的步 调。编织方向标记可以是二进制比特的序列，用于向去隔行器指示何时和 如何将去隔行器当前正在处理的特定步调的连续场编织在一起。来自状态 机电路850中的所有状态机的模式标记可以被输出为模式标记852，并且 来自状态机电路850中的所有状态机的编织标记可以被输出为编织标记854。模式标记853和编织标记854可以被发送到标记选择电路860。
当多个编织标记同时变高时，标记选择电路860可以向由状态机电路 850中的步调状态机检测到的步调分配优先级。被分配到每个步调的优先 级可以用于决定从标记选择电路860输出的最后模式标记864和最后编织 方向标记862。可以从模式标记852中选择最后模式标记864，并且可以 从编织标记854中选择最后编织标记862。所选择的模式标记和编织标记 可以来自同一步调状态机。在一个实施例中，优先级可以具有下面的步调 顺序(从最高优先级的步调到最低优先级的步调)3-2、 2-2、 2-2-2-4、 2匿3-3-2、 3-2-3-2-2、 5-5、 6-4和8-7。
图9示出了按照本发明的一个实施例的影片步调处理器状态机电路的 顶层方框图。在图9中所示的影片步调处理器状态机可以是图8中所公开 的状态机电路850中的一个状态机。在用于特定步调的状态机中，可以有
影片步调状态机电路的两个拷贝--个用于检测在帧的顶部的步调，一
个用于检测在帧的底部的步调。
影片步调处理器状态机电路可以使用全局标记910作为输入，并且检 测连续标记的序列内的型式。全局标记910可以类似于在图8中公开的全 局标记842。如果检测到标记的重复型式，则进入匹配电路930可以将第 一匹配标记932设置为高，第一匹配标记932可以向状态机电路960表示 要断言模式标记962。可以由场/帧模式输入912来设置型式。模式标记 962可以指示假如即将到来的帧属于被分配给影片步调处理器状态机电 路的特定步调，那么去隔行器应当处理这些即将到来的帧。维持匹配电路 950可以然后定期地进行査看，以保证重复型式持续。如果重复型式有间 断，则模式标记962可以指示即将到来的帧不再属于被分配到影片步调处 理器状态机电路的特定步调。
在某些实施例中，场/帧型式输入912可以由下一场型式和前一场型式 构成。下一场型式可以指定特定步调循环中的每个场在时间上与下一个场 中的全局运动相比的全局运动。前一个场型式指定特定步调循环中的每个 场在时间上与前一个场中的全局运动相比的全局运动。另外，场/帧型式输 入912可以包括帧型式。帧型式可以被计算为下一场型式和前一场型式的逐位的逻辑或运算。帧型式可以表示特定的步调循环中的下一个场和前一 个场之间的全局运动。在特定的实施例中，可以在影片步调处理器状态机 电路中硬连线下一场型式、前一场型式和帧型式。
下一场型式、前一场型式和帧型式可以是"硬型式"，因为当正在被 去隔行器处理的视频中没有运动时不会出现这些型式。因此，这些型式可
以仅仅用于进入特定的步调处理模式。可以由硬匹配标记952来表示对特 定步调处理模式的进入。仅在当维持匹配电路950预期低整体运动的时段 时全局标记910表示正在被去隔行的视频帧中的高整体运动时，影片步调 处理器状态机可以退出特定步调处理模式。如果这种情况发生，则维持匹 配电路950可以将硬匹配标记952设置为低。维持匹配电路950也可以向 环形计数器电路940发送硬和软匹配标记。
在某些实施例中，全局标记910可以被传送通过标记移位电路920。 标记移位电路920可以将全局标记910移位一时间段，该时间段等于步调 循环中的场的总数。例如，对于3-2影片步调，标记移位电路920可以将 全局标记910移位5个场周期。
图10示出了按照本发明的一个实施例的影片步调处理器状态机1000 的图。可以在状态机电路960中以硬件来实现状态机1000。现在可以参照 图9中的影片步调处理器状态机电路来描述在图10中所示的影片步调处 理器状态机的操作。
环形计数器940可以保存每个场的步调特征或者特定步调的场集的步 调特征。当处理新的场时，所分配的特征可以循环地移位。例如，如果在 特定场处检测到3: 2步调，则环形计数器电路940可以向该步调中的场 分配步调特征01111。当处理不同步调的下一个场时，环形计数器940可 以向该步调中的场的特征分配步调特征iiiio。在一些实施例中，环形计 数器电路940可以保持内部状态。该内部状态可以用于计算编织方向标记 964。
进入匹配电路930可以查找移位的全局标记中的特定帧型式的存在。 如果发现了适当的型式，则状态机1000从状态1010转换到状态1020。另 外，环形计数器电路可以更新前一个场环形计数器和当前的场环形计数器。
在状态1020中，维持匹配电路950可以对照特定帧型式和环形计数 器来检查全局标记910。 一旦特定帧型式已经匹配了 NO次，则状态机 IOOO可以从状态1020转换到状态1030。如果特定帧型式和全局标记910 不匹配，则状态机1000可以从状态1020转换到状态1010。只要特定帧型 式匹配，软匹配标记954就可以保持高。
在状态1030中，维持匹配电路950可以对照特定帧型式和环形计数 器来检查全局标记910。 一旦特定帧型式已经匹配了 Nl次，则状态机 IOOO可以从状态1030转换到状态1040。如果特定帧型式和全局标记910 不匹配，则状态机IOOO可以从状态1030转换到状态1010。
在状态1040中，可以将模式标记962断言为高。另外，编织方向标 记964可以从环形计数器计算。状态机1000可以保持在状态1040中，直 到特定帧型式和全局标记910不匹配为止。在这样的不匹配后，状态机 1000可以从状态1040转换到状态1010，并且模式标记962和编织标记 964可以被复位。
现在参见图11A-11G，示出了本发明的各种示例性实现方式。
现在参见图IIA，可以在硬盘驱动器1100中实现本发明。本发明可 以被实现为信号处理和/或控制电路的一部分，信号处理和/或控制电路的 部分在图11A中被一般地标识为1102。在一些实现方式中，信号处理和/ 或控制电路1102禾n/或HDD 1100中的其他电路(未示出)可以处理数 据、执行编码和/或加密、执行计算，并且/或者格式化被输出到磁存储介 质1106和/或从磁存储介质1106接收的数据。
HDD IIOO可以经由一个或多个有线或者无线的通信链路1108与诸如 计算机之类的主机设备(未示出)、诸如个人数字助理、蜂窝电话、媒体 或者MP3播放器等之类的移动计算设备和/或者其他设备通信。HDD 1100 可以连接到存储器1109，例如随机存取存储器(RAM)、诸如快闪存储 器之类的低延迟非易失性存储器、只读存储器(ROM)和/或其他适当的 电子数据存储器。
现在参见图IIB，可以在数字通用盘(DVD)驱动器1110中实现本发明。本发明可以被实现为DVD驱动器1110中的信号处理和/或控制电路 的一部分和/或海量数据存储器1118，信号处理和/或控制电路在图11B中 被一般地标识为1112。信号处理和/或控制电路1112和/或在DVD 1110中 的其他电路(未示出)可以处理数据、执行编码和/或者加密、执行计算， 并且/或者格式化从光存储介质1116中读取并且/或者被写入到光存储介质 1116中的数据。在一些实现方式中，信号处理和/或控制电路1112和/或在 DVD 1110中的其他电路(未示出)也以执行其他功能，诸如编码和/或解 码和/或与DVD驱动器相关联的任何其他信号处理功能。
DVD驱动器1110可以经由一个或多个有线或者无线的通信链路1117 与诸如计算机、电视机或者其他设备之类的输出设备(未示出)通信。 DVD 1110可以与以非易失性方式存储数据的海量数据存储器1118通信。 海量数据存储器1118可以包括硬盘驱动器(HDD) 。 HDD可以具有在图 IIA中所示的配置。所述HDD可以是微型HDD，其包括一个或多个具有 小于大约1.8"的直径的盘片。DVD 1110可以连接到存储器1119，例如 RAM、 ROM、诸如快闪存储器之类的低延迟非易失性存储器和/或者其他 适当的电子数据存储器。
现在参见图IIC，可以在高清晰度电视机(HDTV) 1120中实现本发 明。本发明可以被实现为HDTV 1120中的信号处理和/或控制电路的一部 分(其在图IIC中被一般地标识为1122) 、 WLAN接口 1129和/或海量数 据存储器1127。 HDTV 1120以有线格式或者无线格式来接收HDTV输入 信号，并且产生用于显示器1126的HDTV输出信号。在一些实现方式 中，信号处理电路和/或控制电路1122和/或HDTV 1120中的其他电路 (未示出)可以处理数据、执行编码和/或加密、执行计算、格式化数据和 /或执行可能需要的任何其他类型的HDTV处理。
HDTV 1120可以与诸如光学和/或磁存储设备之类的以非易失性方式 存储数据的海量数据存储器1127通信，光学和/或磁存储器例如是硬盘驱 动器HDD和/或DVD。至少一个HDD可以具有在图IIA中所示的配置， 并且/或者至少一个DVD可以具有在图IIB中所示的配置。HDD可以是微 型HDD，其包括一个或多个具有小于大约1.8'，的直径的盘片。HDTV 1120可以连接到存储器1128，例如RAM、 ROM、诸如快闪存储器之类的低延 迟非易失性存储器和/或者其他适当的电子数据存储器。HDTV 1120也可 以支持经由WLAN网络接口 1129与WLAN连接。
现在参见图IID，可以在车辆1130的数字娱乐系统1132中实现本发 明，车辆1130可以包括WLAN接口 1144和/或海量数据存储器1140。
数字娱乐系统1132可以与以非易失性方式存储数据的海量数据存储 器1140通信。海量数据存储器1140可以包括光学和/或磁存储设备，例如 硬盘驱动器(HDD)禾Q/或DVD驱动器。HDD可以是微型HDD，其包括 一个或多个具有小于大约1.8"的直径的盘片。数字娱乐系统1132可以连接 到存储器1142，例如RAM、 ROM、诸如快闪存储器之类的非易失性存储 器和/或者其他适当的电子数据存储器。数字娱乐系统1132也可以支持经 由WLAN网络接口 1144与WLAN连接。在一些实施例中，车辆1130包 括诸如扬声器之类的音频输出1134、显示器1136和/或诸如小键盘、触摸 板等之类的用户输入1138。
现在参见图IIE，可以在包括蜂窝天线1151的蜂窝电话1150中实现 本发明。本发明可以被实现为蜂窝电话1150中的信号处理和/或控制电路 的一部分(其在图IIE中被一般地标识为1152) 、 WLAN接口 1168和/或 海量数据存储器1164。在一些实现方式中，蜂窝电话1150包括麦克风 1156、诸如扬声器和/或音频输出插孔之类的音频输出1158、显示装置 1160和/或诸如小键盘、指点装置、语音致动和/或其他输入设备的输入设 备1162。信号处理和/或控制电路1152和/或蜂窝电话1150中的其他电路 (未示出)可以处理数据、执行编码和/或加密、执行计算、格式化数据和 /或执行其他的蜂窝电话功能。
蜂窝电话1150可以与诸如光学和/或磁存储器之类的以非易失性方式 存储数据的海量数据存储器1164通信，光学和/或磁存储器例如是硬盘驱 动器(HDD)和/或DVD。至少一个HDD可以具有在图11A中所示的配 置，并且/或者至少一个DVD可以具有在图11B中所示的配置。所述 HDD可以是微型HDD,其包括一个或多个具有小于大约1.8"的直径的盘 片。蜂窝电话1150可以连接到存储器1166，例如RAM、 ROM、诸如快闪存储器之类的低延迟存储器和/或者其他适当的电子数据存储器。蜂窝电
话1150也可以支持经由WLAN网络接口 1168与WLAN连接。
现在参见图IIF，可以在机顶盒1180中实现本发明。本发明可以被实 现为机顶盒1180中的信号处理和/或控制电路的一部分(其在图11F中被 一般地标识为1184) 、 WLAN接口 1196和/或海量数据存储器1190。机 顶盒1180从诸如宽带源之类的来源接收信号，并且输出适合于显示器 1188 (诸如电视机和/或监控器)和/或其他视频和/或音频输出设备的标准 和/或高清晰度的音频/视频信号。信号处理和/或控制电路1184和/或机顶 盒1180中的其他电路(未示出)可以处理数据、执行编码和/或加密、执 行计算、格式化数据和/或执行任何其他的机顶盒功能。
机顶盒1180可以与以非易失性方式存储数据的海量数据存储器1190 通信。海量数据存储器1190可以包括光学和/或磁存储设备，例如硬盘驱 动器(HDD)和/或DVD。至少一个HDD可以具有在图11A中所示的配 置，并且/或者至少一个DVD可以具有在图IIB中所示的配置。HDD可以 是微型HDD,其包括一个或多个具有小于大约1.8"的直径的盘片。机顶盒 1180可以连接到存储器1194，例如RAM、 ROM、诸如快闪存储器之类的 低延迟存储器和/或者其他适当的电子数据存储器。蜂窝电话1150也可以 支持经由WLAN网络接口 1196与WLAN连接。
现在参见图IIG，可以在媒体播放机1200中实现本发明。本发明可 以被实现为媒体播放机1200中的信号处理和/或控制电路的一部分(其在 图IIG中被一般地标识为1204) 、 WLAN接口 1216和/或海量数据存储器 1210。在一些实现方式中，媒体播放机1200包括显示装置1207和/或用户 输入1208 (诸如小键盘、触摸板等)。在一些实现方式中，媒体播放机 1200可以使用经由显示器1207和/或用户输入1208的图形用户界面 (GUI)，其一般使用菜单、下拉菜单、图标和/或指向-点击界面。媒体播 放机1200还包括音频输出1209，诸如扬声器和/或音频输出插孔。信号处 理和/或控制电路1204和/或媒体播放机1200中的其他电路(未示出)可 以处理数据、执行编码和/或加密、执行计算、格式化数据和/或执行任何 其他的媒体播放机功能。媒体播放机1200可以与以非易失性方式存储数据(诸如压縮的音频 和/或视频内容)的海量数据存储器1210通信。在一些实现方式中，压縮 音频文件包括符合MP3格式或者其他适当的压縮音频和/或视频格式的文 件。海量数据存储器1210可以包括光学和/或磁存储器，例如硬盘驱动器
(HDD)和/或DVD。至少一个HDD可以具有在图11A中所示的配置， 并且/或者至少一个DVD可以具有在图IIB中所示的配置。HDD可以是微 型HDD，其包括一个或多个具有小于大约1.8"的直径的盘片。媒体播放机 1200可以连接到存储器1214，例如RAM、 ROM、诸如快闪存储器之类的 低延迟存储器和/或者其他适当的电子数据存储器。媒体播放机1200也可 以支持经由WLAN网络接口 1216与WLAN连接。除了上面所述的那些实 现方式之外，还考虑其他的实现方式。
可以明白，上述内容仅仅是说明本发明的原理，并且在不脱离本发明 的范围和精神的情况下，可以由本领域内的技术人员进行各种修改。
权利要求
1. 一种用于去隔行多个视频帧的运动自适应视频去隔行器，所述多个视频帧包括多个视频场，所述运动自适应视频去隔行器包括运动处理电路，其提供至少两个像素运动引擎，所述至少两个像素运动引擎用于计算所述多个视频场中的每个像素的运动信息；视频运动组合器电路，其至少部分地根据所述运动信息来选择所述像素运动引擎之一以计算像素值；以及行去复用器电路，用于至少部分地根据所述像素值来构造去隔行的视频的帧。
2. 如权利要求1所述的运动自适应视频去隔行器，还包括时间和空 间运动抽头电路，所述时间和空间运动抽头电路包括用于存储下一帧数 据、当前帧数据和前一帧数据的存储器电路。
3. 如权利要求1所述的运动自适应视频去隔行器，其中，所述运动 处理电路还包括向量插值器电路，其包括第一像素运动引擎，该第一像素运动引擎用 于使用空间滤波来处理所述多个视频场；以及运动引擎电路，其包括第二像素运动引擎，该第二像素运动引擎用于 通过计算所述多个视频场中的至少两组像素之间的绝对差的平均值来处理 所述多个视频场。
4. 如权利要求3所述的运动自适应视频去隔行器，其中，当围绕所 述多个视频场中的一个场中的一个像素的细节小于阈值时，所述运动引擎 电路被选择。
5. 如权利要求4所述的运动自适应视频去隔行器，其中，所述像素是所述多个视频场中的所述场中的一个缺少像素。
6. 如权利要求3所述的运动自适应视频去隔行器，其中，所述至少 两组像素还包括由所述去隔行器正在处理的当前视频帧中的一组像素和由 所述去隔行器正在处理的后一视频帧中的一组像素。
7. 如权利要求3所述的运动自适应视频去隔行器，其中，所述像素组具有相同的大小。
8. 如权利要求7所述的运动自适应视频去隔行器，其中，所述绝对差的平均值被计算为第一组像素中的每个像素和第二组像素中的对应像素之间的绝对差的和的平均值。
9. 如权利要求8所述的运动自适应视频去隔行器，其中，所述绝对差被定标到四比特的像素值。
10. 如权利要求9所述的运动自适应视频去隔行器，其中，所述定标至少部分地基于低阈值和高阈值。
11. 如权利要求10所述的运动自适应视频去隔行器，其中，所计算出的小于所述低阈值的绝对差被分配最低的四比特值，所计算出的大于所述高阈值的绝对差被分配最高的四比特值。
12. 如权利要求1所述的运动自适应视频去隔行器，其中，所述至少两个像素运动弓I擎并行地处理所述多个视频场。
13. 如权利要求1所述的运动自适应视频去隔行器，其中，所述视频运动组合器电路至少部分地根据围绕特定像素的细节来选择所述像素运动
14. 如权利要求13所述的运动自适应视频去隔行器，其中，至少部分地根据围绕特定像素的像素值上的变化来计算所述细节。
15. 如权利要求1所述的运动自适应视频去隔行器，还包括递归运动电路，该递归运动电路使用所述至少两个像素运动引擎来提供所述多个视频场的时间运动扩展。
16. 如权利要求15所述的运动自适应视频去隔行器，其中，所述递归运动电路还包括从所述至少两个像素运动引擎中的至少一个接收所述运动信息的电路；递归延迟电路，其计算至少一个延迟版本的所述运动信息；以及加权系数计算电路，其使用加权系数来从所述运动信息和所述至少一个延迟版本的所述运动信息计算像素值。
17. 如权利要求16所述的运动自适应视频去隔行器，其中，所述至少一个延迟版本的所述运动信息包括一周期延迟版本的所述运动信息和两周期延迟版本的所述运动信息。
18. 如权利要求17所述的运动自适应视频去隔行器，其中，所述两周期延迟版本的所述运动信息在空间上与当前正在被所述去隔行器处理的多个视频场中的一个场中的一个像素对齐。
19. 如权利要求18所述的运动自适应视频去隔行器，其中，所述加权系数用于根据非对称递归来计算像素值。
20. —种用于去隔行多个视频帧的方法，所述多个视频帧包括多个视频场，所述方法包括使用至少两个像素运动引擎来计算所述多个视频场中的每个像素的运动信息；至少部分地根据所计算的运动信息来从所述像素运动引擎之一选择运动信息；至少部分地根据所选择的运动信息来计算像素值；以及至少部分地根据所述像素值来构造去隔行的视频的帧。
21. 如权利要求20所述的方法，还包括使用空间滤波来处理所述多个视频场；并且计算所述多个视频场中的至少两组像素之间的绝对差的平均值。
22. 如权利要求21所述的方法，还包括计算所述多个视频场的时间运动扩展。
23. 如权利要求22所述的方法，还包括计算至少一个延迟版本的所述运动信息；以及通过至少部分地根据对所述运动信息的非对称递归和所述至少一个延迟版本的所述运动信息来应用加权系数以计算像素值。
24. —种用于去隔行多个视频帧的运动自适应视频去隔行器，所述多个视频帧包括多个视频场，所述运动自适应视频去隔行器包括用于使用至少两个像素运动引擎来计算所述多个视频场中的每个像素的运动信息的装置；用于至少部分地根据所计算的运动信息来从所述像素运动引擎之一选择运动信息的装置；用于至少部分地根据所选择的运动信息来计算像素值的装置；以及用于至少部分地根据所述像素值来构造去隔行的视频的帧的装置。
25. 如权利要求24所述的运动自适应视频去隔行器，还包括用于计算至少一个延迟版本的所述运动信息的装置；以及用于计算所述多个视频场中的至少两组像素之间的绝对差的平均值的装置。
26. —种用于去隔行多个视频帧的运动自适应视频去隔行器，所述多个视频帧包括多个视频场，每个场包括多个水平视频行，所述运动自适应视频去隔行器包括运动处理电路，用于将每个帧划分为多个区域；步调检测电路，用于检测所述多个区域中的每一个区域中的步调；以及行去复用器电路，用于至少部分地根据所检测到的步调来构成去隔行的视频的帧。
27. 如权利要求26所述的运动自适应视频去隔行器，其中，所述步调检测电路检测下面的步调中的一个或多个3-2、 2-2、 2-2-2-4、 2-3-3-2、 3-2-3-2画2、 5-5、 6-4和8-7。
28. 如权利要求26所述的运动自适应视频去隔行器，其中，所述步调检测电路检测可编程的步调。
29. 如权利要求26所述的运动自适应视频去隔行器，其中，所述多个区域包括下列的一个或多个全帧、帧的顶部、帧的底部、帧的右部和帧的左部。
30. 如权利要求29所述的运动自适应视频去隔行器，其中，所述帧的顶部被定义为除了所述帧的底部的多个水平视频行之外的全帧。
31. 如权利要求30所述的运动自适应视频去隔行器，其中，由所述步调处理电路来选择被除外的水平视频行的数目。
32. 如权利要求26所述的运动自适应视频去隔行器，其中，所述步调处理电路还包括多个影片步调处理器状态机电路，所述多个影片步调处理器状态机电路用于检测所述多个区域中的每一个区域中的特定步调。
33. 如权利要求32所述的运动自适应视频去隔行器，其中，所述多个影片步调处理器状态机电路还包括标记移位电路，其接收多个全局运动标记；进入匹配电路，其接收型式输入以检测第一型式匹配；以及维持匹配电路，其检测在所述第一型式匹配后的多个随后的型式匹配。
34. 如权利要求33所述的运动自适应视频去隔行器，其中，所述标记移位电路将所述多个全局运动标记移位一周期，该周期等于所述特定步调中的场的总数。
35. 如权利要求33所述的运动自适应视频去隔行器，其中，所述型式输入包括下一场型式、前一场型式和帧型式。
36. 如权利要求35所述的运动自适应视频去隔行器，其中，根据将所述特定步调中的每个场的全局运动与下一时间场中的全局运动进行比较来选择所述下一场型式。
37. 如权利要求35所述的运动自适应视频去隔行器，其中，根据将所述特定步调中的每个场的全局运动与前一时间场的全局运动进行比较来选择所述前一场型式。
38. 如权利要求35所述的运动自适应视频去隔行器，其中，所述帧型式被计算作为所述下一场型式和所述前一场型式之间的逐位逻辑或运算。
39. 如权利要求35所述的运动自适应视频去隔行器，其中，型式匹配被计算作为帧型式和全局运动标记之间的匹配。
40. —种用于去隔行多个视频帧的方法，所述多个视频帧包括多个视频场，每个场包括多个水平视频行，所述方法包括将每个帧划分为多个区域；检测所述多个区域中的每一个区域中的步调；以及至少部分地根据所检测到的步调来构造去隔行的视频的帧。
41. 如权利要求40所述的方法，其中，所述多个区域包括下列的一个或多个全帧、帧的顶部、帧的底部、帧的右部和帧的左部。
42. 如权利要求40所述的方法，还包括接收特定步调的指示；接收多个全局运动标记；接收型式输入；至少部分地根据所述特定步调、型式输入和全局运动标记来检测多个型式匹配。
43. 如权利要求42所述的方法，其中，所述多个全局运动标记被移位一周期，该周期等于所述特定步调中的场的总数。
44. 如权利要求42所述的方法，其中，所述型式输入包括下一场型式、前一场型式和帧型式，所述方法还包括通过将所述特定步调中的每个场的全局运动与下一时间场中的全局运动进行比较来选择所述下一个场型式。
45. 如权利要求42所述的方法，其中，所述型式输入包括下一场型式、前一场型式和帧型式，所述方法还包括通过将所述特定步调中的每个场的全局运动与前一时间场中的全局运动进行比较来选择所述前一场型式。
46. 如权利要求42所述的方法，其中，所述型式输入包括下一场型式、前一场型式和帧型式，所述方法还包括作为所述下一场型式和所述前一场型式之间的逐位逻辑或运算来计算所述帧型式。
47. —种用于去隔行多个视频帧的运动自适应视频去隔行器，所述多个视频帧包括多个视频场，每个场包括多个水平视频行，所述运动自适应视频去隔行器包括用于将每个帧划分为多个区域的装置；用于检测所述多个区域中的每一个区域中的步调的装置；以及用于至少部分地根据所检测到的步调来构造去隔行的视频的帧的装置。
48. 如权利要求47所述的运动自适应视频去隔行器，还包括用于接收特定步调的指示的装置；用于接收多个全局运动标记的装置；用于接收型式输入的装置；用于至少部分地根据所述特定步调、型式输入和全局运动标记来检测多个型式匹配的装置。
49. 如权利要求48所述的运动自适应视频去隔行器，还包括用于计算下一帧型式输入的装置；用于计算前一帧型式输入的装置；以及用于计算帧型式输入的装置。
50. 如权利要求49所述的运动自适应视频去隔行器，还包括用于计算所述帧型式和所述全局运动标记之间的型式匹配的装置。
51. —种用于去隔行多个视频帧的运动自适应视频去隔行器，所述多个视频帧包括多个视频场，所述运动自适应视频去隔行器包括运动处理电路，其提供至少两个像素运动引擎，所述两个像素运动引擎用于计算所述多个视频场中的每个像素的运动信息；步调检测电路，其确定何时进入和退出3-2影片模式；以及行去复用器电路，用于至少部分地根据进入和退出3-2影片模式的所述去隔行器来构造去隔行的视频的帧。
52. 如权利要求51所述的运动自适应视频去隔行器，其中，所述步调检测电路还包括提供噪声阈值的自动噪声校准电路。
53. 如权利要求52所述的运动自适应视频去隔行器，其中，所述噪声阈值被所述步调检测电路用来确定何时进入和退出3-2影片模式。
54. 如权利要求52所述的运动自适应视频去隔行器，其中，所述自动噪声校准电路还包括每个像素绝对差计算电路，其计算所述多个视频场中的至少两组像素之间的绝对差的和；累加器电路，其存储绝对差的多个和；最小值选择电路，其从所存储的绝对差的多个和中选择绝对差的最小和；以及阈值检测电路，其至少部分地根据所选择的绝对差的最小和来计算噪声阈值。
55. 如权利要求54所述的运动自适应视频去隔行器，其中，所述绝 对差的多个和包括绝对差的5个和。
56. 如权利要求54所述的运动自适应视频去隔行器，其中，所述至 少两组像素还包括在当前帧之后的一帧中的一组像素和在所述当前帧之前 的一帧中的一组像素。
57. 如权利要求54所述的运动自适应视频去隔行器，其中，所述累 加器电路还包括存储电路，其存储为了所述去隔行器所处理的相等多个连 续场计算的绝对差值的多个和。
58. 如权利要求57所述的运动自适应视频去隔行器，其中，所述绝 对差值的多个和包括绝对差值的至少5个和。
59. 如权利要求54所述的运动自适应视频去隔行器，其中，所述阈 值检测电路至少部分地根据将所选择的绝对差的最小和与多个阈值相比较 来计算噪声阈值。
60. 如权利要求59所述的运动自适应视频去隔行器，其中，由所述 去隔行器来选择所述多个阈值。
61. 如权利要求54所述的运动自适应视频去隔行器，其中，所述自 动噪声校准电路还包括用于计算所述绝对差值的最小和在下述视频场的序 列中的位置的电路，所述视频场的绝对差的和被存储在所述累加器电路 中。
62. 如权利要求61所述的运动自适应视频去隔行器，其中，所述自 动噪声校准电路还包括3-2帧步调处理器状态机电路，所述3-2帧步调处 理器状态机电路接收所述计算出的位置。
63. 如权利要求62所述的运动自适应视频去隔行器，其中，所述3-2 帧步调处理器状态机电路至少部分地根据所计算出的不是跨越5个连续场 的连续移位位置的位置来退出3-2影片模式。
64. 如权利要求63所述的运动自适应视频去隔行器，其中，所述连 续移位位置被定义为每过一个状态机过渡周期就递增1的位置。
65. 如权利要求64所述的运动自适应视频去隔行器，其中，所述状态机过渡周期被定义为所述3-2帧步调处理器状态机电路在状态之间过渡 所用的处理时间。
66. 如权利要求62所述的运动自适应视频去隔行器，其中，所述3-2 帧步调处理器状态机电路至少部分地根据所计算出的是跨越5个连续场的 连续移位位置的位置来进入3-2影片模式。
67. —种用于去隔行多个视频帧的方法，所述多个视频帧包括多个视 频场，所述方法包括使用至少两个像素运动弓I擎来计算所述多个视频场中的每个像素的运 动信息；确定何时进入和退出3-2影片模式；以及至少部分地根据进入和退出3-2影片模式的去隔行器来构造去隔行的 视频的帧。
68. 如权利要求67所述的方法，还包括 计算噪声阈值；至少部分地根据所述噪声阈值来确定何时进入和退出3-2影片模式。
69. 如权利要求68所述的方法，还包括计算视频场的序列中的绝对 差的最小和的位置。
70. 如权利要求69所述的方法，还包括至少部分地根据所计算出 的不是跨越5个连续场的连续移位位置的位置来退出3-2影片模式，其 中，所述连续移位位置被定义为每过一个状态机过渡周期就递增1的位 置。
71. 如权利要求69所述的方法，还包括所述3-2帧步调处理器状态 机电路至少部分地根据所计算出的是跨越5个连续场的连续移位位置的位 置来进入3-2影片模式，其中，所述连续移位位置被定义为每过一个状态 机过渡周期就递增1的位置。
72. —种用于去隔行多个视频帧的运动自适应视频去隔行器，所述多 个视频帧包括多个视频场，所述运动自适应视频去隔行器包括用于使用至少两个像素运动引擎来计算所述多个视频场中的每个像素 的运动信息的装置；用于计算噪声阈值的装置；用于至少部分地根据所述噪声阈值来确定何时进入和退出3-2影片模 式的装置；以及用于至少部分地根据进入和退出3-2影片模式的去隔行器来构造去隔 行的视频的帧的装置。
73. 如权利要求72所述的运动自适应视频去隔行器，还包括，用于 计算视频场的序列中的绝对差值的最小和的位置的装置。
74. 如权利要求73所述的运动自适应视频去隔行器，还包括用于 至少部分地根据所计算出的不是跨越5个连续场的连续移位位置的位置来 退出3-2影片模式的装置，其中，所述连续移位位置被定义为每过一个状 态机过渡周期就递增1的位置。
75. 如权利要求73所述的运动自适应视频去隔行器，还包括用于 至少部分地根据所计算出的是跨越5个连续场的连续移位位置的位置来进 入3-2影片模式的装置，其中，所述连续移位位置被定义为每过一个状态 机过渡周期就递增1的位置。
全文摘要
一种运动自适应视频去隔行器可以处理从视频帧得到的视频场。去隔行器可以使用多个像素运动引擎来提供关于每个场内的像素的运动信息。运动引擎的输出可以用于根据视频场内的细节来去隔行视频场。去隔行器可以使用运动递归和运动再循环来提供每个场内的像素的时间运动扩展。另外，去隔行器可以检测视频帧内的各种区域的各种步调。可以使用所计算出的阈值或者不使用所计算出的阈值来检测步调。
文档编号H04N5/44GK101536500SQ200780041675
公开日2009年9月16日 申请日期2007年11月6日 优先权日2006年11月8日
发明者尼克希尔·巴拉姆, 桑杰伊·噶日, 苏吉斯·西尼瓦萨恩, 麦纳克·比斯瓦斯 申请人:马维尔国际贸易有限公司