一种视频检测及处理方法、装置的制造方法
【技术领域】
[0001] 本发明涉及视频模式检测领域，尤其涉及一种视频检测及处理方法、装置。
【背景技术】
[0002] 电影通常是按逐行方式以每秒24帧拍摄的。为了在电视机上流畅地播放电影节 目，需要将电影帧拆分为电视场信号进行广播传送，这一技术称为下拉变换过程，常见的包 括用于NTSC制式广播中的3:2下拉变换和用于PAL制式广播中的2:2下拉变换技术。以 3:2下拉变换为例，若电影帧序列以A、B、C、D……表示，如图1所示，首先将每帧拆成两场， 如A t和Ab，其中下标t和b分别表示顶场和底场，经过3:2下拉变换处理后获得的电视场 信号为A t、Ab、At、Bb、Bt、C t、Cb、Ct、Dt、Db、D t……，其场率为每秒60场。2:2下拉变换技术同 理。
[0003] 电影模式检测为后续的去隔行处理提供了必要的信息。如果已知当前待处理的场 Ft是电影视频，且亦知与该场来自同一电影帧的另外一场是前场F η还是后场F t+1，那么只 需简单将这两场交织在一起即可还原出原始的电影帧，该过程称为反下拉变换过程。与普 通电视视频常用的去隔行技术（如场内插值或运动自适应去隔行等）不同，反下拉变换过 程能最大程度地保持图像细节。但是，对与非电影场做反下拉变换处理则会引起梳齿伪像。 一般认为，电影模式出现误检导致的结果（即将非电影视频检测为电影）要比漏检（即将 电影视频检测为非电影）严重。
[0004] 根据上述下拉变换的基本原理，来自同一电影帧的相邻两场图像的内容往往具有 较强的相关性（同一时刻记录的两场，如图1中的A t和Ab)，而来自不同电影帧的相邻两场 相关性较小（不同时刻记录的两场，如图1的A t和Bb)，同时这些强相关性和弱相关性在连 续的电影序列中表现出一定的周期性。若用1表示当前场与紧邻的后场相关性较强，用〇 表示当前场与紧邻的后场相关性较弱，则分析图1所示电视场可发现，3:2下拉变换电影序 列具有如下相关性规律：
[0005] 11010 11010 11010 11010 ......
[0006] 分别以第一个At场，A b，第二个At场，Bb场和B t场作为起始场，则3:2下拉变换电 影序列有五种可能的相关性规律：11〇1〇, 1〇1〇1，〇1〇11，1〇11〇,〇11〇1，定义这五种模式为紧 邻场相关性参考模式。可见，若输入的视频信号是3:2下拉变换电影序列，则每连续的五场 图像必会满足以上五种紧邻场相关性参考模式中的一种，且之后的每连续五场图像都具有 与之相同的相关性规律。
[0007] 此外，由于3:2下拉变换电影序列中每连续五场中总会有一场内容（如At场）重 复出现，所以通过连续统计当前场的前场和后场之间的相关性，也能找到一定的周期性规 律。仍以图1所示为例，若用1表示当前场的前场与后场之间具有较强相关性，而用〇表示 当前场的前场与后场之间具有较弱相关性，分别以第一个A t场，A b，第二个At场，B b场和B t 场作为起始场，可发现五种可能的相关性规律：〇1〇〇〇, 10000,00001，00010,00100,定义这 五种匹配规律为间隔场相关性参考模式。可见，若输入的视频信号是3:2下拉变换电影序 列，则每连续的五场图像必会满足以上五种间隔场相关性参考模式中的一种，且之后的每 连续五场图像都具有与之相同的相关性规律。
[0008] 现有大多电影模式检测技术也正是通过计算相邻场图像的整体相关性来判断当 前场是否为电影场。图2给出了目前常用的电影模式检测和去隔行流程，其中电影模式检 测模块需要三场数据输入如Ft，F w和F t_2以计算相邻场之间的相关性，模块的输出是对场 Fw的检测结果，包括它是否为电影场以及与Ft还是Ft_2来自同一电影帧。去隔行模块也需 要三场数据输入如F t_i，Ft_2和F t_3以进行运动自适应去隔行处理，其输出F t_2*表示Ft_2场 的插值结果帧，此时需要从电影模式检测模块获得F t_2场对应的电影模式信息（以Mt_2表 示），如果F t_2场是电影场，就采用反下拉变换方法获得逐行帧，否则就采用运动自适应方 法计算出插值帧。可见，现有技术方案中，去隔行模块的处理结果总比电影模式检测模块的 处理结果有一场的延迟，这需要更多的场缓存和DDR带宽。
[0009] 另一方面，实际传输的电影画面中往往包含后期编辑添加的隔行信息，例如字幕、 滚动条、手语窗甚至转动的台标等。现有技术只给出了整场的检测结果，这使得去隔行模块 误将这些混合视频中的隔行区域也作为电影模式来处理，从而出现梳齿伪像（如图11)。
【发明内容】
[0010] 鉴于现有技术中的问题，在第一方面，本发明实施例提供一种视频检测及处理方 法，通过计算相邻场图像的整体相关性来判断当前场是否为电影场，判断为电影场时，将当 前场与相邻场合并成帧，然后在该合成帧中逐像素检测梳齿伪像，如果无梳齿伪像，则确定 当前局部区域是电影模式，将所述的合成帧作为还原的视频帧；如果有梳齿伪像，则判定当 前局部区域是非电影模式，此时采用运动自适应方法或者空域插值方法计算出插值帧，作 为还原的视频帧，所述的当前局部区域包括所述的当前场和相邻场。
[0011] 优选地，所述在该合成帧中逐像素检测梳齿伪像的方法包括：获取合并帧中当前 像素 NxN邻域内的像素特征值；计算当前像素的第一方向三邻域像素的像素特征值中值， 计算在第一方向上与当前像素最相邻的两个像素各自的第一方向三邻域像素的像素特征 值中值；分别计算各中值与各中心像素的像素特征值的差的绝对值；将这三个绝对值与阈 值进行比较，若它们中任一个大于阈值，认为第一方向检测到了梳齿，即有梳齿伪像，否则 认为该方向没有检测到梳齿，即无梳齿伪像，所述N是正整数，所述NxN表示一个以当前像 素为中心点的矩形区域。
[0012] 要说明的是，这里的所谓像素特征值指的是图像中每个像素的属性值，例如每个 像素可以用Y、Cb、Cr三个分量值，或者R、G、B三个分量值（一般可以由采集设备或前端视 频解码器提供）表示，且这三个分量（或称为通道）之间是相互独立的关系。本发明此处 既可单独选择Y或Cb或Cr或R或G或B通道作为像素特征值进行处理，也可以将其中几 个通道组合成新的像素特征值来进行处理。即，优选地，所述的像素特征值是YCbCr值或 RGB值。若以P表示所述的像素特征值，本发明实施例中可以单独选YCbCr或RGB的某个分 量作为像素特征值，例如P = Y ;也可以将其中几个分量组合成新的像素特征值，例如P = (R+G+B) /3，在此不做特别限制。
[0013] 优选地，所述的第一方向是垂直方向、水平方向或者其他方向。
[0014] 在第二方面，本发明还提供一种视频检测及处理装置，包括电影模式检测模块、电 影模式优化模块和去隔行模块，所述电影模式优化模块包括生成合并帧模块和梳齿检测模 块，所述电影模式检测模块，用于通过计算相邻场图像的整体相关性来检测当前场是电影 场时，将检测结果发送给所述电影模式优化模块中的生成合并帧模块；所述生成合并帧模 块，用于在收到电影场检测结果时，将当前场与其相邻场合并成帧，并将合并生成的帧发送 给所述的梳齿检测模块；所述梳齿检测模块，用于对收到的合成帧逐像素检测梳齿伪像，如 果有梳齿伪像，则确定当前局部区域是非电影模式，并将确定结果通知所述的去隔行模块； 所述的去隔行模块，用于收到确定结果为非电影模式时，采用运动自适应方法或者空域插 值方法计算出插值帧，作为还原的视频帧，所述的当前局部区域包括所述的当前场和相邻 场。
[0015] 优选地，所述梳齿检测模块对合成帧进行逐像素检测梳齿伪像的步骤包括：获取 合并帧中当前像素 NxN邻域内的像素特征值；计算当前像素的第一方向三邻域像素的像素 特征值中值，计算在第一方向上与当前像素最相邻的两个像素各自的第一方向三邻域像素 的像素特征值中值；分别计算各中值与各中心像素的像素特征值的差的绝对值；将这三个 绝对值与阈值进行比较，若它们中任一个大于阈值，认为第一方向检测到了梳齿，即有梳齿 伪像，否则认为该方向没有检测到梳齿，即无梳齿伪像，所述N是正整数，所述NxN表示一个 以当前像素为中心点的矩形区域。
[0016] 在第三方面，本发明还提供一种视频检测及处理装置，包括电影模式检测模块、电 影模式优化模块和去隔行模块，所述电影模式优化模块包括电影模式预测模块，生成合并 帧模块和梳齿检测模块，所述电影模式检测模块，用于通过计算相邻场图像的整体相关性 来检测当前场是电影场时，将检测结果发送给所述电影模式优化模块中的电影模式预测模 块；所述电影模式预测模块，用于基于相邻场之间的电影模式信息存在的周期性，根据前述 电影场检测结果预测出下一场是电影模式，并将该预测结果发送给生成合并帧模块；所述 生成合并帧模块，用于在收到电影场预测结果时，将所述的下一场与其相邻场合并成帧，并 将合并生成的帧发送给所述的梳齿检测模块；所述梳齿检