视频去抖动方法和装置的制造方法

视频去抖动方法和装置的制造方法
【专利摘要】本发明公开了一种视频去抖动方法和装置，所述方法包括以下步骤：获取已完成角点模型初始化的背景图像；提取当前帧的特征点及其局部描述信息，根据所述特征点的局部描述信息对所述当前帧与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合；从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算所述有效特征点对的抖动位移矢量；根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量矩阵，根据所述抖动位移矢量矩阵对所述当前帧进行矫正。实现了仅通过单帧画面内抖动位移矢量的矫正就达到同时矫正帧间全局抖动和帧内抖动噪声的目的。
【专利说明】
视频去抖动方法和装置
技术领域
[0001] 本发明设及视频监控技术领域，尤其是设及一种视频去抖动方法和装置。
【背景技术】
[0002] 视频监控项目中常常需要实现对运动目标的检测、分类和跟踪。运动目标称为前 景，静止物统一称为背景。对小运动目标的检测通常采用光流(稠密光流和稀疏光流）、背景 建模的方式。背景建模方法有多种，如基于颜色的高斯背景建模、基于纹理的LBP背景建模、 基于非参数化的Vibe背景建模等。背景建模中常出现漏检和虚检的情形，"漏检"指本该为 正常的前景运动目标，但是没有检测到；"虚检"是指不该检测到的静止背景物却被检测为 前景运动目标。
[0003] 背景建模常设及到背景帖差，即通过比较当前帖和背景图像间的差异来检测运动 对象。引起相邻帖之间差异的运动有两种，一种是由前景本身的运动产生，另一种则是由于 监控镜头因地质环境、天气状况、安装地路过运动物等因素的影响导致的抖动噪声产生。前 者是目标检测需要正确提取的，如铁路上滞留的人员、动物、在铁轨周围移动的车辆等。而 后者则是需要尽力消除的，是对运动目标检测产生虚检的主要原因之一，如当火车或高铁 经过摄像头时引起的摄像头非规律抖动。实际的铁路监控项目与其他的智能监控项目的不 同之处在于，铁路监控项目中存在于镜头帖间的全局抖动是无规律的，无法通过连续的若 干帖模拟出全局运动规律。而且存在于单帖图像内不同像素的运动也有多重抖动偏移模 式，即不仅仅限于平移和旋转，同时也存在投影或W某一点为中屯、，向周边线性变化的帖内 像素偏移趋势。因此需要在监控过程中对视频进行去抖动操作，消除视频图像中的抖动噪 声。
[0004] 然而，现有的视频去抖动方案，仅对帖间全局运动矢量进行估计和矫正，没有考虑 到帖内的像素产生诸如平移、旋转、投影的抖动变化，不能消除如铁路监控中出现的帖间运 动无规律可循的抖动，不能达到预期的消除抖动噪声的效果。

【发明内容】

[0005] 本发明的主要目的在于提供一种视频去抖动方法和装置，旨在消除视频图像中出 现的帖间运动无规律可循的抖动，提高消除抖动噪声的效果。
[0006] 为达W上目的，发明人经仔细研究发现，视频帖间全局的运动矢量(或称抖动位移 矢量)实际上是可W通过对帖内每个像素运动矢量的矫正补偿来有效解决的。意即仅通过 单帖画面内运动矢量的矫正就可W达到同时矫正帖间全局抖动和帖内抖动噪声的目的。仅 考虑帖内运动矢量的一个好处是可W实现真正意义上的实时去抖动，即不需要连续采集N 帖才能建立帖间全局运动模型，而是单独为每一帖进行处理，作为视频处理前的一个独立 子模块，能够处理无规律的帖间和帖内抖动噪声。
[0007] 基于上述发明构思，本发明提出一种视频去抖动方法，包括W下步骤：
[0008] 获取已完成角点模型初始化的背景图像；
[0009] 提取当前帖的特征点及其局部描述信息，根据所述特征点的局部描述信息对所述 当前帖与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合；
[0010] 从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计 算所述有效特征点对的抖动位移矢量；
[0011] 根据所述有效特征点对的抖动位移矢量获取所述当前帖中全帖像素的抖动位移 矢量矩阵，根据所述抖动位移矢量矩阵对所述当前帖进行矫正。
[0012] 进一步地，所述局部描述信息包括方向描述信息和边缘描述信息，所述根据所述 特征点的局部描述信息对所述当前帖与所述背景图像的特征点进行匹配包括：
[0013] 针对当前帖中每一个特征点，从所述背景图像中找出与所述当前帖的特征点的方 向描述信息相同的特征点的集合；
[0014] 根据所述特征点的边缘描述信息计算欧式距离，根据计算结果从所述特征点的集 合中找出与所述当前帖的特征点相匹配的特征点。
[0015] 进一步地，所述从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点 对的集合包括：
[0016] 计算每一对特征点对中两个特征点分别在横坐标和纵坐标上的绝对距离；
[0017] 当在横坐标和纵坐标上的绝对距离均小于抖动噪声最大偏移阔值时，判定所述 特征点对为有效特征点对；
[0018] 提取出所有有效特征点对，组成有效特征点对的集合。
[0019] 进一步地，所述根据所述有效特征点对的抖动位移矢量获取所述当前帖中全帖像 素的抖动位移矢量矩阵包括：
[0020] 将所述当前帖分为若干块；
[0021] 根据落入所述块内的有效特征点对的抖动位移矢量计算所述块的平均抖动位移 矢量；
[0022] 对所述块的平均抖动位移矢量进行Gauss ian (高斯)滤波；
[0023] 将滤波后的所述块的平均抖动位移矢量作为所述块内每一个像素的抖动位移矢 量，提取所述当前帖中所有像素的抖动位移矢量组成全帖像素的抖动位移矢量矩阵。
[0024] 进一步地，所述根据所述抖动位移矢量矩阵对所述当前帖进行矫正的步骤之后还 包括：
[0025] 执行背景图像角点模型更新策略。
[0026] 进一步地，所述计算所述有效特征点对的抖动位移矢量的步骤之后还包括：
[0027] 根据所述有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中 筛选出更多的有效特征点对并计算其抖动位移矢量。
[00%]本发明同时提出一种视频去抖动装置，包括：
[0029] 初始化模块，用于获取已完成角点模型初始化的背景图像；
[0030] 匹配模块，用于提取当前帖的特征点及其局部描述信息，根据所述特征点的局部 描述信息对所述当前帖与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合；
[0031] 筛选模块，用于从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点 对的集合，并计算所述有效特征点对的抖动位移矢量；
[0032] 矫正模块，用于根据所述有效特征点对的抖动位移矢量获取所述当前帖中全帖像 素的抖动位移矢量矩阵，根据所述抖动位移矢量矩阵对所述当前帖进行矫正。
[0033] 进一步地，所述局部描述信息包括方向描述信息和边缘描述信息，所述匹配模块 包括：
[0034] 第一匹配单元，用于针对当前帖中每一个特征点，从所述背景图像中找出与所述 当前帖的特征点的方向描述信息相同的特征点的集合；
[0035] 第二匹配单元，用于根据所述特征点的边缘描述信息计算欧式距离，根据计算结 果从所述特征点的集合中找出与所述当前帖的特征点相匹配的特征点。
[0036] 进一步地，所述筛选模块用于：
[0037] 计算每一对特征点对中两个特征点分别在横坐标和纵坐标上的绝对距离；当在横 坐标和纵坐标上的绝对距离均小于抖动噪声最大偏移阔值时，判定所述特征点对为有效特 征点对;提取出所有有效特征点对，组成有效特征点对的集合。
[0038] 进一步地，所述矫正模块包括：
[0039] 计算单元，用于将所述当前帖分为若干块，根据落入所述块内的有效特征点对的 抖动位移矢量计算所述块的平均抖动位移矢量；
[0040] 滤波单元，用于对所述块的平均抖动位移矢量进行Gaussian滤波；
[0041] 提取单元，用于将滤波后的所述块的平均抖动位移矢量作为所述块内每一个像素 的抖动位移矢量，提取所述当前帖中所有像素的抖动位移矢量组成全帖像素的抖动位移矢 量矩阵。
[0042] 进一步地，所述装置还包括策略模块，所述策略模块用于:执行背景图像角点模型 更新策略。
[0043] 进一步地，所述筛选模块还用于:根据所述有效特征点对的抖动位移矢量对所有 非有效特征点对进行续优化，从中筛选出更多的有效特征点对并计算其抖动位移矢量。
[0044] 进一步地，所述初始化模块用于:对背景图像进行角点模型初始化，当提取所述背 景图像的预特征点时，通过计算所述背景图像中每一个像素点的加权hessian矩阵行列式 值来进行预特征点提取，像素点坐标(x，y)处的加权二维hessian矩阵公式为：
[0045]
[0046] 其中，Ixx(X，y)是所述像素点（X，y)的X方向二阶导数，Ixy (X，y)是所述像素点（X， y)的二阶混合偏导数，Iyy(x，y)是所述像素点(x，y)的Y方向二阶导数。
[0047] 本发明所提供的一种视频去抖动方法，通过计算出帖内仅由抖动噪声引起的有效 特征点对的抖动位移矢量来获取全帖每个像素的抖动位移矢量，据此对全帖进行矫正，实 现了仅通过单帖画面内抖动位移矢量的矫正就达到同时矫正帖间全局抖动和帖内抖动噪 声的目的，实现了真正意义上的实时去抖动，能够消除视频图像中出现的帖间运动无规律 可循的抖动，提高了消除抖动噪声的效果。
[004引从而，能够有效将引起目标检测中虚检的抖动噪声和正常的物体运动区分开来， 仅对引起虚报的高频微小矢量运动进行滤除，并不影响正常的低频大距离矢量运动，有效 解决了虚检问题。本发明实施例的视频去抖动方法，特别适用于消除视频偶发的无规律抖 动噪声。
【附图说明】
[0049] 图1是本发明的视频去抖动方法第一实施例的流程图；
[0050] 图2是本发明实施例中进行背景图像的角点模型初始化的流程图；
[0051 ]图3是本发明的视频去抖动方法第二实施例的流程图；
[0052] 图4是本发明的视频去抖动方法第Ξ实施例的流程图；
[0053] 图5是本发明的视频去抖动装置第一实施例的模块示意图；
[0054] 图6是图5中的匹配模块的模块示意图；
[0055] 图7是图5中的矫正模块的模块示意图；
[0056] 图8是本发明的视频去抖动装置第二实施例的模块示意图。
[0057] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0058] 应当理解，此处所描述的具体实施例仅仅用W解释本发明，并不用于限定本发明。
[0059] 参见图1，提出本发明的视频去抖动方法，所述方法包括W下步骤：
[0060] S11、获取已完成角点模型初始化的背景图像。
[0061] S12、提取当前帖的特征点及其局部描述信息。
[0062] S13、根据特征点的局部描述信息对当前帖与背景图像的特征点进行匹配，获得匹 配的特征点对的集合。
[0063] S14、从特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计 算有效特征点对的抖动位移矢量。
[0064] S15、根据有效特征点对的抖动位移矢量获取当前帖中全帖像素的抖动位移矢量 矩阵，根据抖动位移矢量矩阵对当前帖进行矫正。
[0065] 在步骤S11中，背景图像是视频去抖动的参考图像，正常情况下是将视频去抖动功 能开始运行后的初始帖作为背景图像进行角点模型初始化;后续帖去抖动过程中，当场景 没有发生异常变化时，则可W直接沿用前一帖去抖动时使用的背景图像；当场景发生异常 变化时，后续帖去抖动时就需要重新输入一帖图像作为背景图像进行角点模型初始化。
[0066] 角点模型初始化即是对视频图像进行信息提取来建立角点模型的过程，初始化操 作要一直进行直到初始化成功为止，只有初始化完成后，后面的实时视频帖才能够完成矫 正处理。如图2所示，角点模型初始化主要包括W下步骤：
[0067] Sill、输入一帖视频图像作为背景图像。
[0068] S112、提取背景图像的预特征点。
[0069] 可选地，可W采用现有技术中的harris角点检测算法、surf角点检测算法、sift角 点检测算法等二进制特征提取算子来提取背景图像的预特征点。
[0070] 优选地，本实施例通过计算图像中每一个像素点的加权hessian矩阵行列式值来 进行预特征点提取。像素点坐标(X，y)处的加权二维he S S i an矩阵的定义如下面的公式所 示：
[0071]
[0072] 其中，Ixx(x，y)是像素点（x，y)的X方向二阶导数，Ixy(x，y)是像素点（x，y)的二阶 混合偏导数，Iyy(X，y)是像素点（X，y)的Y方向二阶导数。W11、W12、W21、W22是自定义权重，可选 地，分别取值为10、9、9、10。
[0073] 对计算得到的加权hessian矩阵行列式值WH_value与阔值进行比较，若WH_value 大于阔值(如50000)则认为像素点（x，y)可W作为预特征点，否则像素点(x，y)不能作为预 特征点。
[0074] 通过计算像素点的加权hessian矩阵行列式值的方式来进行预特征点提取，相对 于现有技术具有计算简单，易于硬件实现，速度快的优点。
[0075] S113、对预特征点进行非最大值抑制，获得背景图像的特征点。
[0076] 本步骤S113中，对预特征点进行非最大值抑制（Non-Maximum Suppression,简称 醒S)，醒S即捜索局部最大值，是为了确保某一特征点邻域窗口范围内不存在其他特征点， 让窗口邻域内的加权hessian矩阵行列式值最大的像素点作为特征点。对预特征点进行非 最大抑制后得到的最终的特征点的坐标、总数W及各特征点的化ssian矩阵的迹(trace)并 予W保存。
[0077] 醒S的具体过程为：判断预特征点的WH_value是否是尺寸为HSWinSize地SWinSize 窗口范围内的最大值，若是则保留该特征点，否则不予保留。本实施例中，HSWinSize优选为 17，Hessian矩阵的迹的计算公式为：
[007引 trace(x'y) = Ixx(x,y)+Iyy(x,y)
[0079] 其中，Ixy(x，y)是像素点（x，y)的二阶混合偏导数，Iyy(x，y)是像素点（x，y)的Υ方 向二阶导数。
[0080] S114、判断特征点的总数是否小于阔值。若特征点的总数小于阔值(如10)，则初始 化失败，返回步骤S111，重新输入下一帖视频图像作为背景图像进行初始化;若特征点的总 数大于阔值，则初始化成功，表明当前背景图像合格，执行步骤S115。
[0081] S115、计算所有特征点的局部描述信息并保存。
[0082] 特征点的局部描述信息包括边缘描述信息和方向描述信息，用于对背景图像和实 时视频帖进行角点匹配。
[0083]特征点的方向描述信息用1或-1表示，当化ssian矩阵的迹trace(x，y)〉0时，方向 信息记为1，否则记做-1。
[0084]本实施例优选使用宏像素的边缘特征组合成为多维的特征点的边缘描述向量。宏 像素是指将若干相邻的像素组合在一起作为一个广义的像素点，宏像素能够有效降低图像 中的噪声对特征点匹配造成的干扰。某一特征点（x，y)的边缘描述信息的具体计算步骤如 下：
[00化]1)、对背景图像进行大小为Winsize*Winsize的高斯卷积。其中Winsize是滑动窗 口大小，优选为20。
[0086] 2)、W(x,y)为窗口中屯、，计算Winsize*Winsize窗口邻域内每个像素点Χ、Υ方向的 一阶导数边缘信息。
[0087] 3)、将Winsize*Winsize窗口划分为Ν*Ν个子块，每一个子块作为一个宏像素，Ν优 选为4。此时每一个宏像素包含长宽都为Winsize/N的子区域内的所有像素点，计算每一个 宏像素 W下4个特征信息：子区域内所有像素点的X方向一阶导数，SumX、Y方向一阶导数， SumX的绝对值absSumX，SumY的绝对值absSumY。因此N*N个宏像素的4个特征信息组合成为 一个卿卿4的多维特征角点描述向量:￥(163(31'191：；[0]1^,7)=<￥1,￥2，￥3，...，￥4*園〉。
[0088] 在步骤S12中，当获取背景图像后，输入实时视频图像的当前帖，并提取当前帖的 特征点及其局部描述信息。当前帖的特征点及其局部描述信息的提取方法与前述背景图像 的特征点及其局部描述信息的提取方法相同，请参考前述角点模型初始化中的步骤S112、 S113和S115,在此不再寶述。
[0089] 在步骤S13中，获得的特征点对的集合，既包括正常运动引起的特征点对，又包括 抖动噪声引起的特征点对。本实施例中的局部描述信息包括方向描述信息和边缘描述信 息，根据特征点的局部描述信息对当前帖与背景图像的特征点进行匹配包括:针对当前帖 中每一个特征点，从背景图像中找出与当前帖的特征点的方向描述信息相同的特征点的集 合;根据特征点的边缘描述信息计算欧式距离，根据计算结果从特征点的集合中找出与当 前帖的特征点相匹配的特征点。
[0090] 具体实施过程为:将当前帖中每一个特征点的方向描述信息分别与背景图像中各 个特征点的方向描述信息进行比较，从背景图像中找出所有与当前帖的特征点的方向描述 信息相同的特征点的集合，其中，当前帖中每一个特征点对应一个背景图像特征点的集合； 根据边缘描述信息计算当前帖中的各特征点分别与对应的特征点的集合中的各特征点的 欧式距离;针对每一特征点的集合，从计算出的欧式距离中找出最小距离，判断最小距离是 否小于阔值，当最小距离小于阔值时，判定当前帖中的特征点与对应的特征点的集合中最 小距离对应的特征点相匹配，否则，判定背景图像中没有与当前帖中的某一特征点相匹配 的特征点。
[0091] 举例而言，在背景图像中寻找与当前帖某一特征点（x，y)相匹配的特征点的过程 如下：
[0092] 1)、将当前帖中特征点（x，y)的方向描述信息依次与背景图像中的各个特征点的 方向描述信息做比较，在背景图像中找出所有与特征点（x，y)的方向描述信息相同的特征 点的集合Pset={Pi，P2，P3, . . .，Pn}。
[0093] 2)、依次计算Pset中的特征点与特征点（x，y)的边缘描述信息(边缘描述向量）的 欧式距离，欧式距离的计算方程如下面的公式所示：
[0094] Ecli邮is(P,P，) = (V广VI，)2+(V2_V2, )2+. . .+(V4*N*N_V4*N*N，)2
[00M]其中，若计算出的欧式距离中最小距离EMinDis小于阔值e5,则表明特征点（x，y) 与P S e t中最小距离对应的特征点m i n_p 1相匹配，记录点对信息；若计算出的欧式距离中最 小距离EMinDis大于等于阔值e5,则表明背景图像中不存在与特征点（x，y)相匹配的特征 点。
[0096] 遍历当前帖中的每一个特征点，根据前述方法找出当前帖与背景图像相匹配的特 征点对。
[0097] 在步骤S14中，可W采用多种统计途径来从特征点对的集合中筛选出仅由抖动噪 声引起的有效特征点对。
[0098] 例如:所有的背景像素都可能发生抖动噪声运动，而只有前景运动目标才会发生 正常运动，而前景目标像素显然少于背景目标像素。有鉴于此，可W计算特征点对的曼哈顿 距离，统计距离直方图，取直方图中比例最高的特征点对作为有效特征点对。
[0099] 又如：由抖动噪声引起的背景图像像素运动具有位移距离小的特点，正常前景运 动目标的运动速度大，运动方向变化频率低，因此随着时间的推移与背景图像相匹配的特 征点对的距离会越来越大。有鉴于此，可W采用将特征点对的集合中每一特征点对的Χ、γ方 向坐标距离绝对值与抖动噪声最大偏移阔值进行比较，将小于阔值的特征点对作为有效特 征点对。
[0100] 具体实施过程为:计算每一对特征点对中两个特征点分别在横坐标X和纵坐标Υ上 的绝对距离，AbsDisX= |χ-χ' I，AbsDisY= |y-y' I ;当在横坐标X和纵坐标Υ上的绝对距离 AbsDisX和AbsDisY均小于抖动噪声最大偏移阔值(如5)时，判定特征点对为有效特征点对， 否则判定特征点对为无效特征点对;提取出所有有效特征点对，组成有效特征点对的集合。
[0101] 计算有效特征点对的抖动位移矢量为DisVec = <(x-x'），（y-y'）〉，其中特征点(X， y)是当前帖中的像素点，特征点(x'，y'）是背景图像中的像素点。
[0102] 在步骤S15中，根据场景抖动情况可W采取复杂度不同的计算方法来获取当前帖 中全帖像素的抖动位移矢量矩阵。
[0103] 例如：当场景只存在平移、旋转的抖动变化时，则可W通过有效特征点对计算仿射 变换矩阵参数来得到全帖像素的抖动位移矢量，如像专利号为CN201210324508.8的专利文 件那样采用RANSAC算法思想和最小二乘法来确定参数，运种方法计算开销较大。
[0104] 又如：当场景整体只存在平移的抖动变化时，则可W通过计算所有有效特征点对 的平均抖动位移矢量来确定全局的抖动位移矢量，即全帖像素的抖动位移矢量。
[0105] 可选地，当场景整体抖动无规律，不仅存在平移和旋转，同时也存在类投影的变化 (如在铁轨环境下的视频监控)时，全帖画面的抖动位移矢量存在W某一点为中屯、，向周边 线性变化的趋势。运种复杂的变化如果用几何变换模型来模拟，则至少需要使用9个参数的 3*3变换矩阵，全局计算过程复杂，计算时间长，硬件也难W实现。为此，本实施例优选采用 分块后双线性插值的方式来模拟运种复杂抖动位移矢量计算，进而得到当前帖中全帖像素 的抖动位移矢量，具体包括W下步骤：
[0106] 1 )、将当前帖分为若干块。例如划分成N行Μ列（如N = 20，M = 30)的块，当分块越多 时，越能精确拟合实际的抖动位移矢量，精确度越高。
[0107] 2)、根据落入块内的有效特征点对的抖动位移矢量计算块的平均抖动位移矢量。
[0108] 具体的，判断落入块内的有效匹配点对的数量是否小于阔值；当落入块内的有效 匹配点对的数量大于或等于阔值时，计算落入块内的所有有效匹配点对的抖动位移矢量的 平均值，将平均值作为块的平均抖动位移矢量；当落入块内的有效匹配点对的数量小于阔 值时，标记块为特定块(如标记块的平均抖动位移矢量为0);捜索与特定块距离最近的两个 非特定块(平均抖动位移矢量不为0的块），W特定块和两个非特定块内中屯、像素点的坐标 作为块坐标，利用两个非特定块的平均抖动位移矢量采用双线性插值算法计算出特定块的 平均抖动位移矢量。
[0109] 例如：计算落入每一块patchi内的有效特征点对的抖动位移矢量的平均值< MeanDisi，MeanDisj>标记为每一块的平均抖动位移矢量，若某一块内落入的有效特征点对 的数量小于阔值，则标记该块的平均抖动位移矢量为0。针对所有矢量标记为0的块patchi， 捜索与其距离最近的两个矢量标记不为0的块patchzi和patchz2, Wpatchi、patchzi、patchz2 块内中屯、像素点的坐标作为块坐标，利用patchzi和patchz2的平均抖动位移矢量采用双线 性插值算法得到块patchi的平均抖动位移矢量。
[0110] 3)、对当前帖所有块的平均抖动位移矢量进行Gaussian滤波。
[0111] 4)、将滤波后的各块的平均抖动位移矢量作为各块内每一个像素的抖动位移矢 量，即块内的每一个像素的抖动位移矢量均相等，且等于该块的平均抖动位移矢量，最后提 取当前帖中所有像素的抖动位移矢量组成全帖像素的抖动位移矢量矩阵。
[0112] 当获得全帖像素的抖动位移矢量矩阵后，根据该抖动位移矢量矩阵对当前帖的所 有像素进行矫正，据此对视频图像每一帖均采取步骤S11-S15的方式进行矫正，滤除视频图 像中的抖动噪声
[0113] 本发明实施例的视频去抖动方法，通过计算出帖内仅由抖动噪声引起的有效特征 点对的抖动位移矢量来获取全帖每个像素的抖动位移矢量，据此对全帖进行矫正，实现了 仅通过单帖画面内抖动位移矢量的矫正就达到同时矫正帖间全局抖动和帖内抖动噪声的 目的，实现了真正意义上的实时去抖动，能够消除视频图像中出现的帖间运动无规律可循 的抖动，提高了消除抖动噪声的效果。从而，能够有效将引起目标检测中虚检的抖动噪声和 正常的物体运动区分开来，仅对引起虚报的高频微小矢量运动进行滤除，并不影响正常的 低频大距离矢量运动，有效解决了虚检问题。本发明实施例的视频去抖动方法，特别适用于 视频偶发的无规律抖动噪声。
[0114] 本发明实施例采用加权hessian矩阵的特征点提取方式，操作简单，运行速度快， 便于硬件实现。同时采用特征点的边缘描述信息和方向描述信息来进行特征点匹配，匹配 条件严格，提高了抖动位移矢量计算的准确性。
[0115] 本发明实施例采用分块和双线性插值的思想来估计全帖图像所有像素点的抖动 位移矢量，算法简单快速，同时精确度高。运种建立全帖像素的抖动位移矢量矩阵的方式能 够有效的拟合出旋转、平移、仿射等多种复杂的帖内像素偏移问题，具有通用性。
[0116] 参见图3,提出本发明的视频去抖动方法第二实施例，所述方法包括W下步骤：
[0117] S21、获取已完成角点模型初始化的背景图像。
[0118] S22、提取当前帖的特征点及其局部描述信息。
[0119] S23、根据特征点的局部描述信息对当前帖与背景图像的特征点进行匹配，获得匹 配的特征点对的集合。
[0120] S24、从特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计 算有效特征点对的抖动位移矢量。
[0121] S25、根据有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中 筛选出更多的有效特征点对并计算其抖动位移矢量。
[0122] S26、根据有效特征点对的抖动位移矢量获取当前帖中全帖像素的抖动位移矢量 矩阵，根据抖动位移矢量矩阵对当前帖进行矫正。
[0123] 本实施例与第一实施例的区别是增加了步骤S25。由于本发明实施例为了尽量加 速算法运算，而使用简单快速的角点提取算法;为了提高全局抖动位移矢量计算的精确度， 而使用了严格的特征点匹配方式；因此匹配的特征点对的召回率(有效特征点对数量/总特 征点对数量)在低频信号较多的情况下较低。在此情形下，为了在准确度和召回率之间做一 个折中，即平衡准确度和召回率，因此在召回率较低时，增加步骤S25,采用续优化操作来增 加有效特征点对。
[0124] 在步骤S25中，续优化操作的具体过程为：
[0125] 首先计算有效特征点对的集合中所有有效特征点对的平均抖动位移矢量AvgVec = <disX，disY>;然后根据平均抖动位移矢量，对当前帖中所有非有效特征点进行偏移变 换，如针对当前帖中的特征点Pi(xi，yi)，偏移变换后其坐标为PdisU广disX，y广disY);最后 在背景图像中W坐标点Pdis为中屯、，捜索searchSize*searchsize大小窗口范围内的所有 特征点，如searchsize = 5;若存在方向描述信息与特征点Pi相同且边缘描述信息与特征点 Pi的边缘描述信息的欧式距离Edis满足条件
均点PmatEh，则构成有效 特征点对命1，口。3*。心，否则背景图像中不存在与特征点口1有效匹配的特征点。其中61111〇18 是步骤S23(见步骤S13)中一组欧式距离中的最小距离。
[0126] 本实施例先通过统计信息来筛选出有效特征点对，又使用续优化的思想来增加有 效特征点对，从而通过添加反馈机制来在获取大数量匹配点和匹配点的准确度之间做了均 衡。
[0127] 参见图4,提出本发明的视频去抖动方法第Ξ实施例，所述方法包括W下步骤：
[0128] S31、输入一帖视频图像。
[0129] S32、读取背景图像初始化标志，判断是否已完成背景图像的角点模型初始化。当 初始化标志为未完成初始化，如初始化标志BKinit = 0时，显示未完成背景图像的角点模型 初始化，则执行步骤S33;当初始化标志为已完成初始化，如初始化标志BKinit = 1时，显示 已完成背景图像的角点模型初始化时，则执行步骤S35,直接获取现成的已完成角点模型初 始化的背景图像，该背景图像是前一帖去抖动时所使用的背景图像。
[0130] S33、将当前帖作为背景图像，进行角点模型初始化。判断初始化是否成功，当初 始化成功时，执行步骤S34;当初始化失败时，返回步骤S31，重新输入下一帖视频图像作为 背景图像进行初始化。角点模型初始化的过程详见图2和第一实施例中步骤S11中对角点模 型初始化的具体描述，在此不再寶述。
[0131] S34、更新初始化标志为已完成初始化。如设置初始化标志服in i t = 1。
[0132] S35、获取已完成角点模型初始化的背景图像。
[0133] S36、提取当前帖的特征点及其局部描述信息。
[0134] S37、根据特征点的局部描述信息对当前帖与背景图像的特征点进行匹配，获得匹 配的特征点对的集合。
[0135] S38、从特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计 算有效特征点对的抖动位移矢量。
[0136] 本实施例中，步骤S36-S38分别与第一实施例中的步骤S12-S14相同，在此不再寶 述。
[0137] S39、根据有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中 筛选出更多的有效特征点对并计算其抖动位移矢量。
[0138] 本步骤S39与第二实施例中的步骤S25相同，在此不再寶述。
[0139] 在某些实施例中，也可W省略步骤S39。
[0140] S40、根据有效特征点对的抖动位移矢量获取当前帖中全帖像素的抖动位移矢量 矩阵，根据抖动位移矢量矩阵对当前帖进行矫正。
[0141] 本步骤S40与第一实施例中的步骤SI5相同，在此不再寶述。
[0142] S41、执行背景图像角点模型更新策略。
[0143] 在铁路实际监控项目中，视频抖动是不规律的，需要考虑一些复杂情况，判断当前 场景是否异常。如是否出现某一火车开过或监控相机被售后维修人员调整后图像出现大的 偏移后不会复原的情况，W及镜头偶尔出现覆盖的情况。本实施例实时捕捉上述情况，并适 时发出报警信息或/和更新背景图像角点模型。
[0144] 具体实施过程为:判断当前场景是否异常，当场景变化较大或者镜头被覆盖后，贝U 判定场景异常。当场景异常时，则设置报警信号bAled = l，发出报警信息，并设置背景图像 角点模型更新信号，如设置背景图像初始化标志BKinit = 0,提醒后续视频帖去抖动时需先 进行背景图像的角点模型初始化。当场景正常时，则不进行任何操作，后续视频帖去抖动时 可W继续使用本次所使用的背景图像。
[0145] 其中，当连续5帖视频图像，出现有效特征点对数量占全帖总特征点对数量的比例 小于阔值(如8)时，则认定当前场景发生较大的变化(如镜头被移动），判定场景异常。若当 前帖的图像方差比背景图像的图像方差小且差值小于阔值（如8)，并且背景图像与当前帖 相匹配的特征点数量小于阔值(如5)或当前帖的特征点数量小于阔值(如10)时，则认定镜 头被覆盖，判定场景异常。
[0146] 本实施例通过设置背景图像角点模型更新策略，当检测到当前场景异常时，如场 景发生较大变化或镜头被覆盖时，则发出报警信息和设置背景图像角点模型更新信号，使 得后续执行去抖动操作时重新进行角点模型初始化，提高了自适应能力。
[0147] 参见图5,提出本发明的视频去抖动装置第一实施例，所述装置包括初始化模块 10、匹配模块20、筛选模块30和矫正模块40，其中：
[0148] 初始化模块10:用于获取已完成角点模型初始化的背景图像。
[0149] 背景图像是视频去抖动的参考图像，正常情况下初始化模块10是将视频去抖动功 能开始运行后的初始帖作为背景图像进行角点模型初始化;后续帖去抖动过程中，当场景 没有发生异常变化时，则可W直接沿用前一帖去抖动时使用的背景图像；当场景发生异常 变化时，后续帖去抖动时就需要重新输入一帖图像作为背景图像进行角点模型初始化。
[0150] 角点模型初始化即是对视频图像进行信息提取来建立角点模型的过程，初始化操 作要一直进行直到初始化成功为止，只有初始化完成后，后面的实时视频帖才能够完成矫 正处理。初始化模块10进行角点模型初始化的过程如图2所示，在此不再寶述。
[0151] 匹配模块20:用于提取当前帖的特征点及其局部描述信息，根据特征点的局部描 述信息对当前帖与背景图像的特征点进行匹配，获得匹配的特征点对的集合。
[0152] 如图6所示，匹配模块20包括特征提取单元21、第一匹配单元22和第二匹配单元 23,其中：
[0153] 特征提取单元21，用于提取当前帖的特征点及其局部描述信息。优选地，特征提取 单元21通过计算像素点的加权hessian矩阵行列式值的方式来进行特征点提取；
[0154] 第一匹配单元22,用于针对当前帖中每一个特征点，从背景图像中找出与当前帖 的特征点的方向描述信息相同的特征点的集合；
[0155] 第二匹配单元23,用于根据特征点的边缘描述信息计算欧式距离，根据计算结果 从特征点的集合中找出与当前帖的特征点相匹配的特征点。
[0156] 具体的，第二匹配单元23根据边缘描述信息计算当前帖中的各特征点分别与对应 的特征点的集合中的各特征点的欧式距离;针对每一特征点的集合，从计算出的欧式距离 中找出最小距离，判断最小距离是否小于阔值，当最小距离小于阔值时，判定当前帖中的特 征点与对应的特征点的集合中最小距离对应的特征点相匹配，否则，判定背景图像中没有 与当前帖中的某一特征点相匹配的特征点。
[0157] 筛选模块30:用于从特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对 的集合，并计算有效特征点对的抖动位移矢量。
[0158] 具体的，筛选模块30计算每一对特征点对中两个特征点分别在横坐标和纵坐标上 的绝对距离；当在横坐标和纵坐标上的绝对距离均小于抖动噪声最大偏移阔值时，判定特 征点对为有效特征点对;提取出所有有效特征点对，组成有效特征点对的集合。最后计算集 合中每一个有效特征点对的抖动位移矢量。
[0159] 进一步地，筛选模块30还用于根据有效特征点对的抖动位移矢量对所有非有效特 征点对进行续优化，从中筛选出更多的有效特征点对，并计算其抖动位移矢量。从而实现平 衡匹配的特征点对的准确度和召回率。
[0160] 矫正模块40:用于根据有效特征点对的抖动位移矢量获取当前帖中全帖像素的抖 动位移矢量矩阵，根据抖动位移矢量矩阵对当前帖进行矫正。
[0161] 如图7所示，矫正模块40包括计算单元41、滤波单元42、提取单元43和矫正单元44， 其中：
[0162] 计算单元41，用于将当前帖分为若干块，根据落入块内的有效特征点对的抖动位 移矢量计算块的平均抖动位移矢量；
[0163] 滤波单元42，用于对当前帖所有块的平均抖动位移矢量进行Gaussian滤波；
[0164] 提取单元43,用于将滤波后的各块的平均抖动位移矢量作为各块内每一个像素的 抖动位移矢量，提取当前帖中所有像素的抖动位移矢量组成全帖像素的抖动位移矢量矩 阵；
[0165] 矫正单元44,用于根据全帖像素的抖动位移矢量矩阵对当前帖的所有像素进行矫 正。
[0166] 本发明实施例的视频去抖动装置，通过计算出帖内仅由抖动噪声引起的有效特征 点对的抖动位移矢量来获取全帖每个像素的抖动位移矢量，据此对全帖进行矫正，实现了 仅通过单帖画面内抖动位移矢量的矫正就达到同时矫正帖间全局抖动和帖内抖动噪声的 目的，实现了真正意义上的实时去抖动，能够消除视频图像中出现的帖间运动无规律可循 的抖动，提高了消除抖动噪声的效果。从而，能够有效将引起目标检测中虚检的抖动噪声和 正常的物体运动区分开来，仅对引起虚报的高频微小矢量运动进行滤除，并不影响正常的 低频大距离矢量运动，有效解决了虚检问题。本发明实施例的视频去抖动方法，特别适用于 消除视频偶发的无规律抖动噪声。
[0167] 本发明实施例采用加权hessian矩阵的特征点提取方式，操作简单，运行速度快， 便于硬件实现。同时采用特征点的边缘描述信息和方向描述信息来进行特征点匹配，匹配 条件严格，提高了抖动位移矢量计算的准确性。
[0168] 本发明实施例采用分块和双线性插值的思想来估计全帖图像所有像素点的抖动 位移矢量，算法简单快速，同时精确度高。运种建立全帖像素的抖动位移矢量矩阵的方式能 够有效的拟合出旋转、平移、仿射等多种复杂的帖内像素偏移问题，具有通用性。
[0169] 本实施例通过先利用统计信息来筛选出有效特征点对，再使用续优化的思想来增 加有效特征点对，从而通过添加反馈机制来在获取大数量匹配点和匹配点的准确度之间做 了均衡。
[0170] 参见图8,提出本发明的视频去抖动装置第二实施例，本实施例在第一实施例的基 础上增加了一策略模块50。
[0171] 本实施例中，初始化模块10用于:读取背景图像初始化标志，判断是否已完成背景 图像的角点模型初始化；当初始化标志为未完成初始化时，将当前输入的视频帖作为背景 图像，进行角点模型初始化，当初始化失败时继续将下一帖视频图像作为背景图像进行初 始化，当初始化成功后更新初始化标志为已完成初始化，获取已完成角点模型初始化的背 景图像;当初始化标志为已完成初始化时，直接获取已完成角点模型初始化的背景图像。
[0172] 策略模块50用于：当矫正模块对当前帖进行矫正后，执行背景图像角点模型更新 策略。
[0173] 具体的，策略模块50判断当前场景是否异常，当场景变化较大或者镜头被覆盖后， 则判定场景异常；当场景异常时，则发出报警信息，并设置背景图像角点模型更新信号，如 设置背景图像初始化标志BKinit = 0,提醒后续视频帖去抖动时需先进行背景图像的角点 模型初始化。当场景正常时，则不进行任何操作。
[0174] 其中，当连续5帖视频图像，出现有效特征点对数量占全帖总特征点对数量的比例 小于阔值(如8)时，策略模块50则认定当前场景发生较大的变化(如镜头被移动），判定场景 异常。若当前帖的图像方差比背景图像的图像方差小且差值小于阔值(如8)，并且背景图像 与当前帖相匹配的特征点数量小于阔值(如5)或当前帖的特征点数量小于阔值(如10)时， 策略模块50则认定镜头被覆盖，判定场景异常。
[0175] 本实施例通过设置背景图像角点模型更新策略，当检测到当前场景异常时，如场 景发生较大变化或镜头被覆盖时，则发出报警信息和设置背景图像角点模型更新信号，使 得后续执行去抖动操作时重新进行角点模型初始化，提高了自适应能力。
[0176] 应当理解，上述实施例提供的视频去抖动装置与视频去抖动方法实施例属于同一 构思，其具体实现过程详见方法实施例，且方法实施例中的技术特征在装置实施例中均对 应适用，运里不再寶述。
[0177] 通过W上的实施方式的描述，本领域的技术人员可W清楚地了解到上述实施例方 法可借助软件加必需的通用硬件平台的方式来实现，当然也可W通过硬件，但很多情况下 前者是更佳的实施方式。基于运样的理解，本发明的技术方案本质上或者说对现有技术做 出贡献的部分可软件产品的形式体现出来，该计算机软件产品存储在一个存储介质 (如R0M/RAM、磁碟、光盘)中，包括若干指令用W使得一台终端设备(可W是手机，计算机，月良 务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0178] W上参照【附图说明】了本发明的优选实施例，并非因此局限本发明的权利范围。本 领域技术人员不脱离本发明的范围和实质，可W有多种变型方案实现本发明，比如作为一 个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所 作的任何修改、等同替换和改进，均应在本发明的权利范围之内。
【主权项】
1. 一种视频去抖动方法，其特征在于，包括以下步骤： 获取已完成角点模型初始化的背景图像； 提取当前帧的特征点及其局部描述信息，根据所述特征点的局部描述信息对所述当前 帧与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合； 从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的集合，并计算所 述有效特征点对的抖动位移矢量； 根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量 矩阵，根据所述抖动位移矢量矩阵对所述当前帧进行矫正。2. 根据权利要求1所述的视频去抖动方法，其特征在于，所述局部描述信息包括方向描 述信息和边缘描述信息，所述根据所述特征点的局部描述信息对所述当前帧与所述背景图 像的特征点进行匹配包括： 针对当前帧中每一个特征点，从所述背景图像中找出与所述当前帧的特征点的方向描 述信息相同的特征点的集合； 根据所述特征点的边缘描述信息计算欧式距离，根据计算结果从所述特征点的集合中 找出与所述当前帧的特征点相匹配的特征点。3. 根据权利要求1所述的视频去抖动方法，其特征在于，所述从所述特征点对的集合中 筛选出仅由抖动噪声引起的有效特征点对的集合包括： 计算每一对特征点对中两个特征点分别在横坐标和纵坐标上的绝对距离； 当在横坐标和纵坐标上的绝对距离均小于抖动噪声最大偏移阈值时，判定所述特征点 对为有效特征点对； 提取出所有有效特征点对，组成有效特征点对的集合。4. 根据权利要求1所述的视频去抖动方法，其特征在于，所述根据所述有效特征点对的 抖动位移矢量获取所述当前帧中全帧像素的抖动位移矢量矩阵包括： 将所述当前帧分为若干块； 根据落入所述块内的有效特征点对的抖动位移矢量计算所述块的平均抖动位移矢量； 对所述块的平均抖动位移矢量进行Gau s s i an滤波； 将滤波后的所述块的平均抖动位移矢量作为所述块内每一个像素的抖动位移矢量，提 取所述当前帧中所有像素的抖动位移矢量组成全帧像素的抖动位移矢量矩阵。5. 根据权利要求1-4任一项所述的视频去抖动方法，其特征在于，所述根据所述抖动位 移矢量矩阵对所述当前帧进行矫正的步骤之后还包括： 执行背景图像角点模型更新策略。6. 根据权利要求1-4任一项所述的视频去抖动方法，其特征在于，所述计算所述有效特 征点对的抖动位移矢量的步骤之后还包括： 根据所述有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中筛选 出更多的有效特征点对并计算其抖动位移矢量。7. -种视频去抖动装置，其特征在于，包括： 初始化模块，用于获取已完成角点模型初始化的背景图像； 匹配模块，用于提取当前帧的特征点及其局部描述信息，根据所述特征点的局部描述 信息对所述当前帧与所述背景图像的特征点进行匹配，获得匹配的特征点对的集合； 筛选模块，用于从所述特征点对的集合中筛选出仅由抖动噪声引起的有效特征点对的 集合，并计算所述有效特征点对的抖动位移矢量； 矫正模块，用于根据所述有效特征点对的抖动位移矢量获取所述当前帧中全帧像素的 抖动位移矢量矩阵，根据所述抖动位移矢量矩阵对所述当前帧进行矫正。8. 根据权利要求7所述的视频去抖动装置，其特征在于，所述局部描述信息包括方向描 述信息和边缘描述信息，所述匹配模块包括： 第一匹配单元，用于针对当前帧中每一个特征点，从所述背景图像中找出与所述当前 帧的特征点的方向描述信息相同的特征点的集合； 第二匹配单元，用于根据所述特征点的边缘描述信息计算欧式距离，根据计算结果从 所述特征点的集合中找出与所述当前帧的特征点相匹配的特征点。9. 根据权利要求7所述的视频去抖动装置，其特征在于，所述筛选模块用于： 计算每一对特征点对中两个特征点分别在横坐标和纵坐标上的绝对距离；当在横坐 标和纵坐标上的绝对距离均小于抖动噪声最大偏移阈值时，判定所述特征点对为有效特征 点对;提取出所有有效特征点对，组成有效特征点对的集合。10. 根据权利要求7所述的视频去抖动装置，其特征在于，所述矫正模块包括： 计算单元，用于将所述当前帧分为若干块，根据落入所述块内的有效特征点对的抖动 位移矢量计算所述块的平均抖动位移矢量； 滤波单元，用于对所述块的平均抖动位移矢量进行Gaussian滤波； 提取单元，用于将滤波后的所述块的平均抖动位移矢量作为所述块内每一个像素的抖 动位移矢量，提取所述当前帧中所有像素的抖动位移矢量组成全帧像素的抖动位移矢量矩 阵。11. 根据权利要求7-10任一项所述的视频去抖动装置，其特征在于，所述装置还包括策 略模块，所述策略模块用于:执行背景图像角点模型更新策略。12. 根据权利要求7-10任一项所述的视频去抖动装置，其特征在于，所述筛选模块还用 于:根据所述有效特征点对的抖动位移矢量对所有非有效特征点对进行续优化，从中筛选 出更多的有效特征点对并计算其抖动位移矢量。13. 根据权利要求7-10任一项所述的视频去抖动装置，其特征在于，所述初始化模块用 于:对背景图像进行角点模型初始化，当提取所述背景图像的预特征点时，通过计算所述背 景图像中每一像素点的加权he s s i an矩阵行列式值来进行预特征点提取，像素点坐标(X，y) 处的加权二维hessian矩阵公式为：其中，Ixx(X，y)是所述像素点(x，y)的X方向二阶导数，Ixy(x，y)是所述像素点(x，y)的二 阶混合偏导数，Iyy(x，y)是所述像素点(x，y)的Y方向二阶导数。
【文档编号】H04N5/232GK105872370SQ201610199746
【公开日】2016年8月17日
【申请日】2016年3月31日
【发明人】山黎, 李平生, 袁义雷, 潘晖
【申请人】深圳中兴力维技术有限公司