一种视频图像抖动和摄像装置抖动判断方法及装置与流程

本发明涉及图像检测领域，具体涉及一种视频图像抖动和摄像装置抖动判断方法及装置。

背景技术：

目前，各种规模的视频监控系统已广泛应用于各行各业，除了治安、金融、银行、交通、军队和口岸等领域外，还包括社区、写字楼、酒店、公共场所、工厂、商场、小区、甚至家庭等场合。

通过对视频图像进行检测和判断，可以对图像的内容进行识别从而实现自动识别某种目标或行为的目的。但是由于监控摄像头安装松动、外部强烈震动等原因，通常会是视频画面出现异常，这使得图像检测操作会对画面中的物体的行为做出误判，因此过滤掉这些外因导致抖动的干扰帧对图像自动识别操作尤为必要。

现有的方法通常是对图像全局进行运动估计，从而得到画面抖动度的结果，对于这种方法，当画面中的物体主动发生了运动时，容易错误地判断整个画面发生了抖动，并且对图像全局进行追踪和估计必将造成运算量过大的问题，由此可见，现有的图像抖动判定方式的正确率和效率较低。

技术实现要素：

因此，本发明要解决的是现有的图像抖动判定方式正确率和效率较低的问题。

有鉴于此，本发明提供一种视频图像抖动判断方法，包括如下步骤：

在第一时刻获取视频图像中的多个特征点；

对所述多个特征点进行跟踪，并在第二时刻根据跟踪到的特征点判断图像中的内容是否发生剧烈运动；

当图像中的内容未发生剧烈运动时，确定所述跟踪到的特征点中的不相匹配的特征点的数量；

根据所述不相匹配的特征点的数量判断所述第二时刻的视频图像是否相较于所述第一时刻的视频图像发生抖动。

优选地，当图像中的内容发生剧烈运动时，返回所述在第一时刻获取视频图像中的多个特征点的步骤，并将当前时刻作为所述第一时刻。

优选地，所述判断跟踪到的特征点的数量判断图像中的内容是否发生剧烈运动，包括：

确定第一时刻的视频图像中的多个特征点数量N0以及跟踪到的特征点数量N1；

判断N1/N0是否大于预定阈值p；

当N1/N0大于预定阈值p时，判定图像中的内容未发生剧烈运动。

优选地，在所述对所述多个特征点进行跟踪的步骤中采用光流法对所述多个特征点进行跟踪；

所述确定所述跟踪到的特征点中的不相匹配的特征点的数量，包括：

确定各个跟踪到的特征点从第一时刻到第二时刻的位移矢量L；

分别判断各个跟踪到的特征点的位移矢量L是否大于预定阈值L0；

统计位移矢量L大于预定阈值L0的特征点的数量。

优选地，所述根据所述不相匹配的特征点的数量判断所述第二时刻的视频图像是否相较于所述第一时刻的视频图像发生抖动，包括：

判断不相匹配的特征点的数量M2与跟踪到的特征点的数量N1的比值是否大于预定阈值R；

当不相匹配的特征点的数量M2与跟踪到的特征点的数量N1的比值大于预定阈值R时，判定所述第二时刻的视频图像相较于所述第一时刻的视频图像发生抖动。

优选地，所述特征点为亚像素级Harris角点。

相应地，本发明提供一种视频图像抖动判断装置，包括：

获取单元，用于在第一时刻获取视频图像中的多个特征点；

跟踪单元，用于对所述多个特征点进行跟踪，并在第二时刻根据跟踪到的特征点判断图像中的内容是否发生剧烈运动；

统计单元，用于当图像中的内容未发生剧烈运动时，确定所述跟踪到的特征点中的不相匹配的特征点的数量；

判定单元，用于根据所述不相匹配的特征点的数量判断所述第二时刻的视频图像是否相较于所述第一时刻的视频图像发生抖动。

优选地，还包括：重置单元，用于当图像中的内容发生剧烈运动时，启动所述获取单元，并将当前时刻作为所述第一时刻。

优选地，所述跟踪单元，包括：

特征点数量确定单元，用于确定第一时刻的视频图像中的多个特征点数量N0以及跟踪到的特征点数量N1；

特征点数量比对单元，判断N1/N0是否大于预定阈值p；

剧烈运动判定单元，用于当N1/N0大于预定阈值p时，判定图像中的内容未发生剧烈运动。

优选地，所述跟踪单元采用光流法对所述多个特征点进行跟踪；

所述统计单元包括：

位移矢量确定单元，用于确定各个跟踪到的特征点从第一时刻到第二时刻的位移矢量L；

位移矢量判断单元，用于分别判断各个跟踪到的特征点的位移矢量L是否大于预定阈值L0；

抖动特征点数量确定单元，统计位移矢量L大于预定阈值L0的特征点的数量。

优选地，所述判定单元，包括：

抖动特征点比例确定单元，用于判断不相匹配的特征点的数量M2与跟踪到的特征点的数量N1的比值是否大于预定阈值R；

画面抖动判断单元，用于当不相匹配的特征点的数量M2与跟踪到的特征点的数量N1的比值大于预定阈值R时，判定所述第二时刻的视频图像相较于所述第一时刻的视频图像发生抖动。

优选地，所述特征点为亚像素级Harris角点。

本发明还提供一种摄像装置抖动判断方法，包括：

利用上述视频图像抖动判断方法对摄像装置拍摄的连续K帧视频图像进行判断，以得到K帧视频图像中发生抖动的视频帧的数量S；

判断S/K是否大于预定阈值S0；

当S/K大于预定阈值S0时，判定所述摄像装置在拍摄连续K帧视频图像的过程中发生抖动。

相应地，本发明还提供一种摄像装置抖动判断装置包括：

抖动画面数量确定单元，用于利用上述视频图像抖动判断方法对摄像装置拍摄的连续K帧视频图像进行判断，以得到K帧视频图像中发生抖动的视频帧的数量S；

抖动画面比例确定单元，用于判断S/K是否大于预定阈值S0；

装置抖动判定单元，用于当S/K大于预定阈值S0时，判定所述摄像装置在拍摄连续K帧视频图像的过程中发生抖动。

根据本发明提供的视频图像抖动判断方法及装置，通过对视频图像中的多个特征点进行跟踪来判断图像中的内容是否主动发生了剧烈运动，只有在图像中的内容没有主动发生剧烈运动时，才对特征点进行匹配，并进一步根据匹配结果来判断视频图像是否发生抖动。本发明基于图像中的特征点估计图像是否抖动，相比于现有的全局估计方式，本发明的计算量较小，由此可以提高判断操作的效率；同时本发明在确定图像中的物体没有主动发生运动的情况下对图像进行抖动判断，以降低误判的可能性，由此提高了判断操作的准确性。

根据本发明提供的摄像装置抖动判断方法及装置，通过对连续多帧视频图像中的多个特征点进行跟踪来判断图像中的内容是否主动发生了剧烈运动，只有在图像中的内容没有主动发生剧烈运动时，才对特征点进行匹配，并进一步根据匹配结果来判断视频图像是否发生抖动，最终统计出发生了抖动的图像帧的数量，并由此来确定摄像装置是否在拍摄期间发生抖动。本发明基于图像中的特征点估计图像是否抖动，相比于现有的全局估计方式，本发明的计算量较小，由此可以提高判断操作的效率；本发明在确定图像中的物体没有主动发生运动的情况下对图像进行抖动判断，以降低误判的可能性，由此提高了判断操作的准确性；本发明对多帧图像进行连续追踪和判断，通过多帧的判断结果综合确定摄像装置是否发生抖动，以降低误判的可能性，由此进一步提高判断操作的准确性。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的视频图像抖动判断方法的流程图；

图2为本发明实施例中的摄像装置抖动判断方法的流程图；

图3为本发明实施例中的视频图像抖动判断装置的结构示意图；

图4为本发明实施例中的摄像装置抖动判断装置的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种视频图像抖动判断方法，如图1所示，该方法包括如下步骤：

S1，在第一时刻获取视频图像中的多个特征点，对提取到的特征点可以采用描述子进行特征描述，F＝{f₁,f₂...f_n}，n为特征维数，获取图像中的某种特征集合M＝{F₁，F₂。。。F_N0}，N₀为图像中的特征点的数量。作为一个优选的实施方式，本实施例将亚像素级Harris角点作为特征点，并将DSP(Domain-Size Pooling)-SIFT(Scale-invariant feature transform，尺度不变特征变换)特征作为图像特征。相对于SIFT描述子来说，DSP-SIFT描述子不仅在空间域上计算梯度向量，并且同时在不同尺度空间下计算梯度向量，对多个尺度空间下的梯度向量进行叠加，统计梯度向量直方图，得到最后的特征描述子，其特征向量具有和SIFT同样的维数，DSP-SIFT的计算公式为：

hDSP(θ|I)[x]＝∫h_SIFT(θ|I，σ)[x]ε_s(σ)dσ x∈Λ，其中

s代表不同的尺度因子，ε代表指数函数。通过公式可以看出，DSP-SIFT描述子涵盖了不同尺度下目标的特征描述，因此对目标尺度变化比较鲁棒。

S2，对所述多个特征点进行跟踪，并在第二时刻(在第一时刻之后)根据跟踪到的特征点判断图像中的内容是否发生剧烈运动。剧烈运动不会是由摄像装置的抖动引起的，而是由画面中的物体主动引起的。因此，此步骤的目的即在于判断画面中的物体是否主动地发生了运动。判断方式有多种，既可以根据特征点的数量进行判断，也可以根据特征点的位移进行判断，或者根据二者的结合进行判断。例如采用根据数量判断，，在步骤S1中确定的特征点数量为N₀，在此步骤中对N₀个特征点进行追踪，假设在第二时刻跟踪到的特征点的数量为N₁，在此可以根据N₀与N₁的差值、比值等结果确定画面中的物体是否发生了大规模的变化。由于物体主动的运动可能会导致大量特征点从画面中消失，也即有很多特征点在第二时刻不能被跟踪到，或者特征点的位移量较大，由此即可根据跟踪到的特征点确定画面中的物体是否由非抖动因素发生了剧烈运动。如果图像中的内容未发生剧烈运动，则执行步骤S3，否则可以返回步骤S1，例如在跟踪过程中，当跟踪到的特征点与第一时刻检测到的特征点个数的比值小于一定阈值时，将当前时刻作为所述第一时刻，即重新选取当前画面的特征点作为初始特征点并进行跟踪。

S3，确定所述跟踪到的特征点中的不相匹配的特征点的数量，如果图像中的物体未发生剧烈运动，那么各个特征点的特征信息从第一时刻到第二时刻应当是不变的或者变化非常细微，所以在此步骤来判断这些特征点的在第二时刻的特征信息是否还能够与第一时刻的特征信息相匹配的，显然特征信息变化较大的特征点即为不匹配的特征点。

S4，根据所述不相匹配的特征点的数量判断所述第二时刻的视频图像是否相较于所述第一时刻的视频图像发生抖动，如果这种不匹配的特征点的数量较多，或者占比较大，则可以认为画面发生了抖动。

根据本发明实施例提供的视频图像抖动判断方法，通过对视频图像中的多个特征点进行跟踪来判断图像中的内容是否主动发生了剧烈运动，只有在图像中的内容没有主动发生剧烈运动时，才对特征点进行匹配，并进一步根据匹配结果来判断视频图像是否发生抖动。本发明基于图像中的特征点估计图像是否抖动，相比于现有的全局估计方式，本发明的计算量较小，由此可以提高判断操作的效率；同时本发明在确定图像中的物体没有主动发生运动的情况下对图像进行抖动判断，以降低误判的可能性，由此提高了判断操作的准确性。

作为一种可选的实施方式，上述S2具体可以包括如下步骤：

S21，确定第一时刻的视频图像中的多个特征点数量N0以及跟踪到的特征点数量N1；

S22，判断N1/N0是否大于预定阈值p；

S23，当N1/N0大于预定阈值p时，判定图像中的内容未发生剧烈运动。

作为一种可选的实施方式，在上述步骤S2中可以采用光流法对所述多个特征点进行跟踪，进一步地，上述步骤S3可以包括如下步骤：

S31,确定各个跟踪到的特征点从第一时刻到第二时刻的位移矢量L；

S32,分别判断各个跟踪到的特征点的位移矢量L是否大于预定阈值L0；

S33,统计位移矢量L大于预定阈值L0的特征点的数量。

上述方案只针对特征点的位移进行判断，并由位移量来确定第二时刻的特征点是否与第一时刻的特征点相匹配，由此可以进一步提高计算效率。

作为一种可选的实施方式，上述步骤S4可以包括如下步骤：

S41,判断不相匹配的特征点的数量M2与跟踪到的特征点的数量N1的比值是否大于预定阈值R；

S42,当不相匹配的特征点的数量M2与跟踪到的特征点的数量N1的比值大于预定阈值R时，判定所述第二时刻的视频图像相较于所述第一时刻的视频图像发生抖动。

上述优选法方案基于不匹配的特征点与所有特征点的比例来确定视频图像是否发生抖动，由此可以进一步提高判断操作的准确率。

本发明实施例提供的视频画面抖动检测方案，采用Harris角点检测特征点，利用DSP(Domain-Size Pooling)-SIFT特征描述子进行特征描述，相对于SIFT描述子来说，DSP-SIFT描述子不仅在空间域上计算梯度向量，并且同时在不同尺度空间下计算梯度向量，对多个尺度空间下的特征向量进行叠加，统计梯度向量，得到最后的特征描述子，其特征向量具有和SIFT同样的维数，都为128维。但是DSP-SIFT描述子对目标的尺度变化更加鲁棒，使匹配更加准确。

本发明实施例也可以采用SIFT-BOW对多个尺度下的SIFT特征进行聚类，但是为了获取最佳的匹配效果，聚类中心个数的选取需要经过多次实验得到，特征向量需要经过核函数映射到BOW空间，增加了计算的复杂度。而DSP-SIFT是直接对梯度向量直方图向量在不同的尺度空间下进行叠加，计算简单并且保持和SIFT相同的维数，能够很好的适应目标尺度变化，很好的实现特征点的匹配，最后能够检测到异常帧的准确率更高。

本发明的另一个实施例还提供了一种摄像装置抖动判断方法，如图2所示，该方法包括：

S01，利用上述视频图像抖动判断方法对摄像装置拍摄的连续K帧视频图像进行判断，以得到K帧视频图像中发生抖动的视频帧的数量S；

S02，判断S/K是否大于预定阈值S0，当S/K大于预定阈值S0时，执行步骤S03，否则返回步骤S01持续判断；

S03，判定所述摄像装置在拍摄连续K帧视频图像的过程中发生抖动。

根据本发明实施例提供的摄像装置抖动判断方法，通过对连续多帧视频图像中的多个特征点进行跟踪来判断图像中的内容是否主动发生了剧烈运动，只有在图像中的内容没有主动发生剧烈运动时，才对特征点进行匹配，并进一步根据匹配结果来判断视频图像是否发生抖动，最终统计出发生了抖动的图像帧的数量，并由此来确定摄像装置是否在拍摄期间发生抖动。本发明基于图像中的特征点估计图像是否抖动，相比于现有的全局估计方式，本发明的计算量较小，由此可以提高判断操作的效率；本发明在确定图像中的物体没有主动发生运动的情况下对图像进行抖动判断，以降低误判的可能性，由此提高了判断操作的准确性；本发明对多帧图像进行连续追踪和判断，通过多帧的判断结果综合确定摄像装置是否发生抖动，以降低误判的可能性，由此进一步提高判断操作的准确性。

本发明的另一实施例还提供一种视频图像抖动判断装置，如图3所示，包括：

获取单元31，用于在第一时刻获取视频图像中的多个特征点，优选地，所述特征点为亚像素级Harris角点；

跟踪单元32，用于对所述多个特征点进行跟踪，并在第二时刻根据跟踪到的特征点判断图像中的内容是否发生剧烈运动；

统计单元33，用于当图像中的内容未发生剧烈运动时，确定所述跟踪到的特征点中的不相匹配的特征点的数量；

判定单元34，用于根据所述不相匹配的特征点的数量判断所述第二时刻的视频图像是否相较于所述第一时刻的视频图像发生抖动。

根据本发明实施例提供的视频图像抖动判断装置，通过对视频图像中的多个特征点进行跟踪来判断图像中的内容是否主动发生了剧烈运动，只有在图像中的内容没有主动发生剧烈运动时，才对特征点进行匹配，并进一步根据匹配结果来判断视频图像是否发生抖动。本发明基于图像中的特征点估计图像是否抖动，相比于现有的全局估计方式，本发明的计算量较小，由此可以提高判断操作的效率；同时本发明在确定图像中的物体没有主动发生运动的情况下对图像进行抖动判断，以降低误判的可能性，由此提高了判断操作的准确性。

优选地，还包括：重置单元，用于当图像中的内容发生剧烈运动时，启动所述获取单元，并将当前时刻作为所述第一时刻。

作为一种可选的实施方式，所述跟踪单元，包括：

特征点数量确定单元，用于确定第一时刻的视频图像中的多个特征点数量N0以及跟踪到的特征点数量N1；

特征点数量比对单元，判断N1/N0是否大于预定阈值p；

剧烈运动判定单元，用于当N1/N0大于预定阈值p时，判定图像中的内容未发生剧烈运动。

作为一种可选的实施方式，所述跟踪单元采用光流法对所述多个特征点进行跟踪；

所述统计单元包括：

位移矢量确定单元，用于确定各个跟踪到的特征点从第一时刻到第二时刻的位移矢量L；

位移矢量判断单元，用于分别判断各个跟踪到的特征点的位移矢量L是否大于预定阈值L0；

抖动特征点数量确定单元，统计位移矢量L大于预定阈值L0的特征点的数量。

上述方案只针对特征点的位移进行判断，并由位移量来确定第二时刻的特征点是否与第一时刻的特征点相匹配，由此可以进一步提高计算效率。

作为一种可选的实施方式，所述判定单元，包括：

抖动特征点比例确定单元，用于判断不相匹配的特征点的数量M2与跟踪到的特征点的数量N1的比值是否大于预定阈值R；

画面抖动判断单元，用于当不相匹配的特征点的数量M2与跟踪到的特征点的数量N1的比值大于预定阈值R时，判定所述第二时刻的视频图像相较于所述第一时刻的视频图像发生抖动。

上述优选法方案基于不匹配的特征点与所有特征点的比例来确定视频图像是否发生抖动，由此可以进一步提高判断操作的准确率。

本发明的另一个实施例还提供了一种摄像装置抖动判断装置，如图4所示，该装置包括：

抖动画面数量确定单元41，用于利用上述视频图像抖动判断方法对摄像装置拍摄的连续K帧视频图像进行判断，以得到K帧视频图像中发生抖动的视频帧的数量S；

抖动画面比例确定单元42，用于判断S/K是否大于预定阈值S0；

装置抖动判定单元43，用于当S/K大于预定阈值S0时，判定所述摄像装置在拍摄连续K帧视频图像的过程中发生抖动。

根据本发明实施例提供的摄像装置抖动判断装置，通过对连续多帧视频图像中的多个特征点进行跟踪来判断图像中的内容是否主动发生了剧烈运动，只有在图像中的内容没有主动发生剧烈运动时，才对特征点进行匹配，并进一步根据匹配结果来判断视频图像是否发生抖动，最终统计出发生了抖动的图像帧的数量，并由此来确定摄像装置是否在拍摄期间发生抖动。本发明基于图像中的特征点估计图像是否抖动，相比于现有的全局估计方式，本发明的计算量较小，由此可以提高判断操作的效率；本发明在确定图像中的物体没有主动发生运动的情况下对图像进行抖动判断，以降低误判的可能性，由此提高了判断操作的准确性；本发明对多帧图像进行连续追踪和判断，通过多帧的判断结果综合确定摄像装置是否发生抖动，以降低误判的可能性，由此进一步提高判断操作的准确性。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。