一种基于运动对象与图像分析的视频帧复杂度测度方法
【技术领域】
[0001] 本发明属于图像处理技术领域，具体涉及一种基于运动对象与图像背景分析的视 频复杂度测度方法。
【背景技术】
[0002] 视频复杂度是对视频内在的复杂程度的描述，它能反应是否可完成或完成某些视 频分析操作（如视频对象识别，目标提取，异常行为检测，视频分割等）的内在的困难程度。 对视频的复杂度有定性的了解，不仅有利于对视频有一个整体概观，而且便于进一步把握 相关视频处理与分析；而对视频的复杂度进行定量分析，则有助于更加准确地把握执行视 频分析相应工作所存在的内在的困难程度，以便指导工作进行合理的设计与实施。定性定 量地描述图像的复杂程度，这不仅有利于更好指导和把握视频处理与分析工作，而且对视 频分析各领域都有极其重要的意义。
[0003] 针对常见的视频分析如视频对象识别，目标提取，视频分割等操作来说，视频复杂 度是指在一个给定视频中发现或提取一个真实目标的内在困难程度，本文主要从运动目标 特征和图像整体特征两方面进行视频复杂度的测度操作，以便对视频数据有一个整体把 握，用来指导后续视频分析的尺度参数和方法选择。
【发明内容】
[0004] 本发明的发明目的在于：针对上述存在的问题，提供一种计算视频帧的复杂度的 测度方法。
[0005] 本发明的基于运动对象与图像分析的视频帧复杂度测度方法，包括下列步骤：
[0006] 步骤一：分别计算视频帧的运动复杂度Cni和图像复杂度C g:
[0007] 1、运动复杂度Cni:
[0008] 首先提取视频每帧中目标的运动矢量特征：提取视频帧的运动目标特征点，并提 取运动目标特征点的运动矢量，然后基于视频帧的运动矢量提取运动目标特征点的速度特 征和方向特征，再基于速度特征、方向特征的预设等级划分分别统计每个等级所对应的出 现概率，用，表示速度特征的每个等级的出现概率，P dj表示方向特征的每个等级的出现 概率，最后，基于每个等级所对应的出现概率的统计结果，根据公式（1)计算各视频帧的运 动复杂度C ni:
[0010] 公式⑴中，N"表示速度特征的预设等级数，N d]表示方向特征的预设等级数， a "、a dj表示权值，且 a ri+a dj= 1。
[0011] 2、图像复杂度Cg:
[0012] 将视频帧转换为灰度图后分别计算边缘比率R、灰度一致性U和特征点集中度J :
[0013] 确定视频帧的目标边缘，并统计该目标边缘的像素点个数匕，根据公式（2)计算边 缘比率R :
[0014] R = Pe/(MXN) (2)
[0015] 公式⑵中，M和N分别表示视频帧的行数和列数。
[0016] 遍历转换为灰度图的视频帧的每一个像素，并与其相邻像素的灰度值比较，提取 视频帧的灰度一致性U，如公式（3)所示：
[0018] 公式（3)中，f(i，j)表示在像素点（i，j)处的灰度值，f'（i，j)表示以像素点 (i，j)为中心的预设邻域范围的灰度均值；
[0019] 基于计算运动复杂度中所提取的运动目标特征点，可提取其位置特征，对该位置 特征进行聚类处理，然后计算每一类中运动目标特征点的位置特征在水平和竖直方向的方 差V lx、Vly，由公式（4)得到特征点集中度J :
[0021 ] 公式（4)中，N。表示预设聚类数，η ;表示每类运动目标特征点个数，N f表示运动目 标特征点总数。
[0022] 对边缘比率R、灰度一致性U和特征点集中度J进行加权求和得到视频图像的图像 复杂度C g;
[0023] 步骤二：对运动复杂度Cni和图像复杂度C g进行加权求和，输出视频复杂度。
[0024] 由于采用了上述技术方案，本发明的有益效果是：基于目标的运动特性，数量以 及空间分布情况的视频复杂度测度方法能够有效地定量确定视频复杂度值，反映视频的特 性，有利于视频分析等进一步操作。
【具体实施方式】
[0025] 为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式，对本发明作进 一步地详细描述。
[0026] 本发明用于计算给定视频的各视频帧的复杂度，对输入的视频分别计算各视频帧 的运动复杂度和图像复杂度，再将两者进行加权求和输出各视频帧的复杂度，具体步骤如 下：
[0027] 步骤1 :计算视频帧的运动复杂度。
[0028] 步骤I. 1 :提取视频帧的运动目标特征点和背景特征点：
[0029] 基于预设跟踪帧步长所确定的当前视频段，首先从第一帧开始处理，在四个角上 各取一宽为视频帧图像行数四分之一，长为视频帧图像列数四分之一大小的块，并在块中 以视频帧图像列数的三十分之一作为步长均匀取点，作为背景特征点。然后检测视频帧中 的FAST (Features from Accelerated Segment Test)角点作为运动目标特征点，本实施方 式中，设置检测的最大运动目标特征点为500,两个运动目标特征点之间的最小距离为10， 特征检测的质量等级为0. 01。
[0030] 步骤1. 2 :跟踪背景特征点和运动目标特征点的运动：从当前视频段的第二帧开 始，跟踪上一帧的背景特征点和运动目标特征点在当前帧的位置，并作为下一帧跟踪的基 准，即对当前视频段的第一帧中每一个背景特征点和运动目标特征点，用光流法分别跟踪 其在当前视频段的第二帧的位置，再以第二帧中各特征点（背景特征点和运动目标特征 点）的位置为基准，跟踪其在当前视频段的第三帧的位置，以此类推，直到最后一帧。删除 当前视频段中第一帧和最后一帧中不动的背景特征点后保存剩余的背景特征点（即保存 第一帧和最后一帧中运动的背景特征点），以及保存每一帧的运动目标特征点的位置特征。
[0031] 若对上述步骤进行隔帧处理的话，可能存在很多特征点没有动，无效信息太多，而 且处理速度较慢，如果跟踪帧数太多，可能会跳过一些有效信息，因此本文经过实验选取五 帧作为跟踪帧步长。
[0032] 步骤1. 3 :基于步骤1. 2得到的背景特征点的位置特征，用RASANC方法估计六参 数全局模型，作为因摄像机移动而产生的背景运动模型。
[0033] 步骤1. 4 :基于步骤1. 2得到运动目标特征点的位置特征，提取运动目标特征点 的初级运动矢量，但这是受摄像机移动影响的综合运动矢量。根据步骤1. 3的背景运动模 型，将运动目标特征点在第一帧的位置特征代入该背景运动模型可得到其第五帧的位置信 息（即运动目标特征点的位置特征），并基于该位置信息提取运动目标特征点的背景运动 矢量，然后从综合运动矢量（初级运动矢量）中去除背景运动矢量便得到运动目标特征点 的运动矢量，即有效运动矢量。同时，为了降低运算量，基于公式（1)计算视频帧的运动复 杂度时，还可以去掉有效运动矢量为零的运动目标特征点。
[0034] 步骤1. 5 :根据步骤1. 4得到的运动矢量，提取运动目标特征点的速