基于干扰物检测的视频优化方法
【技术领域】
[0001]本发明涉及图像处理技术领域，尤其涉及一种基于干扰物检测的视频优化方法。
【背景技术】
[0002]摄像机硬件技术在不断发展，现在移动设备内置的摄像机也能拍摄到高清高帧率的视频。然而，在摄像机路径的规划上，专业摄影师通常预先规划摄像机路径，并且利用台架和轨道等设备来精确操作摄像机的移动，这是业余摄影师所做不到的。另外，即使经过规划，业余摄影师也经常会拍摄到不希望拍到的物品。业余摄影师的摄像机路径缺陷可能由以下几点导致:手的抖动、身体的低频晃动以及非最优的场景构成。因此，需要关注视频稳定性，但是现有技术中却鲜有关注提升视频场景构成内容、去除干扰物以及分析摄像机路径。
【发明内容】
[0003]本发明的其中一个目的在于提供一种基于干扰物检测的视频优化方法，以解决现有技术中未考虑视频场景构成内容、摄像机路径以及干扰物引起视频不稳定的技术问题。
[0004]为实现上述发明目的，本发明实施例提供了一种基于干扰物检测的视频优化方法，包括:
[0005]根据时间超像素方法检测视频中的干扰物并标记在视频中的位置；其中，时间超像素是指一系列连续的视频像素，这些视频像素具有相近的颜色和移动参数；
[0006]根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径；
[0007]获取矩阵变换P，使该矩阵变换P与每个变换矩阵相乘后得到摄像机优化路径，以使摄像机避开干扰物且保证主要物体在该摄像机的画面之内；
[0008]将所述摄像机优化路径分成多个分段，且每个分段完成一个单调行为；获取每一分段中代表其路径变化的关键帧，并合并相邻关键帧；
[0009]利用线性模型匹配每一分段，从而得到所采集视频的摄像机线性路径。
[0010]可选地，所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤中，采用以下步骤获取干扰物及其位置:
[0011]利用时间超像素方法将帧画面分割成多个小区域；
[0012]计算每个小区域的对比显著性与移动显著性以获取该小区域的显著性；
[0013]若小区域的显著性值超过显著性阈值且出现在帧边缘区域的概率大于预设值，则该小区域为干扰物。
[0014]可选地，所述计算每个小区域的对比显著性与移动显著性以获取该小区域的显著性的步骤中，采用以下公式计算显著性:
[0015]S(?K(j)) = Sc(?K(j)) + a SM(?K(j)),
[0016]式中，j为时间超像素生存周期内的帧数，ΦκΟ)为第Κ个时间超像素在第j帧所占据的区域，Se(?K(j))为对比显著性，SM(?K(j))为移动显著性，α为权重调节系数。
[0017]可选地，所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤中，采用以下公式获取视频中的干扰物:
[0018]队冲山.))=8(0,0))彡ΤΠ (PA。))e Ω)，
[0019]式中，队冲山.))为时间超像素在该帧，SA。))显著性值，T为显著性的阈值，P^Jj))代表时间超像素在该帧的中心位置，Ω代表了靠近边缘区域的区域。
[0020]可选地，所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤之前，还包括:
[0021]对视频下采样获取小于该视频分辨率的第二视频，以提高运算速度；
[0022]和，
[0023]所述根据时间超像素方法检测视频中的干扰物并标记在视频中的位置的步骤之后，还包括
[0024]获取所述第二视频中的干扰物后，对所述第二视频进行上采样获取原分辨率的视频，以获取该干扰物在原分辨率视频中的位置。
[0025]可选地，所述根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径的步骤中，采用以下公式表示摄像机原始路径:
[0026].....Η1.Η0，
[0027]式中，t为整个视频的总帧数，硭为第t+Ι帧与第t+2帧画面之间的变换矩阵，I 1为摄像机原始路径。
[0028]可选地，所述根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径的步骤中，利用Harris角落特征点方法或者KLT特征点方法来跟踪与匹配相邻两帧之间特征点，从而得到相邻两帧之间的变换矩阵。
[0029]可选地，所述利用Harris角落特征点方法或者KLT特征点方法来跟踪与匹配相邻两帧之间特征点的步骤中，采用RANSAC方法去除不匹配的特征点，从而获取有效的摄像机原始路径。
[0030]可选地，所述获取矩阵变换P，使该矩阵变换P与每个变换矩阵相乘后得到摄像机优化路径的步骤中，所述矩阵变换P需要满足以下公式:
[0031 ] Ρρ\ (χηιη, ynin)τ 或者 Ρ V> (xnax, ynax)T，
[0032]式中，x_、x_、y_、y_分别代表了帧范围的横坐标、纵坐标的最小值与最大值，P为矩阵变换，P为干扰物中所有的点。
[0033]本发明通过寻找视频中的干扰物并移除该干扰物从而提升视频场景内容构成；优化摄像机路径，可以保证短时间内视频稳定，长时间内视频路径简单一致。
【附图说明】
[0034]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中:
[0035]图1是本发明实施例提供的基于干扰物检测的视频优化方法流程图；
[0036]图2是本发明实施例提供的帧画画优化过程示意图。
【具体实施方式】
[0037]下面结合附图和实施例，对本发明的【具体实施方式】作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0038]本发明实施例提供了一种基于干扰物检测的视频优化方法，如图1所示，包括:
[0039]根据时间超像素方法检测视频中的干扰物并标记在视频中的位置；其中，时间超像素是指一系列连续的视频像素，这些视频像素具有相近的颜色和移动参数；
[0040]根据所采集视频获取该视频中相邻两帧之间的变换矩阵从而得到由多个变换矩阵构成的摄像机原始路径；
[0041]获取矩阵变换P，使该矩阵变换P与每个变换矩阵相乘后得到摄像机优化路径，以使摄像机避开干扰物且保证主要物体在该摄像机的画面之内；
[0042]将所述摄像机优化路径分成多个分段，且每个分段完成一个单调行为；获取每一分段中代表其路径变化的关键帧，并合并相邻关键帧；
[0043]利用线性模型匹配每一分段，从而得到所采集视频的摄像机线性路径。
[0044]下面结合图2对本发明实施例提供的视频优化方法进行详细说明。
[0045]通常情况下，由于拍摄者所处位置以及拍摄水平存在差异，导致视频中会存在干扰物。所述干扰物是指那些可能将观众吸引力从主要物体上移开的物体。例如图2中，视频中主要物体21以及21’为所要展示的对象，而干扰物22与22’则是不必要的对象。通常情况下，干扰物具有以下特点:高显著性、处在边缘区域位置和出现时间较短。因此，本申请中干扰物的上述特点检测视频中的干扰物。
[0046]为准确找到干扰物的位置，本申请中采用时间超像素(Temporal Superpixels,)方法来检测视频中干扰物的局部区域。其中，TSP是一串连续的视频像素，具有相近的颜色和移动参数。利用该TSP方法可以获取视频像素的空间与时间信息。
[0047]根据TSP方法所获取的视频像素的空间与时间信息，计算帧画面的显著性。实际应用中，显著性可能会随时间发生变化，因此，本申请中显著性由两方面决定:对比显著性和移动显著性。上文中，对比显著性是指某小区域与周围区域的外观差异。移动显著性是指某小区域与周围区域的平均光流差异。利用以下步骤计算帧画面的显著性:
[0048]利用时间超像素方法将帧画面分割成多个小区域；
[0049]计算每个小区域的对比显著性与移动显著性以获取该小区域的显著性；
[0050]若小区域的显著性值超过显著性阈值且出现在帧边缘区域的概率大于预设值，则该小区域为干扰物。
[0051]实际应用中，对比显著性和移动显著性对帧画面的显著性影响不同，因此本申请中将两者进行加权叠加，采用以下公式获取显著性:
[0052]S(?K(j)) = Sc(?K(j)) + a SM(?K(j)), (1)
[0053]式中，j为时间超像素生存周期内的帧数，Φκ0)为第Κ个时间超像素在第j帧所占据的区域，Se(?K(j))为对比显著性，SM(?K(j))为移动显著性，a为权重调节系数。
[0054]根据每个小区域的的显著性值，如果某个小区域的显著性值高于显著性阈值的话，则有可能为干扰物。因此还需要对该小区域继续判断，判断该小区域出现边缘区域的情况。根据小区域中时间超像素的生存周期内出现在边缘区域内的时间长度来确定该小区域出现在边缘区域的概率，当上述概率大于预设值时，则本申请认定为该小区域为干扰物体。
[0055]实际应用中，本申请采用式(2)判断小区域为干扰物:
[0056]DpC0.U)) = 8(0,0))彡ΤΠ (PC0.U)) e Ω)， (2)
[0057]式⑵中，Dp^Jj)