一种视频摘要生成的方法及系统与流程

本发明涉及智能交通大数据技术领域，更具体的说，是涉及一种视频摘要生成的方法及系统。

背景技术：

随着多媒体技术、视频采集技术和智能交通的发展，视频监控、图像压缩编码与流媒体技术逐步演变，视频监控技术在日常生活中的应用越来越广泛，使得视频监控已不仅仅局限于安全防范，而是成为一种对各行各业都行之有效的监督手段，其应用领域的灵活性也已经远远超出了传统的安防监控所定义的范畴。然而视频监控的录像存在存储数据量大，存储时间长等特点，因此，在视频监控系统中，对原始视频进行浓缩，可以快速浏览，锁定检索对象，能够满足监控机关的各种需求及应用，视频摘要在视频分析和基于内容的视频检索则扮演着重要角色，生成的简短的视频，其包含原始视频中所有重要信息。

目前传统的视频摘要生成方法对目标从时间和空间上都进行视频浓缩，使摘要视频的浓缩程度达到最大，由于这种方法在空间上对目标也进行了重新分布，会导致视频中的运动对象位置与原始视频发生不一致性，破坏目标之间的相互作用，无法保证事件发生的先后顺序，从而无法为监控机关进行准确的真实情况的反应。

技术实现要素：

有鉴于此，本发明提供了一种视频摘要生成的方法及系统，。

为实现上述目的，本发明提供如下技术方案：

一种视频摘要生成的方法，包括：

读取原始视频信息的视频文件，提取所述原始视频信息的背景图像并获取所述原始视频信息的图像序列；

对所述图像序列进行运动目标检测，提取所述原始视频信息中的运动目标；

采用改进的均值漂移算法对所述运动目标进行目标跟踪，获取所述运动目标的运动轨迹；

将所述运动目标在所述运动目标的运动轨迹上进行时间轴上的平移和组合优化，得到优化后的视频图像序列；

将所述优化后的视频图像序列与所述背景图像进行合成，生成运动目标的视频摘要。

其中，所述对所述图像序列进行运动目标检测，提取所述原始视频信息中的运动目标包括：

采用混合高斯模型将所述图像序列进行运动目标检测；

根据五帧差分法提取所述原始视频信息中的运动目标。

其中，所述采用改进的均值漂移算法对所述运动目标进行目标跟踪，获取所述运动目标的运动轨迹包括：

预设目标区域中心坐标为(x₀，y₀)，有n个像素用{z_i}_i＝1...n表示其位置，对目标区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图即有m个特征值；

在第t帧时，根据第t-1帧的目标中心位置f₀，以f₀为搜索窗口的中心，得到候选目标的中心位置坐标f计算当前帧的候选目标区域直方图；

定义相似性函数，判断目标候选模型和目标模型之间相似度，确定下一帧跟踪目标位置；

所述相似函数值越大，则两个模型越相似，将前一帧中目标的中心位置f₀作为搜索窗口的中心，寻找使得相似函数最大的候选区域，即是本帧中目标的位置。

其中，所述对所述运动目标及所述运动目标的运动轨迹进行时间轴上的平移和组合优化，得到优化后的视频图像序列包括：

将原始视频中的运动物体轨迹t_b＝[tb^s,tb^e]通过一个映射函数M进行时间轴上的平移，成为摘要视频中的一段运动物体轨迹t_b＝[tb^s,tb^e]；

按照定义能量函数实现运动轨迹的组合和优化；

通过将所述定义能量函数最小化以达到目标轨迹之间最优化组合。

其中，所述将所述优化后的视频图像序列与所述背景图像进行合成，生成运动目标的视频摘要包括：

在所述背景图像中选出随时间变化的背景视频选择背景帧；

采用泊松编辑的图像拼接技术将所述优化后的视频图像序列与所述背景视频选择背景帧进行视频拼接，生成运动目标的视频摘要。

一种视频摘要生成的系统，包括：

提取单元，用于读取原始视频信息的视频文件，提取所述原始视频信息的背景图像并获取所述原始视频信息的图像序列；

检测单元，用于对所述图像序列进行运动目标检测，提取所述原始视频信息中的运动目标；

跟踪单元，用于采用改进的均值漂移算法对所述运动目标进行目标跟踪，获取所述运动目标的运动轨迹；

平移优化单元，用于将所述运动目标在所述运动目标的运动轨迹上进行时间轴上的平移和组合优化，得到优化后的视频图像序列；

生成单元，用于将所述优化后的视频图像序列与所述背景图像进行合成，生成运动目标的视频摘要。

其中，所述检测单元包括：

检测子单元，用于采用混合高斯模型将所述图像序列进行运动目标检测；

提取单元，用于根据五帧差分法提取所述原始视频信息中的运动目标。

其中，所述跟踪单元包括：

预设单元，用于预设目标区域中心坐标为(x₀，y₀)，有n个像素用{z_i}_i＝1...n表示其位置，对目标区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图即有m个特征值；

候选单元，用于在第t帧时，根据第t-1帧的目标中心位置f₀，以f₀为搜索窗口的中心，得到候选目标的中心位置坐标f计算当前帧的候选目标区域直方图；

定义函数单元，用于定义相似性函数，判断目标候选模型和目标模型之间相似度，确定下一帧跟踪目标位置；

确定单元，用于所述相似函数值越大，则两个模型越相似，将前一帧中目标的中心位置f₀作为搜索窗口的中心，寻找使得相似函数最大的候选区域，即是本帧中目标的位置。

其中，所述平移优化单元包括：

平移单元，用于将原始视频中的运动物体轨迹t_b＝[tb^s,tb^e]通过一个映射函数M进行时间轴上的平移，成为摘要视频中的一段运动物体轨迹t_b＝[tb^s,tb^e]；

组合优化单元，用于按照定义能量函数实现运动轨迹的组合和优化；

优化单元，用于通过将所述定义能量函数最小化以达到目标轨迹之间最优化组合。

其中，所述生成单元包括：

选择单元，用于在所述背景图像中选出随时间变化的背景视频选择背景帧；

拼接单元，用于采用泊松编辑的图像拼接技术将所述优化后的视频图像序列与所述背景视频选择背景帧进行视频拼接，生成运动目标的视频摘要。

经由上述的技术方案可知，与现有技术相比，本发明公开了一种视频摘要生成的方法及系统，将目标只是在时间轴上转移，通过以空间换时间的思路，对原始视频中的目标进行切割提取，重新平移组合，形成视频摘要，通过充分利用空间的信息，保证不丢失目标信息的的前提下，保证事件发生的先后顺序，减少了摘要视频中的空间冗余。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种视频摘要生成的方法流程的示意图；

图2为本发明实施例提供的一种视频摘要生成的系统结构的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明公开了一种包含交通运动目标的视频摘要生成方法。包括：对初始图像序列进行目标检测、目标跟踪提取原始视频各个目标的运动轨迹；对各个目标轨迹进行时间轴上的平移和组合优化，最后将优化后的运动物体轨迹与背景图像合成，生成摘要视频。本发明提供了一种有效的包含交通运动目标的视频摘要生成方法。

请参阅附图1，图1为本发明实施例提供的一种视频摘要生成的方法流程的示意图。如图1所示，本发明实施例公开了一种视频摘要生成的方法，该方法的具体包括如下步骤：

S101、读取原始视频信息的视频文件，提取原始视频信息的背景图像并获取原始视频信息的图像序列。

S102、对图像序列进行运动目标检测，提取原始视频信息中的运动目标。

具体的，对于运动目标的检测采用混合高斯模型将所述图像序列进行运动目标检测，并根据五帧差分法提取所述原始视频信息中的运动目标，得到运动前景区域：

D_t(x,y)＝|I_t(x,y)-B_t(x,y)|

其中，I_t(x,y)是当前帧的像素值；B_t(x,y)为通过混合高斯建模方法获得目标背景。

需要说明的是，本发明中的交通运动目标(简称目标)是指机动车、非机动车和行人。

S103、采用改进的均值漂移算法对运动目标进行目标跟踪，获取运动目标的运动轨迹。

假设目标区域中心为(x₀，y₀)，有n个像素用{z_i}_i＝1...n表示其位置，对目标区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图即有m个特征值。目标模型的概率密度如公式可表示为：

${\hat{q}}_u=C\underset{i=1}{\overset{n}{\Σ}}K\left(\right|\left|z_i^{*}\right|{|}^2)\mathrm{\δ}\[b\left(z_i\right)-u\]$

其中，k(x)为核函数的轮廓函数，因为背景或者有遮挡物的影响，目标中心的像素点准确性相比对远离中心的像素点准确性高，所以k(x)给一个很大的权值对于中心的像素，给一个很小的权值对于远离中心的像素。C为的标准化常系数；n为直方图中的像素数量；b(z_i)为目标模型中像素x_i颜色；δ[b(z_i)-u]为判断目标模型中像素x_i颜色值是否属于第u个区间。

在第t帧时，根据第t-1帧的目标中心位置f₀，以f₀为搜索窗口的中心，得到候选目标的中心位置坐标f计算当前帧的候选目标区域直方图，候选模型的概率密度如公式为：

$p_u\left(f\right)=C\underset{i=1}{\overset{n}{\Σ}}K\left(\right|\left|\frac{f-z_i}{h}\right|{|}^2)\mathrm{\δ}\[b\left(z_i\right)-u\]$

定义相似性函数，判断目标候选模型和目标模型之间相似度，确定下一帧跟踪目标位置。

定义相似性函数ρ(p,q)用于描述目标模型和候选模型之间的相似性，如下公式所示：

$\mathrm{\ρ}(p,q)=\underset{u=1}{\overset{m}{\Σ}}\sqrt{p_u\left(f\right){\hat{q}}_u}$

其中，p_u为目标候选模型，为目标模型函数。

相似函数值越大，则两个模型越相似。将前一帧中目标的中心位置f₀作为搜索窗口的中心，寻找使得相似函数最大的候选区域，即是本帧中目标的位置。迭代方程完成如公式：

$f_{k+1}=f_k+\frac{\underset{i=1}{\overset{n}{\Σ}}{w}_i(f_k-z_i)g\left(\right|\left|\frac{f_k-z_i}{h}\right|{|}^2)}{\underset{i=1}{\overset{n}{\Σ}}{w}_{i}g\left(\right|\left|\frac{f_k-z_i}{h}\right|{|}^2)}$

其中，g(x)＝-K(x)，从f_k起向两个模型相比颜色变化最大的方向不断移动，直到最后两次移动距离小于阈值，即找到了当前帧的目标位置，并以此作为下一帧的起始搜索窗口中心，如此重复直到结束。

S104、将运动目标在运动目标的运动轨迹上进行时间轴上的平移和组合优化，得到优化后的视频图像序列。

具体的，该步骤可以包括如下：

将原始视频中的运动物体轨迹t_b＝[tb^s,tb^e]通过一个映射函数M进行时间轴上的平移，成为摘要视频中的一段运动物体轨迹t_b＝[tb^s,tb^e]。如果M(b)＝Φ表示轨迹b映射摘要视频失败，如果M(b)＝b′表示原始视频中的轨迹b成功映射到了摘要视频中。定义能量函数如公式实现运动轨迹的组合和优化。

其中，E_t为活动事件时序一致性惩罚函数，E_a为活动能量损失函数，E_c为摘要视频轨迹之间的活动冲突能量代价函数。α,β为用户自定义系数。

通过将定义的能量函数最小化以达到目标轨迹之间最优化组合。

目标运动轨迹对应的视频图像序列与背景图像进行合成。

S105、将优化后的视频图像序列与背景图像进行合成，生成运动目标的视频摘要。

需要说明的是，在背景图像中选出随时间变化的背景视频选择背景帧；采用泊松编辑的图像拼接技术将优化后的视频图像序列与背景视频选择背景帧进行视频拼接，生成运动目标的视频摘要。

具体的，选出随时间变化的背景视频选择背景帧。首先将视频流中目标出现的时间分布统计直方图H_a。和反应时间自然变迁的均匀分布直方图H_t。通过如下公式折中这两个直方图，最后形成混合的直方图为H。

H＝λH_a+(1-λ)H_t

采用泊松编辑的图像拼接技术实现摘要视频的拼接，设定目标在拼接后的图像中的区域为Ω，其边界为拼接前，目标和背景图像的像素颜色值分别为f和b，拼接后，目标区域的像素颜色值待求，设定其为s。泊松拼接的目标函数可以用如下公式表示：

${\min }_s\underset{\mathrm{\Ω}}{\Σ}\[{(\▿s-\▿f)}^2+\mathrm{\λ}{(s-f)}^2\]$

$S\∂\mathrm{\Ω}=b\∂\mathrm{\Ω}$

其中，λ是正则项的权重，▽为梯度算子。准则函数的前后两项分别说明拼接后的目标同原始目标的梯度要相似同时两者间的像素颜色值也要相似；约束条件保证了目标边界与背景的无缝缝合。

本实施例公开了一种视频摘要生成的方法，将目标只是在时间轴上转移，通过以空间换时间的思路，对原始视频中的目标进行切割提取，重新平移组合，形成视频摘要，通过充分利用空间的信息，保证不丢失目标信息的的前提下，保证事件发生的先后顺序，减少了摘要视频中的空间冗余。

在上述公开的方法的基础上，本发明还公开了一种对应的虚拟系统。

请参阅附图2，图2为本发明实施例提供的一种视频摘要生成的系统结构的示意图。如图2所示，本发明实施例公开了一种视频摘要生成的系统，该系统具体结构包括：提取单元201，用于读取原始视频信息的视频文件，提取原始视频信息的背景图像并获取原始视频信息的图像序列；检测单元202，用于对图像序列进行运动目标检测，提取原始视频信息中的运动目标；跟踪单元203，用于采用改进的均值漂移算法对运动目标进行目标跟踪，获取运动目标的运动轨迹；平移优化单元204，用于将运动目标在运动目标的运动轨迹上进行时间轴上的平移和组合优化，得到优化后的视频图像序列；生成单元205，用于将优化后的视频图像序列与背景图像进行合成，生成运动目标的视频摘要。

优选的，所述检测单元202包括：

检测子单元，用于采用混合高斯模型将图像序列进行运动目标检测；提取单元，用于根据五帧差分法提取原始视频信息中的运动目标。

优选的，所述跟踪单元203包括：

预设单元，用于预设目标区域中心坐标为(x₀，y₀)，有n个像素用{z_i}_i＝1...n表示其位置，对目标区域的灰度颜色空间均匀划分，得到由m个相等的区间构成的灰度直方图即有m个特征值；候选单元，用于在第t帧时，根据第t-1帧的目标中心位置f₀，以f₀为搜索窗口的中心，得到候选目标的中心位置坐标f计算当前帧的候选目标区域直方图；定义函数单元，用于定义相似性函数，判断目标候选模型和目标模型之间相似度，确定下一帧跟踪目标位置；确定单元，用于所述相似函数值越大，则两个模型越相似，将前一帧中目标的中心位置f₀作为搜索窗口的中心，寻找使得相似函数最大的候选区域，即是本帧中目标的位置。

优选的，所述平移优化单元包括：

平移单元，用于将原始视频中的运动物体轨迹t_b＝[tb^s,tb^e]通过一个映射函数M进行时间轴上的平移，成为摘要视频中的一段运动物体轨迹t_b＝[tb^s,tb^e]；组合优化单元，用于按照定义能量函数实现运动轨迹的组合和优化；优化单元，用于通过将所述定义能量函数最小化以达到目标轨迹之间最优化组合。

优选的，所述生成单元包括：

选择单元，用于在所述背景图像中选出随时间变化的背景视频选择背景帧；拼接单元，用于采用泊松编辑的图像拼接技术将所述优化后的视频图像序列与所述背景视频选择背景帧进行视频拼接，生成运动目标的视频摘要。

由于本实施例中的各模块能够执行图1所示的方法，本实施例未详细描述的部分，可参考对图1的相关说明。

本实施例公开了一种视频摘要生成的系统，将目标只是在时间轴上转移，通过以空间换时间的思路，对原始视频中的目标进行切割提取，重新平移组合，形成视频摘要，通过充分利用空间的信息，保证不丢失目标信息的的前提下，保证事件发生的先后顺序，减少了摘要视频中的空间冗余。

综上所述，本发明公开了一种视频摘要生成的方法及系统，将目标只是在时间轴上转移，通过以空间换时间的思路，对原始视频中的目标进行切割提取，重新平移组合，形成视频摘要，通过充分利用空间的信息，保证不丢失目标信息的的前提下，保证事件发生的先后顺序，减少了摘要视频中的空间冗余。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上结合附图对本发明所提出的示例性描述，以上实施例的说明只是用于帮助理解本发明的核心思想。对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，如前后桥都有电机参与驱动的混合动力系统等。综上所述，本说明书内容不应理解为对本发明的限制。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。