一种视频浓缩方法和系统的制作方法
【专利摘要】本发明公开了一种视频浓缩方法和系统，属于视频处理【技术领域】。该方法包括：对视频帧进行背景建模分析，分割出每帧的前景目标和背景图像，提取每个目标的运动目标轨迹，并存储目标序列和背景图像，对运动目标轨迹的目标顺序进行优化排序，生成新帧号序列并存储，根据像素融合算法，将前景目标和背景图像进行无缝融合，读取存储的新帧号序列和背景图像，生成压缩视频。采用本发明实施例，缩短了浓缩视频长度，并尽可能保留了视频中的运动物体信息，能有效防止多目标之间的碰撞，具有较好视觉效果。
【专利说明】一种视频浓缩方法和系统
【技术领域】
[0001]本发明涉及视频处理【技术领域】，尤其涉及一种视频浓缩方法和系统。
【背景技术】
[0002]近年来，智慧城市、平安城市高速发展，数以万计的监控摄像头被安装在公园、体育场馆、大型广场、学校、医院、商业街、住宅小区等公众活动和聚集的场所，多媒体、交通视频和安防视频数据成爆炸式增长，对这些视频的管理和分析相当的困难。传统原始的浏览方式往往需要花费大量的人力、时间，已远远不能满足人们对视频信息访问和查询的需求。迫切需要一种快速便捷，且具有良好的视觉效果的视频浏览查阅方法和系统，因此，视频浓缩技术应运而生。
[0003]多目标运动轨迹优化和融合是视频浓缩的两个关键算法，其中多目标运动轨迹优化要保证在浓缩视频中运动目标的变化过程，同时要防止目标之间的相互碰撞和遮挡，此类优化过程现有常用模拟退火、粒子群、图分割等算法求解，此类算法存在复杂度高、实现困难、效率低下等特点，在生产系统中不易使用。融合方法使得最终得到的浓缩视频中每帧图像中的目标与背景、目标与目标之间没有视觉上可感知的边缘，其中常用的泊松图像融合算法的泊松方程求解困难，性能低下，无法实时快速处理。
【发明内容】
[0004]有鉴于此，本发明要解决的技术问题是提供一种视频浓缩方法和系统，以克服现有技术中计算消耗资源多，效率低，无法达到实时处理的缺陷。
[0005]本发明解决上述技术问题所采用的技术方案如下:
[0006]根据本发明的一个方面，提供的一种视频浓缩方法包括:
[0007]运动目标检测和提取:对视频帧进行背景建模分析，分割出每帧的前景目标和背景图像，提取每个目标的运动目标轨迹，并存储目标序列和背景图像；
[0008]运动目标轨迹组合优化:对运动目标轨迹的目标顺序进行优化排序，生成新帧号序列并存储；
[0009]目标与背景融合:根据像素融合算法，将前景目标和背景图像进行无缝融合；
[0010]浓缩视频生成:读取存储的新帧号序列和背景图像，生成压缩视频。
[0011]优选的，方法之前还包括视频获取:获取待处理视频，对不同编码的视频进行解码，将每帧解码为RGB颜色数据。
[0012]优选的，运动目标轨迹组合优化进一步包括:
[0013]根据目标在视频中出现的时间顺序对目标进行排序；
[0014]生成第一个运动目标的轨迹帧号序列；
[0015]循环生成下一个运动目标的轨迹帧号序列，直到完成所有目标的运动轨迹生成帧号序列；
[0016]将所有目标的运动轨迹序列存储到数据库中。[0017]优选的，生成下一个运动目标的轨迹帧号序列进一步包括:如果当前帧包含的目标个数超过给定的目标个数阈值，则当前目标的初始帧后移，否则计算当前目标的目标序列和当前帧出现的其他目标的目标序列的交叉面积之和，如果交叉面积之和超过给定的交叉面积阈值，则当前目标的初始帧后移。
[0018]优选的，计算当前目标的目标序列和初始帧出现的其他目标的目标序列的交叉面积之和进一步包括:
[0019]计算每一帧内交叉面积:从初始帧位置开始计算与其他目标序列的交叉面积，每一帧内交叉面积是包含该目标的矩形框与其他目标的矩形框交叉面积之和；
[0020]计算总的交叉面积之和:包含当前目标的所有帧的交叉面积之和。
[0021]优选的，目标与背景融合进一步包括:
[0022]对目标图像进行预处理，获取边界点坐标和权重；
[0023]根据调谐坐标计算其插值权重；
[0024]计算背景图像和目标图像对应边界点的差异像素值；
[0025]计算采样集合点的平均差值；
[0026]融合采样点和非采样点的图像。
[0027]优选的，目标序列包括:目标ID，目标在原视频帧中的帧号、左边界、右边界、下边界和上边界。
[0028]根据本发明的另一个方面，提供的一种视频浓缩系统包括:
[0029]运动目标检测和提取模块:对视频帧进行背景建模分析，分割出每帧的前景目标和背景图像，提取每个目标的运动目标轨迹，并存储目标序列和背景图像；
[0030]运动目标轨迹组合优化模块:对运动目标轨迹的目标顺序进行优化排序，生成新帧号序列并存储；
[0031]目标与背景融合模块:根据像素融合算法，将前景目标和背景图像进行无缝融合；
[0032]浓缩视频生成模块:读取存储的新帧号序列和背景图像，生成压缩视频。
[0033]优选的，运动目标轨迹组合优化模块具体用于:根据目标在视频中出现的时间顺序对目标进行排序；生成第一个运动目标的轨迹帧号序列；循环生成下一个运动目标的轨迹帧号序列，直到完成所有目标的运动轨迹生成帧号序列；将所有目标的运动轨迹序列存储到数据库中。
[0034]优选的，目标与背景融合模块具体用于:对目标图像进行预处理，获取边界点坐标和权重；根据调谐坐标计算其插值权重；计算背景图像和目标图像对应边界点的差异像素值；计算采样集合点的平均差值；融合采样点和非采样点的图像。
[0035]本发明实施例的方法和系统，通过目标轨迹之间的遮挡面积避免目标之间的碰撞，同时根据目标的结束帧位置尽量满足目标间的时间一致性；通过采样降低算法复杂度，同时尽可能保留目标信息。因而，缩短了浓缩视频长度，并尽可能保留了视频中的运动物体信息，有防止了多目标之间的碰撞，具有较好视觉效果。
【专利附图】
【附图说明】
[0036]图1为本发明实施例提供的一种视频浓缩方法流程图。[0037]图2为本发明优选实施例提供的一种运动目标轨迹组合优化方法流程图。
[0038]图3是本发明的目标运动轨迹之间的交叉面积计算示例。
[0039]图4为本发明优选实施例提供的一种目标与背景融合模块方法流程图。
[0040]图5是本发明的一幅目标图像的内部区域和外层区域划分示例图。
[0041]图6为本发明实施例提供的一种视频浓缩系统的结构示意图。
【具体实施方式】
[0042]为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0043]实施例一
[0044]如图1所示为本发明实施例提供的一种视频浓缩方法流程图，该方法包括:
[0045]S102、运动目标检测和提取:对视频帧进行背景建模分析，分割出每帧的前景目标和背景图像，提取每个目标的运动目标轨迹，并存储目标序列和背景图像。
[0046]具体来说，本步骤S102进一步包括:
[0047]( I)输入待浓缩的视频。
[0048]具体来说，本步骤中获取待处理视频，对不同编码的视频进行解码，将每帧解码为RGB颜色数据。
[0049](2)对视频进行背景更新、目标检测、目标跟踪。
[0050]具体地，背景更新采用混合高斯模型。该模型具体为:混合高斯模型使用K (一般为3到5个)个高斯模型来表征图像中各个像素点的特征，在新一帧图像获得后更新混合高斯模型，用当前图像中的每个像素点与混合高斯模型匹配，如果匹配成功则判定该点为背景点，否则为前景点；经过多帧学习可生成背景图像，前景即为运动目标，同时完成了背景建模和运动目标的分割。
[0051]目标检测和分割使用帧差法得到精确目标图像。当完成背景建模后，使用当前帧减去背景图像，得到一个差分掩图，对该差分掩图进行二值化，并使用中值滤波过滤噪声点，得到清晰的目标图像轮廓，提取目标在该帧的位置信息即左边界、右边界、下边界、上边界。不断更新背景图像，完成运动目标检测，并分离出每一帧运动目标，如果目标之间的距离小于一个预定阈值，则将目标合并为一个目标。所述预定阈值是根据经验来设定。
[0052]目标跟踪使用移动平均法，初始时，如果相邻帧的目标的中心位置之间的距离小于给定的阈值，则判定为一个目标，如果目标序列长度大于2时，则计算所有目标序列后K( 一般取2到10)个目标的平均中心位置，如果当前帧某目标的中心位置与平均位置之间的距离小于设定阈值，将距离最小者判定为同一个目标，否则是一个新目标。
[0053](3)将上述得到目标序列和背景图像分别存储在数据库中。其中，目标序列包括每个目标在原视频帧中的帧号、左边界、右边界、下边界、上边界，每个目标和背景图像都有各自唯一的ID号，分别将它们存储在数据库中。
[0054]S104、运动目标轨迹组合优化:根据当前帧的目标个数和当前目标的目标序列与当前帧出现的其他目标的目标序列的交叉面积之和，对运动目标轨迹的目标顺序进行优化排序，生成新帧号序列并存储。[0055]S106、目标与背景融合:根据像素融合算法，将前景目标和背景图像进行无缝融
口 ο
[0056]S108、浓缩视频生成:读取存储的新帧号序列和背景图像，生成压缩视频。
[0057]具体来说，从数据库读取背景图像、目标运动序列及生成的新帧号，将背景和目标融合为一帧图像，最终生成浓缩视频。
[0058]本发明实施例的方法，通过目标轨迹之间的遮挡面积避免目标之间的碰撞，同时根据目标的结束帧位置尽量满足目标间的时间一致性；通过采样降低算法复杂度，同时尽可能保留目标信息。因而，缩短了浓缩视频长度，并尽可能保留了视频中的运动物体信息，有防止了多目标之间的碰撞，具有较好视觉效果。通过自动地从海量视频中提取有用的目标和事件，来实现视频浓缩，节省了观看视频所需要的人力，减小存储空间，从而极大地方便监控视频的浏览和存储，可用于公园、体育场馆、大型广场、学校、医院、商业街、住宅小区等公众活动和聚集的场所监控视频数据。
[0059]如图2所示为本发明优选实施例提供的一种运动目标轨迹组合优化方法流程图，该方法包括:
[0060]S202、根据目标在视频中出现的时间顺序对目标进行排序。
[0061]具体来说，最早出现的目标排在最前面，每个目标的运动轨迹对应一个运动目标序列，每个运动目标序列有一个对应的ID，目标总数为ObjNum ；
[0062]S204、生成第一个运动目标的轨迹帧号序列。
[0063]具体来说，该序列第一帧帧号记为StartFrame = O)则帧号序列为:
[0064]{StartFrame, StartFrame+1,......, StartFrame+Ob jLength}
[0065]其中ObjLength为目标运动轨迹的长度；
[0066]S206、生成下一个运动目标的轨迹帧号序列。
[0067]具体来说，此目标运动的轨迹帧号序列记为:
[0068]CurTrace = {obj” obj2,......, objobjLength}
[0069]其中，每个O Wi = [RightE d ge, LeftEdge, Bottom, To p ], RightEdge,LeftEdge, Bottom, ToP分别表示目标在原始视频中的左边界、右边界、下边界、上边界,其中i=l,......, ObjLength,计算初始巾贞号S tartFrame过程如下:
[0070](a)获取初始帧所有目标的ID及各目标中对应的结束帧号，将初始帧更新为这些结束帧号的最小值，此处可以保证视频浓缩的时间一致性；
[0071](b)获取初始帧所有目标的ID和目标个数；
[0072](C)如果初始帧所包含的目标个数大于预设的目标个数阈值，则更新初始帧号StartFame:
[0073]StartFme = StartFrame+Interval
[0074]其中，目标个数阈值表示每帧出现的最大目标个数阈值，其取值范围为[5，25，作为一种优选的方案，取值为15个。Interval为跳巾贞数,通常Interval=5,可取1_30之间的数；然后返回步骤(b)。
[0075]如果当前帧的目标个数小于预设的目标个数阈值，则转至于步骤(d)。
[0076](d)获取初始帧所包括所有目标的运动序列，计算CurTrace与所有的Tracei交叉面积之和，如果交叉面积之和大于交叉面积阈值，则继续执行步骤山否则转至步骤e。[0077]具体来说,该巾贞包含的目标个数为η,运动序列的起始巾贞的位置是StartFame中贞，记为:
[0078]Tracei — {objstartFrame，objstartFrame+1，......，objend}
[0079]计算CurTrace与所有的Tracei交叉面积之和CrossArea,其中i = I，......，η ；
[0080]作为一种优选的方案，CrossAreaThreshold = 30000 像素点，目标之间的交叉面积阈值，此值越小，目标之间相互冲撞的部分越少；C r ο s s AreaThre sho I d 范围[0,30000]。
[0081]其中，图3是交叉面积计算的示例，其中C u r T a c e是当前目标序列，TraceU Trace2、Trace3是已经生成新巾贞号的三个目标序列，计算每一巾贞内交叉面积:CurTrace从StartFrame位置开始计算与其他目标序列的交叉面积:每一巾贞内交叉面积是由包含该目标的矩形框与其他目标的矩形框交叉面积之和；
[0082]计算总的交叉面积之和:总的交叉面积之和是包含该目标的所有帧的交叉面积之和。
[0083]CurTrace 与 Tracel 的交叉面积 crossl 为 CurTrace{objl, obj2, obj3, obj4,obj5}与相对应的Tracel {obj4, obj5, obj6, obj7, obj8}的5个矩形框交叉面积之和；
[0084]CurTrace 与 Trace3 的交叉面积 cross3 为 CurTrace{objl, obj2, obj3, obj4,obj5, obj6}与相对应的 Trace3{bj7, obj8, obj9, objlO, objll, objl2}的 6 个矩形框交叉面积之和；
[0085]CurTrace在Trace2最后一巾贞后面，二者无交叉；所以CurTrace在初始巾贞号StartFrame位置与其他目标序列的交叉面积之和为:
[0086]Cros sArea = c ros s 1 + cros s 3
[0087]如果CrossArea > C rossAreaThresold:
[0088]StartFrame = SrartFram+Interval
[0089](e)生成CurTrace的巾贞号序列:
[0090]CurTrace = {StartFrame, StartFrame+1,......, StartFrame+0b jLength
[0091]其中，ObjLength是 CurTrace 的长度；
[0092]S208、判断是否完成所有目标的运动轨迹生成帧号序列，如果是，执行步骤S210，否则返回步骤S206 ；
[0093]S210、将所有目标的运动轨迹序列存储到数据库中。
[0094]通过本发明实施例，实现了一种高效的多目标运动轨迹优化的防碰撞方法，通过目标轨迹之间的遮挡面积避免目标之间的碰撞，同时根据目标的结束帧位置尽量满足目标间的时间一致性，通过目标个数和交叉面积两个参数控制浓缩，具有较好的视觉体验。
[0095]如图4所示为本发明优选实施例提供的一种目标与背景融合模块方法流程图，该方法包括:
[0096]具体来说，融合算法是将一个目标图像融合到同等大小的背景图像中，包括以下步骤:
[0097]S302、对目标图像进行预处理，获取边界点坐标和权重。
[0098]具体来说，本步骤进一步包括:
[0099](a)等距采样目标图像的边界点坐标ΘΡ。[0100]具体来说，等距采样按顺时针方向每间隔12点采样一个点，间隔点数值越大，效果越差，通常可取2-20之间的数。
[0101](b)提取目标图像的像素点坐标P。
[0102]具体来说，将图像分为两部分:内部区域和外层区域，图5为目标图像的内部区域和外层区域划分示例，对于外层区域保留所有点的坐标PMtCT，对于内部区域采样取样的方法提取坐标Pinto，取样方法是:从内部区域的左上角开始，给定一个的值Ptl = -50，如果IP(i7 j)-P0 > thresh,则保留点P(i, j)的坐标,更新P。= P(i, j)，其中thresh是给定的阈值，一般取5~25之间的数，P(i，j)是内部区域一个点的第一通道的像素值。所有参与计算的点坐标集合的P= [Pexte^PinteJ ;剩余像素点的坐标记为P;
[0103](C)谐调坐标(Mean-Value Coordinates)。
[0104]具体来说,对任意坐标X e P和边界点Θ P，X的谐调坐标计算方法是:
【权利要求】
1.一种视频浓缩方法，其特征在于，该方法包括: 运动目标检测和提取:对视频帧进行背景建模分析，分割出每帧的前景目标和背景图像，提取每个目标的运动目标轨迹，并存储目标序列和背景图像； 运动目标轨迹组合优化:对所述运动目标轨迹的目标顺序进行优化排序，生成新帧号序列并存储； 目标与背景融合:根据像素融合算法，将前景目标和背景图像进行无缝融合； 浓缩视频生成:读取存储的新帧号序列和背景图像，生成压缩视频。
2.根据权利要求1所述的视频浓缩方法，其特征在于，所述方法之前还包括视频获取:获取待处理视频，对不同编码的视频进行解码，将每帧解码为RGB颜色数据。
3.根据权利要求1所述的视频浓缩方法，其特征在于，所述运动目标轨迹组合优化进一步包括: 根据目标在视频中出现的时间顺序对目标进行排序； 生成第一个运动目标的轨迹帧号序列； 循环生成下一个运动目标的轨迹帧号序列，直到完成所有目标的运动轨迹生成帧号序列； 将所有目标的运动轨迹序列存储到数据库中。
4.根据权利要求3所述的视频浓缩方法，其特征在于，所述生成下一个运动目标的轨迹帧号序列进一步包括:如果当前`帧包含的目标个数超过给定的目标个数阈值，则当前目标的初始帧后移，否则计算当前目标的目标序列和当前帧出现的其他目标的目标序列的交叉面积之和，如果交叉面积之和超过给定的交叉面积阈值，则当前目标的初始帧后移。
5.根据权利要求4所述的视频浓缩方法，其特征在于，所述计算当前目标的目标序列和初始帧出现的其他目标的目标序列的交叉面积之和进一步包括: 计算每一帧内交叉面积:从初始帧位置开始计算与其他目标序列的交叉面积，每一帧内交叉面积是包含该目标的矩形框与其他目标的矩形框交叉面积之和； 计算总的交叉面积之和:包含当前目标的所有帧的交叉面积之和。
6.根据权利要求4所述的视频浓缩方法，其特征在于，所述目标与背景融合进一步包括: 对目标图像进行预处理，获取边界点坐标和权重； 根据调谐坐标计算其插值权重； 计算背景图像和目标图像对应边界点的差异像素值； 计算采样集合点的平均差值； 融合采样点和非采样点的图像。
7.根据权利要求1-6任意一项权利要求所述的视频浓缩方法，其特征在于，所述目标序列包括:目标ID，目标在原视频帧中的帧号、左边界、右边界、下边界和上边界。
8.一种视频浓缩系统，其特征在于，该系统包括: 运动目标检测和提取模块:对视频帧进行背景建模分析，分割出每帧的前景目标和背景图像，提取每个目标的运动目标轨迹，并存储目标序列和背景图像； 运动目标轨迹组合优化模块:对所述运动目标轨迹的目标顺序进行优化排序，生成新帧号序列并存储；目标与背景融合模块:根据像素融合算法，将前景目标和背景图像进行无缝融合； 浓缩视频生成模块:读取存储的新帧号序列和背景图像，生成压缩视频。
9.根据权利要求8所述的视频浓缩系统，其特征在于，所述运动目标轨迹组合优化模块具体用于:根据目标在视频中出现的时间顺序对目标进行排序；生成第一个运动目标的轨迹帧号序列；循环生成下一个运动目标的轨迹帧号序列，直到完成所有目标的运动轨迹生成帧号序列；将所有目标的运动轨迹序列存储到数据库中。
10.根据权利要求8所述的视频浓缩系统，其特征在于，所述目标与背景融合模块具体用于:对目标图像进行预处理，获取边界点坐标和权重；根据调谐坐标计算其插值权重；计算背景图像和目标图像对应边界点的差异像素值；计算采样集合点的平均差值；融合采样点和非采样点的图像。`
【文档编号】H04N7/18GK103686095SQ201410001188
【公开日】2014年3月26日 申请日期:2014年1月2日 优先权日:2014年1月2日
【发明者】秦兴德, 唐伟, 吴金勇, 王军, 刁德峰 申请人:中安消技术有限公司