专利名称：一种视频摘要的生成方法及装置的制作方法
技术领域：
本发明涉及视频图像处理技术领域，尤其涉及一种视频摘要的生成方法及装置。
背景技术：
在社会公共安全领域，视频监控系统成为维护社会治安，加强社会管理的一个重要组成部分。视频监控获得的视频录像存储在一定的空间内，由于视频监控的时间很长，因此对视频录像的存储具有数据量大、存储时间长的特点。当需要获取视频录像中的视频信息时，需要搜寻视频录像，但现有技术中需要通过手工的方式进行搜索，该方法耗费了大量的人力、物力资源，并且由于视频录像具有数据量大、存储时间长的特点，因此通过人工的方式进行搜索耗时较长，效率极其低下。因此，在视频监控系统中，对原始的视频录像进行浓缩，形成视频摘要，可以提高对视频录像的浏览速度，提高视频信息提供的效率。视频摘要又称为视频浓缩，是对视频内容的一个简单概括。视频摘要在视频分析和基于内容的视频检索中扮演中重要的角色。视频摘要是基于自动或半自动的方式生成。在生成视频摘要时首先需要对运动目标进行分析，提取出运动目标；之后，对各个运动目标的轨迹进行分析，将不同的运动目标拼接到一个共同的背景场景中，并将它们以某种方式进行组合。但现有技术到目前为止还没有一套完善的自动生成视频摘要的方法。
发明内容
本发明实施例提供一种视频摘要的生成方法及装置，提供一种自动生成视频摘要的方法。本发明实施例提供一种视频摘要的生成方法，所述方法包括:采用混合高斯算法对视频录像进行背景建模，提取每个视频帧中的运动前景；检测每个当前帧，比较当前帧的运动前景与前一帧的运动前景是否关联；当当前帧的运动前景与前一帧的运动前景关联时，将当前帧的运动前景保存在前一帧的第一运动轨迹空间内；当当前帧的运动前景与前一帧的运动前景不关联时，将当前帧的运动前景保存在第二运动轨迹空间内；根据每个运动轨迹空间保存的运动前景，生成视频摘要。本发明实施例提供一种视频摘要的生成装置，所述装置包括:提取模块，用于采用混合高斯算法对视频录像进行背景建模，提取每个视频帧中的运动前景；检测模块，用于检测每个当前帧，比较当前帧的运动前景与前一帧的运动前景是否关联；存储模块，用于当当前帧的运动前景与前一帧的运动前景关联时，将当前帧的运动前景保存在前一帧的第一运动轨迹空间内；当当前帧的运动前景与前一帧的运动前景不关联时，将当前帧的运动前景保存在第二运动轨迹空间内；生成模块，用于根据每个运动轨迹空间保存的运动前景，生成视频摘要。本发明实施例提供一种视频摘要的生成方法及装置，该方法针对视频录像提取出每个视频帧中的运动前景，根据相邻两帧的运动前景是否关联，将相关联的视频帧保存到对应的运动轨迹中，根据每个运动轨迹生成对应的视频摘要。由于在本发明实施例中比较相邻两帧的运动前景是否关联，根据相关联的运动前景自动生成视频摘要，从而提高了视频摘要的生成效率，便于视频录像的浏览，提高了视频录像的浏览效率。
图1为本发明实施例提供的视频摘要的生成过程示意图；图2为本发明实施例提供的一种视频摘要的生成装置结构示意图。
具体实施例方式本发明为了提高视频录像的浏览效率，方便用户及时、准确的获取视频信息，提供了一种视频摘要的生成方法及装置。下面结合说明书附图，对本发明实施例进行详细说明。图1为本发明实施例提供的视频摘要的生成过程示意图，该过程包括以下步骤:SlOl:采用混合高斯算法对视频录像进行背景建模，提取每个视频帧中的运动前
旦
-5^ O在本发明实施例中可以根据视频录像的场景，选择多个高斯函数对视频录像进行背景建模，具体的选择的高斯函数例如可以为3飞个等。利用混合高斯函数对视频录像进行背景建模的主要目的，是为了确定该视频录像的场景对应的背景。当视频录像的背景确定后，即可提取出每个视频帧中的运动前景。在本发明实施例中背景为视频录像中在较长时间内保持不变的画面为，例如对于车辆监控过程中，公路及公路两旁的植物可以认为该视频录像中的背景，而该公路上行驶的车辆，其只在短时间内存在该视频录像中，被认为是运动如景。另外通过对运动前景进行轮廓识别、外接矩形的确定，即可确定运动前景汇总包含的运动目标的数量及位置。S102:检测每个当前帧，比较当前帧的运动前景与前一帧的运动前景是否关联。在本发明实施例中可以根据每两个相邻视频帧中运动前景的坐标，确定当前帧的运动前景与前一帧的运动前景是否关联。在针对相邻两帧确定该相邻两帧的运动前景是否关联时，也可以针对相邻两帧运动前景中的每个运动目标的坐标分别确定。S103:当当前帧的运动前景与前一帧的运动前景关联时，将当前帧的运动前景保存在前一帧的第一运动轨迹空间内；当当前帧的运动前景与前一帧的运动前景不关联时，将当前帧的运动前景保存在第二运动轨迹空间内。当相邻两个视频帧 中相关联时，可以认为相邻两个视频帧中包含有相同的运动目标，该相邻两帧中都可以用来针对该运动目标的运动轨迹，即用来生成该运动目标的视频摘要。的那个相邻两个视频帧不关联时，可以认为该相邻两帧之间包含的运动目标不相同，不能用来生成同一运动目标的运动轨迹。S104:根据每个运动轨迹空间保存的运动前景，生成视频摘要。当针对每个运动目标在运动轨迹空间保存了相应的运动前景后，可以针对每个运动轨迹空间中保存的运动前景生成包含前景信息的视频，根据之前识别到的背景即可生成对应的视频摘要。由于在本发明实施例中比较相邻两帧的运动前景是否关联，根据相关联的运动前景自动生成视频摘要，从而提高了视频摘要的生成效率，便于视频录像的浏览，提高了视频录像的浏览效率。在本发明实施例中为了生成视频摘要，针对保存的视频录像，识别视频录像中的背景，即相对保持不变，或相对稳定的信息，或相对静态的信息，也可以称为环境信息。由于一个视频录像一般是基于一种背景的，例如可以银行内的视频录像，或高速路上的视频录像，或其他场景中的视频录像，由于视频录像中的相对固定，因此可以首先将视频录像中的背景识别出来。在本发明实施例中是根据混合高斯算法识别视频录像的背景，该技术属于现有技术，就此就不一一赘述。当识别出了视频录像中的背景后，由于每个视频帧中的背景相对比较固定，根据识别出的背景，可以提取出每个视频帧中的运动前景。根据每个视频帧中的运动前景的范围，可以检测出相邻两个视频帧的运动前景是否关联，从而可以根据关联的视频帧的运动前景，生成视频帧摘要。本发明实施例中在确定相邻两个视频帧是否关联时，根据相邻两个视频帧的运动前景的坐标确定。具体的在确定两个视频帧是否关联时，针对每个视频帧分别进行，将该视频帧作为当前视频帧，将该当前视频帧与当前帧的前一帧进行比较，具体包括:确定当前帧运动前景的面积及前一帧运动前景的面积,从而确定当前帧运动前景及前一帧运动前景的交叉面积；根据当前帧运动前景的面积、前一帧运动前景的面积及交叉面积，比较当前帧的运动前景与前一帧的运动前景是否关联。 在本发明实施例中在确定当前帧的运动前景的面积，及前一帧的运动前景的面积时，根据当前巾贞运动前景包含的范围，及前一巾贞运动前景包含的范围来确定。这是因为在每个视频巾贞的运动如景中，都可以确定每个视频巾贞中最左端的像素点、最右端的像素点、最上端的像素点和最底端的像素点，根据这四个像素点分别确定该运动前景最左端的坐标、最右端的坐标、最上端的坐标和最底端的坐标，当确定了每个视频巾贞运动如景的坐标后，即可确定每个视频帧运动前景的面积。在确定两个相邻视频帧是否关联时，还需要确定两个相邻视频帧的运动前景的交叉面积，由于每个视频帧运动前景的坐标确定，在确定两个相邻视频帧运动前景的交叉时，可以采用当前帧运动前景的坐标减去前一帧运动前景的相应坐标，也可以采用前一帧运动前景的坐标减去当前帧运动前景的坐标。在本发明实施例中给出一种具体的计算相邻两帧运动前景交叉面积的方法，该方法包括:根据当前帧及前一帧运动前景中纵向和横向的交叉，确定当前帧及前一帧运动前景的交叉面积，其中当前帧及前一帧运动前景中横向的交叉为当前帧及前一帧运动前景右向的最小坐标，与当前帧及前一帧运动前景左向的最大坐标的差，当前帧及前一帧运动前景中纵向的交叉为当前帧及前一帧运动前景中底端的最小坐标，与当前帧及前一帧运动前景顶端的最大坐标的差。具体的该方法可以采用以下公式表示: Scross=Widthcross X HeightcrossScross为相邻两帧运动前景的交叉面积，Widthc^ss为相邻两帧运动前景横向方向的交叉，Heightcmss为相邻两巾贞运动前景纵向方向的交叉。而在确定相邻两巾贞运动前景横向方向的交叉时，根据相邻两帧左、右坐标确定，具体的可以根据以下公式确定:ffidthcross=min Crightpre, righttemp) -max (Ieftpre, Iefttemp)在相邻两帧运动前景横向方向的交叉Wi dtheMSS为当前帧运动前景的右坐标rIghttemp与前一帧运动前景的右坐标rightpM的最小值，与当前帧运动前景的左坐标Iefttemp与前一帧运动前景的左坐标Ieftpra的最大值的差，即确定两个相邻帧运动前景横向方向的交叉。在确定相邻两帧运动前景纵向方向的交叉时，根据相邻两帧顶端、底端坐标确定，具体的可以根据以下公式确定: Heightcross=min (Bottompre, Bottomtemp) -max (Toppre, Toptemp)在相邻两帧运动前景纵向方向的交叉Heighteross为当前帧运动前景的底端坐标Bottomtemp与前一巾贞运动前景的底端坐标BottomPre的最小值，与当前巾贞运动前景的顶端坐标Topteaiip与前一巾贞运动前景的顶端坐标Toppra的最大值的差，即确定两个相邻巾贞运动前景纵向方向的交叉。
当确定了相邻两帧运动前景的面积,及相邻两帧运动前景的交叉面积后，比较当前帧的运动前景与前一帧的运动前景是否关联包括:比较当前帧及前一帧运动前景的交叉面积是否大于当前帧及前一帧运动前景的面积的最小值与比例系数的积；当当前帧及前一帧运动前景的交叉面积大时，则确定当前帧的运动前景与前一帧的运动前景关联，否则认为不同。具体的可以采用以下公式来确定两个相邻视频帧的运动前景是否关联，该公式如下:Scross>min (Spre, Stemp) X R即当前帧的运动前景与前一帧运动前景的交叉面积Scmss大于当前帧运动前景的面积Stelip和前一帧运动前景的面积Spm的最小值与设定的比例系数的积时，认为该当前帧的运动前景与前一帧的运动前景相关联，其中当前帧运动前景的面积Stomp，根据当前帧运动前景的左、右、上、下左右来确定，相应的前一帧运动前景的面积Spm也采用同样的方法确定，这里就不一一赘述。在本发明实施例中该比例系统R可以取值为0.4，当然也可以其他的小于I的数值。根据上述公式，及当前帧运动前景的面积，前一帧运动前景的面积，及当前帧运动前景和前一帧运动前景的交叉面积，即可确定当前帧运动前景与前一帧运动前景是否关联。当满足上述公式时，认为该当前帧运动前景与前一帧运动前景关联，可以将当前帧运动前景保存在前一帧运动前景所在的第一运动轨迹空间中，当不满足上述公式时，认为该当前帧运动前景与前一帧运动前景不关联，将当前帧的运动前景保存在第二运动轨迹空间内。即在本发明实施例中，针对每个运动轨迹开辟了对应的运动轨迹空间，当相邻视频帧的运动前景相关联时，将该相关联的视频帧的运动前景保存在同一运动轨迹空间中，不关联的视频帧的运动前景保存在不同的运动轨迹空间中。另外，在本发明实施例中由于可以确定每个视频巾贞的运动如景，通过对每个视频帧运动前景中运动目标的轮廓分析、外接矩形方法，可以识别出每个视频帧运动前景包含的运动目标，并且也可以确定每个运动目标在每个视频帧运动前景中的坐标和面积。在确定当前帧运动前景与前一帧运动前景是否关联时，也可以判断当前帧运动前景中的每个运动目标，与前一帧运动前景中的每个目标是否关联。在针对当前帧运动前景中的每个运动目标，在确定该运动目标与前一帧运动前景中的每个目标是否关联时，也可以采用上述SerossMin(S_ Stemp) XR公式确定，其中Straip为当前帧中某一运动目标的面积，Spre为前一帧运动前景中某一运动目标的面积，Scross为该两个运动目标的交叉面积，Scross根据公式:Seross=Wi dthcross XHei ghtcross确定,Wi dthcross为该两个运动目标横向方向的交叉，Heightcross为该两个运动目标纵向方向的交叉，Widthcross为当前巾贞的该运动目标及前一中贞的该运动目标的右向的最小坐标，与当前帧的该运动目标及前一帧的该运动目标的左向的最大坐标的差，Height_ss为当前帧的该运动目标及前一帧的该运动目标的底端的最小坐标，与当前帧的该运动目标及前一帧的该运动目标的顶端的最大坐标的差。根据上述公式，可以确定当前帧运动前景中的每个运动目标，是否与前一帧运动前景中的每个目标相关联，当确定当前帧运动前景中某一运动目标，与前一帧运动前景中的某一运动目标关联时，将该当前帧的运动前景保存到亲一阵运动前景该某一运动目标的运动轨迹空间内，以便生成该运动目标的运动轨迹。例如对于视频录像中的第一帧时，当检测到该视频帧时，由于不存在前一帧，此时可以认为前一帧运动前景的面积为0，也可以确定交叉面积为0，此时该当前帧运动前景中的任意一个运动目标，与前一帧运动前景中的任意目标都不关联，此时可以运动目标的数量，分别开辟对应的运动轨迹空间，将该当前帧的每个运动目标分别保存到对应的运动轨迹空间中。当针对第二帧进行检测时，将该第二帧作为当前帧，检测该当前帧的运动前景中的每个目标与前一帧运动前景中的每个目标是否关联，如果此时当前帧中有新加入的运动目标，则该运动目标不会与前一帧运动前景中的目标向关联，此时可以根据该新加入的运动目标开辟新的运动轨迹空间，将该当前帧的新加入的运动目标保存在该空间中；此时该当前帧运动前景中大部分运动目标可能都没有变化，根据当前帧运动前景中的每个运动目标，与前一帧运动前景中的每个运动目标采用上述公式确定是否关联，当关联时，将该当前帧运动运动前景的信息更新到该运动目标的轨迹空间中。通过该方法可以针对每个运动目标分别生成该运动目标的视频摘要。根据每个运动轨迹空间中保存的每个视频帧的运动前景，生成对应的视频画面，并根据提取的背景，生成相应的视频摘要。在本发明实施例中在进行视频摘要的生成时，检测每个视频帧，但是对于视频录像中的一些场景，比如晚上，或者下班后，监控地点的运动目标非常少，如果还是一帧一帧的检测，将会影响视频摘要的生成效率。因此为了提高视频摘要的生成效率，在本发明实施例中，在确定检测帧率时包括:确定当前帧及前一帧的运动前景中包含的前景数目；当前一帧的运动前景中包含的前景数目小于设定的第一阈值，且当前帧的运动前景中包含的前景数目大于设定的第二阈值时，提高当前检测的帧率；当当前的检测帧率大于设定的第三阈值时，保持当前的检测帧率不变；否则，降低当前检测的帧率。上述检测帧率的确定方法可以用以下公式表示:
权利要求
1.一种视频摘要的生成方法，其特征在于，所述方法包括: 采用混合高斯算法对视频录像进行背景建模，提取每个视频帧中的运动前景； 检测每个当前帧，比较当前帧的该运动目标与前一帧的运动前景是否关联； 当当前帧的运动前景与前一帧的运动前景关联时，将当前帧的运动前景保存在前一帧的第一运动轨迹空间内； 当当前帧的运动前景与前一帧的运动前景不关联时，将当前帧的运动前景保存在第二运动轨迹空间内； 根据每个运动轨迹空间保存的运动前景，生成视频摘要。
2.按权利要求1所述的生成方法，其特征在于，所述比较当前帧的运动前景与前一帧的运动前景是否关联，包括: 确定当前帧及前一帧运动前景的面积，及当前帧及前一帧运动前景的交叉面积；根据当前帧及前一帧运动前景的面积及交叉面积，比较当前帧的运动前景与前一帧的运动前景是否关联。
3.按权利要求2所述的生成方法，其特征在于，确定所述当前帧及前一帧运动前景的交叉面积包括: 根据当前帧及前一帧运动前景中纵向和横向的交叉，确定当前帧及前一帧运动前景的交叉面积，其中当前帧及前一帧运动前景中横向的交叉为当前帧及前一帧运动前景右向的最小坐标，与当前帧及前一帧运动前景左向的最大坐标的差，当前帧及前一帧运动前景中纵向的交叉为当前帧及前一帧运动前景中底端的最小坐标，与当前帧及前一帧运动前景顶端的最大坐标的差。
4.按权利要求2所述的生成方法，其特征在于，所述根据当前帧及前一帧运动前景的面积及交叉面积，比较当前帧的运动前景与前一帧的运动前景是否关联包括: 比较当前帧及前一帧运动前景的交叉面积是否大于当前帧及前一帧运动前景的面积的最小值与比例系数的积； 当当前帧及前一帧运动前景的交叉面积大时，则确定当前帧的运动前景与前一帧的运动前景关联，否则认为不同。
5.按权利要求1所述的生成方法，其特征在于，所述方法还包括: 确定当前帧及前一帧的运动前景中包含的前景数目； 当前一帧的运动前景中包含的前景数目小于设定的第一阈值，且当前帧的运动前景中包含的前景数目小于设定的第二阈值时，提高当前检测的帧率； 当当前的检测帧率大于设定的第三阈值时，保持当前的检测帧率不变； 否则，降低当前检测的帧率。
6.一种视频摘要的生成装置，其特征在于，所述装置包括: 提取模块，用于采用混合高斯算法对视频录像进行背景建模，提取每个视频帧中的运动前景； 检测模块，用于检测每个当前帧，比较当前帧的运动前景与前一帧的运动前景是否关联； 存储模块，用于当当前帧的运动前景与前一帧的运动前景关联时，将当前帧的运动前景保存在前一帧的第一运动轨迹空间内；当当前帧的运动前景与前一帧的运动前景不关联时，将当前帧的运动前景保存在第二运动轨迹空间内； 生成模块，用于根据每个运动轨迹空间保存的运动前景，生成视频摘要。
7.按权利要求6所述的生成装置，其特征在于，所述检测模块，具体用于确定当前帧及前一帧运动前景的面积，及当前帧及前一帧运动前景的交叉面积；根据当前帧及前一帧运动前景的面积及交叉面积，比较当前帧的运动前景与前一帧的运动前景是否关联。
8.按权利要求7所述的生成装置，其特征在于，所述检测模块，具体用于根据当前帧及前一帧运动前景中纵向和横向的交叉，确定当前帧及前一帧运动前景的交叉面积，其中当前帧及前一帧运动前景中横向的交叉为当前帧及前一帧运动前景右向的最小坐标，与当前帧及前一帧运动前景左向的最大坐标的差，当前帧及前一帧运动前景中纵向的交叉为当前帧及前一帧运动前景中底端的最小坐标，与当前帧及前一帧运动前景顶端的最大坐标的差。
9.按权利要求7所述的生成装置，其特征在于，所述检测模块，具体用于比较当前帧及前一帧运动前景的交叉面积是否大于当前帧及前一帧运动前景的面积的最小值与比例系数的积；当当前帧及前一帧运动前景的交叉面积大时，则确定当前帧的运动前景与前一帧的运动前景关联，否则认为不同。
10.按权利要求6所述的生成装置，其特征在于，所述装置还包括: 帧率调整模块，用于确定当前帧及前一帧的运动前景中包含的前景数目；当前一帧的运动前景中包含的前景数目小于设定的第一阈值，且当前帧的运动前景中包含的前景数目大于设定的第二阈值时，提高当前检测的帧率；当当前的检测帧率大于设定的第三阈值时，保持当前的检测帧率不 变；否则，降低当前检测的帧率。
全文摘要
本发明公开了一种视频摘要的生成方法及装置，提供一种自动生成视频摘要的方法，该方法针对视频录像提取出每个视频帧中的运动前景，根据相邻两帧的运动前景是否关联，将相关联的视频帧保存到对应的运动轨迹中，根据每个运动轨迹生成对应的视频摘要。由于在本发明实施例中比较相邻两帧的运动前景是否关联，根据相关联的运动前景自动生成视频摘要，从而提高了视频摘要的生成效率，便于视频录像的浏览，提高了视频录像的浏览效率。
文档编号G06T7/20GK103092929SQ20121059230
公开日2013年5月8日 申请日期2012年12月30日 优先权日2012年12月30日
发明者王海峰, 刘忠轩, 贺江涛, 佟惠勇 申请人:信帧电子技术(北京)有限公司