专利名称：视频摘要生成方法及设备的制作方法
技术领域：
本发明涉及视频摘要技术领域，具体涉及视频摘要生成方法及设备。
背景技术：
视频摘要是指从原始视频中提取感兴趣的目标的活动信息，然后和背景视频缝合剪辑而成的较短视频片断，可以用短小精悍，信息全面来描述它。例如图1的左图为原始视频中的一幅图像，图1的右图为根据原始视频生成的一视频摘要。现有的视频摘要分析算法通常为分析模块从实况图像中分离出背景(所有静态、不移动的物体)和前景图像(移动的物体)；比较分离出的背景与基准背景的变化值， 若变化值超过阈值，则以分离出的背景刷新基准背景；将前景图像提取出来，将前景图像对应的描述插入到数据库中。现有的视频摘要分析算法是基于摄像头固定而设计的。当摄像机的云台转动、焦距变化时，从画面提取出来的背景图像会发生变化，例如云台转动，固定物体在画面的位置会发生变化，这会导致实际固定的物体，也被计算为移动的物体，降低视频摘要的准确性。
发明内容
本发明提供视频摘要生成方法及设备，以提高视频摘要的准确性。本发明的技术方案是这样实现的—种视频摘要生成方法，当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，该方法包括从摄像机的实况码流中分离出背景图像和前景图像，存储前景图像；根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；根据当前全局背景图像和当前前景图像构造视频摘要索引。所述从摄像机的实况码流中分离出背景图像和前景图像之后进一步包括若摄像机的镜头参数发生变化，则根据摄像机的新镜头参数，查找存储的与该参数对应的全局背景图像，将该全局背景图像作为当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像； 根据当前全局背景图像和当前前景图像构造视频摘要索引。所述从摄像机的实况码流中分离出背景图像和前景图像之后进一步包括若摄像机的镜头参数发生变化，且根据摄像机的新镜头参数未查找到存储的与该参数对应的全局背景图像，则根据新镜头参数、云台的转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像；根据当前全局背景图像和当前前景图像构造视频摘要索引。所述视频摘要索引包括当前全局背景图像的存储路径或当前全局背景图像、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；当播放视频摘要时，根据视频摘要索引中的当前全局背景图像的存储路径查找到当前全局背景图像，显示当前全局背景图像，或者直接显示视频摘要索引中的当前全局背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和 /或运动规则描述信息，将当前前景图像叠加到当前全局背景图像上显示。所述视频摘要索引包括当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；当播放视频摘要时，根据视频摘要索引中的当前全局背景图像的存储路径查找到当前全局背景图像，或者在视频摘要索引中直接找到全局背景图像；根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前背景图像上显示。一种视频摘要处理设备，包括码流分离模块从摄像机的实况码流中分离出背景图像和前景图像，存储前景图像；全局背景图像存储更新模块当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像；接收码流分离模块发来的分离出的背景图像，根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像，计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；视频摘要索引构造模块根据当前全局背景图像和当前前景图像构造视频摘要索引。所述全局背景图像存储更新模块进一步用于，接收码流分离模块发来的分离出的背景图像，若摄像机的镜头参数发生变化，则根据摄像机的新镜头参数，查找存储的与该参数对应的最新全局背景图像，将该全局背景图像作为当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像。所述全局背景图像存储更新模块进一步用于， 接收码流分离模块发来的分离出的背景图像，若摄像机的镜头参数发生变化，且根据摄像机的新镜头参数未查找到存储的与该参数对应的全局背景图像，则根据新镜头参数、云台的转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像。所述视频摘要索引构造模块构造的视频摘要索引包括当前全局背景图像的存储路径或当前全局背景图像、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；且所述视频摘要处理设备进一步包括视频摘要播放模块，用于当接收到视频摘要播放请求时，根据视频摘要索引构造模块中的当前全局背景图像的存储路径查找到当前全局背景图像，显示当前全局背景图像，或者直接显示视频摘要索引中的全局背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前全局背景图像上显示。所述视频摘要索引构造模块构造的视频摘要索引包括当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；且所述视频摘要处理设备进一步包括视频摘要播放模块，用于当接收到视频摘要播放请求时，根据视频摘要索引构造模块中的当前全局背景图像的存储路径查找到当前全局背景图像，或者直接在视频摘要索引中查找到全局背景图像；根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像，根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/ 或运动规则描述信息，将当前前景图像叠加到当前背景图像上显示。与现有技术相比，本发明中，当摄像机的云台位置和/或镜头参数发生变化时，能够更新背景图像，从而提高了视频摘要的准确性。
图1为现有的生成视频摘要的示例图；图2为本发明实施例提供的摄像机在一固定焦距下观察到的球面范围的示意图；图3-1为本发明实施例提供的摄像机在焦距f下，云台转动到30°时观察到的全局背景图像示意图；图3-2为本发明实施例提供的摄像机在焦距f下，云台转动到90°时观察到的全局背景图像示意图；图3-3为本发明实施例提供的摄像机在焦距f下，云台转动到150°时观察到的全局背景图像示意图；图4为本发明实施例提供的摄像机的云台转动幅度较小时观察到的全局背景图像示意图；图5为本发明实施例提供的生成视频摘要的方法流程图；图6为本发明实施例提供的当云台位置和镜头参数均未发生变化时，视频摘要生成模块的处理方法流程图；图7为本发明实施例提供的当镜头参数不变、云台位置发生变化时，视频摘要生成模块的处理方法流程图；图8为本发明实施例提供的当云台位置不变、镜头参数发生变化时，视频摘要生成模块的处理方法流程图；图9为本发明实施例一提供的根据视频摘要索引播放视频摘要的方法流程图；图10为本发明实施例二提供的根据视频摘要索引播放视频摘要的方法流程图；图11为本发明实施例提供的视频摘要处理设备的组成示意图。
具体实施例方式下面结合附图及具体实施例对本发明再作进一步详细的说明。本发明实施例中提出了“全局背景图像”的概念，为了方便理解该概念，以下首先对该概念进行详细描述。全局背景图像指的是在同一镜头焦距下，当云台在不同位置时，摄像机采集到的所有背景组成的一幅图像。例如当将摄像机调准到一个焦距f，当云台完成一个完整转动时，摄像机能精确观察的范围是半径为r的球面A。图2给出了摄像机在一固定焦距下观察到的球面范围的示意图。根据云台转动的范围的不同，球面的大小也不同，可能是一个小于一半的球面，也可能是一个半球面，也可能是一个多于一半的球面。位于球面A上的物体，摄像机可以精确地观察到，而不在球面A上的物体，摄像机不能精确成像。球面A就可以看成是焦距f下的全局背景图像。当焦距f不变时，云台转动到不同位置，摄像机观察到的范围是球面A上的不同区域。这样，摄像机在一个云台位置上观察到的背景图像，仅对应全局背景图像的一部分，当云台完成了完整转动时，就会得到完整的全局背景图像。当摄像机处于不同镜头焦距下时，所观察到的球面半径是不同的，即得到的全局背景图像的大小是不同的。以下通过举例给出全局背景图像的典型生成过程Fl 设摄像机的焦距为f，摄像机的云台从左向右转动，云台的转动范围为30° 150°，摄像机的视角为60°，根据摄像机的焦距f、云台的转动范围以及视角，确定全局背景图像GlobalGPic的大小。全局背景图像GlobalGPic初始时是空白。F2:当云台在30°时，摄像机能观察到的范围是半径为r、角度范围为(0°， 60° )的一部分球面，设该部分球面对应的背景图像为G1，则将Gl添加到全局背景图像 GlobalGPic的对应位置上，如图3_1所示。F3:当云台转动到90°时，摄像机能观察到的范围是半径为r、角度为(60°，120° )的一部分球面，设该部分球面对应的背景图像为G2，则将G2添加到全局背景图像 GlobalGPic的对应位置上，如图3_2所示。 F4:当云台转动到150°时，摄像机能观察到的范围是半径为r、角度为(120°， 180° )的一部分球面，设该部分球面对应的背景图像为G3，则将G3添加到全局背景图像 GlobalGPic的对应位置上，如图3_3所示。从上述过程可以看出，当云台从30°转动到90°再转动到150°时，云台完成了一个完整的转动过程，从而得到了焦距f下的完整全局背景图像。需要说明的是，在实际应用中，当云台的转动幅度较小时，后一次采集到的背景图像与前一次采集到的背景图像可能会有重叠部分，例如G2有一部分G21与Gl的一部分 G12重叠，此时，在全局背景图像GlobalGPic中后采集到的G21会覆盖先采集到的G12，如图4所示。从以上描述也可以看出当摄像机在不同焦距下，其观察到的球面半径是不同的， 因此，其对应的全局背景图像的大小是不同的；当摄像机在同一焦距的不同云台位置时，其观察到的球面半径是相同的，因此，其对应的全局背景图像的大小是相同的。图5为本发明实施例提供的生成视频摘要的方法流程图，如图5所示，其具体步骤如下步骤501 摄像机采集实况码流，将实况码流以及摄像机的云台位置、镜头参数发送给视频摘要生成模块。镜头参数可以是镜头焦距和镜头视角范围，也可以是镜头放大倍数和镜头视角范围。步骤502 视频摘要生成模块接收实况码流，从当前实况码流中分离出背景图像和前景图像，存储前景图像。步骤503 视频摘要生成模块根据摄像机的云台的转动范围、镜头参数确定摄像机观察到的球面范围，将该球面范围映射为一幅空白全局背景图像，根据摄像机的云台位置确定当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为初始基准背景图像，存储当前全局背景图像。步骤504 视频摘要生成模块将当前视频源标识、当前视频采集时间、当前全局背景图像的存储路径或者当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径及描述信息构造成视频摘要索引，将该视频摘要索引放入数据库中。全局背景图像可直接存放在视频摘要索引中，也可以存放在数据库的专门区域中，也可以存放在数据库外的存储区域中。表1、2分别给出了视频摘要索引的两种形式
视频源丨视频丨全局背景图ι当前背景图像在ι前景图像的ι前景图
权利要求
1.一种视频摘要生成方法，其特征在于，当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，该方法包括从摄像机的实况码流中分离出背景图像和前景图像，存储前景图像；根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内， 则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；根据当前全局背景图像和当前前景图像构造视频摘要索引。
2.根据权利要求1所述的方法，其特征在于，所述从摄像机的实况码流中分离出背景图像和前景图像之后进一步包括若摄像机的镜头参数发生变化，则根据摄像机的新镜头参数，查找存储的与该参数对应的全局背景图像，将该全局背景图像作为当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内， 则以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；根据当前全局背景图像和当前前景图像构造视频摘要索引。
3.根据权利要求2所述的方法，其特征在于，所述从摄像机的实况码流中分离出背景图像和前景图像之后进一步包括若摄像机的镜头参数发生变化，且根据摄像机的新镜头参数未查找到存储的与该参数对应的全局背景图像，则根据新镜头参数、云台的转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像；根据当前全局背景图像和当前前景图像构造视频摘要索引。
4.根据权利要求1至3任一所述的方法，其特征在于，所述视频摘要索引包括当前全局背景图像的存储路径或当前全局背景图像、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；当播放视频摘要时，根据视频摘要索引中的当前全局背景图像的存储路径查找到当前全局背景图像，显示当前全局背景图像，或者直接显示视频摘要索引中的当前全局背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前全局背景图像上显示。
5.根据权利要求1至3任一所述的方法，其特征在于，所述视频摘要索引包括当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；当播放视频摘要时，根据视频摘要索引中的当前全局背景图像的存储路径查找到当前全局背景图像，或者在视频摘要索引中直接找到全局背景图像；根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/ 或运动规则描述信息，将当前前景图像叠加到当前背景图像上显示。
6.一种视频摘要处理设备，其特征在于，包括码流分离模块从摄像机的实况码流中分离出背景图像和前景图像，存储前景图像；全局背景图像存储更新模块当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像；接收码流分离模块发来的分离出的背景图像，根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像，计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，以分离出的背景图像更新当前全局背景图像中当前背景图像，存储更新后的当前全局背景图像；视频摘要索引构造模块根据当前全局背景图像和当前前景图像构造视频摘要索引。
7.根据权利要求6所述的模块，其特征在于，所述全局背景图像存储更新模块进一步用于，接收码流分离模块发来的分离出的背景图像，若摄像机的镜头参数发生变化，则根据摄像机的新镜头参数，查找存储的与该参数对应的最新全局背景图像，将该全局背景图像作为当前全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若该变化值不在预设范围内，则以分离出的背景图像更新当前基准背景图像，同时，以分离出的背景图像更新当前全局背景图像中当前背景图像， 存储更新后的当前全局背景图像。
8.根据权利要求6所述的模块，其特征在于，所述全局背景图像存储更新模块进一步用于，接收码流分离模块发来的分离出的背景图像，若摄像机的镜头参数发生变化，且根据摄像机的新镜头参数未查找到存储的与该参数对应的全局背景图像，则根据新镜头参数、 云台的转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像，根据当前云台位置，计算当前背景图像在当前全局背景图像中的位置，将分离出的背景图像放入该空白全局背景图像的该位置上，同时将分离出的背景图像作为当前基准背景图像，存储当前全局背景图像。
9.根据权利要求6至8任一所述的模块，其特征在于，所述视频摘要索引构造模块构造的视频摘要索引包括当前全局背景图像的存储路径或当前全局背景图像、当前前景图像的存储路径、当前前景图像的位置和/或运动规则描述信息；且所述视频摘要处理设备进一步包括视频摘要播放模块，用于当接收到视频摘要播放请求时，根据视频摘要索引构造模块中的当前全局背景图像的存储路径查找到当前全局背景图像，显示当前全局背景图像，或者直接显示视频摘要索引中的全局背景图像；根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前全局背景图像上显示。
10.根据权利要求6至9任一所述的模块，其特征在于，所述视频摘要索引构造模块构造的视频摘要索引包括当前全局背景图像的存储路径或当前全局背景图像、当前背景图像在当前全局背景图像中的位置信息、当前前景图像的存储路径、当前前景图像的位置和/ 或运动规则描述信息；且所述视频摘要处理设备进一步包括视频摘要播放模块，用于当接收到视频摘要播放请求时，根据视频摘要索引构造模块中的当前全局背景图像的存储路径查找到当前全局背景图像，或者直接在视频摘要索引中查找到全局背景图像；根据当前背景图像在当前全局背景图像中的位置信息，在当前全局背景图像中查找到当前背景图像，显示当前背景图像，根据当前前景图像的存储路径查找到当前前景图像，根据当前前景图像的位置和/或运动规则描述信息，将当前前景图像叠加到当前背景图像上显示。
全文摘要
本发明公开了视频摘要生成方法及设备。方法包括当摄像机镜头参数保持不变时，根据摄像机的云台转动范围确定摄像机能观察到的球面范围，用该球面范围映射的空白图像初始化全局背景图像；从摄像机的实况码流中分离出背景图像和前景图像，根据摄像机云台当前位置确定当前背景图像在当前全局背景图像中的位置，将当前全局背景图像中该位置的图像作为当前基准背景图像；计算分离出的背景图像与当前基准背景图像的变化值，若变化值不在预设范围内，则根据分离出的背景图像更新当前基准背景图像和当前全局背景图像，根据当前全局背景图像和当前前景图像构造视频摘要索引。本发明提高了视频摘要的准确性。
文档编号G06F17/30GK102289490SQ201110229749
公开日2011年12月21日 申请日期2011年8月11日 优先权日2011年8月11日
发明者黄军 申请人:杭州华三通信技术有限公司