专利名称：时空关联多路视频管理方法
技术领域：
本发明所属于基于内容的视频管理、视频检索、视频处理等领域。针对外景采集、
娱乐、体育转播、视频监控等获得的多路视频资料，在保证每个视频流或视频文件可单独使用的前提下，通过添加对应视频帧的时空信息，允许从外部规划或播放时实时交互设定时空序列，控制多路视频播放组合，实现多路视频的有机组合和画面的互补，也可用于实现已有视频与特定内容视频的复合，是一种允许交互的多路视频管理方法。
背景技术：
在影像资料采集、安全监控等应用中，通常由多路摄录像器材同时工作，所采集的视频资料在时间和空间上都存在重叠和冗余，当需要观看特定时刻特定场景的视频时，为了获得全面的信息，不得不依次观看每个视频或者对其进行剪辑后编排为所需的内容，每当有类似的需求时，都要重复进行类似的工作，操作繁琐费时且难以满足需求的灵活性要求。在对视频资料进行管理时，现有的方法主要是对每个视频流、视频文件、磁带、光盘等进行标注，还有就是把视频如同剧本一样按内容的相关性划分为多个片断进行标志和管理，MPEG委员会提出了有关内容的管理方案，但由于描述方法的限制，还没有按帧内容进行详细描述和管理的产品可用。在体育转播中已有多角度切换的多路视频调度方法可用，主要是供导演等实时人工操作使用，不同于本发明中所说的可支持实时编辑也可离线定义的基于时空关联的多路视频管理方法。本发明通过对每路视频记录独立的可详细到每一帧的时空信息，通过外部的时间点上的一致性和空间位置的一致性，允许对同一时间点或空间位置自由切换在多个关联的视频中，既支持基于时空的多路视频管理，也可实现观看视频资料时的交互式操作。
发明内容
本发明包括视频时空信息的组织方式、多时空关联方法和基于时空关联的视频组合方法三个方面，执行顺序如图1所示。 为能够支持基于时空关联性的多视频管理，必须记录每段视频所记录场景的时空信息，无论采用绝对定位还是相对定位，这种时空信息应该能够统一到一个唯一确定的时空框架内。可用的信息包括视频采集的时间、摄像器材的空间位置、摄像时所采集场景相对于摄像器材的朝向等，这种信息的记录可以详尽到逐帧记录，也可以针对一组画面，对于安置相对固定的摄像器材，也可以近记录一次即可，应包括如下内容(仅为示意，顺序和实际名称不作为对发明内容的限定) ①起始时间/帧序号，②持续时间/帧数，③拍摄地点，④拍摄时的指向，⑤是否远/近景，⑥其他说明信息。 其中，①和②的功能是确定拍摄的场景在时间轴上的位置，根据时空信息记录的密度和方式，可采用固定间隔，也可采用随机方式，对于固定摄录像器材仅记录起始时间即以足够；③为对采集视频时地点的说明，可以摄像器材的位置为记录点，也可以被拍摄场景为记录点，可根据便利程度采用GPS坐标等方式实现，对每组要管理的视频，指定方式应统一 ；④指明拍摄场景与摄录像器材之间的相对关系，与③结合可实现对摄录相器材采集路线的描述或以被拍摄目标为中心的视频采集点分布；⑤用于区分视频采集时镜头焦距的变化，反映摄像时人的主观因素；其他未尽信息可纳入⑥做补充说明。 本发明不限定时空信息的记录方式，可采用外挂文件或内嵌数据的方式，由实际应用确定具体实施方案。 时空关联是针对播放时用户期望的观看顺序进行的。时空关联和视频组合的方法如下 1.首先确定时空信息的基准点，把针对各视频的时空信息作为时空域中的一组向量，p = (t， n， xl， yl， zl， x2， y2， z2， s)，其中t为某时空信息中记录的采集时间点，n标记该时空采样点来自哪个视频，(xl， yl， zl)为记录的拍摄地点，(x2， y2， z2)为摄像时的指
向，S为远/近景标志； 2.根据当前指定位置、方向和远近景的观看点(t， xa， ya， za， xb， yb， zb， s0)，在
时空采样集合中搜索最贴近该观看点的采样点，这是个非常快速的过程； 3.确定最近点后，需要对最近点及其邻域内的其他采样点进行分析，确定其各自
所代表的视频序号，把设计到的序号作为一组，完成初步关联； 4.考虑到时间是单向流逝的，需要对进入初步关联集合的视频作进一步的筛选，操作时可选择仅正向推进时间，为保证视频的平滑，选择一与当前视频在空间位置和朝向上最接近的点为备用点，确定其视频序号，作为准备视频； 5.按照2-4的顺序检查下一观看点，若下一备用点对应的视频序号好与当前备用视频序号一致，切换到准备视频，否则继续播放当前视频，重复2-5的操作至结束。
多路视频基于时空信息的场景关联如图2所示，视频组合后视频的观看效果如图3所示。
图1时空关联多视频管理流程
图2基于时空信息的多视频关联示意
图3时空编排后的组合视频示意
具体实施例方式
实施例1 :多路视频的交互式切换 (1)根据各视频的空间信息确定统一的时间和空间基准点； (2)在时空域中预先定义或交互指定当前观看点序列； (3)根据当前观看点序列实现在多路视频间的切换； (4)推进当前观看点，完成一系列的视频复合操作。 实施例2 :广告信息的插播 (1)指定基本视频，并制作广告视频； (2)确定基准视频和广告视频的基准点； (3)定义需要在基准视频中插播广告的顺序和广告时间；
(4)根据插播广告的顺序和时间生成观看点序列； (5)根据当前观看点序列实现在基准视频和广告视频间切换； (6)推进当前观看点，完成系列广告的插播。
权利要求
本发明针对具有时空冗余的多路视频，通过添加对应视频帧的时空信息，允许从外部规划或播放时实时交互设定时空序列，控制多路视频播放组合，实现多路视频的有机组合和画面的互补，是一种允许交互的多路视频管理方法。请求保护的范围如下1.基于时空关联性的多视频管理，并不限定为说明书所述的名称，支持同样功能的各种提法都在请求保护的范围之内；2.基于统一时空框架的多路视频关联，说明书中不限定采用绝对定位还是相对定位，也不特别指定以何种参照物进行定位，所描述的多维时空向量不作为对实质内容的限定，所有实现用于对多路视频进行统一时空关联的实现均在申请保护的范围之内；3.时空关联的实现方法，包括时空域中当前观看点的内容及最近点的确定方法，说明书中所给名称不作限定，实现相同功能的操作均在申请保护的范围之内；4.有关初步关联及基于后续观看点的关联确认方法；5.对时空关联后的多路视频进行播放控制和组合，不仅仅限定于说明书的描述，可对多路视频进行基于外部时空控制序列进行复合、播放、组合的方法在申请保护范围之内。
2. 基于统一时空框架的多路视频关联，说明书中不限定采用绝对定位还是相对定位， 也不特别指定以何种参照物进行定位，所描述的多维时空向量不作为对实质内容的限定，所有实现用于对多路视频进行统一时空关联的实现均在申请保护的范围之内；
3. 时空关联的实现方法，包括时空域中当前观看点的内容及最近点的确定方法，说明书中所给名称不作限定，实现相同功能的操作均在申请保护的范围之内；
4. 有关初步关联及基于后续观看点的关联确认方法；
5. 对时空关联后的多路视频进行播放控制和组合，不仅仅限定于说明书的描述，可对多路视频进行基于外部时空控制序列进行复合、播放、组合的方法在申请保护范围之内。
全文摘要
时空关联多路视频管理方法本发明所属于基于内容的视频管理、视频检索、视频处理等领域。针对外景采集、娱乐、体育转播、视频监控等获得的多路视频资料，在保证每个视频流或视频文件可单独使用的前提下，通过添加对应视频帧的时空信息，允许从外部规划或播放时实时交互设定时空序列，控制多路视频播放组合，实现多路视频的有机组合和画面的互补，也可用于实现已有视频与特定内容视频的复合，是一种允许交互的多路视频管理方法。包括视频时空信息的组织方式、多时空关联方法和基于时空关联的视频组合方法三项内容。
文档编号G06Q10/00GK101778236SQ200910000218
公开日2010年7月14日 申请日期2009年1月14日 优先权日2009年1月14日
发明者彭启民 申请人:北京风格九州文化传播有限公司