专利名称：视频数据嵌入控制信息的方法
技术领域：
本发明所属于技术领域为视频处理、基于内容的视频管理、视频检索、计算机视觉
等。针对体育转播、视频监控、外景采集等所获得的视频流或视频文件，依托视频流编解码 技术、统计技术、数据压縮技术等，把采集到的视频数据和针对指定场景的控制信息结合起 来，利用人眼的视觉暂留现象，在较少影响视频播放流畅性的前提下，在视频文件或视频流 中添加有关控制信息的内容，可直接定义动作、预期响应等内容，用于观看者根据视频中当 前空间信息进行交互使用。
背景技术：
随着数字视频的使用越来越广泛，迫切需要自动、有效的视频管理技术。作为视频 所拍摄场景的空间信息，无疑是对视频进行管理的重要内容之一，特别在移动过程中拍摄 的视频，这种基于拍摄到场景的空间信息进行管理的需求尤其迫切。对于需要和观看者进 行互动的视频而言，很多时候也需要根据场景中的内容结合观看者的响应作为后续动作的 依据，对于这种情形而言，现有的方法多是采用插入基于时间的锚点实现，从插入的数量到 支持的动作响应类型都很有限，更不支持基于场景的空间信息对视频内容进行管理。
也有方法把拍摄到的视频和GPS数据进行结合的应用实例，这种方法把3维的立 体空间縮减到2维的平面进行处理，仍难以有效地反映视频所拍摄的画面在拍摄点的具体 朝向及多画面之间的关系。 在有关基于交互式视频或基于虚拟现实的训练等实例中，为了完成基于画面空间 信息的交互，通常要采用额外的发射和接收装备实现，造价昂贵且存在动作与画面间如何 同步的问题。
发明内容
控制信息与视频复合采用内嵌的方法实现，由播放时间或帧序号进行同步，一种 信息格式如下(仅为示意，不作为对发明内容的限定，具体内容及顺序可调整)
作用时间/帧数(空间控制信息类型，空间位置1，区域类型1，区域大小1，动作 响应l);…；(空间位置n，区域类型n，区域大小n，动作响应n); 其中，每组(空间位置，区域类型，区域大小)在对应的视频帧定义了一个触发动 作响应的控制热点； 空间控制类型用于定义动作响应的触发方式，可以是在进入相应帧后自动执行、 用户控制点感应执行、用户动作执行如不同的点击方式执行等； 作用时间/帧数是指本组空间信息的作用域，用于限定后续的空间位置和动作响 应起作用的起止时间或关联帧号，有多种指定方式，可设置标记说明类型或采用默认类型 可指定实际具体时间或帧号作为起点，然后规定持续作用时间或帧号，也可指定具体终止 时间或帧号；以当前嵌入点所在时间或帧号作为起点时，直接指定终止时间或帧号即可；
空间位置用于确定响应用户点击或指示等动作的目标基准位置，其内容根据需要指定，可以是3D空间的绝对或相对坐标，也可以是和当前画面相关的平面坐标，对不同的 空间位置指定类型分类标记，空间位置可用相对于基准位置的方向或相对于当前画面中心 的相对位置等进行表示，动作响应可以是对播放进程和内容的控制，也可以是与视频内容 相关的其他信息或其链接； 区域类型用于指定在空间位置所指定处的某个区域，如矩形区、圆区或椭圆形区 域等，当不指定时则为设定的默认区域类型； 区域大小用于限定用户动作有效的范围，其与空间位置、区域类型一起定义了某 个或某组动作对当前指定响应有效的实际区域。 在考虑到视频拍摄过程的连续性，控制信息可固定时间间隔进行更新，也可按照 需要在指定位置更新。 通过控制插入的点和信息量，可以控制对视频质量的影响，特别是对具有纠错能
力的播放装置或播放器，经多人试验观看，这种方法对视频质量的影响可以忽略。 对于非压縮格式的视频流或文件，可在需要指定空间信息处作为插入点，使用独
立的一帧数据添加空间信息，可添加额外的数据，也可修改已有帧实现，通过改变帧数据的
格式，在帧数据的头部添加标记指示帧内为空间信息，当采用修改已有帧的方式实现时，若
所复合的空间信息不足原数据量则进行填充，使之达到原帧数据大小，若超出时，可进行筛
选或替换另外的帧实现，空间信息的内容可根据需要选择是否需要压縮。 对压縮视频，根据要复合的信息量的多少，可选择单帧或多帧方式施行，为减低对
观看效果的影响，须避开关键帧(I帧)。 采用额外的播放装置或播放器插件，根据帧标记判断是否为视频数据或者帧内数 据复合的控制信息，为视频数据则正常播放，若为复合的控制信息，则根据指定的有效时间 或帧序号范围启动相应的设置响应来自用户的动作。
附图1为本发明的处理流程图； 附图2为控制热点示意图； 附图3为嵌入方式示意图； 附图4为控制作用有效范围示意图； 附图5为一种动作响应方式示意。
具体实施例方式
实施例1 :对非压縮视频 (1)定义空间符合信息格式，设定最小时间间隔等基本参数； (2)打开视频文件或视频流； (3)搜寻到需要用到复合信息的位置； (4)判断该位置是否满足最小时间间隔，若满足继续否则返回上一步； (5)确定复合信息的作用范围； (6)填写有关控制信息，以一帧数据容量大小为限； (7)按照预定的格式在符合信息流中写入对应当前点的复合信息；
(8)替换当前帧数据或作为新帧插入； (9)推进到下一复合点，重复步骤(3)到步骤(8)的操作，至结束。 实施例2 :对压縮视频 (1)定义空间符合信息格式，设定最小时间间隔等基本参数； (2)打开视频文件或视频流； (3)搜寻到需要用到控制信息的位置； (4)判断该位置是否满足最小时间间隔，若满足继续否则返回上一步； (5)定位到所属GOP中的P帧，并确定复合信息的作用范围； (6)填写有关控制信息，以一帧数据容量大小为限； (7)按照预定的格式在符合信息流中写入对应当前点的复合信息； (8)替换当前帧数据或作为新帧插入； (9)推进到下一复合点，重复步骤(3)到步骤(8)的操作，至结束。 实施例3 :插入广告数据 (1)控制信息定义为广告链接； (2)根据是否为压縮视频，数据复合方法同实例1或实例2 ; (3)播放时用户点击画面的任一或特定区域，则转到链接的广告信息。 实施例4 :交互式视频辅助训练 (4)根据指定场景设定用户点击的区域、点击方式等； (5)根据是否为压縮视频，数据复合方法同实例1或实例2 ; (6)播放时记录用户是否作出设定的响应动作，然后进行评判，也可根据用户动作的不同切换视频的播放内容，或给出独立的提示。
权利要求
基于控制热点的视频交互方法，包括控制热点、控制类型及动作响应触发方式和控制有效作用域的多种组合方法，并不限定为说明书中所提及的具体名称，只要内涵及目的相同，可以其他名称、组合顺序、表现形式出现；
1. 基于控制热点的视频交互方法，包括控制热点、控制类型及动作响应触发方式和控 制有效作用域的多种组合方法，并不限定为说明书中所提及的具体名称，只要内涵及目的 相同，可以其他名称、组合顺序、表现形式出现；
2. 控制信息的多种触发方式，包括进入相应帧后自动执行、用户控制点感应执行、用户 动作执行如不同的点击方式执行等；
3. 对非压縮视频中选择相对冗余帧图像直接替换实现控制信息内嵌的方法；
4. 对非压縮视频中直接插入新帧数据实现控制信息内嵌的方法；
5. 对压縮视频的非关键帧数据替换实现控制信息内嵌的方法；
6. 播放装置或播放器插件根据指定的有效时间或帧序号范围启动相应的设置响应来 自用户的动作的方法；
7. 有关场景按照其空间的分布关系关联起来，实现根据空间位置及其像平面的管理， 实现视频交互的方法。
全文摘要
本发明视频数据嵌入控制信息的方法，所属于技术领域为视频处理、基于内容的视频管理、视频检索、计算机视觉等。针对体育转播、视频监控、外景采集等所获得的视频流或视频文件，依托视频流编解码技术、统计技术、数据压缩技术等，把采集到的视频数据和针对指定场景的控制信息结合起来，采用内嵌的方法实现控制信息与视频复合，在考虑到视频拍摄过程的连续性，控制信息可固定时间间隔进行更新，也可按照需要在指定位置更新。对压缩视频，根据要复合的信息量的多少，可选择单帧或多帧方式施行，为减低对观看效果的影响，须避开关键帧(I帧)。播放时根据控制信息在指定的有效时间或帧序号范围启动相应的设置响应来自用户的动作。
文档编号H04N5/91GK101778274SQ20091000068
公开日2010年7月14日 申请日期2009年1月14日 优先权日2009年1月14日
发明者彭启民 申请人:北京风格九州文化传播有限公司