一种在视频资源中使用信息集的方法

专利名称：一种在视频资源中使用信息集的方法
技术领域：
本发明涉及视频信息处理技术领域，尤其涉及一种在视频资源中使用信息集的方 法。
背景技术：
现有技术中，一幅图像由若干片组成，每片包含一系列的MBWacroBlock，宏块)。 MB的排列可按光栅扫描顺序，也可不按扫描顺序，光栅扫描将二维矩形光栅映射到一维光 栅，一维光栅的入口从二维光栅的第一行开始，然后接着扫描第二行、第三行，依次类推，光 栅中的行从左到右扫描。其中，灵活的宏块排序FM0(Flexible macroblock ordering，也被 称为条带组slice groups技术)模式是H. 264的一大特色，适用于H. 264的基本档次和扩 展档次的应用。图像内部预测机制，例如帧内预测或运动矢量预测，仅允许用同一片组里的空间 相邻的宏块或条带，每个片独立解码，不同片的宏块不能用于自身片中作预测参考，因此， 片的设置不会造成误码扩散。FMO模式通过宏块分配映射技术，把每个宏块分配到不按扫 描顺序的片中，FMO模式划分图像的模式包括各种各样，其中，棋盘模式、矩形模式等比较重 要，当然FMO模式也可以使一帧中的宏块顺序分割，使得分割后的片的大小小于无线网络 的MTU(MaXim Transport Unit，最大传输单元)尺寸，经过FMO模式分割后的图像数据分开 进行传输。FMO虽然可以作为单一的传输或纠错单位，但是在这个范围(Slice Group)中， 仍然没有任何机制感受用户的操作。在现有技术中，视频或巨型图像信息都是一个统一的整体，对于视频而言，总是 遵循着从第一帧播放到最后一帧的功能，播放器可以通过RTSP (Real-time Streaming Protocol，实时流协议)灵活地实现视频节目的快进快退。对于图像而言，通常是采用搜索 某一个位置的固定坐标，然后精确定位到这一个具体位置的方法。不管是对于视频还是图 像由于位置方面信息非常有限，例如很难定位到某个帧中某个区域中具体的某个宏块，因 此很多应用都不能够顺利展开。尤其是在视频中，这种位置资源的确定仍然是一块空白。然而，由于视频编码以外其它相关信息(如，服务信息)匮乏，并且视频本身不提 供跳转或取回数据的方法和手段，因此把视频和一些服务结合起来以及和用户及时互动会 变得比较困难，进而，使现有的IPTV (InternetProtocol Television)系统缺少和用户产生 互动的有效方法，因此不可能对用户的数据进行收集。现有视频资源处理方法中，由于只是单纯的把视频图像推向用户，而无法有效的 完成和用户的互动。更由于现有的视频编码本是以视频压缩为目的，利用现有网络传输高 质量的视音频信息，本身设计目的也无法实现和用户的互动。在现有的流行编码中比较成 熟的有H. 264/MPEG 4/MPEG 2/AVS等视频编码，这些编码均是以压缩编码和解压缩为目 的。但是随着网络技术的提高，网络带宽问题逐渐解决，用户会对视频提出更多的要求，不 光是视频本身质量上的要求，而且需要更多的应用和互动。

发明内容
本发明实施例要解决的问题是提供一种在视频资源中使用信息集的方法，以解决 现有技术中视频资源相关信息匮乏，及用户与服务互动不灵活的缺陷。为了实现上述目的，本发明的实施例提供了一种在视频资源中使用信息集的方 法，包括以下步骤服务端在视频资源中通过以视频帧外加入方式或视频帧内加入方式增加信息集; 所述服务端包括视频服务端和/或信息集加入服务端；所述视频帧外加入方式包括信息集 描述文件方式、服务帧方式或消息通信的方式；所述视频资源包括视频帧、视频图像、视 频文件和视频流；所述信息集包括位置集和/或操作集和/或功能集；所述服务端将信息集发送到客户端或在客户端设置信息集；所述客户端根据所述信息集中的位置集信息确定激活位置，并利用该位置集对应 的操作集进行操作、激活所述位置集和/或操作集所对应功能集，执行对应功能；所述位置集对应的操作集和功能集在客户端内设置和/或由所述服务端发送到 客户端，位置集和/或操作集和/或功能集可以不包含在服务端发送到客户端的信息集中， 而在客户端或扩展服务端中设置。所述位置集进一步包括视频帧内或图像内具体位置的坐标，或者帧内的宏块、条 带位置信息；或视频帧内或图像内指定区域或指定区域轮廓或条带组位置信息；或视频帧 在整个帧序列中的位置标识；或节目帧序列组标识；或流标识；所述功能集进一步包括取回具体指定位置内容的对象信息、跳转到具体指定位 置、向指定对象位置发送信息、打开或插入指定位置的对象、关闭显示指定位置的对象和移 动指定位置的对象；所述的指定位置包括网络中具体的URL、硬件设备中某一个设备地 址、存储设备中某一个存储位置、显示屏幕中具体位置、浏览器中具体位置、播放器播放窗 口中具体位置；所述操作集进一步包括鼠标操作、键盘操作、播放时搜索信息集位置并按预先设 定程序操作和消息程序驱动操作；所述位置集、操作集和功能集的比例关系对应包括一个位置集元素多个操作集元素多个功能集元素；多个位置集元素多个操作集元素多个功能集元素；一个位置集元素一个操作集元素多个功能集元素多个位置集元素多个操作集元素一个功能集元素；一个位置集元素多个操作集元素一个功能集元素；多个位置集元素一个操作集元素多个功能集元素；一个位置集元素一个操作集元素一个功能集元素；多个位置集元素一个操作集元素一个功能集元素；在位置集元素中不包含属性或包含一个属性或多个属性。所述位置集中每个位置都对应一个对象视频帧内或图像内具体位置的坐标，或者帧内的宏块、条带的位置信息-对应一 个点对象；或视频帧内或图像内指定区域或指定区域轮廓、条带组位置-对应视频资源内的一个块对象，所述块是点或宏块或条带的集合；或视频资源在整个帧序列中的位置标识_对应一个帧对象；或节目帧序列组标识_对应一个节目对象；
或流标识_对应一个流对象；所述位置对象都包含一种或多种对象的属性信息，所述属性信息包括优先级信 息、透明度信息、加密信息、版权信息、客户信息、所支持的操作集、信息的源和/或目标信 息、位置集的加入时间和/或有效时间、从位置集引入新对象的属性；所述对象属性中优先级信息用于不同位置集的合并操作不同优先级的流在同一 播放器中同时播放时，播放优先级最高的流；不同优先级的节目帧序列组在同一播放器中 同时播放时，播放优先级最高的节目帧序列组；不同优先级的帧在同一个客户端中同时播 放时，播放优先级最高的帧；或不同优先级的区域在同一帧内显示时，显示优先级最高的区 域；即不同优先级的多个信息处于位置集中同一位置，并且所述信息在同一个播放器中同 时播放，只播放优先级最高的信息；所述对象属性中透明度信息用于对位置集对应对象的透明度定义；所述对象属性中加密信息用于对位置集对应对象的加密，包括加密方式、密钥信 息；所述对象属性中版权信息用于对位置集对应对象的版权说明和保护，包括版权的 归属信息、版权的鉴权信息、版权的使用信息；所述对象属性中客户信息用于对位置集对应对象的客户权限说明和使用客户分 类信息，所述客户权限说明包括下载权限、播放权限，所述使用客户分类信息包括对内 容本身的分类控制；所述对象属性中从位置集引入新对象的属性用于标识从位置集中引入新对象的 属性和功能以及运动情况的说明，所述新对象包括视频、动画、图片、图像、声音、文字；所 述从位置集引入新对象的属性包括新对象的创建时间、在位置集中的位置参数、运动状 态、持续或结束该对象时间以及和位置集或周围对象关系。所述位置集中帧内区域获取方法包括采用H. 264中FMO模式，通过设置宏块次序映射表来任意地指配宏块到不同的片 组，把片组区域作为加入信息集的位置；或采用MPEG4中的VOL的方法，把对象流在帧中对应的显示区域位置作为加入信息 集的位置；或采用图像识别算法、对象跟踪算法、前景对象从背景中提取的算法或通过在相隔 的数帧分别标明对象区域再通过插值的方法，在视频帧内划分出不同的区域，上述区域作 为加入信息集的位置。客户端和/或服务端和/或扩展服务端设置有信息集全集，包括所有的位置集、操 作集和功能集，以及位置集对应对象的属性，而客户端获得的和视频资源对应的信息集作 为所述信息集全集的一个子集。所述客户端根据所述信息集中的位置集信息确定激活位置，并利用该位置集对应 的操作集进行操作、激活所述位置集中对应功能集，执行对应功能具体包括所述客户端首先判断信息集中的位置集信息是否在位置集的全集中，如果不在，则无操作或操作无效，如果在，则获取当前操作集，然后判断在这个位置集中是否存在相应 的在操作集中的操作，所述操作集应该在操作集全集中；如果有，则执行位置集和操作集对 应的功能集的程序指令，如果没有，则不执行功能集的程序指令。所述功能集中包括跳转功能，具体包括从一帧进行对应操作后跳转到另一帧； 从一帧内显示区域跳转到另一帧内指定区域；从一帧内显示区域跳转到另一帧；从一帧跳 转到另一帧内指定区域。在视频帧内划分所述区域方式包括以下两种情况，以对象划分区域或自由划分区 域。本发明还提供了一种在视频资源中使用信息集的系统，包括客户端和服务端，所述服务端包括视频服务端和/或信息集加入服务端，用于在视频资源中通过以 视频帧外加入方式或视频帧内加入方式增加信息集，所述视频资源包括视频帧、视频图 像、视频文件和视频流；所述信息集包括位置集和/或操作集和/或功能集；并将信息集 发送到所述客户端；所述视频帧外加入方式包括信息集描述文件方式、服务帧方式或消息 通信的方式；所述客户端，根据所述信息集中的位置集信息确定激活位置，并利用该位置集对 应的操作集进行操作、激活所述位置集和/或操作集中对应功能集，执行对应功能，所述操 作集和/或功能集在客户端设置和/或在服务端设置。所述服务端具体包括媒体导入模块，用于将媒体流导入服务端；信息加入模块，用于生成信息集文件和/或将信息集加入媒体文件；媒体存储模块，用于存储所述信息集和/或媒体文件；网络模块，用于服务端向客户端发送信息集和/或媒体流；所述客户端具体包括网络模块，用于从所述服务端获取信息集和/或媒体流；信息识别模块，用于获取并识别信息集内容，包括位置集、操作集和功能集；操作感应模块，用于获取所述位置集对应的操作集所进行地操作；功能实现模块，用于触发所述位置集和/或操作集所对应的功能集，执行相应功 能；媒体播放模块，用于播放对应的媒体信息；所述服务端与一个或多个客户端配合实现信息集对应功能或所述客户端与一个 或多个服务端配合实现信息集对应功能。还包括扩展服务端，所述客户端与扩展服务端配合完成指定的功能；所述扩展服务端包括功能实现模块，用于和客户端功能实现模块配合，完成所述信息集中对应的功 能；网络模块，用于所述客户端和所述扩展服务端信息通信；所述扩展服务端与一个或多个客户端配合实现信息集对应功能或所述客户端与 一个或多个扩展服务端配合实现信息集对应功能；在系统层面上，服务端、客户端和扩展服务端两两合并，功能上相互独立，放在一 个硬件里实现或者放在一个软件平台上实现；位置集、操作集和功能集以特定的功能形式出现，把操作集规定在客户端或者服
6务端或者扩展服务端；功能集也用特定的程序在客户端或者扩展服务端实现。本发明还提供了一种在视频资源中加入服务帧的方法，包括以下步骤服务端在视频资源中新建服务帧；在所述服务帧中加入信息集内容；所述服务端使用所述服务帧承载信息集，发送到客户端；其中，每一个服务帧对应 连续或离散的一个或多个视频帧。所述服务帧具有基本的帧结构，所述帧结构中封装信息集；所述服务帧承载的信息集包括位置集和所述位置集对应的操作集，以及位置集 和/或操作集所对应的功能集；所述位置集中每个位置都对一个对象，所述位置对象都包含一种或多种对象属 性，所述位置集对象属性中还包括优先级信息、透明度信息、加密信息、版权信息、客户信 息、所支持的操作集、信息的源和/或目标信息、位置集的加入时间和/或有效时间、从位置 集引入新对象的属性。所述服务帧在创建视频帧文件的同时创建或先生成视频帧文件后再创建服务 帧；所述服务帧和视频帧在一条传输通道里面传输或分别在不同传输通道中传输；所述服务帧和视频帧用同一语法结构解析或者用不同的语法结构解析；所述服务帧和视频帧保存在同一文件内或分别保存在不同的文件中；所述服务帧采用压缩的方法或不压缩的方法传输。本发明还提供了一种在视频资源中加2帧序列组的方法，包括以下步骤在服务端选择具有逻辑关系的多个相邻或不相邻的帧，并把这些帧作为一个有序 的集合，即帧序列组；把帧序列组开始和/或结束的位置作为位置集中的一个元素；并把帧序列组这个位置对象的属性加入到对应的位置集中的属性中。所述帧序列组和逻辑上连续的视频片段相对应，并且帧序列组位置对象的属性包 括优先级信息、加密信息、版权信息、客户信息、所支持的操作集、信息的源和/或目 标信息、位置集加入时间和/或有效时间；所述对象属性中加密信息用于对位置集对应对象的加密，包括加密方式、密钥信 息；所述对象属性中版权信息用于对位置集对应对象的版权说明和保护，包括版权的 归属信息、版权的鉴权信息、版权的使用信息；所述对象属性中客户信息用于对位置集对应对象的客户权限说明和使用客户分 类信息，所述客户权限说明包括下载权限、播放权限，所述使用客户分类信息包括对内 容的分类控制。本发明还提供了一种在视频资源中加入区域对象及其区域对象属性的方法，包括 以下步骤服务端在视频资源内划分区域，所述区域划分方式包括以对象划分区域或自由 划分区域；
服务端根据所述区域作为对象，并为每个对象设置相应的属性信息，并设置对应 fn息集。所述对象划分区域包括通过人工标明对象区域，再自动跟踪对象位置，并标识出 对象的轮廓信息；或通过人工在相隔的数帧分别标明对象区域，再通过插值的方法，模拟出 对象运动轨迹，并且标识出对象的轮廓信息。本发明还提供了一种在视频资源中加入优先级的方法，包括以下步骤服务端在信息集中位置集的属性信息中加入优先级信息；所述客户端根据所述优先级进行不同位置的合并操作不同优先级的帧在同一个 客户端中同时播放时，只播放优先级最高的帧、或不同优先级的区域在同一帧的显示时，显 示优先级最高的区域。本发明还提供了一种通过对视频帧中位置集对象操作收集用户信息的方法，包括 以下步骤客户端获得流媒体和所述流媒体对应的信息集；客户端执行和所接收媒体对应的信息集中操作集，并把信息集内容和客户信息发 送到扩展服务端；扩展服务端收集来自客户端的客户信息和媒体相关内容信息；所述客户信息包 括客户的网络地址、客户ID、客户属性。本发明还提供了一种在视频帧内使用信息集的方法，包括以下步骤服务端获得需要加入信息集的视频帧；在帧内选择位置加入信息集；所述选择位置包括在视频帧的头部或在视频帧的尾 部。本发明还提供了一种在视频资源中加入区域位置轮廓的方法，包括以下步骤把所述区域位置分割成相同大小的正方形，所述正方形按像素计算包括1X1、 2X2、4X4、8X8、16X16、32X32 ；并把每一种直线穿过正方形的情况用一个号码标记；所述正方形的被区域位置轮廓穿过时，标记穿入和穿出正方形的两点，然后用直 线连接所述两点来作为区域位置轮廓的一部分；当把所述区域位置轮廓全部用穿过正方形的直线段标识时，按照直线穿过正方形 的情况找出最接近已有号码标记的一项，再按照预先定义的穿过正方形的情况号码来标记。本发明还提供了一种在视频帧现有视频结构上设置区域或区域轮廓的方法，包括 以下步骤视频编码时，在现有的三维视频数据之上加上新的平面，并在该平面中设置区域 或区域轮廓；服务端把新的平面和原有的视频数据一起编码并发送到客户端；所述在平面中设置区域的方法为用区域编号的方法或采用几何形状参数的方 法；所述新的平面的数目可以是一个或多个。本发明还提供了一种确定服务层中位置信息并控制对象的方法，包括以下步骤接收到视频信息，并在普通视频播放层内播放视频信息；
在普通视频播放层之上叠加服务层，确定服务层中的位置信息，并在所述服务层 内确定的位置控制新媒体对象；所述新媒体对象的位置在信息在信息集中的位置集定义或在客户端通过鼠标或 键盘选定的固定位置；所述操作新媒体对象的方法包括本地控制和远端控制，本地控制指通过键盘或鼠 标来操控新媒体对象，远端控制是服务端通过信息集的方式来控制新媒体对象；所述控制新媒体对象的方法包括创建对象、移动对象、注销对象、对象变换；所述新媒体对象包括视频、动画、图片、声音或文字。与现有技术相比，本发明实施例具有以下优点本发明实施例中，引入了位置集对象和位置集对象属性的概念，可以对视频做更 精确的控制。改变现有视频技术只重压缩，轻视应用的现状，为视频技术的应用提供了一个 很好的实现平台。本发明把应用和视频本身紧密的结合起来，然后配合操作集和功能集完 成和视频接收客户端的交互功能。本发明为了更好的发挥位置对象的功能，对位置对象定 义了各种属性，这些属性的引入，可以更好的发挥对位置对象的应用。本发明实施例中，引入位置集、操作集和功能集的概念，以及新的通信传输方法来 实现和用户的互动功能；很好的完成了和用户的互动功能，还可以完成精确地对用户信息 的采集和分析，因此可以实现服务的个性化，对每一个用户推送其所需要的内容。例如，一 个用户经常点击什么样的内容或商品，就给这个用户推送什么样的广告，这样可以实现广 告追人，实现广告技术的变革。


图1是本发明一种在视频资源中使用信息集的方法流程图2是本发明中位置集、操作集和功能集相互关系示意图3是本发明中利用位置集、操作集和功能集进行操作流程图4是本发明中位置集包括对象划分示意图5是本发明中具有起始码和结束码的节目帧序列组结构图6是本发明中在一幅图像内从指定区域跳转到另一指定区域的示意图7是本发明中一幅图像中三个区域对应的位置集、操作集和功能集的示意图8是本发明中连续帧中实现取回操作示意图9是本发明中一帧进行对应操作后跳转到另一帧的示意图10是本发明中一帧内显示区域跳转到另一帧内指定区域示意图11是本发明中一帧内显示区域跳转到另一帧示意图12是本发明中一帧跳转到另一帧的指定区域示意图13是本发明中用不同的数字集来表示一个图像内区域的示意图14是本发明中采用16分割方法表示一个图像轮廓示意图15是本发明中8X8宏块处理示意图16是本发明中图13经过中心处理后的示意图17是本发明中使用椭圆或矩形标注一个轮廓示意图18是本发明中在视频资源中使用信息集的方法流程图19是本发明中每一个宏块的位置唯一确定其在图像中的位置示意图；图20是本发明中一种区域划分示意图；图21是本发明中一种典型的优先级区域划分示意图；图22是本发明中一种在视频资源中加入信息集的系统结构图；图23a和图23b是本发明另一种在视频资源中加入信息集的系统结构图；图24是本发明中新增服务帧示意图；图25a和图25b是本发明视频帧内服务区示意图；图26是本发明在消息驱动的模式下，服务端、客户端和扩展服务端是配合工作的 示意图；图27是本发明在生成信息集文件的模式下，服务端、客户端和扩展服务端配合完 成功能的示意图；图28是本发明在现有的YUV三维视频编码基础上增加一维或多维来区分区域示 意图；图29是本发明服务层的结构示意图；图30是本发明服务层和普通播放层关系图。
具体实施例方式本发明中，在视频资源中使用信息集，对于一些电视、电影或广告信息可以采用在 视频资源中设定位置集，然后把位置集和相关的操作集关联起来，然后把位置集、操作集和 某一项具体的功能关联起来实现某种功能。位置集包括视频帧内或图像内具体位置的坐标，或者帧内的宏块、条带位置信 息；或视频帧内或图像内指定区域或指定区域轮廓或条带组位置信息；或视频帧在整个帧 序列中的位置标识；或节目帧序列组标识；或流标识；如图3所示，设置位置集的方法如下视频帧内或图像内的具体位置的坐标为(X，y)，而帧内的宏块位置可以由帧内宏 块号来标识或者由宏块的坐标来标识，条带可以由条带号来标识，条带作为一个单独的传 输结构很容易被标识。帧内坐标结构为一个点对象，条带或宏块虽然也是一个区域，但是也 是基本的显示单元，因此在本发明实施例中也作为一个点对象处理。在传输的时候可以放 在帧内服务区中传输，也可以用服务帧的方式传输。视频帧内条带组、指定区域或指定区域轮廓在本发明实施例中作为一个区域对 象。条带组表示的方法现在已经成熟，有条带组的标号可以表示。指定区域对象可以借用 条带组的方法来表示，最后表示为区域号码。在区别不同区域或轮廓的时候，可以采用本发 明实施例的区域号码，如图13到17所示。如果采用类似条带组的方法表示区域则需单独 编码，如果采用区域号的方式，则不需要单独编码。可以在现有的YUV三维视频编码基础 上，增加一维或多维来区分区域，如图28所示，也可以采用服务帧的方法，在服务帧中区分 出不同的区域位置。采用上述增加视频现有维度的方法时，可以把增加的信息放在视频帧 内服务区来编码传输，也可以放在服务帧中编码传输。当然也可以用控制文件或者消息的 方式来传输区域信息。视频帧在整个帧序列中的位置标识为帧的序列号，每一个帧都有一个编号或起始码/结束码来表示该帧或图像在整个帧序列中的位置。把这个位置信息可以放在服务帧中 进行传输，这样方便控制以及操作集和功能的加入。节目帧序列组的位置可以和视频帧的位置相同，采用一个帧的序列号来标识，或 者采用单独的结构，如图5所示。目的是为了能够在连续的视频传输过程中，区分出一个个 节目，节目的区分往往需要人为干预。人工的设定哪里是节目的开始，哪里是节目的结束。 同样可以采用帧内或帧外的服务控制模式。视频流标识的方法，可以设置视频流的号码，如1、2、3...。或者采用来自不同的地 方的IP地址(包括原地址或目的地址，包括广播地址和非广播地址)来区分不同的流；或 者采用每个频道单独的标识编号来进行标识。传输的方法依然是可以采用帧内或者帧外服 务两种控制模式。需要注意的是，由于位置集具有一定的归属关系，例如，一个坐标或一个宏块一定 包含在一个区域内，这个区域又进一步包含在一个帧内、一个帧可能包含在一段节目帧序 列组内，而这个节目帧序列组一定属于某一个具体的流，这样就使得如果要标识更精确的 位置，在图4中表示为更下层的位置，往往需要包含该位置更上层的位置属性，例如，要确 定一个区域的位置，往往会以下面一种方式**流> **节目帧序列组> **帧或层> **区域，其中“>”表示区域的层次关系， 这种层次关系也在图4中有所表示。其中层包含有普通视频播放层和本发明中定义的服务层，服务层的大小通常和视 频播放层大小相同，但是服务层位于视频播放层之上。在位置集中同样可以精确定位到服 务层中的某个区域、区域轮廓或具体坐标位置。本发明的信息集、操作集和功能集都是抽象的集合概念，并不代表在实际的应用 中真的存在这样的功能名称或单位。只要属于本发明的方法逻辑，皆属于本发明保护的内容。本发明提供了一种在视频资源中使用信息集的方法，如图1所示，包括以下步骤步骤slOl，服务端在视频资源中通过以视频帧外加入方式或视频帧内加入方式管 理并作为信息集的载体来传送信息集，视频帧外加入方式包括信息集描述文件方式、服务 帧方式或消息通信的方式。其中，信息集中包括位置集、操作集和功能集。位置集进一步包 括视频帧内或图像内具体位置的坐标，如视频帧内某点或像素的横纵坐标值或球面的经 纬坐标值，或者视频帧内的宏块，或条带位置信息；或视频帧内或图像内指定区域或指定区 域轮廓、条带组位置信息，轮廓通常和视频资源内某些位置或对象相对应，采用编码的方法 区分视频帧内或图像内具体对象的轮廓或位置坐标、视频帧内或图像内划分的不同区域位 置或轮廓；视频资源在整个帧序列中的位置标识，如视频资源的起始码、结束码等，即某个 具体节目段在这个视频直播点播中对应的开始或结束帧的位置或序列编号等；或节目帧序 列组标识，用以标识一段内容相关联的帧的集合，如电视剧的一个剧集、一段录像等；或流 标识。另外，位置集还包括位置的属性信息，属性信息中包括优先级，优先级用于不同位 置的合并操作不同优先级的帧在同一个客户端中同时播放时，播放优先级最高的帧、或不 同优先级的区域在同一帧的显示时，显示优先级最高的区域。位置集中每个位置都对应一个对象视频帧内或图像内具体位置的坐标，或者帧
11内的宏块、条带的位置信息-对应一个点对象；或视频帧内或图像内指定区域或指定区域 轮廓、条带组位置_对应视频帧内的一个块对象，这个块是点或宏块或条带的集合；或视频 帧在整个帧序列中的位置标识_对应一个帧对象；或节目帧序列组标识_对应一个节目对 象；或流标识-对应一个流对象；位置对象都包含一种或多种对象的属性信息，属性信息包 括优先级信息、透明度信息、加密信息、版权信息、客户信息、所支持的操作集、信息的源和 /或目标信息、位置集加入时间和/或有效时间等。对象属性中优先级信息用于不同位置集的合并操作不同优先级的流在同一播放 器中同时播放时，播放优先级最高的流；不同优先级的节目帧序列组在同一播放器中同时 播放时，播放优先级最高的节目帧序列组；不同优先级的帧在同一个客户端中同时播放时， 播放优先级最高的帧；或不同优先级的区域在同一帧内显示时，显示优先级最高的区域； 即不同优先级的多个信息处于位置集中同一位置，并且其在同一个播放器中同时播放，只 播放优先级最高的信息。对象属性中透明度信息用于对位置集对应对象的透明度定义；对 象属性中加密信息用于对位置集对应对象的加密，包括加密方式、密钥信息；对象属性中版 权信息用于对位置集对应对象的版权说明和保护，包括版权的归属信息、版权的鉴权信息、 版权的使用信息；对象属性中客户信息用于对位置集对应对象的客户权限说明和使用客户 分类信息，客户权限说明包括(也可以放在版权信息的DRM中)下载权限、播放权限，使用 客户分类信息包括对内容本身的分类控制。功能集进一步包括取回具体指定位置内容的对象信息、跳转到具体指定位置、向 指定对象位置发送信息、打开或插入指定位置的对象、关闭现实指定位置的对象和移动指 定位置的对象。其中，指定位置包括网络中具体的URL、硬件设备中某一个设备地址、存储 设备中某一个存储位置、显示屏幕中具体位置、浏览器中具体位置、播放器播放窗口中具体 位置。为了实现位置集中的优先级功能，需要在功能集中设置优先级信息，对于区域划分在 不同的区域设置不同的优先级，然后在同一个图像中对多幅图像叠加显示，确定最终图像 各部分优先级。对于区域划分如图21的典型应用，可以在不同的区域设置不同的优先级， 优先级用P表示，假设0级为最高级，1级次高，优先级依次降低。可以在不同的图像中设置 优先级，然后在同一个图像中叠加显示。比如，图像1和图像2通过优先级叠加后显示为图 像3。图像1中A区域的优先级最高为0，要大于图像2中的E区域，所以在图像3中相同 位置显示出叠加后的结果为图像1中A区域值。同理，图像1中的B区域优先级要高于图 像2中的F区域，因此在图像3中叠加后的结果为图像1中B区域值。同理可以发现图像 2中的G和H区域的优先级要大于图像1中相同的位置C和D，因此最终合成了图像3的情 形。操作集又称激活信息集，进一步包括鼠标操作、键盘操作、播放时搜索信息集位 置并按预先设定程序操作和消息程序驱动操作等。所述位置集、操作集和功能集可以采用任何比例关系对应，包括一个位置集元 素多个操作集元素多个功能集元素；多个位置集元素多个操作集元素多个功能集元 素；一个位置集元素一个操作集元素多个功能集元素多个位置集元素多个操作集元 素一个功能集元素；一个位置集元素多个操作集元素一个功能集元素；多个位置集元 素一个操作集元素多个功能集元素；一个位置集元素一个操作集元素一个功能集元 素；多个位置集元素一个操作集元素一个功能集元素。
在视频帧内或图像某一个区域设置位置集中帧内区域获取的方法有三种一种是采用H. 264中FMO模式，通过设置宏块次序映射表(MBAmap)任意指配宏块 到不同的片组，把片组区域作为加入信息集的位置。FMO模式打乱了原宏块顺序，降低了编 码效率，增加了时延，但增强了抗误码性能。FMO模式划分图像的模式各种各样，重要的有棋 盘模式、矩形模式等。当然FMO模式也可以使一帧中的宏块顺序分割，使得分割后的片的大 小小于无线网络的MTU尺寸。因此可以把片组位置作为加入信息集的位置，即把片组的标 识和某一种具体的信息相对应。一种是采用MPEG4中的VOL的方法，即一个单独的前景对象流，把对象流在帧中对 应的显示区域位置作为加入信息集的位置。一种是采用图像识别算法、对象跟踪算法、前景对象从背景中提取的算法或通过 人工在相隔的数帧分别标明对象区域再通过插值的方法，在帧内划分出不同的区域，上述 区域作为加入信息集的位置。加入的信息要起作用，首先必须能够在视频资源内能够被定位，即位置存在并可 以定位，而后才能够提取操作集和功能集。通常处理位置集信息的方法有两种情况，一种是 已经在现有的视频资源中，如帧的序列编号等帧信息可以唯一确定某一帧的位置，又如图 像的位置坐标(像素表示)，这样只需要定义操作集和功能集即可。另一种是现有的视频资 源中没有的，如视频资源内的具体对象的轮廓信息，再如把视频资源内划分的区域信息和 标识一个完整节目的信息。这些信息都需要在本发明中定义，并把这些位置信息和操作集 以及功能集对应起来。视频帧内服务区可以放在现有的视频帧内，现有视频帧分为帧头部，和视频帧数 据两部分，而视频帧服务区可以放在现有视频帧尾部，即视频帧内数据部分后面，或者夹在 现有的视频帧头部和视频数据两部分之间，如图25a和图25b所示。步骤S102，服务端将信息集发送到客户端。位置集通常定义在视频资源中，而操 作集和功能集通常有以下两种方法实现。第一种是把操作集和/或功能集的子集信息也通 过服务器端向客户端传送，而在客户端定义出操作集和/或功能集的全集，客户端通过预 定程序接收服务端的操作集或功能集的子集，然后更具用户的具体操作执行某项功能。在 传输的时候，可以把操作和功能的子集看作数据信息或控制信息来传递，现有的传输协议 中如RTP协议和RTCP协议往往将语音或视频和控制信息分离，亦或在TS结构中将Video、 Audio和data分开打包的方式传输，还可以通过一个单独的文件来传输操作子集和/或功 能子集的内容。第二种服务端只传位置集，操作集和功能集只定义在客户端或服务器端。通 过程序远程调用(callback)或消息等方法完成操作集和功能集调用，完成预定功能。如图 23a和图23b所示，既可以分别用不同端口传输视音频和服务数据，也可以把视音频和服务 数据统一封装在一个结构中，通过同一端口传输。如果客户端再接收到视频内容和信息集 后，同样再对视频内容加以编辑，加入新的信息集，并把视频内容发给服务端或扩展服务端 时，在这种新的交互过程中，其实客户端已经在扮演服务端的角色了。因此实质上还是C/ S(客户端/服务端)的模式，本质上没有改变。实际上客户端只要能够获得信息集，就可以完成本发明实施例的功能。至于从那 里获取并不是唯一的，可以从信息集服务端获取，如图22，这时的信息集服务端和媒体服务 端统称为服务端，也可以在客户端人工设置信息集内容，来完成指定功能。信息集通常是和媒体服务端放在一起，但也可以将信息集放在和媒体服务端不同的服务器上。步骤S103，客户端根据信息集中的位置集信息确定激活位置，并利用该位置集对 应的操作集进行操作、激活位置集和/或操作集所对应功能集，执行对应功能，其中操作集 和/或功能集可以在客户端定义和/或在服务端定义。其中，位置集对应的操作集和功能集 在客户端预先设置，或者由服务端发送到客户端，而该位置集必须由服务端发送到客户端。 操作集和功能集可以不包含在服务端发送到客户端的信息集中，而是预先在客户端或扩展 服务端中定义。客户端可以定义信息集的全集，包括所有的位置集、操作集和功能集，从而可以判 断从服务端发送到客户端的信息是否包含在信息集的全集中；服务端可以定义信息的全 集，包括所有的位置集、操作集和功能集，从而可以对原始的视频进行处理加入信息集。下面结合具体实施例进行详细说明，如图2所示，位置集、操作集和功能集三位一 体，协同工作。位置集保证在视频资源中某一个位置能够被唯一确定，并且可以保证这一个 位置可以被一个或多个固定的操作或自动的操作激活一项或多项新的服务功能。位置集信 息可以通过加入到编码中或者以一个单独的文件的方式获取，或者和收看用户建立专门的 连接通道通过消息的方式来获取，其中位置集包含在视频资源中，如码流中、视频帧中等。 位置集并不一定可以和看到的视频图像中某一个位置相对应，而是一个抽象的感念。位置 集和操作集相对应，而某一个位置的一种操作又和一种或多种功能集相对应。而每一种功 能往往会对一个位置进行操作或者把功能实现结果返回到某个位置，以上两种位置不在位 置集中定义，原因是由于功能的变化多种多样，很难确定的定义出某一个位置作为功能的 操作或者返回的位置，几乎所有的位置皆可以作为功能的操作或返回的位置。位置集、操作 集和功能都可以设置一个全集的概念，但是由于功能集所描述的功能范围过于开放，也可 以不设置全集。操作集信息可以通过用户接收的方式获取或者在用户端程序中规定出这些 操作集。操作集中每一项操作又对应一项或多项功能集，功能集信息可以通过用户接收并 且在用户端程序中规定出这些功能集，而且在功能集对应的服务端也要规定出所有的功能 集并实现这些功能。有时候客户端同时也作为服务器端实现部分功能，例如，跳转功能的实 现，用户可以通过点击视频资源中某一具体位置跳转到某一个具体的URL中去，这一个跳 转功能作为功能集的子集在服务端可以自动完成。某一个视频数据或图像中设置的信息集信息，对应一种或几种信息集中的信息类 型，对应某一种或几种操作集中的操作，就可以完成功能集中某一种或几种特定的功能。如 图3所示，客户端首先判断信息集中的位置集信息是否在位置集的全集中，如果不在，则无 操作或操作无效，如果在，则获取当前操作集，然后判断在这个位置集中是否存在相应的在 操作集中的操作，所述操作集应该在操作集全集中；如果有，则执行位置集和操作集对应的 功能集的程序指令，如果没有，则不执行功能集的程序指令。在图3中增加服务帧的概念，服务帧的作用是承载服务信息，并尽可能少改变现 有帧结构。为了传输的方便，现有的网络上的多数视频均是经过压缩后的视频信息。为了 加入特定服务的方便，对应现有的视频帧，如I帧、B帧、P帧，加入服务帧的概念，每一个服 务帧对应连续或离散的一个或多个帧；如图24所示，服务帧X对应ABCD四帧。服务帧包括以下内容服务帧的所对应的视频帧(这里的视频帧指通过压缩的传 输视频编码的帧)；对应视频帧的消息集，包含位置集、功能集和操作集。服务帧可以放在如图23b所示的视频流中传输，或者放在服务流中传输，如图23a所示。而服务帧所对应离 散或连续的一个或多个视频帧。一个服务帧如果对应一个服务帧时，服务帧将承载所提供 服务的视频帧所有的服务信息，这些信息包含在消息集中。本发明的一个重点是把现有的视频流这种非标准的数据结构改成标准的数据结 构，其目标是，能够容易定位这个视频流中的任何一个位置，如图4所示，为现有的流标记 出，流的编号、节目帧序列组位置和编号、帧位置和编号、对象区域或区域轮廓位置和编号、 以及条带/宏块/帧内具体坐标的位置等精确的位置信息，并把这些信息构成一个完整的 位置集。对于帧的位置，现有的MPEG-2系统规范定义了三种数据包(PES、PS和TS)及两 种数据流(PS和TS)。将具有共同时间基准的打包基本流(PES-Packetized Elementary Stream)复用而成的单一的数据流称为节目流(PS-Program Stream)。视频基本码流 (ES-Elementary Stream)是指只包含1个信源编码器的数据流。每个ES都由若干个视频 (包括I、P、或B帧)或者音频存储单元(AU-Access Unit)组成。每个AU包含头部和编码 数据两个部分。ES分组为PES之后，每个PES包是由包头、ES特有信息和包数据3个部分 组成。PES包头由起始码前缀、数据流识别及PES包长信息3部分构成。包起始码前缀是用 23个连续“0”和1个“1”构成的；表示有用信息种类的数据流识别，是1个Sbit的整数。 由二者合成1个专用的包起始码，可用于识别数据包所属数据流(视频、音频、或其它)的 性质及序号。包头和ES特有信息二者可合成1个数据头，包括时间信息预定显示时间PTS 和解码时间DTS。PES流的包是可以任意长度的，甚至可以是整个序列的长度。PES进一步 可以打成PS包或者TS包，形成节目流或传输流。这一特点决定了节目流PS和传输流TS 之间是可以相互转换的。PS包由包头、系统头、PES包3部分构成。其中PS包头由PS包起 始码、系统时钟基准(SCR-System ClockReference)的基本部分、SCR扩展部分和PS复用码 率4部分组成。因此可以在TS的计算器结构中找到每一个帧的序列号。或者找到GOP (图 像组)的位置，然后通过帧在图像组中的序列号找到具体帧的位置。同样可以自行定义专门的视频帧在整个视频序列中的序列号，并把这个编号放在 视频流中传送到客户端加以识别。视频帧序列编号应该大于或等于3个字节，如果按每秒 30帧计算，一天内的视频节目总帧数3个字节就可以完整表示。这个帧序列号通常放在传 输单元的头部。以上方法为把帧内置标识放在现有的TS中，同样也可以放在RTP结构中。 还可以放在本发明定义的服务帧中。对于流的编号可以放在现有的TS或RTP等传输结构中，如TS包头里面或扩展位 等等，也可以放在本发明定义的服务帧中。对于节目帧组列组编号和位置定义同样可以放在现有的TS或RTP传输结构中，如 TS包头里面或扩展位等，也可以放在本发明定义的服务帧中。但是需要注意的是节目帧序 列组和现有技术中的G0P(图像组)不同，图像组概念没有节目概念，图像组内不并没有包 含图像之间关联的逻辑含义，只是把图像序列单纯的分割为不同的图像组单元。而本发明 中的节目帧序列组是逻辑上关联的一组视频帧，往往是一个单独的节目或逻辑上关联的视 频片段。对于视频帧或图像内的区域或条带组或区域轮廓的编号或序号可以放在TS或 RTP传输结构中，如包头位置，但是区域的内容或属性则建议放在本发明定义的服务帧中。当然也可以把所有的视频帧或图像内区域信息均放在服务帧中。对于视频内坐标、条带 (slice)和宏块也是采用上述处理方法。但是需要注意的是，条带，条带组，宏块的位置在现 有技术中已经有明确规定，而其它位置则属于本发明的创造发明特有。以上所述，凡是在RTP或TS中利用包头或帧内空间承载的方式均属于本发明提到 的帧内服务的方式，而利用服务帧或文件的方式均属于帧外服务模式。视频流中节目帧序列组，节目帧序列组分为具体帧，具体帧中包括条带组、条带、 宏块和具体的点坐标，位置集标识的范围实际上是一个对象概念，如节目帧序列组对应于 一个有逻辑联系的视频节目或视频片段对象，该对象包含在节目帧序列组的起始码和结束 码和结束码之间，同时包含一个该节目帧序列组的编号，以及属性位置，该属性位置又对应 该段节目的一些属性。同样，视频帧对应一个图像对象，相当于一个平面，每一个视频帧也 有帧的起始码和结束码，也有其自身的属性；帧中的条带组、区域和区域轮廓相当于是一个 图像中的区域对象，也有自身的编号或/和属性等信息，自身的范围就在这个区域内或条 带组范围内，条带(slice)、宏块，以及集体的帧内的坐标对应一个点的对象，自身的范围在 条带内、宏块内或某个具体的坐标内；如图4所示。其中，视频流编号、节目帧序列组、区域 以及区域轮廓为本发明引入的新位置，其结构如图5所示，把一系列帧分为一个帧组，帧组 通常具有内部的关联性，如一个电视连续剧中的某一剧集，并定义出一个节目起始码和结 束码来标注这一段节目，图5只是一种抽象的实现方法，即标明了起始码和结束码、节目编 号、节目属性等。这部分可以用现有的TS或RTP方式来承载，即放在现有结构包头中，即是 本发明中提到的帧内方式。如图4中所示，如果采用服务帧的方式，可以控制的位置包括视频流位置、节目帧 序列组位置、视频帧位置、对象区域、区域轮廓、条带、空块、坐标位置。而帧内服务区则可以 控制除视频流以外的其它位置集信息。需要重点说明的是，图4中服务帧的概念是一个抽 象的概念，其目的是为了控制连续或离散的一帧或多帧而设置的，之所以叫服务帧是为了 和其它的视频帧区别开。至于这样的服务帧采用什么样的帧结构、帧长度、采用的承载协议 均不在本发明讨论范围。本发明只规定该帧内包含的信息集的内容。服务帧的大小也不固 定，可以相同也可以不相同。帧内服务区概念是和现有的传输打包方式，以及帧格式对应的 一个服务概念，通过在TS流或RTP等视频帧打包传输过程中或在现有帧格式中加入的方式 均属于帧内服务区模式。在图4中的服务文件方式是指用文件的方式来标明这些位置信 息，当然文件中可能还会包括其它信息集内容。服务文件方式主要是必需要生成一个这样 的文件，然后把信息集存储在这个文件中。而消息模式主要是用在服务端和客户端需要实 时进行消息交换的方式，这种方式中把信息集，包括位置集、操作集、功能集转换成一条条 消息在服务端和客户端之间传送。本发明中通过在视频资源中加入信息集可以实现对媒体流的控制管理，一般包括 帧外管理和帧内管理。其中，帧外管理包括服务文件模式和直接传输模式，服务文件模式 使用位置级、操作集和功能集；直接传输模式，使用控制数据(例如服务帧，控制流，控制数 据)。帧内管理即在现有的帧结构中增加位置集内容，操作集和/或功能集也可包含其中。 例如在现有的编码结构中都预留有视频扩展起始码或者保留码等，这些预留码可以作为信 息集的起始码或结束码，来增加的信息集的内容。例如，在AVS编码中，起始码是一组特定的比特串。在符合GB/T 20090. 2的比特流中，除起始码外的任何情况下都不应出现这些比特串。起始码由起始码前缀和起始码值 构成。起始码前缀是比特串‘0000 0000 0000 0000 00000001’，所有的起始码都应字节对 齐，起始码值是一个8比特整数，用来表示起始码的类型，见表1。表1起始码值
权利要求
一种在视频资源中加入服务帧的方法，其特征在于，包括以下步骤服务端在视频资源中新建服务帧；在所述服务帧中加入信息集内容；所述服务端使用所述服务帧承载信息集，发送到客户端；其中，每一个服务帧对应连续或离散的一个或多个视频帧。
2.如权利要求1所述在视频资源中加入服务帧的方法，其特征在于，所述服务帧具有 基本的帧结构，所述帧结构中封装信息集；所述服务帧承载的信息集包括位置集和所述位置集对应的操作集，以及位置集和/ 或操作集所对应的功能集；所述位置集中每个位置都对一个对象，所述位置对象都包含一种或多种对象属性，所 述位置集对象属性中还包括优先级信息、透明度信息、加密信息、版权信息、客户信息、所 支持的操作集、信息的源和/或目标信息、位置集的加入时间和/或有效时间、从位置集引 入新对象的属性。
3.如权利要求1所述在视频流中加入服务帧的方法，其特征在于，所述服务帧在创建 视频帧文件的同时创建或先生成视频帧文件后再创建服务帧；所述服务帧和视频帧在一条传输通道里面传输或分别在不同传输通道中传输； 所述服务帧和视频帧用同一语法结构解析或者用不同的语法结构解析； 所述服务帧和视频帧保存在同一文件内或分别保存在不同的文件中； 所述服务帧采用压缩的方法或不压缩的方法传输。
4.一种在视频资源中加入帧序列组的方法，其特征在于，包括以下步骤在服务端选择具有逻辑关系的多个相邻或不相邻的帧，并把这些帧作为一个有序的集 合，即帧序列组；把帧序列组开始和/或结束的位置作为位置集中的一个元素； 并把帧序列组这个位置对象的属性加入到对应的位置集中的属性中。
5.如权利要求4所述在视频资源中加入帧序列组的方法，其特征在于，所述帧序列组 和逻辑上连续的视频片段相对应，并且帧序列组位置对象的属性包括优先级信息、加密信息、版权信息、客户信息、所支持的操作集、信息的源和/或目标信 息、位置集加入时间和/或有效时间；所述对象属性中加密信息用于对位置集对应对象的加密，包括加密方式、密钥信息； 所述对象属性中版权信息用于对位置集对应对象的版权说明和保护，包括版权的归属 信息、版权的鉴权信息、版权的使用信息；所述对象属性中客户信息用于对位置集对应对象的客户权限说明和使用客户分类信 息，所述客户权限说明包括下载权限、播放权限，所述使用客户分类信息包括对内容的 分类控制。
全文摘要
本发明公开了一种在视频资源中使用信息集的方法在客户端、服务端以及扩展服务端通过引入信息集的方法，来实现视频传输内容的扩展，为基于各种应用的视频服务提供良好的平台，所述信息集包括位置集、操作集和功能集。所述位置集更精确的划分可能产生新业务或新应用的位置，并把各种位置和具体对象关联起来，从而为各种位置对象设定了属性信息，各种属性信息的引入更丰富的视频应用。本发明引入了帧内服务和帧外服务的机制，更好的管理现有的位置集、操作集和功能集。本发明改变了现有视频技术只重视压缩和质量的缺点，而把重点放在视频的应用和控制，为未来可能的视频应用技术提供了良好的技术平台和应用模式参考方案。
文档编号H04L29/06GK101945263SQ201010220038
公开日2011年1月12日 申请日期2007年5月8日 优先权日2007年5月8日
发明者孟智平 申请人:孟智平