视频数据流生成、处理方法及其设备的制作方法

专利名称：视频数据流生成、处理方法及其设备的制作方法
技术领域：
本发明涉及^L频编码和处理领域，特别涉及基于区域的一见频编码和处理 技术。
背景技术：
随着数字视频的拍摄及处理设备不断降价，数字视频技术已成为日常生 活的一部分。数字一见频不但可以供人娱乐，在生产和安全领域也有重要的应 用。例如在生活小区、办公楼、商场和马路上常有视频监控系统，这些视频 监控系统是不知疲倦的观察员，可以取代安保人员执行24小时的监控。视频 监控过程中会产生大量的视频数据，这些视频数据通常以压缩方式进行编码 和保存。压缩时可以采用不同的压缩率，如果压缩率高，则压缩后的视频数 据占用较少的存贮空间，但视频图像的质量较差；如果压缩率低，则压缩后 的视频数据占用较多的存贮空间，但视频图像的质量较好。
为了在所占用的存贮空间和视频图像质量之间达到较好的平衡，技术人 员提出了基于区域的视频编码和处理方式，简单地说是将视频图像的一部分 区域设定成感兴趣区域(Region Of Interest,简称"ROI"),对ROI进行压 缩率较低的高质量编码，而对其它区域进行压缩率较高的低质量编码。
义，比如在视频监控中，有人或者车辆活动的图象部分是关键区域，而其它 图象部分都是背景区域，关键区域的内容是监控人员感兴趣的，而背景区域 往往可以被忽略。此时可以将有人或者车辆活动的图象部分设置成ROI，对 这部分区域采用高质量的编码方式，保留更多的细节。ROI可以由用户手工设定，也可以根据图像内容自动生成，例如识别出 人脸后自动将该区域定义成ROI。
为了使系统能根据ROI进行针对性地处理，其基础是能对ROI进行有效 地标记。对感兴趣区域的标记就是规定一系列ROI属性，对于每个属性定义 相应参数。这些ROI属性参数将包含在视频码流中，与视频数据一起传输或 者存储。这些参数的存在，使得监控的效果更加凸现，它为视频编解码上层 提供了接口，使监控系统有着更丰富的功能。
目前业界的规范中，对于ROI的标记是"硬性"方法，也就是说对一个 ROI有哪一些属性，每个属性有多少参数，每个参数有多少比特都是固定的。 这样做的好处是可以用固定的数据结构读取ROI属性，处理起来比较简单。
这种"硬性"的ROI标记方法的主要问题是缺乏扩展性。在一些应用场 合，可能需要ROI具有更多的属性及参数，但是目前的规范不能支持；在另 一些场合，可能并不需要定义这么多参数，造成不必的比特浪费。

发明内容
本发明的目的在于提供一种视频数据流生成、处理方法及其设备，以解 决目前ROI标记方式可扩展性差的问题。
为解决上述技术问题，本发明的实施方式提供了 一种视频数据流生成方 法，包括以下步骤
生成与一个单元的视频数据相关的感兴趣区域属性信息；
计算感兴趣区域属性信息的总长度；
将总长度、感兴趣区域属性信息和视频数据写入数据流分段单元。 本发明的实施方式还提供了 一种视频数据流处理方法，包括以下步骤 从数据流分段单元中读取感兴趣区域属性信息的总长度；根据总长度从数据流分段单元中读取感兴趣区域属性信息。
本发明的实施方式还提供了 一种视频数据流生成设备，包括
属性生成单元，用于生成与一个单元的视频数据相关的感兴趣区域属性 信息；
计算单元，用于计算属性生成单元所生成的感兴趣区域属性信息的总长
度；
写入单元，用于将计算单元得到的总长度、属性生成单元所生成的感兴 趣区域属性信息和视频数据写入数据流分段单元。
本发明的实施方式还提供了一种视频数据流处理设备，包括 长度读取单元，用于从数据流分段单元中读取感兴趣区域属性信息的总
长度；
属性读取单元，用于根据总长度从数据流分段单元中读取感兴趣区域属 性信息。
本发明的实施方式还提供了一种属性可扩展的感兴趣区域标记方法，对 于存在感兴趣区域标记的数据流分段单元，该数据流分段单元中存在语法元 素以表示在该数据流分段单元中用于记录感兴趣区域所有属性的参数和必要 的附加语法元素的总长度。
本发明实施方式与现有技术相比，主要区别及其效果在于
通过将ROI属性信息的总长度加入到数据流分段单元，使得ROI的标记 随着应用场合不同，可以有不同的具体定义方法，具有很大的灵活性。
进一步地，本发明对一个数据流分段单元中的视频数据进行图象识别， 将识别结果作为该数据流分段单元的ROI属性的组成部分，在对视频数据进 行检索时可以直接对ROI属性进行识别，不再需要对每一个数据流分段单元 中的视频数据分别进行图象识别，大大提高了视频检索的效率。识别结果以是车辆型号、人数等信息，也可以是一个事件，例如发生了撞车事件。
进一步地，ROI属性信息中还可以包括必要的附加语法元素以使扩展后 的ROI属性信息在语法上与现有技术兼容，例如填充比特可以使ROI属性信 息实现字节对齐、标记比特可以防止ROI属性信息中出现伪起始码。


图1是本发明第一实施方式中的视频数据流生成流程示意图； 图2是本发明第三实施方式中的视频数据流处理流程示意图； 图3是本发明第四实施方式中的视频数据流处理流程示意图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发 明的实施方式作进一步地详细描述。
本发明的第一实施方式涉及一种视频数据流生成方法，其流程如图l所
在步骤110中，生成与一个单元的视频数据相关的ROI属性信息。
本发明实施方式中所称的ROI属性信息包括ROI属性的参数和必要的附 加语法元素。必要的附加语法元素包括填充比特、标记比特等。其中填充比 特的用处是保证ROI属性信息是字节对齐的，以方便应用层对ROI属性信息 进行处理，而标记比特的作用是防止伪起始码出现。这些必要的附加语法元 素目的在于使得记录感兴趣区域所有属性的参数的数据流满足相应规范的要 求或者应用要求。在记录感兴趣区域所有属性的参数的数据流已经达到要求 的情况下，并不需要必要的附加语法元素。例如，如果ROI属性信息已经是 字节对齐的，就不需要填充比特了 ，如果ROI属性信息中没有出现伪起始码，则不需要标记比特了。
ROI属性信息中可以包含一个或多个ROI，每个ROI中又可以包含一个 或多个参数。
本发明的实施方式中， 一个单元的视频数据是指将会封装在一个数据流 分段单元中的视频单元，数据流分段单元是一个逻辑单元，在不同的场合可 以有不同的定义，例如可以是一个帧或一个场或一个层等等。帧、场、层都 是现有技术中的术语，其概念可以参考相关的公开文献，本发明实施方式中 不详细解释了。
ROI属性信息包括ROI的固有属性和ROI的定制属性。在视频编解码中， ROI是视频图像中的一部分，只不过相对于图像其它部分而言，ROI中的内 容有着更重要的意义，ROI是用户感兴趣的区域，用户需要对ROI赋予不同 的属性。这样，标记ROI的属性便分成两个方面第一，ROI的固有属性； 第二， ROI的定制属性，即用户定制的ROI属性。ROI的固有属性是ROI 存在状态描述的属性，包括图像中ROI的数目、ROI的形状、ROI的大小、 ROI的位置、ROI的基本单位(例如基本单位为宏块或者象素)等等；ROI 的定制属性就难成一家之言，不同的应用环境可能需要定制不同的属性，比 如说，交通监控需要知道监控区域发生的事件、车辆型号、车辆颜色等；拒 台监控需要知道监控区域是否有人、人的数目、人的性别等等。
本发明的实施方式中，对数据流分段单元中的ROI属性信息可以是即有 固有属性又有定制属性，也可以是只有定制属性，还可以是只有固有属性。
此后进入步骤120,计算ROI属性信息的总长度。总长度通常是以字节 (Byte)计算的，不过在特定应用场合也可以以比特(Bit)或字(Word)等
单位进行计算。
此后进入步骤130，将总长度、ROI属性信息和视频数据写入数据流分 段单元。一种典型的做法先写一个表示ROI开始的起始码，然后先后写入总长度 和ROI属性信息。这样做的好处是总长度和ROI属性信息在数据流分段单元 中是连续存放的，读取的时候比较方便。
当然总长度和ROI属性信息也可以不连续存放，例如总长度可以写在一 个帧的帧头里，而ROI属性信息可以写在帧的最后。
只要能将总长度、ROI属性信息和视频数据都写入数据流分段单元就可 以了，这三者的相对顺序并不是太重要。
除了总长度、ROI属性信息和视频数据之外，数据流分段单元中也可以 写入其它的内容，这些内容根据不同的协议、不同的应用场景会有不同。
通过将ROI属性信息的总长度加入到数据流分段单元，使得ROI的标记 随着应用场合不同，可以有不同的具体定义方法，具有很大的灵活性。
本发明的第二实施方式在第一实施方式的基础上进行了改进。主要的改 进是在步骤110，即在生成ROI属性信息的步骤中，增加了对图象的识别操 作。下面以数据流分段单元是一个帧为例进行说明。
具体地说，在生成ROI属性信息时，可以先对一个帧的视频数据进行图 象识别，将识别结果和通过其它方式得到的ROI属性信息合在一起作为需要 写入到帧中ROI属性信息。通过其它方式得到的ROI属性信息可以是ROI 的固有属性、用户手工定义的ROI定制属性等等。在一些特定的应用场合， ROI属性信息中也可以只有识别结果而没有其它方式得到的ROI属性信息。
以交通监控为例，从监控摄像头获取一个帧的原始视频数据，对帧中的 视频数据进行图像识别，判断是否有撞车事件发生，如果有则在该帧的ROI 属性信息中加入表示有撞车事件发生的事件标识。这样以后只要查找ROI属 性信息就可以快速找到有撞车事件发生的相关视频画面，不再需要在查找时 对视频流进行逐帧的分析。以拒台监控为例，从监控摄像头获取一个帧的原始视频数据，对帧中的 视频数据进行图像识别，识别出监控区域是否有人，如果有人的话，则一方
面将代表监控区域有人的标识写入该帧的ROI属性信息，另一方面将人脸区 域作为一个ROI,进行相对高质量的视频编码。在将来检索时，系统可以快 速跳过没有人的视频段，在看到有人进入监控区域的画面时，可以较为容易 地对人进4亍识别。
本发明的第三实施方式涉及一种视频数据流处理方法，其流程图如图2 所示。
在步骤210中，从数据流中获取一个数据流分段单元，放到緩存中。数 据流分段单元可以一是个帧、 一个场或一个层等等。
此后进入步骤220,从数据流分段单元中读取ROI属性信息的总长度。
此后进入步骤230，根据总长度从数据流分段单元中读取ROI属性信息。
在一个典型的例子中，总长度和ROI属性信息是在数据流分段单元中依 次存贮的，并以一个特定的起始码指示总长度和ROI属性信息的开始。在步 骤220中，如果读到那个特定的起始码，就可以接着读取总长度L (总长度 作为一个字段，其本身的字节数是固定的)，再接着读取总长度之后的L个 字节，就是该数据流分段单元的ROI属性信息了 。
此后进入步骤240，对所读取的ROI属性信息进行语法处理。
通常的语法处理包括去除防止伪起始码出现的标记比特，以预先定义好 的数据结构将ROI属性信息中各个ROI及其参数解析出来，丢弃填充比特等 等。
本发明的第四实施方式也涉及一种视频数据流处理方法，具体地说是一 种视频检索的方法，其中应用到了第三实施方式中的技术方案。第四实施方 式的基本流程如图3所示。步骤310-340分别与第三实施方式中的步骤210-240相同，这里不再赘述。
在步骤340之后进入步骤350，判断读取到的ROI属性信息是否符合查 找条件。查找条件是用户自定义的，例如找出是否发生了撞车事件、是否有 人进入监控区、是否有2人以上同时出现在监控区等等。
如果ROI属性信息符合查找条件，则进入步骤360,否则进入步骤370。
在步骤360中，因为当前数据流分段单元的ROI属性信息符合查找条件， 所以将该数据流分段单元的标识加入到查找结果集，此后进入步骤370。
在步骤370中，判断是否满足结束查找的条件，如果是则结束本流程， 否则回到步骤310对下一个数据流分段单元进行处理。查找条件也是用户自 定义的，可以是在找到第一符合查找条件后结束、在完成对数据流中所有数 据流分段单元的查找后结束等等。
本发明的第五实施方式涉及一种视频数据流生成设备，包括
属性生成单元，用于生成与一个单元的^L频tU居相关的ROI属性信息；
计算单元，用于计算属性生成单元所生成的ROI属性信息的总长度；
写入单元，用于将计算单元得到的总长度、属性生成单元所生成的ROI 属性信息和视频数据写入数据流分段单元。
本实施方式所涉及的设备可以用于完成第一实施方式中提到的方法流 程。因此在第一实施方式中提到的所有技术细节在本实施方式中依然有效， 为了减少重复，这里不再赘述。
本发明的第六实施方式也涉及一种视频数据流生成设备，第六实施方式 在第五实施方式的基础上进行了改进了，增加了图象识别单元，用于对一个 单元的视频数据进行图象识别；
属性生成单元还用于将图象识别单元的识别结果作为ROI属性信息的一部分，生成ROI属性信息。
本实施方式所涉及的设备可以用于完成第二实施方式中提到的方法流 程。因此在第二实施方式中提到的所有技术细节在本实施方式中依然有效， 为了减少重复，这里不再赘述。
本发明的第七实施方式涉及一种视频数据处理设备，包括
长度读取单元，用于从数据流分段单元中读取ROI属性信息的总长度；
属性读取单元，用于根据总长度从数据流分段单元中读取ROI属性信息。
本实施方式所涉及的设备可以用于完成第三实施方式中提到的方法流 程。因此在第三实施方式中提到的所有技术细节在本实施方式中依然有效， 为了减少重复，这里不再赘述。
本发明的第八实施方式涉及一种视频数据流处理设备，在第七袁施方式 的基础上增加了视频查找的功能，具体地说是增加了查找单元，用于判断属 性读取单元所读取的ROI属性信息是否符合查找条件，如果符合，则将该 ROI属性信息对应的数据流分段单元加入查找结果集。
本实施方式所涉及的设备可以用于完成第四实施方式中提到的方法流 程。因此在第四实施方式中提到的所有技术细节在本实施方式中依然有效， 为了减少重复，这里不再赘述。
需要说明的是，本发明设备实施方式(第五至第八实施方式)中提到的 各单元都是逻辑单元，在物理上， 一个逻辑单元可以是一个物理单元，也可 以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑 单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组 合是才解决本发明所提出的技术问题的关键。例如，第五实施方式中的写入 单元除了可以写入总长度、ROI属性信息和;阮频数据之外还可以写入其它的 信息；又如，第六实施方式中的图象识别单元与计算单元在物理上可以用同一个数字信号处理器(Digital Signal Processor,简称"DSP")实现，等等。
此外，为了突出本发明的创新部分，本发明上述设备实施方式(第五至 第八实施方式)并没有将与解决本发明所提出的技术问题关系不太密切的单
施方式的视频数据处理设备还可以有緩存单元用于对处理中的数据进行緩存 等等；第八实施方式的视频数据处理设备还可以有显示屏用于向用户显示查 找结果等等。
本发明的第九实施方式涉及一种属性可扩展的ROI标记方法，对于存在 ROI标记的数据流分段单元，该数据流分段单元中存在语法元素以表示在该 数据流分段单元中用于记录ROI所有属性的参数和必要的附加语法元素的总 长度。
在视频监控系统中，ROI区域能够让监控效果更加凸现，但ROI跟视频 编解码之间的关系并不那么直接。比如在AVS当前编解码框架，就编码器来 说，ROI的作用在于告诉编码器该图像帧有多少ROI,每个ROI在什么位置， 每个ROI中包含什么事件，每个ROI重要性如何等等信息；编码器根据这些 信息的提示，选择合适的编码策略进行编码，比如对ROI区域选择小QP量 化(小QP量化就是高质量的量化，在不同的协议中会有不同的表达方式， 例如可以称为小量化步长)。就解码器来说，ROI只是码流中一串语法元素， 解码器不需要知道有几个ROI,什么地方有ROI， ROI事件是什么，也不需 要知道ROI的其它属性，它只需要根据编码器"传输"的策略进行对应的解 码就4亍。
将ROI标记放在视频层中，并频繁存在视频码流中，其原因在于它的存 在能够为上层提供更丰富的应用。在只有视频流的情况下(比如监控录像存 储的序列)，应用程序可以根据ROI语法元素对监控码流进行检索、事件判 断、重要性判断等等有效处理，甚至是一些后续处理(比如对ROI区域进行增强之类)。
ROI的标记，也就是ROI属性参数的规定是ROI应用的基础。不同的应 用环境对ROI的表示的要求不一样，有些只需要简略的ROI标记，比如ROI 个数和位置；有些需要比较详细的ROI标记，比如要知道ROI中发生的事情 等。这样需要对ROI的标记采用一种可扩展的方法。
在视频中，ROI —般是与图象帧相关联的，如果该图像帧存在ROI区域， 需要在该图象帧的数据流中存在ROI标记，包含ROI个数，位置，大小等等 属性参数。ROI的标记可以放在图像头picture header中，也可以放在扩展数 据extension data中，也可以放在帧级单位的其它地方。以放在扩展数据中为 例，可以如下定义ROI的标记
roijparameters—extension() {
extension_id
roi_para_len
〃roi属性参数列表
〃可能存在的marker—bit
stuffing—bits
next_start—code()
其中extensio—id是扩展数据的标号，不属于ROI属性参数部分； roi_para—len就是表示该帧ROI所有属性参数长度的语法元素；随后会记录 ROI属性参数，属性包括ROI个数、位置、大小等固有属性，也包括定制属 性，比如ROI事件类型等；并在可能出现伪起始码的地方插入marker—bit(标 记比特)；stuffing—bits是填充比特，目的是4呆i正roi_parameters—extension凄史 据是字节对齐的。marker—bit和stuffing_bits就是必要的附加语法元素，marker—bit防止伪起始码出现，stuffing—bits可以方便应用层对ROI属性参数 进行处理。在这种情况下，roi_para—len的值是指roi属性参数表示数据、 marker_bit以及stuffing—bits的总长度。
本发明的方法实施方式可以以软件、硬件、固件等等方式实现。不管本 发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型 的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易
失性的，固态的或者非固态的，固定的或者可是换的介质等等)。同样，存 储器可以例如是可编程阵列逻辑(Programmable Array Logic,简称"PAL")、 随机存取存储器(Random Access Memory,简称"RAM")、可编程只读 存储器(Programmable Read Only Memory,简称"PROM")、只读存储器 (Read-Only Memory,简称"ROM")、电可擦除可编程只读存储器 (Electrically Erasable Programmable ROM，简称"EEPROM")、磁盘、 光盘、数字通用光盘(Digital Versatile Disc,简称"DVD")等等。
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和 描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各 种改变，而不偏离本发明的精神和范围。
权利要求
1. 一种视频数据流生成方法，其特征在于，包括以下步骤生成与一个单元的视频数据相关的感兴趣区域属性信息；计算所述感兴趣区域属性信息的总长度；将所述总长度、所述感兴趣区域属性信息和所述视频数据写入数据流分段单元。
2. 根据权利要求1所述的视频数据流生成方法，其特征在于，在生成 与 一个单元的视频数据相关的感兴趣区域属性信息的步骤中还包括以下子 步骤对所述一个单元的视频数据进行图象识别，将识别结果作为所述感兴趣 区域属性信息的组成部分，供检索使用。
3，根据权利要求2所述的视频数据流生成方法，其特征在于，所述感 兴趣区域属性信息包括感兴趣区域属性的参数和必要的附加语法元素；所述数据流分段单元可以是一个帧或一个场或一个层。
4. 根据权利要求3所述的视频数据流生成方法，其特征在于，所述必 要的附加语法元素包括填充比特和/或用于防止伪起始码的标记比特。
5. 根据权利要求2所述的视频数据流生成方法，其特征在于，所述感 兴趣区域属性信息包括用户定制的感兴趣区域属性及其参数。
6. —种视频数据流处理方法，其特征在于，包括以下步骤 从数据流分段单元中读取感兴趣区域属性信息的总长度；根据所述总长度从所述数据流分段单元中读取感兴趣区域属性信息。
7. 根据权利要求6所述的视频数据流处理方法，其特征在于，在所述读取感兴趣区域属性信息的步骤之后还包括以下步骤如果所述感兴趣区域属性信息符合查找条件，则将该感兴趣区域属性信 息对应的数据流分段单元加入查找结果集。
8. —种视频数据流生成设备，其特征在于，包括属性生成单元，用于生成与一个单元的视频数据相关的感兴趣区域属性 4吕息;计算单元，用于计算所述属性生成单元所生成的感兴趣区域属性信息的总长度；写入单元，用于将所述计算单元得到的总长度、所述属性生成单元所生 成的感兴趣区域属性信息和所述视频数据写入数据流分段单元。
9. 根据权利要求8所述的视频数据流生成设备，其特征在于，还包括 图象识别单元，用于对所述一个单元的视频数据进行图象识别；所述属性生成单元还用于将所述图象识别单元的识别结果作为感兴趣 区域属性信息的 一部分，生成所述感兴趣区域属性信息。
10. —种视频数据流处理设备，其特征在于，包括长度读取单元，用于从数据流分段单元中读取感兴趣区域属性信息的总 长度；属性读取单元，用于根据所述总长度从所述数据流分段单元中读取感兴 趣区域属性信息。
11. 根据权利要求10所述的视频数据流处理设备，其特征在于，还包括查找单元，用于判断所述属性读取单元所读取的感兴趣区域属性信息是 否符合查找条件，如果符合，则将该感兴趣区域属性信息对应的数据流分段 单元加入查找结果集。
12. —种属性可扩展的感兴趣区域标记方法，其特征在于，对于存在感 兴趣区域标记的数据流分段单元，该数据流分段单元中存在语法元素以表示 在该数据流分段单元中用于记录感兴趣区域所有属性的参数和必要的附加 语法元素的总长度。
全文摘要
本发明涉及视频编码和处理领域，公开了一种视频数据流生成、处理方法及其设备，以解决目前ROI标记方式可扩展性差的问题。本发明中，通过将ROI属性信息的总长度加入到数据流分段单元，使得ROI的标记随着应用场合不同，可以有不同的具体定义方法，具有很大的灵活性。本发明还对一个数据流分段单元中的视频数据进行图象识别，将识别结果作为该数据流分段单元的ROI属性的组成部分，在对视频数据进行检索时可以直接对ROI属性进行识别，大大提高了视频检索的效率。
文档编号H04N7/26GK101547351SQ200810035030
公开日2009年9月30日 申请日期2008年3月24日 优先权日2008年3月24日
发明者丁亚强, 林福辉, 武晓阳 申请人:展讯通信(上海)有限公司