专利名称：一种视频数据检索方法及其装置和系统的制作方法
技术领域：
本发明涉及通信技术领域的视频监控技术，尤其涉及一种视频数据检索方法及其 装置和系统。
背景技术：
现有的基于块存储的视频数据存储架构是采用两级索引，每个媒体数据块占用相 同的空间，即在恒定码率下，存储相同时间长度的视频录像数据。该存储空间大致分为两部 分索引区和媒体数据区，其中，索引区包括一级索引区和二级索引区，如图1所示。一级索 引为整个存储空间(一般为一块硬盘)所包含的各媒体数据(如媒体文件)的起始时间、 视频通道ID、起始地址等信息；二级索引区为相应部分的媒体数据块的起始地址、时间等 信息。采用这种两级索引架构可对媒体数据实现基于时间的快速索引。可以看出，目前的视频监控系统，一般都是对采集的视频序列直接进行编码存储， 在检索时只通过时间信息作为检索条件对媒体数据进行快速检索。这样后期要在浩瀚的视 频录像中查找感兴趣的视频数据，将是一项十分艰巨的任务。
发明内容
本发明提供了一种视频数据检索方法及其装置和系统，用以基于视频画面特征实 现视频数据的快速检索。本发明提供的视频数据检索方法，应用于具有两级索引结构的视频监控系统，其 中，若视频帧中出现需要标记的画面特征，则在该视频帧的一级索引和二级索引中设置有 该画面特征的标识；该方法包括接收视频数据检索请求，其中携带有所请求检索的视频数据的目标画面特征标识 fn息；查询所请求检索的视频数据的一级索引，判断该一级索引中是否设置有所述目标 画面特征标识信息，并在判断为是的情况下，根据该一级索引查询所有对应的二级索引，并 从中查找到设置有所述目标画面特征标识信息的二级索引；根据查找到的设置有所述目标画面特征标识信息的二级索引确定对应画面组GOP 的存储地址，并根据确定出的GOP的存储地址返回视频数据检索结果。上述方法中，根据确定出的GOP的存储地址返回视频数据检索结果，包括针对确 定出的各个连续的GOP所组成的视频数据序列，分别向前和向后延长一个G0P，将延长处理 后的所有连续GOP所组成的视频数据序列作为视频检索结果返回给播放器进行相应视频 数据的播放。上述方法中，在二级索引中还包括元数据块地址信息，所述元数据块用于存储相 应GOP的画面特征的描述信息；在查找到设置有目标画面特征标识信息的二级索引后，还包括根据查找到的二 级索引中的元数据块地址信息查找到对应的元数据块，并读取其中的画面特征描述信息；
根据确定出的GOP的存储地址返回视频数据检索结果，具体为根据确定出的GOP 的存储地址播放对应的视频帧，并在播放视频帧时显示对应的画面特征描述信息。上述方法中，在一级索引和二级索引中设置画面特征标识信息的过程，包括在编 码视频数据之前，或对编码后的视频数据进行解码之后，对视频帧进行检测；如果检测到所 述视频帧画面出现需要标记的画面特征，则在所述视频帧的一级索引和二级索引中设置该 画面特征的标识信息。上述方法中，画面特征标识信息设置于一级索引和二级索引的头部。上述方法中，所述画面特征标识信息包括以下之一或任意组合物体运动类别标识，用于标识视频帧画面中含有运动物体以及该运动物体的属 性；图像质量类别标识，用于标识视频帧图像丢失情况或图像显示质量；声音告警类别标识，用于标识视频帧画面中有声音告警以及声音告警类型。本发明提供的服务器，应用于具有两级索引结构的视频监控系统，其中，若视频帧 中出现需要标记的画面特征，则在该视频帧的一级索引和二级索引中设置有该画面特征的 标识；所述服务器包括视频检索处理单元，所述视频检索处理单元包括接口模块，用于接收视频数据检索请求，以及返回视频数据检索结果；确定模块，用于根据接收到的视频数据检索请求，确定该请求中携带的所请求检 索的视频数据的目标画面特征标识信息；检索模块，用于查询所请求检索的视频数据的一级索引，判断该一级索引中是否 设置有所述目标画面特征标识信息，并在判断为是的情况下，根据该一级索引查询所有对 应的二级索引，从中查找到设置有所述目标画面特征标识信息的二级索引；以及，根据查找 到的设置有所述目标画面特征标识信息的二级索引确定对应画面组GOP的存储地址，根据 据确定出的GOP的存储地址生成视频数据检索结果。上述服务器中，所述检索模块具体用于，针对确定出的各个连续的GOP所组成的 视频数据序列，分别向前和向后延长一个G0P，将延长处理后的所有连续GOP所组成的视频 数据序列作为视频检索结果通过所述接口模块返回给播放器进行相应视频数据的播放。上述服务器中，在二级索引中还包括元数据块地址信息，所述元数据块用于存储 相应GOP的画面特征的描述信息；所述检索模块还用于，在查找到设置有目标画面特征标识信息的二级索引后，根 据查找到的二级索引中的元数据块地址信息查找到对应的元数据块，并读取其中的画面特 征描述信息，并将该画面特征描述信息作为检索结果返回。上述服务器中，还包括解码器，用于对编码后的视频数据进行解码；图像分析模块，用于对解码后的视频帧进行检测，并当检测到所述视频帧画面出 现需要标记的画面特征时，在所述视频帧的一级索引和二级索引中设置该画面特征的标识
fn息ο本发明提供的视频监控系统，具有两级索引结构，包括编码器，用于在对视频帧编码前检测该视频帧，并当该视频帧中出现需要标记的 画面特征时，在该视频帧的一级索引和二级索引中设置该画面特征的标识信息；
6
服务器，用于接收视频数据检索请求，其中携带有所请求检索的视频数据的目标 画面特征标识信息；查询所请求检索的视频数据的一级索引，判断该一级索引中是否设置 有所述目标画面特征标识信息，并在判断为是的情况下，根据该一级索引查询所有对应的 二级索引，并从中查找到设置有所述目标画面特征标识信息的二级索引；以及，根据查找到 的设置有所述目标画面特征标识信息的二级索引确定对应画面组GOP的存储地址，并根据 确定出的GOP的存储地址返回视频数据检索结果。上述系统中，所述编码器具体用于，对视频帧进行检测，如果检测到所述视频帧画 面出现需要标记的画面特征，则在所述视频帧的一级索引和二级索引中设置该画面特征的 标识信息。上述系统中，所述服务器包括接口模块，用于接收视频数据检索请求，以及返回视频数据检索结果；确定模块，用于根据接收到的视频数据检索请求，确定该请求中携带的所请求检 索的视频数据的目标画面特征标识信息；检索模块，用于查询所请求检索的视频数据的一级索引，判断该一级索引中是否 设置有所述目标画面特征标识信息，并在判断为是的情况下，根据该一级索引查询所有对 应的二级索引，从中查找到设置有所述目标画面特征标识信息的二级索引；以及，根据查找 到的设置有所述目标画面特征标识信息的二级索引确定对应画面组GOP的存储地址，根据 据确定出的GOP的存储地址生成视频数据检索结果。上述系统中，所述检索模块具体用于，针对确定出的各个连续的GOP所组成的视 频数据序列，分别向前和向后延长一个G0P，将延长处理后的所有连续GOP所组成的视频数 据序列作为视频检索结果通过所述接口模块返回给播放器进行相应视频数据的播放。上述系统中，在二级索引中还包括元数据块地址信息，所述元数据块用于存储相 应GOP的画面特征的描述信息；所述检索模块还用于，在查找到设置有目标画面特征标识信息的二级索引后，根 据查找到的二级索引中的元数据块地址信息查找到对应的元数据块，并读取其中的画面特 征描述信息，并将该画面特征描述信息作为检索结果返回。本发明的有益技术效果包括当视频帧中出现需要标记的画面特征时，通过在该视频帧的一级索引和二级索引 中设置有该画面特征的标识，以便在进行视频数据检索时，可以将视频数据的画面特征作 为检索条件之一，根据一级索引和二级索引检索到包含有相应画面特征的视频数据，实现 了基于画面特征的视频数据的快速检索。
图1为现有技术中的视频数据两级索引结构示意图；图2为本发明实施例中的视频数据的两级索引结构示意图；图3为本发明实施例中的视频数据的一级索引头部结构示意图；图3-1、图3-2分别为图3所示的一级索引头部中相应字段的示意图；图4为本发明实施例中的视频数据的二级索引头部结构示意图；图5为本发明实施例提供的视频数据检索的流程示意7
图6为本发明实施例中的视频序列播放示意图；图7为本发明实施例提供的视频监控系统服务器的结构示意图；图8为本发明实施例提供的视频监控系统的结构示意图。
具体实施例方式由于现有方案没有考虑到视频分析的应用，即不包含视频分析所产生的元数据存 储，只通过时间信息作为检索条件对媒体数据进行快速检索，因而无法实现对视频内容的 快速索引。针对现有技术的上述问题，本发明实施例利用基于视频检测技术的视频内容智能 分析技术，以满足视频监控客户需求。考虑到视频内容智能分析结果在数据存储结构和索 引过程中的应用，本发明实施例对现有视频数据索引结构进行了扩展，在一级索引和二级 索引中增加了视频分析产生的元数据，相应的，在进行数据检索时，可使用视频分析产生的 元数据作为索引条件，对媒体数据进行快速检索，并且只对检索到的媒体数据进行跳跃式 回放。下面结合附图对本发明实施例进行详细描述。如图2所示，本发明实施例对现有的视频数据的两级索引结构进行了改进，对于 画面中出现了需要标记的场景或事件的视频帧，在相应一级索引和二级索引中增加了画面 特征的标识字段，该画面特征可通过视频内容智能分析技术检测出来。进一步的，在画面中 出现了需要标记的场景或事件的GOP (Group ofPictures，画面组，一个GOP即为二级索引 所标识的一个视频数据块)的二级索引中增加了元数据块的索引信息(如地址和长度)，以
便索引到对应的元数据块(如图2中的元数据块1，元数据块2......元数据块N)，该元数
据块中记录有相应GOP视频画面的场景或事件描述信息。基于上述两级索引架构，可通过一级索引元数据的标识位对二级索引进行检索， 然后再通过二级索引精确检索出具体的元数据内容(如图2中的元数据块)。二级索引头 部固定，可实现快速定位。两级索引头部结构体定义可如图3和图4所示。参见图3，为本发明实施例提供的视频数据的一级索引头部结构的示意图。如图所 示，一个视频通道的一级索引头部，主要包含该视频通道一个时间段内(一个数据通道的 一个时间段内的视频序列通常存储为一个视频数据文件)的元数据标识符，其中包括版本 号、一级索引头部字节数(该字节数不包括版本号占用的字节数，对应于图中的头尺寸)、 视频通道ID (对应图中的ID)、该视频通道的视频序列在一个时间段内的起止时间(对应图 中的开始时间和结束时间)、首个二级索引区地址、该视频通道的视频序列的画面特征标识 符(对应于图中的总体视频分析码字)。其中版本号2个字节，第一个字节表示主版本号，第二个字节表示副版本号。头尺寸2个字节，取值为整个一级索引头部字节数减去版本号占用的2字节。开始时间/结束时间8个字节，对应整个存储空间(通常为一块硬盘)视频序列 的开始时间/结束时间。时间编码可如图3-1所示，其中，前面两个字节为年数减去2000得 到的数字，比如2012年为2012-2000 = 12;接着一个字节的数字标识月份，范围为[1，12]； 再接着一个字节标识日期数字，范围为[1，31]；后面的4字节为时刻编码，该时刻的时间单 位可为系统参考时钟频率90KHz，取最高32比特。
比如，时刻编码可表示为TS (i) = (system_clock_frequencyXt(i)) % 232其中，TS(i)表示时刻编码；system_clock_frequency为系统时钟频率，90KHz ； t(i)为实际时刻，以毫秒为单位。首个二级索引区地址8个字节，取值为首个二级索引区在存储空间的首地址，由 于每个二级索引块的尺寸相同，故根据二级索引块的首地址可以得到该视频通道的后续所 有二级索引块的地址。总体视频分析码字8个字节，取值为该视频通道的视频序列的视频分析结果标 记，即视频序列的画面特征标识。参见图4，为本发明实施例提供的视频数据的二级索引头部结构的示意图。二级检索头部主要包含一个GOP对应的时间段内产生的元数据(其中记录有视 频分析信息，如画面场景或事件的描述信息)，其中包括版本号、二级索引头部占用字节数 (该字节数不包括版本号占有的字节数，如图中的头尺寸)、G0P的起始时间、GOP对应元数 据存储空间的地址(对应图中的元数据块地址)、G0P长度、帧率、分辨率、GOP的元数据的字 节数(对应图中的块尺寸)、G0P的画面特征标识符(对应图中的视频分析码字)。其中版本号2字节，第一个字节表示主版本号，第二个字节表示幅版本号；二级索引头尺寸2个字节，取值为整个二级索引头部字节数减去版本号占用的2 字节；4字节保留；起始时间8个字节，取值为GOP首帧采集时间，以毫秒为单位，时间定义同一级索 引中的起止时间定义；元数据块地址8个字节，取值为GOP视频序列的元数据在存储内存中的起始地 址；GOP尺寸2个字节，取值为GOP视频帧数目；帧率2字节，取值为GOP的编码帧率和视频分析帧率，其中，高字节为编码帧率， 低字节为视频分析帧率；分辨率2字节，取值为视频分析图像的分辨率，其中，高字节为像素宽，低字节为 像素高；块尺寸2字节，取值为GOP的元数据块占用的字节数；GOP视频分析码字8个字节，用于标识GOP视频序列的画面特征，定义同一级索引 中的总体视频分析码字。上述一级索引和二级索引中的视频序列的画面特征可根据需要进行定义，例如可 根据视频帧画面内容，如包含的运动物体、运动物体的运动状态、运动物体的属性，进行定 义；也可根据视频帧画面质量，如是否有视频丢失、摄像头是否被遮挡等，进行定义；还可 以根据视频帧中是否含有声音告警进行定义。本发明实施例提供的画面特征标识(即视频分析码字)定义如下视频分析码字的8个字节中，高4字节为对视频分析结果进行大的类别划分，低4 字节对每一类别进行细分，如图3-2所示。具体的高4字节可定义为
0x00000001 物体运动类；0x00000002 图像质量类；0x00000003 声音告警类；其它数值保留，便于将来扩展。每一种高4字节对应的大类，其低4字节定义了相应大类下的更细粒度的类型，具 体的高4字节为物体运动类(0x00000001)时，低4字节定义为字节3为0x01 表示含有运动目标，后面两字节定义运动物体属性，其中字节2为0x01 含有运动物体为人；字节2为0x02 含有运动物体为车。字节3为0x02 表示含有异常行为，后面两字节定义异常行为属性，其中字节2为0x01 含有遗留物；字节2为0x02 含有移除物体；字节2为0x04 含有徘徊行为；字节2为0x08 含有打架行为；字节2为0x10 含有奔跑行为；字节2为0x20 含有密度过大行为；字节2为0x40 含有流量过大行为。高4字节为图像质量类(0x00000002)时，低4字节定义为0x00000001 图像视频丢失；0x00000002 摄像头被遮挡；0x00000004 图像存在雪花干扰；0x00000008 图像存在偏色干扰；0x00000010 图像亮度过暗；0x00000020 图像亮度过亮；0x00000040 图像画面抖动；0x00000080 图像画面冻结。高4字节为声音告警类(0x00000004)，低4字节定义为0x00000001 含有高频声音告警；0x00000002 含有高音声音告警；其他未定义的字段为保留字段，便于将来扩展。上述一级索引和二级索引中的画面特征标识(即视频分析码字)，可通过视频监 控系统中新增加的视频分析功能进行设置。视频分析功能可以集成到前端编码器中，这样在对一路视频进行编码的过程中 (在编码之前)可进行视频分析，并根据分析结果在相应一级索引和二级索引中设置相应 的视频分析码字，并设置对应的元数据块。视频分析功能也可以在后端进行(如通过视频 客户端在视频监控系统的服务器中进行)，即在后端对编码后的视频数据进行解码后再进 行视频分析，并根据分析结果在相应一级索引和二级索引中设置相应的视频分析码字，并 设置对应的元数据块。其中，可采用现有的各种视频检测方法对视频图像进行分析，如果根
10据预先定义的需要标记的画面特征，检测到当前视频帧的画面具有相应特征，则在当前视 频帧所对应的一级索引和二级索引中设置与该画面特征对应的视频分析码字。不论哪种设置方式，目的都是得到和视频数据时间同步的视频分析元数据，并按 照上述规定格式填写视频分析码字。比如，根据以上画面特征的定义，集成到前段编码器的 视频分析模块在进行视频分析时，检测到在某一时刻(如2010年5月5日22时30分6. 350 秒)视频画面中出现有人打架的行为，则将当前时刻的二级索引头部和一级索引头部的视 频分析码字中高4字节与0x00000001按比特进行“或”运算，将低4字节与0x02040000按 比特进行“或”运算，从而将视频分析码字设置为与打架行为对应的画面特征标识。在视频分析过程中，不管二级索引对应的GOP内部的哪个帧含有需要标记的画面 特征，总要在该GOP视频分析码字中进行相应标记。同样，当一级索引包含的所有视频序列 中不管哪一段GOP出现需要标记的画面特征时，总要在一级索引的总体视频分析码字中进 行相应标记。如果一个视频文件的不同GOP视频序列具有不同的画面特征，则在相应GOP的二 级索引中设置相应的视频分析码字；相应的，在该视频文件的一级索引中，其总体视频分析 码字包含二级索引中的所有视频分析码字。如果二级索引对应的GOP视频序列中没有需要标记的画面特征，则该二级索引的 视频分析码字无需进行相应标记。同样，如果一个视频文件的所有GOP视频序列中都没有 需要标记的画面特征，则相应一级索引中的总体视频分析码字无需进行相应标记。基于上述定义的画面特征一级改进后的一级索引和二级索引结构，本发明实施例 提供的视频数据检索流程，可如图5所示，包括步骤501，用户通过所在监控客户端发送视频数据检索请求，其中携带有请求检索 的画面特征信息，如画面特征标识。该步骤中，用户可通过所在监控客户端提交视频通道ID、起止时间、画面特征等信 息作为检索条件，向视频监控系统的服务器发起视频数据检索并回放的请求。步骤502，视频监控系统的服务器接收到该视频数据检索请求后，根据其中携带的 视频通道ID、起始时间等信息查询到相应的一级索引，如果该一级索引中包含有检索请求 中携带的画面特征标识，则执行步骤503，否则执行步骤505。该步骤中，服务器在检索到相应视频通道的整个视频数据存储空间对应的视频元 数据的一级索引后，若判断该一级索引包含有用户提交的画面特征标识对应的视频分析码 字，则表示该一级索引对应的某段或者某几段GOP视频序列为所要请求的视频序列，这种 情况下，转入步骤503以进一步检索出所要请求的视频序列。步骤503，视频监控系统的服务器根据该一级索引查询二级索引，并从查询到的所 有二级索引中，找出包含有该画面特征标识的二级索引，并根据这些二级索引确定相应GOP 视频序列的地址以及元数据块的地址。该步骤中，服务器对该一级索引对应的所有的二级索引头部的GOP视频分析码字 进行遍历，由于二级索引头部是等大的，二级索引遍历会很快完成。若二级索引头部的视频 分析码字含有相应画面特征标识，则根据这些二级索引头部的起始时间，在对应的视频回 放时间栏上的时间进行标注，并根据这些二级索引头部的元数据块索引信息(如元数据块 地址和块尺寸)，从相应的元数据块中提取视频画面的场景或事件描述信息。检索出包含有相应画面特征标识的二级索引后，就可以根据这些二级索引确定出相应视频序列的存储地址。步骤504，视频监控系统的服务器根据检索出的视频序列的地址，播放这些包含有 特定画面场景或事件的视频帧。该步骤中，服务器可将检索到的视频片段发送给播放器进行跳跃播放，并可进一 步在视频画面中标注与被播放的视频序列对应的元数据块中的视频画面的场景或事件的 描述信息，作为视频分析的结果进行显示。对视频数据进行检索并回放时，如果检索到的视 频序列为多个不连续的视频片段，则只对检索到的视频片段进行跳跃式播放。如图6中的 深色区域为检索到的视频片段，只对这些深色片段进行跳跃播放，即播放完前一个视频片 段后，立刻跳到下一个视频片段的播放点进行播放。为提高视频的连续性，进一步的，每个视频片段的视频序列的开始播放点为前一 个G0P，结束点要延长一个G0P。如图6所示，检索到的视频序列为第k个GOP至第m个G0P， 但是这段视频序列要从第k-Ι个GOP开始播放，一直播放到第m+1个G0P。步骤505，视频监控系统的服务器返回检索失败的响应。该步骤中，由于未能检索到符合检索条件的视频数据(即未能检索到包含有用户 所请求的画面特征的视频数据)，因此视频监控系统的服务器返回检索失败的响应，还可进 一步返回失败的原因。下面以一个具体实例对上述流程进行详细说明。比如，当需要检索某一通道的视频录像中是否有打架行为发生时，首先找到该 通道视频元数据一个存储空间的一级索引中的视频分析码字，将该视频分析码字的高4 字节与0x00000001进行按比特“与”运算，若结果为1，将该视频分析码字的低4字节与 0x02040000进行按比特“与”运算，若结果也为1，则表明相应视频序列中打架行为画面的 视频，即表示该一级索引对应的时间段(比如2010年3月1日0时0分0. 000秒至2010年 3月31日23时59分59. 999秒)内含有打架事件；根据该一级索引对所有的二级索引头部 进行遍历，视频分析码字检测方式同一级索引中的检测方式，若检测结果均为1，表示相应 的时间段内(如2010年3月2日8时10分5. 000秒至2010年3月2日8时10分5. 999 秒)含有打架行为。查找完该存储空间后，继续对该通道的其他存储空间(也含有对应的 两级索引)进行同样的检索，这样便可得到某一通道存储矩阵中所有视频录像的打架行为 事件发生的录像片段。在本发明的上述实施例进行改进的基础上，可以得到本发明的另一实施例。在该 实施例中，通过对视频数据进行分析后，如果发现视频帧画面中包含有需要标记的场景或 事件，可以仅在相应GOP的二级索引中以及相应的一级索引中设置视频分析码字，而不用 设置用于描述画面场景或事件的元数据块，因而也就不用在二级索引中设置元数据块的地 址和长度。在对视频数据进行检索回放时，基本按照前述实施例进行，不同的是，在本实施 例中由于未设置用于描述画面场景或事件的元数据块，以及在二级索引中不存在该元数据 块的索引信息，因此，在根据用户提供的画面特征检索到包含有相应画面特征的视频数据 后，将该视频数据进行回放，而不附加视频画面的场景或事件的描述信息。通过以上描述可以看出，在视频数据的两级索引中引入画面特征标识，其中，不同 的画面特征标识用来标识不同的视频画面场景或事件；在进行视频回放时，根据画面特征
12标识，从长时间的视频录像内容可快速检索出感兴趣场景或事件，并进行快速播放，提高了 感兴趣视频内容的检索和回放的效率。基于相同的技术构思，本发明实施例还提供了一种视频监控系统中的服务器以及 一种视频监控系统。如图7所示，为本发明实施例提供的视频监控系统中的服务器的结构示意图。该 服务器应用于具有两级索引结构的视频监控系统，其中，若视频帧中出现需要标记的画面 特征，则在该视频帧的一级索引和二级索引中设置有该画面特征的标识。该服务器包括视 频检索处理单元71，视频检索处理单元71可包括接口模块711，用于接收视频数据检索请求，以及返回视频数据检索结果；确定模块712，用于根据接收到的视频数据检索请求，确定该请求中携带的所请求 检索的视频数据的目标画面特征标识信息；检索模块713，用于查询所请求检索的视频数据的一级索引，判断该一级索引中是 否设置有所述目标画面特征标识信息，并在判断为是的情况下，根据该一级索引查询所有 对应的二级索引，从中查找到设置有所述目标画面特征标识信息的二级索引；以及，根据查 找到的设置有所述目标画面特征标识信息的二级索引确定对应画面组GOP的存储地址，根 据据确定出的GOP的存储地址生成视频数据检索结果。上述服务器中，检索模块713可针对确定出的各个连续的GOP所组成的视频数据 序列，分别向前和向后延长一个G0P，将延长处理后的所有连续GOP所组成的视频数据序列 作为视频检索结果通过接口模块711返回给播放器进行相应视频数据的播放。在二级索引中还包括元数据块地址信息，所述元数据块用于存储相应GOP的画面 特征的描述信息；相应的，检索模块713可在查找到设置有目标画面特征标识信息的二级 索引后，根据查找到的二级索引中的元数据块地址信息查找到对应的元数据块，并读取其 中的画面特征描述信息，并将该画面特征描述信息作为检索结果返回。上述服务器中，还可包括解码器72和图像分析模块73。其中，解码器72用于对 编码后的视频数据进行解码；图像分析模块73，用于对解码后的视频帧进行检测，并当检 测到所述视频帧画面出现需要标记的画面特征时，在所述视频帧的一级索引和二级索引中 设置该画面特征的标识信息。具体的，画面特征标识信息可设置于一级索引和二级索引的 头部。参见图8，为本发明实施例提供的视频监控系统，具有两级索引结构，可应用于上 述流程。如图所示，该系统可包括可连接有1个或多个摄像机80的编码器81，服务器82， 1个或多个监控客户端83等。其中编码器81，用于在对视频帧编码前检测该视频帧，并当该视频帧中出现需要标记 的画面特征时，在该视频帧的一级索引和二级索引中设置该画面特征的标识信息；服务器82，用于接收监控客户端83发送的视频数据检索请求，其中携带有所请求 检索的视频数据的目标画面特征标识信息；查询所请求检索的视频数据的一级索引，判断 该一级索引中是否设置有所述目标画面特征标识信息，并在判断为是的情况下，根据该一 级索引查询所有对应的二级索引，并从中查找到设置有所述目标画面特征标识信息的二级 索引；以及，根据查找到的设置有所述目标画面特征标识信息的二级索引确定对应画面组 GOP的存储地址，并根据确定出的GOP的存储地址返回视频数据检索结果。
13
上述系统中，编码器81可对视频帧进行检测，如果检测到所述视频帧画面出现需 要标记的画面特征，则在所述视频帧的一级索引和二级索引中设置该画面特征的标识信 息。具体的，画面特征标识信息可设置于一级索引和二级索引的头部。上述系统中，服务器82可包括接口模块821，用于接收视频数据检索请求，以及返回视频数据检索结果；确定模块822，用于根据接收到的视频数据检索请求，确定该请求中携带的所请求 检索的视频数据的目标画面特征标识信息；检索模块823，用于查询所请求检索的视频数据的一级索引，判断该一级索引中是 否设置有所述目标画面特征标识信息，并在判断为是的情况下，根据该一级索引查询所有 对应的二级索引，从中查找到设置有所述目标画面特征标识信息的二级索引；以及，根据查 找到的设置有所述目标画面特征标识信息的二级索引确定对应画面组GOP的存储地址，根 据据确定出的GOP的存储地址生成视频数据检索结果。其中，检索模块823可针对确定出的各个连续的GOP所组成的视频数据序列，分别 向前和向后延长一个G0P，将延长处理后的所有连续GOP所组成的视频数据序列作为视频 检索结果通过接口模块821返回给播放器进行相应视频数据的播放。其中，在二级索引中还包括元数据块地址信息，所述元数据块用于存储相应GOP 的画面特征的描述信息。相应的，检索模块823还可在查找到设置有目标画面特征标识信 息的二级索引后，根据查找到的二级索引中的元数据块地址信息查找到对应的元数据块， 并读取其中的画面特征描述信息，并将该画面特征描述信息作为检索结果返回。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助 软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更 佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的 部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若 干指令用以使得一台终端设备(可以是手机，个人计算机，服务器，或者网络设备等)执行 本发明各个实施例所述的方法。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视本发明的保护范围。
权利要求
1.一种视频数据检索方法，应用于具有两级索引结构的视频监控系统，其特征在于，若 视频帧中出现需要标记的画面特征，则在该视频帧的一级索引和二级索引中设置有该画面 特征的标识；该方法包括接收视频数据检索请求，其中携带有所请求检索的视频数据的目标画面特征标识信息；查询所请求检索的视频数据的一级索引，判断该一级索引中是否设置有所述目标画面 特征标识信息，并在判断为是的情况下，根据该一级索引查询所有对应的二级索引，并从中 查找到设置有所述目标画面特征标识信息的二级索引；根据查找到的设置有所述目标画面特征标识信息的二级索引确定对应画面组GOP的 存储地址，并根据确定出的GOP的存储地址返回视频数据检索结果。
2.如权利要求1所述的方法，其特征在于，根据确定出的GOP的存储地址返回视频数据 检索结果，包括针对确定出的各个连续的GOP所组成的视频数据序列，分别向前和向后延长一个G0P， 将延长处理后的所有连续GOP所组成的视频数据序列作为视频检索结果返回给播放器进 行相应视频数据的播放。
3.如权利要求1所述的方法，其特征在于，在二级索引中还包括元数据块地址信息，所 述元数据块用于存储相应GOP的画面特征的描述信息；在查找到设置有目标画面特征标识信息的二级索引后，还包括根据查找到的二级索 引中的元数据块地址信息查找到对应的元数据块，并读取其中的画面特征描述信息；根据确定出的GOP的存储地址返回视频数据检索结果，具体为根据确定出的GOP的存 储地址播放对应的视频帧，并在播放视频帧时显示对应的画面特征描述信息。
4.如权利要求1所述的方法，其特征在于，在一级索引和二级索引中设置画面特征标 识信息的过程，包括在编码视频数据之前，或对编码后的视频数据进行解码之后，对视频帧进行检测；如果检测到所述视频帧画面出现需要标记的画面特征，则在所述视频帧的一级索引和 二级索引中设置该画面特征的标识信息。
5.如权利要求1所述的方法，其特征在于，画面特征标识信息设置于一级索引和二级 索引的头部。
6.如权利要求1-5任一项所述的方法，其特征在于，所述画面特征标识信息包括以下 之一或任意组合物体运动类别标识，用于标识视频帧画面中含有运动物体以及该运动物体的属性；图像质量类别标识，用于标识视频帧图像丢失情况或图像显示质量；声音告警类别标识，用于标识视频帧画面中有声音告警以及声音告警类型。
7.一种服务器，应用于具有两级索引结构的视频监控系统，其特征在于，若视频帧中 出现需要标记的画面特征，则在该视频帧的一级索引和二级索引中设置有该画面特征的标 识；所述服务器包括视频检索处理单元，所述视频检索处理单元包括接口模块，用于接收视频数据检索请求，以及返回视频数据检索结果；确定模块，用于根据接收到的视频数据检索请求，确定该请求中携带的所请求检索的 视频数据的目标画面特征标识信息；检索模块，用于查询所请求检索的视频数据的一级索引，判断该一级索引中是否设置 有所述目标画面特征标识信息，并在判断为是的情况下，根据该一级索引查询所有对应的 二级索引，从中查找到设置有所述目标画面特征标识信息的二级索引；以及，根据查找到的 设置有所述目标画面特征标识信息的二级索引确定对应画面组GOP的存储地址，根据据确 定出的GOP的存储地址生成视频数据检索结果。
8.如权利要求7所述的服务器，其特征在于，所述检索模块具体用于，针对确定出的各 个连续的GOP所组成的视频数据序列，分别向前和向后延长一个G0P，将延长处理后的所有 连续GOP所组成的视频数据序列作为视频检索结果通过所述接口模块返回给播放器进行 相应视频数据的播放。
9.如权利要求7所述的服务器，其特征在于，在二级索引中还包括元数据块地址信息， 所述元数据块用于存储相应GOP的画面特征的描述信息；所述检索模块还用于，在查找到设置有目标画面特征标识信息的二级索引后，根据查 找到的二级索引中的元数据块地址信息查找到对应的元数据块，并读取其中的画面特征描 述信息，并将该画面特征描述信息作为检索结果返回。
10.如权利要求7所述的服务器，其特征在于，还包括解码器，用于对编码后的视频数据进行解码；图像分析模块，用于对解码后的视频帧进行检测，并当检测到所述视频帧画面出现需 要标记的画面特征时，在所述视频帧的一级索引和二级索引中设置该画面特征的标识信肩、ο
11.一种视频监控系统，具有两级索引结构，其特征在于，包括编码器，用于在对视频帧编码前检测该视频帧，并当该视频帧中出现需要标记的画面 特征时，在该视频帧的一级索引和二级索引中设置该画面特征的标识信息；服务器，用于接收视频数据检索请求，其中携带有所请求检索的视频数据的目标画面 特征标识信息；查询所请求检索的视频数据的一级索引，判断该一级索引中是否设置有所 述目标画面特征标识信息，并在判断为是的情况下，根据该一级索引查询所有对应的二级 索引，并从中查找到设置有所述目标画面特征标识信息的二级索引；以及，根据查找到的设 置有所述目标画面特征标识信息的二级索引确定对应画面组GOP的存储地址，并根据确定 出的GOP的存储地址返回视频数据检索结果。
12.如权利要求11所述的系统，其特征在于，所述编码器具体用于，对视频帧进行检 测，如果检测到所述视频帧画面出现需要标记的画面特征，则在所述视频帧的一级索引和 二级索引中设置该画面特征的标识信息。
13.如权利要求11所述的系统，其特征在于，所述服务器包括接口模块，用于接收视频数据检索请求，以及返回视频数据检索结果；确定模块，用于根据接收到的视频数据检索请求，确定该请求中携带的所请求检索的 视频数据的目标画面特征标识信息；检索模块，用于查询所请求检索的视频数据的一级索引，判断该一级索引中是否设置 有所述目标画面特征标识信息，并在判断为是的情况下，根据该一级索引查询所有对应的 二级索引，从中查找到设置有所述目标画面特征标识信息的二级索引；以及，根据查找到的 设置有所述目标画面特征标识信息的二级索引确定对应画面组GOP的存储地址，根据据确定出的GOP的存储地址生成视频数据检索结果。
14.如权利要求13所述的系统，其特征在于，所述检索模块具体用于，针对确定出的各 个连续的GOP所组成的视频数据序列，分别向前和向后延长一个G0P，将延长处理后的所有 连续GOP所组成的视频数据序列作为视频检索结果通过所述接口模块返回给播放器进行 相应视频数据的播放。
15.如权利要求13所述的系统，其特征在于，在二级索引中还包括元数据块地址信息， 所述元数据块用于存储相应GOP的画面特征的描述信息；所述检索模块还用于，在查找到设置有目标画面特征标识信息的二级索引后，根据查 找到的二级索引中的元数据块地址信息查找到对应的元数据块，并读取其中的画面特征描 述信息，并将该画面特征描述信息作为检索结果返回。
全文摘要
本发明公开了一种视频数据检索方法及其装置和系统，应用于具有两级索引结构的视频监控系统。若视频帧中出现需要标记的画面特征，则在该视频帧的一级索引和二级索引中设置有该画面特征的标识；该方法包括接收视频数据检索请求，其中携带有所请求检索的视频数据的目标画面特征标识信息；查询所请求检索的视频数据的一级索引，判断该一级索引中是否设置有所述目标画面特征标识信息，并在判断为是时，根据该一级索引查询所有对应的二级索引，并从中查找到设置有所述目标画面特征标识信息的二级索引；根据二级索引确定对应GOP的存储地址，并根据确定出的GOP的存储地址返回视频数据检索结果。采用本发明可实现基于视频画面特征的视频数据快速检索。
文档编号G06F17/30GK102129474SQ20111009919
公开日2011年7月20日 申请日期2011年4月20日 优先权日2011年4月20日
发明者吴参毅 申请人:杭州华三通信技术有限公司