专利名称：一种监控视音频信息的检索方法及检索系统的制作方法
技术领域：
本发明属于监控视音频技术领域，具体地说，涉及一种用于监控视音频信息的检索方法及检索系统。
背景技术：
视音频监控系统在社会治安防控体系建设中占有重要地位，安全防范技术的成熟和进步对于保障国家安全，构建和谐社会有着积极的意义。在现代“忠实于场景的高保真视音频编码”为核心思想的监控理念下，需要将事件发生时的绝对时间信息通过专门语法与视音频压缩编码数据一起传输和存储。这样便于检索查询、音视频同步和多路视频同步，还可以避免在图像上叠加OSD破坏图像原始内容。图 1为现有技术中网络抽象层单元结构示意图。在实际应用中，为了减少编码器负担和网络上传输压力，通常在编码器设定记录现场采集的时间间隔，即现场采集多长时间需要作一次绝对时间信息的记录。在传统的安防监控系统中，安防监控系统主要包括视音频采集部分、传输部分、控制部分和终端部分。终端部分的存储设备用于将现场采集的视音频信息以文件的形式存储起来。检索方法是按文件来查找，即直接在操作界面中打开文件夹，查找特定时间段和采集设备。然而，这种检索方法未能充分利用监控视音频中的绝对时间信息，所以检索效率不高。
发明内容
有鉴于此，本发明的目的旨在克服上述现有技术中存在的缺陷，提供一种监控视音频信息的检索方法，该检索方法充分利用了视音频文件中的绝对时间信息，可以双向、快速、高精度的完成检索操作。此外，本发明还提供一种用于监控视音频信息的检索系统，此系统能够充分利用视音频文件中的绝对时间信息，可以双向、快速、高精度的完成检索操作。为此，本发明提供一种用于检索视音频监控信息的检索方法，该方法包括如下步骤a、获取所要检索事件发生时的时间点，即欲检索时间点；b、比较所述欲检索时间点与视音频码流中的当前最接近绝对时间点，若所述欲检索时间点晚于所述当前最接近绝对时间点，则进行前向定位，同时生成索引文件；若所述欲检索时间点早于所述当前最接近绝对时间点，则进行后向定位；C、通过所述前向定位和所述后向定位得到早于所述欲检索时间点最近的绝对时间点；d、在所述得到的绝对时间点和下一个绝对时间点元内进一步进行帧级定位，从而获得所述欲检索时间点的视音频监控信息。
4
进一步地，所述前向定位包括如下步骤通过搜索网络抽象层单元起始码来得到该网络抽象层单元数据；判断该网络抽象层单元类型为绝对时间网络抽象层单元时，解析该网络抽象层单元得到前向绝对时间信息ta'；判断At = ta-ta'是否满足检索精度；若否，则将所述前向绝对时间信息ta'和该绝对时间网络抽象层单元在视音频文件中的位置记录到索引文件中，继续搜索下一个网络抽象层单元；若是，该绝对时间点即是早于所述欲检索时间点最近的绝对时间点，返回该时刻的位置信息posa，并调整文件指针到该位置。进一步地，所述生成索引文件包括在前向定位过程中，当搜索到绝对时间类型的网络抽象层单元时，解析该网络抽象层单元的前向绝对时间信息ta'和该时刻在文件中的位置信息，并将所述前向绝对时间信息ta'和所述位置信息记录在索引文件中。进一步地，所述后向定位包括从索引文件尾部开始倒序搜索，获得后向绝对时间信息tb'；判断At = tb-tb'是否满足检索精度；若否，继续搜索下一个索引文件中的绝对时间点；若是，该绝对时间点为早于所述欲检索时间点最近的绝对时间点；将所述后向时间信息tb'和索引文件记录的该时刻的位置信息posb返回，调整文件指针到该位置。进一步地，所述帧级定位包括根据所得到的绝对时间点和视音频帧的回放时间得到每帧的伪绝对时间信息；将欲检索时间点与缓冲区中的帧头时间字段相比较，获得早于欲检索时间点最近的视音频监控信息。本发明提供一种用于检索视音频监控信息的检索系统，此系统包括第一获取单元，其用于获取所要检索事件发生时的时间点，即欲检索时间点；第一分析单元，其用于比较所述欲检索时间点与当前最接近绝对时间点，若所述欲检索时间点晚于所述当前最接近绝对时间点，则进行前向定位；若所述欲检索时间点早于所述当前最接近绝对时间点，则进行后向定位；前向定位单元，其用于前向得到早于所述欲检索时间点最近的绝对时间点，同时将解析的时间信息和位置信息生成索引文件；后向定位单元，其用于后向得到早于所述欲检索时间点最近的绝对时间点和位置 fn息；帧级定位单元，其用于帧级高精度定位，从而获得早于所述欲检索时间点最近的视音频监控信息。进一步地，所述前向定位单元包括第二获取单元，其用于通过搜索网络抽象层单元起始码来得到该网络抽象层单元数据，并在判断该网络抽象层单元类型为绝对时间网络抽象层单元时，解析该网络抽象层单元得到前向绝对时间信息ta'；第二分析单元，其用于判断At = ta-ta'是否满足检索精度；若否，则将所述前向绝对时间信息ta'和该绝对时间网络抽象层单元在视音频文件中的位置记录到索引文件中，继续搜索下一个网络抽象层单元；若是，该绝对时间点即是早于所述欲检索时间点最
5近的绝对时间点。索引文件生成单元，前向定位单元在前向定位过程中，当搜索到绝对时间类型的网络抽象层单元时，解析该网络抽象层单元的前向绝对时间信息ta'和该时刻在文件中的位置信息，并将所述前向绝对时间信息ta'和所述位置信息记录在索引文件中。第二定位单元，调整文件指针到前向绝对时间信息ta'所对应的位置。进一步地，所述后向定位单元包括第三获取单元，其用于从索引文件尾部开始倒序搜索，获得后向绝对时间信息 tb'；第三分析单元，其用于判断At = tb-tb'是否满足检索精度；若否，继续搜索下一个索引文件中的绝对时间点；若是，该绝对时间点为早于所述欲检索时间点最近的绝对时间点；第三定位单元，其用于将所述后向时间信息tb'和索引文件记录的该时刻的位置信息posb返回，调整文件指针到该位置。进一步地，所述帧级定位单元包括伪绝对时间信息获得单元，其用于根据得到的绝对时间点和视音频帧的回放时间得到每帧的伪绝对时间信息；第四分析单元，其用于将欲检索时间点与缓冲区中的帧头时间字段相比较，获得早于欲检索时间点最近的视音频监控信息。本发明提供的用于监控视音频信息的检索方法，利用视音频码流中的绝对时间信息进行前向定位或后向定位，以获得早于所述欲检索时间点最近的绝对时间点，然后通过帧级定位获得所述欲检索时间点的高精度视音频监控信息。通过前向定位或后向定位可以缩短检索的时间，提高了检索的效率，从而为还原采集现场节约了宝贵的时间。而且，在前向定位的同时建立检索文件，为今后视音频码流同步回放、查询和取证提供了极大的便利。类似地，本发明提供的用于监控视音频信息的检索装置，利用视音频码流中的绝对时间信息进行前向定位或后向定位，以获得早于所述欲检索时间点最近的绝对时间点， 然后通过帧级定位获得所述欲检索时间点的高精度视音频监控信息。通过前向定位或后向定位可以缩短检索的时间，提高了检索的效率，从而为还原采集现场节约了宝贵的时间。而且，在前向定位的同时建立检索文件，为今后视音频码流同步回放、查询和取证提供了极大的便利。
图1为现有技术中网络抽象层单元结构示意图。图2为本发明提供的一种用于检索视音频监控信息的检索方法的流程图。图3为本发明提供的索引文件结构示意图。图4为本发明提供帧缓存中一帧结构示意图。图5为本发明提供的一种用于检索视音频监控信息的检索系统的结构图。
具体实施例方式本发明的基本思想是充分利用监控视音频中现场采集的绝对时间信息，在视音频回放或者前向定位过程中建立索引文件；利用建立的索引文件进行后向定位；在前向或者后向定位的基础上给帧缓存中每帧生成伪绝对时间信息，再进行帧级定位，以实现仅利用绝对时间信息完成双向、快速和高效率的检索。下面将结合附图2对本发明实施例中的技术方案进行清楚、完整地描述。图2为本发明提供的一种用于检索视音频监控信息的检索方法的流程图。参考图 2，本发明提供的用于检索视音频监控信息的检索方法包括以下步骤步骤slO，获取所要检索事件发生时的时间点，即欲检索时间点。欲检索时间点可以是某个感兴趣事件发生时间点tb (后向定位)或者ta(前向定位)，其通过客户端输入。步骤s20，比较所述欲检索时间点与视音频码流中的当前最接近绝对时间点，若所述欲检索时间点晚于所述当前最接近绝对时间点，则进行前向定位；若所述欲检索时间点早于所述当前最接近绝对时间点，则进行后向定位。tc为当前最接近绝对时间点，如果ta > tc,即欲检索时间点晚于所述当前最接近绝对时间点，则执行步骤s30和步骤s40 ；如果tb < tc，即欲检索时间点早于所述当前最接近绝对时间点，则执行步骤s50。需要说明的是，本实施例中，“晚于”指要定位的时间在当前绝对时间点之后，在文件搜索时要前向调整文件指针，即需要前向定位。“早于”指要定位的时间在当前绝对时间之前，在文件搜索时需回到过去播放的位置，即需要后向定位。步骤s30:前向定位。步骤s30包括以下步骤通过搜索网络抽象层单元起始码来得到该网络抽象层单元数据；判断该网络抽象层单元类型为绝对时间网络抽象层单元时，解析该网络抽象层单元得到前向绝对时间信息ta'；判断At = ta-ta'是否满足检索精度；若否，则将所述前向绝对时间信息ta'和该绝对时间网络抽象层单元在视音频文件中的位置记录到索引文件中，继续搜索下一个网络抽象层单元；若是，该绝对时间点即是早于所述欲检索时间点最近的绝对时间点，返回该绝对时间点的位置信息posa，并调整文件指针到该位置。具体地，判断是否存在索引文件且ta小于索引文件记录的最后一条绝对时间信息。若是，在索引文件中前向搜索ta最近的绝对时间信息ta'，将该时间对应的文件位置信息返回。若否，首先通过搜索网络抽象层(Network Abstraction Layer, NAL)开始码前缀“0x000001”来得到该NAL单元数据。然后，判断该NAL单元是否为绝对时间类型。如果是，则解析该NAL单元得到绝对时间信息ta'。再判断At= (ta-ta')是否满足检索精度。若否，则将ta'和该绝对时间NAL单元在视音频文件中的位置记录到索引文件中，继续搜索下一个NAL单元。若是，结束本次定位。然后跳到步骤s60。建立索引文件。图3为本发明提供的索引文件结构示意图。参阅图3，在前向定位过程中，当搜索到绝对时间类型的网络抽象层单元时，解析该网络抽象层单元的前向绝对时间信息ta'和该时刻在文件中的位置信息，并将所述前向绝对时间信息ta'和所述位置信息记录在索引文件中。具体的，在回放监控视音频文件或者前向定位过程中，当搜索到绝对时间类型的NAL单元，解析该NAL单元的时间信息ta'，并将ta'和该时刻在文件中的位置信息记录在索引文件中。步骤s40:后向定位。后向定位包括以下步骤从索引文件尾部开始倒序搜索，获得后向绝对时间信息tb'；判断At = tb-tb'是否满足检索精度；若否，继续搜索下一个索引文件中的绝对时间点；若是，该绝对时间点就是早于所述欲检索时间点最近的绝对时间点；将所述后向时间信息tb'和索引文件记录的该时刻的位置信息posb返回，调整文件指针到该位置。具体地，获取索引文件中的时间信息。可通过从索引文件尾部开始倒序搜索，取索引文件中绝对时间信息tb'。判断At = (tb-tb')，是否满足检索精度，若否，继续执行步骤s50 ；若是，结束本次搜索过程，将时间信息tb'和索引文件记录的该时刻的位置信息posb返回，调整文件指针到该位置。步骤s50，帧级定位。根据获得的绝对时间点和视音频帧的回放时间得到每帧的伪绝对时间信息；将欲检索时间点与缓冲区中的帧头时间字段相比较，获得早于欲检索时间点最近的视音频监控信息。在具体实现过程中，帧缓存中伪绝对时间生成。通过前向或者后向定位得到早于欲检索时间点最近的前一个绝对时间信息。在该绝对时间的基础上累加上一个视音频帧的回放时间得到每帧的伪绝对时间信息。其中，视音频一帧的回放时间可通过如下方法得到，具体为解析临近两个绝对时间tl和t2，同时计算在这个时间段内解码得到的视音频帧的数目num，则每帧的回放时间为(t2-tl)/num。为了防止伪绝对时间信息在计算过程中误差扩散，当解码遇到下一个绝对时间时，需重新在下一个绝对时间信息基础上计算随后的各帧伪绝对时间信息。图4为本发明提供帧缓存中一帧的结构示意图。如图4所示，帧缓存中每帧的帧头包括标志位(sys_flag)、时间信息(time)、数据长度(datalen)和视音频数据(data)。其中，SyS_flag 指示time的性质。为0时表示time部分为伪绝对时间；为1时表示time部分为码流中绝对时间。该指示位也可以作为需要通过绝对时间信息来同步视音频码流同步控制指示位。如，在解码播放时，该指示位为1，视音频播放同步；time 时间信息；dataLen 指示帧的数据data的长度；data 帧的有效数据。在具体实现过程中，将欲定位的时间tb或者ta与帧缓冲区中的帧头时间字段相比较。找出早于欲定位时间点最接近的一帧，结束本次搜索过程。本发明利用监控现场采集得到的绝对时间信息，第一步前向定位，同时，生成索引文件，方便在回放过程中的后向定位；第二步，在前向或者后向定位的基础上，通过对帧缓存中各帧生成伪绝对时间信息，可以精确的检索到事件发生时刻的视音频信息。从而提高了检索效率和精度。本实施例提供的用于监控视音频信息的检索方法，利用视音频码流中的绝对时间
8信息进行前向定位或后向定位，以获得早于所述欲检索时间点最近的网络抽象层单元，然后通过帧级定位进一步获得早于所述欲检索时间点最近的高精度视音频监控信息。通过前向定位或后向定位可以缩短检索的时间，提高了检索的效率，从而为还原采集现场节约了宝贵的时间。而且，在前向定位的同时建立检索文件，为今后视音频码流同步回放、查询和取证提供了极大的便利。本实施例提供的用于检索视音频监控信息的检索方法可以双向、 快速、高精度的完成检索操作。本发明还提供一种用于检索视音频监控信息的检索系统。图5为本发明提供的一种用于检索视音频监控信息的检索系统的结构图。用于检索视音频监控信息的检索系统包括第一获取单元，其用于获取所要检索事件发生时的时间点，即欲检索时间点。第一分析单元，其用于比较所述欲检索时间点与当前最接近绝对时间点，若所述欲检索时间点晚于于所述当前最接近绝对时间点，则进行前向定位；若所述欲检索时间点早于所述当前最接近绝对时间点，则进行后向定位。前向定位单元，其用于前向得到早于所述欲检索时间点最近的绝对时间点，同时将解析的时间信息和位置信息生成索引文件。前向定位单元包括第二获取单元，其用于通过搜索网络抽象层单元起始码来得到该网络抽象层单元数据，并在判断该网络抽象层单元类型为绝对时间网络抽象层单元时，解析该网络抽象层单元得到前向绝对时间信息ta'；第二分析单元，其用于判断At = ta-ta'是否满足检索精度；若否，则将所述前向绝对时间信息ta'和该绝对时间网络抽象层单元在视音频文件中的位置记录到索引文件中，继续搜索下一个网络抽象层单元；若是，该绝对时间点即是早于所述欲检索时间点最近的绝对时间点。索引文件生成单元，其用于当搜索到绝对时间类型的网络抽象层单元时，解析该网络抽象层单元的前向绝对时间信息ta'和该时刻在文件中的位置信息，并将所述前向绝对时间信息ta'和所述位置信息记录在索引文件中；第二定位单元，其用于调整文件指针到满足精度绝对时间信息ta'所对应的位置。后向定位单元，其用于后向得到距离所述欲检索时间点最近的绝对时间点和位置 fn息ο后向定位单元包括第三获取单元，其用于从索引文件尾部开始倒序搜索，获得后向绝对时间信息 tb'；第三分析单元，其用于判断At = tb-tb'是否满足检索精度；若否，继续搜索下一个索引文件中的绝对时间点；若是，该绝对时间点为早于所述欲检索时间点最近的绝对时间点；第三定位单元，其用于将所述后向时间信息tb'和索引文件记录的该时刻的位置信息posb返回，调整文件指针到该位置。帧级定位单元，其用于帧级高精度定位，从而获得早于所述欲检索时间点的视音频监控信息。帧级定位单元包括伪绝对时间信息获得单元，其用于根据获得的绝对时间点和视音频帧的回放时间得到每帧的伪绝对时间信息；第四分析单元，其用于将欲检索时间点与缓冲区中的帧头时间字段相比较，获得早于欲检索时间点最近的视音频监控信息。本实施例提供的用于检索视音频监控信息的检索装置，利用视音频码流中的绝对时间信息进行前向定位或后向定位，以获得早于所述欲检索时间点最近的网络抽象层单元，然后进一步通过帧级定位获得早于所述欲检索时间点的高精度视音频监控信息。通过前向定位或后向定位可以缩短检索的时间，提高了检索的效率，从而为还原采集现场节约了宝贵的时间。而且，在前向定位的同时建立检索文件，为今后视音频码流同步回放、查询和取证提供了极大的便利。本实施例提供的用于检索视音频监控信息的检索系统可以双向、快速、高精度的完成检索操作。对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。以上所述仅是本发明的具体实施方式
，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
10
权利要求
1.一种监控视音频信息的检索方法，其特征在于，该方法包括如下步骤 步骤一、获取所要检索事件发生时的时间点，即欲检索时间点；步骤二、比较所述欲检索时间点与视音频码流中的当前最接近绝对时间点，若所述欲检索时间点晚于所述当前最接近绝对时间点，则进行前向定位ta，同时生成索引文件；若所述欲检索时间点早于所述当前最接近绝对时间点，则进行后向定位tb ；步骤三、通过所述前向定位和所述后向定位得到早于所述欲检索时间点最近的绝对时间点；步骤四、在所述得到的绝对时间点和下一个绝对时间点内进一步进行帧级定位，从而获得所述欲检索时间点的视音频监控信息。
2.根据权利要求1所述的检索方法，其特征在于所述前向定位包括以下步骤 通过搜索网络抽象层单元起始码来得到该网络抽象层单元数据；判断该网络抽象层单元类型为绝对时间网络抽象层单元时，解析该网络抽象层单元得到前向绝对时间信息ta'；判断At = ta-ta'是否满足检索精度；若否，则将所述前向绝对时间信息ta'和该绝对时间网络抽象层单元在视音频文件中的位置记录到索引文件中，继续搜索下一个网络抽象层单元；若是，则该绝对时间点即是早于所述欲检索时间点最近的绝对时间点，返回该绝对时间点的位置信息posa，并调整文件指针到该位置。
3.根据权利要求1所述的检索方法，其特征在于，所述生成索引文件包括在前向定位过程中，当搜索到绝对时间类型的网络抽象层单元时，解析该网络抽象层单元的前向绝对时间信息ta'和该绝对时间网络抽象层单元在视音频文件中的位置信息，并将所述前向绝对时间信息ta'和所述的位置信息记录在索引文件中。
4.根据权利要求1所述的检索方法，其特征在于，所述后向定位包括如下步骤 从索引文件尾部开始倒序搜索，获得后向绝对时间信息tb'；判断At = tb-tb'是否满足检索精度；若否，继续搜索下一个索引文件中的绝对时间点；若是，该绝对时间点为早于所述欲检索时间点最近的绝对时间点；将所述后向时间信息tb'和索引文件记录的该时刻的位置信息posb返回，调整文件指针到该位置。
5.根据权利要求1所述的检索方法，其特征在于，所述帧级定位包括如下步骤 根据得到的绝对时间点和视音频帧的回放时间得到每帧的伪绝对时间信息；将欲检索时间点与缓冲区中的帧头时间字段相比较，获得早于欲检索时间点最近的视音频监控信息。
6.一种监控视音频信息的检索系统，其特征在于，此系统包括第一获取单元，其用于获取所要检索事件发生时的时间点，即欲检索时间点； 第一分析单元，其用于比较所述欲检索时间点与当前最接近绝对时间点，若所述欲检索时间点晚于所述当前最接近绝对时间点，则进行前向定位；若所述欲检索时间点早于所述当前最接近绝对时间点，则进行后向定位；前向定位单元，其用于前向得到早于所述欲检索时间点最近的绝对时间点，同时将解析的时间信息和位置信息生成索引文件；后向定位单元，其用于后向得到早于所述欲检索时间点最近的绝对时间点和位置信息；帧级定位单元，其用于帧级高精度定位，从而获得早于所述欲检索时间点最近的视音频监控信息。
7.根据权利要求6所述的检索系统，其特征在于，所述前向定位单元包括第二获取单元，其用于通过搜索网络抽象层单元起始码来得到该网络抽象层单元数据，并在判断该网络抽象层单元类型为绝对时间网络抽象层单元时，解析该网络抽象层单元得到前向绝对时间信息ta'；第二分析单元，其用于判断At = ta-ta'是否满足检索精度；若否，则将所述前向绝对时间信息ta'和该绝对时间网络抽象层单元在视音频文件中的位置记录到索引文件中， 继续搜索下一个网络抽象层单元；若是，该绝对时间点即是早于所述欲检索时间点最近的绝对时间点；索引文件生成单元，在前向定位过程中，当搜索到绝对时间类型的网络抽象层单元时， 解析该网络抽象层单元的前向绝对时间信息ta'和该绝对时间网络抽象层单元在视音频文件中的位置信息，并将所述前向绝对时间信息ta'和所述的位置信息记录在索引文件中；第二定位单元，调整文件指针到满足精度绝对时间信息ta'所对应的位置。
8.根据权利要求6所述的检索系统，其特征在于，所述后向定位单元包括第三获取单元，其用于从索引文件尾部开始倒序搜索，获得后向绝对时间信息tb'； 第三分析单元，其用于判断At = tb-tb'是否满足检索精度；若否，继续搜索下一个索引文件中的绝对时间点；若是，该绝对时间点为早于所述欲检索时间点最近的绝对时间占.^ \\\ 第三定位单元，其用于将所述后向时间信息tb'和索引文件记录的该时刻的位置信息 posb返回，调整文件指针到该位置。
9.根据权利要求6所述的检索系统，其特征在于，所述帧级定位单元包括伪绝对时间信息获得单元，其用于根据得到绝对时间点和视音频帧的回放时间得到每帧的伪绝对时间信息；第四分析单元，其用于将欲检索时间点与缓冲区中的帧头时间字段相比较，获得早于欲检索时间点最近的视音频监控信息。
全文摘要
本发明公开了一种监控视音频信息的检索方法及检索系统，该检索方法包括获取所要检索事件发生时的时间点；比较欲检索时间点与视音频码流中的当前最接近绝对时间点，若欲检索时间点晚于当前最接近绝对时间点，则进行前向定位，同时生成索引文件；若欲检索时间点早于当前最接近绝对时间点，则进行后向定位；通过前向定位和后向定位得到早于欲检索时间点最近的绝对时间点；在得到的绝对时间点和下一个绝对时间点内进一步进行帧级定位，从而获得欲检索时间点的视音频监控信息。该检索方法充分利用了视音频文件中的绝对时间信息，可双向、快速、高精度的完成检索操作。
文档编号G06F17/30GK102521301SQ20111039156
公开日2012年6月27日 申请日期2011年11月30日 优先权日2011年11月30日
发明者倪璟, 唐胜男, 李鹏飞, 费宝顶, 赵炫, 陈朝武, 高磊 申请人:公安部第一研究所, 北京中盾安全技术开发公司