基于音频浓缩摘要的海量音频检索方法与流程

本发明属于安防监控领域，特别是涉及一种基于音频浓缩摘要的海量音频检索方法。

背景技术：

在安防监控领域，随着监控设备数量的爆炸性增长，其存储的录像数据也呈几何级增长。在公安、刑侦等应用场景下，如果采用人工的方式对这些海量录像数据进行分析，效率将是极其低下的，以至于错过最佳破案时机。因此，如何从这些海量录像数据中挖掘出有价值的信息，以供快速检索和查证，已成为用户非常迫切的需求。

在目前已授权的专利中，如专利申请号为【cn201210520403.x】的一种用于具有静止画面视频的视频浓缩方法、专利申请号为【cn201210142026.0】的一种快速视频浓缩摘要方法，大多采用的视频浓缩摘要技术，提取出其中的背景和运动目标，并重建成新的视频图像序列。但录像数据中除了视频，还有音频。音频数据是视频数据的重要补充，能够帮助办案人员更好地理解事实真相。在某些情况下，如视频信号丢失、视频画面模糊等，音频数据可能是唯一的线索和证据。音频数据的特点是：大部分时间内可能都是静音和噪音数据，只有少数时间内包含真正有用的语音信息。为了提高办案人员的工作效率，快速检索海量的音频数据，对音频进行浓缩摘要，是很有必要的。

技术实现要素：

本发明的目的在于提供一种基于音频浓缩摘要的海量音频检索方法，通过使用多线程并行方式对海量音频数据所在的文件夹进行浓缩，提取出有价值的语音和文字信息，并生成包含摘要信息的音频索引文件，用户能够通过输入关键字进行快速检索，解决了现有的音频数据分析效率低、分析难度大的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于音频浓缩摘要的海量音频检索方法，包括如下步骤：

步骤s01：获取待浓缩文件夹内所有的录像文件和音频文件，并生成若干个线程并行进行浓缩任务；

步骤s02：在每一个浓缩任务中，打开一个待浓缩的文件；

步骤s03：读取一个音频帧并进行解码，获取裸的pcm音频数据；

步骤s04：使用vad算法对一帧pcm裸数据进行判定，若判定为有效数据，则将本帧的序号作为摘要的起始序号；

步骤s05：继续对下一帧pcm裸数据进行判定，直到找到判定为无效数据的那一帧为止，将前一帧的序号作为摘要的结束序号；

步骤s06：对起始序列号和结束序列号之间的pcm裸数据进行语音识别，将识别的结果作为摘要的文字描述；

步骤s07：判断待浓缩文件内音频是否全部读完；

若是，则将所有生成的音频摘要信息保存到对应的音频索引文件中，将所有的音频数据保存到对应的浓缩文件中；

若否，则返回执行步骤s03；

步骤s08：每浓缩完成一个文件，将列出该文件以及对应的摘要信息；

步骤s09：输入文字作为关键字进行检索。

优选地，所述步骤s01中，每个线程浓缩若干个文件，当一个文件浓缩完成，则开始浓缩下一个文件。

优选地，所述步骤s02中，打开待浓缩文件时，需要对待浓缩文件进行检查，若文件不合法或没有音频数据，则忽略该待浓缩文件。

优选地，所述步骤s09中，在检索过程中，若某个音频摘要的文字描述与该关键字匹配，则加入到检索结果中；可播放检索结果中的音频摘要对应的音频数据，并跳转到原始文件中对应的位置周围继续播放。

本发明具有以下有益效果：

本发明通过使用多线程并行方式对海量音频数据所在的文件夹进行浓缩，提取出有价值的语音和文字信息，并生成包含摘要信息的音频索引文件，用户可输入文本关键字进行快速检索，并可播放检索结果中的音频数据，大大提高了工作效率。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于音频浓缩摘要的海量音频检索方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种基于音频浓缩摘要的海量音频检索方法，包括如下步骤：

步骤s01：获取待浓缩文件夹内所有的录像文件和音频文件，根据文件数量和cpu性能等条件生成若干个线程并行进行浓缩任务，因为每个线程浓缩若干个文件，一个文件浓缩完成后，继续浓缩下一个文件，由于文件数量巨大，因此采用多线程方式并发执行；

步骤s02：在每一个浓缩任务中，打开一个待浓缩的文件；

步骤s03：读取一个音频帧并进行解码，获取裸的pcm音频数据；

步骤s04：使用vad算法对一帧pcm裸数据进行判定，若判定为有效数据，则将本帧的序号作为摘要的起始序号；

vad算法即语音活动检测算法，又称语音端点检测；目的是从声音信号流里识别和消除长时间的静音期，以达到在不降低业务质量的情况下节省话路资源的作用；

步骤s05：继续对下一帧pcm裸数据进行判定，直到找到判定为无效数据的那一帧为止，将前一帧的序号作为摘要的结束序号；

步骤s06：对起始序列号和结束序列号之间的pcm裸数据进行语音识别，将识别的结果作为摘要的文字描述，这样便生成了一个完整的音频摘要，通过音频摘要中序号的对应关系，就可以很方便地从摘要中的某个位置定位到原始文件中对应的位置；

步骤s07：判断待浓缩文件内音频是否全部读完；

若是，则将所有生成的音频摘要信息保存到对应的音频索引文件中，将所有的音频数据保存到对应的浓缩文件中，这样在以后需要检索时，不用再进行浓缩了，直接解析该音频索引文件即可；

若否，则返回执行步骤s03；

步骤s08：每浓缩完成一个文件，将列出该文件以及对应的摘要信息，此时可以播放某个摘要对应的音频数据，也可以播放整个浓缩文件中的音频数据，如果播放过程中对某个位置的音频感兴趣，可以跳转到原始文件中对应的位置周围继续播放；

步骤s09：输入文字作为关键字进行检索。

其中，步骤s01中，每个线程浓缩若干个文件，当一个文件浓缩完成，则开始浓缩下一个文件。

其中，步骤s02中，打开待浓缩文件时，需要对待浓缩文件进行检查，若文件不合法或没有音频数据，则忽略该待浓缩文件。

其中，步骤s09中，在检索过程中，若某个音频摘要的文字描述与该关键字匹配，则加入到检索结果中；可播放检索结果中的音频摘要对应的音频数据，并跳转到原始文件中对应的位置周围继续播放；而对于已经进行过浓缩的文件夹，下次可以直接选择该文件夹进行音频数据的检索和播放。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。