一种基于网络视频云的实时检索系统及其方法
【专利摘要】本发明公开了一种基于网络视频云的实时检索系统及其方法，该系统包括前端设备、云平台和检索终端，前端设备包括多个音视频采集装置和多个实时甄别装置，音视频采集装置的输出接至实时甄别装置的输入；云平台包括音视频网络传输装置、控制信号网络传输装置和存储装置；实时甄别装置通过云平台与检索终端相连接，检索终端通过云平台向各个实时甄别装置下达指令，各个实时甄别装置根据指令启动实时甄别模式，各个实时甄别装置将对应的音视频采集装置所采集的音视频信息进行甄别处理，并将甄别结果以及具有唯一性的ID地址通过云平台传送检索终端。本发明同时具有远程视频监控以及目标任务实时检索，能够实现主动全区域大范围无时差自动目标搜索。
【专利说明】—种基于网络视频云的实时检索系统及其方法
【技术领域】
[0001]本发明涉及网络视频检索领域，特别是涉及一种基于网络视频云的实时检索系统及其方法。
【背景技术】
[0002]视频监控系统在各个行业正变得越来越普及，采集并存储的视频数据正在快速增力口，从大量的视频数据中搜集有用的信息给用户带来了巨大的挑战。以往我们会使用大量的人力物力，用人工的方法对每一段已保存的视频数据进行浏览监测。一旦发生报警事件或其他意外事件，往往是在事后通过查阅录像的方式进行检索，当面对海量视频数据时，需要花费大量的人力和物力以及时间。目前的视频自动检索还处于被动局部检索阶段，同时仅对已经录下来的视频码流进行信息检索，存在处理滞后问题，不能实现真正意义上的实时检索。
【发明内容】
[0003]本发明的目的在于克服现有技术之不足，提供一种基于网络视频云的实时检索系统及其方法，同时具有远程视频监控以及目标任务实时检索，能够实现主动全区域大范围无时差自动目标搜索。
[0004]本发明解决其技术问题所采用的技术方案是:一种基于网络视频云的实时检索系统，包括前端设备、云平台和检索终端，所述前端设备包括多个音视频采集装置和多个实时甄别装置，且多个音视频采集装置和多个实时甄别装置呈一一对应，音视频采集装置的输出接至实时甄别装置的输入；所述云平台包括音视频网络传输装置、控制信号网络传输装置和存储装置；所述实时甄别装置具有第一网络传输模块，所述检索终端具有第二网络传输模块，所述实时甄别装置的第一网络传输模块通过云平台的音视频网络传输装置、控制信号网络传输装置与所述检索终端的第二网络传输模块相连接，所述检索终端通过云平台的控制信号网络传输装置向各个实时甄别装置下达指令，各个实时甄别装置根据所述指令启动对应的普通监控模式或实时甄别模式，在普通监控模式时，各个实时甄别装置将对应的音视频采集装置所采集的音视频信息通过云平台的音视频网络传输装置传送给云平台的存储装置，在实时甄别模式时，各个实时甄别装置将对应的音视频采集装置所采集的音视频信息进行甄别处理，并将甄别结果以及具有唯一性的ID地址通过云平台的音视频网络传输装置传送给云平台的存储装置和检索终端。
[0005]所述实时甄别装置，还包括:
[0006]一个音视频接口，用来连接对应的音视频采集装置；
[0007]一个音视频编码器，用来对原始视频流进行视频分割、自动数字化,并将视频物体的码流复合成一个符合MPEG-1V标准位码流；
[0008]一个ID地址器，用来存储具有唯一性的ID地址；
[0009]一个模式识别器，用来对音视频编码器处理后的数字数据进行镜头分割、语音识另|J、关键帧抽取、场景分割和自动关联搜索、特征相似性度量的处理；
[0010]一个CPU管理器，用来对输入的信号进行分析处理并输出对应的控制信号；
[0011]一个Flash存储器，用来存储实时甄别装置的CPU应用程序；
[0012]一个外存储单元，用来存储系统需求的视频片段和甄别任务目标指令；
[0013]其中，音视频接口与音视频编码器的输入相连接，音视频编码器的输出与CPU管理器相连接，CPU管理器与模式识别器相连接，CPU管理器还分别与Flash存储器、ID地址器、第一网络传输模块和外存储单元相连接，所述CPU管理器接收检索终端通过云平台发送的任务指令，CPU管理器将指令下达给模式识别器，模式识别器进行对应的处理，模式识别器将处理结果反馈回CPU管理器，CPU管理器将甄别结果通过第一网络传输模块上传给云平台，并通过云平台传送给检索终端。
[0014]一种基于网络视频云的实时检索方法，包括如下步骤:
[0015]A.检索终端获得检索目标；
[0016]B.检索终端通过云平台将检索目标及其指令发送给各个实时甄别装置；
[0017]C.各个实时甄别装置收到检索目标及其指令后，启动各自的实时甄别模式；
[0018]D.各个实时甄别装置分别通过各自的音视频接口获取各自所对应连接的音视频采集装置所采集的图像信息；
[0019]E.各个实时甄别装置的音视频编码器分别对各自获取的图像信息的原始视频流进行视频分割、自动数字化的处理，并将处理结果通过实时甄别装置的CPU管理器传送给实时甄别装置的模式识别器进行处理；
[0020]F.各个实时甄别装置的模式识别器分别将各自音视频编码器处理后的数字数据进行镜头分割、语音识别、关键帧抽取、场景分割和自动关联搜索、特征相似性度量的处理，并将处理后的甄别结果反馈回各自的CPU管理器；
[0021]G.各个实时甄别装置的CPU管理器分别将各自的甄别结果及其各自的ID地址通过第一网络传输模块上传至云平台的存储装置，同时，通过云平台传输给检索终端。
[0022]本发明的一种基于网络视频云的实时检索系统及其方法，前端设备包括多个音视频采集装置和多个实时甄别装置，音视频采集装置和实时甄别装置不受数量限制，但多个音视频采集装置和多个实时甄别装置呈一一对应。实时甄别装置设置有两种工作模式，一种普通监控模式，一种实时甄别模式。当实时甄别装置接收到甄别任务指令时，自动启动实时甄别模式直至甄别任务完成自动转成普通监控模式。CPU管理器接收检索终端的任务指令，并将指令下达给模式识别器，模式识别器处理后将处理结果反馈回CPU管理器，并经(PU管理器将甄别结果详细信息返回检索终端。模式识别器采用高性能DSP处理器，支持多种目标检测功能。ID地址器存放实时甄别装置的ID地址，这个地址在系统中具有唯一性，由检索终端统一分配管理。Flash存储器用于存储实时甄别装置CPU应用程序，应用程序可经网络升级。外存储单元存储系统需求的视频片段和甄别任务目标指令。第一网络传输模块与云平台连接，实现甄别任务目标指令以及甄别结果的网络传输、快速与检索终端互动。实时甄别装置甄别结果传输给当前检索终端，还在云平台上有备份线索库，供不同的检索终端访问查阅。检索终端则包括智能服务器以及显示终端，实现所述ID地址管理、新接入设备规划，发布系统甄别任务目标指令以及接收来自所述实时甄别装置的甄别结果信息，具体信息包含目标的甄别器ID地址、目标出现时间以及目标快照等。[0023]与现有技术相比较，本发明的有益效果是:
[0024]1、本发明同时具有远程视频监控以及目标任务实时检索，能够实现主动全区域大范围无时差自动目标搜索；
[0025]2、实时甄别装置设有ID地址器，ID地址器在系统中具有唯一性；
[0026]3、基于网络管理，不需要改变现有视频监控系统的物理连接；
[0027]4、实时甄别装置直接与音视频采集装置连接、通过网络与检索终端连接，很好的解决远程多路视频实时检索，并确保实时性、准确性、快捷性，不受网络带宽因素影响原始视频质量。
[0028]以下结合附图及实施例对本发明作进一步详细说明；但本发明的一种基于网络视频云的实时检索系统及其方法不局限于实施例。
【专利附图】
【附图说明】
[0029]图1是本发明系统的构成示意图；
[0030]图2是本发明系统的实时甄别装置的原理框图。
【具体实施方式】
[0031]实施例，
[0032]参见图1所示，本发明的一种基于网络视频云的实时检索系统，包括前端设备、云平台3和检索终端4，所述前端设备包括多个音视频采集装置I和多个实时甄别装置2，且多个音视频采集装置I和多个实时甄别装置2呈一一对应，音视频采集装置I的输出接至实时甄别装置2的输入；所述云平台3包括音视频网络传输装置31、控制信号网络传输装置32和存储装置33 ;所述实时甄别装置2具有第一网络传输模块21，所述检索终端4具有第二网络传输模块41，所述实时甄别装置的第一网络传输模块21通过云平台的音视频网络传输装置31、控制信号网络传输装置32与所述检索终端的第二网络传输模块41相连接，所述检索终端4通过云平台的控制信号网络传输装置32向各个实时甄别装置2下达指令，各个实时甄别装置2根据所述指令启动对应的普通监控模式或实时甄别模式，在普通监控模式时，各个实时甄别装置2将对应的音视频采集装置I所采集的音视频信息通过云平台的音视频网络传输装置31传送给云平台的存储装置33，在实时甄别模式时，各个实时甄别装置2将对应的音视频采集装置I所采集的音视频信息进行甄别处理，并将甄别结果以及具有唯一性的ID地址通过云平台的音视频网络传输装置31传送给云平台的存储装置33和检索终端4。
[0033]参见图2所示，本发明的一种基于网络视频云的实时检索系统，所述实时甄别装置，还包括:
[0034]一个音视频接口 22，用来连接对应的音视频采集装置I ;
[0035]一个音视频编码器23，用来对原始视频流进行视频分割、自动数字化，并将视频物体的码流复合成一个符合MPEG-1V标准位码流；
[0036]一个ID地址器24，用来存储具有唯一性的ID地址；
[0037]—个模式识别器25，用来对音视频编码器23处理后的数字数据进行镜头分割、语音识别、关键帧抽取、场景分割和自动关联搜索、特征相似性度量的处理；[0038]一个CPU管理器26，用来对输入的信号进行分析处理并输出对应的控制信号；
[0039]一个Flash存储器27，用来存储实时甄别装置的CPU应用程序；
[0040]一个外存储单元28，用来存储系统需求的视频片段和甄别任务目标指令；
[0041]其中，音视频接口 22与音视频编码器23的输入相连接，音视频编码器23的输出与CPU管理器26相连接，CPU管理器26与模式识别器25相连接，CPU管理器26还分别与Flash存储器27、ID地址器24、第一网络传输模块21和外存储单元28相连接，所述CPU管理器26接收检索终端4通过云平台3发送的任务指令，CPU管理器26将指令下达给模式识别器25，模式识别器25进行对应的处理，模式识别器25将处理结果反馈回CPU管理器26，CPU管理器26将甄别结果通过第一网络传输模块21上传给云平台3，并通过云平台3传送给检索终端4。
[0042]本发明的一种基于网络视频云的实时检索方法，包括如下步骤:
[0043]A.检索终端4获得检索目标；
[0044]B.检索终端4通过云平台3将检索目标及其指令发送给各个实时甄别装置2 ；
[0045]C.各个实时甄别装置2收到检索目标及其指令后，启动各自的实时甄别模式；
[0046]D.各个实时甄别装置2分别通过各自的音视频接口 22获取各自所对应连接的音视频采集装置I所采集的图像信息；
[0047]E.各个实时甄别装置2的音视频编码器23分别对各自获取的图像信息的原始视频流进行视频分割、自动数字化的处理，并将处理结果通过实时甄别装置的CPU管理器26传送给实时甄别装置的模式识别器25进行处理；
[0048]F.各个实时甄别装置的模式识别器25分别将各自音视频编码器23处理后的数字数据进行镜头分割、语音识别、关键帧抽取、场景分割和自动关联搜索、特征相似性度量的处理，并将处理后的甄别结果反馈回各自的CPU管理器26 ；
[0049]G.各个实时甄别装置的CPU管理器26分别将各自的甄别结果及其各自的ID地址通过第一网络传输模块21上传至云平台的存储装置33，同时，通过云平台3传输给检索终端4。
[0050]本发明的一种基于网络视频云的实时检索系统及其方法，前端设备包括多个音视频采集装置I和多个实时甄别装置2，音视频采集装置I和实时甄别装置2不受数量限制，但多个音视频采集装置I和多个实时甄别装置2呈一一对应。实时甄别装置2设置有两种工作模式，一种普通监控模式，一种实时甄别模式。当实时甄别装置2接收到甄别任务指令时，自动启动实时甄别模式直至甄别任务完成自动转成普通监控模式。CPU管理器26接收检索终端4的任务指令，并将指令下达给模式识别器25，模式识别器25处理后将处理结果反馈回CPU管理器26，并经CPU管理器26将甄别结果详细信息返回检索终端4。模式识别器25采用高性能DSP处理器，支持多种目标检测功能。ID地址器24存放实时甄别装置的ID地址，这个地址在系统中具有唯一性，由检索终端统一分配管理。Flash存储器27用于存储实时甄别装置CPU应用程序，应用程序可经网络升级。外存储单元28存储系统需求的视频片段和甄别任务目标指令。第一网络传输模块21与云平台3连接，实现甄别任务目标指令以及甄别结果的网络传输、快速与检索终端互动。实时甄别装置2甄别结果传输给当前检索终端，还在云平台3上有备份线索库(在存储装置中)，供不同的检索终端访问查阅。检索终端4则包括智能服务器以及显示终端，实现所述ID地址管理、新接入设备规划，发布系统甄别任务目标指令以及接收来自所述实时甄别装置的甄别结果信息，具体信息包含目标的甄别器ID地址、目标出现时间以及目标快照等。
[0051]本发明的一种基于网络视频云的实时检索系统及其方法，在一般情况下，各个实时甄别装置2都处于普通监控模式，当检索终端4获得检索目标时，比如获得嫌疑人的脸部特征，检索终端4将检索任务下达给各个实时甄别装置2，实时甄别装置2根据检索终端4的指令启动实时甄别模式，对本地实时监控视频进行实时甄别，自动对前端音视频采集装置采集的原始视频流进行实时处理、自动关联搜索，目标特征相似性度量从而获得可疑目标，获得可疑目标后在经过目标细微特征比对确定目标。实时甄别装置2发现任务目标人物出现，将任务目标在本地的视频片段报告给检索终端4，同时发送的还有发现目标的实时甄别装置的ID地址，这个地址在系统中具有唯一性。检索终端4根据实时甄别装置2的甄别结果以及ID地址，通知当地的执法人员就近控制目标(嫌疑人)，任务完成，所有实时甄别装置2恢复普通监控模式。
[0052]上述实施例仅用来进一步说明本发明的一种基于网络视频云的实时检索系统及其方法，但本发明并不局限于实施例，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均落入本发明技术方案的保护范围内。
【权利要求】
1.一种基于网络视频云的实时检索系统，其特征在于:包括前端设备、云平台和检索终端，所述前端设备包括多个音视频采集装置和多个实时甄别装置，且多个音视频采集装置和多个实时甄别装置呈一一对应，音视频采集装置的输出接至实时甄别装置的输入；所述云平台包括音视频网络传输装置、控制信号网络传输装置和存储装置；所述实时甄别装置具有第一网络传输模块，所述检索终端具有第二网络传输模块，所述实时甄别装置的第一网络传输模块通过云平台的音视频网络传输装置、控制信号网络传输装置与所述检索终端的第二网络传输模块相连接，所述检索终端通过云平台的控制信号网络传输装置向各个实时甄别装置下达指令，各个实时甄别装置根据所述指令启动对应的普通监控模式或实时甄别模式，在普通监控模式时，各个实时甄别装置将对应的音视频采集装置所采集的音视频信息通过云平台的音视频网络传输装置传送给云平台的存储装置，在实时甄别模式时，各个实时甄别装置将对应的音视频采集装置所采集的音视频信息进行甄别处理，并将甄别结果以及具有唯一性的ID地址通过云平台的音视频网络传输装置传送给云平台的存储装置和检索终端。
2.根据权利要求1所述的基于网络视频云的实时检索系统，其特征在于: 所述实时甄别装置，还包括: 一个音视频接口，用来连接对应的音视频采集装置； 一个音视频编码器，用来对原始视频流进行视频分割、自动数字化，并将视频物体的码流复合成一个符合MPEG-1V标准位码流； 一个ID地址器，用来存储具有唯一性的ID地址； 一个模式识别器，用来对音视频编码器处理后的数字数据进行镜头分割、语音识别、关键帧抽取、场景分割和自动关联搜索、特征相似性度量的处理； 一个CPU管理器，用来对输入的信号进行分析处理并输出对应的控制信号； 一个Flash存储器，用来存储实时甄别装置的CPU应用程序； 一个外存储单元，用来存储系统需求的视频片段和甄别任务目标指令； 其中，音视频接口与音视频编码器的输入相连接，音视频编码器的输出与CPU管理器相连接，CPU管理器与模式识别器相连接，CPU管理器还分别与Flash存储器、ID地址器、第一网络传输模块和外存储单元相连接，所述CPU管理器接收检索终端通过云平台发送的任务指令，CPU管理器将指令下达给模式识别器，模式识别器进行对应的处理，模式识别器将处理结果反馈回CPU管理器，CPU管理器将甄别结果通过第一网络传输模块上传给云平台，并通过云平台传送给检索终端。
3.一种基于网络视频云的实时检索方法，其特征在于:包括如下步骤: A.检索终端获得检索目标； B.检索终端通过云平台将检索目标及其指令发送给各个实时甄别装置； C.各个实时甄别装置收到检索目标及其指令后，启动各自的实时甄别模式； D.各个实时甄别装置分别通过各自的音视频接口获取各自所对应连接的音视频采集装置所采集的图像信息； E.各个实时甄别装置的音视频编码器分别对各自获取的图像信息的原始视频流进行视频分割、自动数字化的处理，并将处理结果通过实时甄别装置的CPU管理器传送给实时甄别装置的模式识别器进行处理；F.各个实时甄别装置的模式识别器分别将各自音视频编码器处理后的数字数据进行镜头分割、语音识别、关键帧抽取、场景分割和自动关联搜索、特征相似性度量的处理，并将处理后的甄别结果反馈回各自的CPU管理器； G.各个实时甄别装置的CPU管理器分别将各自的甄别结果及其各自的ID地址通过第一网络传输模块 上传至云平台的存储装置，同时，通过云平台传输给检索终端。
【文档编号】H04N7/18GK103974037SQ201410173819
【公开日】2014年8月6日 申请日期:2014年4月28日 优先权日:2014年4月28日
【发明者】曾宪章, 陈银环, 陈迎锋 申请人:厦门纳网科技有限公司