视频分析检索服务端、系统及方法
【专利摘要】本发明公开了一种视频分析检索服务端、系统及方法，涉及安防领域。本发明实施例中所述视频分析检索服务端至少包括一级服务器和二级服务器；所述一级服务器与视频采集端相连，用以存储所述视频采集端采集的视频，按检索规则提取并输出视频的目标特征；所述二级服务器与所述一级服务器相连，接收所述目标特征，形成并存储目标特征索引。本发明实施例中所述系统包括上述视频分析检索服务端，具有服务端架构合理，资源配置优化效果好的特点。本发明实施例中所述方法采用上述视频分析检索服务端进行检索，具有检索效率高，重复检索率低等多重优点。
【专利说明】视频分析检索服务端、系统及方法
【技术领域】
[0001]本发明涉及安防领域，尤其涉及一种视频分析检索服务端、系统及方法。
【背景技术】
[0002]目前视频智能分析技术可以自动提取视频中感兴趣的目标信息，跟踪目标轨迹，并且将其与事先设置的告警规则比较，一旦目标触发告警规则即可报警，节省了大量人力，提高了监控效率。
[0003]对于不能通过规则触发的事件(例如逃跑罪犯的追查)，就需要在海量视频中搜索罪犯的相关视频，包括车辆视频、人物特征等。对于上述不能通过规则触发的事件，现有技术当中已有一些简单的视频检索方法系统，具体包括以下两种:
[0004]前端智能分析:使用前端IP摄像机或者控制器分析视频图像，提取相关信息给后端服务器。这种方案的好处是不需要将大量视频传输到后端，大量节省了传输带宽，同时节省后端处理能力。通常行为分析、车牌识别、人脸检测等智能分析算法适用于前端智能分析；
[0005]后端智能分析:将IP摄像机的视频传到后台服务器进行分析，提取相关信息，同时可以与服务器已有数据库信息进行比对，得到结果信息。此方案适合有数据库比对、依赖视频文件的相关算法。人脸识别、视频摘要、视频检索等智能分析适用于后端方式。
[0006]现有的视频检索方法及系统方便了视频的分析和检索，然而还存在以下问题:
[0007]问题1:服务端的各服务器之间没有合理的架构，不能将已有的行为分析、人脸识另O、视频摘要以及车牌识别等分析与智能检索很好的结合；
[0008]问题2:前后两次检索，后一次检索不能有效的利用前次的检索结果，导致重复解码与搜索，进而导致检索效率低下、检索量大；
[0009]问题3:行为分析、视频摘要、人脸识别以及车牌识别等单独分析检索，每一种分析检索均需对视频单独进行分析和搜索，工作量大，检索效率低。
【发明内容】
[0010]本发明实施例提供了一种视频分析检索服务端、系统及方法，以解决现有技术中视频检索分析，服务端结构不合理以及检索效率低等问题。
[0011]为了解决上述技术问题，本发明实施例公开了如下技术方案:
[0012]第一方面，提供一种视频分析检索服务端，所述视频分析检索服务端，至少包括一级服务器和二级服务器；
[0013]所述一级服务器与视频采集端相连，用以存储所述视频采集端采集的视频，按检索规则提取并输出视频的目标特征；
[0014]所述二级服务器与所述一级服务器相连，接收所述目标特征，形成并存储目标特征索引。
[0015]在第一方面的第一种可能的实现方式中，，所述一级服务器包括:
[0016]检索规则输入单元，接收客户端输入的所述检索规则；
[0017]分析检索单元，根据所述检索规则实时分析视频，并提取视频的目标特征；
[0018]目标特征输出单元，对所述目标特征进行汇总，并输入到二级服务器；
[0019]存储单元，接收并存储视频采集端输入的视频。
[0020]在第一方面的第二种可能的实现方式中，所述一级服务器还包括视频摘要生成单元;
[0021]所述视频摘要生成单元，用以生成指定时间内视频的摘要视频。
[0022]在第一方面的第三种可能的实现方式中，所述二级服务器根据索引生成规则，对所述目标特征进行分类，形成所述目标特征索引。
[0023]在第一方面的第四种可能的实现方式中，所述二级服务器包括:
[0024]检索信息输入单元，接收客户端输入的检索信息；
[0025]检索单元，用以存储目标特征索引，根据所述检索信息进行检索并返回检索结果。
[0026]在第一方面的第五种可能的实现方式中，所述检索信息输入单元包括图片检索信息输入模块以及语义检索信息输入模块。
[0027]在第一方面的第六种可能的实现方式中，还包括三级服务器；
[0028]所述二级服务器还用以对目标特征索引进行分类，生成并输出分类索引；
[0029]所述三级服务器与所述二级服务器相连，用以接收并存储所述分类索引，接收客户端的检索信息，根据检索信息向客户端返回检索结果。
[0030]第二方面，提供了一种视频分析检索系统，包括相连的服务端和客户端，所述服务端为上所述的视频分析检索服务端。
[0031]第三方面，提供了一种视频分析检索系统，所述视频分析检索方法，包括:
[0032]一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征；
[0033]二级服务器接收所述目标特征，形成并存储目标特征索引。
[0034]在第三方面的第一种可能的实现方式中，所述一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征具体包括:
[0035]接收客户端输入的所述检索规则；
[0036]根据所述检索规则实时分析视频，并提取视频的目标特征；
[0037]对所述目标特征进行汇总，并输入到二级服务器；
[0038]接收并存储视频采集端输入的视频。
[0039]在第三方面的第二种可能的实现方式中，所述一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征还包括生成指定时间内视频的摘要视频。
[0040]在第三方面的第三种可能的实现方式中，所述二级服务器根据索引生成规则，对所述目标特征进行分类，形成所述目标特征索引。
[0041]在第三方面的第四种可能的实现方式中，所述二级服务器在形成并存储目标特征索引之后还包括:
[0042]接收客户端输入的检索信息；
[0043]根据所述检索信息，根据检索信息进行检索并返回检索结果。
[0044]在第三方面的第五种可能的实现方式中，所述检索信息为图片检索信息和语义检索信息中的至少一种。
[0045]在第三方面的第六种可能的实现方式中，还包括:
[0046]二级服务器对目标特征索引进行分类，生成并输出分类索引；
[0047]三级服务器接收并存储所述分类索引，接收客户端的检索信息，根据检索信息向客户端返回检索结果。
[0048]本发明实施例中，通过二级服务器以及二级服务器中目标特征索引的引入，首先合理化了服务端服务器之间的连接架构，其次，在进行视频分析检索时，后一次检索充分有效的利用了前次检索的检索结果，这样大量的减少了检索量，提高了检索的效率；通过客户端对检索规则的制定，充分利用了多种现有的检索规则，从而实现一次视频的解码和检索，提取了多个目标特征，从而再次降低了检索量，提高了检索效率。
【专利附图】
【附图说明】
[0049]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050]图1是本发明一种视频分析检索服务端和客户端的连接结构示意图；
[0051]图2是本发明一种一级服务器的结构示意图；
[0052]图3是本发明一种视频分析检索服务端的结构示意图；
[0053]图4是本发明视频分析检索方法的流程图；
[0054]图5是本发明一级服务器的视频分析检索的流程图。
【具体实施方式】
[0055]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]下面结合附图和实施例，对本发明的【具体实施方式】作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0057]本发明第一个实施例提供了一种视频分析检索服务端，如图1所示，本实施例所述视频分析检索服务端，至少包括一级服务器和二级服务器；
[0058]所述一级服务器与视频采集端相连，用以存储所述视频采集端采集的视频，按检索规则提取并输出视频的目标特征；
[0059]在图1中包括m个一级服务器分别为一级服务器1、一级服务器2 —直到一级服务器m ；m个一级服务器与视频采集端的M个视频采集器相连；一级服务器接收视频采集器I至视频采集器M所采集的视频，并按照检索规则对视频进行智能分析，从而提取视频中目标特征(如与检索规则相匹配的目标信息具体的如人脸识别、车牌识别、目标任务或车辆的运动轨迹以及运动趋势等)从而实现了对视频的检索分析；
[0060]所述二级服务器与所述一级服务器相连，接收所述目标特征，形成并存储目标特征索引。相较于传统的视频分析检索服务端不同的是，本实施例所述的服务端还会将一级服务器进行了智能分析后的提取的目标特征输出到二级服务器，二级服务器接收并生成索弓丨，以供客户端下次检索用。从而下次检索时，不用再次对所有的视频进行解码、分析，从而提高了检索的效率，降低了服务端的负担。且将服务器端进行级联划分，从而优化了服务器端的架构，使得架构更加合理，由于架构的合理化，优化了服务端的资源分配。
[0061 ] 具体的，所述二级服务器根据索引生成规则，对目标特征进行分类和疏离，进而形成所述目标特征索引。例如将接收到的目标特征索引分为人脸识别特征索引、运动轨迹特征索引、车牌识别特征索引等。所述索引生成规则，可以是预先设置在所述二级服务器中，也可以在生产目标特征索引时由外界输入的。
[0062]其中，所述视频采集器可以是位于路口的摄像机、位于监控室内的(XD、位于室内的针孔摄像机等视频采集设备。所述检索规则可以是一级服务器端内置的规则，也可以是通过与客户端交互所获取的检索规则。
[0063]进一步地，如图2所示，所述一级服务器包括:
[0064]检索规则输入单元，接收客户端输入的所述检索规则；所述检索规则可以是运动目标检测、目标跟踪、行为分析、人脸识别以及车牌识别中的一种或多种，或者是根据特定的环境以及检索需求由客户端制作出的检索规则，在本实施例中通过检索规则输入单元的设置，实现了客户端对服务端检索的规则的制定，增强了客户端对检索的控制性，从而服务端进行智能检索分析后得到的检索结果更加符合客户端的需求，增强了对客户端与服务端的交互性以及对服务端的可控性；
[0065]分析检索单元，根据所述检索规则实时分析视频，并提取视频的目标特征；客户端输入检索规则后，负责对视频进行分析检索的分析检索单元，根据检索规则对视频实时分析检索，从而提取目标特征，检索快捷，效率高；
[0066]目标特征输出单元，对所述目标特征进行汇总，并输入到二级服务器；目标特征输出单元的设置，方便了与二级服务器之间的对接，以便二级服务器对所检索出的目标特征制作索引，避免了下次客户端请求的海量检索；
[0067]存储单元，接收并存储视频采集端输入的视频。存储单元存储了视频，用于基于客户端请求的视频提取。
[0068]进一步地，所述一级服务器还包括视频摘要生成单元；
[0069]所述视频摘要生成单元，用以生成指定时间内视频的摘要视频。在具体的使用过程中，客户端可能不需要对视频进行智能检索，而仅需观看某一段历史时间内的视频，粗略的观看该时间内被监控位置所发生的事情。为了实现上述目的，所述一级服务器还特别设置了视频摘要生成单元，生成指定时间内视频的摘要视频，从而客户端可以通过观看摘要视频决定是否提取该指定时间内视频。在本实施例中通过在一级服务器的视频摘要生产单元的设置，简便的实现了客户端不同种类的需求，且本服务端集智能分析检索与摘要视频于一体,检索分析全面。
[0070]进一步地，所述一级服务器还包括报警单元；
[0071]所述报警单元，判断所述分析检索单元的分析结果是否触发告警规则，
[0072]若是，则向外输出警告，
[0073]若否，则不动作。
[0074]在具体的实行过程中，所述告警规则可以是一级服务器内置的或本实施例所述的服务端通过与客户端之间的数据交互所获取的告警规则。如告警规则为检索到车牌号为XXXX的则发出警告短信或警告语音，则一级服务器在分析检索视频时，发现车牌为XXXX对外输出警告。所述警告可以是警告短信、消息或警告语音(具体的如蜂鸣、提示语音)或警示震动等，接收所述警告语音的可以设置成相应的客户端。若没有发现车牌号为XXXX，则报警单元不对外输出警告。在本实施例中通过报警单元的设置，可以及时的向客户端反馈检索结果，适用于大量海量视频检索中的自动监控如犯罪追击中的应用。
[0075]进一步地，
[0076]所述二级服务器包括:
[0077]检索信息输入单元，接收客户端输入的检索信息；
[0078]检索单元，用以存储目标特征索引，根据所述检索信息进行检索并返回检索结果。所述检索结果可能是检索到了与检索信息相匹配的视频，则直接返回视频或返回视频的存储地址，若没有检索到与检索信息相匹配的视频，则返回空或返回提示无相匹配视频的检索提不等。
[0079]在具体的实施过程中，所述一级服务器、二级服务器以及客户端可以通过有线或无线相互连接，网络的拓扑可以是总线型、星型或环形的。客户端输入检索信息可以是图片检索信息也可以是语义检索信息，服务端根据所述检索信息进行具体检索，如首先二级服务器在其存储的目标特征索引中查找是否有相对应的历史检索，有则输出相应的视频的或输出视频的存储地址，客户端接收所述视频或根据所述视频地址连接到存储有所述视频的存储器观看视频。
[0080]进一步地，所述检索信息输入单元包括图片检索信息输入模块以及语义检索信息输入模块。所述图片检索信息输入模块用以接收客户端输入的图片检索信息，所述语义检索信息输入模块用以接收客户端输入的语义检索信息；检索信息单元接收并解析客户端输入的检索信息，为后续检索做准备。
[0081]如图3所示，进一步地，作为本实施例的再一次的改进，本实施例所述的视频分析检索服务端还包括:
[0082]二级服务器对目标特征索引进行分类，生成并输出分类索引；
[0083]三级服务器接收并存储所述分类索引，接收客户端的检索信息，根据检索信息向客户端返回检索结果。在进行检索时，首先检索相应的分类索引，再检索目标特征索引，在由目标特征索引查找到相应的视频。
[0084]所述分类索引、目标特征索引、目标特征以及视频可以选用分层结构进行构建并存储，在检索时根据检索信息首先检索分类索引，其次检索目标特征索引，再次检索目标特征，进而获取小于检索信息相匹配的视频。
[0085]在具体的实施过程中，若所述二级服务器所存储的目标特征的索引量大，或二级服务器多，为了进一步的提高检索的效率，再次增加了与二级服务器级联的三级服务器，所述三级服务器用以对二级服务器存储的索引，进行分类和梳理，从而生成了分类索引。具体的如将目标特征索引分为有关人脸识别的目标特征索引的分类索引，有关于运动轨迹的目标特征索引的分类索引，有关于车牌索引的分类索引等。当设置有三级服务器时，客户端首先登陆三级服务器，三级服务器根据客户端提交的索引信息，在分类索引中查找到二级服务器存储的目标特征索引，在通过目标特征索引查找到具体的视频或视频存储位置。这样大大的提高了重复检索效率，不再需要每检索一次，对所有的视频都进行一次解码、分析等重复的工作，且服务端的服务器之间的架构合理，
[0086]进一步地，所述检索规则为运动目标检测、目标跟踪、行为分析、人脸识别以及车牌识别中的一种或多种。上述检索规则可以是现有的检索规则，或现有检索规则的改进。
[0087]运动目标检测:一级服务器从视频采集端获取视频流，通过帧差法实现提取目标与背景分离，从而提取运动目标区域。
[0088]目标跟踪:一级服务器通过运动目标检测得到每帧图像中运动目标区域，使用目标角点特征并且结合卡尔曼滤波或粒子滤波实现运动目标跟踪，提取运动目标轨迹。
[0089]行为分析:行为分析包括入侵检测、伴线检测、逆行检测、遗漏物检测、移走物检测、徘徊检测、滞留检测等，行为分析可以事先设置的告警规则，通过运动目标检测和轨迹跟踪可以判断是否触发某种告警规则。
[0090]人脸识别:人脸识别分为人脸检测和人脸对比，通过Haar特征模型可以实现人脸检测，通过提取人脸特征实现与数据库中人脸对比。
[0091]车牌识别:先通过运动目标检测，检测到运动车辆，由于车牌区域的纹理信息丰富，使用Sobel算子提取车辆上车牌区域，精确定位车牌区域上下边界。从精确定位车牌区域边界开始，使用轮廓搜索法搜索每个车牌字母的轮廓，实现车牌分割，再通过神经网络对字符进行识别等。
[0092]综合上述，本实施例提供了一种新型的视频分析检索的服务端，通过二级服务器的引入，大大的降低了重复解码检索的工作，提高了检索的效率，且客户端通过与服务端的数据交互实现了检索规则的指定，从而交互性更强，对服务端的可控性更强，从而实用性更强。
[0093]本发明第二个实施例提供了一种视频分析检索系统。所述视频分析检索系统，包括相连的服务端和客户端，所述服务端为第一个实施例中所述的视频分析检索服务端。
[0094]所述服务端与客户端通过有线或无线网络相连，实现了用户对指定区域指定时间内视频的分析检索，具有分析检索效率高、检索信息全面，服务端架构合理，资源分配优化效果好等多重优点。所述客户端可以是手机、平板、个人电脑以及办公电脑等可用于有线和/或无线连接的终端设备。
[0095]本发明第三个实施例提供了一种视频分析检索方法。如图4所示，所述视频分析检索方法，包括:
[0096]一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征；在本实施例中所述视频采集端由摄像机构成，摄像机向一级服务器输出视频，一级服务器接收所述视频并存储，同时按检索规则提取视频中的目标特征并输出到二级服务器；所述检索规则可以是一级服务器内置或者从客户端输入的检索规则；
[0097]二级服务器接收所述目标特征，形成并存储目标特征索引。二级服务器接收目标特征，通过汇总、梳理的工作，形成目标特征索引，以便再次检索时用。
[0098]本实施例所述的视频分析检索方法，通过一级服务器按检索规则进行的智能分析，提取视频中的目标特征，二级服务器通过制定目标特征索引，从而能大大的降低重复的海量视频的解码、解析工作，从而提高了检索的效率。
[0099]具体的，所述二级服务器根据索引生成规则，对目标特征进行分类和疏离，进而形成所述目标特征索引。例如将接收到的目标特征索引分为人脸识别特征索引、运动轨迹特征索引、车牌识别特征索引等。所述索引生成规则，可以是预先设置在所述二级服务器中，也可以在生产目标特征索引时由外界输入的。
[0100]进一步地，所述一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征具体包括:
[0101]接收客户端输入的所述检索规则；
[0102]根据所述检索规则实时分析视频，并提取视频的目标特征；
[0103]对所述目标特征进行汇总，并输入到二级服务器；
[0104]接收并存储视频采集端输入的视频。
[0105]具体的如图5所示，第一步:客户端根据视频采集端的各摄像机实际场景设置一级服务器智能分析服务器需要完成哪些功能和哪些特征提取从而指定检索规则，并传输至所述一级服务器；所述一级服务器接收所述检索规则；如所述检索规则按照应用场景分为交通卡口检索规则、休闲区域检索规则以及人脸识别检索规则。
[0106]所述交通卡口检索规则:主要包括车牌识别功能(包含如车牌号码识别、车辆颜色识别)、车标识别、车辆类型识别、车速检测、车辆行驶方向识别等功能，同时提取车辆的类型、号码、颜色、车速、行驶方向等特征；
[0107]所述休闲区域检索规则:休闲区域主要是指园区、道路、广场内等休闲场所。主要包括行为分析功能(具体如检测周界入侵、拌线、徘徊、滞留、逆行、遗留物、移走、人数统计等功能)，人和车辆分类功能，(如行人——提取衣服颜色、衣服纹理、运动轨迹和触发事件等，再如车辆一提取车辆颜色、车型、行驶方向、运动轨迹和触发事件等)
[0108]人脸识别检索规则:近距离人脸识别场景，具体的如实时检测出视频中人脸位置，然后与人脸库进行比对，同时将每个人脸的目标特征提取出来，包括人脸特征、性别、年龄估计、表情识别、眼镜特征、胡子特征等。
[0109]第二步:一级服务器接收视频采集端所发送的视频，并根据上述客户端制定的检索规则，对视频进行检索。所述视频支持H264、MPEG-4、MJPEG等格式。一级服务器取到视频流以后进行解码，解码成YUV12等类型的图像。利用混合高斯建模等方法提取视频图像中的运动目标，并且跟踪其运动轨迹。
[0110]其中，若一级服务器采用的是交通卡口检索规则:一级服务器通过运动目标检测出车辆区域之后，先跟踪车辆运动轨迹，然后在车辆整体区域内用Sobel算子提取车辆区域纹理较丰富的部位，然后通过对车牌的先验知识，例如车牌区域灰度跳变比较活跃，水平和垂直投影等特征最终确定车牌所在区域。将车牌区域进行二值化处理，通过扫描方式确定车牌上边缘和下边缘，最终得到车牌字符区域。由于每个字符都有独立轮廓，所以可以按照轮廓搜索法对轮廓进行搜索，从左到右搜索出每个字符的区域，然后将字符放入已经训练好的人工神经网络模型中，得到每个字符识别结果。有了车牌区域就可以根据先验知识大概确定车身颜色所在区域，一般车牌的两边或者车牌上方翻盖上颜色比较准确。对于色彩鲜艳的车辆颜色提取比较准确，对于灰黑白车辆可以实行打分机制投票决定车辆颜色。车型可以通过运动目标大小来确定车辆类型。车速可以通过事先标定，在视频画面上标定两条直线，并且计算出这两条直线实际对应的距离，这样就能计算出每个像素代表实际距离，按照车辆经过这两条直线的时间，计算每秒钟车辆通过的像素数就可以换算出车辆的行驶速度。车标一般是在车牌的正上方，通过寻找车牌上方一定范围内的轮廓即可搜索到车标区域，取出该区域使用事先训练的模型进行识别车标。
[0111]若检索规则为休闲区域检索规则:一级服务器首先进行运动目标检测，然后跟踪运动目标轨迹，然后使用HOG特征模型检测运动目标是车辆还是行人。如果是行人在跟踪轨迹之后判断是否触发行为分析规则，例如是否行人重心坐标越过指定区域，或者行人的运动轨迹符合某个区域内的徘徊规则，如果满足条件则触发报警。同时跟踪目标轨迹过程中提取行人的相关特征，包括衣服颜色、运动方向、衣服纹理等。如果是车辆在跟踪其运动轨迹之后提取车辆的颜色、车辆类型特征、车辆行驶方向特征。
[0112]若检索规则为人脸识别检索规则:一级服务器首先进行运动目标检测，然后使用事先训练好的Haar特征检测模型在运动目标区域进行检测，如果符合人脸特征则提取该人脸区域，同时对人脸进行跟踪，提取人脸的眼睛、鼻子、下巴区域等，对人脸做进一步校正。提取人脸部位的高维特征，然后通过降维处理之后与人脸库存储的图像进行比对，如果满足条件则告警。人脸特征包括性别特征、表情特征、年龄特征、眼镜特征、胡子特征等。
[0113]这样运动目标轨迹和目标特征全部存放在第一级服务器中，第一级服务器同样存放视频录像。
[0114]第三步:将一级服务器中的目标特征按照目标向量形式汇总到二级服务器中，二级服务器生产目标特征索引，供后续客户端的检索。所述目标特征包括人、车的分类、行人特征(如是衣服颜色、头发颜色、头发长度、行人携带物品等)、车特征(车型、车牌号、行驶方向等)以及事件提取(是否闯红灯、越线、追尾事件)等。
[0115]当客户端需要对视频进行检索时，可以导入一张图片，并且在图片中给定感兴趣区域，同时明确导入的是车辆、行人或者人脸信息，由二级服务器进行处理后在目标特征索引中进行检索。视频检索客户端也可以输入语义描述，例如车牌号码或者穿红色上衣的人，在二级服务器中可以直接搜索到对应的目标。
[0116]进一步地，所述一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征还包括生成指定时间内视频的摘要视频。
[0117]如果客户端需要查看某路摄像机下某个指定时间段内的视频摘要，客户端可以直接提交给一级服务器，一级服务器可以按照之时间保存的目标信息以及视频录像叠加出视频摘要，不需要重新分析录像视频，视频摘要可以很快生成。
[0118]综合上述本实施例所述的视频分析检索方法，具有检索快捷方便等优点，服务端工作量小、工作效率高，且架构合理等优点。
[0119]进一步地，所述一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征还包括判断视频分析结果是否触发告警规则，
[0120]若是，则向外输出警告，
[0121]若否，则不动作。
[0122]具体的如交通要道地区的车辆闯红灯等，一级服务器在分析检索视频时发现，有车辆闯红灯，生成目标特征的同时，由于车辆闯红灯触发了告警规则，则向客户端或直接对外输出警告，值班交警根据发出的警告进行记录，通过追踪记录的车牌号追踪到驾驶员，对驾驶员进行相应的惩处，从而减轻了值班交警的工作强度，智能化高。
[0123]进一步地，所述视频分析检索方法还包括:
[0124]二级服务器接收客户端输入的检索信息；所述检索信息可以是自然语言、机械语言或图片、表格信息等服务器端可识别的语义；
[0125]二级服务器根据所述检索信息，根据检索信息进行检索并返回检索结果。二级服务器向客户端返回的可以是直接相对应的视频或者是相对应视频的存储地址，优选返回视频地址，这样二级服务器不用去读取一级服务器或视频采集端的视频，而是客户端直接读取，从而减少了数据流的中转，从而降低网络流量的堵塞。检索的结果至少有两种，一种是存在与检索信息相匹配的视频，则本实施例所述的服务端向客户端返回视频或视频存储地址；另一种是没有与检索信息相匹配的视频，则返回无相匹配视频的检索结果。
[0126]进一步地，所述视频分析检索方法，还包括:
[0127]二级服务器对目标特征索引进行分类，生成并输出分类索引；三级服务器接收并存储所述分类索引，接收客户端的检索信息，根据检索信息向客户端返回检索结果。
[0128]当二级服务器中所存储的目标特征索引的类别很多或数量很多或二级服务器的数量较多时，进行一次目标特征索引的检索的时间也较长，故为了进一步提高检索效率，通过引入三级服务器的分类索引的检索，可以在更短的时间内查找出与检索信息相关的目标特征索引，而无需将检索信息与全部的目标特征索引进行至少一次匹配，先将检索信息与分类索引进行匹配，找到相应的目标特征索引，再通过多个与检索信息相匹配的目标特征索引的匹配，找到相应的视频，检索效率进一步提高了。在具体的实施过程中，根据一级服务器存储的视频的量、二级服务器存储目标特征索引的量、三级服务器存储的分类索引的量以及检索细腻度等要求，可以再次增设四级服务器以及五级服务器，以便进一步的提高检索效率。在本实施例中优选三级服务器，以便同时兼顾检索效率与设备成本。
[0129]作为本实施例进一步的细化，所述检索规则为运动目标检测、目标跟踪、行为分析、人脸识别以及车牌识别中的一种或多种。
[0130]本领域普通技术人员将会理解，本发明的各个方面、或各个方面的可能实现方式可以被具体实施为系统、方法或者计算机程序产品。因此，本发明的各方面、或各个方面的可能实现方式可以采用完全硬件实施例、完全软件实施例(包括固件、驻留软件等等)，或者组合软件和硬件方面的实施例的形式，在这里都统称为“电路”、“单元”或者“系统”。此夕卜，本发明的各方面、或各个方面的可能实现方式可以采用计算机程序产品的形式，计算机程序产品是指存储在计算机可读介质中的计算机可读程序代码。
[0131 ] 计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质包含但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或者装置，或者前述的任意适当组合，如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPR0M或者快闪存储器)、光纤、便携式只读存储器(CD-ROM)。
[0132]计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在流程图中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
[0133]计算机可读程序代码可以完全在用户的计算机上执行、部分在用户的计算机上执行、作为单独的软件包、部分在用户的计算机上并且部分在远程计算机上，或者完全在远程计算机或者服务器上执行。也应该注意，在某些替代实施方案中，在流程图中各步骤、或框图中各块所注明的功能可能不按图中注明的顺序发生。例如，依赖于所涉及的功能，接连示出的两个步骤、或两个块实际上可能被大致同时执行，或者这些块有时候可能被以相反顺序执行。
[0134]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1.一种视频分析检索服务端，其特征在于，至少包括一级服务器和二级服务器； 所述一级服务器与视频采集端相连，用以存储所述视频采集端采集的视频，按检索规则提取并输出视频的目标特征； 所述二级服务器与所述一级服务器相连，接收所述目标特征，形成并存储目标特征索引。
2.根据权利要求1所述的视频分析检索服务端，其特征在于，所述一级服务器包括: 检索规则输入单元，接收客户端输入的所述检索规则； 分析检索单元，根据所述检索规则实时分析视频，并提取视频的目标特征； 目标特征输出单元，对所述目标特征进行汇总，并输入到二级服务器； 存储单兀，接收并存储视频米集输入的视频。
3.根据权利要求2所述的视频分析检索服务端，其特征在于，所述一级服务器还包括视频摘要生成单元； 所述视频摘要生成单元，用以生成指定时间内视频的摘要视频。
4.根据权利要1、2或3所述的视频分析检索服务端，其特征在于，所述二级服务器根据索引生成规则，对所述目标特征进行分类，形成所述目标特征索引。
5.根据权利要求1-4任一项所述的视频分析检索服务端，其特征在于，所述二级服务器包括: 检索信息输入单元，接收客户端输入的检索信息； 检索单元，用以存储目标特征索引，根据所述检索信息进行检索并返回检索结果。
6.根据权利要求5所述的视频分析检索服务端，其特征在于，所述检索信息输入单元包括图片检索信息输入模块以及语义检索信息输入模块。
7.根据权利要求1-6任一项所述的视频分析检索服务端，其特征在于，还包括三级服务器； 所述二级服务器还用以对目标特征索引进行分类，生成并输出分类索引； 所述三级服务器与所述二级服务器相连，用以接收并存储所述分类索引，接收客户端的检索信息，根据检索信息向客户端返回检索结果。
8.一种视频分析检索系统，包括相连的服务端和客户端，其特征在于，所述服务端为权利要求1-7任一所述的视频分析检索服务端。
9.一种视频分析检索方法，其特征在于，包括: 一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征； 二级服务器接收所述目标特征，形成并存储目标特征索引。
10.根据权利要求9所述的视频分析检索方法，其特征在于，所述一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征具体包括: 接收客户端输入的所述检索规则； 根据所述检索规则实时分析视频，并提取视频的目标特征； 对所述目标特征进行汇总，并输入到二级服务器； 接收并存储视频采集端输入的视频。
11.根据权利要求10所述的视频分析检索方法，其特征在于，所述一级服务器存储视频采集端采集的视频，按检索规则提取并输出视频的目标特征还包括生成指定时间内视频的摘要视频。
12.根据权利要求9、10或11所述的视频分析检索方法，其特征在于，所述二级服务器根据索引生成规则，对所述目标特征进行分类，形成所述目标特征索引。
13.根据权利要求9-12任一项所述的视频分析检索方法，其特征在于，所述二级服务器在形成并存储目标特征索引之后还包括: 接收客户端输入的检索信息； 根据所述检索信息，根据检索信息进行检索并返回检索结果。
14.根据权利要求9-13任一项所述的视频分析检索方法，其特征在于，还包括: 二级服务器对目标特征索引进行分类，生成并输出分类索引； 三级服务器接收并存储所述分类索引，接收客户端的检索信息，根据检索信息向客户端返回检索结果。
【文档编号】G06F17/30GK104239309SQ201310228198
【公开日】2014年12月24日 申请日期:2013年6月8日 优先权日:2013年6月8日
【发明者】王 华, 白锦华 申请人:华为技术有限公司