(如分析人脸、动作、行为等等)。视频库控制器负责执行相关的视频存储处理策略，并将对应的视频转发给相关的视频组合器12。应用服务器接口模块604接收来自其他应用类服务器(如应用服务器11，检索服务器13等)发来的视频的使用情况和应用配置信息，并将这些参考信息发送给视频库处理参考策略库605。与此同时，它还可以负责将对应的视频或者图片按照要求转发给相应的应用类服务器。视频库处理参考策略库605负责存储当前系统中接入的各类视频的存储处理策略。
[0039]图7是本发明中应用服务器11的内部主要模块结构。该服务器至少包括与分析服务器的接口 701，用以转发各种内容使用情况参考给分析服务器11以及有选择地接收一些视频内容。视频内容使用情况监控702负责监控所服务的应用对于系统中各路视频调用的情况。应用配置模块703负责存储所服务的应用对于系统中视频内容的调用需求。为了完成本发明中所述的方法，系统中所有其他应用类服务器(如检索服务器13)至少包括这三个模块。
[0040]图8是本发明中视频组合器12的内部主要模块结构。其中至少包括组合策略执行控制模块801，用以存储接收来自其他设备的视频存储处理策略，并控制设备内其他处理模块。视频片段接收模块802用以从其他设备接收用以存在对应视频库5中的视频片段。视频处理模块803用以根据视频存储处理策略对各个视频片段进行处理。可能的处理包括转码(转换格式、变换码率)，变换视频显示大小，降低视频帧率，或者进行视频摘要等。视频复用模块804用以将处理后的单独视频片段进行存储复用，形成最终存储在视频库5中的整体视频片段。每个视频点段的大小可能会不同，一般以基础的视频帧组(Group ofPicture, GOP)为单元进行整合。
[0041]图9是本发明中前端服务器9的内部主要流程。在开始步骤S901之后，前端服务器9首先从对应的分析服务器10接收本地视频存储策略S902。然后开始从摄像头I等前端设备循环接收视频流S903。之后前端服务器9会对所负责的各路视频流进行事先配置的视频预分析S904。这里的分析一般是轻量级的视频分析，用以区分完全没有视频事件和有视频事件的视频片段。对于分析后的视频片段，判断其是否可能有视频事件S905。如果有视频事件，那么向相关的视频分析服务器10发送该视频片段S906。如果没有视频事件，则确定对于该视频片段的存储处理策略，并向对应的视频组合器5统一发送存储处理策略和视频片段S907。最后，如果判断服务继续进行S908，则重复S902?S907的流程。否则退出服务S909。本图中的流程对于图4所示的视频监控系统架构不是必须的。
[0042]图10是发明中分析服务器10的内部主要流程。开始步骤S1001后，需要首先动态收集来自各类应用服务器和配置的参考信息，对当前视频通道建立视频组合策略集(一系列视频存储处理策略)S1002,并发送给对应的前端服务器9。之后开始从前端服务器9循环接收发送来的视频片段S1003。这些视频片段经过前端服务器9的预分析，已经明确知道这些视频片段中存在视频事件。然后进行详细的视频分析S1004。根据分析的结果确定当前视频片段的处理策略S1005。并在步骤S1006中执行策略将存储处理策略和相应的视频片段转发给对应的视频组合器12。最后判断是否继续处理其他后续片段S1007，如果继续服务，重复S1002到S1007的流程。否则停止服务S1008。
[0043]图11是发明中视频组合器12的内部主要流程。在服务开始后S1101，首先从对应的前端服务器9或者视频分析服务器10接收对应视频通道的存储组合策略S1102。之后，开始接收视频片段S1103，针对视频片段的内容开始处理或者组合复用成为最终视频片段S1104。并向对应的视频库5发送这些处理和组合复用后的视频片段S1105。最后判断是否结束服务S1106。如果结束，则完成S1007。否则重复S1003到S1006的流程。
[0044]图12是本发明中各个设备间的信令流程。其中前端几台设备及相关的流程对于类型2结构(图4中所示的视频监控系统架构)不是必须的。首先应用类服务器13向对应的视频分析服务器10反馈视频内容的使用情况和应用配置信息作为参考1201。之后，视频分析服务器10建立视频存储策略集/库1202，并将这些策略发送给前端服务器2和其他视频组合器121203。在这之后，整个系统开始从摄像头I等如端设备接收视频流1204。在iij端服务器9进行预分析并决定本地存储处理策略1205。不带有视频事件的视频片段被发送给本地视频组合器12处理1206，同时伴有对应的处理策略索引1207。在视频组合器12中经过处理和组合复用后1208，结果被放在本地的视频库5中1209。有视频事件的视频片段被发送给中心侧的视频分析服务器10处理1210。经过分析后的视频，按照视频事件的类型决定存储处理策略1211。带视频事件的视频片段被发送给中心侧本地视频组合器12处理1212，同时伴有对应的处理策略索引1213。视频组合器12中经过处理和组合复用后1214，结果被放在本地的视频库5中1215。
[0045]图13是一个典型的应用场景。假设某前端服务器9服务三台摄像头1，取得三路视频流。在服务之初，视频分析服务器集群10从应用类服务器13接收相关的统计及应用配置信息1301，生成存储处理策略集/库后，发送给其他设备1302。在某一时间段，每路视频流中都有4个场景。在接收到视频流后1303，前端服务器9首先进行预分析，发现视频片段1-4与1-3，以及2-2和2-1中，肯定不会有任何视频事件。这几个片段及对应的策略被发送给本地的视频组合器12处理1304。处理后的结果发送给本地视频库1305。由于这些视频没有事件，所以会选择极大降低视频片段的码率、帧率和大小。并将同一视频通道相邻事件的片段复用在一起形成最终视频片段Cl和C2。可能有视频事件的内容被发送给视频分析服务器10处理1306。基于分析后的结果选择的处理策略伴随着对应视频片段发送给视频组合器12处理1307。根据事件的类型、通道和事件信息以及策略信息，进行存储处理和组合后的结果被发送给中心侧视频库5进行存储1308。在这里，中心侧视频库所存储的内容比较中，具备实现定义的一些视频事件，所以存储的内容必须保证清晰度，码率、帧率和大小都比较好。由此完成了视频监控系统中视频存储的优化和处理的整个流程。
[0046]在本实施例当中，应用发明中所提及的方法和设备，可以显著降低视频库中所需要存储的视频数据总量，节省存储资源。同时，通过分级的存储，将优先级低不存在事件的视频内容存储在低成本本地视频库中，只有高优先级和重要事件的内容才会在高成本的中心存储留存。通过这种方式，可以进一步降低成本，同时大大降低大量视频在系统中进行调度转移的概率。此外，通过以事件为中心的视频动态分层分片优化存储，一方面可以面向应用快速高效低成本地提供视频内容，另一方面可以将系统中调度转移视频内容的效率(只有所需要的视频片段会被调度)提高。
【主权项】
1.一种视频存储控制和优化的装置，其特征在于，具有: 组合策略执行控制单元，从前端服务器或分析服务器接收对应视频通道的存储组合策略； 视频流接收单元，从前端服务器或分析服务器接收视频流； 视频处理单元，根据上述存储组合策略对接收到的视频流进行处理；以及视频复用单元，将经过上述视频处理单元处理后的视频流进行整理组合，生成用于最终存储的整体视频片段，并按照上述存储组合策略将该生成的整体视频片段发送给不同级别的视频库以便进行存储。
2.一种视频监控系统，其特征在于，具有: 多个摄像头，用来获取视频流； 监控中心，至少包括视频分析服务器、应用服务器和检索服务器中的某一个，经由网络与多个摄像头相连； 权利要求1所述的视频存储控制和优化的装置，经由网络与监控中心相连；以及视频库，根据上述视频存储控制和优化的装置的优化结果，对生成的整体视频片段进行存储。
3.根据权利要求2所述的视频监控系统，其特征在于， 还包括多个前端服务器，对从多个摄像头获取的视频流进行预处理以及汇集和管理。
4.根据权利要求2所述的视频监控系统，其特征在于， 所述视频库采用分级部署或集中部署。
5.一种视频存储控制和优化的方法，其特征在于，包括以下步骤: 组合策略接收步骤，从前端服务器或分析服务器接收对应视频通道的存储组合策略； 视频流接收步骤，从前端服务器或分析服务器接收视频流； 视频处理步骤，根据上述存储组合策略对接收到的视频流进行处理和整理组合，生成用于最终存储的整体视频片段；以及 视频存储步骤，按照上述存储组合策略，将经过处理和整理组合后的上述整体视频片段分别存储于不同级别的视频库。
【专利摘要】本发明提供一种视频存储控制和优化的方法及其装置、视频监控系统。视频存储控制和优化的装置具有：组合策略执行控制单元，从前端服务器或分析服务器接收对应视频通道的存储组合策略；视频流接收单元，从前端服务器或分析服务器接收视频流；视频处理单元，根据上述存储组合策略对接收到的视频流进行处理；以及视频复用单元，将经过上述视频处理单元处理后的视频流进行整理组合，生成用于最终存储的整体视频片段，并按照上述存储组合策略将该生成的整体视频片段发送给不同级别的视频库以便进行存储。
【IPC分类】H04N21-845, H04N7-18, H04N5-76
【公开号】CN104767964
【申请号】CN201410007893
【发明人】杨鹏, 吴鲁
【申请人】株式会社日立制作所
【公开日】2015年7月8日
【申请日】2014年1月8日