用存储空间状况，在任务分配过程中对多台PSU的存储空间自动平衡。
[0035]为了保证数据安全和增强异常应对能力，并且在安全与效率之间进行均衡，本系统采用了冗余备份机制。其中，如图1所示，系统设置2个用于存储关键元数据的PSU-Master，2个PSU-Master当中一个是主机，另一个是备机，备机对主机执行1+1热备份，随时保证当主机异常时可切换至作为备机的PSU-Master，维持系统正常运行，并且保证系统的关键元数据不丢失。
[0036]对于可视化监控所产生的图片数据，本系统支持对其创建I至5个副本级别的冗余备份。PSU-Master通过数据流元数据的备份登记信息记录该数据流是否冗余备份、冗余备份的副本级别以及冗余备份的数据流部分。由于本系统对图片数据不是基于文件体系进行存取和管理，而是基于数据流进行存取与管理，因此通过数据流元数据实现的冗余备份管理也是比较简单的，而且冗余备份的精细度更高，可以针对图片流中的特定时段部分执行冗余备份。对于需要冗余备份的数据流部分，PSU-Master利用存储空间的分配映射将该部分及其至少一个副本分别存储在不同的PSU。并且，PSU-Master通过存储单元元数据配置每个PSU节点的硬盘空间分配，指定预定存储空间作为冗余备份空间，以便保证充足的冗余备份空间，能够随时实现多个副本物理分离的冗余备份模式。
[0037]本系统中智能抓拍设备等数据源输出数据流，经过PSU-Master对其进行存储空间的分配映射后，通过数据传输通道将该数据流传输到相应的PSU进行存储。由于本发明不采用通用文件系统，因此数据流中的图片数据也就不像Hadoop系统一样以单个图片文件为单位进行存储。相反，数据流中的图片数据被划分为特定大小的数据块，通过块式组织实现其到磁盘的写入，由于不需要组织为文件，因此可以支持将数据块直接写入磁盘裸盘，实现数据块的直写技术，加快了写入速度，降低了数据拥塞和丢失的风险。而且，在图片数据的循环删除过程中，由于采用了流式的数据结构，能够完全克服文件碎片问题；能够优化读写，尽可能实现磁盘1顺序读写。
[0038]本系统所采用的数据节点PSU采用了具有理想性能的网络硬盘提供云存储空间，保证每个数据的读写操作ACID，即保证原子性(Atomicity)、一致性(Consistency)、隔离性(Isolat1n)、持久性(Durability)。具有理想的异常处理性能，设备供电异常中断恢复后，能够自行重新启动并进入可服务状态，自检时间小于2分钟。
[0039]综上，本系统专门面向公安、交通等可视化监控系统通过智能抓拍等手段生成的海量图片数据，提供了图片专属安全存储云系统，可作为可视化监控的图片存储平台，基于HTTP或FTP等多种协议实现对多种客户端应用的业务支撑。本系统根据可视化监控过程中图片数据持续性生成的实际特点，通过数据流的形式对图片数据加以组织，形成流式的数据存取过程，并且以数据流为对象构建元数据，极大简化了元数据的规模和管理开销，相对于现有技术的Hadoop系统基于文件的元数据体系更加适应图片数据的特点。由于不以文件为单位组织数据，本发明能够在流式写入的方式下以块为单元实现图片数据的磁盘直写，提高了存取效率，减少了磁盘碎片，降低了系统维护成本。本发明对存储关键元数据的节点实行1+1冗余热备，而对于海量图片数据可根据实际需要进行灵活的冗余备份配置，实现了安全性与存储空间利用效率的统一。通过将本发明对接到现有的可视化监控系统，能够有效提升图片数据存储、维护、应用的存取速度，节约运行成本，降低故障风险，维护数据安全。
[0040]以上实施例仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
【主权项】
1.一种图片专属安全存储云系统，应用与对可视化监控生成的图片数据的存储，其特征在于，包括:两个元数据节点以及多个数据节点；其中 所述元数据节点用于存储极少量的元数据，并利用所述元数据实现所述图片数据至数据节点的存储空间的分配映射，管理配置各个数据节点的属性和实时状态；并且，所述元数据节点提供访问所述图片数据的入口，接收并响应客户端的访问请求，并且根据所述元数据确定客户端所请求的图片数据所对应的存储空间，将响应访问请求的任务分配至提供该存储空间的数据节点； 所述数据节点用于提供用于实现对图片数据的物理存储与访问的存储空间，获得图片数据，并且根据所述元数据描述的图片数据至数据节点的存储空间的分配映射存储图片数据，以及按照元数据节点分配的任务，以图片流的形式向客户端反馈其所请求访问的图片数据。2.根据权利要求1所述的图片专属安全存储云系统，其特征在于，所述元数据节点将至少一个数据源生成的图片数据作为数据流，为每个数据流建立相对应的元数据；所述元数据用于描述该数据流的图片数据至数据节点的存储空间的分配映射；并且，所述元数据还进一步描述了该数据流的附加信息。3.根据权利要求2所述的图片专属安全存储云系统，其特征在于，所述附加信息包括:数据流对应的监控点位、图片存储时长、图片分辨率、空间占用状况、平均流量、支持访问协议类型以及数据流分层信息。4.根据权利要求1所述的图片专属安全存储云系统，其特征在于，所述元数据节点为各数据节点建立和维护存储单元元数据，所述存储单元元数据用于配置数据节点的属性以及更新数据节点的状态。5.根据权利要求4所述的图片专属安全存储云系统，其特征在于，存储单元元数据包括数据节点的读写属性配置信息，所述读写属性配置信息用于配置任一数据节点的读写属性，所述读写属性包括“可读可写”以及“只读”选项。6.根据权利要求1所述的图片专属安全存储云系统，其特征在于，所述元数据节点用于建立并维护系统全局元数据；所述系统全局元数据用于对整个云存储系统的磁盘使用、数据量吞吐、CPU占用、数据读写、空间占用等状态进行监控，以及对系统节点构成和存储空间分配进行配置。7.根据权利要求1所述的图片专属安全存储云系统，其特征在于，所述元数据节点在发生数据节点的在线动态增减的情况下重新登记系统的数据节点构成，重新计算可用存储空间，并且相应更新系统全局元数据。8.根据权利要求1所述的图片专属安全存储云系统，其特征在于，所述两个元数据节点当中一个是主机，另一个是备机，备机对主机执行1+1热备份。9.根据权利要求1所述的图片专属安全存储云系统，其特征在于，所述元数据节点通过数据流的元数据的备份登记信息，记录该数据流是否冗余备份、冗余备份的副本级别以及冗余备份的数据流部分。10.根据权利要求1所述的图片专属安全存储云系统，其特征在于，所述数据流经过所述元数据节点对其进行存储空间的分配映射后，通过数据传输通道将该数据流传输到相应的数据节点，并且数据流中的图片数据被划分为特定大小的数据块，并将数据块直接写入 磁盘裸盘。
【专利摘要】本发明提供了一种图片专属安全存储云系统，应用与对可视化监控生成的图片数据的存储，包括两个元数据节点以及多个数据节点，其中所述元数据节点用于存储极少量的元数据，并利用所述元数据实现所述图片数据至数据节点的存储空间的分配映射，管理配置各个数据节点的属性和实时状态，提供访问所述图片数据的入口；所述数据节点用于提供用于实现对图片数据的物理存储与访问的存储空间，以图片流的形式向客户端反馈其所请求访问的图片数据。本发明适应应用场景特点，并且根据维护图片数据安全的实际需求，构建了统一的图片专属云存储系统架构和数据存取管理模型，具有安全、高效的优点。
【IPC分类】G06F17/30
【公开号】CN105095439
【申请号】CN201510438198
【发明人】王新杰, 黄锋, 向前涌
【申请人】浙江立元通信技术股份有限公司
【公开日】2015年11月25日
【申请日】2015年7月23日