一种图片专属安全存储云系统的制作方法
【技术领域】
[0001]本发明涉及与可视化监控相关的信息技术领域，尤其涉及一种图片专属安全存储云系统。
【背景技术】
[0002]目前，在平安城市、智慧交通等可视化监控系统的建设中，会涉及到大量的图片数据存储。随着可视化监控系统布设前端点位的增多以及图片存储时长的增长，图片存储占用的容量急剧上升，如某些地市一天的卡口监控所摄制图片可达3000万张，按每张IMB计算，一个月就需要近1000TB的存储空间。
[0003]对于图片数据的存储，常规的做法，是以数据存储通用的文件系统为基础，在系统后台的服务器上直接进行图片文件存储。有些技术是采用FTP服务器或者WEB服务器方式进行数据存取，有些是采用NFS/CIFS协议文件共享的方式实现到服务器的直接存取。这样的方式简单直接，但随着图片容量的极速增长以及对图片存储存取性能、可靠性的更高要求，因技术上固有的瓶颈，此类方案越来越力不从心。
[0004]具体来看，上述现有技术目前出现的缺陷包括:首先，所采用的通用文件系统在文件数量急剧增长后，访问效率急剧下降；同时，伴随着新旧文件的不断增删，磁盘碎片会越来越多，导致访问效率进一步恶化。其次，如果出现主机异常断电等非正常停机情况，开机后文件系统的长达数小时的自检时长也会是一个灾难。而且，为了应对容量及性能的瓶颈，常规做法是手动划定某些前端点位来源的图片存储在某预定的服务器上，但这样带来的问题是无法统筹管理所有的存储空间，无法动态调度分配，无法对该服务器的剩余存储空间动态均衡，造成存储空间的浪费且无法冗备，难以动态弹性扩容。
[0005]伴随着以Hadoop为代表的云存储技术的发展，部分现有的可视化监控系统提出以云存储系统作为后台支撑海量图片数据的存储，旨在利用云存储的技术优势，缓解存储空间上的压力，尽可能提高数据存取应用的效率，并且保障数据安全性。
[0006]云存储是当前云技术(CLOUD)较为成熟的一个重要分支，其核心是将大量分散和异构的存储设备通过网络连接和整合为统一的存储空间，利用通用的外部访问接口，提供数据存储业务。
[0007]目前，云存储系统对海量数据的存取和管理主要基于比较成熟的Hadoop分布式文件系统。Hadoop系统将整个云存储系统构造为数据节点、元数据节点、以及客户端。其中，大量和分散的存储设备作为数据节点，以文件为单元执行对数据的实际存储，支持数据的存取应用，并且将文件相关的信息定期上报给元数据节点。元数据节点是主节点，其功能一方面是根据数据节点上传的信息生成以及保存所述文件的元数据，元数据反映了所述文件到实际存储空间的映射，另一方面，元数据节点负责响应客户端的请求而执行对文件的操作，其中最基本的操作是文件的读取，还包括文件的删除、重命名以及其它目录操作。数据节点对文件的上述操作会造成文件相关信息的改变，因而需要相应地更改元数据节点上与操作所涉及文件相关的元数据。在数据安全性方面，Hadoop系统采用文件副本的方式执行冗余备份，将一个文件生成为三个副本并分布存储于不同的数据节点之上，当一个文件副本出现问题时可以利用其它副本即时予以恢复。
[0008]然而，将Hadoop分布式文件系统基础上的云存储系统应用到可视化监控的海量图片文件存储，仍然会出现问题。首先，可视化监控所产生的图片数据具有海量级的文件数量和轻量级的文件大小，例如上文所述，城市的可视化监控系统一天可能产生3000万个大小为IM左右的图片文件，在Hadoop分布式文件系统的体系之下需要为海量级的图片文件生成、保存以及更新管理各个文件的元数据，将造成元数据数据规模的泛滥以及元数据体系的复杂化，给基于元数据的文件存取和操作带来困难。其次，可视化监控特殊的应用场景造成其与Hadoop系统模式的不兼容，Hadoop系统适用的常规云存储模式是:文件一次写入、很少删除、多次读取；而在可视化监控应用当中图片文件需要一次写入、循环删除、多次读取。两者最大的区别在于“删除”操作的频率，因为在可视化监控的场景下，随着时间的不断推移，图片文件会无限的产生，因此必须循环删除生成时间上靠前的图片文件，从而腾出存储空间。但是，频繁的删除操作会带来元数据管理的巨大开销，这也是Hadoop系统在处理此类问题时的“短板”。再次，Hadoop系统为了强化数据安全而给出的冗余备份方案建立三个副本，耗费过多的存储空间，在可视化监控的数据量级下难以实际采纳。
【发明内容】
[0009]为了克服上述现有技术存在的缺陷，本发明提供了一种图片专属安全存储云系统。本系统针对可视化监控中海量级图片数据规模，适应其具有的“一次写入、循环删除、多次读取”的应用场景特点，并且根据维护图片数据安全的实际需求，构建了统一的图片专属云存储系统架构和数据存取管理模型，专门适用于公安、交警等可视化监控的图片数据云存储，具有安全、高效的优点。
[0010]本发明提供的一种图片专属安全存储云系统，应用与对可视化监控生成的图片数据的存储，其特征在于，包括:两个元数据节点以及多个数据节点；其中
[0011]所述元数据节点用于存储极少量的元数据，并利用所述元数据实现所述图片数据至数据节点的存储空间的分配映射，管理配置各个数据节点的属性和实时状态；并且，所述元数据节点提供访问所述图片数据的入口，接收并响应客户端的访问请求，并且根据所述元数据确定客户端所请求的图片数据所对应的存储空间，将响应访问请求的任务分配至提供该存储空间的数据节点；
[0012]所述数据节点用于提供用于实现对图片数据的物理存储与访问的存储空间，获得图片数据，并且根据所述元数据描述的图片数据至数据节点的存储空间的分配映射存储图片数据，以及按照元数据节点分配的任务，以图片流的形式向客户端反馈其所请求访问的图片数据。
[0013]优选的是，所述元数据节点将至少一个数据源生成的图片数据作为数据流，为每个数据流建立相对应的元数据；所述元数据用于描述该数据流的图片数据至数据节点的存储空间的分配映射；并且，所述元数据还进一步描述了该数据流的附加信息。
[0014]进一步优选的是，所述附加信息包括:数据流对应的监控点位、图片存储时长、图片分辨率、空间占用状况、平均流量、支持访问协议类型以及数据流分层信息。
[0015]优选的是，所述元数据节点为各数据节点建立和维护存储单元元数据，所述存储单元元数据用于配置数据节点的属性以及更新数据节点的状态。
[0016]更进一步优选的是，存储单元元数据包括数据节点的读写属性配置信息，所述读写属性配置信息用于配置任一数据节点的读写属性，所述读写属性包括“可读可写”以及“只读”选项。
[0017]优选的是，所述元数据节点用于建立并维护系统全局元数据；所述系统全局元数据用于对整个云存储系统的磁盘使用、数据量吞吐、CPU占用、数据读写、空间占用等状态进行监控，以及对系统节点构成和存储空间分配进行配置。
[0018]优选的是，所述元数据节点在发生数据节点的在线动态增减的情况下重新登记系统的数据节点构成，重新计算可用存储空间，并且相应更新系统全局元数据。
[0019]优选的是，所述两个元数据节点当中一个是主机，另一个是备机，备机对主机执行1+1热备份。
[0020]优选的是，所述元数据节点通过数据流的元数据的备份登记信息，记录该数据流是否冗余备份、冗余备份的副本级别以及冗余备份的数据流部分。
[0021]优选的是，所述数据流经过所述元数据节点对其进行存储空间的分配映射后，通过数据传输通道将该数据流传输到相应的数据节点，并且数据流中的图片数据被划分为特定大小的数据块，并将数据块直接写入磁盘裸盘。
[0022]本系统专门面向公安、交通等可视化监控系统通过智能抓拍等手段生成的海量图片数据，提供了图片专属安全存储云系统，可作为可视化监控的图片存储平台，基于HTTP或FTP等多种协议实现对多种客户端应