用的业务支撑。本系统根据可视化监控过程中图片数据持续性生成的实际特点，通过数据流的形式对图片数据加以组织，形成流式的数据存取过程，并且以数据流为对象构建元数据，极大简化了元数据的规模和管理开销，相对于现有技术的Hadoop系统基于文件的元数据体系更加适应图片数据的特点。由于不以文件为单位组织数据，本发明能够在流式写入的方式下以块为单元实现图片数据的磁盘直写，提高了存取效率，减少了磁盘碎片，降低了系统维护成本。本发明对存储关键元数据的节点实行1+1冗余热备，而对于海量图片数据可根据实际需要进行灵活的冗余备份配置，实现了安全性与存储空间利用效率的统一。通过将本发明对接到现有的可视化监控系统，能够有效提升图片数据存储、维护、应用的存取速度，节约运行成本，降低故障风险，维护数据安全。
【附图说明】
[0023]图1为本发明实施例所述的图片专属安全存储云系统整体架构示意图。
【具体实施方式】
[0024]下面通过实施例，并结合附图，对本发明的技术方案做进一步具体的说明。
[0025]图1是本发明实施例的图片专属安全存储云系统整体架构示意图。该云存储系统包括2个作为元数据节点的PSU-Master (图片专属安全存储主机，Picture SpecifiedSecurity Storage Unit-Master)和多个作为数据节点的PSU(图片专属安全存储单元，Picture Specified Security Storage Unit)。2 个元数据节点 PSU-Master 米用 1+1 热备份架构，用于存储极少量关键元数据，实现图片数据至数据节点存储空间的分配映射，管理各个数据节点PSU的属性与进出动态，并且通过元数据节点PSU-Master提供用户访问的入口 ；数据节点PSU提供存储空间，实现图片数据的块方式的物理存储与访问，可动态加载与退出，接受PSU-Master的调度管理。
[0026]本发明所述的图片专属安全存储云系统相对于现有Hadoop系统的重要改进在于建立了基于数据流的元数据体系并支持流式的数据读写方式从而代替了 Hadoop系统当中基于文件的元数据体系及文件化的读写方式。
[0027]在可视化监控系统当中，智能抓拍设备作为主要数据源，会按照固定或者非固定的频率源源不断地采集并生成相同格式以及相似大小的图片数据，因此其输出的图片数据整体可以作为一数据流加以管理及应用。如【背景技术】当中所述，如果按照Hadoop系统的模型，将每一帧图片生成为图片文件并且建立相应的元数据，则会形成海量的元数据规模，再加上频繁的图片删除作业所造成的元数据更新，会给云存储系统的元数据节点造成难以承受的负荷，直至造成整个系统的低效甚至过载。相反，本发明通过基于所述数据流的元数据体系，显著缩减了元数据的规模，并且降低了由删除等作业所带来的元数据更新的开销。这使得PSU-Master仅需要存储极少量的元数据，并且执行相对Hadoop来说明显减少的元数据更新操作。
[0028]如图1所示，元数据节点PSU-Master建立与数据源之间的管理信息专用通道，并且数据节点PSU与数据源之间建立了数据传输通道。PSU-Master可将每个数据源所生成的图片数据整体作为一个数据流，为每个数据流建立相对应的元数据；PSU-Master也可将若干数据源所生成的图片数据归并为一个数据流，并且针对归并后的数据流建立相应的元数据。
[0029]基于数据流的元数据描述了该数据流的图片数据至数据节点PSU的存储空间的分配映射，从而可基于元数据将数据流的图片数据写入所分配的数据节点PSU的存储空间，并且基于映射执行对图片数据的流式读取、更改以及删除等操作，具体的图片数据存取方式将在下文中详加介绍。基于数据流的元数据还进一步描述了该数据流的附加信息，包括数据流对应的监控点位、图片存储时长、图片分辨率、空间占用状况、平均流量、支持访问协议类型(如FTP、HTTP等)等。本系统对于数据流可以支持分层存储，即为该数据流存储具有不同质量等级的多层图片数据，例如对于同一抓拍画面，所生成的低层图片数据具有较低的分辨率等质量等级，相应其数据量较少，高层图片数据具有较高的分辨率等质量等级以及较大的数据量；分层后的数据流可以满足不同等级的应用场景需求，某些应用场景(例如移动应用)可以只调用该数据流中的低层图片数据以便节约数据传输流量；基于数据流的元数据可以描述该数据流是否分层存储以及分层设置信息。
[0030]数据节点PSU通过所述数据传输通道从数据源获得数据流的实际图片数据，并且按照数据流的元数据描述，在PSU的相应存储空间执行对实际图片数据的存储，从而提供了对图片数据的物理存储与访问。
[0031]本系统支持客户端通过网络实现对图片数据的流式访问读取。如图1所示，客户端首先向作为访问入口的元数据节点PSU-Master发起访问请求，本系统支持FTP、HTTP等各种网络协议下的访问，并且能够提供对图片数据按抓拍设备监控点位、监控通道、监控时间段等请求查找、实时访问及打包下载。PSU-Master响应客户端的请求，根据元数据描述的数据流附加信息及分配映射，确定客户端请求的图片数据所对应的存储空间，并将响应访问请求的任务分配至提供该存储空间的数据节点PSU;如果客户端所请求的图片数据被分别存储于由多个数据节点PSU提供的存储空间，则PSU-Master将响应访问请求的任务并行分配至相应的多个PSU。数据节点PSU根据所分配的任务，以图片流的形式向客户端反馈其所请求的图片数据；如果由多个PSU执行反馈，则形成传输至客户端的并行图片流。由于本系统不是按照Hadoop系统的方式以文件为单位组织和存取数据，而是基于数据流构建元数据进行图片数据的组织，从而也就不需要以文件为单位向客户端传输图片数据，而是能够方便地支持图片流的形式读取访问，即根据元数据从PSU保存的数据流中截取客户端所请求的部分并以流的形式将数据传输至客户端。
[0032]元数据节点PSU-Master基于数据流构建和管理元数据，相对于Hadoop系统面向文件建立和管理元数据的方式，能够显著缩减元数据规模，降低对元数据应用、更新与管理的开销。虽然可视化监控系统不断产生海量级的图片数据，但是按照监控点位等方式整合图片数据所形成的数据流的数量明显减少且基本保持稳定，因而PSU-Master只需要面向各数据流构造并保存极少数量的关键元数据，用来管理对各数据流的存储空间分配及实时状况监控。另外，对于数据流中的图片数据循环删除，由于这期间数据流依然保持稳定，所以本发明并不会像Hadoop系统一样发生文件相关元数据频繁更新，也不需要涉及存储空间的重新分配，而是只需要变更数据流元数据当中的少数附加信息项，所以管理开销显著降低。
[0033]元数据节点的PSU-Master还负责对各个数据节点PSU的属性及实时状态进行必要的管理。元数据节点的PSU-Master为各数据节点PSU建立和维护存储单元元数据，存储单元元数据支持系统管理功能，监控保存并且实时更新各数据节点PSU的属性与状态。存储单元元数据包括数据节点PSU的读写属性配置信息，通过维护该读写属性配置信息，可以配置系统中任一 PSU的读写属性，包括“可读可写”和“只读”等选项，PSU-Master可在必要时变更特定PSU的读写属性，例如将存储单元元数据的读写属性配置信息设置为“只读”以保证全局数据安全。PSU-Master还负责建立并维护系统全局元数据，通过该系统全局元数据对整个云存储系统的磁盘使用、数据量吞吐、CPU占用、数据读写、空间占用等状态进行监控，对系统节点构成和存储空间分配进行配置。
[0034]为了调整与扩充云存储空间，本系统支持数据节点PSU的在线动态增减，从而允许云存储空间的弹性扩容。当系统内集成的数据节点PSU发生变化后，PSU-Master会重新登记系统的PSU数据节点构成，重新计算可用存储空间，相应更新系统全局元数据。并且，PSU-Master会根据可