一种数据存储平台智能监控方法与流程

本发明属于数据安全，具体来说，涉及一种数据存储平台智能监控方法。

背景技术：

1、随着互联网技术的快速发展，各个行业的数据都在膨胀，大数据技术诞生以后，行业数据就在不断的相互整合，从大数据中寻找商机。很多企业都在大数据背景下创建了大数据集群、高存储服务器，方便数据运算、数据存储。然后衍生出分布式存储系统或平台，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

2、在申请号为cn201911207128.4中，公开了一种分布式存储监控方法，包括：获取目标分布式存储集群的基础信息，所述基础信息的类型包括集群名称、集群版本、集群容量、集群运行状态；获取所述目标分布式存储集群的服务信息，所述服务信息的类型包括文件服务信息、块服务信息、对象服务信息、大数据信息；获取所述目标分布式存储集群的运维参数信息，所述运维参数信息包括告警信息、节点信息、性能值；在一个显示界面上显示所述基础信息、所述服务信息及所述运维参数信息。能在一定程度上解决如何提高用户对分布式存储集群的性能监控效率的技术问题。

3、现有技术中的缺陷在于，上述专利仅对目标分布式存储平台或系统的性能指数上实现监控的效果，并无法从根本上对分布式存储平台或系统存储数据的安全性实现实时监测的效果。

技术实现思路

1、针对现有分布式存储平台或系统无法从根本上对分布式存储平台或系统存储数据的安全性实现实时监测的问题，本发明提供了一种数据存储平台智能监控方法。

2、为实现上述技术目的，本发明采用的技术方案如下：

3、一种数据存储平台智能监控方法，包括步骤：

4、s1、根据分布式存储平台存储框架建立监控节点；

5、s2、监控节点根据监控的受控节点的用途和监控位置进行层次划分；

6、s3、搭载虚拟机，监听受控节点和监控节点；

7、s4、当受控节点有数据传输动作时，监控节点采集受控节点发送的数据传输动作信息；

8、s5、监控节点判断受控节点在预设的时间内有无发送数据传输动作信息，若没有发送数据传输动作信息，则进入步骤s6；

9、s6、判断虚拟机是否接收到受控节点发送的数据传输动作信息，若虚拟机接收到数据传输动作信息，则判定监控节点故障，进入步骤s7；若虚拟机也没有接收到受控节点发送的数据传输动作信息，则判定受控节点通信链路出现故障。

10、s7、通过虚拟机判断数据传输动作的合法性或往受控节点上游查找监控节点建立临时监控节点，接收数据传输动作信息。

11、进一步地，判断数据传输动作的合法性的详细步骤：

12、s701、获取数据传输动作的发出请求主体、数据传输协议和接入网络端口ip地址；

13、s702、逐一匹配验证数据传输动作的发出请求主体、数据传输协议和接入网络端口ip地址是否合法化；数据传输协议合法化，采用匹配验证，监控节点预存有所有主流数据传输协议，判断数据传输协议是否与主流数据传输协议相同，若不同则通知监控节点危险性；接入网络端口ip地址是否合法化，通过不同类型ip协议的ip地址验证其长度和位数是否符合相应类型ip协议。防止黑客不携带数据传输协议和接入网络端口ip地址入侵，或者携带的数据传输协议和接入网络端口ip地址非法化。不便于后续网警追踪接入网络端口ip地址。

14、s703、若数据传输动作获取的数据包含个人隐私数据，进一步对数据传输动作的发出请求主体进行身份验证。身份验证包括人脸识别、指纹识别和虹膜识别等技术手段，通过上述技术手段对数据传输动作获取的数据包含个人隐私数据的动作的发出请求主体进行身份验证。进一步防止黑客攻击服务器截取数据传输动作而获取保密性数据。

15、进一步地，分布式存储平台存储框架包括命令接收层、操作执行层和存储层；对应监控节点包括命令接收监控节点、操作执行监控节点和存储监控节点；存储监控节点根据存储层各分存储节点设置有分监控节点。存储监控节点的总监控节点不仅监控整个存储层，还需要监控每个分监控节点，分监控节点根据受监控节点的分级或分支，进一步监控分级或分支上的监控节点。

16、进一步地，数据传输动作包括命令接收层接收到请求命令，操作执行层映射的存储层可执行命令，存储层可执行的增删改查命令；所有数据传输动作在对应的分布式存储平台存储框架下的监控节点监控。防止命令携带病毒或者非法命令进入存储层，同时防止错误命令进入存储层占用分布式存储平台cpu使用率和内存使用率。

17、进一步地，监控节点对接收到请求命令的详细监控步骤包括：

18、s101、分析接收到请求命令的合法性或有无请求格式错误；

19、s102、通过步骤s101的验证，将请求命令映射为操作执行层可执行的操作命令；防止外部命令直接写入存储层，对存储数据的窃取或破坏。将外部命令映射为相同功能命令，再由操作执行层执行其安全命令。

20、s103、判断命令是否携带有增加或修改存储层的数据命令，若有，进入步骤s104；

21、s104、判断携带文件或数据的安全性，若安全，进入步骤s105；

22、s105、存储层执行最终增加或修改存储层的数据命令，相应监控节点检测命令完成程度及存储层相应存储数据监控节点是否完成其过程。

23、进一步地，判断携带文件或数据的安全性的详细步骤包括：

24、s1041、将携带的文件在虚拟机中打开，虚拟机预设有所有格式文件的运行软件；虚拟机优先读取文件后缀名，根据后缀名不同对应采用虚拟机中的运行软件打开；

25、s1042、判断运行软件源代码或原安装文件中是否出现异常数据，没有异常数据则判定为安全文件，若出现异常数据，则判定为异常文件；

26、s1043、将携带的数据写入虚拟机的存储器中；

27、s1044、延时判断存储器中除写入数据，有无其他存储数据变化，若没有，则判定数据安全，若出现变化，则判定数据异常。若携带命令为删除某字段数据，则通过洗牌算法将字段数据随机打乱生成一个数据组，再将数据组转换为存储数据表，再将数据表通过数据传输动作的删除命令删除字段数据，判断存储数据表有无其它变化，没有变化则判定删除命令安全。

28、进一步地，监控节点还监控其受控节点的心跳信息，对整个分布式存储平台进行负载均衡。

29、进一步地，监控节点对分布式存储平台存储框架受控节点的负载均衡详细步骤为：

30、s801、存储层每个分存储层的受控节点接收到数据传输动作时，向所属的监控节点发送心跳信息；

31、s802、监控节点从受控节点发送的心跳信息中提取该节点的负载信息，并获取该受控节点的位置信息；负载信息包括受控节点的cpu使用率和内存使用率。

32、s803、监控节点计算受控节点同层级的平均负载率，同时采集同层级受控节点的最高负载率和最低负载率；

33、s804、监控节点计算其同层级受控节点平均负载率与最高负载率和最低负载率比值；

34、s805、判断受控节点平均负载率与最高负载率比值是否大于预设值，若大于预设值，则判定其负载过量；

35、s806、判断受控节点平均负载率与最低负载率比值是否小于预设值，若小于预设值，则判定其负载量过低。

36、进一步地，步骤s805中，若判定其负载过量，则将其负载过量对应比例数据或者数据传输动作转换至同层级其它负载量低的受控节点，并通知监控节点；若判定其负载量过低，则通过监控节点将其同层级其它负载量过高的受控节点负载量对应比例数据或者数据传输动作转换至该受控节点，则将其转换受控节点信息显示至客户端。防止单点受控节点的负载率过高或过低，影响整个同级负载率均衡或者影响受控节点的正常运转。

37、本发明相比现有技术，具有如下有益效果：

38、通过根据分布式存储平台存储框架不同设置相应的监控节点，以达到监控位置进行层次划分，确保分布式存储平台存储框架均受到监控节点的保护；同时通过虚拟机的设置确保监控节点没有对受控节点保护时，进一步起到保护作用。

39、通过虚拟机提供测试平台，对写入软件或者数据进一步验证数据运行或打开后不会产生异常。

40、同时通过监控节点的负载率监控算法，确保受控节点运行不受负载量的影响。