一种网络数据传输存储方法及系统与流程

本发明属于网络传输，具体涉及一种网络数据传输存储方法及系统。

背景技术：

1、在通信网络中，尤其是自组网络采集的大量数据在传输时，由于数据的实时性要求，往往需要对部分来自于不同采集节点的未及时采集到的数据在对数据进行清洗、转换和标准化，在确保其一致性和可用性后，还需要进行数据修复才能让数据快速地同步完整，从而在巨大的数据规模下提高数据的可靠性和完整性。

2、在通信网络传输的海量大数据的存储中，大数据的数量巨大、难于收集、处理、分析。大数据存储是将这些数据集持久化到计算机中。大数据云存储普及程度越来越高，而无疑其信息的私密性也有被泄漏的风险，引起的数据安全问题是不容忽视的，难以保障其安全性，目前的大数据安全存储方法主要是通过虚拟化可以自动配置存储设备及其空间，其安全性有待提高，一些非法入侵访问者，很容易根据虚拟化云存储的逻辑位置快速非法通过爬虫爬取或者复制数据，给大数据用户的信息安全带来了很大隐患。

技术实现思路

1、本发明的目的在于提出一种网络数据传输存储方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

2、为了实现上述目的，根据本发明的一方面，提供一种网络数据传输存储方法，所述一种网络数据传输存储方法包括如下各步骤：

3、在通信网络系统中至少包括控制服务器、max个存储服务器节点，其中，max为大于或等于3的正整数；

4、将第n个存储服务器节点称为第n节点，第n+1个存储服务器节点称为第n+1节点，依次类推；n=1…max；n为节点序号；

5、其中，在n为偶数时的第n个存储服务器节点中所有存储磁盘中的数据为空；

6、存储服务器节点为用于存储大数据的物理服务器，每个存储服务器节点包括多个存储磁盘，所述存储磁盘包括第一存储磁盘、第二存储磁盘、第三存储磁盘；其中，第二存储磁盘为空的备用磁盘；第一存储磁盘、第三存储磁盘是用于大数据存储的磁盘。

7、控制服务器中包括有数据索引文件，所述数据索引文件包括有所有的存储服务器节点的运行时间、控制服务器开始运行时间、所有的存储服务器节点中第一次磁盘阵列置乱操作运行时间、控制服务器第一次进行节点数据置乱操作时间、所有存储服务器节点初始的编号id、所有存储服务器节点当前的编号id、所有存储服务器节点中磁盘阵列置乱操作次数。

8、所述方法包括以下步骤：

9、s100：在所有的存储服务器节点中每间隔一个节点数据置乱时间周期进行一次磁盘阵列置乱操作；

10、s200：控制服务器每间隔一个节点数据置乱时间周期进行一次节点数据置乱操作；

11、其中，在s100中，磁盘阵列置乱操作的方法为：

12、s101：将第一存储磁盘的数据复制到第二存储磁盘中，并物理删除第一存储磁盘中所有数据；

13、s102：将第三存储磁盘的数据复制到第一存储磁盘中，并物理删除第三存储磁盘中所有数据；

14、s103：将第二存储磁盘的数据复制到第三存储磁盘中，并物理删除第二存储磁盘中所有数据。

15、进一步地，还包括：s104：将存储服务器节点的数据索引文件中的对应存储服务器节点的磁盘阵列置乱操作次数加1。

16、为了防止非法入侵访问者对存储服务器节点的磁盘数据进行恢复读取，同时对各个存储服务器节点的写入进行负载均衡从而大幅度的保障存储服务器的安全性，本发明提供了以下的节点数据置乱时间周期的计算方法：

17、进一步地，节点数据置乱时间周期的计算方法为：

18、将各个存储服务器节点中最近一次写入数据或读取数据的所有时间长度构成一个序列作为写入序列wrlist1；依次分别计算wrlist1中所有时间长度两两之间的差值，以各个非零差值构成序列wrlist2，将节点数据置乱时间周期设置为wrlist2中所有差值的平均值。

19、其中，wrlist2中的每个差值都意味着存储服务器节点的写入数据或读取数据耗费时间之间的差异，可能由于存储服务器节点磁盘的工艺、访问热度差异产生极大的区别，从而导致差值过大，影响负载均衡，因此通过设置为平均值的方法能够很好的在数据置乱实现均衡负载，同时防止对磁盘的高频读写产生的损耗伤害存储服务器节点的磁盘。

20、但是，由于算法比较固定，非法入侵访问者有可能会根据破解的算法从而根据脚本反推出节点数据置乱时间周期，从而根据预设的脚本程序在周期结束前对磁盘进行恢复，从而恶意的爬取磁盘数据，为了进一步的解决该问题，减小数据的被恢复后爬取的可能性，减小磁盘的高频读写产生的损耗，本发明提出了以下优选的方法：

21、优选地，节点数据置乱时间周期的计算方法为：

22、将各个存储服务器节点中最近一次写入数据或读取数据的所有时间长度构成一个序列作为写入序列wrlist1；依次分别计算wrlist1中所有时间长度两两之间的差值，以各个非零差值构成序列wrlist2，

23、计算wrlist1中各个时间长度对应的最早开始时刻为ts1；计算wrlist1中各个时间长度对应的最晚开始时刻为ts2；计算wrlist1中各个时间长度对应的最早结束时刻为te1；计算wrlist1中各个时间长度对应的最晚结束时刻为te2；

24、取ts1与ts2之间的时长为tsg；取te1与te2之间的时长为teg；

25、以tsg和teg中较小的值做分子，以tsg和teg中较大的值做分母，以分子和分母的比值作为时间周期修正系数k，以wrlist2中所有差值的平均值为mean；当tsg≤teg时，将节点数据置乱时间周期设置为mean+mean×k，否则，将节点数据置乱时间周期设置为mean-mean×k。

26、有益效果为：能够利用各个存储服务器节点最近一次写入数据或读取数据耗费时间之间启动时间差与结束时间差之间的比值作为时间周期修正系数k，当tsg小于或等于teg时表示结束时间差值大于开始时间差值，容易产生磁盘的高频读写损耗存储服务器的磁盘并且产生较大数据拥塞、从而间接使网络时延变大，则需加上时间周期修正系数k与差值的均值之乘积从而使得节点数据置乱的频度降低，减少磁盘高频读写产生的损耗和使网络时延变大、避免网络拥塞；当tsg大于teg时，表示开始时间差值小于结束时间差值，则需减去时间周期修正系数k与差值的均值之乘积从而使得节点数据置乱的频度升高，使得减小数据的被恢复后爬取的可能性；通过动态的调整节点数据置乱时间周期从而既使得非法入侵访问者无法根据爬虫脚本程序爬取网络在存储服务器数据，也保证了较合适的负载均衡。

27、优选地，节点数据置乱时间周期的时间默认设置为10分钟，可以在1至240分钟范围内进行人工调整。

28、进一步地，在s200中，节点数据置乱操作的方法为：

29、令n为节点序号，n∈[1,max] ，max是节点数量；在n的取值范围内，对各个节点进行以下节点数据置乱操作：

30、s201：将第n节点的数据传输到第n+1节点中，并物理删除第n节点中所有存储磁盘中的数据；

31、s202：将第n+2节点的数据传输到第n节点中，并物理删除第n+2节点中所有存储磁盘中的数据；

32、s203：将第n+1节点的数据传输到第n+2节点中，并物理删除第n+1节点中所有存储磁盘中的数据；

33、s204：将存储服务器节点的数据索引文件中的第n节点、第n+2节点所代表的存储服务器节点当前的编号id进行交换。

34、进一步地，当发生数据存取请求时，读取存储服务器节点的数据索引文件，并根据存储服务器节点当前的编号id定位到实际数据存储的存储服务器节点，并且磁盘阵列置乱操作次数定位到真实的数据存储磁盘编号id，进行磁盘读取。

35、其中，物理删除是指将数据的索引区和数据区的数据一起删除,不可恢复。

36、本发明还提供了一种网络数据传输存储系统，所述系统包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下系统的单元中：

37、磁盘阵列置乱主单元，用于在所有的存储服务器节点中每间隔一个磁盘阵列置乱周期进行一次磁盘阵列置乱操作；

38、磁盘阵列置乱第一单元，用于将第一存储磁盘的数据复制到第二存储磁盘中，并物理删除第一存储磁盘中所有数据；

39、磁盘阵列置乱第二单元，用于将第三存储磁盘的数据复制到第一存储磁盘中，并物理删除第三存储磁盘中所有数据；

40、磁盘阵列置乱第三单元，用于将第二存储磁盘的数据复制到第三存储磁盘中，并物理删除第二存储磁盘中所有数据；

41、磁盘阵列置乱第四单元，用于将存储服务器节点的数据索引文件中的对应存储服务器节点的磁盘阵列置乱操作次数加1；

42、节点数据置乱主单元，用于控制服务器每间隔一个节点数据置乱时间周期进行一次节点数据置乱操作；

43、节点数据置乱第一单元，用于将第n节点的数据传输到第n+1节点中，并物理删除第n节点中所有存储磁盘中的数据；

44、节点数据置乱第二单元，用于将第n+2节点的数据传输到第n节点中，并物理删除第n+2节点中所有存储磁盘中的数据；

45、节点数据置乱第三单元，用于将第n+1节点的数据传输到第n+2节点中，并物理删除第n+1节点中所有存储磁盘中的数据；

46、节点数据置乱第四单元，用于将存储服务器节点的数据索引文件中的第n节点、第n+2节点所代表的存储服务器节点当前的编号id进行交换。

47、本发明的有益效果为：本发明提供一种网络数据传输存储方法及系统，通过动态的调整节点数据置乱时间周期从而既使得非法入侵访问者无法根据爬虫脚本程序爬取网络在存储服务器数，使得减小数据的被恢复后爬取的可能性；同时也保证了较合适的负载均衡、减少磁盘高频读写产生的损耗和使网络时延变大、避免网络拥塞。