一种基于数据分析的多维数据分析系统及方法与流程

本发明涉及多维数据分析，具体是一种基于数据分析的多维数据分析系统及方法。

背景技术：

1、随着数据分析的方法不断改进，人们需要更多的数据，来全面了解观测对象；因此，多种多样的采集设备提供了更加全面的数据信息；

2、在缓存数据的传输过程中，网速存在着波动；在低网速时，进行数据传输会长时间占用信道，会降低数据传输的成功率，并且会造成数据的丢失；目前，为了提高数据传输的成功率，人们对采集到的数据进行分块处理，将数据进行分块传输；由于分块传输需要多次提出申请，并且需要在服务器中，对数据进行再次整合，传输的数据不具备完整性；人们可以通过对数据进行缓存和延迟发送，来保证数据的完整性；但缓存时间过长，会对缓存区造成压力，并且会造成数据的缺失；同时，数据传输的成功率和效率低。

3、所以，人们需要一种基于数据分析的多维数据分析系统及方法来解决上述问题。

技术实现思路

1、本发明的目的在于提供一种基于数据分析的多维数据分析系统及方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于数据分析的多维数据分析系统，其特征在于：该系统包括采集模块、数据传输模块、数据分析模块和网络流量分配模块；

3、所述采集模块用于网速、信道信息和缓存时间的采集；所述数据传输模块用于将网速、信道信息和缓存时间传输至所述数据分析模块；所述数据分析模块用于根据网速、信道信息和缓存时间规划数据传输的时间；所述网络流量分配模块用于根据规划结果进行网络流量的分配。

4、进一步的，采集模块包括网络监控单元和信息采集单元；

5、所述网络监控单元用于监控当前网速；所述信息采集单元用于采集信道中的数据量、信道的传播速度、信道的长度和数据缓存的时间。

6、进一步的，数据分析模块包括传输分析单元、尝试筛选单元和强制筛选单元；

7、设置最低数据传输的网速；所述数据计算单元用于根据网速和信道信息，计算出所述最低数据传输的网速出现的概率以及数据提前发送的时间；所述筛选单元用于筛选出数据发送的时间。

8、进一步的，所述筛选单元包括尝试筛选单元和强制筛选单元；

9、所述传输分析单元用于设置最低数据传输的网速，并根据所述网速和所述信道信息，分析得到所述最低数据传输的网速出现的概率以及数据提前发送的时间；所述尝试筛选单元用于通过最低数据传输的网速的出现概率，筛选出尝试传输时间段；所述强制筛选单元用于设置数据缓存时限，并根据所述数据缓存时限，筛选出强制传输时间段。

10、进一步的，所述网络流量分配模块包括分配顺序单元和流量分配单元；

11、所述分配顺序单元用于计算出强制发送时间段内网络流量的分配顺序；所述流量分配单元用于根据网络流量的分配顺序，对服务器的流量进行分配，实现缓存数据的传输。

12、一种基于云计算的多源信息数据诊断方法，其特征在于：所述方法包括以下步骤：

13、s5-1、采集网速、信道信息和缓存时间；

14、s5-2、调取网速、信道信息和缓存时间，并规划数据传输的时间；

15、s5-3、根据规划结果进行网络流量的分配。

16、步骤s5-2中，所述规划数据传输的时间包括：分析数据提前发送的时间、筛选尝试传输时间段和筛选强制传输时间段，数据提前发送的时间分析方式如下：

17、s6-1、计算出缓存数据传输所需要的时间，计算方式如下：

18、

19、其中，t1为缓存数据进行传输所需要的时间；u为缓存数据量的大小；v为数据传输的最低网速；

20、s6-2、计算出数据传输的等待时间，等待时间的计算方式如下：

21、

22、其中，t2为数据传输的等待时间；m为历史数据中，排队的数据量均值；n为历史数据中，传输速度的均值；

23、s6-3、计算出信道上的传播时延，传播时延的计算方式如下：

24、

25、其中，t3为信道上的传播时延；l信为信道的长度；v信在信道上的传播速度；

26、s6-4、计算出提前时间，提前时间的计算公式如下：

27、t＝t1+t2+t3；

28、其中，t为提前的时间；t1是缓存数据进行传输所需要的时间；t2为数据传输的等待时间；t3为缓存数据在信道上传播的时延。

29、尝试传输时间段和强制传输时间段的筛选方式如下：

30、s7-1、设定数据传输的最低概率为p和单位时间为w；

31、s7-2、计算出各个单位时间内，数据传输的最低网速出现的概率q，q的计算方式如下：

32、

33、其中，q为历史数据中，单位时间内网速超过v的概率；r为历史数据中，单位时间内网速超过v的个数；s为历史数据中，单位时间内的网速信息的总个数；

34、s7-3、当h未超过h，且q值超过p值时，该单位时间为尝试传输时间段；超过h的即为强制传输时间段。

35、根据权利要求5所述的一种基于数据分析的多维数据分析方法，其特征在于：在步骤s5-3中，网络流量的分配包括以下步骤：

36、s8-1、对各个缓存区进行编号，根据数据属性对数据进行划分，并统计数据条数；

37、s8-2、在服务器中配置负载均衡的软件，并将缓存区加入所述软件的配置文件；

38、s8-3、按照计算出的顺序分配流量，完成缓存区数据的传输。

39、在步骤s5-3中，网络流量的分配包括以下步骤：

40、s8-1、对各个缓存区进行编号，根据数据属性对数据进行划分，每一个属性为一条数据，并统计数据条数；

41、s8-2、在服务器中配置负载均衡的软件，并将缓存区加入所述软件的配置文件；

42、s8-3、按照计算出的顺序分配流量，完成缓存区数据的传输。

43、在步骤s8-3中，流量分配顺序的计算方式如下：

44、s9-1、对缓存区进行编号，编号为α＝{1，2，3，……，n}，根据数据属性对数据进行划分，每一个属性对应一条数据，n个缓存区的数据条数集合为d＝{d1，d2，d3，……，dn}，设置分配序列β＝{}；

45、s9-2、计算出所有数据条数的总和c，数据条数总和的计算方式如下：

46、

47、其中，c为数据条数的总和；n为缓存区的个数；di为第i个缓存区的数据条数；

48、s9-3、筛选出d中最大的数据条数为da，并得到对应的编号a，此时的分配序列β＝{a}；

49、s9-4、将da减去c，计算得到为db＝{d1，d2，d3，…，da-c，…，dn}；

50、s9-5、将db与d依次相加，计算得到dc＝{2d1，2d2，2d3，…，2da-c，…，2dn}，选出dc中的最大的数据条数为dm，并得到对应的编号m，此时的分配序列β＝{a，m}；

51、s9-6、不断循环步骤s9-3、步骤s9-4和步骤s9-5，直到序列β的个数等于c；此时，分配序列β即为流量分配顺序。

52、与现有技术相比，本发明所达到的有益效果是：

53、1.本发明将数据整段发送，不同于分块传输后再整合的步骤，提高了数据的完整性，网速进行实时监控，制定数据传输的最低网速，提高了数据传输的成功率；

54、2.本发明使用了负载均衡的方式，对网络流量进行了分配，降低了由于长时间缓存导致的缓存区压力和数据丢失的可能性，将请求合理的分配至各个服务器，避免由于部分服务器的负载过高而导致的数据堆积，提高了数据传输的性能。

55、3.本发明对数据传输的最低网速的出现概率进行了计算，对数据进行尝试性发送，提高了数据传输的成功率，让缓存区的数据更早的传输成功。