一种多端运维数据交互传输方法及系统与流程

本发明涉及数据交互，具体的，涉及一种多端运维数据交互传输方法及系统。

背景技术：

1、随着计算机技术及互联网的发展，企业内部更多的工作通过各种应用或系统进行高效的实现，而为了保证企业内部工作中的私密性，越来越多的企业开始进行企业私有云的搭建与企业内部系统的信息化，随着所述私有云的搭建及所述企业内部系统的信息化，企业内部的it系统的复杂性变得越来越高，与此同时，为了保证企业的正常运行，及时准确的对所述企业内部it系统进行运维也变得越来越重要。

2、现有技术中，对所述企业内部it系统进行运维的过程中需要采集企业内部it系统不同数据端分别对应的运维数据，并将所述采集的运维数据发送至目标数据端以此通过所述目标数据端进行运维的分析，然而，由于当前企业内部it系统中的各种应用、系统或对应的数据存储服务往往是基于不同的开发技术和开发环境编译的，因此造成不同数据端对应的运维数据往往具有不同的数据结构，因此在数据采集传输过程中往往会因为所述数据结构的不同造成数据传输的丢失或对所述数据造成损失，进而影响运维数据交互传输的安全性，同时在数据交互传输时，由于不同端的数据源可能会使用不同的通信协议，因此在传输过程中，常常需要调取不同的通信协议以此采集不同端中的运维数据，导致运维数据之间的交互存在障碍，降低了数据交互的效率。

技术实现思路

1、为了解决上述技术问题，本发明公开了一种多端运维数据交互传输方法及系统，提高数据交互传输的效率及可靠性。

2、为了实现上述目的，本发明公开了一种多端运维数据交互传输方法，包括：

3、接收数据获取端发送的数据采集信息，并根据所述数据采集信息访问所述数据获取端中用于数据记录的存储空间，获得预设时间段内所述数据获取端对应的多条数据交互记录；

4、根据预设的关联数据筛选方法从所述多条数据交互记录中筛选出若干个关联数据，并根据所述若干个关联数据构建所述数据获取端对应的多端数据交互关系；

5、根据所述多端数据交互关系确定所述数据获取端对应的若干个数据发送端及所述数据获取端与所述若干个数据发送端之间的数据传输路线；

6、获取所述若干个数据发送端中每一个数据发送端中的原始运维数据，并根据所述数据采集信息对所述每一个数据发送端中的原始运维数据分别进行格式转换，获得所述原始运维数据进行格式转换后生成的中间运维数据；

7、根据所述数据传输路线对所述每一个数据发送端对应的中间运维数据进行数据整合获得目标运维数据，并通过分包发送的方式将所述目标运维数据发送至所述数据获取端。

8、本发明公开的一种多端运维数据交互传输方法，首先根据数据获取端发送的数据采集信息访问所述数据获取端中用于数据记录的存储空间，获得所述数据获取端预设时间段的多条数据交互记录数据，以使根据所述数据交互记录数据直接确定被允许与所述数据获取端发生数据交互的其它端，以此直接获取所述其它端的运维数据进行交互即可，避免了现有技术进行多端交互时需要进行端与端之间通信协议的判定而造成的交互效率的低下，通过所述数据交互记录数据直接确定与所述数据获取端建立通信连接的数据采集端，提高交互的效率。

9、接着，在获取所述数据交互记录数据后，从所述数据交互记录数据中筛选出若干个关联数据，以使根据所述若干个关联数据构建所述数据获取端对应的若干个数据发送端及所述数据获取端之间的数据交互关系，便于根据所述数据传输路线进行最短时间内数据之间的传输及数据之间的相互校验，提高数据交互的效率及准确率，在采集到每一个数据发送端中的原始运维数据后，考虑到数据获取端与数据发送端对应的数据结构不同造成的数据交互的障碍，因此首先根据所述数据获取端发送的数据采集信息对每一个数据发送端采集的原始运维数据进行数据格式的转换，以此进行数据格式的统一，解决现有技术中因格式不统一造成的交互的失误，提高运维数据交互的可靠性，在进行格式统一后，将生成的目标运维数据根据所述数据传输路线分包发送到数据获取端，提高数据交互过程中数据传输的完整性。

10、作为优选例子，在所述接收数据获取端发送的数据采集信息，并根据所述数据采集信息访问所述数据获取端中用于数据记录的存储空间，获得预设时间段内所述数据获取端对应的多条数据交互记录，包括：

11、对所述数据采集信息进行解析，获得所述数据获取端对应的终端标识、所述数据采集信息对应的数据分组及数据格式；

12、根据所述终端标识访问所述数据获取端中用于数据记录的存储空间，获取所述数据记录存储空间中保存的预设时间段内的多条数据交互记录；其中，每一条数据记录包括第一终端标识、第二终端标识、数据记录来源、数据记录产生时间、第一终端行为描述、所述第一终端标识与所述第二终端标识存在关联关系。

13、本发明通过对数据获取端发送的数据采集信息进行解析，一方面确定数据获取端对应中用于数据记录的存储空间以使根据所述数据记录存储空间查询与所述数据获取端进行数据交互的其它端，避免无效率的终端寻找，提高数据交互的效率，一方面根据所述数据交互信息确定所述数据获取端需要接收的数据格式，以使后续根据所述数据格式对所述获取的原始数据进行格式转换，解决数据传输过程中存在的障碍，提高数据传输的可靠性。

14、作为优选例子，在所述根据预设的关联数据筛选方式从所述多条数据交互记录中筛选出若干个关联数据，包括：

15、从所述多条数据交互记录中确定关联数据记录；其中，所述关联数据记录为第一终端标识相同的数据记录；

16、根据所述数据记录来源及所述第二终端标识对每个所述关联数据记录进行清洗，以使在所述关联数据记录中获取符合数据一致性的若干个关联数据。

17、本发明首先根据所述数据记录中存在的第一终端标识确定与所述数据获取端发生数据交互的关联数据记录，接着根据关联数据记录中各个数据记录之间的关系，对各个关联数据记录进行智能化分析，从而确定最大概率与事实相一致的数据记录，实现关联数据记录的清洗，以使提高后续最终确定的数据采集端的准确性。

18、作为优选例子，在所述根据所述若干个关联数据构建所述数据获取端对应的多端数据映射关系，包括：

19、获取所述若干个关联数据中每一个关联数据对应的数据交互记录，根据所述数据交互记录中的第一终端行为描述确定第三终端标识；

20、根据所述数据交互记录的第一终端标识、第二终端标识及所述第三终端标识，获得所述数据获取端对应的多端数据交互关系。

21、本发明根据所述数据获取端中每一条关联数据中包含的用于进行数据交互的终端两端，确定间接的或直接的与所述数据获取端进行数据交互传输的其它若干个端及所述若干个端与所述数据获取端进行数据交互传输的关系，以使通过基于具备一致性的数据记录构建多端关系，确保了多端关系的正确性，以及基于所述多端关系进行数据交互传输的正确性，提升数据交互传输的效率。

22、作为优选例子，在所述获取所述若干个数据发送端中每一个数据发送端中的原始运维数据，包括：

23、获取所述若干个数据发送端中每一个数据发送端对应的数据格式，根据所述数据格式确定每一个数据发送端对应的数据采集设备的类型；

24、获取每一个类型对应的所有数据采集设备的工作状态，向处于空闲状态的数据采集设备发送数据采集指令；

25、根据所述数据采集指令及所述数据采集设备对应的类型，控制所述数据采集设备采集对应的每一个数据发送端中的原始运维数据。

26、本发明通过统一向不同类型分别对应的不同类型的数据采集端发送采集指令，实现了不同类型的数据采集端统一采集不同类型的数据，避免了数据采集过程中因数据类型不同造成的数据采集效率和准确率的低下，提高了数据采集的效率及准确度，进而提高数据交互传输的效率。

27、作为优选例子，在所述根据所述数据采集信息对所述每一个数据发送端中的原始运维数据分别进行格式转换，包括：

28、根据所述数据采集信息中的数据格式匹配相应的转换规则，并根据所述转换规则对应的嵌套关系，通过递归方式对所述转换规则进行语法命令的提取，生成语法命令；

29、根据所述语法命令，对所述每一个数据发送端中的原始运维数据进行数据提取，获得对象运维数据，并将所述对象运维数据与所述转换规则的目标格式进行组合，获得中间运维数据。

30、本发明根据数据获取端的数据格式对每一个原始运维数据进行数据格式的统一，解决现有技术中因格式不统一造成的数据交互之间的障碍，提高数据交互的效率及准确率。

31、作为优选例子，在所述根据所述数据传输路线对所述每一个数据发送端对应的中间运维数据进行数据整合获得目标运维数据，包括：

32、实时基于所述第一终端标识对应的第一数据发送端保存所述第一数据发送端的中间运维数据，并将所述中间运维数据发送至所述第二终端标识对应的第二数据发送端，触发所述第二数据发送端更新当前时间区间对应的第一数据统计结果；

33、根据所述当前时间区间确定对应的第一目标触发时刻，在所述第一目标触发时刻触发所述多端数据交互关系中第三终端标识对应的第三数据发送端获取所述第一数据发送端的区间数据；其中，所述区间数据为所述第一目标触发时刻与前一个第一目标触发时刻之间所述第一数据发送端保存的中间运维数据；

34、根据所述第三数据发送端传输的区间数据计算第二数据统计结果；

35、根据所述第二数据统计结果更新所述第二数据发送端的所述第一数据统计结果，并根据更新后的所述第一数据统计结果确定所述目标运维数据。

36、本发明通过不同数据发送端之间的数据交互对处于传输过程的中间运维数据进行数据的相互校验，提高所述运维数据传输的准确度，提高数据交交互传输的可靠性。

37、作为优选例子，在所述通过分包发送的方式将所述目标运维数据发送至所述数据获取端，包括：

38、对所述目标运维数据进行分包，获得若干个第一数据包，并对所述若干个第一数据包中的每一个第一数据包进行fec编码，生成若干个第二数据包；其中，每一个第二数据包包括数据编号信息；

39、将所述编码后的每一个第二数据包分别发送至所述数据获取端，并接收所述数据获取端在接收到每一个第二数据包之后发送的确认包；

40、对所述确认包进行信息核实校对，并根据所述校对的结果发送下一第二数据包到所述数据获取端；其中，所述确认包中包括接收到的第二数据包的数据编号信息。

41、本发明通过将目标运维数据通过分包的方式发送至数据获取端，保证了传输过程中数据的完整性，提高数据交互传输的准确率及可靠性。

42、另一方面，本发明还公开了一种多端运维数据交互传输系统，所述系统包括数据访问模块、关系构建模块、路线传输模块、格式转换模块及数据交互模块；

43、所述数据访问模块用于接收数据获取端发送的数据采集信息，并根据所述数据采集信息访问所述数据获取端中用于数据记录的存储空间，获得预设时间段内所述数据获取端对应的多条数据交互记录；

44、所述关系构建模块用于根据预设的关联数据筛选方法从所述多条数据交互记录中筛选出若干个关联数据，并根据所述若干个关联数据构建所述数据获取端对应的多端数据交互关系；

45、所述路线传输模块用于根据所述多端数据交互关系确定所述数据获取端对应的若干个数据发送端及所述数据获取端与所述若干个数据发送端之间的数据传输路线；

46、所述格式转换模块用于获取所述若干个数据发送端中每一个数据发送端中的原始运维数据，并根据所述数据采集信息对所述每一个数据发送端中的原始运维数据分别进行格式转换，获得所述原始运维数据进行格式转换后生成的中间运维数据；

47、所述数据交互模块用于根据所述数据传输路线对所述每一个数据发送端对应的中间运维数据进行数据整合获得目标运维数据，并通过分包发送的方式将所述目标运维数据发送至所述数据获取端。

48、本发明公开的一种多端运维数据交互传输系统，首先根据数据获取端发送的数据采集信息访问所述数据获取端中用于数据记录的存储空间，获得所述数据获取端预设时间段的多条数据交互记录数据，以使根据所述数据交互记录数据直接确定被允许与所述数据获取端发生数据交互的其它端，以此直接获取所述其它端的运维数据进行交互即可，避免了现有技术进行多端交互时需要进行端与端之间通信协议的判定而造成的交互效率的低下，通过所述数据交互记录数据直接确定与所述数据获取端建立通信连接的数据采集端，提高交互的效率。

49、接着，在获取所述数据交互记录数据后，从所述数据交互记录数据中筛选出若干个关联数据，以使根据所述若干个关联数据构建所述数据获取端对应的若干个数据发送端及所述数据获取端之间的数据交互关系，便于根据所述数据传输路线进行最短时间内数据之间的传输及数据之间的相互校验，提高数据交互的效率及准确率，在采集到每一个数据发送端中的原始运维数据后，考虑到数据获取端与数据发送端对应的数据结构不同造成的数据交互的障碍，因此首先根据所述数据获取端发送的数据采集信息对每一个数据发送端采集的原始运维数据进行数据格式的转换，以此进行数据格式的统一，解决现有技术中因格式不统一造成的交互的失误，提高运维数据交互的可靠性，在进行格式统一后，将生成的目标运维数据根据所述数据传输路线分包发送到数据获取端，提高数据交互过程中数据传输的完整性。

50、作为优选例子，所述数据访问模块包括信息解析单元及空间访问单元；

51、所述信息解析单元用于对所述数据采集信息进行解析，获得所述数据获取端对应的终端标识、所述数据采集信息对应的数据格式；

52、所述空间访问单元用于根据所述终端标识访问所述数据获取端中用于数据记录的存储空间，获取所述数据记录存储空间中保存的预设时间段内的多条数据交互记录；其中，每一条数据交互记录包括第一终端标识、第二终端标识、数据记录来源、数据记录产生时间、第一终端行为描述、所述第一终端标识与所述第二终端标识存在关联关系。

53、本发明通过对数据获取端发送的数据采集信息进行解析，一方面确定数据获取端对应中用于数据记录的存储空间以使根据所述数据记录存储空间查询与所述数据获取端进行数据交互的其它端，避免无效率的终端寻找，提高数据交互的效率，一方面根据所述数据交互信息确定所述数据获取端需要接收的数据格式，以使后续根据所述数据格式对所述获取的原始数据进行格式转换，解决数据传输过程中存在的障碍，提高数据传输的可靠性。