多源异构数据采集方法、装置、设备、系统及存储介质与流程

本发明涉及多源异构数据采集，尤其涉及一种多源异构数据采集方法、装置、设备、系统及存储介质。

背景技术：

1、相关技术中，由采集服务器的数据库链接采集层基于系统时间片轮巡方式采集多源异构数据源的上报数据，实现多源异构数据采集。但现有多源异构数据采集方法中，会出现多个上报数据盲目汇聚于数据库链接采集层，导致数据库链接采集层采集压力过大，采集效率较低。

技术实现思路

1、本发明的主要目的在于：提供一种多源异构数据采集方法、装置、设备、系统及存储介质，旨在解决现有多源异构数据采集方法会出现多个上报数据盲目汇聚于数据库链接采集层，采集效率较低的技术问题。

2、为实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种多源异构数据采集方法，方法包括：

4、当接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接；适配器对包括主适配器和辅助适配器；

5、基于数据采集链接，通过主适配器识别异构数据源对应的上报数据的关键元数据信息，通过辅助适配器识别上报数据的辅助元数据信息；

6、基于关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略；

7、基于数据采集策略，利用数据库链接采集层采集上报数据。

8、可选地，当接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接之前，方法还包括：

9、根据至少一个异构数据源的数据源类型，注册至少一个适配器对。

10、可选地，基于数据采集策略，利用数据库链接采集层采集上报数据之后，方法还包括：

11、若异构数据源更新，则根据更新后的异构数据源的最新数据源类型，更新适配器对。

12、可选地，数据采集策略包括采集频率信息和采集方式信息。

13、可选地，基于关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略，包括：

14、基于关键元数据信息、辅助元数据信息和均衡采集策略，确定数据采集策略。

15、可选地，基于数据采集策略，利用数据库链接采集层采集上报数据之后，方法还包括：

16、基于至少一个数据采集连接，构建数据采集结果集；

17、基于数据采集结果集，对数据库链接采集层采集的至少一种上报数据进行访问。

18、第二方面，本发明还提供一种多源异构数据采集装置，装置包括：

19、链接建立模块，用于当接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接；适配器对包括主适配器和辅助适配器；

20、数据识别模块，用于基于数据采集链接，通过主适配器识别异构数据源对应的上报数据的关键元数据信息，通过辅助适配器识别上报数据的辅助元数据信息；

21、策略确定模块，用于基于关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略；

22、数据采集模块，用于基于数据采集策略，利用数据库链接采集层采集上报数据。

23、第三方面，本发明还提供一种多源异构数据采集设备，设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的多源异构数据采集程序，通过多源异构数据采集程序配置为实现如上述任一项多源异构数据采集方法的步骤。

24、第四方面，本发明还提供一种多源异构数据采集系统，系统包括：

25、至少一个异构数据源；

26、如上述的多源异构数据采集设备，多源异构数据采集设备包括数据库链接采集层和至少一个适配器对，适配器对包括连接的主适配器和辅助适配器，主适配器与对应的异构数据源连接，辅助适配器与数据库链接采集层连接。

27、第五方面，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一项的多源异构数据采集方法的步骤。

28、本发明提供一种多源异构数据采集方法、装置、设备、系统及存储介质，在接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接，通过适配器对中主适配器和辅助适配器，识别异构数据源的上报数据的关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略，采集上报数据。

29、由此，本发明建立适配器对与对应的异构数据源的数据采集链接，通过适配器对中主适配器和辅助适配器，提前识别出对应的异构数据源的上报数据的元数据信息，根据元数据信息配置异构数据源的数据采集策略，使得多个异构数据源同时进行数据上报时，数据库链接采集层可以基于不同的数据采集策略分别对不同上报数据进行采集，避免了多个上报数据盲目汇聚于数据库链接采集层时，数据库链接采集层的采集压力过大，提高了多源异构数据的采集效率。

技术特征：

1.一种多源异构数据采集方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述当接收到异构数据源的数据上报请求时，建立所述异构数据源与对应的适配器对的数据采集链接之前，所述方法还包括：

3.如权利要求1所述的方法，其特征在于，所述基于所述数据采集策略，利用所述数据库链接采集层采集所述上报数据之后，所述方法还包括：

4.如权利要求1所述的方法，其特征在于，所述数据采集策略包括采集频率信息和采集方式信息。

5.如权利要求1所述的方法，其特征在于，所述基于所述关键元数据信息和所述辅助元数据信息，确定数据库链接采集层的数据采集策略，包括：

6.如权利要求1至5任一项所述的方法，其特征在于，所述基于所述数据采集策略，利用所述数据库链接采集层采集所述上报数据之后，所述方法还包括：

7.一种多源异构数据采集装置，其特征在于，所述装置包括：

8.一种多源异构数据采集设备，其特征在于，所述设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的多源异构数据采集程序，通过多源异构数据采集程序配置为实现如权利要求1至6中任一项所述的多源异构数据采集方法的步骤。

9.一种多源异构数据采集系统，其特征在于，所述系统包括：

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，计算机程序被处理器执行时实现如权利要求1至6中任一项所述的多源异构数据采集方法的步骤。

技术总结
本发明公开一种多源异构数据采集方法、装置、设备、系统及存储介质，涉及多源异构数据采集技术领域，方法包括：当接收到异构数据源的数据上报请求时，建立异构数据源与对应的适配器对的数据采集链接；基于数据采集链接，通过主适配器识别异构数据源对应的上报数据的关键元数据信息，通过辅助适配器识别上报数据的辅助元数据信息；基于关键元数据信息和辅助元数据信息，确定数据库链接采集层的数据采集策略；基于数据采集策略，利用数据库链接采集层采集上报数据。本发明解决了现有多源异构数据采集方法会出现多个上报数据盲目汇聚于数据库链接采集层，采集效率较低的技术问题，提高了多源异构数据的采集效率。

技术研发人员：魏国华,乔栋,郭翔宇,贺四海,王波,孙颖飞,白晶晶,刘波,武海燕,计潇怡
受保护的技术使用者：中国移动通信集团内蒙古有限公司
技术研发日：
技术公布日：2024/1/15