数据采集方法、装置以及计算机可读存储介质与流程

本技术涉及计算机，具体涉及一种数据采集方法、装置以及计算机可读存储介质。

背景技术：

1、随着物联网(internet of things，简称iot)技术的发展，可对采集设备进行的网络接入，以便对现实物体进行智能化感知、识别和管理。为了对现实物体进行感知和管理，可通过对现实物体的数据进行采集，以便后续根据收集到的物品数据对相应的现实物体进行识别和管理。

2、相关技术在采集数据时，主要是通过相关的数据管理服务器与该采集设备进行连接，如将数据管理服务器与待管理的采集设备进行网络连接，并接收该待管理的采集设备的各类数据，以便根据采集的数据对现实物体进行识别和管理。

3、在对现有技术的研究和实践过程中，本技术的发明人发现现有技术在采集数据时，数据管理服务器的运行资源有限，如运算资源、内存资源和存储资源等有限，而该有限的运行资源会限制数据采集过程的性能，在面对海量的数据时，容易造成数据管理服务器的资源紧张，容易导致数据采集过程中系统奔溃现象，因而，影响了数据采集效率，且不具有可靠性，增加相关人员的工作量，影响用户体验。

技术实现思路

1、本技术实施例提供一种数据采集方法、装置以及计算机可读存储介质，可保障数据采集过程中的性能，避免数据管理设备系统奔溃的现象，提高数据采集效率和用户体验。

2、本技术实施例提供一种数据采集方法，包括：

3、获取待处理的数据采集任务；

4、读取从属服务器列表，所述从属服务器列表包含与管理服务器建立长连接的从属服务器的服务器标识；

5、检测所述从属服务器列表中每一服务器标识对应的从属服务器的运行状态；

6、计算所述数据采集任务的目标哈希值，并根据所述目标哈希值和所述运行状态从所述从属服务器列表中选取待分配任务的目标服务器标识；

7、将所述数据采集任务分配至所述目标服务器标识对应的目标从属服务器进行数据采集。

8、相应的，本技术实施例提供一种数据采集装置，包括：

9、获取单元，用于获取待处理的数据采集任务；

10、读取单元，用于读取从属服务器列表，所述从属服务器列表包含与管理服务器建立长连接的从属服务器的服务器标识；

11、检测单元，用于检测所述从属服务器列表中每一服务器标识对应的从属服务器的运行状态；

12、选取单元，用于计算所述数据采集任务的目标哈希值，并根据所述目标哈希值和所述运行状态从所述从属服务器列表中选取待分配任务的目标服务器标识；

13、采集单元，用于将所述数据采集任务分配至所述目标服务器标识对应的目标从属服务器进行数据采集。

14、在一些实施方式中，所述运行状态包含可分配任务状态和不可分配任务状态，所述检测单元，还用于：

15、获取每一服务器标识对应的从属服务器的运行资源信息；

16、读取所述运行资源信息中的资源占用率；

17、若检测到所述资源占用率小于预设资源占用阈值，则将对应的从属服务器的运行状态确定为可分配任务状态；

18、若检测到所述资源占用率大于或等于预设资源占用阈值，则将对应的从属服务器的运行状态确定为不可分配任务状态。

19、在一些实施方式中，所述选取单元，还用于：

20、基于所述从属服务器列表，筛选出所述运行状态为可分配任务状态的待选服务器标识；

21、确定所述待选服务器标识的待选标识数量；

22、根据所述目标哈希值与所述待选标识数量，确定待分配任务的目标服务器标识。

23、在一些实施方式中，所述选取单元，还用于：

24、对所述目标哈希值与所述待选标识数量之间进行整除计算，并确定整除计算后的哈希值余数；

25、对所述待选服务器标识进行排序，得到待选服务器标识序列；

26、按照所述哈希值余数，从所述待选服务器标识序列中选取对应排序位置的目标服务器标识。

27、在一些实施方式中，所述数据采集装置还包括识别单元，还用于：

28、若检测到所述待选标识数量大于或等于预设待选数量阈值，则识别每一待选服务器标识对应的资源占用率；

29、将多个所述资源占用率之间进行大小比对；

30、则所述选取单元，还用于若检测到多个所述资源占用率之间大小相等，则根据所述目标哈希值与所述待选标识数量，确定待分配任务的目标服务器标识。

31、在一些实施方式中，所述选取单元，还用于：

32、若检测到多个所述资源占用率之间大小不相等，则将所述资源占用率最小的服务器标识作为待分配任务的目标服务器标识。

33、在一些实施方式中，所述数据采集装置还包括任务调度单元，还用于：

34、获取所述目标从属服务器在执行所述数据采集任务时历史时段的资源平均占用率；

35、当识别到所述资源平均占用率大于预设资源平均阈值时，则停止通过所述目标从属服务器执行所述数据采集任务，并从所述从属服务器列表中重新选取可分配任务的第二服务器标识；

36、将所述数据采集任务发送至所述第二服务器标识对应的从属服务器进行数据采集。

37、在一些实施方式中，所述任务调度单元，还用于：

38、将所述从属服务器列表中除所述目标服务器标识外的每一服务器标识确定为待确认的服务器标识，并确定所述待确认的服务器标识对应的第二待选标识数量；

39、计算所述目标哈希值与所述第二待选标识数量之间的第一哈希值余数，并根据所述第一哈希值余数从多个所述待确认的服务器标识中待确认的第一服务器标识；

40、若检测到所述第一服务器标识对应的从属服务器的资源占用率大于预设资源占用阈值，则拦截向所述第一服务器标识对应的从属服务器发送所述数据采集任务，并对所述目标哈希值进行二次哈希计算，得到第二哈希值；

41、根据所述第二哈希值与所述第二待选标识数量之间的第二哈希值余数，从所述从属服务器列表中重新选取可分配任务的第二服务器标识。

42、在一些实施方式中，所述任务调度单元，还用于：

43、确定所述从属服务器列表中每一服务器标识对应的从属服务器的资源占用率；

44、若检测到每一资源占用率大于预设资源占用阈值，则根据所述预设资源占用阈值确定从属服务器的资源可用数量，并根据所述资源可用数量创建与管理服务器长连接的新增从属服务器；

45、将所述资源占用率大于预设资源占用阈值的从属服务器中的数据采集任务调度至所述新增从属服务器进行数据采集。

46、在一些实施方式中，所述任务调度单元，还用于：

47、检测所述目标从属服务器与所述管理服务器之间的连接状态；

48、获取所述目标从属服务器的数据采集进度，并根据所述数据采集进度确定任务状态；

49、当检测到所述连接状态为连接异常且所述任务状态为未完成时，从所述从属服务器列表中重新选取可分配任务的目标服务器标识，并将未完成的数据采集任务发送至重新选取的目标服务器标识对应的从属服务器进行数据采集。

50、在一些实施方式中，所述数据采集装置还包括列表更新单元，用于：

51、获取每一服务器标识对应的从属服务器的连接状态记录，并读取所述连接状态记录中的上一次状态更新时间和异常连接频次；

52、根据所述上一次状态更新时间确定更新间隔时长；

53、若检测到所述异常连接频次大于或等于预设异常频次阈值且所述更新间隔时长大于预设间隔时长阈值，则确定当前的从属服务器存在运行异常，并删除所述从属服务器列表中存在连接异常的从属服务器的服务器标识。

54、在一些实施方式中，所述列表更新单元，还用于：

55、接收向管理服务器发送的连接请求，所述连接请求携带有待连接的服务器标识；

56、建立与所述服务器标识对应的从属服务器之间的长连接状态，并将处于长连接状态的服务器标识记录至从属服务器列表。

57、在一些实施方式中，所述获取单元，还用于：

58、向中间服务端发送任务回调请求，使得所述中间服务端根据所述任务回调请求建立与所述管理服务器之间的任务传输通道，其中，所述中间服务端所存储的任务队列包含后台服务器下发的多个待接收加密任务；

59、基于所述任务传输通道，识别每一待接收加密任务对应的加密标识，并根据所述加密标识从所述多个待接收加密任务中选取待处理的目标加密任务；

60、对所述目标加密任务进行解密处理，得到待处理的数据采集任务。

61、此外，本技术实施例还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序实现本技术实施例提供的任一种数据采集方法中的步骤。

62、此外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本技术实施例所提供的任一种数据采集方法中的步骤。

63、此外，本技术实施例还提供一种计算机程序产品，包括计算机指令，所述计算机指被执行时实现本技术实施例所提供的任一种数据采集方法中的步骤。

64、本技术实施例可以获取待处理的数据采集任务；读取从属服务器列表，从属服务器列表包含与管理服务器建立长连接的从属服务器的服务器标识；检测从属服务器列表中每一服务器标识对应的从属服务器的运行状态；计算数据采集任务的目标哈希值，并根据目标哈希值和运行状态从从属服务器列表中选取待分配任务的目标服务器标识；将数据采集任务分配至目标服务器标识对应的目标从属服务器进行数据采集。由此可得，本方案可在接收到采集任务时，查询与管理服务器建立长连接的从属服务器标识，并通过数据采集任务的哈希值和每一从属服务器的运行状态来选定需要分配采集任务的目标服务器标识，进而，将数据采集任务分配至目标服务器标识对应的目标从属服务器，以实现通分布式的目标从属服务进行数据采集，可使得数据采集进程不受限于运行资源的影响，保障数据采集过程中的性能，避免数据采集过程中系统奔溃的现象，提高数据采集效率和用户体验。