一种数据采集方法、装置、电子设备和存储介质与流程

1.本公开涉及计算机技术领域，尤其涉及物联网与边缘计算技术领域，具体涉及一种数据采集方法、装置、电子设备、存储介质和计算机程序产品。


背景技术：

2.边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。而随着物联网的发展，边缘计算逐渐被越来越多的行业所重视。


技术实现要素：

3.本公开提供了一种数据采集方法、装置、电子设备、存储介质和计算机程序产品。
4.根据本公开的一方面，提供了一种数据采集方法，包括：
5.确定边缘端的边缘运行模式；
6.获取与边缘运行模式相适配的数据采集应用，并对数据采集应用进行安装部署；
7.通过安装后的数据采集应用对边缘端的预设指标数据进行采集。
8.根据本公开的一方面，提供了一种数据采集装置，包括：
9.模式确定模块，用于确定边缘端的边缘运行模式；
10.应用获取与部署模块，用于获取与边缘运行模式相适配的数据采集应用，并对数据采集应用进行安装部署；
11.数据采集模块，用于通过安装后的数据采集应用对边缘端的预设指标数据进行采集。
12.根据本公开的另一方面，提供了一种电子设备，包括：
13.至少一个处理器；以及
14.与至少一个处理器通信连接的存储器；其中，
15.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任意实施例的数据采集方法。
16.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开任意实施例的数据采集方法。
17.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开任意实施例的数据采集方法。
18.根据本公开的技术，实现了对不同边缘运行模式下的各边缘端进行指标数据采集的效果。
19.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
20.附图用于更好地理解本方案，不构成对本公开的限定。其中：
21.图1是本公开实施例提供的一种数据采集方法的流程示意图；
22.图2是本公开实施例提供的又一种数据采集方法的流程示意图；
23.图3是本公开实施例提供的又一种数据采集方法的流程示意图；
24.图4是本公开实施例提供的一种数据采集装置的结构示意图；
25.图5是用来实现本公开实施例的数据采集方法的电子设备的框图。
具体实施方式
26.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
27.图1为本公开实施例的一种数据采集方法的流程示意图，本实施例可适用于在物联网或边缘计算场景中，对边缘端的预设指标数据进行采集的情况。该方法可由一种数据采集装置来执行，该装置采用软件和/或硬件的方式实现，并集成在电子设备上，例如集成在边缘端设备上。
28.具体的，参见图1，数据采集方法如下：
29.s101、确定边缘端的边缘运行模式。
30.本公开实施例中，边缘端可以是在边缘场景中任意的能够联网的边缘设备，例如边缘端可以是服务器设备，也可以是日常生活中的智能电表、又或是道路交叉口处的路侧智能设备等。由于不同边缘端的性能不同，衍生出了不同的边缘运行模式，其中，边缘端的边缘运行模式可以分为容器模式和进程模式两种。可选的，针对性能较强的边缘端可采用容器模式，以便执行比较专业的业务；而性能相对较低且业务单一的边缘端则可以采用进程模式。需要说明的是，容器模式是指边缘端的应用(例如业务应用或系统应用)是通过容器实现并运行的；而进程模式是指边缘端的应用是通过边缘端系统进程运行的。本公开方案中，在确定边缘端的边缘运行模式时，既可以根据边缘端的配置文件确定，也可以通过其他方式，在此不做具体限定。
31.s102、获取与边缘运行模式相适配的数据采集应用，并对数据采集应用进行安装部署。
32.本公开实施例中，在与各边缘端相连的云端中，可预先为不同的边缘运行模式配置有不同的数据采集应用，使得在通过s101确定边缘场景中各边缘端的边缘运行模式后，可直接根据确定的边缘运行模式从云端获取与之适配的数据采集应用，并对数据采集应用进行安装部署。在此需要说明的是，因为要采集的预设指标数据在不同边缘运行模式下存在差异，如果不考虑边缘端的边缘运行模式，所有边缘端使用相同的数据采集应用获取预设指标数据，会导致指标数据采集不全的问题，例如有的指标数据在容器模式下可以采集到，但是在进程模式下无法采集到。而本方案针对不同边缘运行模式部署不同的数据采集应用，则恰好能够避免这一问题。
33.本公开实施例中，与边缘运行模式相适配的数据采集应用还可以集成在边缘端的
系统应用中，随着系统应用的安装实现部署。
34.s103、通过安装后的数据采集应用对边缘端的预设指标数据进行采集。
35.本公开实施例中，在通过s102的步骤安装完数据采集应用后，结合边缘端的边缘运行模式，采集边缘端的预设指标数据。其中，预设指标数据包括边缘端主机状态指标数据、边缘端应用状态指标数据和边缘端组成部件状态指标数据中的至少一种。示例性的，边缘端主机状态指标数据包括但不限于主机cpu使用信息、内存使用信息、磁盘、网络信息等；边缘端应用状态指标数据包括但不限于应用的cpu使用信息、内存使用信息、运行状态等；边缘端组成部件状态指标数据包括但不限于常见的加速卡或显卡的温度、功耗、算力使用率、显存使用率等。如此，通过采集上述预设指标数据，为后续监控边缘端的状态提供了保证。
36.本公开实施例中，根据不同的边缘运行模式安装不同的数据采集应用进行数据采集，实现了对不同边缘运行模式下的各边缘端进行指标数据采集的目的，避免了因边缘运行模式不同出现部分指标数据无法采集的问题。
37.进一步的，通过s103采集的指标数据可以有效的获取边缘端的工作状态，从而能够及时发现边缘端的异常并进行告警通知。具体实现告警的过程如下：数据采集应用在采集到预设指标数据后，将其上报到云端，进而云端对接收的预设指标数据进行存储，例如将边缘端上报的指标数据存储在预设数据库中，示例性的，将预设指标数据存储在mysql数据库中。进一步的，云端还提供了数据暴露功能，该功能主要负责从数据库中获取边缘端上报的预设指标数据，并以通用规范(即预设数据处理规范)重新组织预设指标数据，进而通过预设服务端口(例如网络端口)进行暴露；需要说明的是，之所以重新组织规范预设指标数据，是因为采集的预设指标数据通常是按照自定义数据结构存储，为了能够对接开源的告警系统，需要将采集的预设指标数据的数据格式转换成通用的数据格式。进一步的，为了区分各预设指标数据来源于不同的边缘端，以及相同边缘端的不同应用，在组织预设指标数据时，会对每个指标数据进行标签化，也即是通过为预设指标数据添加来源标签的手段区分各预设指标数据的来源。进一步的，与云端对接的告警系统可以根据云端中暴露的端口定时拉取预设指标数据，然后存储在时序数据库中，方便后续查看历史指标数据及可视化显示。进一步的，告警系统的可视化前端控制台可直接从时序数据库中获取存储的预设指标数据，并根据预设指标数据中的标签进行数据筛选，从而自动区分出属于不同边缘端或不同边缘应用的预设指标数据。进一步的，告警系统可根据用户的配置数据，确定用户为边缘端不同预设指标设置的告警规则、告警通知目的地和告警通知类型(例如短信、邮件等)，当某项指标触发告警事件后，会触发相应的告警并通知到指定目的地。如此实现了支持多种边缘运行模式的边缘端告警方案。
38.图2是根据本公开实施例的又一数据采集方法的流程示意图。参见图2，数据采集方法具体如下：
39.s201、确定边缘端的边缘运行模式；其中，缘端的边缘运行模式为容器模式或进程模式。
40.s202、获取与边缘运行模式相适配的数据采集应用，并对数据采集应用进行安装部署。
41.其中，s201-s202的具体描述可参见上述实施例，在此不再赘述。本公开实施例中，
由于边缘端的边缘运行模式既可以是容器模式，也可以是进程模式，而在不同的边缘运行模式下，采集预设指标数据的具体过程也不同。具体的，如果边缘运行模式为容器模式，则按照s203的步骤进行数据采集；如果边缘运行模式为进程模式，则按照s204-s205的步骤进行数据采集。本公开方案中的要采集的预设指标数据如下：边缘端主机状态指标数据、边缘端应用状态指标数据和边缘端组成部件状态指标数据。其中，边缘端主机状态指标数据包括但不限于主机cpu使用信息、内存使用信息、磁盘、网络信息等；边缘端应用状态指标数据包括但不限于应用的cpu使用信息、内存使用信息、运行状态等；边缘端组成部件状态指标数据包括但不限于常见的加速卡或显卡的温度、功耗、算力使用率、显存使用率等。
42.s203、在容器模式下，数据采集应用通过预设容器接口对接数据聚合服务，并从数据聚合服务中获取边缘端的预设指标数据；以及，数据采集应用通过内置的部件识别与采集服务获取边缘端的预设指标数据。
43.本公开实施例中，边缘端的边缘运行模式为容器模式的情况下，数据聚合服务是容器编排管理工具kubernetes自带的服务，用于对边缘端主机状态指标数据和应用状态指标数据进行监测和聚合，使得数据采集应用通过预设容器接口对接数据聚合服务后，可直接从数据聚合服务中获取边缘端主机状态指标数据、应用状态指标数据等预设指标数据。
44.除此之外，针对容器模式下的边缘设备状态指标数据的采集，数据采集应用还集成了部件识别与采集服务，部件识别与采集服务会对组成边缘端的部件进行识别，例如可以识别出边缘端上的加速卡、显卡等部件，同时会对识别出的部件的关联数据进行采集，由此可实现对加速卡或显卡等边缘端组成部件的温度、功耗、算力使用率、显存使用率等信息的采集。
45.s204、在进程模式下，确定边缘端的系统架构。
46.在进程模式下，要采集指标数据，则需要首先确定边缘端的系统架构，例如可直接根据系统配置文件确定。示例性的，边缘端的系统架构可以为linux系统、android系统、windows系统和darwin系统中的任意一种。
47.s205、数据采集应用根据边缘端的系统架构，对接系统指标采集指令或系统文件，以采集边缘端的预设指标数据。
48.针对不同的系统架构，数据采集应用可自适应对接不同的系统文件或指标采集指令，采集所需的指标数据信息。示例性的，进程模式下，若边缘端的系统架构为linux系统，则数据采集应用通过对接该系统，采集内核系统信息，如从/proc/cpuinfo目录下获取cpu信息，从/proc/meminfo目录下获取内存信息等；若边缘端的系统架构为windows系统，则会通过对接系统插件获取windows系统的cpu、内存等信息。
49.本公开实施例中，不仅实现了对不同边缘运行模式下的各边缘端进行指标数据采集的效果，而且在进程模式下，还实现了不同系统架构下获取指标数据的目的。也即本公开的数据采集方案支持多边缘运行模式和多系统架构，通用性强。
50.图3是根据本公开实施例的又一数据采集方法的流程示意图。参见图3，数据采集方法具体如下：
51.s301、响应于云端发送的边缘节点安装指令，在边缘端上安装边缘节点。
52.其中，边缘节点安装指令中至少包括节点运行模式。
53.s302、将节点运行模式作为边缘端的边缘运行模式。
54.在边缘场景中，为了实现云端对边缘端的通信管理，首先在云端创建边缘节点并确定边缘节点的运行模式，进而在需要管理的边缘端上安装相应的边缘节点。具体的，边缘端接收云端发送的边缘节点安装指令后，在边缘端上执行安装边缘节点的操作。在此基础上，可直接将节点运行模式作为该边缘端的边缘运行模式。其中，缘端的边缘运行模式为容器模式或进程模式。
55.s303、获取与边缘运行模式相适配的数据采集应用，并对数据采集应用进行安装部署。
56.本公开实施例中，如果边缘端的边缘运行模式为容器模式，云端则将与容器模式相适配的数据采集应用发送到边缘端中进行安装部署；反之，如果边缘端的边缘运行模式为进程模式，云端则将与进程模式相适配的数据采集应用发送到边缘端中进行安装部署。如此可以保证对不同边缘运行模式的边缘端进行数据采集。
57.s304、通过安装后的数据采集应用对边缘端的预设指标数据进行采集。
58.可选的，在容器模式下，数据采集应用通过预设容器接口对接数据聚合服务，并从数据聚合服务中获取边缘端的预设指标数据；以及，数据采集应用通过内置的部件识别与采集服务获取边缘端的预设指标数据。在进程模式下，确定边缘端的系统架构；数据采集应用根据边缘端的系统架构，对接系统指标采集指令或系统文件，以采集边缘端的预设指标数据。
59.本公开实施例中，将边缘节点安装指令中包括的节点运行模式作为边缘端的边缘运行模式，可以快速确定边缘端的边缘运行模式；进而通过与边缘运行模式适配的数据采集应用采集边缘端指标数据，实现了支持多边缘运行模式的数据采集效果。
60.图4是根据本公开实施例的数据采集装置的结构示意图，本实施例可适用于在物联网或边缘计算场景中，对边缘端的预设指标数据进行采集的情况。参见图4，包括：
61.模式确定模块401，用于确定边缘端的边缘运行模式；
62.应用获取与部署模块402，用于获取与边缘运行模式相适配的数据采集应用，并对数据采集应用进行安装部署；
63.数据采集模块403，用于通过安装后的数据采集应用对边缘端的预设指标数据进行采集。
64.在上述实施例的基础上，可选的，所边缘端的边缘运行模式为容器模式或进程模式。
65.在上述实施例的基础上，可选的，数据采集模块还用于：
66.在容器模式下，数据采集应用通过预设容器接口对接数据聚合服务，并从数据聚合服务中获取边缘端的预设指标数据；以及，数据采集应用通过内置的部件识别与采集服务获取边缘端的预设指标数据。
67.在上述实施例的基础上，可选的，数据采集模块还用于：
68.在进程模式下，确定边缘端的系统架构；
69.数据采集应用根据边缘端的系统架构，对接系统指标采集指令或系统文件，以采集边缘端的预设指标数据。
70.在上述实施例的基础上，可选的，模式确定模块还用于：
71.响应于云端发送的边缘节点安装指令，在边缘端上安装边缘节点；其中，边缘节点
安装指令中至少包括节点运行模式；
72.将节点运行模式作为边缘端的边缘运行模式。
73.在上述实施例的基础上，可选的，预设指标数据包括边缘端主机状态指标数据、边缘端应用状态指标数据和边缘端组成部件状态指标数据中的至少一种。
74.在上述实施例的基础上，可选的，还包括：
75.数据上报模块，用于将采集的预设指标数据上报到云端，使得云端对预设指标数据进行如下处理：
76.对接收的预设指标数据进行存储；
77.基于预设数据处理规范，对存储的预设指标数据进行组织，并为预设指标数据添加来源标签；
78.通过预设服务端口对组织后的预设指标数据进行暴露，使得与云端对接的告警系统根据云端暴露的预设指标数据，结合预设的告警参数进行告警；其中，告警参数包括告警规则、告警目的地和告警通知类型。
79.本公开实施例提供的数据采集装置可执行本公开任意实施例提供的数据采集方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。
80.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
81.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
82.图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
83.如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
84.设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
85.计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，
例如数据采集方法。例如，在一些实施例中，数据采集方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram503并由计算单元501执行时，可以执行上文描述的数据采集方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据采集方法。
86.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
87.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
88.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
89.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
90.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网
(lan)、广域网(wan)和互联网。
91.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
92.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
93.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。