一种数据采集方法及设备与流程

本申请涉及数据处理技术领域，具体涉及一种数据采集方法及设备。

背景技术：

随着互联网技术的快速发展，企业对于计算能力的需求日益增长，it运维系统的物理环境也日渐复杂。在一个数据中心内存在多个品牌的服务器成为了常态，同一品牌的服务器也存在多个不同的系列和版本，并且每一类服务器品牌的管理机制可能都不完全相同，这样都给服务器的硬件运维人员带来了巨大的挑战。运维人员疲于在各类“孤岛式”的运维工具中来应对各类突发生产事件，还要经常面临因设备问题而带来了业务中断风险，日常工作量大，效率低下。

技术实现要素：

有鉴于此，本申请实施例提供一种数据采集方法和设备，以实现对各个服务器的数据进行统一采集，减少工作量，提高效率。

为解决上述问题，本申请实施例提供的技术方案如下：

在本申请实施例第一方面，提供了一种数据采集方法，该方法应用于数据采集设备，所述方法包括：

所述数据采集设备获取第一数据采集指令，并根据所述第一数据采集指令确定服务器列表，所述服务器列表中包括所管理的一个或多个服务器，所述第一数据采集指令用于指示对所述服务器列表中的服务器进行数据采集；

针对任一服务器，所述数据采集设备确定与该服务器匹配的采集模型，并根据所述采集模型向所述服务器发送第二数据采集指令，所述第二数据采集指令用于指示采集所述服务器中的目标数据；

所述数据采集设备接收所述服务器发送的目标数据。

在一种具体的实现方式中，在所述数据采集设备确定与该服务器匹配的采集模型之前，所述方法还包括：

所述数据采集设备判断是否具有权限对所述服务器进行数据采集；

在具有采集权限时，所述数据采集设备确定与所述服务器匹配的采集模型，并根据所述采集模型向所述服务器发送第二数据采集指令。

在一种具体的实现方式中，所述数据采集设备确定与该服务器匹配的采集模型，包括：

获取所述服务器的属性信息，根据所述服务器的属性信息确定匹配的采集模型。

在一种具体的实现方式中，所述属性信息包括生产厂商、型号以及部署位置中的一种或多种。

在一种具体的实现方式中，所述根据所述服务器的属性信息确定匹配的采集模型，包括：

根据所述服务器的属性信息以及对应关系表确定匹配的采集模型，所述对应关系表包括所述属性信息以及所述采集模型之间的对应关系。

在一种具体的实现方式中，所述方法还包括：

所述数据采集设备根据所述目标数据的类型确定处理策略；

所述数据采集设备根据所述处理策略对所述目标数据处理，并对处理后的数据保存。

在一种具体的实现方式中，所述方法还包括：

所述数据采集设备按照预设展示模板对所述处理后的数据进行展示。

在本申请实施例第二方面，提供了一种数据采集设备，所述设备包括：

获取模块，用于获取第一数据采集指令；

确定模块，用于根据所述第一数据采集指令确定服务器列表，所述服务器列表中包括所管理的一个或多个服务器，所述第一数据采集指令用于指示对所述服务器列表中的服务器进行数据采集；

针对任一服务器，所述确定模块，还用于确定与该服务器匹配的采集模型；

发送模块，用于根据所述采集模型向所述服务器发送第二数据采集指令，所述第二数据采集指令指示采集所述服务器中的目标数据；

接收模块，用于接收服务器发送的目标数据。

在本申请实施例第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在设备上运行时，使得所述设备执行第一方面所述的数据采集方法。

在本申请实施例第四方面，提供了一种设备，所述设备包括：处理器和存储器；

所述存储器，用于存储指令或计算机程序；

所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述设备执行第一方面所述的数据采集方法。

由此可见，本申请实施例具有如下有益效果：

本申请实施例中的数据采集设备可以预先配置不同类型的采集模型，该采集模型与服务器的管理协议相匹配。当需要采集其所管理的一个或多个服务器的数据时，数据采集设备获取第一数据采集指令，该第一数据采集指令用于指示对服务器列表中的各服务器进行数据采集。针对任一服务器，数据采集设备获取该服务器对应的采集模型，以根据该采集模型向该服务器发送第二数据采集指令，以指示采集服务器中的目标数据，进而接收服务器发送的目标数据。可见，通过本方案可以实现对各个服务器的数据进行采集，进而根据数据对服务器进行维护，无需运维人员到现场查看，提高维护效率。

附图说明

图1为本申请实施例提供的一种数据采集方法流程图；

图2a为本申请实施例提供的一种目标数据展示图；

图2b为本申请实施例提供的另一种目标数据展示图；

图2c为本申请实施例提供的又一种目标数据展示图；

图3为本申请实施例提供的一种数据采集框架图；

图4为本申请实施例提供的另一种数据采集设备结构图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。

为便于理解本申请实施例的技术方案，下面将先对本申请实施例涉及的技术名词进行说明。

在对传统的数据管理服务研究中发现，大型数据中心通常存在很多不同类型的服务器，由于不同类型的服务器可能采用不同的数据管理口对数据进行存储和管理，导致无法对各服务器进行统一管理。同时，由于缺乏自动化管理方案，对于服务器故障的发现主要通过机房巡检实现，问题发现不及时。此外，对于机房内的空间、电力资源使用情况无法及时掌握，服务器的资源分配还是依靠测试值进行，无法对资源进行合理分配，导致资源浪费。

基于此，本申请实施例提供了一种数据采集方法，具体地，数据采集设备预先配置了各种类型的采集模型，当需要采集其所管理的一个或多个服务器的数据时，数据采集设备获取第一数据采集指令，该第一数据采集指令用于指示对服务器列表中的各服务器进行数据采集。针对任一服务器，数据采集设备获取该服务器对应的采集模型，以根据该采集模型向该服务器发送第二数据采集指令，以指示采集服务器中的目标数据，进而接收服务器发送的目标数据。可见，通过本方案可以实现对各个服务器的数据进行采集，进而根据数据对服务器进行维护，无需运维人员到现场查看，提高维护效率。另外，运维人员在获取到各服务器的数据后，可以通过该数据判断服务器的健康状态以及资源分配情况，便于故障发现和资源分配。

其中，本申请实施例涉及的技术名称包括：

redfish一种基于https服务的管理标准

apiapplicationprogramminginterface应用程序接口

cpucentralprocessingunit中央处理器

raidredundantarraysofindependentdisks磁盘阵列

pciperipheralcomponentinterconnect外设组件互连标准

sr-iovsinglerooti/ovirtualizationio虚拟化

biosbasicinputoutputsystem基本输入输出系统

somsecurityoperationmodule安全运维模块

为便于理解本申请提供的技术方案，下面将结合附图对本申请进行说明。

示例性方法

参见图1，该图为本申请实施例提供的一种数据采集方法流程图，如图1所示，该方法包括：

s101：数据采集设备获取第一数据采集指令，并根据该第一数据采集指令确定服务器列表。

本实施例中，当数据采集设备需要对服务器进行数据采集时，可以生成第一数据采集指令，该第一数据采集指令用于指示对某些服务器进行数据采集，进而根据该第一数据采集指令确定匹配的服务器列表。

具体地，数据采集设备可以根据实际应用情况将其所管理的服务器进行分类管理，例如，可以根据所服务的行业的不同分为不同的服务器列表，属于同一行业的服务器存在同一服务器列表，或者根据所提供的服务等级分为不同的服务器列表，属于同一服务等级的服务器存在同一服务器列表中等。当数据采集设备需要采集某一服务器列表所对应的服务器的数据时，可以生成第一数据采集指令，该第一数据采集指令可以包括服务器列表的标识，以根据该标识确定匹配的服务器列表。其中，数据采集设备可以预先存储标识与服务器列表之间的对应关系，以便根据该对应关系以及第一数据采集指令中的标识确定服务器列表。其中，服务器列表中可以包括所管理的一个或多个服务器。

在一种具体的实施方式中，数据采集设备可以根据采集周期定期生成第一数据采集指令。其中，采集周期可以根据服务器的硬件差异和/或数据使用需求划分为高频率采集和低频率采集。例如，cpu、内存、板卡类部件的基础配置数据基本不发生变化，则其对应的采集周期可以设置为低频率采集；对于温度、剩余存储空间等功耗类、日之类数据会随着时间不断发生变化，则其对应的采集周围可以设置为高频采集。基于此，当数据采集设备需要采集功耗类和/或日之类等数据时，第一数据采集指令为高频采集指令；当数据采集设备需要采集基础配置数据时，第一数据采集指令为低频采集指令。

s102：针对任一服务器，数据采集设备确定与服务器匹配的采集模型，并根据该采集模型向服务器发送第二数据采集指令。

在数据采集设备确定出匹配的服务器列表后，针对任一服务器，确定与该服务器匹配的采集模型，该采集模型所使用的采集协议与服务器管理数据对应的协议匹配，进而可以根据该采集模型向服务器发送第二数据采集指令，以通过该第二数据采集指令通知服务器返回数据采集设备所需要的目标数据。

具体地，数据采集设备确定与服务器匹配的采集模型，可以包括：获取服务器的属性信息，根据该服务器的属性信息确定匹配的采集模型。其中，服务器的属性信息用于反映该服务器的特征，该属性信息可以包括生产厂商、型号以及部署位置等一种或多种。进一步地，数据采集设备中可以包括属性信息与采集模型之间的对应关系，数据采集设备根据上述对应关系以及各服务器的属性信息确定匹配的采集模型。例如，数据采集设备首先判断服务器1对应的生产厂商是否存在对应关系表中，如果是，则进一步判断服务器1对应的型号是否存在对应关系表中，如果是，则进一步判断该服务器1的部署位置是否位于存在对应关系表中，如果是，则确定出匹配的采集模型。也就是，在上述三个条件均满足且对应同一采集模型时，才可以确定服务器匹配的采集模型。

在实际应用中，为保证数据的安全性，避免对数据的滥用，数据采集设备在确定与服务器匹配的采集模型之前，还可以对此次采集权限进行认证，在此次采集具有采集权限时，再进行后续的采集处理等。具体地，数据采集设备可以预先在配置文件中存储各个服务器的认证参数，在进行采集之前，调用各个服务器的认证参数，在认证通过后再进行采集。

s103：数据采集设备接收服务器发送的目标数据。

通过s102，数据采集设备根据各服务器所匹配的采集模型发送相应的第二采集指令，以接收各服务器发送的目标数据。其中，目标数据可以为服务器配置类的数据和/或功耗类数据、日志类数据等。

在一种具体的实施方式中，数据采集设备在获取到目标数据后，可以根据自身定义的数据标签对目标数据的格式进行转换，以使得数据采集设备可以对转换后的目标数据进行处理。

在一种具体的实施方式中，数据采集设备可以根据目标数据的类型确定处理策略；并根据该处理策略对目标数据进行处理，并对处理后的数据进行保存。其中，目标数据的类型可以包括配置类数据、功耗类数据和日志类数据，针对不同类型的数据可以预先配置不同的处理策略，以根据匹配的处理策略对目标数据进行处理。例如，对于基础配置类数据cpu而言，需要从获取的目标数据中提取cpu的总数量、cpu总核数、厂商、型号、监控状态等，如图2a所示；对于功耗类数据温度而言，需要从获取的目标数据中提取传感器的位置、当前温度、健康状态等，如图2b所示；对于日志类数据而言，需要从获取的目标数据中提取标识id、创建时间、条目类型等，如图2c所示。

可选的，数据采集设备在按照处理策略对目标数据处理后，可以根据预设展示模板对处理后的数据进行展示，从而使得用户可以直观地查看各个服务器的运行状态，以及时发现故障并进行维护，提高效率。

通过上述可知，数据采集设备可以预先配置不同类型的采集模型，该采集模型与服务器的管理协议相匹配。当需要采集其所管理的一个或多个服务器的数据时，数据采集设备获取第一数据采集指令，该第一数据采集指令用于指示对服务器列表中的各服务器进行数据采集。针对任一服务器，数据采集设备获取该服务器对应的采集模型，以根据该采集模型向该服务器发送第二数据采集指令，以指示采集服务器中的目标数据，进而接收服务器发送的目标数据。可见，通过本方案可以实现对各个服务器的数据进行采集，进而根据数据对服务器进行维护，无需运维人员到现场查看，提高维护效率。

为便于理解，参见图3所述的数据采集框架图，如图3所示，该数据采集设备可以包括数据采集模块301、安全运维模块302、数据处理模块303、数据展示模块304。其中，安全运维模块302用于权限校验；数据采集模块301用于采集原始数据；数据处理模块303用于预处理原始数据，数据展示模块304用于展示可视化页面给使用人员。其中，数据采集模块301包括数据采集引擎3011和采集驱动3012。

安全运维模块302

安全运维模块接收到采集驱动的命令后，将主动发起对各种物理设备的安全认证。该安全运维模块可以采用配置文件的方式，保存各个设备的认证参数。安全运维模块调用各种设备的验证协议，并判断发起此采集命令的权限和安全要求，如果可以通过才能进行数据采集的下一步动作。

数据采集模块301

数据采集引擎定期主动发出数据采集命令，即第一数据采集指令，给采集驱动，由采集驱动处理采集命令，并且返回采集结果。采集周期根据硬件差异及数据使用需求区分为高频率采集和低频率采集。例如cpu、内存、板卡类部件的基础配置不常发生变动，采取低频率的采集策略；对于温度功耗类、日志类信息会随着时间不断发生变动，采取高频率的采集策略。

因各厂商型号服务器差异性较大，管理口封装无统一标准，采集驱动集成了各厂商型号服务器的数据采集模型。采集驱动收到数据采集引擎发送过来的命令之后，会自动搜索被加入管理的服务器。采集驱动主要通过管理口redfish协议实现对于服务器配置信息的采集，为标准的api接口。在获取到服务器类型后，通过匹配规则，自动向服务器发送相应的采集命令，并将收集到的原始数据统一转换成统一格式，传递给数据采集引擎。

数据处理模块303

当数据采集模块采集到各服务器的配置数据后，统一转换成统一格式发送给数据处理模块。数据处理模块将采集到的数据进行初步的筛选、整理等预处理过程，同时在这一阶段完成了数据统计工作。涉及到的统计数据有cpu的总核数、内存的总容量、硬盘的总容量等，这些数据表示整个数据中心的运算能力和存储能力；功耗统计、温度统计、设备运行状态等提供了当前数据中心内服务器资源使用情况，也可以提供给绿色数据中心做节能环保的进一步规划。

数据展示模块304

数据处理模块将原始数据预处理之后，发送给数据展示模块。数据展示模块包括数据入库以及前端平台展示工作。处理后的数据按照统一的格式入库保存，并将将数据图像化展示给用户，给用户提供监控及告警等能力。

通过上述方案，本申请实施例提供了一种通用数据采集方案，兼容了各种服务器厂商，扩展性以及自适应性好，实现对设备的数字化描述，具体可分为：

(1)减少机房现场操作

过去部件扩容只能进机房现场查看设备情况，配置采集可实时展示空余槽位信息、已有部件信息；过去设备告警只能进机房现场查看设备面板、登录管理口查询日志；配置采集可实时线上收集硬件日志。

(2)实现部件级检索能力

过去若某型号设备部件出现硬件缺陷，实际上无技术手段可以查询，只能通过查找合同订单或进机房现场查看来锁定影响范围；通过配置采集可直接对于某部件型号、编号进行检索，效率大大提高。

(3)实现设备端温度及功耗的获取

过去机房、机柜内设备部署多依赖设备理论值或满载测试值，通过配置采集可实时采集设备实际运行功率，可供机房资源规划时使用，提升机房资源使用效率；并可实现设备进出风温度，主板、cpu等主要部件温度实时采集，可为机房绿色节能提供数据支撑，如空调升温规划等。

(4)实现设备的统一化监控管理

运维人员可以在前端页面直接关注到设备的运行状态及资源使用状态，遇到突发情况反应及时、迅速，提供数据中心硬件运维领域的工作效率。

基于上述方法实施例，本申请实施例提供了一种数据采集设备，下面将结合附图进行说明。

参见图4，该图为本申请实施例提供的一种数据采集设备，如图3所示，该设备可以包括：获取模块401、确定模块402、发送模块403和接收模块404。

获取模块401，用于获取第一数据采集指令；

确定模块402，用于根据所述第一数据采集指令确定服务器列表，所述服务器列表中包括所管理的一个或多个服务器，所述第一数据采集指令用于指示对所述服务器列表中的服务器进行数据采集；

针对任一服务器，所述确定模块402，还用于确定与该服务器匹配的采集模型；

发送模块403，用于根据所述采集模型向所述服务器发送第二数据采集指令，所述第二数据采集指令指示采集所述服务器中的目标数据；

接收模块404，用于接收服务器发送的目标数据。

在一种可能的实现方式中，所述设备还包括：

安全运维模块，用于判断所述设备是否具有权限对所述服务器进行数据采集。

在一种可能的实现方式中，所述确定模块，具体用于获取所述服务器的属性信息，根据所述服务器的属性信息确定匹配的采集模型。

在一种可能的实现方式中，所述属性信息包括生产厂商、型号以及部署位置中的一种或多种。

在一种可能的实现方式中，所述确定模块，具体用于根据所述服务器的属性信息以及对应关系表确定匹配的采集模型，所述对应关系表包括所述属性信息以及所述采集模型之间的对应关系。

在一种可能的实现方式中，所述设备还包括：

数据处理模块，用于根据所述目标数据的类型确定处理策略，并根据所述处理策略对所述目标数据进行处理；

数据存储模块，用于对处理后的数据进行保存。

在一种可能的实现方式中，所述设备还包括：

数据展示模块，用于按照预设展示模板对所述处理后的数据进行展示。

需要说明的是，本实施例中各个单元的实现可以参见上述方法实施例的相关描述，本实施例在此不再赘述。

另外，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在设备上运行时，使得所述设备执行所述的数据采集方法。

本申请实施提供了一种计算机程序产品，所述计算机程序产品在设备上运行时，使得所述设备执行所述的数据采集方法。

本申请实施例提供了一种设备，所述设备包括：处理器和存储器；

所述存储器，用于存储指令或计算机程序；

所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述通信设备执行所述的数据采集方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。