数据采集的方法及装置、非易失性存储介质与流程

本技术涉及数据处理，具体而言，涉及一种数据采集的方法及装置、非易失性存储介质。

背景技术：

1、数据库监控对于维护数据库性能和可用性至关重要。通过监控数据库的关键指标能够识别和解决数据库潜在的问题；将数据库运行状态可视化，管理员可以确保数据库系统的高效运行，为组织的应用程序基础架构提供更好的支持。相关技术中利用监控框架(如prometheus)实现数据库的监控，但是现有技术中的监控框架自带的采集指标不够丰富，而数据库需要监控的数据库指标却在增加，因此，存在无法根据实际业务需求增加监控指标，无法获得数据库准确的运行状态的技术问题。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种数据采集的方法及装置、非易失性存储介质，以至少解决由于无法根据实际需求增加监控指标造成的只能监控部分数据库指标，无法准确反映数据库运行状态的技术问题。

2、根据本技术实施例的一个方面，提供了一种数据采集的方法，包括：接收采集指令，并响应于采集指令采集数据，其中，采集指令包括：采集对象和采集频率，采集对象用于指示待采集的数据；确定采集对象的类型，并从多个数据库中确定与采集对象的类型对应的目标数据库，其中，目标数据库用于存储采集对象；获取存储在缓存中的第一配置信息，在第一配置信息中包含目标数据库的第二配置信息的情况下，与目标数据库建立连接，并在成功与目标数据库建立连接的情况下，从目标数据库中采集数据；在第一配置信息中不包含目标数据库的第二配置信息的情况下，更新第一配置信息。

3、可选地，更新第一配置信息，包括：获取目标配置信息，其中，目标配置信息用于更新第一配置信息，目标配置信息包括：第一数据库配置信息和第一监控指标配置信息，第一数据库配置信息包括：多个数据库的多个第一配置文件，每个第一配置文件至少记录数据库标识，数据库标识用于唯一标识一个数据库，第一监控指标配置信息包括多个数据库指标的多个第二配置文件，数据库指标包括：每个数据库的连接状态、每个数据库的活动会话数量和每个数据库的空间使用率，每个第二配置文件至少记录数据库指标的名称和数据库指标标识，数据库指标标识用于唯一标识一个数据库指标；将目标配置信息与第一配置信息进行对比，得到对比结果；根据对比结果对应的方法更新第一配置信息。

4、可选地，将目标配置信息与第一配置信息进行对比，包括：将数据库标识确定为第一数据库配置信息的第一主键，其中，第一主键为判断是否更新第一配置信息中的第二数据库配置信息的参照条件；在对比第一数据库配置信息和第二数据库配置信息时，只对比第一数据库配置信息中包含的数据库标识和第二数据库配置信息中包含的数据库标识；将监控指标属性信息确定为对比第一监控指标配置信息的第二主键，其中，第二主键为判断是否更新第一配置信息中的第二监控指标配置信息的参照条件，监控指标属性信息包括：数据库指标的名称和数据库指标标识；在对比第一监控指标配置信息和第二监控指标配置信息时，只对比第一监控指标配置信息中包含的监控指标属性信息和第二监控指标配置信息中包含的监控指标属性信息。

5、可选地，对比结果，包括：第一对比结果，其中，第一对比结果用于指示第一数据库配置信息中包含的数据库标识与第二数据库配置信息中包含的数据库标识相同，或者第一监控指标配置信息中包含的监控指标的属性信息与第二监控指标配置信息中包含的监控指标的属性信息相同；第二对比结果，其中，第二对比结果用于指示第一数据库配置信息中存在第一目标数据库标识，或者，第一监控指标配置信息中存在第一目标属性信息，第一目标数据库标识为第二数据库配置信息中不包含的数据库标识，第一目标属性信息为第二监控指标配置信息中不包含的监控指标属性信息；以及，第三对比结果，其中，第三对比结果用于指示第二数据库配置信息中存在第二目标数据库标识，或者，第二监控指标配置信息中包含第二目标属性信息，第二目标数据库标识为第一数据库配置信息中不包含的数据库标识，第二目标属性信息为第一数据库配置信息中不包含的监控指标属性信息。

6、可选地，根据对比结果对应的方法更新第一配置信息，包括：在对比结果为第一对比结果的情况下，将第一目标配置信息替换为目标配置信息；在对比结果为第二对比结果的情况下，将第一目标数据库标识对应的数据库的配置信息添加到第一配置信息，或者，将第一目标属性信息对应的监控指标的配置信息添加到第一配置信息；在对比结果为第三对比结果的情况下，将第二目标数据库标识对应的数据库的配置信息从第一配置信息中删除，或者，将第二目标属性信息对应的监控指标的配置信息从第一配置信息中删除。

7、可选地，在成功与目标数据库建立连接的情况下，数据采集的方法还包括：在预设时间区间内与目标数据库保持连接状态；在预设时间区间内未接收到从目标数据库采集数据的指令，销毁与目标数据库之间的连接。

8、可选地，数据采集的方法还包括：在采集数据时接收到告警信息，且接收到告警信息的次数大于预设次数的情况下，停止采集数据，并将目标数据库的配置信息从缓存中删除，其中，告警信息用于指示与目标数据库之间的连接错误。

9、根据本技术实施例的另一方面，还提供了一种数据采集的装置，包括：接收模块，用于接收采集指令，并响应于采集指令采集数据，其中，采集指令包括：采集对象和采集频率，采集对象用于指示待采集的数据；确定模块，用于确定采集对象的类型，并从多个数据库中确定与采集对象的类型对应的目标数据库，其中，目标数据库用于存储采集对象；采集模块，用于获取存储在缓存中的第一配置信息，在第一配置信息中包含目标数据库的第二配置信息的情况下，与目标数据库建立连接，并在成功与目标数据库建立连接的情况下，从目标数据库中采集数据；更新模块，用于在第一配置信息中不包含目标数据库的第二配置信息的情况下，更新第一配置信息。

10、根据本技术实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有计算机程序，其中，在非易失性存储介质所在设备通过运行计算机程序执行上述的数据采集的方法。

11、根据本技术实施例的另一方面，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为通过计算机程序执行上述的数据采集的方法。

12、在本技术实施例中，采用接收采集指令，并响应于采集指令采集数据，其中，采集指令包括：采集对象和采集频率，采集对象用于指示待采集的数据；确定采集对象的类型，并从多个数据库中确定与采集对象的类型对应的目标数据库，其中，目标数据库用于存储采集对象；获取存储在缓存中的第一配置信息，在第一配置信息中包含目标数据库的第二配置信息的情况下，与目标数据库建立连接，并在成功与目标数据库建立连接的情况下，从目标数据库中采集数据；在第一配置信息中不包含目标数据库的第二配置信息的情况下，更新第一配置信息的方式，提供了一种数据库中数据和监控指标的采集方法，支持针对多种数据库进行数据采集；数据库连接信息和质变信息可配置；达到了根据数据库的实际使用情况新增监控指标的目的，从而实现了采集数据库的多种监控指标，准确反映数据库运行状态的技术效果；并且，还提供了健全的数据库采集机制，达到了数据库连接失败不再采集，数据库连接池可复用，达到了防止频繁连接数据库的目的，从而实现了减少擦剂次数和数据库的性能压力的技术效果，进而解决了由于无法根据实际需求增加监控指标造成的只能监控部分数据库指标，无法准确反映数据库运行状态技术问题。