本发明涉及计算机技术领域，特别涉及一种数据采集方法及装置。
背景技术：
在业务系统的开发和运维领域，基于业务运行的环境数据和用户行为数据的数字化运维和研发变得越来越重要，而对业务运行的环境数据和用户行为数据的收集及分析，是数字化运维和研发的基础数据支撑。
目前，对环境数据和用户行为数据进行采集时，一般采用相对固化的采集方式，即利用固定设置好采集协议的数据采集组件对数据进行采集。当业务运行环境或用户行为发生变化时，需要重新构建相应采集协议的数据采集组件。
由此可见，现有的数据采集方式无法根据业务运行环境的变化和用户行为的变化更改采集协议，导致数据采集不够灵活。
技术实现要素：
本发明实施例提供了一种数据采集方法及装置，能提高数据采集的灵活性。
第一方面，本发明实施例提供了一种数据采集方法，包括：
获取至少一个数据采集指标对应的指标定义，以及至少一个数据采集器对应的定义契约；
根据所述至少一个数据采集指标对应的指标定义以及每一个所述数据采集器对应的定义契约，确定每一个所述数据采集器对应的至少一个数据采集指标；
获取调度器对应的调度信息，所述调度信息包括每一个所述数据采集器对应的调度时间；
根据所述调度信息，利用所述调度器在相应的调度时间分别对各个所述数据采集器进行调度；
利用调度的所述数据采集器，对所对应的所述数据采集指标对应的业务数据进行采集。
优选地，
进一步包括：获取用户输入的至少一个指标集对应的集合定义；
根据每一个所述指标集对应的集合定义以及各个所述数据采集指标对应的指标定义，确定每一个所述指标集对应的至少一个所述数据采集指标；其中，各个所述指标集对应的所述数据采集指标各不相同；
所述根据所述至少一个数据采集指标对应的指标定义以及每一个所述数据采集器对应的定义契约，确定每一个所述数据采集器对应的至少一个数据采集指标，包括：
针对每一个所述数据采集器，执行：
根据所述指标集对应的集合定义和各个所述数据采集器分别对应的定义契约，确定所述数据采集器对应的至少一个所述指标集；
从确定出的每一个所述指标集中确定所述数据采集器对应的数据采集指标。
优选地，
在所述获取用户输入的至少一个数据采集指标对应的指标定义，以及至少一个数据采集器对应的定义契约之后，进一步包括：
获取每一个所述数据采集器对应的监控契约；
在所述利用调度的所述数据采集器，对所对应的所述数据采集指标对应的业务数据进行采集之后，进一步包括：
根据每一个所述数据采集器对应的监控契约，对每一个所述数据采集器进行监控，获得每一个所述数据采集器对应的实时状态信息；
对各个所述数据采集器对应的实时状态信息进行展示。
优选地，
进一步包括：获取每一个所述数据采集器对应的生命周期契约；
所述对各个所述数据采集器对应的实时状态信息进行展示，包括：
根据每一个所述数据采集器对应的生命周期契约以及所述实时状态，分别确定各个所述数据采集器是否存在异常，如果是，对存在异常的数据采集器对应的实时状态进行展示。
优选地，
所述获取用户输入的至少一个数据采集指标对应的指标定义，包括：
获取服务器运行环境、服务器配置数据、数据库运行环境、数据库配置数据、业务系统行为数据、异常数据中的一个或多个分别对应的数据采集指标对应的指标定义。
第二方面，本发明实施例提供了一种数据采集装置，包括：获取单元、确定单元、调度单元和采集单元；其中，
所述获取单元，用于获取至少一个数据采集指标对应的指标定义，以及至少一个数据采集器对应的定义契约；获取调度器对应的调度信息，所述调度信息包括每一个所述数据采集器对应的调度时间；
所述确定单元，用于根据所述至少一个数据采集指标对应的指标定义以及每一个所述数据采集器对应的定义契约，确定每一个所述数据采集器对应的至少一个数据采集指标；
所述调度单元，用于根据所述调度信息，利用所述调度器在相应的调度时间分别对各个所述数据采集器进行调度；
所述采集单元，用于利用调度的所述数据采集器，对所对应的所述数据采集指标对应的业务数据进行采集。
优选地，
所述获取单元，进一步用于获取用户输入的至少一个指标集对应的集合定义；
所述确定单元，包括：指标集确定子单元和采集指标确定子单元；其中，
所述指标集确定子单元，用于根据每一个所述指标集对应的集合定义以及各个所述数据采集指标对应的指标定义，确定每一个所述指标集对应的至少一个所述数据采集指标；其中，各个所述指标集对应的所述数据采集指标各不相同；
所述采集指标确定子单元，用于针对每一个所述数据采集器，执行：根据所述指标集对应的集合定义和各个所述数据采集器分别对应的定义契约，确定所述数据采集器对应的至少一个所述指标集；从确定出的每一个所述指标集中确定所述数据采集器对应的数据采集指标。
优选地，
进一步包括：监控单元；其中，
所述获取单元，进一步用于获取每一个所述数据采集器对应的监控契约；
所述监控单元，用于根据每一个所述数据采集器对应的监控契约，对每一个所述数据采集器进行监控，获得每一个所述数据采集器对应的实时状态信息；并对各个所述数据采集器对应的实时状态信息进行展示。
优选地，
所述获取单元，用于获取每一个所述数据采集器对应的生命周期契约；
所述监控单元，用于根据每一个所述数据采集器对应的生命周期契约以及所述实时状态，分别确定各个所述数据采集器是否存在异常，如果是，对存在异常的数据采集器对应的实时状态进行展示。
优选地，
所述获取单元，用于获取服务器运行环境、服务器配置数据、数据库运行环境、数据库配置数据、业务系统行为数据、异常数据中的一个或多个分别对应的数据采集指标对应的指标定义。
本发明实施例提供了一种数据采集方法及装置，根据用户输入的数据采集指标的指标定义以及数据采集器的定义契约，确定数据采集指标与数据采集器的对应关系，并根据调度器的调度信息对数据采集器进行调度，以利用调度的数据采集器对相应数据采集指标对应的业务数据进行采集。由此用户可根据业务运行环境的变化或用户行为的变化自定义指标定义以及数据采集器的定义契约，从而提高了数据采集的灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种数据采集方法的流程图；
图2是本发明一个实施例提供的一种数据采集装置的结构示意图；
图3是本发明另一个实施例提供的一种数据采集装置的结构示意图；
图4是本发明又一个实施例提供的一种数据采集装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种数据采集方法，该方法可以包括以下步骤：
步骤101：获取至少一个数据采集指标对应的指标定义，以及至少一个数据采集器对应的定义契约；
步骤102：根据所述至少一个数据采集指标对应的指标定义以及每一个所述数据采集器对应的定义契约，确定每一个所述数据采集器对应的至少一个数据采集指标；
步骤103：获取调度器对应的调度信息，所述调度信息包括每一个所述数据采集器对应的调度时间；
步骤104：根据所述调度信息，利用所述调度器在相应的调度时间分别对各个所述数据采集器进行调度；
步骤105：利用调度的所述数据采集器，对所对应的所述数据采集指标对应的业务数据进行采集。
上述实施例中，根据用户输入的数据采集指标的指标定义以及数据采集器的定义契约，确定数据采集指标与数据采集器的对应关系，并根据调度器的调度信息，对数据采集器进行调度，以利用调度的数据采集器对相应数据采集指标对应的业务数据进行采集。由此用户可根据业务运行环境的变化或用户行为的变化自定义指标定义以及数据采集器的定义契约，即支持用户支持按需定义和调整数据采集指标，从而提高了数据采集的灵活性。
本发明一个实施例中，进一步包括：获取用户输入的至少一个指标集对应的集合定义；
根据每一个所述指标集对应的集合定义以及各个所述数据采集指标对应的指标定义，确定每一个所述指标集对应的至少一个所述数据采集指标；其中，各个所述指标集对应的所述数据采集指标各不相同；
步骤102的具体实施方式，可以包括：
针对每一个所述数据采集器，执行：
根据所述指标集对应的集合定义和各个所述数据采集器分别对应的定义契约，确定所述数据采集器对应的至少一个所述指标集；
从确定出的每一个所述指标集中确定所述数据采集器对应的数据采集指标。
数据采集指标的指标定义包办数据采集指标的基本信息，如标识、名称、所包含的具体采集指标定义、指标类型、指标所涉及数据领域、是否系统内置等以及增量管理相关契约，其中，增量管理相关契约主要是创建人、创建时间、最后修改人、最后修改时间。指标集是一系列数据采集指标的集合，其集合定义包含数据采集指标集的基本信息。指标集的集合定义基本与数据采集指标的指标定义相同，所不同的是指标集可包含一系列数据采集指标。
在这里，根据指标集的集合定义和数据采集指标对应的指标定义，确定每一个指标集对应的数据采集指标，并使得各个指标集对应的数据采集指标各不相同，即一个指标集虽然可包含多个数据采集指标，但一个数据采集指标只能属于一个指标集。由此便与数据采集指标的管理，并使得用户可按需定义和调整数据采集指标，以满足业务系统数字化运维和和数字化开发所需收集数据的需要。
当确定数据采集器对应的数据采集指标时，先确定出数据采集器对应的指标集，再从确定出的指标集中确定出相应的数据采集指标，由于指标集的数量远远小于数据采集指标的数量，能提高查找效率，从而上述方式能提高数据采集指标的确定效率，进而有利于提高数据采集效率。
本发明一个实施例中，在步骤101之后，进一步包括：
获取每一个所述数据采集器对应的监控契约；
在步骤104之后，进一步包括：
根据每一个所述数据采集器对应的监控契约，对每一个所述数据采集器进行监控，获得每一个所述数据采集器对应的实时状态信息；
对各个所述数据采集器对应的实时状态信息进行展示。
数据采集器的监控契约包括数据采集器状态变更通告契约、异常通告契约、执行阶段和进度通告契约、采集数据量实时通告契约、采集数据状态变更通告契约等，涵盖了数据采集器的状态和性能、进度、数据量实时监控等所需的全部契约，使得每一个数据采集器都可以按照标准的方式进行监控管理，可以实时监控每一个数据采集器的当前状态、执行性能、采集进度、所处理的数据量等实时状态信息。基于此监控契约，用户可以按需定义和调整数据采集指标及其对应的数据采集器、并根据业务系统特点调整和自定义数据采集器，以满足业务系统数字化运维和和数字化开发所需收集数据的需要。并且，基于数据采集器的监控契约，可对数据采集器的运行情况和状态数据等实时状态信息进行采集并汇总，并将数据图形化的展现给管理员，从而实现了数据采集器的集中监控和运维管理。
本发明一个实施例中，该方法可以进一步包括：获取每一个所述数据采集器对应的生命周期契约；
所述对各个所述数据采集器对应的实时状态信息进行展示，包括：
根据每一个所述数据采集器对应的生命周期契约以及所述实时状态，分别确定各个所述数据采集器是否存在异常，如果是，对存在异常的数据采集器对应的实时状态进行展示。
在这里，首先约定了数据采集器的定义契约，包括注册、创建、启动、停止等生命周期契约，采集器运行监控所需的监控契约等，用于对数据采集器进行定义、管理、调度、监控。数据采集器的定义契约包括数据采集器的基本信息，如标识、名称、所对应的数据采集指标列表、是否系统内置等以及增量管理相关契约，其中，增量管理相关契约主要是创建人、创建时间、最后修改人、最后修改时间。另外还可以包括用于调度执行的调度信息，如周期性调度(使用unix时间定义方式)、一次性调度(相对时间或者绝对时间调度)和手工调度等不同方式。
数据采集器生命周期契约包括数据采集器注册契约、启动与初始化契约、执行契约、终止契约、异常和日志处理契约等，涵盖了数据采集器一整套的生命周期管理。正常状态下，数据采集装置根据数据采集器的调度信息及其遵守的生命周期契约，按时对数据采集器进行运行调度，使得数据采集器可以定期启动进行数据采集、预处理和数据的打包存储等。实现了数据采集器的集中调度和统一管理。当数据采集装置监控到数据采集器的实时状态不符合该数据采集器的生命周期契约时，对该数据采集器的实时状态进行展示，以使管理人员根据展示的信息及时调整，保证数据采集器的正常工作，有利于保障数据采集工作的正常进行。同时，当确定数据采集器存在异常时，可根据预先设置的冲突策略进行处理，例如，预先设置的冲突策略中包括出现故障时即停止调度，则当数据采集器存在异常时，则结束该数据采集器的工作，消除异常后可进行重新调度。
本发明一个实施例中，步骤101的具体实施方式，可以包括：
获取服务器运行环境、服务器配置数据、数据库运行环境、数据库配置数据、业务系统行为数据、异常数据中的一个或多个分别对应的数据采集指标对应的指标定义。
在这里，根据企业业务系统运维和开发要求，梳理了一系列常用的数据采集指标及指标集，并内置到本数据采集装置中。涵盖了应用服务器运行环境、应用服务器配置数据、数据库运行环境、数据库配置数据、业务系统行为数据、异常数据等常用数据采集指标及指标集。
本实施例内置的数据采集指标及指标集，涵盖了企业业务系统运维和开发中所常用的采集指标，企业可根据自身需要进行启用和调整，只有特殊情况下才需要自己开发自己的数据采集指标和数据采集器，较大幅度的提升了本发明的易用性。具体的数据采集指标及指标集如表1所示：
表1
如图2所示，本发明实施例提供了一种数据采集装置，包括：获取单元201、确定单元202、调度单元203和采集单元204；其中，
所述获取单元201，用于获取至少一个数据采集指标对应的指标定义，以及至少一个数据采集器对应的定义契约；获取调度器对应的调度信息，所述调度信息包括每一个所述数据采集器对应的调度时间；
所述确定单元202，用于根据所述至少一个数据采集指标对应的指标定义以及每一个所述数据采集器对应的定义契约，确定每一个所述数据采集器对应的至少一个数据采集指标；
所述调度单元203，用于根据所述调度信息，利用所述调度器在相应的调度时间分别对各个所述数据采集器进行调度；
所述采集单元204，用于利用调度的所述数据采集器，对所对应的所述数据采集指标对应的业务数据进行采集。
如图3所示，本发明一个实施例中，所述获取单元201，进一步用于获取用户输入的至少一个指标集对应的集合定义；
所述确定单元202，包括：指标集确定子单元2021和采集指标确定子单元2022；其中，
所述指标集确定子单元2021，用于根据每一个所述指标集对应的集合定义以及各个所述数据采集指标对应的指标定义，确定每一个所述指标集对应的至少一个所述数据采集指标；其中，各个所述指标集对应的所述数据采集指标各不相同；
所述采集指标确定子单元2022，用于针对每一个所述数据采集器，执行：根据所述指标集对应的集合定义和各个所述数据采集器分别对应的定义契约，确定所述数据采集器对应的至少一个所述指标集；从确定出的每一个所述指标集中确定所述数据采集器对应的数据采集指标。
如图4所示，本发明一个实施例中，进一步包括：监控单元401；其中，
所述获取单元201，进一步用于获取每一个所述数据采集器对应的监控契约；
所述监控单元401，用于根据每一个所述数据采集器对应的监控契约，对每一个所述数据采集器进行监控，获得每一个所述数据采集器对应的实时状态信息；并对各个所述数据采集器对应的实时状态信息进行展示。
本发明一个实施例中，所述获取单元201，用于获取每一个所述数据采集器对应的生命周期契约；
所述监控单元401，用于根据每一个所述数据采集器对应的生命周期契约以及所述实时状态，分别确定各个所述数据采集器是否存在异常，如果是，对存在异常的数据采集器对应的实时状态进行展示。
本发明一个实施例中，所述获取单元201，用于获取服务器运行环境、服务器配置数据、数据库运行环境、数据库配置数据、业务系统行为数据、异常数据中的一个或多个分别对应的数据采集指标对应的指标定义。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例还提供了一种可读介质，包括执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行本发明上述任一实施例提供的方法。
本发明实施例还提供了一种存储控制器，包括：处理器、存储器和总线；所述存储器用于存储执行指令，所述处理器与所述存储器通过所述总线连接，当所述存储控制器运行时，所述处理器执行所述存储器存储的所述执行指令，以使所述存储控制器执行本发明上述任一实施例提供的方法。
综上所述，本发明以上各个实施例至少具有如下有益效果：
1、在本发明实施例中，根据用户输入的数据采集指标的指标定义以及数据采集器的定义契约，确定数据采集指标与数据采集器的对应关系，并根据调度器的调度信息，对数据采集器进行调度，以利用调度的数据采集器对相应数据采集指标对应的业务数据进行采集。由此用户可根据业务运行环境的变化或用户行为的变化自定义指标定义以及数据采集器的定义契约，即支持用户支持按需定义和调整数据采集指标，从而提高了数据采集的灵活性。
2、在本发明实施例中，根据数据采集指标的指标定义和指标集的集合定义，确定每一个指标集对应的至少一个数据采集指标。当确定数据采集器对应的数据采集指标时，先确定出数据采集器对应的指标集，再从确定出的指标集中确定出相应的数据采集指标，由于指标集的数量远远小于数据采集指标的数量，从而能提高数据采集指标的确定效率，进而有利于提高数据采集效率。并且，利用指标集可便于对数据采集指标进行管理，使得用户可按需定义和调整数据采集指标，以满足业务系统数字化运维和和数字化开发所需收集数据的需要。
3、在本发明实施例中，根据数据采集器对应的监控契约，对每一个数据采集器进行监控，以获得每一个数据采集器对应的实时状态信息，并对各个实时状态信息进行展示。由此，用户可以按需定义和调整数据采集指标及其对应的数据采集器、并根据业务系统特点调整和自定义数据采集器，以满足业务系统数字化运维和和数字化开发所需收集数据的需要，同时实现了数据采集器的集中监控和运维管理。
4、在本发明实施例中，根据每一个数据采集器对应的生命周期契约以及其相对应实时状态，确定各个数据采集器是否存在异常，当有数据采集器存在异常时，对该数据采集器的实时状态进行展示，以使管理人员根据展示的信息及时调整，保证数据采集器的正常工作，有利于保障数据采集工作的正常进行。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。