实时数据采集方法和实时数据采集系统与流程

本发明涉及业务数据采集技术领域，具体而言，涉及一种实时数据采集方法、实时数据采集系统、计算机设备、计算机可读存储介质。

背景技术：

随着大数据在业务中不断深入的应用以及业务的高速增长，传统“t+1”模式的离线处理方案在时效性等方面的弊端不断被放大，业务对实时数据处理的需求不断增强。为满足实时数据计算的及时性，首先要解决的问题就是实时数据的采集。

因此，如何解决在应用产品中采集上报的所有数据按类型分别采集上报，同时保证数据全面、传输延时低成为亟待解决的问题。

技术实现要素：

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明第一个方面在于提出一种实时数据采集方法。

本发明的第二个方面在于提出一种实时数据采集系统。

本发明的第三个方面在于提出一种计算机设备。

本发明的第四个方面在于提出一种计算机可读存储介质。

有鉴于此，根据本发明的一个方面，提出了一种实时数据采集方法，包括：接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；根据采集数据对应的业务编码确定采集数据所属的业务类型；根据业务类型创建对应的多个任务线程；控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。

本发明提供的实时数据采集方法，接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本发明实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

根据本发明的上述实时数据采集方法，还可以具有以下技术特征：

在上述技术方案中，优选地，接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址之前，还包括：发送注册信息至管理服务器，以获取用于请求配置信息的访问密钥；发送心跳信息至管理服务器，以使管理服务器在接收到心跳信息后发送配置信息。

在该技术方案中，在接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址之前，首先要发送注册信息至管理服务器，管理服务器负责管理采集器的注册信息及配置，同时为采集器分配一个用于请求配置信息的访问密钥(accesskey)，并为每种业务数据创建数据传输通道；采集器接收访问密钥，根据访问密钥发送心跳信息至管理服务器，管理服务器在接收到心跳信息之后以心跳应答的方式返回采集器的动态配置信息，如此，采集器就可以根据配置信息进行配置并获取用于传输数据的数据总线地址。

在上述任一技术方案中，优选地，控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策，具体包括：调用应用程序编程接口api进行封装采集数据；根据采集数据的吞吐量确定当前任务线程的数量；根据采集数据的信息确定采集数据的优先级；控制当前任务线程按照优先级，将采集数据上报至数据平台。

在该技术方案中，控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策的过程，对用户提供上报实时数据的应用程序编程接口(api)，通过对api接口调用即可采集上报的数据，对业务系统侵入性小。首先调用api接口进行封装采集数据，根据每种采集数据流的吞吐量(数据包/秒)确定当前任务线程的数量，实现自动调整并发的线程的任务数以防止阻塞，从而满足高吞吐量的需求；再根据采集数据的信息确定采集数据的优先级，根据采集数据的优先级确定线程调度的优先级，控制当前任务线程按照优先级，将采集数据上报至数据平台，保证了重要的数据优先被推送，实现了推送的数据较低的延时。

在上述任一技术方案中，优选地，控制当前任务线程按照优先级，将采集数据上报至数据平台之后，还包括：实时监测采集数据的上报状态，根据上报状态确定是否上报成功；若未上报成功，则将采集数据存储至内嵌数据库；发送未上报成功的信息至管理服务器，以使管理服务器根据信息发出预警信号及根据预警信号发送重新调用指令；接收重新调用指令，根据重新调用指令进行调用应用程序编程接口api进行封装采集数据的步骤。

在该技术方案中，控制当前任务线程按照优先级，将采集数据上报至数据平台之后，还实时监测采集数据的上报状态，根据上报状态确定上报是否成功，在上报未成功的时候，根据配置的数据有效期，将采集的数据存储至内嵌数据库，保证了采集数据不会丢失；还将未上报成功的信息发送至管理服务器，管理服务器发出预警信号，使得管理服务器对采集状态的监控管理及对异常状态的预警，在选择重新采集上报的采集数据时，接收管理服务器的重新调用指令，重新调用api接口，进行数据封装及数据上报，实现了采集数据一次上报失败，进行二次上报，避免了数据的丢失。

在上述任一技术方案中，优选地，采集数据包括：各业务系统的实时交易数据和/或各业务系统的日志数据。

在该技术方案中，采集数据包括各业务系统的实时交易数据，以及实时日志数据，通过不同的采集数据类型，进行不同的业务决策，所有的实时数据都被分流推送至大数据平台，满足数据实时计算及挖掘的需求。

根据本发明的第二个方面，提出了一种实时数据采集系统，包括：获取单元，用于接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；第一确定单元，用于根据采集数据对应的业务编码确定采集数据所属的业务类型；创建单元，用于根据业务类型创建对应的多个任务线程；控制单元，用于控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。

本发明提供的实时数据采集系统，获取单元接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，第一确定单元指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，创建单元再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制单元控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本发明实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

根据本发明的上述实时数据采集系统，还可以具有以下技术特征：

在上述技术方案中，优选地，密钥单元，用于发送注册信息至管理服务器，以获取用于请求配置信息的访问密钥；信息单元，用于发送心跳信息至管理服务器，以使管理服务器在接收到心跳信息后发送配置信息。

在该技术方案中，在接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址之前，首先密钥单元要发送注册信息至管理服务器，管理服务器负责管理采集器的注册信息及配置，同时为采集器分配一个用于请求配置信息的访问密钥(accesskey)，并为每种业务数据创建数据传输通道；采集器的信息单元接收访问密钥，根据访问密钥发送心跳信息至管理服务器，管理服务器在接收到心跳信息之后以心跳应答的方式返回采集器的动态配置信息，如此，采集器就可以根据配置信息进行配置并获取用于传输数据的数据总线地址。

在上述任一技术方案中，优选地，控制单元具体包括：封装单元，用于调用应用程序编程接口api进行封装采集数据；第二确定单元，用于根据采集数据的吞吐量确定当前任务线程的数量；第三确定单元，用于根据采集数据的信息确定采集数据的优先级；控制子单元，用于控制当前任务线程按照优先级，将采集数据上报至数据平台。

在该技术方案中，控制单元控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策的过程，对用户提供上报实时数据的应用程序编程接口(api)，通过对api接口调用即可采集上报的数据，对业务系统侵入性小。首先封装单元调用api接口进行封装采集数据，第二确定单元根据每种采集数据流的吞吐量(数据包/秒)确定当前任务线程的数量，实现自动调整并发的线程的任务数以防止阻塞，从而满足高吞吐量的需求；第三确定单元根据采集数据的信息确定采集数据的优先级，控制子单元根据采集数据的优先级确定线程调度的优先级，控制当前任务线程按照优先级，将采集数据上报至数据平台，保证了重要的数据优先被推送，实现了推送的数据较低的延时。

在上述任一技术方案中，优选地，检测单元，用于实时监测采集数据的上报状态，根据上报状态确定是否上报成功；存储单元，用于若未上报成功，则将采集数据存储至内嵌数据库；发送单元，用于发送未上报成功的信息至管理服务器，以使管理服务器根据信息发出预警信号及根据预警信号发送重新调用指令；封装单元，还用于接收重新调用指令，根据重新调用指令进行调用应用程序编程接口api进行封装采集数据的步骤。

在该技术方案中，控制当前任务线程按照优先级，将采集数据上报至数据平台之后，检测单元还实时监测采集数据的上报状态，根据上报状态确定上报是否成功，在上报未成功的时候，存储单元根据配置的数据有效期，将采集的数据存储至内嵌数据库，保证了采集数据不会丢失；发送单元还将未上报成功的信息发送至管理服务器，管理服务器发出预警信号，使得管理服务器对采集状态的监控管理及对异常状态的预警，在选择重新采集上报的采集数据时，封装单元接收管理服务器的重新调用指令，重新调用api接口，进行数据封装及数据上报，实现了采集数据一次上报失败，进行二次上报，避免了数据的丢失。

在上述任一技术方案中，优选地，采集数据包括：各业务系统的实时交易数据和/或各业务系统的日志数据。

在该技术方案中，采集数据包括各业务系统的实时交易数据，以及实时日志数据，通过不同的采集数据类型，进行不同的业务决策，所有的实时数据都被分流推送至大数据平台，满足数据实时计算及挖掘的需求。

根据本发明的第三个方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；根据采集数据对应的业务编码确定采集数据所属的业务类型；根据业务类型创建对应的多个任务线程；控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。

本发明提供的一种计算机设备，处理器执行计算机程序时实现：接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，在根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本发明实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

根据本发明的第四个方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；根据采集数据对应的业务编码确定采集数据所属的业务类型；根据业务类型创建对应的多个任务线程；控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。

本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，在根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本发明实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本发明的一个实施例的实时数据采集方法的流程示意图；

图2示出了本发明的另一个实施例的实时数据采集方法的流程示意图；

图3示出了本发明的一个实施例的实时数据采集系统的示意框图；

图4示出了本发明的另一个实施例的实时数据采集系统的示意框图；

图5示出了本发明的一个具体实施例的实时数据采集系统的架构示意图；

图6示出了本发明的一个具体实施例的实时数据采集方法的原理示意图；

图7示出了本发明的一个实施例的计算机设备的示意框图。

具体实施方式

为了能够更清楚地理解本发明的上述方面、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。

本发明第一方面的实施例，提出一种实时数据采集方法，图1示出了本发明的一个实施例的实时数据采集方法的流程示意图：

步骤102，接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；

步骤104，根据采集数据对应的业务编码确定采集数据所属的业务类型；

步骤106，根据业务类型创建对应的多个任务线程；

步骤108，控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。

该实施例提供的实时数据采集方法，接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本发明实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

图2示出了本发明的另一个实施例的实时数据采集方法的流程示意图。其中，该方法包括：

步骤202，发送注册信息至管理服务器，以获取用于请求配置信息的访问密钥；

步骤204，发送心跳信息至管理服务器，以使管理服务器在接收到心跳信息后发送配置信息；

步骤206，接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；

步骤208，根据采集数据对应的业务编码确定采集数据所属的业务类型；

步骤210，根据业务类型创建对应的多个任务线程；

步骤212，调用应用程序编程接口api进行封装采集数据；

步骤214，根据采集数据的吞吐量确定当前任务线程的数量；

步骤216，根据采集数据的信息确定采集数据的优先级；

步骤218，控制当前任务线程按照优先级，将采集数据上报至数据平台；

步骤220，实时监测采集数据的上报状态，根据上报状态确定是否上报成功，是，则结束，否，则进入步骤222；

步骤222，将采集数据存储至内嵌数据库；

步骤224，发送未上报成功的信息至管理服务器，以使管理服务器根据信息发出预警信号及根据预警信号发送重新调用指令；

步骤226，接收重新调用指令，执行重新调用指令，进入步骤212。

该实施例提供的实时数据采集方法，可用于采集各业务系统的实时交易数据，以及实时日志数据，通过数据总线和流处理平台，完成实时的业务决策。首先发送注册信息至管理服务器，管理服务器负责管理采集器的注册信息及配置，同时为采集器分配一个用于请求配置信息的访问密钥(accesskey)，并为每种业务数据创建数据传输通道；采集器接收访问密钥，根据访问密钥发送心跳信息至管理服务器，管理服务器在接收到心跳信息之后以心跳应答的方式返回采集器的动态配置信息，如此，采集器就可以根据配置信息进行配置并获取用于传输数据的数据总线地址。

在该实施例中，接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

在该实施例中，控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策的过程，对用户提供上报实时数据的应用程序编程接口(api)，通过对api接口调用即可采集上报的数据，对业务系统侵入性小。首先调用api接口进行封装采集数据，根据每种采集数据流的吞吐量(数据包/秒)确定当前任务线程的数量，实现自动调整并发的线程的任务数以防止阻塞，从而满足高吞吐量的需求；再根据采集数据的信息确定采集数据的优先级，根据采集数据的优先级确定线程调度的优先级，控制当前任务线程按照优先级，将采集数据上报至数据平台，保证了重要的数据优先被推送，实现了推送的数据较低的延时。

在该实施例中，控制当前任务线程按照优先级，将采集数据上报至数据平台之后，还实时监测采集数据的上报状态，根据上报状态确定上报是否成功，在上报未成功的时候，根据配置的数据有效期，将采集的数据存储至内嵌数据库，保证了采集数据不会丢失；还将未上报成功的信息发送至管理服务器，管理服务器发出预警信号，使得管理服务器对采集状态的监控管理及对异常状态的预警，在选择重新采集上报的采集数据时，接收管理服务器的重新调用指令，重新调用api接口，进行数据封装及数据上报，实现了采集数据一次上报失败，进行二次上报，避免了数据的丢失。

本发明第二方面的实施例，提出一种实时数据采集系统300，图3示出了本发明的一个实施例的实时数据采集系统300的示意框图。如图3所示，实时数据采集系统300包括：获取单元10、第一确定单元12、创建单元14、控制单元16。其中，获取单元10，用于接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；第一确定单元12，用于根据采集数据对应的业务编码确定采集数据所属的业务类型；创建单元14，用于根据业务类型创建对应的多个任务线程；控制单元16，用于控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。

该实施例提供的实时数据采集系统300，获取单元10接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，第一确定单元12指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，创建单元14再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制单元16控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本发明实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

图4示出了本发明的另一个实施例的实时数据采集系统400的示意框图。其中，实时数据采集系统400包括：获取单元20、第一确定单元22、创建单元24、控制单元26、密钥单元28、信息单元30、检测单元32、存储单元34、发送单元36。其中，控制单元26具体包括：封装单元262、第二确定单元264、第三确定单元266、控制子单元268。

该实施例提供的实时数据采集系统400，可用于采集各业务系统的实时交易数据，以及实时日志数据，通过数据总线和流处理平台，完成实时的业务决策。首先密钥单元28要发送注册信息至管理服务器，管理服务器负责管理采集器的注册信息及配置，同时为采集器分配一个用于请求配置信息的访问密钥(accesskey)，并为每种业务数据创建数据传输通道；采集器的信息单元30接收访问密钥，根据访问密钥发送心跳信息至管理服务器，管理服务器在接收到心跳信息之后以心跳应答的方式返回采集器的动态配置信息，如此，采集器就可以根据配置信息进行配置并获取用于传输数据的数据总线地址。

在该实施例中，获取单元20接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，第一确定单元22指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，创建单元24再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制单元26控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本发明实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

在该实施例中，控制单元26控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策的过程，对用户提供上报实时数据的应用程序编程接口(api)，通过对api接口调用即可采集上报的数据，对业务系统侵入性小。首先封装单元262调用api接口进行封装采集数据，第二确定单元264根据每种采集数据流的吞吐量(数据包/秒)确定当前任务线程的数量，实现自动调整并发的线程的任务数以防止阻塞，从而满足高吞吐量的需求；第三确定单元266根据采集数据的信息确定采集数据的优先级，控制子单元268根据采集数据的优先级确定线程调度的优先级，控制当前任务线程按照优先级，将采集数据上报至数据平台，保证了重要的数据优先被推送，实现了推送的数据较低的延时。

在该实施例中，检测单元32还实时监测采集数据的上报状态，根据上报状态确定上报是否成功，在上报未成功的时候，存储单元34根据配置的数据有效期，将采集的数据存储至内嵌数据库，保证了采集数据不会丢失；发送单元36还将未上报成功的信息发送至管理服务器，管理服务器发出预警信号，使得管理服务器对采集状态的监控管理及对异常状态的预警，在选择重新采集上报的采集数据时，封装单元262接收管理服务器的重新调用指令，重新调用api接口，进行数据封装及数据上报，实现了采集数据一次上报失败，进行二次上报，避免了数据的丢失。

下面结合图5和图6说明本发明的一个具体实施例的实时数据采集系统500及其对应的实时数据采集方法。

如图5所示实时数据采集系统500的架构示意图，实时数据采集系统500包括采集器50和监控管理服务60。采集器(agent)包括第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)。监控管理服务60包括采集状态监测模块602、预警模块604、agent注册管理模块606、服务配置管理模块608。实时数据采集系统500可用于采集各业务系统的实时交易数据和日志数据，通过数据总线和流处理平台，完成实时的业务决策。整个系统主要包括第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)和监控管理服务60(serve)两部，第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)周期性通过心跳向监控管理服务60汇报其状态，同时监控管理服务60以心跳应答的方式返回第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)的动态配置信息。第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)会根据接受到配置信息启用多线程任务将数据按业务类型实时推送到kafka集群对应的topic上。该具体实施例的实时数据采集系统500对应的数据采集流程如图6所示，实时数据采集系统500对业务系统侵入性小，即通过接口调用即可采集上报数据。

在该具体实施例中，第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)包含嵌入式的数据库，根据配置的数据有效期，在本地留存数据副本。如图6所示，第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)发送数据如果出现推送失败，则会将数据保存内嵌数据库中，同时更新监控端第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)状态，监控管理服务60及时预警，如此实现了采集数据的可靠性。

在该具体实施例中，在采集上报实时数据时指定业务编码来区分推送的数据包所属的业务类型。第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)会根据业务类型编码分别创建不同线程任务，这些线程以业务类型为单位将数据推送到数据总线，同时线程调度的优先级保证了重要的数据优先被推送，如此，实现了采集数据的智能分流，保证了业务系统中不同的采集点互不影响，同时保证了重要的数据具有较高的优先级，满足了数据推送的低延时需求。

在该具体实施例中，第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)将数据推送到分布式的数据总线，在推送过程中第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)会根据每种数据流吞吐量(数据包/秒)自动调整并发的线程任务数防止堵塞，从而满足高吞吐量的需求，实现了采集的高并发。

在该具体实施例中，监控管理服务60主要负责管理第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)注册信息，监控第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)状态，异常情况预警，统计分析报告。如图6所示，第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)注册成功后会分配一个accesskey用于标识心跳信息，同时在注册过程会为第一采集器502(agent1)、第二采集器504(agent2)、第三采集器506(agent3)配置数据总线地址，并为需要采集的每种业务数据创建数据传输通道。

本发明第三方面的实施例，提出一种计算机设备，图7示出了本发明的一个实施例的计算机设备700的示意框图。其中，该计算机设备700包括：

存储器702、处理器704及存储在存储器702上并可在处理器704上运行的计算机程序，处理器704执行计算机程序时实现以下步骤：接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；根据采集数据对应的业务编码确定采集数据所属的业务类型；根据业务类型创建对应的多个任务线程；控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。

本发明提供的一种计算机设备700，处理器704执行计算机程序时实现：接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本发明实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

本发明第四方面的实施例，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收管理服务器发送的配置信息，根据配置信息获取数据总线的地址；根据采集数据对应的业务编码确定采集数据所属的业务类型；根据业务类型创建对应的多个任务线程；控制多个任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，以使数据平台根据采集数据进行业务决策。

本发明提供的一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现：接收管理服务器发送的配置信息，从接收的配置信息中获取数据总线的地址，如此可以通过该地址的数据总线进行采集数据的上报传输，在上报传输过程中，指定业务编码来区分推送的数据包，根据实时采集数据的业务编码来确定采集数据所属的业务类型，再根据业务类型分别创建对应的多个不同的任务线程，这些线程以业务类型为单位，控制这些任务线程通过数据总线将对应业务类型的采集数据上报至数据平台，进行数据处理以完成实时业务决策，本发明实行按采集数据根据数据包标识自动按业务类型分流，保证了业务系统中不同的数据采集点互不影响，保证了数据采集的实时性。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。