协议数据处理方法、装置、服务器及存储介质与流程

本技术涉及车联网云平台，特别涉及一种协议数据处理方法、装置、服务器及存储介质。

背景技术：

1、随着时代和科技的进步，车联网市场规模快速增长，汽车在不同的场景下需采集相关信号并按分发给目标协议平台，由于不同协议数据的流量相差较大且数据协议多样化问题会导致地计算资源浪费和重复开发。

2、相关技术主要是在上游数据平台和下游数据平台间增加一个多层级协议转换网关，根据配置中心让不同的数据进入不同层级的协议转换网关然后分发给下游数据平台。

3、然而相关技术对于不同层级的协议网关无法对不同的数据源调度合适的计算资源，难以解决不同业务数据倾斜问题导致的资源浪费和实时业务被离线业务抢占资源等问题。

技术实现思路

1、本技术提供一种协议数据处理方法、装置、服务器及存储介质，以解决相关技术对于不同层级的协议网关无法对不同的数据源调度合适的计算资源，难以解决不同业务数据倾斜问题导致的导致资源浪费和实时业务被离线业务抢占资源等问题。

2、本技术第一方面实施例提供一种协议数据处理方法，所述方法应用于服务器，包括以下步骤：获取协议转换任务的任务流量；根据所述任务流量动态设置任务处理器的配置信息，其中，所述配置信息包括所述任务处理器的并行处理数量，利用所述配置信息创建对应数量的任务处理器，利用创建完成的任务处理器并行处理协议数据，并获取每个处理器对应业务线上待处理的第一协议数据；将所述第一协议数据发送至对应的任务处理器，使得所述每个任务处理将对应的第一协议数据转换为第二协议数据，并将所述第二协议数据分发至对应下游业务中。

3、根据上述技术手段，本技术实施例可以在获取到任意业务线上需要处理的第一协议数据时，协议转换任务池会接收第一协议数据并通过协议映射器将第一协议数据转为第二协议数据并发送到数据传输队列中，数据分发任务池会从传输队列中获取数据并根据分发管理器中的信息将第二协议数据分发到下游业务中，利用协议转换任务池处理协议转换，数据分发任务池进行数据分发，实现不同协议之间数据的计算资源分配和转换。

4、可选地，在本技术的一个实施例中，所述任务处理器的并行处理数量与所述任务流量的大小成正比，且所述创建完成的任务处理器按照预设规则分配所述任务流量。

5、根据上述技术手段，本技术实施例任务处理器的并行处理数量与所述任务流量的大小成正比，能够根据任务需求动态的增减协议转换任务，提升或降低协议转换任务的处理能力。

6、可选地，在本技术的一个实施例中，所述配置信息还包括协议转换规则和预设基本信息，所述利用所述配置信息创建对应数量的任务处理器，包括：识别所述配置信息为新配置信息或者更新的配置信息；若所述配置信息为新配置信息，则根据所述协议转换规则、所述预设基本信息和所述并行处理数量创建对应数量的任务处理器；若所述配置信息为更新的配置信息，则控制对应业务线停止运行，利用所述更新的配置信息重新配置所述对应业务线上的任务处理器，并在配置完成后重新启动所述任务处理器。

7、根据上述技术手段，本技术实施例可以在配置中心配置协议转换任务时，可以指定处理转换任务的并行度，通过这样的方式可以根据任务需求动态的增减协议转换任务，提升或降低协议转换任务的处理能力。当协议转换配置中心的任务配置发生变更时，通过协议任务命令服务将协议转换任务引擎中相关任务停止并推送新的配置给任务处理器，然后重新启动任务处理器，避免其他不需要修改规则的协议转换业务一同重启，造成数据的丢失。

8、可选地，在本技术的一个实施例中，在任意业务线上的任务处理器工作过程中，还包括：所述任务处理器发送任务心跳信号至所述任务处理器对应的任务管理器；若所述任务管理器在预设时长内未收到所述任务处理器发送的所述任务心跳信号，则判定对应任务节点为预设失活节点，并从任务状态池中剔除所述预设失活节点，停止所述预设失活节点对应任务的处理。

9、根据上述技术手段，本技术实施例可以通过任务处理器定时向任务管理器发送心跳来保证任务处于存活状态，能够维护协议转换任务处理引擎中各任务管理器上传的任务运行状态信息并维护在本地，为其他服务提供协议转换任务的运行状态情况。

10、可选地，在本技术的一个实施例中，所述任务处理器包括协议转换任务池、数据传输队列和数据分发任务池，所述使得所述每个任务处理并行处理对应的第一协议数据得到第二协议数据，并将所述第二协议数据分发至对应下游业务中，包括：利用所述协议转换任务池的线程组接收所述第一协议数据，利用所述协议转换任务池的协议映射器中配置的协议转换规则将所述第一协议数据转换为第二协议数据，并将所述第二协议数据发送至所述任务处理器的数据传输队列；利用所述数据分发任务池的线程组从所述数据传输队列中取出所述第二协议数据，并利用所述数据分发任务池的数据分发器将所述第二协议数据分发至对应下游业务中。

11、根据上述技术手段，本技术实施例可以利用协议转换任务池的线程组提高处理第一协议数据转为第二协议数据的能力，并利用数据分发任务池中的线程组提高数据分发能力。

12、可选地，在本技术的一个实施例中，每条业务线之间相互隔离。

13、根据上述技术手段，本技术实施例的每条业务线相互隔离，资源不共享，从而避免不同业务之间争抢资源导致重要业务受到影响。

14、本技术第二方面实施例提供一种协议数据处理装置，所述装置应用于服务器，包括：获取模块，用于获取协议转换任务的任务流量；配置模块，用于根据所述任务流量动态设置任务处理器的配置信息，其中，所述配置信息包括所述任务处理器的并行处理数量，利用所述配置信息创建对应数量的任务处理器，利用创建完成的任务处理器并行处理协议数据，并获取每个处理器对应业务线上待处理的第一协议数据；转换模块，用于将所述第一协议数据发送至对应的任务处理器，使得所述每个任务处理将对应的第一协议数据转换为第二协议数据，并将所述第二协议数据分发至对应下游业务中。

15、可选地，在本技术的一个实施例中，所述任务处理器的并行处理数量与所述任务流量的大小成正比，且所述创建完成的任务处理器按照预设规则分配所述任务流量。

16、可选地，在本技术的一个实施例中，所述配置信息还包括协议转换规则和预设基本信息，所述配置模块进一步用于识别所述配置信息为新配置信息或者更新的配置信息；若所述配置信息为新配置信息，则根据所述协议转换规则、所述预设基本信息和所述并行处理数量创建对应数量的任务处理器；若所述配置信息为更新的配置信息，则控制对应业务线停止运行，利用所述更新的配置信息重新配置所述对应业务线上的任务处理器，并在配置完成后重新启动所述任务处理器。

17、可选地，在本技术的一个实施例中，还包括：监听模块，用于在任意业务线上的任务处理器工作过程中，所述任务处理器发送任务心跳信号至所述任务处理器对应的任务管理器；若所述任务管理器在预设时长内未收到所述任务处理器发送的所述任务心跳信号，则判定对应任务节点为预设失活节点，并从任务状态池中剔除所述预设失活节点，停止所述预设失活节点对应任务的处理。

18、可选地，在本技术的一个实施例中，所述任务处理器包括协议转换任务池、数据传输队列和数据分发任务池，所述转换模块进一步用于：利用所述协议转换任务池的线程组接收所述第一协议数据，利用所述协议转换任务池的协议映射器中配置的协议转换规则将所述第一协议数据转换为第二协议数据，并将所述第二协议数据发送至所述任务处理器的数据传输队列；利用所述数据分发任务池的线程组从所述数据传输队列中取出所述第二协议数据，并利用所述数据分发任务池的数据分发器将所述第二协议数据分发至对应下游业务中。

19、可选地，在本技术的一个实施例中，每条业务线之间相互隔离。

20、本技术第三方面实施例提供一种服务器，包括：数据采集层、配置中心模块和处理引擎模块，其中，所述配置中心模块，用于接收客户端发送的协议转换任务的任务流量，根据所述任务流量动态设置任务处理器的配置信息，其中，所述配置信息包括所述任务处理器的并行处理数量；所述处理引擎模块，用于利用所述配置信息创建对应数量的任务处理器，利用创建完成的任务处理器并行处理协议数据；所述数据采集层，用于采集每个处理器对应业务线上待处理的第一协议数据，将所述第一协议数据发送至对应的任务处理器，使得所述每个任务处理将对应的第一协议数据转换为第二协议数据，并将所述第二协议数据分发至对应下游业务中。

21、可选地，在本技术的一个实施例中，所述任务处理器的并行处理数量与所述任务流量的大小成正比，且所述创建完成的任务处理器按照预设规则分配所述任务流量。

22、可选地，在本技术的一个实施例中，所述配置中心模块包括第一至第三服务组件，其中，第一服务组件，用于接收客户端发送的协议转换任务的配置信息，并发送所述配置信息至第二服务组件；第二服务组件，用于根据所述配置信息选择任务创建指令或任务变更指令，并将所述任务创建指令或任务变更指令推送给所述处理引擎模块；第三服务组件，用于在任意业务线上的任务处理器工作过程中，若所述处理引擎模块的任务管理器在预设时长内未收到所述任务处理器发送的所述任务心跳信号，接收所述任务管理器上报的预设失活节点，并从所述第三服务组件的任务状态池中剔除所述预设失活节点，并发送预设失活节点的停止指令至对应的任务处理器。

23、可选地，在本技术的一个实施例中，所述处理引擎模块还包括：监听管理器，所述监听管理器与所述第二服务组件通信，用于接收所述任务创建指令或任务变更指令；任务管理器，所述任务管理器与所述任务处理器对应设置，用于根据所述任务创建指令创建协议转换任务，根据所述协议转换任务创建任务处理器，或者，根据所述任务变更指令变更所述任务处理器的任务状态，以管理对应任务处理器的运行状态。

24、本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的协议数据处理方法。

25、由此，本技术至少具有如下有益效果：

26、1、本技术实施例可以在获取到任意业务线上需要处理的第一协议数据时，协议转换任务池会接收第一协议数据并通过协议映射器将第一协议数据转为第二协议数据并发送到数据传输队列中，数据分发任务池会从传输队列中获取数据并根据分发管理器中的信息将第二协议数据分发到下游业务中，利用协议转换任务池处理协议转换，数据分发任务池进行数据分发，实现不同协议之间数据的计算资源分配和转换。

27、2、本技术实施例任务处理器的并行处理数量与所述任务流量的大小成正比，能够根据任务需求动态的增减协议转换任务，提升或降低协议转换任务的处理能力。

28、3、本技术实施例可以在配置中心配置协议转换任务时，可以指定处理转换任务的并行度，通过这样的方式可以根据任务需求动态的增减协议转换任务，提升或降低协议转换任务的处理能力。当协议转换配置中心的任务配置发生变更时，通过协议任务命令服务将协议转换任务引擎中相关任务停止并推送新的配置给任务处理器，然后重新启动任务处理器，避免其他不需要修改规则的协议转换业务一同重启，造成数据的丢失。

29、4、本技术实施例可以通过任务处理器定时向任务管理器发送心跳来保证任务处于存活状态，能够维护协议转换任务处理引擎中各任务管理器上传的任务运行状态信息并维护在本地，为其他服务提供协议转换任务的运行状态情况。

30、5、本技术实施例可以利用协议转换任务池的线程组提高处理第一协议数据转为第二协议数据的能力，并利用数据分发任务池中的线程组提高数据分发能力。

31、6、本技术实施例的每条业务线相互隔离，资源不共享，从而避免不同业务之间争抢资源导致重要业务受到影响。

32、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。