基于抽象策略模型的同构环境下的数据处理方法与流程

1.本技术的实施例涉及数据处理领域，尤其涉及基于抽象策略模型的同构环境下的数据处理方法、装置、设备和计算机可读存储介质。


背景技术：

2.在企业级应用中，不同业务条线的应用系统的背后往往存在不同规格的多源异构数据源，无论是使用etl工具还是使用流处理中间件都需要根据异构的数据源进行定制化开发，如果数据源标准发生变化，相关的程序也需要变更。而且数据的处理逻辑复杂而零散的隐藏于代码逻辑之中，缺乏统一管理配置，难以复用；
3.不同的数据处理执行环境复杂多样，缺少统一的运行环境，难以快速部署，传统的数据处理架构均是基于master/slave的架构(有中心)，无法做到运行环境完全同构，若数据处理任务中出现了问题，则需要重新执行该任务。若执行任务的节点出了问题，则数据很难分发到其它的非同构节点继续运行，由于任务的中断，导致数据处理的过程难以全过程追踪，为数据治理带来了很大困难。


技术实现要素：

4.根据本技术的实施例，提供了一种基于抽象策略模型的同构环境下的数据处理方案。
5.在本技术的第一方面，提供了一种基于抽象策略模型的同构环境下的数据处理方法。该方法包括：
6.为每个数据包匹配对应的策略模型；
7.将已匹配策略模型的数据包发送至对应的数据处理节点，基于所述策略模型对所述数据包进行处理，将处理后的数据输出到目标库；
8.其中，每个数据处理节点的策略执行环境同构。
9.进一步地，所述策略模型通过如下方法得到：
10.将对数据进行读取、处理和/或写入的操作逻辑抽象为策略模型；所述策略模型包括策略唯一标识、策略定义、策略的执行体和/或发送目标。
11.进一步地，所述策略定义包括数据来源、数据类型、排序规则、处理优先级和/或数据依赖关系。
12.进一步地，所述为每个数据包匹配对应的策略模型包括：
13.为每个数据匹配一个或多个策略模型。
14.进一步地，所述数据处理节点包括传输层、策略执行环境、策略库、作业管理、调度、交换管理和/或日志功能。
15.进一步地，所述将已匹配策略模型的数据包发送至对应的数据处理节点，基于所述策略模型对数据进行处理包括：
16.若所述处理节点不能完成对数据包的处理，则根据所述策略模型，将所述已匹配
策略模型的数据包发送至新的交换节点进行处理。
17.进一步地，还包括：
18.若所述处理节点不能完成对数据包的处理，则根据所述策略模型，调度多个节点进行联合，完成所有策略的执行。
19.在本技术的第二方面，提供了一种基于抽象策略模型的同构环境下的数据处理装置。该装置包括：
20.匹配模块，用于为每个数据包匹配对应的策略模型；
21.处理模块，用于将已匹配策略模型的数据包发送至对应的数据处理节点，基于所述策略模型对所述数据包进行处理，将处理后的数据输出到目标库；
22.其中，每个数据处理节点的策略执行环境同构。
23.在本技术的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
24.在本技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本技术的第一方面的方法。
25.本技术实施例提供的基于抽象策略模型的同构环境下的数据处理方法，通过为每个数据包匹配对应的策略模型；将已匹配策略模型的数据包发送至对应的数据处理节点，基于所述策略模型对所述数据包进行处理，将处理后的数据输出到目标库；其中，每个数据处理节点的策略执行环境同构，实现了所有数据处理任务的高可靠。
26.应当理解，发明内容部分中所描述的内容并非旨在限定本技术的实施例的关键或重要特征，亦非用于限制本技术的范围。本技术的其它特征将通过以下的描述变得容易理解。
附图说明
27.结合附图并参考以下详细说明，本技术各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
28.图1为根据本技术的实施例的基于抽象策略模型的同构环境下的数据处理方法的流程图；
29.图2为根据本技术的实施例的数据包示意图；
30.图3为根据本技术的实施例的策略执行示意图；
31.图4为根据本技术的实施例的同构执行环境示意图；
32.图5为根据本技术的实施例的基于抽象策略模型的同构环境下的数据处理装置的方框图；
33.图6为适于用来实现本技术实施例的终端设备或服务器的结构示意图。
具体实施方式
34.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
35.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
36.图1示出了根据本公开实施例的基于抽象策略模型的同构环境下的数据处理方法的流程图。所述方法包括：
37.s110，为每个数据包匹配对应的策略模型。
38.其中，所述策略模型可通过如下方式构建：
39.将数据处理的任何一种操作抽象为一个策略模型；所述操作包括读取、处理和/或写入等操作。
40.进一步地，所述策略模型包括策略唯一标识、策略定义、策略的执行体和/或发送目标。
41.例如，对数据进行排序操作，策略可设置唯一标识，策略定义可以包含数据来源、数据类型、排序规则和处理优先级等，策略的执行体可以是一段排序算法，而发送目标可以指定为下一个处理单元的消息主题。
42.在一些实施例中，将策略模型注册到规则策略库中，每一种处理策略都有唯一标识；规则策略库为所有策略的集合。当要对数据进行转换时，将处理策略唯一标识附加到每一条数据中。数据策略执行器根据策略唯一标识找到处理策略模型，使用策略引擎进行数据处理。
43.其中，所述规则策略库，通过代码方式定义，加上配置的方式结合进行系统内置；
44.进一步地，所述规则模型策略库中的策略模型均为验证通过的策略模型。
45.在一些实施例中，所述策略模型(策略定义)包括：
46.1、元数据描述：
47.输入数据字段：字段名称、字段类型、字段长度、字段说明等；
48.输出数据字段：字段名称、字段类型、字段长度、字段说明等；
49.数据描述：数据类别、数据格式、数据说明等；
50.2、数据处理执行器类名及参数(以字符串处理执行器为例)：
51.执行器：字符串处理；
52.参数：大写转小写，计数；
53.3、运行时变量：
54.日志级别、last_value、jvm内存参数等；
55.4、上游信息：
56.上游数据包信息，如唯一标识、处理结果等；
57.5、数据依赖关系：
58.数据包处理时，依赖其他数据包的数据，如多表合并等；
59.6、执行状态数据：
60.当前执行器对数据包处理的实时信息；
61.7、数据校验信息：
62.如数据包大小、记录数、上游记录数、当前处理进度等。
63.进一步地，为每个数据包匹配对应的策略模型后，得到如图2所示的数据包(已匹
配策略模型的数据)。
64.进一步度，当数据包含多个操作时，可匹配对应的多个策略模型。
65.s120，将已匹配策略模型的包数据发送至对应的数据处理节点，基于所述策略模型对所述数据包进行处理，将处理后的数据输出到目标库
66.在一些实施例中，策略的执行流程如图3所示，包括：
67.策略设计：通过管理节点的图形化界面设置具体的策略模型(策略定义)；
68.策略验证：试运行策略模型，验证策略模型的执行结果；
69.策略发布：发布试运行合格的策略模型(只有发布的策略模型才可运行)，即，将试运行合格的策略模型注册到规则策略库；
70.策略运行：交换节点接收数据包后，由策略执行器解析数据包中的策略，然后启动相应的策略处理线程处理数据，同时将数据的处理进度上报给监控。
71.在一些实施例中，每个数据处理节点的策略执行环境相同，如图4所示，每个节点都包括传输层、策略执行环境、策略库以及作业管理、调度、交换管理和/或日志等功能。当数据处理节点接收到已匹配策略模型的数据包后，由策略执行器解析数据包中的策略，根据所述策略确定处理节点所扮演的角色，数据处理节点仅根据扮演角色的不同启用不同的功能进行处理数据，为节点的高可用和高可靠提供了前提和保障。即，相同或者相近策略的执行，可由一个模块完成。该模块为交换节点上运行的java(或其它语言)的程序包，对不同的程序包的加载和调用，完成对不同的数据处理策略访问和具体处理策略的执行。
72.在一些实施例中，若所述处理节点不能完成对数据的处理，则根据所述策略模型，将所述已匹配策略模型的数据发送至新的交换节点进行处理；或根据所述策略模型，调度多个节点进行联合，完成所有策略的执行。
73.在一些实施例中，在分布式系统中，在处理节点对数据包进行处理前，可将数据包进行拆分，例如，行拆分和列拆分等，将拆分后的数据包发送至对应的处理节点进行处理。
74.根据本公开的实施例，实现了以下技术效果：
75.通过策略模型将数据和处理逻辑相结合，实现了数据处理逻辑的统一配置管理，为基于数据血缘分析的数据治理提供了便利；数据处理节点完全同构，使得安装部署扩缩更加简单，且传输过程中的任何一个数据包均可在数据节点上进行处理，实现了数据处理的漂移。
76.同时，由于自身(数据包)带有处理逻辑，即使更换处理节点或需要多处理节点均不需要在更换的节点上添加处理逻辑，使整个系统具有高扩展性，提高了工作效率。
77.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
78.以上是关于方法实施例的介绍，以下通过装置实施例，对本技术所述方案进行进一步说明。
79.图5示出了根据本技术的实施例的基于抽象策略模型的同构环境下的数据处理装置500的方框图如图5所示，装置500包括：
80.匹配模块510，用于为每个数据包匹配对应的策略模型；
81.处理模块520，用于将已匹配策略模型的数据包发送至对应的数据处理节点，基于所述策略模型对所述数据包进行处理，将处理后的数据输出到目标库；
82.其中，每个数据处理节点的策略执行环境同构。
83.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
84.图6示出了适于用来实现本技术实施例的终端设备或服务器的结构示意图。
85.如图6所示，终端设备或服务器包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有终端设备或服务器操作所需的各种程序和数据。cpu601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
86.以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
87.特别地，根据本技术的实施例，上文方法流程步骤可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本技术的系统中限定的上述功能。
88.需要说明的是，本技术所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
89.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程
序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
90.描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
91.作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本技术的方法。
92.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。