有向无环图配置方法、数据处理方法、装置及配置平台与流程

文档序号:20917809发布日期:2020-05-29 13:45阅读:243来源:国知局
有向无环图配置方法、数据处理方法、装置及配置平台与流程
本申请属于数据处理
技术领域
,具体涉及一种有向无环图配置方法、数据处理方法、装置及配置平台。
背景技术
:在结构化数据的接入和治理过程中,不管是实时数据还是历史数据,都需要进行一定的逻辑处理才能应用于业务中。在当前项目的数据治理过程中,可以根据数据的格式,定制化开发一套数据处理逻辑。当要把这块处理逻辑复制到其他项目中时,要想处理逻辑能正常跑起来,就需要源端的数据格式完全相同。当数据格式稍微一变,就需要修改处理逻辑,变化小则改动少,变化大有可能得重新开发。只要是改动就意味着要占用时间,而数据是推动一个项目成功与否的前提,耽误了前提,就等同于阻碍了进度,往往就错过了一个项目实施过程中最佳的时间点。技术实现要素:鉴于此,本申请的目的在于提供一种有向无环图配置方法、数据处理方法、装置及配置平台,以改善数据治理过程中,由于数据格式不一致导致的需要修改处理逻辑,使得数据治理需要很多时间导致效率低下的问题。本申请的实施例是这样实现的:第一方面,本申请实施例提供了一种有向无环图配置方法,包括:接收用户输入的第一操作,所述第一操作用于触发显示规则dag配置页面;响应所述第一操作显示所述规则dag配置页面;接收用户在所述规则dag配置页面上输入的针对待处理数据的配置操作,所述配置操作用于配置规则dag的规则状态点、所述规则状态点之间的有向边,其中,所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则,所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据;响应所述配置操作完成针对所述待处理数据的规则dag的配置。本申请实施例中,通过事先定义不同的处理逻辑,使得可以根据待处理数据的不同格式,选择一次处理或多个逻辑叠加处理来满足要求,通过这种预定义配置规则的方式,使得在需要不同的数据格式时,通过可视化配置,仅通过修改对应的规则组合,即可满足由于数据格式不一致而导致的需要定义不同处理逻辑的需求,大大减少了项目开展中前期数据治理的时间,提高了数据治理的效率,为项目后期的开展奠定了良好的开端。结合第一方面实施例的一种可能的实施方式,接收用户在所述规则dag配置页面上输入的针对待处理数据的配置操作,包括:接收用户在所述规则dag配置页面上输入的规则添加操作;响应所述规则添加操作显示预设规则列表;接收用户从所述预设规则列表中选择的目标规则的第二操作;响应所述第二操作,生成规则状态点并显示所述规则状态点;接收用户针对所述规则状态点的输入输出配置操作。本申请实施例中,通过在规则dag配置页面上添加所需的规则,即可生成对应的规则状态点,然后对规则状态点的输入输出进行配置,后端即可依据各个规则之间的输入输出关系生成对应的规则dag,从而使得可以根据需要灵活的配置所需的规则dag。第二方面,本申请实施例还提供了一种有向无环图配置方法,包括:将待处理数据的源端和对应的结果端抽象成原始表和目标表;基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则;基于配置在每个字段上的规则链构建有向无环图,得到各自的规则dag。本申请实施例中,针对待处理数据的源端和对应的结果端数据,将其抽象为原始表和目标表,然后基于原始表和目标表的依赖关系给原始表中的每个字段配置一个或多个有先后顺序的规则,并基于配置在每个字段上的规则链构建有向无环图,得到各自的规则dag,使得可以根据不同的数据格式需求,通过选择对应的规则组合,即可满足由于数据格式不一致而导致的需要定义不同处理逻辑的需求,大大减少了数据治理的时间,提高了数据治理的效率。结合第二方面实施例的一种可能的实施方式,基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则,包括:接收用户输入的第一操作,所述第一操作用于触发显示规则dag配置页面;响应所述第一操作显示所述规则dag配置页面;接收用户基于所述原始表和所述目标表的依赖关系在所述规则dag配置页面上输入的针对所述原始表中的每个字段的配置操作,所述配置操作用于配置规则dag的规则状态点、所述规则状态点之间的有向边,其中,所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则,所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据;响应所述配置操作完成针对该字段的规则dag的配置。第三方面,本申请实施例还提供了一种数据处理方法,包括:获取待处理的源端数据表;针对所述源端数据表中的每个字段,从预设数据库中找到与该字段对应的规则dag;将该字段的值输入到所述规则dag中,输出对应的结果;将每个字段对应的结果赋值到结果数据表中并进行存储。本申请实施例中,在对数据处理时,获取待处理的源端数据表,针对表中的每个字段,选择对应的规则dag,将对应的值输入对应的规则dag即可输出所需的结果,最后将所需的结果保存即可,而无须去修改原代码,大大减少了数据治理的时间,提高了数据治理的效率。结合第三方面实施例的一种可能的实施方式,所述规则dag包括n个有先后顺序的规则,n为大于等于2的正整数;将该字段的值输入到所述规则dag中,输出对应的结果,包括:将该字段的值输入到所述规则dag的第1个规则中,输出第1个中间结果;针对第2个规则至第n个规则中的每个规则,将该规则的前一个规则输出的中间结果输入到该规则中,得到该规则输出的中间结果,其中,第n个规则输出的中间结果为最终结果。当包括多个有先后顺序的规则时,在处理时,按照顺序依次将前一个规则的结果作为后一个规则的输入,保证了方案的可靠性,避免输出出错。第四方面,本申请实施例还提供了一种配置平台,包括:输入模块,和配置模块,输入模块用于接收用户输入的第一操作,所述第一操作用于触发显示规则dag配置页面;配置模块用于响应所述第一操作显示所述规则dag配置页面;用于接收用户在所述规则dag配置页面上输入的针对待处理数据的配置操作,所述配置操作用于配置规则dag的规则状态点、所述规则状态点之间的有向边,其中,所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则,所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据;以及用于响应所述配置操作完成针对所述待处理数据的规则dag的配置。第五方面,本申请实施例还提供了一种有向无环图配置装置,包括:抽象模块、配置模块以及构建模块;抽象模块,用于将待处理数据的源端和对应的结果端抽象成原始表和目标表;配置模块,用于基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则;构建模块,用于基于配置在每个字段上的规则链构建有向无环图,得到各自的规则dag。第六方面,本申请实施例还提供了一种数据处理装置,包括:获取模块、查找模块、输入模块以及赋值模块;获取模块,用于获取待处理的源端数据表;查找模块,用于针对所述源端数据表中的每个字段,从预设数据库中找到与该字段对应的规则dag;输入模块,用于将该字段的值输入到所述规则dag中,输出对应的结果;赋值模块,用于将每个字段对应的结果赋值到结果数据表中并进行存储。第七方面,本申请实施例还提供了一种电子设备,包括:存储器和处理器,所述处理器与所述存储器连接;所述存储器,用于存储程序;所述处理器,用于调用存储于所述存储器中的程序,以执行上述第一方面实施例和/或结合第一方面实施例的一种可能的实施方式提供的方法,或者,执行上述第二方面实施例提供的方法和/或结合第二方面实施例的一种可能的实施方式提供的方法,或者,执行上述第三方面实施例和/或结合第三方面实施例的一种可能的实施方式提供的方法。第七方面,本申请实施例还提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时,执行上述第一方面实施例和/或结合第一方面实施例的一种可能的实施方式提供的方法,或者,执行上述第二方面实施例提供的方法和/或结合第二方面实施例的一种可能的实施方式提供的方法,或者,执行上述第三方面实施例和/或结合第三方面实施例的一种可能的实施方式提供的方法。本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例而了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。通过附图所示,本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图,重点在于示出本申请的主旨。图1示出了本申请实施例提供的一种有向无环图配置方法的流程示意图。图2示出了本申请实施例提供的又一种有向无环图配置方法的流程示意图。图3示出了本申请实施例提供的一种数据处理方法的流程示意图。图4示出了本申请实施例提供的一种有向无环图配置装置的模块框图。图5示出了本申请实施例提供的一种数据处理装置的模块框图。图6示出了本申请实施例提供的一种电子设备的结构框图。具体实施方式下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。再者,本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。在数据治理(处理)过程中,为了避免当数据格式稍微一变,就需要修改处理逻辑,导致数据治理效率低下的问题,本申请通过预先定义一些常见的数据格式,然后在系统中预先定义对应的处理逻辑,在项目中部署使用时,根据不同的数据格式,可以通过一次处理或多个逻辑叠加处理来满足要求。本申请将这样的处理逻辑称为规则,通过这种预定义配置规则的方式,使得需要不同的数据格式时,通过修改对应的规则组合,来满足由于数据格式不一致而导致的需要定义不同处理逻辑的需求,大大减少了项目开展中前期数据治理的时间,提高了数据治理的效率,为项目后期的开展奠定了良好的开端。如图1所示,为本申请实施例提供的一种有向无环图配置方法的流程图,下面将结合图1,对本申请实施例提供的有向无环图配置方法进行说明。步骤s101:将待处理数据的源端和对应的结果端抽象成原始表和目标表。在结构化数据治理中,针对待治理的源端数据,将待治理数据的源端和对应的结果端抽象成原始表和目标表。步骤s102:基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则。针对原始表中的每个字段,按照原始表-目标表的依赖关系给原始表中的每个字段配置一个或多个有先后顺序的规则。其中,给原始表中的每个字段配置的规则为事先定义的规则,为了实现规则dag(directedacyclicgraph,有向无环图),本申请提出了一套定义规则的方式,将规则称之为rule,每个rule包含五个要素:一为规则分类(type),二为输入集(inputs),三为核心处理逻辑(core),四为输出(output),五为规则的说明(descriptor)。其中,规则分类(type):按照规则的定义分类,方便配置时查找配置,例如:校验类、转换类等。输入集(inputs):作为每个规则的输入源,输入源不可能为一个,所以是一个集合,包含一到多个元素,每个元素包含输入类型、输入字段、输入值、备注等。如果input是常量,则输入类型是常量,输入值就是那个常量值。如果input是数据源数据,则输入类型是数据源,输入字段是数据源对应的原始表的字段名(列名),例如:name,输入值是某个字段名下的每条数据的变化值(列名下的某个具体数值),例如:zhangsan。如果是依赖上一个规则的输出作为输入,输入类型是中间结果,输入字段是上一个规则的输出字段,例如:xm_1,输入值也是上一个规则的输出值,例如:zhangsan。如果是字典类型的规则,即通过输入字段的值当做字典中的key,拿到value作为规则的输出,那么输入类型就是字典类型,输入字段即数据源对应的原始表的字段名,例如:sex_id,输入值是每条数据的变化值,例如:1,那么备注就是这个字典表的表名或唯一标识,例如:性别字典表sex_dictionary,用来在核心处理逻辑中关联字典表使用。核心处理逻辑(core):是每个规则的处理逻辑部分,根据规则的定义及inputs,编写这个规则的核心处理逻辑,最终将结果赋予output中。输出(output):是每个规则的输出,包含输出类型、输出字段、输出值。如果output是下一个规则的input,输出类型为中间结果,输出字段为规则dag中的最终规则的输出字段的字段名加下划线加数字,从1开始,例如:最终的输出字段为xm,那么第一个规则的输出字段是xm_1。输出值就是当前规则计算逻辑的结果。如果output是最后一个规则,那么输出类型是最终结果,输出字段也是最终的输出字段名,例如:age,输出值就是一串规则dag执行完后最终的结果。规则的说明(descriptor):是每个规则的定义和详细描述,用来描述此规则是如何使用,如何配置,有什么结果,需要注意的事项等等详情信息。按照上述规则的定义要素预定义在后续数据治理过程中可能涉及到的规则,形成规则库,以便后续基于该规则库,按照原始表-目标表的依赖关系给原始表中的每个字段配置一个或多个有先后顺序的规则。当源端的数据格式发生变化时,只需要重新配置所需的规则dag即可,而无须去改动原代码,从而提高了数据的处理效率。步骤s103:基于配置在每个字段上的规则链构建有向无环图,得到各自的规则dag。在按照原始表-目标表的依赖关系给原始表中的每个字段配置一个或多个有先后顺序的规则后,基于配置在每个字段上的规则链构建有向无环图,得到每个字段各自的规则dag。其中,针对原始表中的每个字段配置规则dag的过程,可以结合图2所示的流程图进行说明。步骤s201:接收用户输入的第一操作,所述第一操作用于触发显示规则dag配置页面。当需要为原始表中的每个字段配置规则dag时,用户可以在可视化配置平台提供的前端上输入第一操作,后端便可接收用户输入的第一操作,其中,第一操作用于触发显示规则dag配置页面。其中,本申请实施例提供的可视化配置平台,从架构分为三个模块:前端,后端和对话引擎。前端用于与用户直接交互,用户操作的数据会同步到后端;后端可以控制对话引擎加载用户配置的对话逻辑等信息。其架构可以是采用cs即client/server(客户机/服务器)架构,也可以是采用bs即browser/server(浏览器/服务器)架构,在此不作进一步限定。步骤s202:响应所述第一操作显示所述规则dag配置页面。可视化配置平台的后端响应用户在前端输入的第一操作返回显示规则dag配置页面,该规则dag配置页面用于供用户按需配置,以满足用户的需求。步骤s203:接收用户在所述规则dag配置页面上输入的针对待处理数据的配置操作,所述配置操作用于配置规则dag的规则状态点、所述规则状态点之间的有向边。用户可以在该规则dag配置页面上,针对待处理数据(待进行格式类型转换的数据)添加对应的处理逻辑,以便在数据治理时,根据该处理逻辑对这一类型的数据进行处理,使其最终输出所需的数据。后端便可接收到户在该规则dag配置页面上输入的针对待处理数据的配置操作。其中,该配置操作用于配置规则dag的规则状态点(规则)、规则状态点之间的有向边(规则之间的输入输出关系)。其中,规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则,有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据。其中,根据不同的数据格式,可以添加一个规则或多个有先后顺序的规则,若将a格式的数据转换为b格式的数据仅需要一个规则,则只需要添加一个规则即可,若将a格式的数据转换为c格式的数据需要多个逻辑叠加处理才能满足要求,则需要添加多个有先后顺序的规则。其中,接收用户在所述规则dag配置页面上输入的针对待处理数据的配置操作的过程可以是:接收用户在所述规则dag配置页面上输入的规则添加操作;响应所述规则添加操作显示预设规则列表;接收用户从所述预设规则列表中选择的目标规则的第二操作;响应所述第二操作,生成规则状态点并显示所述规则状态点;接收用户针对所述规则状态点的输入输出配置操作。针对待处理数据,用户在规则dag配置页面上点击规则添加按钮,从弹出来的预设规则列表中选择所需的目标规则,后端便会响应该操作,生成对应的规则状态点并显示该规则状态点,然后用户便可对该规则状态点的输入输出进行配置。上述过程是添加一个规则的过程,若需要添加多个规则,则重复多次即可,其中,在配置规则状态点的输入输出时,若只有一个规则,则该将输入源的关系型数据库数据表中的字段名配置为规则的输入字段,将输出表的字段名配置成输出字段,若有多个规则时,则将输入源的关系型数据库数据表中的字段名配置为第一规则的输入字段,将第一个规则的输出字段配置为中间结果字段名,作为第二个规则的输入字段,将第二个规则的输出字段配置为中间结果字段名,作为第三个规则的输入字段……将输出表的字段名配置成输出字段作为最后一个规则的输出字段。步骤s204:响应所述配置操作完成针对所述待处理数据的规则dag的配置。响应用户输入的配置操作,完成针对待处理数据的规则dag的配置,生成这一类型的数据的规则dag。后端会根据配置的依赖关系,针对每一个输出和输入关系构建规则dag。按照图2所示的规则dag配置过程,为接下来的每个待处理数据配置规则dag,后续在对数据治理时,选择对应的规则dag即可。其中,需要说明的是,图2所示的规则dag配置过程并不限于对原始表中的每个字段配置规则dag这一场景,其可以适用于任意一个待处理数据的规则dag配置的场景。也要说明,每个字段的配置方式也不仅限于图2所示的方式,也可以是别的方式,例如,一次性添加多个规则,然后再对每个规则状态点的输入输出进行配置。如图3所示,为本申请实施例提供的一种有数据处理方法的流程图,下面将结合图3,对本申请实施例提供的数据处理方法进行说明。步骤s301:获取待处理的源端数据表。在数据治理时,获取待治理(处理的)源端数据表。步骤s302:针对所述源端数据表中的每个字段,从预设数据库中找到与该字段对应的规则dag。根据源端数据表中的每个字段(例如列表)从预设数据库中找到与该字段对应的规则dag。步骤s303:将该字段的值输入到所述规则dag中,输出对应的结果。将该字段的值输入到该规则dag中,即可输出所需的结果。若该规则dag包括n个有先后顺序的规则,n为大于等于2的正整数时,则该过程为:将该字段的值输入到所述规则dag的第1个规则中,输出第1个中间结果;针对第2个规则至第n个规则中的每个规则,将该规则的前一个规则输出的中间结果输入到该规则中,得到该规则输出的中间结果,其中,第n个规则输出的中间结果为最终结果。为了便于理解,以规则dag包括5个有先后顺序的规则为例,该将该字段的值输入到所述规则dag的第1个规则中,输出第1个中间结果,将第1个中间结果输入到所述规则dag的第2个规则中,输出第2个中间结果,将第2个中间结果输入到所述规则dag的第3个规则中,输出第3个中间结果,将第3个中间结果输入到所述规则dag的第4个规则中,输出第4个中间结果,将第4个中间结果输入到所述规则dag的第5个规则中,输出最终结果。步骤s304:将每个字段对应的结果赋值到结果数据表中并进行存储。基于步骤s302以及步骤s303,可以得到每个字段下的各个数值对应的结果,然后将每个字段对应的结果赋值到结果数据表中并进行存储。为了便于理解,以表1所示的待治理源端数据表(原始表),以及表2所示的结果端数据表(目标表)为例进行说明。表1日期时间2018年11月20日08/30/002018年11月20日08/31/06表2日期时间2018.11.208.302018.11.208.31.6假设源端数据的日期/时间的格式如表1所示,而所需的格式为表2中的日期/时间所示,则在配置规则dag时,选择对应的规则,使其数据经过该规则处理后,能得到表2所示的格式。在配置好所需的规则dag后,则在对该的待治理源端数据表(表1)进行数据治理时,则分别获取日期、时间字段对应的规则dag,以日期字段为例,然后将第二行第一列中的2018年11月20日输入日期对应的规则dag中,则输出2018.11.20,将第三行第一列中的2018年11月20日输入该规则dag中,则输出2018.11.20。同理,对于时间而言,将第二行第二列中的08/30/00输入时间对应的规则dag中,则输出8.30,将第三行第二列中的08/31/06输入该规则dag中,则输出8.31.6,最后将各个字段对应的结果赋值到结果数据表中并进行存储,即可得到表2所示的表。通过这种预定义配置规则的方式,使得在需要不同的数据格式时,通过可视化配置,仅通过修改对应的规则组合,即可满足由于数据格式不一致而导致的需要定义不同处理逻辑的需求,大大减少了项目开展中前期数据治理的时间,提高了数据治理的效率,为项目后期的开展奠定了良好的开端。本申请实施例还提供了一种可视化配置平台,包括:前端、后端和对话引擎,其中,后端包括:输入模块和配置模块。输入模块,用于接收用户输入的第一操作,所述第一操作用于触发显示规则dag配置页面。配置模块,用于响应所述第一操作显示所述规则dag配置页面;用于接收用户在所述规则dag配置页面上输入的针对待处理数据的配置操作,所述配置操作用于配置规则dag的规则状态点、所述规则状态点之间的有向边,其中,所述规则状态点表征用于对输入数据按照选定处理逻辑进行处理的规则,所述有向边表征一个规则状态点的输出数据能够作为指向的另一个规则状态点的输入数据;以及用于响应所述配置操作完成针对所述待处理数据的规则dag的配置。可选地,配置模块用于:接收用户在所述规则dag配置页面上输入的规则添加操作;响应所述规则添加操作显示预设规则列表;接收用户从所述预设规则列表中选择的目标规则的第二操作;响应所述第二操作,生成规则状态点并显示所述规则状态点;接收用户针对所述规则状态点的输入输出配置操作。本申请实施例所提供的可视化配置平台,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。如图4所示,本申请实施例还提供了一种有向无环图配置装置200,包括:抽象模块210、配置模块220以及构建模块230。抽象模块210,用于将待处理数据的源端和对应的结果端抽象成原始表和目标表。配置模块220,用于基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则。构建模块230,用于基于配置在每个字段上的规则链构建有向无环图,得到各自的规则dag。本申请实施例所提供的有向无环图配置装置200,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。如图5所示,本申请实施例还提供了一种数据处理装置300,包括:获取模块310、查找模块320、输入模块330以及赋值模块340。获取模块310,用于获取待处理的源端数据表。查找模块320,用于针对所述源端数据表中的每个字段,从预设数据库中找到与该字段对应的规则dag。输入模块330,用于将该字段的值输入到所述规则dag中,输出对应的结果。可选地,所述规则dag包括n个有先后顺序的规则,n为大于等于2的正整数;输入模块330,用于:将该字段的值输入到所述规则dag的第1个规则中,输出第1个中间结果;针对第2个规则至第n个规则中的每个规则,将该规则的前一个规则输出的中间结果输入到该规则中,得到该规则输出的中间结果,其中,第n个规则输出的中间结果为最终结果。赋值模块340,用于将每个字段对应的结果赋值到结果数据表中并进行存储。本申请实施例所提供的数据处理装置300,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。如图6所示,图6示出了本申请实施例提供的一种电子设备400的结构框图。所述电子设备400包括:收发器410、存储器420、通讯总线430以及处理器440。所述收发器410、所述存储器420、处理器440各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线430或信号线实现电性连接。其中,收发器410用于收发配置报文。存储器420用于存储计算机程序,如存储有图4或图5中所示的软件功能模块,即图4所示的有向无环图配置装置200,或图5所示的数据处理装置300。其中,有向无环图配置装置200或数据处理装置300包括至少一个可以软件或固件(firmware)的形式存储于所述存储器420中或固化在所述电子设备400的操作系统(operatingsystem,os)中的软件功能模块。所述处理器440,用于执行存储器420中存储的可执行模块,例如有向无环图配置装置200或数据处理装置300包括的软件功能模块或计算机程序。例如,处理器400执行有向无环图配置装置200包括的软件功能模块或计算机程序时,处理器440,用于将待处理数据的源端和对应的结果端抽象成原始表和目标表;基于所述原始表和所述目标表的依赖关系给所述原始表中的每个字段配置一个或多个有先后顺序的规则;基于配置在每个字段上的规则链构建有向无环图,得到各自的规则dag。又例如,处理器400执行数据处理装置300包括的软件功能模块或计算机程序时,处理器440,用于获取待处理的源端数据表;针对所述源端数据表中的每个字段,从预设数据库中找到与该字段对应的规则dag;将该字段的值输入到所述规则dag中,输出对应的结果;将每个字段对应的结果赋值到结果数据表中并进行存储。其中,存储器420可以是,但不限于,随机存取存储器(randomaccessmemory,ram),只读存储器(readonlymemory,rom),可编程只读存储器(programmableread-onlymemory,prom),可擦除只读存储器(erasableprogrammableread-onlymemory,eprom),电可擦除只读存储器(electricerasableprogrammableread-onlymemory,eeprom)等。处理器440可能是一种集成电路芯片,具有信号的处理能力。上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(fieldprogrammablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器440也可以是任何常规的处理器等。其中,上述的电子设备400,可以是通用计算机或特殊用途的计算机,等。本申请实施例还提供了一种非易失性计算机可读取存储介质(以下简称存储介质),该存储介质上存储有计算机程序,该计算机程序被计算机如上述的电子设备400运行时,执行上述所示的有向无环图配置方或数据处理方法。需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,笔记本电脑,服务器,或者电子设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本
技术领域
的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1