数据转换工具的验证方法、装置、计算机设备和存储介质与流程

文档序号:18939915发布日期:2019-10-23 01:04阅读:237来源:国知局
数据转换工具的验证方法、装置、计算机设备和存储介质与流程

本申请涉及测试技术领域,特别是涉及一种数据转换工具的验证方法、装置、计算机设备和存储介质。



背景技术:

互联网的用户原始数据,大多是通过结构化的计算机语言进行存储和传输的,例如xml、json和二进制等数据格式。但由于这些原始数据的来源渠道多样,不同的数据源之间往往采取了不一样的数据结构,大部分互联网金融机构在贷款审批时会引入第三方机构的征信数据作为审批依据;

由于第三方机构提供的数据格式各不相同,例如从a银行获得的用户刷卡消费数据是采用xml格式存储的、从b通信公司获得的用户话费账单数据是采集json格式存储的,这些原始数据之间具有结构相异、数据冗余程度高、非线性等特点,金融机构在引入第三方机构的数据时,需要通过数据格式转换工具来进行格式的统一。但如何测试数据格式转换工具的数据转换逻辑的准确性,是需要解决的难题。



技术实现要素:

基于此,有必要针对上述技术问题,提供一种能够测试数据转换工具的数据转换逻辑正确性的数据转换工具的验证方法、装置、计算机设备和存储介质。

一种数据转换工具的验证方法,所述方法包括:

将测试文件中各测试数据转换为预设目标格式的目标测试数据;所述目标测试数据包括多种业务数据,所述业务数据携带有用于区分业务数据类别的业务标签;

根据所述业务标签从所述目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据所述目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段;

基于所述目标数据集合与所述目标数据字段,生成用于描述业务数据属性的对比文件;

通过待验证的数据转换工具将所述测试文件转换为待验证文件,所述待验证文件中包含所述预设目标格式的待验证数据字段;

当所述待验证文件中的待验证数据字段与所述对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息。

在其中一个实施例中,所述将测试文件中各测试数据转换为预设目标格式的目标测试数据之前,还包括:

获取数据源,以测试用户为单位,对所述数据源进行虚拟化处理,获得包含多个虚拟化测试数据的测试文件。

在其中一个实施例中,所述根据所述业务标签从所述目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据所述目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段之前,还包括:

将所述数据源中的数据字段进行归一化处理,获得所述预设的数据字段集合。

在其中一个实施例中,所述根据所述目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段包括:

获取与所述预设的数据字段集合对应的标准文档,所述标准文档携带有多个字段标签;

将所述目标数据集合对应的业务标签与所述字段标签进行匹配,确定所述标准文档中的待更新字段;

所述基于所述目标数据集合与所述目标数据字段,生成用于描述业务数据属性的对比文件包括:

获取所述待更新字段对应的目标数据集合,根据所述目标数据集合对应的业务数据,更新所述待更新字段对应的字段内容;

根据携带有更新字段内容的数据字段,生成对比文件。

在其中一个实施例中,所述通过待验证的数据转换工具将所述测试文件转换为待验证文件之后,还包括:

将所述待验证文件中的待验证数据字段与所述对比文件中的目标数据字段进行字段对比;

当字段对比结果为所述待验证数据字段与所述目标数据字段存在差异数据字段时,标记所述对比文件中与所述差异数据字段对应的目标数据字段;

调用标记的所述目标数据字段对应的数据源,校验所述标记的目标数据字段与所述数据源是否匹配;

当所述标记的目标数据字段与所述数据源匹配成功时,反馈数据转换工具验证成功信息。

在其中一个实施例中,所述调用标记的所述目标数据字段对应的数据源,校验所述标记的目标数据字段与所述数据源是否匹配之后,还包括:

当所述标记的目标数据字段与所述数据源匹配时失败时,根据所述数据源调整所述待验证数据转换工具对应的数据转换逻辑;

当所述标记的目标数据字段与所述数据源匹配成功时,标记与所述差异数据字段标对应的待验证数据字段,根据所述数据源,检测并更新所述待验证数据字段对应的各业务数据携带的业务标签。

在其中一个实施例中,所述方法还包括:

对验证成功的所述数据转换工具标注验证标识;

根据所述对比文件中的目标数据字段,确定所述携带有验证标识的数据转换工具对应的转换数据字段集合,并建立所述携带有验证标识的数据转换工具与对应转换数据字段集合的关联关系;

接收目标数据源,根据目标数据源对应的目标转换数据字段集合,查找所述关联关系,获得与所述目标转换数据字段集合对应的目标数据转换工具;

根据所述目标数据转换工具,对所述目标数据源进行数据转换处理,获得符合数据转换要求的数据处理结果。

一种数据转换工具的验证装置,所述装置包括:

数据格式转换模块,用于将测试文件中各测试数据转换为预设目标格式的目标测试数据;所述目标测试数据包括多种业务数据,所述业务数据携带有用于区分业务数据类别的业务标签;

业务数据筛选模块,用于根据所述业务标签从所述目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据所述目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段;

对比文件生成模块,用于基于所述目标数据集合与所述目标数据字段,生成用于描述业务数据属性的对比文件;

待验证文件生成模块,用于通过待验证的数据转换工具将所述测试文件转换为待验证文件,所述待验证文件中包含所述预设目标格式的待验证数据字段;

验证结果反馈模块,用于当所述待验证文件中的待验证数据字段与所述对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

将测试文件中各测试数据转换为预设目标格式的目标测试数据;所述目标测试数据包括多种业务数据,所述业务数据携带有用于区分业务数据类别的业务标签;

根据所述业务标签从所述目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据所述目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段;

基于所述目标数据集合与所述目标数据字段,生成用于描述业务数据属性的对比文件;

通过待验证的数据转换工具将所述测试文件转换为待验证文件,所述待验证文件中包含所述预设目标格式的待验证数据字段;

当所述待验证文件中的待验证数据字段与所述对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

将测试文件中各测试数据转换为预设目标格式的目标测试数据;所述目标测试数据包括多种业务数据,所述业务数据携带有用于区分业务数据类别的业务标签;

根据所述业务标签从所述目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据所述目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段;

基于所述目标数据集合与所述目标数据字段,生成用于描述业务数据属性的对比文件;

通过待验证的数据转换工具将所述测试文件转换为待验证文件,所述待验证文件中包含所述预设目标格式的待验证数据字段;

当所述待验证文件中的待验证数据字段与所述对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息。

上述数据转换工具的验证方法、装置、计算机设备和存储介质,一方面,通过对测试文件进行数据格式转换,便于进行数据格式统一与字段验证处理,根据测试数据中各业务数据携带的业务标签,进行同一类别的数据提取得到目标数据集合,根据目标数据集合对应的业务标签,确定目标数据字段,从而根据目标数据集合与目标数据字段,得到对比文件,另一方面,通过使用待验证的数据转换工具的逻辑转换处理,对测试文件进行转换,将得到的包含待验证数据字段的待验证文件作为验证对象,待验证文件包括与对比文件相同预设目标格式的数据字段,确保数据格式的一致性,最后,当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息,实现数据转换工具的数据转换逻辑验证,可以验证数据转换工具的正确性,减少数据转换出错概率。

附图说明

图1为一个实施例中数据转换工具的验证方法的应用场景图;

图2为一个实施例中数据转换工具的验证方法的流程示意图;

图3为另一个实施例中数据转换工具的验证方法的流程示意图;

图4为另一个实施例中数据转换工具的验证方法的流程示意图;

图5为另一个实施例中数据转换工具的验证方法的流程示意图;

图6为一个实施例中数据转换工具的验证装置的结构框图;

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请提供的数据转换工具的验证方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104通过网络进行通信。服务器104获取通过终端102输入的测试文件,服务器104根据待验证的数据转换工具,将测试文件转换为待验证文件,服务器104先将测试文件中各测试数据转换为预设目标格式的目标测试数据;目标测试数据包括多种业务数据,业务数据携带有用于区分业务数据类别的业务标签,然后根据业务标签从目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段,再基于目标数据集合与目标数据字段,生成用于描述业务数据属性的对比文件,最后服务器104将待验证文件中的待验证数据字段与对比文件中的目标数据字段进行对比,将待验证文件中的待验证数据字段与对比文件中的目标数据字段进行字段对比,当字段对比结果为待验证数据字段与目标数据字段相同时,反馈数据转换工具验证成功信息至终端102。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中,如图2所示,提供了一种数据转换工具的验证方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:

步骤s200,将测试文件中各测试数据转换为预设目标格式的目标测试数据;目标测试数据包括多种业务数据,业务数据携带有用于区分业务数据类别的业务标签。

测试文件是指用于对数据转换工具进行数据转换逻辑正确性校验的文件,测试文件中包含有多个经过虚拟化处理的测试数据,具体来说,测试文件可以是通过mock原文件格式配置的,包含较多节点字段信息的xml(extensiblemarkuplanguage,可扩展标记语言)格式文件,xml是标准通用标记语言的子集,是一种简单的数据存储语言,易于在任何应用程序中读写数据。数据格式转换可以通过运行格式转换脚本文件来实现,格式转换脚本文件是指是指通过脚本文件运行,进行不同数据格式间的转换的脚本,测试文件的原格式可以是xml数据格式的文件,预设目标格式可以是json格式,格式转换脚本文件可以是python脚本,用于将xml格式的数据转换为json(javascriptobjectnotation,javascript对象简谱)格式。json是一种轻量级的数据交换格式,易于人阅读和编写,同时也易于机器解析和生成。在js语言中,一切都是对象,任何支持的类型都可以通过json来表示,例如字符串、数字、对象、数组等。通过格式转换,可以便于数据统计和分析处理,便于进行数据字段的校验。在实施例中,测试文件中包含多个不同用户的测试数据,在数据格式转换时,以测试用户为单位,将各个测试用户对应测试数据中的业务数据的数据格式为预设目标格式。业务标签用于区分测试数据中的不同业务数据类别,数据类别标签合可以是单独的一个标签,也可以是多个标签构成的标签组,具体可以根据实际需求对测试数据进行标定,在实施例中,业务数据的数据类别标签可以为“贷款”、“保险”或“违约”等,也可以是“时间段”+“贷款类型”+“违约记录”等。根据数据类别标签,将相同业务类别的测试数据提取出来,便于进行数据统计处理。

步骤s300,根据业务标签从目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段。

同一类的业务数据具有相同的业务标签,根据业务标签可将相同类别的而业务数据进行归类,得到业务数据类别相同的业务数据构成的目标数据集合,业务标签与预设数据字段集合中的各数据字段存在关联关系,在实施例中,预设数据字段集合中的业数据字段与业务标签具有相同的名称,数据字段包含对应的字段内容,字段内容是指通过数据处理后需要得到的数据结果,例如,数据的累计与计算结果等。预设数据字段集合中包括多个需要进行数据处理后得到的结果,根据数据提取结果以及数据字段数据处理要求,分类进行累计与计算,例如,“违约次数”的统计可以通过累加参数类别为违约记录的信息数量确定。

步骤s400,基于目标数据集合与目标数据字段,生成用于描述业务数据属性的对比文件。

根据目标数据集合对应的目标数据字段,对预设数据字段集合进行数据字段的选择,并根据目标数据集合对应的业务数据的提取结果更新目标数据字段的字段内容,完成数据字段的选择与更新,根据进行字段内容更新的数据字段,生成对比文件。对比文件是指用于与待验证文件进行数据字段对比的文件,当数据转换逻辑正确无误时,对比文件包含的数据字段与待验证文件的数据字段内容相同。

步骤s500,通过待验证的数据转换工具将测试文件转换为待验证文件,待验证文件中包含预设目标格式的待验证数据字段。

数据转换工具是指用于将接入的数据通过数据转换工具中设定的数据转换逻辑,进行数据格式转换与数据信息的整合,直接得到标准格式的字段内容的工具,可以实现在数据格式转换的过程中同时实现数据的统计处理。待验证文件是指采用待验证的数据转换工具中的数据转换逻辑进行数据处理后得到的可以进行结果验证的文件。

步骤s600,当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息。

在实施例中,通过字段比对确定待验证文件中的待验证数据字段与对比文件中的目标数据字段是否相同,字段对比是指对字段类型以及字段内容进行对比的过程,通过对比相同字段类型的字段内容,具体来说,以各测试用户的测试数据为单位,分别验证各测试用户的数据字段,以确定数据转换工具的数据转换逻辑是否正确,数据字段对比结果是指对比文件与待验证文件是否存在差异数据字段,当存在差异数据字段时,通过数据源来检测待验证文件是否存在错误,从而确定数据转换工具的数据转换逻辑的正确性,验证数据转换工具,将待验证文件中的待验证数据字段与对比文件中的目标数据字段进行字段对比,当字段对比结果为待验证数据字段与目标数据字段相同时,反馈数据转换工具验证成功信息。

上述数据转换工具的验证方法,一方面,通过对测试文件进行数据格式转换,便于进行数据格式统一与字段验证处理,根据测试数据中各业务数据携带的业务标签,进行同一类别的数据提取得到目标数据集合,根据目标数据集合对应的业务标签,确定目标数据字段,从而根据目标数据集合与目标数据字段,得到对比文件,另一方面,通过使用待验证的数据转换工具的逻辑转换处理,对测试文件进行转换,将得到的包含待验证数据字段的待验证文件作为验证对象,待验证文件包括与对比文件相同预设目标格式的数据字段,确保数据格式的一致性,最后,当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,,实现数据转换工具的数据转换逻辑验证,可以验证数据转换工具的正确性,减少数据转换出错概率。

在一个实施例中,如图3所示,步骤s200,将测试文件中各测试数据的数据格式转换为预设目标格式之前,还包括:

步骤s120,获取数据源,以测试用户为单位,对数据源进行虚拟化处理,获得包含多个虚拟化测试数据的测试文件。

数据源是指未经过数据处理的对象,虚拟化处理是指在测试过程中,对于某些不容易构造或者不容易获取的对象,用一个虚拟的对象来创建的处理过程,具体可通过mock平台,以测试用户为单位,来创建获得多个包含虚拟化测试数据的测试文件,在对比文件与待验证文件的对比校验过程中,以测试用户的测试数据为比较分析对象,进行对比文件与待验证文件的对应数据字段的对比验证。

在一个实施例中,如图3所示,步骤s300,根据业务标签从目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段之前,还包括:

步骤s280,将数据源中的数据字段进行归一化处理,获得预设的数据字段集合。

归一化处理是一种无量纲处理手段,使物理系统数值的绝对值变成某种相对值关系。对待处理数据源中的数据字段做归一化处理,使数据具有统一的标准,便于数据统计和计算,根据归一化处理后的数据字段,确定数据提取规则,确定能处理得到的各个数据字段,构成预设的数据字段集,数据字段集包含各个数据字段的字段类型与数据格式,例如个人信息、违约记录等、字段名称例如身份证、手机号等、数据格式例如字符串、数字、对象、数组等。

在一个实施例中,如图3所示,步骤s300,根据目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段包括:

步骤s320,获取与预设的数据字段集合对应的标准文档,标准文档携带有多个字段标签;

步骤s340,将目标数据集合对应的业务标签与字段标签进行匹配,确定标准文档中的待更新字段;

步骤s400,基于目标数据集合与目标数据字段,生成用于描述业务数据属性的对比文件包括:

步骤s420,获取待更新字段对应的目标数据集合,根据目标数据集合对应的业务数据,更新待更新字段对应的字段内容;

步骤s440,根据携带有更新字段内容的数据字段,生成对比文件。

根据预设数据字段集中各个数据字段的字段类型与数据格式等数据提取规则,可生成标准文档。标准文档包括要求提取的字段类别,标准文档可以规范对字段数据的更新要求。通过标准文档携带的对各个数据字段的数据提取规则,遍历预设目标格式数据字段的各字节信息,业务数据类别标签对应的数据字段确定待更新的字段,获得与标准文档对应各字段对应的字段内容来更新对应的数据字段,从而生成对比文件。根据标准文档各数据字段携带的字段标签,以及测试数据携带的数据类别标签,通过遍历测试数据进行标签匹配,提取标签匹配成功的同一类数据,并根据数据字段的数据处理要求,如计算处理或次数累计处理,得到数据字段的字段内容,根据该数据字段的字段内容,对标准文件进行数据字段的内容更新,根据字段内容更新的各数据字段,生成对比文件。

在一个实施例中,如图4所示,步骤s500,通过待验证的数据转换工具将测试文件转换为待验证文件之后,还包括:

步骤s590,将待验证文件中的待验证数据字段与对比文件中的目标数据字段进行字段对比。

步骤s620,当字段对比结果为待验证数据字段与目标数据字段存在差异数据字段时,标记对比文件中与差异数据字段对应的目标数据字段;

步骤s630,调用标记的目标数据字段对应的数据源,校验标记的目标数据字段与数据源是否匹配;

步骤s640,当标记的目标数据字段与数据源匹配成功时,反馈数据转换工具验证成功信息。

差异数据字段包括出现字段类型不匹配情况和字段内容不匹配情况的数据字段,当出现差异数据字段时,说明对比文件或是待验证文件其中之一存在问题,通过标记与差异数据字段对应的目标数据字段,并根据目标数据字段携带的字段标签,调用测试数据中与目标数据字段对应的数据源。若目标数据字段与数据源匹配成功时,表征问题出现在对比文件的生成阶段,此时该目标数据字段对应的数据转换逻辑正确,数据转换工具验证成功。

在一个实施例中,如图4所示,步骤s630,调用标记的目标数据字段对应的数据源,校验标记的目标数据字段与数据源是否匹配之后,还包括:

步骤s650,当标记的目标数据字段与数据源匹配时失败时,根据数据源调整待验证数据转换工具对应的数据转换逻辑。

若目标数据字段与数据源匹配失败时,表征该目标数据字段对应的数据转换逻辑存在错误,数据转换工具验证失败,根据数据源确定正确的字段数据,并根据数据源与正确的字段数据之间的逻辑关系,调整待验证数据转换工具对应的数据转换逻辑。

步骤s660,当标记的目标数据字段与数据源匹配成功时,标记与差异数据字段标对应的待验证数据字段,根据数据源,检测并更新待验证数据字段对应的各业务数据携带的业务标签。

若目标数据字段与数据源匹配成功时,表征问题出现在对比文件的生成阶段,此时,根据数据源确定正确的字段数据,并根据数据源与正确的字段数据之间的逻辑关系,检测并更新待检测字段对应的各业务数据携带的数据类别标签。

在一个实施例中,如图5所示,步骤s600,当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息之后,或者,步骤s640,当标记的目标数据字段与数据源匹配成功时,反馈数据转换工具验证成功信息之后,还包括:

步骤s720,对验证成功的数据转换工具标注验证标识;

步骤s740,根据对比文件中的目标数据字段,确定携带有验证标识的数据转换工具对应的转换数据字段集合,并建立携带有验证标识的数据转换工具与对应转换数据字段集合的关联关系;

步骤s760,接收目标数据源,根据目标数据源对应的目标转换数据字段集合,查找关联关系,获得与目标转换数据字段集合对应的目标数据转换工具;

步骤s780,根据目标数据转换工具,对目标数据源进行数据转换处理,获得符合数据转换要求的数据处理结果。

通过数据转换工具,可以接收外部多种类型的目标数据源,通过目标数据源对应的目标转换数据字段集,确定对应的接口特性配置参数,进一步选择配置参数对应的数据转换工具,将接收的目标数据源通过目标数据转换工具进行逻辑运算和数据整合,得到各数据字段以及对应的字段内容,并将数据格式转换为预设标准数据格式,从而生成符合数据转换要求的数据处理结果。

应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图6所示,提供了一种数据转换工具的验证装置,包括:

数据格式转换模块200,用于将测试文件中各测试数据转换为预设目标格式的目标测试数据;目标测试数据包括多种业务数据,业务数据携带有用于区分业务数据类别的业务标签;

业务数据筛选模块300,用于根据业务标签从目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段;

对比文件生成模块400,用于基于目标数据集合与目标数据字段,生成用于描述业务数据属性的对比文件;

待验证文件生成模块500,用于通过待验证的数据转换工具将测试文件转换为待验证文件,待验证文件中包含预设目标格式的待验证数据字段;

验证结果反馈模块600,用于当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息。

在一个实施例中,数据转换工具的验证装置还包括测试文件获得模块,用于获取数据源,以测试用户为单位,对数据源进行虚拟化处理,获得包含多个虚拟化测试数据的测试文件。

在一个实施例中,数据转换工具的验证装置还包括数据归一化处理模块,用于将数据源中的数据字段进行归一化处理,获得预设的数据字段集合。

在一个实施例中,业务数据筛选模块300,还用于获取与预设的数据字段集合对应的标准文档,标准文档携带有多个字段标签,将目标数据集合对应的业务标签与字段标签进行匹配,确定标准文档中的待更新字段。对比文件生成模块400,还用于获取待更新字段对应的目标数据集合,根据目标数据集合对应的业务数据,更新待更新字段对应的字段内容,根据携带有更新字段内容的数据字段,生成对比文件。

在其中一个实施例中,验证结果反馈模块600,还用于将待验证文件中的待验证数据字段与对比文件中的目标数据字段进行字段对比,当目标数据字段与待验证数据字段中存在差异数据字段时,标记与差异数据字段对应的目标数据字段,调用标记的目标数据字段对应的数据源,校验标记的目标数据字段与数据源是否匹配,当标记的目标数据字段与数据源匹配成功时,反馈数据转换工具验证成功信息。

在一个实施例中,验证结果反馈模块600,还用于当标记的目标数据字段与数据源匹配时失败时,根据数据源调整待验证数据转换工具对应的数据转换逻辑,当标记的目标数据字段与数据源匹配成功时,标记与差异数据字段标对应的待验证数据字段,根据数据源,检测并更新待验证数据字段对应的各业务数据携带的业务标签。

在一个实施例中,数据转换工具的验证装置还包括标目标数据源处理模块,用于对验证成功的数据转换工具标注验证标识,根据对比文件中的目标数据字段,确定携带有验证标识的数据转换工具对应的转换数据字段集合,并建立携带有验证标识的数据转换工具与对应转换数据字段集合的关联关系,接收目标数据源,根据目标数据源对应的目标转换数据字段集合,查找关联关系,获得与目标转换数据字段集合对应的目标数据转换工具,根据目标数据转换工具,对目标数据源进行数据转换处理,获得符合数据转换要求的数据处理结果。

上述数据转换工具的验证装置,一方面,通过对测试文件进行数据格式转换,便于进行数据格式统一与字段验证处理,根据测试数据中各业务数据携带的业务标签,进行同一类别的数据提取得到目标数据集合,根据目标数据集合对应的业务标签,确定目标数据字段,从而根据目标数据集合与目标数据字段,得到对比文件,另一方面,通过使用待验证的数据转换工具的逻辑转换处理,对测试文件进行转换,将得到的包含待验证数据字段的待验证文件作为验证对象,待验证文件包括与对比文件相同预设目标格式的数据字段,确保数据格式的一致性,最后,当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,实现数据转换工具的数据转换逻辑验证,可以验证数据转换工具的正确性,减少数据转换出错概率。

关于数据转换工具的验证装置的具体限定可以参见上文中对于数据转换工具的验证方法的限定,在此不再赘述。上述数据转换工具的验证装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据转换工具的验证数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据转换工具的验证方法。

本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:

将测试文件中各测试数据转换为预设目标格式的目标测试数据;目标测试数据包括多种业务数据,业务数据携带有用于区分业务数据类别的业务标签;

根据业务标签从目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段;

基于目标数据集合与目标数据字段,生成用于描述业务数据属性的对比文件;

通过待验证的数据转换工具将测试文件转换为待验证文件,待验证文件中包含预设目标格式的待验证数据字段;

当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取数据源,以测试用户为单位,对数据源进行虚拟化处理,获得包含多个虚拟化测试数据的测试文件。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将数据源中的数据字段进行归一化处理,获得预设的数据字段集合。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取与预设的数据字段集合对应的标准文档,标准文档携带有多个字段标签;

将目标数据集合对应的业务标签与字段标签进行匹配,确定标准文档中的待更新字段;

获取待更新字段对应的目标数据集合,根据目标数据集合对应的业务数据,更新待更新字段对应的字段内容;

根据携带有更新字段内容的数据字段,生成对比文件。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将待验证文件中的待验证数据字段与对比文件中的目标数据字段进行字段对比;

当字段对比结果为待验证数据字段与目标数据字段存在差异数据字段时,标记对比文件中与差异数据字段对应的目标数据字段;

调用标记的目标数据字段对应的数据源,校验标记的目标数据字段与数据源是否匹配;

当标记的目标数据字段与数据源匹配成功时,反馈数据转换工具验证成功信息。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

当标记的目标数据字段与数据源匹配时失败时,根据数据源调整待验证数据转换工具对应的数据转换逻辑;

当标记的目标数据字段与数据源匹配成功时,标记与差异数据字段标对应的待验证数据字段,根据数据源,检测并更新待验证数据字段对应的各业务数据携带的业务标签。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

对验证成功的数据转换工具标注验证标识;

根据对比文件中的目标数据字段,确定携带有验证标识的数据转换工具对应的转换数据字段集合,并建立携带有验证标识的数据转换工具与对应转换数据字段集合的关联关系;

接收目标数据源,根据目标数据源对应的目标转换数据字段集合,查找关联关系,获得与目标转换数据字段集合对应的目标数据转换工具;

根据目标数据转换工具,对目标数据源进行数据转换处理,获得符合数据转换要求的数据处理结果。

上述用于实现数据转换工具的验证方法的计算机设备,一方面,通过对测试文件进行数据格式转换,便于进行数据格式统一与字段验证处理,根据测试数据中各业务数据携带的业务标签,进行同一类别的数据提取得到目标数据集合,根据目标数据集合对应的业务标签,确定目标数据字段,从而根据目标数据集合与目标数据字段,得到对比文件,另一方面,通过使用待验证的数据转换工具的逻辑转换处理,对测试文件进行转换,将得到的包含待验证数据字段的待验证文件作为验证对象,待验证文件包括与对比文件相同预设目标格式的数据字段,确保数据格式的一致性,最后,当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,实现数据转换工具的数据转换逻辑验证,可以验证数据转换工具的正确性,减少数据转换出错概率。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

将测试文件中各测试数据转换为预设目标格式的目标测试数据;目标测试数据包括多种业务数据,业务数据携带有用于区分业务数据类别的业务标签;

根据业务标签从目标测试数据中筛选出业务数据类别相同的目标数据集合,并根据目标数据集合对应的业务标签,从预设的数据字段集合中确定出目标数据字段;

基于目标数据集合与目标数据字段,生成用于描述业务数据属性的对比文件;

通过待验证的数据转换工具将测试文件转换为待验证文件,待验证文件中包含预设目标格式的待验证数据字段;

当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,反馈数据转换工具验证成功信息。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取数据源,以测试用户为单位,对数据源进行虚拟化处理,获得包含多个虚拟化测试数据的测试文件。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将数据源中的数据字段进行归一化处理,获得预设的数据字段集合。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取与预设的数据字段集合对应的标准文档,标准文档携带有多个字段标签;

将目标数据集合对应的业务标签与字段标签进行匹配,确定标准文档中的待更新字段;

获取待更新字段对应的目标数据集合,根据目标数据集合对应的业务数据,更新待更新字段对应的字段内容;

根据携带有更新字段内容的数据字段,生成对比文件。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将待验证文件中的待验证数据字段与对比文件中的目标数据字段进行字段对比;

当字段对比结果为待验证数据字段与目标数据字段存在差异数据字段时,标记对比文件中与差异数据字段对应的目标数据字段;

调用标记的目标数据字段对应的数据源,校验标记的目标数据字段与数据源是否匹配;

当标记的目标数据字段与数据源匹配成功时,反馈数据转换工具验证成功信息。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

当目标数据字段与数据源匹配时失败时,根据数据源调整待验证数据转换工具对应的数据转换逻辑;

当标记的目标数据字段与数据源匹配成功时,标记与差异数据字段标对应的待验证数据字段,根据数据源,检测并更新待验证数据字段对应的各业务数据携带的业务标签。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

对验证成功的数据转换工具标注验证标识;

根据对比文件中的目标数据字段,确定携带有验证标识的数据转换工具对应的转换数据字段集合,并建立携带有验证标识的数据转换工具与对应转换数据字段集合的关联关系;

接收目标数据源,根据目标数据源对应的目标转换数据字段集合,查找关联关系,获得与目标转换数据字段集合对应的目标数据转换工具;

根据目标数据转换工具,对目标数据源进行数据转换处理,获得符合数据转换要求的数据处理结果。

上述用于实现数据转换工具的验证方法的计算机可读存储介质,一方面,通过对测试文件进行数据格式转换,便于进行数据格式统一与字段验证处理,根据测试数据中各业务数据携带的业务标签,进行同一类别的数据提取得到目标数据集合,根据目标数据集合对应的业务标签,确定目标数据字段,从而根据目标数据集合与目标数据字段,得到对比文件,另一方面,通过使用待验证的数据转换工具的逻辑转换处理,对测试文件进行转换,将得到的包含待验证数据字段的待验证文件作为验证对象,待验证文件包括与对比文件相同预设目标格式的数据字段,确保数据格式的一致性,最后,当待验证文件中的待验证数据字段与对比文件中的目标数据字段相同时,实现数据转换工具的数据转换逻辑验证,可以验证数据转换工具的正确性,减少数据转换出错概率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1