一种数据处理方法及数据适配器与流程

本发明涉及数据处理技术领域，更具体的，涉及一种数据处理方法及数据适配器。

背景技术：

在有些业务中需要在终端显示某些信息，比如tv端的网上商城业务，需要在进入网上商城后显示商品的信息，在网上商城并不产生商品信息的相关数据，需要对接第三方的数据，将第三方的数据在网上商城进行显示。

第三方数据提供商所提供的数据各式各样，数据存在多种格式，同一类数据的显示名称不同，且第三方数据提供商所提供的数据并不都是导入方需要的。导致导入方在导入第三方数据时需要消耗大量内存，且需要大量的数据转换工作，由于涉及的数据格式和显示名称多样，转换时的出错率较高。

技术实现要素：

有鉴于此，本发明提供了一种数据处理方法及数据适配器，建立导入方感兴趣的目标数据对象与第三方数据的源数据对象之间的映射关系，提高了数据转换效率和正确率。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种数据处理方法，应用于数据适配器，所述方法包括：

导入第三方数据，并根据所述第三方数据的格式建立多个源数据对象；

获取导入方提供的多个目标数据对象；

定义数据映射表，所述数据映射表中定义了每个所述源数据对象与所述目标数据对象的映射关系；

根据所述数据映射表，将所述第三方数据中的每个所述源数据对象转换为相应的目标数据对象，并删除与每个所述目标数据对象都不相关的数据，得到目标数据。

优选的，所述目标数据对象包括：目标数据内容、目标数据格式和目标数据存储路径。

优选的，所述定义数据映射表，所述数据映射表中定义了每个所述源数据对象与所述目标数据对象的映射关系，包括：

定义每个所述源数据对象的内容与所述目标数据内容的映射关系；

定义每个所述源数据对象的格式与所述目标数据格式的映射关系；

定义每个所述源数据对象的存储路径与所述目标数据存储路径的映射关系；

根据每个所述源数据对象的内容与所述目标数据内容的映射关系、每个所述源数据对象的格式与所述目标数据格式的映射关系，以及每个所述源数据对象的存储路径与所述目标数据存储路径的映射关系，建立数据映射表。

优选的，所述根据所述数据映射表，将所述第三方数据中的每个所述源数据对象转换为相应的目标数据对象，并删除与每个所述目标数据对象都不相关的数据，得到目标数据，包括：

根据所述数据映射表，将所述第三方数据中的每个所述源数据对象的内容转换为相应的目标数据内容；

将所述第三方数据中的每个所述源数据对象的格式转换为相应的目标数据格式；

将所述第三方数据中的每个所述源数据对象的存储路径转换为相应的目标数据存储路径；

删除所述第三方数据中与每个所述目标数据内容都不相关的数据，得到目标数据。

一种数据适配器，包括：

导入单元，用于导入第三方数据，并根据所述第三方数据的格式建立多个源数据对象；

获取单元，用于获取导入方提供的多个目标数据对象；

定义单元，用于定义数据映射表，所述数据映射表中定义了每个所述源数据对象与所述目标数据对象的映射关系；

转换单元，用于根据所述数据映射表，将所述第三方数据中的每个所述源数据对象转换为相应的目标数据对象，并删除与每个所述目标数据对象都不相关的数据，得到目标数据。

优选的，所述目标数据对象包括：目标数据内容、目标数据格式和目标数据存储路径。

优选的，所述定义单元包括：

第一定义子单元，用于定义每个所述源数据对象的内容与所述目标数据内容的映射关系；

第二定义子单元，用于定义每个所述源数据对象的格式与所述目标数据格式的映射关系；

第三定义子单元，用于定义每个所述源数据对象的存储路径与所述目标数据存储路径的映射关系；

建立子单元，用于根据每个所述源数据对象的内容与所述目标数据内容的映射关系、每个所述源数据对象的格式与所述目标数据格式的映射关系，以及每个所述源数据对象的存储路径与所述目标数据存储路径的映射关系，建立数据映射表。

优选的，所述转换单元包括：

第一转换子单元，用于根据所述数据映射表，将所述第三方数据中的每个所述源数据对象的内容转换为相应的目标数据内容；

第二转换子单元，用于将所述第三方数据中的每个所述源数据对象的格式转换为相应的目标数据格式；

第三转换子单元，用于将所述第三方数据中的每个所述源数据对象的存储路径转换为相应的目标数据存储路径；

删除子单元，用于删除所述第三方数据中与每个所述目标数据内容都不相关的数据，得到目标数据。

相对于现有技术，本发明的有益效果如下：

本发明提供的数据处理方法及数据适配器，导入第三方数据，并根据第三方数据的格式建立多个源数据对象；获取导入方提供的多个目标数据对象；目标数据对象是导入方感兴趣的数据以及支持的数据格式，在数据映射表中定义了每个源数据对象与目标数据对象的映射关系；根据数据映射表，将第三方数据中的每个源数据对象转换为相应的目标数据对象，并删除与每个目标数据对象都不相关的数据，得到目标数据。导入方不需要消耗大量内存来导入第三方数据，只需从数据适配器中提取已转换的符合自己需求的数据，由于根据预先建立的数据映射表对第三方数据进行处理，提高了数据处理效率和正确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种数据处理方法流程图；

图2为本发明实施例公开的一种数据处理方法子流程图；

图3为本发明实施例公开的一种数据处理方法子流程图；

图4为本发明实施例公开的一种数据适配器结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本实施例公开了一种数据处理方法，应用于数据适配器，具体包括以下步骤：

s101：导入第三方数据，并根据所述第三方数据的格式建立多个源数据对象；

第三方数据为除导入方和数据适配器以外的任意数据源，例如，数据提供商zaker新闻等。

第三方数据的格式可以为文本、图片、符号、编码、字符串，以及数组等等。

每一个源数据对象代表第三方数据中的一种格式的数据。

s102：获取导入方提供的多个目标数据对象；

导入方会预先提供自己感兴趣的数据和支持的数据格式，以及数据的存储路径。

s103：定义数据映射表，所述数据映射表中定义了每个所述源数据对象与所述目标数据对象的映射关系；

定义数据映射表的原则为根据导入方提供的多个目标数据对象，尽可能考虑到所有的数据转换方式，提高数据转换的准确率。

需要说明的是，这里的映射关系可以为一对一的映射关系，也可以为多对一的映射关系，即，可以为一个源数据对象对应一个目标数据对象，也可以为多个源数据对象对应一个目标数据对象。例如：将第三方数据中的货币单位符号转换为导入方提供的文本格式，同时，也可以为将第三方数据中的编码转换为导入方提供的文本格式。

s104：根据所述数据映射表，将所述第三方数据中的每个所述源数据对象转换为相应的目标数据对象，并删除与每个所述目标数据对象都不相关的数据，得到目标数据。

第三方数据与目标数据的转换完全依据预先定义的数据映射表，提高了数据处理效率和准确率，且删除与每个目标数据对象都不相关的数据，避免了消耗大量内存。

优选的，所述目标数据对象包括：目标数据内容、目标数据格式和目标数据存储路径。

在此基础上，请参阅图2，s103的具体执行过程如下：

s201：定义每个所述源数据对象的内容与所述目标数据内容的映射关系；

每个所述源数据对象的内容与所述目标数据内容的映射关系定义了数据内容的映射关系，例如：第三方中数据内容为“外国”，而导入方需要的是“国外”，就需要将“外国”与“国外”建立映射关系；第三方中数据内容为“土豆”，而导入方需要的是“马铃薯”，就需要将“土豆”与“马铃薯”建立映射关系。

s202：定义每个所述源数据对象的格式与所述目标数据格式的映射关系；

每个所述源数据对象的格式与所述目标数据格式的映射关系定义了数据格式的映射关系，例如：第三方中存在多种图片格式bmp、jpg、png、tiff、gif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw、wmf等，而导入方只支持jpg格式，就需要分别建立bmp、jpg、png、tiff、gif、pcx、tga、exif、fpx、svg、psd、cdr、pcd、dxf、ufo、eps、ai、raw、wmf与jpg之间的映射关系，以及上面提到的，建立第三方数据中的货币单位符号与导入方提供的文本格式之间的映射关系，建立第三方数据中的编码与导入方提供的文本格式之间的映射关系等等。

s203：定义每个所述源数据对象的存储路径与所述目标数据存储路径的映射关系；

每个所述源数据对象的存储路径与所述目标数据存储路径的映射关系定义了数据存储路径的映射关系，例如：商品图片的存储路径与导入方导入时的存储路径之间的映射关系。

s204：根据每个所述源数据对象的内容与所述目标数据内容的映射关系、每个所述源数据对象的格式与所述目标数据格式的映射关系，以及每个所述源数据对象的存储路径与所述目标数据存储路径的映射关系，建立数据映射表。

请参阅图3，s104的具体执行过程如下：

s301：根据所述数据映射表，将所述第三方数据中的每个所述源数据对象的内容转换为相应的目标数据内容；

s302：将所述第三方数据中的每个所述源数据对象的格式转换为相应的目标数据格式；

s303：将所述第三方数据中的每个所述源数据对象的存储路径转换为相应的目标数据存储路径；

s304：删除所述第三方数据中与每个所述目标数据内容都不相关的数据，得到目标数据。

根据数据映射表进行转换处理，实现了第三方数据与导入方需要的数据之间点对点的转换，转换效率高且准确率高。

本实施例提供的数据处理方法，导入第三方数据，并根据第三方数据的格式建立多个源数据对象；获取导入方提供的多个目标数据对象；目标数据对象是导入方感兴趣的数据以及支持的数据格式，在数据映射表中定义了每个源数据对象与目标数据对象的映射关系；根据数据映射表，将第三方数据中的每个源数据对象转换为相应的目标数据对象，并删除与每个目标数据对象都不相关的数据，得到目标数据。导入方不需要消耗大量内存来导入第三方数据，只需从数据适配器中提取已转换的符合自己需求的数据，由于根据预先建立的数据映射表对第三方数据进行处理，提高了数据处理效率和正确率。

请参阅图4，基于上述实施例公开的数据处理方法，本实施例对应公开了一种数据适配器，具体包括：

导入单元101，用于导入第三方数据，并根据所述第三方数据的格式建立多个源数据对象；

获取单元102，用于获取导入方提供的多个目标数据对象；

定义单元103，用于定义数据映射表，所述数据映射表中定义了每个所述源数据对象与所述目标数据对象的映射关系；

转换单元104，用于根据所述数据映射表，将所述第三方数据中的每个所述源数据对象转换为相应的目标数据对象，并删除与每个所述目标数据对象都不相关的数据，得到目标数据。

优选的，所述目标数据对象包括：目标数据内容、目标数据格式和目标数据存储路径。

在此基础上，所述定义单元103包括：

第一定义子单元，用于定义每个所述源数据对象的内容与所述目标数据内容的映射关系；

第二定义子单元，用于定义每个所述源数据对象的格式与所述目标数据格式的映射关系；

第三定义子单元，用于定义每个所述源数据对象的存储路径与所述目标数据存储路径的映射关系；

建立子单元，用于根据每个所述源数据对象的内容与所述目标数据内容的映射关系、每个所述源数据对象的格式与所述目标数据格式的映射关系，以及每个所述源数据对象的存储路径与所述目标数据存储路径的映射关系，建立数据映射表。

所述转换单元104包括：

第一转换子单元，用于根据所述数据映射表，将所述第三方数据中的每个所述源数据对象的内容转换为相应的目标数据内容；

第二转换子单元，用于将所述第三方数据中的每个所述源数据对象的格式转换为相应的目标数据格式；

第三转换子单元，用于将所述第三方数据中的每个所述源数据对象的存储路径转换为相应的目标数据存储路径；

删除子单元，用于删除所述第三方数据中与每个所述目标数据内容都不相关的数据，得到目标数据。

本实施例提供的数据适配器，导入第三方数据，并根据第三方数据的格式建立多个源数据对象；获取导入方提供的多个目标数据对象；目标数据对象是导入方感兴趣的数据以及支持的数据格式，在数据映射表中定义了每个源数据对象与目标数据对象的映射关系；根据数据映射表，将第三方数据中的每个源数据对象转换为相应的目标数据对象，并删除与每个目标数据对象都不相关的数据，得到目标数据。导入方不需要消耗大量内存来导入第三方数据，只需从数据适配器中提取已转换的符合自己需求的数据，由于根据预先建立的数据映射表对第三方数据进行处理，提高了数据处理效率和正确率。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。