一种融合结构化数据和非结构化数据的数据传输方法与流程

本发明涉及一种融合结构化数据和非结构化数据的数据传输方法，属于数据传输、数据交换、数据共享技术领域。

背景技术：

在移动互联网时代，各行各业的数据量都呈现出几何级数的增长。数据即资产，为了采集、存储、并挖掘这些数据中的价值，大数据技术随之兴起。在大数据兴起的过程中，有一种需求显得尤为迫切。在大数据时代，各个行业都提出了数据整合的需求，即将分散在各个领域、各个系统中的数据进行统一提取、处理，并集中存储。

在数据整合的过程中，不可避免的存在数据传输、数据交换与数据共享，因此各行业都在制定自己的数据传输、数据交换和数据共享标准。在数据传输中一般涉及到两类数据：结构化数据和非结构化数据。通常，数据传输时把结构化数据和非结构化数据分开处理。但是在许多情况下结构化数据和非结构化数据是紧密相关的，具有强相关性，如果分开传输与处理会带来很多问题。为此，我们设计了一种新的数据传输方法，采用该方法，可以融合结构化数据和非结构化数据，同步传输，同步处理，给数据传输、数据交换和数据共享带了极大的便利性。

技术实现要素：

本发明所要解决的技术问题是提供一种设计简单，能够高效保证结构化数据和非结构化数据进行同步传输的融合结构化数据和非结构化数据的数据传输方法。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种融合结构化数据和非结构化数据的数据传输方法，针对包含有结构化数据和非结构化数据的数据进行数据传输，包括如下步骤：

步骤001.分别获取非结构化数据中各个文件的预设各项属性信息，同时，将结构化数据转换为预设数据编码格式，然后进入步骤002；

步骤002.根据非结构化数据中文件的数量n，获取结构化数据中与非结构化数据中n个文件分别一一对应的n个字段，然后进入步骤003，其中，n≥1；

步骤003.将非结构化数据中各个文件的预设各项属性信息，分别添加作为结构化数据中对应字段的扩展字段，构成非结构化数据中对应文件的引用，其中，结构数据中具有扩展字段的字段，与对应扩展字段构成复合字段，然后进入步骤004；

步骤004.分别获得结构化数据的长度信息和非结构化数据的长度信息，然后将结构化数据长度信息、非结构化数据长度信息，以及结构化数据的预设数据编码格式三者进行组合构成文件头，并进入步骤005；

步骤005.将文件头、结构化数据和非结构化数据依序拼接，构成半结构化数据，并进行数据传输，针对包含有结构化数据和非结构化数据的数据实现数据传输。

作为本发明的一种优选技术方案：所述步骤005之后还包括如下步骤，执行完步骤005之后，进入步骤006；

步骤006.接收终端接收半结构数据，针对文件头进行解析，分别获得结构化数据长度信息、非结构化数据长度信息，以及结构化数据的预设数据编码格式，然后进入步骤007；

步骤007.提取半结构化数据中的结构化数据，并进一步提取其中的各个复合字段，然后进入步骤008；

步骤008.根据结构化数据长度信息和结构化数据的预设数据编码格式针对结构化数据进行解析，获得解析后的结构化数据，然后进入步骤009；

步骤009.根据结构化数据中的各个复合字段中的扩展字段，逐个提取获得半结构化数据中非结构化数据中的各个文件。

作为本发明的一种优选技术方案：所述步骤001中，所述预设各项属性信息包括文件名、文件类型、文件大小。

作为本发明的一种优选技术方案：所述步骤001中，将结构化数据转换为json数据编码格式。

本发明所述一种基于融合结构化数据和非结构化数据的数据传输方法采用以上技术方案与现有技术相比，具有以下技术效果：

(1)本发明所设计的一种基于融合结构化数据和非结构化数据的数据传输方法，将结构化数据与非结构化数据融合在一个文件中进行传输，使得结构化数据和非结构数据在网络中进行传输、交换和共享时能够同步，避免了分开传输时存在数据不同步的问题；而且在数据传输与处理过程中，结构化数据和非结构化数据通过本发明设计方法有效关联后可以在应用系统中进行统一、同步处理，避免了异步处理的复杂性，同时也避免了结构化数据或非结构化数据中数据丢失所导致的数据不一致问题；并且基于数据传输时所设计的结构，设计与之相对应的解析处理，针对所接收到的结构化数据和非结构化数据的实现统一解析、处理，大大提高了数据传输过程中的解析效率；

(2)本发明所设计的一种基于融合结构化数据和非结构化数据的数据传输方法中，针对结构化数据，具体设计转换为json数据编码格式，一是json数据编码格式简单、清晰，相比较于xml格式更小、更快、更易解析；二是json数据编码格式是一种标准，独立于语言又有广泛的支持性，基本上所有主流编程语言都有相应的库用来解析json格式的数据，进而有效提高了本发明所设计基于融合结构化数据和非结构化数据的数据传输方法在实际应用过程当中的工作效率。

附图说明

图1是本发明设计的融合结构化数据和非结构化数据的数据传输方法的流程示意图；

图2是本发明设计中结构化数据转换为json数据编码格式的示意图；

图3是本发明设计中文件头的结构示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

如图1所示，本发明所设计的一种融合结构化数据和非结构化数据的数据传输方法，在实际的应用过程当中，针对包含有结构化数据和非结构化数据的数据进行数据传输，包括如下步骤：

步骤001.分别获取非结构化数据中各个文件的预设各项属性信息，包括文件名、文件类型、文件大小，同时，将结构化数据转换为json数据编码格式，然后进入步骤002。

这里针对结构化数据，我设计采用json数据编码格式，，一是json数据编码格式简单、清晰，相比较于xml格式更小、更快、更易解析；二是json数据编码格式是一种标准，独立于语言又有广泛的支持性，基本上所有主流编程语言都有相应的库用来解析json格式的数据，进而有效提高了本发明所设计基于融合结构化数据和非结构化数据的数据传输方法在实际应用过程当中的工作效率。

实际应用中，将结构化数据转换为json数据编码格式，如图2所示，最上层结构的名称为record，表示一条结构化数据的记录；record的下一级表示具体的字段信息，每个字段由一个key-value键值对表示，key表示字段名称，value表示字段的值，由普通字段直接转换而成。如果某个字段和非结构化数据关联，则该字段的value部分会进一步扩展为非结构化数据的引用，引用的信息包括上一步生成非结构化数据时提取的信息，包括文件名、文件类型、是否是二进制文件、文件大小等信息。

步骤002.根据非结构化数据中文件的数量n，获取结构化数据中与非结构化数据中n个文件分别一一对应的n个字段，然后进入步骤003，其中，n≥1。

步骤003.将非结构化数据中各个文件的预设各项属性信息，分别添加作为结构化数据中对应字段的扩展字段，构成非结构化数据中对应文件的引用，其中，结构数据中具有扩展字段的字段，与对应扩展字段构成复合字段，然后进入步骤004。

步骤004.分别获得结构化数据的长度信息和非结构化数据的长度信息，然后将结构化数据长度信息、非结构化数据长度信息，以及结构化数据的预设数据编码格式三者进行组合构成文件头，并进入步骤005。

基于上述内容，所构成的文件头在实际应用中，可以如图3所示具体设计，其中，文件头部分总长度固定为24个字节，由三个部分组成，分别为：结构化数据长度信息、非结构化数据长度信息和结构化数据的预设数据编码格式。“结构化数据长度信息”占用4个字节，以无符号整数的二进制形式表示，以大端方式存储，表示的长度范围为0-4294967295。“非结构化数据长度信息”同样占用4个字节，以无符号整数的二进制形式表示，以大端方式存储，表示的长度范围为0-4294967295。“结构化数据的预设数据编码格式”占用16个字节以字符串表示，其中英文字母全部为大写，字符串顺序为从左到右，剩余部分以16进制的0x00填充。比如字符编码为utf-8，从左至右占用5个字节，剩余11个字节以16进制的0x00填充。

步骤005.将文件头、结构化数据和非结构化数据依序拼接，构成半结构化数据，并进行数据传输，针对包含有结构化数据和非结构化数据的数据实现数据传输。

与之相应，当接收终端接收到上述半结构化数据后，采用如下具体设计步骤针对该半结构化数据进行解析。

步骤006.接收终端接收半结构数据，针对文件头进行解析，分别获得结构化数据长度信息、非结构化数据长度信息，以及结构化数据的预设数据编码格式，然后进入步骤007；

步骤007.提取半结构化数据中的结构化数据，并进一步提取其中的各个复合字段，然后进入步骤008；

步骤008.根据结构化数据长度信息和结构化数据的预设数据编码格式针对结构化数据进行解析，获得解析后的结构化数据，然后进入步骤009；

步骤009.根据结构化数据中的各个复合字段中的扩展字段，逐个提取获得半结构化数据中非结构化数据中的各个文件。

基于上述设计技术方案，本发明所设计一种基于融合结构化数据和非结构化数据的数据传输方法，在实际应用过程当中，将结构化数据与非结构化数据融合在一个文件中进行传输，使得结构化数据和非结构数据在网络中进行传输、交换和共享时能够同步，避免了分开传输时存在数据不同步的问题；而且在数据传输与处理过程中，结构化数据和非结构化数据通过本发明设计方法有效关联后可以在应用系统中进行统一、同步处理，避免了异步处理的复杂性，同时也避免了结构化数据或非结构化数据中数据丢失所导致的数据不一致问题；并且基于数据传输时所设计的结构，设计与之相对应的解析处理，针对所接收到的结构化数据和非结构化数据的实现统一解析、处理，大大提高了数据传输过程中的解析效。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。