数据解析方法、装置、计算机可读存储介质与电子设备与流程

1.本技术涉及数据解析，具体而言，涉及一种数据解析方法、装置、计算机可读存储介质与电子设备。


背景技术：

2.在数据解析处理时，往往需要对特定数据字段进行数据转换操作(如：字符串截取、ip地址转换、时间格式转换等)，通常传统做法是需要对各种待处理数据编写其特定的解析程序，每种待处理数据都要编写一套与其对应的解析程序需要进行大量的重复编码工作，浪费大量的人力物力，耗时较长，造成不必要的资源浪费。


技术实现要素：

3.本技术的主要目的在于提供一种数据解析方法、装置、计算机可读存储介质与电子设备，以解决现有技术中现有技术中对每种待处理数据都要编写一套与其对应的解析程序的大量重复编码工作浪费人力物力的问题。
4.为了实现上述目的，根据本技术的一个方面，提供了一种数据解析方法，该方法包括：获取待解析数据的输入描述文件和所述待解析数据的输出描述文件，所述输入描述文件用于描述所述待解析数据输入的格式，所述输出描述文件用于描述所述待解析数据欲输出的格式；对所述待解析数据进行拆分，将所述待解析数据拆分成多个子数据；针对每一个所述子数据调用解析函数，对所述子数据进行解析，以将所述待解析数据的格式从输入格式转换为欲输出格式，所述解析函数是由所述待解析数据的输入格式和所述待解析数据的欲输出格式决定的。
5.可选地，对所述待解析数据进行拆分，将所述待解析数据拆分成多个子数据，包括：获取所述输入描述文件中的分隔符；根据所述输入描述文件中的分隔符对所述待解析数据进行拆分，得到多个所述子数据。
6.可选地，将所述待解析数据的格式从所述输入格式转换为欲输出格式，包括：将所述待解析数据的格式从所述输入格式转换为中间过渡格式；将所述待解析数据的格式所述中间过渡格式转换为欲输出格式。
7.可选地，所述中间过渡格式有一种，针对每一个所述子数据调用解析函数，对所述子数据进行解析，以将所述待解析数据的格式从所述输入格式转换为欲输出格式，包括：针对每一个所述子数据先调用第一解析函数，对所述子数据进行解析，以将所述待解析数据的格式从所述输入格式转换为中间过渡格式，所述第一解析函数为将所述待解析数据的输入格式转换为所述待解析数据的中间过渡格式的函数；针对每一个所述子数据再调用第二解析函数，将所述待解析数据的格式从所述中间过渡格式转换为所述欲输出格式，所述第二解析函数为将所述待解析数据的中间过渡格式转换为所述待解析数据的欲输出格式的函数。。
8.可选地，所述中间过渡格式有一种，针对每一个所述子数据调用解析函数，对所述
子数据进行解析，以将所述待解析数据的格式从所述输入格式转换为欲输出格式，包括：针对第一部分所述子数据只调用第三解析函数；针对第二部分所述子数据只调用第四解析函数；针对第三部分所述子数据先调用所述第三解析函数再调用所述第四解析函数；对所述子数据进行解析，以将所述待解析数据的格式从所述输入格式转换为欲输出格式。
9.可选地，在获取待解析数据的输入描述文件和所述待解析数据的输出描述文件之前，所述方法还包括：生成所述输入描述文件，所述输入描述文件包括所述分隔符，所述分隔符包括固定分隔符与非固定分隔符；所述固定分隔符为所述输入描述文件中只有一种分隔符，所述输入描述文件中的分隔符为所述固定分隔符；所述非固定分隔符为所述输入描述文件中有多种不同分隔符，所述输入描述文件中的多种不同分隔符为所述非固定分隔符；生成所述输出描述文件。
10.根据本技术的另一方面，提供了一种数据解析装置，该装置包括获取模块、拆分模块和解析模块，所述获取模块用于获取待解析数据的输入描述文件和所述待解析数据的输出描述文件，所述输入描述文件用于描述所述待解析数据输入的格式，所述输出描述文件用于描述所述待解析数据欲输出的格式；所述拆分模块用于对所述待解析数据进行拆分，将所述待解析数据拆分成多个子数据；所述解析模块用于针对每一个所述子数据调用解析函数，对所述子数据进行解析，以将所述待解析数据的格式从输入格式转换为欲输出格式，所述解析函数是由所述待解析数据的输入格式和所述待解析数据的欲输出格式决定的。
11.可选地，所述装置还包括第一生成模块与第二生成模块，所述第一生成模块用于生成所述输入描述文件，所述输入描述文件包括分隔符，所述分隔符包括固定分隔符与非固定分隔符；所述固定分隔符为所述输入描述文件中只有一种分隔符，所述输入描述文件中的分隔符为所述固定分隔符；所述非固定分隔符为所述输入描述文件中有多种不同分隔符，所述输入描述文件中的多种不同分隔符为所述非固定分隔符；所述第二生成模块用于生成所述输出描述文件。
12.根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述任意一种所述方法。
13.根据本发明实施例的又一方面，还提供了一种电子设备，包括：一个或多个存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，所述一个或多个程序包括用于执行任意一种所述的数据解析方法。
14.应用本技术的技术方案，上述数据解析方法，首先获取待解析数据的输入描述文件和所述待解析数据的输出描述文件，所述输入描述文件用于描述所述待解析数据输入的格式，所述输出描述文件用于描述所述待解析数据欲输出的格式；之后对所述待解析数据进行拆分，将所述待解析数据拆分成多个子数据；最后针对每一个所述子数据调用解析函数，对所述子数据进行解析，以将所述待解析数据的格式从输入格式转换为欲输出格式，所述解析函数是由所述待解析数据的输入格式和所述待解析数据的欲输出格式决定的。上述方法通过解析函数实现对上述待解析数据格式的转换，可以不对每种待处理数据都编写一套与其对应的解析程序，仅需设置一种解析程序即可，更易于维护扩展且更加灵活，解决现有技术中对每种待处理数据都要编写一套与其对应的解析程序的大量重复编码工作浪费人力物力的问题。
附图说明
15.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
16.图1示出了根据本技术的实施例的数据解析方法的流程示意图；
17.图2示出了根据本技术的实施例的数据解析方法的另一种方法流程示意图；
18.图3示出了根据本技术的实施例的数据解析方法的又一种方法流程示意图；
19.图4示出了根据本技术的实施例的数据解析装置的示意图。
具体实施方式
20.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
21.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
22.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
23.应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
24.正如背景技术中所说的，现有技术中对每种待处理数据都要编写一套与其对应的解析程序的大量重复编码工作浪费人力物力，为了解决上述问题，本技术的一种典型的实施方式中，提供了一种数据解析方法、装置、计算机可读存储介质与电子设备。
25.根据本技术的实施例，提供了一种文件解析方法，该方法可以应用于解析多种格式的文本文件或者数据流，例如：cap文件、map文件、xml文件、json格式、csv格式、kv格式、固定分隔符固定列格式等，但不限于上述格式，只要可被描述定义即可。
26.图1是根据本技术实施例的数据解析方法的流程图。如图1所示，该方法包括以下步骤：
27.步骤s101，获取待解析数据的输入描述文件和上述待解析数据的输出描述文件，上述输入描述文件用于描述上述待解析数据输入的格式，上述输出描述文件用于描述上述待解析数据欲输出的格式；
28.在一个可选地实施例中，在执行上述步骤s101之前，还包括：
29.步骤s1，生成上述输入描述文件，上述输入描述文件包括上述分隔符，上述分隔符
包括固定分隔符与非固定分隔符；上述固定分隔符为上述输入描述文件中只有一种分隔符，上述输入描述文件中的分隔符为上述固定分隔符；上述非固定分隔符为上述输入描述文件中有多种不同分隔符，上述输入描述文件中的多种不同分隔符为上述非固定分隔符；
30.步骤s2，生成上述输出描述文件。
31.为了便于读取且提高效率，上述输入描述文件与输出描述文件可以为xml格式文件。xml格式保存的数据具有自我描述性，并且有统一的格式和语法。
32.具体地，上述待解析文件的输入格式至少为以下之一：小写格式、大写格式、指数格式、对数格式；上述待解析文件的输出格式至少为以下之一：小写格式、大写格式、指数格式、对数格式、截取某段字符串。其中，上述待解析文件的输出格式还可以是：截取前几段字符串、截取后几段字符串、截取中间几段字符串、截取符合某一要求的字符串。
33.需要注意的是，上述输入格式与上述输出格式之间具有对应关系，例如：上述输入格式为小写格式时，上述输出格式可以为大写格式；上述输入格式为指数格式时，上述输出格式可以为对数格式。具体地，本实施例是一个对特定数据字段进行数据转换操作的过程，例如：字符串截取、ip地址转换、时间格式转换等。
34.步骤s102，对上述待解析数据进行拆分，将上述待解析数据拆分成多个子数据；
35.为了将待解析数据进行精准拆分，上述步骤s102的具体实施步骤为：
36.步骤s1021，获取上述输入描述文件中的分隔符；
37.步骤s1022，根据上述输入描述文件中的分隔符对上述待解析数据进行拆分，得到多个上述子数据。
38.步骤s103，针对每一个上述子数据调用解析函数，对上述子数据进行解析，以将上述待解析数据的格式从输入格式转换为欲输出格式，上述解析函数是由上述待解析数据的输入格式和上述待解析数据的欲输出格式决定的。
39.示例性地，如图2所示，上述步骤s103的具体实施步骤如下：
40.步骤s1031，将上述待解析数据的格式从上述输入格式转换为中间过渡格式；
41.步骤s1032，将上述待解析数据的格式上述中间过渡格式转换为欲输出格式。
42.其中，在一个典型的实施例中，如图3所示，上述中间过渡格式有一种，针对每一个上述子数据调用解析函数，对上述子数据进行解析，以将上述待解析数据的格式从上述输入格式转换为欲输出格式的步骤如下：
43.步骤s201，针对每一个上述子数据先调用第一解析函数，对上述子数据进行解析，以将上述待解析数据的格式从上述输入格式转换为中间过渡格式，上述第一解析函数为将上述待解析数据的输入格式转换为上述待解析数据的中间过渡格式的函数；
44.步骤s202，针对每一个上述子数据再调用第二解析函数，将上述待解析数据的格式从上述中间过渡格式转换为上述欲输出格式，上述第二解析函数为将上述待解析数据的中间过渡格式转换为上述待解析数据的欲输出格式的函数。
45.上述解析函数可以有多个，不仅限于两个，可以根据实际需要设置不同的多个解析函数，同样地，根据实际情况，上述中间过渡格式也可以为多个。
46.在另一个可选的实施例中，上述中间过渡格式有一种，针对每一个上述子数据调用解析函数，对上述子数据进行解析，以将上述待解析数据的格式从上述输入格式转换为欲输出格式，包括：针对第一部分上述子数据只调用第三解析函数；针对第二部分上述子数
据只调用第四解析函数；针对第三部分上述子数据先调用上述第三解析函数再调用上述第四解析函数；对上述子数据进行解析，以将上述待解析数据的格式从上述输入格式转换为欲输出格式。
47.需要说明的是，上述第三解析函数可以与上述第一解析函数相同，也可以与上述第一解析函数不同；上述第四解析函数可以与上述第二解析函数相同，也可以与上述第二解析函数不同。
48.具体地，根据实际需要，上述解析函数可以设置为大写格式转换为小写格式的函数、指数格式转换为对数格式的函数等。
49.本技术的上述数据解析方法中，首先获取待解析数据的输入描述文件和上述待解析数据的输出描述文件，上述输入描述文件用于描述上述待解析数据输入的格式，上述输出描述文件用于描述上述待解析数据欲输出的格式；之后对上述待解析数据进行拆分，将上述待解析数据拆分成多个子数据；最后针对每一个上述子数据调用解析函数，对上述子数据进行解析，以将上述待解析数据的格式从输入格式转换为欲输出格式，上述解析函数是由上述待解析数据的输入格式和上述待解析数据的欲输出格式决定的。上述方法通过解析函数实现对上述待解析数据格式的转换，可以不对每种待处理数据都编写一套与其对应的解析程序，仅需设置一种解析程序即可，更易于维护扩展且更加灵活，解决现有技术中对每种待处理数据都要编写一套与其对应的解析程序的大量重复编码工作浪费人力物力的问题。
50.本技术实施例还提供了一种数据解析装置，需要说明的是，本技术实施例的数据解析装置可以用于执行本技术实施例所提供的数据解析方法。以下对本技术实施例提供的数据解析装置进行介绍。
51.图4是根据本技术实施例的数据解析装置的示意图。如图4所示，该装置包括获取模块01、拆分模块02和解析模块03，上述获取模块01用于获取待解析数据的输入描述文件和上述待解析数据的输出描述文件，上述输入描述文件用于描述上述待解析数据输入的格式，上述输出描述文件用于描述上述待解析数据欲输出的格式；上述拆分模块02用于对上述待解析数据进行拆分，将上述待解析数据拆分成多个子数据；上述解析模块03用于针对每一个上述子数据调用解析函数，对上述子数据进行解析，以将上述待解析数据的格式从输入格式转换为欲输出格式，上述解析函数是由上述待解析数据的输入格式和上述待解析数据的欲输出格式决定的。
52.获取上述输入描述文件与上述输出描述文件的方法有多种，本实例中，上述装置还包括第一生成模块与第二生成模块，上述第一生成模块用于生成上述输入描述文件，上述输入描述文件包括分隔符，上述分隔符包括固定分隔符与非固定分隔符；上述固定分隔符为上述输入描述文件中只有一种分隔符，上述输入描述文件中的分隔符为上述固定分隔符；上述非固定分隔符为上述输入描述文件中有多种不同分隔符，上述输入描述文件中的多种不同分隔符为上述非固定分隔符；上述第二生成模块用于生成上述输出描述文件。多种分隔符的设置可以使数据转换的格式更加灵活多样，可以更好地转换成实际所需的格式。
53.为了更准确的拆分待解析数据，上述拆分模块还包括获取单元和拆分单元，上述获取单元用于获取上述输入描述文件中的分隔符；上述拆分单元用于根据上述输入描述文
件中的分隔符对上述待解析数据进行拆分，得到多个上述子数据。
54.具体地，上述解析模块包括第一转换模块和第二转换模块，上述第一转换模块用于将上述待解析数据的格式从上述输入格式转换为中间过渡格式；上述第二转换模块用于将上述待解析数据的格式上述中间过渡格式转换为欲输出格式。中间过渡格式的设置可以使数据转换成更复杂的格式，并且可以更加灵活的对数据进行格式转换。
55.在一个可选的实施例中，上述解析模块还包括第三转换模块和第四转换模块，上述第三转换模块用于针对每一个上述子数据先调用第一解析函数，对上述子数据进行解析，以将上述待解析数据的格式从上述输入格式转换为中间过渡格式，上述第一解析函数为将上述待解析数据的输入格式转换为上述待解析数据的中间过渡格式的函数；上述第四转换模块用于针对每一个上述子数据再调用第二解析函数，将上述待解析数据的格式从上述中间过渡格式转换为上述欲输出格式，上述第二解析函数为将上述待解析数据的中间过渡格式转换为上述待解析数据的欲输出格式的函数。设置多个解析函数以及中间过度格式可以使数据转换成更复杂的格式，并且可以更准确的转换成所需的欲输出格式。
56.具体地，上述解析模块还包括第一调用单元、第二调用单元、第三调用单元和解析单元，上述第一调用单元用于针对第一部分上述子数据只调用第三解析函数；上述第二调用单元用于针对第二部分上述子数据只调用第四解析函数；上述第三调用单元用于针对第三部分上述子数据先调用上述第三解析函数再调用上述第四解析函数；上述解析单元用于对上述子数据进行解析，以将上述待解析数据的格式从上述输入格式转换为欲输出格式。多种解析函数的设置可以使数据转换成更复杂的格式，相应的欲输出格式的设置不再被局限，可以设置更加复杂的欲输出格式，更能贴近实际所需。
57.本技术的上述数据解析装置中，获取模块获取待解析数据的输入描述文件和上述待解析数据的输出描述文件，上述输入描述文件用于描述上述待解析数据输入的格式，上述输出描述文件用于描述上述待解析数据欲输出的格式；拆分模块对上述待解析数据进行拆分，将上述待解析数据拆分成多个子数据；解析模块针对每一个上述子数据调用解析函数，对上述子数据进行解析，以将上述待解析数据的格式从输入格式转换为欲输出格式，上述解析函数是由上述待解析数据的输入格式和上述待解析数据的欲输出格式决定的。上述装置通过解析函数实现对上述待解析数据格式的转换，可以不对每种待处理数据都编写一套与其对应的解析程序，仅需设置一种解析程序即可，更易于维护扩展且更加灵活，解决现有技术中对每种待处理数据都要编写一套与其对应的解析程序的大量重复编码工作浪费人力物力的问题。
58.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
59.本发明实施例提供了一种计算机可读存储介质，上述计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行上述数据解析方法。
60.本发明实施例提供了一种电子设备，设备包括一个或多个存储器，以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，上述一个或多个程序包括用于执行上述任意一种上述的数据解析方法。本文中的设备可以是服务器、pc、pad、手机等。
61.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
62.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
63.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
64.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
65.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
66.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
67.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
68.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
69.从以上的描述中，可以看出，本技术上述的实施例实现了如下技术效果：
70.1)、本技术的上述数据解析方法中，首先获取待解析数据的输入描述文件和上述
待解析数据的输出描述文件，上述输入描述文件用于描述上述待解析数据输入的格式，上述输出描述文件用于描述上述待解析数据欲输出的格式；之后对上述待解析数据进行拆分，将上述待解析数据拆分成多个子数据；最后针对每一个上述子数据调用解析函数，对上述子数据进行解析，以将上述待解析数据的格式从输入格式转换为欲输出格式，上述解析函数是由上述待解析数据的输入格式和上述待解析数据的欲输出格式决定的。上述装置通过解析函数实现对上述待解析数据格式的转换，可以不对每种待处理数据都编写一套与其对应的解析程序，仅需设置一种解析程序即可，更易于维护扩展且更加灵活，解决现有技术中对每种待处理数据都要编写一套与其对应的解析程序的大量重复编码工作浪费人力物力的问题。
71.2)、本技术的上述数据解析装置中，获取模块获取待解析数据的输入描述文件和上述待解析数据的输出描述文件，上述输入描述文件用于描述上述待解析数据输入的格式，上述输出描述文件用于描述上述待解析数据欲输出的格式；拆分模块对上述待解析数据进行拆分，将上述待解析数据拆分成多个子数据；解析模块针对每一个上述子数据调用解析函数，对上述子数据进行解析，以将上述待解析数据的格式从输入格式转换为欲输出格式，上述解析函数是由上述待解析数据的输入格式和上述待解析数据的欲输出格式决定的。上述装置通过解析函数实现对上述待解析数据格式的转换，可以不对每种待处理数据都编写一套与其对应的解析程序，仅需设置一种解析程序即可，更易于维护扩展且更加灵活，解决现有技术中对每种待处理数据都要编写一套与其对应的解析程序的大量重复编码工作浪费人力物力的问题。
72.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。