一种数据解析方法及系统的制作方法

文档序号:9750781阅读:354来源:国知局
一种数据解析方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据分析技术领域,具体涉及一种数据解析方法及系统。
【背景技术】
[0002]随着通信技术的不断发展,“数据”作为信息的载体越来越凸显出它的重要性。由于行业要求、技术特点、性能需求、多方合作、接口定义等等各方面的因素,“数据”也被赋予了不同的结构特征以满足不同的需要。
[0003]当系统出现问题时,一般采用的是人工对问题产生期间的通信数据进行解析,以便分析问题产生的原因并提供解决问题的基本思路。由于数据的多样性和复杂性以及数据量的庞大,使得人工处理的成本在不断上升的同时,效率却不断下降。
[0004]目前对数据的解析没有一套通用简单的方法,当需要对数据进行解析时,主要通过落地保存的数据文件或者利用网络抓包工具抓取的网络格式的数据人工进行解析,这样的处理方法存在以下缺陷:
[0005]1、解析门槛高。
[0006]数据结构面向的是接口开发人员,而现场的工程人员大部分对于开发不了解,更不用说数据结构的定义了,基本上处理方式是把现场现象描述连同现场数据一同交由开发人员分析。
[0007]2、解析难度大。
[0008]在由现场的工程人员向开发人员转述现场情况的过程中,极有可能由于工作经验和表述能力的不同,对真实情况产生一定的误差,这也加重了开发人员分析问题的难度。
[0009]开发人员拿到待解析的数据时,需要根据数据接口结构的定义人工的逐一核对解析,此过程很有可能出现人工的错误可能,一旦出现这种情况,将增大解析的难度甚至误导问题分析。
[0010]3、解析成本高。
[0011]人工解析多种结构的数据,耗时、费力,对于特殊的行业,紧急情况发生时,解析数据,定位、解决问题的时间要求很苛刻,对于维护支持方的压力是巨大。
[0012]虽然有的开发方针对自己的数据特点开发了一些解析工具,但在信息化的时代,多方协作,做种数据结构并存,这些工具应用的局限性很大。而且根据实际需要数据结构的变更调整也是时常发生,对于这些解析工具的维护成本将是一笔不小的开支,而且工具的跟进需要开发人员修改代码以适应新的结构要求也必然导致工具跟进不及时,此时就只能回归到人工解析的方法了。

【发明内容】

[0013]针对现有技术中的缺陷,本发明提供了一种数据解析方法及系统,该方法能快速、有效的解析数据,从而轻松、高效的定位并解决问题。
[0014]本发明提出了一种数据解析方法,包括:
[0015]获取待解析数据;
[0016]对所述待解析数据进行分析,获取所述待解析数据的数据结构;
[0017]根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件,所述配置文件存储库中存有数据结构和配置文件的对应关系;
[0018]根据所述配置文件对所述待解析数据进行解析,获取数据解析结果。
[0019]可选的,所述获取待解析数据包括:
[0020]获取可导入落地保存的数据文件作为待解析数据;
[0021]或者,
[0022]读取网络抓取的数据以及日志中记录的文本数据作为待解析数据。
[0023]可选的,在根据所述数据结构在配置文件存储库中读取与所述数据结构对应的配置文件之前,还包括:
[0024]根据所述数据结构,对所述数据结构对应的待解析数据设置配置文件;
[0025]对所述配置文件进行加密处理并存入所述配置文件库中;
[0026]其中,配置文件中存有用于解析数据的处理逻辑。
[0027]可选的,在获取数据解析结果之后,还包括:
[0028]展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果O
[0029]可选的,还包括:
[0030]根据所述配置文件中的处理逻辑,对解析结果进行校验,判断所述解析结果是否符合处理逻辑,若不符合,则展示解析错误的原因。
[0031]本发明还提出了一种数据解析系统,包括:
[0032]第一获取模块,用于获取待解析数据;
[0033]数据分析模块,用于对所述待解析数据进行分析,获取所述待解析数据的数据结构;
[0034]第二获取模块,用于根据所述数据结构从配置文件存储库中获取与所述数据结构对应的配置文件,所述配置文件存储库中存有数据结构和配置文件的对应关系;
[0035]数据解析模块,用于根据所述配置文件对所述待解析数据进行解析,获取数据解析结果。
[0036]可选的,所述第一获取模块还用于:
[0037]获取可导入落地保存的数据文件作为待解析数据;
[0038]或者,
[0039]读取网络抓取的数据以及日志中记录的文本数据作为待解析数据。
[0040]可选的,还包括:
[0041 ]数据配置模块,用于在根据所述数据结构在配置文件存储库中读取与所述数据结构对应的配置文件之前,根据所述数据结构,对所述数据结构对应的待解析数据设置配置文件;
[0042]对所述配置文件进行加密处理并存入所述配置文件库中;
[0043]其中,配置文件中存有用于解析数据的处理逻辑。
[0044]可选的,还包括:
[0045]数据展示模块,用于在获取数据解析结果之后,展示与待解析数据对应的配置文件中的处理逻辑、待解析数据以及解析数据结果。
[0046]可选的,还包括:
[0047]数据校验模块,用于根据所述配置文件中的处理逻辑,对解析结果进行校验,判断所述解析结果是否符合处理逻辑,若不符合,则展示解析错误的原因。
[0048]由上述技术方案可知,本发明提出的一种数据解析方法通过将用于解析处理的配置文件预存入配置文件库中,并通过数据结构来获取与待解析数据对应的配置文件,以达到通过工具将待解析数据解析出来的目的,而无需将待解析数据发送给开发人员来进行人工解析,具有提高解析效率和精度、降低解析成本的优点。
【附图说明】
[0049]通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
[0050]图1示出了本发明一实施例提出的一种数据解析方法的流程示意图;
[0051]图2示出了本发明另一实施例提出的一种数据解析方法的流程示意图;
[0052]图3示出了本发明一实施例提出的一种数据解析方法的工作原理图;
[0053]图4示出了本发明一实施例提出的一种数据解析系统的结构示意图;
[0054]图5示出了本发明另一实施例提出的一种数据解析系统的结构示意图。
【具体实施方式】
[0055]为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0056]图1为本发明一实施例提出的一种数据解析方法的流程示意图,参照图1,一种数据解析方法包括:
[0057]101、获取待解析数据;
[0058]可理解的是,获取的待解析数据的类型与行业有关,例如,报文等;获取的待解析数据的方式也有多种,例如,直接导入,从网络或者数据库中抓取。
[0059]102、对所述待解析数据进行分析,获取所述待解析数据的数据结构;
[0060]需要说明的是,对待解析数据的分析可以采用列表法、作图法
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1