02841442471173877Hadoop NORMAL NA
[0058]其中，该过滤后的数据是多个字段，切分过滤后的数据，将每一个有效字段提取出来。例如:需要的数据为jobid，因此提取出job_201509081430_0028，从而完成对数据的解析。[0059 ] SI 03、将序列化的运行数据结构持久化存储。
[0060]由于获取的数据较多，且杂乱无章，即使经过解析之后的数据仍然分类不明确，因此设计数据库表，将序列化成为特殊的数据结构的运行数据持久化存储在数据库表中，便于后期的数据查询。
[0061]需要说明的是，运行数据的存储量是由磁盘的存储能力决定的。磁盘的存储能力越强，运行数据的存储量越多。
[0062 ] SI 04、根据查询要求，查询对应的运行数据。
[0063]查询要求包括:实时数据查询要求、历史数据查询要求以及自定义数据查询要求。
[0064]其中，实时数据查询要求为要求查询当前大数据集群的运行数据。当收到实时数据查询要求指令时，自动从接口中获取当前大数据集群的运行数据，并对数据进行解析得出需要查询结果。
[0065]历史数据查询要求为要求查询大数据集群运行数据的历史数据。本实施例支持某一历史时间段的数据查询以及按历史时间轴浏览的数据查询。其中，历史时间轴的时长与运行数据的存储量相关，即也由磁盘的存储能力决定。存储能力越大，运行数据的存储量越多，则可提供的历史时间轴时长越长。
[0066]自定义数据查询要求为根据自定义查询条件查询对应的数据。查询的数据优选地可以为当前的运行数据或历史运行数据。
[0067]其中较优地，利用结构化查询语言(SQL语言)在web网页上编辑自定义数据查询条件，并通过基于Python语言编辑的SQL解析器对自定义数据查询条件进行解析，得到可以识别的自定义数据查询要求，并根据自定义数据查询要求进行数据查询。
[0068]S105、展示相应的查询结果。
[0069]根据S104步骤中的查询要求查询相应的运行数据并展示。优选地，在web网页上以图表的方式显示相应的运行数据。其中，展示的图表优选的包括柱状图、饼形图、散点图等。优选地，图表利用Python中的matplotlib第三方模块绘制的。
[0070]优选地，在输入了查询要求之后，可选择输出的图表类型；或根据需要通过SQL语言自定义设置输出图表的类型、格式等图表属性。
[0071]本实施例提供了一种大数据集群的信息存储查询方法，包括:从接口中获取大数据集群的运行数据;解析并存储运行数据;根据查询要求查找并展示运行数据。相比于现有的技术，本实施例提供的方法支持无限长的历史数据查询，且支持SQL语句自定义查询，并将查询的结果以图表的方式清晰明了的显示。无需人工汇总操作、无需耗费人力，避免了由于人工操作导致的失误，且方法步骤简单、运行效率高，通用性极强，只需简单配置即可应用在大多数大数据集群上。
[0072]实施例二
[0073]本实施例提供了一种大数据集群的信息存储查询系统，包括:
[0074]获取单元，用于定期通过不同的接口获取大数据集群的运行数据；
[0075]数据处理单元，用于解析获取单元获取的运行数据。将获取的数据根据不同的格式进行过滤处理，过滤掉不需要的数据，再对过滤后的数据中的每一个有效字段提取出来，并将提取后的运行数据序列化成特殊的数据结构，得到解析序列化后的结果。
[0076]数据库单元，用于存储所述解析后的运行数据。其中，序列化后的运行数据存储根据不同需求设计的数据库表中；
[0077]查询单元，根据所述查询要求，在数据库单元中查询相应的所述运行数据。优选地，查询单元可根据查询要求查找当前实时数据、历史数据或根据自定义的条件进行查询。
[0078]其中，当查询单元接收到实时数据查询要求的指令时，获取单元自动从不同的接口获取大数据集群的运行数据;数据处理单元随之将获取的运行数据进行解析;数据库单元将解析后的结果进行存储；查询单元将存储的当前实时数据调取出来进行下一步的处理。
[0079]当查询单元接收到历史数据查询要求的指令时，查询单元根据指令的要求查询某一段历史时间段内的运行数据或按历史时间轴查询所有的运行数据。其中历史时间轴的长度与数据库单元的存储能力相关，数据库单元的存储能力越大，时间轴的长度越长，所存储的历史运行数据越多。
[0080]当所述查询要求为所述自定义数据查询要求时，所述系统还包括自定义解析单元，用于解析自定义数据查询要求。优选地，自定义解析单元为SQL解析单元，用于解析SQL语言编辑的自定义数据查询要求。
[0081]展示单元，用于展示所述相应的运行数据。其中展示的形式优选为图表展示，图表优选的包括柱形图、饼形图以及散点图等;展示单元可根据web上的部署选择展示的图表类型，或根据自定义解析单元解析的自定义查询要求展示图表的类型。
[0082]本实施例的其他特征与实施例一相同，在此不再赘述。
[0083]本实施例提供了一种大数据集群的信息存储查询系统，其中数据处理单元可以解析获取的不同结构的数据;数据库单元中设有根据不同需要设计的数据库表;将解析后运行数据持久化存储;查询单元支持查询当前实时的运行数据，也支持查询历史数据，同时还支持SQL语言编辑的自定义条件查询。相比于现有技术，本实施例提供的系统可自动定期从接口处获取数据无需人工操作，且支持无限长的历史查询以及自定义条件查询。系统设置简单、运行效率高，通用性强，可适应大多数的大数据集群。
[0084]以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
【主权项】
1.一种大数据集群的信息存储查询方法，其特征在于，包括: 自动定期获取大数据集群的运行数据，解析所述运行数据并存储； 根据查询要求，在所述存储的运行数据中查找并展示相应的所述运行数据； 其中，所述查询要求包括:实时数据查询要求、历史数据查询要求、自定义数据查询要求。2.如权利要求1所述的信息存储查询方法，其特征在于，所述自动定期获取大数据集群运行数据，为通过至少一个接口自动定期获取所述运行数据； 其中，从不同所述接口获取的所述运行数据的数据格式不同。3.如权利要求2所述的信息存储查询方法，其特征在于，所述解析所述运行数据，包括: 根据所述运行数据的数据格式，过滤掉所述运行数据中不需要的数据，得到过滤后的运行数据； 在所述过滤后的运行数据中提取有效字段。4.如权利要求3所述的信息存储查询方法，其特征在于，所述解析所述运行数据之后，还包括对所述运行数据进行序列化存储。5.如权利要求1所述的信息存储查询方法，其特征在于，所述历史数据查询要求，包括: 按时间段查找相应所述运行数据的查询要求;或， 按历史信息时间轴查询相应所述运行数据的查询要求。6.如权利要求1所述的信息存储查询方法，其特征在于，所述历史信息时间轴的长度根据存储能力而定。7.如权利要求1所述的信息存储查询方法，其特征在于，所述自定义数据查询要求，为通过结构化查询语言编辑的自定义数据查询要求。8.如权利要求1所述的信息存储查询方法，其特征在于，还包括，对所述自定义数据查询要求进行解析。9.如权利要求1所述的信息存储查询方法，其特征在于，所述展示相应的所述运行数据，是通过图表来展示的。10.—种大数据集群的信息存储查询系统，其特征在于，应用如权利要求1-9任意一项所述的信息存储查询方法，包括: 获取单元:用于获取所述运行数据； 数据处理单元:用于解析所述运行数据； 数据库单元:用于存储所述解析后的运行数据； 查询单元:根据所述查询要求，在所述数据库单元中查询相应的所述运行数据； 展示单元:用于展示所述相应的运行数据； 其中，当所述查询要求为所述自定义数据查询要求时，所述系统还包括自定义解析单元，用于解析所述自定义数据查询要求。
【专利摘要】本发明提供了一种大数据集群的信息存储查询方法及系统，该方法包括：自动定期获取大数据集群的运行数据，解析所述运行数据并存储；根据查询要求，在所述存储的运行数据中查找并展示相应的所述运行数据；其中，所述查询要求包括：实时数据查询要求、历史数据查询要求、自定义数据查询要求。相比于现有技术，本发明实现了自动对大数据集群运行数据的汇总，支持某一时间段、历史时间轴或自定义的实时数据以及历史数据的查询，并通过图表的方式清晰的展示查询结果。方法步骤简单、无需耗费人力、效率高，且通用性强，只需简单配置即可应用在大多数大数据集群上。
【IPC分类】G06F17/30
【公开号】CN105701203
【申请号】CN201610018269
【发明人】曹宇, 余效伟, 肖赞, 李旭阳
【申请人】北京中交兴路车联网科技有限公司
【公开日】2016年6月22日
【申请日】2016年1月12日