本发明涉及计算机技术领域，具体地说是一种海量数据文件处理方法。
背景技术：
在全国不动产数据的采集汇总过程中，数据以成百上千tb不断增长，而且信息的存储方式也多种多样，传统的数据库部署不能处理数tb数据，也不能很好的支持高级别的数据分析。针对信息的数据量较大、传输的稳定、存储和计算的效率以及数据展示的速度的问题，现有技术方案存在的问题和缺点：数据处理速度慢，稳定性差、数据的查询速度慢。基于此，现提供一种海量数据文件处理方法，对上述问题进行了解决和改进。
技术实现要素：
本发明的技术任务是针对以上不足之处，提供一种海量数据文件处理方法。
一种海量数据文件处理方法，其实现过程为：
首先在客户端配置信息采集模块，该信息采集模块收集报文并校验；
将收集的报文转移到该信息采集模块的监控目录下；
然后通过实时计算和离线计算的方式，计算收集的报文；
最后将计算的报文结果进行图形化展示。
所述实时计算过程为：首先配置实时计算模块，该实时计算模块用于组合条件查询；实时计算模块在检索查询数据后，查看数据的明细，实时计算今日入库数量和实时入库条数，并将实时计算结果写入关系型数据库或内存数据库，用于前端展示。
当计算结果写入关系型数据库或内存数据库时，实时计算模块还可对计算结果进行综合查询：当实时计算模块进行综合统计查询时，用于将上述实时计算结果入库的程序来对报文解析，根据入库时间实时计算数据入库的数量。
所述离线计算是指对历史数据进行多维度统计分析，将分析后的结果数据通过传输工具抽取到关系型数据库，以方便前端查询和展示。
所述信息采集模块采用分布式日志聚合系统flume，在客户端收集报文并校验后，flume把收集报文处理，将消息推送给分布式发布订阅消息系统kafka，通过kafka分发到elasticsearch、hbase、spark。
所述报文转移的过程是指：将收集报文转移到分布式日志聚合系统flume的监控目录，flume扫描监控目录下的文件，将其存储至elasticsearch、hbase、spark。
elasticsearch用于组合条件查询，该elasticsearch检索数据后，基于大数据调优的hbaserowkey设计实现查看数据的明细；通过实时计算框架sparkstreaming实时计算今日入库数量和实时入库条数，并将实时计算结果写入关系型数据库或内存数据库，用于前端展示。
所述将计算的报文结果进行图形化展示是指对今日/昨日/历史入库、增量入库列表/异常/对比/组成、增量实时监控进行图形化展现。
本发明的一种海量数据文件处理方法和现有技术相比，具有以下有益效果：
本发明的一种海量数据文件处理方法，可提高数据的采集的吞吐量、提高数据传输和存储的稳定性，加强数据计算的效率和数据查询的速度，以数据为核心的大数据技术支撑平台，它为政府或企业提供数据采集、存储、计算、分析、可视化、服务化等全生命周期、一站式数据解决方案，实用性强，适用范围广泛，具有很好的推广应用价值。
附图说明
附图1为本发明的实现框图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步说明。
如附图1所示，一种海量数据文件处理方法，本发明可处理目前互联网大数据，包括数据的采集、数据的转换存储、数据的计算和数据展现的一体化处理流程。
在该发明中，数据的采集主要使用flume（分布式的日志收集系统）和kafka（分布式消息系统）；数据的计算包括实时计算（elasticsearch）和离线计算（hive）；数据的展现包括数据多维度的分析和监控。
其实现过程为：
首先在客户端配置信息采集模块，该信息采集模块收集报文并校验；
将收集的报文转移到该信息采集模块的监控目录下；
然后通过实时计算和离线计算的方式，计算收集的报文；
最后将计算的报文结果进行图形化展示。
所述实时计算过程为：首先配置实时计算模块，该实时计算模块用于组合条件查询；实时计算模块在检索查询数据后，查看数据的明细，实时计算今日入库数量和实时入库条数，并将实时计算结果写入关系型数据库或内存数据库，用于前端展示。
当计算结果写入关系型数据库或内存数据库时，实时计算模块还可对计算结果进行综合查询：当实时计算模块进行综合统计查询时，用于将上述实时计算结果入库的程序来对报文解析，根据入库时间实时计算数据入库的数量。
所述离线计算是指对历史数据进行多维度统计分析，将分析后的结果数据通过传输工具抽取到关系型数据库，以方便前端查询和展示。
所述信息采集模块采用分布式日志聚合系统flume，在客户端收集报文并校验后，flume把收集报文处理，将消息推送给分布式发布订阅消息系统kafka，通过kafka分发到elasticsearch、hbase、spark。
所述报文转移的过程是指：将收集报文转移到分布式日志聚合系统flume的监控目录，flume扫描监控目录下的文件，将其存储至elasticsearch、hbase、spark。
elasticsearch用于组合条件查询，如根据多个条件组合查询不动产信息；elasticsearch检索数据后，基于hbaserowkey设计实现查看数据的明细；通过sparkstreaming实时计算今日入库数量和实时入库条数等，并将实时计算结果写入关系型数据库或内存数据库如redis，用于前端展示。综合统计查询，通过入库程序对报文解析，根据入库时间和区县代码sparkstreaming实时计算数据入库的数量等。对sparkstreaming计算结果综合查询。hivesql可以对历史数据进行多维度统计分析。将分析后的结果数据通过sqoop抽取到关系型数据库，以方便前端查询和展示。
所述将计算的报文结果进行图形化展示是指对今日/昨日/历史入库、增量入库列表/异常/对比/组成、增量实时监控进行图形化展现。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的方法，基于计算机软件系统实现，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的功能及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种海量数据文件处理方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。