一种基于大数据和预计算的热线分析方法及模型与流程

1.本发明涉及大数据可视化技术领域，具体的说是一种基于大数据和预计算的热线分析方法及模型。


背景技术：

2.利用拖拉拽的形式进行热线数据的可视化展示，是近几年大数据可视化技术中非常常用的一种手段，拖拉拽选择热线指标，可以更灵活快捷的分析热线数据指标，以一种自由度更高的形式分析和展示热线数据。
3.基于大数据技术的多维分析引擎kylin也受到很多大数据研发人员的青睐，在传统大数据计算技术中离线分析、spark实时计算等都无法满足大数据量下的多维分析情况下，kylin以一种空间换时间的概念，利用预计算技术将海量数据的多维分析响应控制在秒级响应，弥补了大数据生态中缺乏多维分析的问题。


技术实现要素：

4.本发明针对目前技术发展的需求和不足之处，为了更好的利用热线系统产生的热线工单数据，提高相关部门的工作效率，提供一种基于大数据和预计算的热线分析方法及模型。
5.首先，本发明公开一种基于大数据和预计算的热线分析方法，解决上述技术问题采用的技术方案如下：
6.一种基于大数据和预计算的热线分析方法，该方法的实现包括：
7.获取历史热线工单数据，对获取数据进行预处理；
8.在分析型数据仓库kylin中加载预处理后的数据，构建维度和度量的组合，利用mapreduce程序将所构建纬度和度量的组合进行预计算，得出所有维度和度量组合的统计结果，将统计结果存储在分布式列式数据库hbase中；
9.在前端开发一个自由选择拖拉拽的维度和度量组件、以及统计组件，该维度和度量组件可以根据获取的维度、度量字段生成相应的查询json数据的程序，并将json数据发送到后端；
10.在后端开发一个解析查询组件，该解析查询组件以设定的规则将收到的json数据解析成分析型数据仓库kylin可以识别的查询语句，并随后调用分析型数据仓库kylin的jdbc接口，从分布式列式数据库hbase中获取与接收数据相对应的预计算结果，并返回前端的统计组件生成热线分析指标。
11.具体的，历史热线工单数据存储在分布式存储系统hdfs中，分布式存储系统hdfs的历史热线工单数据是从热线系统中迁移过来的。
12.具体的，对获取数据进行的预处理包括etl操作和结构化映射。
13.更具体的，对获取数据进行etl操作后，将数据的日期格式、关联查询字典、热线数据、回访数据、抽样数据一一对应起来。
14.更具体的，对获取数据进行结构化映射的具体操作为：
15.利用大数据生态中的数据仓库工具hive对etl操作后的数据进行结构化映射，生成结构化json数据。
16.具体的，统计组件根据预计算结果生成的热线分析指标不限于包括所选时间段内的热线案件的数量、类别分布、处理时长分布、满意率、解决率、先行联系率，统计组件统计生成的所有热线分析指标，并以多样化的图表进行展示。
17.其次，本发明公开一种基于大数据和预计算的热线分析模型，解决上述技术问题采用的技术方案如下：
18.一种基于大数据和预计算的热线分析模型，该模型的构建过程包括：
19.(1)数据准备阶段：获取历史热线工单数据，对获取数据进行预处理，在分析型数据仓库kylin中加载预处理后的数据，构建维度和度量的组合，利用mapreduce程序将所构建纬度和度量的组合进行预计算，得出所有维度和度量组合的统计结果，将统计结果存储在分布式列式数据库hbase中；
20.(2)模型构建阶段，又包括：
21.部署在前端的可以自由选择拖拉拽的维度和度量组件，该维度和度量组件可以根据获取的维度、度量字段生成相应的查询json数据的程序，并将json数据发送到后端，
22.部署在后端的解析查询组件，该解析查询组件以设定的规则将收到的json数据解析成分析型数据仓库kylin可以识别的查询语句，并随后调用分析型数据仓库kylin的jdbc接口，从分布式列式数据库hbase中获取与接收数据相对应的预计算结果，并返回前端，
23.部署在前端的统计组件，该统计组件根据预计算结果生成热线分析指标。
24.具体的，历史热线工单数据存储在分布式存储系统hdfs中，分布式存储系统hdfs的历史热线工单数据是从热线系统中迁移过来的。
25.具体的，对获取数据进行的预处理包括etl操作，etl操作后，将数据的日期格式、关联查询字典、热线数据、回访数据、抽样数据一一对应起来；
26.对获取数据进行的预处理还包括结构化映射，即利用大数据生态中的数据仓库工具hive对etl操作后的数据进行结构化映射，生成结构化json数据。
27.具体的，统计组件根据预计算结果生成的热线分析指标不限于包括所选时间段内的热线案件的数量、类别分布、处理时长分布、满意率、解决率、先行联系率，统计组件统计生成的所有热线分析指标，并以多样化的图表进行展示。
28.本发明的一种基于大数据和预计算的热线分析方法及模型，与现有技术相比具有的有益效果是：
29.本发明基于大数据和预计算处理历史热线工单数据，基于前端的维度和度量组件、以及统计组件，再加上后端的解析查询组件，生成热线分析指标，以有效的辅助热线工作人员和领导快速了解民众热线反应的问题，进而监督各主责部门的处置效率，便于政府根据热线反应的问题有效的了解民生、解决民众的问题。
附图说明
30.附图1是本发明的实现过程示意图。
具体实施方式
31.为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
32.实施例一：
33.结合附图1，本实施例提出一种基于大数据和预计算的热线分析方法，该方法的实现包括：
34.(1)获取历史热线工单数据，对获取数据进行预处理。
35.历史热线工单数据存储在分布式存储系统hdfs中，分布式存储系统hdfs的历史热线工单数据是从热线系统中迁移过来的。
36.对获取数据进行的预处理包括etl操作和结构化映射。
37.对获取数据进行etl操作后，将数据的日期格式、关联查询字典、热线数据、回访数据、抽样数据一一对应起来。
38.对获取数据进行结构化映射的具体操作为：
39.利用大数据生态中的数据仓库工具hive对etl操作后的数据进行结构化映射，生成结构化json数据。
40.(二)在分析型数据仓库kylin中加载预处理后的数据，构建维度和度量的组合，利用mapreduce程序将所构建纬度和度量的组合进行预计算，得出所有维度和度量组合的统计结果，将统计结果存储在分布式列式数据库hbase中。
41.(三)在前端开发一个自由选择拖拉拽的维度和度量组件、以及统计组件，该维度和度量组件可以根据获取的维度、度量字段生成相应的查询json数据的程序，并将json数据发送到后端。
42.(四)在后端开发一个解析查询组件，该解析查询组件以设定的规则将收到的json数据解析成分析型数据仓库kylin可以识别的查询语句，并随后调用分析型数据仓库kylin的jdbc接口，从分布式列式数据库hbase中获取与接收数据相对应的预计算结果，并返回前端的统计组件生成热线分析指标。
43.(五)统计组件生成的热线分析指标不限于包括所选时间段内的热线案件的数量、类别分布、处理时长分布、满意率、解决率、先行联系率，统计组件统计生成的所有热线分析指标，并以多样化的图表进行展示。
44.实施例二：
45.结合附图1，本实施例提出一种基于大数据和预计算的热线分析模型，该模型的构建过程包括：
46.(1)数据准备阶段：获取历史热线工单数据，对获取数据进行预处理，在分析型数据仓库kylin中加载预处理后的数据，构建维度和度量的组合，利用mapreduce程序将所构建纬度和度量的组合进行预计算，得出所有维度和度量组合的统计结果，将统计结果存储在分布式列式数据库hbase中。
47.在本阶段，
48.历史热线工单数据存储在分布式存储系统hdfs中，分布式存储系统hdfs的历史热线工单数据是从热线系统中迁移过来的。
49.对获取数据进行的预处理包括etl操作，etl操作后，将数据的日期格式、关联查询
字典、热线数据、回访数据、抽样数据一一对应起来；
50.对获取数据进行的预处理还包括结构化映射，即利用大数据生态中的数据仓库工具hive对etl操作后的数据进行结构化映射，生成结构化json数据。
51.(2)模型构建阶段，又包括：
52.部署在前端的可以自由选择拖拉拽的维度和度量组件，该维度和度量组件可以根据获取的维度、度量字段生成相应的查询json数据的程序，并将json数据发送到后端，
53.部署在后端的解析查询组件，该解析查询组件以设定的规则将收到的json数据解析成分析型数据仓库kylin可以识别的查询语句，并随后调用分析型数据仓库kylin的jdbc接口，从分布式列式数据库hbase中获取与接收数据相对应的预计算结果，并返回前端，
54.部署在前端的统计组件，该统计组件根据预计算结果生成热线分析指标，生成的热线分析指标不限于包括所选时间段内的热线案件的数量、类别分布、处理时长分布、满意率、解决率、先行联系率，统计组件统计生成的所有热线分析指标，并以多样化的图表进行展示。
55.综上可知，采用本发明的一种基于大数据和预计算的热线分析方法及模型，可以有效的辅助热线工作人员和领导快速了解民众热线反应的问题。
56.以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。