本发明涉及一种大数据分析可视化配置的实现方法。
背景技术：
通过数据交换平台将各种数量巨大、种类繁多的异构数据抽取、转换存储到数据仓库，形成了大数据中心。目前数据中心的数据采用实时流式数据处理、离线数据处理、检索分析等大数据技术实现数据挖掘分析后生成统计分析结果，最终以接口、报表的方式向外提供数据服务，若从数据来源、分析过程使用算法、处理逻辑、分析结果数据格式与存储位置的配置，到分析结果报表展示都以界面可视化方式配置，快速提供数据服务，可以最大限度发挥数据资源的内在价值。
技术实现要素：
本发明的目的在于提供一种大数据分析可视化配置的实现方法，从数据来源、分析过程使用算法、处理逻辑、分析结果数据格式与存储位置的配置，到分析结果报表展示都以界面可视化方式配置，实现无需编写代码即可完成复杂的大数据分析过程，极大地降低了大数据挖掘分析的门槛，有效提高开发的效率。
本发明一种大数据分析可视化配置的实现方法，首先进行大数据分析业务建模，将生成的分析业务模型发布到大数据分布式计算的运行环境中，根据分析业务建模中配置的数据来源获取相应的数据进行挖掘分析，得到持久化的分析结果，将分析计算的结果存入数据库中，并调用预先配置的报表展示的可视化模型，最终输出大数据分析展示报表。
具体包括如下步骤：
步骤1、大数据分析业务建模
通过可视化流程编辑器作为业务流程的编排界面，将数据来源组件、算法组件、数据转换组件、流式计算组件、离线计算组件的各种内置的组件以拖拉的方式组合编排，完成大数据分析业务建模的过程，实现数据采集、数据清洗、数据挖掘分析、分析结果集存储的整个数据处理过程的可视化配置；
步骤2、生成分析业务模型
将步骤1配置的大数据分析业务模型，生成一个可以放到大数据环境进行分布式计算的软件包；
步骤3、将生成的分析业务模型发布到分布式调度环境
将步骤2生成的软件包解析成大数据运行环境可识别的计算机语言发布到分布式调度环境中运行；
步骤4、获取大数据资源进行挖掘分析
根据步骤1分析业务建模中配置的数据来源获取海量数据，并对获取的海量数据进行挖掘分析；
步骤5、经过对大数据资源计算分析后，输出得到数据挖掘分析的结果集、训练集或者验证集；
步骤6、将数据挖掘分析得到的结果集、训练集或者验证集，根据步骤1配置的存储方式进行存储；
步骤7、进行报表展示的可视化建模，配置一个可最终展示的报表样式，得到报表展示的可视化模型，用于对步骤6挖掘分析计算得到的结果集进行展示；
步骤8、通过步骤7的报表展示的可视化模型以及结合步骤6得到的展示结果集，最终输出大数据分析展示报表。
所述的数据来源包括实时采集的数据、数据中心仓库已落地的数据或者第三方的接口来源数据。
本发明是将各种来源的数据，不管是在数据挖掘分析过程还是最终的分析结果展示，都可以通过界面可视化的方式快速配置实现，通过可视化界面建模的方式实现来大数据的挖掘分析，即通过数据来源组件、算法组件、数据转换组件、计算组件等各种内置的组件，结合实际业务实现大数据分析建模过程并得到分析结果，最后再根据计算分析结果配置展示报表样式，实现大数据分析全过程的可视化配置。
附图说明
图1为本发明大数据分析可视化配置业务流程图。
以下结合附图和具体实施例对本发明做进一步详述。
具体实施方式
如图1所示，本发明一种大数据分析可视化配置的实现方法，首先进行大数据分析业务建模，将生成的分析业务模型发布到大数据分布式计算的运行环境中，根据分析业务建模中配置的数据来源获取相应的数据进行挖掘分析，得到持久化的分析结果，将分析计算的结果存入数据库中，并调用预先配置的报表展示的可视化模型，最终输出大数据分析展示报表，具体包括如下步骤：
步骤1、大数据分析业务建模
通过可视化流程编辑器作为业务流程的编排界面，将数据来源组件、算法组件、数据转换组件、流式计算组件、离线计算组件等各种内置的组件以拖拉的方式组合编排，完成大数据分析业务建模的过程，实现数据采集、数据清洗、数据挖掘分析、分析结果集存储的整个数据处理过程的可视化配置；
步骤2、生成分析业务模型
将步骤1配置的大数据分析业务模型，生成一个可以放到大数据环境进行分布式计算的软件包；
步骤3、将生成的分析业务模型发布到分布式调度环境
将步骤2生成的软件包解析成大数据运行环境可识别的计算机语言发布到分布式调度环境中运行，例如，可放在大规模并行处理框架Spark上运行；
步骤4、获取大数据资源进行挖掘分析
根据步骤1分析业务建模中配置的数据来源，包括实时采集的数据和数据中心仓库已落地的数据或者第三方的接口来源数据，对获取的海量数据进行挖掘分析；
步骤5、经过对大数据资源计算分析后，输出得到数据挖掘分析的结果集、训练集或者验证集；
步骤6、将数据挖掘分析得到的结果集、训练集或者验证集，根据步骤1配置的存储方式进行持久化存储，该结果集用于最终展示时可以快速获得计算分析结果；
步骤7、进行报表展示的可视化建模，配置一个可最终展示的报表样式，得到报表展示的可视化模型用于对步骤6挖掘分析计算得到的结果集进行展示，例如可选择平台内置的曲线图、柱状图、仪表盘等图表类型；
步骤8、通过步骤7的报表展示的可视化模型以及结合步骤6得到的展示结果集，最终输出大数据分析展示报表，为最终用户提供直观的决策依据。
本发明的重点在于：提供一种大数据分析可视化配置的实现方法，从数据来源、分析过程使用算法、处理逻辑、分析结果数据格式与存储位置的配置，到分析结果报表展示都以界面可视化方式配置，实现无需编写代码即可完成复杂的大数据分析过程，极大地降低了大数据挖掘分析的门槛，有效提高开发的效率。
本发明采用可视化流程编辑器作为业务流程的编排界面，实现业务模型建模，从而实现了数据采集、数据清洗、数据挖掘分析、数据存储整个数据处理过程的可视化配置，并自动将业务模型编译发布到大规模并行处理框架(如Spark)运行。
本发明通过将数据可视化抽象成可视化的最终图表，在数据上，通过配置实现数据挖掘分析的分析结果数据的抓取，在可视化上，平台内置了一系列的图表类型支持，通过选择图表类型的配置即可实现将数据服务以图表方式展示。
本发明通过上述数据挖掘分析可视化和数据展示的可视化，实现了大数据挖掘分析的从大数据采集汇集到最终分析结果的全过程快速可视化配置。
以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。