一种对大数据可视化自动解析和装配的系统及方法与流程

本发明属于大数据领域，具体是一种对大数据可视化自动解析和装配的系统及方法。

背景技术：

随着目前各行业数据量的爆炸式增长，针对至少以PB为单位的海量数据，通过人工的方式进行操作时，由于很难进行可视化操作，导致了很多错误的产生；为了减少人工对海量数据操作过程中出现的各种错误，大数据可视化技术应用而生。

但是传统的大数据可视化技术，对数据类型进行分析时仍然需要大量的人工操作；为了减少人工对海量数据操作带来的复杂性，急需一种可以智能解析海量数据且根据业务自动可视化的方法。

技术实现要素：

本发明目的是为了解决现有技术中，海量数据不能智能解析以及不能自动装配的问题；提供了一种对大数据可视化自动解析和装配的系统及方法，最大程度地自动化大数据可视化的过程，在减少人工干预的同时尽量提高大数据可视化的准确性和可靠性。

所述的大数据可视化自动解析和装配系统包括三个子系统，三个子系统分别是自动装配子系统、智能解析子系统和智能分析学习子系统；

三个子系统是逐层依赖的：智能分析学习子系统是基础，智能解析子系统是依赖智能分析学习子系统的，同时，自动装配子系统依赖智能解析子系统。

智能分析学习子系统由建模工具和若干算子组成；建模工具通过拖拉拽算子的方式和配置参数建立一个模型；模型中每个算子功能不同。

海量数据经过智能分析学习子系统的算子分析，得到的分析结果送到智能解析子系统；

智能解析子系统包括模板解析和自动解析；

模板解析是指：根据用户配置的与业务相关的若干解析模板，对智能分析学习子系统的分析结果进行解析；

利用解析模板进行具体解析的过程，包括字段解析，数据统计，最大值，最小值和平均值；

自动解析是指：解析系统对数据字段进行分析，对需要分析的数据进行各个维度的比较，得到解析结果。

智能解析子系统的功能把智能分析学习子系统的分析结果进行自动化解析，解析的结果传输到自动装配子系统进行展示。

自动装配子系统包括：根据模板装配图表和自定义装配图表；

根据模板装配图表是指：把数据装载到指定的具体图表进行展示；

自定义装配图表根据提前定义的参数制作自定义图表，并将符合规范的自定义图表加载到系统图表中。

根据模板装配图表和自定义装配图表均包括柱状图，饼图，点状图，热点图和其他图。

自动装配子系统的功能是把智能解析子系统解析的需要展示的数据，根据需要用不同的图表进行可视化展示。

一种对大数据可视化自动解析和装配的方法，具体步骤如下：

步骤一、针对某个事件的海量数据，首先通过智能分析学习子系统进行整体建模；

建模包括专家建模或机器学习建模；

专家建模是专家根据经验建立模型，将事件的海量数据带入模型生成结果。

机器学习建模是通过训练部分数据进行学习，得到的结果参数作为整个模型运算参数，然后将事件的整个海量数据带入模型中，进行计算，生成对应的结果。

步骤二、将海量数据经过建模的算子计算后，得到分析学习数据，并传送到智能解析子系统；

步骤三、智能解析子系统根据具体的业务需求，对分析学习数据进行自动数据处理和分析操作，得到解析数据；

自动数据处理和分析操作是指：程序根据分析学习数据是否定制了模板，来决定使用模板解析或自动解析；

模板解析包括：对字段解析，数据统计，最大值，最小值和平均值，形成若干解析模板。

采用自动解析时，对分析学习数据的各个字段进行解析、判断数据类型、判断数据类型特性从而完成自动解析；

步骤四、解析数据经过自动装配子系统进行自动可视化；

首先，自动装配子系统对解析数据自动进行二次分析，查找符合解析规则的数据，自动选择合适的可视化方式。

然后，查看解析数据是否指定了具体图表，如果是，则根据具体图表自动装载数据，否则，根据自动解析，调用自定义装配图表自定义图表进行可视化展示。

本发明的优点与积极效果在于：

1)、一种对大数据可视化自动解析和装配的系统，可以将海量的结构化数据和非结构化数据通过一个无人参与的装配过程对数据进行可视化呈现。

2)、一种对大数据可视化自动解析和装配的方法，适应了大数据时代数据量的爆炸式增长需求，对数据信息进行实时更新；

3)、一种对大数据可视化自动解析和装配的方法，满足快速开发、易于操作的特性，能满足大数据时代信息多变的特点；

4)一种对大数据可视化自动解析和装配的方法，具有更丰富的展现方式，能充分满足数据展现的多维度要求。

附图说明

图1为本发明大数据可视化自动解析和装配的系统架构图；

图2为本发明大数据可视化自动解析和装配的方法流程图；

图3为本发明大数据可视化自动解析和装配的方法示意图；

图4为本发明智能分析学习子系统的两种建模方式示意图；

图5为本发明建模中的部分算子列表示意图；

图6为本发明具体应用实例的分析示意图。

具体实施方式

下面将结合附图对本发明作进一步的详细说明。

本发明对于大数据可视化提供了一套完整的自动化解析和装配解决方案，如图1所示，大数据可视化自动解析和装配系统包括三个子系统，分别是自动装配子系统、智能解析子系统和智能分析学习子系统。

三个子系统是逐层依赖的：智能分析学习子系统是基础，智能解析子系统是依赖智能分析学习子系统的，同时，自动装配子系统依赖智能解析子系统。

智能分析学习子系统是最核心部分，主要是对进入的海量数据进行分析和统计，通过对海量数据字段信息的分析、统计，从而在一定程度上为智能解析子系统和自动装配子系统，提供更加智能的分析方案和可靠的数据。同时将页面用户操作行为和统计数据做一定关联，从而可以对用户的行为和数据类型做一定的关联性分析，从中获取数据中用户关心最多的字段；

智能分析学习子系统由建模工具和若干算子组成；建模工具通过拖拉拽算子的方式和配置参数建立一个模型；模型中每个算子功能不同。

海量数据经过智能分析学习子系统的算子分析，得到的分析结果送到智能解析子系统；

智能解析子系统根据具体的业务需求对海量数据自动化解析；在智能解析中，分为两种解析形式：根据模板解析和自动解析；

根据模板解析是指：根据用户配置的与业务相关的若干解析模板信息，对智能分析学习子系统的分析结果进行解析；

利用解析模板进行具体解析的过程，包括字段解析，数据统计，最大值，最小值和平均值；

自动解析是指：解析系统对数据字段进行分析，对需要分析的数据进行各个维度的比较，得到解析结果。

如果用户对业务数据非常熟悉的情况下，可以将要解析数据的展现方式进行模板的订制，订制要解析数据的呈现方式，如X坐标、Y坐标各填充什么样的数据；

如果用户对业务数据不熟悉，可以不指定模板，通过对数据各个字段进行解析、数据类型的判断、数据类型特性判断，从而完成一个自动的数据可视化过程，如果可视化结果有问题用户还可以根据具体情况作调整和切换。

智能解析子系统的功能把智能分析学习子系统的分析结果进行自动化解析过程，解析的结果传输到自动装配子系统进行展示。

自动装配子系统是根据对通过智能解析后的海量数据进行自动可视化的过程；在智能解析完成后，自动装配子系统会根据分析的结果对数据进行二次分析，自动选择合适的可视化方式对数据进行可视化过程。

自动装配子系统包括：根据模板装配图表和自定义装配图表；

根据模板装配图表是指：把数据装载到指定的具体图表进行展示；

自定义装配图表根据提前定义的参数制作自定义图表，并将符合规范的自定义图表加载到系统图表中。

根据模板装配图表和自定义装配图表均包括柱状图，饼图，点状图，热点图和其他图。

自动装配子系统的功能是把智能解析子系统解析的需要展示的数据，根据需要用不同的图表进行可视化展示。

自动装配，是本发明进行数据可视化部分，在其中可集成大量图表组件：如饼图，柱状图，地图等图表，目前市场可用的图表控件有ECharts，D3等开源控件，这些都可作为自动装配过程中的图表组件，如果有必要可以开发自定义图表组件，通过HTML，CSS,jQuery等技术来实现；

关于自己选择图表组件功能的工作需要在智能解析子系统来完成，在对数据进行解析过程中和自动对数据进行扫描过程中，查找符合某些特点的数据；比如：在数据中有关于经纬度的信息，那系统将对数据进行标示，在自动装配过程中根据标示使用地图相关的图表组件；

一种对大数据可视化自动解析和装配的方法，如图2和图3所示，具体步骤如下：

步骤一、针对某个事件的海量数据，首先通过智能分析学习子系统进行整体建模；

建模是智能分析学习的关键过程，包括专家建模或机器学习建模；

如图4所示，专家建模是专家根据经验建立模型，将事件的海量数据带入模型生成结果。

机器学习建模是通过训练部分数据进行学习，得到结果参数作为整个模型运算参数，然后模型中的算子把结果参数和事件的整个海量数据带入模型中，进行计算，生成对应的结果。

步骤二、将海量数据经过建模的算子计算后，得到分析学习数据，并传送到智能解析子系统；

算子是建模的组成部分，如图5所示，也就是智能分析学习子系统的组成元素。每个算子的功能都不同，具有其独特的功能；数据通过算子计算后生产对应的结果。

步骤三、智能解析子系统根据具体的业务需求，对分析学习数据进行自动数据处理和分析操作，得到解析数据。

自动数据处理和分析操作是指：程序根据要解析数据是否定制了模板，来判断使用模板解析或自动解析；如果定制了模板，则使用模板解析分析学习数据；否则采用自动解析；

模板解析包括：对字段解析，数据统计，最大值，最小值和平均值，形成若干解析模板。

采用自动解析时，对分析学习数据的各个字段进行解析、判断数据类型、判断数据类型特性从而完成自动解析；

如果用户对业务数据非常熟悉的情况下，可以将要解析数据的展现方式进行模板的订制，订制要解析数据的呈现方式，如X坐标、Y坐标各填充什么样的数据；

如果用户对业务数据不熟悉，可以不指定模板，通过对数据各个字段进行解析、数据类型的判断、数据类型特性判断，从而完成一个自动的数据可视化过程，如果可视化结果有问题用户还可以根据具体情况作调整和切换。

步骤四、解析数据经过自动装配子系统进行自动可视化；

首先，自动装配子系统对解析数据自动进行二次分析，查找符合解析规则的数据，自动选择合适的可视化方式。

然后，查看解析数据是否指定了具体图表，如果是，则根据具体图表自动装载数据，否则，根据自动解析，调用自定义装配图表自定义图表进行可视化展示。

智能解析子系统在对数据进行解析过程中和自动对数据进行扫描过程中，可以选择图表组件。

智能分析学习子系统是本发明最为重要的部分，需要海量的数据来完成学习的过程，从最大程度上来接近用户真实需求以便能减少人工的工作量；通过搭建大数据可视化自动解析、装配系统，从而解决大数据可视化方面提供一套切实可行的解决方案。

应用实例：

如图6所示，针对2014年东直门街道，东华门街道和朝阳门街道的小类案件发生的海量数据作为立案数据；包括：东直门街道2014年小类案件发生超过300，东华门街道2014年小类案件发生超过300，朝阳门街道2014年小类案件发生超过300；智能分析学习子系统针对结构化数据的立案数据建立模型，模型调用交集分析算子对部分数据进行训练，然后通过对训练结果分析整个立案数据得到的结果；智能解析子系统根据解析模板对结果数据进行小类过滤得到解析结果：“2014三街道小类案件高发分析结果”；最后自动装配子系统根据选择的图标类型对解析结果进行自动装载展示，展示的图像可以是饼状图，柱状图，散点图等。