电力营销数据可视化统计分析方法及系统与流程

本发明涉及一种应用于电力营销领域的数据可视化统计分析方法及系统，属于电力营销技术领域。

背景技术：
：

目前，电力营销数据日益呈现出数量大、更新速度快和形式多样化的特点。数据的收集、分析、存储和管理工作至关重要，但当前电力企业在数据的收集过程中无法整合多渠道、多样性和海量的数据进行统计分析。传统的电力营销系统仅仅局限于业务处理阶段，其功能是提供固定的统计报表，因此相对比较单一，电力营销的数据信息收集管理人员无法将相对孤立的数据建立起数据与环境、用户等的关联性，从而对数据的分析和挖掘能力明显不足；同时，软件开发过程相对漫长，业务需求无法快速有效响应。

技术实现要素：
：

本发明的目的在于克服上述已有技术的不足而提供一种在电力营销领域数据统计分析时无须经过漫长的软件开发过程，数据分析能力足，适应大数据背景下的多类型数据源的综合统计分析，可进行海量数据的灵活可视化分析以及数据统计和数据挖掘的有效融合，使业务需求快速有效响应电力营销数据的可视化统计分析方法及系统。

本发明的目的可以通过如下措施来达到：电力营销数据可视化统计分析系统，其特征在于其包括数据可视化统计分析设计子系统和数据可视化统计分析应用子系统，数据可视化统计分析设计子系统用于数据可视化统计分析流程的创建和功能的发布，数据可视化统计分析应用子系统用于对数据可视化统计分析设计子系统验证后的统计分析模型进行应用；

其中，数据可视化统计分析设计子系统主要包括数据源管理模块、数据集管理模块、数据统计分析模块（包含数据分析子模块和数据可视化展示配置子模块）和功能管理模块；数据源管理模块主要用来配置电力营销统计分析数据的来源，支持传统数据库或大数据相关的数据存储技术；数据集管理模块负责收集来自不同数据源的数据，将多数据源的数据进行关联，并利用空值、重复值、值域和字典项的条件对数据进行过滤，形成数据源的构建流程，通过运行该流程形成数据源实例，并进行管理；数据统计分析模块通过接收数据集管理模块构建的流程或运行的实例，作为电力营销数据统计分析的数据来源，并利用数据分析子模块的算法包和数据可视化展示配置子模块的配置信息，形成数据统计分析流程，通过运行该流程形成电力营销数据分析实例，并进行管理；数据分析子模块用于对数据分析的算法包进行管理，包括算法的上传注册、初始化和启用弃用功能；数据可视化展示配置子模块用于设置数据分析的可视化展示方式，对电力营销数据进行多维度钻取和过滤，使数据分析更加精准；

数据可视化统计分析应用子系统主要包括数据查询结果展示模块、数据统计结果可视化模块和数据分析与挖掘模块；

数据可视化统计分析应用子系统的三个模块功能均是由数据可视化统计分析设计子系统的功能管理模块生成，其中数据查询结果展示模块用于展现数据集管理模块中的电力营销数据源实例结果；数据统计结果可视化模块用于展现电力营销数据分析实例结果；利用数据分析子模块配置好的算法，通过数据分析实例生成模型，最终由数据分析与挖掘模块进行展示。

电力营销数据可视化统计分析方法，其特征在于其包括以下步骤：

步骤一、设计人员对电力营销数据统计分析需求进行分析，判断是否需要新建或更新数据分析算法，如果需要新建数据分析算法，则进行步骤二；如果需要更新数据分析算法，则进行步骤四；否则进行步骤五；

步骤二、分析算法的编写，设计人员对选定的算法进行配置，包括算法的参数和算法的展示方式，对配置好的算法进行打包，进行下一步；

步骤三、分析算法的注册，设计人员对编写好的算法包注册上传至数据分析模块，进行下一步；

步骤四、分析算法的更新，通过算法标识判断该算法包是否已经存在，若存在则对刚上传的算法包进行启用，对相同算法标识的其他算法进行停用；若不存在则说明为新建算法包操作，自动启用刚上传的算法包；如果要使用某个历史版本的算法包，将该算法包进行启用，则相同标识的其他算法包将自动停用；更新好所需要的配置算法后进行下一步；

步骤五、构建数据源，判断系统中是否已经配置好数据源的数据库参数，如果需要新增数据库，则进行步骤六；否则进行步骤七；

步骤六、配置数据库参数，通过数据源管理模块对数据库参数进行配置，设置相应的数据库驱动和连接参数，包括名称、连接URL、用户名与密码，对连接进行测试后保存即可；配置好数据库参数后，进行下一步；

步骤七、选取数据源表，新建一个数据源构建流程，如果电力营销的目标数据源仅包含一张表，且没有预定义的SQL语句，则在系统中选择该表所在数据库，选择数据库中目标表的表名，添加该表中数据源所用到的字段，并配置好每个字段的中文标识，如果所选字段要作为条件进行过滤，则通过添加值关联选择该字段，配置好连接符、运算符、初始值和别名，如果该条件在生成实例时仍可能发生改变，则将该值关联设置为固定参数；如果目标数据源包含预定义的SQL语句，则进行步骤八；如果目标数据源包含多张表，则进行步骤九；否则进行步骤十；

步骤八、自定义SQL，如果电力营销的目标数据源包含预定义的SQL语句，仅需要选择好目标数据源的数据库，并选择自定义SQL，将预定义的SQL语句输入即可，进行步骤十；

步骤九、增加联合表，如果电力营销的目标数据源包含多张表，则首先根据步骤七逐一配置好各表相关信息，再增加联合表；将需要联合的多表进行关联，具体为选择多个表的查询字段，并设置多表关联的关联字段，配置好连接符、字段名和运算符；对于需要计算（包括计数、求和、平均值、最大和最小值）的字段进行设置，并关联聚合字段，如果要对数据源结果进行排序，则需设置排序字段；将多表进行联合后，进行下一步；

步骤十、数据过滤，如果需要对配置好的数据源进行过滤，可以添加对应的过滤节点（包括空值过滤、字典项过滤、值域过滤、重复值过滤）；最后对数据源流程进行保存，此时整个数据源流程构建完毕，进行下一步；

步骤十一、运行数据源构建流程，对步骤十构建好的数据源流程，在数据集管理模块中进行运行，设置好运行名称、运行描述，并配置好步骤七中设置的固定参数，运行即可，进行下一步；

步骤十二、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据源流程的运行结果，并可将结果数据导出为Excel；如果该结果需要作为功能提交给用户，则进行步骤十九，否则进行下一步；

步骤十三、构建数据分析数据源，新建一个数据分析流程，如果将步骤十保存的数据源流程作为分析数据源，则选择数据源流程作为开始后的节点；若将步骤十一运行好的实例作为分析数据源，就选择实例作为开始后的节点；构建好数据分析数据源后，进行下一步；

步骤十四、数据可视化展示配置，对步骤十三建立的数据源，可以进行多维度钻取和过滤，对待分析数据进行更加精准的分析：新增展示设置节点，选择需要联合的数据源列以及所需分析的维度表进行联合，保存该节点；若要对数据源进行过滤配置，可以新增过滤设置节点，配置好过滤列，运算符和初始字段值，保存即可；做好数据可视化展示配置后，进行下一步；

步骤十五、配置数据分析算法，增加分析算法节点，选择步骤四更新后的算法包，配置好算法包中预设的参数（参数因算法包的不同而不同，以多元线性回归为例，包括因变量和自变量），保存即可；此时，整个数据分析流程创建完毕，进行下一步；

步骤十六、运行数据分析流程，对步骤十五构建好的数据分析流程，在数据统计分析模块中进行运行，设置好运行名称、运行描述，在步骤十三中，如果该数据统计分析流程开始后的节点为数据源，则需配置好该数据源中的固定参数；若该统计分析流程开始后的节点为实例，则无需配置任何参数，直接运行即可，进行下一步；

步骤十七、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据分析流程的运行结果；如果步骤十四中配置了展示设置节点，可以勾选所配置的维度对结果数据进行进一步维度钻取；如果步骤十四中配置了过滤设置节点，可以通过改变过滤列的值来对结果数据进行进一步过滤；任何结果数据都可以选择多种展示方式，通过设置展示的字段，可以利用直方图、折线图、面积图等多种可视化形式进行展示，也可以对结果数据进行Excel导出；点击数据分析以获得数据分析模型，并通过输入步骤四中设置的参数获得模型结果；对于已经验证的模型进行步骤十九，否则进行下一步；

步骤十八、模型验证，对于步骤十七生成的分析模型进行验证，通过选择待检验实例、检验算法（包括蒙特卡罗算法、数据拟合算法、数值分析算法和图像处理算法）进行验证，若通过模型检验，则进行步骤十九，否则返回步骤一，对分析电力营销数据分析需求的算法重新进行评估选择；

步骤十九、生成应用功能，对步骤十二或步骤十七生成的结果页面，如果需要作为功能提交给用户，可以在功能管理模块对该实例结果进行功能生成，仅需要配置好该功能的名称和上级菜单保存即可；

步骤二十、电力营销的终端用户登入该系统，点击步骤十九生成的应用菜单，进行电力营销数据可视化统计分析结果的查看；电力营销的终端用户既可以对步骤十二的数据源查询结果进行查看，也可对步骤十七生成的数据统计的可视化结果进行查看，同时，也可以使用步骤十八验证通过的数据分析模型，通过参数的设置查看数据分析模型的分析与挖掘结果。

本发明同已有技术可产生如下积极效果：本发明可解决在电力营销领域数据统计分析时必须要经过漫长的软件开发过程、数据分析能力不足、无法适应大数据背景下的多类型数据源的综合统计分析、无法进行海量数据的灵活可视化分析以及数据统计和数据挖掘无法有效融合从而导致业务需求无法快速有效响应的技术问题。其具有：

1.利用图形化数据配置，有效整合了多种渠道的数据，使待统计数据源不局限于数据库类别，保证了数据的多样性和时效性，同时提供了海量数据的处理能力。

2.通过流程式功能设计和可视化数据分析，达到从数据存储到数据统计分析这整个流程的可视化展现，使从数据转化为信息的整个过程清晰展现，保证了分析挖掘信息的准确性。

3.采用自定义分析算法和模块化功能发布，实现了数据分析、数据挖掘建模与预测功能的灵活组合，以及用电营销统计分析功能的自定义柔性扩展能力，极大的提升了用电营销数据统计分析的需求响应能力，为业务数据增值应用提供了有力支撑。

附图说明：

图1为本发明的电力营销数据可视化统计分析系统的结构示意图；

图2为本发明的电力营销数据可视化统计分析方法的流程图。

具体实施方式：

下面结合附图对本发明的电力营销数据可视化统计分析方法及系统的具体实施方式作详细描述。

如附图1，电力营销数据可视化统计分析系统，包括数据可视化统计分析设计子系统和数据可视化统计分析应用子系统，数据可视化统计分析设计子系统用于电力营销数据可视化统计分析流程的创建和功能的发布，数据可视化统计分析应用子系统用于对数据可视化统计分析设计子系统验证后的电力营销统计分析模型进行应用。

其中，数据可视化统计分析设计子系统主要包括数据源管理模块、数据集管理模块、数据统计分析模块（包含数据分析子模块和数据可视化展示配置子模块）和功能管理模块。

数据源管理模块主要用来配置电力营销统计分析数据的来源，既可以是传统数据库，如MySQL，Oracle等，也可以是大数据相关的数据存储技术，如HBASE，HIVE等。数据集管理模块负责收集来自不同数据源的电力营销数据，将多数据源的数据进行关联，并利用空值、重复值、值域和字典项的条件对数据进行过滤，形成数据源的构建流程，通过运行该流程形成数据源实例，并进行管理。数据统计分析模块通过接收数据集管理模块构建的流程或运行的实例，作为电力营销数据统计分析的数据来源，并利用数据分析子模块的算法包和数据可视化展示配置子模块的配置信息，形成数据统计分析流程，通过运行该流程形成电力营销数据分析实例，并进行管理；数据分析子模块用于对数据分析的算法包进行管理，包括算法的上传注册、初始化和启用弃用功能。数据可视化展示配置子模块用于设置数据分析的可视化展示方式，对电力营销数据进行多维度钻取和过滤，使数据分析更加精准。

数据可视化统计分析应用子系统主要包括数据查询结果展示模块、数据统计结果可视化模块和数据分析与挖掘模块。

数据可视化统计分析应用子系统的三个模块功能均是由数据可视化统计分析设计子系统的功能管理模块生成，其中数据查询结果展示模块用于展现数据集管理模块中的电力营销数据源实例结果；数据统计结果可视化模块用于展现电力营销数据分析实例结果；利用数据分析子模块配置好的算法，通过数据分析实例生成模型，最终由数据分析与挖掘模块进行展示。

如附图2，电力营销数据可视化统计分析方法，电力营销数据更新后触发数据统计分析工作，开发人员在分析完数据源特点和数据统计分析需求后对算法进行选择、编写和更新，并利用历史数据进行分析建模，在对模型进行验证评价后，利用构建的模型对更新的数据进行统计分析，并生成应用功能，提供给客户进行可视化展示和模型应用。包括如下具体步骤：

步骤一、设计人员对电力营销数据统计分析需求进行分析，判断是否需要新建或更新数据分析算法，如果需要新建数据分析算法，则进行步骤二；如果需要更新数据分析算法，则进行步骤四；否则进行步骤五。

步骤二、分析算法的编写，设计人员对选定的算法进行配置，包括算法的参数和算法的展示方式，对配置好的算法进行打包，进行下一步。

步骤三、分析算法的注册，设计人员对编写好的算法包注册上传至数据分析模块，进行下一步。

步骤四、分析算法的更新，通过算法标识判断该算法包是否已经存在，若存在则对刚上传的算法包进行启用，对相同算法标识的其他算法进行停用；若不存在则说明为新建算法包操作，自动启用刚上传的算法包；如果要使用某个历史版本的算法包，将该算法包进行启用，则相同标识的其他算法包将自动停用；更新好所需要的配置算法后进行下一步。

步骤五、构建数据源，判断系统中是否已经配置好数据源的数据库参数，如果需要新增数据库，则进行步骤六；否则进行步骤七。

步骤六、配置数据库参数，通过数据源管理模块对数据库参数进行配置，设置相应的数据库驱动和连接参数，包括名称、连接URL、用户名与密码，对连接进行测试后保存即可；配置好数据库参数后，进行下一步。

步骤七、选取数据源表，新建一个数据源构建流程，如果电力营销的目标数据源仅包含一张表，且没有预定义的SQL语句，则在系统中选择该表所在数据库，选择数据库中目标表的表名，添加该表中数据源所用到的字段，并配置好每个字段的中文标识，如果所选字段要作为条件进行过滤，则通过添加值关联选择该字段，配置好连接符、运算符、初始值和别名，如果该条件在生成实例时仍可能发生改变，则将该值关联设置为固定参数；如果目标数据源包含预定义的SQL语句，则进行步骤八；如果目标数据源包含多张表，则进行步骤九；否则进行步骤十。

步骤八、自定义SQL，如果电力营销的目标数据源包含预定义的SQL语句，仅需要选择好目标数据源的数据库，并选择自定义SQL，将预定义的SQL语句输入即可，进行步骤十。

步骤九、增加联合表，如果电力营销的目标数据源包含多张表，则首先根据步骤七逐一配置好各表相关信息，再增加联合表。将需要联合的多表进行关联，具体为选择多个表的查询字段，并设置多表关联的关联字段，配置好连接符、字段名和运算符等。对于需要计算（包括计数、求和、平均值、最大和最小值）的字段进行设置，并关联聚合字段，如果要对数据源结果进行排序，则需设置排序字段；将多表进行联合后，进行下一步。

步骤十、数据过滤，如果需要对配置好的电力营销数据源进行过滤，可以添加对应的过滤节点（包括空值过滤、字典项过滤、值域过滤、重复值过滤）；最后对数据源流程进行保存，此时整个数据源流程构建完毕，进行下一步。

步骤十一、运行数据源构建流程，对步骤十构建好的数据源流程，在数据集管理模块中进行运行，设置好运行名称、运行描述，并配置好步骤七中设置的固定参数，运行即可，进行下一步。

步骤十二、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据源流程的运行结果，并可将结果数据导出为Excel；如果该结果需要作为功能提交给用户，则进行步骤十九，否则进行下一步。

步骤十三、构建数据分析数据源，新建一个数据分析流程，如果将步骤十保存的数据源流程作为分析数据源，则选择数据源流程作为开始后的节点；若将步骤十一运行好的实例作为分析数据源，就选择实例作为开始后的节点；构建好数据分析数据源后，进行下一步。

步骤十四、数据可视化展示配置，对步骤十三建立的数据源，可以进行多维度钻取和过滤，对待分析数据进行更加精准的：新增展示设置节点，选择需要联合的数据源列以及所需分析的维度表进行联合，保存该节点；若要对数据源进行过滤配置，可以新增过滤设置节点，配置好过滤列，运算符和初始字段值，保存即可。做好数据可视化展示配置后，进行下一步。

步骤十五、配置数据分析算法，增加分析算法节点，选择步骤四更新后的算法包，配置好算法包中预设的参数（参数因算法包的不同而不同，以多元线性回归为例，包括因变量和自变量），保存即可；此时，整个数据分析流程创建完毕，进行下一步。

步骤十六、运行数据分析流程，对步骤十五构建好的数据分析流程，在数据统计分析模块中进行运行，设置好运行名称、运行描述，在步骤十三中，如果该数据统计分析流程开始后的节点为数据源，则需配置好该数据源中的固定参数；若该统计分析流程开始后的节点为实例，则无需配置任何参数，直接运行即可，进行下一步。

步骤十七、查看运行结果，对运行失败的流程，可以查看失败原因；对运行成功的流程，可以查看数据分析流程的运行结果；如果步骤十四中配置了展示设置节点，可以勾选所配置的维度对结果数据进行进一步维度钻取；如果步骤十四中配置了过滤设置节点，可以通过改变过滤列的值来对结果数据进行进一步过滤；任何结果数据都可以选择多种展示方式，通过设置展示的字段，可以利用直方图、折线图、面积图等多种可视化形式进行展示，也可以对结果数据进行Excel导出；点击数据分析以获得数据分析模型，并通过输入步骤四中设置的参数获得模型结果；对于已经验证的模型进行步骤十九，否则进行下一步。

步骤十八、模型验证，对于步骤十七生成的分析模型进行验证，通过选择待检验实例、检验算法（包括蒙特卡罗算法、数据拟合算法、数值分析算法和图像处理算法）进行验证，若通过模型检验，则进行步骤十九，否则返回步骤一，对分析电力营销数据分析需求的算法重新进行评估选择。

步骤十九、生成应用功能，对步骤十二或步骤十七生成的结果页面，如果需要作为功能提交给用户，可以在功能管理模块对该实例结果进行功能生成，仅需要配置好该功能的名称和上级菜单保存即可。

步骤二十、电力营销的终端用户登入该系统，点击步骤十九生成的应用菜单，进行电力营销数据可视化统计分析结果的查看；电力营销的终端用户既可以对步骤十二的数据源查询结果进行查看，也可对步骤十七生成的数据统计的可视化结果进行查看，同时，也可以使用步骤十八验证通过的数据分析模型，通过参数的设置查看数据分析模型的分析与挖掘结果。

以上所述的仅为本发明的较佳实例而已，不能以此来限定本发明之权利范围。