一种基于大数据框架的交互式和自定义数据分析建模系统的制作方法

1.本发明涉及数据分析建模技术领域，尤其涉及一种基于大数据框架的交互式和自定义数据分析建模系统。


背景技术：

2.数据分析建模是数据挖掘应用的基础，目前数据分析建模需要调研人员或者业务人员调研客户痛点，产品人员设计解决方案，建模人员使用各自熟悉的建模工具进行数据预处理、特征工程、建模调参、模型选择及验证等步骤后，最终生成模型以供用户使用。
3.然而，现有的建模工作量大，效率低等问题，因此，如何更高效地进行数据分析建模成为亟待解决的问题。


技术实现要素：

4.基于背景技术存在的技术问题，本发明提出了一种基于大数据框架的交互式和自定义数据分析建模系统。
5.本发明提出的一种基于大数据框架的交互式和自定义数据分析建模系统，包括数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块，所述数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块依次连接，所述数据采集模块包括数据监控单元和数据库，且数据监控单元与数据库相连接，所述数据处理模块包括数据监测单元和数据校验单元。
6.优选的，所述数据采集模块用于将各类数据源进行数据采集，所述数据监控单元用于对数据采集模块中数据收集过程进行监控记录和处理，处理后的数据信息传输至数据库中进行保存，同时，将数据信息传输至数据整合模块。
7.优选的，所述数据整合模块用于将采集的各类数据源信息进行整合，并将整合的数据传输至数据处理模块。
8.优选的，所述数据处理模块用于对采集的数据进行数据处理，所述数据监测单元用于对处理后的数据信息进行检测，数据校验单元用于对处理后的数据信息进行校验，数据监测单元和数据检验单元处理后的数据信息传输至数据存储模块中进行数据信息的存储。
9.优选的，所述数据服务模块将数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理，所述数据服务模块将数据信息传输至数据展现模块。
10.优选的，所述数据展现模块用于用于对已经处理过的数据进行图形化展现，数据展现模块将图形化展现的数据传输至建模聚合分析模块。
11.优选的，所述建模聚合分析模块用于将各数据对应不同的算法流程，得到不同的
算法结构数据，将不同的算法结构数据进行对比，组成建模流程图。
12.优选的，所述流程构建模块用于将最优的算法建模流程图构建成最优算法模型。
13.本发明中，所述一种基于大数据框架的交互式和自定义数据分析建模系统，能够实现对数据可视化分析建模，以及对建模产生的模型进行统一管理，减少了建模工作量，提高了建模的效率和有效，同时，建模速度快，反应快速，能够合理利用时间。
附图说明
14.图1为本发明提出的一种基于大数据框架的交互式和自定义数据分析建模系统的框图。
具体实施方式
15.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
16.参照图1，一种基于大数据框架的交互式和自定义数据分析建模系统，包括数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块，所述数据采集模块、数据整合模块、数据处理模块、数据存储模块、数据服务模块、数据展现模块、建模聚合分析模块和流程构建模块依次连接，所述数据采集模块包括数据监控单元和数据库，且数据监控单元与数据库相连接，所述数据处理模块包括数据监测单元和数据校验单元。
17.本发明中，所述数据采集模块用于将各类数据源进行数据采集，所述数据监控单元用于对数据采集模块中数据收集过程进行监控记录和处理，处理后的数据信息传输至数据库中进行保存，同时，将数据信息传输至数据整合模块。
18.本发明中，所述数据整合模块用于将采集的各类数据源信息进行整合，并将整合的数据传输至数据处理模块。
19.本发明中，所述数据处理模块用于对采集的数据进行数据处理，所述数据监测单元用于对处理后的数据信息进行检测，数据校验单元用于对处理后的数据信息进行校验，数据监测单元和数据检验单元处理后的数据信息传输至数据存储模块中进行数据信息的存储。
20.本发明中，所述数据服务模块将数据存储管理模块存储的数据以各种方式与客户之间进行交互，实现客户对数据的访问需求，所述数据服务模块包括数据共享分发、元数据交换、web检索服务、数据定制服务、数据直接服务、数据访问服务接口和用户服务管理，所述数据服务模块将数据信息传输至数据展现模块。
21.本发明中，所述数据展现模块用于用于对已经处理过的数据进行图形化展现，数据展现模块将图形化展现的数据传输至建模聚合分析模块。
22.本发明中，所述建模聚合分析模块用于将各数据对应不同的算法流程，得到不同的算法结构数据，将不同的算法结构数据进行对比，组成建模流程图。
23.本发明中，所述流程构建模块用于将最优的算法建模流程图构建成最优算法模型。
24.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，
任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。