一种大数据分析模型业务开发生成和管理系统的制作方法
【专利摘要】本发明公开了一种大数据分析模型业务开发生成和管理系统，它包括用户端、服务端和云计算与存储平台，所述的用户端包括用户模型设计与生成子系统和模型本地数据库，所述的服务端包括：租户管理子系统，模型审核交易子系统，模型解释与编译子系统，模型执行调度子系统，模型元数据管理子系统，计算结果展示子系统，模型交易数据库，元数据库，模型API数据库。该框架采用计算、模型与存储资源的集中分布式可控、可管、可交易的高效大数据运维模式，具体涵盖数据分布式数据存储计算平台、模型设计与生成、模型管理与交易、模型质量审核与验证、模型解释与执行、租户管理与访问控制等六大功能。
【专利说明】
一种大数据分析模型业务开发生成和管理系统
技术领域
[0001]本发明属于大数据分析与开发处理领域，特别是一种大数据分析模型业务开发生成和管理系统。
【背景技术】
[0002]近年来，随着规模化大数据相关技术的日益成熟，大数据模型的研究已经取得了很多成就，并且运用到生活中的方方面面如电子商务、股市金融领域、社交网络和医疗健康领域。
[0003]因此，在形成一套大数据分析模型的同时，还需要研发一个大数据模型开发生成与管理框架，为不同的用户提供针对化，智能化的大数据模型的开发生成，满足用户的个性化需求就显得极为有必要。
[0004]当前大数据存储计算中心建设技术较为成熟，形成了诸如Cloudera、GBase、TeraData等商业化产品，为数据中心建设提供了较好的技术和产品准备。然而，大数据分析，特别是面向行业业务的、可定制的大数据分析模型方面，产品稀缺。主要原因在于:(I)行业业务门槛导致分析模型设计困难。数据分析模型设计人员缺乏行业业务知识，导致难以设计出符合需求的模型产品；(2)数据潜在价值不明朗。业务人员对数据潜在价值，特别是分析价值不清楚，导致业务人员难以提出具体的数据分析需求；(3)行业间业务差异明显，难以形成跨行业的数据分析模型。研发团队认为，业务智能化分析市场需要一个能发挥行业从业者业务特长、连接大数据分析设计人员和行业从业者的数据存储、分析和模型管理体系。
【发明内容】
[0005]本发明的目的在于克服现有大数据分析产品在面向行业业务的、可定制的大数据分析模型方面不足，提供一种大数据分析模型业务开发生成和管理系统，该系统采用计算、模型与存储资源的集中分布式可控、可管、可交易的高效大数据运维模式，具体涵盖数据分布式数据存储计算平台、模型设计与生成、模型管理与交易、模型质量审核与验证、模型解释与执行、租户管理与访问控制等六大功能。
[0006]本发明的目的是通过以下技术方案来实现的:一种大数据分析模型业务开发生成和管理系统，它包括用户端、服务端和云计算与存储平台，所述的用户端包括用户模型设计与生成子系统和模型本地数据库，用户模型设计与生成子系统，提供可视化的模型分析、设计、测试、发布、执行结果图形化展示功能，模型本地数据库存储本地模型数据；
所述的服务端包括:
租户管理子系统，提供多租户模型使用管理、计费、统计分析功能；
模型审核交易子系统，提供模型发布、后台审核、运行时验证、订单提交、订单审核、订单支付功能；
模型解释与编译子系统，提供模型功能解释分析、模型编译与作业生成功能； 模型执行调度子系统，提供多用户分布式模型执行调度功能；
模型元数据管理子系统，提供包括模型标签化描述、模型库API关联、模型交易信息的元数据管理功能；
计算结果展示子系统，提供多样化模型计算结果展示功能；
模型交易数据库，存储模型交易相关数据；
元数据库，存储元数据；
模型API数据库，存储模型API。
[0007]所述的用户模型设计与生成子系统提供图形化的用户大数据分析模型开发生成界面，同时系统开放已有的分析模型业务能力调用，供用户使用，提供分析模型运行、结果展示、模型发布、购买的功能，促进大数据分析模型的分享和复用。
[0008]所述的模型审核交易子系统提供人工和基于规则的模型审核功能、提供基于计算结果的模型运行验证功能、提供基于hash计算的模型完整性保障功能、提供基于第三方支付平台的模型交易功能。
[0009]所述的模型解释与编译子系统在自定义XML标记方式的基础上，将模型调用关系转化为DAG图，并分析转化成能被大数据计算存储平台识别的作业脚本，能够进行模型嵌套关系检查、模型调用一致性检查、模型调用权限检查。
[0010]所述的模型元数据管理子系统自定义XML标记模型，在模型标记的基础上，提供模型关键词检索、推荐、模型来源追溯功能。
[0011]所述的计算结果展示子系统利用通用数据驱动接口，提供关系型数据、非关系型数据的图表动态、静态展示功能，支持用户自定义的数据解释、呈现;支持用户拖拽的图表展现功能。
[0012]所述的模型执行调度子系统的调度功能包括模型静态分析与调度、模型执行历史分析与调度、执行请求提交和结果回传。
[0013]所述的用户使用用户模型设计与生成子系统的方式包括付费方式和免费方式。
[0014]所述的模型交易包括模型所有权交易和模型使用权交易。
[0015]所述的模型标记包括模型的主要功能、数据处理对象、所有权、来源和资源需求。
[0016]本发明的有益效果是:本发明提供了一种大数据分析模型业务开发生成和管理系统，该系统采用计算、模型与存储资源的集中分布式可控、可管、可交易的高效大数据运维模式，具体涵盖数据分布式数据存储计算平台、模型设计与生成、模型管理与交易、模型质量审核与验证、模型解释与执行、租户管理与访问控制等六大功能。
【附图说明】
[0017]图1为大数据分析模型业务开发生成和管理系统结构框图；
图2为用户模型设计与生成子系统结构框图；
图3为可视化模型设计器的工作流程图；
图4为用户注册流程图。
【具体实施方式】
[0018]下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
[0019]如图1所示，一种大数据分析模型业务开发生成和管理系统，它包括用户端、服务端和云计算与存储平台，所述的用户端包括用户模型设计与生成子系统和模型本地数据库，用户模型设计与生成子系统，提供可视化的模型分析、设计、测试、发布、执行结果图形化展示功能，模型本地数据库存储本地模型数据；
所述的服务端包括:
租户管理子系统，提供多租户模型使用管理、计费、统计分析功能；
模型审核交易子系统，提供模型发布、后台审核、运行时验证、订单提交、订单审核、订单支付功能；
模型解释与编译子系统，提供模型功能解释分析、模型编译与作业生成功能；
模型执行调度子系统，提供多用户分布式模型执行调度功能；
模型元数据管理子系统，提供包括模型标签化描述、模型库API关联、模型交易信息的元数据管理功能；
计算结果展示子系统，提供多样化模型计算结果展示功能；
模型交易数据库，存储模型交易相关数据；
元数据库，存储元数据；
模型API数据库，存储模型API。
[0020]所述的用户模型设计与生成子系统提供图形化的用户大数据分析模型开发生成界面，同时系统开放已有的分析模型业务能力调用，供用户使用，提供分析模型运行、结果展示、模型发布、购买的功能，促进大数据分析模型的分享和复用。
[0021]所述的模型审核交易子系统提供人工和基于规则的模型审核功能、提供基于计算结果的模型运行验证功能、提供基于hash计算的模型完整性保障功能、提供基于第三方支付平台的模型交易功能。
[0022]所述的模型解释与编译子系统在自定义XML标记方式的基础上，将模型调用关系转化为DAG图，并分析转化成能被大数据计算存储平台识别的作业脚本，能够进行模型嵌套关系检查、模型调用一致性检查、模型调用权限检查。
[0023]所述的模型元数据管理子系统自定义XML标记模型，在模型标记的基础上，提供模型关键词检索、推荐、模型来源追溯功能。
[0024]所述的计算结果展示子系统利用通用数据驱动接口，提供关系型数据、非关系型数据的图表动态、静态展示功能，支持用户自定义的数据解释、呈现;支持用户拖拽的图表展现功能。
[0025]所述的模型执行调度子系统的调度功能包括模型静态分析与调度、模型执行历史分析与调度、执行请求提交和结果回传。
[0026]所述的用户使用用户模型设计与生成子系统的方式包括付费方式和免费方式。
[0027]所述的模型交易包括模型所有权交易和模型使用权交易。
[0028]所述的模型标记包括模型的主要功能、数据处理对象、所有权、来源和资源需求。
[0029]用户模型设计与生成子系统包括以下术语和基本概念:
I)模型:一个模型是多个步骤通过跳连接形成的逻辑DAG网络;模型由步骤、跳，模型入口和模型设置构成；O 一个单一的模型入口可以在画布上多次放置;例如，可以拿起一个如单一作模型口，用不同的配置把它放到画布上。模型设置是控制一个模型行为和记录一个模型操作的方法的选项;模型又多个组合模型构成;组合模型由多个子组合模型构成;最小子组合模型由多个原子模型组成;一个最小组合模型中可包含多个顺序执行的原子模型；原子模型由一个或多个基础模型构成。基础模型:批处理和流式MapRedurce和Spark两类基础模型。构成元子模型的单独基础模型可以是批处理模型也可以是流式处理模型。
[°03°] 2)步骤和跳:步骤是MapReduce或Spark数据处理模型组件，例如文本文件输入或Hive表输出。用户模型设计与生成子系统中提供超过140种按功能分组的步骤;例如，输入，输出，脚本等。跳是连接步骤的数据通路，允许数据在两步骤间传递，一个步骤可以有许多跳连接，有一些是把两个步骤连接在一起，有一些则只是作为一个步骤的输入或输出，在一个转换中数据从一个步骤流向不同的步骤，用户模型设计与生成子系统中用一个箭头代表跳，跳允许数据在步骤间传递，还决定数据流间的流动方向，如果一个步骤把输出发送到一个以上的后续步骤，那么数据或被复制到每一个后续步骤，或分布于后续步骤上。
[0031]3)用户组:包含多个用户的组，组中用户可以实现数据、业务、模型的共享。
[0032I 4)用户:系统使用人员和管理人员。
[0033]5)用户角色:系统管理员、模型设计管理员、业务设计管理员、数据管理员、业务使用者、数据使用者。
[0034]6)业务:一项数据载入、分析展示业务，业务包含多个模型。
[0035]7)数据权限:包括可读、可写、可查三类。
[0036]8)业务权限:包括可读、可写、可查、可执行四类。
[0037]本系统提出一种面向多租户的业务模型管理平台框架，意在构建一个具有多租户特点的业务模型库SaaS应用，通过该应用能够使租户有效地管理模型版本，同时对租户业务模型的个性化需求，提供相应的模型定制服务。
[0038]如图2所示，用户模型设计与生成子系统的系统结构分为三层:应用层、引擎层和内核层;应用层提供可视化的模型设计器、提交测试、分析结果图形化显示功能；引擎层包含元数据引擎、基础模型控件，自定义模型控件和模型运行跟踪；内核层包含用户认证、元数据存储内核、安全加密内核、解析器内核、日志内核和异常处理内核，所述的用户模型设计与生成子系统还提供对主流操作系统的支持;支撑多种CDH中的数据源;集成脚本开发环境，支持脚本的编辑、运行及调试;全面的数据采集、转换、分析、输出(数据集成)功能;提供CDH为计算和存储引擎的大数据模型过程提交、发布，执行和分析功能;支持模型的元数据管理与导入导出，提供方便的部署和移植功能;支持各种字段级的映射转换，如类型转换、字段运算、参照转换、字符串处理、字符集转换、空值处理、日期转换、聚集运算、既定取值、字段切分、字段合并等。
[0039]如图3所示为可视化模型设计器工作流程图，可视化模型设计器通过可视化的手段实现多个基础模型的组合，对模型进行二次可视化编辑，为具体业务生成定制的复杂模型。基础模型包括start、end、基础计算分析模型、跳转模型、管控模型;实现对结合关系的抽象化定义。
[0040]在进行大数据模型开发生成时，首先通过用户认证的用户得到相应的开发权限和访问权限，租户的注册流程如图4所示。
【主权项】
1.一种大数据分析模型业务开发生成和管理系统，它包括用户端、服务端和云计算与存储平台，其特征在于:所述的用户端包括用户模型设计与生成子系统和模型本地数据库，用户模型设计与生成子系统，提供可视化的模型分析、设计、测试、发布、执行结果图形化展示功能，模型本地数据库存储本地模型数据； 所述的服务端包括: 租户管理子系统，提供多租户模型使用管理、计费、统计分析功能； 模型审核交易子系统，提供模型发布、后台审核、运行时验证、订单提交、订单审核、订单支付功能； 模型解释与编译子系统，提供模型功能解释分析、模型编译与作业生成功能； 模型执行调度子系统，提供多用户分布式模型执行调度功能； 模型元数据管理子系统，提供包括模型标签化描述、模型库API关联、模型交易信息的元数据管理功能； 计算结果展示子系统，提供多样化模型计算结果展示功能； 模型交易数据库，存储模型交易相关数据； 元数据库，存储元数据； 模型API数据库，存储模型API。2.根据权利要求1所述的一种大数据分析模型业务开发生成和管理系统，其特征在于:所述的用户模型设计与生成子系统提供图形化的用户大数据分析模型开发生成界面，同时系统开放已有的分析模型业务能力调用，供用户使用，提供分析模型运行、结果展示、模型发布、购买的功能，促进大数据分析模型的分享和复用。3.根据权利要求1所述的一种大数据分析模型业务开发生成和管理系统，其特征在于:所述的模型审核交易子系统提供人工和基于规则的模型审核功能、提供基于计算结果的模型运行验证功能、提供基于hash计算的模型完整性保障功能、提供基于第三方支付平台的模型交易功能。4.根据权利要求1所述的一种大数据分析模型业务开发生成和管理系统，其特征在于:所述的模型解释与编译子系统在自定义XML标记方式的基础上，将模型调用关系转化为DAG图，并分析转化成能被大数据计算存储平台识别的作业脚本，能够进行模型嵌套关系检查、模型调用一致性检查、模型调用权限检查。5.根据权利要求1所述的一种大数据分析模型业务开发生成和管理系统，其特征在于:所述的模型元数据管理子系统自定义XML标记模型，在模型标记的基础上，提供模型关键词检索、推荐、模型来源追溯功能。6.根据权利要求1所述的一种大数据分析模型业务开发生成和管理系统，其特征在于:所述的计算结果展示子系统利用通用数据驱动接口，提供关系型数据、非关系型数据的图表动态、静态展示功能，支持用户自定义的数据解释、呈现;支持用户拖拽的图表展现功能。7.根据权利要求1所述的一种大数据分析模型业务开发生成和管理系统，其特征在于:所述的模型执行调度子系统的调度功能包括模型静态分析与调度、模型执行历史分析与调度、执行请求提交和结果回传。8.根据权利要求2所述的一种大数据分析模型业务开发生成和管理系统，其特征在于:所述的用户使用用户模型设计与生成子系统的方式包括付费方式和免费方式。9.根据权利要求3所述的一种大数据分析模型业务开发生成和管理系统，其特征在于:所述的模型交易包括模型所有权交易和模型使用权交易。10.根据权利要求5所述的一种大数据分析模型业务开发生成和管理系统，其特征在于:所述的模型标记包括模型的主要功能、数据处理对象、所有权、来源和资源需求。
【文档编号】G06F17/30GK105893522SQ201610194429
【公开日】2016年8月24日
【申请日】2016年3月30日
【发明人】王勇, 陈洋, 彭世锦, 王芷若
【申请人】电子科技大学