一种基于大数据的交互式和自定义数据建模系统的制作方法

本发明涉及数据挖掘建模领域，具体地，涉及一种基于大数据的交互式和自定义数据建模系统。

背景技术：

随着信息化建设的不断深入，政府和企业积累了海量数据。由于缺乏数据挖掘分析能力和团队，通过数据分析挖掘发现数据价值仍然是政府和企业对难点所在。鉴于开源技术快速增加和高速迭代，一般企业很难跟进，现有大数据技术创新应用仍由互联网企业主导。目前国内大数据仍处于概念落地阶段，现有产品在落地应用过程中存在安装配置复杂、算法难以理解和应用、模型部署困难等诸多问题。因此基于行业的大数据的机器学习应用如何快速落地，降低机器学习的使用门槛，扩大机器学习应用范围是当前亟待解决的问题。

技术实现要素：

本发明设计了一种新颖的机器学习建模系统——一种基于大数据的交互式和自定义数据建模系统，包括客户端、服务端和计算端。该系统在客户端为用户固化了丰富的建模算子，用户可以在客户端以托拉拽的方式自由组建机器学习建模流程，这使得有丰富经验的业务人员能够免编码建模，大大降低了机器学习的入门门槛。

为实现上述发明目的，本申请提供了一种基于大数据的交互式和自定义数据建模系统，所述系统包括：客户端、服务端、计算端；其中，所述客户端和服务端均能够部署在任意的服务器，所述计算端部署在分布式计算环境；客户端提供用于建模的各种算子，所述算子预先固化在系统中，用户通过自定义算子的组合方式构建基于业务的建模流程；服务端用于解析建模流程，并将建模流程提交至计算端计算。

本发明提出的一种基于大数据的交互式和自定义数据建模系统，可以降低政府和企业基础设施和人力的投入，快速准确地挖掘大数据背后的商业价值，帮助政府和企业提升数据价值发现的效率。

优选的，所述客户端还提供管理和扩展建模流程的功能；服务端还用于监控工作流计算任务在计算端的状态并传递到客户端。

优选的，所述客户端用于与用户交互，包括：自定义建模流程、管理建模流程、建模交互和扩展建模组件。

优选的，自定义建模流程包括：用户根据业务需求组合自定义算子，通过自定义工作流展示业务建模流程，训练业务模型。

优选的，管理建模流程包括：客户端统一管理用户构建的业务工作流；通过客户端能够共享、共同构建和共同管理不同用户构建的业务工作流，通过客户端用户能够增加、删除、修改、查看自建和共同构建的业务工作流。

优选的，建模交互包括：客户端为用户提供建模交互功能，用户通过客户端进行自定义建模和管理建模流程；客户端向用户传递建模流程的状态、模型训练进度。

优选的，扩展建模组件包括：用户利用客户端提供的扩展接口添加个性化、自定义的建模算子。

优选的，所述服务端用于解析建模流程和监控计算端状态，包括：解析建模流程、监控流程状态、提交任务和收集日志。

优选的，解析建模流程包括：服务端将用户已构建好的业务工作流解析成计算端能够计算的任务；

监控流程状态包括：服务端实时监控工作流计算任务在计算端的状态及进度并实时传递到客户端；

提交任务包括：服务端根据建模流程解析结果组装任务并提交到计算端计算；

收集日志包括：服务端收集计算端的日志并传递到客户端。

优选的，所述计算端用于承载建模流程的实际计算。

本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

通过在系统中固化机器学习算子，用户可在客户端自定义建模流程，服务端解析相关的建模流程，并将计算任务提交到计算端计算，同时服务端会监控建模流程的计算状态并实时传递到客户端，用户通过客户端可以管理和查看自己构建的建模流程；本发明有效的促进了大数据的机器学习行业应用快速落地，极大程度的降低了机器学的使用门槛，扩大了机器学习的应用范围。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

图1是一种基于大数据的交互式和自定义数据建模系统框架图；

图2是建模流程时序图；

图3是解析建模流程流程图；

图4是服务端任务提交流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

请参考图1，本申请提供了一种基于大数据的交互式和自定义数据建模系统，该系统包括客户端、服务端和计算端；其中所述客户端和服务端均能够部署在任意的服务器，计算端部署在分布式计算环境；客户端提供用于建模的各种算子，这些算子提前固化在系统中，用户通过自定义算子的组合的方式构建基于业务的建模流程；服务端用于解析建模流程，并将建模流程提交计算端计算；这是本发明的主体流程，除此之外，客户端还提供管理和扩展建模流程的功能；服务端还用于监控工作流计算任务在计算端的状态并传递到客户端。

客户端，用于与用户交互，主要包括自定义建模流程、管理建模流程、建模交互和扩展建模组件功能；客户端可以是web端，也可以是移动端。

自定义建模流程功能，指用户根据业务的需求自定义算子的组合方式，通过自定义工作流展示业务建模流程，训练业务模型。

管理建模流程功能，包括：客户端统一管理用户构建的业务工作流；通过客户端能够共享、共同构建和共同管理不同用户构建的业务工作流，通过客户端用户能够增加、删除、修改、查看自建和共同构建的业务工作流。

用户交互功能，指客户端为用户提供建模交互功能，用户可以通过客户端自定义建模和管理建模流程等；客户端可以向用户传递建模流程的状态、模型训练进度等。

扩展建模组件功能，指用户利用客户端提供的扩展接口添加个性化、自定义的建模算子；对于新的功能，如深度学习和notebook等，也可以通过上述功能进行扩展。

服务端，用于解析建模流程和监控计算端状态，主要包括解析建模流程、监控流程状态、提交任务和收集日志等功能。

解析建模流程功能，指服务端将用户已构建好的业务工作流解析成计算端能够计算的任务。

监控流程状态功能，指服务端实时监控工作流计算任务在计算端的状态(成功和失败)及进度并实时传递到客户端。

提交任务功能，指服务端根据建模流程解析结果组装任务并提交到计算端计算。

收集日志功能，是指服务端要收集计算端的日志并反馈到客户端，方便用户整体把控建模流程状态。

计算端，用于承载建模流程的实际计算。

如图1所示，本发明提供了一种基于大数据的交互式和自定义数据建模系统，系统包括在3个部分：客户端、服务端和计算端。客户端主要用于与用户交互，包括用户自定义建模流程、管理建模流程、用户交互和扩展建模组件等主题功能；用户可以在客户端可视化、自定义、交互式构建建模流程，建模需要的算子提前固化在系统中，可以通过建模组件扩展功能来添加个性化算子；用户在客户端构建的建模流程须在服务端解析才能将任务提交到计算端，同时服务端监控建模流程在计算端的计算状态并传递到客户端；计算端用于计算建模流程。

整个建模流程从用户开始构建到最终计算完成得到模型，需要客户端、服务端和计算端配合完成，如图2所示。首先，用户在客户端构建建模流程，构建好的建模流程以文件的形式传递到服务端；与此同时，客户端可以管理和查看建模流程；其次，服务端解析建模文件，根据解析的结果将建模流程解析为可计算的任务，提交至计算端；然后，计算端计算任务，并将计算状态传递到服务端；最后，服务端将状态传递给客户端。解析和提交建模流程是本发明系统中重要的方法，如图3所示，系统根据自定义的规则判断用户自定义构建的建模流程是否正确，如果不正确，重新构建；如果正确，将建模流程保存为工作流文件，如json或者xml等；服务端解析工作流文件，根据解析结果将工作流文件组建成一个可计算的任务，解析方法是文件内容相对应的自开发方法，如果组建成功，则解析过程结束，否则重新解析。

服务端将解析结果转换为计算任务并提交至计算端，如图4所示。服务端将任务根据不同的计算进行分割，根据建模流程中的先后顺序将任务提交到不同的计算引擎，如果提交成功，则提交任务成功，否则重新提交。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。