基于业务规则通过模型工具提炼标签的方法及装置与流程

文档序号:15932730发布日期:2018-11-14 01:54阅读:550来源:国知局

本发明涉及大数据处理技术领域,具体提供一种基于业务规则通过模型工具提炼标签的方法及装置。

背景技术

随着信息化的普及以及政府企业近年来的大数据建设,规模及应用已见成效,而如何深挖数据进一步提升效能则成为主要考虑因素。数据标签作为一种元数据(描述数据的数据),它将业务通过简短的短语表述出来,并通过体量较小的方式存储,灵活且精炼,非常适合大数据环境下的应用模式。但是由于业务的繁杂,技术门槛较高,很难实现快速且灵活的打标签。



技术实现要素:

本发明的技术任务是针对上述存在的问题,提供一种能够更为深入的利用数据,服务企业、政府、社会,并大大降低运营成本,提升企业价值的基于业务规则通过模型工具提炼标签的方法。

本发明进一步的技术任务是提供一种基于业务规则通过模型工具提炼标签的装置。

为实现上述目的,本发明提供了如下技术方案:

基于业务规则通过模型工具提炼标签的方法,所述方法接入不同异构数据源,按照需求通过模型工具建模,通过多种建模组件自由组合,建模组件之间通过链路连接,将复杂业务进行组件分解,完成对数据打标签。

所述异构数据源包括关系型数据库、内存数据库、分布式数据库及文件等。

该方法以数据为基础,模型工具为依据,规则为导向,任务为实现的理念,实现数据打标签的功能。首先提出数据从业务中剥离的创新思想,屏蔽技术上的差异,将数据作为加工的作料,以数据集的模式提供给加工者。模型工具是业务的实现,将复杂业务分解,通过组件化的模式体现,降低业务建模的成本,提高业务专注度。规则是模型工具的实现,通过初始化模型(模型参数设置)达到模型的复用。任务是对任意规则的组合,通过接入数据资源,将模型规则真正落地实现。通过该方法将普通用户通过图形配置并按照模型要求实现数据打标签的目标成为现实。

作为优选,该方法包括建模工具、运算引擎和数据存储。

作为优选,建模工具利用开源图形控件重新整合,加入建模组件,建模组件之间通过链路连接,利用上一建模组件的输出是下一建模组件的输入,将复杂业务进行组件分解,通过组件间的协作,实现业务逻辑。

作为优选,所述建模组件包括输入、分组、比对、转换、过滤、判断、自定义、输出。

作为优选,运算引擎通过大数据流式处理模式,完成模型工具建模运算,得出结果,为数据打标签提供依据。

作为优选,运算引擎运用的技术包括spark、内存计算、ngix反向代理。

本发明中利用大数据流式处理模式结合ngix反向代理,稳定而高效的支撑标签模型的计算。其中大数据流式处理模式按照前端组件串并的模式,将分布式计算按照步骤模式处理,实现了前端配置与后端处理的完美匹配,同时强大的ngix反向代理,支撑流式处理中的原子性操作,为模型运算提供依据,高效、稳定的保障提炼标签的完成,再通过数据存储让数据标签安全落地。

作为优选,所述数据存储采用分布式数据库和索引数据库,完成对标签数据的存储。

基于业务规则通过模型工具提炼标签的装置,包括建模工具模块、运算引擎模块和数据存储模块,建模工具模块用于利用开源图形控件重新整合,加入建模组件,建模组件之间通过链路连接,利用上一建模组件的输出是下一建模组件的输入,将复杂业务进行组件分解,通过组件间的协作,实现业务逻辑;运算引擎模块用于通过大数据流式处理模式,完成模型工具建模运算,得出结果,为数据打标签提供依据;数据存储模块用于采用分布式数据库和索引数据库,完成对标签数据的存储。

作为优选,所述建模工具模块的建模组件包括输入、分组、比对、转换、过滤、判断、自定义、输出。

作为优选,所述运算引擎模块运用spark、内存计算、ngix反向代理技术,通过大数据流式处理模式,完成模型工具模块建模运算,得出结果,为数据打标签提供依据。

与现有技术相比,本发明的基于业务规则通过模型工具提炼标签的方法具有以下突出的有益效果:所述基于业务规则通过模型工具提炼标签的方法通过用户容易接受并且易上手的图形化模式,通过多种组件灵活配置,只需关注业务的实现,无需考虑技术选型等内容,即使不懂技术也可以构建自己理想的模型,通过模型的复用大大提高业务模型共享及推广,利用任务调度实现模型的动态执行,最终按照用户模型的意图为数据打标签,利用标签数据可以构建更为广阔的知识体系,支撑用户对数据的业务应用,具有良好的推广应用价值。

附图说明

图1是本发明所述基于业务规则通过模型工具提炼标签的装置的拓扑图。

具体实施方式

下面将结合附图和实施例,对本发明的基于业务规则通过模型工具提炼标签的方法及装置作进一步详细说明。

实施例

本发明的基于业务规则通过模型工具提炼标签的方法,该方法接入关系型数据库、内存数据库、分布式数据库及文件等不同异构数据源,按照需求通过模型工具建模,通过多种建模组件自由组合,建模组件之间通过链路连接,将复杂业务进行组件分解,完成对数据打标签。以数据为基础,模型工具为依据,规则为导向,任务为实现的理念,实现数据打标签的功能。首先提出数据从业务中剥离的创新思想,屏蔽技术上的差异,将数据作为加工的作料,以数据集的模式提供给加工者。模型工具是业务的实现,将复杂业务分解,通过组件化的模式体现,降低业务建模的成本,提高业务专注度。规则是模型工具的实现,通过初始化模型(模型参数设置)达到模型的复用。任务是对任意规则的组合,通过接入数据资源,将模型规则真正落地实现。通过该方法将普通用户通过图形配置并按照模型要求实现数据打标签的目标成为现实。

该方法包括建模工具、运算引擎和数据存储。

建模工具利用开源图形控件重新整合,加入建模组件,建模组件之间通过链路连接,利用上一建模组件的输出是下一建模组件的输入,将复杂业务进行组件分解,通过组件间的协作,实现业务逻辑。建模组件包括输入、分组、比对、转换、过滤、输出。

运算引擎通过大数据流式处理模式,完成模型工具建模运算,得出结果,为数据打标签提供依据。运算引擎运用的技术包括spark、内存计算、ngix反向代理。本发明中利用大数据流式处理模式结合ngix反向代理,稳定而高效的支撑标签模型的计算。其中大数据流式处理模式按照前端组件串并的模式,将分布式计算按照步骤模式处理,实现了前端配置与后端处理的完美匹配,同时强大的ngix反向代理,支撑流式处理中的原子性操作,为模型运算提供依据,高效、稳定的保障提炼标签的完成,再通过数据存储让数据标签安全落地。

数据存储采用分布式数据库和索引数据库,完成对标签数据的存储。

如图1所示,本发明的基于业务规则通过模型工具提炼标签的装置包括建模工具模块、运算引擎模块和数据存储模块。

建模工具模块用于利用开源图形控件重新整合,加入建模组件,建模组件之间通过链路连接,利用上一建模组件的输出是下一建模组件的输入,将复杂业务进行组件分解,通过组件间的协作,实现业务逻辑。建模工具模块的建模组件包括输入、分组、比对、转换、过滤、输出。

运算引擎模块用于通过大数据流式处理模式,完成模型工具建模运算,得出结果,为数据打标签提供依据。运算引擎模块运用spark、内存计算、ngix反向代理技术,通过大数据流式处理模式,完成模型工具模块建模运算,得出结果,为数据打标签提供依据。

数据存储模块用于采用分布式数据库和索引数据库,完成对标签数据的存储。

以上所述的实施例,只是本发明较优选的具体实施方式,本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1