大数据分析挖掘管理面与业务面的关联方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据挖掘与应用领域，尤其涉及一种大数据分析挖掘管理面与业务面的关联方法及系统。
【背景技术】
[0002]在“大数据”背景下，企业的大量数据不再按照传统的相关格式存储在企业数据库中，数据存储格式发生了很大的变化。而且，数据存储量增大，数据的生成使用非传统的数据输入手段，例如无线射频识别(RFID)、传感器网络等，并且数据对时间敏感。
[0003]以数据效能发挥和使用而言，大数据分析与传统数据仓库分析的区别体现在以下几个方面:(I)传统分析是针对已知的数据范围中易理解的数据进行分析，而大数据分析是针对传统手段捕捉到的数据之外的非结构化数据；(2)传统分析是建立在关系数据模型之上的，主题之间的关系在系统内就已经被创立，且分析也在此基础上进行；而大数据体现在典型的世界里，很难在所有的信息间以一种正式的方式建立关系，绝大多数的大数据分析数据库基于纵列数据库之外；(3)传统分析是定向的批处理，而大数据分析是利用对数据有意义的软件的支持针对数据的实时分析。
[0004]在此背景下，需要充分使用建模工具，探索实时数据之间的关联关系和相关的模型。众多大数据应用背后是丰富的数据关联关系以及以数据集成关系为主题的丰富的数据模型。可见，要形成开放的大数据应用产品或者大数据应用商店，必须建立开放的数据分析挖掘能力平台。
[0005]目前，在数据运营过程中，原始数据存在于内部网络系统(与外部网络不互通)，无法直接支持在外部网络的用户或应用。于数据运营过程中，一方面，处于内部系统的数据管理者，负责数据采集、整合、基础加工以及数据安全等工作，承担了数据安全与数据作业的工作；另外一方面，外部网络中的数据用户或应用需要数据开放来支持相关的数据应用或者形成数据产品，以发挥数据的最大核心价值。由于内部系统和外部网络不互通，造成外部网络的用户或应用无法获取相应的数据，从而无法形成开放的大数据应用产品或者应用商店。
[0006]但是，若内部系统的数据向外部网络完全开放，容易导致数据外漏，存在数据安全隐患。比如，若没有相应数据模型的使用权限的人员获取了该数据模型得到的结果数据，会造成数据外泄；若当前数据人员获取的结果数据涉及原始数据中的用户数据隐私，也会造成数据外泄，等等。
【发明内容】
[0007]本发明提供一种大数据分析挖掘管理面与业务面的关联方法及系统，用来解决现有技术中数据开放会产生的数据安全性、有序性管理的问题，比如将目标开放的数据能够准确开放给具备权限需求方，并能够通过配置方式，实现数据需求方按字段要求获取数据。
[0008]为了解决上述技术问题，本发明提供一种大数据分析挖掘管理面与业务面的关联方法，包括以下步骤:数据网关从数据分析挖掘平台获取模型运行得到的结果数据，并从所述数据分析挖掘平台同步所述模型的管理信息及索引信息；所述数据网关根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引；所述数据网关根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方。
[0009]进一步地，所述管理信息包括数据需求方标识信息、模型标识信息及模型训练集信息。
[0010]进一步地，所述索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。
[0011]进一步地，所述数据网关根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引包括:以模型标识信息为关联要素，确定该模型的管理信息及索引信息的对应关系，结果数据与模型标识信息及该模型运行的输入集信息一一对应，建立数据输出索引。
[0012]进一步地，所述数据网关根据所述数据输出索引及预设的安全规则将相关的结果数据输出至所述数据需求方包括:当所述数据需求方为用户时，所述数据网关通过服务代理输出所述相关的结果数据，当所述数据需求方为应用时，所述数据网关通过Webservice服务输出所述相关的结果数据。
[0013]本发明还提供一种大数据分析挖掘管理面与业务面的关联系统，设置于数据网关，包括获取模块、建立模块以及输出模块。所述获取模块，用于从数据分析挖掘平台获取模型运行得到的结果数据，并从数据分析挖掘平台同步所述模型的管理信息及索引信息；所述建立模块，用于根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引；所述输出模块，用于根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方。
[0014]进一步地，所述管理信息包括数据需求方标识信息、模型标识信息及模型训练集信息。
[0015]进一步地，所述索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。
[0016]进一步地，所述建立模块，用于根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引包括:以模型标识信息为关联要素，确定该模型的管理信息及索引信息的对应关系，结果数据与模型标识信息及该模型运行的输入集信息一一对应，建立数据输出索引。
[0017]进一步地，当所述数据需求方为用户时，所述输出模块，用于通过服务代理输出所述相关的结果数据；当所述数据需求方为应用时，所述输出模块，用于通过Webservice服务输出所述相关的结果数据。
[0018]本发明提供的大数据分析挖掘管理面与业务面的关联方法及系统，在数据分析挖掘平台开放的基础上，完成在数据分析挖掘平台与数据网关上的管理信息、索引信息以及模型运行的结果数据的关联同步，由数据网关将相应的模型运行得到的结果数据根据数据输出索引及预设的安全规则输出至数据需求方(例如合适的数据用户或者数据应用APP)。如此，在数据开放的环境下，实现安全、高效、有序的数据结果输出，直接支撑面向适合数据需求方的数据结果的自动化数据服务。
【附图说明】
[0019]图1所示为本发明较佳实施例提供的大数据分析挖掘管理面与业务面的关联方法的流程图；
[0020]图2所示为本发明较佳实施例提供的数据分析挖掘平台与数据网关的关联示意图。
【具体实施方式】
[0021]下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
[0022]如图1所示，本发明较佳实施例提供的方法包括以下步骤:S1:数据网关从数据分析挖掘平台获取模型运行得到的结果数据，并从数据分析挖掘平台同步所述模型的管理信息及索引信息；S2:数据网关根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引；S3:所述数据网关根据所述数据输出索引判断数据需求方对该模型的使用权限，并根据预设的安全规则处理所述结果数据后输出至所述数据需求方。
[0023]于较佳实施例中，管理信息包括数据需求方标识信息、模型标识信息及模型训练集信息。
[0024]于较佳实施例中，索引信息包括模型标识信息、模型运行时间信息以及模型运行输入集信息。
[0025]于较佳实施例中，所述数据网关根据所述管理信息、所述索引信息及所述结果数据，建立数据输出索引包括:以模型标识信息为关联要素，确定该模型的管理信息及索引信息的对应关系，结果数据与模型标识信息及该模型运行的输入集信息一一对应，建立数据输出索引。
[0026]于较佳实施例中，数据网关根据所述数据输出索引及预设的安全过滤规则将相关的结果数据输出至所述数据需求方包括:当数据需求方为用户时，数据网关通过服务代理输出相关的结果数据；当数据需求方为应用时，数据网关通过Webservice服务输出相关的结果数据。
[0027]以下详细描述本发明较佳实施例的关联方法。
[0028]具体而言，如图2所示，大数据平台为数据分析挖掘平台提供基础数据，数据分析挖掘平台通过数据网关为数据需求方提供数据挖掘服务。数据分析挖掘平台作为大数据分析挖掘的管理面，而数据网关作为大数据分析挖掘的业务面。
[0029]大数据平台主要是以Hadoop+SMP+MPP等数据库为核心技术要素混搭组成，完成数据的存储、清洗、加工等数据加工工作，并且负责实现