一种基于工业大数据算法的可信数据服务系统的制作方法

本发明涉及大数据技术领域，具体涉及一种基于工业大数据算法的可信数据服务系统。

背景技术：

大数据时代，随着企业业务的发展与信息化建设的成熟，企业内逐渐积累了海量的业务数据，这些数量庞大、晦涩难懂的数据背后蕴藏着巨大的商业价值。

如何充分利用这些数据的商业价值，快速有效的数据分析成为企业进行商业决策至关重要的一环。现今的大数据治理手段越来越多，但其如何在宏观管控的情况下，同时对数据本身的保证精细化管理，最快效率的最大化大数据平台的数据价值仍存在较大欠缺。

技术实现要素：

本发明提出一种基于工业大数据算法的可信数据服务系统以元数据、元模型为驱动，建立可信数据服务系统，增强数据宏观管控，并实现精细化管理，数据的标准、质量、价值、管控的有效性、高效性，最快效率的最大化大数据平台的数据价值。

为实现上述目的，本发明采用以下技术方案：

一种基于工业大数据算法的可信数据服务系统，包括：

工业数据分类分级评估单元，其具有一问卷调查平台，所述问卷调查平台用于收集企业基本信息；

工业数据管理单元，其包括数据标准管理平台、元数据管理模块、数据质量管理模块、数据资产管理模块、数据安全管理模块及数据运维管理模块；

算法库开发单元，其用于对数据进行预处理。

优选地，所述问卷调查平台采用金数据平台，所述金数据平台采用开放集成接口。

优选地，所述数据标准管理平台用于数据标准的维护与发布，标准与元数据管理模块建立对应关系，执行监控agent程序，统计标准执行情况；所述元数据管理模块用于工业数据管理单元中的各项数据流程进行管控；所述数据质量管理平台用于对数据从计划、获取、存储、共享、维护、应用及消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控及预警的管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高；所述数据资产管理模块用于开发、执行和监督数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、提高数据资产的价值；所述数据安全管理模块用于计划、制定、执行数据安全政策和安全策略措施，为数据和信息提供行之有效的认证、授权、访问和审计；所述数据运维管理模块通过运维工具来整体提升工业大数据的运维效率，其包括数据资产运维和数据质量运维。

优选地，所述元数据管理模块包括所述应用与分析子模块、元数据子模块及元模型子模块；所述应用与分析子模块用于对元数据进行应用和分析，其包括数据库管理、血统或影响分析、元数据使用情况统计、元数据质量管理、指标库管理、元数据差异分析及元数据权限管理；所述元数据子模块用于对元数据进行维护，其包括元数据检索、变更订阅、版本管理、元数据采集、元数据生命周期、元数据基本信息维护及元数据关系维护；所述元模型子模块用于对元模型进行维护，其包括元模型基本信息维护、元模型关系维护、元模型属性维护、元模型索引维护、包维护、关系类型维护、业务领域维护及枚举类型维护。

优选地，算法库开发单元包括数据清洗模块、数据脱敏模块及数据脱密模块。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、本发明提供一种基于工业大数据算法的可信数据服务系统，以元数据、元模型为驱动，建立可信数据服务系统，增强数据宏观管控，并实现精细化管理，数据的标准、质量、价值、管控的有效性、高效性，最快效率的最大化大数据平台的数据价值。

2、本发明提供一种基于工业大数据算法的可信数据服务系统，通过元数据管理模块降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。

附图说明

图1为本发明系统框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明中需要说明的是，术语“上”“下”“左”“右”“竖直”“水平”“内”“外”等均为基于附图所示的方位或位置关系，仅仅是为了便于描述本发明和简化描述，而不是指示或暗示本发明的装置或元件必须具有特定的方位，因此不能理解为对本发明的限制。

实施例

配合图1所示，本发明公开了一种基于工业大数据算法的可信数据服务系统，包括工业数据分类分级评估模块、工业数据管理模块和算法库开发模块，将开放成果集成部署于工业大数据产业创新平台，并与其实现单点登录对接，整合用户配置界面。

工业数据分类分级评估单元，其具有一问卷调查平台，问卷调查平台用于收集企业基本信息；

工业数据管理单元，其包括数据标准管理平台、元数据管理模块、数据质量管理模块、数据资产管理模块、数据安全管理模块及数据运维管理模块；

算法库开发单元，其用于对数据进行预处理。

问卷调查平台采用金数据平台，收集企业组织架构、信息管理系统、数据梳理基本台账等基本信息，并自动生成《企业工业数据分类分级敏感性来源记录表》，为后续线下制定数据分类标注的数据目录清单奠定基础，金数据平台采用开放集成接口。

还包括数据治理组织架构，用于明确各级角色和职责，保障数据治理的各项管理办法、工作流程的实施，推送数据治理工作的有序开展。数据治理组织架构主要由数据治理委员会、数据治理中心和各业务部门构成。

数据标准管理平台用于数据标准的维护与发布，标准与元数据管理模块建立对应关系，执行监控agent程序，统计标准执行情况；建立企业级省大数据平台数据标准体系，并制定数据标准运维管控制度和流程。

元数据管理模块用于工业数据管理单元中的各项数据流程进行管控；降低元数据使用难度、提升用户体验，使大数据平台各类用户均能参与到元数据运营维护当中。

数据质量管理平台用于对数据从计划、获取、存储、共享、维护、应用及消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控及预警的管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高；为内、外部用户提供平台化的数据质量监控；通过扩充和优化公共规则库、保证数据的完整性、一致性、准确性、及时性、合法性，提升用户使用感知；并提供数据质量应用满足个性化需求。

数据资产管理模块用于开发、执行和监督数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、提高数据资产的价值；重点建设从规划、注册、运维到注销的全流程管理体系，使数据资产管理系统化、可视化。

数据安全管理模块用于计划、制定、执行数据安全政策和安全策略措施，为数据和信息提供行之有效的认证、授权、访问和审计；建立体系化的数据安全管控策略，通过用户安全管理、数据安全管理实现全方位数据安全管控机制，通过技术手段与管理措施相结合的方式落实数据安全，做到事前可管、事中可控、事后可查。

数据运维管理模块通过运维工具来整体提升工业大数据的运维效率，其包括数据资产运维和数据质量运维。

工业数据管理单元内各模块业务关系流程步骤包括：

s1、数据标准管理平台将标准定义映射到元数据信息上，实现数据标准的规范要求落地；

s2、元数据管理模块为数据资产管理模块提供存储模型、属性信息查询服务；

s3、元数据管理模块为数据质量管理模块提供元数据相关属性信息；

s4、用户通过元数据定义大数据平台的数据结构；

s5、数据质量管理模块根据采集需求从大数据平台采集数据；

s6、数据质量管理模块将数据质量问题反馈给大数据平台；

s7、数据质量管理模块向资产模块提交数据质量评估结果；

s8、元数据管理模块为数据安全管理模块提供隐私级别定义服务；

s9、数据资产管理模块发起资产访问申请，由数据安全管理模块控制用户访问权限，控制数据资产的增加、删除、变更操作权限，对访问的数据内容、数据属性等操作进行管控；

s10、数据安全管理模块为大数据平台提供数据访问权限策略。

元数据管理模块包括应用与分析子模块、元数据子模块及元模型子模块；应用与分析子模块用于对元数据进行应用和分析，其包括数据库管理、血统或影响分析、元数据使用情况统计、元数据质量管理、指标库管理、元数据差异分析及元数据权限管理；元数据子模块用于对元数据进行维护，其包括元数据检索、变更订阅、版本管理、元数据采集、元数据生命周期、元数据基本信息维护及元数据关系维护；元模型子模块用于对元模型进行维护，其包括元模型基本信息维护、元模型关系维护、元模型属性维护、元模型索引维护、包维护、关系类型维护、业务领域维护及枚举类型维护。

算法库开发单元包括数据清洗模块、数据脱敏模块及数据脱密模块。数据脱敏模块包括静态数据脱敏和动态数据脱敏，数据脱密模块包括流式数据脱密和批量数据脱密，数据清洗模块包括纠正错误、删除重复项、统一规格、修正逻辑、转换构造、数据压缩、补足残缺或空值、丢弃数据或变量。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。