一种基于区块链的高校数据增量治理系统的制作方法

本发明涉及数据智能化处理技术领域，尤其涉及一种基于区块链的高校数据增量治理系统。

背景技术：

高校数据体量巨大，但数据质量不佳，孤岛化、碎片化问题突出，很多校园各部门有各自的数字平台而不互通、标准不统一。其数据中心保存了大量重复杂乱的数据，浪费了资源又不能有效利用，不能充分发挥数据的价值。为解决这一问题，数据治理概念被引入，再辅之深度学习、大数据计算等形成一个完整的体系架构来让高校的数据拥有生命力，更好地为师生服务，使高校的管理更加科学化、现代化、自动化、智能化。

目前，采用数据治理来实现高校数据的数据互通，具体为：先确定好问题，获得管理层的支持；进而评估成熟度、规划路线、建立蓝图；然后建立数据字典、理解数据、建立元数据库，定义衡量指标。任命数据责任人、管理数据、评分数据质量；最后衡量结果。这个模型把人、技术、规则标准的作用融合在整个治理的过程中。

但是，现有的数据治理模型存在的缺点在于：人为参与数据治理较多，自动化程度不高，影响效率；除了数据本身，缺少审核信息等附加数据以及对其的安全防护；没有形成完整的数据生命周期，有用数据不能及时沉淀、回写，导致有用数据不能被合理有效利用，不断加重人工审核工作量。

技术实现要素：

本发明实施例所要解决的技术问题在于，提供一种基于区块链的高校数据增量治理系统，采用非对称加密技术和数据指纹来实现数据隐私保护，并通过交互设计来实现数据可视化智能化管理，引入深度学习等降低人工参与度，避免有用数据与脏数据混杂，减少人工审核工作量。

为了解决上述技术问题，本发明实施例提供了一种基于区块链的高校数据增量治理系统，包括数据源层、获取层及治理层；其中，

所述数据源头，是存储着各种业务类型数据和医疗数据的业务系统或业务部门硬件设备；

所述数据采集层，用于从所述数据源头中采集整理各种可用类型数据；

所述数据治理层包括多源异构数据规范化模块、增量审核模块、数据指纹模块、权威数据模块、基于区块链平台互连的区块链存证模块、智能填报模块及数据回写模块；其中，所述多源异构数据规范化模块，用于对所述数据采集层获取的各种可用类型数据进行规范化处理，并存入预设的规范化数据库；所述增量审核模块，通过深度学习后的预测模型，从规范化数据库提取符合预测模型的目标数据进行智能审核，复杂数据则再通过交互界面，人工干预进行确认审核；所述数据指纹模块，提取审核数据，通过几类计算算法，加密已审核数据并提取数据指纹；所述权威数据模块，接收数据指纹模块的请求后生成随机公私钥对，其中公钥发送至数据指纹模块，解密已审核的数据并验证数据指纹，存储所述增量审核模块审核通过的目标数据到数据存储层；所述区块链存证模块，通过部署的智能合约与区块链平台进行数据交互，写入已审核的业务数据和相关的数据指纹，通过abi接口读取验证数据；所述智能填报模块，根据使用场景中的预设表单类型，在所述权威数据模块中检索到匹配数据，将相关数据提取出来并对应自动提供给预设表单中；所述数据回写模块，用于回写给需要的业务系统，实现数据互通。

其中，所述高校数据增量治理系统还包括：数据存储层和数据分析检索层；其中，

所述数据存储层，使用关系型数据库、nosql数据库、分布式文件存储系统，存储规范化的结构化数据、非结构数据、文件型数据等。

所述数据分析检索层，用于对数据实现深层次的挖掘分析和检索，通过大数据训练，形成预测模型。

其中，所述数据分析检索层通过搜索查询或机器学习实现对数据实现深层次的挖掘分析。

其中，所述数据源头存储的高校所有可用类型数据包括业务数据、教学数据、机器数据及医疗数据；其中，

所述业务数据包括但不限于人事数据、科研数据、教务数据、学科数据、财务数据和一卡通数据等业务系统数据；

所述教学数据包括但不限于课堂教学数据、线上平台数据和智慧教室数据等；

所述机器数据包括但不限于设备日志、设备信息数据和设备行为数据等；

所述医疗数据包括但不限于附属医院的医疗数据等。

其中，所述数据采集层通过etl工具、物联网采集、网络爬虫、批量导入、终端采集等方式，使用其中一种或组合使用方式，从所述数据源头中获取各种可用类型数据。

实施本发明实施例，具有如下有益效果：

1、本发明利用指纹数据、区块链等技术，保障了数据在治理、审核、读写等过程中的完整性、可靠性，进一步完善了数据可溯源、可追责等功能；

2、本发明实现数据螺旋增量治理，即随着循环次数增加能进一步减轻人工工作量，使得人为参与度减少，进一步降低审核工作量，同时提高了自动化、智能化程度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提供的基于区块链的高校数据增量治理系统的逻辑结构示意图；

图2为本发明实施例提供的基于区块链的高校数据增量治理系统中增量审核的逻辑示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提供的一种基于区块链的高校数据增量治理系统，包括数据源层、获取层及治理层；其中，

数据源头，存储高校所有类型数据；其中，高校所有可用类型数据包括但不限于业务数据、教学数据、机器数据及医疗数据；其中，业务数据包括但不限于人事数据、科研数据、教务数据、学科数据、财务数据和一卡通数据；教学数据包括但不限于课堂教学数据、线上平台数据和智慧教室数据；机器数据包括设备日志、设备信息数据和设备行为数据；医疗数据包括附属医院的医疗数据。

数据采集层，通过etl工具、物联网采集、网络爬虫、批量导入、终端采集等方式，使用其中一种或组合使用方式，从所述数据源头中获取各种可用类型数据；

数据治理层包括多源异构数据规范化模块、增量审核模块、数据指纹模块、权威数据模块、基于区块链平台互连区块链存证模块、智能填报模块及数据回写模块；其中，

多源异构数据规范化模块，用于对获取层所获取的各种可用类型数据进行规范化处理，并存入预设的规范化数据库；例如，为避免多个名称指向同一个数据导致重复存储的问题，结合国家标准制定了《高校公共基础信息数据元规范》，该标准规定了高校公共基础信息的数据元分类、数据元属性与数据元目录，涉及高等院校教学、科研、办公活动等内容，每个数据元设置中文名称、英文名称、中文全拼、内部标识符、对象类词、应用约束、数据类型、数据格式等属性，每个属性设置取值范围。所有业务部门使用同一套规范标准，大大提升数据质量，为下一步增量审核减轻负担；

增量审核模块，从规范化数据库提取目标数据的新增量进行审核，随着可信历史精准数据的积累和不断的深度学习模型计算，审核量随之下降；

数据指纹模块，提取审核数据，通过几类计算算法，加密已审核数据并提取数据指纹；例如，首先选取安全参数α，选取大素数p，要求|p|＝α；q为p-1的大素数因子，且g的阶为q，q满足条件q>2^lq(α)，其中lq：n→n为确定q长度的函数；为各使用增量审核模块的用户分配账户名idi及预存用户相应设置的密码；其次，使用增量审核模块的用户凭借账户名及密码登录准备审核，验证通过后自动随机生成指纹种子对应种子明文生成开始审核时间戳ts，被审核的增量数据表示为d，审核结束生成审核完成时间戳te；向权威数据模块发送请求，取得公钥pkj；最后，随机选取计算γ＝pkj^βmodp，δ＝h1(γ∥idi∥ts∥te)，加密数据计算指纹数据e＝h2(d∥pkj∥pki∥γ)；计算ε＝e·pki+βmodq，θ＝pkj^εmodp；形成加密后的指纹数据元组<c,e,θ,pki,idi,ts,te>发送给权威数据模块；

权威数据模块，接收数据指纹模块的请求后生成随机公私钥对，其中公钥发送至数据指纹模块，解密已审核的数据并验证数据指纹，存储所述增量审核模块审核通过的目标数据到数据存储层；例如，随机生成私钥并匹配出对应公钥后将该公钥pkj发送至数据指纹模块；且进一步待接收到数据指纹模块发送的指纹数据元组<c,e,θ,pki,idi,ts,te>后，计算计算δ＝h1(γ∥idi∥ts∥te)，即可解密数据计算指纹e′＝h2(d∥pkj∥pki∥γ)，与e比对，通过比对则成功将数据d写入；

区块链存证模块，所述区块链存证模块，通过部署的智能合约与区块链平台进行数据交互，写入审核相关信息和已审核业务数据的数据指纹，通过abi接口读取验证数据；例如，将元组<ω,idi,ts,te>入链存储，其中ω＝h(d)；使数据能被溯源，出现问题可以追责，且信息来源可靠；可把区块文件分片后再采用前向纠错码(fec)编码并散布到各存储节点，既节省了资源又保证了容错能力；通过智能合约的abi接口，满足特定条件自动触发：若指纹数据比对失败将立即反馈错误信息给负责人；对于可信历史精准数据，每n条(或以部门为单位)打包，计算数据指纹存储到区块链平台，用于批量读取数据时减少比对次数；

智能填报模块，根据使用场景中的预设表单类型，在所述权威数据模块中检索到匹配数据，将相关数据提取出来并对应自动提供给预设表单中；例如，部门根据需要设计好表单，智能填报中心将根据表单字段在规范化数据存储读取匹配的数据，通过指纹比对后即自动填入，不再需要人工审核，空缺字段则是由用户填写的新数据；未通过指纹比对将触发智能合约反馈给负责人以及用户界面双方，以便尽快解决问题；

数据回写模块，用于回写给需要的业务系统，实现数据互通；例如，通过审核和指纹比对的新增量数据要及时回写并更新到业务系统和数据治理层，以便各部门掌握最新动态，正确履行职务。

在本发明实施例中，该高校数据增量治理系统还包括：数据分析层；其中，数据分析层，用于通过搜索查询或机器学习等方式对数据实现深层次的挖掘分析。

如图2所示，为本发明实施例提供的基于区块链的高校数据增量治理系统中增量审核的逻辑示意图。对全量数据做增量审核，通过审核的数据存入权威数据模块，此时智能填报模块自动填写已有数据，用户填写新数据，最终都汇入全量数据中进入下一轮增量审核，如此循环往复，人工审核量显著降低，权威数据模块存储的可信历史精准数据不断增加，减少下一次用户填写工作量，进一步提升智能填报模块的效率。实现数据质量和数据可复用性螺旋式增量提升。全过程由数据指纹模块和区块链存证模块提供保障。

实施本发明实施例，具有如下有益效果：

1、本发明利用指纹数据、区块链等技术，保障了数据在治理、审核、读写等过程中的完整性、可靠性，进一步完善了数据可溯源、可追责等功能；

2、本发明实现数据螺旋增量治理，即随着循环次数增加能进一步减轻人工工作量，使得人为参与度减少，进一步降低审核工作量，同时提高了自动化、智能化程度。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。