一种基于深度学习的数据治理方法及系统与流程

本发明涉及数据治理，尤其涉及一种基于深度学习的数据治理方法及系统。

背景技术：

1、深度学习是大数据时代的一种算法工具，近年来成为研究热点。与传统的机器学习算法相比，深度学习技术有两个优点。首先，深度学习技术可以随着数据规模的增加不断提高其性能，而传统的机器学习算法很难利用海量数据来不断提高其性能。第二，深度学习技术可以直接从数据中提取特征，减少了为每个问题设计特征提取器的工作量，而传统的机器学习算法需要手工提取特征。因此，深度学习已经成为大数据时代的热门技术。学术界和产业界对深度学习进行了大量的研究和实践，在社会治理中数据包含：人员、房屋、事件、企业、物联网设备相关数据。

2、现有数据治理技术中，数据治理仍然存在数据权属不明、数据孤岛、数据碎片化、数据流动性差以及数据利用率不高、数据监督责权不明等问题。

技术实现思路

1、本发明的目的在于提供一种基于深度学习的数据治理方法及系统，旨在解决现有技术中数据治理技术中，数据治理仍然存在数据权属不明、数据孤岛、数据碎片化、数据流动性差以及数据利用率不高、数据监督责权不明等问题的技术问题。

2、为实现上述目的，本发明提供了一种基于深度学习的数据治理系统，所述基于深度学习的数据治理系统包括数据库、治理层和区域链平台，所述数据库用于输入治理数据，所述治理层与所述数据库网络连接，用于采集所述数据库中的治理数据，并通过深度学习后的预测模型提取目标数据，所述区域链平台通过智能合约与所述治理层数据交互，将目标数据整理于已审核的治理数据中，并回写至所述数据库中。

3、其中，所述治理层包括采集模块、模型库、规范模块和判断模块，所述采集模块与所述数据库网络连接，用于采集所述数据库中的治理数据，所述规范模块与所述采集模块网络连接，用于规范化采集的治理数据，所述模型库用于存储深度学习后的预测模型，所述判断模块通过预测模型提取治理数据中的目标数据，并将目标数据通过网络传输至所述区域链平台。

4、其中，所述采集模块通过物联网采集、网络爬虫和etl工具，使用其中一种或多种采集方式从所述数据库采集治理数据。

5、其中，本发明还提供一种采用上述所述的基于深度学习的数据治理系统的数据治理方法，包括如下步骤：

6、采集治理数据，对治理数据进行预处理；

7、根据预处理后的治理数据建立训练模型；

8、判断训练模型并生成预测模型；

9、通过预测模型提取治理数据中的目标数据，并将目标传输至所述区域链平台。

10、其中，在采集治理数据，对治理数据进行预处理的步骤中；

11、通过l-bfgs和共轭梯度算法对数据求解神经网络代价函数，使用pca算法对数据进行降维，最后对数据进行白化，降低输入的冗余性。

12、其中，在判断训练模型并生成预测模型的步骤中：

13、根据多个训练模型对治理数据的作出判定，得到多个判定结果，提取频次最高的判断结果，作为输出结果，将输出结果对应的训练模型进行集成，获得预测模型，并存储至所述模型库中。

14、本发明的一种基于深度学习的数据治理方法及系统，通过治理模型结构和方法流程、数据共享和访问控制、数据更新和智能合约三个方面来实现，通过深度学习可以随着数据规模的增加不断提高其性能，深度学习从数据中提取特征，减少了为每个问题设计特征提取器的工作量。

技术特征：

1.一种基于深度学习的数据治理系统，其特征在于，

2.如权利要求1所述的一种基于深度学习的数据治理系统，其特征在于，

3.如权利要求2所述的一种基于深度学习的数据治理系统，其特征在于，

4.一种采用如权利要求3所述的基于深度学习的数据治理系统的数据治理方法，其特征在于，包括如下步骤：

5.如权利要求4所述的一种基于深度学习的数据治理方法，其特征在于，在采集治理数据，对治理数据进行预处理的步骤中；

6.如权利要求5所述的一种基于深度学习的数据治理方法，其特征在于，在判断训练模型并生成预测模型的步骤中：

技术总结
本发明涉及数据治理技术领域，具体涉及一种基于深度学习的数据治理方法及系统，包括数据库、治理层和区域链平台，通过治理模型结构和方法流程、数据共享和访问控制、数据更新和智能合约三个方面来实现，通过深度学习可以随着数据规模的增加不断提高其性能，深度学习从数据中提取特征，减少了为每个问题设计特征提取器的工作量。

技术研发人员：马汉杰,俞健,吴鹏飞
受保护的技术使用者：杭州码全数字孪生科技研究院有限公司
技术研发日：
技术公布日：2024/1/11