公共数据开放利用的系统及方法与流程

本发明涉及大数据管理和利用，尤其是涉及一种公共数据开放利用的系统及方法。

背景技术：

1、随着数字化建设进程的加快，为了夯实建设基础，全面赋能经济社会发展，许多地区或者企业建立了大数据平台，用于统筹本地区或者企业的大数据发展。政务或者企业大数据经过大数据平台整合汇聚后，主要有两条数据利用通道：一是面向政务或企业内部应用的数据共享通道，一是面向（非内部的）外部社会应用的数据共享通道。但是，由于大量数据比较敏感，涉及到安全保护问题，如果将这部分数据直接通过大数据平台进行数据公开，会存在数据泄露等安全问题，因此，现有的数据共享通道无法完全将敏感的、有价值的数据进行数据公开，提供给个人或者社会企业使用，从而导致数据利用率低。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种公共数据开放利用的系统及方法，能够在保证原始数据的安全性的同时，提高数据的利用率。

2、为了实现上述目的，本发明实施例采用的技术方案如下：

3、第一方面，本发明实施例提供了一种公共数据开放利用的系统，包括：部署在政务或企业外网环境的数据开放域子系统和公共数据资源管理子系统；其中，数据开放域子系统包括：数据申请管控模块、数据加工处理模块、数据产品审核模块和数据产品服务模块；公共数据资源管理子系统包括：公共数据仓库；数据申请管控模块用于进行数据开放审批和建立数据开放协议；数据加工处理模块用于从数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；数据产品审核模块用于对数据产品进行审核；数据产品服务模块用于在数据产品审核通过后，向外部应用提供数据产品服务。

4、在一种实施方式中，数据开放域子系统还包括：开放终止和安全模块，用于进行数据开放终止、数据开放评价以及数据销毁。

5、在一种实施方式中，公共数据资源管理子系统还包括：数据目录；数据申请管控模块包括：入驻与建档子模块、开放数据申请审批子模块和协议签订审批子模块；入驻与建档子模块用于对数据使用对象提交的入驻申请进行审批，并对审批通过的数据使用对象进行档案建立和管理；开放数据申请审批子模块用于根据入驻的数据使用对象的数据开放申请进行数据开放审批；其中，数据开放申请是根据数据目录确定的；协议签订审批子模块用于在完成数据开放审批之后，确定数据开放协议。

6、在一种实施方式中，数据加工处理模块包括：脱敏空间、开发空间、测试空间和生产空间；脱敏空间用于从公共数据仓库中获取样例数据进行数据脱敏，并将脱敏后的样例数据发送至开发空间；开发空间用于根据脱敏后的样例数据进行模型训练，得到数据加工模型；测试空间用于根据测试样例数据对数据加工模型进行测试；生产空间用于根据数据加工模型进行模型计算，得到数据产品。

7、在一种实施方式中，数据产品审核模块包括：形式审核子模块、技术审核子模块和业务审核子模块；形式审核子模块的审核内容至少包括：数据产品基本信息审核、数据产品形态审核、数据产品完整性审核和敏感数据脱敏规则审核；技术审核子模块的审核内容至少包括：数据产品与申请信息一致性审核、数据加工逻辑审核、入参出参合规性审核和出参敏感数据脱敏规则核验；业务审核子模块用于的审核内容至少包括：数据产品业务价值审核、出域数据非原始数据审核、不可算法还原原始数据审核和数据服务限流规则核验。

8、在一种实施方式中，数据产品服务模块包括：api接口网关、接口监测子模块和api限流熔断子模块；api接口网关用于向外部应用提供数据产品服务；接口监测子模块用于监测api接口网关的接口数据请求；api限流熔断子模块用于在监测到异常高并发接口数据请求时，熔断接口数据请求。

9、在一种实施方式中，开放终止和安全模块包括：开放终止审批子模块、数据开放评价子模块和数据销毁子模块；开放终止审批子模块用于提交数据开放终止申请，并对数据开放终止申请进行审批；数据开放评价子模块用于对数据开放和使用过程进行评价；数据销毁子模块用于对开放数据进行销毁。

10、在一种实施方式中，上述系统还包括：部署在互联网环境的多个外部应用。

11、第二方面，本发明实施例提供了一种公共数据开放利用的方法，该方法应用于上述第一方面提供的任一项的公共数据开放利用的系统，包括：通过数据申请管控模块进行数据开放审批和建立数据开放协议；通过数据加工处理模块从公共数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；通过数据产品审核模块对数据产品进行审核；通过数据产品服务模块在数据产品审核通过后，向外部应用提供数据产品服务。

12、在一种实施方式中，上述方法还包括：通过开放终止和安全模块进行数据开放终止、数据开放评价以及数据销毁。

13、本发明实施例带来了以下有益效果：

14、本发明实施例提供的上述公共数据开放利用的系统及方法，包括：部署在政务或企业外网环境的数据开放域子系统和公共数据资源管理子系统；其中，数据开放域子系统包括：数据申请管控模块、数据加工处理模块、数据产品审核模块和数据产品服务模块；公共数据资源管理子系统包括：公共数据仓库；数据申请管控模块用于进行数据开放审批和建立数据开放协议；数据加工处理模块用于从数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；数据产品审核模块用于对数据产品进行审核；数据产品服务模块用于在数据产品审核通过后，向外部应用提供数据产品服务。上述系统未将公共数据暴露在互联网中，采用在政务或企业外网环境相对封闭安全的环境进行公共数据开放利用，能够保证数据的安全性，避免数据泄露；同时，上述系统通过数据申请管控模块对数据开放进行审核，通过数据加工处理模块、数据产品审核模块和数据产品服务模块对公共数据加工后，将不再敏感的结果数据提供给互联网环境中的外部应用调用，使得数据使用对象无法接触原始数据，既能保障公共数据的安全性，又能保障数据使用对象的用数需求，充分利用公共数据资源，提高数据的利用率。

15、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

16、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种公共数据开放利用的系统，其特征在于，包括：部署在政务或企业外网环境的数据开放域子系统和公共数据资源管理子系统；其中，所述数据开放域子系统包括：数据申请管控模块、数据加工处理模块、数据产品审核模块和数据产品服务模块；所述公共数据资源管理子系统包括：公共数据仓库；

2.根据权利要求1所述的系统，其特征在于，所述数据开放域子系统还包括：开放终止和安全模块，用于进行数据开放终止、数据开放评价以及数据销毁。

3.根据权利要求1所述的系统，其特征在于，所述公共数据资源管理子系统还包括：数据目录；所述数据申请管控模块包括：入驻与建档子模块、开放数据申请审批子模块和协议签订审批子模块；

4.根据权利要求1所述的系统，其特征在于，所述数据加工处理模块包括：脱敏空间、开发空间、测试空间和生产空间；

5.根据权利要求1所述的系统，其特征在于，所述数据产品审核模块包括：形式审核子模块、技术审核子模块和业务审核子模块；

6.根据权利要求1所述的系统，其特征在于，所述数据产品服务模块包括：api接口网关、接口监测子模块和api限流熔断子模块；

7.根据权利要求2所述的系统，其特征在于，所述开放终止和安全模块包括：开放终止审批子模块、数据开放评价子模块和数据销毁子模块；

8.根据权利要求1所述的系统，其特征在于，所述系统还包括：部署在互联网环境的多个外部应用。

9.一种公共数据开放利用的方法，其特征在于，所述方法应用于权利要求1至8任一项所述的公共数据开放利用的系统，包括：

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：通过开放终止和安全模块进行数据开放终止、数据开放评价以及数据销毁。

技术总结
本发明提供了一种公共数据开放利用的系统及方法，包括：部署在政务或企业外网环境的数据开放域子系统和公共数据资源管理子系统；其中，数据开放域子系统包括：数据申请管控模块、数据加工处理模块、数据产品审核模块和数据产品服务模块；公共数据资源管理子系统包括：公共数据仓库；数据申请管控模块用于进行数据开放审批和建立数据开放协议；数据加工处理模块用于从数据仓库获取样例数据进行数据加工模型的训练，得到数据产品；数据产品审核模块用于对数据产品进行审核；数据产品服务模块用于在数据产品审核通过后，向外部应用提供数据产品服务。本发明能够在保证原始数据的安全性的同时，提高数据的利用率。

技术研发人员：邹任芯,周和英,万琳
受保护的技术使用者：数字浙江技术运营有限公司
技术研发日：
技术公布日：2024/1/14