一种公共数据运营系统及其数据分区部署架构的制作方法

本发明涉及数据运营，具体涉及一种公共数据运营系统其数据分区部署架构。

背景技术：

1、数据基础制度建设事关国家发展和安全大局，要维护国家数据安全，保护个人信息和商业秘密，促进数据高效流通使用、赋能实体经济，统筹推进数据产权、流通交易、收益分配、安全治理，因此需要加快构建数据基础制度体系，进一步释放数据要素价值，激活数据要素潜能。

2、公共数据在整体数据中占比高达70％-80％，蕴藏巨大的经济和社会价值潜力。推动公共数据运营、充分发挥数据要素价值，具有汇聚流失数据资产构建数据资源池、盘活各地市现有数字基础设施资源、完善和激活各市数字经济产业链、助力各市数字化治理和惠民服务的重要意义，现有的各个与公共数据相关的业务单位各自独立开发软件平台利用各环节中数据，导致公共存储资源利用率低；或者部分单位联合实现了部分公共数据的汇聚、共享交换，导致公共数据开发利用不完整不连续，不能对数据全生命周期进行追溯，公共数据的可信情况不能保证，使得各部门的政务数据和企业个人的数据融合、碰撞效应不明显未能充分发挥公共数据价值。

技术实现思路

1、因此，为了解决现有的公共数据开发利用不完整不连续，不能对数据全生命周期进行追溯，公共数据的可信性差证，不能充分发挥公共数据价值的问题，本发明提一种公共数据运营系统其数据分区部署架构。

2、为达到上述目的，本发明提供如下技术方案：

3、第一方面，本发明实施例提供的公共数据运营系统，包括：工具平台层、数据资源池层、业务平台层、数据运营层和数据安全工具体系，其中：

4、所述工具平台层，以政务云管理平台为基础，利用云化计算资源和存储资源构建计算资源池和存储资源池，并基于计算资源池和存储资源池，构建包括数据采集、数据管理、数据处理、数据挖掘、数据共享工具能力的数据中台体系；

5、所述数据资源池层，基于所述数据中台体系，形成以公共数据为主企业数据为辅的数据资源的物理汇聚和逻辑汇聚，所述物理汇聚表征各政务部门的数据目录挂载到政务云管理平台并定期上传数据；逻辑汇聚表征各政务部门、企业或外部数据源在数据中台的数据管理工具中进行数据目录注册但不上传数据，根据用数需求提供数据供场景运营使用；

6、所述业务平台层，基于数据资源池层及工具平台层中的数据，进行登记确权、安全用数、运营服务和合规监管；

7、所述数据运营层，包括多种运营模式，用于将公共数据以api、数据集、数据报告、数据应用形式向各产业和行业进行对外输出；

8、所述数据安全工具体系，包括数据库审计工具和终端防泄漏工具，其中的数据库审计工具用于对数据库增删改查日志进行分析，并对分析结果中存在风险的操作进行告警；终端防泄漏工具部署在可接触到数据的电脑终端，对于数据异常访问、拷贝、外发行为进行及时发现并阻断。

9、本发明提供的公共数据运营系统，将数据资源持有权、数据加工使用权、数据产品经营权与公共数据运营系统参与主体的权益绑定，建设保障数据资源持有权与数据加工使用权分离的安全用数工具，且在不触碰原始数据且保障授权可信的前提下，面向数据需求方提供数据交易及运营服务，且将合规监管贯穿于公共数据运营全流程，实现了任意数据皆可控、各环节皆可信的监管目标，保证了数据的安全可信。

10、在一实施例中，所述计算资源池包括流式计算引擎、批量计算引擎，所述存储资源池包括关系型数据库、非关系型数据库、文档存储、图片存储及区块链存储。

11、本发明实施例提供计算资源池个存储资源池的包括多种形式，可以满足不同数据类型的计算和存储功能。

12、在一实施例中，所述数据资源池层，包括标准库、主题库及专题库，其中：

13、所述标准库，用于存储全量政务原始数据进行标准化后的数据；

14、所述主题库，用于对标准库中的数据根据数据运营主题进行分类得到的数据仓库；

15、所述专题库，用不满足特定数据运营需求而建立的专门用于存储某个业务领域的数据仓库。

16、本发明实施通过将数据分别存储于按照场景划分的数据库中，有利于更加高效精准的获取相应场景的所需的数据，满足数据需求者和开发者的要求。

17、在一实施例中，所述业务平台层，包括：登记确权平台、数据开放实验室、数据资产化运营平台、数据资产化服务平台、数据要素安全监管平台，其中：

18、所述登记确权平台用于通过进行首次登记、许可登记、转移登记、变更登记、销毁登记流程，确定数据融通参与主体对于数据要素、数据产品的数据资源持有权、加工使用权、产品经营权的权益范围，通过数据特征链、数据产权链、业务存证链实现数据权益流转及留痕；

19、所述数据开放实验室，包括：数据沙箱模块、隐私计算模块、模型仓库模块、成果上线模块、资源监控模块和数据资源目录模块，其中数据沙箱模块用于结合网络隔离、物理隔离技术及沙箱技术提供数据分析与算法孵化双重技术工具，用于不受控环境下的数据分析与融通；所述隐私计算模块，用于利用联邦学习、多方安全计算工具进行数据建模；数据资源目录模块用于展示可开放的数据资源的目录、元信息和样例数据，用于数据开放实验室使用方查看并申请数据；模型仓库模块用于数据沙箱或隐私计算模块经过训练后产生的模型成果；成果上线模块用于将所述模型成果推至生产环境，并对接生产环境数据提供在线模型预测服务；资源监控模块用于展示训练环境、推理环境的资源使用情况；

20、数据资产化运营平台及数据资产化服务平台以“标准数据产品”+“受托数据服务”模式，为多种用户角色，包括数据供应商、数据需求方、生态服务商、运营人员，提供数据开放、融通交易、运营宣传功能；

21、数据要素安全监管平台用于通过对数据要素融通过程中的数据全生命周期、业务全流程进行合规监管，实现数据要素流通过程中数据防篡改、文件存档、业务存证、数据血缘发现。

22、本发明实施例提供的业务平台层是公共数据运营系统最关键部分，依托数据资源池及平台工具构建，其实现了数据登记确权、安全用数、运营服务、合规监管，保证了数据整个周期和流程的安全性和可信性。

23、在一实施例中，所述数据运营层，包括：标准化运营模式、受托运营模式、受托存储模式，其中：

24、所述标准化运营模式，用于通过预设标准化模式进行运营，所述预设标准化模式包括数据api服务形式和saas数据应用形式；

25、所述受托运营模式，用于面向产业用户向生态服务商申请数据资源进行数据开发，提供定制化数据服务；

26、所述受托存储模式，用于数据提供方将数据存储数据资源池层，若有数据变现需求则与平台运营方联合开发共享数据开发成果。

27、本实施例通过提供运营模式，可以满足参与运营系统不同角色的运营需求，可以高效的使数据需求者得到良好的数据服务产品。

28、第二方面，本发明实施例提供一种公共数据运营系统的数据分区部署架构，基于第一方面所述的公共数据运营系统，所述数据分区部署架构包括：原始数据域、运营数据域，其中：

29、所述原始数据域用于获取并存储参与数据融通的公共数据、企业数据、各政务部门数据、行业龙头数据和个人数据，其包括：数据登记确权区和数据初加工区，其中所述数据登记确权区用于实现数据资源持有权、数据加工使用权、数据产品经营权与公共数据运营参与主体的权益绑定，并对参与数据融通的数据进行摸排后形成逻辑数据目录，经政府、企业、个人授权后统一接入至数据初加工区，数据初加工区根据地区及行业标准对数据进行标准化及分类分级，用于进行数据仓库和数据集市建设；

30、所述运营数据域，包括数据下发区、数据开发区、数据包装区，其中所述原始数据域中的数据进入运营数据域时，需对公共数据运营场景需求的数据服务产品进行申请和审批，审批通过后通过所述数据下发区将相关数据进行脱敏后接入数据开发区，数据开发区提供容器化隔离的数据分析、开发、建模工作空间，在数据不出域前提下使用数据；数据包装区承接数据开发区的数据开发成果，将数据产品服务上架至数据资产化运营平台，并对数据下发区、数据开发区涉及的数据资源、计算资源进行统一管理。

31、本发明实施例提供的公共数据运营系统的数据分区部署架构，完整地提出公共数据运营系统生态体系和系统部署架构设计，根据业务需求划分为原始数据域、运营数据域、链上监管区、安全管理区、前置区、政务服务区、互联网服务区分区，能够对公共数据的全生命周期进行监管，保证数据的安全可信。

32、在一实施例中，所述公共数据运营系统的数据分区部署架构还包括：数据安全相关分区，所述数据安全相关分区包括：互联网服务、安全管理区、链上监管区、政务服务区和前置区，其中：

33、所述互联网服务区，用于实现数据资产化服务平台面向外部数据需求方的在线数据服务；

34、所述链上监管区，用于面向数据登记确权平台提供数据特征、数据产权、业务流程的链上记录功能，以及面向数据下发区、数据开发区、数据包装区提供数据全生命周期及业务全流程链上存证能力；

35、所述安全管理区，用于部署数据库审计、终端防泄漏工具，用于实现原始数据域、运营数据域的分区数据库日志、系统客户端操作日志监管审计；

36、所述政务服务区部署于数据要素安全监管平台，用于依托区块链服务能力，用于面向公共数据运营过程的通用安全监管服务，并面向政府监管者提供监管可视化服务；

37、所述前置区为运营数据域与互联网服务区、政务服务区之间的缓冲区，用于部署双向网闸及物理防火墙进行分区隔离，并通过负载均衡实现服务代理。

38、本发明实施例通过设置数据安全相关分区，可以实现对原始数据域和运营数据域相关的数据进行安全存证、监管及输出对应的数据服务，可以对各个区生成的数据全周期和业务全流程进行监管和存证，保证了数据的可溯性和安全可信性。

39、在一实施例中，所述原始数据域的数据登记确权区依托数据登记确权平台，将数据进行首次登记后完成数据要素数据资源持有权与数据产品经营权登记；数据资源持有者通过许可登记对外授予数据加工使用权、数据产品经营权；通过转移登记实现数据要素资源持有权转移，登记确权通过数据特征提取工具在不存储原始数据，不比对原始数据前提下获取两份数据相似度，公平判定数据资源持有方，并将数据权益信息、数据特征信息及登记确权流程皆通过区块链基础服务平台存储；

40、数据初加工区基于数据中台体系，对物理汇聚或逻辑汇聚形成的公共数据根据业务场景按需治理，形成支撑数据运营业务的数据仓库及数据集市，针对公共数据运营场景需求，经过申请审批后将所需数据下发至数据下发区。

41、所述运营数据域的数据开发区包括数据砂箱和隐私计算两种业务模式，其中：

42、所述数据砂箱模式，包括：数据需求方在进行数据申请之后，由运营方分配数据训练沙箱给到需求方，数据、算力、算法、工具都包装在沙箱中，对数据脱敏抽样后在沙箱中进行数据建模、分析工作，并将成果以api服务形式发布，形成在线数据服务，或导出成果集或模型，成果发布或导出通过运营方审核，沙箱在完成任务使命后即被销毁，数据资源申请、审批、部署调用过程均在区块链上进行存证；

43、所述隐私计算模式，包括：基于企业自带数据与公共数据联合建模场景，利用联邦学习、多方安全计算工具，在数据所在地部署计算节点，通过加密样本对齐、加密训练完成联合建模。

44、本发明实施例数据开发区提供的数据砂箱和隐私计算两种业务模式，可以满足公共数据运营过程中数据“可用不可见，可用不可取，可控可计量”的需求，使得数据既可以满足数据需求者的需求，也能保证数据的安全可控性。

45、所述数据安全相关分区的链上监管区，包括：数据防篡改模块、数据血缘管理模块、业务合规存证模块、数据产权管理模块、数据特征管理模块及用户授权管理模块，其中：

46、所述数据防篡改模块，基于区块链进行关键数据存储，通过分析型数据库+链上数据存储构建二级索引，对链上数据进行比对来实时追踪并发现数据篡改行为，及时告警通知项目负责人及政府监管者，并提供告警处置流程，形成可信监管闭环；

47、所述合规存证模块，用于提供面向接口、文件的统一存证、核验服务以及构建历史业务流链上孪生；

48、所述数据血缘模块，用于感知数据库内、数据库间、异构数据源间表级数据血缘关系，梳理数据间衍生关系，以任意数据表为中心点，向上下游延展，形成覆盖“数据源、数据仓库、数据产品”三层体系的数据族谱，并通过关系上链确保不可篡改，梳理数据血缘图谱；

49、所述数据产权管理模块，用于构建数据权益类型和数据权益主体的绑定关系，通过区块链实现数据产权信息的可信存证；

50、所述数据特征管理模块，用于构建数据特征信息的可信存储，在提取数据特征信息后通过区块链进行存储形成可信的数据指纹信息；

51、所述用户授权管理模块，用于对数据需求方调用个人数据时所提供的个人授权进行存证，为后续审计、纠纷处理提供可信凭证。

52、本发明实施例提供的链上监管区可以对原始数据域和数据运营域的各个分区产生的数据全周期和业务全流程监管，保证了数据的安全性、合规性和可溯性。