一种基于数据元件的数据处理方法及系统与流程

本发明涉及计算机应用，具体涉及一种基于数据元件的数据处理方法及系统。

背景技术：

1、随着信息化时代的到来，数据资源的种类和规模呈现爆炸式增长，数据应用的场景和方式日益丰富，已经覆盖了人们日常生活中的方方面面。但是，数据资源被窃取、被泄露、被滥用等情况时有发生。如何在不影响大规模数据计算效率的同时保障数据资源的安全及合规使用，成为了各级政府和企业最为关心的问题。在现有技术中，往往通过对数据资源进行脱敏和模糊化处理来降低数据泄露风险，但这种方法仅能够支撑数据统计和可视化展示等基础应用场景，无法支撑绝大部分数据分析应用要求的大规模数据计算场景。

技术实现思路

1、为此，本发明提供一种基于数据元件的数据处理方法及系统，旨在实现不影响大规模数据计算效率的同时保障数据资源的安全及合规使用。

2、为实现以上目的，本发明采用如下技术方案：

3、依据本发明第一方面，提供了一种基于数据元件的数据处理方法，所述方法包括：

4、构建数据元件；以及，构建数据安全传输总线；其中，所述数据安全传输总线分别连接有至少一个所述数据元件和至少一个数据应用；

5、所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求；

6、所述数据元件对所述数据计算请求进行数据处理，得到数据处理结果；并通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用。

7、可选地，所述构建数据元件，包括：

8、利用应用容器引擎构建数据元件容器；

9、在所述数据元件容器中部署资源数据库；获取至少一条资源数据，将所述资源数据导入所述资源数据库；

10、在所述数据元件容器中搭建基于所述资源数据库的数据计算服务；并设置所述数据计算服务的外部服务接口。

11、可选地，所述构建数据安全传输总线，包括：

12、构建包含数据元件接口、数据应用接口和数据传输通道的数据安全传输总线；

13、所述数据安全传输总线通过所述数据元件接口连接有至少一个所述数据元件；以及，所述数据安全传输总线通过所述数据应用接口连接有至少一个所述数据应用。

14、可选地，所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求，包括：

15、目标数据应用向所述数据应用接口发送包含计算请求参数的数据计算请求；

16、所述数据应用接口对所述数据计算请求进行封装，得到目标计算信息；

17、所述数据安全传输总线通过数据传输通道将所述目标计算信息分发至对应的目标数据元件。

18、可选地，所述数据应用接口对所述数据计算请求进行封装，包括：

19、所述数据应用接口对所述数据计算请求的计算请求参数、发送所述数据计算请求的数据应用标识以及对所述数据计算请求进行数据处理的数据元件标识和计算服务标识进行封装。

20、可选地，所述数据安全传输总线通过数据传输通道将所述目标计算信息分发至对应的目标数据元件之前，还包括：

21、利用非对称加密算法生成密钥对；其中，所述密钥对包括传输公钥和传输私钥；

22、所述方法还包括：所述数据安全传输总线通过数据传输通道传输所述目标计算信息时将所述传输公钥传输至数据元件接口；

23、所述数据安全传输总线通过数据传输通道传输所述数据处理结果时将所述传输私钥传输至数据应用接口。

24、可选地，所述数据元件对所述数据计算请求进行数据处理，包括：

25、所述数据元件接口接收目标计算信息；并对所述目标计算信息进行解析，得到数据计算请求对应的计算请求参数和目标计算服务；

26、将所述计算请求参数传入所述目标计算服务进行数据处理，得到数据处理结果；

27、所述数据元件接口利用所述传输公钥对所述数据处理结果进行加密，得到目标计算结果。

28、可选地，所述通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用，包括：

29、所述数据应用接口接收所述目标计算结果和所述传输私钥，利用所述传输私钥对所述目标计算结果进行解密，得到数据处理结果；

30、将所述数据处理结果发送至目标数据应用。

31、可选地，所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求之前，所述方法还包括：

32、分别对各所述数据元件、各数据计算服务以及各所述数据应用配置对应的数据元件标识、计算服务标识以及数据应用标识。

33、依据本发明第二方面，提供了一种基于数据元件的数据处理系统，所述系统包括：

34、至少一个数据元件，用于提供至少一个数据计算服务，并设置有资源数据库以及所述数据计算服务的外部服务接口；

35、至少一个数据应用，用于发送包含计算请求参数的数据计算请求以及接收数据处理结果；

36、数据安全传输总线，包含数据元件接口、数据应用接口和数据传输通道；分别通过所述数据元件接口和所述数据应用接口连接所述数据元件和所述数据应用；用于在所述数据元件与所述数据应用之间传输信息。

37、本发明采用以上技术方案，至少具备以下有益效果：

38、通过本发明方案，提出了一种基于数据元件的数据处理方法和系统，通过构建数据元件；以及，构建数据安全传输总线；所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求；所述数据元件对所述数据计算请求进行数据处理，得到数据处理结果；并通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用。由此，能够将数据资源与数据应用解耦，有效防止数据资源泄露，同时对于大规模数据计算场景没有任何额外的计算资源占用。在整个数据元件构建及应用过程中，对于计算结果的加密、传输、解密均在数据安全传输总线中自动完成，可以做到应用侧无改造、用户侧无感知，大大提高了用户体验感。

39、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

技术特征：

1.一种基于数据元件的数据处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述构建数据元件，包括：

3.根据权利要求1所述的方法，其特征在于，所述构建数据安全传输总线，包括：

4.根据权利要求3所述的方法，其特征在于，所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求，包括：

5.根据权利要求4所述的方法，其特征在于，所述数据应用接口对所述数据计算请求进行封装，包括：

6.根据权利要求4所述的方法，其特征在于，所述数据安全传输总线通过数据传输通道将所述目标计算信息分发至对应的目标数据元件之前，还包括：

7.根据权利要求6所述的方法，其特征在于，所述数据元件对所述数据计算请求进行数据处理，包括：

8.根据权利要求7所述的方法，其特征在于，所述通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用，包括：

9.根据权利要求1~8任一项所述的方法，其特征在于，所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求之前，所述方法还包括：

10.一种基于数据元件的数据处理系统，其特征在于，所述系统包括：

技术总结
本发明提供了一种基于数据元件的数据处理方法及系统，方法包括：构建数据元件；以及，构建数据安全传输总线；所述数据应用通过所述数据安全传输总线向所述数据元件发送数据计算请求；所述数据元件对所述数据计算请求进行数据处理，得到数据处理结果；并通过所述数据安全传输总线将所述数据处理结果发送至所述数据应用。通过本发明，能够将数据资源与数据应用解耦，有效防止数据资源泄露，同时对于大规模数据计算场景没有任何额外的计算资源占用。在整个数据元件构建及应用过程中，对于计算结果的加密、传输、解密均在数据安全传输总线中自动完成，可以做到应用侧无改造、用户侧无感知，大大提高了用户体验感。

技术研发人员：马万里,郭鹏展,唐文杰,朱颖涛
受保护的技术使用者：中电安世（成都）科技有限公司
技术研发日：
技术公布日：2024/1/15