一种基于对象存储的静态科研数据托管方法及装置与流程

本发明涉及静态科研数据管理领域，尤其涉及一种基于对象存储的静态科研数据托管方法及装置。

背景技术：

1、在“东数西算”战略布局下，智能计算产业迎来飞速发展。智能计算技术与材料、制药、天文、育种等传统应用领域深度耦合，衍生出智能计算材料、智能计算制药、智能计算天文等应用领域，全面赋能相关领域的科研创新和产业发展。

2、科研数据是科学研究的基础和重要组成部分，静态科研数据包括如图片、样本数据等，这类数据通常预先创建、编辑或配置，不会经常性发生变化，流转使用频率高。智能计算改变了传统科学研究的模式，科研数据更具多样性、复杂性，数据量庞大并且数据领域知识更丰富。

3、智能计算的加入更加突出了学科研究中数据量庞大的特征，目前很少涉及指向静态科研数据的集中存储管理解决方案，这导致数据流转使用繁杂。并且，传统存储方式如文件系统通常采用层次化的目录结构，当文件数量庞大时，可能导致目录层次深，影响文件的快速检索和访问；某些文件系统对单个文件的大小有限制，这可能限制了大文件的存储，例如视频文件、数据库文件等。

4、因此，对海量多领域静态科研数据的集中管理与科学使用提出了更高的要求。

技术实现思路

1、本发明的目的在于针对现有技术的不足，提供了一种基于对象存储的静态科研数据托管方法及装置。

2、为实现上述目的，本发明提供了一种基于对象存储的静态科研数据托管方法，包括以下步骤：

3、(1)上传端发起静态科研数据上传请求；

4、(2)中间件响应静态科研数据上传请求，将图片、文本类型的静态科研数据传输到对象存储服务s3中；

5、(3)拦截器验证集成对象存储服务s3的目标存储环境，并校验安全凭证对应的访问权限，确保上传端与对象存储服务s3的对象存储桶建立安全连接通道；

6、(4)控制器基于键名称规则唯一标识静态科研数据文件对象，将文件和描述该文件的所有元数据存储在目标存储桶；将唯一标识键作为文件路由；

7、(5)响应器将文件路由返回给静态科研数据消费端；

8、(6)静态科研数据消费端依据文件路由直接读取消费基于对象存储服务s3中的科研数据。

9、进一步地，所述上传端包括网页端、客户端及其他能够上传文件的终端；所述静态科研数据消费端包括客户端和网页端。

10、进一步地，所述步骤(2)中，所述中间件接收静态科研数据上传请求，解析请求中携带的用户名、文件唯一标识uid、文件名称、文件类型、文件大小、文件源数据及其他业务属性数据，通过http post协议将静态科研数据传输到对象存储服务s3中。

11、进一步地，所述中间件用于接收上传端发来的请求、对请求做出响应，以及将该请求交给下一个中间件继续处理。

12、进一步地，所述安全凭证包括对象存储服务域名、所在区域、用户访问公钥、用户访问秘钥。

13、进一步地，所述步骤(4)包括以下子步骤：

14、(4.1)基于所述安全凭证信息初始化对象存储服务s3；

15、(4.2)连接上传端与对象存储服务s3；将上传的静态科研数据传递到存储端进行存储；

16、(4.3)唯一标识上传对象：读取用户名、文件唯一标识uid、文件名称及其他业务属性数据，指定适合业务诉求的key生成规则，作为唯一标识对象的键；将唯一标识键作为文件路由；

17、(4.4)上传目标存储桶名称；

18、(4.5)传递目标存储桶、对象键、对象内容，执行控制器的上传逻辑，将静态科研数据文件存储至对象存储服务s3的目标存储桶。

19、进一步地，所述步骤(5)中，所述响应器将文件路由以字符串形式返回给消费端，消费端依据文件路由进行访问静态科研数据。

20、为实现上述目的，本发明还提供了一种基于对象存储的静态科研数据托管装置，包括：

21、注入模块，用于上传图片、文本类型的静态科研数据；

22、拦截器，用于验证集成对象存储服务s3的目标存储环境，校验安全凭证对应的访问权限，确保上传端与对象存储服务s3的对象存储桶建立安全连接通道；所述安全凭证包括对象存储服务域名、所在区域、用户访问公钥、用户访问秘钥；

23、对象存储服务控制器，用于基于键名称规则唯一标识静态科研数据文件对象，将文件和描述该文件的任何元数据存储在目标存储桶；将唯一标识键作为文件路由；

24、响应器，用于将文件路由以字符串形式返回给静态科研数据消费模块；

25、静态科研数据消费模块，用于依据文件路由直接读取消费基于对象存储服务s3中的静态科研数据。

26、为实现上述目的，本发明还提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于对象存储的静态科研数据托管方法。

27、为实现上述目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于对象存储的静态科研数据托管方法。

28、本发明的有益效果是：本发明基于对象存储服务s3(simple storage service)，s3是amazon web services(aws)云计算服务中的一项关键服务，具备高扩展、安全性，提供了文件和对象存储模式，并提供不同的api来管理和存储数据。本发明实现了基于对象存储的高度可伸缩的存储解决方案，多领域静态科研数据安全、持久的集中式存储、检索等托管服务，统一静态科研数据开发、使用范式，降低多领域静态科研数据流转与维护复杂度。

技术特征：

1.一种基于对象存储的静态科研数据托管方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于对象存储的静态科研数据托管方法，其特征在于，所述上传端包括网页端、客户端及其他能够上传文件的终端；所述静态科研数据消费端包括客户端和网页端。

3.根据权利要求1所述的基于对象存储的静态科研数据托管方法，其特征在于，所述步骤(2)中，所述中间件接收静态科研数据上传请求，解析请求中携带的用户名、文件唯一标识uid、文件名称、文件类型、文件大小、文件源数据及其他业务属性数据，通过http post协议将静态科研数据传输到对象存储服务s3中。

4.根据权利要求1所述的基于对象存储的静态科研数据托管方法，其特征在于，所述中间件用于接收上传端发来的请求、对请求做出响应，以及将该请求交给下一个中间件继续处理。

5.根据权利要求1所述的基于对象存储的静态科研数据托管方法，其特征在于，所述安全凭证包括对象存储服务域名、所在区域、用户访问公钥、用户访问秘钥。

6.根据权利要求5所述的基于对象存储的静态科研数据托管方法，其特征在于，所述步骤(4)包括以下子步骤：

7.根据权利要求1所述的基于对象存储的静态科研数据托管方法，其特征在于，所述步骤(5)中，所述响应器将文件路由以字符串形式返回给消费端，消费端依据文件路由进行访问静态科研数据。

8.一种基于对象存储的静态科研数据托管装置，其特征在于，包括：

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-7任一项所述的基于对象存储的静态科研数据托管方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7任一项所述的基于对象存储的静态科研数据托管方法。

技术总结
本发明公开了一种基于对象存储的静态科研数据托管方法及装置，该方法包括：中间件传输并响应图片、文本等静态科研数据上传请求；拦截器验证集成对象存储服务S3的目标存储环境，校验AccessKey、SecretKey等访问权限，确保与S3对象存储桶建立安全连接通道；控制器基于一定的键名称规则唯一标识该文件对象，将文件和描述该文件的任何元数据存储在预设存储桶；响应器将文件路由返回给应用页面平台；静态科研数据消费端随时依据文件路由直接读取所消费的科研数据。该方法实现了基于对象存储的高度可伸缩的存储解决方案，多领域静态科研数据安全、持久的集中式存储、检索等托管服务，统一静态科研数据开发、使用范式，降低多领域静态科研数据流转与维护复杂度。

技术研发人员：葛慧玲,李志宁,欧晨曦,汪荣建
受保护的技术使用者：之江实验室
技术研发日：
技术公布日：2024/2/29