高并发性数据迁移方法及数据安全存储装置与流程

本发明涉及数据存储，特别涉及高并发性数据迁移方法及数据安全存储装置。

背景技术：

1、数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材，数据是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等，数据和信息是不可分离的，数据是信息的表达，信息是数据的内涵，随着大数据、移动互联网和物联网等产业的深入发展，我国数据产生量将出现爆发式增长，数据交易将迎来战略机遇。

2、原始数据具有长期存档的价值，按照有关规定需要对数据进行长期存档，目前大量的数据通常被存储在磁盘阵列或备份到磁带上，但是磁盘阵列和磁带存在保存时间较短和数据安全性较低的缺点，且数据容易被篡改、删除或被病毒攻击，难以适用于海量数据的长期安全存储；

3、由于数据容量大，在将海量数据迁移到以光盘库做为集群的冷存储装置上时，数据迁移会耗费大量的时间和人力资源，难以在较短的时间内完成海量数据从磁盘阵列或磁带库的到光盘库的迁移，且数据爆发性增长时，现有的it设施保存数据的成本和能耗较高，运维难度较大。

4、因此，现提出一种新型的高并发性数据迁移方法及数据安全存储装置解决上述问题。

技术实现思路

1、本发明的主要目的在于提供一种用于海量数据分布式存储系统下的高并发性数据迁移方法及数据安全存储装置，能够解决背景技术中提出的问题。

2、为实现上述目的，本发明采取的技术方案为：高并发性数据迁移方法及数据安全存储装置，所述高并发数据迁移方法包括以下步骤：

3、步骤一：进入数据采集服务模块，数据采集服务模块根据用户需求，定期迁移数据至光存储前置服务器中，分布式的系统将多台光盘库存储和多服务器节点联合形成统一的磁光多级虚拟文件系统服务；

4、步骤二：进入冷数据分布式光存储管理模块，冷数据分布式光存储管理模块包括分布式文件系统、在线采集缓冲区、分布式光驱服务磁光同步和光盘库；

5、步骤三：进入数据迁移接口模块，冷存储与热存储集群对接，将热存储中部分无释放要求的非关键数据迁入冷存储，测试光盘库写入速率，将已迁入冷存储的数据从热存储中清除，保留文件入口；

6、步骤四：进入数据调阅服务模块，数据调阅模块包括虚拟文件系统接口模块接口集成方式和文件系统监听接口模块接口集成方式，数据调阅服务模块通过打开和读取已从热存储中清除的文件数据，触发数据从冷存储到热存储的自动迁移；

7、步骤五：虚拟文件系统接口模块观测数据迁移完成后，建立软链接指向fuse虚拟文件系统，fuse根据用户对文件操作方式创建冷数据回迁任务，完成冷热数据回迁，文件系统监听接口模块在数据迁移完成后，创建目录监听任务，通过操作系统监听事件，获取文件的操作状态，系统获取下载命令创建回迁任务，完成冷热数据回迁。

8、所述步骤一中的数据采集服务模块包括光存储系统，所述数据采集服务模块根据迁移策略采集代理客户端再通过posix接口下载文件到多节点卷池中。

9、所述数据采集服务模块包括以下步骤：

10、步骤一(一)：采集代理客户端根据迁移策略，通过posix接口下载文件到多节点卷池中，光存储系统根据卷池数据生成通用的光盘镜像；

11、步骤一(二)：选择可用光盘库的分布式蓝光驱动器服务进行数据刻录。当业务应用层的用户需要调阅数据时，系统访问虚拟文件系统；

12、步骤一(三)：确认系统文件是否在线，通过接口向近线存储发出请求，回迁数据后，业务层继续访问。

13、所述光存储系统根据卷池数据生成通用的光盘镜像，选择可用光盘库的分布式蓝光驱动器服务进行数据刻录，当业务应用层的用户需要调阅数据时，系统访问虚拟文件系统，系统文件是否在线，通过接口向近线存储发出请求，回迁数据后，业务层继续访问。

14、所述步骤二中的分布式文件系统与在线采集缓冲区之间用于采集导出和文件批量查询，所述在线采集缓冲区和分布式光驱服务磁光同步之间用于组织刻录数据和恢复天文数据信息，所述分布式光驱服务磁光同步和光盘库之间用于刻录数据和随机读取数据。

15、所述步骤三中的数据迁移接口模块包括采集代理客户端、数据存档平台和光盘库集群分布式刻录驱动器，所述数据迁移接口模块包括步骤如下：

16、步骤三(一)：加载基础信息，配置同步识别光盘库分区规则、副本规则和缓存清理规则，get采集策略数据源，建立通道后访问posix接口服务端，调用操作系统文件查询函数；

17、步骤三(二)：获取文件信息，文件信息包括信息大小和信息类型，获取异常三次核验下载数据是否合法，合法则将数据传输到光存储卷池服务器，调用光存储归档接口，分配可用设备进行数据刻录服务流程，设备管控服务后进入光盘库驱动器加载光盘，同时加载刻录数据，根据逻辑光盘信息下载缓存数据，进行动态数据刻录后反馈存储地址信息；

18、步骤三(三)：调用操作系统文件move函数，写入缓冲区域后，临时缓存进行存储处理，再回到步骤三(二)中的核验下载数据是否合法，若合法继续步骤三(二)操作。

19、所述步骤四中的虚拟文件系统接口模块和文件系统监听接口模块均包括数据迁移、数据调阅和光存储集群服务，所述虚拟文件系统接口模块的操作步骤如下：

20、步骤四(一)：数据迁移时首先建立通道，建立软连接清理文件，冷数据分级存储fuse文件系统，进行数据调阅；

21、步骤四(二)：数据调阅时首先访问热存储文件系统，核验文件是否在线，若在线，则进行临时缓存存储处理，若进线则进入光存储卷池服务器，调用光存储调阅接口进行冷存储，分配可用设备进行数据调阅服务流程，通过设备管控服务进入光盘库驱动器加载光盘；

22、步骤四(三)：数据调阅服务流程首先根据逻辑光盘信息下载光盘数据，下载文件到卷池，再反馈存储地址信息。

23、所述步骤四中的文件系统监听接口模块包括以下步骤：

24、步骤四(1)：进行数据迁移，消息通知到光存储监听服务端，查询函数后清理文件，光存储监听服务实时监听归档数据目录，并根据操作系统事件发起回迁任务，而后进行数据调阅；

25、步骤四(2)：数据调阅首先访问热存储文件系统，触发监听事件是否在线，若在线则进行临时缓存存储处理，若进线则进入光存储卷池服务器，调用光存储调阅接口进行冷存储，分配可用设备后进入数据调阅服务流程，设备管控服务，光盘库驱动器加载光盘；

26、步骤四(3)：数据调阅服务流程首先根据逻辑光盘信息下载光盘数据，下载文件到卷池后反馈存储地址信息。

27、所述步骤六中的批量数据迁移模块将热存储中部分无释放要求的非关键数据迁入冷存储卷池中，光存储卷池服务监控到数据自动刻录到光盘，并形成光盘刻录任务包含任务刻录开始时间、刻录结束时间、数据大小和光盘库写入速率。

28、高并发性数据安全存储装置，所述数据安全存储装置包括光存储前置服务器、fuse虚拟文件系统、分布式蓝光驱动器、光存储卷池服务器、冷存储卷池、光盘库集群分布式刻录驱动器和posix接口服务端，所述光存储前置服务器与分布式蓝光驱动器、光存储卷池服务器和光盘库集群分布式刻录驱动器相连接，所述fuse虚拟文件系统与posix接口服务端和冷存储卷池相连接。

29、本发明具有如下有益效果：

30、1.本发明中，通过posix文件系接口，根据分类规则和时间规则查询为备份归档的信息，包含观测数据的完整描述信息，完整描述信息包括生成日期、数据类型、所属分类和备注描述，实现数据的完整备份归档及恢复数据文件的高效安全传输与同步，能够保障归档数据的完整性和可用性，且采用的光盘设置为bdtx标准的双面蓝光光盘，单张光盘容量200gb，通过这种光盘库的集群可以实现海量数据的长期保存，至少超过50年，同时数据刻录在bdr蓝光光盘介质上，具有不可更改和删除的性能，可以防止病毒和网络攻击，适用于海量数据的长期安全存储。

31、2.本发明中，通过分布式、高并发的数据迁移方式，以及根据ceph系统的posix查询接口，将热存储与冷存储建立数据通道，采集代理客户端，对指定存储路径下观测数据文件进行打包或者源文件、推送至光存储服务器，采集或恢复至热存储打包传输效率相对源文件传输提高3倍以上，存储刻录或读取效率会有显著提高，可以在较短的时间内完成大量数据的迁移。