异构存储全局管理调度方法和系统、电子设备及存储介质与流程

本发明涉及数据存储，尤其是一种异构存储全局管理调度方法和系统、电子设备及存储介质。

背景技术：

1、在视频监控领域中存在大量视频存储的场景，随着技术迭代及云技术的发展，关于视频存储的存储介质从原始磁盘阵列发展到对象存储，但磁盘阵列与对象存储也都存在存储资源跨网络的瓶颈。

2、针对多种异构存储，以往的存储管理系统无法做到集中化纳管、统一化调度，往往需要部署不同系统甚至集成不同厂家的系统，尤其是涉及到天翼云及云专网的对象存储与本地存储资源的跨网调度的存储场景，传统存储管理系统无法实现有效兼容，影响了数据异构存储的效率和可靠性。此外，多类存储资源跨网络的异构管理为运维人员针对问题的排查增加了不确定性，影响了存储资源的高可用性。

技术实现思路

1、本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

2、为此，本发明实施例的一个目的在于提供一种异构存储全局管理调度方法，该方法提高了数据异构存储的效率和可靠性，保障了存储资源的高可用性。

3、本发明实施例的另一个目的在于提供一种异构存储全局管理调度系统。

4、为了达到上述技术目的，本发明实施例所采取的技术方案包括：

5、第一方面，本发明实施例提供了一种异构存储全局管理调度方法，包括以下步骤：

6、获取待存储文件；

7、获取服务器资源信息、平台能力信息以及存储资源信息，根据所述服务器资源信息、所述平台能力信息以及所述存储资源信息确定各所述待存储文件的目标存储类型和目标存储位置；

8、根据所述目标存储类型确定各所述待存储文件对应的目标存储协议，并根据所述目标存储位置调用对应的存储资源接入服务；

9、根据所述目标存储协议，利用所述存储资源接入服务对各所述待存储文件进行文件上传存储。

10、进一步地，在本发明的一个实施例中，所述获取待存储文件这一步骤，其具体包括：

11、根据数据流地址获取待存储数据流；

12、对所述待存储数据流进行解析处理得到多个数据帧，并确定各所述数据帧的编码格式；

13、根据所述编码格式对所述数据帧进行分类，并对同一编码格式的所述数据帧进行封装处理，得到多个所述待存储文件。

14、进一步地，在本发明的一个实施例中，所述获取服务器资源信息、平台能力信息以及存储资源信息这一步骤，其具体包括：

15、通过服务器资源api获取所述服务器资源信息，所述服务器资源信息包括各服务器的服务器配置和服务器使用状态；

16、通过平台能力api获取所述平台能力信息，所述平台能力信息包括各平台能力的实时服务状态、归属服务器、实时网络环境以及实时网络带宽；

17、通过存储资源api获取所述存储资源信息，所述存储资源信息包括各存储资源的存储资源类型、存储空间大小、当前存储状态、存储流化实时速度以及ipos指标；

18、其中，所述服务器资源api、所述平台能力api以及所述存储资源api均与前端页面进行对接，所述前端页面用于展示与配置所述服务器资源信息、所述平台能力信息以及所述存储资源信息。

19、进一步地，在本发明的一个实施例中，所述根据所述服务器资源信息、所述平台能力信息以及所述存储资源信息确定各所述待存储文件的目标存储类型和目标存储位置这一步骤，其具体包括：

20、根据所述存储流化实时速度和所述ipos指标确定各所述存储资源的可用存储流化速度，并根据所述存储空间大小和所述当前存储状态确定各所述存储资源的可用存储空间；

21、根据所述可用存储流化速度和所述可用存储空间对各所述待存储文件进行存储资源分配，确定各所述待存储文件对应的第一存储资源；

22、根据所述第一存储资源对应的所述存储资源类型确定所述目标存储类型；

23、根据所述实时服务状态、所述实时网络环境以及所述实时网络带宽确定所述第一存储资源对应的若干个第一平台能力；

24、根据所述服务器配置、所述服务器使用状态以及所述第一平台能力对应的所述归属服务器，确定所述第一存储资源对应的若干个第一服务器，并根据所述第一服务器确定所述目标存储位置。

25、进一步地，在本发明的一个实施例中，所述根据所述目标存储类型确定各所述待存储文件对应的目标存储协议，并根据所述目标存储位置调用对应的存储资源接入服务这一步骤，其具体包括：

26、根据所述目标存储类型从预设的存储协议库中选取对应的若干个所述目标存储协议；

27、根据所述目标存储位置确定所述待存储文件的存储路径信息，根据所述存储路径信息从预设的存储资源接入服务库中选取对应的若干个所述存储资源接入服务。

28、进一步地，在本发明的一个实施例中，所述根据所述目标存储协议，利用所述存储资源接入服务对各所述待存储文件进行文件上传存储这一步骤，其具体包括：

29、根据所述目标存储协议建立所述待存储文件的数据传输通道；

30、根据所述目标存储位置确定用于存储所述待存储文件的第一服务器，利用所述存储资源接入服务建立所述数据传输通道与所述第一服务器的连接关系，并在所述第一服务器上配置若干个对应的存储分区；

31、通过所述数据传输通道将所述待存储文件上传至所述存储分区进行文件存储。

32、进一步地，在本发明的一个实施例中，所述异构存储全局管理调度方法还包括以下步骤：

33、获取所述待存储文件的上传延迟和/或流文件写入误码率；

34、当所述上传延迟大于等于预设的第一阈值，和/或，所述流文件写入误码率大于等于预设的第二阈值，确定所述待存储文件的重传存储类型和重传存储位置；

35、根据所述重传存储类型和所述重传存储位置将所述待存储文件切换至对应的服务器进行文件上传存储。

36、第二方面，本发明实施例提供了一种异构存储全局管理调度系统，包括：

37、文件获取模块，用于获取待存储文件；

38、存储类型和存储位置确定模块，用于获取服务器资源信息、平台能力信息以及存储资源信息，根据所述服务器资源信息、所述平台能力信息以及所述存储资源信息确定各所述待存储文件的目标存储类型和目标存储位置；

39、存储资源接入服务调用模块，用于根据所述目标存储类型确定各所述待存储文件对应的目标存储协议，并根据所述目标存储位置调用对应的存储资源接入服务；

40、文件存储模块，用于根据所述目标存储协议，利用所述存储资源接入服务对各所述待存储文件进行文件上传存储。

41、第三方面，本发明实施例提供了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如上述第一方面所述的异构存储全局管理调度方法。

42、第四方面，本发明实施例还提供了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述第一方面所述的异构存储全局管理调度方法。

43、本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：

44、本发明实施例获取待存储文件，然后获取服务器资源信息、平台能力信息以及存储资源信息，根据服务器资源信息、平台能力信息以及存储资源信息确定各待存储文件的目标存储类型和目标存储位置，再根据目标存储类型确定各待存储文件对应的目标存储协议，并根据目标存储位置调用对应的存储资源接入服务，进而可以根据目标存储协议，利用存储资源接入服务对各待存储文件进行文件上传存储。本发明实施例根据服务器资源信息、平台能力信息以及存储资源信息确定待存储文件的目标存储类型和目标存储位置，进而确定目标存储协议和存储资源接入服务对待存储文件进行上传存储，实现了跨网跨资源类型的异构存储资源调用，在保障存储资源高可用性的前提下实现了存储资源自动异地调度，增强了数据存储的灾备能力，提高了数据异构存储的效率和可靠性。