一种IO流控制的方法、系统、设备和存储介质与流程

本发明涉及分布式存储系统领域，更具体地，特别是指一种io流控制的方法、系统、设备和存储介质。

背景技术：

1、随着不断增长的数据存储需求，使得企业更加迫切地需要保证业务信息和记录进行准确而有效地存档。视频领域作为最重要的存储方向，日益增长的存储的数据，给存储带来了交换与传输的困难，后台数据的爆发式增长，使得对后端存储设备的性能要求越来越高。目前不同的数据ssd(solid state disk或solid state drive，固态硬盘)只服务单个io(input/output，输入/输出)实例，往往都无法充分发挥性能。

技术实现思路

1、有鉴于此，本发明实施例的目的在于提出一种io流控制的方法、系统、计算机设备及计算机可读存储介质，本发明动态探测磁盘性能和业务io的模式通过，动态调整权重和io throttle，提升算法的自适应能力，随着负载变化，调整实际iops、统一带宽分配资源和最大带宽，保证不同io场景下的存储性能和隔离效果，实现更简单高效配置接口，降低应用难度；降低性能开销，充分利用系统空闲资源。

2、基于上述目的，本发明实施例的一方面提供了一种io流控制的方法，包括如下步骤：响应于接收到io请求，获取所述io请求的io流大小，并根据所述io流大小判断底层存储的存储池是否能够满足所述io请求；响应于底层存储的存储池能够满足所述io请求，采用读写分离控制的节流策略对所述io请求进行调整；响应于底层存储的存储池不能满足所述io请求，采用读写统一控制的权重策略对所述io请求进行调整；以及将调整后的io请求分配不同队列和存储池进行落盘操作。

3、在一些实施方式中，所述采用读写分离控制的节流策略对所述io请求进行调整包括：将读写的io性能稳定在节流策略的设定值以下，并使用默认存储池写入。

4、在一些实施方式中，所述采用读写分离控制的节流策略对所述io请求进行调整包括：对顺序io请求的每秒读写的数据量进行控制，并对随机io请求的每秒io的次数进行限制。

5、在一些实施方式中，所述采用读写统一控制的权重策略对所述io请求进行调整包括：在权重策略中设置不同的优先级策略，根据底层的iops和io流的反馈对io请求分配不同的调度权重，并根据调度权重的配比分配对应的资源池和io优先级。

6、在一些实施方式中，所述根据底层的iops和io流的反馈对io请求分配不同的调度权重包括：根据文件是否大于第一阈值将业务分为大文件读写、小文件读写和混合文件读写三种不同业务，根据三种不同业务传递的io请求分配对应的调度权重。

7、在一些实施方式中，所述采用读写统一控制的权重策略对所述io请求进行调整包括：根据分配的调度权重为不同的队列分配对应的带宽资源，并根据所述调度权重的改变实时调整最大io通道和存储池资源。

8、在一些实施方式中，方法还包括：实时获取cpu和存储器的使用率，并响应于使用率超过第二阈值，通过告警的方式通知管理员。

9、本发明实施例的另一方面，提供了一种io流控制的系统，包括：判断模块，配置用于响应于接收到io请求，获取所述io请求的io流大小，并根据所述io流大小判断底层存储的存储池是否能够满足所述io请求；节流模块，配置用于响应于底层存储的存储池能够满足所述io请求，采用读写分离控制的节流策略对所述io请求进行调整；权重模块，配置用于响应于底层存储的存储池不能满足所述io请求，采用读写统一控制的权重策略对所述io请求进行调整；以及落盘模块，配置用于将调整后的io请求分配不同队列和存储池进行落盘操作。

10、本发明实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。

11、本发明实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。

12、本发明具有以下有益技术效果：动态探测磁盘性能和业务io的模式通过，动态调整权重和io throttle，提升算法的自适应能力，随着负载变化，调整实际iops、统一带宽分配资源和最大带宽，保证不同io场景下的存储性能和隔离效果，实现更简单高效配置接口，降低应用难度；降低性能开销，充分利用系统空闲资源。

技术特征：

1.一种io流控制的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的io流控制的方法，其特征在于，所述采用读写分离控制的节流策略对所述io请求进行调整包括：

3.根据权利要求2所述的io流控制的方法，其特征在于，所述采用读写分离控制的节流策略对所述io请求进行调整包括：

4.根据权利要求1所述的io流控制的方法，其特征在于，所述采用读写统一控制的权重策略对所述io请求进行调整包括：

5.根据权利要求4所述的io流控制的方法，其特征在于，所述根据底层的iops和io流的反馈对io请求分配不同的调度权重包括：

6.根据权利要求1所述的io流控制的方法，其特征在于，所述采用读写统一控制的权重策略对所述io请求进行调整包括：

7.根据权利要求1所述的io流控制的方法，其特征在于，方法还包括：

8.一种io流控制的系统，其特征在于，包括：

9.一种计算机设备，其特征在于，包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。

技术总结
本发明提供一种IO流控制的方法、系统、设备和存储介质，方法包括：响应于接收到IO请求，获取所述IO请求的IO流大小，并根据所述IO流大小判断底层存储的存储池是否能够满足所述IO请求；响应于底层存储的存储池能够满足所述IO请求，采用读写分离控制的节流策略对所述IO请求进行调整；响应于底层存储的存储池不能满足所述IO请求，采用读写统一控制的权重策略对所述IO请求进行调整；以及将调整后的IO请求分配不同队列和存储池进行落盘操作。本发明改善IO流性能，降低性能开销，充分利用系统空闲资源。

技术研发人员：聂东旭
受保护的技术使用者：济南浪潮数据技术有限公司
技术研发日：
技术公布日：2024/1/13