多数据页同时写入方法、3D闪存装置及计算机存储介质与流程

本申请涉及3d闪存设备强化学习的技术领域，尤其涉及一种多数据页同时写入方法、3d闪存装置及计算机存储介质。

背景技术：

基于charge-trap（ct）的3d固态硬盘已经拥有越来越高的市场占有率，通过消除存储介质胞之间的相互干扰，基于ct的3d固态硬盘可以同时写入多个数据页，从而极大提升了系统io吞吐量。

现有技术中采用osp（one-shot-programming，多数据页同时写入）可以同时写3个数据页，但是，多数据页同时写入技术会损害io延迟性能，导致io性能波动加剧以及io末端延迟延长，进而影响用户体验。

技术实现要素：

本发明的主要目的在于提供一种多数据页同时写入方法、3d闪存装置及计算机存储介质，旨在解决多数据页同时写入导致io性能波动加剧以及io末端延迟延长的问题。

为实现上述目的，本申请提供一种多数据页同时写入方法，所述方法包括以下步骤：

当新的硬盘io被加入io队列中时，获取3d闪存设备的运行状态；

将所述运行状态识别为预设的强化模型的状态集中的其中一种状态；

基于所述强化模型，获取与识别出的运行状态对应的动作；

执行所述动作，以将符合预设条件的io请求进行打包；

将打包后的io请求用于多数据页同时写入。

在一实施例中，所述3d闪存设备的运行状态包括：3d闪存设备的忙闲状态和存储颗粒的空间使用情况。

在一实施例中，多数据页同时写入方法，还包括：

学习3d闪存设备在不同运行状态下的不同动作，建立对应关系；

根据所述对应关系，建立预设的强化模型的状态集。

在一实施例中，所述基于所述强化模型，获取与识别出的运行状态对应的动作的步骤中，采用ƹ-贪婪算法获取所述动作。

在一实施例中，所述将符合预设条件的io请求进行打包，包括：

将多个3d闪存设备io拆分为多个以数据页为单位的子请求；

选择同一host端或者同一进程的io子请求进行打包。

在一实施例中，所述将打包后的io子请求用于多数据页同时写入，包括：

获取所述打包后的io子请求对应的目标分区；

执行物理地址分配算法，将所述打包后的io请求对应的io分配到存储颗粒具体的物理页中；

将所述存储颗粒具体的物理页信息更新到映射表中。

在一实施例中，多数据页同时写入方法，还包括：

计算所述强化模型的反馈参数并更新所述强化模型。

在一实施例中，所述计算所述强化模型的反馈参数并更新所述强化模型，包括：

获取子请求动作对应的3d闪存设备io延迟，将所述3d闪存设备io延迟划分为三个区域；

采用如下条件计算反馈参数：

若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟最短的区域，则所述反馈参数为1；

若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟位于中间的区域，则所述反馈参数为0；

若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟最长的区域，则所述反馈参数为-1。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质上存储有强化学习的3d闪存设备多数据页同时写入的程序，所述强化学习的3d闪存设备多数据页同时写入的程序被处理器执行时实现如上所述的强化学习的3d闪存设备多数据页同时写入方法的步骤。

本申请实施例还提供了一种3d闪存装置，包括一个或者多个处理器存储器及存储在存储器上并可在处理器上运行的多数据页同时写入方法程序，所述处理器执行所述多数据页同时写入方法程序时实现如上所述的多数据页同时写入方法的步骤。

本申请实施例中提供的多数据页同时写入方法、3d闪存装置及计算机存储介质的技术方案，至少具有如下技术效果：

1、由于采用学习3d闪存设备在不同运行状态下的不同动作，建立对应关系，根据所述对应关系，建立预设的强化模型的状态集，当新的硬盘io被加入io队列中时，获取3d闪存设备的运行状态，将所述运行状态识别为预设的强化模型的状态集中的其中一种状态，基于所述强化模型，通过ƹ-贪婪算法从强化模型数据库中获取与识别出的状态对应的动作的技术方案，解决了无法自适应识别打包操作的问题，通过强化学习获取与识别出对应的打包操作实现自适应识别打包操作的效果。

2、由于采用执行所述动作，以将符合预设条件的io请求进行打包，通过获取当前3d闪存设备运行状态的最优动作，将每一个host端io在设备中会被拆分为若干个以页为单位的子请求，打包来自同一个hostio的子请求或者打包来自同一个进程的子请求，获取所述打包后的io子请求对应的目标分区，执行物理地址分配算法，将所述打包后的io请求对应的io分配到存储颗粒具体的物理页中，将所述存储颗粒具体的物理页信息更新到映射表中的技术方案，解决了现有技术io延迟被扩散到不同hostio以及io延迟会卡顿多个用户进程的问题，实现降低io性能波动与io延迟卡顿的效果。

3、由于采用计算所述强化模型的反馈参数并更新所述强化模型，通过获取子请求动作对应的3d闪存设备io延迟，将所述3d闪存设备io延迟划分为三个区域，分别计算反馈参数的技术方案，解决了现有技术多数据页同时写入io延迟的问题，实现降低io末端延迟的效果。

附图说明

图1为本申请实施例涉及的3d闪存装置的结构示意图；

图2为本申请多数据页同时写入方法第一实施例的流程示意图；

图3为本申请多数据页同时写入方法第二实施例的流程示意图；

图4为本申请多数据页同时写入方法第二实施例步骤s260的一个具体流程示意图；

图5为本申请多数据页同时写入方法第二实施例步骤s270的一个具体流程示意图；

图6为本申请多数据页同时写入方法第三实施例的流程示意图；

图7为本申请多数据页同时写入方法第三实施例步骤s260的一个具体流程示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本申请为了解决多数据页同时写入导致io性能波动加剧以及io末端延迟延长的问题，采用了当新的硬盘io被加入io队列中时，获取3d闪存设备的运行状态；将所述运行状态识别为预设的强化模型的状态集中的其中一种状态；基于所述强化模型，获取与识别出的运行状态对应的动作；执行所述动作，以将符合预设条件的io请求进行打包；将打包后的io请求用于多数据页同时写入的技术方案，实现了降低io性能波动以及io末端延迟，从而提升用户体验。

为了更好地理解上述技术方案，下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

本领域技术人员可以理解，图1所示的3d闪存装置的硬件结构并不构成对3d闪存装置的限定，3d闪存装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

作为一种实现方式，可以如图1所示，图1为本申请实施例涉及的3d闪存装置的结构示意图。

装置1000包括至少一个处理器（例如cpu）1100、存储器1200。

处理器1100可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1100中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1100可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic）现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1200，处理器1100读取存储器1200中的信息，结合其硬件完成上述方法的步骤。

可以理解，本发明实施例中的存储器1200可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(readonlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)和直接内存总线随机存取存储器(directrambusram，drram)。本发明实施例描述的系统和方法的存储器1200旨在包括但不限于这些和任意其它适合类型的存储器。

在本申请实施例中，处理器1100可以用于调用存储在存储器1200中的强化学习的多数据页同时写入程序，并执行以下操作：

当新的硬盘io被加入io队列中时，获取3d闪存设备的运行状态；

将所述运行状态识别为预设的强化模型的状态集中的其中一种状态；

基于所述强化模型，获取与识别出的运行状态对应的动作；

执行所述动作，以将符合预设条件的io请求进行打包；

将打包后的io请求用于多数据页同时写入。

在一实施例中，处理器1100可以用于调用存储在存储器1200中的强化学习的多数据页同时写入程序，并执行以下操作：

学习3d闪存设备在不同运行状态下的不同动作，建立对应关系；

根据所述对应关系，建立预设的强化模型的状态集。

在一实施例中，处理器1100可以用于调用存储在存储器1200中的强化学习的多数据页同时写入程序，并执行以下操作：

将多个3d闪存设备io拆分为多个以数据页为单位的子请求；

选择同一host端或者同一进程的io子请求进行打包。

在一实施例中，处理器1100可以用于调用存储在存储器1200中的强化学习的多数据页同时写入程序，并执行以下操作：

获取所述打包后的io子请求对应的目标分区；

执行物理地址分配算法，将所述打包后的io请求对应的io分配到存储颗粒具体的物理页中；

将所述存储颗粒具体的物理页信息更新到映射表中。

在一实施例中，处理器1100可以用于调用存储在存储器1200中的强化学习的多数据页同时写入程序，并执行以下操作：

计算所述强化模型的反馈参数并更新所述强化模型。

在一实施例中，处理器1100可以用于调用存储在存储器1200中的强化学习的多数据页同时写入程序，并执行以下操作：

获取子请求动作对应的3d闪存设备io延迟，将所述3d闪存设备io延迟划分为三个区域；

采用如下条件计算反馈参数：

若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟最短的区域，则所述反馈参数为1；

若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟位于中间的区域，则所述反馈参数为0；

若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟最长的区域，则所述反馈参数为-1。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

如图2所示，图2为本申请多数据页同时写入方法第一实施例的流程示意图，包括以下步骤：

步骤s110，当新的硬盘io被加入io队列中时，获取3d闪存设备的运行状态。

在本实施例中，硬盘io指的是3d闪存设备io，io请求在被执行前会进入io队列等待调度，当硬盘io从io队列中被取出执行的时候，获取3d闪存设备的运行状态；3d闪存设备的运行状态包括但不限于各个3d闪存设备的繁忙状态、各个3d闪存设备的空闲状态、存储颗粒空间的使用情况。

步骤s120，将所述运行状态识别为预设的强化模型的状态集中的其中一种状态。

在本实施例中，当硬盘io被取出执行时，将3d闪存设备的运行状态识别为预设的强化模型的状态集中的其中一种状态，预设的强化模型的建立如步骤s210与s220所示，这里不再赘述；基于设定的强化模型，通过ƹ-贪婪算法从强化模型数据库中获取与识别出的状态对应的动作。

步骤s130，基于所述强化模型，获取与识别出的运行状态对应的动作。

在本实施例中，通过强化学习来识别状态对应的动作，强化学习(reinforcementlearning)又称再励学习、评价学习，是一种重要的机器学习。是智能体（agent）在环境中学习如何将状态映射到动作从而最大化数字奖励信号的一种学习方法。其学习过程可以归结为三个信号在一个agent和它的环境之间依据策略来回传递。三个信号分别为：agent所处的环境的状态（state），记为s；agent所做出的动作（action），奖赏值记为r。agent和环境间传递模式如下：

（1）agent感知当前的环境状态s；

（2）根据当前的s，agent选择一个动作a并执行；

（3）当agent所做出的a作用于环境时，环境转移到sʹ，并给出奖赏值r；

（4）agent根据环境反馈的r，计算回报（return），并以此作为内部策略π更新的依据。

强化学习框架由5个基本部分组成：状态s，动作a，策略π，奖赏值r和环境。策略π：s→a被定义为从状态空间到动作空间的映射。agent在当前s下依据策略π来选择一个a，执行a后转移至下一个状态sʹ，并接受环境反馈回来的r。环境是强化学习过程中对外界环境状态的仿真。强化学习是根据当前的状态通过调整策略选择优动作以最大化取得数值回报的问题。

在本实施例中，涉及的当前的环境状态s是指3d闪存设备的运行状态，包括但不限于各个3d闪存设备的繁忙状态、各个3d闪存设备的空闲状态、存储颗粒空间的使用情况；涉及的动作a是指选择同一host端或者同一进程的io子请求进行打包。

在本实施例中，采用ƹ-贪婪算法从强化模型中获取与识别出的状态对应的动作；贪婪算法是一种对某些求最优解问题的更简单、更迅速的设计技术，该贪婪算法的工作原理是采用自顶向下，以迭代的方法做出相继的贪婪选择，每做一次贪婪选择，就将所求问题简化为一个规模更小的子问题，通过每一步贪婪选择，可得到问题的一个最优解，即最优动作；其中，ƹ定义为选择随机动作的概率，该ƹ-贪婪算法决定系统每一次选择状态是随机选择还是选择当前状态下反馈值最大的动作，在强化模型搭建初期数据库刚初始化的时候，系统必须充分经历所有状态下所有动作来实现强化模型的充分训练，因此ƹ-贪婪算法可以实现充分训练与最优化动作选择之间的平衡。

步骤s140，执行所述动作，以将符合预设条件的io请求进行打包。

在本实施例中，根据贪婪算法获取当前3d闪存设备运行状态的最优动作，执行所述最优动作以将符合预设条件的io请求进行打包；动作是指在3d闪存设备请求队列中考虑哪些请求作为打包请求，所述动作可以是选择同一host端或者同一进程的io子请求进行打包；打包是指将符合预设条件的io同时写入对应的数据页中。

步骤s150，将打包后的io请求用于多数据页同时写入。

在本实施例中，将符合预设条件的io请求进行打包并用于数据页同时写入，每一次经过多数据页同时写入打包操作后，将打包后的硬盘io下发到目标分区。

在本实施例的技术方案中，当新的硬盘io被加入io队列中时，获取3d闪存设备的运行状态，将所述运行状态识别为预设的强化模型的状态集中的其中一种状态，基于所述强化模型，通过ƹ-贪婪算法从强化模型数据库中获取与识别出的状态对应的动作，执行所述动作，以将符合预设条件的io请求进行打包，将打包后的io请求用于多数据页同时写入的技术方案，解决解决了现有技术无法自适应识别满足预设条件的io请求，降低多数据页同时写入收益最大化的问题，实现自适应识别io请求，降低io性能波动的效果。

如图3所述，图3为本申请多数据页同时写入方法第二实施例的流程示意图，包括以下步骤：

步骤s210，学习3d闪存设备在不同运行状态下的不同动作，建立对应关系。

在本实施例中，强化模型根据硬件io和3d闪存设备的运行状态来设定，使用大量的io负载来训练强化模型，学习3d闪存设备在不同运行状态下的不同动作并建立对应关系，例如，学习3d闪存设备在3d闪存芯片处于繁忙状态下的同一进程的io子请求动作，建立对应关系；或者学习3d闪存设备在3d闪存芯片处于空闲状态下的同一进程的io子请求动作，建立对应关系；或者学习3d闪存设备在plane（分条）存储颗粒空间使用情况为0-64mb下的同一进程的io子请求动作，建立对应关系等。

步骤s220，根据所述对应关系，建立预设的强化模型的状态集。

在本实施例中，根据对应关系建立预设的强化模型的状态集，存储强化模型于强化模型数据库中，该强化模型的数据库可以为一个二维表格，横轴为所有的状态，纵轴为每个状态下对应的动作，当硬盘io被取出执行时，将3d闪存设备的运行状态识别为强化模型的状态集中的其中一种状态。

步骤s230，当新的硬盘io被加入io队列中时，获取3d闪存设备的运行状态。

步骤s240，将所述运行状态识别为预设的强化模型的状态集中的其中一种状态。

步骤s250，基于所述强化模型，获取与识别出的运行状态对应的动作。

步骤s260，执行所述动作，以将符合预设条件的io请求进行打包。

如图4所示，图4为本申请多数据页同时写入方法第二实施例步骤s260的一个具体流程示意图，包括以下步骤：

步骤s261，将多个3d闪存设备io拆分为多个以数据页为单位的子请求。

在本实施例中，host端是通过lba（logicalblockaddress，逻辑地址块）访问3d闪存设备的，每个lba代表着一个sector（一般为512b大小），操作系统一般以4k为单位访问3d闪存设备的，我们把host端访问3d闪存设备的的基本单元叫用户页（hostpage），将多个3d闪存设备io拆分为多个以数据页为单位的子请求即将多个3d闪存设备io拆分为多个以用户页为单位的子请求。

步骤s262，选择同一host端或者同一进程的io子请求进行打包，选择同一host端或者同一进程的io子请求进行打包，其中，所述host端与所述3d闪存设备连接，用于将io进程信息传递至所述3d闪存设备中。

在本实施例中，host端用于连接3d闪存设备，其可以是主机通过host接口连接3d闪存设备；由于每一个host端io在设备中会被拆分为若干个以页为单位的子请求，符合预设条件的io请求包括但不限于以下两个条件，第一，优先考虑打包来自同一个hostio的子请求，以避免长io延迟被扩散到不同hostio；第二，优先考虑打包来自同一个进程的子请求，以避免长io延迟会卡顿多个用户进程；host端与所述3d闪存设备连接，用于将io进程信息传递至所述3d闪存设备中。

步骤s270，将打包后的io请求用于多数据页同时写入。

如图5所示，图5为本申请多数据页同时写入方法第二实施例步骤s270的一个具体流程示意图，包括以下步骤：

步骤s271，获取所述打包后的io子请求对应的目标分区。

在本实施例中，获取所述打包后的io子请求对应的目标分区；目标定义为处于空闲状态的3d闪存芯片以及空间使用率低的plane（分条）存储颗粒，目标分区是指将io子请求分配到对应的空间使用率低的plane（分条）存储颗粒范围中，存储颗粒的空间使用情况是指每个plane（分条）存储颗粒中各个范围的空间使用情况；其中，每个plane（分条）存储颗粒的空间使用情况默认被划分为3个范围，例如，在4gbflash（闪存）中，每个plane（分条）存储颗粒的空间使用情况为：0-64mb、64mb-256mb、256mb-512mb；也可以将每个plane（分条）颗粒划分为数量个范围。

步骤s272，执行物理地址分配算法，将所述打包后的io请求对应的io分配到存储颗粒具体的物理页中。

在本实施例中，执行物理地址分配算法，将打包后的io请求对应的io分配到对应的空间使用率低的plane（分条）存储颗粒具体的物理页中，可以使用厂家自定义的地址分配策略将io请求对应的io分配到对应的plane（分条）存储颗粒具体的物理页中，plane（分条）存储颗粒具体的物理页默认为3个物理页，也可根据实际要求设置更多的物理页。

在本实施例中，一个flashpage（物理页）由两个或者多个die(晶片)，这些dies(晶片)可以共享i/0数据总线和一些控制信号线，一个die(晶片)又可以分为多个plane（分条）,而每个plane（分条）又包含多个block（物理块）,每个block（物理块）又分为多个page（物理页）。以4gbflash（闪存）为例，一个4gb的flash（闪存）由两个2gb的die(晶片)组成，共享8位i/0数据总线和一些控制信号线。每个die(晶片)由4个plane（分条）组成，每个plane（分条）包含2048个block（物理块），每个block（物理块）又包含64个4kb大小的page（物理页）。

步骤s273，将所述存储颗粒具体的物理页信息更新到映射表中。

在本实施例中，页级映射需要建立逻辑页和物理页之间的映射关系，这种映射机制优点是映射灵活，可以充分地利用闪存内的所有物理页，将硬盘io的物理页信息更新到映射表中。

在本实施例中，在3d闪存设备的内部，3d闪存设备的主控与flash（闪存）之间是flashpage（物理页）为基本单元访问flash（闪存）的，我们称flashpage为物理页（physicalpage）。host端每写入一个hostpage,3d闪存设备主控会找一个physicalpage把host数据写入，3d闪存设备内部同时记录了这样一条映射（map）。有了这样一个映射关系后，下次host端需要读某个hostpage时，3d闪存设备就知道从flash（闪存）的哪个位置把数据读取上来。

与第一实施例相比，第二实施例包含步骤s210、步骤s220，其他步骤与第一实施例相同，这里不再赘述。

在本实施例的技术方案中，学习3d闪存设备在不同运行状态下的不同动作，建立对应关系，根据所述对应关系，建立预设的强化模型的状态集，当新的硬盘io被加入io队列中时，获取3d闪存设备的运行状态，将所述运行状态识别为预设的强化模型的状态集中的其中一种状态，基于所述强化模型，通过ƹ-贪婪算法从强化模型数据库中获取与识别出的状态对应的动作，执行所述动作，以将符合预设条件的io请求进行打包，通过获取当前3d闪存设备运行状态的最优动作，将每一个host端io在设备中会被拆分为若干个以页为单位的子请求，打包来自同一个host端io的子请求或者打包来自同一个进程的子请求，将打包后的io请求用于多数据页同时写入，通过获取所述打包后的io子请求对应的目标分区，执行物理地址分配算法，将所述打包后的io请求对应的io分配到存储颗粒具体的物理页中，将所述存储颗粒具体的物理页信息更新到映射表中的技术方案，解决了现有技术io延迟被扩散到不同hostio以及io延迟会卡顿多个用户进程的问题，实现降低io性能波动的效果。

如图6所述，图6为本申请多数据页同时写入方法第三实施例的流程示意图，包括以下步骤：

步骤s310，当新的硬盘io被加入io队列中时，获取3d闪存设备的运行状态。

步骤s320，将所述运行状态识别为预设的强化模型的状态集中的其中一种状态。

步骤s330，基于所述强化模型，获取与识别出的运行状态对应的动作。

步骤s340，执行所述动作，以将符合预设条件的io请求进行打包。

步骤s350，将打包后的io请求用于多数据页同时写入。

步骤s360，计算所述强化模型的反馈参数并更新所述强化模型。

在本实施例中，完成多数据页同时写入操作后，获取io延迟，根据io延迟计算强化模型的反馈参数，反馈需要考虑io性能。

如图7所示，图7为本申请多数据页同时写入方法第三实施例步骤s260的一个具体流程示意图，包括以下步骤：

步骤s361，获取子请求动作对应的3d闪存设备io延迟，将所述3d闪存设备io延迟划分为三个区域。

在本实施例中，io延迟又称io响应时间，io响应时间一般为10ms，io延迟是指下发io子请求打包动作，到接收io子请求过程中所消耗的时间，io延迟消耗的时间与io性能特征、io的硬件结构以及当前3d闪存设备的运行状态有关，将3d闪存设备io延迟划分为三个区域以计算每个区域的反馈参数，将反馈参数更新至强化模型数据库中以更新数据。

采用如下条件计算反馈参数：

步骤s362，若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟最短的区域，则所述反馈参数为1。

步骤s363，若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟位于中间的区域，则所述反馈参数为0。

步骤s364，若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟最长的区域，则所述反馈参数为-1。

在本实施例中，在强化模型中，所述3d闪存设备io延迟划分包括但不限于三个区域，判断子请求动作对应的3d闪存设备io延迟在三个区域中的位置以计算反馈参数，区域的大小可根据io的性能以及开发需求进行区域划分，以满足在执行多数据页同时写入操作是最大化减小io性能波动以及io末端延迟的现象，每一次io打包下发，系统识别当前状态并且从强化模型的数据库映射表中取出一个动作，执行该动作后记录io延迟计算反馈，然后将反馈更新入数据库表格的对应状态-动作栏中。

与第一实施例相比，第三实施例包含步骤s360，其他步骤与第一实施例相同，这里不再赘述。

在本实施例的技术方案中，由于采用计算所述强化模型的反馈参数并更新所述强化模型，通过获取子请求动作对应的3d闪存设备io延迟，将所述3d闪存设备io延迟划分为三个区域，若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟最短的区域，则所述反馈参数为1；若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟位于中间的区域，则所述反馈参数为0；若子请求动作对应的3d闪存设备io延迟在所述三个区域中是延迟最长的区域，则所述反馈参数为-1的技术方案，解决了现有技术多数据页同时写入io延迟的问题，实现降低io末端延迟的效果。

基于同一发明构思，本申请实施例还提供了一种计算机存储介质，所述计算机存储介质上存储有基于强化学习的多数据页同时写入的程序，所述基于强化学习的多数据页同时写入的程序被处理器执行时实现如上述的基于强化学习的多数据页同时写入方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

由于本申请实施例提供的计算机存储介质，为实施本申请实施例的方法所采用的计算机存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该计算机存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的计算机存储介质都属于本申请所欲保护的范围。

基于同一发明构思，本申请实施例还提供了一种3d闪存装置，所述3d闪存装置包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的基于强化学习的多数据页同时写入的程序，所述基于强化学习的多数据页同时写入的程序被所述处理器执行时实现如上述的基于强化学习的多数据页同时写入方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

由于本申请实施例提供的3d闪存装置，为实施本申请实施例的方法所采用的3d闪存装置，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该无人机系统的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的无人机系统都属于本申请所欲保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统），和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框，以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二，以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。