本申请要求于2017年1月20日提交的题为“controlplanemethodandapparatusforprovidingerasurecodedataprotectionacrossmultiplenvmeoverfabricsstoragedevices(essds)”的美国临时申请no.62/448,648的优先权和权益，其全部内容通过引用并入本文。
根据本发明的实施例的一个或多个方面涉及数据存储，并且更具体地涉及具有用于提供擦除代码保护的控制器的存储系统。
背景技术：
利用非易失性存储器快速(nvme)光纤结构(nvm-f)配置，例如使用以太网连接的nvme固态驱动器(ssd)的配置，改善以太网和ssd成本和性能可以是具有挑战性的。例如，以太网速度随着50g/100g技术的出现而增加，而ssd性能可取决于外围组件互连快速(pcie)接口和nand技术。由于每个设备可以提供点对点连接，因此以光纤连接的ssd可能会出现额外的独特设计挑战，以支持擦除代码数据保护。可以使用芯片上raid(roc)专用集成电路(asic)来提供数据保护，但是可能会增加延迟和成本，并降低性能。
因此，需要一种在多个存储设备中存储数据的改进的系统和方法。
技术实现要素：
本公开的实施例的多个方面针对用于跨多个存储设备提供擦除代码保护的系统和方法。存储系统中的数据交换机将多个存储设备连接到远程主机。每个存储设备也连接到控制器，例如基板管理控制器。在正常操作期间，来自远程主机的读取和写入命令通过数据交换机被发送到相应的存储设备。当执行写入命令时，执行命令的存储设备将数据的副本发送到控制器，控制器例如在专用于存储擦除代码并且对远程主机不可见的存储设备上产生并存储擦除代码。当设备发生故障或被移除时，控制器重新配置数据交换机，以将寻址到故障或不存在的存储设备的所有业务重定向到控制器，并且控制器以与故障或不存在的存储设备在其存在并且正确地操作时应当发送的命令响应相同的命令响应来响应主机命令。
根据本发明的实施例，提供了一种具有存储接口的存储系统，所述系统包括：多个存储设备，被配置为存储擦除代码，所述擦除代码足以恢复所述多个存储设备中的任何一个存储设备上存储的数据，所述数据是从所述多个存储设备中的其他存储设备上的数据恢复的；数据交换机，被配置为在正常操作期间，根据通过所述存储接口接收的存储命令中的每个存储命令中的相应地址将所述存储命令路由到所述多个存储设备中的相应存储设备；以及控制器，被配置为在所述多个存储设备中的任何存储设备故障或不存在的情况下，进行以下操作：重新配置所述数据交换机以将寻址到故障或不存在的存储设备的存储命令路由到所述控制器；以及响应于接收到的每个存储命令，通过所述数据交换机并通过所述存储接口发送与故障或不存在的设备在其存在并且正确地操作时将会发送的命令响应相同的命令响应。
在一个实施例中，每个存储设备被配置为在正常操作期间，在接收到包括数据块的写入命令时，存储所述数据块并且将所述数据块的副本发送到所述控制器。
在一个实施例中，所述控制器被配置为在从所述多个存储设备中的第一存储设备接收到数据块的副本时，产生足以恢复所述数据块的擦除代码，并且将所述擦除代码存储在所述多个存储设备中除所述第一存储设备以外的一个或多个存储设备上。
在一个实施例中，所述多个存储设备中的第一存储设备被配置为在正常操作期间，在接收到包括数据块的写入命令时，进行以下操作：产生足以恢复所述数据块的擦除代码；以及将所述擦除代码存储在所述多个存储设备中除所述第一存储设备以外的一个或多个存储设备上。
在一个实施例中，所述多个存储设备中的第一存储设备被配置为存储擦除代码；以及所述数据交换机被配置为在正常操作期间，根据通过所述存储接口接收的存储命令中的每个存储命令的相应地址将每个存储命令路由到所述多个存储设备的子集中的相应存储设备，第一存储设备不是所述子集的成员。
在一个实施例中，所述控制器被配置为在所述多个存储设备中的任何一个存储设备故障或不存在的情况下，响应于接收到的请求数据块的读取命令进行以下操作：从所述多个存储设备中的存在的且正确地操作的存储设备读取擦除代码；恢复所述数据块；以及通过所述数据交换机并通过所述存储接口将所恢复的数据块作为命令响应的一部分进行发送。
在一个实施例中，每个存储设备包括具有存在引脚的连接器，所述存在引脚连接到所述控制器的相应感测引脚；以及所述控制器被配置为通过相应感测引脚处的电压或电流的变化来检测所述存储设备中的任何一个的移除。
在一个实施例中，所述数据交换机是以太网交换机。
在一个实施例中，所述数据交换机具有与所述控制器的端口连接的pcie控制端口，并且所述数据交换机被配置为通过所述pcie控制端口从所述控制器接收配置命令。
在一个实施例中，所述系统包括pcie交换机，其中所述多个存储设备中的每一个通过所述pcie交换机连接到所述控制器。
在一个实施例中，所述控制器是基板管理控制器。
根据本发明的实施例，提供了一种操作存储系统的方法，所述存储系统具有存储接口并且包括多个存储设备、数据交换机和控制器，所述方法包括：在正常操作期间，根据通过所述存储接口接收的存储命令中的每个存储命令中的相应地址将所述存储命令路由到所述多个存储设备中的相应存储设备；以及在所述多个存储设备中的任何存储设备故障或不存在的情况下，进行以下操作：由所述控制器重新配置所述数据交换机以将寻址到故障或不存在的存储设备的存储命令路由到所述控制器；以及由所述控制器响应于接收到的每个存储命令，通过所述数据交换机并通过所述存储接口发送与故障或不存在的设备在其存在并且正确地操作时将会发送的命令响应相同的命令响应。
在一个实施例中，所述方法包括：在正常操作期间，在由所述多个存储设备中的存储设备接收到包括数据块的写入命令时，进行以下操作：由该存储设备存储所述数据块；以及由该存储设备将所述数据块的副本发送到所述控制器。
在一个实施例中，所述方法包括：在由所述控制器从所述多个存储设备中的第一存储设备接收到数据块的副本时，进行以下操作：由所述控制器产生足以恢复所述数据块的擦除代码；以及由所述控制器将所述擦除代码存储在所述多个存储设备中除所述第一存储设备以外的一个或多个存储设备上。
在一个实施例中，所述方法包括：在正常操作期间，在由所述多个存储设备中的第一存储设备接收到包括数据块的写入命令时，进行以下操作：由所述第一存储设备存储所述数据块；由所述第一存储设备产生足以恢复所述数据块的擦除代码；以及由所述第一存储设备将所述擦除代码存储在所述多个存储设备中除所述第一存储设备以外的一个或多个存储设备上。
在一个实施例中，所述多个存储设备中的第一存储设备被配置为存储擦除代码；以及所述方法包括：在正常操作期间，根据通过所述存储接口接收的存储命令中的每个存储命令的相应地址将每个存储命令路由到所述多个存储设备的子集中的相应存储设备，所述第一存储设备不是所述子集的成员。
在一个实施例中，所述方法包括：在所述多个存储设备中的任何一个存储设备故障或不存在的情况下，响应于由所述控制器接收到请求数据块的读取命令而进行以下操作：由所述控制器通过所述pcie交换机从所述多个存储设备中存在的且正确地操作的存储设备读取擦除代码；由所述控制器恢复所述数据块；以及由所述控制器通过所述数据交换机并通过所述存储接口将所恢复的数据块作为命令响应的一部分进行发送。
在一个实施例中，每个存储设备具有与所述控制器的相应感测引脚连接的存在引脚；以及所述方法还包括：由所述控制器通过相应感测引脚处的电压或电流的变化来检测所述存储设备中的任何一个的移除。
根据本发明的实施例，提供了一种具有存储接口的存储系统，所述系统包括：多个存储设备，被配置为存储擦除代码，所述擦除代码足以恢复所述多个存储设备中的任何一个存储设备上存储的数据，所述数据是从所述多个存储设备中的其他存储设备上的数据恢复的；数据交换机，被配置为在正常操作期间，根据通过所述存储接口接收的存储命令中的每个存储命令中的相应地址将所述存储命令路由到所述多个存储设备中的相应存储设备；以及控制装置，用于在所述多个存储设备中的任何存储设备故障或不存在的情况下进行以下操作：重新配置所述数据交换机以将寻址到故障或不存在的存储设备的存储命令路由到所述控制装置；以及响应于接收到的每个存储命令，通过所述数据交换机并通过所述存储接口发送与故障或不存在的设备在其存在并且正确地操作时应当发送的命令响应相同的命令响应。
在一个实施例中，每个存储设备被配置为在正常操作期间，在接收到包括数据块的写入命令时，存储所述数据块并且将所述数据块的副本发送到所述控制装置。
附图说明
参照说明书、权利要求书和附图，将认识和理解本发明的这些和其他特征和优点，在附图中：
图1a是根据本发明的实施例的连接到存储系统的远程主机的框图；
图1b是根据本发明的实施例的连接到存储系统的远程主机的框图；
图1c是根据本发明的实施例的连接到存储系统的远程主机的框图；
图2是根据本发明的实施例的用于操作存储系统的方法的流程图；以及
图3是根据本发明的实施例的用于操作存储系统的方法的流程图。
具体实施方式
以下结合附图阐述的详细描述旨在作为对根据本发明提供的跨多个存储设备提供擦除代码保护的控制平面方法和装置的示例实施例的描述，并且不旨在仅表示可以构造或利用本发明的形式。说明书结合所示实施例阐述了本发明的特征。然而，应理解的是，相同或等同的功能和结构可以通过不同的实施例来实现，这些实施例也意图包含在本发明的精神和范围内。如本文其他地方所表示的，相似的元件编号旨在指示相似的元件或特征。
控制平面可以与数据平面区分开来，例如在路由器中，如下所示。控制平面可以做出关于发送业务(例如，数据业务)的决定。控制平面功能可以包括路由表信息的系统配置、管理和交换；控制平面可以是网络的信令。由于控制功能可能无法在每个到达的单个数据分组上执行，所以它们可能不具有严格的速度约束，并且可能与数据平面中的功能相比对时间要求更不高。数据平面(也可以被称为转发平面)根据控制平面逻辑将业务沿着通往所选目的地网络的路径转发到下一跳。数据平面分组可以通过路由器。路由器/交换机使用控制平面构建的处置传入和传出帧和分组的内容。在存储系统中，可以在存储系统的控制平面与存储系统的数据平面之间进行类似的区分。例如，对于基于nvmf的系统或机箱，所有以太网端口可以在为数据平面的本地以太网交换机和以太网ssd(essd)之间进行物理分区，并且可以使用pci-e通道来通过为控制平面的控制器(如下面进一步详细讨论的)和pcie交换机连接essd。
图1a示出了根据本发明的一个实施例的连接到远程主机的存储系统的框图。该系统包括以太网交换机110、pcie交换机120、多个存储设备105和控制器115(例如，基板管理控制器)。这里，多个存储设备105与以太网交换机110和pcie交换机120通信，pcie交换机120与控制器115通信。存储系统可以连接到远程主机100。在以太网交换机110和控制器115之间可以进行附加连接，以提供增强的擦除代码保护功能。
更具体地说，图1b是根据一些实施例的连接到存储系统的存储接口(例如，以太网接口)的远程主机100的框图。多个存储设备105通过以太网交换机110连接到远程主机100。每个存储设备105可以提供持久性存储，即，如果电力暂时丢失，数据的存储将持续存在。每个存储设备105可以是固态驱动器(ssd)，例如以太网ssd(essd)。在正常操作中，远程主机100可以向存储设备105发送存储命令，每个存储命令被寻址到一个或多个存储设备105，并且存储设备105可以向远程主机100发送命令响应。存储命令可以是写入命令和/或读取命令。例如，为了将数据存储在存储设备105中，远程主机100可以将写入命令发送给存储设备105(例如使用存储设备的以太网地址，命令被寻址到存储设备105)。
每个写入命令可以包括要被写入存储设备105的数据(或“数据块”)的数量以及主机可以在未来的读取命令中通过其参考相同数据的逻辑块地址(lba)。作为响应，存储设备105可以存储数据，并且一旦存储操作完成，可以向远程主机100发送命令响应(例如，命令完成)，以用信号通知存储操作被成功完成。如这里所使用的，“数据块”是存储命令或命令响应中的数据有效载荷，例如在写入命令中要写入永久存储器的数据、或在读取命令中从永久存储器读取的数据。
为了从存储设备105读取数据，远程主机100可以将读取命令发送给存储设备105，以向存储设备105请求数据。作为响应，存储设备105可以从存储设备105内部的非易失性存储器读取数据，并且一旦读取操作完成，其可以向远程主机100发送包括从存储器读取的数据的数据块在内的命令响应(例如，命令完成)，并且用信号通知读取操作被成功完成。
在存储系统中可以使用擦除代码来在存储设备105中的一个出现故障或移除的情况下保护所存储的数据。数据块的擦除代码可以包括冗余附加信息(例如，由冗余附加信息组成)，如果数据的一部分丢失，则该冗余附加信息可以用于重建数据块中的数据。擦除代码通常可以与它们保护的数据分开存储在单独存储设备105中，使得任一存储设备的故障或移除都不会导致数据的丢失；如果存储擦除代码的磁盘故障或被移除，则数据不受影响，并且如果存储数据的磁盘故障或被移除，则可以根据擦除代码恢复数据。
在一些实施例中，一个或多个存储设备105专用于仅存储擦除代码。在这种情况下，以太网交换机110可以被配置为隐藏这些存储设备105以不让远程主机100知晓，使得它们对于远程主机100是不可见的。在这样的配置中，从远程主机100的角度来看，存储系统可能看起来包括与存在于物理存储设备中相比更少的存储设备105，并且可以通过由专用于存储擦除代码的存储设备105提供的擦除代码保护来增强存储器的可靠性。在其他实施例中，擦除代码不仅仅存储在专用于仅存储擦除代码的存储设备105上，而是存储在也存储其他数据的驱动器上。
擦除代码可以由控制器115产生。控制器115可以通过pcie交换机120连接到每个存储设备105。控制器115和pcie交换机120及其到存储设备105的连接可以形成控制平面，并且以太网交换机110及其到存储设备105的连接可以形成数据平面。在操作中，当存储设备105通过以太网交换机110接收到写入命令时，可以将数据(即，包括在写入命令中的数据块的数据)存储在存储设备105内部的非易失性存储器中，并将数据的副本以及逻辑块地址发送到控制器115。然后，控制器115通过经由pcie交换机将写入命令发送到要存储擦除代码数据的存储设备105，来产生擦除代码并将它们存储在例如与接收到写入命令的存储设备不同的存储设备105上。控制器115可以维持列出已经存储了擦除代码的逻辑块地址和擦除代码的相应位置的表格。在正常操作中，控制器115可以对于远程主机100和存储设备105之间的数据路径是透明的，例如，数据可以直接在远程主机100和存储设备105之间传送而不经过控制器115。
每个存储设备105(例如，ssd)可以包括存储接口连接器，其可以是u.2连接器。u.2连接器的多个引脚可以被分配为提供用于与pcie交换机120通信的pcie链路(例如，一乘四pcie通道或两乘两pcie通道)。u.2连接器的其他引脚可以被分配为提供到以太网交换机110的以太网连接。u.2连接器的另外引脚125可以用作“存在引脚”以允许控制器115检测存储设备105是否存在。例如，每个存储设备105可以将设定电压提供给存在引脚125或通过存在引脚125驱动设定电流。每个存储设备105的存在引脚125可以连接到控制器115的相应感测引脚，并且控制器可以推断，如果它停止检测其感测引脚之一处的设定电压或设定电流，则相应存储设备105不再存在。
在其他实施例中，存储设备105和控制器115之间的nvme管理接口(nvme-mi)连接可以用于相同的目的，例如，每个存储设备105的多个引脚提供nvme管理接口的物理连接，并作为存在引脚。
每个存储设备105可以连接到中间平面130，中间平面130可以是具有多个(例如，24个)u.2连接器的印刷电路板，以容纳相应的多个存储设备105。中间平面130可以包括导电迹线，所述导电迹线形成连接到存储设备105的连接器与pcie交换机120的存储设备侧的对应的多个连接器(例如，24个连接器)之间的连接。中间平面130还可以提供存储设备105的存在引脚与控制器115的对应感测引脚之间的连接以及存储设备105的以太网引脚与以太网交换机110的存储设备侧的连接器的对应引脚之间的连接。
每个存储设备105可以包括多个非易失性存储器(例如，闪存)芯片和存储设备控制器(例如，与存储系统的控制器115分离并且不同的ssd控制器)，其可以是或可以包括处理电路，如在下面进一步详细讨论。控制器115也可以是或者包括处理电路。控制器115可以是基板管理控制器(bmc)，包括如下特征：例如，通过在基板管理控制器外部并连接到基板管理控制器的相应引脚的温度传感器来执行对存储系统的温度监视和控制的能力，和/或通过i2c接口或smbus执行风扇控制的能力。如本文所使用的，“控制装置”是指实现至少具有本文所公开和要求保护的特征的控制器115的硬件、固件和软件的任何组合，并且可以完全以硬件实现，或者以在通用处理电路上(例如，在通用cpu上)执行的软件实现。
当存储设备105故障或被移除时(如图1c的虚线所示)，控制器115可以意识到由于如上所述的控制器的感测引脚的变化而导致的不存在或故障，或者控制器可以被以太网交换机110通知发送到存储设备105之一的存储命令不导致命令响应。
如下面进一步详细描述的，在一些实施例中，在正常操作中，当执行写入命令时，将要存储的数据写入到一个或多个存储设备105，并且产生擦除代码并且还将擦除代码写入一个或多个存储器设备105，例如，擦除代码被存储在与擦除代码保护的数据不同的存储设备105上，使得任何一个存储设备的故障通常不会导致不可恢复的数据丢失。当存储设备105故障时，控制器115可以重新配置以太网交换机110以将寻址到故障存储设备105的任何读取或写入命令重定向到控制器，并且控制器115可以模拟存储设备105的行为，使得除了性能(例如，速度)的降低之外，存储设备105的故障对于远程主机100是不可感知的。
存储系统可以包括复杂的可编程逻辑器件(cpld)(图1b和图1c中未示出)，连接在存储设备105的相应存在引脚125与控制器115之间。在检测到存在引脚中的至少一个的任何变化之后，cpld可以经由中断通知控制器115。然后，控制器115可以对cpld中的一些寄存器进行置数(例如，读取或写入)，以找出哪个驱动器已经(或哪个驱动器已经)被移除或安装。这可使得bmc能够进行任何适当的改变，例如通过启用或禁用某些端口来重新配置以太网交换机。
在一些实施例中，控制器115然后重新配置以太网交换机110以使寻址到故障的或不存在的存储设备105的所有以太网业务重定向，使得该业务被转发到控制器115。然后，控制器处理来自远程主机的存储命令并发送命令响应，使得远程主机100接收与存储设备105没有发生故障或被移除的情况相同的命令响应。
例如，响应于来自远程主机100的寻址到故障的或不存在的存储设备105并被重定向到控制器115的读取命令，控制器115可以从一个或多个其他存储设备105上存储的擦除代码(例如，擦除奇偶校验码和数据码)中恢复已从仍然存在并且正确地操作的故障的或不存在的存储设备105读取的数据(例如，可以通过xor操作来重新生成数据，以从故障的/不存在的存储驱动器105正常地恢复数据)，并且控制器115可以向远程主机100发送包含恢复的数据的命令响应。
响应于来自远程主机100的寻址到故障的或不存在的存储设备105并被重定向到控制器115的写入命令，控制器115可以产生和存储与故障的或不存在的存储设备105在其仍然存在并且正确地操作时所存储的擦除代码相同的擦除代码，并且向远程主机100发送与故障的或不存在的存储设备105在其仍然存在并且正确地操作时所发送的命令响应相同的命令响应。在一些实施例中，在存储设备105发生故障之后，在系统的继续操作期间，控制器115通过产生新的数据和擦除代码以替换在存储设备105故障时丢失的任何数据，将新的数据和擦除代码存储在一个或多个剩余的存储设备105上，并且在剩余的存储设备105之间移动数据(和擦除代码)，来重新配置系统以少于一个的驱动器进行操作，直到再次是所有数据都被擦除代码保护并且每个擦除代码被存储在与其所保护的数据不同的存储设备105上的情况。如果存储设备105被移除(而不是故障)，则控制器可以采取相同的动作。
当更换驱动器随后被安装时，控制器115可以在系统的继续操作期间并且在继续代表故障或不存在的存储设备105进行响应时，重建更换驱动器，即，控制器115可以恢复在故障或不存在的存储设备105上的数据并将其存储在更换驱动器中。一旦更换驱动器已被重建，则控制器可以重新配置以太网交换机110以进行正常操作。
图2示出了一个实施例中的存储系统的启动顺序的流程图。在动作205中，控制器115(例如，bmc)初始化其自身并且根据预先调节每一期望的raid配置的所有数据存储设备105(例如，ssd)。然后，在动作210中，控制器115将一些存储设备105指定为数据存储设备，并且将一些存储设备105指定为擦除代码存储设备。这可以在所有存储设备105和命令的初始化时完成，或者可以基于每个命令完成。然后，在动作215中，控制器115在ssd各自的容量不同的情况下使ssd标准化，并且然后在动作220中，控制器115将擦除代码存储设备标记为对于任何主机不可见，如上所述。
图3示出了存储系统的操作的流程图，在替代实施例中，存储设备105而不是控制器115产生擦除代码。系统中的每个存储设备105具有唯一的阵列成员标识，例如来自控制器115的插槽编号或分配的编号。在动作305中，数据存储设备中的每一个继续执行与主机或发起者的正常的nvme光纤(nvmf)事务，并且在动作310中，执行正常的发现服务并开始执行事务(例如，处理和响应存储命令)。在动作315中，主机将数据写入数据存储设备之一。在动作315中，主机不产生擦除代码。然后，在动作320中，数据存储设备接收要写入的数据并将其存储在数据存储设备内部的非易失性存储器中。在动作320中，数据存储设备还产生擦除代码并将它们写入(多个存储设备中的)一个或多个擦除代码存储设备。
例如，对于任何写入，写入数据可以临时存储在目标存储设备中的滞后写入缓冲器中。同时，目标存储设备可以经由控制平面(例如，pcie控制平面)将写入数据传送到控制器115。在接收到写入数据之后，控制器115可以通过从其他存储设备读取共享相同lba的对应数据来执行奇偶校验生成。控制器115可以执行一个或多个适当的xor操作并将新的奇偶校验写入奇偶校验存储设备。当完成时，控制器115可以向原始目标存储设备发送滞后写入缓冲器可以被清除的消息。
在一些实施例中，若干存储设备105存储擦除代码。在动作325中，擦除代码存储设备接收擦除代码并将其存储在擦除代码存储设备内部的非易失性存储器中，并向数据存储设备发送提交消息。数据存储设备和擦除代码存储设备之间的通信可以通过pcie交换机120。
鉴于上述内容，一些实施例提供了用于跨多个存储设备提供擦除代码保护的系统和方法。存储系统中的数据交换机将多个存储设备连接到远程主机。每个存储设备也连接到控制器，例如基板管理控制器。在正常操作期间，来自远程主机的读取和写入命令通过数据交换机被发送到相应的存储设备。当执行写入命令时，执行命令的存储设备将数据的副本发送到控制器，控制器例如在专用于存储擦除代码并且对远程主机不可见的存储设备上产生并存储擦除代码。当设备发生故障或被移除时，控制器重新配置数据交换机，以将寻址到故障或不存在的存储设备的所有业务重定向到控制器，并且控制器以与故障或不存在的存储设备在其存在并且正确地操作时将会发送的命令响应相同的命令响应来响应主机命令。
术语“处理电路”在此用来表示为了处理数据或数字信号所采用的硬件、固件和软件的任何组合。处理电路硬件可以包括例如专用集成电路(asic)、通用或专用中央处理单元(cpu)、数字信号处理器(dsp)、图形处理单元(gpu)和可编程逻辑器件，例如现场可编程门阵列(fpga)。在处理电路中，如在此所使用的，每个功能或者由被配置为(即，硬连线)执行该功能的硬件执行，或者由被配置为执行存储在非暂时性存储介质中的指令的诸如cpu之类的更通用的硬件执行。处理电路可以制造在单个印刷电路板(pcb)上或分布在若干互连的pcb上。处理电路可以包含其他处理电路；例如，处理电路可以包括pcb上互连的两个处理电路，fpga和cpu。
将理解，虽然本文中可以使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但是这些元件、组件、区域、层和/或部分不应受这些术语限制。这些术语仅用于区分一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分。因此，在不偏离本发明构思的精神和范围的情况下，下文中讨论的第一元件、组件、区域、层或部分可以被称为第二元件、组件、区域、层或部分。
这里所用的术语仅用于描述特定实施例的目的，而不是为了限制本发明构思。如本文所使用的，术语“基本上”、“大约”和类似术语被用作近似术语而不是程度术语，并且旨在说明测量值或计算值中的固有偏差，这些偏差将被本领域的普通技术人员所认识到。
如本文中使用的，单数形式“一”和“一个”意在也包括复数形式，除非上下文明确地另外指示。还将理解，术语“包括”和/或“包含”当在本说明书中使用时，规定了存在所声明的特征、整数、步骤、操作、要素和/或组件，但是并没有排除存在或添加一个或多个其他特征、整数、步骤、操作、要素、组件和/或其组合。如本文中使用的，术语“和/或”包括关联列出的项目中的一个或更多个的任意和所有组合。诸如“......中的至少一个”之类的表述在元件列表之后时修饰整个元件列表，而不是修饰列表中的单独元件。此外，当描述本发明构思的实施例时，“可以”的使用表示“本发明的一个或多个实施例”。此外，术语“示例性”旨在表示示例或说明。如本文所使用的，术语“使用”、“通过使用”和“所使用的”可以被认为分别与术语“利用”、“通过利用”和“所利用的”同义。
将理解，当元件或层被称为在另一元件或层“上”、“连接到”、“耦合到”或“邻近于”另一元件或层时，其可以直接在另一元件或层上、直接连接到、耦合到或邻近于另一元件或层，或者可以存在中间元件或层。相反，当元件被称为“直接”在另一元件或层“上”、“直接连接到”、“直接耦合到”或“直接邻近于”另一元件或层时，不存在中间元件或层。
本文所述的任何数值范围旨在包括包含在所述范围内的具有相同数值精度的所有子范围。例如，“1.0至10.0”的范围旨在包括所述最小值1.0和所述最大值10.0之间(并且包括所述最小值1.0和所述最大值10.0)的所有子范围，即，具有等于或大于1.0的最小值和等于或小于10.0的最大值，例如2.4至7.6。本文所述的任何最大数值限制旨在包括其中所包含的所有较低数值限制，并且本说明书中所述的任何最小数值限制旨在包括其中所包含的所有较高数值限制。
尽管已经在本文中具体描述和示出了用于跨多个存储设备提供擦除代码保护的控制平面方法和装置的示例实施例，但是对于本领域技术人员而言，许多修改和变化将是显然的。因此，应理解的是，根据本发明原理构造的用于跨多个存储设备提供擦除代码保护的控制平面方法和装置可以以不同于本文具体描述的方式来实现。还在所附权利要求及其等同物中限定本发明。