专利名称：一种数据存储规划方法及装置的制作方法
技术领域：
本发明涉及网络存储技术领域，尤其涉及一种网络存储设备上数据存储规划方法及装置。
背景技术：
在视频监控存储领域中，有很多业务都需要文件系统来支撑。文件系统可以简单的实现资源的共享存储，以提高存储空间的利用率。在文件系统之上发展而来的NAS技术，可以很好地满足当前监控业务中多个设备之间的文件共享需求。但是NAS并非十全十美，在监控行业高清摄像机的发展，存储压力不断提高的背景下，NAS存储性能瓶颈和不稳定性暴露无遗。NAS技术的实现成本较低，但无法适用于海量的数据存储。无论是使用SAN还是NAS，现有的解决方案大多基于文件系统实现，由于文件系统考虑的是满足通用的存储需求，所以结构复杂。对于监控业务中的大量长时间满覆盖写，容易造成系统的不稳定，且存储性能也会随时间变化而下降。尤其是索引区发生问题时，将会引发业务中断，即便有备份机制，业务恢复也需要一定时间。在视频监控这种海量数据存储的应用中，如何提高整个存储结构的可靠性是目前迫切需要解决的问题。
发明内容
有鉴于此，本发明提供一种数据存储规划处理装置，应用于网络存储设备上，该装置包括格式化处理单元以及空间分配单元，其中格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。本发明还提供一种数据存储规划处理方法，应用于网络存储设备上，该方法包括如下步骤步骤A、创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；步骤B、在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。本发明通过格式化处理，允许用户在不同的物理存储资源上创建索引区和数据区，支持数据区和索引区的分离，允许用户根据需要使用不同存储资源来保存索引区数据。比如说用户可以很好地利用速度更快的物理存储资源(比如本地SSD硬盘)存放索引区，使得索引区的访问速度更快。
图I是本发明一种数据存储规划装置的逻辑结构图。
图2是本发明一种实施方式中存储结构图。
具体实施方式
本发明提供更适合一种SAN技术的数据存储处理技术。以计算机实现为例，本发 明提供一种数据存储规划装置，该规划装置应用于网络存储设备上。该网络存储设备包括 本地物理存储资源(比如本地磁盘)以及下挂的一个或多个物理存储资源(比如各种级别的 RAID阵列)。其中本地物理存储资源主要用于保存网络存储设备的操作系统以及存储软件， 而下挂的物理存储资源主要用于存储来自用户主机的海量业务数据。网络存储设备通常包 括控制主机(也称为存储控制器)，存储控制器通常包括CPU以及内存等基本硬件，本地物理 存储资源通常是位于存储控制器内部的本地磁盘甚至是磁盘阵列。而所谓下挂物理存储资 源主要是通过各种扩展连接技术(比如SAS等)与存储控制器的后端接口相连的。
请参考图I，该数据存储装置包括格式化处理单元以及空间分配单元。该装置在网 络存储设备上运行过程中涉及如下的处理流程。
步骤101，在初始化时，格式化处理单元创建格式化信息区，在用户指定的物理存 储资源上创建用以存放索引数据的索引区，在用户指定的物理存储资源上创建数据区，其 中该索引区的大小与所述数据区具有对应关系，所述数据区包括若干大小相同的数据块；
步骤102，空间分配单元在上层应用需要存储文件时，根据文件大小分配至少一个 数据块给该上层应用使用。
在初始化的时候，格式化处理单元将提供用户管理交互界面，允许用户指定格式 化过程的参数以及如何利用物理存储资源。格式化过程的参数将决定索引区的大小、数据 区的大小以及可分配数据块的大小等重要运行参数。索引区的大小与数据区的大小相关， 比如说索引区大小为数据区的3%。在本发明中，用户在格式化过程中可以指定索引区的存 储位置，也就是索引区存储在哪个物理存储资源上，用户也可以指定数据区存储在哪个物 理存储资源上，这与现有技术有本质的区别，现有技术中索引区与数据区天然地固定在一 个物理存储资源上。
用户可以充分利用本发明提供的灵活性来合理为索引区分配物理存储资源实现 各种性能上的提升。用户可以选择不同的物理存储资源来存放索引区和数据区。索引区 与数据区在物理上分离可以允许用户选择更加可靠的物理存储资源(比如可靠性很高的 RAIDl阵列)来存储索引区，确保索引数据这种关键数据存储的可靠性。
其次，对于索引区来说，物理存储资源还可以选择网络存储设备本地的物理磁盘 或者本地RAID阵列，选择本地的物理存储资源可以保证索引区的访问更加快速；现有技术 中索引区与数据区通常都是在网络存储设备下挂的物理存储资源上，这些物理存储资源与 网络存储设备的交互是经过一些通用/专用连接技术(比如SAS等)实现的，其数据访问的 速率并不如本地物理存储资源高。
另外，由于索引区的访问具有很大的随机性，因此访问索引区时使用缓存的意义 并不大，因此可以配置更少的缓存资源，比如使用本地磁盘时，可以减少使用网络存储设备 上的缓存资源。现有技术中由于索引数据与业务数据均放在一起，无法做到只为业务数据访问提供更多缓存资源，为索引数据访问提供更少缓存。在本发明中，由于索引区与数据区可以分别设置在不同的物理存储资源上，这样网络存储设备就可以将有限的业务缓存更多地分配对访问数据区。请参考图2，格式化信息区主要从整体上描述图2的存储结构，其内的信息主要包括索引区的大小、数据区的大小以及数据块的大小等等。在优选的实施方式中，索引区包括若干大小相同的子索引区，其中当前有一个子索引区投入使用，其他子索引区作为副本，这样的处理可以大大提高索引区数据的可靠性，避免索引区损坏而无法复原，更为具体的技术实现可以参考本申请人提出的相关专利申请。需要注意的是在本发明中，子索引区的副本并不一定要存在，索引区也可以只包括一个子索引区。每个子索引区包括卷索引区、索引日志、若干组索引区以及卷索引区备份区区。卷索引区描述的是整个子索引区，比如说组索引区的数量以及存储的地址空间等信息，相当于一级索引区。索引日志主要用来记录索引区的操作记录。所述组索引区描述一个预定大小的数据区，包括目录索引和文件索引，相当于一个二级索引区。假设一个子索引区描述30G的数据区，子索引区包括15个组索引区，那么一个组索引区描述2G的数据区。卷索引区备份区主要是为了防止作为一级索引区的数据因磁道故障而无法访问所作的备份。在优选的方式中，卷索引区位于子索引区的开始位置，而卷索引区备份区则位于子索引区的结束位置。卷索引区与卷索引区备份区之间存储位置相距较远可以避免磁盘一个磁道损坏导致同时引发卷索引区与卷索引区备份区同时损坏的问题。当卷索引区所在磁道发生故障时，由于卷索引备份区中的备份卷索引数据可以继续使用，确保业务访问不会因此而中断。如前所述，本发明优选方式中采用两级索引的结构，这种两级索引结构可以提升访问效率。在优选的方式中，一个组索引区描述的数据区大小不小于2G，因为在当前文件系统中，文件大小通常会被限制在2G以下，这样一个组索引区的索引数据基本都可以描述至少一个文件的存储位置。数据区是以数据块为单位进行空间分配调度的。上层应用的数据存储需求通常来自与用户主机，空间分配单元以该数据块为单位为该上层应用分配足量的数据区存储空间。这里所说的用户主机是一个广泛的概念，其可以是任何需要存储空间的设备，比如服务器或者监控终端等。在优选的方式中，数据块的大小通常远大于系统自身数据块的大小(比如4K)，比如说32M或者64M。用户可以在初始化时，配置该参数。在本发明优选方式中，上述数据块大小这一参数具有最低可选值，表示用户配置时必须选择大于等于该值的数值。该最低可选值大于系统自身数据块，比如说32M。由于本发明中的数据块远大于系统数据块，这可以避免更多磁盘碎片的产生。此外，这样的设置其可以提高系统对业务的处理效率，通常在监控环境下，包括视频信息的文件都会较大，选择较大的数据块，使得空间分配计算过程更加简单，处理速度自然也就更快。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
权利要求
1.一种数据存储规划处理装置，应用于网络存储设备上，该装置包括格式化处理单元以及空间分配单元，其特征在于 格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况； 空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。
2.如权利要求I所述的装置，其特征在于 所述索引区包括子索引区以及至少一个子索引区副本。
3.如权利要求I所述的装置，其特征在于所述子索引区包括卷索引区、若干组索引区以及卷索引备份区。
4.如权利要求I所述的装置，其特征在于所述卷索引区位于子索引区开始位置，所述卷索引备份区位于子索引区结束位置。
5.如权利要求I所述的装置，其特征在于所述格式化处理单元进一步用于保存用户指定的数据块大小，其中该数据块大小不小于预定的最小数据块大小，其中该最小数据块大小大于网络存储设备系统数据块大小。
6.一种数据存储规划处理方法，应用于网络存储设备上，其特征在于，该方法包括如下步骤 步骤A、创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况； 步骤B、在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。
7.如权利要求6所述的方法，其特征在于 所述索引区包括子索引区以及至少一个子索引区副本。
8.如权利要求6所述的方法，其特征在于所述子索引区包括卷索引区、若干组索引区以及卷索引备份区。
9.如权利要求6所述的方法，其特征在于所述卷索引区位于子索引区开始位置，所述卷索引备份区位于子索引区结束位置。
10.如权利要求6所述的方法，其特征在于所述步骤A进一步包括 保存用户指定的数据块大小，其中该数据块大小不小于预定的最小数据块大小，其中该最小数据块大小大于网络存储设备系统数据块大小。
全文摘要
本发明提供一种数据存储规划处理装置及对应方法，该装置包括格式化处理单元以及空间分配单元，其中格式化处理单元，用于创建格式化信息区，在用户指定的物理存储资源上创建用以存放索引数据的索引区，以及在用户指定的物理存储资源上创建数据区，其中所述格式化信息用于描述索引区以及数据区的概况；空间分配单元，用于在上层应用需要存储文件时，根据文件大小分配至少一个数据块给该上层应用使用。本发明通过格式化处理，允许用户在不同的物理存储资源上创建索引区和数据区，支持数据区和索引区的分离，允许用户根据需要使用不同存储资源来保存索引区数据。
文档编号G06F17/30GK102982182SQ20121056321
公开日2013年3月20日 申请日期2012年12月21日 优先权日2012年12月21日
发明者吕志明 申请人:浙江宇视科技有限公司