一种邮件高效处理方法
【技术领域】
[0001] 本发明涉及邮件存储，特别涉及一种邮件高效处理方法。
【背景技术】
[0002] 邮件数据的快速增长，使邮件存储系统的能耗急剧增加，在邮件数据存储应用中， 在满足性能需求及单盘容错条件下，存储阵列的并行访问数据排列会导致存储阵列基本执 行读写操作：写新数据时，需要先读取对应的旧数据、旧误差校验数据，与新数据一起生成 新的误差校验数据后再写入新的误差校验数据，严重影响了性能。为了提供额定的写入性 能，存储阵列必须运行更多磁盘以弥补局部写入带来的性能损失，从而会消耗更多能量。因 此，存储阵列的节能效率亟待提高。
【发明内容】
[0003] 为解决上述现有技术所存在的问题，本发明提出了一种邮件高效处理方法，包 括：
[0004] 将邮件存储系统的存储阵列中的一个存储区作为逻辑存储区，在更新源存储空间 时，将邮件数据写入逻辑存储区。
[0005] 优选地，所述邮件存储系统由N块磁盘组成，将每个磁盘平均分成N+1个存储区，N 个相同偏移量的存储区组成一个库，共组成N+1个库，选择其中一个作为逻辑库，其余为物 理库，每个物理库包含1个误差校验区、N-I个数据区；在物理库i中，误差校验区记为PB i，位于磁盘N-1-i ;第V个数据区记为DB(i，V)，当i+v〈N-l时，DB(i，V)位于磁盘V，否则 位于磁盘v+1 ;其中，0 < i〈N，0 < v〈N-l ;PB i的值由通过以下运算求得：
[0007] 每个存储区包含M个大小相等的块，每个库中，相同偏移量的块集成一个条块；所 述邮件存储系统采用如下并行访问数据来排列：将每个物理库中的N-I个数据区平均分成 P组，每组包含Q个块；每组中偏移量相同的块能够被并行访问，每个条块中仅部分块提供 并行性；
[0008] 所述邮件存储系统仅对物理库进行分组，逻辑库不参与分组，也不参与编址，对邮 件存储系统的上层应用是透明的；在组地址分配上，邮件存储系统采用以下策略，在每个物 理库中，序号相邻的组的逻辑地址相邻；即库i中组P的存储区q中第m个块的逻辑地址 为：NumB (M · Q · P · i+M · Q · p+Q · m+q);
[0009] 其中NumB为块包含的数据块数，0彡p〈P，0彡i〈N，0彡q〈Q，0彡m〈M。
[0010] 优选地，该方法还包括，在逻辑存储区写满后，修改映射表使所述逻辑存储区取代 源存储空间，具体包括：
[0011] 步骤（1).向某源存储库写数据时，数据写入对应的逻辑库；
[0012] 步骤（2).根据写入数据、本次循环中逻辑库中已写数据的误差校验数据，生成逻 辑库的新的误差校验数据；
[0013] 步骤（3).如果逻辑库未写满，转到步骤⑴；
[0014] 步骤（4).如果逻辑库写满，修改地址映射关系，令逻辑库取代源存储库，本次循 环结束；
[0015] 步骤（5).被取代的源存储库此时无映射关系，在下一循环中作为逻辑库。
[0016] 本发明相比现有技术，具有以下优点：
[0017] 本发明提出了一种邮件高效处理方法，保持了并行访问的低能耗，又解决了并行 访问带来的局部写入问题，具有突出的写入性能和节能效率。
【附图说明】
[0018] 图1是根据本发明实施例的邮件高效处理方法的流程图。
【具体实施方式】
[0019] 下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描 述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权 利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节 以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中 的一些或者所有细节也可以根据权利要求书实现本发明。
[0020] 本发明的一方面提供了一种邮件高效处理方法。图1是根据本发明实施例的邮件 高效处理方法流程图。
[0021] 本发明采用面向邮件数据存储的高效能存储阵列，采用了新的并行访问数据排 列，并综合运用了以下策略，以实现高性能和高节能效率。在地址映射中将随机写入转化为 顺序写入；将存储空间划分成多个相等的存储区，其中之一作为逻辑存储区，更新源存储空 间时，数据写入逻辑存储区；逻辑存储区写满后，修改映射表使它取代源存储空间；下一个 循环中，源存储空间作为逻辑存储区，缓存其他存储区的写数据：写数据与逻辑存储区已有 误差校验数据一起生成新的误差校验数据，随着逻辑存储区中数据的增加，误差校验数据 的误差校验范围也逐渐扩大。生成新的误差校验数据时无需读取旧数据，当采用流水方式 读取逻辑存储区已有误差校验数据、写入新的误差校验数据时，可消除读误差校验数据对 性能的影响；利用分段数据容错：联合逻辑存储区、源存储空间实现数据恢复。本发明的邮 件存储系统保持了并行访问的低能耗，又解决了并行访问带来的局部写入问题，具有突出 的写入性能和节能效率。
[0022] 邮件存储系统实现方法主要包括数据排列、写操作过程、数据恢复3方面内容。其 中，写操作过程又包括地址映射、远程数据更新、扩展误差校验。邮件存储系统由N块磁盘 组成，每个磁盘平均分成N+1个存储区。N个相同偏移量的存储区组成一个库，共组成N+1 个库，选择其中一个作为逻辑库，其余为物理库。每个物理库包含1个误差校验区、N-I个 数据区。在物理库i中，误差校验区记为PB i，位于磁盘N-1-i;第V个数据区记为DB(i， v)，当i+v〈N-l时，DB(i，v)位于磁盘v，否则位于磁盘v+1。其中，0彡i〈N，0彡v〈N-l。PB i的值由通过异或运算求得：
[0024] 令每个存储区包含M个大小相等的块，每个库中，相同偏移量的块集成一个条块。
[0025] 为了提供合适的性能，邮件存储系统采用如下并行访问数据来排列：将每个物理 库中的N-I个数据区平均分成P组，每组包含Q个块。每组中偏移量相同的块能够被并行 访问，每个条块中仅部分块提供并行性。
[0026] 邮件存储系统仅对物理库进行分组，逻辑库不参与分组，也不参与编址，对邮件存 储系统的上层应用是透明的。在组地址分配上，邮件存储系统采用了以下策略：在每个物理 库中，序号相邻的组的逻辑地址相邻。设NumB为块包含的数据块数，则库i，组p，存储区q 中第m个块的逻辑地址为：NumB (Μ · Q · P · i+M · Q · p+Q · m+q);
[0027] 这里，0 彡 p〈P，0 彡 i〈N，0 彡 q〈Q，0 彡 m〈M。
[0028] 邮件存储系统的数据排列和编址方式能够提供足够的并行度，并且对于邮件数据 存储应用，可保证I/O请求在很长的时间内集中在一个或几个组中，其他多数磁盘有足够 长的待机时间，可调度到待机模式以节约能耗。
[0029] 邮件存储系统的写操作过程综合运用了地址映射、远程数据更新、扩展误差校验 等策略，生成误差校验数据时无需读取旧数据，当采用流水方式读取已有误差校验数据、写 入新的误差校验数据时，可有效解决并行访问带来的局部写入问题。此外，地址映射将随机 写入转换成顺序写入，又进一步提升了邮件存储系统的写入性能。
[0030] 邮件存储系统以写新数据为主，较少进行改写操作，适合采用块集映射。地址映射 信息为存储容量的8Λ?024Χχ)，其中，8个字节（64位）记录一个块集地址，X为块集大小 以KB为单位。当邮件存储系统的存储容量为30ΤΒ、块集大小为64ΚΒ时，地址映射信息仅 为3. 67GB，适合采用固态硬盘进行存储，运行时甚至可以完全调入内存，以加快读、写操作 中的地址转换速度。
[0031] 将随机写入转换为