一种数据管理的方法、设备与系统的制作方法
【技术领域】
[0001] 本发明涉及通信技术领域，尤其涉及一种数据管理的方法、设备与系统。
【背景技术】
[0002] 随着移动终端、云计算和物联网的普及，以及随之而来行业监管要求的跟进，我们 正进入一个数据飞速膨胀的时代。如何针对大量膨胀的数据，设计出更高性价比的存储和 访问策略，是存储和数据领域的热点研宄课题。根据数据的冷热程度，可以简单分为热数据 和冷数据。实际上，经常访问的热数据往往是占比例较小的，一般是10% -15%，剩下的大 部分数据都是冷数据。针对这些冷数据，并没有太多的计算能力需求，一般只需将其很好的 存储和管理起来。现实中对于按照时间先后生成，并由此区分出了冷热数据之分的数据模 型，一般采取分区表的形式管理，即新数据、热数据在新分区，老数据、冷数据在旧分区。
[0003]为了减少冷数据的开销，一般会将冷数据迀移至慢速、低成本和低功耗的存储设 备，例如一个数据管理系统包含很多个硬盘，转速慢的硬盘用来存储冷数据；并对冷数据进 行软件优化，如采取更好的压缩比、去重等，使得存放数据一样的数据块只保留一个。应用 程序针对热数据和冷数据的访问，一般都会按照计划进行：常规计划内的操作都会针对热 数据，针对冷数据的操作需要另外单独的计划。
[0004] 这样也带来一个问题，即如果应用程序意外查询冷数据，例如用户查询范围过大 或者误写，意外地包含了冷数据，由于冷数据存储在运行速度较慢的设备上，会由于冷数据 存储设备更慢的读取速度、更长的解压时间，整体上数量级地延长了查询结果的响应时间。 以某企业2014年01月-12月的数据的分布管理为例：
[0005]
【主权项】
1. 一种数据管理方法，其特征在于，所述方法包括： 获知冷数据片段在第一存储设备中所在的数据分区，数据片段是组成数据分区的基本 单位；所述冷数据片段为访问频率小于预设阔值的数据片段； 在所述冷数据片段所在的数据分区中确定出特殊数据分区，所述特殊数据分区包含的 数据片段全部为冷数据片段； 将所述特殊数据分区从所述第一存储设备迁移到第二存储设备，所述第一存储设备的 数据处理能力强于所述第二存储设备； 将所述第二存储设备中的特殊数据分区设置为离线模式，W使所述特殊数据分区中的 冷数据片段不被访问。
2. 如权利要求1所述方法，其特征在于，所述在所述冷数据片段所在的数据分区中确 定出特殊数据分区包括： 将目标数据分区中包含的M个冷数据片段分为N个冷数据片段组，M为大于0的整数， N为大于0的整数，且M大于等于N ; 将所述N个冷数据片段组从所述目标数据分区中分离出来，形成N个新的数据分区，每 一个冷数据片段组对应一个新的数据分区，每一个新的数据分区都是所述特殊数据分区。
3. 如权利要求2所述方法，其特征在于，所述将目标数据分区中包含的M个冷数据片段 分为N个冷数据片段组具体包括： 按照所述M个冷数据片段的数据类型、数据生成日期、创建者或名称中的一个或者多 个，将所述M个冷数据片段分为N个冷数据片段组。
4. 如权利要求1-3任一项所述方法，其特征在于，所述将所述第二存储设备中的特殊 数据分区设置为离线模式具体包括：对所述第二存储设备中的特殊数据分区执行离线命 令，所述离线命令中携带使所述特殊数据分区强制离线的标识。
5. 如权利要求1-3任一项所述方法，其特征在于，所述将所述第二存储设备中的特殊 数据分区设置为离线模式具体包括：对所述第二存储设备中的特殊数据分区执行离线命 令，将所述离线命令中的权限字段设置为"0"或"1"，使所述特殊数据分区强制离线。
6. 如权利要求1-5任一项所述方法，其特征在于，在所述将所述第二存储设备中的特 殊数据分区设置为离线模式后，所述方法还包括；若需要查询所述特殊数据分区中的冷数 据片段，将所述第二存储设备中的特殊数据分区由离线模式设置为在线模式，W使所述特 殊数据分区中的冷数据片段能够被访问。
7. 如权利要求6所述方法，其特征在于，在所述将所述第二存储设备中的特殊数据分 区由离线模式设置为在线模式之后，所述方法还包括；所述数据管理设备将所述特殊数据 分区从所述第二存储设备迁移到所述第一存储设备中。
8. -种数据管理设备，其特征在于，所述设备包括： 获知模块，用于获知冷数据片段在第一存储设备中所在的数据分区，数据片段是组成 数据分区的基本单位；所述冷数据片段为访问频率小于预设阔值的数据片段；确定模块， 用于在所述冷数据片段所在的数据分区中确定出特殊数据分区，所述特殊数据分区包含的 数据片段全部为冷数据片段； 迁移模块，用于将所述特殊数据分区从所述第一存储设备迁移到第二存储设备，所述 第一存储设备的数据处理能力强于所述第二存储设备； 设置模块，用于将所述迁移模块迁移到所述第二存储设备中的特殊数据分区设置为离 线模式，W使所述特殊数据分区中的冷数据片段不被访问。
9. 如权利要求8所述设备，其特征在于，所述确定模块包括分组单元和分离单元；目标 数据分区中存在M个冷数据片段； 所述分组单元用于将所述M个冷数据片段分为N个冷数据片段组，M为大于0的整数， N为大于0的整数，且M大于等于N ; 所述分离单元用于将所述分组单元分得的N个冷数据片段组从所述目标数据分区中 分离出来，形成N个新的数据分区，每一个冷数据片段组对应一个新的数据分区，每一个新 的数据分区都是所述特殊数据分区。
10. 如权利要求9所述设备，其特征在于，所述分组单元具体用于按照冷数据片段的数 据类型、数据生成日期、创建者或名称中的一个或者多个，将所述M个冷数据片段分为N个 冷数据片段组。
11. 如权利要求8-10任一项所述设备，其特征在于，所述设置模块具体用于对所述特 殊数据分区执行离线命令，所述离线命令中携带使所述特殊数据分区强制离线的标识。
12. 如权利要求8-10任一项所述设备，其特征在于，所述设置模块具体用于对所述特 殊数据分区执行离线命令，将所述离线命令中的权限字段设置为"0"或"1"，使所述特殊数 据分区强制离线。
13. 如权利要求8-12任一项所述设备，其特征在于，数据管理设备需要查询所述特殊 数据分区中的冷数据片段时，所述设置模块还用于将所述特殊数据分区由离线模式设置为 在线模式，W使所述特殊数据分区中的冷数据片段能够被访问。
14. 如权利要求13所述设备，其特征在于，所述所述设置模块用于将所述特殊数据分 区由离线模式设置为在线模式之后，所述迁移模块还用于将所述特殊数据分区中的全部冷 数据片段迁移到所述第一存储设备中。
15. -种数据管理系统，其特征在于，所述系统包括： 终端，数据管理设备； 所述数据管理设备用于： 获知冷数据片段在第一存储设备中所在的数据分区，数据片段是组成数据分区的基本 单位；所述冷数据片段为访问频率小于预设阔值的数据片段； 在所述冷数据片段所在的数据分区中确定出特殊数据分区，所述特殊数据分区包含的 数据片段全部为冷数据片段； 将所述特殊数据分区从所述第一存储设备迁移到第二存储设备，所述第一存储设备的 数据处理能力强于所述第二存储设备； 将所述特殊数据分区设置为离线模式，W使所述特殊数据分区中的冷数据片段不被访 问； 所述终端用于向所述数据管理设备发送数据查询请求； 所述数据管理设备用于根据所述数据查询请求进行数据查询。
【专利摘要】本发明实施例提供了一种数据管理的方法、设备与系统。获知冷数据片段在第一存储设备中所在的数据分区；在冷数据片段所在的数据分区中查找或分离出特殊数据分区，特殊数据分区包含的数据片段全部为冷数据片段；将特殊数据分区从第一存储设备迁移到第二存储设备，第一存储设备的数据处理能力强于第二存储设备；将特殊数据分区设置为离线模式，以使特殊数据分区中的冷数据片段不被访问。本发明通过设置冷数据片段所在分区为离线模式，无需借助外部存储介质，无需进行手动转移冷数据片段，也不需要复杂的操作流程，就可以达到在计划内访问热数据时不会对冷数据片段意外访问的目的，进而避免了由此引发的查询响应时间延长和查询性能降低。
【IPC分类】G06F12-02
【公开号】CN104536904
【申请号】CN201410848147
【发明人】杜培亮, 王提政
【申请人】杭州华为数字技术有限公司
【公开日】2015年4月22日
【申请日】2014年12月29日