一种重复数据删除哈希表存储实现方法与流程

本发明专利涉及计算机存储技术领域。

背景技术：

重复数据删除就一种数据缩减技术，通常用于基于磁盘的备份系统，旨在减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复的数据块用指示符取代。

备份设备中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。高度冗余的数据集（例如备份数据）从数据重复删除技术的获益极大；用户可以实现10比1至50比1的缩减比。而且，重复数据删除技术可以允许用户的不同站点之间进行高效，经济的备份数据复制。

厂商采纳的执行重复数据删除的基本方法有三种。第一种是基于散列（hash）的方法，第二种方法是基于内容识别的重复删除，这种方法主要是识别记录的数据格式，第三种方法是基于散列（hash）的产品那样将数据分成块，并且采用自有的算法决定给定的数据块是否与其它的相似。然后与相似块中的数据进行逐字节的比较，以判断该数据块是否已经被备份。在三种实现方法中，其中有两种会用至散列（hash），而散列（hash）在数据需要进行重复数据删除时会针对设定大小块空间进行计算哈希值，哈希值的合集为哈希表，哈希表需要占用内存空间，如需要进行重复数据删除的数据容量大、而设定的重复数据删除块很小时，哈希表会占用大量的内存空间而导致系统运行缓慢或死机等现象。

发明专利内容

本发明专利涉及一种重复数据删除哈希表存储实现方法，该方法通过将非易失性存储介质m映射为扩展内存，非易失性存储介质m为nvdimm等存储介质，并在配置重复数据删除的占用内存空间时，设定非易失性存储介质m为哈希表的内存存储空间，同时在设定时，系统会根据非易失性存储介质m的空间大小和需要重复数据删除的数据空间大小计算出建议重复数据删除块大小值，以避免系统内存被哈希表占用过多而导致系统运行缓慢或死机等现象。

附图说明

图1为本发明专利的一种重复数据删除哈希表存储实现方法结构示意图。

具体实施方式

为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。

请参阅图1，图1为本发明专利的一种重复数据删除哈希表存储实现方法结构示意图。

一种重复数据删除哈希表存储实现方法，其特征在于，所述方法包含非易失性存储介质（10）、哈希表（11）、数据卷（12）、存储设备（13）、业务通信网络（14）、业务主机（15）和存储设备内存（16），该方法存储设备（13）通过业务通信网络（14）与业务主机（15）相连，业务主机（15）通过存储设备内存（16）访问数据卷（12）以完成业务读写请求，存储设备（13）对数据卷（12）进行重复数据删除时，存储设备（13）会设定非易失性存储介质（10）为哈希表（11）的内存存储空间。

一种重复数据删除哈希表存储实现方法，其特征在于，该方法非易失性存储介质（10）在存储设备（13）内会配置为存储设备内存（16）的扩展内存空间地址。

一种重复数据删除哈希表存储实现方法，其特征在于，该方法存储设备（13）在设定非易失性存储介质（10）为哈希表（11）的内存存储空间时，系统会依据非易失性存储介质（10）的空间大小和数据卷（12）的空间大小进行计算比值，并给出重复数据块大小的建议值范围，以实现重复数据删除率和性能的平衡，提升重复数据删除的可操作性。

一种重复数据删除哈希表存储实现方法，其特征在于，该方法在重复数据删除功能未开启使用时是不配置使用非易失性存储介质（10）的空间，即数据读写请求由业务主机（15）发起，通过业务通信网络（14）到达存储设备（13）的存储设备内存（16），最后至达数据卷（12）。

以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

技术特征：

技术总结
本发明涉及一种重复数据删除哈希表存储实现方法，该方法通过将非易失性存储介质M映射为扩展内存，非易失性存储介质M为NVDIMM等存储介质，并在配置重复数据删除的占用内存空间时，设定非易失性存储介质M为哈希表的内存存储空间，同时在设定时，系统会根据非易失性存储介质M的空间大小和需要重复数据删除的数据空间大小计算出建议重复数据删除块大小值，以避免系统内存被哈希表占用过多而导致系统运行缓慢或死机等现象。

技术研发人员：不公告发明人
受保护的技术使用者：长沙开雅电子科技有限公司
技术研发日：2018.04.07
技术公布日：2018.11.06