一种数据过滤存储装置的数据存储方法与流程

文档序号:17600313发布日期:2019-05-07 20:11阅读:122来源:国知局

本发明属于大数据技术领域,具体涉及数据存储技术领域,尤其是一种数据过滤存储装置的数据存储方法。



背景技术:

数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名,这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据,表现出动态数据的特征;数据存储反映系统中静止的数据,表现出静态数据的特征。.

磁盘和磁带都是常用的存储介质。数据存储组织方式因存储介质而异。在磁带上数据仅按顺序文件方式存取;在磁盘上则可按使用要求采用顺序存取或直接存取方式。数据存储方式与数据文件组织密切相关,其关键在于建立记录的逻辑与物理顺序间对应关系,确定存储地址,以提高数据存取速度。

标准化数据中心数据存储容量很难只通过磁盘存储来单独创建。介质依赖于磁盘盘片之间的互相作用,读/写刺头需要智能磁盘控制器进行调解以管理不同工作负载的需求。

闪存数据存储的数据管理方法不同于硬盘。闪存数据存储是直接访问存储架构;不需要通过磁头寻找正确的磁盘区域来检索数据,所以没有延时。数据存储管理速度的优势意味着闪存可以应用在相同阵列的不同工作负载类型上。它也更统一跨越不同供应商的数据存储产品实现虚拟化。

闪存(flashmemory)包括多个区块(block),每一区块包括多个页(page)以供数据储存。此外,闪存的每一区块分别对应至不同的地址。当主机欲存取闪存的数据时,主机会向闪存的控制器发送存取命令,该存取命令包括所欲存取的区块的地址。例如,当闪存自控制器接收写入命令时,便依控制器的指示将数据储存至写入地址所对应的区块的某些页。当闪存自控制器收到读取命令时,便依控制器的指示自读取地址对应的区块的某些页读出数据而回传数据至控制器。

现有的存储装置中,主要面临的技术难题是闪存单元的存储容量还不足以支撑越来越大量的数据信息,而各种数据信息有若干重复的内容,造成读取时间过长、闪存容量受限等各种并发问题,尤其是闪存单元中存储了大量的重复内容,不堪重负。如何解决这一难题,成为本技术领域重点的研究方向。



技术实现要素:

发明目的:为了克服现有技术中存在的不足,本发明提供一种数据过滤存储装置的数据存储方法,避免了数据信息的重复写入,提高了数据存储装置的读写效率,也减少了闪存单元的存储压力,有效增大了闪存单元的存储相对容量。

技术方案:为实现上述目的,本发明采用如下技术方案:

一种数据过滤存储装置的数据存储方法,包括以下步骤:

1)写入数据信息到控制器的写入单元中,由控制器的读取单元读取;

2)读取到的数据信息经过数据过滤单元,由数据过滤单元作出判断,是否为闪存单元中的目标块中已经存储的数据信息;

3)如果不是,则判定为新的未读取过的新数据信息,则存储到闪存单元中的目标块中;

4)如果是,那就判定为已有旧数据信息,则过滤掉该数据信息,并存储到闪存单元中的副目标块中,再由副目标块反馈给写入单元,由此构成数据过滤反馈系统。

进一步的,在本发明中,所述数据过滤反馈系统中,当写入单元再次写入所述副目标块中同样的数据信息,即启动与写入单元连接的警报单元,发出警示信息,警戒告知数据信息重复写入。

进一步的,在本发明中,所述警报单元为闪灯装置或响铃装置。

进一步的,在本发明中,当某个旧数据信息不需要过滤反馈时,可采用与所述副目标块连接的擦除单元擦除掉该旧数据信息,解除对其的警报。

进一步的,在本发明中,所述数据过滤单元由至少三个数据过滤子单元并联组成。

有益效果:本发明的数据过滤存储装置的数据存储方法,与现有技术相比,具有以下优势:本发明在控制器与闪存单元之间,还设置连接有一数据过滤单元,将已有旧数据信息,则过滤掉,并专门存储在副目标块中,并且与写入单元构成数据过滤反馈系统,当下一次再次写入相同的重复的数据信息时,可以及时发出警报,避免了数据信息的重复写入,提高了数据存储装置的读写效率,也减少了闪存单元的存储压力,有效增大了闪存单元的存储相对容量。

具体实施方式

下面结合实施例对本发明作更进一步的说明。

实施例

一种数据过滤存储装置的数据存储方法,包括以下步骤:

1)写入数据信息到控制器的写入单元中,由控制器的读取单元读取;

2)读取到的数据信息经过数据过滤单元,由数据过滤单元作出判断,是否为以前读取过的数据信息,也就是是否为闪存单元中的目标块中已经存储的数据信息;

3)如果不是,则判定为新的未读取过的新数据信息,则存储到闪存单元中的目标块中;

4)如果是,那就判定为已有旧数据信息,则过滤掉该数据信息,并存储到闪存单元中的副目标块中,再由副目标块反馈给写入单元,由此构成数据过滤反馈系统。

优选的,在本实施例中,所述数据过滤反馈系统中,副目标块中检测到的过滤掉的旧数据信息经数据过滤反馈系统反馈给写入单元,当写入单元再次写入所述副目标块中同样的数据信息,即启动与写入单元连接的警报单元,发出警示信息,警戒告知数据信息重复写入。

优选的,在本实施例中,所述警报单元为闪灯装置或响铃装置。灯光和声音都能第一时间较强地发出警告提示,更有提醒效果。

优选的,在本实施例中,当某个旧数据信息不需要过滤反馈时,可采用与所述副目标块连接的擦除单元擦除掉该旧数据信息,解除对其的警报。

优选的,在本实施例中,所述数据过滤单元由至少三个数据过滤子单元并联组成。几个子单元同时进行过滤检测,提高过滤处理效率。

以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。



技术特征:

技术总结
本发明公开了一种数据过滤存储装置的数据存储方法,包括以下步骤:1)写入数据信息到控制器的写入单元中,由控制器的读取单元读取;2)读取到的数据信息经过数据过滤单元,由数据过滤单元作出判断,是否为闪存单元中的目标块中已经存储的数据信息;3)如果不是,则判定为新的未读取过的新数据信息,则存储到闪存单元中的目标块中;4)如果是,那就判定为已有旧数据信息,则过滤掉该数据信息,并存储到闪存单元中的副目标块中,再由副目标块反馈给写入单元,由此构成数据过滤反馈系统。本发明避免了数据信息的重复写入,提高了数据存储装置的读写效率,也减少了闪存单元的存储压力,有效增大了闪存单元的存储相对容量。

技术研发人员:徐新皎;孙飞荣
受保护的技术使用者:南京唯实科技有限公司
技术研发日:2017.10.30
技术公布日:2019.05.07
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1