一种基于多维数据相似性的混合存储系统的制作方法
【专利摘要】本实用新型涉及一种基于多维数据相似性的混合存储系统，该系统由上层内存单元(3)、中层缓存单元(2)、下层存储单元(1)和控制单元(4)构成，上层内存单元(3)用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元(2)用于存放部分经常被访问的数据，下层存储单元(1)用于存放全部数据集；控制单元(4)通过I/O端口连接上层内存单元(3)、中层缓存单元(2)和下层存储单元(1)，构成多层存储架构的混合存储系统。本实用新型具有比单一的机械硬盘HDD存储系统具有更好的数据处理性能，同时多层存储架构使得该存储系统无需以高昂的经济代价来取得性能的提升的有益效果，同时提高混合存储系统中缓存的利用率，利用缓存提高数据读写性能。
【专利说明】一种基于多维数据相似性的混合存储系统
[0001]所属领域
[0002]本实用新型涉及一种基于多维数据相似性的混合存储系统，适用面向多用户即时数据查询，属于分布式计算和计算机存储领域。
【背景技术】
[0003]现有技术中，计算机系统的存储结构一般包括内存单元、硬盘存储单元二种存储结构，有些计算机系统的存储结构为内存存储和硬盘存储单元存储的组合式存储层结构，例如:普通HDD存储硬盘作为一级数据存储层次，与内存缓存构成一个两层数据存储架构，该存储结构虽然可以利用工作流的特征，将数据读取密集型的工作流请求的数据存储在存储硬盘中，能有效地平衡不同工作流的性能，使存储系统的性能得以提高。但该存储结构没有SSD存储结构，其处理数据的能力不强、速度不高，不能应用于数据量大的混合存储系统。
实用新型内容
[0004]本实用新型的目的，是为了解决现有的计算机存储结构处理数据的能力不强、速度不高的问题，提供一种基于多维数据相似性的混合存储系统。
[0005]本实用新型的目的可以通过采取如下技术方案达到:
[0006]一种基于多维数据相似性的混合存储系统，其结构特点在于:由上层内存单元、中层缓存单元、下层存储单元和控制单元构成，上层内存单元用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元用于存放部分经常被访问的数据，下层存储单元用于存放全部数据集；控制单元通过I/o端口连接上层内存单元、中层缓存单元和下层存储单元，构成多层存储架构的混合存储系统。
[0007]本实用新型的目的还可以通过采取如下技术方案达到:
[0008]进一步地，上层内存单元由主存储器MM构成，中层缓存单元由固态硬盘SSD构成，下层存储单元由机械硬盘HDD构成。
[0009]本实用新型具有如下突出的有益效果:
[0010]1、本实用新型由上层内存单元、中层缓存单元、下层存储单元构成混合存储系统，在本实用新型的多层存储架构中，中层缓存单元SSD作为内存缓存和机构硬盘HDD存储中间的一层高性能缓存层，被频繁访问的重要数据可以缓存在该层。具有比单一的机械硬盘HDD存储系统具有更好的数据处理性能，同时多层存储架构使得该存储系统无需以高昂的经济代价来取得性能的提升的有益效果。
[0011]2、本实用新型可以利用数据的位置相似性提高在多核处理环境下混合存储系统的性能；利用SSD缓存关键数据提高数据处理性能；通过分析数据访问和查询模式提高混合存储系统中缓存的利用率；利用缓存提高数据读写性能。
【专利附图】
【附图说明】
[0012]图1是本实用新型一个具体实施例的结构示意图。
【具体实施方式】
[0013]具体实施例1:
[0014]参照图1，本实施例由上层内存单元、中层缓存单元、下层存储单元和控制单元构成，上层内存单元用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元用于存放部分经常被访问的数据，下层存储单元用于存放全部数据集；控制单元通过I/o端口连接上层内存单元、中层缓存单元和下层存储单元，构成多层存储架构的混合存储系统。上层内存单元由主存储器MM构成，中层缓存单元由固态硬盘SSD构成，下层存储单元由机械硬盘HDD构成。
[0015]在本实施例在实际应用中，以机械硬盘HDD为基本的数据存储介质，存储全部数据集；上一层存储层以固态硬盘SSD为高速数据存储介质，存储部分经常被访问的数据?’最上层存储层以内存存储器MM为更高速的数据存储介质，存储少量访问频率更高的数据。整个系统通过数据相似性判定、数据预取、数据置换和数据索引等一系列技术优化系统的访问延迟，提闻访问的吞吐量。
[0016]在本实用新型的实际应用中，内存缓存的处理速度最快，稳定性也最好，但容量较小，主要被用来存放少量访问频率最高的数据，以及存放各个存储层中经常被访问的数据索引表(Data Index File) 0 SSD缓存的I/O处理速度次之，容量居中，用于存放部分经常被访问的数据。HDD存储的I/O处理速度最差，价格较低廉，容量最大，用于存放全部数据集。
[0017]本实用新型的应用原理如下:
[0018]每当一个请求到达，系统首先会解析请求并根据请求的内容先查询内存缓存层的数据索引表，看内存缓存中是否有所需要的数据。如果有则返回数据，否则接着查找SSD缓存层。查询SSD缓存层的数据索引表，看SSD缓存中是否有所需要的数据。如果有则返回数据，否则接着查找HDD存储层。查询HDD存储层的数据索引表，因为HDD存储层含有全部数据集，因此根据索引找到数据返回给上层应用。
[0019]当上层应用有数据写入/更新请求时，系统会首先将数据写入内存缓存。每隔一段时间，系统会自动将新写入的数据或内存缓存中被更新但还没写入硬盘的数据(脏数据)写入/更新到机械硬盘(HDD)中去。同时为了保持整个系统的数据一致性，在完成对HDD的数据更新之后，系统还会检查SSD上的数据，如果找到了更新数据的副本的话，同样地，系统会根据脏数据更新SSD上的数据副本。
[0020]本实施例利用存储空间较大的HDD来存储全部数据，利用SSD来存储部分较高访问率的数据，和利用丽来存储少量更高访问率的数据。由于SSD缓存和丽缓存空间的有限，缓存系统性能的关键在于如何让缓存空间存放用户更可能将要访问到的数据。结合智能电网应用的数据处理特点，基于数据相似性，可以设计高效的数据预取算法，在后台运行时尽可能将用户将要访问的数据放置到缓存中。另外，由于缓存空间的有限性，当SSD空间被占满了之后，能够准确地选择出那些在未来最不可能被用户访问的数据，将其清除出缓存，为未来更可能被用户访问的数据腾出缓存空间。
[0021]采用本实用新型，可实现数据相似性判定、数据预取、数据置换和数据索引等算法和技术，能够降低数据查询延迟，提高数据查询吞吐量。
【权利要求】
1.基于多维数据相似性的混合存储系统，其特征在于:由上层内存单元(3)、中层缓存单元(2)、下层存储单元(I)和控制单元(4)构成，上层内存单元(3)用于存放系统数据和各个存储层中经常被访问的数据索引表，中层缓存单元(2)用于存放部分经常被访问的数据，下层存储单元(I)用于存放全部数据集；控制单元(4)通过I/O端口连接上层内存单元(3)、中层缓存单元(2)和下层存储单元(I)，构成多层存储架构的混合存储系统。
2.根据权利要求1所述的基于多维数据相似性的混合存储系统，其特征在于:上层内存单元(3)由主存储器MM构成，中层缓存单元(2)由固态硬盘SSD构成，下层存储单元(I)由机械硬盘HDD构成。
【文档编号】G06F12/08GK203930810SQ201420273627
【公开日】2014年11月5日 申请日期:2014年5月26日 优先权日:2014年5月26日
【发明者】吴丹, 陈志坚, 解文艳, 吉小恒, 吴迪, 罗文海, 何坚, 郑元欢 申请人:中国能源建设集团广东省电力设计研究院