专利名称：一种密集型系统中的存储系统及方法
技术领域：
本发明涉及一种密集型系统中的存储系统及方法。
背景技术：
在I/O密集型的系统中，当出现大量并发I/O操作时，系统整体性能会急剧下降，造成大量业务积压与延迟。而现今CPU和内存性能的大幅度提高，每秒可以读写数十/上百万次，究其原因是由于硬盘数据的读写造成性能下降，采用15000转磁盘和增加缓存都无法解决问题，传统存储I/o性能成为瓶颈。传统机械硬盘在应用中确实有其自身的优点:容量大，价格低廉并具有相对完善的资料保护系统。但因其复杂的内部机械结构，需要不断的通过磁头臂在不同的盘片移动读取数据(如图1所示)，导致机械硬盘的低读写速度和高延迟。而现有企业级的FC (Fiber Channel的缩写，即光纤通道)硬盘和SAS (SerialAttached SCSI的缩写，即串行连接SCSI)硬盘转速虽有15000转，但硬盘功耗已经达到计算系统允许的极限，也就意味着，机械硬盘已经几无性能提升的空间。综上可知，传统的存储在随机I/O密集型系统中已不能满足其性能要求，需要加以改进。固态硬盘是由控制单元和固态存储单元(DRAM或FLASH芯片)组成的硬盘，没有机械装置和旋转介质，具有读写速度快耐高低温、防震无噪音、重量轻能耗低的特点。SSD固态硬盘相对于HDD最大的优点是超高的随机I/O性能(目前写速率已达到1100MBPS，读速率已达到1700MBPS)。经过测试， 固态硬盘的性能是传统光纤通道硬盘的30倍，30个15000RPM的光纤通道磁盘才能达到单一固态硬盘同样的性能。
发明内容
本发明的目的是，针对现有技术的缺陷，提供一种降低机械硬盘的高延迟和低输入输出，从而提高系统的整体性能的密集型系统中的存储系统。本发明解决上述技术问题的技术方案如下:一种密集型系统中的存储系统，包括需求分析模块、固态硬盘和机械硬盘；所述需求分析模块用于分析系统中需存储的数据的系统指标，并根据数据的读写频率将数据分别发送至固态硬盘或机械硬盘进行存储；所述固态硬盘用于存储需要进行大量读写操作的数据和经常执行输入输出操作的数据；所述机械硬盘用于存储备份或时效性低、随机输入输出少的数据。本发明的有益效果是:本发明所述系统采用机械硬盘和固态硬盘分层存储，可最大化利用固态硬盘的高I/o输入输出性能特点；降低了对存储网络的依赖，可以直接利用本地硬盘进行话单的处理与备份，大大提高了存储方案的性价比；降低建设和维护成本。在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述系统指标包括数据的重要性、访问频率、保留时间和容量等。进一步，所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。采用上述进一步方案的有益效果是，可以满足系统容量的要求又能达到极大的性能提升。进一步，所述固态硬盘还用于存储并发读写频繁的数据库。本发明的另一个目的是，针对现有技术的缺陷，提供一种降低机械硬盘的高延迟和低输入输出，从而提高系统的整体性能的密集型系统中的存储方法。本发明解决上述技术问题的技术方案如下一种密集型系统中的存储方法，具体包括以下步骤步骤1:需求分析模块判断系统中需存储的数据的系统指标，如果需要进行大量读写操作的数据和经常执行输入输出操作，进行步骤2 ;否则，进行步骤3 ；步骤2 :固态硬盘接收从需求分析模块发送至的存储需要进行大量读写操作的数据和经常执行输入输出操作的数据并存储；步骤3 :机械硬盘接收从需求分析模块发送至的存储备份或时效性低、随机输入输出少的数据并存储。本发明的有益效果是本发明所述方法采用机械硬盘和固态硬盘分层存储，可最大化利用固态硬盘的高I/o输入输出性能特点；降低了对存储网络的依赖，可以直接利用本地硬盘进行话单的处理与备份，大大提高了存储方案的性价比；降低建设和维护成本。在上述技术方案的基础上，本发明还可以做如下改进。进一步，所述系统指标包括数据的重要性、访问频率、保留时间和容量等。进一步，所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。采用上述进一步方案的有益效果是，可以满足系统容量的要求又能达到极大的性能提升。进一步，所述固态硬盘还用于存储并发读写频繁的数据库。固态硬盘因其超高的随机1/0，非常适用于I/O密集型的系统中，但其价格较高、容量小，我们可使用SSD与HDD混搭的方式。SSD与HDD的混合使用，有两种方式1.固态硬盘作为缓存使用在许多存储系统中，无法增加缓冲卡，但可以通过增加固态硬盘当作缓存来使用，不需要替换现有的磁盘驱动器，可以极大提高整个系统的性能。2.固态硬盘和机械硬盘分层存储通过对用户需求的分析，我们可以得到数据的重要性、访问频率、保留时间、容量等系统指标，基于数据访问局部性的原理，对数据采用不同的存储方式分别存储在不同性能的存储设备上，从而提高系统的性能。这种SSD和HDD混搭的方式是目前存储系统中性价比最高的方案。在需要进行大量读写操作的文件系统、高并发读写频繁的数据库等放在SSD固态硬盘上，将备份或时效性低、随机I/o较小的内容放在I/O性能较低的HDD机械硬盘上。在有大量小文件读写频繁发生的文件系统中使用SSD，对于大量小文件I/O操作频繁文件系统中，使用SSD可大幅度提高系统性能。例如在电信详单处理系统中，由于话单基本都是几KB大小的文件，同时话单的数量也非常大，在这类系统中可直接采用PC1-E接口的SSD固态硬盘用于话单的处理，充分利用SSD的随机读写高性能的优点；在门户网站中，由于需要存放大量的小图标以及页面元素的cache，可将这类文件等直接存放在SSD固态硬盘上。
图1为传统机械硬盘的读与原理不意图；图2为本发明具体实施例1所述的一种密集型系统中的存储系统结构图；图3为本发明具体实施例2所述的一种密集型系统中的存储方法流程图；图4为本发明实施例3固态硬盘在单实例数据中的应用图；图5为本发明实施例4固态硬盘在数据库高可用互备模式下的应用图；图6为本发明实施例5固态硬盘在数据库高可用主从模式下的应用图。附图中，各标号所代表的部件列表如下1、分析模块，2、固态硬盘，3、机械硬盘。
具体实施例方式以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。如图2所示，本发明具体实施例1所述的一种密集型系统中的存储系统，包括需求分析模块1、固态硬盘2和机械硬盘3 ;所述需求分析模块I用于分析系统中需存储的数据的系统指标，并根据数据的读写频率将数据分别发送至固态硬盘2或机械硬盘3进行存储；所述固态硬盘2用于存储需要进行大量读写操作的数据和经常执行输入输出操作的数据；所述机械硬盘3用于存储备份或时效性低、随机输入输出少的数据。所述系统指标包括数据的重要性、访问频率、保留时间和容量等。所述需求分析模块I分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘2 ;并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘3。所述固态硬盘2还用于存储并发读写频繁的数据库。如图3所示，本发明具体实施例2所述的一种密集型系统中的存储方法，具体包括以下步骤步骤1:需求分析模块判断系统中需存储的数据的系统指标，如果需要进行大量读写操作的数据和经常执行输入输出操作，进行步骤2 ;否则，进行步骤3 ；步骤2 :固态硬盘接收从需求分析模块发送至的存储需要进行大量读写操作的数据和经常执行输入输出操作的数据并存储；步骤3 :机械硬盘接收从需求分析模块发送至的存储备份或时效性低、随机输入输出少的数据并存储。
所述系统指标包括数据的重要性、访问频率、保留时间和容量等。所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。所述固态硬盘还用于存储并发读写频繁的数据库。图4为本发明实施例3固态硬盘在单实例数据中的应用图，在高并发，随机读写频繁的数据库中使用SSD固态硬盘在数据库使用过程中，经常执行I/O操作的归档日志、重做日志、索引数据、一些用户经常访问的热点数据存放在固态硬盘中，而将其他不常使用的数据或历史数据存放到大容量的机械硬盘中，即可以满足系统容量的要求有能达到极大地性能提升。图5为本发明实施例4固态硬盘在数据库高可用互备模式下的应用图，为对于数据库的高可用性的SSD固态硬盘互备方式解决方案。图6为本发明实施例5固态硬盘在数据库高可用主从模式下的应用图，为对于数据库的高可用性的SSD固态硬盘主从方式解决方案。对于实施例4、5、6中的配置采用以下配置服务器采用x86PC服务器(64-bit),操作系统采用RedHat Enterprise6. x版本(RHEL从6.1开始对SSD的驱动程序进行了优化)。SSD硬盘接口选择，首选PC1-E接口(速率8Gbps，容量大(可达3. 2T))，次选SATA3. O接口(速率6Gbps，容量小(目前基本上都在IT以内))。结合业务特点，该方案可不需要使用共享存储。因此，高可用性实现方式比较简单，就是每种类型服务器采用双机互备的方式部署，这种部署方式适用于大多数场景。如果需要采用共享存储，则SSD存储由SSD盘阵提供。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种密集型系统中的存储系统，其特征在于，包括需求分析模块、固态硬盘和机械硬盘； 所述需求分析模块用于分析系统中需存储的数据的系统指标，并根据数据的读写频率将数据分别发送至固态硬盘或机械硬盘进行存储； 所述固态硬盘用于存储需要进行大量读写操作的数据和经常执行输入输出操作的数据； 所述机械硬盘用于存储备份或时效性低、随机输入输出少的数据。
2.根据权利要求1所述的存储系统，其特征在于，所述系统指标包括数据的重要性、访问频率、保留时间和容量。
3.根据权利要求2所述的存储系统，其特征在于，所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。
4.根据权利要求1-3任一项所述的存储系统，其特征在于，所述固态硬盘还用于存储并发读写频繁的数据库。
5.一种密集型系统中的存储方法，其特征在于，具体包括以下步骤: 步骤1:需求分析模块判断系统中需存储的数据的系统指标，如果需要进行大量读写操作的数据和经常执行输入输出操作，进行步骤2 ;否则，进行步骤3 ； 步骤2:固态硬盘接 收从需求分析模块发送至的存储需要进行大量读写操作的数据和经常执行输入输出操作的数据并存储； 步骤3:机械硬盘接收从需求分析模块发送至的存储备份或时效性低、随机输入输出少的数据并存储。
6.根据权利要求5所述的存储系统，其特征在于，所述系统指标包括数据的重要性、访问频率、保留时间和容量。
7.根据权利要求6所述的存储系统，其特征在于，所述需求分析模块分析系统中需存储的数据的系统指标，将需要进行大量读写操作的数据和经常执行输入输出操作的数据发送至固态硬盘；并将存储备份或时效性低、随机输入输出少的数据发送至机械硬盘。
8.根据权利要求5-7任一项所述的存储系统，其特征在于，所述固态硬盘还用于存储并发读写频繁的数据库。
全文摘要
本发明涉及一种密集型系统中的存储系统及方法，其中，一种密集型系统中的存储系统，包括需求分析模块、固态硬盘和机械硬盘；所述需求分析模块用于分析系统中需存储的数据的系统指标，并将数据分别发送至固态硬盘或机械硬盘进行存储；所述固态硬盘用于存储需要进行大量读写操作的数据和经常执行输入输出操作的数据；所述机械硬盘用于存储备份或时效性低、随机输入输出少的数据。本发明所述系统采用机械硬盘和固态硬盘分层存储，可最大化利用固态硬盘的高I/O输入输出性能特点；降低了对存储网络的依赖，可以直接利用本地硬盘进行话单的处理与备份，大大提高了存储方案的性价比；降低建设和维护成本。
文档编号G06F3/06GK103076993SQ20121058596
公开日2013年5月1日 申请日期2012年12月28日 优先权日2012年12月28日
发明者郭宁 申请人:北京思特奇信息技术股份有限公司