意图，数据服务器21包括磁盘dll、磁盘dl2、磁盘dl3以及磁盘dl4，数据服务器22包括磁盘d21、磁盘d22、磁盘d23以及磁盘d24，每个磁盘包括两条条带:磁盘dlI包括条带dll_sl和条带dll_s2、磁盘dl2包括条带dl2_sl和条带dl2_s2、磁盘dl3包括条带dl3_sl和条带dl3_s2、磁盘dl4包括条带dl4_sl和条带dl4_s2、磁盘d21包括条带d21_sl和条带d21_s2、磁盘d22包括条带d22_sl和条带d22_s2、磁盘d23包括条带d23_sl和条带d23_s2、磁盘d24包括条带d24_sl和条带d24_s2。
[0021]如步骤S12所述，将同一台数据服务器中的N条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上，N为不大于Μ/D的正整数，其中，M为所述数据服务器的网络带宽，D为所述磁盘的带宽。具体地，为了避免磁盘冲突，所述条带捆中的任意两条条带不在同一磁盘上，即所述条带捆中的条带分布在同一台数据服务器中的不同磁盘上。所述条带捆中的条带数量可以设置为相同，也可以设置为不同。传统的分散存储方法就数据服务器的网络带宽占用量而言，经常都不能达到单块磁盘的带宽。而在本发明实施例中，所述条带捆中的条带数量为I也充分利用了单块磁盘的带宽。并且，所述条带捆中的条带数量越接近M/D，越可以充分利用数据服务器的网络带宽和单个磁盘的带宽，过期流数据删除后产生的碎片越少，分布式流数据存储系统的功耗越低、设备损耗越小。
[0022]如步骤S13所述，将所有条带捆集合成存储资源带，所述存储资源带中的任意两个相邻条带捆不在同一数据服务器中。具体地，为了满足存储系统所有读写任务的网络带宽，将同一数据服务器中的任意两个条带捆设计为不相邻。图3是本实施例将条带集合成条带捆、条带捆集合成存储资源带后的示意图，在本实施例中每个条带捆中的条带数量为4，即由同一台数据服务器中的每个磁盘上的一条条带集合成一个条带捆:条带dll_sl、条带dl2_sl、条带dl3_sl以及条带dl4_sl集合成条带捆31 ；…;条带d21_s2、条带d22_s2、条带d23_s2以及条带d24_s2集合成条带捆34。所述条带捆31、…、所述条带捆34集合成存储资源带30，所述存储资源带30中的任意两个相邻条带捆不在同一台数据服务器中，即依次从每台数据服务器中取出一个条带捆，取出X个条带捆后，再依次从每台数据服务器中取出一个条带捆，直至每台数据服务器中的条带捆取尽，所述存储资源带30中的首尾条带捆视为相邻。
[0023]如步骤S14所述，将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。图4是本实施例任务总窗口 40在所述存储资源带30中滚动的示意图，所述任务总窗口 40包括5个任务集束:任务集束41、任务集束42、任务集束43、任务集束44以及任务集束45，其中，所述任务集束41、所述任务集束42、所述任务集束43以及所述任务集束44为满任务集束，满任务集束为将所在条带的带宽用尽的任务集束，即写任务的流数据码率带宽之后达到条带的带宽；所述任务集束45为未满任务集束。所述任务总窗口 40中的第一个任务集束(即所述任务集束41)为后端任务集束，所述任务总窗口 40中的最后一个任务集束(即所述任务集束45)为后端任务集束。
[0024]使所述任务总窗口 40在所述存储资源带30中滚动包括:
在当前任务集束写满一条条带后，将当前任务集束向前滚动到空白或者未写满数据的条带中。例如，所述任务集束41写满所述条带捆31中的最后一条条带后，将所述任务集束41向前滚动到所述条带捆33中的第一条条带中。在有新的写任务加入时，将新加入的写任务分配到前端任务集束中，即分配到所述任务集束45中。在当前任务集束的条带被调度执行读任务时，将当前任务集束向前滚动到空白或者未写满数据的条带中。例如，在所述条带捆32中的第一条条带被调度执行读任务时，将所述任务集束42向前滚动到所述条带捆33中的第一条条带中。由于流数据具有单调递增的时间序列特征，每条条带上写入的流数据均有时间戳(t0~tl2)。在规定的时间后，写入的流数据过期，写满数据但数据已过期的条带将如同空白条带一样可以接收新的数据，即可被任务集束重新写入数据。
[0025]进一步，所述存储资源带30中的首尾条带可以相连，构成存储资源环，图5是所述任务总窗口 40在首尾条带相连的存储资源带中滚动的示意图。
[0026]以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
【主权项】
1.一种分布式流数据存储系统的存储资源调度模型的建模方法，所述分布式流数据存储系统包括元服务器和X台数据服务器，每台数据服务器包括Y个磁盘，其中，X和Y为不小于2的整数，其特征在于，所述分布式流数据存储系统的存储资源调度模型的建模方法包括: 将所有磁盘条带化； 将同一台数据服务器中的N条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上，N为不大于Μ/D的正整数，其中，M为所述数据服务器的网络带宽，D为所述磁盘的带宽； 将所有条带捆集合成存储资源带，所述存储资源带中的任意两个相邻条带捆不在同一数据服务器中； 将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。2.根据权利要求1所述的分布式流数据存储系统的存储资源调度模型的建模方法，其特征在于，每条条带的存储容量相同。3.根据权利要求1所述的分布式流数据存储系统的存储资源调度模型的建模方法，其特征在于，每个条带捆中的条带数量相同。4.根据权利要求3所述的分布式流数据存储系统的存储资源调度模型的建模方法，其特征在于，所述存储资源带中的任意X个相邻条带捆不在同一台数据服务器中。5.根据权利要求1所述的分布式流数据存储系统的存储资源调度模型的建模方法，其特征在于，所述存储资源带中的首尾条带相连。6.根据权利要求1所述的分布式流数据存储系统的存储资源调度模型的建模方法，其特征在于，使所述任务总窗口在所述存储资源带中滚动包括: 在当前任务集束写满一条条带后，将当前任务集束向前滚动到空白或者未写满数据的条带中； 在有新的写任务加入时，将新加入的写任务分配到前端任务集束中。7.根据权利要求6所述的分布式流数据存储系统的存储资源调度模型的建模方法，其特征在于，使所述任务总窗口在所述存储资源带中滚动还包括: 在当前任务集束的条带被调度执行读任务时，将当前任务集束向前滚动到空白或者未写满数据的条带中。8.根据权利要求1所述的分布式流数据存储系统的存储资源调度模型的建模方法，其特征在于，写满数据但数据已过期的条带可被任务集束重新写入数据。
【专利摘要】一种分布式流数据存储系统的存储资源调度模型的建模方法，所述分布式流数据存储系统包括元服务器和X台数据服务器，每台数据服务器包括Y个磁盘，X和Y为不小于2的整数。所述建模方法包括：将所有磁盘条带化；将同一台数据服务器中的N条条带集合成条带捆，所述条带捆中的任意两条条带不在同一磁盘上，N为不大于M/D的正整数；将所有条带捆集合成存储资源带，所述存储资源带中的任意两个相邻条带捆不在同一数据服务器中；将在同一条带中执行的写任务集合成任务集束，所有任务集束构成任务总窗口，使所述任务总窗口在所述存储资源带中滚动。本发明提供的建模方法，能降低分布式流数据存储系统的功耗、减小设备损耗、减少产生的碎片。
【IPC分类】H04L29/08
【公开号】CN105007330
【申请号】CN201510469350
【发明人】段翰聪, 闵革勇, 张建, 陈楚材, 郑松, 张博, 彭玉炳, 周波
【申请人】电子科技大学
【公开日】2015年10月28日
【申请日】2015年8月4日