基于视频云存储系统的存储与提取性能平衡的方法与装置的制造方法_3

文档序号:8383801阅读:来源:国知局
,性能管控系统获取存储服务器压力,对提取速度进行动态控制。
[0092]5、系能管控系统确保并发提取数据的最大数目,此最大数目为视频云存储、性能管控系统根据压力计算给出的一个限制。
[0093]以上的提取策略有效的保证了视频云存储在高效存储与高速提取性能间的平衡,并且很好的满足了用户的应用体验。
[0094]将上述分散存储与并发提取结合起来,本方案是在视频云存储基础上完成的,如图5所示为基于视频云存储系统的存储与提取性能平衡的方法的时序图,主要操作包括:
[0095]1、存储服务器分散存储前端编码器的视频数据信息;
[0096]2、性能管控系统监控各个存储服务器的负载信息,确保存储服务器的性能;
[0097]3、需要提取数据信息时,性能管控系统首先向管理服务器发送请求获取存储信息;
[0098]4、性能管控系统根据返回的存储服务器信息,制定提取策略;
[0099]5、性能管控系统根据策略,去存储服务器提取数据信息;
[0100]6、性能管控系统每隔一个时间T向当前存储服务器发送查询系统性能请求;
[0101]7、性能管控系统根据返回的系统信息重新制定提取策略;
[0102]图6为相应的基于视频云存储系统的存储与提取性能平衡的方法的流程图,如图6所示:
[0103]在步骤601中,获取存储服务器的系统信息;
[0104]此后进入步骤602,制定存储策略并存储数据;
[0105]此后进入步骤603,获取存储服务器的系统信息;
[0106]此后进入步骤604,判断存储服务器性能是否优秀,存储需提取数据量是否大,以制定提取策略;
[0107]若判断结果为是,则进入步骤605,并发提取数据信息,此后进入步骤607 ;
[0108]若判断结果为否,则进入步骤606,低速提取或延缓提取,此后进入步骤607 ;
[0109]在步骤607中,重新获取存储服务器的系统信息,以更新提取策略。
[0110]本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现,指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的,易失性的或者非易失性的,固态的或者非固态的,固定的或者可更换的介质等等)。同样,存储器可以例如是可编程阵列逻辑(Programmable ArrayLogic,简称“PAL”)、随机存取存储器(Random Access Memory,简称“RAM”)、可编程只读存储器(Programmable Read Only Memory,简称“PR0M”)、只读存储器(Read-Only Memory,简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM,简称“EEPR0M”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc,简称“DVD”)等等。
[0111]本发明第二实施方式涉及一种基于视频云存储系统的存储与提取性能平衡的装置,图7是该基于视频云存储系统的存储与提取性能平衡的装置的结构示意图。
[0112]具体地说,如图7所示,该基于视频云存储系统的存储与提取性能平衡的装置包括:
[0113]分散存储模块,用于当从前端设备获取到数据时,对数据按容量进行分块得到数据块,并将数据块分散存储到至少一个存储服务器的不同存储设备中。
[0114]存储服务器信息获取模块,用于当用户欲从视频云存储系统中提取数据时,从管理服务器中获取需要提取的数据所在的存储服务器信息,存储服务器信息包括存储服务器所存储的数据块大小和系统负载高低的信息。
[0115]提取策略制定模块,用于在保证视频云存储的分散存储功能优先进行的前提下,根据数据的存储服务器信息以及用户定义的数据优先级,制定提取策略,提取策略用于控制并发提取数据的线程数、各线程提取数据的速度以及数据提取的优先级。
[0116]提取模块,用于根据制定的提取策略,向存储服务器并发地提取数据。
[0117]此外,可以理解,对于存储服务器存储的数据块大、优先级高以及系统负载低的采用高并发提取数据,对于数据块小、优先级低以及系统负载高的采用低速或者延缓提取数据。
[0118]优选地,分散存储模块包括以下子模块:
[0119]存储服务器分配子模块,用于按存储策略设定模块所设定的存储策略为前端设备预分配至少一个存储服务器,以使前端设备将数据块发送给分配到的存储服务器;
[0120]存储设备分配子模块,用于根据存储策略设定模块所设定的存储策略为前端设备预分配挂接在存储服务器上的存储设备,以使存储服务器将数据块存储到分配到的存储设备中。
[0121]此外,可以理解,当预分配的存储空间被写满时,前端设备需要再次向管理服务器申请存储服务器,并且申请到存储服务器后,需要再次向新的存储服务器申请存储空间。
[0122]优选地,在分散存储模块从前端设备获取到数据,对数据按容量进行分块得到数据块时,数据块的大小小于存储设备容量大小的千分之一。
[0123]此外,可以理解,在本发明的其他实施方式中,在对数据按容量进行分块得到数据块时,也可以根据实际的应用场景,采用其它方式确定数据分块的上限,例如将数据分块的上限定为IGB或者其它数值,而不局限于此处提到的方式。
[0124]根据数据容量大小决定分散粒度,取代现有技术中按照时间等因素决定分散粒度,能够精确控制分散粒度,从而使数据存储均匀,充分利用存储资源。
[0125]优选地,该基于视频云存储系统的存储与提取性能平衡的装置还包括:
[0126]存储策略设定模块,用于为数据块的分散存储预分配至少一个存储服务器的不同存储设备,存储策略包括:
[0127]前端设备向管理服务器申请存储服务器时,如果用户选择对数据进行分散存储,则根据各存储服务器的系统性能,为前端设备分配相应的存储服务器。如果用户选择对数据进行集中存储,则为前端设备分配集中存储所指定范围内的存储服务器;
[0128]前端设备向存储服务器申请存储设备时,挑选存储压力最小的存储设备分配给前端设备。
[0129]存储策略可以保证数据按照用户的要求进行存储,同时保证各个存储设备平摊整个系统的压力。
[0130]此外,可以理解,用户选择进行集中存储时,管理服务器为前端设备分配集中存储所指定范围内的存储服务器,指定范围内的存储服务器可以为多台,因此集中存储在本发明中是一种分散程度较低的分散存储。
[0131]优选地,该基于视频云存储系统的存储与提取性能平衡的装置还包括:
[0132]提取策略更新模块,用于实时更新所获取的存储服务器信息并根据更新后的存储服务器信息得到新的提取策略。
[0133]通过实时获取存储服务器的分块数据信息,能够及时更新在提取数据的过程中存储服务器的压力,从而对提取速度进行动态控制。
[0134]此外,可以理解,在本发明的其他实施方式中,此步骤中更新存储服务器信息还可以通过主动上报的方式实现,或者在提取的数据信息中包含用于更新提取策略的存储服务器信息。
[0135]第一实施方式是与本实施方式相对应的方法实施方式,本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一实施方式中。
[0136]针对现有技术的如下缺点,本发明提供一种解决方案,应用于视频云存储系统中解决存储和提取数据时由于抢占系统资源导致的存储和提取效率下降的问题:
[0137]1、多数系统在存储和提取之间存在抢占系统资源的缺陷;
[0138]2、多数分散存储系统分散粒度控制简单,一般为前端按照时间等因素决定分散粒度,不能精确控制分散粒度,进而存储数据不均,不能充分利用存储资源;
[0139]3、多数分散存储系统分散策略简单并且单一;一般由前端决定了存储设备的选择,单一的进行分散还是集中存储,数据不能灵活的进行选择存储设备;
[0140]4、提取较大数据时,多为顺序读取,资源利用率低效率不高;
[0141]5、在开始提取的时候,系统给不出或者提取者得不到整体数据信息(如数据大小等信息);
[0142]6、采用分块提取数据,一般为简单的分块,效率不高,无法充分利用视频云存储的特性,体现视频云存储高效的特点;
[0143]7、采用并发提取数据,独占系统资源影响正常的视频数据存储功能;
[0144]8、采用并发提取数据,没有优先级概念,不能动态的控制每块是否提取数据以及提取速度;
[0145]基于视频云存储系统特性的本解决方案包括以下几点:
[0146
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1