基于视频云存储系统的存储与提取性能平衡的方法与装置的制造方法

文档序号:8383801阅读:427来源:国知局
基于视频云存储系统的存储与提取性能平衡的方法与装置的制造方法
【技术领域】
[0001]本发明涉及视频云存储领域,特别涉及基于视频云存储系统的存储与提取性能平衡的方法与装置。
【背景技术】
[0002]视频云存储是在云计算概念上延伸和发展出来的一种通过集群应用、网格技术或分式文件系统等功能,通过应用软件集合起来协同工作,共同对外提供高效视频数据存储和业务访问功能的一个系统。
[0003]随着科技的发展,视频云部署的规模越来越大,数据量正在以千万数量级增长,同时用户对视频云存储性能和应用体验的要求也越来越高。在性能方面的要求主要包括:存储速度快、数据高安全性和系统整体性能实用率高等。在用户体验方面的要求主要包括:各项功能的反应时间短,效率高等特点。这种现状下在视频云存储高速写数据和用户的体验间产生了不可避免的冲突,为了解决这个问题亟需设计从视频云存储系统提取(一种基于视频云存储系统特性读取视频数据的方法)数据的解决方案,有效的解决视频云存储高速存储和用户体验间的冲突。
[0004]目前很多系统在存储和提取数据时大多采用顺序存储顺序提取的方式和分块存储顺序提取的方式,这两种方式不但效率低而且用户体验效果差,当整个系统在执行大数据量存储和大并发量提取时,常常会导致数据丢失等异常发生,实际场景描述如图1和图2所示。其中,图1为视频云存储系统正常环境应用场景,在正常使用环境中视频云存储系统首先需要满足对大数据的存储,并保证数据安全可靠,但这种使用场景往往只是一种理想环境,视频云存储可以存储海量数据,同时也会有大量的用户需要同时提取数据,这样不但会对网络造成压力也会严重影响视频云存储系统的系统,如图2视频云存储系统真实运行环境所示。在异常环境中由于视频云存储的存储服务器负载过高,不但影响提取效率更重要的是会影响正常的数据存储功能,很可能会导致数据丢失等问题,还可能会造成更严重的后果。

【发明内容】

[0005]本发明的目的在于提供一种基于视频云存储系统的存储与提取性能平衡的方法与装置,将数据分散存储到不同的存储服务器中,有效利用了视频云存储系统资源,提升了整体效率;在分散存储数据的基础上,提取数据时在保证视频云存储的分散存储功能优先进行的前提下,根据提取策略并发地向不同的存储服务器提取数据,既在一定程度上保证了数据的安全性,又能够高效提取数据,减少了视频云存储系统中存储和提取数据对于系统资源抢占的冲突。
[0006]为解决上述技术问题,本发明的实施方式公开了一种基于视频云存储系统的存储与提取性能平衡的方法,包括以下步骤:
[0007]当从前端设备获取到数据时,对数据按容量进行分块得到数据块,并将数据块分散存储到至少一个存储服务器的不同存储设备中;
[0008]当用户欲从视频云存储系统中提取数据时,从管理服务器中获取需要提取的数据所在的存储服务器信息,存储服务器信息包括存储服务器所存储的数据块大小和系统负载高低的信息;
[0009]在保证视频云存储的分散存储功能优先进行的前提下,根据数据的存储服务器信息以及用户定义的数据优先级,制定提取策略,提取策略用于控制并发提取数据的线程数、各线程提取数据的速度以及数据提取的优先级;
[0010]根据制定的提取策略,向存储服务器并发地提取数据。
[0011]本发明的实施方式还公开了一种基于视频云存储系统的存储与提取性能平衡的装置,包括:
[0012]分散存储模块,用于当从前端设备获取到数据时,对数据按容量进行分块得到数据块,并将数据块分散存储到至少一个存储服务器的不同存储设备中;
[0013]存储服务器信息获取模块,用于当用户欲从视频云存储系统中提取数据时,从管理服务器中获取需要提取的数据所在的存储服务器信息,存储服务器信息包括存储服务器所存储的数据块大小和系统负载高低的信息;
[0014]提取策略制定模块,用于在保证视频云存储的分散存储功能优先进行的前提下,根据数据的存储服务器信息以及用户定义的数据优先级,制定提取策略,提取策略用于控制并发提取数据的线程数、各线程提取数据的速度以及数据提取的优先级;
[0015]提取模块,用于根据制定的提取策略,向存储服务器并发地提取数据。
[0016]本发明实施方式与现有技术相比,主要区别及其效果在于:
[0017]本发明将数据分散存储到不同的存储服务器中,有效利用了视频云存储系统资源,提升了整体效率;在分散存储数据的基础上,提取数据时在保证视频云存储的分散存储功能优先进行的前提下,根据提取策略并发地向不同的存储服务器提取数据,既在一定程度上保证了数据的安全性,又能够高效提取数据,减少了视频云存储系统中存储和提取数据对于系统资源抢占的冲突,保证在海量数据存储和大量数据提取时,视频云存储系统能够正常高效地运行。
[0018]进一步地,存储策略可以保证数据按照用户的要求进行存储,同时保证各个存储设备平摊整个系统的压力。
[0019]进一步地,根据数据容量大小决定分散粒度,取代现有技术中按照时间等因素决定分散粒度,能够精确控制分散粒度,从而使数据存储均匀,充分利用存储资源。
[0020]进一步地,通过实时获取存储服务器的分块数据信息,能够及时更新在提取数据的过程中存储服务器的压力,从而对提取速度进行动态控制。
【附图说明】
[0021]图1是视频z?存储系统正常环境应用场景不意图;
[0022]图2是视频z?存储系统异常环境应用场景不意图;
[0023]图3是本发明第一实施方式中一种基于视频云存储系统的存储与提取性能平衡的方法的流程示意图;
[0024]图4是本发明第一实施方式中一种基于视频云存储系统的存储与提取性能平衡的方法的数据提取的核心原理图;
[0025]图5是本发明第一实施方式中一种基于视频云存储系统的存储与提取性能平衡的方法的时序图;
[0026]图6是本发明第一实施方式中一种基于视频云存储系统的存储与提取性能平衡的方法的流程图;
[0027]图7是本发明第二实施方式中一种基于视频云存储系统的存储与提取性能平衡的装置的结构示意图。
【具体实施方式】
[0028]在以下的叙述中,为了使读者更好地理解本申请而提出了许多技术细节。但是,本领域的普通技术人员可以理解,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请各权利要求所要求保护的技术方案。
[0029]为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明的实施方式作进一步地详细描述。
[0030]本发明第一实施方式涉及一种基于视频云存储系统的存储与提取性能平衡的方法,图3是该基于视频云存储系统的存储与提取性能平衡的方法的流程示意图。
[0031]具体地说,如图3所示,该基于视频云存储系统的存储与提取性能平衡的方法包括以下步骤:
[0032]在步骤301中,当从前端设备获取到数据时,对数据按容量进行分块得到数据块,并将数据块分散存储到至少一个存储服务器的不同存储设备中。
[0033]优选地,在步骤301中,将数据块分散存储到至少一个存储服务器的不同存储设备中,包括以下子步骤:
[0034]按设定的存储策略为前端设备预分配至少一个存储服务器,前端设备将数据块发送给分配到的存储服务器;
[0035]按设定的存储策略为前端设备预分配挂接在存储服务器上的存储设备,存储服务器将数据块存储到分配到的存储设备中。
[0036]此外,可以理解,当预分配的存储空间被写满时,前端设备需要再次向管理服务器申请存储服务器,并且申请到存储服务器后,需要再次向新的存储服务器申请存储空间。
[0037]优选地,在步骤301中将数据块分散存储到至少一个存储服务器的不同存储设备中的步骤之前,还包括步骤:
[0038]设定存储策略,为数据块的分散存储预分配至少一个存储服务器的不同存储设备,存储策略包括:
[0039]前端设备向管理服务器申请存储服务器时,如果用户选择对数据进行分散存储,则根据各存储服务器的系统性能,为前端设备分配相应的存储服务器;如果用户选择对数据进行集中存储,则为前端设备分配集中存储所指定范围内的存储服务器;
[0040]前端设备向存储服务器申请存储设备时,挑选存储压力最小的存储设备分配给前端设备。
[0041]存储策略可以保证数据按照用户的要求进行存储,同时保证各个存储设备平摊整个系统的压力。
[0042]此外,可以理解,用户选择进行集中存储时,管理服务器为前端设备分配集中存储所指定范围内的存储服务器,指定范围内的存储服务器可以为多台,因此集中存储在本发明中是一种分散程度较低的分散存储。
[0043]需要说明的是,当从前端设备获取到数据时,对数据按容量进行分块得到数据块的步骤中,数据块的大小小于存储设备容量大小的千
当前第1页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1