基于虚拟管理分布式文件系统的视频存储方法及系统的制作方法
【技术领域】
[0001]本发明涉及视频存储技术领域，尤其是一种基于虚拟管理分布式文件系统的视频存储方法及系统。
【背景技术】
[0002]近年来，随着计算机网络和多媒体技术的高速发展，各种多媒体信息蜂拥而至。视频作为一种常见的多媒体形式，是声音、图像和文字等信息的载体，成为广大网络用户喜爱的交流媒介，与人类的日常生活息息相关。由于人们对于视频的质量要求也越来越高，高清化成为了一种趋势，这使得视频的文件大小呈海量级增长，而且视频还存在多人同时并发访问的特点，因此如何分发、存储、管理和共享这些海量视频资源已成为急需解决的问题。
[0003]研究发现，目前可采用传统的分布式数据库架构作为视频管理平台对视频进行存储和管理。但其效率并不高，而且其存储能力受制于所依赖的数据库管理系统的能力，对数据资源的管理与发布支持也比较弱。
[0004]随着互联网技术的飞速发展和云计算技术的兴起，云存储逐渐成为现代存储服务的提供方式，同时互联网规模爆炸式的增长，对网络服务器数据处理能力要求越来越高，月艮务器集群技术凭借其良好的伸缩性和低廉的成本，逐渐成为网络服务器处理海量数据的一种有效解决方案。云存储的出现使得这上述困扰有了很好的解决办法，目前云存储主要采用分布式文件系统，分布式文件系统的类型多种多样，包括网络文件系统(Network FileSystem，简称NFS)、谷歌文件系统(Google File System，简称GFS)、并行网络文件系统(Parallel Network File System，简称 PNFS)、开源散布式文件系统(Free DistributedFile System，简称FastDFS)、Hadoop分布式文件系统(Hadoop Distributed File System，简称HDFS)等。不同的分布式文件系统有不同的特点，例如，GFS、HDFS通常处理大文件，若利用其处理小文件反而会耗费更多的内存；当然，OpenStack的Swift文件系统可以用来存储任意大小的文件，而且支持多用户的并发写入，但是没有结构目录，不支持嵌套，也不支持文件的重写，只能新建。
[0005]实际上，视频的类型多种多样，有大有小，若采用单一的某一分布式文件系统，不仅会制约存储效率，存储空间也不能得到有效的利用。
【发明内容】
[0006]本发明所要解决的技术问题是如何提高存储效率和使存储空间得到有效的利用。
[0007]为解决上述技术问题，本发明提出了一种基于虚拟管理分布式文件系统的视频存储方法。该视频存储方法包括:
[0008]获取待存储视频的类型和大小，并生成所述待存储视频的存储请求；
[0009]根据所述待存储视频的类型和大小从至少两种类型的分布式文件系统中选择相应的分布式文件系统，并将所述存储请求发送至所述相应的分布式文件系统；
[0010]所述相应的分布式文件系统根据所述存储请求对所述待存储视频进行存储操作。
[0011]进一步地，该视频存储方法还包括:所述相应的分布式文件系统实时反馈所述待存储视频的存储情况。
[0012]进一步地，各分布式文件系统均包括多个数据节点和存储有各所述数据节点的位置信息的主节点；
[0013]所述相应的分布式文件系统对所述待存储视频进行存储操作，具体包括:
[0014]将待存储视频进行分块，得到若干数据块；
[0015]根据主节点上存储的位置信息将各个数据块存储在不同的数据节点上。
[0016]更进一步地，该视频存储方法还包括:监测各个分布式文件系统中的各个数据节点的工作状态。
[0017]进一步地，该视频存储方法还包括:监测各个分布式文件系统的资源分布情况。
[0018]为解决上述技术问题，本发明还提供了了一种基于虚拟管理分布式文件系统的视频存储系统。该视频存储系统包括:视频存储管理平台、虚拟管理系统及至少两种类型的分布式文件系统；
[0019]其中，所述视频存储管理平台，用于获取待存储视频的类型和大小，生成待存储视频的存储请求，并将待存储视频的类型、大小和存储请求发送至所述虚拟管理系统；
[0020]所述虚拟管理系统包括资源调度单元，所述资源调度单元用于接收所待存储视频的类型、大小和存储请求，根据所述类型和大小从所述至少两种类型的分布式文件系统中选择相应的分布式文件系统，并将所述存储请求发送至所述相应的分布式文件系统；
[0021]所述相应的分布式文件系统，用于接收所述存储请求，并根据所述存储请求对待存储视频进行存储操作。
[0022]进一步地，所述相应的分布式文件系统还用于实时将待存储视频的存储情况通过所述虚拟管理系统中的资源调度单元反馈至所述视频存储管理平台。
[0023]进一步地，各分布式文件系统均包括多个数据节点和存储有各所述数据节点的位置信息的主节点；
[0024]所述相应的分布式文件系统具体用于在所述存储请求的触发下执行:
[0025]将待存储视频进行分块，得到若干数据块；
[0026]根据主节点上存储的位置信息将各个数据块存储在不同的数据节点上。
[0027]更进一步地，所述主节点还用于获取其所属分布式文件系统中各个数据节点的工作状态信息，并将所述工作状态信息发送至所述虚拟管理系统；
[0028]所述虚拟管理系统还包括资源管理单元；所述资源管理单元用于接收各个分布式文件系统的主节点发送的所述工作状态信息。
[0029]进一步地，所述资源管理单元还用于监测各个分布式文件系统的资源分布情况。
[0030]本发明提供的视频存储方法及系统，对待存储视频进行存储的分布式文件系统是根据该待存储视频的类型和大小选择的，所以，本发明相对于现有技术中所有视频只能利用某一固定的分布式文件系统来说，提高了视频的存储效率，同时也使分布式文件系统的存储空间得到了有效的利用。
【附图说明】
[0031]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中:
[0032]图1示出了本发明基于虚拟管理分布式文件系统的视频存储方法的流程示意图；
[0033]图2示出了本发明基于虚拟管理分布式文件系统的视频存储系统的结构框图。
【具体实施方式】
[0034]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0035]本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
[0036]本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非被特定定义，否则不会用理想化或过于正式的含义来解释。
[0037]实施例1
[0038]本发明提供一种基于虚拟管理分布式文件系统的视频存储方法，如图1所示，该方法包括:
[0039]步骤S1、获取待存储视频的类型和大小，并生成所述待存储视频的存储请求；
[0040]步骤S2、根据待存储视频的类型和大小从至少两种类型的分布式文件系统中选择相应的分布式文件系统，并将所述存储请求发送至所述相应的分布式文件系统；
[0041]步骤S3、所述相应的分布式文件系统根据所述存储请求对待存储视频进行存储操作。
[0042]本发明对待存储视频进行存储的分布式文件系统是根据该待存储视频的类型和大小选择的，不同类型或大小的视频可以选择不同的分布式文件系统进行存储。例如，当待存储视频较大时，可以选择擅长处理大文件的GFS、HDFS。所以，本发明相对于现有技术中所有视频只能利用某一固定的分布式文件系统来说，提高了视频的存储效率，同时也使分布式文件系统的存储空间得到了有效的利用。
[0043]另外，为了使存储请求能够被相应的分布式文件系统识别，还可以将存储消息进行一定的处理和封装后再发送至相应的分布式文件系统。
[0044]对上述技术方案的第一种改进，该视频存储方法还包括:所述相应的分布式文件系统实时反馈待存储视频的存储情况。
[0045]该存储情况可以包括存储进度、存储结果(例如存储成功或存储失败)等。通过实时反馈存储情况，使用户能够实时了解目前的存储情况。
[0046]对上述技术方案的第二种改进，各分布式文件系统均包括多个数据节点和存储有各所述数据节点的位置信息的主节点；
[0047]所述相应的分布式文件系统对所述待存储视频进行存储操作，具体包括: