专利名称：基于本地缓存和虚拟文件系统技术的网络存储方法及系统的制作方法
技术领域：
本发明属于网络数据存储技术领域，具体涉及一种基于虚拟文件系统技 术的网络存储方法及存储系统。该系统可以应用到广电行业的-见音频网络存 储，以及其它对网络带宽、数据安全要求比较高的各种数据存储领域。
背景技术：
近年来，在广电行业非编网络项目的设计和实施过程中，考虑最多的问 题是如何保证网络的稳定以及高速的带宽，稳定、高速是非编对文件存储系 统的基本要求。非编对带宽的要求很高，带宽稍有波动就会造成播放画面的 不连续，其后果要么是制作出来的节目质量不过关，要么造成非编系统的崩 溃，甚至直接造成播出事故。如何使用较低的成本组建一个成规模的高清网络是广电行业要面临的另外一个问题，高清网络的带宽要求会是目前带宽的2倍以上，这对目前技术 来说是一个挑战。由于电视广播的特殊性，目前视音频网络会经常遇到如下一些问题如 盘阵崩溃了如何处理，交换机损坏了如何应对，服务器宕机了如何解决等等， 这就需要一 系列的关于系统在极限状况下的应急处理方案。由于盘阵一次坏 两块以上硬盘的概率是极小的，所以常规的解决方法一般是可以上双控制器， 上双交换机，让服务器支持HA。以上这些解决方案除了成本成倍增长以外，并不能保证系统真的万无一 失。 一般情况下，上述系列解决方案可以保证数据不会丢失，但是不能保证 系统能一直连续运行，而是总会有一段不可用时间，并且这一段时间是不能 确定长短的。对于新闻生产等节目网络系统来说，l个小时以上的系统不可 用时间，就有可能对即将播出的节目造成影响，所以寻找一个可节约成本并 且更具实用性的应急方案， 一直是广电行业相关技术人员追求的目标。最后，非编在非编网络中占用带宽资源是最高的，非编占用这些带宽的主
要用途包括素材采集、节目制作、素材下载、打包合成、节目审查等。在这 些操作过程中，除了部分极简单的新闻类节目在制作环节花费的时间比较少以 外，应该说节目制作花费的时间是最长，而且节目制作占用的带宽也最多，尤 其是制作类型的网络就更明显。从分析中可以看出盘阵在更多的时候是在承担 着"读"的操作，如果能尽量减少盘阵的"读，，操作，将这部分工作放到别处， 从而使盘阵承担更多"写"的操作，也就支持了更多的非编站点。发明内容本发明的目的在于针对目前视音频网络技术中系统在极限状况下的应急 处理方案所存在的缺陷，提供一种基于本地緩存和虚拟文件系统技术的网络 存储方法及系统，从而更加合理的配置网络盘阵的操作形式，以支持更多的 非编站点，保证系统能够可靠、高速的运行。本发明的技术方案如下 一种基于本地緩存和虚拟文件系统技术的网络 存储方法，该方法在视音频工作站操作系统的设备层虚拟一个或多个硬盘设 备，当上层软件进行写文件操作时，在工作站本地的Cache和网络存储设备 中各写一份，当上层软件进行读文件操作时，优先使用本地Cache中存储的数据。如上所述的基于本地緩存和虚拟文件系统技术的网络存储方法，其中， 当上层软件进行读文件操作时，如果工作站本地的Cache不存在相关数据， 则从网络存储设备中读取数据返回给上层应用，并在传给上层的同时在本地 的Cache中保留一份相同的数据文件。如上所述的基于本地缓存和虚拟文件系统技术的网络存储方法，其中， 当上层软件进行写文件操作时，在网络盘阵速度不够的情况下，将文件优先 写入本地的Cache中。进一步，在上述基于本地緩存和虚拟文件系统技术的网络存储方法中， 当上层软件进行修改文件操作时，将相关数据同时修改到工作站本地的 Cache和网络存储设备中所对应的文件上；如果工作站本地的Cache不存在 相关数据文件，则获取网络存储设备中相应文件的大小，在本地的Cache中 创建一个同样大小的空文件，将写入的数据同时写到这两个文件中，同时记
录写入的位置，在系统空闲时将其他的数据写入到本地的Cache。进一步，在上述基于本地緩存和虚拟文件系统技术的网络存储方法中， 当上层软件进行删除文件操作时，先删除网络存储设备中的相关文件，然后 再删除本地Cache中的相关文件；在删除过程中，如果删除网络文件成功， 则无论本地Cache中的文件是否被成功删除，都返回给上层应用成功的信息。进一步，在上述基于本地緩存和虚拟文件系统技术的网络存储方法中， 当上层软件进行查询文件操作时，对于应用模式，优先使用网络存储设备中 的相关文件返回查询结果，如果网络盘阵发生故障，则^f吏用本地Cache进行 文件列表查询；对于远程存储等应用模式，优先使用本地Cache中的相关文 件返回查询结果。一种基于本地緩存和虚拟文件系统技术的网络存储系统，包括视音频工 作站和网络存储设备，其中，在视音频工作站的上层软件模块与本地磁盘之 间，设置一套虚拟的硬盘设备，上层软件模块以访问普通驱动器的形式对虚 拟的硬盘设备进行操作，虚拟的硬盘设备与网络存储设备之间进行数据连接。如上所述的基于本地緩存和虚拟文件系统技术的网络存储系统，其中， 虚拟的硬盘设备为 一个或多个虚拟硬盘。如上所述的基于本地緩存和虚拟文件系统技术的网络存储系统，其中， 在本地磁盘的Cache与网络存储设备中，均存储有相关的视音频数据文件。本发明的有益效果如下本发明通过虚拟文件系统技术在视音频工作站 的设备层虚拟一套硬盘设备，并在虚拟的系统与网络盘阵之间建立数据联系， 在非编工.作站的本地存放一份和盘阵上一样的素材，将对网络系统中数据文 件的"读"操作放到虚拟文件系统中予以实现，从而，减小了网络盘阵的使 用压力，降低了对网络带宽的需求，并且可以在系统出现极限状况下，不中 断节目生产，保证系统能够可靠、高速的运行。
图1为本发明的系统结构示意图。图2为本发明进行数据读取操作时的流程图。
图3为本发明进行数据写入操作时的流程图。图4为本发明进行数据修改操作时的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细的描述。 如图1所示，基于本地緩存和虚拟文件系统技术的网络存储系统包括视音 频工作站和网络存储设备--网络盘阵，在视音频工作站的上层软件模块与本地磁盘之间，通过VFS虚拟文件系统技术设置一套虚拟的硬盘设备，上层软件模 块以访问普通驱动器的形式对虚拟的硬盘设备进行操作，虚拟的硬盘设备与网 络盘阵之间进行数据连接。VFS技术为一种本领域的公知技术，在本发明中，VFS需要处理以下几件 主要的事情或功能*在操作系统的设备层虚拟硬盘设备。參当上层在写文件时，需要在本地Cache (高速缓沖存储器)和网络存储设备中各写一份。 參当上层在读文件时，优先使用本地Cache中数据，如果本地Cache中不存在相关数据，则从网络存储设备中读取，再传给上层的同时在本地Cache中保留一j分。
支持对网络存储设备的多链路冗余，当 一个MDC或NAS头发生故障时，自动启用其他的备用链路。 參根据本地Cache的空间使用情况，以及緩存文件的使用频率，自动维护本地緩存中文件的生命周期。 參提供简单的函数给上层应用，用来确认是否有本地的Cache，以及对可能会用到的文件进行提前的Cache操作。这里需要特别指出的是，上层应用可以不调用任何VFS的API就可以乂人VFS的基本功能中受益。本发明可以在任意操作系统平台中实现，与具体的平台类型无关。以 Windows操作系统为例，首先开发一个虚拟硬盘模块--文件虚拟层，这是虚拟文 件系统的基础，通过该^f莫块用户可以在Windows系统中发现虚拟出来的盘符， 可以在该盘符中进行普通的文件操作，与使用普通的硬盘没有什么区别。 对文件系统的上层操作基本有以下几种读取、写入(新建、修改)、删除、 查询，这些操作对于文件虚拟层来说的处理程序如下(1) 读取操作当上层软件进行读文件操作时，优先使用本地Cache中存储的数据，如果 工作站本地的Cache不存在相关数据，则从网络存储设备中读取数据返回给上 层应用，并在传给上层的同时在本地的Cache中保留一份相同的数据文件。具 体流程见图2。(2) 写入操作(新建、修改)当上层软件进行写文件操作时，在工作站本地的Cache和网络存储设备中 各写一份，在网络盘阵速度不够的情况下，将文件优先写入本地的Cache中。 具体流程见图3。当上层软件进行修改文件操作时，将相关数据同时修改到工作站本地的 Cache和网络存储设备中所对应的文件上；如果工作站本地的Cache不存在相关 数据文件，则获取网络存储设备中相应文件的大小，在本地的Cache中创建一 个同样大小的空文件，将写入的数据同时写到这两个文件中，同时记录写入的 位置，在系统空闲时将其他的数据写入到本地的Cache。具体流程见图4。(3) 删除操作当上层软件进行删除文件操作时，将本地和网络盘阵上的素材同时删除即 可，但删除要注意，先删除盘阵素材，然后再删除本地素材，以便保持数据的 一致性。在删除过程中，如果删除网络文件成功，则不管本地Cache文件是否 删除成功，都返回给上层应用成功的信息。(4 )查询操作当上层软件进行查询文件操作时，也就是获取文件列表，对于本地Cache 降低带宽压力这种需求(或者是应用模式)来说，查询优先使用网络盘阵，如 果网络盘阵发生故障，将会使用本地Cache进行文件列表查询；对于远程存储 等应用模式来说，为了提高对上层应用的响应速度，优先使用本地Cache返回 查询结果。考虑到在此公开的对本发明的描述和特殊的实施例，本发明的其他实施例 对于本领域的技术人员来说是显而易见的。这些说明和实施例仅作为例子来考 虑，它们都属于由所附权利要求所指示的本发明的保护范围和精神之内。
权利要求
1. 一种基于本地缓存和虚拟文件系统技术的网络存储方法，其特征在于该方法在视音频工作站操作系统的设备层虚拟一个或多个硬盘设备，当上层软件进行写文件操作时，在工作站本地的Cache和网络存储设备中各写一份，当上层软件进行读文件操作时，优先使用本地Cache中存储的数据。
2. 如权利要求1所述的基于本地緩存和虚拟文件系统技术的网络存储 方法，其特征在于当上层软件进行读文件操作时，如果工作站本地的Cache 不存在相关数据，则从网络存储设备中读取数据返回给上层应用，并在传给 上层的同时在本地的Cache中保留一份相同的数据文件。
3. 如权利要求1或2所述的基于本地缓存和虚拟文件系统技术的网络 存储方法，其特征在于当上层软件进行写文件操作时，在网络盘阵速度不 够的情况下，将文件优先写入本地的Cache中。
4. 如权利要求1所述的基于本地緩存和虚拟文件系统技术的网络存储 方法，其特征在于当上层软件进行修改文件操作时，将相关数据同时修改 到工作站本地的Cache和网络存储设备中所对应的文件上。
5. 如权利要求4所述的基于本地缓存和虚拟文件系统技术的网络存储 方法，其特征在于如果工作站本地的Cache不存在相关数据文件，则获耳又 网络存储设备中相应文件的大小，在本地的Cache中创建一个同样大小的空 文件，将写入的数据同时写到这两个文件中，同时记录写入的位置，在系统 空闲时将其他的数据写入到本地的Cache。
6. 如权利要求1所述的基于本地緩存和虚拟文件系统技术的网络存储 方法，其特征在于当上层软件进行删除文件操作时，先删除网络存储设备 中的相关文件，然后再删除本地Cache中的相关文件。
7. 如权利要求6所述的基于本地緩存和虚拟文件系统技术的网络存储 方法，其特征在于在删除过程中，如果删除网络文件成功，则无"i仑本地Cache 中的文件是否被成功删除，都返回给上层应用成功的信息。
8. 如权利要求1所述的基于本地緩存和虚拟文件系统技术的网络存储 方法，其特征在于当上层软件进行查询文件操作时，对于应用模式，优先 使用网络存储设备中的相关文件返回查询结果，如果网络盘阵发生故障，则 使用本地Cache进行文件列表查询。
9. 如权利要求1所述的基于本地緩存和虚拟文件系统技术的网络存储 方法，其特征在于当上层软件进行查询文件操作时，对于远程存储等模式， 优先^f吏用本地Cache中的相关文件返回查询结果。
10. —种基于本地緩存和虚拟文件系统技术的网络存储系统，包括视音 频工作站和网络存储设备，其特征在于在视音频工作站的上层软件模块与 本地磁盘之间，设置一套虚拟的硬盘设备，上层软件模块以访问普通驱动器 的形式对虚拟的硬盘设备进行操作，虚拟的硬盘设备与网络存储设备之间进 行数据连接。
11. 如权利要求10所述的基于本地緩存和虚拟文件系统技术的网络存 储系统，其特征在于虚拟的硬盘设备包括一个或多个虚拟硬盘。
12. 如权利要求10或11所述的基于本地緩存和虚拟文件系统技术的网络 存储系统，其特征在于在本地磁盘的Cache与网络存储设备中，均存储相关 的视音频数据文件。
全文摘要
本发明属于网络数据存储技术领域，具体涉及一种基于本地缓存和虚拟文件系统技术的网络存储方法及系统。该方法在视音频工作站操作系统的设备层虚拟一个或多个硬盘设备，虚拟的硬盘设备设在上层软件模块与本地磁盘之间，上层软件模块以访问普通驱动器的形式对虚拟的硬盘设备进行操作，虚拟的硬盘设备与网络存储设备之间进行数据连接，当上层软件进行写文件操作时，在工作站本地的Cache和网络存储设备中各写一份，当上层软件进行读文件操作时，优先使用本地Cache中存储的数据。本发明减小了网络盘阵的使用压力，降低了对网络带宽的需求，并且可以在系统出现极限状况下，不中断节目生产，保证系统能够可靠、高速的运行。
文档编号G06F17/30GK101398821SQ20071012244
公开日2009年4月1日 申请日期2007年9月26日 优先权日2007年9月26日
发明者王弋珵 申请人:新奥特硅谷视频技术有限责任公司