一种适用于动漫行业的可扩展共享存储系统的制作方法
【专利摘要】本发明提供一种适用于动漫行业的可扩展共享存储系统，所述系统包括普通NAS存储模块，用于对动漫制作前期的海量小文件进行存储，其容量固定，在整个项目完成后，其中数据会被清除以便下一个项目的使用；集群存储模块，用于在动漫制作后期对产生的大容量文件进行存储，其容量能够扩展；同步模块，处于普通NAS存储模块和集群存储模块之间，用于在两个存储模块间进行数据同步。所述系统能够提供全局共享的文件级访问空间，满足前期制作高响应时间以及海量小文件处理的要求，满足后期处理大容量、可扩展、易维护的需求。
【专利说明】—种适用于动漫行业的可扩展共享存储系统
【技术领域】
[0001]本发明涉及计算机存储领域，具体涉及一种适用于动漫行业的可扩展共享存储系统。
【背景技术】
[0002]目前国家大力发展文化产业，动漫产业正处于高速增长时期。在动漫项目的制作过程中，往往涉及多个制作部门的协同工作，这些部门需要在不同时期对相关数据进行修改，因此数据需要能够在这些部门间共享。同时动漫行业主要以视频编辑为主，所涉及的素材数据、视频数据规模较大，而作为高速增长的产业,其数据规模将会更加迅速的增长。集群存储系统具有共享、大容量、高性能和可扩展的特点，能够很好的满足动漫行业对存储的上述需求。
[0003]在对功能和容量要求较高的同时，另一方面在项目实施过程中，存在多用户对项目文件进行在线打开、预览、编辑等操作，往往要求后端数据存储过程透明，使用户感觉不到数据的网络传输过程就像使用本地文件系统一样，这对系统的响应时间要求很高，而目前绝大多数集群存储系统在这方面的处理并不理想，很难满足用户的要求。
[0004]此外，在动漫制作过程中另一个较为突出的特点是海量小文件，这些文件主要是各类素材逐帧渲染的结果，大小只有数百KB，但是数量巨大，往往达到几十上百万个，因此对于存储系统的小文件处理能力要求较高，集群架构的存储系统对小文件处理也不够理
本巨
ο
`
【发明内容】
[0005]本发明针对集群存储系统无法满足动漫行业高时间响应、海量小文件处理的情况，提出一种适用于动漫行业的可扩展共享存储系统，使得存储系统同时满足共享、大容量、可扩展和高时间响应、海量小文件处理的要求。所述系统包括:
[0006]普通NAS存储模块，用于对动漫制作前期的海量小文件进行存储，其容量固定，在整个项目完成后，其中数据会被清除以便下一个项目的使用；
[0007]集群存储模块，用于在动漫制作后期对产生的大容量文件进行存储，其容量能够扩展；
[0008]同步模块，处于普通NAS存储模块和集群存储模块之间，用于在两个存储模块间进行数据同步。
[0009]本发明的有益效果是:(1)提供全局共享的文件级访问空间；(2)满足前期制作高响应时间以及海量小文件处理的要求；(3)满足后期处理大容量、可扩展、易维护的需求。
【专利附图】
【附图说明】
[0010]图1示出的是本发明提出的一种适用于动漫行业的可扩展共享存储系统。【具体实施方式】
[0011]下面参照附图1详细描述本发明提出的一种适用于动漫行业的可扩展共享存储系统。
[0012]在动漫制作过程中，可以分为两个阶段，前期的处理过程往往对响应时间要求较高，且小文件居多，后期处理以大文件为主，整个处理过程中，数据需要共享，普通NAS存储系统能够满足前期制作要求，而集群存储系统能够完美的支持后期处理要求。
[0013]针对上述特点，本方法涉及的存储架构包括普通NAS存储模块、集群存储模块以及两个模块之间的同步模块。其中
[0014]普通NAS存储模块用于前期高时间响应、海量小文件处理的阶段，该系统容量固定，在整个项目完成后，数据会被清除以便下一个项目的使用。普通NAS存储系统可以是一个，也可以是多个，以满足多个项目并行开展时对存储系统并发响应的要求。
[0015]集群存储模块用于后期大容量、高性能的处理阶段，该系统只有一个，但是由于该系统容量扩展性很高，因此能够满足源源不断的项目数据的存储，同时单套系统的维护更加方便。
[0016]两个模块间的同步模块，是本架构的核心模块，用于在两个存储模块间进行数据同步，保证访问空间的一致性，主要分为两部分:数据统计模块和数据迁移模块。数据统计模块主要维护一个changelog文件，部署于普通的NAS存储系统，主要用于统计文件的修改，并将修改记录到changelog文件中。数据迁移模块利用changelog文件中的日志记录进行数据的迁移，迁移过程中利用校验等手段保证数据的完整性，数据迁移模块部署在集群存储系统上，在数据操作较少的时间点进行定时同步。
[0017]当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的权利要求的保护范围。
【权利要求】
1.一种适用于动漫行业的可扩展共享存储系统，其特征在于:所述系统包括:集群存储模块、普通NAS存储模块、数据同步模块，其中: 普通NAS存储模块，用于对动漫制作前期的海量小文件进行存储，其容量固定，在整个项目完成后，其中数据会被清除以便下一个项目的使用； 集群存储模块，用于在动漫制作后期对产生的大容量文件进行存储，其容量能够扩展； 同步模块，处于普通NAS存储模块和集群存储模块之间，用于在两个存储模块间进行数据同步。
2.如权利要求1所述的系统，其特征在于: 所述同步模块包括数据统计模块和数据迁移模块； 所述数据统计模块部署于普通的NAS存储系统，用于统计文件的修改，并将修改记录到changelog文件中； 所述数据迁移模块部署在集群存储模块，用于根据changelog文件中的记录进行数据的迁移，在数据操作较少的时间点进行定时同步； 其中，在所述数据的迁移过程中，所述数据迁移模块利用校验手段保证数据的完整性。
【文档编号】H04L29/08GK103701936SQ201410014816
【公开日】2014年4月2日 申请日期:2014年1月13日 优先权日:2014年1月13日
【发明者】张在贵, 范明彬 申请人:浪潮(北京)电子信息产业有限公司