专利名称：固定内容的数据资源管理系统的制作方法
技术领域：
本实用新型涉及一种固定内容的数据资源管理系统。
背景技术：
固定内容(Fixed Content)就是自创建以后不再更改并具有长时间保存价值的数据对象，如办公office文档、E-mail、电视新闻、医疗图片、天文图像、音频、视频，电信、 银行和电业等部门的数据库交易记录，以及无线传感网络经过加工处理后的信息等。固定内容包含了与企业业务相关的内容，可为企业提供有价值的信息，固也称之为参考数据 (Reference Data)。IDC在《2008年存储市场的发展现状及趋势分析报告》指出，从2006年到2011年5年当中，数据的产生到我们对数据进行保存以及维护或者是备份、归档一系列的环节下来整个数据量增长了 10倍。在数据的增长当中，非结构化或半结构化的数据(固定内容数据)越来越多，会占用我们整个存储容量的90%以上。固定内容是非结构化或半结构化数据，企业存储的固定内容信息随时间增长变得十分巨大，这些海量的固定信息是企业的重要财富。例如，医生可从医院海量医疗图像信息和诊断病历中检索到所要的案例，或挖掘诊断某种疾病的规律；电信或银行等部门能从海量数据库交易记录中挖掘客户流失或增加客户量的规律等；在教育系统中，学校可以从本科、硕士和博士的论文，以及各种学习文档中挖掘有用的教学和科研信息；天文工作者可以从海量的天文图像信息找到新的发现。但采用传统的存储方式从海量固定内容数据中找到需要的内容非常困难，并且其中大部分内容随时间的增长甚至变得无法理解。企业面临的挑战是寻找新的海量固定内容数据存储方式和新的存储管理方式，保证数据的查询效率不受时间和容量的影响，使企业存放的海量固定内容信息能真正变成企业的财富；同时，要保证海量固定内容存储系统有好的扩展性、兼容性(新扩展的存储设备能容易兼容企业旧的存储设备)，以及低成本和高性价比。对不断增长的海量固定内容信息进行高效的存储、管理、检索，这无疑对网络存储技术提出了全新的更高的要求，主要包括以下几个方面1)存取性能要保证在任何时间、任何地点都能对存储的固定内容信息快速、便捷地读取。2)可靠性和完整性要确保对信息内容不得有任何修改，且所存放的任何固定内容信息都必须符合一定的规范或标准。 3)位置无关性对任何固定内容信息的访问与其物理地址/逻辑地址无关，仅与其内容有关，即根据内容定位信息的存放位置。4)持久性和可扩展性系统要保证用户的持续访问，并且整个存储系统具有较强的可扩展能力，可以非常容易地升级至PB级容量，必须保证可避免因设备更新等产生的数据遗失问题。5)可管理性和可维护性必须满足商业应用的连续性和灾难恢复需求，需要最小化的存储管理，自动化程度尽可能地高。传统基于文件系统或块的存储系统，包括DAS (直连存储)、NAS (附网存储)和SAN(存储局域网)，不具有固定内容存储需要的特性这些系统是追求高性能而不是高度永久性，以文件或块为单位分布数据而不是使空间效率最大化，为了读写数据而不是永久地保存数据，并且只提供了 一些安全措施，而没有坚实的抗毁性。[0005]固定内容数据文件有明显的特点(1) 一经创建不再修改，或很少修改，必须被长期保存，以便今后检索；(2)随时时间和容量不断增长，需要存储系统有极好的可扩展性； (3)固定内容存储系统中需要具有区别于传统文件系统或块存储系统的特性存储成本低， 不可改变的特性(一次写入、多次读取)，高可靠性(校验和检测、消除复制)；以及区别于其他存储系统的特性比磁带系统更小的延迟，通用的接口，高效的搜索能力(尤其是在PB 级海量存储系统中)，几十年后或几百年后对资料的读取可以像现在对本地或分布式系统的读取一样方便。
实用新型内容本实用新型的目的在于提供一种固定内容的数据资源管理系统。固定内容的数据资源管理系统，其特征在于，包括第一 IP交换机和第二 IP交换机；连接于所述第一 IP交换机和第二 IP交换机之间的元数据服务器和应用服务器；与所述第二 IP交换机相连的计算机系统接口设备以及网络附属存储设备；一与第二 IP交换机相连的网络附属存储接头；分别与所述网络存储设备接头相连的第一光纤通道交换机和第二光纤通道交换机；与第一光纤通道交换机相连的光纤通道独立冗余磁盘阵列；与第二光纤通道交换机相连的光纤通断转接桥或计算机系统接口转接桥；与所述光纤通断转接桥或计算机系统接口转接桥相连的磁带库或光盘库。在本实用新型固定内容的数据资源管理系统中，多协议文件系统通过对管理系统所使用的元数据进行扩展，收集用户应用信息，为用户提供统一、方便、快捷的存储访问接口以及合理的数据存储方案。另一方面，多协议文件系统与内容管理和元数据管理结合能够自动地发现海量存储系统中存储设备的种类和各种可利用资源，自主地对这些存储设备和资源进行有效的统一管理和优化，并且根据应用的不同和应用的具体需求，安排与应用相适应的存储设备种类、性能以及可靠性和可用性等级等，为用户提供较优的存储服务。
图1是本实用新型固定内容的数据资源管理系统的硬件结构图。图2是本实用新型固定内容的数据资源管理系统的软件结构图。
具体实施方式
以下结合附图和实施例对本实用新型作进一步说明。请参考图1、图2，本实用新型固定内容的数据资源管理系统包括应用服务器20、 元数据服务器30以及存储设备40。应用服务器20包括多协议文件系统21，多协议文件系统21为客户端10不同协议用户(即客户1，客户2…客户η)提供访问接口，又为具有不同存储技术的存储设备40提供接口。元数据服务器30包括元数据管理系统31，元数据管理系统31通过多协议文件系统21为用户提供元数据编辑界面以及为系统管理人员提供内容管理和元数据管理。存储设备40包括固定内容数据存储层41，用于存放固定内容数据和对应的存储元数据。[0016]元数据管理系统31包括元数据管理层311，其存放系统元数据和内容元数据。所述系统元数据包括文件与目录的组织关系、及文件名与文件身份证(ID)的映射关系，所述内容元数据包括外部特征元数据和内部特征元数据。数字对象由内容、结构和背景三部分组成，按照作用的不同，可将这三要素划分为两类一是为满足数字对象形成目的而生成的信息，以内容为代表，如某文件的文字内容，包括关键词和摘要等，即所述内部特征；二是为了有序管理数字对象而产生的信息，包括结构和背景，其中结构反映了数字对象各部分的组织情况，如文件格式等，背景则反映了文件形成过程，如某文件创建时间、创建人、修改人、修改时间等，即所述外部特征。固定内容数据存储层41包括存储元数据和数据块，所述存储元数据包括对存储数字对象资源的描述信息，所述数据块是指固定文件的组成单位(一个文件可按大小分一个或多个数据块)。客户端与应用服务器之间的访问模式包括浏览器/服务器(browser/server， 简称B/S)访问模式、网络小型计算机系统接口( internet Small Computer System Interface,简称iSCSI)访问模式和客服端/服务器(Client/Server，简称C/S)访问模式。存储设备40包括附网存储(Network Attached Storage，简称NAQ设备45、 iSCSI设备46、光纤通道独立磁盘冗余阵列(Fibre Channel Redundant Array of Inexpensive Disks，简称FC RAID)设备47和磁带库/光盘库48。FC RAID设备47与FC交换机50相连，磁带库/光盘库48通过FC/SCSI转接桥 51与FC交换机50相连，FC交换机50通过附网存储头(NAS Head)52与IP交换机2相连。 客户端10的用户与IP交换机1相连。用户上传固定内容文件资源流程如下1、用户在客户端10以TOB方式或以C/S方式，向图1中的应用服务器20提出文件上传请求(该用户必须已在系统中注册并有相应的访问权限)；2、用户请求通过认证后，应用服务器20将该请求转给图1中的元数据服务器30， 元数据服务器30与客户端10的用户建立连接；3、连接建立后，用户在客户端10通过元数据服务器30中的元数据管理系统31编辑上传文件的元数据，即提取元数据；4、元数据编辑完成后，用户将元数据和数据文件一起上传并暂存在应用服务器20 的缓存子系统中；5、经过系统管理员检查和审核固定内容文件合格后，将元数据存放在元数据服务器30中，将文件资料归类存储在图1中的存储设备40中。用户下载或浏览固定内容文件资源流程如下1、用户以WEB方式或以C/S方式登陆图1中的应用服务器20 ；2、通过身份认证后，可以三种方式浏览或下载数据资源①通过提供文件ID方式；②通过提供文件名或关键词等检索方式；③按主题/子主题或年月时间等检索方式。3、如果用户以文件ID方式访问固定内容文件时，图1中的元数据服务器30中的元数据管理系统31根据文件ID查找系统中的ID链表，根据该链表可以找到ID所对应数据在存储设备40上的物理地址信息并建立与该存储设备40的联系；该存储设备40根据文件ID自动查找存储元数据，即找该文件存在设备中的磁盘和磁盘中的位置；存储设备40通过图1中的应用服务器20将该文件呈现在客户端10。4、如果用户通过文件名、关键词、时间、作者以及主题/子主题等检索或联合检索时，系统通过元数据服务器30中的元数据管理系统31中集成的检索模块在内容元数据库中检索符合条件的记录并提取每条记录中的文件ID，以及根据固定内容文件ID号查找系统中的ID链表，并根据该链表可以找到ID所对应数据在存储设备40上的物理地址信息并建立与该存储设备的联系。5、用户按主题/子主题或年月时间等检索时，与4类似，不同是检索的是一批文件。对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本实用新型权利要求的保护范围之内。
权利要求1.固定内容的数据资源管理系统，其特征在于，包括第一IP交换机和第二IP交换机；连接于所述第一 IP交换机和第二 IP交换机之间的元数据服务器和应用服务器；与所述第二 IP交换机相连的计算机系统接口设备以及网络附属存储设备；一与第二 IP交换机相连的网络附属存储接头；分别与所述网络存储设备接头相连的第一光纤通道交换机和第二光纤通道交换机；与第一光纤通道交换机相连的光纤通道独立冗余磁盘阵列；与第二光纤通道交换机相连的光纤通断转接桥或计算机系统接口转接桥；与所述光纤通断转接桥或计算机系统接口转接桥相连的磁带库或光盘库。
专利摘要一种固定内容的数据资源管理系统，包括第一IP交换机和第二IP交换机；连接于所述第一IP交换机和第二IP交换机之间的元数据服务器和应用服务器；与所述第二IP交换机相连的计算机系统接口设备以及网络附属存储设备；一与第二IP交换机相连的网络附属存储接头；分别与所述网络存储设备接头相连的第一光纤通道交换机和第二光纤通道交换机；与第一光纤通道交换机相连的光纤通道独立冗余磁盘阵列；与第二光纤通道交换机相连的光纤通断转接桥或计算机系统接口转接桥；与所述光纤通断转接桥或计算机系统接口转接桥相连的磁带库或光盘库。本实用新型为用户提供统一、方便、快捷的存储访问接口以及合理的数据存储方案。
文档编号G06F17/30GK202025315SQ201020644060
公开日2011年11月2日 申请日期2010年12月7日 优先权日2010年12月7日
发明者韩德志 申请人:广州中长康达信息技术有限公司, 韩德志