专利名称：一种在嵌入式虚拟磁带库环境中实现数据压缩和解压缩的方法和系统的制作方法
技术领域：
本发明涉及计算机存储技术领域，尤其涉及一种在嵌入式虚拟磁带库环境中实现数据压缩和解压缩方法和系统。
背景技术：
随着信息数据快速增长，数据的存储、移动以及安全性变得越来越重要，巨大的数 据量对于运行软件的计算机提出了更高的要求。例如对于一个具有2000个变量的中型系 统来说，如果每分钟采集一次数据，则一个小时之后，2000个变量的数据量将达到30M左 右。目前解决这一难题的有效途径是数据的压缩与解压技术，即将发送端待传输的数据进 行压缩，而接收端将接收到的压缩数据解压以获得原始数据。在一定的数据存储空间要求 下，将相对庞大的原始数据，重组为满足前述空间要求的数据集合，使得从该数据集合中恢 复出来的信息，能够与原始数据相一致，或者能够获得与原始数据相同的使用品质。相对于 未采用压缩技术，采用不同的压缩技术之后，存储和传输中的数据会显著缩小，网络系统和 存储系统的利用率因此提高。历史数据的压缩技术应用，可以减轻主系统负荷、提高生产系统的效率，其次根据 其数据的历史生命周期，对不同使用频率的数据采用不同的压缩比率进行压缩，在保证使 用的前提下，尽最大的可能合理压缩数据。这种数据存储方式既没有占用大量的一级存储， 节约了成本，同时也解决了低廉的二级存储方案不能满足管理查询和分析的问题。为了在 网络中传输数据，也必须先将数据压缩，再进行传输，否则巨大的数据包将造成系统长时间 的等待，影响系统的性能稳定。
发明内容
本发明提供一种在嵌入式虚拟磁带库环境中实现数据压缩和解压缩方法和系统。 虚拟磁带库通过压缩和解压缩方法，实现在线数据的压缩和解压缩。本方法包含压缩和解 压缩两个过程。压缩存在备份过程中，备份的数据通过虚拟磁带机程序进入硬件压缩卡中， 压缩卡通过压缩芯片将数据压缩，虚拟磁带机程序继续将压缩后的数据写入虚拟磁带中。 解压缩存在于数据恢复过程中，虚拟磁带的数据被虚拟磁带机程序读出并传入硬件压缩卡 中，压缩卡通过压缩芯片将数据解压缩，虚拟磁带机程序继续将解压缩后的数据传递给存 储接口。虚拟磁带机程序通过双压缩队列实现高性能压缩和解压缩。对于同样的存储空 间要求，采用压缩处理后，实际的物理存储空间能够显著减小，能明显提高存储空间的利用 率，同时硬盘驱动器的数量降低，也使得整个存储系统的可靠性得到增强。压缩数据单次处理的数据长度不限。设计上采用FPGA技术实现Soul LZM压缩算法，FPGA的压缩芯片的有多个逻辑部 分组成，包括两个压缩及解压缩处理单元。压缩和解压缩处理流程采用异步方式，用以提高系统的高性能和大吞吐量，充分利用硬件压缩卡的性能。虚拟磁带机程序将待压缩数据加入工作描述符队列，当前的指令的上下问被保存在虚拟程序的工作队列中，虚拟磁带机随后处理其他的SCSI指令。硬件压 缩卡通过描述符队列处理数据，完成后通过中段的方式通知驱动程序，驱动程序通知虚拟 磁带机虚拟程序，磁带机虚拟程序通过完成后续处理。压缩卡驱动实现了易用的接口，易于实现压缩和非压缩的兼容压缩卡驱动以内核 模块的方式存在，提供对外接口，供磁带机虚拟程序使用。压缩和解压缩针对的二进制数 据，对文本数据、图像数据、数据库等压缩比例依赖算法本身。所述压缩和解压缩系统，从嵌入式虚拟磁带库接口获得数据，虚拟磁带机程序将 数据传入压缩卡的驱动程序，压缩卡通过描述符队列，对要进行的压缩数据进行排队，当请 求队列有数据时，取出队列中的数据，压缩处理后，放入指定的内存之中，并中断通知虚拟程序。本系统是嵌入式虚拟磁带库系统的子系统，主要组成部分由驱动器虚拟程序，压 缩卡驱动，PCI接口的压缩卡等构成。本方法实施方案中包含嵌入式主板、硬件压缩卡、嵌 入式操作系统、磁带机虚拟程序等。
图1本发明数据压缩流程示意图；图2本发明系统压缩卡FPGA处理芯片逻辑结构示意图；图3本发明系统压缩及解压缩处理单元芯片逻辑结构示意图；图4本发明系统压缩异步处理时序结构图；图5本发明系统逻辑结构示意图；图6本发明实施例系统结构图。
具体实施例方式为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施 方式对本发明实施例作进一步的详细说明。首先，参照图1，是本发明数据压缩流程示意图，主要包括以下步骤步骤101，备份数据到来。步骤102，虚拟磁带机程序将数据内存地址传递给硬件压缩卡。步骤103，压缩卡完成后将数据写回内存。步骤104，虚拟磁带机程序将数据写入磁盘中。参照图2，是本发明系统压缩卡FPGA处理芯片逻辑结构示意图，采用FPGA实现 Soul LZM压缩算法，FPGA的压缩芯片的有多个逻辑部分组成，主要包括以下步骤步骤201、步骤202，数据从内存中经过PCI控制器，被DMA单元读入。步骤203、步骤204，处理完的数据经过PCI控制器，被DMA单元写到内存中。步骤205，实现压缩和解压缩。参照图3，是本发明系统压缩及解压缩处理单元芯片逻辑结构示意图，采用FPGA 采用两个压缩及解压缩处理单元，主要包括以下步骤步骤301、步骤302，压缩解压缩单元。
步骤303、步骤304，描述符控制单元。步骤305，DMA读取数据单元。步骤306，DMA写入数据单元。步骤307，内存访问仲裁单元。参照图4，是本发明系统压缩异步处理时序结构图，异步压缩和解压缩处理流程，可以提高系统的高性能和大吞吐量，充分利用硬件压缩卡的性能。虚拟磁带机虚拟程序将 待压缩数据加入工作描述符队列，当前的指令的上下问被保存在虚拟程序的工作队列中， 虚拟磁带机随后处理其他的SCSI指令。硬件压缩卡通过描述符队列处理数据，完成后通过 中段的方式通知驱动程序，驱动程序通知虚拟磁带机虚拟程序，磁带机虚拟程序通过完成 后续处理，主要包括以下步骤步骤401，待处理数据通过DMA传给压缩卡。步骤402，压缩卡通过中断通知压缩卡驱动，驱动完成后续处理。参照图5，是发明系统逻辑结构示意图，主要包括以下步骤步骤501、步骤502，压缩卡驱动描述符队列1，每个描述符描述需要压缩的数据及 压缩后的存储位置。步骤503、步骤504，压缩卡处理引擎1，实现硬件压缩解压缩逻辑。步骤505，压缩后的数据存储位置。参照图6，是本发明实施例系统结构图，步骤601，嵌入式虚拟磁带库系统。步骤602，嵌入式操作系统。以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式
对本发明进行 了阐述，以上实施例的说明只是用于帮助理解本发明的系统及方法；同时，对于本领域的 一般技术人员，依据本发明的思想，在具体实施方式
及应用范围上均会有改变之处，综上所 述，本说明书内容不应理解为对本发明的限制。
权利要求
一种嵌入式虚拟磁带库环境中实现数据压缩和解压缩方法，其特征在于，包含压缩和解压缩两个过程。
2.根据权利要求1所述的方法，其特征在于，所述方法压缩存在备份过程中，备份的数 据通过虚拟磁带机程序进入硬件压缩卡中，压缩卡通过压缩芯片将数据压缩，虚拟磁带机 程序继续将压缩后的数据写入虚拟磁带中。
3.根据权利要求1所述的方法，其特征在于，所述解压缩方法存在于数据恢复过程中， 虚拟磁带的数据被虚拟磁带机程序读出并传入硬件压缩卡中，压缩卡通过压缩芯片将数据 解压缩，虚拟磁带机程序继续将解压缩后的数据传递给存储接口
4.根据权利要求1所述的方法，其特征在于，所述虚拟磁带机程序通过双压缩队列实 现高性能压缩和解压缩。
5.根据权利要求1所述的方法，其特征在于，所述数据压缩和解压缩方法采用异步方 式处理压缩和解压缩流程。
6.根据权利要求2所述的方法，其特征在于，所述压缩数据单次处理数据长度不限。
7.根据权利要求2所述的方法，其特征在于，所述数据压缩和解压缩方法采用Soul LZM压缩算法。
8.根据权利要求6所述的方法，其特征在于，所述数据压缩和解压缩方法采用FPGA技 术实现Soul LZM压缩算法，FPGA的压缩芯片的有多个逻辑部分组成。
9.根据权利要求7所述的方法，其特征在于，所述FPGA技术实现包括两个压缩及解压 缩处理单元。
10.一种嵌入式虚拟磁带库环境中实现数据压缩和解压系统，其特征在于，所述系统是 嵌入式虚拟磁带库系统的子系统，由虚拟磁带机程序，压缩卡驱动和PCI接口的压缩卡等 构成。
11.根据权利要求10所述的方法所述系统，从嵌入式虚拟磁带库接口获得数据，虚拟 磁带机程序将数据传入压缩卡的驱动程序，压缩卡通过描述符队列，对要进行的压缩数据 进行排队，当请求队列有数据时，取出队列中的数据，压缩处理后，放入指定的内存之中，并 中断通知虚拟程序。
12.根据权利要求10所述的方法，其特征在于，所述系统实施方案中包含嵌入式主板、 硬件压缩卡、嵌入式操作系统、虚拟磁带机程序等。
全文摘要
本发明提供一种在嵌入式虚拟磁带库环境中实现数据压缩和解压缩方法和系统，包含压缩和解压缩两个过程。压缩存在备份过程中，备份的数据通过虚拟磁带机程序进入硬件压缩卡中，压缩卡通过压缩芯片将数据压缩，虚拟磁带机程序继续将压缩后的数据写入虚拟磁带中。解压缩存在于数据恢复过程中，虚拟磁带的数据被虚拟磁带机程序读出并传入硬件压缩卡中，压缩卡通过压缩芯片将数据接压缩，虚拟磁带机程序继续将接压缩后的数据传递给存储接口。本系统是嵌入式虚拟磁带库系统的子系统，由驱动器虚拟程序，压缩卡驱动，PCI接口的压缩卡等构成，实施方案中包含嵌入式主板、硬件压缩卡、嵌入式操作系统、虚拟磁带机程序等。
文档编号G06F3/06GK101859231SQ200910131888
公开日2010年10月13日 申请日期2009年4月9日 优先权日2009年4月9日
发明者张庆敏, 胡刚, 谢海威, 郑志文 申请人:北京众志和达信息技术有限公司