专利名称：计算机硬盘数据网络传输加速层的制作方法
技术领域：
本发明涉及计算机数据网络传输装置，特别涉及一种计算机硬盘 数据网络传输加速层。
背景技术：
在当前计算机网络环境下，由于硬软件配置的限制，网络传输速 度并不理想，尽可能的利用有效带宽，提高传输数据的信息熵，这是
任何网络应用所不断追求的。TCP/IP作为事实上的工业标准，被各 个现代操作系统所支持。 一般，TCP/IP分成四层，从底向上分别是
数据链路层(data link layer),网络层(internet layer),传输层 (transport layer),应用层(a卯lication layer)。其中前三层一般
都由操作系统内核所直接支持，对上层网络应用层是透明的。上层网 络应用层被屏蔽了硬软件细节和具体网络环境，这就使应用层在针对 性上降低，很难进行特定的优化使硬软件发挥全部的潜能。
发明内容
在目前这样一种普遍的情况下，本发明提供一种可加在现有网络 结构的数据链路层、网络层、传输层、应用层的任意层次之间的计算 机硬盘数据网络传输加速层，而且它不管是对上层还是下层，都是透 明的、高效的。
本发明的技术解决方案是 一种计算机硬盘数据网络传输加速 层，它可加在现有网络结构的数据链路层、网络层、传输层、应用层 的任意层次之间，它由前端、智能分析引擎、智能处理引擎和后端构 成，所述的前端是在与上层网络进行通信时，在发送端截获上层网络 应用层的请求，为网络加速层内部的智能分析引擎和智能处理引擎的 工作准备数据缓冲的模块，作为发送端时，其输出端与智能分析引擎 和智能处理引擎的输入端连接，作为接收端时，其输入端与智能处理 引擎输出端连接，智能分析引擎是在发送端经过前端釆样数据，对数 据流进行采样分析，给智能处理引擎提供与数据密切相关和系统密切 相关的参数的模块，作为发送端时，其输入端连接前端和智能处理引 擎的输出端，接收前端釆样数据和智能处理引擎的实时信息，其输出 端连接智能处理引擎的输入端，作为接收端时，其输出端连接智能处 理引擎的输入端，智能处理引擎是在发送端对智能分析引擎和前端的 数据流进行处理，通过压缩以提高数据的信息熵的模块，作为发送端 时，其输入端连接前端和智能分析引擎的输出端，其输出端连接后端 和智能分析引擎的输入端，作为接收端时，其输入端连接后端的输出 端，其输出端连接前端的输入端，所述的后端是在与下层网络进行通 信时，在接收端截获下层网络传输层提交的请求，为网络加速层内部 的处理引擎的工作准备数据缓冲的模块，作为发送端时，其输入端与 智能处理引擎的输出端连接，作为接收端时，其输出端与智能处理引 擎的输入端连接。
所述的前端设有给网络上层提供一致的、定义完整的接口，前端 在与上层网络进行通信时，在发送端截获上层网络的请求，建立两个 缓冲区构成缓冲池，其中一个缓冲区用于存放应用数据，另外一个用 于存放压缩后数据。
所述的后端设有给网络下层提供一致的、定义完整的接口，后端 在与下层网络进行通信时，在接收端截获下层网络提交的请求，建立 两个缓冲区构成缓冲池，其中一个缓冲区用于临时存放解压前的数 据，另外一个用于存放解压后的数据。
作为 发送端时，智能分析引擎给智能处理引擎提供与数据密切相 关和系统密切相关的参数，包括①cpu当前利用率，②内存使用情 况，③网络带宽，④来源数据类型，同时，智能处理引擎的实时系 统信息如压缩所花费的时间和最终压缩率反馈给智能分析引擎；作为 接收端时，智能分析引擎给处理引擎提供一些必备的系统参数。
作为发送端时，智能处理引擎根据智能分析引擎的分析结果釆用 合适的压缩算法和压缩深度对数据进行高效快速的压缩，作为接收端
时，智能处理引擎釆用数据指定的解压缩算法来对数据进行高效快速 的解压处理。
本发明的有益效果是可有效的利用硬软件配置资源，尽可能的利 用有效带宽，提高传输数据的速度和数据量；经过处理对于原有网络 结构各层上下透明，在提高效率的基础上不影响原网络结构，高效、 安全、可靠；对于对网络有安全性和可靠性方面有特定要求的场合， 网络加速层可以提供额外的安全机制，数据经过压縮后，使得黑客即 使截获数据也不能威胁到网络安全。从系统性能这个角度来考虑，网 络加速层可以做到内核级，可以针对特定的硬软件环境实施优化。
图1是本发明发送端网络加速层结构示意图。 图2是本发明接收端网络加速层结构示意图。
图3是本发明以网络加速层放置于传输层与应用层之间为例的 网络应用结构原理示意图。
具体实施例方式
网络加速层可加在现有网络结构的数据链路层、网络层、传输层、 应用层的不同层次之间。具体加在哪 一层需要权衡性能与实现复杂 度。越接近底层，可以更好的发挥硬件的性能，但却需要对各异的硬
件提供支持，这提高了实现的复杂性；越往上层，更多的机器细节被
下层所隐藏，这样针对具体机器环境的优化就会受到限制，性能提升 的空间就十分有限，但是可以换来的是实现上的相对简单，因为无需 关注更多的细节。因此，为了便于本发明进一步的描述，故将网络加 速层放置于表现较好的传输层和应用层之间加以说明。
如图1所示，在发送端中，加入网络加速层，它主要由前端、智 能分析引擎、智能处理引擎和后端构成。前端是在与上层网络进行通 信时，在发送端截获上层网络应用层的请求，为网络加速层内部的智 能分析引擎和智能处理引擎的工作准备数据缓冲的模块，前端设有给 网络上层提供一致的、定义完整的接口，这里的接口指的是接受上层 协议栈的数据的 一个接口 ，前端输出端与智能分析引擎和智能处理引
擎的输入端连接，智能分析引擎是在发送端经过前端采样数据，对数 据流进行釆样分析，给智能处理引擎提供与数据密切相关和系统密切 相关的参数的模块，其输入端连接前端和智能处理引擎的输出端，接 收前端釆样数据和智能处理引擎的实时信息，其输出端连接智能处理 引擎的输入端，智能分析引擎负责分析系统密切相关的参数和数据流 密切相关的参数，包括①cpu当前利用率，②内存使用情况，③网 络带宽，④来源数据类型。智能分析引擎分析这些参数后，调整智 能处理引擎的压缩深度和压缩算法。智能分析引擎的分析结果直接影 响智能处理引擎的两个参数①压缩算法②压缩深度；智能分析引
擎的工作就是根据系统状态去调整这两个参数，它的分析原理如下 1、因为压缩深度越大，压缩比越大，但是耗费cpu时间变多，消耗 的内存变大，所以当cpu利用率比较低，或内存剩余较多时，可适当
调大压缩深度；反之调小压缩深度；2、当网络带宽较小时，也应该 调大压缩比，使得传输数据量减小，以适应小带宽的情况。3、来源 数据类型，有分两种1、普通类型；2、多媒体类型；两种类型各自 有适合的压缩算法，智能分析引擎判断数据源属于何种类型，以供智 能处理引擎釆用不同压缩算法。智能处理引擎是在发送端对智能分析 引擎和前端的数据流进行处理，通过压缩以提高数据的信息熵的模 块，其输入端连接前端和智能分析引擎的输出端，其输出端连接后端 和智能分析引擎的输入端，智能处理引擎采用对x86系列cpu优化过 的模块(主要是压缩模块)来对数据进行高效快速的压缩。智能处理 引擎本身也具有很好的自适应性。智能处理引擎的核心任务就是要提 高数据的信息熵以便传输和恢复原始数据。在智能分析引擎工作的基 础上，智能处理引擎已经对要处理数据有了把握，这样可以更有效的 权衡各种处理细节，已实施预期的处理。智能处理引擎涉及大量数据 处理和计算，因此充分挖掘cpu的性能非常关键，智能处理引擎需要 针对不同CPU做不同的优化，以期最大限度的发挥CPU的效能。网络 加速层内部是自反馈的，智能处理引擎的一些重要的实时系统信息 (包括压缩所花费时间和最终压缩率)会反馈给智能分析引擎，这样
智能分析引攀可以根据当前的压缩率和时间做压缩算法调整，从这一 点上来讲，网络加速层是高度自适应的。所述的后端是在与下层网络 进行通信时，在接收端截获下层网络传输层提交的请求，为网络加速 层内部的处理引擎的工作准备数据缓冲的模块，后端设有给网络下层 提供一致的、定义完整的接口，后端输入端与智能处理引擎的输出端 连接。经过智能处理引擎处理的数据进入后端的缓冲池，由后端负责 向传输层投送。
如图2所示，在接收端中，加入网络加速层，它由前端、智能分 析引擎、智能处理引擎和后端构成，后端输出端与智能处理引擎的输 入端连接，智能分析引擎输出端连接智能处理引擎的输入端，智能处 理引擎输出端与前端的输入端连接。智能分析引擎除了提供一些必备
的系统参数外，参数包括cpu利用率和内存使用情况，无需更多地参
与智能处理引擎的工作。而智能处理引擎的工作也相对简单，它只要
专注地使经过后端处理过的数据恢复成网络层认为无误的数据形式，
并完成校验的工作。
如图3所示，在实际应用中，应以网络加速层放置在传输层与应 用层之间效果最佳。将网络加速层加到传输层之上，位于操作系统核 心态，对上层应用透明，这样不失网络加速层的广泛适应性和性能的 弹性，又在实现上相对简洁，无需过问系统太多细节，这样可以有效 保持系统的健壮性，不至于由于网络加速层的引入带来系统难以捕捉 的不稳定和安全漏洞。权衡的结果是系统整体高效可靠。
数据传输时，具体实现经过以下传输过程(以linux操作系统为
例)
在发送端，应用程序通过socket接口向内核协议栈发送数据。 此时网络加速层以网络过滤驱动程序的形式加入内核，使其介于应用 层与传输层之间，但却直接运行于核心态，对应用层以及下层的传输 层完全透明。当应用程序调用socket接口的时候，网络加速层知道 此时应用程序有网络请求，网络加速层前端需要为这个socket数据 建立缓冲区。当网络加速层前端截获socket数据时，为对应socket
数据建立两个缓冲区构成缓冲池，其中 一个缓冲区用于存放应用数 据，另外一个用于存放压缩后数据。缓冲池中的第一个缓冲区的数据 会首先传递给智能分析引擎，由智能分析引擎进行处理。智能分析引 擎分析当前的数据类型属于什么类型，选定适当的压缩算法，并根据 系统状态选择压缩深度。然后把数据交给智能处理引擎处理。在发送 端智能分析引擎的分析过程如下首先从操作系统中获得cpu使用 率、剩余内存量和网络带宽量，根据这些参数选择压缩的深度为几级; 然后智能分析引擎随机釆样前端缓冲区的数据，根据数据内容的特征 判断当前缓冲区中的数据属于什么类型，根据数据类型选定压缩算
法，对于普通数据选择lzo算法，对于多媒体数据类型选择mpeg压
缩。算法和深度确定后，智能处理引擎开始压缩缓冲区数据。智能处 理引擎釆用适合的压缩算法和深度来对数据进行压缩。压缩算法可以
用通用的算法，如lzo, lz77等，智能处理引擎处理后的压缩率和压 缩时间也会反馈给智能分析引擎。经过处理的数据进入后端的缓冲 池，由后端负责向传输层投送。
接收端收到发送端传送的数据，经传输层至网络加速层。网络加 速层后端截获传输层的上交数据，并为对应socket数据建立两个缓 冲区构成缓冲池，其中一个缓冲区用于临时存放解压前的数据，另外 一个用于存放解压后的数据。当第一个缓冲区中的数据满足解压要求 时立即送往智能处理引擎进行处理。在这个过程中，智能分析引擎只 须向智能处理引擎提供有限的几个系统参数就可以，包括cpu利用率 和内存剩余容量。在接收端智能分析引擎的分析过程是首先获得 cpu使用率和内存容量，立即反馈给智能处理引擎，由智能处理引擎 解压缩缓冲区中的数据，解压过程中，参考前面两个参数调整解压的 速度。发送端压缩数据后把压缩算法传给接收端，接收端依发送端传 过来的算法解压，智能处理引擎釆用数据指定的解压缩算法来对数据 进行高效快速的解压处理，解压数据放入第二个缓冲区。智能处理引 擎专一的将数据恢复成应用层认为无误的数据，将数据放入前端的缓 冲池。然后由前端负责向上提交数据。
权利要求
1、一种计算机硬盘数据网络传输加速层，其特征在于它可加在现有网络结构的数据链路层、网络层、传输层、应用层的任意层次之间，它由前端、智能分析引擎、智能处理引擎和后端构成，所述的前端是在与上层网络进行通信时，在发送端截获上层网络应用层的请求，为网络加速层内部的智能分析引擎和智能处理引擎的工作准备数据缓冲的模块，作为发送端时，其输出端与智能分析引擎和智能处理引擎的输入端连接，作为接收端时，其输入端与智能处理引擎输出端连接，智能分析引擎是在发送端经过前端采样数据，对数据流进行采样分析，给智能处理引擎提供与数据密切相关和系统密切相关的参数的模块，作为发送端时，其输入端连接前端和智能处理引擎的输出端，接收前端采样数据和智能处理引擎的实时信息，其输出端连接智能处理引擎的输入端，作为接收端时，其输出端连接智能处理引擎的输入端，智能处理引擎是在发送端对智能分析引擎和前端的数据流进行处理，通过压缩以提高数据的信息熵的模块，作为发送端时，其输入端连接前端和智能分析引擎的输出端，其输出端连接后端和智能分析引擎的输入端，作为接收端时，其输入端连接后端的输出端，其输出端连接前端的输入端，所述的后端是在与下层网络进行通信时，在接收端截获下层网络传输层提交的请求，为网络加速层内部的处理引擎的工作准备数据缓冲的模块，作为发送端时，其输入端与智能处理引擎的输出端连接，作为接收端时，其输出端与智能处理引擎的输入端连接。
2、 如权利要求1所述的计算机硬盘数据网络传输加速层，其特 征在于所述的前端设有给网络上层提供一致的、定义完整的接口， 前端在与上层网络进行通信时，在发送端截获上层网络的请求，建立 两个缓冲区构成缓冲池，其中一个缓冲区用于存放应用数据，另外一 个用于存放压缩后数据。
3、 如权利要求1所述的计算机硬盘数据网络传输加速层，其特征在于所述的后端设有给网络下层提供一致的、定义完整的接口， 后端在与下层网络进行通信时，在接收端截获下层网络提交的请求， 建立两个缓冲区构成缓冲池，其中一个缓冲区用于临时存放解压前的 数据，另外一个用于存放解压后的数据。
4、 如权利要求1所述的计算机硬盘数据网络传输加速层，其特征在于作为发送端时，智能分析引擎给智能处理引擎提供与数据密 切相关和系统密切相关的参数，包括①cpu当前利用率，②内存使用情况，③网络带宽，④来源数据类型，同时，智能处理引擎的实时系统信息如压缩所花费的时间和最终压缩率反馈给智能分析引擎； 作为接收端时，智能分析引擎给处理引擎提供一些必备的系统参数。
5、 如权利要求1所述的计算机硬盘数据网络传输加速层，其特 征在于作为发送端时，智能处理引擎根据智能分析引擎的分析结果 釆用合适的压缩算法和压缩深度对数据进行高效快速的压缩，作为接 收端时，智能处理引擎采用数据指定的解压缩算法来对数据进行高效 快速的解压处理。
全文摘要
本发明提供一种计算机硬盘数据网络传输加速层，它可加在现有网络结构的数据链路层、网络层、传输层、应用层任意层次之间，它由前端、智能分析引擎、智能处理引擎和后端构成，在发送端智能分析引擎经过前端采样数据，对数据流进行采样分析，给智能处理引擎提供与数据密切相关和系统密切相关的参数，智能处理引擎对智能分析引擎和前端的数据流进行处理，通过压缩以提高数据的信息熵。本发明可有效的利用硬软件配置资源，尽可能的利用有效带宽，提高传输数据的速度和数据量；经过处理对于原有网络结构各层上下透明，在提高效率的基础上不影响原网络结构，高效、安全、可靠。
文档编号H04L29/08GK101184109SQ20071019922
公开日2008年5月21日 申请日期2007年12月14日 优先权日2007年12月14日
发明者张有成, 管继岗, 静 马 申请人:西安三茗科技有限责任公司