专利名称：网络数据压缩方法和系统的制作方法
技术领域：
本发明涉及计算机网络技术，特别是涉及一种网络数据压缩方法和系统。
背景技术：
随着网络基础设施的发展，越来越多的高带宽网络为用户提供高速网络服务，然而，由于网络用户的激增和占用高带宽的应用越来越多，例如，多媒体应用等，使得网络带宽资源越来越紧缺，为增加网络带宽而产生的成本也越来越高。为了避免网络带宽需求而产生的成本无限制地增加，各种减少网络流量的技术被应用于网络服务中，其中，最为有效的减少网络流量的新技术为网络冗余删除技术，网络冗余删除技术的原理是对传输的数据按一定的规则进行分块，并计算数据分块的指纹，双方 网络设备保存首次经过的数据块和指纹到双方的字典中，待发现重复的数据块就使用字典中的指纹来来代替重复数据块的传输，当数据到达接收端后，接收端根据指纹信息从接收端的字典中恢复出相应的数据块即可，指纹信息的长度远小于数据块的长度，从而减少传输的数据量，达到减少网络带宽消耗目的。但是，网络冗余删除技术识别重复数据块计算量非常大，需要耗费较大的计算开销，同时对内存、存储空间、IO访问等方面有较大的处理开销需求。
发明内容
基于此，有必要提供一种能降低计算开销同时不减少网络数据去冗率的网络数据压缩方法。此外，还用必要提供一种能降低计算开销同时不减少网络数据去冗率的网络数据压缩系统。一种网络数据压缩方法，包括如下步骤通过数据发送端判断网络数据对应的类型是否属于预设的网络流量类型，若是，则采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息，若否，则采用网络冗余删除处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息；通过数据接收端接收所述指纹信息和标识信息，并根据所述标识信息提取曾缓存于所述数据接收端的网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据；汇聚所述标识信息对应的网络数据和指纹信息对应的网络数据。在其中一个实施例中，所述采用网络冗余处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息的步骤为对所述网络数据进行分块得到所述网络数据包含的数据块；计算所述数据块的指纹信息；判断所述数据块的指纹信息是否存在于数据发送端的字典中，若是，则将所述数据块对应的指纹信息代替数据块传输。在其中一个实施例中，所述采用网络冗余处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息的步骤还包括若判断到数据块的指纹信息不存在于数据发送端的字典中，则将所述数据块和指纹信息关联存入数据发送端的字典中，并传输所述数据块。在其中一个实施例中，所述采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息的步骤包括判断所述网络数据所对应的标识信息是否存在于缓存的网络数据中，若是，则提取所述标识信息，并向所述数据接收端传输所述标识信息。在其中一个实施例中，所述根据所述标识信息提取曾缓存于所述数据接收端网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据的步骤包括 从数据接收端缓存的网络数据中提取与所述接收到的标识信息对应的网络信息；从数据接收端的字典中根据接收到的指纹信息提取相应的数据块，将所述提取得到的数据块汇聚恢复成冗余删除处理前的网络数据。一种网络数据压缩系统，包括数据发送端和数据接收端，所述数据发送端包括类型判断模块，用于判断网络数据对应的类型是否属于预设的网络流量类型，若是，则通知网络代理缓存模块，若否，则通知冗余删除处理模块；所述网络代理缓存模块用于采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息；所述冗余删除处理模块用于采用网络冗余处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息；所述数据接收端包括数据恢复模块，用于通过数据接收端接收所述指纹信息和标识信息，并根据所述标识信息提取曾缓存于所述数据接收端网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据；汇聚模块，用于汇聚所述标识信息对应的网络数据和指纹信息对应的网络数据。在其中一个实施例中，所述冗余删除处理模块包括分块单元，用于对所述网络数据进行分块得到所述网络数据包含的数据块；指纹计算单元，用于计算所述数据块的指纹信息；数据块处理单元，用于判断所述数据块的指纹信息是否存在于数据发送端的字典中，若是，则将所述数据块对应的指纹信息代替数据块传输。在其中一个实施例中，所述数据块处理单元还用于若判断到数据块的指纹信息不存在于数据发送端的字典中，则将所述数据块和指纹信息关联存入数据发送端的字典中，并传输所述数据块。在其中一个实施例中，所述网络代理缓存模块还用于判断所述网络数据所对应的标识信息是否存在于缓存的网络数据中，若是，则提取所述标识信息，并向所述数据接收端传输所述标识信息。在其中一个实施例中，所述数据恢复模块包括
缓存提取单元，用于从数据接收端中缓存的网络数据中提取与所述接收到的标识信息对应的网络数据；冗余恢复单元，用于从数据接收端的字典中根据接收到的指纹信息提取相应的数据块，将所述提取得到的数据块形成冗余删除处理前的网络数据。上述网络数据压缩方法和系统，在对网络数据进行传输的过程中，首先对与预设的网络流量类型相符的网络数据进行代理缓存处理后传输，而与预设的网络流量类型并不相符的网络数据，则通过网络冗余删除处理进行网络数据的压缩，而在数据接收端只需要根据接收的缓存处理后标识信息和冗余删除处理后的指纹信息进行数据恢复即可，由于对部分网络数据只需要进行标识信息的传输，而不需要进行冗余删除处理，因此减少了需要进行冗余删除处理的数据量，从而降低网络流量的基础上降低计算开销同时不减少网络数据去冗率。
图1为一个实施例中网络数据压缩方法的流程图；图2为一个实施例中采用网络冗余删除处理来实现网络数据的压缩得到网络数据对应的指纹信息，并传输指纹信息的方法流程图；图3为一个实施例中根据标识信息提取曾缓存于数据接收端的网络数据，并根据指纹信息恢复网络冗余处理前的网络数据的方法流程图；图4为一个实施例中网络数据压缩方法的应用示意图；图5为一个实施例中网络数据压缩系统的结构示意图；图6为图5中冗余删除处理模块的结构示意图。
具体实施例方式如图1所示，在一个实施例中，一种网络数据压缩方法，包括如下步骤步骤S110，通过数据发送端判断网络数据对应的类型是否属于预设的网络流量类型，若是，则进入步骤S130，若否，则进入步骤S150。本实施例中，在进行网络数据的传输之前，将首先进行该网络数据所属的网络流量类型的判断，以方便根据不同的网络流量类型选取适当的网络数据压缩方法，以提高网络数据的压缩效率，进而大大地降低花费的网络带宽。在一个实施例中，网络数据可包括静态网页所对应的网络数据、动态网页所对应的网络数据以及视频数据等，而预设的网络流量类型将包括了静态网页所对应的网络数据等，若数据发送端判断到网络数据所对应的类型是为静态网页所对应的网络数据，则进入步骤S130中对该网络数据进行网络代理缓存处理，若判断到网络数据所对应的类型为并不是预设的网络流量类型，则进入步骤S150对该网络数据通过网络冗余删除处理的方式进行压缩，以降低花费的网络流量。步骤S130，采用网络代理缓存实现网络数据的压缩得到网络数据对应的标识信息，并传输标识信息。本实施例中，若判断到数据发送端所发送的网络数据对应的类型属于预设的网络流量类型，则应用网络代理缓存对网络数据进行压缩。
网络代理缓存用于减少网络流量，是将用户访问过的网络数据进行缓存，存放于一个副本中，当该网络数据再次被访问时，直接从缓存的网络数据中获取所访问的网络数据。若网络数据属于预设的网络流量类型，为静态网页所对应的网络数据，数据发送端和数据接收端均会对首次经过的 网络数据进行缓存，在优选的实施例中，以标识信息为索引对首次经过的网络数据进行缓存。该标识信息可以是网络数据所对应的网络地址或者指纹信息，但并不仅限于此。对静态网页所对应的网络数据进行缓存，以待再次传输该网络数据时，只需要在数据发送端中判断该网络数据是否已被缓存，若是，则说明该网络数据也被缓存于数据接收端中，因此，只需要提取该网络数据对应的标识信息，并传输即可，而不需要再进行该网络数据的传输，进而减少了网络流量的耗费。进一步的，在进行传输之前，还将对传输的标识信息通过标准压缩方法进行压缩，以进一步降低耗费的网络流量。在一个实施例中，上述步骤S130的具体过程为判断网络数据所对应的标识信息是否存在于缓存的网络数据中，若是，则提取标识信息，并向数据接收端传输标识信息，若否，则将缓存所述标识信息。本实施例中，判断网络数据中记录的标识信息是否在于到数据发送端缓存的网络数据中，若是，则说明数据发送端也缓存了这一网络数据，因此不需要对这一网络数据进行传输，只需要传输相应的标识信息即可。若判断到网络数据中记录的标识信息并未存储于数据发送端缓存的网络数据中，则说明该网络数据是首次进行传输，因此，需要对标识信息进行缓存。在优选的实施例中，对于首次传输的网络数据，可在数据发送端进行标识信息的缓存，在数据接收端进行标识信息和网络数据的缓存，以节省存储空间，降低存储所耗费的成本。步骤S150，采用网络冗余删除处理来实现网络数据的压缩得到网络数据对应的指纹信息，并传输指纹信息。本实施例中，应用网络冗余删除技术对未与预设的网络流量类型相符的网络数据进行压缩，并将完成了网络冗余删除处理的网络数据所对应的指纹信息由数据发送端传输至数据接收端。进一步的，在进行传输之前，网络冗余删除处理后的网络数据还将通过标准压缩方法进行压缩，进而将经过标准压缩方法所得到的网络数据通过互联网络传输至数据接收端。其中，标准压缩方法即为无损数据压缩方法，主要包括游程编码、Huffman编码、算术编码和LZ系列压缩等，可根据实际的运营情况灵活地进行选取。如图2所示，在一个实施例中，上述步骤S150的具体过程为步骤S151，对网络数据进行分块得到网络数据包含的数据块。本实施例中，对待传输的网络数据进行分块，以得到网络数据中包含的若干个数据块。步骤S152，计算数据块的指纹信息。
本实施例中，指纹信息用于指定数据块中的内容信息，即对数据块进行唯一标识，进而可通过计算得到的指纹信息区分每一数据块。步骤S153，判断数据块的指纹信息是否存在于数据发送端的字典中，若是，则进入步骤S154，若否，则进入步骤S155。本实施例中，数据发送端和数据接收端均会保存首次经过的数据块和该数据块所对应的指纹信息。在优选的实施例中，数据块和指纹信息在数据发送端和数据接收端将被存储于字典中，以通过字典实现快速地查找。对字典中存储的指纹信息进行查找，判断是否存在与该数据块的指纹信息相一致的指纹信息，若是，则说明该数块 曾经进行传输，并且已经被存储于数据接收端的字典中，此时，只需要将该数据块替换为相应的指纹信息，并传输替换的指纹信息即可，不再需要对该数据块进行传输。由于指纹信息的长度远小于数据块的长度，因此，将数据块替换成指纹信息进行传输将大大降低了网络流量，进而降低带宽成本。步骤S154，将数据块对应的指纹信息代理数据块代替数据块传输。步骤S155，将数据块和指纹信息关联存入字典中，并传输数据块。本实施例中，若判断到数据块的指纹信息并未存储于字典中，则该数据块是首次经由数据发送端进行传输，因此，应当将该数据块和对应的指纹信息关联存入字典中，以方便再次传输该数据块时进行查找。步骤S170，通过数据接收端接收指纹信息和标识信息，并根据标识信息提取曾缓存于数据接收端的网络数据，并根据指纹信息恢复网络冗余处理前的网络数据。本实施例中，在数据接收端接收到网络冗余删除处理后的数据和标识信息之后，将提取缓存的网络数据，并对网络冗余删除处理前的网络数据根据指纹信息进行恢复。进一步的，在数据接收端根据接收到的指纹信息和标识信息根据标准解压缩方法进行解压。如图3所示，在一个实施例中，上述根据标识信息提取曾缓存于数据接收端的网络数据，并根据指纹信息恢复网络冗余处理前的网络数据的具体过程为步骤S171，从数据接收端缓存的网络数据中提取与接收到的标识信息对应的网络信息。步骤S173，从数据接收端的字典中根据接收到的指纹信息提取相应的数据块，将提取得到的数据块形成冗余删除处理前的网络数据。本实施例中，在数据接收端的字典中根据接收到的指纹信息进行查找以得到与该指纹信息对应的数据块，而若干个数据块组合在一起将组成了传输的网络数据。步骤S190，汇聚恢复的网络数据和提取的网络数据。本实施例中，对恢复后的网络数据和经由代理缓存压缩之后进行传输的网络数据进行汇聚，以得到传输的所有网络数据。下面结合一个具体的实施例来详细阐述上述网络数据压缩方法。该实施例中，如图4所示，通过数据发送端所发送的数据为原始数据，原始数据通过调度器进行类型判断，以获知该原始数据是否属于预设的网络流量类型，若该原始数据属于预设的网络流量类型，则对其时行网络代理缓存的方式进行传输，处理，即将原始数据的标识信息在进行标准压缩之后通过互联网络传输到数据接收端。数据接收端在接收到标识信息之后解压缩，并根据解压缩得到的标识信息提取对应的网络数据，该提取得到的网络数据即为原始数据。若该原始数据不属于预设的网络流量类型，则进行网络冗余删除处理得到相应的指纹信息；并将得到的指纹信息经过标准压缩之后通过互联网络传输到数据接收端。在数据接收端接收到指纹信息并解压缩之后，将根据指纹信息在数据接收端所存储的字典中进行查找，以判断是否查找得到与接收到的指纹信息对应的数据块，若是，则提取数据块，进而恢复出原始数据。上述网络数据压缩方法根据网络数据所属的不同网络流量类型选用不同的方式减少网络流量，由于代理缓存的方式无法对动态网页所对应的网络数据或视频数据产生较好的压缩效果，因此，在判断该网络数据为动态网页所对应的网络数据或视频数据时，将进 行冗余删除处理，以保证很好的压缩效果。如图5所示，在一个实施例中，一种网络数据压缩系统，包括数据发送端10和数据接收端30。数据发送端10包括类型判断模块110、网络代理缓存模块130和冗余删除处理模块 130。类型判断模块110，用于判断网络数据对应的类型是否属于预设的网络流量类型，若是，则通知网络代理缓存模块130，若否，则通知冗余删除处理模块150。本实施例中，在进行网络数据的传输之前，类型判断模块110将首先进行该网络数据所属的网络流量类型的判断，以方便根据不同的网络流量类型选取适当的网络数据压缩方法，以提高网络数据的压缩效率，进而大大地降低花费的网络流量。在一个实施例中，网络数据可包括静态网页所对应的网络数据、动态网页所对应的网络数据以及视频数据等，而预设的网络流量类型将包括了静态网页所对应的网络数据等，若类型判断模块110判断到网络数据所对应的类型是为静态网页所对应的网络数据，则通知网络代理缓存模块130对该网络数据进行网络代理缓存处理，若判断到网络数据所对应的类型并不是预设的网络流量类型，则通知冗余删除处理模块150对该网络数据通过网络冗余删除处理的方式进行压缩，以降低花费的网络流量。网络代理缓存模块130，用于采用网络代理缓存实现网络数据的压缩得到网络数据对应的标识信息，并传输标识信息。本实施例中，若类型判断模块110判断到数据发送端所发送的网络数据对应的类型属于预设的网络流量类型，则网络代理缓存模块130应用网络代理缓存对网络数据进行压缩。网络代理缓存用于减少网络流量，网络代理缓存模块130将用户访问过的网络数据进行缓存，存放于一个副本中，当该网络数据再次被访问时，直接从缓存的网络数据中获取所访问的网络数据。若网络数据属于预设的网络流量类型，为静态网页所对应的网络数据，数据发送端和数据接收端均会对首次经过的网络数据进行缓存，在优选的实施例中，以标识信息为索引对首次经过的网络数据进行缓存。该标识信息可以是网络数据所对应的网络地址或者指纹信息，但并不仅限于此。
对静态网页所对应的网络数据进行缓存，以待再次传输该网络数据时，只需要网络代理缓存模块130在数据发送端中判断该网络数据是否已被缓存，若是，则说明该网络数据也被缓存于数据接收端中，因此，只需要提取该网络数据对应的标识信息，并传输即可，而不需要再进行该网络数据的传输，进而减少了网络流量的耗费。进一步的，在进行传输之前，还将对传输的标识信息通过标准压缩方法进行压缩，以进一步降低耗费的网络流量。在一个实施例中，网络代理缓存模块130还用于判断网络数据所对应的标识信息是否存在于缓存的网络数据中，若是，则提取标识信息，并向数据接收端传输标识信息，若否，则将缓存所述标识信息。本实施例中，网络代理缓存模块130判断网络数据中记录的标识信息是否在于到数据发送端缓存的网络数据中，若是，则说明数据发送端也缓存了这一网络数据，因此不需 要对这一网络数据进行传输，只需要传输相应的标识信息即可。若网络代理缓存模块130判断到网络数据中记录的标识信息并未存储于数据发送端缓存的网络数据中，则说明该网络数据是首次进行传输，因此，需要对标识信息进行缓存。在优选的实施例中，对于首次传输的网络数据，网络代理缓存模块130可在数据发送端进行标识信息的缓存，在数据接收端进行标识信息和网络数据的缓存，以节省存储空间，降低存储所耗费的成本。冗余删除处理模块150，用于采用网络冗余处理来实现网络数据的压缩得到网络数据对应的指纹信息。本实施例中，冗余删除处理模块150应用网络冗余删除技术对与预设的网络流量类型相符的网络数据进行压缩，并将完成了网络冗余删除处理的网络数据所对应的指纹信息由数据发送端传输至数据接收端。进一步的，在进行传输之前，网络冗余删除处理后的网络数据还将通过标准压缩方法进行压缩，进而将经过标准压缩方法所得到的网络数据通过互联网络传输至数据接收端。其中，标准压缩方法即为无损数据压缩方法，主要包括游程编码、Huffman编码、算术编码和LZ系列压缩等，可根据实际的运营情况灵活地进行选取。如图6所示，上述冗余删除处理模块150包括分块单元151、指纹计算单元153和数据块处理单元155。分块单元151，用于对网络数据进行分块得到网络数据包含的数据块。本实施例中，分块单元151对待传输的网络数据进行分块，以得到网络数据中包含的若干个数据块。指纹计算单元153，用于计算数据块的指纹信息。数据块处理单元155，用于判断数据块的指纹信息是否存在于数据发送端的字典中，若是，则将数据块对应的指纹信息代替数据块传输，若否，则将数据块和指纹信息关联存入字典中，并传输数据块。本实施例中，数据发送端和数据接收端均会保存首次经过的数据块和该数据块所对应的指纹信息。在优选的实施例中，数据块和指纹信息在数据发送端和数据接收端将被存储于字典中，以通过字典实现快速地查找。数据块处理单元155对字典中存储的指纹信息进行查找，判断是否存在与该数据块的指纹信息相一致的指纹信息，若是，则说明该数块曾经进行传输，并且已经被存储于数据接收端的字典中，此时，只需要将该数据块替换为相应的指纹信息，并传输替换的指纹信息即可，不再需要对该数据块进行传输。由于指纹信息的长度远小于数据块的长度，因此，将数据块替换成指纹信息进行传输将大大降低了网络流量，进而降低带宽成本。若数据块处理单元155判断到数据块的指纹信息并未存储于字典中，则该数据块是首次经由数据发送端进行传输，因此，应当将该数据块和对应的指纹信息关联存入字典中，以方便再次传输该数据块时进行查找。数据接收端30包括数据恢复模块310和汇聚模块330。 数据恢复模块310，用于通过数据接收端接收指纹信息和标识信息，并根据标识信息提取曾缓存于数据接收端网络数据，根据指纹信息恢复网络冗余处理前的网络数据。本实施例中，在数据接收端接收到网络冗余删除处理后的数据和标识信息之后，数据恢复模块310将提取缓存的网络数据，并对网络冗余删除处理前的网络数据根据指纹信息进行恢复。进一步的，在数据接收端根据接收到的指纹信息和标识信息根据标准解压缩方法进行解压。在一个实施例中，上述数据恢复模块310包括缓存提取单元和冗余恢复单元。缓存提取单元，用于从数据接收端中缓存的网络数据中提取与接收到的标识信息对应的网络信息。冗余恢复单元，用于从数据接收端的字典中根据接收到的指纹信息提取相应的数据块，将提取得到的数据块形成冗余删除处理前的网络数据。本实施例中，冗余恢复单元在数据接收端的字典中根据接收到的指纹信息进行查找以得到与该指纹信息对应的数据块，而若干个数据块组合在一起将组成了传输的网络数据汇聚模块330，用于汇聚标识信息对应的网络数据和指纹信息对应的网络数据。本实施例中，汇聚模块330对恢复后的网络数据和经由代理缓存压缩之后进行传输的网络数据进行汇聚，以得到传输的所有网络数据。上述网络数据压缩方法和和系统，在对网络数据进行传输的过程中，首先对与预设的网络流量类型相符的网络数据进行代理缓存处理后传输，而与预设的网络流量类型并不相符的网络数据，则通过网络冗余删除处理进行网络数据的压缩，而在数据接收端只需要根据接收代理缓存处理后的标识信息和网络冗余删除处理后的指纹信息进行数据恢复即可，由于对部分网络数据只需要进行标识信息的传输，而不需要进行冗余删除处理，因此减少了需要进行冗余删除处理的数据量，从而降低网络流量的基础上降低了计算开销。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员 来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
权利要求
1.一种网络数据压缩方法，包括如下步骤 通过数据发送端判断网络数据对应的类型是否属于预设的网络流量类型，若是，则采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息， 若否，则采用网络冗余删除处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息； 通过数据接收端接收所述指纹信息和标识信息，并根据所述标识信息提取曾缓存于所述数据接收端的网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据； 汇聚所述标识信息对应的网络数据和指纹信息对应的网络数据。
2.根据权利要求1所述的网络数据压缩方法，其特征在于，所述采用网络冗余处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息的步骤为 对所述网络数据进行分块得到所述网络数据包含的数据块； 计算所述数据块的指纹信息； 判断所述数据块的指纹信息是否存在于数据发送端的字典中，若是，则将所述数据块对应的指纹信息代替数据块传输。
3.根据权利要求2所述的网络数据压缩方法，其特征在于，所述采用网络冗余处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息的步骤还包括 若判断到数据块的指纹信息不存在于数据发送端的字典中，则将所述数据块和指纹信息关联存入数据发送端的字典中，并传输所述数据块。
4.根据权利要求1所述的网络数据压缩方法，其特征在于，所述采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息的步骤包括 判断所述网络数据所对应的标识信息是否存在于缓存的网络数据中，若是，则 提取所述标识信息，并向所述数据接收端传输所述标识信息。
5.根据权利要求2所述的网络数据压缩方法，其特征在于，所述根据所述标识信息提取曾缓存于所述数据接收端网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据的步骤包括 从数据接收端缓存的网络数据中提取与所述接收到的标识信息对应的网络信息； 从数据接收端的字典中根据接收到的指纹信息提取相应的数据块，将所述提取得到的数据块形成冗余删除处理前的网络数据。
6.一种网络数据压缩系统，其特征在于，包括数据发送端和数据接收端，所述数据发送端包括 类型判断模块，用于判断网络数据对应的类型是否属于预设的网络流量类型，若是，则通知网络代理缓存模块，若否，则通知冗余删除处理模块； 所述网络代理缓存模块用于采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息； 所述冗余删除处理模块用于采用网络冗余处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息； 所述数据接收端包括数据恢复模块，用于通过数据接收端接收所述指纹信息和标识信息，并根据所述标识信息提取曾缓存于所述数据接收端网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据； 汇聚模块，用于汇聚所述标识信息对应的网络数据和指纹信息对应的网络数据。
7.根据权利要求6所述的网络数据压缩系统，其特征在于，所述冗余删除处理模块包括 分块单元，用于对所述网络数据进行分块得到所述网络数据包含的数据块； 指纹计算单元，用于计算所述数据块的指纹信息； 数据块处理单元，用于判断所述数据块的指纹信息是否存在于数据发送端的字典中，若是，则将所述数据块对应的指纹信息代替数据块传输。
8.根据权利要求7所述的网络数据压缩系统，其特征在于，所述数据块处理单元还用于若判断到数据块的指纹信息不存在于数据发送端的字典中，则将所述数据块和指纹信息关联存入数据发送端的字典中，并传输所述数据块。
9.根据权利要求6所述的网络数据压缩系统，其特征在于，所述网络代理缓存模块还用于判断所述网络数据所对应的标识信息是否存在于缓存的网络数据中，若是，则提取所述标识信息，并向所述数据接收端传输所述标识信息。
10.根据权利要求7所述的网络数据压缩系统，其特征在于，所述数据恢复模块包括 缓存提取单元，用于从数据接收端中缓存的网络数据中提取与所述接收到的标识信息对应的网络数据； 冗余恢复单元，用于从数据接收端的字典中根据接收到的指纹信息提取相应的数据块，将所述提取得到的数据块形成冗余删除处理前的网络数据。
全文摘要
采用本发明提供了一种网络数据压缩方法和系统。所述方法包括通过数据发送端判断网络数据对应的类型是否属于预设的网络流量类型，若是，则采用网络代理缓存实现网络数据的压缩得到所述网络数据对应的标识信息，并传输所述标识信息，若否，则采用网络冗余删除处理来实现网络数据的压缩得到所述网络数据对应的指纹信息，并传输所述指纹信息；通过数据接收端接收所述指纹信息和标识信息，并根据所述标识信息提取曾缓存于所述数据接收端的网络数据，根据所述指纹信息恢复网络冗余处理前的网络数据；汇聚所述标识信息对应的网络数据和指纹信息对应的网络数据。采用本发明能降低计算开销同时不减少网络数据去冗率。
文档编号H04L12/801GK103023796SQ201210572738
公开日2013年4月3日 申请日期2012年12月25日 优先权日2012年12月25日
发明者刘进, 须成忠, 邱健聪, 陈凯, 闫茜, 彭贤斌, 向洁 申请人:中国科学院深圳先进技术研究院