数据冗余消除dre字典确认方法和设备的制造方法
【技术领域】
[0001 ] 本申请涉及网络通信技术，特别涉及数据冗余消除(DRE:Data RedundancyEliminat1n)字典确认方法和设备。
【背景技术】
[0002]目前，广域网中传输的数据有较高的冗余度，为加速广域网数据传输的目的，需要消除广域网中的数据冗余。
[0003]DRE通过将广域网中的长数据替换为短索引的方式，极大地压缩了广域网中的冗余数据，节省了带宽。DRE要求在一对对等边缘节点上建立实时同步的DRE字典(也称数据字典)，具体是:
[0004]发送端(一边缘节点)向接收端(另一边缘节点，与发送端对等)传输数据(以数据a为例)时，从本地数据字典中查找包含数据a的字典表项；
[0005]如果发送端查找到包含数据a的字典表项，则发送端使用该查找到的字典表项中的字典表项索引替换数据a传输至接收端，由于数据字典在发送端和接收端同步，当接收端接收到字典表项索引，可以使用字典表项索引将数据a还原，恢复原始的数据a ;
[0006]如果发送端未查找到包含数据a的字典表项，则发送端在字典表项中建立一条新字典表项，建立的新字典表项包含一个字典表项索引和数据a，发送端将建立的新字典表项同步到接收端。但是由于广域网的低带宽、高延时特性，接收端不能及时接收到发送端同步过来的新字典表项，如此，当后续发送端再发送数据a时，因为发送端本地的数据字典中已有包含数据a的字典表项，则发送端不再发送数据a，而是直接发送该包含数据a的字典表项中的字典表项索引，但由于接收端未及时接收到发送端之前同步过来的新字典表项，可能接收端在接收到发送端发送的字典表项索引后还未收到发送端同步的新字典表项，基于此，接收端就无法利用接收的字典表项索引还原数据，导致数据传输中断。
【发明内容】
[0007]本申请提供了数据冗余消除DRE字典确认方法和设备，以防止接收端无法利用接收的字典表项索引还原数据的缺陷。
[0008]本申请提供的技术方案包括:
[0009]一种数据冗余消除DRE字典确认方法，包括:
[0010]发送端将新生成的字典表项记录至待确认字典表项列表中；
[0011]发送端通过与接收端之间已有的数据传输连接发送所述待确认字典表项列表中的字典表项；
[0012]发送?而从所述待确认字典表项列表中确定出已被接收?而接收的字典表项，并将确定出的字典表项记录至本地数据字典中。
[0013]—种数据冗余消除DRE字典确认设备，该设备应用于作为发送端的设备，包括:
[0014]字典表项生成单元，用于将新生成的字典表项记录至待确认字典表项列表中；
[0015]字典表项同步单元，用于通过与接收端之间已有的数据传输连接发送所述待确认字典表项列表中的字典表项；
[0016]字典表项确定单元，用于从所述待确认字典表项列表中确定出已被接收端接收的字典表项，并将确定出的字典表项记录至本地数据字典中。
[0017]由以上技术方案可以看出，本发明中，发送端先将新生成的字典表项记录至待确认字典表项列表中，之后通过与接收端之间原有的用于数据传输的数据传输连接同步待确认字典表项列表中的字典表项，针对被收端接收到的字典表项，发送端将该字典表项记录至本地数据字典，之后对该字典表项中的数据发送时通过该字典表项中的字典表项索引替代，这能防止接收端无法还原数据的缺陷。
【附图说明】
[0018]图1为本发明提供的方法流程图；
[0019]图2为本发明提供的实施例示意图；
[0020]图3a至图3d为本发明提供的实施例表项结构图；
[0021]图4为本发明提供的设备结构图。
【具体实施方式】
[0022]为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
[0023]本发明提供的方法包括图1所示的流程。
[0024]参见图1，图1为本发明提供的方法流程图。在该方法中，发送端和接收端是一对对等的边缘节点(这里的边缘节点可为路由设备或者其他设备，本发明并不限定)。在该方法中，发送端和接收端之间已经建立了用于传输数据的数据传输连接。传输控制协议(TCP:Transport Control Protocol)是一种面向连接的可靠传输协议，广域网环境中被广泛使用，因此，作为一个优选实施例，这里的数据传输连接可为TCP连接。
[0025]如图1所示，该流程可包括:
[0026]步骤101，发送端将新生成的字典表项记录至待确认字典表项列表中。
[0027]本发明中，发送端在向接收端发送数据时，会先检查本地数据字典中是否有包含该数据的字典表项，如果本地数据字典中有包含该数据的字典表项，则发送端直接传输该字典表项中的字典表项索引来代替传输的数据，以实现通过比较短的字典表项索引替代比较长的数据传输，达到加速网络中数据传输的目的；而如果本地数据字典中不存在包含该数据的字典表项，则新生成一个字典表项。该新生成的字典表项包括一个字典表项索引、以及该数据。之后，如步骤101的描述，将新生成的字典表项记录至待确认字典表项列表中。为区分待确认字典表项列表和数据字典，作为一个优选实施例，本发明中，待确认字典表项列表和数据字典可存放至发送端本地两个不同的存储介质内。
[0028]步骤102，发送端通过与接收端之间已有的数据传输连接发送待确认字典表项列表中的字典表项。
[0029]如上描述的数据传输连接，则可以看出，本发明中，发送端可直接复用与接收端之间原有的用于数据传输的数据传输连接进行字典表项的同步。
[0030]作为一个优选实施例，本步骤102中，发送端通过与接收端之间已有的数据传输连接发送所述待确认字典表项列表中的字典表项包括:
[0031]步骤01，为所述待确认字典表项列表中的字典表项设置对应的序列号。
[0032]这里的序列号不同于上面描述的字典表项中的字典表项索引，字典表项索引是对字典表项的标识，一个字典表项具有唯一固定的字典表项索引，以便和其他字典表项区分；而字典表项设置的序列号，是表示字典表项的发送次序，其目的是用于排序、查错、答复的，一般为字典表项中第一个字节的流序列号，比如，字典表项的序列号为300，字典表项整体占用了 100个字节，则下一个字典表项的序列号就为401。
[0033]步骤02，将待确认字典表项列表中的字典表项、以及对应的序列号通过与接收端之间已有的数据传输连接发送。
[0034]本发明中，在为待确认字典表项列表中各字典表项设置序列号后，发送端根据自身的协议会认为依次为各字典表项设置的序列号是一个连续的序列号。比如，依次为待确认字典表项列表中各字典表项(字典表项I至字典表项5)设置的序列号为0、100、200、300、400，则认为序列号 O、100、200、300、400 连续。
[0035]通常，在通过数据传输连接发送字典表项时，会根据数据传输连接的带宽设置一个数据传输规格最大长度，基于此，步骤02中，就可依据设置的数据传输规格最大长度并结合字典表项的长度确定应该将多少个字典表项组织在一起发送，以节省带宽资源。仍如上文举例，待确认字典表项列表中有字典表项I至字典表项10，序列号依次为0、100、200、300、400、500、600、700、800、900，假如字典表项的长度为100个字节，数据传输规格最大长度为500个字节，则步骤02中，发送端可先将字典表项I至字典表项5、以及对应的序列号
O、100、200、300、400组织在一起通过与接收端之间已有的数据传输连接发送给接收端。
[0036]步骤103，发送端从所述待确认字典表项列表中确定出已被接收端接收的字典表项，并将确定出的字典表项记录至本地数据字典中。
[0037]作为本发明的一个实施例，当确定出已被接收端接收的字典表项时，在发送端内部可以采用一个事件通知机制，根据该事件通知，将已同步的字典表项记录至发送端本地，并从待确认字典表项列表中删除。其中，通知的内容至少包括:将已同步的字典表项的起始位