专利名称：一种数据处理方法及装置的制作方法
技术领域：
本发明涉及通信领域，尤其涉及一种数据处理方法及装置。
背景技术：
当今世界，数据正在爆炸性地增长，世界上每天都会有约15千兆字节的数据产 生，至2010年，全球的编码信息数据库每隔11小时就会增加一倍。这些数据由传感器、 射频识别(Radio Frequency Identification，简称RFID)、仪表和全球定位系统(Global Positioning System，简称GPQ等各种机器生成，来源极为复杂；而且其中至少有80 %的 新增数据为非结构化内容，如电子邮件、文件、图像、病历、视频、音频等等，这就为数据的存 储和管理带来了极大的挑战。在数据的存储和管理中，为了减少数据对于带宽资源的占用量，必须要采用必要 的压缩算法。传统的数据传输需要将数据经过压缩-传输-解压缩-分类-压缩的步骤， 往往进行了重复的工作，降低了效率，因此如何能够快速的传输数据，并在接收端分离管理 这些数据，提高数据管理的运行效率，是数据管理系统所面临的重要问题。
发明内容
本发明要解决的技术问题是，提供一种数据处理方法及装置，能够有效提高数据 传输、存储过程的效率。为了解决上述技术问题，本发明提出一种数据处理方法，包括发送端将原数据的描述信息与所述原数据的压缩数据一起发送至接收端；所述接收端根据所述原数据的描述信息，存储所述原数据的压缩数据。进一步地，上述方法还可具有以下特点所述描述信息包括所述原数据压缩之前的数据长度、所述原数据压缩之后的数据 长度、所述原数据的数据类型，以及所述原数据在整个数据中的位置。进一步地，上述方法还可具有以下特点所述发送端是将所述原数据的描述信息和压缩数据封装在同一数据包中发送，包 括将所述原数据的描述信息封装在所述数据包的包头中，将所述原数据的压缩数据封装 在所述数据包的净荷中。进一步地，上述方法还可具有以下特点所述发送端还在所述包头中封装起始标记、数据包长度信息和净荷起始偏移量；所述接收端在接收到数据包后，如判断出所述数据包的包头中包含所述起始标 记，则读取所述数据包的包头，得到所述原数据的描述信息，根据所述净荷起始偏移量和所 述数据包长度信息读取所述净荷，得到所述原数据的压缩数据。进一步地，上述方法还可具有以下特点所述接收端根据所述描述信息对所述原数据的压缩数据进行分类存储。为了解决上述技术问题，本发明还提出一种数据处理装置，包括发送处理模块和接收处理模块，其中所述发送处理模块将原数据的描述信息与所述原数据的压缩数据一起发送至所 述接收处理模块；所述接收处理模块根据所述原数据的描述信息，存储所述原数据的压缩数据。进一步地，上述装置还可具有以下特点所述描述信息包括所述原数据压缩之前的数据长度、所述原数据压缩之后的数据 长度、所述原数据的数据类型，以及所述原数据在整个数据中的位置。进一步地，上述装置还可具有以下特点所述发送处理模块是将所述原数据的描述信息和压缩数据封装在同一数据包中 发送，包括将所述原数据的描述信息封装在所述数据包的包头中，将所述原数据的压缩数 据封装在所述数据包的净荷中。进一步地，上述装置还可具有以下特点所述发送处理模块还在所述包头中封装起始标记、数据包长度信息和净荷起始偏
移量；所述接收处理模块在接收到数据包后，如判断出所述数据包的包头中包含所述起 始标记，则读取所述数据包的包头，得到所述原数据的描述信息，根据所述净荷起始偏移量 和所述数据包长度信息读取所述净荷，得到所述原数据的压缩数据。进一步地，上述装置还可具有以下特点所述接收处理模块根据所述描述信息对所述原数据的压缩数据进行分类存储。本发明提供的一种数据处理方法及装置，能够有效提高数据传输、存储过程的效率。
图1是本发明实施例一种数据处理方法流程图；图2是本发明实施例一种数据包封装方式示意图；图3是本发明实施例发送端封装数据包时存储区域分配示意图。
具体实施例方式下面将结合附图来详细说明本发明实施方案。参见图1，该图示出了本发明实施例一种数据处理方法，包括步骤SlOl 发送端将原数据的描述信息与所述原数据的压缩数据一起发送至接 收端；步骤S102 所述接收端根据所述原数据的描述信息，存储所述原数据的压缩数据。本发明巧妙地在传输压缩数据时，还传输所述压缩数据的描述信息，从而使得接 收端无需解压缩所述压缩数据即可获知所述压缩数据的相关信息，避免了现有做法在接收 端必须执行解压缩、压缩动作才能完成存储，降低了接收端侧存储的复杂度，大大提高了执 行数据发送存储这一过程的效率。所述描述信息可以包括所述原数据压缩之前的数据长度、所述原数据压缩之后的数据长度、所述原数据的数据类型，以及所述原数据在整个数据中的位置等。其中，发送端 可以在压缩原数据之前，先获取所述原数据的数据长度、所述原数据的数据类型，以及所述 原数据在整个数据中的位置信息。所述发送端可以在压缩所述原数据之后，获取所述原数 据压缩之后的数据长度信息。上述步骤SlOl中，所述发送端可以将所述原数据的描述信息和压缩数据封装在 同一数据包中发送。其中，所述发送端将所述原数据的描述信息封装在所述数据包的包头 中，将所述原数据的压缩数据封装在所述数据包的净荷中。数据包封装方式如图2所示。其中，所述发送端还可以在所述包头中封装起始标记、数据包长度信息和净荷起 始偏移量。所述起始标记可以是一预设的字符串，用以指示该数据包为头部封装描述信息， 净荷封装压缩数据的数据包。所述净荷起始偏移量用以指示净荷的起始位置。所述接收端 在接收到数据包后，如判断出所述数据包的包头中包含所述起始标记，则读取所述数据包 的包头，得到所述原数据的描述信息，根据所述净荷起始偏移量和所述数据包长度信息读 取所述净荷，得到所述原数据的压缩数据。进而可以根据得到的描述信息对压缩数据进行 存储处理。其中，所述发送端在封装数据包时，可以为所述原数据分配2个临时存储区域，如 图3所示，第一存储区域用以存储原数据的描述信息，第二存储区域用以存储原数据的压 缩数据。所述两个存储区域的长度动态分配，第一存储区域的长度由需要存储的描述信息 的长度确定，第二存储区域的长度由需要存储的压缩数据的长度确定，第二存储区域的首 地址为第一存储区域的尾地址的下一地址。在所述第一存储区域中还存储所述起始标记， 所述第一存储区域和所述第二存储区域的总长度信息，所述第二存储区域的首地址距离所 述第一存储区域的首地址的偏移量。之后，所述发送端根据所述第一存储区域中的数据封 装数据包的包头，根据所述第二存储区域中的数据封装数据包的净荷。所述第一存储区域 和所述第二存储区域的总长度信息即为所述数据包长度信息。所述第二存储区域的首地址 距离所述第一存储区域的首地址的偏移量即为所述净荷起始偏移量。其中，所述发送端可以采用各种压缩算法对所述原数据进行压缩处理，例如Zlib 压缩算法。上述步骤S102中，所述接收端直接根据所述描述信息即可对所述原数据的压缩 数据进行分类存储了。而无需再对原数据的压缩数据解压缩获取描述信息。大大提高了数 据传输存储过程的效率。为了实现上述方法，本发明还提供了一种数据处理装置，包括发送处理模块和接 收处理模块，其中所述发送处理模块将原数据的描述信息与所述原数据的压缩数据一起发送至所 述接收处理模块。所述接收处理模块根据所述原数据的描述信息，存储所述原数据的压缩 数据。其中，所述描述信息可以包括所述原数据压缩之前的数据长度、所述原数据压缩 之后的数据长度、所述原数据的数据类型，以及所述原数据在整个数据中的位置。其中，所述发送处理模块可以将所述原数据的描述信息和压缩数据封装在同一数 据包中发送，具体包括将所述原数据的描述信息封装在所述数据包的包头中，将所述原数 据的压缩数据封装在所述数据包的净荷中。
其中，所述发送处理模块还可以在所述包头中封装起始标记、数据包长度信息和 净荷起始偏移量。所述接收处理模块在接收到数据包后，如判断出所述数据包的包头中包 含所述起始标记，则读取所述数据包的包头，得到所述原数据的描述信息，根据所述净荷起 始偏移量和所述数据包长度信息读取所述净荷，得到所述原数据的压缩数据。其中，所述发送处理模块可以采用各种压缩算法对所述原数据进行压缩处理，例 如zlib压缩算法。其中，所述接收处理模块将根据所述描述信息对所述原数据的压缩数据进行分类 存储。当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，本 领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应 属于本发明所附的权利要求的保护范围。
权利要求
1.一种数据处理方法，其特征在于，包括发送端将原数据的描述信息与所述原数据的压缩数据一起发送至接收端； 所述接收端根据所述原数据的描述信息，存储所述原数据的压缩数据。
2.如权利要求1所述的方法，其特征在于所述描述信息包括所述原数据压缩之前的数据长度、所述原数据压缩之后的数据长 度、所述原数据的数据类型，以及所述原数据在整个数据中的位置。
3.如权利要求1或2所述的方法，其特征在于所述发送端是将所述原数据的描述信息和压缩数据封装在同一数据包中发送，包括 将所述原数据的描述信息封装在所述数据包的包头中，将所述原数据的压缩数据封装在所 述数据包的净荷中。
4.如权利要求3所述的方法，其特征在于所述发送端还在所述包头中封装起始标记、数据包长度信息和净荷起始偏移量； 所述接收端在接收到数据包后，如判断出所述数据包的包头中包含所述起始标记，则 读取所述数据包的包头，得到所述原数据的描述信息，根据所述净荷起始偏移量和所述数 据包长度信息读取所述净荷，得到所述原数据的压缩数据。
5.如权利要求2所述的方法，其特征在于所述接收端根据所述描述信息对所述原数据的压缩数据进行分类存储。
6.一种数据处理装置，包括发送处理模块和接收处理模块，其特征在于所述发送处理模块将原数据的描述信息与所述原数据的压缩数据一起发送至所述接 收处理模块；所述接收处理模块根据所述原数据的描述信息，存储所述原数据的压缩数据。
7.如权利要求6所述的装置，其特征在于所述描述信息包括所述原数据压缩之前的数据长度、所述原数据压缩之后的数据长 度、所述原数据的数据类型，以及所述原数据在整个数据中的位置。
8.如权利要求6或7所述的装置，其特征在于所述发送处理模块是将所述原数据的描述信息和压缩数据封装在同一数据包中发送， 包括将所述原数据的描述信息封装在所述数据包的包头中，将所述原数据的压缩数据封 装在所述数据包的净荷中。
9.如权利要求8所述的装置，其特征在于所述发送处理模块还在所述包头中封装起始标记、数据包长度信息和净荷起始偏移量；所述接收处理模块在接收到数据包后，如判断出所述数据包的包头中包含所述起始标 记，则读取所述数据包的包头，得到所述原数据的描述信息，根据所述净荷起始偏移量和所 述数据包长度信息读取所述净荷，得到所述原数据的压缩数据。
10.如权利要求7所述的装置，其特征在于所述接收处理模块根据所述描述信息对所述原数据的压缩数据进行分类存储。
全文摘要
本发明提供了一种数据处理方法及装置，该方法包括发送端将原数据的描述信息与所述原数据的压缩数据一起发送至接收端；所述接收端根据所述原数据的描述信息，存储所述原数据的压缩数据。该方法能够有效提高数据传输、存储过程的效率。
文档编号H04L1/00GK102075287SQ201010557778
公开日2011年5月25日 申请日期2010年11月22日 优先权日2010年11月22日
发明者刘少伟, 穆裕 申请人:浪潮(北京)电子信息产业有限公司