专利名称：一种融入小波变换和主成分的农业无线传感数据流压缩方法
技术领域：
本发明涉及农业动态数据流压缩技术，尤其是一种农业无线传感数据流压缩方法。
背景技术：
随着计算机、网络和通信技术的迅猛发展，许多应用领域出现了海量、高速和动态的数据，如电子商务、传感器网络、网络监测等等。这些领域中的数据常常以数据流的形式出现，如传感器网络获得的实时数据就是典型的数据流。其主要特点为1)数据流动态增长，长度可能无限；2)对流中的数据只能一次扫描，利用一次扫描建立数据流的近似概要结构，其后的处理只能依赖该概要结构。精细农业是综合应用地球空间信息技术、计算机辅助决策技术、农业工程技术等现代高新技术，以获得农田“高产、优质、高效”的现代化生产模式和技术体系。其核心技术包括地理信息系统GIS、全球定位系统GPS、遥感技术RS和计算机自动控制技术。目前国内的农作物生长环境的数据采集主要是使用专用数据采集仪进行人工田间测量，再将测量数据带回实验室传输到计算机进行实验分析。对于需要长时间定时采集的数据，如温湿度、光照强度、作物生长特征等数据，则需要反复多次到田间测量，这种做法的时间成本和人力成本较高。相对发达国家来说，国内在农作物生长环境的信息采集技术方面的研究和应用都相对滞后。无线传感网络(WSN,Wireless Sensor Networks)是当前在国际上备受关注的、涉及多学科高度交叉、知识高度集成的前沿热点研究领域。它综合了传感器技术、嵌入式计算技术、现代网络及无线通信技术、分布式信息处理技术等，能够通过各类集成化的微型传感器协作地实时监测、感知和采集各种环境或监测对象的信息，该技术被我国逐渐应用于农业中。由于无线传感器网络获得的实时数据通常具有数量大、数据流量突发性高等特点，如何保存如此庞大的实时数据以及如何访问这些保存的历史数据一直是个难题。数据压缩主要是通过去除数据间存在的冗余度或者对数据间具有相关性的数据进行二次表达，以达到减少存储资源的目的，同时丢弃的这些数据又保证在一定的误差控制中不影响对历史数据的重构，方便之后对历史数据的查询处理。目前，数据压缩的方法有很多，主要包括完全可逆的冗余度压缩和实际上不可逆的熵压缩两类。冗余度压缩常用于磁盘文件、数据通信和气象卫星云图等不允许在压缩过程中有丝毫损失的场合中。但它的压缩比通常只有几倍，远远不能满足数字视听应用的要求。在实践的数字视听设备中，差不多都采用压缩比更高、但实际有损的熵压缩技术。只要作为最终用户的人觉察不出或者能够容忍这些失真，就允许对数字音像信号进一步压缩以换取更高的编码效率。但是这些方法的压缩比不高，存储数据的空间有限，常常导致数据失真。显然，现有的数据压缩方法不能有效适用于农业无线传感数据流
发明内容
、
为了克服已有现有动态数据流压缩方法的压缩比不高、数据失真度较高、存储数据空间受限的不足，本发明提供一种压缩比较高、数据失真少、有效减少数据存储空间的融入小波变换和主成分的农业无线传感数据压缩方法。
本发明解决其技术问题所采用的技术方案是—种融入小波变换和主成分的农业无线传感数据流压缩方法，所述压缩方法包括以下步骤I)数据节点阈值过滤先将农业无线传感数据流中不断到来的数据作为第I层，即在相同的时间内到来的数据序列表示为X = Ix1, X2,..., XnI，该序列由n个数据组成，假设序列中平均数据个数为n'，将这n'个数据组成为一个数据节点，则第I层的数据节点
数有^，其中M为数据流的总数据个数； n2)数据预处理假设数据序列X中数据Xi的属性个数为m，如果空缺属性个数 ^■，则认为该条数据流是噪声，直接过滤；反之，将空缺属性补充为所有该属性的加
权平均；3)压缩处理将第I层每n'个数据组成的子序列进行压缩，构成第2层的一个数据节点，记该子序列为屯，该数据节点为PiJU Pi中保存了 Cli的概要信息。随着新数据的不
断到来，第2层上的数据节点不断增加，当第2层上的数据节点个数2 #时，将最老的Pi个
数据节点进行归并，合并成第3层上的I个数据节点，并计算数据节点的概要信息，以此逐层向上，从而使得该农业无线传感数据流总是被压缩成一组分层次的数据节点，最后构造一棵能够存储小波系数的误差树； 误差树中，节点Ci对应小波系数，叶节点Xu对应原始数据，对一给定的误差树T和T中的内节点ck,令Ieavesk表示以Ck为根的子树的叶节点集合，Ieftleavesk表示Ck的左子树的叶节点集合，rightleavesk表示Ck的右子树的叶节点集合，pathk为T中从Ck或Xij到根的路径上全体非零系数的集合，设ak是Ieftleavesk中数据的均值,bk是rightleavesk中数据的均值，则Ck =C1是全部数据的均值；首先数据流Xi = {xn, xi2, A , xiq},将Xi = {xn, xi2, A , xiq}中的数据两两分对求其均值和均值与第二个数据的差值，则差值就是第2层的数据节点，也是相应的小波系数 c2k;其次计算误差树中第3层的小波系数。令Ieavesk表示以Ck为根的子树的叶节点集合，Ieftleavesk表示Ck的左子树的叶节点集合，rightleavesk表示Ck的右子树的叶节点集合，设ak是Ieftleavesk中数据的均值，bk是rightleavesk中数据的均值,则C3k =(ak-bk) /2 ；最后依次继续计算，直至误差树的最高层的小波系数，它也等于全部数据的平均值；4)小波系数的筛选运用误差平方和观(A")= - A if来进行小波系数的
i=\
筛选，其中D表示压缩之前的数据序列，D'表示压缩之后的数据序列，Xi是数据序列D的第i个数据，X' i是数据序列D'的第i个数；
设对子序列Xi = {xn, xi2, A，xiq}，提取得到的数据节点Pi概要信息表示成四元
组
权利要求
1.一种融入小波变换和主成分的农业无线传感数据流压缩方法，其特征在于所述压缩方法包括以下步骤 1)数据节点阈值过滤先将农业无线传感数据流中不断到来的数据作为第I层，即在相同的时间内到来的数据序列表示为X = {χ1； X2,. · ·，X1J，该序列由η个数据组成，假设序列中平均数据个数为n'，将这n'个数据组成为一个数据节点，则第I层的数据节点数有 ，其中M为数据流的总数据个数；η 2)数据预处理假设数据序列X中数据Xi的属性个数为m，如果空缺属性个数m2 ^·，则认为该条数据流是噪声，直接过滤；反之，将空缺属性补充为所有该属性的加权平均； 3)压缩处理将第I层每n'个数据组成的子序列进行压缩，构成第2层的一个数据节点，记该子序列为屯，该数据节点为PiJU Pi中保存了 Cli的概要信息。随着新数据的不断到来，第2层上的数据节点不断增加，当第2层上的数据节点个数2 $时，将最老的Pi个数据节点进行归并，合并成第3层上的I个数据节点，并计算数据节点的概要信息，以此逐层向上，从而使得该农业无线传感数据流总是被压缩成一组分层次的数据节点，最后构造一棵能够存储小波系数的误差树； 误差树中，节点Ci对应小波系数，叶节点对应原始数据，对一给定的误差树T和T中的内节点ck,令Ieavesk表示以Ck为根的子树的叶节点集合，Ieftleavesk表示Ck的左子树的叶节点集合，rightleavesk表示Ck的右子树的叶节点集合,pathk为T中从Ck或Xij到根的路径上全体非零系数的集合，设ak是Ieftleavesk中数据的均值，bk是rightleavesk中数据的均值，则Ck = (4-\)/2，而C1是全部数据的均值； 首先数据流Xi = {xn，χ 2 Λ，xiq},将Xi = {xn, xi2, A , XiqI中的数据两两分对求其均值和均值与第二个数据的差值，则差值就是第2层的数据节点，也是相应的小波系数C2k ；其次计算误差树中第3层的小波系数。令Ieavesk表示以Ck为根的子树的叶节点集合，Ieftleavesk表示Ck的左子树的叶节点集合，rightleavesk表示Ck的右子树的叶节点集合，设ak是Ieftleavesk中数据的均值，bk是rightleavesk中数据的均值，则C3k =(ak-bk) /2 ； 最后依次继续计算，直至误差树的最高层的小波系数，它也等于全部数据的平均值； 4)小波系数的筛选运用误差平方和观-χ/)2来进行小波系数的筛选，i=\其中D表示压缩之前的数据序列，D'表示压缩之后的数据序列，Xi是数据序列D的第i个数据，V i是数据序列D'的第i个数； 设对子序列 ，提取得到的数据节点Pi概要信息表示成四元组
全文摘要
一种融入小波变换和主成分的农业无线传感数据流压缩方法。首先对从无线传感器提取的实时数据进行预处理，然后对经过预处理的数据进行基于小波变换的数据压缩，得到能够反应数据重要特征的小波概要，然后再应用主成分分析，进行二次压缩，最后得到压缩率很高又保留了重要数据特征的压缩数据。本发明提供一种压缩比较高、数据失真少、有效减少数据存储空间的融入小波变换和主成分的农业无线传感数据流压缩方法。
文档编号H04L1/00GK102630092SQ20121005175
公开日2012年8月8日 申请日期2012年3月1日 优先权日2012年3月1日
发明者刘东升, 周怡, 王冰, 王蓓, 琚春华, 许翀寰, 陈庭贵 申请人:浙江工商大学