基于部分采样点辅助校正子载波的准无损压缩算法的制作方法

本发明涉及互联网数据压缩技术领域，特别涉及一种基于部分采样点辅助校正子载波的准无损压缩算法。

背景技术：

数据压缩技术的研究，正式开始于20世纪30年代末40年代初。1939年，美国bell实验室的dudley发明了第一个声码器，是一种对语音数据压缩的系统。1943年，morse基于统计的方法发明了莫尔斯电报码，是最早的数据压缩实例。但对数据压缩技术系统的理论研究，仍然是在香农信息论的基础上开始研究的。1952年，霍夫曼(huffman)发明了霍夫曼编码，是一种经典的基于统计方法的数据压缩技术，并给出了变长编码的构造方法，至今仍在广泛使用。lloyd和max分别在1957年和1960年独立发表了在知道信号概率分布情况下的最佳标量量化算法，即lloyd-max算法。并且linde、buzo和gray在1980年将lloyd-max算法推广到了矢量量化，即lbg算法。

大多情况下，数据的概率分布是未知的，为了能在此情况下也能对数据进行有效的压缩。以色列两位科学家jacobziv和abrahamlempel于1977年最先研究出基于字典的数据压缩技术，称为lz77编码算法；一年后，他们有对lz77进行了改进，称为lz78编码算法。此后，又有许多专家和学者在此基础上不断的提出新的改进算法，如lzw、lzmw、lzap、lzp等。

另外，离散傅里叶变换(dft，discretefouriertransformation)、walsh-hadamard变换、离散余弦变换(dct，discretecosinetransformation)、斜变换(slt，slanttransform)、小波变换(wavelettransform)等变换技术，虽然不是真正的对数据进行压缩，但经过变换后减少或去除信号的相关性，能将数据的特性更明显的表现出来，再经过熵编码实现数据的压缩。

进入21世纪，文字字符、高分辨率图像、高保真音/视频等的数据量都在爆炸性的增长，研究如何有效的存储、传输这些数据，需要结合计算机软硬件技术、超大规模集成电路技术等相关学科，和数字通信技术、光纤通信技术、数字信号处理技术、人工智能等相关技术，以及很多边缘学科，如语言学、语音/义学、听/视觉学等，才能不断的探索出压缩效率更高、信号恢复质量更好、性能更强大的压缩算法。

据ibm统计，世界上每天产生的数据量高达250万字节的三次方，并且90％的数据是由过去两年产生的。大数据时代已经来临，面对“井喷”的数据量，单纯的依赖扩大存储器容量，和提高通信干线的带宽，并不能从根本上解决问题；一种行之有效的方法是通过对数据进行压缩，减少信息的冗余量。

传统的数据压缩压缩算法一般站在数据层面角度，没有完全挖掘信号本身的特性，因此在处理ofdm时域信号压缩时，最好结合抑制ofdm系统的峰均比、子载波校正及奈奎斯特采样定率等关键技术，以便更好的挖掘ofdm时域信号的特性。

ofdm信号与通常信号的区别是容易产生较高的峰值平均功率比(papr，peaktoaveragepowerratio)，即若多个载波的幅值和相位的取值比较一致时，在进行ifft变换过程中进行累加就容易产生较大的峰值。近十几年来，国际上一些研究机构和许多知名的大学，都有很多学者对ofdm的papr问题进行相应的研究，提出了许多的解决方案。从信息论角度出发，降低papr的思路可以分成两大类：一类是考虑无失真抑制方案，即降低ofdm信号papr的同时，不会导致ofdm信号发生畸变；另一类是考虑有失真抑制方案，即采用一些非线性变换处理方法对ofdm信号进行处理，达到降低papr的目的。

现有的几类技术无论是哪一种方法都能降低信号的papr，但也会在其他方面产生不利影响，如：较高复杂度、传输速率下降、频带泄露、频谱效率下降、误比特率性能下滑等。目前，依然有必要继续深入探索研究降低ofdm信号papr，提出有效的降低ofdm信号papr的方法对通信行业具有深远的实际意义。

而fttdp+gdsl组网系统中光纤传输的是ofdm调制后的信号，同样存在papr过高的现象。在设计压缩ofdm时域信号的算法时，既要从传统的压缩算法中寻找思路，也会在抑制ofdm信号的峰均比中寻找突破，结合各种相关领域的技术成果才能设计出压缩性能更好的压缩算法。

技术实现要素：

本发明的目的是提出了一种基于部分采样点辅助校正子载波星座映射点偏移的准无损压缩方案，可实现几乎无损的数据压缩且压缩比更高。

为实现上述目的，本发明提供了基于部分采样点辅助校正子载波的准无损压缩算法：

第一步，子载波校正分析，

设ofdm的频域信号x[k]的长度为n，满足下面的对称性

x[k]＝x[n-k]*(4-1)

且满足x[0]和为实数，其中0≤k≤n-1，

不存在子载波星座映射点偏移的情况下，x[k]进行n点ifft变换的时域信号表示

如果子载波p产生星座映射点偏移，大小为则频域信号变成了

xe[k]进行n点ifft变换的时域信号表示

时域上信号的差值为

对公式(4-5)中的偏差信号err[n]进行fft变换，得到频域上的表示

上式中，k∈[0,n]；δ(·)为单位冲激响应。因为信号err[n]是一个周期信号，其频谱err[k]是以2π为周期的冲激序列，可取l＝0的区间[-π,π]来研究，即只有当或者时，err[k]不为0，

如果存在两个及以上的子载波同时发生星座映射点频移，则在无偏移情况下的ofdm时域信号和有星座映射点偏移情况下的时域信号相减，得到的差值为多个正弦信号的叠加，推导出的时域偏差信号的公式

及时域偏差信号err[n]的频域表达式

其中，p表示发生星座映射点偏移的子载波的集合，多个子载波上的星座映射点同时产生偏移的时域信号差是由多个正弦函数叠加的结果；根据上式，无论发生星座映射点偏移的子载波有多少个，都可以在频域上完全确定，

在公式(4-5)和公式(4-8)中，对err[n]每隔1个采样单位采样一次，即采样频率fs＝1；如果err[n]的最高频率fem小于信号x[n]的最高频率fm，则在满足2fem≤fs条件下，采样频率fs也可以小于1，且可以无失真的从采样点中重建原来的信号，

其一，当考虑对err[n]进行m倍减采样，即采样频率变为只利用mn采样点的数据信息，则公式(4-8)改写为

上式中，mn∈[0,n]。此时，采样点的数目变为根据公式(4-6)，无论是进行点fft变换，还是在非mn采样点上补零进行n点fft变换，errm[n]的频域表达式

上式中，即进行m倍减采样时，要使信号不发生混叠，采样频率(pmax表示子载波星座映射点出现偏移的最大子载波序号)，那么在此情况下，子载波的序号pmax应满足

其二，当考虑利用err[n]中连续的i个采样点数据，其他采样点上数据置成0，假设选择的采样时刻[ni,ni+i-1]∈[0,n-1]上的连续i个采样点，则err[n]改写为

对erri[n]进行n点fft变换，得到

上式中，对于一个复指数的前m次求和(m≤n)为

公式(4-14)可改写为

上式中，分子分母都有一个函数，但分子的频率是分母的i倍，根据sinc(x)函数的性质，当k＝p或k＝n-p时erri[k]将取得最大值，并且两边出现拖尾震荡；

第二步，基于部分采样点辅助校正子载波星座映射点偏移原理，建立准无损数据压缩模型。

其中，所述准无损数据压缩模型包括发送模块和接受模块，其中发送模块包括星座映射模块、ifft模块、采样点提取模块、压缩模块和编码组合模块，接受模块包括检测分离模块、解压缩模块、采样点还原模块、fft模块、ifft模块、星座还原模块和星座点偏移检测模块。

本发明的基于部分采样点辅助校正子载波的准无损压缩算法，先从理论和仿真中证明了可以利用ofdm信号时域上的部分采样点偏差值来校正频域上的子载波星座映射点的偏移，然后重点介绍适用于本系统的准无损数据压缩模型，并在仿真中证明该模型在降采样不出现混叠的情况下可以实现无损压缩，但解压缩复杂度较高，有待进一步降低算法的复杂度。

本发明的基于部分采样点辅助校正子载波的准无损压缩算法，首先推导了单个子载波上星座映射点偏移的校正原理，并推广到多个子载波同时存在星座映射点偏差的情况；分析了时域信号偏差值进行降采样时，校正子载波星座映射点偏移需要满足的条件；提出了一种基于部分采样点辅助校正子载波星座映射点偏移的准无损压缩方案，并进行了详细的分析，然后在计算机中进行实验仿真，验证了该压缩模型具有良好的压缩性能。

附图说明

图1是本发明的子载波0～3上分别产生星座映射点偏移的时域信号差图；

图2是本发明的时域偏差err[n]的归一化频率响应图；

图3是本发明的子载波2、9同时发生星座映射点偏移的时域信号差图；

图4是本发明的子载波3出现星座映射偏移时err[n]进行m倍减采样示意图；

图5是本发明的准无损数据压缩模型发送端原理框图；

图6是本发明的准无损数据压缩接收端原理框图；

图7是本发明的准无损压缩模型m＝4的采样点提取示意图。

具体实施方式

下面结合附图详细说明本发明的优选技术方案。

本发明的基于部分采样点辅助校正子载波的准无损压缩算法：首先进行子载波校正分析；

ofdm调制中如果单个子载波上的星座映射点产生偏移，即对应星座映射点的幅度和相位发生了改变，则在无偏移情况下的ofdm时域信号和有星座映射点偏移情况下的时域信号相减，得到的差值为一正弦信号。下面给出证明：

设ofdm的频域信号x[k]的长度为n，满足下面的对称性

x[k]＝x[n-k]*(4-1)

且满足x[0]和为实数，其中0≤k≤n-1。

不存在子载波星座映射点偏移的情况下，x[k]进行n点ifft变换的时域信号表示

如果子载波p产生星座映射点偏移，大小为则频域信号变成了

xe[k]进行n点ifft变换的时域信号表示

时域上信号的差值为

由公式(4-5)可以看出，如果只有1个子载波产生星座映射点偏移，则有偏移和无偏移情况下的域信号的差值为一个单频正弦函数，频率为初相位为θp，振幅为图1分别显示子载波p＝0时偏移了e^jπ、子载波p＝1、2、3时偏移了的时域信号差的波形。当p＝0，err[n]为一不等于0的常数，因为第0个子载波上为直流分量；当p＞0时，基波周期因此p越大，周期越小，震荡得越快。

如果对公式(4-5)中的偏差信号err[n]进行fft变换，得到频域上的表示

上式中，k∈[0,n]；δ(·)为单位冲激响应。因为信号err[n]是一个周期信号，其频谱err[k]是以2π为周期的冲激序列，可取l＝0的区间[-π,π]来研究，即只有当或者时，err[k]不为0。

可以看出，频域表达式err[k]能检测出发生星座映射点偏移的子载波序号和偏移量，不过偏移量的方向旋转了π，幅度降为原来的倍，而且k＝p或k＝n-p时的结果是共轭对称。因此，如果接收端能够准确的获得时域上的偏差信号err[n]，就能够检测出ofdm信号的第p个子载波上发生了星座映射点偏移，继而进行校正。画出图1中子载波3出现的星座映射点偏移时求得的时域偏差err[n]的归一化频率响应，如图2所示。

类似的，如果存在两个及以上的子载波同时发生星座映射点频移，则在无偏移情况下的ofdm时域信号和有星座映射点偏移情况下的时域信号相减，得到的差值为多个正弦信号的叠加。可以推导出的时域偏差信号的公式

及时域偏差信号err[n]的频域表达式

其中，p表示发生星座映射点偏移的子载波的集合。多个子载波上的星座映射点同时产生偏移的时域信号差是由多个正弦函数叠加的结果；根据上式，无论发生星座映射点偏移的子载波有多少个，都可以在频域上完全确定。图3显示了子载波2出现e^j0的偏差和子载波9出现的偏差时的时域信号差值err[n]。

在ofdm通信系统中，信号的最高频率点落在中间子载波的位置上，即等效为根据奈奎斯特采样定律，若要无失真的从采样点中重建原来的信号，则采样频率fs必须大于等于信号最高频率fm的2倍，即fs≥2fm。在公式(4-5)和公式(4-8)中，对err[n]每隔1个采样单位采样一次，即采样频率fs＝1；如果err[n]的最高频率fem小于信号x[n]的最高频率fm，则在满足2fem≤fs条件下，采样频率fs也可以小于1，且可以无失真的从采样点中重建原来的信号。

1)考虑对err[n]进行m倍减采样，即采样频率变为只利用mn采样点的数据信息，则公式(4-8)改写为

上式中，mn∈[0,n]。此时，采样点的数目变为根据公式(4-6)，无论是进行点fft变换，还是在非mn采样点上补零进行n点fft变换，errm[n]的频域表达式

上式中，即进行m倍减采样时，要使信号不发生混叠，采样频率(pmax表示子载波星座映射点出现偏移的最大子载波序号)，那么在此情况下，子载波的序号pmax应满足

图4是子载波3出现的星座映射点偏移时，时域信号差值err[n]进行2、4、8倍减采样的示意图。

2)考虑利用err[n]中连续的i个采样点数据，其他采样点上数据置成0。假设选择的采样时刻[ni,ni+i-1]∈[0,n-1]上的连续i个采样点，则err[n]改写为

对erri[n]进行n点fft变换，得到

上式中，对于一个复指数的前m次求和(m≤n)为

公式(4-14)可改写为

上式中，分子分母都有一个函数，但分子的频率是分母的i倍，根据sinc(x)函数的性质，当k＝p或k＝n-p时erri[k]将取得最大值，并且两边出现拖尾震荡。而且当ni和i不相同时，的计算结果会对sinc(x)函数的幅度(主瓣和旁瓣)造成影响。

当err[n]全部采样点数据都使用时，可以精确的确定出现星座映射点偏移的子载波序号和偏移的大小。当只使用部分连续采样点信息时(其他位置上全部置0)，fft变换后在出现星座映射点偏移的子载波上出现最大峰值(主瓣)。一般地部分连续采样点的数量越少，erri[k]的主瓣的宽度越大，如上图中只使用16个采样点时，子载波2、4上对应的幅度值与子载波3的相当；连续采样点数量相同时选用不同时段引起的旁瓣不同，如上图中的0～31之间的32个采样点和16～47之间的32个采样点对应的频率响应的主瓣、旁瓣就不同。因此，此方法不适用于检测星座映射点偏移。

综上，若要实现从时域上校正ofdm符号的某些子载波产生了星座映射点偏移，能够获取准确的时域信号差err[n]很关键，或者满足公式(4-12)的err[n]的降采样子序列errm[n]，也可达到相同的效果。

其次，建立准无损数据压缩模型。

根据ofdm系统的原理和光纤的传输特性，结合了离散时间序列减采样(downsampling)的原理，提出了一种复杂度较高的压缩算法——部分采样点辅助校正子载波星座映射点偏移的压缩方案，能在降采样不出现混叠的情况下实现高压缩比的无损数据压缩，故称之为“准无损压缩”。下面详细说明这种准无损压缩模型的具体实现。

其中准无损数据压缩模型包括发送模块和接受模块。

发送端的处理与有损压缩模型类似，但有部分采样点不进行“削峰尾插+几何级数压扩(ctp+gsc)”变换，直接保留原来的14比特定点化编码。

发送端主要的功能模块：

采样点提取：将ifft定点化输出的数据x[n]分成两个子序列，子序列xd[k]＝x[km]，即x[n]中每隔m个点提取一个采样点数据组成的新采样序列；子序列xr[m]为x[n]中去掉km时刻后剩下的采样序列，其中km∈[0,n-1]。

压缩：对序列xr[m]进行ctp操作、gsc变换及l比特二次量化(低精度定点化)，得到有损压缩序列

编码组合：对xd[k]和按先后顺序组合成一个新的采样序列，发送到光纤中。

在发送端，信源序列s经星座图映射生成xk，采用共轭反对称处理，经过ifft变换及定点化操作得到离散时域实信号x[n]，长度为n。然后经过一个m倍减采样器，将采样信号序列分成两个离散的子序列xd[k]和xr[n]，其中子序列xd[k]不做其他任何变换，直接采用14bits定点化编码；子序列xr[n]采用上一章的有损数据压缩方案(ctp，gsc，l比特定点化)进行处理后，得到有量化噪声干扰的序列此时对编码的比特数比xr[n]要少的多。再将xd[k]和组合在一起，发送到光纤中。下面说明x[n]分成xd[k]和xr[n]的过程，如图7所示。

x[n]的分布如上图，共有32个子载波，方形标志的表示xd[k]，圆形标志的是xr[m]，减采样因子m＝4。那么xd[k]＝x[4k](k∈[0,7])，直接采用14bit定点化；而xr[m]＝x[n](n≠0,4,8,12,16,20,24,28)，需经过ctp、gsc和l比特定点化三个步骤的压缩处理，输出一个含有量化误差的采样序列然后将xd[k]和编码后一起发送到光纤中。

发送端的压缩处理操作很简单，xd[k]的保留是为了获取部分采样点上准确的数据信息，以便可以由时域上的部分偏差信号检测并矫正子载波星座映射点偏差。但接收端要实现子载波星座映射点的校正，还需要经过fft/ifft变换、星座图还原和星座点偏移检测等较复杂的处理过程。

接收端主要的功能模块：

检测分离：将接收到的序列分成两个子序列，14比特定点化编码的子序列xd[k]和l比特定点化编码的子序列

解压缩：对应发送端的压缩操作，将受到量化噪声污染的序列进行反量化编码、igsc(gsc反变换)和ictp操作，得到序列

采样点还原：按原始采样时刻的顺序，将xd[k]和合并形成一个完整的ofdm符号，长度为n的序列

fft/ifft：进行离散傅里叶变换/傅里叶反变换。

星座还原：fft变换后得到频域信号，反归一化变换后，将各子载波上的数据点映射到对应的星座图上，纠正星座图上的小幅度偏差。

星座点偏移检测：时域偏差信号zd[k]进行k点fft变换，转换到偏差信号的频域信号zk，通过检测zk的实部和虚部是否超过预设的门限值，来判断是否存在星座映射点偏移。

在接收端，将接收到的每个ofdm符号序列分成两个子序列，14比特定点化编码的子序列xd[k]和采用l比特定点化编码的子序列解压缩后再与xd[k]组合成一个含有偏差的ofdm符号经过fft变换到频域，反归一化后将每个子载波上的数据还原到对应的星座图点上(每个子载波上的数据不完全对应星座图上的点，因为量化噪声的存在使得每个子载波的数据在星座点周围形成一团星座云)，得到各子载波在星座图上的映射点数据yn；再次归一化和进行ifft变换得到时域信号类似发送端，每隔m个采样时刻提取一个采样点得到的序列将序列xd[k]与相减，得到一个k点(小于n)时域信号的偏差zd[k]。对zd[k]进行fft变换到频域并归一化得到zk，再判断zk的实部和虚部是否大于预设门限值γ，可以获得出现星座点偏移的子载波编号及偏移的方向。再将对应编号的子载波上的星座映射点偏差补回给yn，再次对yn进行归一化和ifft变换得到y[n]，此时的y[n]应该与发送端的x[n]完全相等。

经过上述过程，可以实现较大压缩比，在满足公式(4-12)前提下进行k点fft变换不会出现混叠现象，就可以实现无损的数据压缩；如果不满足公式(4-12)则会出现混叠现象，输出信噪比随混叠数量的增加而下降，误比特率也会随混叠数量的增加而迅速增加。仔细分析，还可以发现能够满足公式(4-12)，是由于采用了自适应mqam调制，低频部分的qam调制阶数较高，高频部分的qam调制阶数较小，归一化后低频部分较容易产生星座图映射点偏移，高频部分不会出现星座图映射点偏移。

另外，该方法只能检测每个子载波星座映射点上下左右每个方向上偏移一个单位的情况，如果同一个方向上产生2个单位及以上的星座映射点偏移，则不能完全校正，只能够减少该方向上的1个单位的偏移量。由上面的分析可知，该压缩模型的复杂度较高；下面先分析了该压缩算法在本系统下的计算复杂度，再分析在本系统下利用部分采样点校正子载波星座映射点偏移的具体实现过程，并在计算机中进行仿真。

根据ofdm系统子载波星座映射点偏移检测原理，结合减采样原理，提出了在接收端利用部分采样点辅助校正子载波星座映射点偏移的方法，并建立了一个准无损压缩模型。仿真结果表明，在降采样不出现混叠的情况下可实现光纤传输中ofdm信号的无损压缩，并且压缩比比有损压缩算法更高。

g.fast解决方案配合fttdp解决方案构成的混合ftth架构，可以将接入网的带宽进一步提高，宽带论坛的fttdp系统架构项目也积极纳入g.fast解决方案，形成fttdp+gdsl组网部署方案，是对目前ftth无法到达的完美补充，由此实现宽带接入的同时，消除了在分配点和用户住宅之间光纤安装费用。fttdp+gdsl组网部署方案在实现宽带接入中更符合成本效益，这将是旧居民区用户宽带提速性价比最高的方法，并且预计全国有超过千万用户需要通过这样的方式进行宽带提速，具有巨大的市场潜力。

g.fast标准中定义了gigadsl的工作带宽为212mhz，其使用8192个子载波，但需要进行共轭反对称变换使得ofdm调制输出的结果为实数，因此真正利用的子载波只有一半(4096)，并且dsl属于基带传输系统，最高频率为106mhz。设gigadsl的有用子载波数为n，子载波间隔为假设平均每个子载波可以承载bbit信息，则可承载的bitstream的带宽为n*δf*bbit＝106mhz*bbit。

同时，根据奈奎斯特采样定律，ifft输出的时域信号采样率至少是fs＝2*n*δf＝212mhz，每个采样点估计至少要mbit(通常m＞b)来表示，因此时域信号的带宽变为212mhz*mbit。是原带宽的倍，当b＝10、m＝14时，即相比ifft前，信息增加了1.8倍；当b＝10、m＝12时，即相比ifft前，信息增加了1.4倍。

为了提高光纤带宽的利用率，下行方向，olt需要将ofdm时域信号进行压缩再经光纤传输；上行方向，dp也需要将ofdm时域信号进行压缩再经光纤传输。

g.fast中带宽越宽，信号频率会越高，高速传输距离就越短，成本和功耗也越大。g.fast标准下的dsl通信属于宽带通信，在整个带宽内信道的状态信息不可能完全相同，因此需要根据信道的状态信息来调整子载波功率、传输速率等，实现自适应传输。fttdp+gdsl网络部署中光纤和dsl的通信都属于基带通信，光纤系统可以认为是无差错的，dsl之间容易产生串扰(crosstalk)，单根dsl的信道频率响应与dsl的长度和频率有关。为了增加传输的有效性和减少错误发生，进行mqam调制时采用自适应调制方式(子载波自适应分配)，即信道较好(低频)的子载波上所承载的比特数较多，最大为12比特/子载波；信道较差(高频)的子载波上所承载的比特数较少，甚至不传输任何数据。

在信道的频率响应低于约-41.57db的频率段上时不传输任何数据，因为信道环境较恶劣，无法传输数据。dsl长度越长，信道频率响应衰减的越快，因此子载波上承载的信息量也会相应的减少。但是无论dsl长度为多少，信号经过ifft变换得到的时域信号基本上都服从正态分布。

其他dsl线长的时域信号幅度分布也满足标准正态分布，根据这一特性来研究并设计针对此系统的压缩算法。

本发明的基于部分采样点辅助校正子载波星座映射点偏移的准无损压缩方案，可实现几乎无损的数据压缩且压缩比更高。