t = 1，η = 16，d = O 时，R = MN/ (d+t*n) = 512*512/ (0+16) = 16384 ；
[0045]不同t，n，d对应不同的压缩比R。
[0046]误差与指标PSNR:根据PSNR(峰值信噪比)的要求倒推算。
[0047]E的门限可以设为E = Sqrt (MSE)；
[0048]PSNR = 10*logl0(255*255/MSE)dB
[0049]PSNR(峰值信噪比)可以设为30dB以上某值。
[0050]一种基于大数据的大压缩比数据压缩方法，具体步骤如下:
[0051](I)把需要发送的灰度图像A进行不重叠分块，形成4幅相同大小的子图像Al，…A4，总数据量不变。所述的灰度图像A的大小为512行、512列、8比特量化，总比特数为MNQ ;所述图像Ai (i = I,…4)大小为256行、256列、8比特量化，总比特数为256*256*8 ；
[0052](2)根据事先建好的基础图像数据库选择图像Cl，C2，…Cn，设η = 64，选择 4 组系数 Kl (ρ)，Κ2(ρ>..Κη(ρ)，p = 1,2, 3,4,所述的 Kl (p)，K2(p)…Kn(p)均为实数，Κ1(ρ)+Κ2 (ρ)…+Kn (ρ) =1，完成 Dl 到 D4 的计算:Dp = Kl (p) *C1 (ρ)+K2 (p) *C2+…? +Kn (ρ) *Cn，p= 1,...4;
[0053]对子图像Α1...Α4，分别和图像Dl，…D4相减，得到图像误差Ep，ρ = 1，...4，设PSNR = 35dB，如果误差Ep满足PSNR指标要求，则令Ap = Dp，保存Kl (ρ)，Κ2 (ρ)…Kn (ρ)，转到步骤⑶；
[0054]设PSNR = 35dB，如果误差El不满足PSNR指标要求，则选定另外一组Kl (ρ)，Κ2 (ρ)…Kn (ρ)，ρ = 1,2, 3,4,完成以下运算:D1 = Kl (p) *C1 (ρ)+Κ2 (p) *C2+….+Kn (p) *Cn，不断调整Κ1(ρ)，Κ2 (ρ)…Kn (ρ)直到误差El满足PSNR指标要求，则Al = Dl,保存Kl (ρ)，Κ2(ρ)…Kn (ρ)；
[0055](3)根据 4 组数据 Kl (p)，K2(ph"Kn(p)，ρ = 1，2，3，4，计算恢复子图像 Bj =1(1(?)*(:1(?)+1(2(?)和2+吣.+1(11(?)*01，得到恢复图像 B，j = 1，…4，计算图像 B 的 PSNR值。如果恢复图像B的性能不能满足PSNR要求，则把图像A与恢复图像B的误差F进行压缩，得到dl = d*Q，比特数据；再对4组K1、K2….Kn进行编码，设编码后比特数为d2 =t*n*Q，对dl+d2比特数据进行传输；
[0056](4)接收端进行译码得到恢复后的4组系数Κ1(ρ)，K2 (p)，…Kn(p)，p= 1,2, 3,4以及误差数据F，先计算4幅恢复子图像Bp = Kl (ρ) *C1+….+Kn (p) *Cn，进而得到恢复图像B, ρ = 1，2，3，4，再用误差F对恢复图像B进行校正即得到最终恢复后的灰度图像A = F+B，压缩比为 R = MNQ/(dl+d2) = 512*512/(d+t*n)；
[0057]当t = 4，η = 64，d = 256 时，R = MN/ (d+t*n) = 512*512/ (256+256) = 512 ；
[0058]所述步骤⑵中生成图像数据库的方法如下:
[0059]从普通图像中选择u幅灰度图像作为训练样本XI，X2…Xu，所述的灰度图像A的大小为512行、512列、8比特量化；对X图像进行分解，每个X图像形成4幅相同大小的子图像Yi，i = I,…4，256行、256列、8比特量化，共4*u = 128 ;全部128幅子图像Y按照矢量量化VQ码书设计方法形成nl = 32幅256行、256列、8比特量化的码书，并从训练样本XI，X2…Xu选择部分图像分解后形成n2 = 32幅256行、256列、8比特量化的典型标准图像，最后形成由η = 64幅基础图像形成的图像数据库，n = nl+n2。典型矢量量化VQ码书设计方法有LBG方法或者SOFM神经网络学习方法；u、η为大于或等于I的整数，u = 32，u分解产生的子图像数u*t = 32*4 = 128大于等于η ；
[0060]所述步骤(2)中Kl (ρ)、Κ2 (ρ)、Kn-1 (p)、Kn (ρ)的生成方法如下:
[0061]每次产生一组介于(_1，1)之间的63个不同随机数，分别赋予其中63个系数，最后一个系数Kn(ρ) = 1-(Κ1 (ρ)+Κ2(ρ)+...+Κη-1 (ρ))。举例:均勾分布的伪随机数，η = 64。
[0062]总之，本发明提出了一种基于大数据的大压缩比数据压缩方法，可以根据要求，实现百倍到万倍的整数倍和非整数倍的有损压缩，该方法对原图像A或其子图像，基于图像库的基础图像进行线性系数优化计算，选择出最为接近的图像误差和最终得到的线性系数进行编码传输，从而避免了直接对原图像进行压缩无法提高压缩比的问题，突破了传统的数据压缩方法的局限，以离线学习的大数据量获取了压缩性能和压缩比的提高，大大降低了解压缩实现的复杂性，适用于大压缩倍数、图像有损压缩场合，具有广阔的应用前景。
[0063]本发明未详细说明部分属本领域技术人员公知常识。
【主权项】
1.一种基于大数据的大压缩比数据压缩方法，其特征在于包括以下步骤: (1)把待发送的灰度图像A进行分解，形成t幅大小相同的子图像Al，-At,t为正整数；所述的灰度图像A的大小为M行、N列、Q比特量化，总比特数为M*N*Q ;所述每个子图像大小为K行、L列、Q比特量化，总比特数为K*L*Q，其中t=l时表示图像不分解或分解成I幅图像；所述的M、N、Q均为正整数； (2)从预先建立的基础图像数据库中选择η幅图像C1，C2，…Cn，n为正整数，每幅图像大小为K行、L列、Q比特量化；根据子图像数生成t组系数，每组系数为Kl (P)，…Kn(P)，P=I, 2…t，生成图像 Dp=Kl (P) *C1+…+Kn (p) *Cn，p=l, 2…t ； 对于t幅子图像Ap，其中p=l，…t，分别与该幅子图像对应的图像Dp相减，得到每幅子图像Ap对应的图像误差Ep，如果误差Ep满足PSNR指标要求，则令Ap=Dp,保存该组系数Kl (p)，K2(p)，…Kn(ρ)，转到步骤(3);如果误差Ep不满足PSNR指标要求，则重新生成一组新的系数Kl (ρ)...Kn (ρ)，生成图像Dp=Kl (p) *C1+….+Kn (p) *Cn，直到误差Ep满足要求，则令Ap=Dp并保存新生成的这组系数Kl (ρ)，K2 (ρ)…Kn (ρ);转到步骤(3)； (3)根据t组系数Kl(p)，…Kn (ρ)对应的t幅生成图像Dp，得到恢复后的灰度图像B，计算灰度图像B与原灰度图像A的PSNR值；如果灰度图像B的性能不能满足PSNR指标要求，则对灰度图像A与恢复图像B的误差F进行压缩，F=A-B,得到dl比特数据；再对t组系数Kl (ρ)，K2 (ρ)，...Kn (ρ)进行编码，得到d2比特数据，将dl+d2比特数据进行传输; (4)接收端进行译码得到恢复后的t组系数Kl(p)，K2(p)，…Κη(ρ)，以及误差数据F，先计算t幅恢复子图像Bp=Kl (ρ) *C1+….+Kn (ρ) *Cn，进而得到恢复图像B，p=l, 2…t，再用误差F对恢复图像B进行校正即得到最终恢复后的灰度图像A=F+B，压缩比为R=MNQ/(dl+d2)ο2.根据权利要求1所述的一种基于大数据的大压缩比数据压缩方法，其特征在于:所述步骤(2)中建立基础图像数据库的方法如下: 从普通图像中选择若干幅灰度图像作为训练样本图像训练样本XI，X2…Xu，图像的大小为M行、N列、Q比特量化；对这些图像进行分解，分别形成T幅大小相同的子图像Yi，i=l,…T，大小为K行、L列、Q比特量化；全部子图像Y按照矢量量化VQ码书设计方法形nl幅K行、L列、Q比特量化的码书，并从训练样本图像中选择部分图像分解后形成n2幅K行、L列、Q比特量化的典型标准图像，最后形成由m幅基础图像形成的图像数据库，n=nl+n2 ;所述的典型矢量量化VQ码书设计方法有LBG方法或者SOFM神经网络学习方法；u、η为大于或等于I的整数，u*T大于或等于η。3.根据权利要求1所述的一种基于大数据的大压缩比数据压缩方法，其特征在于:所述步骤(2)中七组系数1(1(?)，1(2(?)，…Κη(ρ)的产生方法如下:每次产生一组介于(-1，I)之间的η-1个不同随机数，分别赋予其中η-1个系数，最后一个系数Kn (ρ) =1- (ΚΙ (ρ) +Κ2 (p) +…+Kn-1 (ρ))，其中 ρ=1, 2…t。
【专利摘要】本发明一种基于大数据的大压缩比数据压缩方法，可以实现百倍到万倍的有损压缩，该方法基于事先构建的图像数据集和线性变换进行压缩。其特点在于：对原图像A或其子图像，基于图像库的基础图像进行线性组合，选择出最为接近的图像，把最终得到的线性系数和图像误差进行编码传输，从而避免了直接对原图像进行压缩无法提高压缩比的问题，突破了传统的数据压缩方法的局限，以离线学习的大数据量换取了性能和压缩比的提高，大大降低了解压缩实现的复杂性。
【IPC分类】H04N19/42, H04N19/166, H04N19/196, H04N19/124
【公开号】CN105100801
【申请号】CN201510442054
【发明人】周诠, 刘娟妮, 王鹏, 呼延烺, 崔涛, 魏佳圆
【申请人】西安空间无线电技术研究所
【公开日】2015年11月25日
【申请日】2015年7月24日