一种基于语义通信的低比特率图像压缩编码方法

1.本发明属于深度学习、无线通信技术领域，特别是涉及一种基于语义通信的低比特率图像压缩编码方法。


背景技术：

2.近年的山火给自然界带来的沉痛的灾难，传统基于卫星和无人机的探测技术效率低且成本高昂，随着通信技术与物联网(internetofthings,iot)技术的发展，人们开始利用大规模无线传感器网络(wirelesssensornetwork，wsn)进行实时监测，然而偏远地区中的传感器网络性能受限，难以承载大数据量业务的传输，尤其是图片等可以提供现场环境变化的有效信息。此外，经过数十年的发展，基于熵的图像压缩编码方法已经逐渐逼近香农极限，而借助深度学习的语义通信技术将基于图像语义进行压缩编码，实现对香农极限的超越，进而使边缘网络传输大量图片成为可能。
3.目前关于语义通信相关研究大多集中在文本等轻量数据集上，且均在仿真软件针对单一信道实现，对于图片语义相关共享知识库的建立与更新，端到端传输对物理无线信道时变、频选特征的自适应等相关研究较少，即尚未有图像语义编码并在实际无线环境中传输的成功案例。


技术实现要素：

4.本发明目的是为了解决目前传统图像压缩编码技术压缩比率低，清晰度低，以及语义通信技术在实际无线环境中难以直接应用的问题，提出了一种基于语义通信的低比特率图像压缩编码方法。
5.本发明是通过以下技术方案实现的，本发明提出一种边缘设备基于语义通信的低比特率图像压缩编码方法，所述方法包括：
6.步骤一、进行网络训练前准备，设计编解码过程中所需的编码器、量化器、生成器、鉴别器，以及网络训练过程的优化函数及优化器，然后对各自的网络参数进行初始化；对所提供的数据集预处理，将其打乱、分批和归一化；
7.步骤二、将分批后的数据输入到步骤一中搭建的训练网络，依次经过编码器，量化器和生成器，然后将原图与生成器输出的重建图像一同输入到鉴别器中，计算相应损失函数值，并利用随机梯度下降法与反向传播更新网络参数；
8.步骤三、判断损失函数值是否收敛至预设值，是则提前终止训练并保存相应模型参数，供边缘设备离线工作，否则重复步骤二；
9.步骤四、边缘设备启动，自动加载步骤三中保存的预训练编码器和量化器，将捕获到的图片依次经过编码器，量化器和低密度奇偶校验码ldpc编码器，并选取合适的调制模式进行调制，发送数据至无线环境中；
10.步骤五、接收端加载步骤三中保存的预训练生成器，对接收到的信号依次进行解调制、ldpc解码、生成重建图像。
11.进一步地，在步骤一所述的编码器和生成器网络结构中：
12.input表示输入层；reflectionpadding()指反射填充层，括号中为填充尺寸；h
×w×
cconv,strides指卷积核尺寸为h
×
w，通道数为c，步长为k的卷积层，后接实例归一化层和relu激活层；编码器结构中最后一层卷积层中的通道数c指瓶颈层，用于控制压缩比率；residual bloock指残差网络块，其中batchnorm指批归一化层。
13.进一步地，所述优化函数为：
[0014][0015]
其中d(
·
)和g(
·
)分别表示鉴别器网络与生成器网络所对应的函数，表示寻找能使损失函数取极小值时对应的编码器e和生成器g以及能使损失函数取极大值的鉴别器d过程中所使用的极小化极大算法；f(
·
)和g(
·
)表示衡量样本真实程度的辅助函数，d(
·
)表示原图与生成图片的失真函数，h(
·
)表示熵编码算法，即量化后数据表示所需要的比特开销，表示取期望值，λ和β表示失真函数项和熵编码项的权重，x和表示原图与生成图，z表示接收到的信号样本，y表示量化后数据。
[0016]
进一步地，所述步骤二中量化器实现过程，包括以下步骤：
[0017]
第一部分为前向推导过程：
[0018][0019]
其中，zi表示第i个数据流中的第i个数据样本，cj表示量化集中的元素，满足l表示量化集的长度；
[0020]
第二部分为反向传播过程：
[0021][0022]
其中，exp(
·
)表示指数函数，σ表示softmax函数中的温度超参数。
[0023]
进一步地，对应鉴别器的损失函数为：
[0024][0025]
其中，k表示鉴别器的个数，每个鉴别器结构相同且相互独立，对于第k个鉴别器，其输入为对原图像进行因子为2
k-1
的下采样操作的图像对，每一次下采样都能提供图像对的全局特征的高度抽象，来保证原图与生成图片之间从局部特征到全局特征的高保真度。
[0026]
进一步地，对应生成器的损失函数为：
[0027][0028]
进一步地，采用adam优化算法对求得的损失函数值的梯度值反向传播，分别更新鉴别器网络和生成器网络中的可训练参数，其中adam算法具体过程如下：
[0029]
vk＝β1v
k-1
+(1-β1)gk[0030]
[0031][0032][0033][0034]
θk＝θ
k-1-δgk[0035]
其中，gk表示第k批数据的随机梯度，vk表示第k批数据的梯度所对应的动量变量，sk表示第k批数据的梯度平方的累加变量，和表示偏差修正后的动量变量与累加变量，常数β1和β2分别为梯度指数加权移动平均的超参数和梯度平方指数加权移动平均的超参数，η为优化器的学习率，常数ε表示防止分母为0所添加的一个极小值，取值为10-8
。
[0036]
进一步地，所述选取合适的调制模式进行调制，发送数据至无线环境中，具体公式为：
[0037]sdata
＝modulate(ldpc(y；r))
[0038]
其中，s
data
表示发送的数据，modulate(
·
)表示调制过程，ldpc(
·
)表示ldpc码编码过程，r表示码率，y表示编码量化后的数据。
[0039]
进一步地，所述步骤五具体过程公式为：
[0040][0041]
其中，demodulate(
·
)表示解调过程，ldpc-1
(
·
)表示ldpc解码过程，r
data
表示经过无线信道后的数据，表示生成器的输入；
[0042]
其中发送数据与接收数据满足r
data
＝hs
data
+n；
[0043]
式中，h表示信道状态信息，n表示信道的加性噪声。
[0044]
本发明的有益效果为：
[0045]
本发明结合语义编码技术与ldpc信道编码技术，并考虑了硬件设备的弱计算能力，一方面实现了高于传统图像编码技术的压缩比率和清晰度，另一方面保证了数据在实际无线信道中的可靠传输，使性能受限的传感器网络得以满足大数据量业务可靠传输的需求。且得益于神经网络模型的泛化能力，本发明使图像解码过程摆脱编码格式的限制，在无法重传或是比特差错超出编码技术纠错范围等情况下仍能保证图片被正常恢复且满足一定清晰度。
附图说明
[0046]
图1为图像语义压缩编码方法的系统框架图。
[0047]
图2为编码器与生成器的网络结构图。
[0048]
图3为神经网络模型训练的算法流程图。
[0049]
图4为语义压缩编码方法与传统图像编码方法bpg的效果对比图。
[0050]
图5为语义压缩编码方法与传统图像编码方法bpg的不同信道传输效果对比图。
具体实施方式
[0051]
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
结合图1-5，本发明提出一种边缘设备基于语义通信的低比特率图像压缩编码方法，包括以下步骤：
[0053]
步骤一、进行网络训练前准备。设计编解码过程中所需的编码器、量化器、生成器、鉴别器，以及网络训练过程的优化函数及优化器，然后对各自的网络参数进行初始化；对所提供的数据集预处理，将其打乱、分批、归一化。
[0054]
所述编码器与生成器的网络结构如图2所示，其中input表示输入层；reflectionpadding()指反射填充层，括号中为填充尺寸；h
×w×
cconv,strides指卷积核尺寸为h
×
w，通道数为c，步长为k的卷积层，后接实例归一化层和relu激活层；编码器结构中最后一层卷积层中的通道数c指瓶颈层，用于控制压缩比率；residualbloock指残差网络块，具体结构如图2中第3幅图所示，其中batchnorm指批归一化层。
[0055]
所述优化函数如下式：
[0056][0057]
其中d(
·
)和g(
·
)分别表示鉴别器网络与生成器网络所对应的函数，表示寻找能使损失函数取极小值时对应的编码器e和生成器g以及能使损失函数取极大值的鉴别器d过程中所使用的极小化极大算法。f(
·
)和g(
·
)表示衡量样本真实程度的辅助函数。d(
·
)表示原图与生成图片的失真函数，h(
·
)表示熵编码算法，即表示量化后数据表示所需要的比特开销，表示取期望值，λ和β表示失真函数项和熵编码项的权重，x和表示原图与生成图，z表示接收到的信号样本，y表示量化后数据。
[0058]
所述优化器采用adam算法优化器。优化器选取并不唯一，可根据需求进行选取。
[0059]
本步骤中，主要对对抗生成网络训练过程所需要的相关物件进行初始化，具体的网络结构可根据不同硬件设备的性能进行搭建，对于优化函数中的失真函数项与熵编码项亦可根据需求进行选取，优化器同理，选取的关键依据为确保模型能够稳定训练并收敛，最后达到理想的效果。此外，数据集的选取可根据不同的应用场景进行选取以获得更好的训练效果，分批大小与归一化过程可根据训练所用配置进行取舍。
[0060]
步骤二、将分批后的数据输入到步骤一中搭建的训练网络，依次经过编码器，量化器，生成器，然后将原图与生成器输出的重建图像一同输入到鉴别器中，计算相应损失函数值，并利用随机梯度下降法与反向传播更新网络参数，包括以下步骤：
[0061]
步骤二一、将当前分批数据输入到编码器、量化器中，如下式表示：
[0062]
y＝q(e(x；θ))(2)
[0063]
式中，e表示编码器网络，θ表示编码器网络参数，q表示量化过程。
[0064]
其中，为了保证梯度链路在反向传播过程中，尤其是经过量化器后不发生梯度中断的现象，将量化器的实现逻辑分为两部分：
[0065]
第一部分为前向推导过程：
[0066][0067]
其中，zi表示第i个数据流中的第i个数据样本，cj表示量化集中的元素，满足l表示量化集的长度。
[0068]
第二部分为反向传播过程：
[0069][0070]
其中，exp(
·
)表示指数函数，σ表示softmax函数中的温度超参数。
[0071]
步骤二二、将步骤二一中量化后的数据作为生成器的输入，进行从语义到图像的重建，具体为：
[0072][0073]
其中，g(
·
)表示生成器网络，表示生成器网络中的可训练参数，表示步骤二一中量化后的数据，表示生成图像。
[0074]
步骤二三、将步骤一中数据集的原图与步骤二二中得到的生成图片进行两两组合，将图像对一同作为鉴别器的输入，求对应的鉴别器损失函数值：
[0075][0076]
其中，k表示多尺度鉴别器的个数，每个鉴别器结构相同且相互独立，对于第k个鉴别器，其输入为对原图像进行因子为2
k-1
的下采样操作的图像对，每一次下采样都能提供图像对的全局特征的高度抽象，来保证原图与生成图片之间从局部特征到全局特征的高保真度。
[0077]
而对应的生成器损失函数值为：
[0078][0079]
步骤二四、采用adam优化算法对步骤二三中求得的损失函数值的梯度值反向传播，分别更新鉴别器网络和生成器网络中的可训练参数，其中adam算法具体过程如下：
[0080][0081]
其中，gk表示第k批数据的随机梯度，vk表示第k批数据的梯度所对应的动量变量，
sk表示第k批数据的梯度平方的累加变量，和表示偏差修正后的动量变量与累加变量，常数β1和β2分别为梯度指数加权移动平均的超参数和梯度平方指数加权移动平均的超参数，η为优化器的学习率，常数ε表示防止分母为0所添加的一个极小值，通常为10-8
。
[0082]
本步骤中，本步骤主要进行系统中对抗生成网络模型的具体训练，对于在步骤一中所搭建的网络结构，优化器及学习率、预处理后的数据集等输入到对抗生成网络框架中，并在优化函数的指导下对编码器、生成器和鉴别器进行交替训练。
[0083]
步骤三、判断损失函数值是否收敛至预设值，是则提前终止训练并保存相应模型参数，否则重复步骤二。
[0084]
本步骤中，根据步骤二所得到的损失值进行判断，确定其是否收敛，对于不同的网络参数和数据集输入，即使是同一个网络结构也可能收敛至不同值，因此优化函数收敛只是神经网络学习完成的一个特征，得到的模型及其效果需要根据一些额外的测试来判断，如模型在测试数据集和验证数据集中实际生成图片的质量是否也达到预期，进而是否需要提前终止训练并保存网络参数。
[0085]
步骤四、边缘设备启动，自动加载步骤三中保存的预训练编码器和量化器，将捕获到的图片依次经过编码器，量化器，低密度奇偶校验码(lowdensityparitycheckcode，ldpc)编码器，并选取合适的调制模式进行调制，发送数据至无线环境中，具体过程为：
[0086]sdata
＝modulate(ldpc(y；r))(9)
[0087]
其中，s
data
表示发送的数据，modulate(
·
)表示调制过程，ldpc(
·
)表示ldpc码编码过程，r表示码率，y表示编码量化后的数据，由步骤二中已训练的编码器和量化器输出得到，即公式(2)。
[0088]
本步骤中，本步骤边缘设备直接加载步骤二中已经训练完成的编码器和量化器，设备捕捉到的图片进行编码和量化，同时为了保证数据能够在实际无线环境中可靠传输，对其进行信道编码和调制，其中，调制方式可选取bpsk、16qam等，ldpc编码码率的设置也可根据实际需求来进行，通常码率越高，传输效率越高，但可靠性越低。
[0089]
步骤五、接收端加载步骤三中保存的预训练生成器，对接收到的信号依次进行解调制、ldpc解码、生成重建图像，具体过程为：
[0090][0091]
其中，demodulate(
·
)表示解调过程，ldpc-1
(
·
)表示ldpc解码过程，r
data
表示经过无线信道后的数据，表示生成器的输入。
[0092]
其中发送数据与接收数据满足r
data
＝hs
data
+n；
[0093]
式中，h表示信道状态信息，n表示信道的加性噪声。
[0094]
本步骤中，接收端设备先对接收信号进行解调和解码，来恢复图像的语义，供后续生成器使用，此处的信道噪声应为抽象的语义噪声，而非传统的物理噪声，前者导致信息发生语义误差，误差大小由接发双方的共享语义库所决定，实际指编码器网络与生成器网络的可训练参数对新样本的适应性，但仍能保证接收到的语义被正常恢复为对应的图片，而后者导致比特差错现象，当比特差错出现在格式头部时，会使整个数据包无法被识别、解码。
[0095]
实施例1：
[0096]
按照具体实施方式的方法进行图像语义压缩，如下：
[0097]
(1)第一步，确定模型训练所需超参数，训练集选取flame数据集，瓶颈层c分别取4和8，量化集长度l＝5，优化器选取adam算法，学习率为0.0002，数据集选取flame数据集，分批数量为1；优化函数中，对抗生成网络的损失函数采用最小二乘损失，即令f(x)＝(x-1)2和g(x)＝x2，失真函数选取均方误差函数，权重λ＝10，熵编码部分暂不考虑，即令β＝0；多尺度鉴别器个数为3，对原图对、下采样因子为2的图像对、下采样因子为4的图像对进行鉴别。
[0098]
(2)第二步，开始训练。待优化函数收敛后，保存模型及相关可训练参数，存储在边缘设备中。
[0099]
(3)第三步，边缘设备加载模型，捕获图片，编码，量化，ldpc编码，码率为1/2，bpsk调制，信道模型分别选取awgn信道和rayleigh信道。
[0100]
(4)第四步，接收端接收数据，进行bpsk解调，ldpc解码，生成图片。
[0101]
从上述过程可以看到，本发明提出的语义编码方法并没有具体格式要求，因此比传统图像编码方法更具有普适性。
[0102]
实施例2：
[0103]
按照具体实施中的方法进行仿真验证：
[0104]
仿真的条件为：图片格式为rgb格式，分辨率为256
×
256px，通道数为3，每个通道上的像素最大取值范围为255，即图片的存储开销为24比特每像素。对比所用参考图像编码格式为bpg格式，图像质量衡量指标采用峰值信噪比(peaksignaltonoiseratio,psnr)和多尺度结构相似性(multiscalestructuralsimilarity,msssim)。
[0105]
从图4可以看出：本发明在比特开销略小的情况，能够生成清晰度更高的图像。而生成相近清晰度的图片所需要的比特开销更小。
[0106]
由图4可见，语义编码压缩方法在压缩比例与图像质量均优于bpg编码方法。
[0107]
从图5可以看出，在awgn信道与rayleigh信道下，语义编码方法在不同信噪比环境下均能提供高于bpg的图像质量。
[0108]
由图5可见，语义编码方法对于不同无线信道环境的适应性更高。
[0109]
以上对本发明所提出的一种基于语义通信的低比特率图像压缩编码方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。