基于知识重组的语义图像压缩方法与流程

技术特征：

1.一种基于知识重组的语义图像压缩方法，包括下列步骤：

1)获得预训练的编解码器结构模型以及无标签数据；

分别选取用于图像压缩和语义分割任务的编解码器结构模型。语义分割模型对输入图像进行逐像素分类，图像压缩模型对数字图像进行压缩和解压。本方法使用无标签数据进行训练，即使用预训练模型对输入图像进行预测，将预测结果作为学习目标。

2)模型重组；

对预训练模型的编码器参数进行零填充，将大小为o×i×h×w的参数填充为o×∑tit×h×w，使其能够接收所有预训练模型的输入，其中t表示预训练模型的序号。最后组合多个零填充参数，获得大小为∑tot×∑tit×h×w的重组参数。非零参数经过重组后依次成对角线排布，其余位置均为零。对多个模型的编码器部分进行逐层重组，得到重组模型。重组模型包括一个共享的重组编码器和两路解码器。解码器能够独立工作，分别进行语义分割和图像解压。重组模型与多个预训练模型功能等价。

3)迭代剪枝减小模型规模；

基于余弦相似度计算每一层参数之间相似度，其中a和b分别表示参数向量，·运算表示向量内积，‖‖表示向量的模长。取相似度最高的k对参数进行剪枝。其中k为预先设定的剪枝规模。

利用预训练模型在无标签数据上的预测结果作为目标，进行多任务训练，压缩分支损失函数为均方误差语义分割分支损失函数为交叉熵ls＝-∑x∈χp(x)logq(x)，编码层采用量化函数q(x)＝round(x)。最终的损失函数为l＝lc+αls，其中α用于控制两者权重。零填充参数需要参与训练，逐渐转化为有效参数，提升模型性能。重复步骤(3)直至重组模型性能和参数规模达到部署要求。最终的重组模型能够执行图像压缩，同时可以根据需要从编码中解码原图或者解码语义，两个任务可独立执行。