一种基于模型驱动深度学习的非二进制LDPC译码方法

本发明涉及一种基于模型驱动深度学习的非二进制ldpc译码方法。

背景技术：

1、在光通信、深空通信和存储领域得到了广泛的应用。深度学习在通信物理层的应用已经有了很多的研究，包括基于数据驱动的端到端通信系统，基于模型驱动的信道估计，信号检测、信道编译码和csi信息反馈技术。基于模型驱动深度学习的算法因为利用了传统通信数学解析模型和深度学习网络的双重优势，具有非常好的应用前景。针对非二进制ldpc码，目前最常用的译码算法有扩展最小和(ems)译码算法，min-max译码算法，brb译码算法等。目前仅有基于模型驱动深度学习的比特可靠度(brb)译码算法，但是比特可靠度(brb)的译码算法译码性能差，抗突发能力弱。目前期待设计出基于模型驱动深度学习的ems译码算法，以提高非二进制ldpc码的性能、设计的灵活性和抗突发能力。

2、在文献[m.c.davey and d.j.mackay,“low density parity check codes overgf(q),”in1998information theory workshop(cat.no.98ex131),killarney,ireland,1998,pp.70–71.]中，davey和mackay首先提出了一种基于有限域的非二进制低密度奇偶校验(nb-ldpc)码，并提出了nb-ldpc的q元和积算法(qspa)译码算法。在中等或短码长度下，nb-ldpc的性能优于二进制ldpc和turbo码。但这种译码算法复杂度较高，限制了nb-ldpc在资源受限的通信系统中的应用。文献[d.j.mackay and m.c.davey,“evaluation ofgallager codes for short block length and high rate applications,”inproc.codes,systems,and graphical models,minneapolis,mn,usa,2001,pp.113–130.]和[l.barnault and d.declercq,“fast decoding algorithm for ldpc over gf(2/supq/),”in proceedings 2003ieee information theory workshop(cat.no.03ex674),paris,france,2003,pp.70–73.]的作者提出了一种基于快速傅里叶变换的qspa算法(fft-qspa)，其复杂度比qspa解码算法低。

3、为了进一步降低复杂度，文献[v.savin,“min-max decoding for non binaryldpc codes,”in proc.2008ieee international symposium on information theory,toronto,on,canada,2008,pp.960–964.]中的作者提出了min-max解码算法，这是nb-ldpc码的简化解码算法。declercq和fossorier在文献[d.declercq and m.fossorier,“decoding algorithms for nonbinary ldpc codes over gf(q),”ieee trans.commun.,vol.55,no.4,pp.633–643,2007.]中将二进制ldpc码的最小和译码算法扩展到nb-ldpc码，提出了扩展最小和(ems)算法，进一步降低了复杂度。在文献[x.ma,k.zhang,h.chen,andb.bai,“low complexity x-ems algorithms for nonbinary ldpc codes,”ieeetrans.commun.,vol.60,no.1,pp.9–13,2011.]中，作者将原始ems算法重新描述为网格上的简化搜索算法，仅保留每个网格部分具有m个最大度量的分支，称为m-ems算法。ems算法及其变体是目前最有前途的nb-ldpc解码算法。

4、近年来，基于模型驱动的深度学习的信道解码算法得到了广泛的研究。文献[t.gruber,s.cammerer,j.hoydis,and s.ten brink,“on deep learning-based channeldecoding,”in proc.201751st annual conference on information sciences andsystems(ciss),baltimore,md,usa,2017,pp.1–6.]提出了一种基于深度学习的polar码译码算法。文献[e.nachmani,e.marciano,l.lugosch,w.j.gross,d.burshtein,and y.be’ery,“deep learning methods for improved decoding of linear codes,”ieeej.sel.topics signal process.,vol.12,no.1,pp.119–131,2018.]的作者将置信传播(bp)算法展开为神经网络的形式，并在tanner图的每条边上添加了训练权重系数。仿真结果表明，其在高密度奇偶校验(hdpc)中的译码性能超过了传统bp算法。然而，基于深度学习的bp算法较为复杂，难以用硬件实现。在[l.lugosch and w.j.gross,“neural offsetmin-sum decoding,”in proc.2017ieee international symposium on informationtheory(isit),aachen,germany,2017,pp.1361–1365.]中，作者提出了一种神经偏移最小和解码(noms)解码算法，该算法减少了大量乘法运算，使其在硬件中实现更加高效。文献[q.wang,s.wang,h.fang,l.chen,l.chen,and y.guo,“a model-driven deep learningmethod for normalized min-sum ldpc decoding,”in 2020ieee internationalconference on communications workshops(icc workshops),2020,pp.1–6.]将ldpc解码的bp展开方法扩展到长码，提出了神经归一化最小和(nnms)解码算法，提高了nms算法的性能。神经解码算法一般采用交叉熵损失函数进行参数优化。在文献[l.lugosch andw.j.gross,“learning from the syndrome,”in proc.2018 52nd asilomar conferenceon signals,systems,and computers,pacific grove,ca,usa,2018,pp.594–598.]中，作者提出了基于伴随式损失的神经纠错解码器，在bch码中取得了比交叉熵损失函数更好的解码性能。基于伴随式损失的解码算法可以被认为是一种无监督学习算法。损失函数的计算不需要码字的传输，也可以应用于在线训练解码算法。在文献[f.liang,c.shen,andf.wu,“an iterative bp-cnn architecture for channel decoding,”ieeej.sel.topics signal process.,vol.12,no.1,pp.144–159,2018.]中，提出了一种迭代置信传播卷积神经网络(bp-cnn)算法来提取噪声相关特征并提高解码性能。在文献[t.watanabe,t.ohseki,and k.yamazaki,“deep learning-based bit reliabilitybased decoding for non-binary ldpc codes,”in proc.2021ieee internationalsymposium on information theory(isit),mel-bourne,australia,2021,pp.1451–1456.]中，作者提出了基于神经比特可靠性(nbrb)和基于神经加权比特可靠性(nwbrb)的解码算法。与其他常用的nb-ldpc译码算法相比，brb算法虽然复杂度较低，但译码性能却大大恶化，与ems算法存在性能差距。ems算法考虑了性能和计算复杂度之间的平衡，目前业界广泛用于nb-ldpc解码，还没有基于模型驱动的深度学习的ems解码算法。

技术实现思路

1、本发明旨在解决上述模型驱动深度学习的brb译码算法的不足，提供一种基于模型驱动深度学习的非二进制ldpc译码方法。该方法在ems算法的基础上，提出了一种模型驱动的基于深度学习的ems算法，称为nems算法。与传统ems算法相比，nems算法对于中短nb-ldpc码具有更好的译码性能。

2、本发明为解决上述技术问题采用以下技术方案：

3、一种基于模型驱动深度学习的非二进制ldpc译码方法，所述方法包括：

4、(1)把非二进制ldpc码的ems迭代译码结构中的每一次迭代看作一个独立的单元，这样原来m次迭代的ems译码流程展开为m个独立的单元，将这m个独立的单元串行连接形成一个“平铺”式结构；

5、(2)把非二进制ldpc码的ems迭代译码结构中每一次迭代中由检验节点到变量节点传递信息计算看作校验节点cn层，由变量节点到校验节点传递信息计算看作变量节点vn层，这样每一个独立的单元中就包含两层神经网络计算；

6、(3)把非二进制ldpc码的ems迭代译码结构中的输出判决计算展开，并加上一个交叉熵损失计算函数构成“平铺”式结构的输出层；

7、(4)经过(1)至(3)的处理，将非二进制ldpc码的ems迭代译码结构展开形成用于非二进制ldpc码的译码网络emsnet；

8、(5)对emsnet进行训练；

9、(6)对训练完成的emsnet输出的信息比特后验概率对数似然比估计值用sigmoid函数进行归一化，并对归一化的结果进行硬判决，得到真实信息比特序列的估计值，从而实现对非二进制ldpc码的译码。

10、进一步地，emsnet的输入为信道接收到的消息的llr值，经过输入层的排序和归一化处理后，得到排序和归一化的llr值ls。

11、进一步地，该方法还包括在cn层和vn层分别添加一个可训练的学习权重向量。

12、本发明还提供一种基于模型驱动深度学习的非二进制ldpc译码系统，包括：

13、结构展开单元，用于将非二进制ldpc码的ems迭代译码结构展开形成用于非二进制ldpc码的译码网络emsnet；

14、训练单元，用于对emsnet进行训练；

15、译码单元，用于对训练完成的emsnet输出的信息比特后验概率对数似然比估计值用sigmoid函数进行归一化，并对归一化的结果进行硬判决，得到真实信息比特序列的估计值，从而实现对非二进制ldpc码的译码。

16、本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如上所述的方法。

17、本发明还提供一种电子设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上方法的指令。

18、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

19、本发明提出了一种基于模型驱动深度学习的新型nb-ldpc解码算法，称为nems算法，它是通过ems算法展开得到的。与传统ems算法相比，nems算法对于中短nb-ldpc码具有更好的译码性能。与传统的标准ems算法类似，本文发明的nems算法也采用了消息截断机制。当不同长度的消息被截断时，算法的性能会受到不同程度的影响。最后，我们验证了nems算法对于不同训练机制的性能，发现它在遍历所有snr区域进行训练时具有最佳性能。