一种时序电镜样本重构模型的处理方法和装置与流程

本发明涉及数据处理，特别涉及一种时序电镜样本重构模型的处理方法和装置。

背景技术：

1、冷冻电镜投影图是指对目标分子颗粒进行冷冻后通过电子显微镜投影拍摄获得的电镜投影图。目前，将用于图像位姿预测和像素级分类预测的图像编码器模型应用在冷冻电镜投影图的处理领域可对模型输入的冷冻电镜投影图的投影旋转（角度）特征、投影平移特征和平面构象分布特征进行较好的预测；另外，将基于傅里叶切片理论的图像解码器（或生成器）模型应用在冷冻电镜投影图的处理领域可根据编码器输出的投影旋转（角度）特征和平面构象分布特征对目标分子颗粒的三维体积特征（其本质是与体积特征相关的傅里叶切片频谱特征）进行较好的预测；再有，将常规基于傅里叶频谱进行图像预测的图像预测模型（或网络）应用在冷冻电镜投影图的处理领域可根据编、解码器输出的投影平移特征和三维体积特征对目标分子颗粒的高清晰度二维/三维投影图进行较好的预测。

2、然而将上述应用在冷冻电镜投影图的编、解码器（或生成器）和图像预测模型直接应在液相模态电镜投影图的分析研究上却无法达到预期的预测效果，这里的液相模态电镜投影图是指目标分子颗粒处于非冷冻状态的液相模态下通过电子显微镜投影拍摄获得的电镜投影图。究其原因主要是相较于单颗粒冷冻电镜的成像模态，液相电镜是将样本置于溶液环境中使得样本保持其原有的运动状态和构象变化状态、因而含有时序信息，而应用在冷冻电镜投影图的编码器结构是在不考虑时序因素的情况下进行编码处理，所以产生的旋转、平移和构象分布特征都不够准确，这自然就会影响到解码器（或生成器）与图像预测模型的预测精度。要解决这个问题就需要对编码器结构进行改造，而如何对编码器进行改造使之能将时序因素纳入到编码过程中就是本发明需要解决的问题。

技术实现思路

1、本发明的目的，就是针对现有技术的缺陷，提供一种时序电镜样本重构模型的处理方法、装置、电子设备及计算机可读存储介质；给出两种可对液相模态电镜投影图序列进行端到端高清晰度投影图重构（或预测）的时序电镜样本重构模型（第一、第二重构模型）；其中，第一重构模型由位置编码模块、第一编码器、生成器和投影图预测网络组成，第二重构模型由位置编码模块、第二编码器、生成器和投影图预测网络组成，两个重构模型中位置编码模块、生成器和投影图预测网络都是相同的、区别在于编码器结构不同；第一重构模型的第一编码器通过引入双向循环神经网络（bidirectional recurrent neural networks，birnn）和按时序迭代的特征整合预测网络将时序因素纳入到了平面构象分布特征的编码（或预测）过程中，而第二重构模型的第二编码器则通过引入transformer模型的编码器结构将时序因素纳入到了平面构象分布特征的编码（或预测）过程中。通过本发明两种重构模型的两种编码器设计可以解决常规编码器在对液相模态电镜投影图进行特征编码时未考虑时序因素的问题，本发明两种重构模型通过提高编码输出准确度的方式来达到提高三维体积特征预测准确度和高精度投影图重构准确度的目的。

2、为实现上述目的，本发明实施例第一方面提供了一种时序电镜样本重构模型的处理方法，所述方法包括：

3、构建两种时序电镜样本重构模型记为对应的第一、第二重构模型；所述第一、第二重构模型的输入均为带有时序关系的液相模态电镜投影图序列记为对应的原始投影图序列{xi}，1≤i；所述第一、第二重构模型的输出均包括带有对应时序关系的三维体积特征序列{vi}和带有对应时序关系的重构投影图序列{xi,p}；

4、对所述第一、第二重构模型进行模型训练；

5、所述第一、第二模型训练结束后，对预设的模型应用模式进行识别；若所述模型应用模式为第一模式，则基于所述第一或第二重构模型对带有时序关系的液相模态电镜投影图序列进行三维体积特征预测和电镜投影图重构处理；若所述模型应用模式为第二模式，则基于所述第一或第二重构模型对单张液相模态电镜投影图进行三维体积特征预测和电镜投影图重构处理。

6、优选的，所述原始投影图序列{xi}包括多个原始投影图xi；i为原始投影图的时序索引；所述原始投影图xi为在不同时间点上采集到的液相模态电镜投影图；

7、所述三维体积特征序列{vi}包括多个三维体积特征vi；

8、所述重构投影图序列{xi,p}包括多个重构投影图xi,p。

9、优选的，所述第一重构模型包括位置编码模块、第一编码器、生成器和投影图预测网络；

10、所述位置编码模块的输入端为所述第一重构模型的输入端，输出端与所述生成器的第一输入端连接；

11、所述位置编码模块用于对所述原始投影图序列{xi}的各个所述原始投影图xi进行像素级位置编码生成对应的位置编码特征pei组成对应的位置编码特征序列{pei}向所述生成器发送；所述位置编码特征序列{pei}包括多个所述位置编码特征pei；

12、所述第一编码器包括主干特征提取网络、第一投影构象分布预测网络、投影旋转预测网络和投影平移预测网络；所述主干特征提取网络的输入端为所述第一重构模型的输入端，输出端分别与所述第一投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络的输入端连接；所述第一投影构象分布预测网络包括双向循环神经网络和特征整合预测网络；所述双向循环神经网络的输入端为所述第一投影构象分布预测网络的输入端，输出端与所述特征整合预测网络的输入端连接；所述特征整合预测网络的输出端为所述第一投影构象分布预测网络的输出端并与所述生成器的第二输入端连接，所述特征整合预测网络包括特征整合模块和构象分布预测模块；所述投影旋转预测网络的输出端分别与所述生成器的第三输入端和所述投影图预测网络的第二输入端连接；所述投影平移预测网络的输出端与所述投影图预测网络的第三输入端连接；

13、所述第一编码器用于对输入的所述原始投影图序列{xi}进行构象分布特征、旋转特征和平移特征编码生成对应的构象分布特征序列{zi}、旋转特征序列{ri}和平移特征序列{ti}；并将所述构象分布特征序列{zi}和所述旋转特征序列{ri}向所述生成器发送，将所述旋转特征序列{ri}和所述平移特征序列{ti}向所述投影图预测网络发送；所述构象分布特征序列{zi}包括多个构象分布特征zi；所述旋转特征序列{ri}包括多个旋转特征ri；所述平移特征序列{ti}包括多个平移特征ti；

14、所述生成器的输出端分别与所述投影图预测网络的第一输入端和所述第一重构模型的第一输出端连接；

15、所述生成器用于根据各个所述时序索引i对应的所述位置编码特征pei、所述构象分布特征zi和所述旋转特征ri进行三维特征识别生成对应的所述三维体积特征vi组成对应的所述三维体积特征序列{vi}向所述投影图预测网络发送；并将所述三维体积特征序列{vi}作为所述第一重构模型的一个输出结果输出；

16、所述投影图预测网络的输出端与所述第一重构模型的第二输出端连接；

17、所述投影图预测网络用于根据各个所述时序索引i对应的所述三维体积特征vi、所述旋转特征ri和所述平移特征ti进行电镜投影图预测并将得到的预测电镜投影图作为对应的所述重构投影图xi,p组成对应的所述重构投影图序列{xi,p}；并将所述重构投影图序列{xi,p}作为所述第一重构模型的一个输出结果输出。

18、优选的，所述位置编码模块基于多层感知神经网络实现；

19、所述主干特征提取网络基于卷积神经网络实现；

20、所述特征整合预测网络的所述特征整合模块基于多层感知神经网络实现；

21、所述特征整合预测网络的所述构象分布预测模块以及所述投影旋转预测网络和所述投影平移预测网络都基于一个三层预测头网络实现；所述三层预测头网络包括第一线性层、第一残差网络层和第二线性层，所述第一线性层与所述第一残差网络层连接，所述第一残差网络层与所述第二线性层连接；所述第一残差网络层由指定数量的残差模块顺次连接而成；

22、所述生成器包括第三线性层、第二残差网络层和第四线性层，所述第三线性层与所述第二残差网络层连接，所述第二残差网络层与所述第四线性层连接；所述第二残差网络层由指定数量的残差模块顺次连接而成；

23、所述投影图预测网络基于卷积神经网络实现。

24、进一步的，所述第一编码器用于对输入的所述原始投影图序列{xi}进行构象分布特征、旋转特征和平移特征编码生成对应的构象分布特征序列{zi}、旋转特征序列{ri}和平移特征序列{ti}，具体包括：

25、所述第一编码器的所述主干特征提取网络用于对输入的所述原始投影图序列{xi}的各个所述原始投影图xi进行特征提取处理生成对应的提取特征yi组成对应的提取特征序列{yi}向所述第一投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络发送；

26、所述第一投影构象分布预测网络用于根据所述提取特征序列{yi}进行与时序传递特征相结合的构象分布特征预测生成对应的所述构象分布特征序列{zi}；

27、所述投影旋转预测网络用于根据所述提取特征序列{yi}的各个所述提取特征yi进行投影旋转特征预测生成对应的所述旋转特征ri组成对应的所述旋转特征序列{ri}；

28、所述投影平移预测网络用于根据所述提取特征序列{yi}的各个所述提取特征yi进行投影平移特征预测生成对应的所述平移特征ti组成对应的所述平移特征序列{ti}。

29、进一步优选的，所述第一投影构象分布预测网络用于根据所述提取特征序列{yi}进行与时序传递特征相结合的构象分布特征预测生成对应的所述构象分布特征序列{zi}，具体包括：

30、所述第一投影构象分布预测网络的所述双向循环神经网络用于对所述提取特征序列{yi}的正向、反向时序传递特征进行提取生成对应的正向时序传递特征序列{gi,f}和反向时序传递特征序列{gi,b}，并对所述正向时序传递特征序列{gi,f}和所述反向时序传递特征序列{gi,b}进行加和处理得到对应的加和特征序列{gi,f+gi,b}，并对所述加和特征序列{gi,f+gi,b}按正向时序进行滤波得到对应的时序传递特征序列{gi,f+b}向所述特征整合预测网络发送；所述正向时序传递特征序列{gi,f}包括多个正向时序传递特征gi,f；所述反向时序传递特征序列{gi,b}包括多个反向时序传递特征gi,b；所述时序传递特征序列{gi,f+b}包括多个时序传递特征gi,f+b；

31、所述特征整合预测网络用于按时序索引迭代的方式进行特征整合和构象分布预测得到对应的所述构象分布特征序列{zi}，具体为：对应每个所述时序索引i，所述特征整合模块根据前一时序索引i-1对应的构象分布特征zi-1和当前时序索引i对应的所述时序传递特征gi,f+b进行特征整合生成对应的整合特征ci=g(zi-1)+gi,f+b向所述构象分布预测模块发送；所述构象分布预测模块则根据当前时序索引i对应的所述整合特征ci进行构象分布预测生成对应的所述构象分布特征zi；其中，g()为预设的构象分布特征-时序传递特征转换函数，所述构象分布特征zi-1在所述前一时序索引i-1为0时被设为预设的构象分布特征初始值zinit。

32、优选的，所述第二重构模型包括所述位置编码模块、第二编码器、所述生成器和所述投影图预测网络；

33、所述位置编码模块的输入端为所述第二重构模型的输入端，输出端分别所述第二编码器的第二输入端和所述生成器的第一输入端连接；

34、所述位置编码模块用于对所述原始投影图序列{xi}的各个所述原始投影图xi进行像素级位置编码生成对应的位置编码特征pei组成对应的位置编码特征序列{pei}向所述第二编码器和所述生成器分别发送；所述位置编码特征序列{pei}包括多个所述位置编码特征pei；

35、所述第二编码器包括所述主干特征提取网络、transformer编码器网络、第二投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络；所述主干特征提取网络的输入端为所述第二编码器的第一输入端与所述第二重构模型的输入端连接，输出端与所述transformer编码器网络的第一输入端连接；所述transformer编码器网络的输入端包括第一、第二输入端，其中第二输入端与所述第二编码器的第二输入端连接，输出端分别与所述第二投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络的输入端连接；所述第二投影构象分布预测网络的输出端与所述生成器的第二输入端连接；所述投影旋转预测网络的输出端分别与所述生成器的第三输入端和所述投影图预测网络的第二输入端连接；所述投影平移预测网络的输出端与所述投影图预测网络的第三输入端连接；

36、所述第二编码器用于对输入的所述原始投影图序列{xi}进行构象分布特征、旋转特征和平移特征编码生成对应的构象分布特征序列{zi}、旋转特征序列{ri}和平移特征序列{ti}；并将所述构象分布特征序列{zi}和所述旋转特征序列{ri}向所述生成器发送，将所述旋转特征序列{ri}和所述平移特征序列{ti}向所述投影图预测网络发送；所述构象分布特征序列{zi}包括多个构象分布特征zi；所述旋转特征序列{ri}包括多个旋转特征ri；所述平移特征序列{ti}包括多个平移特征ti；

37、所述生成器的输出端分别与所述投影图预测网络的第一输入端和所述第二重构模型的第一输出端连接；

38、所述生成器用于根据各个所述时序索引i对应的所述位置编码特征pei、所述构象分布特征zi和所述旋转特征ri进行三维特征识别生成对应的所述三维体积特征vi组成对应的所述三维体积特征序列{vi}向所述投影图预测网络发送；并将所述三维体积特征序列{vi}作为所述第二重构模型的一个输出结果输出；

39、所述投影图预测网络的输出端与所述第二重构模型的第二输出端连接；

40、所述投影图预测网络用于根据各个所述时序索引i对应的所述三维体积特征vi、所述旋转特征ri和所述平移特征ti进行电镜投影图预测并将得到的预测电镜投影图作为对应的所述重构投影图xi,p组成对应的所述重构投影图序列{xi,p}；并将所述重构投影图序列{xi,p}作为所述第二重构模型的一个输出结果输出。

41、优选的，所述transformer编码器网络基于transformer的编码器结构实现；所述第二投影构象分布预测网络基于一个所述三层预测头网络实现。

42、进一步的，所述第二编码器用于对输入的所述原始投影图序列{xi}进行构象分布特征、旋转特征和平移特征编码生成对应的构象分布特征序列{zi}、旋转特征序列{ri}和平移特征序列{ti}，具体包括：

43、所述第二编码器的所述主干特征提取网络用于对输入的所述原始投影图序列{xi}的各个所述原始投影图xi进行特征提取处理生成对应的提取特征yi组成对应的提取特征序列{yi}向所述transformer编码器网络发送；

44、所述transformer编码器用于对输入的所述位置编码特征序列{pei}和所述提取特征序列{yi}进行特征融合生成对应的融合特征序列{mi}；并对所述融合特征序列{mi}进行特征编码生成对应的编码特征序列{ei}；并将所述编码特征序列{ei}分别向所述第二投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络发送；所述融合特征序列{mi}包括多个融合特征mi；所述编码特征序列{ei}包括多个编码特征ei；

45、所述第二投影构象分布预测网络用于根据所述编码特征序列{ei}的各个所述编码特征ei进行投影构象分布特征预测生成对应的所述构象分布特征zi组成对应的所述构象分布特征序列{zi}；

46、所述投影旋转预测网络用于根据所述编码特征序列{ei}的各个所述编码特征ei进行投影旋转特征预测生成对应的所述旋转特征ri组成对应的所述旋转特征序列{ri}；

47、所述投影平移预测网络用于根据所述编码特征序列{ei}的各个所述编码特征ei进行投影平移特征预测生成对应的所述平移特征ti组成对应的所述平移特征序列{ti}。

48、优选的，所述对所述第一、第二重构模型进行模型训练，具体包括：

49、采集指定数量的带有时序关系的液相模态电镜投影图序列组成对应的第一原始序列集合；并将所述第一原始序列集合中的各个所述液相模态电镜投影图序列作为对应的第一原始序列；并将各个所述第一原始序列中的各个液相模态电镜投影图作为对应的第一原始投影图；并对各个所述第一原始序列中进行任意起始位置和任意长度的子序列裁剪得到多个第一子序列；并将得到的所有所述第一子序列作为新增的所述第一原始序列添加到所述第一原始序列集合中；

50、对所述第一原始序列集合的各个所述第一原始序列进行遍历；并在遍历时，将当前遍历的所述第一原始序列作为对应的当前原始序列；并对所述当前原始序列的各个所述第一原始投影图做傅里叶变换并将变换结果作为对应的第一标签特征；并由得到的所有所述第一标签特征组成与所述当前原始序列对应的第一标签特征序列；并在遍历结束时，由得到的所有所述第一标签特征序列组成对应的第一标签特征序列集合；

51、根据所述第一原始序列集合和所述第一标签特征序列集合对所述第一重构模型进行模型训练；

52、根据所述第一原始序列集合和所述第一标签特征序列集合对所述第二重构模型进行模型训练。

53、进一步的，所述根据所述第一原始序列集合和所述第一标签特征序列集合对所述第一重构模型进行模型训练，具体包括：

54、步骤111，将所述第一原始序列集合的第一个所述第一原始序列提取出来作为对应的当前原始序列；并将所述第一标签特征序列集合中与所述当前原始序列对应的所述第一标签特征序列作为对应的当前标签特征序列；

55、步骤112，将所述当前原始序列输入所述第一重构模型，由所述位置编码模块对所述当前原始序列的各个所述第一原始投影图进行像素级位置编码生成对应的第一位置编码特征组成对应的第一位置编码特征序列；并由所述第一编码器对所述当前原始序列进行构象分布特征、旋转特征和平移特征编码生成对应的第一构象分布特征序列、第一旋转特征序列和第一平移特征序列；并由所述生成器根据所述第一位置编码特征序列、所述第一构象分布特征序列和所述第一旋转特征序列进行三维特征识别生成对应的第一三维体积特征序列；所述第一构象分布特征序列包括多个第一构象分布特征；所述第一旋转特征序列包括多个第一旋转特征；所述第一平移特征序列包括多个第一平移特征；所述第一三维体积特征序列包括多个第一三维体积特征；

56、步骤113，基于傅里叶切片定理，根据所述当前原始序列中各个所述第一原始投影图对应的所述第一三维体积特征和所述第一平移特征计算对应的中心切片特征并将计算结果作为对应的第一目标特征；并由得到的所有所述第一目标特征组成对应的第一目标特征序列；

57、步骤114，将所述第一目标特征序列和所述当前标签特征序列输入预设的第一模型损失函数进行计算得到对应的第一损失值；

58、步骤115，对所述第一损失值是否满足预设的第一损失值范围进行识别；若所述第一损失值满足所述第一损失值范围，则对所述当前原始序列是否为所述第一原始序列集合的最后一个所述第一原始序列进行识别，若是则转至步骤116，若否则将所述第一原始序列集合中的下一个所述第一原始序列提取出来作为新的所述当前原始序列并将所述第一标签特征序列集合中与新的所述当前原始序列对应的所述第一标签特征序列作为新的所述当前标签特征序列并返回步骤112继续训练；若所述第一损失值不满足所述第一损失值范围，则对所述第一重构模型的所述第一编码器和所述生成器的模型参数进行调制并在调制结束时返回步骤112继续训练；

59、步骤116，将所述第一原始序列集合的第一个所述第一原始投影图提取出来作为对应的第一投影图；并对所述第一投影图进行滤波得到对应的第一标签图；

60、步骤117，将所述第一投影图输入所述第一重构模型，由所述位置编码模块对所述第一投影图进行像素级位置编码生成对应的第二位置编码特征；并由所述第一编码器对所述第一投影图进行构象分布特征、旋转特征和平移特征编码生成对应的第二构象分布特征、第二旋转特征和第二平移特征；并由所述生成器根据所述第二位置编码特征、所述第二构象分布特征和所述第二旋转特征进行三维特征识别生成对应的第二三维体积特征；并由所述投影图预测网络根据所述第二三维体积特征、所述第二旋转特征和所述第二平移特征进行电镜投影图预测并将得到的预测电镜投影图作为对应的第一重构投影图；

61、步骤118，将所述第一重构投影图和所述第一标签图输入预设的第二模型损失函数进行计算得到对应的第二损失值；

62、步骤119，对所述第二损失值是否满足预设的第二损失值范围进行识别；若所述第二损失值满足所述第二损失值范围，则对所述第一投影图是否为所述第一原始序列集合的最后一个所述第一原始投影图进行识别，若是则转至步骤120，若否则将所述第一原始序列集合中的下一个所第一原始投影图提取出来作为新的所述第一投影图并对新的所述第一投影图进行滤波得到新的所述第一标签图并返回步骤117继续训练；若所述第二损失值不满足所述第二损失值范围，则对所述第一重构模型的所述投影图预测网络的模型参数进行调制并在调制结束时返回步骤117继续训练；

63、步骤120，停止模型训练并确认所述第一重构模型的模型训练结束。

64、进一步的，所述根据所述第一原始序列集合和所述第一标签特征序列集合对所述第二重构模型进行模型训练，具体包括：

65、步骤121，将所述第一原始序列集合的第一个所述第一原始序列提取出来作为对应的当前原始序列；并将所述第一标签特征序列集合中与所述当前原始序列对应的所述第一标签特征序列作为对应的当前标签特征序列；

66、步骤122，将所述当前原始序列输入所述第二重构模型，由所述位置编码模块对所述当前原始序列的各个所述第一原始投影图进行像素级位置编码生成对应的第三置编码特征组成对应的第三位置编码特征序列；并由所述第二编码器对所述当前原始序列进行构象分布特征、旋转特征和平移特征编码生成对应的第三构象分布特征序列、第三旋转特征序列和第三平移特征序列；并由所述生成器根据所述第三位置编码特征序列、所述第三构象分布特征序列和所述第三旋转特征序列进行三维特征识别生成对应的第三三维体积特征序列；所述第三构象分布特征序列包括多个第三构象分布特征；所述第三旋转特征序列包括多个第三旋转特征；所述第三平移特征序列包括多个第三平移特征；所述第三三维体积特征序列包括多个第三三维体积特征；

67、步骤123，基于傅里叶切片定理，根据所述当前原始序列中各个所述第一原始投影图对应的所述第三三维体积特征和所述第三平移特征计算对应的中心切片特征并将计算结果作为对应的第二目标特征；并由得到的所有所述第二目标特征组成对应的第二目标特征序列；

68、步骤124，将所述第二目标特征序列和所述当前标签特征序列输入预设的第三模型损失函数进行计算得到对应的第三损失值；

69、步骤125，对所述第三损失值是否满足预设的第三损失值范围进行识别；若所述第三损失值满足所述第三损失值范围，则对所述当前原始序列是否为所述第一原始序列集合的最后一个所述第一原始序列进行识别，若是则转至步骤126，若否则将所述第一原始序列集合中的下一个所述第一原始序列提取出来作为新的所述当前原始序列并将所述第一标签特征序列集合中与新的所述当前原始序列对应的所述第一标签特征序列作为新的所述当前标签特征序列并返回步骤122继续训练；若所述第三损失值不满足所述第三损失值范围，则对所述第二重构模型的所述第二编码器和所述生成器的模型参数进行调制并在调制结束时返回步骤122继续训练；

70、步骤126，将所述第一原始序列集合的第一个所述第一原始投影图提取出来作为对应的第二投影图；并对所述第二投影图进行滤波得到对应的第二标签图；

71、步骤127，将所述第二投影图输入所述第二重构模型，由所述位置编码模块对所述第二投影图进行像素级位置编码生成对应的第四位置编码特征；并由所述第二编码器对所述第二投影图进行构象分布特征、旋转特征和平移特征编码生成对应的第四构象分布特征、第四旋转特征和第四平移特征；并由所述生成器根据所述第四位置编码特征、所述第四构象分布特征和所述第四旋转特征进行三维特征识别生成对应的第四三维体积特征；并由所述投影图预测网络根据所述第四三维体积特征、所述第四旋转特征和所述第四平移特征进行电镜投影图预测并将得到的预测电镜投影图作为对应的第二重构投影图；

72、步骤128，将所述第二重构投影图和所述第二标签图输入预设的第四模型损失函数进行计算得到对应的第四损失值；

73、步骤129，对所述第四损失值是否满足预设的第四损失值范围进行识别；若所述第四损失值满足所述第四损失值范围，则对所述第二投影图是否为所述第一原始序列集合的最后一个所述第一原始投影图进行识别，若是则转至步骤130，若否则将所述第一原始序列集合中的下一个所第一原始投影图提取出来作为新的所述第二投影图并对新的所述第二投影图进行滤波得到新的所述第二标签图并返回步骤127继续训练；若所述第四损失值不满足所述第四损失值范围，则对所述第二重构模型的所述投影图预测网络的模型参数进行调制并在调制结束时返回步骤127继续训练；

74、步骤130，停止模型训练并确认所述第二重构模型的模型训练结束。

75、本发明实施例第二方面提供了一种用于实现上述第一方面所述的时序电镜样本重构模型的处理方法的装置，所述装置包括：模型构建模块、模型训练模块和模型应用模块；

76、所述模型构建模块用于构建两种时序电镜样本重构模型记为对应的第一、第二重构模型；所述第一、第二重构模型的输入均为带有时序关系的液相模态电镜投影图序列记为对应的原始投影图序列{xi}，1≤i；所述第一、第二重构模型的输出均包括带有对应时序关系的三维体积特征序列{vi}和带有对应时序关系的重构投影图序列{xi,p}；

77、所述模型训练模块用于对所述第一、第二重构模型进行模型训练；

78、所述模型应用模块用于在所述第一、第二模型训练结束后，对预设的模型应用模式进行识别；若所述模型应用模式为第一模式，则基于所述第一或第二重构模型对带有时序关系的液相模态电镜投影图序列进行三维体积特征预测和电镜投影图重构处理；若所述模型应用模式为第二模式，则基于所述第一或第二重构模型对单张液相模态电镜投影图进行三维体积特征预测和电镜投影图重构处理。

79、本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；

80、所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；

81、所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。

82、本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。

83、本发明实施例提供了一种时序电镜样本重构模型的处理方法、装置、电子设备及计算机可读存储介质；在本发明方案中，首先给出两种可对液相模态电镜投影图序列进行端到端高清晰度投影图重构（或预测）的时序电镜样本重构模型（第一、第二重构模型）；其中，第一重构模型由位置编码模块、第一编码器、生成器和投影图预测网络组成，第二重构模型由位置编码模块、第二编码器、生成器和投影图预测网络组成，两个重构模型中位置编码模块、生成器和投影图预测网络都是相同的、区别在于编码器结构不同；第一重构模型的第一编码器通过引入双向循环神经网络和按时序迭代的特征整合预测网络将时序因素纳入到了平面构象分布特征的编码（或预测）过程中，而第二重构模型的第二编码器则通过引入transformer模型的编码器结构将时序因素纳入到了平面构象分布特征的编码（或预测）过程中；然后给出对这两种时序电镜样本重构模型的无监督训练方式；并在模型训练接收后对这两种时序电镜样本重构模型给出两种应用处理模式：对带有时序关系的液相模态电镜投影图序列进行批量三维特征预测和投影图重构的第一模式，以及对单张液相模态电镜投影图进行三维特征预测和投影图重构的第二模式。本发明方案的两种重构模型一方面通过提高编码输出准确度的方式提高了三维体积特征预测准确度和高精度投影图重构准确度，另一方面通过无监督模型训练方式降低了模型训练难度、提高了模型鲁棒性，再一方面通过给出两种应用模式提高了模型的使用便捷度。