纵向眼底图像生成方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，尤其涉及一种纵向眼底图像生成方法、装置、电子设备及存储介质。

背景技术：

1、通过眼底图像可以清晰显示眼底血管的状态，并及时发现相关疾病，如黄斑水肿、糖尿病视网膜病变、视网膜出血、青光眼等，并且彩色眼底图是目前最普及、最容易获取、最广泛使用的眼科医疗影像模式，所以眼底检查不仅对眼科疾病的诊断有重要意义，还能推断受检者的健康状况以进行早期的筛查和干预。然而，由于参与者流失和扫描失败，在不同时间点丢失数据是纵向研究中不可避免的问题，与直接丢弃不完整数据相比，数据插补被认为是解决此类缺失数据以保留所有可用样本的更好解决方案。尤其是通过推理受检者的纵向眼底图像可以直观地观察到受检者的眼部的病变演化过程，生成逼真的演变过程对相关疾病的早期筛查和干预具有重要意义。

2、目前，纵向眼底图像的生成技术存在以下问题：

3、1、生成图像的分辨率较低，2、生成图像的血管脉络不真实。

技术实现思路

1、本技术实施例提供一种纵向眼底图像生成方法、装置、电子设备及存储介质，以解决现有技术中纵向眼底图像生成技术存在生成图像的分辨率较低，且血管脉络不真实的问题。

2、为了解决上述技术问题，本技术实施例是这样实现的：：

3、第一方面，本技术实施例提供了一种纵向眼底图像生成方法，所述方法包括：

4、获取源眼底图像，及所述源眼底图像对应的预测年龄；；

5、将所述源眼底图像和所述预测年龄信息输入至纵向眼底图像生成模型，所述纵向眼底图像生成模型包括：序列感知模块和扩散模块；

6、调用所述序列感知模块根据所述预测年龄信息对所述源眼底图像进行特征预测，得到所述源眼底图像在所述预测年龄的眼底演变特征；

7、调用所述扩散模块对所述眼底演变特征进行处理，得到所述源眼底图像在所述预测年龄的纵向眼底图像。

8、可选地，所述序列感知模块包括：时间编码器和空间解码器，

9、所述调用所述序列感知模块根据所述预测年龄信息对所述源眼底图像进行特征预测，得到所述源眼底图像在所述预测年龄的眼底演变特征，包括：

10、调用所述时间编码器根据所述源眼底图像的图像特征，，预测所述源眼底图像在所述预测年龄的时间变化特征；

11、调用所述空间解码器根据所述源眼底图像的图像特征，，预测所述源眼底图像在所述预测年龄的空间位置变化特征；

12、将所述时间变化特征和所述空间位置变化特征作为所述眼底演变特征。

13、可选地，所述调用所述扩散模块对所述眼底演变特征进行处理，得到所述源眼底图像在所述预测年龄的纵向眼底图像，包括：

14、调用所述扩散模型对所述眼底演变特征添加噪声，以使所述眼底演变特征从原始分布变为所述预测年龄的预期分布；

15、在逆扩散阶段，对所述预期分布进行处理，以将所述预期分布恢复为原始分布，得到所述源眼底图像在所述预测年龄的纵向眼底图像。

16、可选地，所述纵向眼底图像包括：第一年龄的第一纵向眼底图像和第二年龄的第二纵向眼底图像，

17、在所述调用所述扩散模块对所述眼底演变特征进行处理，得到所述源眼底图像在所述预测年龄的纵向眼底图像之后，还包括：

18、在预测所述第一年龄与第二年龄之间每个月份的纵向眼底图像的情况下，将所述第一纵向眼底图像和所述第二纵向眼底图像输入至变形模块；

19、调用所述变形模块的空间变化层对所述第一纵向眼底图像和所述第二纵向眼底图像进行三线性插值处理，得到所述第一年龄与第二年龄之间每个月份的眼底特征图；

20、根据所述眼底特征图，确定所述第一年龄与所述第二年龄之间的配准场；

21、基于所述配准场对所述眼底特征图进行图像重建，得到所述第一年龄与第二年龄之间每个月份的纵向眼底图像。

22、可选地，在所述将所述源眼底图像和所述预测年龄信息输入至纵向眼底图像生成模型之前，还包括：

23、获取模型训练样本，所述模型训练样本包含具有目标眼底病症的不同年龄的眼底图像序列；

24、将所述模型训练样本输入至待训练纵向眼底图像生成模型，所述待训练纵向眼底图像生成模型包括：序列感知模块和扩散模块；

25、调用所述序列感知模块对所述眼底图像序列进行处理，，得到所述眼底图像序列中相邻两幅眼底图像之间的眼底变化特征；

26、调用所述扩散模块对所述眼底变化特征进行处理，以得到不同年龄的预测纵向眼底图像；

27、基于所述预测纵向眼底图像和对应年龄的真实眼底图像，计算得到所述待训练纵向眼底图像生成模型的损失函数；

28、在所述损失函数处于预设范围内的情况下，将训练后的待训练纵向眼底图像生成模型作为最终的纵向眼底图像生成模型。

29、可选地，所述序列感知模块包括：时间编码器和空间解码器，

30、所述调用所述序列感知模块对所述眼底图像序列进行处理，得到所述眼底图像序列中相邻两幅眼底图像之间的眼底变化特征，包括：

31、调用所述时间编码器对所述眼底图像序列进行处理，得到所述眼底图像序列中相邻两幅眼底图像的病灶随时间变化的时间特征；

32、调用所述空间解码器对所述眼底图像序列进行处理，得到所述眼底图像序列中相邻两幅眼底图像的病灶随空间位置变化的空间特征；

33、将所述时间特征和所述空间特征作为所述眼底变化特征。

34、第二方面，本技术实施例提供了一种纵向眼底图像生成装置，所述装置包括：

35、源图像获取模块，用于获取源眼底图像，及所述源眼底图像对应的预测年龄；

36、源图像输入模块，用于将所述源眼底图像和所述预测年龄信息输入至纵向眼底图像生成模型，所述纵向眼底图像生成模型包括：序列感知模块和扩散模块；

37、眼底演变特征获取模块，用于调用所述序列感知模块根据所述预测年龄信息对所述源眼底图像进行特征预测，得到所述源眼底图像在所述预测年龄的眼底演变特征；

38、纵向眼底图像获取模块，用于调用所述扩散模块对所述眼底演变特征进行处理，得到所述源眼底图像在所述预测年龄的纵向眼底图像。

39、可选地，所述序列感知模块包括：时间编码器和空间解码器，

40、所述眼底演变特征获取模块包括：

41、时间变化特征预测单元，用于调用所述时间编码器根据所述源眼底图像的图像特征，预测所述源眼底图像在所述预测年龄的时间变化特征；

42、空间变化特征预测单元，用于调用所述空间解码器根据所述源眼底图像的图像特征，预测所述源眼底图像在所述预测年龄的空间位置变化特征；

43、眼底演变特征获取单元，用于将所述时间变化特征和所述空间位置变化特征作为所述眼底演变特征。

44、可选地，所述纵向眼底图像获取模块包括：

45、预期分布获取单元，用于调用所述扩散模型对所述眼底演变特征添加噪声，以使所述眼底演变特征从原始分布变为所述预测年龄的预期分布；

46、纵向眼底图像获取单元，用于在逆扩散阶段，对所述预期分布进行处理，以将所述预期分布恢复为原始分布，得到所述源眼底图像在所述预测年龄的纵向眼底图像。

47、可选地，所述纵向眼底图像包括：第一年龄的第一纵向眼底图像和第二年龄的第二纵向眼底图像，

48、所述装置还包括：

49、纵向眼底图像输入模块，用于在预测所述第一年龄与第二年龄之间每个月份的纵向眼底图像的情况下，将所述第一纵向眼底图像和所述第二纵向眼底图像输入至变形模块；

50、眼底特征图获取模块，用于调用所述变形模块的空间变化层对所述第一纵向眼底图像和所述第二纵向眼底图像进行三线性插值处理，得到所述第一年龄与第二年龄之间每个月份的眼底特征图；

51、配准场确定模块，用于根据所述眼底特征图，确定所述第一年龄与所述第二年龄之间的配准场；

52、纵向图像获取模块，用于基于所述配准场对所述眼底特征图进行图像重建，得到所述第一年龄与第二年龄之间每个月份的纵向眼底图像。

53、可选地，所述装置还包括：

54、模型训练样本获取模块，用于获取模型训练样本，所述模型训练样本包含具有目标眼底病症的不同年龄的眼底图像序列；

55、模型训练样本输入模块，用于将所述模型训练样本输入至待训练纵向眼底图像生成模型，所述待训练纵向眼底图像生成模型包括：：序列感知模块和扩散模块；

56、眼底变化特征获取模块，用于调用所述序列感知模块对所述眼底图像序列进行处理，得到所述眼底图像序列中相邻两幅眼底图像之间的眼底变化特征；

57、预测眼底图像获取模块，用于调用所述扩散模块对所述眼底变化特征进行处理，以得到不同年龄的预测纵向眼底图像；

58、损失函数计算模块，用于基于所述预测纵向眼底图像和对应年龄的真实眼底图像，计算得到所述待训练纵向眼底图像生成模型的损失函数；

59、生成模型获取模块，用于在所述损失函数处于预设范围内的情况下，将训练后的待训练纵向眼底图像生成模型作为最终的纵向眼底图像生成模型。

60、可选地，所述序列感知模块包括：时间编码器和空间解码器，

61、所述眼底变化特征获取模块包括：

62、时间特征获取单元，用于调用所述时间编码器对所述眼底图像序列进行处理，得到所述眼底图像序列中相邻两幅眼底图像的病灶随时间变化的时间特征；

63、空间特征获取单元，用于调用所述空间解码器对所述眼底图像序列进行处理，得到所述眼底图像序列中相邻两幅眼底图像的病灶随空间位置变化的空间特征；

64、眼底变化特征获取单元，用于将所述时间特征和所述空间特征作为所述眼底变化特征。

65、第三方面，本技术实施例提供了一种电子设备，包括：：

66、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的纵向眼底图像生成方法。

67、第四方面，本技术实施例提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的纵向眼底图像生成方法。

68、在本技术实施例中，通过获取源眼底图像，及源眼底图像对应的预测年龄。将源眼底图像和预测年龄信息输入至纵向眼底图像生成模型，纵向眼底图像生成模型包括：序列感知模块和扩散模块。调用序列感知模块根据预测年龄信息对源眼底图像进行特征预测，得到源眼底图像在预测年龄的眼底演变特征。调用扩散模型对眼底演变特征进行处理，得到源眼底图像在预测年龄的纵向眼底图像。本技术实施例提供的纵向眼底图像生成模型融入了序列感知模块，可以捕捉到眼底病变的演变过程，能够生成逼真的眼底图像序列，提高了生成的纵向眼底图像的准确性和逼真度。同时，扩散模块可以在高保真方面提供可靠性，进而可以生成具有高分辨率和高保真性的纵向眼底图像，以便于疾病诊断。

69、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。