基于隐空间扩散模型的组织病理学图像生成方法及装置

本发明涉及图像处理，特别是指一种基于隐空间扩散模型的组织病理学图像生成方法及装置。

背景技术：

1、医学成像模态，包括x射线、超声、计算机断层扫描、磁共振成像和正电子发射断层扫描以及特定器官的更具体的模态，其中组织病理学图像尤其蕴含丰富的信息，如细胞形态、细胞核大小、染色质分布、细胞排列、腺管分支等。这些信息对于疾病的诊断和治疗都有重要的意义，还可以用于研究疾病的发生和发展。但组织病理学图像取得方法复杂，需要进行病理组织切片和染色观察，可用于分析研究的数据少。

2、生成式人工智能模型的蓬勃发展为解决医疗图像面临的挑战提供了新的、有前景的解决方案。扩散模型作为一个新兴的生成模型家族，由于其完善的数学解释、无对抗的训练策略以及能够实现稳定可控的生成，在医学影像领域引起了相当大的关注，目前已应用于医疗图像中不同任务的研究，包括图像重建、图像生成和翻译、分割和异常检测等任务。此外，合成数据集还可以解决围绕医疗数据共享的隐私问题。然而，现有的组织病理学图像生成的技术应用中，不能很好的解决生成图像的泛化性问题。生成的组织病理学图像质量不高，而且还存在违反病理学细胞构成机理的情况出现。

3、在现有技术中，缺乏一种多样性丰富且保真度较高的高效组织病理学图像生成方法。

技术实现思路

1、为了解决现有技术存在的组织病理学生成图像的可靠性和泛化性不足的技术问题，本发明实施例提供了一种基于隐空间扩散模型的组织病理学图像生成方法及装置。所述技术方案如下：

2、一方面，提供了一种基于隐空间扩散模型的组织病理学图像生成方法，该方法由组织病理学图像生成设备实现，该方法包括：

3、s1、采集组织病理学数据，获得训练数据以及条件数据；

4、s2、根据所述训练数据，通过编码器-解码器模块，获得预训练权重；

5、s3、根据预设的时间步，对所述训练数据进行加噪处理，获得含噪隐变量；

6、s4、根据所述条件数据，通过条件编码模块进行特征提取，获得辅助推理条件特征；

7、s5、根据预设的时间步以及所述辅助推理条件特征，通过变压器块1以及变压器块2对所述含噪隐变量进行去噪处理，获得去噪隐变量；

8、s6、根据编码器-解码器模块结构以及隐空间扩散模型结构进行模型构建，获得待训练组织病理学图像生成模型；

9、s7、根据所述预训练权重以及所述去噪隐变量，对所述待训练组织病理学图像生成模型进行训练，获得组织病理学图像生成模型；

10、s8、获取待生成图像条件数据；根据所述待生成图像条件数据，通过所述组织病理学图像生成模型，获得组织病理学生成图像。

11、其中，所述训练数据为组织病理学图像。

12、其中，所述条件数据包括中性粒细胞、上皮细胞、结缔组织细胞、淋巴细胞、浆细胞和嗜酸性粒细胞的细胞核分割标注。

13、可选地，所述根据所述训练数据，通过编码器-解码器模块，获得预训练权重，包括：

14、根据所述训练数据，通过编码器结构进行均值方程计算，得到训练数据的均值以及方差；

15、根据所述均值以及方差，通过解码器结构进行重采样操作，获得预训练权重。

16、可选地，所述根据预设的时间步，对所述训练数据进行加噪处理，获得含噪隐变量，包括：

17、根据预设的时间步确定加噪方差；

18、根据所述训练数据确定隐变量初始分布；

19、根据所述加噪方差，对所述隐变量初始分布进行加噪，获得含噪隐变量。

20、其中，所述条件编码模块包括3*3卷积层、批标准化层和relu函数激活层。

21、可选地，所述根据预设的时间步以及所述辅助推理条件特征，通过变压器块1以及变压器块2对所述含噪隐变量进行去噪处理，获得去噪隐变量，包括：

22、s51、对所述含噪隐变量进行分块处理，获得输入令牌；

23、s52、设置去噪处理次数为n，当前处理次数为i，令i＝1；

24、s53、判断i是否大于n，如果i大于n，则转去执行步骤s56，如果i小于或等于n，则执行步骤s54；

25、s54、将所述输入令牌以及预设的时间步，通过变压器块1进行交叉注意力计算，得到含噪隐变量令牌f1；

26、s55、根据所述含噪隐变量令牌f1以及所述辅助推理条件特征，通过变压器块2进行交叉注意力计算，得到含噪隐变量令牌f2；将所述含噪隐变量令牌f2确定为输入令牌；令i＝i+1；执行步骤s53；

27、s56、停止处理；将所述含噪隐变量令牌f2确定为去噪隐变量。

28、另一方面，提供了一种基于隐空间扩散模型的组织病理学图像生成装置，该装置应用于基于隐空间扩散模型的组织病理学图像生成方法，该装置包括：

29、数据获取模块，用于采集组织病理学数据，获得训练数据以及条件数据；

30、预训练权重获取模块，用于根据所述训练数据，通过编码器-解码器模块，获得预训练权重；

31、数据加噪模块，用于根据预设的时间步，对所述训练数据进行加噪处理，获得含噪隐变量；

32、特征提取模块，用于根据所述条件数据，通过条件编码模块进行特征提取，获得辅助推理条件特征；

33、数据去噪模块，用于根据预设的时间步以及所述辅助推理条件特征，通过变压器块1以及变压器块2对所述含噪隐变量进行去噪处理，获得去噪隐变量；

34、模型构建模块，用于根据编码器-解码器模块结构以及隐空间扩散模型结构进行模型构建，获得待训练组织病理学图像生成模型；

35、模型训练模块，用于根据所述预训练权重以及所述去噪隐变量，对所述待训练组织病理学图像生成模型进行训练，获得组织病理学图像生成模型；

36、图像生成模块，用于获取待生成图像条件数据；根据所述待生成图像条件数据，通过所述组织病理学图像生成模型，获得组织病理学生成图像。

37、其中，所述训练数据为组织病理学图像。

38、其中，所述条件数据包括中性粒细胞、上皮细胞、结缔组织细胞、淋巴细胞、浆细胞和嗜酸性粒细胞的细胞核分割标注。

39、可选地，所述预训练权重获取模块，进一步用于：

40、根据所述训练数据，通过编码器结构进行均值方程计算，得到训练数据的均值以及方差；

41、根据所述均值以及方差，通过解码器结构进行重采样操作，获得预训练权重。

42、可选地，所述数据加噪模块，进一步用于：

43、根据预设的时间步确定加噪方差；

44、根据所述训练数据确定隐变量初始分布；

45、根据所述加噪方差，对所述隐变量初始分布进行加噪，获得含噪隐变量。

46、其中，所述条件编码模块包括3*3卷积层、批标准化层和relu函数激活层。

47、可选地，所述数据去噪模块，进一步用于：

48、s51、对所述含噪隐变量进行分块处理，获得输入令牌；

49、s52、设置去噪处理次数为n，当前处理次数为i，令i＝1；

50、s53、判断i是否大于n，如果i大于n，则转去执行步骤s56，如果i小于或等于n，则执行步骤s54；

51、s54、将所述输入令牌以及预设的时间步，通过变压器块1进行交叉注意力计算，得到含噪隐变量令牌f1；

52、s55、根据所述含噪隐变量令牌f1以及所述辅助推理条件特征，通过变压器块2进行交叉注意力计算，得到含噪隐变量令牌f2；将所述含噪隐变量令牌f2确定为输入令牌；令i＝i+1；执行步骤s53；

53、s56、停止处理；将所述含噪隐变量令牌f2确定为去噪隐变量。

54、另一方面，提供一种组织病理学图像生成设备，所述组织病理学图像生成设备包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述基于隐空间扩散模型的组织病理学图像生成方法中的任一项方法。

55、另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于隐空间扩散模型的组织病理学图像生成方法中的任一项方法。

56、本发明实施例提供的技术方案带来的有益效果至少包括：

57、本发明提出了一种基于隐空间扩散模型的组织病理学图像生成方法，通过将高维的像素空间降维映射，获得低维的隐空间变量特征编码，大大减少了图像的模型计算量；提出的嵌入时间步的变压器块，将时间步进行维度变换，多层次地拼接到提取的图像特征主干中，并借助变压器块的长距离建模能力提升生成图片的去噪效果；提出的嵌入条件特征的变压器块，将辅助推理的条件特征与含噪隐变量进行交叉注意力计算，使图像中关于多类细胞核的语义掩码指导组织病理学图像的生成，有效约束生成的病理学图像不符合组织细胞构成机理的情况。本发明是一种多样性丰富且保真度较高的高效组织病理学图像生成方法。