对组织切片图像的虚拟染色的制作方法

文档序号:22626671发布日期:2020-10-23 19:35阅读:来源:国知局

技术特征:

1.一种用于生成预测组织样品的特殊染色图像的机器学习预测器模型的系统,组合地包括:

a)数据存储,所述数据存储包含给定组织类型的组织样品的大量对齐的图像对,其中每个图像对由组织样品的第一图像和被第二染色剂染色的组织样品的第二图像组成,所述第一图像全部未染色或全部被第一染色剂染色;

b)计算机系统,所述计算机系统被配置为机器学习预测器模型,从所述数据存储中的大量对齐的图像对中训练所述机器学习预测器模型以从输入图像生成被第二染色剂染色的组织样品的预测图像,所述输入图像具有给定组织类型,且如果所述第一图像未染色,则所述输入图像未染色;如果第一图像被第一染色剂染色,则所述输入图像被第一染色剂染色。

2.根据权利要求1所述的系统,其中,所述第一图像包括处于未染色状态的组织样本的图像。

3.根据权利要求1、2或3所述的系统,其中,所述第一染色剂是h&e。

4.根据前述权利要求中任一项所述的系统,其中,所述第二染色剂包括ihc染色剂。

5.根据前述权利要求中的任一项所述的系统,其中,所述给定组织类型是以下类型中的一个:乳房组织、前列腺组织、淋巴结组织和肺组织。

6.根据权利要求1-5中的任一项所述的系统,其中,所述数据存储包含不同组织类型和不同特殊染色类型的大量图像对,并且其中,所述计算机系统为不同组织类型和染色类型的每个实现不同的机器学习预测器模型。

7.根据权利要求1-6中任一项所述的系统,其中,所述机器学习预测器模型包括生成式对抗网络。

8.根据权利要求1-6中任一项所述的系统,其中,所述机器学习预测器模型包括自我监督学习神经网络。

9.根据权利要求1-6中任一项所述的系统,其中,所述机器学习预测器模型包括卷积神经网络。

10.根据权利要求1-9中任一项所述的系统,其中,所述机器学习预测器模型包括用于密集分割的卷积神经网络。

11.根据权利要求1-10中的任一项所述的系统,其中,所述数据存储中对齐的图像对具有边缘部分,所述边缘部分具有空像素值。

12.一种计算机系统,所述计算机系统包括实现一个或多个机器学习预测器模型的一个或多个处理单元和存储器,所述模型从代表给定组织样品的输入的未染色的或h&e染色的图像的数据中,生成具有给定相应组织类型的组织样品的虚拟特殊染色的图像的显现的预测的形式的数据。

13.根据权利要求12所述的系统,其中所述给定组织类型是以下类型中的一个:乳腺组织、前列腺组织、淋巴结组织和肺组织,并且其中所述预测的显现是用免疫组织化学染色剂染色的给定组织样品的显现。

14.一种生成被特殊染色剂染色的组织样本的虚拟图像的方法,其包括以下步骤:

获取输入图像;

将输入图像提供给从组织样本的大量对齐的图像对中训练的机器学习预测器模型,所述图像对中的一个图像包括被特殊染色剂染色的组织样本的图像,所述模型经过训练以预测被特殊染色剂染色的组织样本的图像;

利用预测器模型,生成被特殊染色剂染色的组织样本的预测图像,以及

将所述预测图像显示为虚拟图像。

15.根据权利要求14所述的方法,其中,所述输入图像包括处于未染色状态的组织样本的图像。

16.根据权利要求14所述的方法,其中,所述输入图像包括被h&e染色的组织样本的图像。

17.根据权利要求14-16中任一项所述的方法,其中,所述特殊染色剂包括ihc染色剂。

18.根据权利要求14-17中任一项所述的方法,其中,所述组织样本是以下类型中的一个:乳腺组织、前列腺组织、淋巴结组织和肺组织。

19.根据权利要求14-18中的任一项所述的方法,其中,所述机器学习预测器模型包括生成式对抗网络。

20.根据权利要求14-18中任一项所述的方法,其中,所述机器学习预测器模型包括自我监督学习神经网络。

21.根据权利要求14-18中任一项所述的方法,其中,所述机器学习预测器模型包括卷积神经网络。

22.根据权利要求14-18中任一项所述的方法,其中,所述机器学习预测器模型包括用于密集分割的卷积神经网络。

23.根据权利要求14-22中的任一项所述的方法,其中,所述对齐的图像对具有边缘部分,所述边缘部分具有空像素值。

24.一种训练机器学习预测器模型的方法,包括以下步骤:

a)获得给定组织类型的组织样品的大量对齐的图像对,其中,每个图像对由被第一染色剂染色的组织样品的第一图像和被第二不同染色剂染色的组织样品的第二图像组成;

b)提供大量对齐的图像对作为机器学习预测器模型的训练数据,所述模型学习以从输入图像中预测被第二不同染色剂染色的组织样品的图像,所述输入图像被第一染色剂染色并且具有给定组织类型。

25.根据权利要求24所述的方法,包括针对不同的组织类型重复步骤a)和b)。

26.根据权利要求24或25所述的方法,包括针对不同的第二染色剂重复步骤a)和b)。

27.根据权利要求24-26中任一项所述的方法,其中,所述第一图像包括h&e图像。

28.根据权利要求24-27中任一项所述的方法,其中,所述大量对齐的图像对处于不同的放大率级别。

29.根据权利要求24-27中的任一项所述的方法,其中,所述输入图像处于给定放大率级别,并且其中,所述机器学习预测器模型生成以所述给定放大率级别被所述第二染色剂染色的所述输入图像的预测。

30.根据权利要求24-39中的任一项所述的方法,其中,所述数据存储中的对齐的图像对具有边缘部分,所述边缘部分具有空像素值。

31.根据权利要求1所述的系统,其中,所述数据以多个不同放大率级别的每一个级别存储给定组织类型的组织样品的大量对齐的图像对。

32.一种训练机器学习预测器模型的方法,包括以下步骤:

a)获得给定组织类型的组织样品的大量对齐的图像对,其中,每个图像对由未染色的组织样品的第一图像和被特殊染色剂染色的组织样品的第二图像组成;

b)提供大量对齐的图像对作为机器学习预测器模型的训练数据,所述模型学习以从输入图像中预测被特殊染色剂染色的组织样品的图像,所述输入图像是未染色的并且具有给定组织类型。

33.根据权利要求32所述的方法,包括针对不同的组织类型重复步骤a)和b)。

34.根据权利要求32或33所述的方法,包括针对不同的特殊染色剂重复步骤a)和b)。

35.根据权利要求32-34中任一项所述的方法,其中,所述大量对齐的图像对处于不同的放大率级别。

36.根据权利要求32-35中的任一项所述的方法,其中,所述输入图像处于给定放大率级别,并且其中,所述机器学习预测器模型生成以所述给定放大率级别被所述特殊染色剂染色的所述输入图像的预测。

37.根据权利要求32-36中任一项所述的方法,其中,所述数据存储中的对齐的图像对具有边缘部分,所述边缘部分具有空像素值。


技术总结
训练机器学习预测器模型以从未染色或用H&E染色的输入图像中生成用特殊染色剂(诸如IHC染色剂)染色的组织样品的显现的预测。训练数据采用成千上万精确对齐的图像对的形式,所述图像对中的一个是用H&E染色或未染色的组织样本的图像,而另一个是用特殊染色剂染色的组织样本的图像。可以训练模型以预测大量不同组织类型和特殊染色类型的特殊染色图像。在使用中,将输入图像、例如以特定放大率级别的给定组织样本的H&E图像提供给模型,并且该模型产生对组织样本的显现的预测,就好像其用特殊染色剂染色一样。预测的图像被提供给用户并显示在例如病理工作站上。

技术研发人员:M.斯坦普;P.尼尔森;L.彭
受保护的技术使用者:谷歌有限责任公司
技术研发日:2018.03.07
技术公布日:2020.10.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1