图像解析方法、装置、程序及学习完了深层学习算法的制造方法与流程

【】本发明涉及图像解析方法、装置、程序及学习完了深层学习算法的制造方法。更具体而言，涉及含对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据的图像解析方法。

背景技术

0、
背景技术：

1、在专利文献1中公开了在病理组织图像中将组织像分类为正常、良性肿瘤、前癌状态及癌状态的4个组，判断的图像诊断支援装置。图像分类手段从图像数据提取注视区域，算出显示注视区域的特征的特征量，基于算出的特征量而进行组的分类。特征量是在细胞核中的每单位面积的块的密度、块面积的密度、块的面积、块的粗度，及块的长度等。图像判断手段学习这样的特征量和判断结果的关系，基于学习完了的学习参数而进行判断。学习使用支持向量机等的学习算法而执行机械学习。

2、【现有技术文献】

3、【专利文献】

4、【专利文献1】特开2010-203949号公报

5、【发明的概要】

6、【发明要解决的课题】

7、在确定诊断是否是恶性肿瘤时，进行使用病理组织标本的病理组织学诊断。另外，病理组织学诊断作为用于手术中确定含恶性肿瘤的组织的切除部位的术中迅速诊断进行也不少。术中迅速诊断是在手术中在切开患者的患部的状态下等待，将肿瘤是否是恶性，切除的组织的断端是否残留有肿瘤，是否有淋巴节转移等的判断由病理组织学诊断进行。由术中迅速诊断的结果决定等待的患者的其后的手术的方向性。

8、病理组织学诊断是医师、特别病理医由显微镜等观察组织标本而进行诊断，但为了使可由组织标本的观察进行正确的确定诊断，有依赖于熟练的病理专门医而长期重复各种各样的病例的组织标本的观察的必要，病理医的培育也要求大量的时间。

9、病理医的不足是严重的，病理医不足的结果，患者的恶性肿瘤的确定诊断延迟，治疗开始延迟，或者还危惧不等待确定诊断而开始治疗的状态。另外，由于通常的组织学诊断和术中迅速诊断的两方集中在少的病理医，一人的病理医的业务量变得庞大，病理医自身的劳务状态也成为问题。但是，目前还未见到此问题的解除策。

10、从而，装置变得可支持病理组织学诊断，特别是其诊断越接近由人的眼的判断，越被认为大贡献于病理医不足的解除、及病理医的劳务状态的改善。

11、在装置支持病理组织学诊断的点，在记载在上述的专利文献1的发明中，基于由机械学习的图像解析而进行标本组织的病理判断。在此方法中，有将特征量用人的手制成的必要。在将特征量用人的手制成的方法中，有该人的力量给图像解析的性能大影响的问题。

12、例如，在使用显微镜的组织学诊断或细胞学诊断中，观察对象之一是细胞核的状态，从细胞核1个1个大小或形态、以及多个细胞核的序列状态等，区别良性肿瘤和恶性肿瘤。因此，在病理组织学诊断中，可高精度地提取细胞核的是非常地重要的，变得组织学诊断及细胞学诊断的基础。

13、本发明旨在提供对于组织或细胞的图像而生成显示细胞核的区域的数据的图像解析方法。

14、【用于解决课题的手段】

15、本发明的一实施方式是图像解析方法。在此一实施方式中，图像解析方法是使用神经网络结构的深层学习算法(60)而解析组织或细胞的图像的图像解析方法，其从含解析对象的组织或细胞的解析对象图像(78)生成解析用数据(80)(s21至s23)、向深层学习算法(60)输入解析用数据(80)(s24)、由深层学习算法(60)生成显示解析对象图像(78)中的细胞核的区域的数据(82、83)(s25至s28)。由此，对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据变得可能。

16、解析对象图像是组织学诊断用标本的图像，解析对象图像(78)优选含由1个原色构成的色相，或含组合2个以上的原色的色相(r、g、b)。

17、解析对象图像是细胞学诊断用标本的图像，解析对象图像(78)优选含由1个原色构成的色相，或含组合2个以上的原色的色相(r、g、b)。

18、示细胞核的区域的数据(82、83)优选为用于区别提示细胞核的区域和其以外的区域的数据。

19、示细胞核的区域的数据(82、83)优选为表示细胞核的区域和其以外的区域的边界的数据。

20、深层学习算法(60)优选判断解析对象图像(78)内的任意的位置是否是细胞核的区域。

21、优选对于1个解析对象图像(78)而针对每个指定像素数的区域生成多个解析用数据(80)。由此，使神经网络(60)的判别精度提升变得可能。

22、针对每个以指定的像素作为中心而含周边的像素的指定像素数的区域生成解析用数据(80)，深层学习算法(60)优选对于输入的解析用数据(80)对于指定像素生成显示细胞核的区域与否的标签。由此，使神经网络(60)的判别精度提升变得可能。

23、神经网络(60)的输入层(60a)的节点数优选对应于解析用数据(80)的指定像素数和组合的原色的数的积。由此，使神经网络(60)的判别精度提升变得可能。

24、标本是被染色的标本，解析对象图像(78)优选为将被染色的标本在显微镜的明场下进行摄像的图像。

25、在深层学习算法(60)的学习中使用的训练数据(74)是将对于从个体采集的组织试样的标本或从个体采集的含细胞的试样的标本实施明场观察用染色而调制的标本的染色像在显微镜的明场下进行摄像的明场图像(70)、及将对应于标本的，或者对相同的标本实施荧光核染色而调制的标本的染色像在荧光显微镜的荧光观察下进行摄像的细胞核的荧光图像(71)，其优选基于荧光图像(71)的标本内的位置对应于取得的明场图像(70)的标本内的位置的荧光图像(71)而生成。

26、明场观察用染色优选在核染色中使用苏木精。

27、标本是组织试样的标本时，明场观察用染色是苏木精－曙红染色，标本是含细胞的试样的标本时，明场观察用染色优选为papanicolaou染色。

28、训练数据(74)优选含从明场图像(70)及荧光图像(71)提取的表示细胞核的区域的标签值。由此，使神经网络(50)学习表示细胞核的区域的标签值变得可能。

29、训练数据(74)优选每个明场图像(70)的像素含标签值。由此，使神经网络(50)学习表示细胞核的区域的标签值变得可能。

30、优选在明场图像(70)中的指定像素数的每区域生成训练数据(74)。由此，使神经网络(50)以高的精度学习显示细胞核的区域的标签值变得可能。

31、深层学习算法(60)优选将解析用数据(80)分类为显示解析对象图像(78)中所含的细胞核的区域的类。由此，对于含解析对象的组织图像或细胞的图像的任意的位置而分类为细胞核的区域和此外的区域变得可能。

32、神经网络(60)的输出层(60b)优选为以soft max函数作为活化函数的节点。由此，神经网络(60)将含解析对象的组织图像或细胞的图像的任意的位置分类为有限个类变得可能。

33、深层学习算法(60)优选在每次输入解析用数据(80)时，针对每单位像素生成显示是否是解析对象图像(78)中所含的细胞核的区域的数据(82)。由此，在每个含解析对象的组织图像或细胞的图像的单位像素(1像素)分类为细胞核的区域和此外的区域变得可能。

34、深层学习算法(60)优选对应于含组织试样的种类或细胞的试样的种类而生成。由此，对应于含解析对象的组织图像或细胞的图像的类别而分开使用深层学习算法(60)变得可能，使神经网络(60)的判别精度提升变得可能。

35、再者，优选使用对应于含组织试样的种类或细胞的试样的种类而从多个深层学习算法(60)之中选择的对应于试样的种类的深层学习算法(60)而处理解析用数据(80)。由此，对应于含解析对象的组织图像或细胞的图像的类别分开使用深层学习算法(60)变得可能，使神经网络(60)的判别精度提升变得可能。

36、本发明的一实施方式是图像解析装置。在此一实施方式中，图像解析装置(200a)是使用神经网络结构的深层学习算法(60)而解析组织或细胞的图像的图像解析装置，其具备从含解析对象的组织或细胞的解析对象图像(78)生成解析用数据(80)，向深层学习算法(60)输入解析用数据(80)，由深层学习算法(60)生成显示解析对象图像(78)中的细胞核的区域的数据(82、83)的处理部(20a)。由此，生成显示含组织图像或细胞的图像的任意的位置是细胞核的区域与否的数据变得可能。

37、本发明的一实施方式是计算机程序。在此一实施方式中，计算机程序是使用神经网络结构的深层学习算法(60)而解析组织或细胞的图像的计算机程序，其为使计算机执行下列处理的程序：从含解析对象的组织或细胞的解析对象图像(78)生成解析用数据(80)的处理，向深层学习算法(60)输入解析用数据(80)的处理，及由深层学习算法(60)，生成显示在解析对象图像(78)中的细胞核的区域的数据(82、83)的处理。由此，对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据变得可能。

38、本发明的一实施方式是学习完了深层学习算法的制造方法。在此一实施方式中，学习完了深层学习算法(60)的制造方法含：取得对应于对组织或细胞进行摄像的第1训练用图像(70)的第1训练数据(72r、72g、72b)的第1取得步骤，取得对应于显示第1训练用图像(70)中的细胞核的区域的第2训练用图像(71)的第2训练数据(73)的第2取得步骤，及使神经网络(50)学习第1训练数据(72r、72g、72b)和第2训练数据(73)的关系的学习步骤(s13至s19)。由此，制造用于对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据的深层学习算法变得可能。

39、优选以第1训练数据(72r、72g、72b)作为神经网络(50)的输入层(50a)，以第2训练数据(73)作为神经网络(50)的输出层(50b)。

40、在第1取得步骤之前，优选还含从第1训练用图像(70)生成第1训练数据(72r、72g、72b)的步骤(s11)，在第2取得步骤之前，优选还含从第2训练用图像(71)生成第2训练数据(73)的步骤(s12)。由此，制造用于对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据的深层学习算法变得可能。

41、第1训练用图像(70)是将对于从个体采集的组织试样或从个体采集的含细胞的试样实施明场观察用染色而调制的标本的染色像在显微镜的明场下进行摄像的明场图像(70)，第2训练用图像(71)是将对标本实施荧光核染色而调制的标本的染色像在显微镜的荧光观察下进行摄像的荧光图像(71)，其优选为荧光图像(71)的标本内的位置对应于取得的明场图像(70)的标本内的位置的荧光图像(71)。

42、本发明的一实施方式是学习完了深层学习算法。在此一实施方式中，学习完了深层学习算法(60)是以第1训练数据(72r、72g、72b)作为神经网络(50)的输入层(50a)，以第2训练数据(73)作为神经网络(50)的输出层(50b)而使学习的深层学习算法(60)，其中第1训练数据(72r、72g、72b)从对组织或细胞进行摄像的第1训练用图像(70)生成，第2训练数据(73)显示在第1训练用图像中的细胞核的区域。

43、【发明的效果】

44、根据本发明，可对于组织或细胞的图像的任意的位置而生成显示细胞核的区域的数据。

45、【附图的简单的说明】

46、【图1】是用于对深层学习方法的概要进行说明的模式图。

47、【图2】是用于对训练数据的详细进行说明的模式图。

48、【图3】是用于对图像解析方法的概要进行说明的模式图。

49、【图4】是第1实施方式涉及的图像解析系统的概略构成图。

50、【图5】是显示供应商侧装置100的硬件构成的框图。

51、【图6】是显示使用者侧装置200的硬件构成的框图。

52、【图7】是用于对第1实施方式涉及的深层学习装置100a的功能进行说明的框图。

53、【图8】是显示深层学习处理的顺序的流程图。

54、【图9】是用于对由神经网络的学习的详细进行说明的模式图。

55、【图10】是用于对第1实施方式涉及的图像解析装置200a的功能进行说明的框图。

56、【图11】是显示图像解析处理的顺序的流程图。

57、【图12】是第2实施方式涉及的图像解析系统的概略构成图。

58、【图13】是用于对第2实施方式涉及的统合型的图像解析装置200b的功能进行说明的框图。

59、【图14】是第3实施方式涉及的图像解析系统的概略构成图。

60、【图15】是用于对第3实施方式涉及的统合型的图像解析装置100b的功能进行说明的框图。

61、【图16】是在实施例1中在训练数据的制成中使用的明场图像、荧光图像、及从荧光图像制成的二值化图像。

62、【图17】是对在实施例1中第1胃癌组织的标本(he染色)的图像进行解析的结果。

63、【图18】是对在实施例1中第2胃癌组织的标本(he染色)的图像进行解析的结果。

64、【图19】是对在实施例2中胃癌部的押印标本(papanicolaou染色)的图像进行解析的结果。

65、【图20】是对在实施例2中非胃癌部的押印标本(papanicolaou染色)的图像进行解析的结果。

技术实现思路