图像解析方法、图像解析程序、记录媒体、图像解析装置、图像解析系统

1.本发明涉及一种对拍摄组织所获得的图像进行解析而判别癌变细胞的图像解析方法、图像解析装置、以及图像解析系统等。


背景技术：

2.为了使用计算机技术对用于病理诊断的组织切片等的图像进行解析，提出了导入相位几何学的观点。作为支持病理诊断的技术的例子，专利文献1公开了基于病理图像提取癌病变部的图像解析装置。专利文献1所记载的图像解析装置，通过针对各区域算出病理图像中每单位面积的同调来判断各区域是否为关注区域(例如，包括癌病变部的区域)。
3.另外，非专利文献1中记载了应用持续同调(persistent homology)的概念解析拍摄肝脏所获得的图像，而将肝脏的病变进行分类的方法。
4.现有技术文献
5.专利文献
6.专利文献1：wo2010/087112号(2010年8月5日公开)
7.非专利文献
8.非专利文献1：aaron adcock et al.,“classification of hepatic lesions using the matching metric”,computer vision and image understanding,vol.121,p.36
‑
42,2014.


技术实现要素：

9.[发明所要解决的问题]
[0010]
通常在图像诊断中，癌细胞的早期发现很重要。因此，在图像解析技术中，对于从受检者采集的细胞，寻求一种能够简便地判定该细胞是否为癌细胞的技术。
[0011]
另外，例如在肺癌的情况下，被分类为小细胞癌的癌细胞发展快，需要迅速诊断与治疗。如上所述，由于癌细胞中也存在发展快而要求迅速诊断与治疗的癌细胞的种类，故而期望除了能够判定有无癌细胞以外，也能够判定癌的种类。
[0012]
通常，由于能看到癌细胞中细胞核内的染色质量的增量，在现有的癌的诊断中，以细胞核内的染色质量的增加作为癌的指标之一。但是，由于染色质在细胞核内是三维分布，故而为了以三维图像的形式检测细胞中的染色质量的增量，需要获得变更焦点所拍摄的多个拍摄图像。但是，获得多个变更焦点所得的拍摄图像对于检查技术员以及病理医生等而言费时费力。
[0013]
本发明的一形态的目的在于，通过解析细胞样品的图像，而比先前更简易地判定该图像所拍摄细胞癌变的有无以及癌的种类等。
[0014]
[解决问题的技术手段]
[0015]
为了解决上述课题，本发明的一形态的图像解析方法是一种对拍摄组织所获得的
拍摄图像进行解析的方法，包括：二值化工序，对于一个所述拍摄图像，改变二值化的基准值，并进行多次二值化处理，由此生成多个二值化图像；区域数算出工序，对于所述二值化工序中所生成的多个二值化图像的各图像，算出孔形状区域的数量即区域数；以及判定工序，基于所述区域数与特定的值一致时的该二值化图像的二值化的基准值，判定所述组织所含细胞的癌的种类。
[0016]
为了解决上述课题，本发明的一形态的图像解析装置是一种对拍摄组织所获得的拍摄图像进行解析的图像解析装置，具有：二值化部，对于一个所述拍摄图像，改变二值化的基准值，并进行多次二值化处理，由此生成多个二值化图像；区域数算出部，对于所生成的所述多个二值化图像的各图像，算出孔形状区域的数量即区域数；以及癌判定部，基于所述区域数与特定的值一致时的该二值化图像的二值化的基准值，判定所述组织所含细胞的癌的种类。
[0017]
[发明的效果]
[0018]
根据本发明的一形态，能够通过解析细胞样品的图像而比先前更简易地判定该图像所拍摄细胞癌变的有无以及癌的种类等。
附图说明
[0019]
图1是表示本发明实施方式1的图像解析装置的结构中的一例的框图。
[0020]
图2是对能够应用于图像解析装置的一维贝蒂数(first betti number)进行说明的图。
[0021]
图3是表示图像解析装置中的处理流程中的一例的流程图。
[0022]
图4是模式化地表示对细胞核的图像进行提取处理的图。
[0023]
图5是对细胞核的图像中改变二值化的基准值的情况下所生成的二值化图像的特征进行说明的图。
[0024]
图6是表示细胞核的图像中的零维贝蒂数与二值化的基准值的关系性的曲线图中的一例。
[0025]
图7是表示细胞核的图像中的一维贝蒂数与二值化的基准值的关系性的曲线图中的一例。
[0026]
图8是表示癌细胞判定处理流程中的一例的流程图。
[0027]
图9是表示正常细胞以及各种其他癌细胞中的二值化的基准值th2的值的比较例的图。
[0028]
图10是表示正常细胞以及各种其他癌细胞中的一维贝蒂数的最大值b1max的值的比较例的图。
[0029]
图11是表示判定结果中的一例的图。
[0030]
图12是表示本发明实施例2的图像解析装置的结构中的一例的框图。
[0031]
图13是表示包含本发明图像解析装置的图像解析系统的结构例的概略图。
[0032]
图14是对细胞核内的染色质的状态与所拍摄的拍摄图像的关系进行说明的概念图。
具体实施方式
[0033]
(本发明的技术思想)
[0034]
首先，以下对本发明的技术思想进行说明。本发明的目的在于通过对拍摄组织所获得的拍摄图像进行解析，来判定该拍摄图像所拍摄的组织的癌的种类。
[0035]
本发明的发明人对拍摄使用特定的染色法所染色的细胞样品的标本所获得的拍摄图像进行了研究，并对以下的(1)～(3)进行了详细地比较、研究。
[0036]
(1)从细胞核的拍摄图像所获得的与染色质(chromatin)量相关的信息；
[0037]
(2)与是否为癌变细胞相关的信息；
[0038]
(3)表示与癌的种类的对应关系的信息。
[0039]
此处，所谓“细胞样品”，可以是包含从受检者的组织采集的细胞的样品，也可以是包含从受检者的组织游离或剥离的细胞的样品。
[0040]
本发明的发明人对于细胞核的拍摄图像，改变二值化的基准值，并进行了多次二值化处理。而且，本发明的发明人对经改变的二值化的基准值与使用该基准值进行二值化的图像所包含的组织图像所显示的零维贝蒂数b0以及一维贝蒂数b1的关系进行了研究。结果，本发明的发明人发现，能够基于与经二值化的图像所包含的组织图像所显示的零维贝蒂数b0以及一维贝蒂数b1的关系判定是否为癌变细胞以及癌的种类。
[0041]
＜通过细胞诊断进行癌的判定＞
[0042]
作为可见于癌变细胞的特征，可列举细胞核的大型化以及染色质量的增量等。此处，染色质量的增量，意指染色质量与正常细胞的周期(即g1期
‑
s期
‑
g2期)相比有所增加的状态。染色质存在于真核生物的细胞核内，是常被碱性色素染色的物质。染色质是以dna以及组织蛋白作为主要成分的复合体。另外，已知随着细胞周期以及基因的活性状态等，染色质在结构上会大幅变化，发生凝聚或解聚等。
[0043]
在细胞诊断中，制作细胞样品的标本时，应用巴氏染色法(papanicolaou)，但并不限定于此。巴氏染色法是将细胞核以及细胞质进行染色的方法。在巴氏染色法中，首先，在涂附于玻璃面(例如，载玻片等)的细胞尚未干燥时用酒精进行湿固定，并利用苏木精(hematoxylin)将细胞核染色。然后，用伊红(eosin)、橙黄g、或亮绿将细胞质染色。染色质与细胞核内的其他分子相比，被苏木经更深地染色成靛蓝色。因此，通过深色的微颗粒、粗颗粒、或颗粒彼此大量凝聚的状态来确认染色质图像。此外，核小体也与染色质同样被苏木精染成深色。
[0044]
在现有的细胞诊断中，染色质量的增量可根据拍摄细胞核的拍摄图像中的各颗粒(染色质图像)的大小和数量，以及颗粒彼此大量凝聚的状态(染色质图像)中的凝聚情况进行评价。例如，在以下情形时，判断染色质量增量：(1)颗粒直径大的情形；(2)细胞核内的颗粒数量多的情形，以及(3)颗粒彼此的凝聚多的情形等。
[0045]
但是，拍摄细胞样品的标本所获得的拍摄图像显示为二维的明暗形式，因此无法从拍摄图像准确地掌握细胞核内的染色质的三维存在状态。
[0046]
＜拍摄图像中的染色质图像＞
[0047]
使用图14对细胞样品所包含的细胞进行拍摄所得的拍摄图像中的染色质图像进行说明。图14是对细胞核内的染色质的状态与所拍摄的拍摄图像的关系进行说明的概念图。此外，图14是表示以包含z轴的平面将从z轴的正侧拍摄的细胞切断而成的剖面的剖面
图。
[0048]
如图14所示，细胞核内的染色质被认为是线状，且在细胞核内呈三维分布。染色质的焦点面上的位置p1～p4所对应的图像，在拍摄图像中被拍摄为高对比度且清晰的图像。此外，焦点面意指穿过拍摄所使用的光学系统的焦点且垂直于该光学系统的光轴的平面。另外，在存在于焦深内的焦点面的近侧以及远侧的部分所存在的染色质图像的对比度，与位置p1～p4对应的图像相比变低。存在于进一步远离焦点面的位置(即焦深外)的染色质图像如薄雾一样模糊不清，因此变得难以与细胞质图像等加以区别。此处，高对比度意指染色质图像与不存在染色质的周围的图像的亮度差大。例如，经染色的染色质图像随着对比度提高，与细胞质等背景的图像相比变得更清晰且暗。另一方面，随着对比度降低，经染色的染色质图像与细胞质等背景的图像的亮度差消失。
[0049]
发明人们着眼于焦深与对比度的上述关联性。发明人们发现，通过以数学方式解析，将与拍摄图像的亮度相关的像素值进行二值化而得的二值化图像，能够读取与在细胞核内三维分布的染色质存在状态的相关的信息。如图14所示，如果染色质为三维分散的线状，那么认为细胞核内的染色质像缠绕的毛线一样，以交错缠绕的状态存在。如果染色质量增量，那么染色质的密集程度、以及交错程度上升。焦深内的染色质的密集程度、以及交错程度可通过以数学方式解析二值化图像来评价，因此无需获得变更焦点所拍摄的多个拍摄图像。
[0050]
＜用于评价细胞核内的染色质量的数学表达＞
[0051]
为了基于染色质的交错程度对细胞核内的染色质量的增量进行评价，本发明的发明人们尝试应用同调的概念、尤其是持续同调。同调是对图形的形态的性质进行代数置换而使图形的结合等解析变得容易的一个数学的领域。本发明的发明人们着眼于利用同调的概念中的零维贝蒂数b0以及一维贝蒂数b1。
[0052]
同调的概念是表示结构要素的接触的数学概念。能够通过关于拍摄样品所获得的拍摄图像的亮度，设定二值化的基准值，根据经二值化的图像算出每个细胞核的零维贝蒂数b0以及一维贝蒂数b1，而对细胞核内的染色质的密集程度以及交错程度进行评价。
[0053]
贝蒂数是与图形(结构要素)的形状无关、仅与图形的接触和分离相关的拓扑特征量。在q维奇异同调群为有限生成时，该q维奇异同调群被分成自由阿贝尔群与有限阿贝尔群的直和。将该自由阿贝尔群的等级称为贝蒂数。在二维平面内的图形的情形时，零维贝蒂数b0是连通分量的数，一维贝蒂数b1是该连通分量成为外缘所包围的空间(孔形状区域)的数、即存在于连通分量中的“孔”的数。
[0054]
＜零维贝蒂数b0＞
[0055]
零维贝蒂数b0在数学上以如下方式定义。通常，将把有限条线段相连而成的图形(也称为一维复形)k的连通分量的个数称为零维贝蒂数b0。所谓“将有限个点用有限条线段连结而成的图形连通”意指，能够沿着该图形的边从该图形的任意顶点到达其他任意顶点。
[0056]
二值化图像中对各细胞核计数的零维贝蒂数b0，反映出表示细胞核内的染色质的分布的颗粒数量。因此认为，二值化图像中对各细胞核计数的零维贝蒂数b0随着该细胞核内三维分散的染色质量增量而相应地增多。
[0057]
＜一维贝蒂数b1＞
[0058]
一维贝蒂数b1在数学上以如下方式定义。通常，对于将有限条线段相连而成的图
形(一维复形)k，在k的边e的两端为不同的顶点时，将除去边e而使两端的点成为一个的操作称为收缩。对于图形k，将对能够进行该收缩的各边进行操作所获得的图形设为k'。该k'的边数为b1。
[0059]
使用图2所示的图形，对一维贝蒂数b1进行说明。图2是对能够应用于本发明的图像解析装置1的贝蒂数进行说明的图。图2所示的图是环c1与环c2相交。该图形所具有的“孔”的数量为三个。另一方面，算出该图形的一维贝蒂数b1为3。即，所谓算出某图形的一维贝蒂数b1，相当于对该图形所具有的“孔”的数量进行计数。
[0060]
二值化图像中对各细胞核计数的一维贝蒂数b1，反映出将细胞核内的三维的染色质的交错状态投射于平面的情形时形成的封闭空间的数量。因此认为，二值化图像中对各细胞核计数的一维贝蒂数b1，随着该细胞核内三维分散的染色质量增量、互相交错的程度提高而增多。
[0061]
〔实施方式1〕
[0062]
以下，对本发明的一实施方式进行详细说明。此外，以下对是否为肺癌细胞、以及肺癌的种类进行判定的图像解析装置1为例进行举例说明，但本发明的解析对象可应用于癌变变导致细胞核内的染色质量的可见增量的组织以及细胞的癌的判定，并不限定于肺癌。图像解析装置1例如可应用于肺癌、前列腺癌、膀胱癌、乳癌、甲状腺癌、卵巢癌、子宫颈癌、胃癌、胰腺癌、胆管癌以及恶性淋巴瘤等各种癌的种类的判定。
[0063]
另外，细胞样品只要能够观察到细胞的核即可，与采集方法无关。例如，为了判定肺癌的种类，可应用拍摄咳痰样品、气管内采痰样品、经气管吸痰样品、支气管擦刷样品、支气管活检钳清洗液、肿瘤印记样品以及肿瘤穿刺样品等所得的拍摄图像。
[0064]
此外，以下对算出零维贝蒂数b0以及一维贝蒂数b1的结构进行说明，但也可以为仅算出其中一者并利用的结构。但是，由于细胞核内的染色质的分布各种各样，拍摄图像所显示的特征也各种各样，故而理想的是算出零维贝蒂数b0以及一维贝蒂数b1的结构。其原因在于：如果采用基于细胞核的图像中的连通区域的数量的变化与孔形状区域数的变化检测细胞核内的染色质的量以及存在状态的结构，那么能够高精度地判定是否为癌细胞、以及癌的种类。
[0065]
(图像解析装置1的结构)
[0066]
此处，使用图1对图像解析装置1的结构进行说明。图1是表示本发明实施方式1的图像解析装置1的结构中的一例的框图。如图所示，图像解析装置1包括图像获得部2、存储部3、图像解析部4、显示控制部5以及一次存储部7。此外，图示了图像解析装置1与分开设置的显示装置6连接的例子，但并不限定于此。例如，也可以是图像解析装置1内置显示装置6的结构，还可以是与多个显示装置6无线/有线连接的结构。
[0067]
图像获得部2从外部机器8获得拍摄组织所获得的拍摄图像(以下称为组织图像)，将所获得的组织图像储存于存储部3中。外部机器8，例如可以是连接于显微镜的拍摄装置、保存并管理图像数据的服务器等。上述组织图像是将组织以适当的放大倍率拍摄而得的图像。此外，组织图像的拍摄倍率优选1000倍。但是，组织图像的拍摄倍率由本领域技术人员根据作为解析对象的组织，以及组织图像的像素数等适当设定即可。
[0068]
将组织染色的方法只要是采用能够将染色质染色的任意染色方法的染色法即可。例如，可使用上述巴氏染色法，以及he(hematoxylin
‑
eosin)染色法等。如果使用这些染色
法，那么细胞核以及细胞质分别被染成不同颜色，且染色质被染成深色，因此适于观察细胞内的细胞核内的染色质。
[0069]
存储部3记录图像获得部2所获得的组织图像以及图像解析部4所执行的(1)各部的控制程序、(2)os程序、(3)应用程序以及(4)执行这些程序时所读取的各种数据。存储部3由硬盘、快闪存储器等不挥发性的存储装置所构成。
[0070]
一次存储部7作为用来在执行上述各种程序的过程中暂时保存数据的作业区域而使用，由ram(random access memory，随机存取存储器)等挥发性存储装置所构成。
[0071]
显示控制部5通过控制显示装置6，而将包括从图像解析部4输出的解析结果在内的信息显示于显示装置6。
[0072]
显示装置6是显示包括从图像解析部4输出的解析结果在内的信息的显示装置，例如为液晶显示器。此外，图像解析装置1也可以是具备专用显示装置6的结构。此外，也可以是在显示装置6的显示画面重叠触控传感器，且显示装置6能够检测到用户对显示画面的触控操作的结构。
[0073]
(图像解析部4的结构)
[0074]
图像解析部4通过对图像获得部2所获得的组织图像进行解析，来判定该组织图像所包含的细胞的癌变的有无以及癌的种类。该图像解析部4包括画质判定部40、二值化部41、贝蒂数算出部42(区域数算出部)以及癌判定部43。
[0075]
画质判定部40对组织图像是否适合作为解析对象进行判定。具体而言，画质判定部40从存储部3读取组织图像，对与该组织图像所包含的全部像素的亮度相关的像素值的度数分布进行解析。画质判定部40在与亮度相关的像素值的度数分布中，不存在多个极大像素值、且为特定范围内的值的情形时，判定该组织图像适合。由画质判定部40判断为适合的组织图像作为图像解析部4的解析对象。
[0076]
图1图示了画质判定部40从存储部3提取出组织图像的结构，但并不限定于此。例如，也可以是不将图像获得部2所获得的作为解析对象的组织图像存储于存储部3中，而是输出到画质判定部40的结构。
[0077]
然后，二值化部41对经标准化的细胞核的图像进行二值化处理。此处，二值化处理例如是将具有大于二值化的基准值的像素值的像素转换为白色像素，将具有二值化的基准值以下的像素值的像素转换为黑色像素的处理。此时，二值化部41对于一个细胞核的图像，改变二值化的基准值，并进行多次二值化处理，由此生成多个二值化图像。
[0078]
此外，二值化部41具有公知的图像识别功能(或图像检测功能)，可以是基于表示组织图像的亮度的像素值自动提取细胞核的图像的结构。但是，并不限定于此，也可以由使用图像解析装置1的检查技术员以及医疗相关人员等选择细胞核的图像。在该情形时，将组织图像显示于检查技术员以及医疗相关人员所使用的电脑所具备的显示部的显示画面，供检查技术员以及医疗相关人员选择细胞核的图像即可。
[0079]
贝蒂数算出部42对于二值化部41所生成的多个二值化图像，算出该二值化图像所包含的(1)二值化后的像素值为0的像素连通而成的连通区域的数量、(2)被二值化后的像素值为0的像素围成的孔形状区域的数量(区域数)。即，贝蒂数算出部42对于多个二值化图像各自所包含的组织的图像，算出零维贝蒂数b0以及一维贝蒂数b1。
[0080]
上述连通区域是二值化图像中黑色像素邻接并聚集的区域。各连通区域被白色像
素包围，以互相独立的颗粒状图像的形式被(用眼睛)确认。
[0081]
上述孔形状意指二值化图像中白色像素被黑色像素包围的区域。例如，在黑色像素为线状的情形时，孔形状可以是被黑色线围成的孔。
[0082]
作为贝蒂数算出部42，可使用现有的程序。作为这种程序中的一例，可列举chomp。chomp是依据gnu(general public license，通用公共许可协议)的免费软件，可从主页(http://chomp.rutgers.edu/)下载。只要是能够算出与图像相关的零维贝蒂数以及一维贝蒂数的程序，那么也可以使用chomp以外的程序。
[0083]
具体而言，贝蒂数算出部42根据各细胞核的图像对零维贝蒂数b0以及一维贝蒂数b1与二值化的基准值的对应关系进行解析，算出产生零维贝蒂数b0的最大值b0max的二值化的基准值th1、一维贝蒂数b1作为第一特定值时的二值化的基准值th2，以及一维贝蒂数b1的最大值b1max。此处，二值化的基准值th2在使二值化的基准值从0开始逐渐增大的情形时，是一维贝蒂数b1首次达到第一特定值时的二值化的基准值。即，二值化的基准值th2是一维贝蒂数b1为第一特定值的二值化的基准值中最小的值。
[0084]
此外，在算出二值化的基准值th1以及th2的情形时，理想的是贝蒂数算出部42进行像素值的标准化处理。此处，标准化处理是用来根据各细胞样品的染色情况，以及分析对象的各细胞核的图像的亮度来修正二值化的基准值th1以及基准值th2的处理。具体而言，贝蒂数算出部42以细胞核各图像中与亮度相关的像素值中产生众数的像素值作为127的方式，对二值化的基准值th1以及th2进行修正。此外，127是像素值的最低值0与最大值255的中间的值。贝蒂数算出部42通过进行标准化处理，即使因各细胞样品的染色情况存在差异导致各组织图像的亮度存在偏差，也能够适当地算出二值化的基准值th1以及th2。适当地算出二值化的基准值th1以及th2，对于解析各细胞核的图像并准确评价细胞核内的染色质量而言较为重要。
[0085]
例如，在与某细胞核的图像的亮度相关的像素值的度数分布中，在产生众数的像素值为q的情形时，贝蒂数算出部42通过下述式算出基准值th1以及基准值th2。
[0086]
(修正后的基准值th1)＝(修正前的基准值th1)－{q－127}
[0087]
(修正后的基准值th2)＝(修正前的基准值th2)－{q－127}
[0088]
以下，在没有特别提及的情形时，二值化的基准值th1以及th2意指修正后的基准值th1以及th2。
[0089]
癌判定部43基于由贝蒂数算出部算出的一维贝蒂数b1作为第一特定值时的二值化的基准值th2，以及一维贝蒂数b1的最大值b1max，对组织所含的细胞是否为癌细胞进行判定。
[0090]
另外，癌判定部43也可以基于下述(1)～(4)判定组织所含的细胞是否为癌细胞以及癌细胞的种类。
[0091]
(1)产生零维贝蒂数b0的最大值b0max的二值化的基准值th1；
[0092]
(2)一维贝蒂数b1作为第一特定值时的二值化的基准值th2；
[0093]
(3)一维贝蒂数b1的最大值b1max；
[0094]
(4)细胞核的形态上的特征。
[0095]
此外，作为细胞核的形态上的特征，可应用表示细胞核的形状以及细胞核的大小等的特征。此外，以下列举应用细胞核的大小作为细胞核的形态上的特征的情形为例进行
说明。在该情形时，癌判定部43利用任意方法算出细胞核的大小即可。例如，在细胞核的图像为四边形的情形时，可使用拍摄倍率算出该四边形的对角线或边的长度所表示的实际尺寸，并将该值用作表示细胞核的大小的值。或者，癌判定部43可使用拍摄倍率算出细胞核的图像所包含的细胞核所对应的区域的实际面积，并算出面积与该面积相同的圆的直径作为该细胞核的大小。
[0096]
(图像解析装置1的处理流程)
[0097]
然后，使用图3对图像解析装置1中的处理流程的一例进行说明。图3是表示图像解析装置1中的处理流程中的一例的流程图。此外，此处列举二值化部41具有从组织图像提取细胞核的图像的功能的情形为例进行说明。
[0098]
首先，二值化部41获得被画质判定部40判定为合适的组织图像，如图4所示那样，从所获得的组织图像提取一个细胞核的图像g(步骤s1：提取工序)。图4是模式化地表示提取细胞核的图像的处理的图。此外，细胞核的图像g为仅包含一个该细胞核的图像即可。此外，细胞核的图像g优选为与细胞核对应的区域相对于该细胞核的图像整体所占的特定比例(例如85％)以上的图像。在图4中，作为细胞核的图像g，示出了提取以四边形g包围拍摄一个细胞核的区域而成的区域的例子，但也可以提取包围细胞核整体的任意多边形、圆形以及椭圆形所包围的区域。
[0099]
二值化部41改变二值化的基准值并进行二值化处理，由步骤s1中所提取的细胞核的图像生成多个二值化图像(步骤s2：二值化工序)。
[0100]
图5是对细胞核的图像中改变二值化的基准值的情形时所生成的二值化图像的特征进行说明的图。细胞核的图像g1是正常细胞的细胞核的图像。另一方面，细胞核的图像g2是癌细胞的细胞核的图像。
[0101]
在二值化的基准值足够小(例如0)时，细胞核的图像为全白。如果逐渐增大二值化的基准值，那么首先存在于焦点面上的核小体等的图像以粒或点状出现。进一步增大二值化的基准值后，出现焦点面上的染色质的图像。此时出现的染色质的图像为颗粒状。进一步增大二值化的基准值后，接着出现焦深内的染色质的图像。该阶段所出现的染色质的图像为颗粒状或线状。进一步增大二值化的基准值后，焦深外的影响导致细胞核内的染色质的图像被噪声埋没。在二值化的基准值足够大(例如255)时，细胞核的图像为全黑。
[0102]
如上所述的二值化图像中的倾向，无论在正常细胞的细胞核的图像g1中还是在癌细胞的细胞核的图像g2中均同样可见。但是，如图5所示，癌细胞的细胞核的图像g2中的二值化图像与正常细胞的细胞核的图像g1中的二值化图像相比，从更低的二值化的基准值时起，染色质的颗粒状以及线状的图像便明显化。另外，癌细胞的细胞核的图像g2中的二值化图像与正常细胞的细胞核的图像g1中的二值化图像相比，染色质的图像密集存在。其原因在于：与正常细胞相比，癌细胞的细胞核内的染色质量增量。
[0103]
回到图3，接着，贝蒂数算出部42算出由二值化部41生成的各二值化图像中的零维贝蒂数b0以及一维贝蒂数b1(步骤s3：区域数算出工序)。
[0104]
图6是表示细胞核的图像中的零维贝蒂数与二值化的基准值的关系性的曲线图中的一例。像这样，各细胞核的图像中的零维贝蒂数成为具有一个最大值b0max的吊钟形状的曲线图。例如，贝蒂数算出部42算出产生零维贝蒂数的最大值b0max的二值化的基准值th1(参照图6)。
[0105]
图7是表示细胞核的图像中的一维贝蒂数与二值化的基准值的关系性的曲线图中的一例。像这样，各细胞核的图像中的一维贝蒂数成为具有一个最大值b1max的吊钟形状的曲线图。例如，贝蒂数算出部42算出一维贝蒂数b1成为第一特定值(例如，b1＝5)时的二值化的基准值th2，以及一维贝蒂数b1的最大值b1max(参照图7)。
[0106]
回到图3，接着，癌判定部43基于由贝蒂数算出部42所算出的一维贝蒂数b1与第一特定值一致时的二值化图像的二值化的基准值，对细胞的癌变的有无以及癌的种类进行判定(步骤s4：判定工序)。下文列举具体例对癌判定部43所进行的处理进行说明。
[0107]
显示控制部5将癌判定部43的判定结果显示于显示装置6(步骤s6)。
[0108]
(判定是否为癌细胞以及癌的种类的处理)
[0109]
继而，使用图8对判定是否为癌细胞以及癌的种类的处理的具体例进行说明。图8是表示癌细胞判定处理的流程中的一例的流程图。此外，各判定的顺序可根据应用于癌细胞判定处理的细胞的形态上的特征、要判定的细胞的种类，以及作为判定对象的癌的种类等进行适当变更，并不限定于图8所示的例子。
[0110]
首先，画质判定部40对组织图像是否适合作为解析对象进行判定(步骤s401)。在判定画质判定部40不适合作为解析对象的情形时(步骤s401中为“否”)，画质判定部40选择其他组织图像(步骤s403)，回到步骤s401，对组织图像是否适合作为解析对象进行判定。此外，在没有其他组织图像的情形，或已结束判定全部组织图像是否适合作为解析对象的情形时，图像解析部4结束处理。此外，在图8中，列举在将要提取细胞核的图像之前画质判定部40对是否为适合于解析的组织图像进行判定的情形为例，但并不限定于此。例如，画质判定部40在提取细胞核的图像之前的任意时间点对是否为适合于解析的组织图像进行判定即可。
[0111]
在画质判定部40判定为适合作为解析对象的情形时(步骤s401中为“是”)，二值化部41提取细胞核的图像(步骤s402)。贝蒂数算出部42对所提取的细胞核的图像进行解析，算出产生零维贝蒂数的最大值b0max的二值化的基准值th1、一维贝蒂数b1作为第一特定值(例如，b1＝5)时的二值化的基准值th2，以及一维贝蒂数b1的最大值b1max(参照图3的步骤s3)。另外，癌判定部43基于所提取的细胞核的图像以及拍摄倍率算出该细胞核的大小。所算出的二值化的基准值th1以及th2、一维贝蒂数b1的最大值b1max，以及细胞核的大小在癌判定部43中的以下判定中使用。
[0112]
然后，癌判定部43对二值化的基准值th2是否为第一阈值以下进行判定(步骤s404)。在判定是否为肺癌细胞的情形时，第一阈值例如可以是五十。在二值化的基准值th2大于第一阈值的情形时(步骤s404中为“否”)，接着，癌判定部43判定细胞核的大小是否为第二阈值以下(步骤s405)。在癌判定部43判定细胞核的大小为第二阈值以下的情形时(步骤s405中为“是”)，判定具有该细胞核的细胞为正常细胞(或不为癌细胞)(步骤s406)。另一方面，在癌判定部43判定细胞核的大小大于第二阈值的情形时(步骤s405中为“否”)，处理返回步骤s403。第二阈值可以是能够区别正常细胞或癌细胞的任意阈值，例如为肺的情形时，可将第二阈值设为48μm。
[0113]
＜第一阈值＞
[0114]
此处，使用图9对第一阈值进行说明。图9是表示正常细胞以及肺的各种其他癌细胞中的二值化的基准值th2的值的比较例的图。比较所使用的各细胞数如下：正常细胞为四
十，被分类为鳞状细胞癌的细胞为二十九，被分类为腺癌的细胞为三十五，以及被分类为小细胞癌的细胞为三十七。
[0115]
正常细胞的二值化的基准值th2的值为55.9
±
1.10，被分类为鳞状细胞癌的细胞的基准值th2的值为29.5
±
2.51，被分类为腺癌的细胞的基准值th2的值为39.0
±
1.64，被分类为小细胞癌的细胞的基准值th2的值为27.9
±
2.85。此外，这些二值化的基准值th2的各值以平均值
±
标准差的形式记载。
[0116]
例如，如果采用th等于五十作为第一阈值，那么癌判定部43能够判定，在二值化的基准值th2的值大于五十的情形时为正常细胞的可能性高，如果二值化的基准值th2的值为五十以下，那么为癌细胞的可能性高。
[0117]
回到图8，在二值化的基准值th2大于第一阈值的情形时(步骤s404中为“是”)，接着，癌判定部43判定细胞核的大小是否为第三阈值以下(步骤s407)。癌判定部43在细胞核的大小为第三阈值以下的情形时(步骤s407中为“是”)，判定具有该细胞核的细胞的癌的种类为腺癌(步骤s408)。第三阈值可以是能够区别被分类为腺癌的癌细胞或被分类为其他种类的癌细胞的任意阈值，例如可将第三阈值设为60μm。
[0118]
在细胞核的大小大于第三阈值的情形时(步骤s407中为“否”)，接着，癌判定部43判定二值化的基准值th1是否为第四阈值以下(步骤s409)。癌判定部43在二值化的基准值th1大于第四阈值的情形时(步骤s409中为“否”)，判定具有该细胞核的细胞的癌的种类为鳞状细胞癌(步骤s410)。第四阈值可以是能够区别被分类为鳞状细胞癌的癌细胞或被分类为小细胞癌的癌细胞的任意阈值，例如可将第四阈值设为三十。例如，如果采用二值化的基准值th1等于三十作为第四阈值，那么癌判定部43在步骤409中以下述方式进行判定。
[0119]
·
在二值化的基准值th1的值大于三十的情形时，为鳞状细胞癌的可能性高。
[0120]
·
如果二值化的基准值th1的值为三十以下，为小细胞癌的可能性高。
[0121]
在二值化的基准值th1为第四阈值以下的情形时(步骤s409中为“是”)，接着，癌判定部43判定一维贝蒂数的最大值b1max是否为第五阈值以下(步骤s411)。癌判定部43在一维贝蒂数的最大值b1max为第五阈值以下的情形时(步骤s411中为“是”)，判定具有该细胞核的细胞的癌的种类为小细胞癌(步骤s412)。第五阈值可以是能够区别被分类为小细胞癌的癌细胞或未被分类为小细胞癌的癌细胞的任意阈值，例如可将第五阈值设为二十五。
[0122]
＜第五阈值＞
[0123]
此处，使用图10对第五阈值进行说明。图10是表示正常细胞以及各种其他癌细胞中的一维贝蒂数的最大值b1max的值的比较例的图。比较所使用的各细胞数如下：正常细胞为四十，被分类为鳞状细胞癌的细胞为二十九，被分类为腺癌的细胞为三十五，以及被分类为小细胞癌的细胞为三十七。
[0124]
各细胞中的一维贝蒂数的最大值b1max如下。
[0125]
正常细胞：23.5
±
1.68
[0126]
被分类为鳞状细胞癌的细胞：28.0
±
3.11
[0127]
被分类为腺癌的细胞：38.7
±
2.27
[0128]
被分类为小细胞癌的细胞：14.8
±
1.08
[0129]
此外，这些一维贝蒂数的最大值b1max的各值以平均值
±
标准差的形式记载。
[0130]
例如，如果采用b1max等于二十五作为第五阈值，那么在一维贝蒂数的最大值
b1max的值为二十五以下的情形时，能够判定为正常细胞或小细胞癌的可能性高。另一方面，在一维贝蒂数的最大值b1max的值大于二十五的情形时，能够判定为小细胞癌的可能性低。在图8的步骤s404中判定为“是”的细胞中不含正常细胞，因此在步骤s411中判定为“是”的细胞为小细胞癌的可能性高。
[0131]
回到图8，在一维贝蒂数的最大值b1max大于第五阈值的情形时(步骤s411中为“否”)，癌判定部43输出无法判定具有该细胞核的细胞的癌的种类的判定结果(步骤s412)。
[0132]
在能够从一个组织图像提取多个细胞核的图像的情形时，可对各细胞核的图像分别进行步骤s404～s413的处理。由此，可给予针对组织图像所拍摄的各细胞的癌的种类的判定结果，更准确地判定癌的种类。
[0133]
(实施例)
[0134]
图11是表示依照图8所示的流程图进行对是否为癌细胞、以及癌的种类进行判定的处理的情形时的判定结果中的一例的图。此外，使用预先由病理医生等判定是否为正常细胞、以及为被分类为何种癌细胞的一百四十七个组织图像。从各组织图像提取一个细胞核的图像。
[0135]
所使用的一百四十七个组织图像中，由画质判定部40判定为适合作为解析对象的组织图像为一百一十三个(参照图8的步骤s401)。将从这一百一十三个图像的各图像中提取的细胞核的图像用于以下处理。其余三十四个组织图像不作为解析对象(参照图8的步骤s403)。
[0136]
经解析的一百一十三个细胞核的图像中，图8的步骤s404中由癌判定部43判定为“是”的细胞核的图像为七十四个，判定为“否”的细胞核的图像为三十八个。图8的步骤s404中，由癌判定部43判定为“是”的七十四个细胞核的图像全部为来自由病理医生预先判定为癌细胞的组织图像的细胞核的图像(判定的准确度为100％)。另一方面，图8的步骤s404中，由癌判定部43判定为“否”的三十八个细胞核的图像中，三十四个细胞核的图像全部为来自由病理医生预先判定为正常细胞的组织图像的细胞核的图像(判定的准确度为100％)。此外，其余四个细胞核的图像在步骤405中判定为“否”，不作为解析对象(参照图8的步骤s403)。
[0137]
七十四个细胞核的图像中，图8的步骤s407中，由癌判定部43判定为“否”的细胞核的图像为五十五个，判定为“是”的细胞核的图像为十九个。图8的步骤s407中，由癌判定部43判定为“是”的十九个细胞核的图像中，十八个为来自由病理医生预先判定为被分类为腺癌的癌细胞的组织图像的细胞核的图像(判定的准确度为94.7％)。
[0138]
五十五个细胞核的图像中，图8的步骤s409中，由癌判定部43判定为“是”的细胞核的图像为三十三个，判定为“否”的细胞核的图像为二十二个。图8的步骤s409中由癌判定部43判定为“否”的二十二个细胞核的图像中，二十个为来自由病理医生预先判定为被分类为鳞状细胞癌的癌细胞的组织图像的细胞核的图像(判定的准确度为90.9％)。
[0139]
三十三个细胞核的图像中，图8的步骤s411中由癌判定部43判定为“是”的细胞核的图像为二十八个，判定为“否”的细胞核的图像为五个。图8的步骤s411中由癌判定部43判定为“是”的二十八个细胞核的图像中，二十三个为来自由病理医生预先判定为被分类为小细胞癌的癌细胞的组织图像的细胞核的图像(判定的准确度为82.1％)。此外，判定为“否”的其余五个细胞核的图像被判定为无法分类(参照图8的步骤s413)。详细而言，来自由病理
医生预先判定为小细胞癌的组织图像的细胞核的图像为一个，来自判定为腺癌的组织图像的细胞核的图像为一个，以及来自判定为鳞状细胞癌的组织图像的细胞核的图像为三个。
[0140]
如上所述，表明图像解析装置1能够高精度地判定是否为癌细胞以及癌细胞的种类。
[0141]
〔实施方式2〕
[0142]
以下对本发明的其他实施方式进行说明。此外，为了方便说明，对具有与上述实施方式所说明的构件相同功能的构件标注相同的符号，而不再重复其说明。
[0143]
(图像解析装置1a的结构)
[0144]
接着，使用图12对图像解析装置1a的结构进行说明。图12为表示本发明实施例2的图像解析装置1a的结构中的一例的框图。图像解析装置1a在具备判定结果发送部9代替显示控制部5的方面不同于图像解析装置1。判定结果发送部9从癌判定部43获得对从外部机器8接收到的图像数据所表示的拍摄图像进行解析而得的结果，并发送到提示装置10。此外，外部机器8以及提示装置10的数量可以是多个。
[0145]
(图像解析系统)
[0146]
此处，使用图13对包含图像解析装置1a的图像解析系统100以及100a的结构例进行说明。图13是表示包含本发明图像解析装置1a的图像解析系统100以及100a的结构例的概略图。图13的(a)表示将外部机器8与提示装置10设置于分开的场所的例子，(b)表示将提示装置10连接于外部机器8a的例子。
[0147]
图像解析系统100具有外部机器8、图像解析装置1a以及提示装置10。外部机器8、图像解析装置1a以及提示装置10连接于互联网等信息通信网络50，能够互相发送接收数据。
[0148]
外部机器8例如可以是具有拍摄组织的功能的显微镜等机器，也可以是将拍摄组织所获得的图像进行集中管理的服务器，例如电子病历服务器、显微镜图像数据服务器等。
[0149]
提示装置10是具有向用户提示图像解析结果的功能的装置即可，例如，提示装置10是具备显示器的显示装置。或者，也可以是医疗相关人员携带的平板终端等通信终端机器。
[0150]
拍摄组织所获得的拍摄图像的图像数据从外部机器8向图像解析装置1a发送。接收到图像数据的图像解析装置1a由图像解析部4对该图像进行解析，判定是否为癌细胞以及癌的种类。判定结果发送部9将判定结果发送到提示装置10或外部机器8。
[0151]
图像解析系统100a具有外部机器8a、图像解析装置1a以及提示装置10。外部机器8a以及图像解析装置1a连接于互联网等信息通信网络50，能够互相发送接收数据。提示装置10连接于外部机器8a。
[0152]
即，图像解析装置1a能够从外部机器8远程接收所拍摄的图像，进行图像解析，并将判定结果发送到提示装置10以及10a。提示装置10以及10a可以是连接于外部机器8的装置，也可以是独立于图像解析装置1a以及外部机器8的装置。
[0153]
〔利用软件的实现例〕
[0154]
图像解析装置1、1a的控制模块(尤其是画质判定部40、二值化部41、贝蒂数算出部42以及癌判定部43)可通过形成于集成电路(ic芯片)等的逻辑电路(硬件)来实现，也可以由软件来实现。
[0155]
在后者的情形时，图像解析装置1、1a具备执行实现各功能的软件即程序的命令的电脑。该电脑例如具备一个以上处理器，并且具备存储上述程序的电脑可读取的记录媒体。并且，在上述电脑中，通过上述处理器从上述记录媒体读取上述程序并执行，而达成本发明的目的。作为上述处理器，例如可使用cpu(central processing unit，中央处理单元)。作为上述记录媒体，可使用“非暂态有形媒体”，例如除了rom(read only memory，只读存储器)等以外，可使用磁带、硬盘、存储卡、半导体存储器、可编程逻辑电路等。另外，可进一步具备展开上述程序的ram(random access memory)等。另外，上述程序可经由能够传输该程序的任意传输媒体(通信网络或广播波等)供至上述电脑。此外，本发明的一方面也可以通过由电子传输实现上述程序的嵌入载波中的数据信号的形态来实现。
[0156]
本发明并不限定于上述各实施方式，可在权利要求所示的范围内进行各种变更，将不同实施方式所分别揭示的技术手段适当组合所获得的实施方式也包含于本发明的技术范围内。
[0157]
〔总结〕
[0158]
本发明的形态一的图像解析方法是对拍摄组织所获得的拍摄图像进行解析的方法，包括：二值化工序(步骤s2)，对于一个所述拍摄图像，改变二值化的基准值，并进行多次二值化处理，由此生成多个二值化图像；区域数算出工序(步骤s3)，对于所述二值化工序中所生成的多个二值化图像的各图像，算出孔形状区域的数量即区域数；以及判定工序(步骤s4)，基于所述区域数与特定的值一致时的该二值化图像的二值化的基准值，判定所述组织所含的细胞的癌的种类。
[0159]
此处，“组织”为包含受检者的细胞的活体组织。另外，“孔形状区域”是作为二维平面的拍摄图像中的空间(孔)。作为算出孔形状区域的数量的处理，可对所述多个二值化图像的各图像进行求出一维贝蒂数的处理。此外，用于根据图像算出贝蒂数的程序可使用公知的程序。
[0160]
如果细胞癌变，那么该细胞的细胞核内的染色质量增量。认为细胞核内的染色质为线状，且三维分布。发明人们发现，着眼于焦深与对比度的关联性，通过使用将拍摄组织所获得的拍摄图像进行二值化而得的二值化图像，可读取与细胞核内三维分布的染色质的存在状态相关的信息。例如，如果细胞核内的染色质量增量，那么染色质的密集程度以及交错程度上升。即，细胞核内的染色质的密集程度以及交错程度可通过二值化图像中的孔形状区域的数量进行评价。
[0161]
根据所述结构，对于拍摄组织所获得的拍摄图像，首先生成二值化的基准值不同的多个二值化图像，并对于多个二值化图像的各图像，算出孔形状区域的数量即区域数。然后，基于区域数与特定的值一致时的二值化图像的二值化的基准值，判定组织所含的细胞的癌的种类。
[0162]
由此，在作为二维平面的拍摄图像中，能够高精度地检测组织的细胞的癌变等，判定是否为癌细胞以及为何种癌。
[0163]
本发明的形态二的所述图像解析方法可以是在所述形态一中，进一步包括提取工序(步骤s1)，提取所述拍摄图像所包含的细胞核的图像，并对所述提取工序中所提取的细胞核的图像进行所述二值化工序(步骤s2)。
[0164]
如上文所述，染色质存在于细胞核内。根据所述结构，从拍摄组织所获得的拍摄图
像中提取细胞核的图像，并进行二值化。由此，不会受到细胞核以外的部分的影响，可适当地判定组织所含的细胞的癌的种类。
[0165]
在本发明的形态三的所述图像解析方法中，可以是在所述形态一或形态二中，在所述判定工序(步骤s4)中进一步基于所述细胞所具有的细胞核的大小判定所述癌的种类。
[0166]
在癌细胞的某种类中，已知与正常细胞相比，细胞核大型化。根据所述结构，除了染色质量的增量以外，也考虑细胞核的大小，来判定癌的种类。由此，能够更详细地判定癌的种类。
[0167]
在本发明的形态四的所述图像解析方法中，可以是在所述形态一至形态三的任一形态中，在所述判定工序(步骤s4)进而基于根据所述多个二值化图像所算出的多个所述区域数中的最大值是否为特定的值以下来判定所述癌的种类。
[0168]
发明人们发现，在癌的某种类中存在根据多个二值化图像所算出的多个区域数中的最大值明确不同于其他种类的癌者。根据所述结构，能够更详细地判定癌的种类。
[0169]
用于使电脑执行上述形态一至形态四中任一形态所记载的图像解析方法所包括的各工序的图像解析程序，以及记录该图像解析程序的电脑可读取的记录媒体也在本发明的范围内。
[0170]
为了解决上述课题，本发明的形态七的图像解析装置(1、1a)是一种对拍摄组织所获得的拍摄图像进行解析的图像解析装置，其具备：二值化部(41)，对于一个所述拍摄图像，改变二值化的基准值，并进行多次二值化处理，由此生成多个二值化图像；区域数算出部(贝蒂数算出部42)，对于所生成的所述多个二值化图像的各图像，算出孔形状区域的数量即区域数；以及癌判定部(43)，基于所述区域数与特定的值一致时的该二值化图像的二值化的基准值，判定所述组织所含的细胞的癌的种类。根据所述结构，发挥与所述本发明的形态一的图像解析方法同样的效果。
[0171]
为了解决上述课题，本发明的形态八的图像解析系统(100、100a)包括：所述形态七所记载的图像解析装置(1、1a)；外部机器(8)，向所述图像解析装置发送所述拍摄图像的图像数据；以及提示装置(10)，获得由所述图像解析装置(1、1a)进行的判定的结果，并提示该判定的结果。
[0172]
根据所述结构，例如能够使用远程的外部机器(8)接收所拍摄的拍摄图像，并对该图像进行解析，且能够对远程用户提示判定结果。此处，用户可以为医生等医疗相关人员。
[0173]
[符号的说明]
[0174]
1、1a：图像解析装置
[0175]
2：图像获得部
[0176]
3：存储部
[0177]
4：图像解析部
[0178]
5：显示控制部
[0179]
6：显示装置
[0180]
7：一次存储部
[0181]
8、8a：外部机器
[0182]
9：判定结果发送部
[0183]
10：提示装置
[0184]
40：画质判定部
[0185]
41：二值化部
[0186]
42：贝蒂数算出部(区域数算出部)
[0187]
43：癌判定部
[0188]
50：信息通信网络
[0189]
100、100a：图像解析系统
[0190]
s1：提取工序
[0191]
s2：二值化工序
[0192]
s3：区域数算出工序
[0193]
s4：判定工序。