细胞图像解析方法及细胞解析装置与流程

1.本发明涉及一种对针对细胞得到的观察图像进行解析处理的细胞图像解析方法以及使用了该方法的细胞解析装置，更详细地说，涉及一种适于细胞形状的观察和细胞面积的评价的细胞图像解析方法及细胞解析装置。


背景技术：

2.在再生医疗领域，近年来正盛行一种使用了ips细胞、es细胞或间充质干细胞等多能干细胞的研究。在利用了这样的多能干细胞的再生医疗的研究和开发中，需要大量地培养维持了多能性的状态的未分化的细胞。因此，需要进行合适的培养环境的选择以及环境的稳定控制，并且需要以高频率确认培养中的细胞的状态。在再生医疗领域中，为了继续培养观察后的细胞，重要的是无损且无创地进行细胞状态的观察和确认。这样的无损且无创的细胞状态的评价一般是指利用了由细胞观察装置得到的细胞图像的形态学的评价。
3.一般来说，由于细胞等薄且透明的观察对象物的光吸收少，因此，在光学的强度像中难以识别对象物的形态。因此，以往一般在细胞的观察中广泛地利用相差显微镜。在相差显微镜中，将光通过对象物时发生变化的相位的变化量图像化，因此能够获得透明的细胞的形态也可视化的相位差图像。在专利文献1中公开了如下一种技术：基于利用这样的相差显微镜得到的相位差图像，针对多能干细胞识别仅包括未分化细胞的良好的细胞集落和包括未分化脱离细胞的不良的细胞集落。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2014-18184号公报
7.专利文献2：国际专利公开第2016/162945号


技术实现要素：

8.发明要解决的问题
9.在评价培养中的细胞的状态是否良好时，细胞的形状是一个重要的因素。另外，细胞的形状在阐明细胞的功能和特性方面也很重要。然而，根据细胞的种类、细胞的背景(培养基)的状态等，即使在由相差显微镜得到的相位差图像中也无法清楚地观察将细胞的内外隔开的细胞膜，另外，有时细胞内外的像素值不产生差而难以掌握细胞的正确的形状。
10.本发明是为了解决上述问题而完成的，其主要目的在于提供一种能够无创且良好地观察细胞的形状的细胞图像解析方法及细胞解析装置。
11.用于解决问题的方案
12.为了解决上述问题而完成的本发明所涉及的细胞图像解析方法的一个方式包括以下步骤：
13.学习模型制作步骤，通过使用以基于用全息显微镜获取到的全息图数据制作出的细胞的相位图像为输入图像、并且以疑似细胞区域图像为正确图像的学习数据进行机器学
习，来制作学习模型，所述疑似细胞区域图像是基于与该相位图像对应的对细胞骨架进行染色得到的染色图像而得到的；以及
14.区域估计步骤，使用所述学习模型，以与作为解析对象的细胞有关的相位图像为输入图像，输出表示细胞区域的细胞区域估计图像。
15.另外，为了解决上述问题而完成的本发明所涉及的细胞解析装置的一个方式具备：
16.全息显微镜；
17.图像制作部，其基于通过用所述全息显微镜观察细胞而获取到的全息图数据，来制作所述细胞的相位图像；
18.第一学习模型存储部，其用于存储细胞区域学习模型，所述细胞区域学习模型是通过使用以基于全息图数据制作出的细胞的相位图像为输入图像、并且以疑似细胞区域图像为正确图像的学习数据进行机器学习而制作出的，所述疑似细胞区域图像是基于与该相位图像对应的对细胞骨架进行染色得到的染色图像而得到的；以及
19.细胞区域估计部，其使用存储在所述第一学习模型存储部中的细胞区域学习模型，以由所述图像制作部针对作为解析对象的细胞制作出的相位图像为输入图像，输出表示细胞区域的细胞区域估计图像。
20.典型地说，上述全息显微镜是数字全息显微镜，上述相位图像例如是基于相位信息重构的图像，该相位信息是通过基于由数字全息显微镜得到的全息图数据进行运算处理而求出的。
21.发明的效果
22.在细胞质内存在各种细胞小器官，其中，细胞骨架是在整个细胞质内以纤维状或网状存在的构造要素，决定细胞的形状和形态。因而，如果能够准确地提取细胞骨架所分布的区域，则能够视为该区域的形状大致示出了细胞形状。虽然作为主要的细胞骨架之一的肌动蛋白丝(actin filament)能够通过染色而在荧光图像上可视化，但染色是有创性的处理。因此，在本发明所涉及的细胞图像解析方法及细胞解析装置中，能够利用机器学习的算法，根据细胞的相位图像来制作细胞区域估计图像，根据该图像来评价细胞的形状和形态。
23.即，在本发明的上述方式所涉及的细胞图像解析方法及细胞解析装置中，在通过机器学习制作学习模型时，使用与合适的细胞有关的相位图像、以及基于通过对相同的细胞的细胞骨架进行染色并利用荧光显微镜等进行观察而得到的染色图像的疑似细胞区域图像。如上所述，相位图像是通过基于全息图数据进行运算处理而获得的图像，是以无创的方式针对细胞获得的图像。在观察作为解析对象的细胞的细胞核时，使用上述学习模型，通过输入针对该细胞得到的相位图像，能够获得细胞区域估计图像来作为输出图像。
24.这样，根据本发明的上述方式所涉及的细胞图像解析方法及细胞解析装置，不对细胞进行染色等有创的处理，就能够得到清楚地示出细胞区域的细胞区域估计图像。由此，用户能够掌握细胞的形状和形态。另外，由于能够无创地对作为解析对象的细胞进行摄影(测定)，因此能够继续培养掌握了细胞形状后的细胞，或者供于其它目的的分析或观察。
附图说明
25.图1是使用了本发明所涉及的细胞图像解析方法的细胞解析装置的一个实施方式
的概要结构图。
26.图2是在本实施方式的细胞解析装置中使用的全层卷积神经网络的构造的概念图。
27.图3是示出本实施方式的细胞解析装置的学习模型制作时的处理流程的流程图。
28.图4是示出本实施方式的细胞解析装置的从拍摄作为解析对象的细胞到输出细胞形状估计图像为止的处理流程的流程图。
29.图5是本实施方式的细胞解析装置的根据细胞区域估计图像以及核区域估计图像计算细胞形状估计图像时的说明图。
30.图6是示出肌动蛋白丝染色图像和明视场图像的一例的图。
31.图7是示出本实施方式的细胞解析装置的在学习模型制作时使用的正确图像的处理过程的图，(a)是染色荧光图像的原始图像，(b)是背景去除和二值化后的图像，(c)是闭运算处理后的图像。
32.图8是示出本实施方式的细胞解析装置的fcn处理的输入图像(ihm相位像)(a)和作为处理结果的输出图像(细胞区域估计图像)(b)的一例的图。
33.图9是示出将本实施方式的细胞解析装置的fcn处理的输入图像(ihm相位像)和根据该ihm相位像估计出的细胞区域叠加地显示的图像的图。
34.图10是与图9示出的图像对应的正确图像(表示正确的细胞区域的图像)。
35.图11是示出本实施方式的细胞解析装置的fcn处理的输入图像(ihm相位像)(a)和作为处理结果的输出图像(核位置估计图像)(b)的一例的图。
36.图12是示出本实施方式的细胞解析装置的细胞区域估计的过程的各图像的一例的图。
37.附图标记说明
38.1：细胞解析装置；10：显微观察部；11：光源部；12：图像传感器；13：培养板；14：细胞；15：参照光；16：物体光；20：控制/处理部；21：摄影控制部；22：全息图数据存储部；23：相位信息计算部；24：图像制作部；25：细胞区域估计部；251：细胞区域学习模型存储部；26：核位置估计部；261：核位置学习模型存储部；27：细胞形状估计部；30：输入部；40：显示部；50：fcn模型制作部；51：学习数据输入部；52：图像位置对准处理部；53：荧光图像预处理部；54：荧光图像二值化部；55：学习执行部；56：模型构建部；60：多层网络；61：卷积层；63：输入图像；64：分割图像。
具体实施方式
39.以下，参照所附附图对本发明所涉及的细胞图像解析方法及细胞解析装置的一个实施方式进行说明。
40.图1是作为用于实施本发明所涉及的细胞图像解析方法的一个实施方式的细胞解析装置的主要部分的结构框图。
41.本实施例的细胞解析装置1具备显微观察部10、控制/处理部20、作为用户接口的输入部30以及显示部40。另外，对细胞解析装置1附设了fcn模型制作部50。
42.显微观察部10是直列式全息显微镜(in-line holographic microscopy：ihm)，具备包括激光二极管等的光源部11和图像传感器12，在光源部11与图像传感器12之间配置有
包括细胞14的培养板13。
43.控制/处理部20控制显微观察部10的动作，并且处理由显微观察部10获取到的数据，控制/处理部20具备摄影控制部21、全息图数据存储部22、相位信息计算部23、图像制作部24、细胞区域估计部25、核位置估计部26、细胞形状估计部27以及显示处理部28，来作为功能块。另外，细胞区域估计部25包括细胞区域学习模型存储部251，核位置估计部26包括核位置学习模型存储部261。
44.fcn模型制作部50包括学习数据输入部51、图像位置对准处理部52、荧光图像预处理部53、荧光图像二值化部54、学习执行部55以及模型构建部56，来作为功能块。在该fcn模型制作部50中制作的学习完毕的学习模型被保存在控制/处理部20的存储部中，作为细胞区域学习模型存储部251和核位置学习模型存储部261发挥功能。
45.通常，控制/处理部20的实体是计算机系统，该计算机系统包括安装有规定软件的个人计算机、性能更高的工作站、或者经由通信线路与这样的计算机连接的高性能的计算机。即，能够通过因执行在计算机单体或包括多个计算机的计算机系统中搭载的软件而实施的、使用该计算机或计算机系统中存储的各种数据进行的处理，来具体实现控制/处理部20中包括的各块的功能。
46.另外，fcn模型制作部50的实体也是安装有规定软件的个人计算机或性能更高的工作站。通常，该计算机是与控制/处理部20独立的计算机，但也可以是相同的计算机。也就是说，也能够使控制/处理部20具有fcn模型制作部50的功能。
47.首先，对直到在本实施方式的细胞解析装置1中制作作为细胞的观察图像的ihm相位像为止的作业以及处理进行说明。
48.当操作员将包括细胞14的培养板13放置在规定位置并利用输入部30进行规定的操作时，摄影控制部21控制显微观察部10，按照如下的过程来获取全息图数据。
49.即，光源部11向培养板13的规定区域照射具有10
°
左右的角度的扩展度的相干光。透过了培养板13和细胞14的相干光(物体光16)与透过了在培养板13上接近细胞14的区域的光(参照光15)发生干涉，并且到达图像传感器12。物体光16是在透过细胞14时相位发生了变化的光，另一方面，参照光15不透过细胞14，因此是不会发生由细胞14引起的相位变化的光。因而，在图像传感器12的检测面(像面)上形成由相位因细胞14而变化的物体光16与相位未变化的参照光15的干涉条纹形成的像、即全息图。
50.通过未图示的移动机构使光源部11和图像传感器12联动地在x轴方向和y轴方向上依次移动。由此，能够使从光源部11发出的相干光的照射区域(观察区域)在培养板13上移动，从而获取遍及广阔的二维区域的全息图数据(在图像传感器12的检测面上形成的全息图的二维的光强度分布数据)。
51.如上所述，由显微观察部10得到的全息图数据被逐次地发送到控制/处理部20，并被保存到全息图数据存储部22中。在控制/处理部20中，相位信息计算部23从全息图数据存储部22读出全息图数据，通过执行用于相位恢复的规定的运算处理，来计算观察区域(拍摄区域)整体的相位信息。图像制作部24基于计算出的相位信息来制作ihm相位像。在这样的相位信息的计算和ihm相位像的制作时，能够使用专利文献2等中公开的公知的算法。
52.图8的(a)、图11的(a)是ihm相位像的一例。获知透明的细胞在一般的光学显微镜下难以视觉识别，但在ihm相位像中能够非常清楚地观察各个细胞。但是，即使在ihm相位像
中也难以准确地掌握各个细胞的形状。这是由以下等情况导致的：在细胞内外，像素值几乎没有差异。
53.图6的(a)和图6的(b)示出同一区域中的肌动蛋白丝的荧光染色图像以及由普通的显微镜得到的明视场图像。如图6的(a)所示，肌动蛋白丝是细胞骨架的一种，以纤维形状存在于整个细胞内部。如图6的(b)所示那样获知，虽然在明视场图像中难以视觉识别细胞区域，但在肌动蛋白丝所在的区域存在细胞。基于此，肌动蛋白丝所分布的区域能够视为细胞区域。因此，在本实施方式的细胞解析装置中，利用作为机器学习法之一的全层卷积神经网络(fcn：fully convolutional neural network)，根据与间充质干细胞(msc：mesenchymal stem cells)有关的ihm相位像和对该细胞的细胞骨架(在此为肌动蛋白丝)进行染色得到的荧光图像来制作出学习模型。然后，使用该学习模型，以ihm相位像为输入图像，获得细胞区域估计图像来作为输出图像。
54.图2是fcn的构造的概念图。在许多文献中详细地说明了fcn的构造和处理的详细情况。另外，也能够利用美国矩阵实验室(mathworks)公司提供的“matlab”等市场上销售的或免费的软件来实现。因此，在此概要地进行说明。
55.如图2所示，fcn例如包括使卷积层与合并层的重复多层化而得到的多层网络60、以及与卷积神经网络中的全连接层相当的卷积层61。在该情况下，在多层网络60中，重复进行使用了规定尺寸的滤波器(内核)的卷积处理以及使卷积结果二维地缩小并提取有效值的合并处理。但是，多层网络60也可以没有合并层而仅由卷积层构成。另外，在最后一层的卷积层61中，一边使规定尺寸的滤波器在输入图像内滑动一边进行局部的卷积和逆卷积。在该fcn中，通过对ihm相位像等输入图像63进行语义分割(semantic segmentation)，能够将细胞区域与其它区域区分开并输出附带有标签的分割图像64。
56.在此，将多层网络60和卷积层61设计为在被输入的ihm相位像中以像素为单位进行标签化。即，在作为输出图像的分割图像64中被附带标签的一个区域的最小单位是ihm相位像上的一个像素。因此，即使假设在ihm相位像上细胞区域的尺寸为一个像素左右，在标签图像64中细胞区域也被检测为一个区域。
57.为了通过fcn进行如上所述的语义分割，需要预先使用多个学习用的图像数据，学习在多层网络60中包含的多个卷积层以及最后一层的卷积层61各层中的滤波器的系数(权重)，来构建学习模型。
58.按照图3所示的流程图来说明在fcn模型制作部50中进行学习处理时的动作。此外，在学习时，例如一般能够利用在机器学习中经常使用的概率梯度下降法来进行学习。
59.fcn模型制作部50的学习数据输入部51预先读入多组的以由图像制作部24制作出的ihm相位像和与之对应的正确图像(在此，严格地说是作为正确图像的基础的染色荧光图像)为一组的学习数据(也称为教师数据、训练数据，在此称为学习数据)(步骤s11)。如上所述，ihm相位像是在细胞解析装置1中基于实际拍摄细胞得到的数据而制作的像，但不一定限于特定的细胞解析装置，也可以在同样结构的其它细胞解析装置中得到。另一方面，作为正确图像的基础的图像是对制作出ihm相位像时的细胞的细胞骨架(在此是指肌动蛋白丝)进行染色并利用适当的显微镜对其进行拍摄而得到的荧光图像(细胞骨架染色荧光图像)。染色的方法只要是能够对细胞骨架进行染色的方法即可，没有特别地限定，一般能够使用鬼笔环肽等。
60.在一组的ihm相位像和染色荧光图像中，期望细胞的位置、方向、大小等完全相同，但一般无法与用数字全息显微镜进行的摄影并行地获取荧光图像，因此避免不了在所得到的ihm相位像和染色荧光图像中细胞的位置、方向、大小等不同。因此，图像位置对准处理部52通过进行使任一方的图像平移、旋转、放大/缩小等图像处理，来实施两个图像的位置对准(步骤s12)。一般来说，优选以能够更清楚地视觉识别细胞的ihm相位像为基准进行图像处理以使染色荧光图像的位置一致。例如既可以由操作员参照在槽的缘部或培养板上附加的标记等来以手动作业的方式进行该位置对准的作业，也可以用规定算法自动地实施该位置对准的作业。
61.接着，荧光图像预处理部53实施噪声去除处理和背景去除处理，以使细胞核的区域在染色荧光图像中变得更加明确(步骤s13、s14)。噪声去除处理的目的在于去除由干扰等引起的噪声，例如能够使用线性滤波器、中值滤波器等各种滤波器。另外，背景去除处理的主要目的在于去除细胞骨架以外的背景部分中存在的强度不均，作为背景减法处理，已知一种利用了平均值滤波器的方法等。噪声去除处理以及背景去除处理的方法本身能够利用在以往的图像处理中利用的各种方法。
62.荧光图像二值化部54对如上所述那样进行预处理而得到的图像进行二值化处理，来制作使细胞骨架所分布的区域以及除此以外的区域明确化的二值化图像(步骤s15)。荧光图像二值化部54再对二值化后的图像实施将膨胀处理和缩小处理相结合的闭运算(closing)处理(步骤s16)。
63.图7的(a)是肌动蛋白丝染色荧光图像的原始图像，图7的(b)是对图7的(a)示出的图像进行背景去除及二值化后的图像，图7的(c)是对图7的(b)示出的图像进行闭运算处理后的图像的一例。以下说明的图像也同样，在此，将间充质干细胞(msc)作为解析的对象。
64.一般来说，在肌动蛋白丝染色荧光图像中，由于不存在肌动蛋白丝的背景部分的强度不均较大，因此如果不实施背景去除处理，则无法进行能够准确地提取肌动蛋白丝区域的二值化。与此相对地，通过事先进行背景去除处理，能够如图7的(b)所示那样获得准确地提取出肌动蛋白丝区域的二值化图像。
65.另外，如上所述，虽然在细胞的内部呈纤维状地布满肌动蛋白丝，但肌动蛋白丝并不一定均等地存在，由于即使在细胞内也不存在肌动蛋白丝或者肌动蛋白丝的密度低，因此当进行二值化时会局部地产生变成黑色的像素。因此，通过在二值化后进行闭运算处理，对于周围为白色的像素而言，即使是黑色也变换为白色。由此，不仅能够得到表示实际存在细胞骨架的部分的图像，还能够得到表示细胞骨架所分布的范围即细胞区域的图像。即，闭运算处理后的图像是针对所对应的ihm相位像上的各像素划分出细胞区域和除此以外的区域的图像。
66.针对所有的学习数据进行上述步骤s12～s16的处理，由此如果以ihm相位像和闭运算处理后的染色荧光图像为一组的多个学习数据齐备，则学习执行部55使用该多个学习数据来执行fcn的学习(步骤s17)。即，学习该网络中的多个卷积层中的滤波器系数，使得通过fcn处理得到的语义分割的结果尽可能地接近正确图像。模型构建部56在反复进行该学习的过程中构建模型，当规定的学习结束时，模型构建部56保存基于该学习结果的学习模型(步骤s18)。
67.构成以这种方式制作出的细胞区域学习模型的数据被保存在细胞解析装置1的细
胞区域学习模型存储部251中。
68.另外，在本实施方式的细胞解析装置1中，除了细胞区域以外，以与细胞区域学习模型同样的过程来制作用于估计各细胞的细胞核的核位置学习模型。在制作核位置学习模型时，需要对细胞核进行染色得到的染色荧光图像来作为正确图像，在细胞核的染色中能够使用一般利用的dapi(4’，6-联脒-2-苯基吲哚)、碘化丙啶、sytox(注册商标)、to-pro(注册商标)-3等。此外，在制作核位置学习模型时，对染色荧光图像执行上述步骤s11～s15的处理，但不需要步骤s16的处理。其理由是：在二值化后的细胞骨架染色荧光图像中，在细胞区域发生像素缺失，需要将该像素从黑色变换为白色，与此相对地，二值化后的细胞核染色图像准确地示出了细胞核的位置，几乎没有像素缺失。
69.接着，参照图4所示的流程图来说明在细胞解析装置1中进行的与作为解析对象的细胞有关的细胞形状估计图像的制作处理。
70.操作员将包括作为解析对象的细胞14的培养板13放置在显微观察部10的规定位置，利用输入部30进行规定的操作。由此，在摄影控制部21的控制下，显微观察部10实施试样(培养板13中的细胞14)的摄影(步骤s21)。相位信息计算部23和图像制作部24基于通过该摄影而得到的全息图数据来执行相位计算，形成ihm相位像(步骤s22)。
71.之后，细胞区域估计部25读入在步骤s22中获取到的ihm相位像来作为输入图像，使用细胞区域学习模型存储部251中保存的细胞区域学习模型来实施基于fcn的处理，并输出与输入图像对应的分割图像(步骤s23)。此时的分割图像是针对与作为输入图像的ihm相位像相同的观察范围将细胞区域与除此以外的背景区域区分地示出的细胞区域估计图像。
72.众所周知，在利用了通过进行如上所述的学习而构建出的学习模型的fcn处理中，按每个像素获得表示语义分割的可信度的概率的数值。也就是说，在此按每个像素获得估计为是细胞区域的可信度的概率。在此，细胞区域估计部25将每个像素的该概率值与规定阈值进行比较，输出将具有阈值以上的概率值的像素设为白色、将除此以外的像素设为黑色的二值的分割图像。
73.此时使用的细胞区域学习模型是能够以高精度进行细胞区域的语义分割的模型，因此能够以高精度且以像素为单位对与作为观察对象的细胞有关的ihm相位像上的细胞区域进行语义分割。
74.图8的(b)是以图8的(a)示出的ihm相位像为输入图像而得到的输出图像、即细胞区域估计图像的一例。图9是示出将ihm相位像和根据该ihm相位像估计出的细胞区域叠加地显示的图像的图。另外，图10是与图9示出的图像对应的正确图像(表示正确的细胞区域的图像)。将图9和图10进行比较可知，相当准确地估计出细胞区域。
75.接着，核位置估计部26读入在步骤s22中得到的ihm相位像来作为输入图像，使用保存在核位置学习模型存储部261中的核位置学习模型来实施基于fcn的处理，并输出与输入图像对应的分割图像(步骤s24)。此时的分割图像是针对与作为输入图像的ihm相位像相同的观察范围将细胞核的区域和除此以外的区域区分地示出的核位置估计图像。图11的(b)是以图11的(a)示出的ihm相位像为输入图像而得到的输出图像、即核位置估计图像的一例。
76.与细胞区域估计图像同样地，此时也获得表示通过fcn处理来按每个像素得到的分割的可信度的概率的数值。也就是说，在此将估计为是细胞区域的可信度的概率值与规
定的阈值进行比较，输出将具有阈值以上的概率值的像素设为白、将除此以外的像素设为黑的二值的分割图像即可。
77.另外，也可以是，获取按每个像素用灰度级示出分割的可信度的概率值的灰度级图像，来作为输出图像，并执行如下的极大值区域提取处理，从而制作明示了核位置的候选点的核位置估计图像。
78.即，核位置估计部26首先在作为灰度级图像的核位置估计图像中，使黑色的区域(背景区域)以外的作为核的区域在空间上膨胀。接着，在该膨胀图像中，从各像素的信号值(亮度值)减去预先考虑到噪声容许值而确定的偏差值，由此使亮度整体降低。之后，在膨胀处理前的图像与亮度降低后的图像之间进行每个像素的亮度值的减法运算处理。如果在膨胀处理前的原始图像与亮度降低后的图像之间按每个像素进行减法运算，则在原始图像中亮度值为峰值的附近的狭窄范围内，与该峰值无关地，亮度值为非零，在除此以外的区域内，亮度值变为零。即，能够通过该处理在原始图像中提取亮度值比其周围的亮度值高的极大值的区域。此外，该极大值区域提取处理的算法在图像处理中是普通的算法，但不限于该算法，在极大值区域提取处理中能够使用适当的已知的方法。
79.核位置估计部26在制作了提取出极大值区域的图像之后，通过将该图像进行二值化来制作表示核位置的候选点的核位置候选点图像。然后，使用该核位置候选点图像来替代核位置估计图像即可。如果不进行极大值区域提取处理就进行基于每个像素的概率值的二值化，则例如存在将极其相邻地存在的多个细胞核作为一个细胞核来提取的情况，但能够通过进行极大值区域提取处理，来更准确地确定各个细胞核的位置。
80.当由细胞区域估计部25和核位置估计部26分别获得细胞区域估计图像和核位置估计图像时，细胞形状估计部27如以下那样制作细胞形状估计图像。图5是根据细胞区域估计图像和核区域估计图像来计算细胞形状估计图像时的说明图。
81.细胞形状估计部27首先执行基于核位置估计图像的分水岭处理(步骤s25)。分水岭处理一般是作为watershed算法而公知的图像处理，例如，首先在提取了图像中的核位置的区域之后，求出相邻的区域之间的距离，制作相邻区域的中央为波谷(变暗)的图像。然后，通过对该图像进行基于分水岭的分离，来分割成分别大致以提取出的核的区域为中心的多个区域，从而制作明示了细胞的分界线的分界线图像。
82.如上所述，细胞区域估计图像是划分出存在细胞的区域和除此以外的背景区域的图像，但在多个细胞紧贴地存在的情况下，这些紧贴着的多个细胞被描绘为一个细胞区域，不知道各个细胞的形状和形态。因此，细胞形状估计部27基于细胞区域估计图像和作为上述分水岭处理的结果的分界线图像，如图5所示那样将细胞区域估计图像上的各细胞区域分离为各个细胞，来制作使细胞的形状(轮廓)明确化的细胞形状估计图像(步骤s26)。然后，显示处理部28在显示部40的画面上显示在步骤s26中制作出的细胞形状估计图像(步骤s27)。
83.图12是示出上述的细胞形状估计过程的各图像的一例的图，(a)是ihm相位像，(b)是在ihm相位像上叠加写入了核位置估计结果(用绿色覆盖核位置估计结果)而得到的图像(用绿色覆盖核位置估计结果)，(c)是细胞形状估计图像，(d)是在ihm相位像上叠加写入了细胞区域估计结果(用黄色覆盖细胞区域估计结果)而得到的图像。关于在ihm相位像上无法明确地掌握其形状的细胞，在图12的(c)所示的细胞形状估计图像中该细胞的形状也变
得明确。另外，在图12的(d)所示的叠加写入图像中，能够在ihm相位像中明确地掌握细胞区域。
84.这样，在本实施方式的细胞解析装置中，通过在显示部40中显示明示了各个细胞的形状和形态的细胞形状估计图像，能够进行活细胞的无创的形状观察，还能够继续培养用于该观察的细胞或将该细胞用于其它目的。
85.另外，由于根据细胞区域估计图像获知在摄影范围内存在细胞的整个区域，因此细胞形状估计部27例如也能够计算整个细胞的面积，或计算细胞面积相对于整个摄影范围的面积的比例，再计算各个细胞的面积、长度或周长等信息，从而计算各个细胞的面积、周长等的平均值、中央值、方差等统计信息。也能够利用这样的与各个细胞的形态有关的信息进行细胞培养中的工序管理、品质管理。
86.此外，在上述实施方式中，作为用于细胞区域或细胞核的语义分割的机器学习法，使用了fcn，但显然也可以是通常的卷积神经网络。另外，不限于使用了神经网络的机器学习法，只要是能够进行与图像有关的语义分割的机器学习法，应用本发明就有效。作为这样的机器学习法，例如存在支持向量机、随机森林、自适应增强等。
87.另外，在上述实施方式的细胞解析装置中，作为显微观察部10，使用了直列式全息显微镜，但只要是能够得到全息图的显微镜，当然也可以置换为离轴(轴卸下)型、相位偏移型等其它方式的全息显微镜。
88.另外，上述实施方式和各种变形例仅是本发明的一例，即使在本发明的宗旨的范围内进行适当变形、修改、追加，显然也包含在本申请权利要求书中。
89.[各种方式]
[0090]
上述例示的实施方式是以下方式的具体例，这对于本领域技术人员来说是显而易见的。
[0091]
(第一项)本发明所涉及的细胞图像解析方法的一个方式包括以下步骤：
[0092]
学习模型制作步骤，通过使用以基于用全息显微镜获取到的全息图数据制作出的细胞的相位图像为输入图像、并且以疑似细胞区域图像为正确图像的学习数据进行机器学习，来制作学习模型，所述疑似细胞区域图像是基于与该相位图像对应的对细胞骨架进行染色得到的染色图像而得到的；以及
[0093]
区域估计步骤，使用所述学习模型，以与作为解析对象的细胞有关的相位图像为输入图像，输出表示细胞区域的细胞区域估计图像。
[0094]
(第八项)另外，本发明所涉及的细胞解析装置的一个方式具备：
[0095]
全息显微镜；
[0096]
图像制作部，其基于通过用所述全息显微镜观察细胞而获取到的全息图数据，来制作所述细胞的相位图像；
[0097]
第一学习模型存储部，其用于存储细胞区域学习模型，所述细胞区域学习模型是通过使用以基于全息图数据制作出的细胞的相位图像为输入图像、并且以疑似细胞区域图像为正确图像的学习数据进行机器学习而制作出的，所述疑似细胞区域图像是基于与该相位图像对应的对细胞骨架进行染色得到的染色图像而得到的；以及
[0098]
细胞区域估计部，其使用存储在所述第一学习模型存储部中的细胞区域学习模型，以由所述图像制作部针对作为解析对象的细胞制作出的相位图像为输入图像，输出表
示细胞区域的细胞区域估计图像。
[0099]
根据第一项所述的细胞图像解析方法以及第八项所述的细胞解析装置，能够无创地获得表示作为观察对象的细胞的区域的图像，也就是能够无创地获得明示了细胞内与细胞外的分界的图像。因而，用户易于观察细胞的形状和形态。另外，能够继续培养进行了细胞形状等的观察后的细胞，或者供于其它目的的分析或观察。另外，无论是在获得某种程度的广范围的观察图像的情况下，还是摄影对象的范围广到某种程度，由全息显微镜进行的摄影本身都能够在短时间内完成，且能够通过在摄影后由计算机进行运算处理来重构广范围的相位图像。因而，在摄影中不耗费时间，也就是说能够抑制摄影对活细胞的影响，并且能够良好地观察或解析在槽等容器内的广范围内存在的细胞的形状和形态。
[0100]
(第二项)在第一项所述的细胞图像解析方法中，
[0101]
在所述学习模型制作步骤中，除了制作基于以疑似细胞区域图像为正确图像的学习数据的细胞区域学习模型以外，还通过使用以细胞的相位图像为输入图像、并且以疑似核位置图像为正确图像的学习数据进行机器学习，来制作核位置学习模型，所述疑似核位置图像是基于与该相位图像对应的对细胞核进行染色得到的染色图像而得到的，
[0102]
在所述区域估计步骤中，使用所述细胞区域学习模型输出细胞区域估计图像，
[0103]
所述细胞图像解析方法还包括以下步骤：
[0104]
核位置估计步骤，使用所述核位置学习模型，以与作为解析对象的细胞有关的相位图像为输入图像，输出表示细胞核的位置的核位置估计图像；以及
[0105]
细胞形状估计步骤，基于所述核位置估计图像来估计各个细胞的分界，根据该细胞的分界的信息和所述细胞区域估计图像来求出分离地示出各个细胞的细胞形状估计图像。
[0106]
(第九项)另外，在第八项所述的细胞解析装置中，还具备：
[0107]
第二学习模型存储部，其用于存储核位置学习模型，所述核位置学习模型是通过使用以基于全息图数据制作出的细胞的相位图像为输入图像、并且以疑似核位置图像为正确图像的学习数据进行机器学习而制作出的，所述疑似核位置图像是基于与该相位图像对应的对细胞核进行染色得到的染色图像而得到的；
[0108]
核位置估计部，其使用存储在所述第二学习模型存储部中的核位置学习模型，以由所述图像制作部针对作为解析对象的细胞制作出的相位图像为输入图像，输出表示核位置的核位置估计图像；以及
[0109]
细胞形状估计部，其基于所述核位置估计图像来估计各个细胞的分界，根据该细胞的分界的信息和所述细胞区域估计图像来求出分离地示出各个细胞的细胞形状估计图像。
[0110]
在第二项所述的细胞图像解析方法以及第九项所述的细胞解析装置中，与细胞区域的估计同样地，利用机器学习的方法来制作估计出细胞核的位置的核位置估计图像。除一部分例外的细胞外，通常一个细胞具有一个核。在核位置估计图像中明确地示出该细胞核的位置。另外，通常，在核位置估计图像中，相邻的多个细胞的核的区分也是明确的。在多个细胞紧贴地存在的情况下，在上述细胞区域估计图像中，存在将该紧贴状态的多个细胞描绘为一个细胞区域的情况，在该情况下，难以掌握各个细胞的形状和形态。与此相对地，由于在核位置估计图像中能够掌握与各个细胞对应的细胞核的位置，因此能够基于该核位
置来估计用于划分相邻的细胞的分界线，并利用该分界线将一个细胞区域划分为各个细胞。
[0111]
这样，根据第二项所述的细胞图像解析方法以及第九项所述的细胞解析装置，即使在由于细胞的密度高等而导致多个细胞紧贴或聚集的情况下，也能够无创地观察各个细胞的形状和形态。由此，也能够获取各个细胞的面积、周长等信息，能够得到对培养条件等的管理和细胞状态的确认等有用的信息。
[0112]
(第十项)另外，在第八项或第九项所述的细胞解析装置中，
[0113]
还具备学习模型制作部，所述学习模型制作部通过使用以细胞的相位图像为输入图像、并且以疑似区域图像为正确图像的学习数据进行机器学习，来制作学习模型，所述疑似区域图像是基于与该相位图像对应的染色图像而得到的。
[0114]
即，第八项所述的细胞解析装置可以不具有制作用于根据细胞的相位图像求出细胞区域估计图像的学习模型的功能，但第十项所述的细胞解析装置具有该功能。因而，根据第十项所述的细胞解析装置，例如能够容易地进行以下的学习模型的改良：将在细胞区域估计部中针对作为解析对象的细胞的相位图像得到的细胞区域估计图像添加到学习数据中，来重构学习模型。
[0115]
(第三项)在第一项或第二项所述的细胞图像解析方法中，在所述学习模型制作步骤中，能够进行细胞的相位图像与染色图像的位置对准处理以及该染色图像的背景去除处理。
[0116]
(第十一项)另外，在第十项所述的细胞解析装置中，所述学习模型制作部能够进行细胞的相位图像与染色图像的位置对准处理以及该染色图像的背景去除处理。
[0117]
根据第三项所述的细胞图像解析方法以及第十一项所述的细胞解析装置，由于无法在染色图像的摄影的同时进行全息显微镜的摄影、且无法用相同装置进行两种摄影等理由，因此即使在相位图像和染色图像的放大率或位置不一致的情况下，也能够通过位置对准处理在相位图像和染色图像中进行相同细胞的位置对准。由此，能够使相位图像上的像素与染色图像上的像素一一对应，能够制作能够准确地对相位图像进行语义分割的学习模型。另外，在由显微镜等得到的染色图像中通常避免不了背景的强度不均，但能够通过进行背景去除处理来消除背景部分的强度不均的影响。由此，也能够制作能够准确地对相位图像进行语义分割的学习模型。
[0118]
(第四项)在第三项所述的细胞图像解析方法中，在所述学习模型制作步骤中，能够对背景去除处理后的染色图像进行二值化处理和闭运算处理。
[0119]
(第十二项)另外，在第十一项所述的细胞解析装置中，所述学习模型制作部能够对背景去除处理后的染色图像进行二值化处理和闭运算处理。
[0120]
肌动蛋白丝等细胞骨架纤维状地布满细胞的内部，但肌动蛋白丝等细胞骨架并不一定均等地存在，由于即使在细胞内也不存在细胞骨架或者细胞骨架的密度低，因此，如果单纯地进行二值化则会局部地产生变成黑色的像素。与此相对地，根据第四项所述的细胞图像解析方法以及第十二项所述的细胞解析装置，通过在二值化后进行闭运算处理，不仅能够可靠地获得实际存在细胞骨架的部分，还能够可靠地获得表示细胞骨架所分布的范围即细胞区域的图像。
[0121]
(第五项)在第一项至第四项中的任一项所述的细胞图像解析方法中，所述机器学
习能够设为使用了全层卷积神经网络的学习。
[0122]
(第十三项)另外，在第八项至第十二项中的任一项所述的细胞解析装置中，所述机器学习能够设为使用了全层卷积神经网络的学习。
[0123]
根据第五项所述的细胞图像解析方法以及第十三项所述的细胞解析装置，能够以像素为单位准确地示出细胞区域。
[0124]
(第七项)在第二项所述的细胞图像解析方法中，在所述细胞形状估计步骤中，能够使用所述细胞形状估计图像，来获取各个细胞的面积、周长、长度的信息中的任一个信息。
[0125]
(第十四项)另外，在第九项所述的细胞解析装置中，所述细胞形状估计部能够使用所述细胞形状估计图像，来获取各个细胞的面积、周长、长度的信息中的任一个信息。
[0126]
根据第七项所述的细胞图像解析方法以及第十四项所述的细胞解析装置，即使是多个细胞紧贴的状态，也能够向用户提供每个细胞的面积、周长或长度等信息。
[0127]
此外，在此，作为解析对象的细胞的种类没有特别地限定，但在需要无创地观察细胞的形状和形态或者计算细胞面积等用途上是有用的，典型地说，该对象是间充质干细胞。
[0128]
(第六项)即，在第一项至第五项中的任一项所述的细胞图像解析方法中，作为解析对象的细胞能够设为包含间充质干细胞的干细胞。