图像处理方法、程序及记录介质与流程

本发明涉及图像处理技术，该图像处理技术用于根据与胚胎的三维像对应的数据来提供对于评估胚胎的使用者来说有用的信息，其中胚胎的三维像是通过对胚胎进行断层成像而得到的。

背景技术：

例如在以治疗不孕为目的的生殖辅助医疗中，将在体外受精并培养了一定期间的胚胎(受精卵)放回子宫内。但是，其成功率未必会高，患者的精神及经济负担也大。为了解决该问题，探索着可靠判断所培养的胚胎的状态的方法。

以往，对于胚胎培养是否进展良好的评估，通常由例如医生和/或胚胎培养师通过显微镜观察以目视进行。作为其判断指标，广泛使用例如veeck分类和gardner分类等。但是，这些指标只不过示出了针对胚胎形态学上的特征的大体上的判断基准。现状是，最终评估依存于评估者的主观判断。因此，寻求一种能够使客观且定量的评估成为可能的技术。

例如在专利文献1中，提出了一种应用光学相干断层成像(光学相干层析成像，opticalcoherencetomography；oct)这样的非侵袭的断层成像技术来评估胚胎质量的技术。在该技术中，根据通过oct成像得到的断层图像重建胚胎的三维像。然后，基于该三维像，使用作为胚胎形态学的基准的卵裂球数、卵裂球的规则性、碎裂率等基准来评估胚胎质量。

现有技术文献

专利文献

专利文献1：日本特开2017-521067号公报

技术实现要素：

在上述文献中，记载了能够基于通过oct成像得到的三维像来进行胚胎评估。另外，公开了从各种方向观察胚胎得到的三维像的例子。但是，没有叙述具体的像加工和定量性指标的计算。即，该以往技术不过是将此前为止供目视观察的显微镜像这样的二维像单纯置换成三维像。因此，虽然与以往使用二维像的情形相比，能够更有效地辅助胚胎的评估作业，但难以说从oct成像结果得到的信息被充分有效地利用。

例如，在上述的veeck分类和gardner分类等中，将胚胎所含的细胞的大小和形状很整齐一致的情况设为良质胚胎的条件。因此，若对于构成胚胎的各个细胞从成像数据求出用于单独评估其大小和形状的定量性的指标，则对于使用者来说是便利的。但是，上述以往技术尽管例示了例如去掉胚胎表面的透明体而使内部的细胞露出的显示形态、使其旋转而能够从各种方向进行观察的显示形态(例如图5a～图5i)，但无助于用于上述评估的定量化。

像这样，基于oct成像得到的断层图像及由此重建的三维像具有能够提供例如胚胎的内部构造等对于评估胚胎有用的大量信息的可能性。但是，对于实现该可能性的具体的数据处理方法，至今为止仍未确立。

本发明是鉴于上述课题而做出的，其目的在于，通过提供一种适于从利用oct成像得到的数据求出定量性的信息的数据处理方法，来有效辅助使用者对胚胎的评估作业。

本发明的一个方案为了实现上述目的而为一种图像处理方法，具备：获取与所培养的胚胎的三维像对应的原图像数据的工序，其中上述原图像数据是对上述胚胎进行光学相干断层成像得到的；和基于上述原图像数据将上述三维像分区为多个区域的工序，在上述分区的工序中，对上述三维像执行localthickness运算，求出指示上述三维像所含的目标物的大小的指标值，将上述三维像划分成该指标值大于规定的第1阈值的区域和该指标值小于规定的第1阈值的区域，通过watershed算法分别对划分出的区域进行划分。

另外，本发明的另一方案为用于使计算机执行上述各工序的程序。另外，本发明的另一方案为存储有上述程序的计算机可读的记录介质。

详情将后述，胚胎、尤其是哺乳类的受精卵的外形为大致球形，另外其内部也为聚集多个大致球形或椭圆体的细胞而成的构造。为了单独评估构成这样的胚胎的各个细胞，需要知道各细胞如何占据空间区域，换言之需要划定三维空间中的细胞间的边界。

这样的边界划定能够通过针对oct图像那样的三维像的分区处理而实施。例如，能够利用作为公知的图像处理算法的watershed(分水岭)算法。但是，根据本申请发明人的见解，基于watershed算法实现的分区的结果中，偏离熟练者根据三维像判定的细胞边界的情形多。认为在胚胎的三维像中，随着通过卵裂形成的细胞的数量变多而细胞的边界逐渐变得不清晰，包含因极体或不完全的细胞分裂产生的微小的构造体(例如碎片)、图像噪声等，这些情况等为错误划分的原因。

因此，在本发明中，为了明确细胞彼此的边界、细胞与细胞以外的比较小的构造体的边界，使用被称为localthickness运算的图像处理的这一手法(尤其是在适用于三维像时，也称为3dlocalthickness运算)。在该3dlocalthickness运算中，基于与三维像中的目标物内接的球的半径大小，以灰度表现目标物。例如，具有比较大的构造的目标物以高灰度表示。另一方面，比较小的目标物以更低的灰度表示。若像这样将依存于目标物大小的值(该情况下为灰度值)用作指标值，则能够区分与细胞等对应的比较大的目标物和与碎片等对应的微小的目标物。另外细胞彼此的边界变得清楚。因此，若对这样划分出的区域进一步执行基于watershed算法的分区，则能够得到更符合实际的细胞等的边界的划分结果。

因此，通过将利用上述图像处理方法划分出的区域中的比较大的区域单独评估成各个细胞，能够求出定量性地表示其形状和大小等的各种指标值。例如，能够根据通过localthickness运算得到的指标值是大于还是小于规定的第1阈值，区分与细胞对应的区域和除此以外的区域。

另外，本发明的另一方案为一种图像处理方法，通过上述图像处理方法，将胚胎的三维像划分成多个区域，将上述多个区域中的上述指标值大于上述第1阈值的第1区域判定为卵裂球的集合体。由此，能够在胚胎中区分作为比较大的构造体的细胞、和极体、碎片等比较小的构造体。另外，能够定量性地求出各自的三维形状等特征并供评估胚胎。

发明效果

如上述那样，根据本发明，能够从对所培养的胚胎进行oct成像得到的数据，求出构成胚胎的各个细胞的评估所需的定量性的信息。

若一边参照附图一边阅读接下来的详细说明，则能够更完全理解本发明的上述及其他目的和新的特征。但是，附图是专门用于解说的，并不限定本发明的范围。

附图说明

图1是表示用于进行断层成像的图像处理装置的结构例的原理图。

图2a是说明该图像处理装置的成像原理的第1图。

图2b是说明该图像处理装置的成像原理的第2图。

图3a是表示oct装置的具体的结构例的第1图。

图3b是表示oct装置的具体的结构例的第2图。

图4a是例示成为处理对象的胚胎的代表性构造的第1图。

图4b是例示成为处理对象的胚胎的代表性构造的第2图。

图4c是例示成为处理对象的胚胎的代表性构造的第3图。

图4d是例示成为处理对象的胚胎的代表性构造的第4图。

图5是表示本实施方式的图像处理方法的流程图。

图6a是表示将大小的构造体分离的处理的原理的第1图。

图6b是表示将大小的构造体分离的处理的原理的第2图。

图6c是表示将大小的构造体分离的处理的原理的第3图。

图6d是表示将大小的构造体分离的处理的原理的第4图。

图7a是表示向囊胚的适用例的第1图。

图7b是表示向囊胚的适用例的第2图。

图8a是示意地表示基于分区实现的各个细胞的分离的第1图。

图8b是示意地表示基于分区实现的各个细胞的分离的第2图。

图8c是示意地表示基于分区实现的各个细胞的分离的第3图。

图9a是示意地表示细胞的椭圆体近似化的第1图。

图9b是示意地表示细胞的椭圆体近似化的第2图。

图9c是示意地表示细胞的椭圆体近似化的第3图。

图9d是示意地表示细胞的椭圆体近似化的第4图。

图10a是表示浓度分布图的例子的第1图。

图10b是表示浓度分布图的例子的第2图。

具体实施方式

以下，对本发明的图像处理方法的具体实施方式进行说明。本实施方式是将本发明的图像处理方法现实化而实现的。在本实施方式中，利用光学相干断层成像(opticalcoherencetomography；oct)技术对在培养容器所保持的培养基(培养液)中培养的胚胎进行断层成像，基于由此得到的数据，输出构成胚胎的细胞的定量性的信息。其目的在于辅助使用者(具体地说为医生或胚胎培养师)对胚胎的评估作业。例如在以治疗不孕为目的的受精卵的培养中，以得到用于判断培养是否进展良好的见解为目的，能够适用本实施方式的图像处理方法。

首先，对用于拍摄断层图像的图像处理装置的结构和该图像处理装置的成像原理进行说明。然后，对使用通过拍摄获取的数据的图像处理进行说明。

图1是表示用于进行断层成像的图像处理装置的结构例的原理图。该图像处理装置1将在培养基中培养的胚胎作为被拍摄物进行断层成像，对得到的断层图像进行图像处理，生成被拍摄物的三维(3d)像。为了统一示出以下各图中的方向，如图1所示设定xyz正交坐标轴。在此xy平面表示水平面。另外，z轴表示铅垂轴，更详细地说(-z)方向表示铅垂向下方向。

图像处理装置1具备保持部10。保持部10将培养容器11以其开口面向上的方式保持为大致水平姿势。培养容器(以下仅称为“容器”)11具有玻璃制或树脂制的透明底部，被称为培养皿或培养板。在容器11预先注入有规定量的适当的培养基m，在培养基中在容器11的底部111培养试料sp(在此为胚胎)。在图1中仅记载了一个试料sp，但也可以在一个容器11内培养多个试料sp。

在由保持部10保持的容器11的下方，配置有拍摄单元20。拍摄单元20使用能够非接触、非破坏(非侵袭)地对被拍摄物的断层图像进行拍摄的光学相干断层成像(opticalcoherencetomography；oct)装置。详细情况将后述，作为oct装置的拍摄单元20具备向被拍摄物产生照明光的光源21、分束器22、物体光学系统23、参考镜24、分光器25和光检测器26。

另外，图像处理装置1还具备控制装置的动作的控制单元30和控制拍摄单元20的可动机构的驱动控制部40。控制单元30具备cpu(centralprocessingunit)31、a/d转换器32、信号处理部33、3d复原部34、接口(if)部35、图像存储器36及存储器37。

cpu31通过执行规定的控制程序来操纵装置整体的动作。在cpu31所执行的控制程序和处理中生成的数据被存储于存储器37。a/d转换器32将从拍摄单元20的光检测器26与受光光量相应地输出的信号转换成数字数据。信号处理部33基于从a/d转换器32输出的数字数据，进行后述的信号处理，生成被拍摄物的断层图像。3d复原部34具有基于拍摄得到的多个断层图像的图像数据来生成所拍摄的胚胎的三维像(3d像)的功能。由信号处理部33生成的断层图像的图像数据及由3d复原部34生成的三维像的图像数据被图像存储器36适当存储保存。

接口部35承担图像处理装置1与外部的通信。具体地说，接口部35具有与外部设备进行通信的通信功能、和受理来自使用者的操作输入另外向使用者通知各种信息的用户界面功能。为了实现该目的，在接口部35上连接有输入设备351和显示部352。输入设备351由能够受理与装置的功能选择和动作条件设定等有关的操作输入的、例如键盘、鼠标、触摸面板等构成。另外，显示部352具有显示由信号处理部33生成的断层图像和由3d复原部34生成的立体像等各种处理结果的显示设备、例如液晶显示器。

另外，cpu31对驱动控制部40提供控制指令。与此相应地驱动控制部40使拍摄单元20的可动机构进行规定的动作。如接下来说明那样，通过由驱动控制部40执行的拍摄单元20的扫描移动与光检测器26对受光光量的检测的组合，获取作为被拍摄物的试料sp(具体地说为胚胎)的断层图像。

图2a及图2b是说明该图像处理装置的成像原理的图。更具体地说，图2a是表示拍摄单元20中的光路的图，图2b是示意地表示试料sp的断层成像的状况的图。如前述那样，拍摄单元20作为光学相干断层成像(oct)装置而发挥功能。此外，在此为了进行说明而将试料sp显示为大致球形。但是，在实际拍摄中试料sp的形状没有特别限定。

在拍摄单元20中，从具有例如发光二极管或高亮度发光二极管(sld)等发光元件的光源21，出射包含宽频带的波长成分的低相干性光束l1。光束l1入射到分束器22并分光。如虚线箭头所示那样一部分的光l2朝向容器11，如单点划线箭头所示那样一部分的光l3朝向参考镜24。

朝向容器11的光l2经由物体光学系统23入射到容器11。更具体地说，从分束器22出射的光l2经由物体光学系统23入射到容器底部111。物体光学系统23具有使从分束器22朝向容器11的光l2收束于容器11内的试料sp的功能、和使从试料sp出射的反射光汇集并朝向分束器22的功能。图中通过单一的物镜代表性地示出物体光学系统23，但可以是将多个光学元件组合而成的。

物体光学系统23通过设于驱动控制部40的焦点调整机构41而能够沿z方向移动。由此，物体光学系统23相对于被拍摄物的焦点位置能够沿z方向变更。物体光学系统23的光轴与铅垂方向平行，因此与平面状的容器底部111垂直。另外，将物体光学系统23的配置定为，照明光向物体光学系统23的入射方向与光轴平行，照明光的光中心与光轴一致。

若试料sp相对于光l2不具有透射性，则经由容器底部111入射的光l2会在试料sp的表面反射。另一方面，在试料sp相对于光l2具有一定程度的透射性的情况下，光l2行进至试料sp内并被其内部的构造物反射。若作为光l2而使用例如近红外线，则能够使入射光到达试料sp内部。来自试料sp的反射光作为散射光而向各种方向放射。其中向物体光学系统23的聚光范围内放射的光l4被物体光学系统23汇集并被向分束器22输送。

参考镜24以其反射面相对于光l3的入射方向成为垂直姿势的方式被支承。另外，通过设于驱动控制部40的镜驱动机构42，能够在沿着光l3的入射方向的方向(在图中为y方向)上移动。入射到参考镜24的光l3在反射面反射，作为以反向追溯入射光路的方式前进的光l5而朝向分束器22。该光l5成为参考光。通过利用镜驱动机构42变更参考镜24的位置，而参考光的光路长度发生变化。

在试料sp的表面或内部的反射面反射的反射光l4和在参考镜24反射的参考光l5经由分束器22入射到光检测器26。此时，在反射光l4与参考光l5之间因相位差而产生干涉，干涉光的分光光谱根据反射面的深度而不同。也就是说，干涉光的分光光谱具有被拍摄物的深度方向的信息。因此，将干涉光按波长进行分光并检测光量，将检测出的干涉信号进行傅里叶变换，由此能够求出被拍摄物的深度方向上的反射光强度分布。基于这样的原理的oct成像技术被称为傅里叶域(fourierdomain)oct(fd-oct)。

在本实施方式的拍摄单元20中，在干涉光的从分束器22到光检测器26的光路上，设有分光器25。作为分光器25，能够使用例如利用了棱镜的分光器、利用了衍射光栅的分光器等。干涉光通过分光器25按波长成分被分光，并被光检测器26接受。

通过与光检测器26检测出的干涉光相应地对从光检测器26输出的干涉信号进行傅里叶变换，求出试料sp中的、光束l2的入射位置的深度方向、即z方向上的反射光强度分布。通过使向容器11入射的光束l2沿x方向扫描，求出与xz平面平行的平面上的反射光强度分布。根据其结果，能够生成将该平面设为截面的试料sp的断层图像。以下，在本说明书中，将利用向x方向的光束扫描而获取与xz平面平行的截面上的一个断层图像it的一系列动作称为一次拍摄。

另外，多阶段地变更y方向上的光束入射位置，且每次进行断层图像的拍摄。由此，如图2b所示，能够取得在与xz平面平行的截面对试料sp进行断层成像得到的多个断层图像it。若将y方向的扫描间距设得小，则能够得到对于掌握试料sp的立体构造来说足够的分辨率的图像数据。向x方向及y方向的光束扫描能够通过各种方法实现。例如，能够适用如下方法：使用未图示的电流镜等使光路变化的光学部件使光束入射位置在xy方向上变化。另外，也能够适用使保持试料sp的容器11和拍摄单元20中的某一方在xy方向上移动来使它们的相对位置变化的方法。

此外，在上述原理说明中，通过分束器22实现在拍摄单元20中将来自光源21的光分为照明光和参考光的分波功能、以及将信号光和参考光合成而产生干涉光的功能。另一方面，近年来，在oct装置中，作为承担这样的分波及合波功能的器件，存在使用以下例示那样的光纤耦合器的情况。

图3a及图3b是表示oct装置的具体结构例的图。此外，为了易于理解，在以下的说明中，对与上述原理图的结构相同或相当的结构标注相同的附图标记。只要没有特别说明，其构造及功能与上述原理图的构造及功能基本相同，省略详细的说明。另外，检测基于光纤耦合器得到的干涉光的oct成像原理也基本上与上述内容相同，因此省略详细的说明。

在图3a所示的结构例中，作为取代分束器22的分波及合波器，拍摄单元20a具备光纤耦合器220。构成光纤耦合器220的一个光纤221与光源21连接，从光源21出射的低相干性光通过光纤耦合器220而分为向两个光纤222、223的光。光纤222构成物体系光路。更具体地说，从光纤222的端部出射的光经由准直透镜223入射到物体光学系统23。来自被拍摄物的反射光(信号光)经由物体光学系统23、准直透镜223入射到光纤222。

其他光纤224构成参照系光路。更具体地说，从光纤224的端部出射的光经由准直透镜225入射到参考镜24。来自参考镜24的反射光(参考光)经由准直透镜225入射到光纤224。在光纤222中传播的信号光和在光纤224中传播的参考光在光纤耦合器220中干涉。干涉光经由光纤226及分光器25入射到光检测器26。根据由光检测器26接受的干涉光求出被拍摄物中的反射光的强度分布，这与上述原理一样。

在图3b所示的例子中也是，在拍摄单元20b设有光纤耦合器220。但是不使用光纤224，而对从光纤222出射的光的光路设有准直透镜223及分束器227。并且，如前述原理那样，在通过分束器227分出的两个光路分别配置有物体光学系统23、参考镜24。在这样的结构中，通过分束器227将信号光和参考光合成。由此产生的干涉光通过光纤222、226而导向光检测器26。

在这些例子中，将在图2a的原理图行进于空间中的各光的光路的一部分置换成光纤，但工作原理相同。在这些例子中也是，通过焦点调整机构41使物体光学系统23向相对于容器11接近、离开方向移动，而能够调整物体光学系统23相对于被拍摄物的焦点深度。另外，通过镜驱动机构42使参考镜24沿着光的入射方向移动，而能够变更参考光的光路长度。

以下，对使用该图像处理装置1的图像处理方法进行详细说明。图像处理装置1的结构无论是上述的使用分光器的结构还是使用光纤耦合器的结构，均能够适用。另外，作为用于拍摄断层图像的拍摄装置，不限定于上述fd-oct成像装置。也能够适用例如时域oct(td-oct)成像装置等基于其他成像原理的拍摄装置。在以下的图像处理方法中，将入射到包含试料sp及其周围在内的三维空间内的各位置的照明光的反射光设为信号光。并且，在处理中使用将三维空间内的位置和与来自该位置的信号光的光量对应的信号的强度建立了对应的数据。因此，只要是能够获取这样的数据的拍摄方法即可。

图4a至图4d是例示成为处理对象的胚胎的代表性构造的示意图。图像处理装置1在以例如治疗不孕为目的被利用时，体外受精的人类受精卵的、培养初期阶段的受精卵成为图像处理装置1的拍摄对象物。如已知那样，当卵子受精时开始卵裂，经由被称为桑椹胚的状态而形成囊胚。本实施方式的图像处理方法向使用者提供适于观察例如刚刚受精之后到囊胚期的胚胎的信息。

图4a示意地示出初期阶段(例如4细胞期到桑椹胚期)的胚胎的构造。胚胎e1的外形为大致球形。其表面被称为透明带的胶状的糖蛋白的层z覆盖。在其内部包含由受精卵细胞分裂产生的多个细胞c。在培养进展良好的状态下，如图4a所示，透明带z的内部被大小均等的多个细胞c占据，随着卵裂的进行其数量逐渐增加。根据veeck分类，期望这些细胞整齐一致。另一方面，在培养的状态不好的情况下，如图4b所示的胚胎e2那样，细胞c的大小不整齐一致，除了通过卵裂生成的细胞c以外有时还会产生被称为碎片的微小裂片。此外，在图4b中示出了同时产生细胞c的大小不均和碎片f的状态，但有时也会仅出现这两者中的一者。

总之，作为胚胎的状态，可以说图4b所示的胚胎比图4a所示的胚胎差。因此，在至桑椹胚为止的初期胚胎中，对于通过卵裂形成的各细胞c的大小是否整齐一致、各细胞c的表面是否圆滑、是否产生了碎片f等，能够成为用于评估培养状态的指标。

图4c及图4d示意性地示出囊胚期的胚胎的内部构造。其中图4c示出状态良好的胚胎e3，图4d示出状态比其差的胚胎e4。在囊胚期，如图4c所示，卵裂进行而形成的细胞c在胚胎的表面作为薄层，并形成滋养外胚层t。滋养外胚层t所包围的内部空间产生被称为囊胚腔b的空洞。另外，在内部空间的一部分，形成有多个细胞c密集的内细胞团i。

在状态好的胚胎e3中，滋养外胚层t由多个细胞c密集地形成，另外内细胞团i也由比较多的细胞c密集地构成。另一方面，在状态比其差的胚胎e4中，可能产生滋养外胚层t由更少的细胞c稀疏地形成、内细胞团i由少量细胞构成且较小的情况等。因此，根据滋养外胚层t的厚度和/或密度、内细胞团i的大小和/或密度，能够指示胚胎的培养状态。

图5是表示本实施方式的图像处理方法的流程图。此外，以下所示的一系列的处理中的步骤s101在区别于图像处理装置1而准备的适当的孵化器内实施。另外，对于步骤s102及其以后的处理，通过由设于图像处理装置1的cpu31执行预先记录于存储器37的控制程序而实现，但不限定于此。

例如，关于图5的步骤s103及其以后的步骤，能够由具有普通的运算功能及图像输出功能的计算机装置执行。关于这些处理，也可以是由区别于图像处理装置1的计算机装置从图像处理装置1接收oct成像数据并进行处理的结构。如此，图像处理装置1的cpu31仅执行专用于成像的处理即可。由此，cpu31的处理负荷减轻。

以下，说明具体的处理内容。首先，在合适的培养环境下培养成为评估对象的胚胎(步骤s101)。在适当的时刻，利用图像处理装置1对所培养的胚胎进行oct成像(步骤s102)。通过成像得到的数据、具体地说表示来自包含胚胎及其周围在内的三维空间的各位置的反射光强度的数据作为原信号数据被保存于存储器37或图像存储器36。通过使用该原信号数据生成三维空间中的每个坐标位置的像素数据(体素数据)，能够构成专利文献1所示那样的胚胎的三维像，并作为图像输出。所生成的体素数据作为原图像数据被保存于图像存储器36。

为了执行之后的处理而将三维像二值化(步骤s103)。例如，由体素数据表示的各像素中的像素值(亮度值)超过预先确定的阈值的像素以“1”表示，像素值小于阈值的像素以“0”表示。由此，三维像与各位置的亮度相应地被二值化。在将原图像数据可视化的oct图像中，成像范围所包含的三维空间中的反射光强度高、即反射光的物质的密度高的区域以高亮度表示。另一方面，物质的密度低且反射光强度低的区域以低亮度表示。通过将三维像二值化，能够区分物质的密度为一定值以上的区域和除此以外的区域。

如上所述，在胚胎的三维像中，除了通过卵裂形成的卵裂球以外，还能够包含透明带、滋养外胚层、碎片等构造体。在详细评估胚胎的基础上，需要识别这些构造体。为了实现该目的，首先划定三维像所包含的构造体间的边界。这样的边界划定能够利用执行三维空间中的分区的图像处理算法、例如公知的watershed(分水岭)算法。在watershed算法中，二值化后的三维像的凸部与凹部的边界被确定为区域的边界。

但是，在通过oct成像得到的胚胎的三维像中，基于watershed算法得到的划分结果与实际的胚胎构造不一致的情形多。根据本申请发明人的见解，认为这是具有比较大的构造的卵裂球的细胞间的边界的不清晰、分布于卵裂球周围的透明带、滋养外胚层、碎片等具有更小构造的构造体、图像噪声的影响。因此，在基于watershed算法进行分区之前，执行用于将三维像中的微小构造体从更大的构造体分离的处理。具体地说，执行基于以下原理的处理。

在此，以将图4b所示的胚胎e2设为对象的情况为例进行说明。如图4b所示，胚胎e2的像包括通过卵裂形成的多个细胞c、和分布于多个细胞c周围的碎片f及包围细胞c及碎片f的透明带z。

以下，在二值化后的三维像中，将由构造体占据的空间区域称为“构造体内部空间”。另外，将三维像中的构造体的表面、即作为上述构造体内部空间与其周围的空间的边界的曲面称为“构造体表面”。另外，以下，为了容易理解，使用将三维像用一个截面剖切得到的二维图像进行处理的说明。但是，实际的图像处理是对由体素数据表示的三维图像进行的。

图6a至图6d是表示将大的构造体和小的构造体分离的处理的原理的图。图6a是相当于图4b所示的胚胎e2的二值化图像的二维图像。在该处理的基本原理中，如图6b所示，将二值化图像作为内接球(在二维图像中为内接圆)的集合体而模型化。然后，分为以半径大于适当阈值(本发明的“第1阈值”)的内接球表示的区域(以下称为“第1区域”)和以半径小于阈值的内接球表示的区域(以下称为“第2区域”)。此外，将内接球的半径等于阈值的情形包含于第1区域、第2区域中的哪一方是任意的。在这样的模型中，像细胞c及其凝集团那样比较大的构造体被表示为半径比较大的内接球的集合体。另一方面，透明带z和碎片f等的小的构造体被表示为半径更小的内接球的集合体。因此，通过根据内接球的半径的大小来区分构造体而实现上述目的。例如，若去掉图6b所示的以半径小于或等于阈值rth的内接球表示的构造体，则如图6c所示，能够仅提取出与具有大构造的细胞的集合体对应的区域。

在原理上，能够通过以下那样的运算实现构造体的模型化。在构造体内部空间的各点中，找出以该点为中心而与构造体表面内接的内接球的半径最大的点，换言之到构造体表面的距离最大的点。根据中心的位置及半径的大小，能够确定此时的内接球。这样的点未必限于一个。接着，在构造体内部空间的不包含于既已确定出的内接球的各点中，找出以该点为中心与构造体表面内接的内接球的半径最大的点。重复这样的处理直至构造体内部空间的全部点包含于至少一个内接球，由此构造体被表示为内接球的集合体。

对于使这样的运算收敛而需要长时间。作为在更短时间得到相同结果的运算方法，提倡例如localthickness运算算法(例如，“computinglocalthicknessof3dstructureswithimagej”,robertp.doughertyandkarl-heinzkunzelmann,microscopy&microanalysis2007meeting,august5-9,browardcountyconventioncenter,ft.lauderdale,florida)，在本实施方式中也能够适用该运算算法。在该运算中，对于图像中的目标物的各点，寻找包含该点且与构造体表面内接的球中的半径最大的球。然后，内接球的半径越大则对该点赋予越高的分数。以分数越高的点而灰度值(亮度值)越高的显示方式输出运算结果。

像这样，在localthickness运算中，三维像中的目标物以与该目标物内接的球的半径的大小相应的灰度值表现。因此，比较大的目标物被灰度转换成比较高的灰度值(亮度值)，比较小的目标物被灰度转换成比较低的灰度值(亮度值)。若将该灰度值(亮度值)用作区分目标物的指标值，则能够区分细胞等比较大的目标物和碎片等微小目标物。在此基础上，细胞彼此的边界清楚，能够恰当地进行区域间划分。

例如如图6d所示，对内接球的半径为最大值rmax的点分配最大灰度值gmax，以内接球的半径越小则灰度值也越小的方式对构造体内部空间的各点分配灰度值。考虑对通过localthickness运算求出的各点的灰度值设定与内接球半径为阈值rth时的灰度值对应的阈值gth的情况。于是，被分配了大于阈值gth的灰度值的点能够视为存在于比较大的构造所包含的第1区域的内部。另一方面，被分配了小于阈值gth的灰度值的点能够视为存在于比较小的构造所包含的第2区域的内部。

如前所述，通过卵裂形成的细胞c及其凝集体、或者卵裂球及其集合体具有比较大的构造。即，能够判定成在上述处理中被区分成第1区域的区域为细胞或卵裂球或其集合体所占据的区域。另一方面，能够判定成被区分成第2区域的区域为不同于细胞凝集团的构造体、即透明带z或碎片f所占据的区域。

透明带z是覆盖胚胎表面的连续的薄层，另一方面，碎片f是相对于卵裂球和其集合体游离的小块。由此，能够将被区分成第2区域的区域中的、例如球形度大于适当阈值(本发明的“第2阈值”)的区域判定为碎片f。另外，能够判定成球形度小的区域中的具有一定以上的体积的区域为透明带z，除此以外为基于图像噪声产生的虚拟的构造体。像这样，通过将微小的构造体从卵裂球和其集合体分离，能够从其三维像求出形状和尺寸等定量性的信息。

由此，能够向使用者提供对于评估这些构造体有用的信息。例如，碎片的数量、大小等成为用于有效辅助胚胎的基于veeck分类的分类作业的信息。

图7a及图7b是表示向囊胚的适用例的图。同时如图4c所示，在囊胚e3中，在作为细胞的薄层的滋养外胚层t的内部存在作为比较大的构造体的内细胞团i。因此，如图7a所示，滋养外胚层t被表示为半径小的内接球的集合体，另一方面，内细胞团i被表示为更大的内接球的集合体。因此，如图7b中实线所示，若从这样模型化的二值化图像将以半径大的内接球表示的区域取出，则能够提取出与内细胞团i对应的区域。另一方面，若将以半径小的内接球表示的区域取出，则能够提取出与滋养外胚层t对应的区域。

返回到图5，继续说明本实施方式的图像处理方法。针对二值化图像进行基于上述原理的运算处理、例如localthickness运算(步骤s104)。如此，二值化图像中的目标物被区分为与卵裂球的集合体对应的区域(第1区域)和除此以外的区域(第2区域)。由此，能够如上述那样以定量性的信息单独表现各个区域。在分别评估细胞的集合体所包含的卵裂球的目的下，其中的第1区域成为处理对象。

即，通过将内接球的半径小于阈值rth的第2区域从二值化图像除去(步骤s105)，而仅留下与卵裂球的集合体对应的第1区域。对该第1区域执行基于watershed算法的分区处理(步骤s106)。由此，构成卵裂球的集合体的各个细胞被分离出。由于除去了成为误差原因的碎片f，所以能够通过watershed算法高精度地划定各个细胞间的边界。此外，localthickness运算算法及watershed算法均作为通用的图像处理软件的库而既已被实用化。

若像这样在三维空间中确定各细胞所占据的区域，则能够容易地求出各个细胞的尺寸例如体积、表面积(步骤s107)。例如，能够将构成卵裂球的集合体的各细胞的体积的偏差用作基于veeck分类来判定胚胎状态良否的指标。

另外，为了更详细地评估各细胞，能够导入与细胞的形状对应的指标值。认为各个细胞若是独立状态则示出大致球形。但是，在多个细胞聚集而成的卵裂球的集合体中，尤其在与其他细胞接触的部分会产生变形。另外，在胚胎培养的现场也有若细胞表面圆滑则更好的见解，期望定量性地表现与这样的形状有关的特征。

因此，在本实施方式中，确定为一个细胞的各个区域被近似为椭圆体(步骤s108)。由此，通过定量化地表示各细胞的表面相对于近似椭圆体的表面的偏离程度，而满足了上述要求。具体如下所述。此外，在此考虑相互接触的状态下的两个细胞。然而，对于更多的细胞相互接触的卵裂球的集合体也能够同样地考虑。

图8a至图8c是示意地表示基于分区实现各个细胞的分离的图。另外，图9a至图9d是示意地表示细胞的椭圆体近似化的图。如图8a所示，在分区前的状态的二值化图像中两个细胞c1、c2为一体的目标物。通过执行基于watershed算法的分区处理，如图8b及图8c，划定两个细胞c1、c2的边界。由此两者被分离为三维空间中独立的目标物。在图8c中，实线表示与其他细胞不接触而露出的细胞的表面(以下称为“露出表面”)的轮廓，点划线表示通过分区处理而划分出的细胞间的边界。

认为这样划分出的细胞作为整体而呈球形或椭圆体。但是，存在在与其他细胞接触的部分变形大的情况。因此，仅使用划分出的区域的表面中的与其他细胞不接触的露出表面的信息进行椭圆体近似化。如此，能够抑制因细胞变形导致的误差。

具体地说，首先进行露出表面的提取。即，将划分出的细胞的区域的二值化图像以1像素的量进行膨胀处理，在与划分前的二值化图像中的卵裂球的集合体的周围区域之间，生成与每个像素的逻辑与相当的图像。如此，得到具有1像素的量的厚度的露出表面的像。通过划分处理生成的边界面由于包含于原卵裂球的集合体的内部，所以不会显现于逻辑与的结果。

从这样得到的露出表面的形状求出近似椭圆体。具体地说，从露出表面所含的各点的空间坐标(x，y，z)和作为椭圆体的一般式的下式：ax²+by²+cz²+dxy+exz+fyz+gx+hy+iz+j＝0，通过例如最小二乘法求出各常数a～j。如此，能够确定将该区域近似化的椭圆体。如图9a中虚线所示，与细胞c1对应的近似椭圆体ea1是将以实线表示的细胞c1的露出表面的形状近似化得到的，与以点划线示出且通过分区生成的边界未必一致。即，近似椭圆体ea1不受细胞c1因与其他细胞的接触产生的变形的影响。这对于与细胞c2对应的近似椭圆体ea2也是同样的。

像这样，通过利用椭圆体近似地表示各个细胞，能够利用表示其形状的参数定量性地表示细胞的形状。作为参数，能够使用例如长轴及短轴的长度、体积、扁平率、长轴的方向等。由此，能够容易且定量性地进行单独的细胞形状的评估及多个细胞间的形状比较等。

在细胞c1的露出表面中也是，有凹凸的表面和近似椭圆体ea1的表面不完全一致。但是，若细胞的状态良好且表面圆滑，则认为近似椭圆体的表面与露出表面的偏离小。即，表示细胞的露出表面与近似椭圆体的表面的偏离程度的数值能够成为定量性地指示细胞状态的值。

为了导出这样的指标值，设为将细胞表面的各点的坐标以极坐标表示。在针对拍摄对象物以xy方向上的光束扫描获取的原图像数据(体素数据)中，三维空间内的各位置在xyz坐标系中被示出。然而，由于细胞的概略形状能够以椭圆体表示，所以为了更明显地表现细胞的形状，优选在以细胞的中心为原点的球坐标中表示各位置。因此，如图9b所示，从xyz正交坐标系向将矢径r及两个偏角θ、φ设为坐标变量的rθφ球坐标系进行坐标转换。

如熟知那样，在正交坐标系中的点p的坐标(x，y，z)与球坐标系中的点p的坐标(r，θ，φ)之间，若原点o是共同的，则存在下式的关系，能够相互转换。

x＝r·sinθ·cosφ

y＝r·sinθ·sinφ

z＝r·cosθ

具体地说，将先前求出的近似椭圆体的重心设为球坐标系的原点o。该原点o不必与原图像数据的xyz正交坐标系的原点一致。然后，通过适当的转换处理进行从正交坐标向球坐标的坐标转换(步骤s109)。通过像这样进行坐标转换，在xyz正交坐标系中确定的三维空间内的各位置以rθφ球坐标系表示。椭圆体的重心能够设为例如椭圆体的表示长轴或短轴的线段的中点。

通过这样的坐标转换，利用极坐标表示细胞c1(c2)的露出表面及近似椭圆体ea1(ea2)的表面的各点的坐标。如图9c及图9d所示，当求出在一个矢径r方向上的细胞c1(c2)的露出表面与近似椭圆体ea1(ea2)的表面的距离δr时，该距离δr成为表示该方向上的细胞与椭圆体的偏离度的值。也就是说，可以说距离δr越小则细胞的表面与椭圆体的表面的偏离越小，越大则偏离越显著。

对于表示作为细胞c1整体的相对于近似椭圆体e1的偏离度，能够与上述同样地关于例如露出表面整体按每个矢径方向求出距离δr，并将其最大值、最大值与最小值之差、绝对值的累计值等中的至少一个设为指标值(步骤s110)。通过在球坐标中表示位置，能够简单地进行这样的细胞与其近似椭圆体之间的定量性的比较运算。这些指标值可以说是表示细胞的歪斜程度的值。这样的指标值越小，则细胞的表面越圆滑、歪斜越小，能够推定其为良好的细胞。

如上述那样，各个构造体的形状面中的评估能够基于将通过oct成像得到的三维像二值化后的二值化图像进行。另一方面，为了评估各个构造体的内部的充实程度和其均匀性，需要得到因构造体的密度不同产生的与三维目标物的浓淡有关的信息。

在此，将上述那样各个细胞及其他构造体被划分成单独区域的二值化图像来作为掩模，对包含以原图像数据表示的浓淡的三维像起到作用。于是，能够将原图像所含的三维目标物按每个区域取出。即，通过生成相当于原图像与分区后的二值化图像的每个像素的逻辑与的图像(步骤s111)，得到将原图像分区的图像。另外，通过以利用上述分区划定的边界划分原图像中的三维目标物，也得到相同的结果。

由此，在划分出的各个区域中，其浓淡由该区域内的各像素的像素值(亮度值)表示。能够使用该信息单独地评估其内部构造。例如，划分出的区域内的平均浓度是表示该区域内的物质的平均密度的指标值，成为有助于识别例如包含细胞核的细胞和不包含细胞核的碎片等的信息。另外例如对划分出的各区域，基于其内部的亮度值生成浓度分布图(步骤s112)。由此，能够得到对于推定内部构造来说有用的信息。若对一个区域整体生成浓度分布图，则能够表示该区域整体的性质。另外，通过对一个区域中的一部分生成浓度分布图，能够更详细地表示区域内部的构造。

图10a及图10b是表示浓度分布图的例子的图。图10a示出关于通过分区划定的细胞c1的内部的两个区域r1、r2的浓度分布图的例子。在关于区域r1的浓度分布图中，在比较低的浓度区显现出宽度窄的峰值。能够推定该区域为物质密度低的例如空洞。另一方面，从区域r2开始，在比较高的浓度区显现出宽度大的峰值，示出了以局部存在的方式包含高浓度的物质的情况。例如在细胞内的小器官集中的区域和用于细胞分裂的动作活跃的区域中，可见到这样的倾向。

另外，认为在细胞内的细胞核的区域与其他区域之间也是，在浓度分布图中会产生大的差异。像这样，通过求出浓度分布图，能够向使用者提供例如峰值的位置、高度、宽度等成为与细胞内部构造有关的线索的信息。

这样的求出浓度分布图的手法在囊胚的评估中也是有用的。即，如图10b所示，在囊胚中，在薄的滋养外胚层t的内部形成有内细胞团i。在状态良好的胚胎中内细胞团i由多个细胞密集地构成，与之相对在状态差的胚胎的内细胞团中，存在细胞数少或者为密度低的稀疏状态的情况。因此，在对通过分区确定出的内细胞团i求出浓度分布图时，在状态良好的胚胎中，在图10b下部的曲线图中如实线所示，峰值的宽度小。与之相对，在状态差的胚胎中，如虚线所示峰值的宽度变大。像这样，对于内细胞团i，也能够将指示峰值的位置、高度、宽度等的信息用于胚胎的评估。例如通过将这些指标值适用于gardner分类，能够定量性地进行以往依赖于主观判断进行的分类。

如以上那样，在本实施方式中，能够根据对胚胎进行oct成像得到的三维像，单独地确定与细胞、碎片等各种构造体对应的区域。通过对这样确定出的每个区域计算出定量性地表示其特征的指标值，能够作为客观数值而得到对于各区域的评估有用的信息。通过将这样的指标值例如以显示于显示部352等方式提供给使用者，在本实施方式中，能够有效地辅助使用者对胚胎的评估作业。

另外，作为三维像所含的构造体，能够包含卵裂球、细胞、碎片等各种构造体。但是，若对这样求出的指标值预先设定适当的阈值，则能够作为自动判定构造体是哪种构造体的图像判定方法而实施。

此外，本发明不限定于上述实施方式，只要不脱离其主旨则能够除了上述实施方式以外进行各种变更。例如，上述实施方式的图像处理装置1具有对试料sp进行oct成像的功能、以及根据成像数据生成输出图像并输出的功能。但是，本发明的图像处理方法也可以由自身不具有拍摄功能、但获取具有拍摄功能的其他装置的通过拍摄得到的成像数据的计算机装置执行。为了实现该图像处理方法，作为用于使计算机装置执行图5的各处理步骤中的步骤s102至s112的软件程序，而实施本发明。

这样的程序的分发能够通过例如经由因特网等电气通信回线而下载的形式进行。另外，也能够通过分发记录有该程序的计算机可读的记录介质进行。另外，通过经由接口在已有的oct成像装置中读入该程序，也能够通过该成像装置实施本发明。

另外，例如在上述实施方式中，出于单独评估构成卵裂球的集合体的细胞的目的，而执行了除去通过localthickness运算区分出的区域中的相当于碎片等的第2区域的处理。但是，也能够是，例如出于详细观察碎片的目的，留下第2区域而除去第1区域。另外也可以是，生成单独表示第1区域和第2区域的图像。

另外例如，在上述实施方式中的图像处理(图5)中，以如下顺序执行用于对胚胎的三维像进行分区的处理(步骤s104～s106)、所划分出的区域的尺寸计算(步骤s107)，将各个细胞椭圆体近似化的处理(步骤s108)、利用极坐标表现细胞的表面的处理(步骤s109)、求出细胞与近似椭圆体的偏离度的处理(步骤s110)、求出区域内的浓度分布的处理(步骤s111～s112)。但是，不是必须进行这些处理的全部处理，可以根据目的适当选择并执行所需的处理。另外，执行顺序也不限定于上述。

另外，上述实施方式从通过oct成像得到的三维像提示对于使用者的评估作业有用的各种定量性的信息。在此，使用者对这些信息的利用方式是任意的，不限定于上述例示的方式。

以上，如例示具体实施方式进行了说明那样，在本发明的图像处理方法中，可以是通过localthickness运算对三维像内的各点赋予的灰度值成为指标值。在以一般使用者能够利用的形式公开的localthickness运算算法中，目标物的大小通过灰度值而表现。能够将这样的灰度值合适地适用为上述处理中的指标值。

另外例如，也可以构成为，在分区的工序中，划定多个区域之间的边界，以所划定的边界将原图像数据表示的三维像划分成多个。通过以这些边界划分三维像中的目标物，能够将卵裂球的各个细胞及其他构造物相互分离并单独评估。

另外例如，也可以构成为，对于划分出的区域，将该区域的表面中的与其他区域不接触的露出表面进行椭圆体近似化。细胞虽然不定形，但具有大致椭圆体形状，因此，通过将细胞椭圆体近似化，能够将其形状表示为具体数值。该情况下，在与其他细胞接触的部分，细胞的表面发生变形。因此，通过将这样的变形小的露出表面进行椭圆体近似化，能够降低因表面变形导致的误差。

该情况下，例如，可以进一步计算出表示通过椭圆体近似化求出的近似椭圆体的表面与露出表面的偏离度的指标值。由于可以说近似椭圆体表示细胞的理想形状，因此，相对于近似椭圆体的偏离的大小表示细胞的歪斜的大小和/或表面的凹凸的大小。若存在这样的定量性地表示与形状有关的特征的指标值，则对于使用者的评估作业来说是有用的。

而且，例如，也可以是，利用以近似椭圆体的重心为原点的极坐标来表示露出表面及近似椭圆体的表面的各位置的坐标，并基于处于同一矢径上的露出表面上的点与近似椭圆体的表面上的点之间的距离来求出指标值。从椭圆体的重心观察时的细胞与近似椭圆体的距离能够用作明显地表示它们之间的偏离度的信息。

另外例如，也可以是，计算出所划分出的区域内的像素各自的像素值的分布图。根据这样的结构，能够生成将细胞的内部构造定量化的信息。

另外，本发明的图像处理方法能够构成为，通过上述方法将胚胎的三维像划分成多个区域，将其中指标值大于第1阈值的第1区域判定为卵裂球的集合体。认为在胚胎中正常的卵裂球具有比其他构造体大的构造。因此，将被推定为比较大的构造的第1区域判定为卵裂球的集合体是极其合理的。

该情况下，也可以是，将从第1区域进一步划分出的一个区域判定为一个细胞。在将第1区域视为由多个细胞组成的卵裂球时，认为将其进一步划分得到的各个区域分别对应于一个细胞是妥当的。

另外例如，也可以是，将被区分成指标值小于第1阈值的第2区域的区域中的球形度大于第2阈值的区域判定为碎片。碎片虽然构造比细胞小，但具有一定的球形度。因此，能够将被区分成第2区域的区域中的球形度比较高的区域视为碎片。由此，能够区分碎片和其他构造体。

以上，按照特定的实施例对发明进行了说明，但并不意图以限定性的含义解释该说明。若参照发明的说明，则对于精通该技术的人员来说与本发明的其他实施方式同样地，所公开的实施方式的各种变形例是明确的。因此，认为所附的权利要求书在不脱离发明的真正范围的范围内包含该变形例或实施方式。

工业实用性

本发明能够适用于对所培养的胚胎的状态的评估作业进行辅助的目的，能够用于提高例如不孕治疗中的体外受精、人工授精的成功率。

附图标记的说明

1图像处理装置

10保持部

20拍摄单元

21光源

22分束器

24基准镜

26光检测器

30控制单元

33信号处理部

343d复原部

352显示部

sp试料。