图像处理方法以及细胞分取方法与流程

本发明涉及一种图像处理方法和细胞分取方法。

背景技术：

以往，已知如下一种方法：对粘接在薄板上的基板粘贴生物体组织的切片，通过薄板的伸展将基板与切片一起分割为多个小片，从薄板提取一部分小片，由此分取切片内的确定区域的细胞(例如，参照专利文献1)。在专利文献1中，从生物体组织的相邻位置切出两个切片，利用上述的方法将一方切片与基板一起分割，将另一方切片染色。而且，基于已被染色的切片的图像来决定切片内的所要提取的区域，提取与决定好的区域对应的位置的小片。

专利文献1：国际公布第2012/066827号

技术实现要素：

发明要解决的问题

然而，在薄板上，非常多的微小的(例如，0.5mm以下的)小片以矩阵状排列。将分割前的基板和切片的图像与分割后的实际的基板和切片进行比较并从这样的小片排列中准确地确定期望的小片的位置的作业是繁杂且困难的。

本发明是鉴于上述情形而完成的，其目的在于提供一种即使是多个微小的小片进行排列的小片排列也能够易于从其中确定期望的小片的图像处理方法和细胞分取方法。

用于解决问题的方案

为了达成上述目的，本发明提供以下方法。

本发明的第一方式是一种图像处理方法，对小片排列的图像进行处理，该小片排列是将粘有生物体组织的切片的基板与所述切片一起分割为多个小片而得到的、所述小片彼此隔开间隙地二维状排列的排列，该图像处理方法包括以下工序：图像获取工序，对所述小片排列进行拍摄，获取包含已被分割的所述切片的整体的分割切片图像；小片识别工序，从在该图像获取工序中获取到的所述分割切片图像中识别所述小片的像；属性信息附加工序，对构成在该小片识别工序中识别出的所述小片的像的像素的各个像素附加属性信息，该属性信息包含构成在该小片识别工序中识别出的所述小片的像的像素所归属的小片的像在所述小片排列的像中的位置的信息；以及复原工序，将包括在该属性信息附加工序中被附加了所述属性信息的像素的所述小片的像彼此接合为一个像，由此生成将所述已被分割的切片的像接合为一个像所得到的复原切片图像。

根据本发明的第一方式，在小片识别工序中识别在图像获取工序中获取到的分割切片图像内的小片的像，在复原工序中将小片的像彼此以没有间隙且不重合的方式合成为一个像，由此生成包含分割前的切片的整体像的复原切片图像。能够从复原切片图像中准确地把握切片内的组织构造、细胞的分布等。因而，用户能够基于复原切片图像适当地选定要从切片中提取的位置。

在该情况下，在属性信息附加工序中，对构成复原切片图像的各个像素附加位置的信息来作为属性信息，该位置的信息表示构成复原切片图像的像素与小片排列内的哪个位置的小片对应。因而，根据复原切片图像内的要提取的位置的像素的位置的信息，能够容易且准确地确定要提取的小片是分割切片图像内的哪个小片。而且，通过将分割切片图像内的小片排列的像与实际的小片排列进行比较，即使是多个微小的小片，也能够易于从其中确定期望的小片。

在上述第一方式中，也可以包含颜色校正工序，在该颜色校正工序中，对于在所述复原切片图像内的相邻的所述小片的像的边界处隔着该边界而相邻的像素的颜色，基于相应像素的附近的像素的颜色来进行校正。

在复原切片图像中，小片的像之间的边界由于在将基板和切片分割时沿着分割线产生的毛边等而易于变得明显。因而，通过将位于边界的位置处的像素的颜色校正为与该像素的周围的像素的颜色相同或类似的颜色，能够复原为小片的像之间的边界不明显的、更自然的分割前的切片的整体像。

在上述第一方式中，也可以，在所述属性信息附加工序中，对构成所述分割切片图像的全部像素进一步附加区域信息来作为所述属性信息，该区域信息表示像素是否为构成所述小片的像的像素，在所述复原工序中，基于所述区域信息去除不构成所述小片的像的像素，将剩下的构成所述小片的像的像素彼此接合为一个像，由此生成所述复原切片图像。

由此，能够通过简单的处理来生成复原图像。

本发明的第二方式是一种细胞分取方法，包括以下工序：上述任一项所记载的图像处理方法；显示工序，显示所述复原切片图像；指定工序，针对在该显示工序中显示的所述复原切片图像指定要从所述切片中提取的位置；以及提取工序，基于对与在该指定工序中指定出的位置对应的像素附加的所述位置的信息来从所述小片排列中提取小片。

通过本发明的第二方式，基于在指定工序中被指定的位置的像素的位置的信息，能够易于从实际的小片排列中确定要提取的小片，能够在提取工序中提取被确定的小片。

发明的效果

通过本发明，起到如下效果：即使是多个微小的小片进行排列的小片排列，也能够易于从其中确定期望的小片。

附图说明

图1是本发明的一个实施方式所涉及的用于实施细胞分取方法的细胞分取系统的整体结构图。

图2a是示出图1的细胞分取系统中使用的分割前的基板和切片的图。

图2b是示出将图2a的基板和切片分割后的图。

图3是示出本发明的一个实施方式所涉及的图像处理方法和细胞分取方法的流程图。

图4是图像获取工序中获取到的分割切片图像的一例。

图5是复原工序中生成的复原切片图像的一例。

图6是示出图3的图像处理方法和细胞分取方法的变形例的流程图。

图7是在颜色校正工序中被进行了颜色校正的复原切片图像的一例。

具体实施方式

以下，参照附图来对本发明的一个实施方式所涉及的细胞分取方法进行说明。

首先，对本实施方式所涉及的用于实施细胞分取方法的细胞分取系统1进行说明。

细胞分取系统1是用于从生物体组织的切片a中提取包含期望的细胞的特定区域的系统，如图1所示，细胞分取系统1具备：具有水平的台10的倒立型的光学显微镜2，设置于台10的上方的落料部3，用于对由光学显微镜2获取到的图像进行处理的图像处理装置4，显示部5以及将所述各部彼此连接的数据总线6。

如图2a所示，细胞分取系统1中使用的切片a粘贴在像玻璃盖片那样的薄的基板7上。在基板7的表面以格子状形成有槽8，该槽8具有到基板7的厚度尺寸的途中位置为止的深度。相邻的槽8的间隔为0.2mm～2.0mm，优选为0.3mm～1.0mm，更优选为0.3mm～0.5mm。

基板7的背面通过粘合剂而粘合在薄板9(例如，切割用的薄板)上，该薄板9在表面方向上具有伸缩性。当使该薄板9在表面方向伸展时，能够如图2b所示那样将基板7沿着槽8分割为多个小的矩形的小片7a。此时，基板7上的切片a也与基板7一起沿着槽8而被分割为多个小的断片。由此，如图2b所示，生成隔开间隙地正方排列的包括多个小片7a的小片排列70。

光学显微镜2在台10的下方具备：物镜11，其用于对台10上的标本进行放大观察；以及像数字照相机这样的摄像部12，其用于对由该物镜11获取到的标本的像进行拍摄。另外，台10在其大致中央部分具有沿铅直方向贯通的窗10a。如图1所示，通过以使小片排列70位于窗10a的位置处且使形成有小片排列70的面朝向下侧的方式将薄板9载置在台10上，能够通过物镜11从台10的下侧观察小片排列70，并能够通过摄像部12拍摄由该物镜11获取到的小片排列70的像。

落料部3具备：针13；以及保持件14，其能够以使针头13a朝向下侧的方式保持针13并且能够沿水平方向和铅直方向移动。通过保持件14沿水平方向移动，能够使针头13a在水平方向上与台10上的小片7a对位。另外，通过保持件14沿铅直方向下降，能够利用针头13a冲撞小片7a的背面，从而能够使该小片7a从薄板9剥离并落下。

图像处理装置4例如是计算机，具备像cpu(中央运算处理装置)这样的运算部15以及用于存储图像处理程序的像rom(readonlymemory：只读存储器)这样的存储部16。另外，图像处理装置4具备用于由用户向图像处理装置4进行输入的键盘、鼠标等输入装置(省略图示)。

图像处理装置4将从光学显微镜2接收到的分割切片图像p存储于像ram这样的未图示的暂时存储装置，执行存储于存储部16的图像处理程序，由此基于分割切片图像p来生成复原切片图像q，使生成的复原切片图像q输出并显示于显示部5。

接着，对使用了细胞分取系统1的细胞分取方法进行说明。

本实施方式所涉及的细胞分取方法如图3所示包含图像获取工序s1、模板制作工序s2、小片识别工序s3、属性信息附加工序s4、复原工序s5、显示工序s6、取出位置指定工序(指定工序)s7以及提取工序s8。

本发明所涉及的图像处理方法相当于图像获取工序s1至复原工序s5。

在图像获取工序s1中，用户利用光学显微镜2观察小片排列70，以使已被分割的切片a的整体被包含在摄像部12的视场中的适当的摄影倍率，通过摄像部12对切片a的整体进行拍摄。由摄像部12获取到的分割切片图像p经由数据总线6而向图像处理装置4发送。

此外，为了在图像获取工序s1中获取分割切片图像p，能够使用任意的方法。例如，也可以，以高倍率获取小片排列70的部分图像，将获取到的多个部分图像适当地接合起来，由此得到分割切片图像p。

模板制作工序s2至显示工序s6是通过由运算部15执行图像处理程序而进行的。

在模板制作工序s2中，运算部15基于小片7a的一个边的实际尺寸、显微镜2拍摄分割切片图像p的摄影倍率以及分割切片图像p的横竖的像素数来制作在之后的小片识别工序s3中使用的模板。小片7a的一个边的尺寸相当于槽8的间隔，例如由用户经由输入装置向图像处理装置4输入后存储于存储部16。显微镜2的摄影倍率和分割切片图像p的横竖的像素数例如通过运算部15从显微镜2获取后存储于存储部16。

图像处理装置4根据显微镜2的摄影倍率和分割切片图像p的横竖的像素数来计算分割切片图像p的与一个像素相应的像的实际尺寸，根据计算出的与一个像素相应的像的实际尺寸和小片7a的一个边的实际尺寸来计算相当于一个小片7a的一个边的像素的个数。然后，图像处理装置4制作一个边包括计算出的个数的像素的矩形的模板。

接着，在小片识别工序s3中，运算部15从暂时存储装置读出分割切片图像p，进行模板与分割切片图像p之间的图案匹配，将分割切片图像p内的与模板高相关的区域识别为小片区域r。在图案匹配中，使用具有与分割切片图像p内的各个小片7a的像大致叠合的形状的模板，由此能够避免将小片7a的像以外的大小不同的矩形的灰尘等的像误识别为小片区域r，能够将分割切片图像p内的小片7a的像准确且迅速地识别为小片区域r。在此，为了提高图案匹配的精度，也可以在图案匹配之前对分割切片图像p实施灰度值的二值化、细线化、轮廓抽出等图像处理。

接着，在属性信息附加工序s4中，运算部15对分割切片图像p内的全部像素附加属性信息，将该属性信息与像素相对应地存储于存储部16。在属性信息中包含标志(区域信息)、地址(位置坐标)以及小片区域r的中心坐标。

标志例如是“0”、“1”以及“2”这三个种类，对构成小片区域r的像素附加“1”，对构成各小片区域r的像素中的位于最外侧的位置处而构成小片区域r的轮廓的像素附加“2”，对构成小片区域r以外的区域的像素附加“0”。基于该标志，能够判别各像素属于分割切片图像p内的哪个区域。

地址是表示各小片区域r在分割切片图像p内的小片排列70的像中的位置的信息，地址例如像图4所示那样由行序号a、b、c、…和列序号1、2、3、…的组合定义。对被附加了标志“1”或“2”的像素附加地址。例如，在图4所示的例子中，对被包含在小片排列70的像内的位于左上角的位置处的小片区域r中的全部像素标注“a1”这样的地址。

小片区域r的中心坐标是该像素所归属的小片区域r的中心位置在分割切片图像p内的坐标。小片区域r的中心坐标是由运算部15基于构成各个小片区域r的像素群的坐标计算出来的。

接着，在复原工序s5中，运算部15基于对各像素附加的属性信息来进行小片区域r的再配置以使相邻的小片区域r彼此以没有间隙且不重合的方式相接。

具体来说，首先，将被附加了标志“0”的像素从分割切片图像p中去除。由此，只剩下隔开间隙地排列的小片区域r。接着，关注多个小片区域r中的一个小片区域r，使相邻的小片区域r平行移动，以使被关注的该小片区域r的被附加了标志“2”的像素和同被关注的小片区域r相邻的小片区域r的被附加了标志“2”的像素直接相邻。由此，将小片区域r间的间隙缩小。一边变更关注的小片区域r一边重复进行相邻的小片区域r的平行移动，由此如图5所示那样得到没有间隙地连结成一个像且包含切片a的整体像的复原切片图像q。对构成复原切片图像q的各像素附加上述的标志“1”或“2”、地址以及小片区域r的中心坐标来作为属性信息。

接着，在显示工序s6中，将生成的复原切片图像q从运算部15向显示部5输出，在显示部5显示复原切片图像q。

接着，在取出位置指定工序s7中，用户观察显示部5上的复原切片图像q，例如使用未图示的触摸面板这样的用户界面来指定复原切片图像q内的切片a的期望位置。运算部15基于对指定出的位置的像素附加的地址，来确定复原切片图像q内的小片区域r中的包含指定出的位置的像素的小片区域r，向落料部3发送确定出的小片区域r的中心坐标。

接着，在提取工序s8中，落料部3根据从运算部15接收到的小片区域r的中心坐标，来运算要利用针13进行落料的小片7a的中心位置，使针13沿水平方向向计算出的中心位置移动并使针13下降。由此，同由用户针对显示部5上的复原切片图像q指定出的位置的小片区域r对应的小片7a被落料后从薄板9落下。落下的小片7a被回收到预先配置于台10的铅直下方的未图示的容器内。

这样，根据本实施方式，对分割切片图像p内的构成小片区域r的各像素附加表示该像素属于哪个小片区域r的地址，之后，将小片区域r彼此接合而生成将切片a的整体像复原的复原切片图像q。地址也与实际的小片排列70中的各小片7a的位置对应。因而，存在如下优点：能够基于地址来从多个微小的小片7a排列而成的小片排列70中准确且简单地确定同由用户针对复原切片图像q指定出的位置对应的小片7a。

此外，在本实施方式中，设为基于由用户针对复原切片图像q指定出的位置来自动地从小片排列70中提取期望的小片7a，但是作为代替，也可以通过由用户自身操作保持件14来手动地进行针13的对位和小片7a的提取。

在该情况下，分割切片图像p也显示于显示部5，对分割切片图像p进行如下处理：能够由用户视觉地识别与在落料位置指定工序s7中被指定的位置对应的小片区域r是分割切片图像p内的哪个小片区域r。分割切片图像p内的小片排列70的像是对实际的小片排列70进行拍摄所得到的像，因此用户能够易于辨别分割切片图像p内的被指定的小片区域r与实际的小片排列70中哪个小片7a对应。

另外，在本实施方式中，如图6所示，也可以在复原工序s5之后还包括颜色校正工序s9，在该颜色校正工序s9中，对复原切片图像q内的位于相邻的小片区域r之间的边界的位置处的像素的颜色，基于该像素的附近的像素的颜色来进行校正。在该情况下，在显示工序s6中，在显示部5显示进行颜色校正后所得到的复原切片图像q’。

在复原工序s5中生成的复原切片图像q中，在相邻的两个小片区域r之间的边界，被附加了标志“2”的两个像素(以下也称为边界像素)相邻地排列。在颜色校正工序s9中，运算部15对这样的两个一对的边界像素的颜色，基于位于该两个一对的边界像素的排列方向的两侧的位置处的像素的颜色(色相、明度、彩度)来进行校正。例如，运算部15对两个一对的边界像素的赋予边界像素两侧的像素的颜色的平均色、或与一方侧的像素相同的颜色。运算部15对位于相邻的两个小片区域r的边界的位置处的全部两个一对的边界像素同样地进行颜色校正。由此，存在如下优点：对复原切片图像q的颜色局部地进行校正，使得颜色越过边界平滑地连续，如图7所示那样得到小片区域r的边界不明显的复原切片图像q’。此外，不仅对边界像素进行颜色校正，也可以根据需要对边界像素的附近的像素进行颜色校正。

附图标记说明

1：细胞分取系统；2：光学显微镜；3：落料部；4：图像处理装置；5：显示部；6：数据总线；7：基板；7a：小片；70：小片排列；8：槽；9：薄板；10：台；10a：窗；11：物镜；12：摄像部；13：针；13a：针头；14：保持件；15：运算部；16：存储部；a：切片；p：分割切片图像；q：复原切片图像；s1：图像获取工序；s2：模板制作工序；s3：小片识别工序；s4：属性信息附加工序；s5：复原工序；s6：显示工序；s7：取出位置指定工序(指定工序)；s8：提取工序；s9：颜色校正工序。