图像处理方法、图像处理装置、摄像装置及摄像方法与流程

本发明涉及基于多个拍摄图像生成全焦点图像的图像处理方法、图像处理装置、摄像装置及摄像方法。

背景技术：

专利文献1中记载了一种通过以高分辨率拍摄细胞来观察细胞的培养状态的装置。专利文献1的装置通过照相机拍摄与培养液一同被保持在容器内的细胞。这种装置有时难以通过一次拍摄来对培养液中的所有细胞对焦。因此，通过改变照相机的焦点位置进行多次拍摄，并将得到的多个图像合成，从而生成对整体对焦的全焦点图像。

专利文献2中记载了一种涉及全焦点图像的生成的现有技术。专利文献2的装置中，由于从标本到摄像单元的光学系统非远心，因此若改变照相机的焦点位置则图像的倍率变化。因此，专利文献2的装置在通过修正而统一了图像的倍率后，生成全焦点图像(参照专利文献2的图2等)。基于预先保存的放大光学系统的设计信息以及标本的位置信息来进行倍率的修正(参照专利文献2的第0054段等)。

现有技术文献

专利文献1：日本特开2016-14974号公报

专利文献2：日本特开2011-7872号公报

技术实现要素：

发明所要解决的问题

如专利文献1的装置，在拍摄培养液中的细胞的情况下，表面张力使得培养液的表面形成凹状的弯液面。因此，光在培养液的表面发生折射。结果，图像的倍率(视野的广度)根据照相机的焦点位置而变化。因此，为了生成全焦点图像，必须考虑通过多次拍摄得到的图像间的倍率变化。

例如专利文献2所述，根据通过多次拍摄得到的图像间的倍率变化量来修正各图像的倍率，生成全焦点图像。然而，若修正各图像的倍率，则存在图像中的细胞大小、或多个细胞的间隔发生变化的问题。

尤其，在将不同的视野中得到的多个全焦点图像进行排列来生成一个结果图像的情况下，需要在相邻的全焦点图像间整合细胞的位置及大小。然而，如上所述，若对每个图像修正倍率，则不能在相邻的全焦点图像间高精度地整合细胞的位置及大小。因此，在结果图像中的全焦点图像的边界发生图像的错乱。

此外，弯液面的影响随着容器的形状、培养液的种类、经过时间、培养环境等各种条件而变化。因此，不能如专利文献2所述，基于预先准备的信息来修正图像的倍率。

本发明是鉴于这种情况而提出的，目的在于提供一种即使在图像的倍率根据照相机的焦点位置而变化的情况下，也能高精度地生成全焦点图像的图像处理方法、图像处理装置、以及摄像装置及摄像方法。

解决问题的技术方案

为了解决上述课题，本申请的第一发明是一种图像处理方法，基于多个拍摄图像生成全焦点图像，包括：a)工序，一边使焦点位置沿着光轴变化一边拍摄对象物，从而获取多个拍摄图像；b)工序，获取多个所述拍摄图像间的倍率变化；c)工序，基于所述倍率变化，确定多个所述拍摄图像间相互对应的像素，并且在所述对应的像素之间比较锐度；d)工序，基于所述c)工序的比较结果来决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值所应参照的所述拍摄图像的序号；以及e)工序，对每个坐标参照所述图像参照值所示的拍摄图像的亮度值，生成全焦点图像。

本申请的第二发明是一种图像处理装置，基于多个拍摄图像生成全焦点图像，具有：图像存储部，存储通过一边使焦点位置沿着光轴变化一边拍摄对象物而获取的多个拍摄图像；倍率变化获取部，获取多个所述拍摄图像间的倍率变化；图像参照值决定部，通过基于所述倍率变化，确定多个所述拍摄图像间相互对应的像素，并且在所述对应的像素之间比较锐度，从而决定图像参照值，所述图像参照值是作为全焦点图像的各坐标的亮度值所应参照的所述拍摄图像的序号；以及全焦点图像生成部，对每个坐标参照所述图像参照值所示的拍摄图像的亮度值，生成全焦点图像。

本申请的第三发明是一种摄像装置，拍摄对象物来生成全焦点图像，具有：照相机，拍摄所述对象物，投光部，向所述对象物照射光，移动机构，使所述照相机的焦点位置沿着光轴变化，以及控制部，控制所述照相机、所述投光部、以及所述移动机构，并且处理由所述照相机获取的图像；所述控制部执行：工序a)，一边由所述移动机构使所述焦点位置变化，一边由所述照相机进行拍摄，从而获取多个拍摄图像，工序b)，计算多个所述拍摄图像间的倍率变化，工序c)，对多个所述拍摄图像中的每一个所述拍摄图像进行所述倍率变化的逆修正，以及工序d)，利用所述逆修正后的多个所述拍摄图像来生成全焦点图像。

本申请的第四发明是一种摄像方法，拍摄对象物来生成全焦点图像，包括：工序a)，一边使照相机的焦点位置沿着光轴变化，一边由所述照相机拍摄所述对象物，从而获取多个拍摄图像；工序b)，计算多个所述拍摄图像间的倍率变化；工序c)，对多个所述拍摄图像中的每一个所述拍摄图像进行所述倍率变化的逆修正；以及工序d)，利用所述逆修正后的多个所述拍摄图像来生成全焦点图像。

发明效果

根据本发明，能够高精度地生成全焦点图像。

附图说明

图1是示出设置在摄像装置的孔板的一例的立体图。

图2是示出本发明的一个实施方式的摄像装置的结构的图。

图3是示出控制部与摄像装置内的各部分间的连接的框图。

图4是示出摄像装置中的拍摄处理的流程的流程图。

图5是示出一个孔内的拍摄处理的状况的图。

图6是示出对一个孔获取的5个拍摄图像的例子的图。

图7是示出在直接合成拍摄图像的情况下的全焦点图像的例子(比较例)的图。

图8是示出用于根据5个拍摄图像生成一个全焦点图像的图像处理的流程的流程图。

图9是示出步骤s7中的处理的例子的流程图。

图10是示意性示出对两个拍摄图像求取倍率变化量及平行移动量时的处理的状况的图。

图11是示出逆修正后的5个拍摄图像的例子的图。

图12是示出在将逆修正后的拍摄图像进行合成的情况下的全焦点图像的例子的图。

图13是示出摄像装置的结构的图。

图14是示出控制部与摄像装置内的各部分间的连接的框图。

图15是示意性示出控制部内实现的功能的框图。

图16是示出摄像装置中的拍摄处理的流程的流程图。

图17是示出一个孔内的拍摄处理的状况的图。

图18是示出由图17的第二拍摄位置拍摄的5个拍摄图像的图。

图19是示出用于根据5个拍摄图像生成一个全焦点图像的图像处理的流程的流程图。

图20是示出步骤s21中的处理的例子的流程图。

图21是示意性示出步骤s21的处理的状况的图。

图22是示出阴影去除处理的例子的流程图。

图23是示意性示出阴影去除处理的状况的图。

图24是示意性示出5个拍摄图像与生成的全焦点图像间的关系的图。

具体实施方式

下面，参照附图说明本发明的优选实施方式。

1.实施方式1

1.1.摄像装置的结构

图1是示出设置在摄像装置1的孔板9的一例的立体图。孔板9是具有多个孔(凹部)91的大致板状的样品容器。例如，使用透光的透明的树脂作为孔板9的材料。如图1所示，多个孔91在孔板9的上表面规则地排列。各孔91内保持培养液92与作为拍摄对象物的多个细胞93。另外，俯视时的孔91的形状可以是如图1所示的圆形，也可以是矩形等其他形状。

图2是示出本发明的一个实施方式的摄像装置1的结构的图。该摄像装置1是一边改变照相机40的焦点位置一边多次拍摄孔板9内的多个细胞93，并将得到的多个拍摄图像进行合成，生成对所有的细胞93对焦的模糊少的观察用的合成图像(全焦点图像)的装置。

摄像装置1例如在医药品的研究开发领域中用于缩选作为医药品候选的化合物的筛选工序。筛选工序的操作者向孔板9的多个孔91添加浓度或组成不同的化合物。然后，摄像装置1中，获取孔板9的各孔91内的细胞93的图像。然后，基于得到的图像，对细胞93的培养状态进行比较、分析，从而验证添加到培养液92的化合物的效用。

但是，摄像装置1也可以在ips细胞或es细胞等多能干细胞的研究、开发中用于观察细胞的分化等。

如图2所示，本实施方式的摄像装置1具有工作台10、投光部20、投光部移动机构30、照相机40、照相机移动机构50、及控制部60。

工作台10是保持孔板9的载置台。摄像装置1内的工作台10的位置至少在拍摄时被固定。在工作台10的中央设置有上下贯通的矩形的开口部11。此外，工作台10在开口部11边缘具有环状的支承面12。孔板9嵌入开口部11并且被支承面12水平地支承。因此，各孔91的上部及下部未陷入工作台10而露出。

投光部20配置在被工作台10保持的孔板9的上方。投光部20具有led等光源。在后述的拍摄时，投光部20内的光源发光。由此，从投光部20向下方照射光。需要说明的是，投光部20从照相机40的相反侧向孔板9照射光即可。因此，投光部20的光源本身可以是配置在偏离孔板9的上方的位置，并且经由反射镜等光学系统向孔板9照射光的结构。

投光部移动机构30是使投光部20沿着被工作台10保持的孔板9的上表面水平移动的机构。例如，使用将电机的旋转运动通过滚珠螺杆转换为直行运动的机构作为投光部移动机构30。摄像装置1使投光部移动机构30工作，从而能够将投光部20配置在各孔91的上方位置。需要说明的是，图2中，仅示出了箭头a1的一个方向作为投光部20的移动方向。然而，投光部移动机构30也可以使投光部20沿着孔板9的上表面在两个方向(图2中的左右方向及深度方向)上移动。

照相机40配置在被工作台10保持的孔板9的下方。照相机40具有透镜等光学系统、以及ccd或cmos等摄像元件。在后述的拍摄时，一边从投光部20向孔板9的一部分照射光，一边由照相机40拍摄孔板9的这一部分。由此，能够获取孔板9内的细胞93的图像作为数字数据。获取的拍摄图像从照相机40被输入给控制部60。

照相机移动机构50是一边维持照相机40的姿势，一边改变照相机40的高度及水平方向的位置的机构。如图2所示，照相机移动机构50具有升降移动机构51及水平移动机构52。

升降移动机构51是使照相机40上下移动的机构。例如，使用将电机的旋转运动通过滚珠螺杆转换为直行运动的机构作为升降移动机构51。当使升降移动机构51工作时，照相机40的高度变化。由此，被工作台10保持的孔板9与照相机40之间的距离(即，细胞93与照相机40之间的拍摄距离)变化。本实施方式的照相机40具有恒定的焦点距离。因此，当照相机40的位置上下移动时，照相机40的焦点位置也沿着光轴上下移动。

水平移动机构52是使照相机40及升降移动机构51作为一个整体水平移动的机构。例如，使用将电机的旋转运动通过滚珠螺杆转换为直行运动的机构作为水平移动机构52。摄像装置1通过使水平移动机构52工作，从而能够将照相机40配置在各孔91的下方位置。需要说明的是，图2中，仅示出了箭头a2的一个方向作为由水平移动机构52使照相机40移动的移动方向。然而，照相机移动机构50也可以使照相机40沿着孔板9的下表面在两个方向(图2中的左右方向及深度方向)上移动。

另外，上述的投光部移动机构30与水平移动机构52被同步驱动。由此，在俯视下，投光部20与照相机40始终配置在相同的位置。即，投光部20与照相机40向相同的方向移动相同的距离，并且在照相机40配置于某一孔91的下方位置时，投光部20必然配置在该孔91的上方位置。

控制部60例如由计算机构成。控制部60具有对摄像装置1内的各部分进行动作控制的功能、以及作为基于从照相机40输入的多个拍摄图像生成全焦点图像的图像处理装置的功能。图3是示出控制部60与摄像装置1内的各部分之间的连接的框图。如图3示意性所示，控制部60具有cpu等处理器61、ram等存储器62、以及硬盘驱动器等存储部63。存储部63内存储有用于对摄像装置1内的各部分进行动作控制的控制程序p1、以及用于基于从照相机40输入的拍摄图像生成全焦点图像的图像处理程序p2。

此外，如图3所示，控制部60分别与上述的投光部20、投光部移动机构30、照相机40、升降移动机构51、以及水平移动机构52可通信地连接。控制部60根据控制程序p1对上述的各部分进行动作控制。由此，对被孔板9的各孔91保持的细胞93进行拍摄处理。此外，控制部60根据图像处理程序p2处理从照相机40输入的拍摄图像，从而生成全焦点图像。

1.2.拍摄处理

接下来，说明上述的摄像装置1的动作。图4是示出摄像装置1中的拍摄处理的流程的流程图。图5是示出一个孔91内的拍摄处理的状况的图。

当将孔板9设置在摄像装置1的工作台10上，并向控制部60输入动作开始的指示时，控制部60首先使升降移动机构51动作。由此，将照相机40配置在规定的高度(步骤s1)。如图5所示，本实施方式中，摄像装置1能够使照相机40的高度分5级变更(第一高度h1～第五高度h5)。在拍摄处理开始时，首先将照相机40配置在最高的第一高度h1。

接着，控制部60使投光部移动机构30及水平移动机构52工作。由此，使投光部20及照相机40在待拍摄的孔91的上下移动(步骤s2)。然后，控制部60使投光部20及照相机40工作，拍摄在该孔91内保持的细胞93(步骤s3)。即，从投光部20向下方照射光l，并且由照相机40进行拍摄。由此，得到从第一高度h1拍摄到的在该孔91内保持的细胞93的拍摄图像。

接下来，控制部60判断是否存在作为拍摄对象的下一个孔91(步骤s4)。在存在下一个孔91的情况下(步骤s4中为“是”)，使投光部移动机构30及水平移动机构52工作。由此，使投光部20及照相机40在下一个孔91的上下移动(步骤s2)。然后，控制部60使投光部20及照相机40动作，拍摄在该孔91内保持的细胞93(步骤s3)。

如此，控制部60重复进行投光部20及照相机40的移动(步骤s2)和拍摄(步骤s3)。由此，对于作为孔板9的拍摄对象的所有孔91获取从第一高度h1拍摄的拍摄图像。

结果，当不存在未拍摄的孔91时(步骤s4中为“否”)，控制部60判断是否变更照相机40的高度(步骤s5)。此处，如果在预备的5个高度h1～h5中还存在未拍摄的高度，则判断为应变更照相机40的高度(步骤s5中为“是”)。例如，当第一高度h1上的拍摄处理结束时，控制部60判断为应将照相机40的高度变更为下一高度即第二高度h2。

在变更照相机40的高度的情况下，控制部60使升降移动机构51工作，使照相机40移动到应变更的高度(步骤s1)。由此，改变照相机40的焦点位置。然后，重复上述的步骤s2～s4的处理。由此，对于孔板9的各孔91获取从变更后的高度拍摄的细胞93的拍摄图像。

如上所述，控制部60重复进行照相机40的高度的变更(步骤s1)、以及多个孔91的拍摄图像的获取(步骤s2～s4)。由此，对孔板9的多个孔91的每个孔获取从5个高度h1～h5拍摄的5个拍摄图像。

1.3.全焦点图像的生成

接下来，说明用于基于从照相机40输入的多个拍摄图像，来生成全焦点图像的图像处理。

当上述的步骤s1～s5结束时，对孔板9的每个孔91获取拍摄距离不同的5个拍摄图像d1～d5。但是，如图5所示，孔91内的培养液92的表面因表面张力的影响而形成凹状的弯液面。因此，从投光部20照射的光l在通过培养液92的表面时发生折射，成为散射光。因此，5个拍摄图像d1～d5彼此的倍率不同。此外，光l的散射的大小在每个孔91处不同。因此，5个拍摄图像d1～d5的倍率变化量在每个孔91处也不同。

图6是示出对一个孔91获取的5个拍摄图像d1～d5的例子的图。拍摄图像d1～d5分别是配置在高度h1～h5的照相机40的拍摄图像。各拍摄图像d1～d5包括保持在孔91内的两个细胞93中的一个或两个细胞的图像。图中右侧的细胞93在配置于高度h2的照相机40的拍摄图像d2中被最清晰地对焦。图中左侧的细胞93在配置于高度h4的照相机40的拍摄图像d4中被最清晰地对焦。

此外，由于上述的弯液面的影响，拍摄图像d1～d5的倍率随着照相机40的高度降低(即，随着细胞93与照相机40之间的拍摄距离变长)而扩大。因此，5个拍摄图像d1～d5中，拍摄图像d1的倍率最小，拍摄图像d5的倍率最大。因此，若直接合成这些拍摄图像d1～d5，则如图7的全焦点图像da(比较例)所示，在各细胞93的周围模糊变大。图7是示出直接合成拍摄图像的情况下的全焦点图像的例子(比较例)的图。

图8是示出用于根据5个拍摄图像d1～d5生成一个全焦点图像da的图像处理的流程的流程图。

当得到5个拍摄图像d1～d5时，控制部60首先修正各拍摄图像d1～d5的误差(步骤s6)。此处，修正由摄像装置1的机械误差引起的各拍摄图像d1～d5的位置偏差。例如，在水平移动机构52存在已知的定位误差的情况下，仅按该定位误差的量来修正各拍摄图像d1～d5的位置。由此，在下一个步骤s7中，能够更准确地计算5个拍摄图像d1～d5之间的倍率变化量及平行移动量。

接着，控制部60计算5个拍摄图像d1～d5之间的倍率变化量及平行移动量(步骤s7)。此处，检测在5个拍摄图像d1～d5之间细胞93的大小或细胞93的位置变化了何种程度。由此，计算由培养液92的弯液面引起的倍率变化的大小。

图9是示出步骤s7中的处理的例子的流程图。本实施方式中，对于在将5个拍摄图像d1～d5按照焦点位置的顺序排列时的相邻的每两个图像，求出倍率变化量与平行移动量。图10是示意性示出对两个拍摄图像d2、d3求取倍率变化量及平行移动量时的处理状况的图。

步骤s7中，首先将两个拍摄图像中的一个拍摄图像扩大或缩小预设的倍率，生成多个候选图像(步骤s71)。图10的例子中，将两个拍摄图像d2、d3中的倍率较大的(视野较窄的)一方即拍摄图像d3缩小预设的倍率，生成多个候选图像d31、d32、d33、…。

接着，分别在两个拍摄图像中的另一个拍摄图像与生成的多个候选图像之间进行模板匹配(步骤s72)。图10的例子中，如箭头t所示，分别在拍摄图像d2与多个候选图像d31、d32、d33、…之间进行模板匹配。具体而言，使各候选图像d31、d32、d33、…相对于拍摄图像d2平行移动。然后，计算各位置上的匹配得分。使用通过ssd(sumofsquareddifference：平方差的总和)、sad(sumofabsolutedifference：绝对差的总和)、ncc(normalizedcross-correlation：归一化互相关)、zncc(zero-meannormalizedcross-correlation：零均值归一化互相关)等已知的方法计算出的、表示图像的相似度的评价值作为匹配得分即可。

控制部60对每个候选图像d31、d32、d33、…求出匹配得分的最大值s与此时的平行移动量m(步骤s73)。然后，将匹配得分的最大值s最大的候选图像选择为该拍摄图像d3的选择图像(步骤s74)。当决定了选择图像时，控制部60将选择图像的倍率决定为两个拍摄图像d2、d3之间的倍率变化量。此外，将选择图像的上述的匹配得分为最大值s时的平行移动量m决定为两个拍摄图像d2、d3之间的平行移动量(步骤s75)。

控制部60对于将5个拍摄图像d1～d5按照焦点位置的顺序排列时的相邻的每两个图像，执行以上的步骤s71～s75的处理。由此，对于每两个图像决定倍率变化量与平行移动量。

当决定了两个图像间的倍率变化量及平行移动量时，控制部60将5个拍摄图像d1～d5中的一个拍摄图像(例如拍摄图像d1)作为基准图像，计算其他拍摄图像相对于该基准图像的倍率变化量及平行移动量(步骤s76)。例如，拍摄图像d3相对于拍摄图像d1的倍率变化量是将两个拍摄图像d1、d2之间的倍率变化量与两个拍摄图像d2、d3之间的倍率变化量相乘的值。此外，拍摄图像d3相对于拍摄图像d1的平行移动量是在修正了倍率变化量的基础上将两个拍摄图像d1、d2之间的平行移动量与两个拍摄图像d2、d3之间的平行移动量相加的值。

回到图8。当步骤s7的处理结束时，接着，控制部60基于步骤s76中计算出的倍率变化量及平行移动量，对5个拍摄图像d1～d5中的基准图像以外的拍摄图像进行逆修正(步骤s8)。图11是示出逆修正后的5个拍摄图像d1～d5的例子的图。图11的例子中，以倍率最小的拍摄图像d1为基准，分别使其他4个拍摄图像d2～d5基于倍率变化量进行缩小，并且基于平行移动量进行平行移动。

然后，控制部60利用基准图像与逆修正后的4个拍摄图像，生成全焦点图像da(步骤s9)。如图11所示，当进行了上述的步骤s8的逆修正时，各拍摄图像d1～d5中的细胞93的位置一致。因此，如图12所示，通过对这些拍摄图像d1～d5进行合成，能够得到模糊少的全焦点图像da。图12是示出将逆修正后的拍摄图像进行合成后的情况下的全焦点图像的例子的图。

尤其，该摄像装置1并非将倍率变化量及平行移动量预先存储在控制部60内，而是基于从照相机40输入的拍摄图像d1～d5，来计算倍率变化量及平行移动量。因此，即使培养液92的弯液面的形状导致倍率变化量及平行移动量变化，也能够考虑其倍率变化量及平行移动量来生成全焦点图像da。因此，能够对孔板9的每个孔91生成高品质的全焦点图像da。

2.实施方式2

下面，说明实施方式2的摄像装置。需要说明的是，对于与实施方式1同样的构件，省略其说明。

2.1.摄像装置的结构

图13是示出摄像装置2的结构的图。如图13所示，本实施方式的摄像装置2具有工作台10、投光部20、投光部移动机构30、照相机40、焦点移动机构70、照相机移动机构50、以及控制部60。

照相机40具有透镜等光学系统41、以及ccd或cmos等摄像元件42。

焦点移动机构70是改变照相机40的焦点位置的机构。本实施方式的焦点移动机构70使照相机40的光学系统41中包含的一部分光学元件移动。由此，使照相机40的焦点位置沿着光轴变化。焦点移动机构70能够使照相机40的焦点位置在孔板9内的细胞93的附近上下地进行细微变化。例如，使用小型的电机作为焦点移动机构70。

照相机移动机构50是一边维持照相机40的姿势，一边改变照相机40的水平方向上的位置的机构。照相机移动机构50使照相机40及焦点移动机构70作为一个整体水平移动。例如，使用将电机的旋转运动通过滚珠螺杆转换为直行运动的机构作为照相机移动机构50。摄像装置2通过使照相机移动机构50工作，能够将照相机40配置在孔91的下方的指定位置。需要说明的是，图13中，仅示出了箭头a2的一个方向作为照相机移动机构50使照相机40移动的移动方向。然而，照相机移动机构50也可以使照相机40沿着孔板9的下表面在两个方向(图13中的左右方向及深度方向)上移动。

上述的投光部移动机构30与照相机移动机构50被同步驱动。由此，在俯视下，投光部20与照相机40始终配置在相同的位置。投光部20与照相机40向相同的方向移动相同的距离，并且在照相机40配置于某一细胞93的下方位置时，投光部20必然配置在该细胞93的上方位置。

控制部60例如由计算机构成。控制部60具有作为对摄像装置2内的各部分进行动作控制的控制装置的功能、以及作为基于从照相机40输入的多个拍摄图像来生成全焦点图像的图像处理装置的功能。图14是示出控制部60与摄像装置2内的各部分之间的连接的框图。如图14所示，控制部60分别与上述的投光部20、投光部移动机构30、照相机40、焦点移动机构70、以及照相机移动机构50可通信地连接。

图15是示意性示出在控制部60内实现的功能的框图。如图415所示，控制部60具有摄像控制部601与图像处理部602。摄像控制部601根据控制程序p1，对投光部20、投光部移动机构30、照相机40、焦点移动机构70、以及照相机移动机构50进行动作控制。由此，对被孔板9的各孔91保持的细胞93进行拍摄处理。图像处理部602根据图像处理程序p2处理从照相机40输入的多个拍摄图像，从而生成全焦点图像。

此外，如图15所示，图像处理部602具有图像存储部621、误差修正部622、倍率变化获取部623、图像参照值决定部624、阴影去除处理部625、全焦点图像生成部626、以及平铺处理部627。这些各部分进行的具体处理将在后文进行说明。

2.2.拍摄处理

接下来，说明上述的摄像装置2的动作。图16是示出摄像装置2中的拍摄处理的流程的流程图。图17是示出一个孔91内的拍摄处理的状况的图。

当孔板9被设置在摄像装置2的工作台10上，并向控制部60输入动作开始的指示时，控制部60的摄像控制部601首先使焦点移动机构70工作。由此，使照相机40的焦点位置位于规定的高度(步骤s11)。如图17所示，本实施方式中，摄像装置2能够使照相机40的焦点位置分5级(第一焦点位置h1～第五焦点位置h5)变更。在拍摄处理开始时，首先将照相机40的焦点配置在最高的第一焦点位置h1。

此外，该摄像装置2将一个孔91分为多个区域进行拍摄。控制部60内预先存储有用于拍摄各区域的拍摄位置的坐标信息。当步骤s1s11结束时，控制部60基于该坐标信息，使投光部移动机构30及照相机移动机构50工作。由此，使照相机40移动到最初应进行拍摄的第一拍摄位置x1，并且使投光部20移动到第一拍摄位置x1的上方(步骤s12)。

接下来，控制部60使投光部20及照相机40工作，从第一拍摄位置x1进行拍摄(步骤s13)。即，一边从投光部20向下方照射光，一边由照相机40进行拍摄。由此，得到从第一拍摄位置x1拍摄的、第一焦点位置h1的拍摄图像。

接下来，控制部60判断是否存在应进行拍摄的下一个拍摄位置(步骤s14)。在存在下一个拍摄位置的情况下(步骤s14中为“是”)，使投光部移动机构30及照相机移动机构50工作。由此，使照相机40移动到下一个的第二拍摄位置x2，并且使投光部20移动到第二拍摄位置x2的上方(步骤s12)。然后，控制部60使投光部20及照相机40工作，从第二拍摄位置x2进行拍摄(步骤s13)。

如此，控制部60重复进行投光部20及照相机40的移动(步骤s12)、以及拍摄(步骤s13)。由此，在预设的所有拍摄位置上获取第一焦点位置h1的拍摄图像。

结果，当不存在未拍摄的拍摄位置时(步骤s14中为“否”)，控制部60判断是否变更照相机40的焦点位置(步骤s15)。此处，如果在5个焦点位置h1～h5中还存在未拍摄的焦点位置，则判断为应变更照相机40的焦点位置(步骤s15中是)。例如，当第一焦点位置h1上的拍摄处理结束时，控制部60判断为应将照相机40的焦点位置变更为下一焦点位置即第二焦点位置h2。

在变更照相机40的焦点位置的情况下，控制部60使焦点移动机构70动作，使照相机40的焦点位置移动到应变更的位置(步骤s11)。然后，重复上述的步骤s12～s14的处理。由此，在预设的所有拍摄位置获取变更后的焦点位置的拍摄图像。

如上所述，控制部60重复进行照相机40的焦点位置的变更(步骤s11)、以及从多个拍摄位置的拍摄图像的获取(步骤s12～s14)。由此，对预设的多个拍摄位置的每个拍摄位置获取在5个焦点位置h1～h5拍摄的5个拍摄图像。

2.3.图像处理

接下来，说明用于基于从照相机40输入的多个拍摄图像，来生成全焦点图像的图像处理。

当上述的步骤s11～s15结束时，对每个拍摄位置获取焦点位置不同的5个拍摄图像d1～d5。但是，如图17所示，孔91内的培养液92的表面因表面张力的影响而形成凹状的弯液面。因此，从投光部20照射的光l在通过培养液92的表面时发生折射，成为散射光。因此，5个拍摄图像d1～d5彼此的倍率不同。此外，光l的散射的大小在每个拍摄位置处不同。因此，5个拍摄图像d1～d5的倍率变化量在每个拍摄位置处也不同。

图18是示出在图17的第二拍摄位置x2拍摄的5个拍摄图像d1～d5的图。图18的第一拍摄图像d1～第五拍摄图像d5分别是图17的第一焦点位置h1～第五焦点位置h5上的拍摄图像。各拍摄图像d1～d5包括保持在孔91内的两个细胞93中的一个或两个细胞的图像。图中右侧的细胞93在从第二焦点位置h2拍摄的第二拍摄图像d2中被最清晰地对焦。图中左侧的细胞93在从第四焦点位置h4拍摄的第四拍摄图像d4中被最清晰地对焦。

优选，细胞93的观察在对细胞对焦的对焦位置上进行。然而，如图6所示，在一个孔91中包含的多个细胞93的高度(光轴方向上的位置)不同的情况下，在一个拍摄图像中不能对所有的细胞93对焦。因此，该摄像装置2的控制部60将多个拍摄图像d1～d5中包括的像素的亮度值进行组合，来生成对所有的细胞93对焦的模糊少的全焦点图像。

此外，由于上述的弯液面的影响，拍摄图像d1～d5的倍率随着焦点位置的高度降低而扩大。因此，5个拍摄图像d1～d5中，第一拍摄图像d1的倍率最小，第五拍摄图像d5的倍率最大。各拍摄图像内的细胞93的位置或细胞93的大小随着拍摄图像的倍率而变化。摄像装置2的控制部60考虑了这种倍率变化来进行全焦点图像的生成。

图19是示出用于根据5个拍摄图像d1～d5生成一个全焦点图像的图像处理的流程的流程图。

在生成全焦点图像时，首先，控制部60将由上述的拍摄处理得到的多个拍摄图像d1～d5存储在图像存储部621中(步骤s16)。此外，控制部60的误差修正部622修正各拍摄图像d1～d5的误差(步骤s17)。此处，修正由摄像装置2的机械误差引起的各拍摄图像d1～d5的位置偏差。例如，在照相机移动机构50存在已知的定位误差的情况下，仅按该定位误差的量来修正各拍摄图像d1～d5的位置。由此，在下一个步骤s18中，能够更准确地计算5个拍摄图像d1～d5之间的倍率变化量及平行移动量。

接着，控制部60的倍率变化获取部623计算5个拍摄图像d1～d5之间的倍率变化量及平行移动量(步骤s18)。此处，检测在5个拍摄图像d1～d5之间细胞93的大小或细胞93的位置变化了何种程度。由此，计算由培养液92的弯液面引起的倍率变化的大小。

步骤s18中处理的例子与图9相同。步骤s18中，倍率变化获取部623进行图9所示的处理。

接着，控制部60的图像参照值决定部624在5个拍摄图像d1～d5之间确定彼此对应的像素(步骤s19)。此处，基于步骤s18中得到的倍率变化量及平行移动量，将在各拍摄图像d1～d5中被判断为孔91内的同一位置的像素确定为对应的像素。

接下来，控制部60的图像参照值决定部624对于5个拍摄图像d1～d5的相互对应的像素，分别计算锐度(步骤s20)。锐度是表示该像素附近的图像的清晰度(sharpness)的指标。锐度例如是基于以该像素为中心的规定区域内的像素的亮度变化而计算出的。但是，也可以利用周边像素的亮度的方差值、亮度的最大值、亮度的最小值、像素本身的亮度值等作为锐度。

控制部60的图像参照值决定部624在5个拍摄图像d1～d5的对应像素之间比较锐度。然后，基于该比较结果，对全焦点图像的每个坐标决定图像参照值(步骤s21)。图像参照值是表示全焦点图像的各坐标的亮度值所参照的拍摄图像的序号的参数。例如，在对全焦点图像的某一坐标参照第一拍摄图像d1的亮度值的情况下，将图像参照值设为“1”。

图20是示出步骤s21中的处理的例子的流程图。图21是示意性示出步骤s21的处理状况的图。步骤s21中，首先，对于多个拍摄图像中的位于同一坐标的关注像素pa、以及与关注像素pa对应的其他拍摄图像中的对应像素pb，比较锐度(步骤s21a)。图21中，用黑圆表示关注像素pa，用白圆表示对应像素pb。此外，图21中，用虚线连结关注像素pa及与其对应的其他拍摄图像中的对应像素pb。

本实施方式中，对一个拍摄位置获取5个拍摄图像d1～d5。因此，如图21所示，对一个坐标设定5个关注像素pa和20个对应像素pb。

接着，图像参照值决定部624对每个关注像素pa(即，每个由一个关注像素pa及与其对应的4个对应像素pb构成的组)，计算用于表示关注像素pa的锐度相对于对应像素pb的锐度的强度的评价值(步骤s21b)。评价值例如可以通过用关注像素pa的锐度除以4个对应像素pb的锐度的合计值来计算出。但是，评价值的计算方法并不限于此。

然后，图像参照值决定部624将5个拍摄图像d1～d5中的关注像素pa中评价值最大的关注像素pa所属的拍摄图像的序号作为图像参照值(步骤s21c)。例如，图21中所例示的5个关注像素pa中，若第四拍摄图像d4中设定的关注像素pa的评价值最大，则将该坐标的图像参照值设为“4”。由此，决定一个坐标的图像参照值。图像参照值决定部624对每个坐标进行上述的步骤s21a～s21c的处理。结果，对全焦点图像da的每个坐标决定用于表示应参照的拍摄图像的图像参照值。

但是，上述的图像处理涉及基于倍率变化量的坐标计算。因此，在决定步骤s21的图像参照值时，容易发生选择了模糊部分的像素的情况。于是，在后述的步骤s23中生成的全焦点图像da中，例如在对焦的细胞93的周边产生阴影一般的区域。

为了解决该问题，控制部60的阴影去除处理部625进行对暂时决定的图像参照值进行调整的阴影去除处理(步骤s22)。图22是示出阴影去除处理的例子的流程图。图23是示意性示出阴影去除处理的状况的图。在图23的上部，示出了不进行阴影去除处理而生成的全焦点图像da的例子。该全焦点图像da中，在右侧的细胞93的附近，出现了本来不应选择的第一拍摄图像d1中的未对焦的细胞93的图像。

如图22所示，阴影去除处理部625首先对每个坐标，将坐标自身的图像参照值in及锐度en、以及在倍率变化的方向上相对于该坐标相距与倍率变化对应的距离的其他坐标及其周边坐标的图像参照值ip及锐度ep进行比较(步骤s12a)。图23的上图中，关注的坐标pn的图像参照值in为“1”，锐度en为“25”。与此相对，作为比较对象的坐标pp的图像参照值ip为“2”，锐度ep为“80”。

阴影去除处理部625首先判断关注的坐标pn自身的图像参照值in与作为比较对象的坐标pp的图像参照值ip之间的关系是否对应于两坐标间的距离mp(步骤s22b)。具体而言，判断通过图像参照值in、ip参照的拍摄图像间的倍率变化量是否对应于两坐标间的距离mp。然后，在判断为不对应的情况下，保持关注的坐标pn的图像参照值in而不进行变更。

反之，步骤s22b中，在判断为图像参照值in、ip的关系对应于两坐标间的距离mp的情况下，阴影去除处理部625接着判断作为比较对象的坐标pp及其周边坐标的锐度ep是否比关注的坐标pn自身的锐度en足够大(步骤s22c)。具体而言，判断作为比较对象的坐标pp及其周边坐标的锐度ep是否比所有关注的坐标自身的锐度en大预设的阈值以上。然后，在判断为锐度ep不比锐度en足够大的情况下，保持关注的坐标pn的图像参照值in而不进行变更。

反之，步骤s22d中，在判断为作为比较对象的坐标pp及其周边坐标的锐度ep与关注的坐标pn自身的锐度en相比足够大的情况下，将关注的坐标pn的图像参照值in置换为作为比较对象的坐标pp的图像参照值ip(步骤s22d)。图23的例子中，将关注的坐标pn的图像参照值in从1改写为2。于是，如图23的上图所示，在全焦点图像da中采用了细胞93的模糊部分的情况下，能够将该模糊部分置换为对焦位置的拍摄图像(在图23的例子中为第二拍摄图像d2)的亮度值。通过对各坐标进行这种处理，如图23的下图所示，能够去除全焦点图像da中产生的阴影。

需要说明的是，步骤s22的阴影去除处理也可以在步骤s23中生成了全焦点图像后进行。

回到图19。当确定了各坐标的图像参照值时，接下来，控制部60的全焦点图像生成部626生成全焦点图像(步骤s23)。此处，对于全焦点图像的各坐标参照步骤s21～s22中决定的图像参照值所示的拍摄图像的亮度值，来决定亮度值。全焦点图像的各坐标的亮度值也可以是图像参照值所示的拍摄图像的关注像素pa的亮度值本身，还可以是基于关注像素pa的亮度值而计算出的其他值。

图24是示意性示出5个拍摄图像d1～d5与生成的全焦点图像da之间的关系的图。如图24所示，本实施方式的方法中，考虑了多个拍摄图像间的倍率变化，确定相互对应的像素(例如，图24中用虚线连结的像素)。然后，通过比较对应的像素间的锐度，对全焦点图像da的每个坐标决定图像参照值。然后，在每个坐标参照图像参照值所示的拍摄图像的亮度值，生成全焦点图像。于是，即使在多个拍摄图像间存在倍率变化的情况下，也能生成全焦点图像da。此外，由于不进行拍摄图像的扩大或缩小，因此能够生成可准确地反映细胞93的位置及大小的全焦点图像da。

回到图19。然后，控制部60的平铺处理部627将通过从不同拍摄位置的拍摄而得到的视野不同的多个全焦点图像da进行排列(平铺)。由此，生成表示整个孔91的一个结果图像(步骤s24)。如上所述，本实施方式的图像处理中，能够生成高精度地反映了细胞93的位置及大小的全焦点图像da。因此，在进行平铺时，在相邻的全焦点图像da间，高精度地整合细胞93的位置及大小。因此，能够抑制结果图像中的全焦点图像da的边界处的图像的错乱。

3.变形例

以上，说明了本发明的一个实施方式，但本发明不限于上述实施方式。

在拍摄图像的倍率变化的中心基本位于规定位置的情况下，在上述的步骤s8或步骤s18中可以省略平行移动量的逆修正。但是，实施方式1中，在倍率变化的中心位置容易变化的情况下，如上述实施方式所述，优选将各拍摄图像进行倍率变化量及平行移动量双方的逆修正。由此，能够高精度地使各拍摄图像d1～d5中的细胞93的位置一致。此外，实施方式2中，在倍率变化的中心位置容易变化的情况下，如上述实施方式所述，计算倍率变化量及平行移动量双方，并且在步骤s9s19中，优选基于倍率变化量及平行移动量来确定拍摄图像间的对应像素。由此，能够更高精度地确定各拍摄图像的对应像素。

此外，上述的实施方式中，对于在将5个拍摄图像d1～d5按照焦点位置的顺序排列的情况下的相邻的每两个图像求取倍率变化量与平行移动量。然而，也可以在彼此分离的两个图像间求取倍率变化量与平行移动量。但是，相邻的两个图像间，各拍摄图像中的细胞93的变化小。因此，容易在两个拍摄图像间将同一细胞93建立对应。因此，通过步骤s72的模板匹配，能够更高精度地求取倍率变化量与平行移动量。

此外，上述的实施方式中，在步骤s75中，选择图像的倍率及平行移动量的值本身作为两个图像间的倍率变化量及平行移动量。然而，也可以通过抛物线拟合等函数近似来更高精度地计算倍率变化量及平行移动量。

此外，上述的实施方式中，在步骤s8或步骤s9中，以倍率最小的拍摄图像d1为基准，来缩小其他拍摄图像d2～d5。于是，不会降低拍摄图像d2～d5的分辨率，也无需进行插值处理。然而，在步骤s8中，也可以将拍摄图像d2～d5中的任一个作为基准图像，来扩大或缩小其他图像。

此外，在进行上述的步骤s7或步骤s18的处理时，也可以通过预先缩小拍摄图像d1～d5，从而减轻控制部60的运算负担。

此外，上述的实施方式中，在获取多个拍摄图像后，计算拍摄图像间的倍率变化量。然而，在如因光学系统的特性导致拍摄图像间的倍率发生变化等的情况那样，在倍率变化量不变的情况下，可以将倍率变化量预先存储在控制部60中。

此外，上述的实施方式中，作为观察对象的细胞93被保持在孔板9的多个孔91内。然而，细胞93也可以被保持在孔板9以外的容器中。例如，细胞93也可以被保持在培养皿内。但是，如上述实施方式所述，在使用孔板9的情况下，保持细胞93的各个孔91较小。因此，培养液92的弯液面更容易影响拍摄图像。因此，本发明格外有效。

此外，在上述的实施方式中，细胞93与培养液92一同被保持在孔板9内。然而，细胞93也可以与凝胶状的培养基被一同保持。凝胶状的培养基的表面形状也不恒定。因此，因培养基的表面形状的影响导致拍摄图像的倍率相对于拍摄距离而变化。因此，若直接合成拍摄图像，则不能得到清晰的全焦点图像。然而，与上述的实施方式同样地，若求出倍率变化量及平行移动量来进行逆修正，则能够将各拍摄图像中的细胞93的位置进行整合。因此，能够生成模糊少的全焦点图像。

此外，在上述的实施方式中，将单体的细胞93作为拍摄对象物。然而，拍摄对象物也可以是多个细胞立体地聚集而成的细胞团块(球体)。此外，拍摄对象物也可以是与液体或凝胶状的物质一同被保持在容器内的、除细胞以外的物体。

此外，在上述的实施方式中，投光部20配置在拍摄对象物的上方，照相机40配置在拍摄对象物的下方。然而，也可以是投光部20配置在拍摄对象物的下方，照相机40配置在拍摄对象物的上方。此外，还可以是投光部20与照相机40相对于拍摄对象物配置在同一侧，并且从投光部20射出的光的反射光射入照相机40。

此外，在上述的实施方式1中，通过使照相机40本身升降移动，来使照相机40的焦点位置沿着光轴变化。然而，也可以通过固定照相机40的位置，使透镜等光学系统移动，从而使照相机40的焦点位置沿着光轴变化。此外，在上述的实施方式2中，通过使照相机40的光学系统41所包括的一部分光学元件移动，从而使照相机40的焦点位置变化。然而，也可以通过使照相机40整体升降移动，从而使孔91内的照相机40的焦点位置沿着光轴变化。

此外，还可以通过使保持拍摄对象物的容器升降移动，从而使照相机40的焦点位置相对于容器进行相对变化。即，本发明中的“移动机构”可以是使照相机40内的一部分光学元件移动的机构、使照相机40整体移动的机构、以及使容器移动的机构中的任一种。

此外，在上述的实施方式中，保持拍摄对象物的容器的位置被固定，投光部20及照相机40在水平方向上移动。然而，也可以固定投光部20及照相机40的位置，使容器在水平方向上移动。但是，若培养液92的表面形状在拍摄中途发生变化，则难以准确地计算拍摄图像的倍率变化量及平行移动量。因此，如上述实施方式所述，优选将拍摄对象物的位置固定。

此外，在上述的实施方式1中，照相机40的高度可以分5级变更，对各孔91获取5个拍摄图像。然而，每个孔91的拍摄图像的数量可以是2～4个，也可以是6个以上。此外，在上述的实施方式2中，照相机40的焦点位置可以分5级变更，对一个视野获取5个拍摄图像d1～d5。然而，对一个视野获取的拍摄图像的数量可以是2～4个，也可以是6个以上。

此外，上述的实施方式或变形例中出现的各要素在不产生矛盾的范围内可以进行适当组合。

附图标记说明

1、2摄像装置

9孔板

10工作台

20投光部

30投光部移动机构

40照相机

50照相机移动机构

51升降移动机构

52水平移动机构

60控制部

91孔

92培养液

93细胞

621图像存储部

622误差修正部

623倍率变化获取部

624图像参照值决定部

625阴影去除处理部

626全焦点图像生成部

627平铺处理部

p1控制程序

p2图像处理程序

l光

d1、d2、d3、d4、d5拍摄图像

d31、d32、d33候选图像

da全焦点图像

s匹配得分的最大值

m平行移动量