图像生成装置、图像生成方法以及程序与流程

本公开涉及无透镜显微镜的使用假想合焦面来生成对象物的图像的技术，所述假想的合焦面基于利用多个光源的多个拍摄图像来生成。

背景技术：

不对培养细胞实施染色而希望连续地观察该培养细胞的要求存在于治疗用细胞的产生、药效的试验等将培养细胞用于医疗、产业的很多领域。然而，由于细胞大多是几乎无色透明的，因此，在基于透射光的光学显微镜下的拍摄中，难以获知培养细胞的立体构造。

在专利文献1中，示出了如下方法：为了评价细胞的断面形状，根据与物镜平行、且相对于对象物而言焦点的高度位置不同的许多图像(即，一边使焦点在对象物的高度方向上挪动、一边进行拍摄而得到的许多图像)，生成与物镜不平行的面的合焦图像(虚拟断面图像)。

可是，对于培养细胞的连续观察，是在用于维持培养细胞用的湿润环境的恒温箱这样的有限空间内进行的。为了在这样的湿润的有限空间内进行观察，专利文献2公开了不使用透镜就能够观察微小细胞的无透镜显微镜。公开了如下方法：使通过从多个不同的位置进行照射的照明而拍摄到的多个图像进行重叠(ptychography，叠层成像)来提高分辨率。

现有技术文献

专利文献1：日本特开2013-101512号公报

专利文献2：美国专利申请公开第2014/0133702号说明书

技术实现要素：

然而，在专利文献1的方法中，在进行了拍摄之后从各高度位置的图像中切取部分图像，使所切取出的部分图像接合，因此，在部分图像的接合处会产生不连续。其结果是，虚拟断面图像的画质会因不连续而发生劣化。另外，如果为了降低因不连续导致的画质劣化而对不连续部分实施模糊处理，则虚拟断面图像的清晰度(锐度)会降低。

因此，本公开的非限定性且例示的一个技术方案，提供能够使用利用多个拍摄图像生成的假想焦面的高画质的合焦图像来生成对象物的图像的图像生成装置等。

本公开的一个技术方案涉及的图像生成装置具备：多个照明器；图像传感器，其具有载置对象物的表面和多个传感器像素；以及控制电路，其生成与位于所述多个照明器与所述图像传感器之间的假想的多个基准焦面对应的多个基准合焦图像，使用所述多个基准合焦图像来生成所述对象物的三维图像，每当所述多个照明器分别进行照明时，所述图像传感器使用基于由所述多个传感器像素接受的光的辉度值，取得多个拍摄图像，所述多个基准合焦图像由多个合焦像素构成，所述控制电路，(a1)取得通过所述图像传感器拍摄到的多个拍摄图像，(a2)取得所述多个基准焦面的信息，在此，所述多个基准焦面穿过所述对象物并且位于互相隔开间隔的位置，(a3)使用所述多个基准焦面的信息和所述多个拍摄图像，取得与构成所述多个基准合焦图像的多个合焦像素对应的所述传感器像素的辉度值，由此生成所述多个基准合焦图像，(a4)使用所述多个基准合焦图像中的所述对象物的轮廓的对比度最高的所述基准合焦图像，提取所述对象物的轮廓，(a5)基于所提取出的所述对象物的轮廓，确定所述对象物的立体轮廓，(a6)通过从所述多个基准合焦图像中分别除去与所述立体轮廓的外侧相当的区域，生成所述对象物的多个基准断面图像，(a7)使用所述多个基准断面图像，生成所述对象物的三维图像，使所述三维图像显示于显示画面。

此外，该总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序和计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括cd-rom(compactdisc-readonlymemory，光盘只读存储器)等非易失性记录介质。

本公开的一个技术方案涉及的图像生成方法是生成位于图像传感器上的对象物的图像的图像生成方法，在所述图像生成方法中，(b1)每当使多个照明器分别进行照明时，使用基于由所述图像传感器的多个传感器像素接受的光的辉度值，取得多个拍摄图像，(b2)设定位于所述多个照明器与所述图像传感器之间的假想的多个基准焦面，在此，所述多个基准焦面穿过所述对象物并且位于互相隔开间隔的位置，(b3)生成与所述多个基准焦面对应的多个基准合焦图像，即，使用所述多个基准焦面的信息和所述多个拍摄图像，取得与构成所述多个基准合焦图像的多个合焦像素对应的所述传感器像素的辉度值，由此生成所述多个基准合焦图像，(b4)从所述多个基准合焦图像中，使用所述对象物的轮廓的对比度最高的所述基准合焦图像，提取所述对象物的轮廓，(b5)基于所提取出的所述对象物的轮廓，确定所述对象物的立体轮廓，(b6)通过从所述多个基准合焦图像中分别除去与所述立体轮廓的外侧相当的区域，生成所述对象物的多个基准断面图像，(b7)使用所述多个基准断面图像，生成所述对象物的三维图像，使所述三维图像显示于显示画面，所述(b1)～(b7)的至少一方通过控制电路来执行。

本公开的一个技术方案涉及的程序，使计算机执行如下处理：(e1)取得位于图像传感器上的对象物的多个拍摄图像，在此，每当使多个照明器分别进行照明时，使用基于由所述图像传感器的多个传感器像素接受的光的辉度值，通过所述图像传感器取得所述多个拍摄图像，(e2)设定位于所述多个照明器与所述图像传感器之间的假想的多个基准焦面，在此，所述多个基准焦面在所述多个照明器与所述图像传感器之间穿过所述对象物并且位于互相隔开间隔的位置，(e3)生成与所述多个基准焦面对应的多个基准合焦图像，即，使用所述多个基准焦面的信息和所述多个拍摄图像，取得与构成所述多个基准合焦图像的多个合焦像素对应的所述传感器像素的辉度值，由此生成所述多个基准合焦图像，(e4)从所述多个基准合焦图像中，使用所述对象物的轮廓的对比度最高的所述基准合焦图像，提取所述对象物的轮廓，(e5)基于所提取出的所述对象物的轮廓，确定所述对象物的立体轮廓，(e6)通过从所述多个基准合焦图像中分别除去与所述立体轮廓的外侧相当的区域，生成所述对象物的多个基准断面图像，(e7)使用所述多个基准断面图像，生成所述对象物的三维图像，使所述三维图像显示于显示画面。

根据本公开，能够使用利用多个拍摄图像生成的假想焦面的高画质的合焦图像来生成对象物的图像。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。

附图说明

图1是表示实施方式1涉及的图像生成系统的功能结构的一例的框图。

图2是示意性表示实施方式1涉及的照明器的构造的一例的图。

图3是示意性表示实施方式1涉及的照明器的构造的一例的图。

图4是示意性表示实施方式1涉及的照明器的构造的一例的图。

图5是说明实施方式1涉及的照明器所包含的针孔(pinhole)应满足的大小条件的示意图。

图6是表示实施方式1涉及的存储部存储的内容的一例的图。

图7是表示实施方式1涉及的图像生成系统的工作的一例的流程图。

图8是表示坐标与焦面的关系的一例的示意图。

图9是表示实施方式1涉及的拍摄装置的工作的一例的流程图。

图10是表示实施方式1涉及的重新聚焦(refocus)处理部的工作的一例的流程图。

图11是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。

图12是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。

图13是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。

图14是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。

图15是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。

图16是表示实施方式1涉及的重新聚焦处理部的工作的一例的流程图。

图17是表示拍摄对象物的一例的胚的立体图的图。

图18是将多个基准焦面的基准合焦图像按照其配置顺序堆积成一列来表示的示意图。

图19是表示将多个基准合焦图像作为图像进行了显示的例子的照片的图。

图20是表示将多个背景除去合焦图像按照与其对应的基准焦面的配置顺序堆积成一列来表示的图。

图21是表示将多个背景除去合焦图像作为图像进行了显示的例子的照片的图。

图22是表示轮廓基准合焦图像的一例的示意图。

图23是表示胚的三维轮廓的一例的示意图。

图24是表示多个基准断面图像的一例的图。

图25是表示将多个基准断面图像作为图像进行了显示的例子的照片的图。

图26a是表示显示部显示于其显示画面上的胚的3d模型的一例的图。

图26b是表示显示部显示于其显示画面上的胚的3d模型的一例的图。

图26c是表示显示部显示于其显示画面上的胚的3d模型的一例的图。

图27是用照片来表示将图26c显示在显示画面上的例子的一部分的图。

图28是表示由实施方式1涉及的图像生成系统进行的胚的详细的断面图像的显示工作的一例的流程图。

图29是表示使用与要详细显示的胚的断面交叉的2个基准焦面的基准断面图像的像素来推定该断面上的像素的辉度值的情形的例子的图。

图30是表示在要详细显示的胚的断面上的像素的计算中使用的该像素与2个基准断面图像的像素之间的关系的图。

图31是表示实施方式2涉及的图像生成系统的功能结构的一例的框图。

图32是表示第1记录部存储的初期胚模型的一例的图。

图33是表示第1记录部存储的最佳断面设定表的一例的图。

图34是表示实施方式2涉及的图像生成系统的最佳断面图像的显示工作的一例的流程图。

图35是表示在从照明器向图像传感器的方向上观察多个照明器时的俯视图的图。

图36是表示拍摄图像组内的多个拍摄图像之间的各要素的对应关系的图。

图37是表示多个拍摄图像的各要素的中心的位置的图。

图38是表示多个拍摄图像间的各要素的中心的位置关系的图。

图39是表示多个拍摄图像的要素的中心与照明器之间的位置关系的图。

图40是表示胚所包含的2个细胞的中心之间的位置关系的图。

图41是表示在显示部的显示画面上显示胚的最佳断面图像的一例的图。

图42是表示将胚的最佳断面图像作为图像进行了显示的例子的照片的图。

图43是表示显示部显示于其显示画面上的焦面变更画面的一例的图。

图44是表示将焦面变更画面作为图像进行了显示的例子的照片的图。

图45是表示实施方式的变形例1涉及的重新聚焦处理部的工作的一例的流程图。

图46是表示实施方式的变形例2涉及的重新聚焦处理部的工作的一例的流程图。

图47是说明实施方式的变形例2涉及的重新聚焦处理的具体例子的示意图。

图48是说明实施方式的变形例2涉及的重新聚焦处理的具体例子的示意图。

图49是说明实施方式的变形例2涉及的重新聚焦处理的具体例子的示意图。

图50是说明实施方式的变形例2涉及的重新聚焦处理的具体例子的示意图。

图51是表示实施方式的变形例3涉及的图像生成系统的功能结构的一例的框图。

图52是示意性表示实施方式的变形例3中的照明位置的范围的一例的图。

图53是将透镜的焦距和景深的关系、与进行重新聚焦时的点光源的配置和景深的关系进行关联来表示的示意图。

图54是表示实施方式的变形例3涉及的图像生成系统的工作的一例的流程图。

标号的说明

10、10a、10b图像生成系统

100拍摄装置

101、101a、101b照明器

102图像传感器

150显示部

151显示画面

200、200a、200b图像生成装置

210焦面决定部

220重新聚焦处理部

230合焦图像生成部

240对象物提取部

2503d图像生成部

260图像操作部

270断面图像生成部

280最佳断面决定部

290最佳断面图像生成部

300照明范围决定部

bi参考断面图像

s胚(对象物)

具体实施方式

本公开的一个技术方案涉及的图像生成装置具备：多个照明器；图像传感器，其具有载置对象物的表面和多个传感器像素；以及控制电路，其生成与位于所述多个照明器与所述图像传感器之间的假想的多个基准焦面对应的多个基准合焦图像，使用所述多个基准合焦图像来生成所述对象物的三维图像，每当所述多个照明器分别进行照明时，所述图像传感器使用基于由所述多个传感器像素接受的光的辉度值，取得多个拍摄图像，所述多个基准合焦图像由多个合焦像素构成，所述控制电路，(a1)取得通过所述图像传感器拍摄到的多个拍摄图像，(a2)取得所述多个基准焦面的信息，在此，所述多个基准焦面穿过所述对象物并且位于互相隔开间隔的位置，(a3)使用所述多个基准焦面的信息和所述多个拍摄图像，取得与构成所述多个基准合焦图像的多个合焦像素对应的所述传感器像素的辉度值，由此生成所述多个基准合焦图像，(a4)使用所述多个基准合焦图像中的所述对象物的轮廓的对比度最高的所述基准合焦图像，提取所述对象物的轮廓，(a5)基于所提取出的所述对象物的轮廓，确定所述对象物的立体轮廓，(a6)通过从所述多个基准合焦图像中分别除去与所述立体轮廓的外侧相当的区域，生成所述对象物的多个基准断面图像，(a7)使用所述多个基准断面图像，生成所述对象物的三维图像，使所述三维图像显示于显示画面。

根据本技术方案，能够生成关于穿过对象物的多个焦面的多个合焦图像即基准合焦图像，能够使用所生成的合焦图像来生成对象物的三维图像。通过使用关于穿过对象物的多个焦面的合焦图像，即使对象物半透明或者透明，也能够将对象物的三维图像以也包含对象物的内部所含的内包物的方式进行立体显示。另外，不是在对象物的全部区域中生成合焦图像，而是生成关于多个焦面的合焦图像，因此能够降低对象物的三维图像的生成所需的处理量。此外，载置对象物的图像传感器的表面包括图像传感器的传感器像素之上的表面。

在本公开的一个技术方案涉及的图像生成装置中，也可以：所述控制电路，按照从外部输入的指令，在正显示的所述对象物的三维图像上选择所述对象物的断面，使用构成所述多个基准合焦图像的多个像素的辉度来生成所选择出的所述对象物的断面的图像，对于构成所述对象物的断面的图像的多个断面像素的辉度值，使用所述断面像素上的所述基准合焦图像的像素的辉度值或者所述断面像素附近的所述基准合焦图像的像素的辉度值来分别算出该多个断面像素的辉度值。

根据本技术方案，能够使用对象物的三维图像来选择任意的断面，显示所选择出的断面的图像。由于构成对象物的断面图像的多个断面像素的辉度值是使用断面像素上的基准合焦图像的像素的辉度值或者断面像素的附近的基准合焦图像的像素的辉度值而算出的，因此对象物的断面图像能够成为减少了中断、模糊等的清晰的图像。

在本公开的一个技术方案涉及的图像生成装置中，也可以：所述断面像素的辉度值的计算所使用的所述断面像素附近的所述基准合焦图像的像素，是夹着所述断面像素而位于两侧的两个所述基准焦面各自的所述基准合焦图像的像素。根据本技术方案，断面像素的辉度值是使用夹着断面像素位于两侧的基准焦面的基准合焦图像的像素而算出的，因此能够具有高精度。

在本公开的一个技术方案涉及的图像生成装置中，也可以：所述控制电路生成表示所述对象物的参考用断面的参考断面图像，并且使所述参考断面图像显示于所述显示画面，所述控制电路通过使构成所述参考断面图像的多个像素的辉度值为所述参考断面图像的像素上的所述基准合焦图像的像素的辉度值，生成所述参考断面图像。根据本技术方案，用户能够一边参照参考断面图像，一边选择应显示的对象物的断面。另外，由于参考断面图像的像素的辉度值是直接使用基准合焦图像的像素的辉度值的，因此参考断面图像的生成很简单。

在本公开的一个技术方案涉及的图像生成装置中，也可以：所述控制电路通过使用处于在直线上排列所述照明器的位置、所述合焦像素的位置和所述传感器像素的位置这一关系的所述传感器像素各自的辉度值，算出所述合焦像素的辉度值。根据本技术方案，能够在焦面的合焦图像的各像素上反映与该像素对应的多个拍摄图像的辉度值，能够生成对象物的高画质的合焦图像。

在本公开的一个技术方案涉及的图像生成装置中，也可以：所述对象物是胚，所述基准合焦图像所包含的所述胚的轮廓是圆状，所述胚的立体轮廓是球状。根据本技术方案，胚内的细胞能够从胚的外部透视。图像传感器能够取得被照明器照明的胚以及细胞的拍摄图像。具有如此结构的胚适于图像生成装置的图像生成。

本公开的一个技术方案涉及的图像生成方法是生成位于图像传感器上的对象物的图像的图像生成方法，在所述图像生成方法中，(b1)每当使多个照明器分别进行照明时，使用基于由所述图像传感器的多个传感器像素接受的光的辉度值，取得多个拍摄图像，(b2)设定位于所述多个照明器与所述图像传感器之间的假想的多个基准焦面，在此，所述多个基准焦面穿过所述对象物并且位于互相隔开间隔的位置，(b3)生成与所述多个基准焦面对应的多个基准合焦图像，即，使用所述多个基准焦面的信息和所述多个拍摄图像，取得与构成所述多个基准合焦图像的多个合焦像素对应的所述传感器像素的辉度值，由此生成所述多个基准合焦图像，(b4)从所述多个基准合焦图像中，使用所述对象物的轮廓的对比度最高的所述基准合焦图像，提取所述对象物的轮廓，(b5)基于所提取出的所述对象物的轮廓，确定所述对象物的立体轮廓，(b6)通过从所述多个基准合焦图像中分别除去与所述立体轮廓的外侧相当的区域，生成所述对象物的多个基准断面图像，(b7)使用所述多个基准断面图像，生成所述对象物的三维图像，使所述三维图像显示于显示画面，所述(b1)～(b7)的至少一方通过控制电路来执行。

在本公开的一个技术方案涉及的图像生成方法中，也可以：(c1)在所述对象物的三维图像上选择所述对象物的断面，(c2)使用构成所述多个基准合焦图像的多个像素的辉度来生成所选择出的所述对象物的断面的图像，(c3)对于构成所述对象物的断面的图像的多个断面像素的辉度值，使用所述断面像素上的所述基准合焦图像的像素的辉度值或者所述断面像素附近的所述基准合焦图像的像素的辉度值来分别算出该多个断面像素的辉度值。

进而，在本公开的一个技术方案涉及的图像生成方法中，也可以：在在所述断面像素的辉度值的计算中，作为所述断面像素附近的所述基准合焦图像的像素，使用夹着所述断面像素位于两侧的两个所述基准焦面各自的所述基准合焦图像的像素。

在本公开的一个技术方案涉及的图像生成方法中，也可以：(d1)生成表示所述对象物的参考用断面的参考断面图像，并且使所述参考断面图像显示于所述显示画面，在所述参考断面图像的生成中，使构成所述参考断面图像的多个像素的辉度值为所述参考断面图像的像素上的所述基准合焦图像的像素的辉度值。

在本公开的一个技术方案涉及的图像生成方法中，也可以：使用处于在直线上排列所述照明器的位置、所述合焦像素的位置和所述传感器像素的位置这一关系的所述传感器像素各自的辉度值，算出所述合焦像素的辉度值。

在本公开的一个技术方案涉及的图像生成方法中，也可以：所述对象物是胚，所述基准合焦图像所包含的所述胚的轮廓是圆状，所述胚的立体轮廓是球状。

本公开的一个技术方案涉及的程序，使计算机执行如下处理：(e1)取得位于图像传感器上的对象物的多个拍摄图像，在此，每当使多个照明器分别进行照明时，使用基于由所述图像传感器的多个传感器像素接受的光的辉度值，通过所述图像传感器取得所述多个拍摄图像，(e2)设定位于所述多个照明器与所述图像传感器之间的假想的多个基准焦面，在此，所述多个基准焦面在所述多个照明器与所述图像传感器之间穿过所述对象物并且位于互相隔开间隔的位置，(e3)生成与所述多个基准焦面对应的多个基准合焦图像，即，使用所述多个基准焦面的信息和所述多个拍摄图像，取得与构成所述多个基准合焦图像的多个合焦像素对应的所述传感器像素的辉度值，由此生成所述多个基准合焦图像，(e4)从所述多个基准合焦图像中，使用所述对象物的轮廓的对比度最高的所述基准合焦图像，提取所述对象物的轮廓，(e5)基于所提取出的所述对象物的轮廓，确定所述对象物的立体轮廓，(e6)通过从所述多个基准合焦图像中分别除去与所述立体轮廓的外侧相当的区域，生成所述对象物的多个基准断面图像，(e7)使用所述多个基准断面图像，生成所述对象物的三维图像，使所述三维图像显示于显示画面。

本公开的另一技术方案涉及的图像生成装置，具备：多个照明器；具有载置对象物的表面的图像传感器；以及控制电路，其生成位于所述多个照明器与所述图像传感器之间的假想焦面上的所述对象物的合焦图像，所述对象物包括第一对象物和包含在所述第一对象物内的第二对象物，所述控制电路，(a1)取得在所述多个照明器分别进行照明时所述图像传感器拍摄到的多个拍摄图像，(a2)确定所取得的所述拍摄图像各自所包含的所述第二对象物的特征点，(a3)基于所述拍摄图像各自的所述第二对象物的特征点的位置和所述多个照明器的位置，算出所述第二对象物的特征点的立体位置，(a4)求出包含最多的所述第二对象物的特征点的所述第一对象物的断面，生成所述断面的合焦图像，使所述断面的合焦图像显示于显示画面。

根据本技术方案，图像生成装置选定包含最多的第一对象物内的第二对象物的特征点的断面，对所选定的断面的合焦图像进行显示。所显示的断面的合焦图像能够显示第一对象物的内部的较多特征。由此，图像生成装置能够自动地生成并提供对用户有益的信息。

在本公开的另一技术方案涉及的图像生成装置中，也可以：所述控制电路在确定所述第二对象物的特征点时，在所述拍摄图像间对所述第二对象物的特征点进行关联。根据本技术方案，可确定在拍摄图像间对应的第二对象物的特征点。例如，在设定了2个以上的特征点的情况下，能够算出拍摄图像间对应的特征点的位置关系。由此，在存在2个以上的第二对象物的情况下，图像生成装置通过使各第二对象物与特征点关联，能够在断面的合焦图像显示更多的第二对象物。

在本公开的另一技术方案涉及的图像生成装置中，也可以：所述第一对象物是球形状的胚，所述第二对象物是细胞，所述特征点是所述细胞的中心点。在本技术方案中，胚内的细胞能够从胚的外部透视。图像传感器能够取得被照明器照明的胚以及细胞的拍摄图像。具有如此结构的胚适于图像生成装置的图像生成。

本公开的另一技术方案涉及的图像生成方法中，所述图像生成方法使用位于多个照明器与图像传感器之间的假想焦面的合焦图像来生成位于所述图像传感器上的对象物的图像，所述对象物包括第一对象物和包含在所述第一对象物内的第二对象物，在所述图像生成方法中，(b1)取得使所述多个照明器依次照明而拍摄到的多个拍摄图像，(b2)确定所取得的所述拍摄图像各自所包含的所述第二对象物的特征点，(b3)基于所述拍摄图像各自的所述第二对象物的特征点的位置和所述多个照明器的位置，算出所述第二对象物的特征点的立体位置，(b4)求出包含最多的所述第二对象物的特征点的所述第一对象物的断面，生成所述断面的合焦图像，使所述断面的合焦图像显示于显示画面，所述(b1)～(b4)的至少一方通过控制电路来执行。

在本公开的另一技术方案涉及的图像生成方法中，也可以：所述控制电路在确定所述第二对象物的特征点时，在所述拍摄图像间对所述第二对象物的特征点进行关联。

另外，在本公开的另一技术方案涉及的图像生成方法中，也可以：所述第一对象物是球形状的胚，所述第二对象物是细胞，所述特征点是所述细胞的中心点。

本公开的另一技术方案涉及的程序，使计算机执行如下处理：(c1)取得在多个照明器分别进行照明时由图像传感器拍摄到的对象物的多个拍摄图像，所述对象物位于所述图像传感器上，所述对象物包括第一对象物和包含在所述第一对象物内的第二对象物，(c2)确定所取得的所述拍摄图像各自所包含的所述第二对象物的特征点，(c3)基于所述拍摄图像各自的所述第二对象物的特征点的位置和所述多个照明器的位置，算出所述第二对象物的特征点的立体位置，(c4)求出包含最多的所述第二对象物的特征点的所述第一对象物的断面，生成设所述断面为假想焦面的合焦图像，使所述合焦图像显示于显示画面。

在本公开的另一技术方案涉及的程序中，也可以：所述控制电路在确定所述第二对象物的特征点时，在所述拍摄图像间对所述第二对象物的特征点进行关联。

另外，在本公开的另一技术方案涉及的程序中，也可以：所述第一对象物是球形状的胚，所述第二对象物是细胞，所述特征点是所述细胞的中心点。

此外，这些图像生成装置以及图像生成方法的总括性或具体的技术方案既可以通过装置、方法、集成电路、计算机程序或者计算机可读取的cd-rom等记录介质来实现，也可以通过装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。例如，图像生成方法也可以通过cpu(centralprocessingunit，中央处理单元)、mpu(microprocessingunit，微处理单元)等处理器、lsi等电路、ic卡或单个模块等来实现。

另外，对于这些程序，实施方式中的处理也可以通过软件程序或由软件程序形成的数字信号来实现。例如，上述程序以及由上述程序形成的数字信号也可以记录于计算机可读取的记录介质、例如软盘、硬盘、cd-rom、mo、dvd、dvd-rom、dvd-ram、bd(blu-ray(注册商标)disc)、半导体存储器等。另外，上述程序以及由上述程序形成的数字信号也可以经由电通信线路、无线或有线通信线路、以互联网为代表的网络、数据广播等进行传输。另外，上述程序以及由上述程序形成的数字信号也可以通过记录于记录介质进行移送或者经由网络等进行移送，由此通过独立的其他计算机系统来实施。

以下，参照附图对本公开的一个技术方案涉及的图像生成系统进行具体说明。此外，以下说明的实施方式都表示总括性或具体的例子。以下的实施方式中示出的数值、形状、构成要素、构成要素的配置以及连接形态、步骤、步骤的顺序等是一例，并非限定权利要求的意思。另外，关于以下的实施方式中的构成要素中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。另外，在以下的实施方式的说明中，有时使用大致平行、大致正交这样的带有“大致”的表达。例如，大致平行并不是完全平行，而是实质上平行、即也包含例如百分之几左右的差异。关于其他的带有“大致”的表达也是同样的。

[实施方式1]

包括实施方式1涉及的图像生成装置的图像生成系统中，多个照明器依次向位于图像传感器上的对象物进行照明，使用通过在每次照明时拍摄对象物而得到的多个拍摄图像，生成位于多个照明器与图像传感器之间的假想焦面上的对象物的图像。此外，将该使用多个拍摄图像生成的图像也称为合焦图像或者重新聚焦图像，将使用拍摄图像生成假想焦面上的对象物的图像这一处理也称为重新聚焦处理。在重新聚焦处理中，也可以使用拍摄像素来求出假想焦面上的像素。图像生成系统生成多个假想焦面上的合焦图像，使用所生成的多个合焦图像来生成对象物的三维模型(3d模型)。进而，图像生成系统使用3d模型所包含的多个合焦图像，生成3d模型中的任意的断面图像。

[1-1.图像生成系统的构成]

[1-1-1.图像生成系统的整体构成]

图1是实施方式1涉及的图像生成系统10的功能框图。图1所示的图像生成系统10具备拍摄装置100、图像生成装置200、存储部120和显示部150。图像生成系统10还可以具备：存储有预先确定的焦面以及拍摄对象物的形状等信息的第1记录部121；对重新聚焦处理完的像素的信息进行记录的第2记录部122；受理用于指定焦面的指定信息的输入的焦面输入部130；以及受理对显示部150所显示的显示物提供的动作指令的输入的cg操作输入部140。显示部150通过显示器来实现，显示由图像操作部260、断面图像生成部270生成的图像等。焦面输入部130以及cg操作输入部140既可以通过计算机装置等的键盘、鼠标、触摸板等各种输入装置来实现，也可以通过构成显示部150的触摸屏等经由画面的输入装置来实现。

[1-1-2.拍摄装置的构成]

首先，对拍摄装置100的构成进行说明。拍摄装置100具备多个照明器101、图像传感器102和拍摄控制部103。拍摄装置100取得对象物的拍摄图像(photographicimage)。在此，拍摄装置100不具有聚焦透镜。

拍摄的对象物例如是配置在图像传感器102的表面上的多个半透明的物质。具体而言，对象物被载置在后述的图像传感器102具有的作为传感器像素的多个像素之上。载置对象物的图像传感器102的表面包括图像传感器102的像素之上的表面。对象物的具体例子是脊椎动物的受精卵的初期胚、即球状的胚。在对象物内，多个物质以三维重叠的方式排布。多个物质的具体例子是球状的细胞。在此，胚是第一对象物的一例，细胞是第二对象物的一例。以下，使用胚来说明实施方式1。此外，作为第一对象物的拍摄对象物的形状不限定于球形状，可以是任何形状。例如，拍摄对象物的形状也可以是椭圆体、柱状体、多面体等。作为第二对象物的多个物质的形状不限定于球形状，可以是任何形状。例如，多个物质的形状也可以是椭圆体、柱状体、多面体等。作为第一对象物的拍摄对象物也可以形成为例如透明或者半透明，以使得在被拍摄时其内部的作为第二对象物的多个物质也被拍摄。作为第二对象物的多个物质也可以形成为例如透明或者半透明，以使得照明器101的光透射，但也可以具有除透明以及半透明以外的结构。作为第二对象物的物质也可以不由多个物质构成，可以由一个物质构成。

多个照明器101例如被设置在线形上或设置成面状排列。多个照明器101分别是输出平行光的照明器或者输出漫射光的照明器。多个照明器101包括第1照明器和第2照明器。第1照明器和第2照明器分别照射不交错的光。即，表示从第1照明器照射的第1光的多条第1光线互不相交。另外，表示从第2照明器照射的第2光的多条第2光线也互不相交。因此，在从第1照明器和第2照明器的某一方照射了光的情况下，来自第1照明器和第2照明器的该一方的光从单个方向到达图像传感器102所包含的一个像素。也就是说，不会是光从两个以上的方向到达一个像素。

以下，将这样的照明称为非交错照明。非交错照明例如可以通过平行光或来自点光源的漫射光来实现。多个照明器101依次照射光。多个照明器101配置在互不相同的位置，从互不相同的方向向对象物照射光。

图像传感器102具有多个像素来作为传感器像素。图像传感器102的各像素配置于受光面，取得从多个照明器101照射的光的强度。图像传感器102基于由各像素取得的光的强度来取得拍摄图像。

图像传感器102的例子是cmos(complementarymetal-oxidesemiconductor，互补金属氧化物半导体)图像传感器或者ccd(chargecoupleddevice，电荷耦合元件)图像传感器。

拍摄控制部103控制由多个照明器101进行的光的照射和由图像传感器102进行的拍摄。具体而言，拍摄控制部103按照多个照明器101照射光的顺序，控制多个照明器101照射光的时间间隔。拍摄控制部103由包括cpu、ram(randomaccessmemory，随机存取存储器)、rom(read-onlymemory，只读存储器)等的计算机系统(未图示)构成。拍摄控制部103的构成要素的一部分或者全部的功能可以通过由cpu将ram用作工作用的存储器并执行rom所记录的程序来实现。另外，拍摄控制部103的构成要素的一部分或者全部的功能也可以通过专用的硬件电路来实现。

从相对于图像传感器102的受光面配置在互不相同的位置的多个照明器101照射的光，相对于受光面以不同的入射角入射。在多个照明器101照射平行光的情况下，多个照明器101照射相对于图像传感器102的受光面的入射角互不相同的平行光。例如，如图2所示，平行光通过使从led光源101a经由形成于遮光板101b的针孔101c射出的光被准直透镜(collimatorlens)101d折射来获得。

图3是说明多个照明器101的构造的一例的示意图。在图3的多个照明器101的例子中，照射平行光的多个光源101e相对于图像传感器102的受光面以不同的角度进行固定。在图3的例子中，多个光源101e配置于覆盖图像传感器102的半球101f的内面。从多个光源101e到达图像传感器102的受光面的光的向受光面的入射角互不相同。

图4是说明多个照明器101的构造的另一例的示意图。在图4的多个照明器101的例子中，多个准点光源101g朝向图像传感器102侧地配置在与图像传感器102的受光面平行的平面101h上的不同位置。来自多个准点光源101g的光相对于图像传感器102的受光面的各像素从不同的方向入射。多个准点光源101g分别例如通过在led光源101a的附近配置具有针孔101c的遮光板101b来实现。针孔101c的大小通过图像传感器102的像素间距、图像传感器102与针孔101c的距离、生成合焦图像的点离图像传感器102的距离来限制。

图5是说明针孔应满足的大小的条件的示意图。在此，d1表示针孔101c的直径。h1表示从图像传感器102的受光面到针孔101c为止的距离。h2表示从图像传感器102的受光面到合焦点101j(即，合焦图像中的任意像素的位于焦面上的点)为止的距离。d2表示从针孔101c透过合焦点到达图像传感器102的受光面的光的扩展直径。p表示图像传感器102的像素间距。

此时，理想的是，从针孔101c射出的光通过合焦点101j到达图像传感器102的受光面的一个点。即，希望从针孔101c射出的光通过合焦点101j只到达图像传感器102的一个像素。因此，希望d2为不超过图像传感器的像素间距p的大小。也就是说，如以下的式1所示，d2<p是用于实现非交错照明的条件。

d1应满足的条件能够通过将该式1进行变形来表示为以下的式2。

例如，在像素间距p为0.001mm、从图像传感器102的受光面到针孔101c为止的距离h1为2mm、从图像传感器102到合焦点101j为止的距离h2为0.1mm的情况下，针孔的直径d1可以为小于0.19mm。

[1-1-3.图像生成装置的构成]

接着，对图像生成装置200的构成进行说明。图像生成装置200通过控制电路来实现。如图1所示，图像生成装置200具备焦面决定部210、重新聚焦处理部220、合焦图像生成部230、对象物提取部240、3d图像生成部250、图像操作部260和断面图像生成部270。

焦面决定部210例如通过控制电路或者处理器来实现，决定位于多个照明器101与图像传感器102之间的假想焦面。具体而言，焦面决定部210例如基于记录在第1记录部121中的预先确定的焦面的信息来决定焦面。另外，例如，焦面决定部210也可以按照经由焦面输入部130从外部输入的信息来决定焦面。在本实施方式中，焦面决定部210决定与图像传感器102的受光面大致平行的多个焦面。换言之，本实施方式中的焦面是平面。

存储部120例如通过半导体存储器或者硬盘驱动器等来实现，将由图像传感器102拍摄到的图像与在该拍摄中使用的照明器的位置信息一起进行存储。

图6表示存储部120存储的内容的一例。在存储部120中，按由拍摄部100拍摄到的各图像文件，与在该图像文件的取得时所使用的照明器的位置信息进行组合并存储。在图6的例子中，照明器的位置信息表示相对于图像传感器102的相对位置。以下，将该照明器的位置信息也称为照明位置信息。照明位置信息是与图像文件的文件id一起存储的，照明位置信息通过文件id来与图像数据关联。此外，照明位置信息也可以记录在图像文件的一部分(例如头信息)中。

参照图1，重新聚焦处理部220例如通过控制电路或者处理器来实现，根据多个图像、多个照明器101的位置信息和假想焦面的信息，计算构成该焦面上的合焦图像的各像素的光的强度。在本实施方式中，重新聚焦处理部220计算构成多个焦面上的合焦图像的各像素的光的强度。后面叙述该重新聚焦处理的详细情况。

合焦图像生成部230例如通过控制电路或者处理器来实现，根据由重新聚焦处理部220计算出的各像素的辉度值来生成各焦面上的合焦图像。

对象物提取部240例如通过控制电路或者处理器来实现。对象物提取部240在各焦面的合焦图像中，确定显现出对象物的区域即显现区域的轮廓，将位于该轮廓外侧的背景从合焦图像中除去。也就是说，对象物提取部240生成背景除去合焦图像。

3d图像生成部250例如通过控制电路或者处理器来实现。3d图像生成部250从多个背景除去合焦图像中，提取显现区域的轮廓的对比度最强的图像即轮廓基准合焦图像。3d图像生成部250根据轮廓基准合焦图像所包含的二维轮廓的形状和存储在第1记录部121中的对象物的形状，确定对象物的具体的三维轮廓。进而，3d图像生成部250对多个背景除去合焦图像和对象物的三维轮廓进行关联，在多个背景除去合焦图像中分别除去包含在三维轮廓外的区域。由此，将会生成与多个背景除去合焦图像分别对应的对象物的断面图像。这些断面图像是预先设定的焦面上的断面图像，称为基准断面图像。3d图像生成部250使用多个基准断面图像生成对象物的3d模型。该3d模型可以包含与对象物的三维轮廓以及多个基准断面图像有关的信息。

图像操作部260例如通过控制电路或者处理器来实现。图像操作部260将3d图像生成部250生成的对象物的3d模型显示于显示部150。此时，图像操作部260将对象物的三维轮廓等显示于显示部150。进而，图像操作部260在选择了对象物的断面的位置时，将所选出的断面的简易图像与对象物的三维轮廓一起显示于显示部150。此时，3d图像生成部250使用多个基准断面图像所包含的信息，生成对象物的简易的断面图像即参考断面图像。因此，例如，在所选出的断面是与多个基准断面图像所对应的焦面(以下，也称为基准断面图像平面)交叉的断面的情况下，多个基准断面图像平面间的区域，在参考断面图像中未得到明确显示。图像操作部260经由cg操作输入部140受理用于选择应显示的参考断面图像的位置的指令，基于该指令来使对象物的参考断面图像进行显示。图像操作部260例如通过控制电路或者处理器来实现。图像操作部260将3d图像生成部250生成的对象物的3d模型显示于显示部150。

断面图像生成部270例如通过控制电路或者处理器来实现。断面图像生成部270使用应显示的对象物的断面的位置和多个基准断面图像所包含的信息，生成应显示的对象物的断面的详细图像，并使其显示于显示部150。具体而言，断面图像生成部270使用基准断面图像的像素的辉度值来作为应显示的对象物的断面中的与该基准断面图像平面重叠或交叉的部分的像素的辉度值。断面图像生成部270针对应显示的对象物的断面中的与基准断面图像平面既不重叠也不交叉的区域内的像素，使用位于该像素附近的基准断面图像平面的基准断面图像的像素的辉度值来算出上述像素的辉度值。也就是说，断面图像生成部270算出应显示的对象物的断面中的位于应用了基准断面图像的像素的像素之间的像素(以下，也称为插补像素)的辉度值。并且，断面图像生成部270使用基准断面图像所包含的像素的辉度值和插补像素的辉度值，生成对象物的断面的详细图像。断面图像生成部270将所生成的图像显示于显示部150。可以经由cg操作输入部140向断面图像生成部270提供应显示的对象物的断面的位置。具体而言，对于应显示的对象物的断面，也可以经由cg操作输入部140从显示部150所显示的对象物的参考断面图像中选择来决定。

[1-2.图像生成系统的工作]

[1-2-1.图像生成系统的重新聚焦处理的概略工作]

接着，对如上述那样构成的图像生成系统10的重新聚焦处理的概略工作即生成合焦图像的概略工作进行说明。图7是表示实施方式1涉及的图像生成系统10的合焦图像的生成工作的一例的流程图。图8是表示坐标与焦面的关系的一例的示意图。

(步骤s1100)

首先，拍摄装置100的拍摄控制部103依次使用多个照明器101对对象物进行照明，拍摄该对象物的多个图像。具体而言，拍摄控制部103在每次多个照明器101分别对对象物进行照明时，记录到达图像传感器102的受光面的各像素的光的强度，由此取得对象物的图像。所取得的图像与拍摄时对对象物进行了照明的照明器的位置信息一起存储于存储部120。在此，多个照明器101的位置相对于图像传感器102是固定的，多个照明器101各自的位置信息被预先确定。后面叙述拍摄处理的详细情况。

(步骤s1200)

图像生成装置200的焦面决定部210决定焦面。具体而言，焦面决定部210决定焦面相对于图像传感器102的位置以及倾斜(角度)。例如，焦面决定部210可以基于存储在第1记录部121中的预先确定的焦面的信息来决定焦面。或者，焦面决定部210也可以基于通过焦面输入部130从用户受理的指定焦面的指定信息来决定焦面。焦面相当于可生成合焦图像的假想的面。也就是说，焦面上的对象物的合焦图像所包含的多个像素与焦面上的多个点一一对应。例如，焦面决定部210使用焦面的角度以及位置来决定焦面。焦面的角度以及位置例如通过图8所示的xyz空间来定义。

在图8中，xy平面与图像传感器102的受光面一致。z轴与图像传感器102的受光面正交。此时，焦面的角度在以图像传感器102的受光面的中心为原点的xyz空间中以相对于x轴以及y轴的角度来定义。焦面的位置由焦面的中心点的坐标来定义。断面图像生成部270例如通过控制电路或者处理器来实现。断面图像生成部270使用应显示的对象物的断面的位置和多个基准断面图像所包含的信息，生成应显示的对象物的断面的详细图像，并显示于显示部150。

(步骤s1300)

重新聚焦处理部220基于多个拍摄图像、多个照明器101的位置信息、和焦面的信息，进行重新聚焦处理，求出焦面上的各像素即各点的辉度。后面叙述重新聚焦处理的详细情况。

(步骤s1400)

合焦图像生成部230基于通过步骤s1300进行的重新聚焦处理的结果，生成作为能够向显示器等输出的图像数据的焦面的合焦图像。

[1-2-2.拍摄处理]

在此说明步骤s1100的拍摄装置100的工作、具体而言是拍摄控制部103的工作的详细情况。图9是表示拍摄装置100的工作的一例的流程图。

(步骤s1110)

拍摄控制部103参照预先确定的多个照明位置、或者通过未图示的外部输入而指定的多个照明位置的列表(以下，称为照明位置列表)，判定被从各照明位置进行了照明的对象物的拍摄是否已结束。多个照明器101与照明位置列表所包含的多个照明位置一一对应。

在此，在基于从照明位置列表所包含的全部照明位置进行的照明的拍摄结束的情况下(步骤s1110：是)，进入用于决定焦面的步骤s1200。另一方面，在基于从照明位置列表内的任一个照明位置进行的照明的拍摄未结束的情况下(步骤s1110：否)，进入步骤s1120。

(步骤s1120)

拍摄控制部103从照明位置列表所包含的多个照明位置中选择尚未进行照明的照明位置，向多个照明器101输出控制信号。此外，拍摄控制部103在存在多个尚未进行照明的照明位置的情况下，选择一个照明位置。在照明位置列表中，各照明位置例如由按各照明位置分配的编号来表示。或者，各照明位置例如通过图8所示的xyz空间中的坐标值来表示。照明位置的选择例如按列表的升序来进行。

(步骤s1130)

多个照明器101按照在步骤s1120中从拍摄控制部103输出的控制信号，开始向对象物的照明。也就是说，位于通过步骤s1120选择出的照明位置的照明器开始照射光。

(步骤s1140)

在由照明器对对象物进行照明的期间，图像传感器102取得通过从该照明器透过了对象物的光而形成的图像。

(步骤s1150)

然后，拍摄控制部103向多个照明器101输出控制信号，停止向对象物的照明。此外，照明的停止也可以不按照来自拍摄控制部103的控制信号来进行。例如，多个照明器101也可以对从开始照明起的时间长度进行计时，在计时到的时间长度超过了预先确定的时间长度之后主动停止照明。或者，也可以，在步骤s1140中图像传感器102结束了图像的取得之后，图像传感器102将用于停止照明的控制信号输出给多个照明器101。

(步骤s1160)

接着，拍摄控制部103将通过步骤s1140取得的图像和在步骤s1130中使用的照明器的位置信息输出给存储部120。并且，存储部120将图像数据和照明位置的信息进行关联并存储。在步骤s1160之后，返回到步骤s1110。

通过反复进行从步骤s1110到步骤s1160的处理，从照明位置列表所包含的全部照明位置的照明器依次对对象物照射光，每当对对象物照射光时取得图像。

[1-2-3.图像生成系统的重新聚焦处理的详细工作]

进一步，说明步骤s1300的重新聚焦处理部220的工作的详细情况。图10是表示实施方式1涉及的重新聚焦处理部220的工作的一例的流程图。图11～图15是说明重新聚焦处理的计算方法的具体例子的示意图。

以下，参照图11～图15对图10的各步骤进行说明。

(步骤s1310)

重新聚焦处理部220从焦面决定部210取得通过步骤s1200决定的焦面的信息。

焦面的信息例如包含焦面的中心的坐标值和表示焦面的倾斜的值。焦面的倾斜例如由焦面与xz平面的交线和x轴所成的角度来表示。另外，例如，焦面的倾斜由焦面与yz平面的交线和y轴所成的角度来表示。焦面的中心的坐标值是与合焦图像的中心的像素对应的焦面上的点的坐标值。

图11表示拍摄装置100以及对象物1000的xz平面上的断面图的一例。对象物1000位于照明器101a、101b和图像传感器102之间，并且位于图像传感器102上。重新聚焦处理部220取得焦面1100的信息。

(步骤s1320)

重新聚焦处理部220判定对于合焦图像所包含的全部像素是否结束了重新聚焦处理。在此，重新聚焦处理是指从步骤s1320到步骤s1390的处理。

在对于合焦图像所包含的全部像素都结束了重新聚焦处理的情况下(步骤s1320：是)，重新聚焦处理部220结束重新聚焦处理(进入步骤s1400)。

在对于合焦图像所包含的任一个像素未结束重新聚焦处理的情况下(步骤s1320：否)，重新聚焦处理部220继续进行重新聚焦处理(进入步骤s1330)。

合焦图像包含多个像素。合焦图像所包含的多个像素与焦面上的多个点一一对应。图12表示与合焦图像所包含的多个像素对应的、焦面1100上的多个点1102a～1102e。此外，图12所示的焦面1100上的多个点1102a～1102e是对象物1000上的点，但不在对象物1000上的点也可以与合焦图像的像素对应。

(步骤s1330)

重新聚焦处理部220从合焦图像所包含的多个像素中选择一个像素。在此被选的一个像素是合焦图像所包含的多个像素中的尚未执行重新聚焦处理的像素。此外，合焦图像的像素值的初始值为0。

例如，在图1所示的第2记录部122中，存储有合焦图像中的已经执行了重新聚焦处理的像素的信息。在后述的步骤s1390的处理之后，重新聚焦处理部220将进行了重新聚焦处理的像素的信息记录于第2记录部122。重新聚焦处理部220参照记录在第2记录部122中的像素的信息，选择尚未执行重新聚焦处理的像素。以下，如图13所示，对选择了与点1102a对应的像素的情况进行说明。另外，将与点1102a对应的像素也表述为选择像素。

(步骤s1340)

重新聚焦处理部220判定对全部照明位置的加法运算处理是否已结束。

在此，在对全部照明位置的加法运算处理已结束的情况下(步骤s1340：是)，重新聚焦处理部220的处理返回到步骤s1320。

另一方面，在对任一个照明位置的加法运算处理未结束的情况下(步骤s1340：否)，重新聚焦处理部220继续进行加法运算处理(进入步骤s1350)。在此，加法运算处理是指从步骤s1340到步骤s1390的处理。

(步骤s1350)

重新聚焦处理部220从已用于拍摄的全部照明位置中选择尚未结束加法运算处理的照明位置。

(步骤s1360)

重新聚焦处理部220计算经过所选择出的照明位置和焦面上的选择像素的位置的直线与图像传感器102的受光面交叉的点的位置。

图14表示经过照明器101a的位置和对应于选择像素的点1102a的直线1200与图像传感器102的受光面交叉的交点1103a。以下，将交点1103a也表述为进行加法运算处理的对象的点即对象点。

图像传感器102的受光面上的对象点例如由图8所示的xy平面上的坐标值来表示。

(步骤s1370)

重新聚焦处理部220从存储部120中取得与所选择出的照明位置对应的图像。也就是说，重新聚焦处理部220从存储部120中取得使用位于所选择出的照明位置的照明器拍摄到的图像。具体而言，重新聚焦处理部220按照图6所示的照明位置信息与图像的对应关系，取得存储部120所存储的图像。例如，重新聚焦处理部220取得与图13所示的照明器101a的位置对应的图像。

(步骤s1380)

重新聚焦处理部220决定通过步骤s1360计算出的图像传感器102上的对象点的在拍摄图像中的位置。具体而言，重新聚焦处理部220以拍摄图像的像素的排列为基准来决定拍摄图像中的对象点的位置。

在拍摄图像中的对象点的位置位于多个像素的中间位置的情况下，重新聚焦处理部220通过使用与对象点的位置相邻的多个像素的辉度值进行插值处理，由此计算拍摄图像中的对象点的辉度值。具体而言，重新聚焦处理部220例如求出与对象点相邻的多个像素(例如4个像素)的各个像素与对象点的距离，对各像素的辉度值乘以对象点与各像素的距离之比并进行加法运算，由此求出拍摄图像中的对象点的辉度值。

图15是用于说明步骤s1380中的计算对象点的辉度值的示意图。在图15中，与对象点相邻的4个像素即像素a～像素d与对象点的距离分别表示为a、b、c以及d。该情况下，对象点的辉度值lt通过以下的式3来求出。

在此，la、lb、lc以及ld分别表示像素a、像素b、像素c以及像素d的辉度值。

(步骤s1390)

重新聚焦处理部220对合焦图像上的选择像素的辉度值加上通过步骤s1380计算出的对象点的辉度值。

通过反复进行从步骤s1340到步骤s1390的处理，对于全部照明位置，将对选择像素的辉度值加上所拍摄到的图像中的对象点的辉度值而得到的结果计算为选择像素的辉度值。

通过这样的加法运算处理，对于焦面上的各点，将通过从多个方向透过了该点的的光形成的多个图像重叠于合焦图像的一个像素。

在图14中，从照明器101a照射的光透过与选择像素对应的焦面1100上的点1102a到达图像传感器102的受光面上的对象点(交点1103a)。因此，在通过照明器101a拍摄到的图像中的对象点(交点1103a)的位置，包含焦面1100上的点1102a处的图像。

另外，在图14中，从照明器101b照射的光透过与选择像素对应的焦面1100上的点1102a到达图像传感器102的受光面上的对象点(交点1103b)。因此，在通过照明器101b拍摄到的图像中的对象点(交点1103b)的位置，包含焦面1100上的点1102a处的图像。

通过对这样的对象点(交点1103a)处的图像(辉度值)以及对象点(交点1103b)处的图像(辉度值)进行加法运算，通过来自多个方向的光形成的多个图像重叠于合焦图像的选择像素。

根据上述的重新聚焦处理，能够将连接焦面上的像素的位置和照明器的位置的直线与图像传感器102的受光面交叉的交点即对象点的辉度值适用于该像素的辉度值。因此，能够在假想焦面上的合焦图像的各像素上反映与该像素对应的多个拍摄图像的辉度值，能够生成对象物的高画质的合焦图像。

此外，在上述的重新聚焦处理中，使用了经过照明器的位置和与选择像素对应的点的直线与图像传感器102的受光面交叉的交点即对象点。也就是说，基于照明器的位置、与选择像素对应的点、和图像传感器102的受光面上的对象点之间的关系，确定了具有应该对选择像素的辉度值加上的辉度值的对象点。然而，也可以不是基于点彼此之间的关系而是基于照明器的位置、选择像素和图像传感器102的受光面上的像素之间的关系，确定具有应该对选择像素的辉度值加上的辉度值的像素。例如，也可以构成为：将接受从照明器出射并经过选择像素的区域内之后到达图像传感器102的受光面上的光的图像传感器102的像素所检测到的辉度值加到选择像素的辉度值上。也就是说，将由处于在直线上排列照明器的位置、选择像素和图像传感器102的像素的位置这一关系的图像传感器102的像素所检测到辉度值加到选择像素的辉度值上。

[1-2-4.图像生成系统的详细工作]

接着，参照图16对如上述那样构成的图像生成系统10的工作进行详细说明。图16是表示实施方式1涉及的图像生成系统10的工作的一例的流程图。此外，以下，说明作为要拍摄的对象物而应用图17所示那样的脊椎动物的半透明的受精卵的初期胚即胚s的情况下的例子。图17表示对象物的一例的胚s的立体图。在图17中，球形状的胚s包括分成两部分的球形状的细胞s1以及s2。

(步骤s2100)

首先，拍摄装置100的拍摄控制部103依次使用多个照明器101，对配置在图像传感器102的受光面上的半透明的胚s进行照明，拍摄该胚s的多个图像。在本实施方式中，多个照明器101的位置相对于图像传感器102固定，多个照明器101各自的位置信息被预先确定。拍摄控制部103在每次多个照明器101分别对胚s进行照明时，记录到达了图像传感器102的受光面的各像素的光的强度，由此取得胚s的图像。所取得的图像与在拍摄时对胚s进行过照明的照明器的位置信息一起存储于存储部120。

(步骤s2200)

图像生成装置200的焦面决定部210决定用于作为基准使用的焦面即多个基准焦面。在本例中，决定与图像传感器102的受光面大致平行且互相隔开间隔而配置的多个基准焦面。具体而言，相对于具有约100μm的直径的胚s，决定以约1μm的间隔与受光面平行地配置的多个基准焦面。多个基准焦面横跨从受光面到约110μm的距离为止的区域而配置。由此，在多个基准焦面所在的区域中包括胚s的全部。并且，多个基准焦面大都与胚s交叉。此外，上述的具体的数值是一例，各要素的数值并非被其限定。

(步骤s2300)

重新聚焦处理部220基于多个拍摄图像、多个照明器101的位置信息和基准焦面的信息，进行重新聚焦处理，求出各基准焦面上的各像素也即是各点的辉度值。

(步骤s2400)

合焦图像生成部230基于通过步骤s2300进行的重新聚焦处理的结果，生成能够向显示器等输出的多个基准焦面的合焦图像即基准合焦图像。此外，基准焦面是供合焦图像形成的面，因此也称为合焦图像平面或者重新聚焦图像平面。在图18中，例示胚s的多个基准焦面fp的基准合焦图像ia。图18是将多个基准焦面fp的基准合焦图像ia按其配置顺序堆积成一列来表示的示意图。在图18中，示出了多个基准合焦图像ia的一部分。另外，图19中示出了将排成一列的基准合焦图像ia在显示部150的显示画面151中作为图像进行了显示的例子。图19是表示将基准合焦图像ia作为图像进行了显示的例子的照片的图，示出胚s包含4个细胞的例子。在各基准焦面fp的基准合焦图像ia中，形成有接受经过胚s的光的像素的区域、即显现出胚s的像的显现区域m。

(步骤s2500)

如图20所示，对象物提取部240在各基准焦面fp的基准合焦图像ia中，确定显现出胚s的像的显现区域m的轮廓，生成将位于该轮廓外侧的背景从基准合焦图像ia除去后的背景除去合焦图像ib。轮廓的确定例如可以通过以下所述来进行。对象物提取部240可以利用霍夫变换(houghtransform)从图像中检测圆，将所检测出的圆中的半径最大的圆设为轮廓。或者，对象物提取部240以作为对象物的胚的大小例如直径100μm为基准，将所检测出的圆中的直径的大小最接近基准的圆设为轮廓。对确定胚s的轮廓的一例进行说明。胚的形状的一例是具有约100μm的半径的球。对象物提取部240为了提取胚s的边缘点，对图像ia实施拉普拉斯滤波。对象物提取部240使用滤波结果对图像ia所包含的多个像素进行分类。例如，对象物提取部240基于输入图像(在此为图像ia)的辉度分布来设定阈值。阈值的例子是在辉度的柱状图中低辉度的像素达到全部像素数的25％的边界点。对象物提取部240将具有阈值以下的辉度的像素提取为边缘点。对象物提取部240对所提取出的边缘点进行霍夫变换(houghtransform)来提取圆。例如，通过提取具有80μm～120μm的范围的半径的圆，由此提取与胚s对应的圆。通过霍夫变换，可导出圆的中心和半径，因此能够在图像ia上确定作为轮廓的圆。此外，图20是将多个背景除去合焦图像ib按照与其分别对应的基准焦面fp的配置顺序堆积成一列来表示的、与图18同样的示意图。另外，图21中示出将堆积成一列而排列的背景除去合焦图像ib在显示部150的显示画面151上作为图像进行了显示的例子。图21是表示将背景除去合焦图像ib作为图像进行了显示的例子的照片的图，示出胚s包含4个细胞的例子。

(步骤s2600)

如图22所示，3d图像生成部250从多个背景除去合焦图像ib中，提取胚s的显现区域m包含对比度最强的轮廓的轮廓基准合焦图像iba。3d图像生成部250也可以通过以下这样来判定第1轮廓基准合焦图像iba1和第2轮廓基准合焦图像iba2的哪个具有对比度强的轮廓。例如，被判断为第1轮廓基准合焦图像iba1所包含的轮廓的像素为a1个。3d图像生成部250按被判断为轮廓的各像素，求出与多个相邻的像素之间的辉度差的最大值。将该最大值的总和设为a1。例如，被判断为第2轮廓基准合焦图像iba2所包含的轮廓的像素为a2个。3d图像生成部250按被判断为轮廓的各像素，求出与多个相邻的像素之间的辉度差的最大值。将该最大值的总和设为a2。如果是{(a1)/(a1)}>{(a2)/(a2)}，则3d图像生成部250判断为第1轮廓基准合焦图像iba1相比于第2轮廓基准合焦图像iba2包含对比对更强的轮廓。此外，图22是表示轮廓基准合焦图像iba的一例的示意图。使显现区域m的轮廓的对比度最强的像素的辉度，相当于当沿与图像传感器102的受光面垂直的方向从胚s的正上方向胚s照射光时图像传感器102的像素检测经过胚s的周缘及其附近的光而得到的辉度。因此，轮廓基准合焦图像iba中的显现区域m的圆形状的轮廓ma，相当于经过胚s的中心的断面的轮廓即胚s的胚膜的二维轮廓，相当于沿与图像传感器102的受光面垂直的方向观察胚s时的胚s的平面形状的轮廓。并且，3d图像生成部250从轮廓基准合焦图像iba中提取胚s的轮廓ma。由此，可提取出胚s的二维轮廓ma。对于第1轮廓基准合焦图像iba1和第2轮廓基准合焦图像iba2的哪个包含对比度强的轮廓，也可以如以下这样来判定。在被判断为第1轮廓基准合焦图像iba1所包含的轮廓的像素的平均辉度值为a1、被判断为第2轮廓基准合焦图像iba2所包含的轮廓的像素的平均辉度值为a2、与被判断为第1轮廓基准合焦图像iba1所包含的轮廓的像素相邻的像素的平均辉度为b1、与被判断为第2轮廓基准合焦图像iba2所包含的轮廓的像素相邻的像素的平均辉度为b2的情况下，如果|a1-b1|>|a2-b2|，则判断为第1轮廓基准合焦图像iba1相比于第2轮廓基准合焦图像iba2包含对比度更强的轮廓。

(步骤s2700)

3d图像生成部250根据从轮廓基准合焦图像iba中提取出的二维轮廓的形状和存储在第1记录部121中的胚s的形状，确定胚s的立体轮廓即三维轮廓。例如，第1记录部121存储有“胚s的形状为球形”。具体而言，如图22以及图23所示，3d图像生成部250根据轮廓基准合焦图像iba内的显现区域m的圆形状的轮廓ma和存储在第1记录部121中的胚s的形状为球形这一情况，将胚s的三维轮廓sc确定为是以轮廓ma的半径为半径的球形。图23是表示胚s的三维轮廓的一例的示意图。

(步骤s2800)

3d图像生成部250对多个背景除去合焦图像ib与胚s的三维轮廓sc进行关联，从多个背景除去合焦图像ib中分别除去与三维轮廓sc的外部相当的区域来生成基准断面图像ic。基准断面图像ic相当于通过步骤s2200决定的多个基准焦面fp上的胚s的断面图像。

具体而言，3d图像生成部250确定与各背景除去合焦图像ib对应的基准焦面fp和胚s的球形轮廓sc之间的位置关系。此时，3d图像生成部250将包含轮廓基准合焦图像iba的基准焦面fp决定为是经过三维轮廓sc的中心且与图像传感器102的受光面大致平行的面。进而，3d图像生成部250基于上述决定，算出包含其他背景除去合焦图像ib的基准焦面fp相对于三维轮廓sc的位置。接着，3d图像生成部250如图24所示，从多个背景除去合焦图像ib中分别除去胚s的球形轮廓sc外的区域，生成多个基准断面图像ic。图24是表示多个基准断面图像ic的一例的、与图18同样的示意图。在图24中，示出了多个基准断面图像ic按照各自的基准焦面fp的配置顺序排成一列。基准断面图像ic是基准焦面fp上的胚s的断面图像。另外，图25中示出将除去了胚s的球形轮廓sc外的区域之后的多个基准断面图像ic在显示部150的显示画面151上作为图像进行了显示的例子。图25是表示将基准断面图像ic作为图像进行了显示的例子的照片的图。在图25的状态a下，示出了全部的基准断面图像ic，形成有胚s的球形轮廓sc的外形。在图25的状态b下，示出了基准断面图像ic中的一部分。

此外，也可以不一定在步骤s2500中实施背景除去合焦图像ib的形成。例如，也可以通过步骤s2800中的除去胚s的球形轮廓sc外的区域的处理，将基准合焦图像ia中的显现区域m的轮廓的外侧的背景一起除去。也就是说，步骤s2500的处理也可以包含在步骤s2800的处理中。该情况下，对基准合焦图像ia实施步骤s2600～s2800的处理。

(步骤s2900)

3d图像生成部250使用胚s的三维轮廓sc以及多个基准断面图像ic，生成胚s的三维模型即3d模型a来作为能够向显示器等输出的图像数据。3d模型a包含与胚s的球形轮廓sc以及多个基准断面图像ic有关的信息，包含基准断面图像ic来作为其断面图像。3d模型a在作为图像显示于显示部150的显示画面151的情况下，与图25的状态a是同样的。

(步骤s3000)

图像操作部260将3d图像生成部250生成的胚s的3d模型a以能够动作的方式显示于显示部150。图像操作部260基于被输入到cg操作输入部140的指令，对显示部150上的胚s的3d模型a进行移动。图像操作部260经由cg操作输入部140受理胚s中的各种位置的断面的选择。进而，图像操作部260可以将作为所选择出的断面的简易图像的参考断面图像bi显示于胚s的3d模型a上，或者将其与3d模型a分开显示。

例如，如图26a、图26b以及图26c所示，图像操作部260在显示部150的显示画面151上将胚s的3d模型a以能够在画面上操作的状态进行显示。此外，图26a、图26b以及图26c分别是表示显示部150显示在其显示画面151上的胚s的3d模型的一例的图。图26a、图26b以及图26c所示的画面是能够让用户使用胚s的3d模型a来选择显示应该详细显示的断面的画面。

在显示画面151中，胚s的3d模型a的位置通过xyz空间来定义。xy平面被设定为与图像传感器102的受光面平行。进而，设定了经过球形的胚s的3d模型a的中心的基准轴c，基准轴c的朝向通过xyz空间来定义。另外，与基准轴c垂直的胚s的3d模型a的断面b的位置通过xyz空间来定义。

如图26a以及图26b所示，在显示画面151中，按照从cg操作输入部140输入的指令，以3d模型a的球中心ac为基准转动基准轴c，自由地改变该基准轴c的朝向。在显示画面151的边缘附近，示出横向移动滚动条152和纵向移动滚动条153。通过横向移动滚动条152中的滚动操作，基准轴c以3d模型a的球中心ac为基准在沿着xy平面的方向上进行转动，也就是说，以经过3d模型a的中心的与z轴平行的轴为中心进行转动。通过纵向移动滚动条153中的滚动操作，基准轴c以3d模型a的中心为基准在沿着yz平面的方向上进行转动，也就是说，以经过3d模型a的中心的与x轴平行的轴为中心进行转动。由此，可任意地改变基准轴c的朝向。另外，在显示画面151上位于右侧上部的移动位置显示部155，使用x坐标、y坐标以及z坐标来表示基准轴c的方向矢量。基准轴c的朝向也可以通过向移动位置显示部155的x坐标、y坐标以及z坐标的栏输入数值来决定。此外，使基准轴c移动的结构不限定于上述结构，可以是任何结构。

进而，如图26b以及图26c所示，3d模型a的断面b按照从cg操作输入部140输入的指令，在基准轴c上沿轴方向自由地滑动。并且，在3d模型a的断面b中，作为简易制作出的断面b的图像的参考断面图像bi，根据断面b的位置来改变并显示其显示内容。例如，图27中示出将图26c的3d模型a在显示部150的显示画面151上作为图像进行了显示的例子。图27是以照片来表示将图26c在显示画面上进行了显示的例子的一部分的图。此外，参考断面图像bi也可以显示于与断面b不同的位置。

在显示画面151的边缘附近，示出断面移动滚动条154。通过断面移动滚动条154中的滚动操作，包含参考断面图像bi的断面b一边改变其显示内容一边在基准轴c上滑动，即进行平行移动。另外，在显示画面151上位于右侧中央附近的断面位置显示部156，使用x坐标、y坐标以及z坐标来表示3d模型a的断面b与基准轴c的交点即断面b的中心点bc的位置。断面b的位置也可以通过向断面位置显示部156的x坐标、y坐标以及z坐标的栏输入数值来决定。此外，使断面b移动的结构不限定于上述结构，可以是任何结构。

由此，通过组合基准轴c的转动和断面b的滑动，可以将3d模型a中的任意位置的参考断面图像bi显示于显示部150的显示画面151。此外，在本例中，基准轴c以及断面b移动且3d模型a不移动，但也可以伴随旋转等移动地显示3d模型a。改变断面b的位置的结构可以是任何结构。

参考断面图像bi使用3d模型a所包含的信息、即胚s的球形轮廓sc内的多个基准断面图像ic所包含的信息来生成。例如，在断面b的参考断面图像bi中，参考断面图像bi中的与基准断面图像ic的基准焦面fp交叉的交叉部分的像素使用基准断面图像ic的像素的辉度来显示。上述交叉部分以外的区域的像素使用该像素附近的基准断面图像ic的像素的辉度等来显示或不显示。因此，参考断面图像bi表示断面b的简易图像。

另外，本实施方式涉及的图像生成系统10构成为通过提供应该详细显示的胚s的断面的位置信息，生成该断面的详细图像并显示于显示部150。此时，图像生成装置200的断面图像生成部270生成断面的详细图像并显示于显示部150。应该详细显示的胚s的断面的位置信息，也可以通过经由cg操作输入部140选择并决定当前显示在显示部150的显示画面151中的胚s的参考断面图像bi来提供。

参照图28来说明由图像生成系统10进行的胚s的详细的断面图像的显示工作的例子。图28是表示由实施方式1涉及的图像生成系统10进行的胚s的详细的断面图像的显示工作的一例的流程图。以下，说明使用显示在显示部150上的胚s的3d模型a来决定应该详细显示的胚s的断面的位置的例子。

(步骤s4100)

图像生成装置200的图像操作部260将胚s的3d模型a以能够进行3d模型a的基准轴c的转动、断面b的滑动等动作的方式显示于显示部150。

(步骤s4200)

图像操作部260如图26a～图26c所示，按照经由cg操作输入部140输入的指令，使显示部150的显示画面151上的胚s的3d模型a的基准轴c转动、或者使断面b滑动，由此，显示3d模型a的各种参考断面图像bi。并且，在正显示的断面b的位置成为所希望的位置、或者正显示的参考断面图像bi是所希望的断面的情况下，也就是说，在显示画面151正在显示所希望的断面或者其位置的情况下，用户经由cg操作输入部140提供用于显示该断面的详细情况的指令(步骤s4200：是)。由此，应该详细显示的胚s的断面的位置也被决定。此时，通过经由cg操作输入部140的输入，显示画面151上的重新聚焦图标157被选择并执行。其结果是，断面图像生成部270为了生成应该显示的胚s的断面，进入步骤s4300。另一方面，在重新聚焦图标157不被执行、未发出要详细显示胚s的断面的指令的情况下(步骤s4200：否)，图像操作部260实施步骤s4100的工作。

(步骤s4300)

断面图像生成部270使用所决定的断面的位置和多个基准断面图像ic所包含的信息，生成所决定的断面的详细图像。具体而言，断面图像生成部270通过重新聚焦处理，生成以所决定的断面为焦面的合焦图像。也就是说，断面图像生成部270对所决定的断面中的与基准断面图像ic的基准焦面fp重叠或交叉的部分的像素的辉度值，直接应用该基准断面图像ic的像素的辉度值。断面图像生成部270使用位于插补像素的附近的基准焦面fp的基准断面图像ic的像素的辉度值来算出该插补像素的辉度值，所述插补像素是所决定的断面中的与基准断面图像ic的基准焦面fp既不重叠也不交叉的区域内的像素。并且，断面图像生成部270使用基准断面图像ic的像素的辉度值和插补像素的辉度值，生成所决定的胚s的断面的合焦图像即详细的断面图像来作为能够向显示器等输出的图像数据，并显示于显示画面151。

通过以上所述，图像生成系统10的用户操作cg操作输入部140，能够使显示部150的显示画面151显示胚s的3d模型a中的所希望的参考断面图像bi或者其位置。进而，用户操作cg操作输入部140来选择已显示的参考断面图像bi或者其位置，能够获得参考断面图像bi的详细的断面图像。

在此，参照图29以及图30，说明应该详细显示的断面bd与基准断面图像ic的基准焦面fp交叉的情况下的该断面bd上的像素的辉度值的计算方法。此外，图29是表示使用与应该详细显示的断面bd交叉的2个基准焦面fpa以及fpb的基准断面图像ica以及icb的像素来推定断面bd上的像素的辉度值的情形的例子的图。图30是表示在应该详细显示的断面bd上的像素的计算中使用的该像素与2个基准断面图像ica以及icb的像素之间的关系的图。

断面bd与彼此相邻的2个基准断面图像ica以及icb的基准焦面fpa以及fpb交叉。应该推定辉度值的断面bd上的像素bda是位于基准焦面fpa和fpb之间的插补像素。基准焦面fpa以及fpb是插补像素bda的位置附近的合焦图像平面。并且，插补像素bda的辉度值可使用位于插补像素bda的位置附近的基准断面图像ica的2个像素ica1以及ica2和位于插补像素bda的位置附近的基准断面图像icb的2个像素icb1以及icb2来推定。因此，基准断面图像中包含对插补像素bda的辉度值产生影响的像素的基准焦面fpa以及fpb，也可以是距离插补像素bda的位置最近的基准焦面。

从插补像素bda的位置到像素ica1、ica2、icb1以及icb2各自的位置为止的距离是a1、a2、b1以及b2。像素ica1、ica2、icb1以及icb2各自的辉度值是la1、la2、lb1以及lb2。由此，插补像素bda的辉度值lbda通过以下的式4来求出。

由此，应该推定的断面bd上的插补像素bda的辉度值，使用与像素bda相邻的2个基准焦面fpa以及fpb的基准断面图像ica以及icb的像素的辉度值来推定。

对于应该详细显示的断面bd的合焦图像，使用断面bd与基准断面图像ic的基准焦面fp的重叠部分或交叉部分中的基准断面图像ic的像素的辉度值和利用插补像素附近的基准焦面fp的基准断面图像ic的像素的辉度值而算出的插补像素的辉度值来生成。由此，断面b的合焦图像通过使用了预先生成的基准断面图像ic所包含的信息的重新聚焦处理来生成。因此，与如基准断面图像ic那样通过使用了多个拍摄图像的重新聚焦处理来生成合焦图像的情况相比，生成断面bd的合焦图像既简单又迅速。此外，在插补像素bda的计算中，也可以使用基准断面图像ica的3个以上的像素，还可以使用基准断面图像icb的3个以上的像素。另外，即使在应该详细显示的断面bd与基准断面图像ic的基准焦面fp平行的情况下，也能够与上述同样地计算断面bd上的像素的辉度值。

[1-3.效果]

如上所述，根据本实施方式涉及的图像生成装置200，能够生成关于经过作为对象物的胚s的多个基准焦面的多个基准合焦图像，使用所生成的基准合焦图像来生成胚s的三维图像。通过使用关于经过胚s的多个基准焦面的基准合焦图像，即使胚s半透明或者透明，也能够将胚s的三维图像以也包含其内部含有的细胞等要素的方式进行立体显示。另外，不是在胚s的全部区域中生成合焦图像而是针对多个基准焦面生成合焦图像，因此也能够降低胚s的三维图像的生成所需的处理量。

另外，根据本实施方式涉及的图像生成装置200，能够使用胚s的三维图像来选择任意的断面，并进行所选择出的图像的显示。由于构成胚s的断面图像的多个断面像素的辉度值使用断面像素上的基准合焦图像的像素的辉度值或者断面像素附近的基准合焦图像的像素的辉度值来算出，因此，胚s的断面图像能够成为减少了中断、模糊等的清晰的图像。进而，由于构成胚s的断面图像的断面像素的辉度值使用夹着断面像素位于两侧的基准焦面的基准合焦图像的像素来算出，因此能够具有高精度。

另外，根据本实施方式涉及的图像生成装置200，可生成表示胚s的参考用断面的参考断面图像并显示于显示画面。构成参考断面图像的多个像素的辉度值可以被视为参考断面图像的像素上的基准合焦图像的像素的辉度值。由此，用户能够一边参照参考断面图像，一边选定应该显示的胚s的断面。另外，由于参考断面图像的像素的辉度值直接使用了基准合焦图像的像素的辉度值，因此生成参考断面图像很简单。

另外，根据本实施方式涉及的图像生成装置200，将处于在直线上排列照明器101的位置、基准合焦图像的合焦像素的位置和图像传感器102的传感器像素的位置这一关系的传感器像素各自的辉度值应用于合焦像素的辉度值，算出合焦像素的辉度值。由此，能够在焦面上的合焦图像的各像素上反映与该像素对应的多个拍摄图像的辉度值，能够生成胚s的高画质的合焦图像。

[实施方式2]

接着，对实施方式2进行说明。在实施方式2中，与实施方式1不同之处在于：图像生成系统在显示部150的显示画面151上，在显示胚s的3d模型a之前先显示胚s的代表性的断面图像即最佳断面图像。以下，以与实施方式1不同之处为中心来对实施方式2进行说明。

[2-1.图像生成系统的构成]

参照图31，示出了表示实施方式2涉及的图像生成系统10a的功能结构的一例的框图。在本实施方式中，拍摄装置100的多个照明器101设置成在平坦的面上呈格子状排列。图像生成装置200a相对于实施方式1的图像生成系统10的图像生成装置200，还具备最佳断面决定部280以及最佳断面图像生成部290。第1记录部121除了存储有预先确定的焦面以及作为拍摄对象物的胚s的形状等信息之外，还预先存储有胚s的初期胚模型。图像生成系统10a具备胚模型输入部160，该胚模型输入部160受理用于从第1记录部121的初期胚模型中选择应该显示于显示部150的胚s的模型的指令的输入。

在第1记录部121所存储的胚s的初期胚模型中，包括胚s所包含的细胞数。在胚s的初期胚模型中，也可以将胚s所包含的细胞数和从开始培养胚s起的经过时间进行关联地存储。该情况下，胚s的初期胚模型也可以存储为图32所示那样的表。图32表示第1记录部121存储的初期胚模型的一例。在图32的例子中，对初期胚模型的模型id、从开始培养胚起的经过时间即培养时间、在上述培养时间时胚可能包含的细胞数、和上述培养时间时的胚的例示性的示意图进行组合存储。

最佳断面决定部280例如通过控制电路或者处理器来实现。最佳断面决定部280在要将胚s显示于显示部150的情况下，决定最初作为示例而应该显示的胚s的最佳断面。此时，最佳断面决定部280基于经由胚模型输入部160选择出的胚模型所包含的细胞数，决定最佳断面的候选数和最佳断面可能包含的细胞数。最佳断面决定部280基于所决定的各要素，算出最佳断面的位置，并发送给重新聚焦处理部220。

具体而言，最佳断面决定部280参照预先记录在第1记录部121中的图33所示那样的最佳断面设定表，基于该最佳断面设定表来进行与最佳断面有关的上述要素的决定。在上述要素的决定之后，最佳断面决定部280如后述那样来决定胚s中的最佳断面的位置。此外，图33表示第1记录部121存储的最佳断面设定表的一例。在图33的例子中，对胚内的细胞数、最佳断面即最佳焦面的候选数、和最佳焦面上的胚的断面图像即最佳断面图像可能包含的细胞的最大数进行组合存储。

在图33的最佳断面设定表中，在最佳焦面的候选数为一个的情况下，最佳焦面经过胚内的细胞的中心或距中心5μm的区域内的情况下的最佳焦面可能会经过的细胞的个数的最大值，可以被视为最佳焦面上的最佳断面图像可能包含的细胞的最大数。或者，最佳焦面经过距各细胞的中心的距离成为最小的位置的情况下的最佳焦面可能会经过的细胞的个数的最大值，可以被视为最佳焦面上的最佳断面图像可能包含的细胞的最大数。此时，距各细胞的中心的距离成为最小，也可以被视为距各细胞的中心的距离的总和成为最小。

在最佳焦面的候选数为2个以上的情况下，最佳焦面的个数可根据胚内的细胞数来设定。进而，最佳焦面经过距多个细胞的中心的距离成为最小的位置的情况下的最佳焦面可能经过的细胞的个数的最大值，可以被视为最佳焦面上的最佳断面的图像可能包含的细胞的最大数。此时，距多个细胞的中心的距离成为最小，既可以被视为距多个细胞的中心的距离的总和成为最小，也可以被视为距全部细胞的中心的距离的总和成为最小。

最佳断面图像生成部290例如通过控制电路或者处理器来实现。最佳断面图像生成部290根据由重新聚焦处理部220计算出的各个像素的辉度值，生成最佳焦面上的合焦图像、即最佳断面的图像，并显示于显示部150。

[2-2.图像生成系统的工作]

对由如上述那样构成的图像生成系统10a进行的向显示部150显示最佳断面图像的显示工作进行说明。图34是表示实施方式2涉及的图像生成系统10a的最佳断面图像的显示工作的一例的流程图。此外，以下，对胚s包含图17所示那样的2个细胞s1以及s2的情况进行说明。

(步骤s5100)

图像生成系统10a的图像生成装置200a的最佳断面决定部280将存储在第1记录部121中的胚s的胚模型显示于显示部150。

(步骤s5200)

图像生成系统10a的用户参照如图32所示那样的显示于显示部150的胚s的胚模型的表，经由胚模型输入部160的输入，选择应该在显示部150显示最佳断面图像的胚的模型id。此时，用户例如也可以通过对基于照明器101的拍摄时的胚的培养时间等和示出在胚模型的表中的培养时间进行比较，选定与拍摄时对应的胚的模型。

(步骤s5300)

最佳断面决定部280基于所选择出的胚模型所包含的细胞的个数和图33所示那样的存储在第1记录部121中的最佳断面设定表，决定最佳断面即最佳焦面的要素。具体而言，最佳断面决定部280决定最佳焦面的个数和最佳焦面上的断面图像可能包含的最大细胞数。

(步骤s5400)

接着，最佳断面决定部280算出胚s中的最佳焦面的位置。此时，最佳断面决定部280从存储部120中取得与多个照明器101的位置信息关联的多个拍摄图像。进而，最佳断面决定部280如图35所示，选择由在平坦面上排列成格子状而配置的多个照明器101中的排列在直线上的照明器101构成的照明器组g。并且，最佳断面决定部280从所取得的拍摄图像中，选定照明器组g的照明器101分别进行照明时所拍摄到的拍摄图像，形成包括这些拍摄图像的拍摄图像组。此外，图35示出在从照明器向图像传感器102的方向上观察多个照明器时的照明的配置图。图35中的圈所示的照明器101是点光源，例如通过光源和直径10μm的针孔来实现。图中的圈示出了照明器101的中心位置。照明器101的间隔pt例如是300μm。胚s被配置在图35中的黑点所示的圆的位置，也就是说，胚s被配置在照明器101的大致正下方。胚s的直径约为100μm。进而，最佳断面决定部280在拍摄图像组的各个拍摄图像中，提取与胚s和胚s内的2个细胞s1以及s2的形状相符合的线。具体而言，胚s和2个细胞s1以及s2都是球形，因此最佳断面决定部280从各拍摄图像中提取胚s的圆形状和胚s的圆形状中所包含的2个细胞s1以及s2的圆形状。胚s的轮廓例如如以下这样来确定。胚的形状大体上是球，其半径约为100μm。首先，为了提取边缘点，对图像ia实施拉普拉斯滤波。以阈值对滤波结果进行分类。阈值例如基于输入图像(在此为图像ia)的辉度分布来设定。例如根据辉度的柱状图，将低辉度的像素成为全部像素数的25％的点设为阈值。提取辉度为阈值以下的像素来作为边缘点。对所提取出的边缘点，进行霍夫变换(houghtransform)，提取圆。此时，通过设半径例如为80μm～120μm的范围来提取圆，由此提取与胚s对应的圆。通过霍夫变换，可导出圆的中心和半径，因此能够在图像ia上确定作为轮廓的圆。进而，细胞s1以及s2使用所决定的胚s的轮廓即圆的内侧的边缘点，通过进行霍夫变换来提取。在霍夫变换时，在设半径为30μm以上且60μm以下的范围内进行提取，允许2个圆有重叠来进行提取。

(步骤s5500)

最佳断面决定部280在拍摄图像组内的多个拍摄图像之间，确定拍摄图像所包含的同一要素。例如，如图36所示，最佳断面决定部280在拍摄图像组内的多个拍摄图像a、b和c之间，将表示胚s的形状的圆1、表示胚s内的2个细胞中的第1细胞s1的形状的圆2和表示2个细胞中的第2细胞s2的形状的圆3互相关联地进行确定。此外，图36是表示拍摄图像组内的多个拍摄图像a、b和c之间的各要素的对应关系的图。在图36中，使用了拍摄图像a、b以及c，但也可以使用拍摄图像组内的多个拍摄图像的全部。此时，最佳断面决定部280也可以根据包含圆2及3的圆1与圆2及3不交叉这样的条件来确定圆1、圆2以及圆3。进而，最佳断面决定部280也可以根据在多个拍摄图像之间圆具有同等大小、圆的位置伴随着规则性而发生偏离等条件，确定圆1、圆2以及圆3。

此外，参照图35以及图36，拍摄图像a是位于照明器组g的一方的端部的照明器101ga进行照明时所拍摄到的图像。拍摄图像b是位于照明器组g的另一方的端部的照明器101gb进行照明时所拍摄到的图像。拍摄图像c是位于照明器组g的中间的照明器101gc进行照明时所拍摄到的图像。因此，随着从拍摄图像a向拍摄图像b转变，圆1、圆2以及圆3的位置分别在各拍摄图像之间伴随着规则性而发生偏离。

(步骤s5600)

如图37所示，最佳断面决定部280算出在拍摄图像a、b以及c各自中所确定出的圆1、圆2以及圆3的特征点即中心的位置。最佳断面决定部280也可以将与所确定出的圆的圆周上所包含的多个点相距相同距离的点计算为圆的中心的位置。图37是表示拍摄图像a、b以及c的各要素的中心的位置的图。这些圆1、圆2以及圆3的中心的位置与图像传感器102的受光面的像素的位置对应。因此，最佳断面决定部280也可以算出圆1、圆2以及圆3的中心分别相对于拍摄图像a、b以及c的相对位置。在此，第1细胞s1的圆2的中心以及第2细胞s2的圆3的中心是拍摄图像中的第二对象物的特征点的一例。然而，拍摄图像中的第二对象物的特征点不限定于圆的中心。在第二对象物不是如细胞s1以及s2那样具有球形状的情况下，也可以将重心、内心、外心、垂心、顶点、拐角点等能够确定位置的点视为特征点。例如，在第二对象物是多边形的情况下，可对拍摄图像上的第二对象物设定重心、内心、外心、垂心或者顶点等特征点。通过步骤s5500以及s5600的处理，在拍摄图像间关联有胚s、细胞s1以及细胞s2的特征点。在本例中，在拍摄图像间分别关联了胚s、细胞s1以及细胞s2之后，在各拍摄图像中设定胚s、细胞s1以及细胞s2的特征点，但不限定于此。也可以在各拍摄图像中设定了胚s、细胞s1以及细胞s2的特征点之后，在拍摄图像间关联胚s、细胞s1以及细胞s2和胚s、细胞s1以及细胞s2的特征点。

(步骤s5700)

最佳断面决定部280算出拍摄图像a、b和c之间的同一圆的中心位置的距离，也就是说，算出拍摄图像a、b和c之间的同一圆的中心的位置关系。具体而言，如图38所示，最佳断面决定部280算出拍摄图像a、b和c各自的圆1的中心位置间的距离、即拍摄图像a、b和c间的圆1的中心位置的偏离量。同样地，最佳断面决定部280算出拍摄图像a、b和c各自的圆2的中心位置间的距离。进而，最佳断面决定部280算出拍摄图像a、b和c各自的圆3的中心位置间的距离。图38是表示拍摄图像a、b和c间的各要素的中心的位置关系的图。此外，拍摄图像a、b和c之间的同一圆的中心位置间的距离是指分别经过该圆的中心的3条平行线之间的距离。在图38中，设为拍摄图像a、b和c之间的同一圆的中心位置间的距离是沿着照明器组g的照明器101的排列方向的距离。

(步骤s5800)

最佳断面决定部280根据拍摄图像a、b和c之间的同一圆的中心位置间的距离和与拍摄图像a、b以及c对应的照明器101的位置，算出形成胚s、第1细胞s1和第2细胞s2各自的外形的球的中心的位置。例如，如图39所示，按照拍摄图像a的圆1的中心ca与拍摄图像c的圆1的中心cc之间的距离d1和拍摄图像c的圆1的中心cc与拍摄图像b的圆1的中心cb之间的距离d2，中心ca、cb以及cc在图像传感器102的受光面上排列。此外，图39是表示拍摄图像a、b以及c的要素的中心与照明器的位置关系的图。

此时，中心ca、cb以及cc可能排列在大致一条直线上。并且，拍摄图像a所使用的照明器即与拍摄图像a对应的照明器101ga的位置和中心ca以直线l1连结。同样地，与拍摄图像b对应的照明器101gb的位置和中心cb以直线l2连结。与拍摄图像c对应的照明器101gc的位置和中心cc以直线l3连结。最佳断面决定部280将直线l1、l2和l3的交点c1的位置决定为胚s的中心的立体的位置即三维位置。直线l1、l2和l3的交点c1的从图像传感器102的受光面起的高度位置成为胚s的中心的高度位置。此外，在直线l1、l2和l3不相交于一点时，也可以将到直线l1、l2和l3各自为止的距离的总和成为最短的点的位置设为胚s的中心位置。另外，最佳断面决定部280对圆2以及圆3也实施与上述同样的处理，算出第1细胞s1以及第2细胞s2的中心位置。

(步骤s5900)

最佳断面决定部280将包含第1细胞s1的中心以及第2细胞s2的中心的平面决定为最佳焦面即最佳断面。例如，如图40所示，在步骤s5800中，根据拍摄图像a、b以及c中的第1细胞s1的圆2的3个中心的位置和照明器101ga、101gb以及101gc的位置，算出第1细胞s1的中心c2的立体位置。同样地，根据拍摄图像a、b以及c中的第2细胞s2的圆3的3个中心的位置和照明器101ga、101gb以及101gc的位置，算出第2细胞s2的中心c3的立体位置。此外，图40是表示胚s所包含的2个细胞s1和s2的中心c2和c3之间的位置关系的图。此外，在本实施方式中细胞是细胞s1和细胞s2这2个，因此将包含第1细胞s1的中心以及第2细胞s2的中心的平面设为最佳断面。在细胞为3个以上的情况下，对于多个细胞的中心，也可以将包含最多的细胞中心的平面决定最佳断面。另外，对于多个细胞的中心，也可以将从各个细胞的中心到要求出的平面的垂直长度的总和成为最小的平面决定为最佳断面。

最佳断面决定部280将经过中心c2以及c3的平面决定为最佳焦面。此时，最佳断面决定部280也可以决定最佳焦面，以使其接近经过中心c2以及c3的平面中的与图像传感器102的受光面平行的面。具体而言，最佳断面决定部280也可以决定最佳焦面，以使其相对于与图像传感器102的受光面平行的面具有10度以下的倾斜角度。

另外，最佳断面决定部280在胚s中包含3个以上的细胞的情况下，也可以决定最佳焦面，以使得最佳焦面包含最多的进行与上述同样的处理而得到了中心的位置的细胞的中心。与上述条件一起或者在上述条件之外，最佳断面决定部280使从全部细胞的中心到最佳焦面为止的距离成为最小，也就是说，也可以决定最佳焦面，以使得与全部细胞的中心相距的距离的总和成为最小。与上述条件一起或者在上述条件之外，最佳断面决定部280也可以决定最佳焦面，以使得最佳焦面经过进行了与上述同样的处理而得到了中心的位置的细胞中的3个细胞的中心并且从其他细胞的中心到最佳焦面为止的距离最小。进而，在上述决定中，最佳断面决定部280也可以决定最佳焦面以使其接近与图像传感器102的受光面平行的面。

另外，如图33所示，在最佳焦面的候选数有2个以上的情况下，最佳断面决定部280也可以算出2个最佳焦面，既可以采用2个最佳焦面这两方，也可以采用一方。并且，对于以下说明的最佳焦面的最佳断面图像的显示，既可以显示2个最佳焦面的最佳断面图像，也可以显示2个最佳焦面的一方的最佳断面图像。

(步骤s6000)

最佳断面决定部280将所决定的最佳焦面的位置信息发送给重新聚焦处理部220。重新聚焦处理部220使用存储在存储部120中的拍摄图像，基于多个拍摄图像、多个照明器101的位置信息和最佳焦面的位置信息，进行重新聚焦处理，求出最佳焦面上的各像素的辉度。此外，重新聚焦处理部220也可以与实施方式1中由断面图像生成部270进行的断面图像生成工作同样地，利用基准焦面fp的基准断面图像ic所包含的信息来求出最佳焦面上的各像素的辉度。

(步骤s6100)

最佳断面图像生成部290基于通过步骤s6000进行的重新聚焦处理的结果，将能够向显示器等输出的图像数据即最佳断面图像生成为合焦图像，并显示于显示部150。图41以及图42中示出显示部150的显示画面151上的最佳断面图像的显示例。图41是表示胚s的最佳断面图像显示在显示部150的显示画面151上的一例的图。图42是表示将胚s的最佳断面图像作为图像进行了显示的例子的照片的图，示出胚s包含4个细胞的例子。

(步骤s6200)

在显示画面151上，除了显示胚s的最佳断面图像iо之外，还显示有焦面变更图标158。图像生成系统10a的用户在要使胚s的其他断面图像显示的情况下，经由cg操作输入部140选择并执行焦面变更图标158(步骤s6200：是)。另一方面，在未经由cg操作输入部140发出从最佳断面图像iо变更显示断面的指令的情况下，继续显示最佳断面图像iо(步骤s6200：否)。

(步骤s6300)

在焦面变更图标158的执行之后，图像生成装置200a的图像操作部260在显示部150的显示画面151上显示图43以及图44所示那样的焦面变更画面。此外，图43是表示显示部150显示于其显示画面151上的焦面变更画面的一例的图。图44是表示将焦面变更画面作为图像进行了显示的例子的照片的图，示出胚s包含4个细胞的例子。

在焦面变更画面中，与实施方式1同样地，显示有通过xyz空间定义的胚s的3d模型a、横向移动滚动条152、纵向移动滚动条153、断面移动滚动条154、移动位置显示部155、断面位置显示部156以及重新聚焦图标157。在3d模型a中显示有经过3d模型a的中心的基准轴c以及断面平面b。经由cg操作输入部140的操作，基准轴c能够以3d模型a的中心为基准进行转动，断面平面b能够在基准轴c上滑动。此外，3d模型a自身也可以构成为任意旋转并使断面平面b沿着固定的基准轴c进行滑动。无论哪种情况，断面平面b都能够表示3d模型a的任意的断面。进而，在焦面变更画面中示出断面平面b上的胚s的详细的断面图像159。

(步骤s6400)

通过经由cg操作输入部140的操作执行重新聚焦图标157(步骤s6400：是)，图像生成装置200a的图像操作部260将正在显示的断面平面b的位置决定为应该显示胚s的详细的断面图像的断面的位置。并且，图像生成装置200a的重新聚焦处理部220以及合焦图像生成部230生成以断面平面b为焦面的合焦图像即胚s的详细的断面图像，并显示于显示画面151(步骤s6500)。对于胚s的详细的断面图像的生成，也可以与实施方式1中的断面图像生成部270的生成同样地实施。然而，也可以使用存储在存储部120中的拍摄图像，实施以断面平面b为焦面的重新聚焦处理，由此生成胚s的详细的断面图像。另外，在未执行重新聚焦图标157的情况下(步骤s6400：否)，在显示部150的显示画面151中维持正在显示的胚s的断面图像。

另外，对于胚s的3d模型a的生成，也可以与实施方式1中的3d图像生成部250等的3d模型的生成同样地实施。

此外，作为本实施方式2的胚s的3d模型a的生成方法的另一例，举出以下这样的结构。

3d图像生成部250取得最佳断面决定部280求出的胚s的中心c1的位置、第1细胞s1的中心的位置c2以及第2细胞s2的中心的位置c3的信息。进而，3d图像生成部250从存储部120中取得在与图像传感器102的受光面垂直的方向上位于中心c1、c2和c3各自的正上方或者最接近正上方的位置的照明器101照明时的拍摄图像。3d图像生成部250在各拍摄图像中提取对比度最强的轮廓、具体是圆形状的轮廓。

从与中心c1的正上方或者最接近正上方的位置的照明器101的照明对应的拍摄图像中提取的轮廓，相当于经过胚s的中心的断面的轮廓，即，相当于在与图像传感器102的受光面垂直的方向上观察胚s时的平面形状的二维轮廓。由此，3d图像生成部250确定胚s的球形状。

同样地，从与中心c2的正上方或者最接近正上方的位置的照明器101的照明对应的拍摄图像中提取的轮廓，相当于经过第1细胞s1的中心的断面的轮廓，即，相当于在与图像传感器102的受光面垂直的方向上观察第1细胞s1时的平面形状的二维轮廓。由此，3d图像生成部250确定第1细胞s1的球形状。

从与中心c3的正上方或者最接近正上方的位置的照明器101的照明对应的拍摄图像中提取的轮廓，相当于经过第2细胞s2的中心的断面的轮廓，即，相当于在与图像传感器102的受光面垂直的方向上观察第2细胞s2时的平面形状的二维轮廓。由此，3d图像生成部250确定第2细胞s2的球形状。

由此，3d图像生成部250基于胚s、第1细胞s1以及第2细胞s2各自的中心位置以及球形状，生成胚s的3d模型a。此时，3d图像生成部250能够将胚s的3d模型a以能够确认第1细胞s1以及第2细胞s2的配置的半透明或者透明的状态进行显示。

[2-3.效果]

如上所述，根据本实施方式涉及的图像生成装置200a，可选定包含最多的作为拍摄对象物的胚s的特征点即细胞中心的断面，可显示所选定的断面的合焦图像。所显示的断面的合焦图像能够显示胚s的较多的特征。由此，图像生成装置200a能够自动地生成并提供对用户有益的信息。

[实施方式的变形例1]

接着，对实施方式1以及2的变形例1进行说明。本变形例是与图像生成系统的重新聚焦处理有关的变形例。在上述实施方式中，在图10的步骤s1350中选择了照明位置，而在本变形例中选择拍摄图像。以下，以与实施方式不同之处为中心来说明本变形例。

图45是表示实施方式的变形例1涉及的重新聚焦处理部220的工作的一例的流程图。在图45中，取代图10中的步骤s1340～步骤s1390而执行步骤s1341～步骤s1390。此外，在图16中，对与图10实质上相同的步骤标注相同的标号，适当省略说明。

在图45中，在全部拍摄图像都被用于加法运算处理的情况下(步骤s1341：是)，返回到步骤s1320。另一方面，在拍摄图像的任一个未被用于加法运算处理的情况下(步骤s1341：否)，进入步骤s1351。重新聚焦处理部220选择存储部120所存储的拍摄图像中的一个拍摄图像(步骤s1351)。在此，选择尚未被用于加法运算处理的拍摄图像。

重新聚焦处理部220从存储部120中取得与通过步骤s1351选择出的拍摄图像对应的照明位置信息(步骤s1359)。然后，除了没有通过步骤s1370取得图像的工作之外，与图10所示的工作相同。

如上所述，根据本变形例涉及的图像生成系统的重新聚焦处理方法，即使将照明位置的选择替换为拍摄图像的选择，也能够与实施方式1同样地，对合焦图像的各像素适用与该像素对应的多个拍摄图像的辉度值，能够生成对象物的高画质的合焦图像。

[实施方式的变形例2]

接着，对实施方式1以及2的变形例2进行说明。本变形例是与图像生成系统的重新聚焦处理有关的变形例。在上述实施方式中，在图10的步骤s1320以及步骤s1330中，依次选择了合焦图像内的像素，而在本变形例中，依次选择拍摄图像内的像素。也就是说，在本变形例中，与上述实施方式不同之处在于：首先选择拍摄图像内的像素，然后决定与该选择出的像素对应的焦面上的点。在与如此决定的焦面上的点对应的合焦图像内的像素上反映拍摄图像内被选择出的像素的辉度值。以下，以与实施方式1不同之处为中心来说明本变形例。

图46是表示实施方式1的变形例2涉及的重新聚焦处理部220的工作的一例的流程图。在图46中，对与图10实质上相同的步骤标注相同的标号，适当省略说明。

(步骤s1322)

重新聚焦处理部220判定对于通过步骤s1100拍摄到的全部图像是否结束了重新聚焦处理。重新聚焦处理是指从步骤s1322到步骤s1392的处理。在对于全部图像都已经结束了重新聚焦处理的情况下(步骤s1322：是)，重新聚焦处理部220进入步骤s1400。在对于通过步骤s1100拍摄到的图像的任一个图像未结束重新聚焦处理的情况下(步骤s1322：否)，重新聚焦处理部220进入步骤s1332。

(步骤s1332)

重新聚焦处理部220从存储在存储部120中的通过步骤s1100拍摄到的图像中选择一个拍摄图像(步骤s1332)。在此被选的一个拍摄图像是尚未进行重新聚焦处理的图像。以下，将通过步骤s1332选择出的一个图像称为选择图像。

(步骤s1333)

重新聚焦处理部220取得与选择图像对应的照明位置信息。例如，重新聚焦处理部220参照图6所示的图像与照明位置信息的对应关系来取得照明位置信息。在此，对取得了照明器101a的位置信息的情况进行说明。

(步骤s1342)

重新聚焦处理部220对于选择图像的全部像素判定是否结束了加法运算处理(步骤s1342)。在此，在对于选择图像的全部像素都结束了加法运算处理的情况下(步骤s1342：是)，结束加法运算处理并返回到步骤s1322。另一方面，在对于选择图像的任一个像素未结束加法运算处理的情况下(步骤s1342：否)，进入步骤s1352。加法运算处理是指从步骤s1342到步骤s1392的处理。

(步骤s1352)

重新聚焦处理部220对选择图像中的一个像素进行选择。在此被选的一个像素是尚未进行加法运算处理的像素。图47中示出与选择图像所包含的多个像素对应的受光面上的多个点1302a～1302e。在此，如图48所示，对从选择图像中选择出与受光面上的点1302a对应的像素的情况进行说明。此外，以后，将通过步骤s1352选择出的像素也表述为加法运算像素。

(步骤s1372)

如图48所示，重新聚焦处理部220计算连接受光面上的点1302a和照明器101a的位置的直线与焦面1100交叉的交点1303a的位置。以下，将交点1303a也表述为加法运算点。

(步骤s1382)

重新聚焦处理部220对与焦面上的加法运算点(交点1303a)对应的合焦图像内的一个以上的像素的辉度值加上与受光面上的点1302a对应的选择图像内的加法运算像素的辉度值。

例如，在合焦图像中，在交点1303a的位置与任何像素(整数像素)的位置都不一致的情况下，重新聚焦处理部220分别计算用于加到合焦图像中的与交点1303a相邻的多个像素上的辉度值。具体而言，重新聚焦处理部220以合焦图像的像素的排列为基准，决定与通过步骤s1372计算出的焦面上的加法运算点(交点1303a)对应的合焦图像内的位置。

例如，如图49那样将在合焦图像中被4个像素(像素a～像素d)包围的位置决定为加法运算点的位置。该情况下，重新聚焦处理部220计算合焦图像中的与加法运算点相邻的各像素(像素a～像素d)和加法运算点之间的距离。重新聚焦处理部220使用所计算出的距离和加法运算像素的辉度值，计算用于加到与加法运算点相邻的各像素上的辉度值。例如，重新聚焦处理部220以使得合焦图像内的与加法运算点相邻的像素和加法运算点之间的距离相对越大的像素则辉度值就相对越大的方式，计算用于加到各像素上的辉度值。具体而言，重新聚焦处理部220例如根据以下的式4来计算用于加到像素a上的辉度值la。

在此，a是合焦图像中的像素a与加法运算点之间的距离。b是合焦图像中的像素b与加法运算点之间的距离。c是合焦图像中的像素c与加法运算点之间的距离。d是像素d与加法运算点之间的距离。l是拍摄图像所包含的加法运算像素的辉度值。

(步骤s1392)

重新聚焦处理部220对合焦图像中的一个以上的像素的辉度值加上通过步骤s1382计算出的辉度值。

通过反复进行从步骤s1342到步骤s1392的处理，能够使选择图像中的全部像素的辉度值反映于合焦图像的像素的辉度值。

进一步，通过反复进行从步骤s1322到步骤s1392，对全部拍摄图像中的全部像素进行加法运算处理，能够生成焦面上的合焦图像。

参照图50来说明图46的流程图中的各步骤的具体例子。在此，对图像传感器102以及焦面等满足以下条件的情况进行说明。图像传感器102的受光面的长边(即与x轴平行的边)的长度为6mm，受光面的短边(即与y轴平行的边)的长度为4mm。焦面相对于x轴的倾斜为30度。焦面相对于y轴的倾斜为0度。焦面的面积与图像传感器102的受光面的面积相同。即，焦面是6mm×4mm的矩形的平面。焦面的一个短边如图50那样位于yz平面上，与y轴平行地延伸。焦面的另一个短边位于xy平面上，x坐标在约5.2mm的位置，与y轴平行地延伸。焦面的中心的坐标(x，y，z)为(2.6，2，1.5)。

在此，设为：通过步骤s1332选择了图像，通过步骤s1333取得了与图像对应的照明位置(7.5，2，10)，通过步骤s1352选择了加法运算像素(1.7，2，0)。该情况下，在步骤s1372中，计算经过加法运算像素(1.7，2，0)和照明位置(7.5，2.0，10)的直线与焦面交叉的交点即加法运算点的坐标(2.6，2，1.5)。然后，在步骤s1382中，对合焦图像中的加法运算点附近的像素的辉度值分配加法运算像素的辉度值并进行加法运算。

如上所述，根据本变形例，能够对与连接图像传感器102的受光面上的第1像素的位置和照明器的位置的直线与焦面交叉的交点的位置对应的合焦图像的一个以上的第2像素的辉度值适用拍摄图像的第1像素的辉度值。因此，能够将拍摄图像的各像素的辉度值反映于合焦图像的像素的辉度值，能够生成对象物的高画质的合焦图像。

[实施方式的变形例3]

接着，对实施方式1以及2的变形例3进行说明。本变形例是与图像生成系统有关的变形例。在本变形例中，与实施方式不同之处在于：根据所决定的焦面适应性地决定照明位置，使用位于所决定的照明位置的照明器来拍摄对象物。以下，以与实施方式不同之处为中心来说明本变形例。

[图像生成系统的构成]

图51是表示变形例3涉及的图像生成系统10b的功能结构的框图。在图51中，对与图1实质上相同的构成要素标注相同的标号，适当省略说明。图像生成系统10b具备拍摄装置100、图像生成装置200b、存储部120和显示部150。

[拍摄装置的构成]

拍摄装置100具备多个照明器101、按各像素记录光强度的图像传感器102、和拍摄控制部103。

拍摄控制部103按照从后述的照明范围决定部300取得的照明范围信息，控制多个照明器101以及图像传感器102的工作。具体而言，拍摄控制部103使得从位于不同位置的多个照明器101依次照射光。并且，每当从多个照明器101的任一个照明器照射光时，使图像传感器102拍摄对象物的图像。

[图像生成装置的构成]

图像生成装置200b具备焦面决定部210、照明范围决定部300、重新聚焦处理部220、合焦图像生成部230、对象物提取部240、3d图像生成部250、图像操作部260和断面图像生成部270。

照明范围决定部300决定与由焦面决定部210决定的焦面对应的照明位置。在此，参照图52以及图53来说明决定照明位置的具体例子。

图52是示意性表示变形例3中的照明位置的决定方法的说明图。图53是将透镜的焦距和景深的关系、与进行重新聚焦时的点光源的配置和景深的关系进行关联来表示的示意图。图53的(a)示出透镜的焦距和景深的关系，图53的(b)示出进行重新聚焦时的点光源的配置和景深的关系。

在图53中，f表示透镜的焦距。s表示被拍摄对象距离。t表示从透镜到成像面的距离。f表示f值。ε表示焦深的1/2。δ表示容许弥散圆直径。sn表示近点距离。sf表示远点距离。dn表示前景深。df表示后景深。

通过重新聚焦得到的景深由照明位置的分布范围的面积来决定。在图53的(b)中，由虚线表示的照明位置的分布范围与图53的(a)的透镜直径对应。在图53的(a)所示的透镜的情况下，由被拍摄对象(subject)表面反射的光通过透镜并在焦面(focalplane)上成像。景深(depthoffield)是前景深dn与后景深df之和。在本公开中，由于是透过光的拍摄下的重新聚焦，所以与图53的(a)的被拍摄对象的位置相当的是焦面。在图53的(b)中，图像传感器相比于焦面位于左侧。在本变形例中，在相比于点光源的排列位于图中右侧的位置，实际上什么也没有，但通过作为容许弥散圆而设定图像传感器的像素间距，能够计算景深。

例如，如图53所示，图52所示的用于生成焦面的合焦图像所需要的照明位置的范围，与平行于焦面地设置的透镜的大小对应。若使用透镜，则为了观测放置于焦点位置的被拍摄对象，需要在与拍摄对象相距5mm的位置放置直径10mm的透镜直径的情况下的照明位置的范围，由如下的圆来表示。也就是说，照明位置的范围如图52那样由与焦面平行、与焦面相距5mm、且以经过焦面中心的焦面的法线与平行于焦面的平面交叉的交点为中心的直径10mm的圆来表示。在实际的点光源的配置平面或者曲面(例如，图3所示的曲面、图4所示的平面)上，配置在对该照明位置的范围进行了映射的区域内的照明器的位置成为与由焦面决定部210决定的焦面相适合的照明位置。

[图像生成系统的重新聚焦工作]

接着，对如上述那样构成的图像生成系统10b的重新聚焦工作进行说明。图54是表示变形例3涉及的图像生成系统10b的重新聚焦工作的一例的流程图。在图54中，对与图7实质上相同的步骤标注相同的标号，适当省略说明。

如图54所示，首先，焦面决定部210决定焦面(步骤s1200)。

照明范围决定部300决定与通过步骤s1200决定的焦面对应的照明位置的范围(步骤s2200)。

拍摄装置100依次使用多个照明器101中的与通过步骤s2200决定的照明位置的范围对应的照明器，对对象物进行照明。并且，每当照明器对对象物进行照明时，拍摄装置100通过对到达了图像传感器102的受光面的光的强度进行记录，由此取得对象物的图像。所取得的图像与拍摄时对对象物进行过照明的照明器的位置信息一起存储于存储部120(步骤s2300)。具体而言，拍摄装置100的拍摄控制部103基于通过步骤s2200决定的照明位置的范围，从多个照明器101中选择包含在所决定的照明位置的范围内的2个以上的照明器。并且，拍摄控制部103按预定的顺序使所选择出的2个以上的照明器照射光，使图像传感器102进行拍摄。拍摄装置100通过反复进行对对象物的照明和对象物的拍摄，使用所决定的照明位置的范围内的照明器来取得对象物的图像。这之后的工作基本上与实施方式1的图7同样，因此省略说明。

如上所述，根据变形例3涉及的图像生成系统，能够基于焦面的信息来决定照明位置的范围，通过与所决定的照明位置的范围对应的照明器依次对对象物进行照明。因此，能够使用与焦面上的合焦图像的生成相适合的照明器来拍摄对象物，能够缩短拍摄时间。

(其他实施方式)

以上，基于实施方式以及变形例对一个或多个技术方案涉及的图像生成系统进行了说明，但本公开不限定于这些实施方式以及变形例。在不脱离本公开的主旨的范围内，在本实施方式以及变形例中实施本领域技术人员能想到的各种变形而得到的方式、或组合不同实施方式中的构成要素而构成的方式也可以包含在一个或多个技术方案的范围内。

本公开能够广泛利用于生成培养中的细胞或胚等细胞团的图像的装置，当在恒温箱(incubator)内拍摄对象物时是有用的。