图像生成装置、图像生成方法及程序与流程
本公开涉及无透镜显微镜的基于利用多个光源的多个拍摄图像来生成假想的对焦面上的对象物的图像的技术。
背景技术：
想要以不对培养细胞实施染色的方式连续地观察该培养细胞这一要求，在治疗用细胞的生成、药效的试验等将培养细胞用于医疗、产业的很多领域中存在。然而，由于细胞大多是几乎无色透明的，因此在基于透射光的光学显微镜下的拍摄中，难以获知培养细胞的立体构造。
在专利文献1中，示出了如下方法：为了评价细胞的截面形状，根据与物镜平行、且焦点的高度位置相对于对象物不同的多个图像(即，一边使焦点在对象物的高度方向上挪动、一边进行拍摄而得到的多个图像)，生成与物镜不平行的面的对焦图像(模拟截面图像)。
可是，对于培养细胞的连续观察，是在用于维持培养细胞用的湿润环境的培养箱这样的有限空间内进行的。为了在这样湿润的有限空间内进行观察，专利文献2公开了不使用透镜就能够观察微小细胞的无透镜显微镜。公开了使通过从多个不同的位置进行照射的照明而拍摄到的多个图像进行重合(ptychography，叠层成像)来提高分辨率的方法。
现有技术文献
专利文献
专利文献1：日本特开2013-101512号公报
专利文献2：美国专利申请公开第2014/0133702号说明书
技术实现要素：
然而，在专利文献1的方法中，存在使用者难以容易地掌握对象物的结构这一问题。
因此，本公开的非限定性且例示性的一个技术方案，提供能够供使用者容易地掌握对象物的结构的图像生成装置等。
本公开的一个技术方案涉及的图像生成装置，具备：多个照明器；具有载置对象物的表面的图像传感器；以及控制电路，其生成位于所述多个照明器与所述图像传感器之间的假想的焦面上的所述对象物的对焦图像，所述控制电路，(a)使用通过每当所述多个照明器依次照明所述对象物时由所述图像传感器进行的拍摄而得到的所述对象物的多个拍摄图像，生成预先确定的多个焦面的各焦面上的所述对象物的对焦图像，(b)提取显现在所生成的多个所述对焦图像中的所述对象物的至少一个截面的轮廓，(c)基于所述至少一个截面的轮廓，生成至少一个圆周，(d)生成球图像，所述球图像是具有所生成的所述至少一个圆周的各圆周的至少一个球的立体图像，(e)通过对所述球图像进行加工以使得表现出所述至少一个球的截面，从而生成合成图像，使所述合成图像显示于显示器。
此外，该总括性或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或计算机可读取的记录介质来实现，也可以通过装置、系统、方法、集成电路、计算机程序和计算机可读取的记录介质的任意组合来实现。计算机可读取的记录介质例如包括cd-rom(compactdisc-readonlymemory，光盘只读存储器)等非易失性记录介质。
根据本公开，使用者能够容易地掌握对象物的结构。从本说明书及附图中可知晓本公开的一个技术方案的附加的益处及优点。该益处和/或优点可以单独地由本说明书及附图所公开的各种实施方式及特征而得到，无需为了获得一个以上益处和/或优点而实施所有的实施方式及特征。
附图说明
图1是表示实施方式1涉及的图像生成系统的功能结构的一例的框图。
图2是示意性表示实施方式1涉及的照明器的构造的一例的图。
图3是示意性表示实施方式1涉及的照明器的构造的一例的图。
图4是示意性表示实施方式1涉及的照明器的构造的一例的图。
图5是说明实施方式1涉及的照明器所包含的针孔(pinhole)应满足的大小条件的示意图。
图6是表示实施方式1涉及的存储部所存储的内容的一例的图。
图7是表示实施方式1涉及的图像生成系统的工作的一例的流程图。
图8是表示坐标与焦面的关系的一例的示意图。
图9是表示实施方式1涉及的拍摄装置的工作的一例的流程图。
图10是表示实施方式1涉及的重新聚焦处理部的工作的一例的流程图。
图11是说明实施方式1涉及的重新聚焦(refocus)处理的具体例子的示意图。
图12是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。
图13是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。
图14是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。
图15是说明实施方式1涉及的重新聚焦处理的具体例子的示意图。
图16是表示实施方式1的变形例1涉及的重新聚焦处理部的工作的一例的流程图。
图17是表示实施方式1的变形例2涉及的重新聚焦处理部的工作的一例的流程图。
图18是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。
图19是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。
图20是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。
图21是说明实施方式1的变形例2涉及的重新聚焦处理的具体例子的示意图。
图22是表示实施方式2涉及的图像生成系统的功能结构的一例的框图。
图23是示意性表示实施方式2中的照明位置的范围的一例的图。
图24是将透镜的焦距和景深的关系、与进行重新聚焦时的点光源的配置和景深的关系进行关联来表示的示意图。
图25是表示实施方式2涉及的图像生成系统的工作的一例的流程图。
图26是表示实施方式2的变形例涉及的图像生成系统的功能结构的一例的框图。
图27是表示实施方式2的变形例涉及的图像生成系统的工作的一例的流程图。
图28是表示实施方式3涉及的图像生成系统的功能结构的一例的框图。
图29是表示实施方式3涉及的胚信息表的一例的图。
图30是表示实施方式3涉及的焦面决定部的工作的一例的流程图。
图31是表示实施方式3的变形例涉及的图像生成系统的功能结构的一例的框图。
图32是表示实施方式3的变形例涉及的细胞位置判定部的详细的功能结构的一例的框图。
图33是表示实施方式3的变形例涉及的焦面决定部的工作的一例的流程图。
图34是表示实施方式3的变形例涉及的与由焦面决定部进行的细胞配置的决定有关的处理的流程图。
图35a是4细胞期的胚的三维模型的侧视图。
图35b是4细胞期的胚的三维模型的侧视图。
图35c是4细胞期的胚的三维模型的俯视图。
图35d是4细胞期的胚的三维模型的立体图。
图36a是4细胞期的胚的三维模型的截面图。
图36b是4细胞期的胚的三维模型的截面图。
图37是4细胞期的胚的三维模型的立体图。
图38是4细胞期的胚的三维模型的截面图。
图39是实施方式4的图像生成系统的功能框图。
图40是表示由实施方式4中的合成图像生成部显示的合成图像的一例的图。
图41是表示实施方式4中的球图像生成部的详细的功能结构的框图。
图42是表示实施方式4中的球图像生成部的具体处理的一例的图。
图43是表示实施方式4中的显示器所显示的画面的一例的图。
图44是表示实施方式4的图像生成装置的工作的一例的流程图。
图45是表示图44的步骤s110中的球图像的生成的详细处理的流程图。
图46a是表示实施方式4的图像生成装置的硬件结构的一例的图。
图46b是表示实施方式4的图像生成装置所具备的控制电路的工作的一例的流程图。
标号的说明
10、20、30、40、50图像生成系统；100a、200a拍摄装置；100b、200b、300b、400b、500b图像生成装置；101多个照明器；101a、101b照明器；101aled光源；101b遮光板；101c针孔；101d准直透镜；101e光源；101f半球；101g近似点光源；101h平面；101j对焦点；102图像传感器；103、203拍摄控制部；110、210、410、510焦面决定部；111第1记录部；112输入部；120、320、525存储部；121第2记录部；130、230、530重新聚焦处理部；140、540图像生成部；150显示部；211、311照明范围决定部；212、312对象区域决定部；213、313处理范围切取部；420胚信息表；430计时部；511水平面决定部；513细胞位置判定部；514位置倾斜决定部；5213d模型数据库；522旋转处理部；5232d化处理部；524比较部；600b图像生成装置；610重新聚焦处理部；620球图像生成部；621轮廓提取部；622同一性判定部；623高度决定部；624形状决定部；625立体图像生成部；630合成图像生成部；710图像取得部；720早期胚模型；730焦面输入部；740操作部；760显示器；1000对象物；1100焦面；1102a、1102b、1102c、1102d、1102e、1302a、1302b、1302c、1302d、1302e点；1103a、1103b交点；1303a交点；3501、3502、3503、3504细胞。
具体实施方式
本公开的一个技术方案涉及的图像生成装置，具备：多个照明器；具有载置对象物的表面的图像传感器；以及控制电路，其生成位于所述多个照明器与所述图像传感器之间的假想的焦面上的所述对象物的对焦图像，所述控制电路，(a)使用通过每当所述多个照明器依次照明所述对象物时由所述图像传感器进行的拍摄而得到的所述对象物的多个拍摄图像，生成预先确定的多个焦面的各焦面上的所述对象物的对焦图像，(b)提取显现在所生成的多个所述对焦图像中的所述对象物的至少一个截面的轮廓，(c)基于所述至少一个截面的轮廓，生成至少一个圆周，(d)生成球图像，所述球图像是具有所生成的所述至少一个圆周的各圆周的至少一个球的立体图像，(e)通过对所述球图像进行加工以使得表现出所述至少一个球的截面，从而生成合成图像，使所述合成图像显示于显示器。
由此，对象物被模型化为球图像，例如包括球图像及其截面的合成图像被显示于显示器。其结果是，使用者通过观察该合成图像，能够容易地掌握对象物的结构。
另外，所述控制电路也可以，在所述(b)中，从显现在所生成的多个所述对焦图像的各对焦图像中的所述对象物的截面的轮廓中，提取在多个所述对焦图像的各对焦图像中位于相同位置且尺寸以及形状相同的多个轮廓，在所述(c)中，基于所提取出的所述多个轮廓中的具有最大边缘强度的轮廓来生成圆周。例如，在所述(c)中，所述控制电路生成与具有所述最大边缘强度的轮廓内接或外接的圆周。
由此，能够适当地提取对象物的轮廓来适用于圆周，能够将该圆周利用于对象物的模型化。
另外，所述控制电路也可以，在所述(d)中，生成包含如下球的立体图像的所述球图像，所述球与所生成的所述圆周具有相同的中心以及半径。
由此，能够针对对象物生成适当的球的立体图像。
另外，所述控制电路也可以，在所述(d)中，生成球面互不相交的多个球的立体图像来作为所述球图像。
由此，例如能够将胚的构造等模型化成球图像。
另外，也可以是，所述对象物是胚，所述至少一个球包括外球和至少一个内球，所述外球体现胚的外形，所述至少一个内球内含于所述外球且分别体现细胞的外形。
由此，使用者能够容易地掌握胚的结构。
另外，所述控制电路还可以，(f)根据使用者的操作，使正在显示的所述合成图像中的所述截面的位置在所述显示器上变更，(g)根据来自使用者的请求，使用所述多个拍摄图像生成与正显示在显示器上的所述截面对应的焦面上的所述对象物的对焦图像，使该对焦图像显示于显示器。
由此，使用者能够将该合成图像的截面变更到所希望的位置，能够使该位置处的对焦图像显示。因此，根据本技术方案，能够容易地显示对象物的使用者希望的截面处的对焦图像。
另外，本公开的一个技术方案涉及的图像生成系统，具备多个照明器、载置对象物的图像传感器和控制电路，生成位于所述多个照明器与所述图像传感器之间的假想的焦面上的所述对象物的对焦图像，所述多个照明器依次对所述对象物进行照明，每当所述多个照明器对所述对象物进行照明时，所述图像传感器取得所述对象物的拍摄图像，所述控制电路，(a)取得位于所述多个照明器与所述图像传感器之间的所述焦面的信息，(b)对构成所述对焦图像的多个像素，分别执行以下的(c)～(f)，(c)对所述多个照明器的位置，分别执行以下的(d)～(f)，(d)计算对象点的位置，所述对象点是连接所述焦面上的所述像素的位置和所述照明器的位置的直线与所述图像传感器的受光面交叉的交点，(e)基于所述图像传感器的受光面上的所述对象点的位置，计算从所述照明器的位置对所述对象物进行照明时所取得的拍摄图像中的所述对象点的亮度值，(f)将所述对象点的亮度值适用于所述像素的亮度值，(g)使用所述多个像素各自的亮度值的适用结果，生成所述焦面上的所述对象物的对焦图像，(h)输出所述生成的所述对象物的对焦图像。
根据本技术方案，能够将连接焦面上的像素的位置和照明器的位置的直线与图像传感器的受光面交叉的交点即对象点的亮度值适用于该像素的亮度值。因此，能够在假想的焦面上的对焦图像的各像素上反映与该像素对应的多个拍摄图像的亮度值，能够生成对象物的高画质的对焦图像。
本公开的一个技术方案涉及的图像生成系统，具备多个照明器、载置对象物的图像传感器和控制电路，生成位于所述多个照明器与所述图像传感器之间的假想的焦面上的所述对象物的对焦图像，所述多个照明器依次对所述对象物进行照明，每当所述多个照明器对所述对象物进行照明时，所述图像传感器取得所述对象物的拍摄图像，所述控制电路，(a)取得位于所述多个照明器与所述图像传感器之间的所述焦面的信息，(b)对多个所述拍摄图像，分别执行以下的(c)～(f)，(c)取得与所述拍摄图像对应的照明器的位置信息，(d)对所述拍摄图像所包含的多个第1像素，分别执行以下的(e)～(f)，(e)计算连接所述图像传感器的受光面上的所述第1像素的位置和所述照明器的位置的直线与所述焦面交叉的交点的位置，(f)对构成所述对焦图像的多个第2像素所包含的与所述焦面上的交点的位置对应的一个以上的第2像素的亮度值，适用所述第1像素的亮度值，(g)使用所述多个第2像素的亮度值的适用结果，生成所述焦面上的所述对象物的对焦图像，(h)输出所述生成的所述对象物的对焦图像。
根据本技术方案，能够对与连接图像传感器的受光面上的第1像素的位置和照明器的位置的直线与焦面交叉的交点的位置对应的对焦图像的一个以上的第2像素的亮度值，适用拍摄图像的第1像素的亮度值。因此，能够将拍摄图像的各像素的亮度值反映于对焦图像的像素的亮度值，能够生成对象物的高画质的对焦图像。
例如，也可以是，所述多个照明器分别具备光源和遮光板，所述遮光板位于所述光源与所述对象物之间，并具有针孔，所述多个照明器分别通过所述光源经由所述针孔对所述对象物照射漫射光。
根据本技术方案，能够从光源经由针孔向对象物照射漫射光。因此，能够防止表示从照明器照射的光的多条光线发生交错，能够使对象物的拍摄图像的画质提高，也能够使对焦图像的画质提高。
例如，也可以是，所述图像生成系统还具备显示器，所述显示器对从所述控制电路输出的所述对焦图像进行显示。
根据本技术方案，能够显示对焦图像。
例如，也可以是，进一步，基于所述焦面的信息，决定照明位置的范围，所述多个照明器中的与所述照明位置的范围对应的照明器依次对所述对象物进行照明。
根据本技术方案，能够基于焦面的信息来决定照明位置的范围，通过与所决定出的照明位置的范围对应的照明器依次对对象物进行照明。因此，能够使用与焦面上的对焦图像的生成相适合的照明器来拍摄对象物，能够缩短拍摄时间。
此外，这些总括性或具体的技术方案既可以通过装置、方法、集成电路、计算机程序或计算机可读取的cd-rom等记录介质来实现，也可以通过装置、方法、集成电路、计算机程序或记录介质的任意组合来实现。
以下，参照附图对本公开的一个技术方案涉及的图像生成系统进行具体说明。
此外，以下说明的实施方式都表示总括性或具体的例子。以下的实施方式中示出的数值、形状、构成要素、构成要素的配置以及连接形态、步骤、步骤的顺序等是一例，并非限定权利要求书的意思。另外，关于以下的实施方式中的构成要素中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。
(实施方式1)
在实施方式1中，多个照明器依次对位于图像传感器上的对象物进行照明，使用通过在每次照明时拍摄对象物而得到的多个拍摄图像，生成位于多个照明器与图像传感器之间的假想的焦面上的对象物的图像。以下，将该使用多个拍摄图像生成的图像也称为对焦图像。
[图像生成系统的结构]
图1是实施方式1涉及的图像生成系统的功能框图。图1所示的图像生成系统10具备拍摄装置100a、图像生成装置100b、存储部120和显示部150。图像生成系统10还可以具有：存储有预先确定的焦面的信息的第1记录部111、记录重新聚焦(refocus)处理完的像素的信息的第2记录部121、和受理用于指定焦面的指定信息的输入的输入部112。
[拍摄装置的结构]
首先，对拍摄装置100a的结构进行说明。拍摄装置100a具备：多个照明器101、图像传感器102和拍摄控制部103。拍摄装置100a取得对象物的拍摄图像(photographicimage)。在此，拍摄部100不具有聚焦透镜。
对象物例如是配置在图像传感器102上的多个半透明的物质。多个物质以三维重叠的方式排布。物质的具体例子是细胞。
多个照明器101分别是输出平行光的照明器或者输出漫射光的照明器。多个照明器101包括第1照明器和第2照明器。第1照明器和第2照明器分别照射不交错的光。即，表示从第1照明器照射的第1光的多条第1光线互不相交。另外，表示从第2照明器照射的第2光的多条第2光线也互不相交。因此，在从第1照明器和第2照明器的某一方照射了光的情况下，来自第1照明器和第2照明器的该一方的光从单个方向到达图像传感器102所包含的一个像素。也就是说，不会是光从2个以上的方向到达一个像素。
以下，将这样的照明称为非交错照明。非交错照明例如能够通过平行光或来自点光源的漫射光来实现。多个照明器101依次照射光。多个照明器101配置在互不相同的位置，从互不相同的方向对对象物照射光。
图像传感器102具有多个像素。图像传感器102的各像素配置于受光面，取得从多个照明器101照射的光的强度。图像传感器102基于由各像素取得的光的强度来取得拍摄图像。
图像传感器102的例子是cmos(complementarymetal-oxidesemiconductor，互补金属氧化物半导体)图像传感器或者ccd(chargecoupleddevice)图像传感器。
拍摄控制部103控制由多个照明器101进行的光的照射和由图像传感器102进行的拍摄。具体而言，拍摄控制部103按照多个照明器101照射光的顺序，控制多个照明器101照射光的时间间隔。拍摄控制部103由包括cpu(centralprocessingunit，中央处理单元)、ram(randomaccessmemory，随机存取存储器)、rom(read-onlymemory，只读存储器)等的计算机系统(未图示)构成。拍摄控制部103的构成要素的一部分或者全部的功能可以通过cpu将ram用作工作用的存储器并执行rom所记录的程序来实现。另外，拍摄控制部103的构成要素的一部分或者全部的功能也可以通过专用的硬件电路来实现。
从相对于图像传感器102的受光面配置在互不相同的位置的多个照明器101照射的光，相对于受光面以不同的入射角入射。在多个照明器101照射平行光的情况下，多个照明器101照射相对于图像传感器102的受光面的入射角互不相同的平行光。例如，如图2所示，平行光通过使从led光源101a经由形成于遮光板101b的针孔101c射出的光被准直透镜(collimatorlens)101d折射来得到。
图3是说明多个照明器101的构造的一例的示意图。在图3的多个照明器101的例子中，照射平行光的多个光源101e相对于图像传感器102的受光面以不同的角度进行固定。在图3的例子中，多个光源101e配置于覆盖图像传感器102的半球101f的内面。从多个光源101e到达图像传感器102的受光面的光的向受光面入射的入射角互不相同。
图4是说明多个照明器101的构造的另一例的示意图。在图4的多个照明器101的例子中，多个近似点光源101g朝向图像传感器102侧地配置在与图像传感器102的受光面平行的平面101h上的不同位置。来自多个近似点光源101g的光相对于图像传感器102的受光面的各像素从不同的方向入射。多个近似点光源101g分别例如通过在led光源101a的附近配置具有针孔101c的遮光板101b来实现。针孔101c的大小通过图像传感器102的像素间距、图像传感器102与针孔101c的距离、生成对焦图像的点的距图像传感器102的距离来限制。
图5是说明针孔应满足的大小的条件的示意图。在此，d1表示针孔101c的直径。h1表示从图像传感器102的受光面到针孔101c为止的距离。h2表示从图像传感器102的受光面到对焦点101j(即，对焦图像中的任意像素的位于焦面上的点)为止的距离。d2表示从针孔101c透过对焦点到达图像传感器102的受光面的光的扩散直径。p表示图像传感器102的像素间距。
此时，理想的是，从针孔101c射出的光通过对焦点101j到达图像传感器102的受光面的一个点。即，希望从针孔101c射出的光通过对焦点101j只到达图像传感器102的一个像素。因此，希望d2为不超过图像传感器的像素间距p的大小。也就是说，如以下的式1所示，d2<p是用于实现非交错照明的条件。
d1应满足的条件能够通过将该式1进行变形来表示为以下的式2。
例如，在像素间距p为0.001mm、从图像传感器102的受光面到针孔101c为止的距离h1为2mm、从图像传感器102到对焦点101j为止的距离h2为0.1mm的情况下，针孔的直径d1也可以小于0.19mm。
[图像生成装置的结构]
接着，对图像生成装置100b的结构进行说明。图像生成装置100b通过控制电路来实现。如图1所示，图像生成装置100b具备焦面决定部110、重新聚焦处理部130和图像生成部140。
焦面决定部110例如通过控制电路或者处理器来实现，决定位于多个照明器101与图像传感器102之间的假想的焦面。具体而言，焦面决定部110例如基于记录在第1记录部111中的预先确定的焦面的信息来决定焦面。另外，例如，焦面决定部110也可以按照经由输入部112从外部输入的信息来决定焦面。
存储部120例如通过半导体存储器或者硬盘驱动器等来实现，将由图像传感器102拍摄到的图像与在该拍摄中使用的照明器的位置信息一起进行存储。
图6表示存储部120所存储的内容的一例。按由拍摄部100拍摄到的各图像文件，存储有在该图像文件的取得时所使用的照明器的位置信息。在图6的例子中，照明器的位置信息表示相对于图像传感器102的相对的位置。以下，将该照明器的位置信息也称为照明位置信息。照明位置信息是与图像文件的文件id一起存储的，照明位置信息通过文件id来与图像数据关联。此外，照明位置信息也可以记录在图像文件的一部分(例如头信息)中。
重新聚焦处理部130例如通过控制电路或者处理器来实现，根据多个图像、多个照明器101的位置信息、和假想的焦面的信息，计算构成该焦面上的对焦图像的各像素的光的强度。后面叙述该重新聚焦处理的详细情况。
图像生成部140例如通过控制电路或者处理器来实现，根据由重新聚焦处理部130计算出的各像素的亮度值来生成焦面上的对焦图像。
显示部150通过显示器来实现，显示由图像生成部140生成的对焦图像。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统10的工作进行说明。图7是表示实施方式1涉及的图像生成系统10的工作的一例的流程图。图8是表示坐标与焦面的关系的一例的示意图。
(步骤s1100)
首先，拍摄部100依次使用多个照明器101对对象物进行照明，拍摄该对象物的多个图像。具体而言，拍摄部100在多个照明器101的各照明器每次对对象物进行照明时，记录到达图像传感器102的受光面的光的强度，由此取得对象物的图像。所取得的图像与拍摄时对对象物进行了照明的照明器的位置信息一起由存储部120存储。在此，多个照明器101的位置相对于图像传感器102是固定的，多个照明器101各自的位置信息被预先确定。后面叙述拍摄处理的详细情况。
(步骤s1200)
焦面决定部110决定焦面。具体而言，焦面决定部110决定焦面相对于图像传感器102的位置以及倾斜(角度)。例如，焦面决定部110可以基于存储在第1记录部111中的预先确定的焦面的信息来决定焦面。或者，焦面决定部110也可以基于通过输入部112从使用者受理的指定焦面的指定信息来决定焦面。
焦面相当于生成对焦图像的假想的面。也就是说，焦面上的对象物的对焦图像所包含的多个像素与焦面上的多个点一一对应。
例如，焦面决定部110使用焦面的角度以及位置来决定焦面。焦面的角度以及位置，例如通过图8所示的xyz空间来定义。
在图8中，xy平面与图像传感器102的受光面一致。z轴与图像传感器102的受光面正交。此时，焦面的角度在以图像传感器102的受光面的中心为原点的xyz空间中，以相对于x轴以及y轴的角度来定义。焦面的位置由焦面的中心点的坐标来定义。
(步骤s1300)
重新聚焦处理部130，基于多个拍摄图像、多个照明器101的位置信息和焦面的信息，进行重新聚焦处理，求出焦面上的各点的亮度。后面叙述重新聚焦处理的详细情况。
(步骤s1400)
图像生成部140基于通过步骤s1300进行的重新聚焦处理的结果，生成能够向显示器等输出的图像数据。图像生成部140将所生成的图像数据输出给显示部150。
(步骤s1500)
显示部150显示通过步骤s1400生成的图像。
[拍摄处理]
在此说明步骤s1100的拍摄部100的工作的详细情况。图9是表示拍摄装置100a的工作的一例的流程图。
(步骤s1110)
拍摄控制部103参照预先确定的多个照明位置、或者通过未图示的外部输入指定的多个照明位置的列表(以下，称为照明位置列表)，判定被从各照明位置进行了照明的对象物的拍摄是否已结束。多个照明器101与照明位置列表所包含的多个照明位置一一对应。
在此，在基于从照明位置列表所包含的全部照明位置进行的照明的拍摄结束的情况下(步骤s1110：是)，进入步骤s1200。另一方面，在基于从照明位置列表内的任一个照明位置进行的照明的拍摄未结束的情况下(步骤s1110：否)，进入步骤s1120。
(步骤s1120)
拍摄控制部103从照明位置列表所包含的多个照明位置中选择尚未进行照明的照明位置，向多个照明器101输出控制信号。此外，拍摄控制部103在存在多个尚未进行照明的照明位置的情况下，选择一个照明位置。在照明位置列表中，各照明位置例如由按各照明位置分配的编号来表示。或者，各照明位置例如通过图8所示的xyz空间中的坐标值来表示。照明位置的选择例如按列表的升序来进行。
(步骤s1130)
多个照明器101按照在步骤s1120中从拍摄控制部103输出的控制信号，开始向对象物的照明。也就是说，位于通过步骤s1120选择出的照明位置的照明器开始照射光。
(步骤s1140)
在由照明器对对象物进行照明的期间，图像传感器102取得通过从该照明器透过了对象物的光而形成的图像。
(步骤s1150)
然后，拍摄控制部103向多个照明器101输出控制信号，停止向对象物的照明。此外，照明的停止也可以不按照来自拍摄控制部103的控制信号来进行。例如，多个照明器101也可以对从开始照明起的时间长度进行计时，在计时得到的时间长度超过了预先确定的时间长度之后主动停止照明。或者，也可以，在步骤s1140中图像传感器102结束了图像的取得之后，图像传感器102，将用于停止照明的控制信号输出给多个照明器101。
(步骤s1160)
接着，拍摄控制部103将通过步骤s1140取得的图像和在步骤s1130中使用的照明器的位置信息输出给存储部120。并且，存储部120将图像数据和照明位置的信息进行关联并存储。在步骤s1160之后，返回到步骤s1110。
通过反复进行从步骤s1110到步骤s1160的处理，从照明位置列表所包含的全部照明位置的照明器依次对对象物照射光，每当对对象物照射光时取得图像。
[重新聚焦处理]
进一步，说明步骤s1300的重新聚焦处理部130的工作的详细情况。图10是表示实施方式1涉及的重新聚焦处理部130的工作的一例的流程图。图11～图15是说明重新聚焦处理的计算方法的具体例子的示意图。
以下，参照图11～图15对图10的各步骤进行说明。
(步骤s1310)
重新聚焦处理部130从焦面决定部110取得通过步骤s1200决定的焦面的信息。
焦面的信息例如包含焦面的中心的坐标值和表示焦面的倾斜的值。焦面的倾斜例如由焦面和xz平面的交线与x轴所成的角度来表示。另外，例如，焦面的倾斜由焦面和yz平面的交线与y轴所成的角度来表示。焦面的中心的坐标值是与对焦图像的中心的像素对应的焦面上的点的坐标值。
图11表示拍摄部100以及对象物1000的xz平面上的截面图的一例。对象物1000位于照明器101a、101b和图像传感器102之间，并且位于图像传感器102上。重新聚焦处理部130取得焦面1100的信息。
(步骤s1320)
重新聚焦处理部130判定对于对焦图像所包含的全部像素是否结束了重新聚焦处理。在此，重新聚焦处理是指从步骤s1320到步骤s1390的处理。
在对于对焦图像所包含的全部像素都结束了重新聚焦处理的情况下(步骤s1320：是)，重新聚焦处理部130结束重新聚焦处理(进入步骤s1400)。
在对于对焦图像所包含的任一个像素未结束重新聚焦处理的情况下(步骤s1320：否)，重新聚焦处理部130继续进行重新聚焦处理(进入步骤s1330)。
对焦图像包含多个像素。对焦图像所包含的多个像素与焦面上的多个点一一对应。图12表示与对焦图像所包含的多个像素对应的、焦面1100上的多个点1102a～1102e。此外，图12所示的焦面1100上的多个点1102a～1102e是对象物1000上的点，而不在对象物1000上的点也可以与对焦图像的像素对应。
(步骤s1330)
重新聚焦处理部130从对焦图像所包含的多个像素中选择一个像素。在此被选的一个像素是对焦图像所包含的多个像素中的尚未执行重新聚焦处理的像素。此外，对焦图像的像素值的初始值为0。
例如，在图1所示的第2记录部121中，存储有对焦图像中的已经执行了重新聚焦处理的像素的信息。在后述的步骤s1390的处理之后，重新聚焦处理部130将进行了重新聚焦处理的像素的信息记录于第2记录部121。重新聚焦处理部130参照记录在第2记录部121中的像素的信息，选择尚未执行重新聚焦处理的像素。以下，如图13所示，对选择了与点1102a对应的像素的情况进行说明。另外，将与点1102a对应的像素也表示为选择像素。
(步骤s1340)
重新聚焦处理部130判定对全部照明位置的加法运算处理是否已结束。
在此，在对全部照明位置的加法运算处理已结束的情况下(步骤s1340：是)，重新聚焦处理部130的处理返回到步骤s1320。
另一方面，在对任一个照明位置的加法运算处理未结束的情况下(步骤s1340：否)，重新聚焦处理部130继续进行加法运算处理(进入步骤s1350)。在此，加法运算处理是指从步骤s1340到步骤s1390的处理。
(步骤s1350)
重新聚焦处理部130从已用于拍摄的全部照明位置中选择尚未结束加法运算处理的照明位置。
(步骤s1360)
重新聚焦处理部130计算经过所选择出的照明位置和焦面上的选择像素的位置的直线与图像传感器102的受光面交叉的点的位置。
图14表示经过照明器101a的位置和对应于选择像素的点1102a的直线1200与图像传感器102的受光面交叉的交点1103a。以下，将交点1103a也表示为进行加法运算处理的对象的点即对象点。
图像传感器102的受光面上的对象点例如由图8所示的xy平面上的坐标值来表示。
(步骤s1370)
重新聚焦处理部130从存储部120中取得与所选择出的照明位置对应的图像。也就是说，重新聚焦处理部130从存储部120中取得使用位于所选择出的照明位置的照明器拍摄到的图像。具体而言，重新聚焦处理部130按照图6所示的照明位置信息与图像的对应关系，取得存储部120所存储的图像。例如，重新聚焦处理部130取得与图13所示的照明器101a的位置对应的图像。
(步骤s1380)
重新聚焦处理部130决定通过步骤s1360计算出的图像传感器102上的对象点的拍摄图像中的位置。具体而言，重新聚焦处理部130以拍摄图像的像素的排列为基准来决定拍摄图像中的对象点的位置。
在拍摄图像中的对象点的位置位于多个像素的中间位置的情况下，重新聚焦处理部130通过使用与对象点的位置相邻的多个像素的亮度值进行插值处理，由此计算拍摄图像中的对象点的亮度值。具体而言，重新聚焦处理部130例如求出与对象点相邻的多个像素(例如4个像素)的各个像素与对象点的距离，对各像素的亮度值乘以对象点与各像素的距离之比并进行加法运算，由此求出拍摄图像中的对象点的亮度值。
图15是用于说明步骤s1380中的对象点的亮度值的计算的示意图。在图15中，与对象点相邻的4个像素即像素a～像素d与对象点的距离分别表示为a、b、c以及d。该情况下，对象点的亮度值lt通过以下的式3来求出。
在此，la、lb、lc以及ld分别表示像素a、像素b、像素c以及像素d的亮度值。
(步骤s1390)
重新聚焦处理部130对对焦图像上的选择像素的亮度值加上通过步骤s1380计算出的对象点的亮度值。
通过反复进行从步骤s1340到步骤s1390的处理，对于全部照明位置，将对选择像素的亮度值加上所拍摄到的图像中的对象点的亮度值而得到的结果计算为选择像素的亮度值。
通过这样的加法运算处理，对于焦面上的各点，将通过从多个方向透过了该点的的光形成的多个图像重叠于对焦图像的一个像素。
在图14中，从照明器101a照射的光透过与选择像素对应的焦面1100上的点1102a到达图像传感器102的受光面上的对象点(交点1103a)。因此，在通过照明器101a拍摄到的图像中的对象点(交点1103a)的位置，包含焦面1100上的点1102a处的图像。
另外，在图14中，从照明器101b照射的光透过与选择像素对应的焦面1100上的点1102a到达图像传感器102的受光面上的对象点(交点1103b)。因此，在通过照明器101b拍摄到的图像中的对象点(交点1103b)的位置，包含焦面1100上的点1102a处的图像。
通过对这样的对象点(交点1103a)处的图像(亮度值)以及对象点(交点1103b)处的图像(亮度值)进行加法运算，将通过来自多个方向的光形成的多个图像重叠于对焦图像的选择像素。
[效果]
如上所述，根据本实施方式涉及的图像生成系统，能够将连接焦面上的像素的位置和照明器的位置的直线与图像传感器102的受光面交叉的交点即对象点的亮度值适用于该像素的亮度值。因此，能够在假想的的焦面上的对焦图像的各像素上反映与该像素对应的多个拍摄图像的亮度值，能够生成对象物的高画质的对焦图像。
(实施方式1的变形例1)
接着，对实施方式1的变形例1进行说明。在上述实施方式1中，在图10的步骤s1350中选择了照明位置，而在本变形例中选择拍摄图像。以下，以与实施方式1不同之处为中心来说明实施方式1的变形例1。
图16是表示实施方式1的变形例1涉及的重新聚焦处理部的工作的一例的流程图。在图16中，取代图10中的步骤s1340～步骤s1390而执行步骤s1341～步骤s1390。此外，在图16中，对与图10实质上相同的步骤标注相同的标号，适当省略说明。
在图16中，在全部拍摄图像都被用于加法运算处理的情况下(步骤s1341：是)，返回到步骤s1320。另一方面，在拍摄图像的任一个未被用于加法运算处理的情况下(步骤s1341：否)，进入步骤s1351。重新聚焦处理部130选择存储部120所存储的拍摄图像中的一个拍摄图像(步骤s1351)。在此，选择尚未被用于加法运算处理的拍摄图像。
重新聚焦处理部130从存储部120中取得与通过步骤s1351选择出的拍摄图像对应的照明位置信息(步骤s1359)。然后，除了没有通过步骤s1370取得图像的工作之外，与图10所示的工作相同。
如上所述，根据本变形例涉及的图像生成系统，即使将照明位置的选择替换为拍摄图像的选择，也能够与实施方式1同样地，对对焦图像的各像素适用与该像素对应的多个拍摄图像的亮度值，能够生成对象物的高画质的对焦图像。
(实施方式1的变形例2)
接着，对实施方式1的变形例2进行说明。在上述实施方式1中，在图10的步骤s1320以及步骤s1330中，依次选择了对焦图像内的像素，而在本变形例中，依次选择拍摄图像内的像素。也就是说，在本变形例中，与上述实施方式1不同之处在于：首先选择拍摄图像内的像素，然后决定与该选择出的像素对应的焦面上的点。在与如此决定出的焦面上的点对应的对焦图像内的像素上反映拍摄图像内被选择出的像素的亮度值。以下，以与实施方式1不同之处为中心来说明实施方式1的变形例2。
图17是表示实施方式1的变形例2涉及的重新聚焦处理部的工作的一例的流程图。在图17中，对与图10实质上相同的步骤标注相同的标号，适当省略说明。
(步骤s1322)
重新聚焦处理部130判定对于通过步骤s1100拍摄到的全部图像是否结束了重新聚焦处理。重新聚焦处理是指从步骤s1322到步骤s1392的处理。在对于全部图像都已经结束了重新聚焦处理的情况下(步骤s1322：是)，重新聚焦处理部130进入步骤s1400。在对于通过步骤s1100拍摄到的图像的任一个图像未结束重新聚焦处理的情况下(步骤s1322：否)，进入步骤s1332。
(步骤s1332)
重新聚焦处理部130从存储在存储部120中的通过步骤s1100拍摄到的图像中选择一个拍摄图像(步骤s1332)。在此被选择的一个拍摄图像是尚未进行重新聚焦处理的图像。以下，将通过步骤s1332选择出的一个图像称为选择图像。
(步骤s1333)
重新聚焦处理部130取得与选择图像对应的照明位置信息。例如，重新聚焦处理部130参照图6所示的图像与照明位置信息的对应关系来取得照明位置信息。在此，对取得了照明器101a的位置信息的情况进行说明。
(步骤s1342)
重新聚焦处理部130对于选择图像的全部像素判定是否结束了加法运算处理(步骤s1342)。在此，在对于选择图像的全部像素都结束了加法运算处理的情况下(步骤s1342：是)，结束加法运算处理并返回到步骤s1322。另一方面，在对于选择图像的任一个像素未结束加法运算处理的情况下(步骤s1342：否)，进入步骤s1352。加法运算处理是指从步骤s1342到步骤s1392的处理。
(步骤s1352)
重新聚焦处理部130对选择图像中的一个像素进行选择。在此被选择的一个像素是尚未进行加法运算处理的像素。
图18中示出与选择图像所包含的多个像素对应的受光面上的多个点1302a～1302e。在此，如图19所示，对从选择图像中选择出与受光面上的点1302a对应的像素的情况进行说明。此外，以后，将通过步骤s1352选择出的像素也表示为加法运算像素。
(步骤s1372)
如图19所示，重新聚焦处理部130计算连接受光面上的点1302a和照明器101a的位置的直线与焦面1100交叉的交点1303a的位置。以下，将交点1303a也表示为加法运算点。
(步骤s1382)
重新聚焦处理部130对与焦面上的加法运算点(交点1303a)对应的对焦图像内的一个以上的像素的亮度值加上与受光面上的点1302a对应的选择图像内的加法运算像素的亮度值。
例如，在对焦图像中，在交点1303a的位置与任何像素(整数像素)的位置都不一致的情况下，重新聚焦处理部130分别计算用于加到在对焦图像上与交点1303a相邻的多个像素上的亮度值。具体而言，重新聚焦处理部130以对焦图像的像素的排列为基准，决定与通过步骤s1372计算出的焦面上的加法运算点(交点1303a)对应的对焦图像内的位置。
例如，如图20那样将在对焦图像中被4个像素(像素a～像素d)包围的位置决定为加法运算点的位置。该情况下，重新聚焦处理部130计算在对焦图像中与加法运算点相邻的各像素(像素a～像素d)和加法运算点之间的距离。重新聚焦处理部130使用所计算出的距离和加法运算像素的亮度值，计算用于加到与加法运算点相邻的各像素上的亮度值。例如，重新聚焦处理部130以使得在对焦图像内与加法运算点相邻的像素和加法运算点之间的距离相对越大的像素则亮度值就相对越大的方式，计算用于加到各像素上的亮度值。具体而言，重新聚焦处理部130例如根据以下的式4来计算用于加到像素a上的亮度值la。
在此，a是对焦图像中的像素a与加法运算点之间的距离。b是对焦图像中的像素b与加法运算点之间的距离。c是对焦图像中的像素c与加法运算点之间的距离。d是像素d与加法运算点之间的距离。l是拍摄图像所包含的加法运算像素的亮度值。
(步骤s1392)
重新聚焦处理部130对对焦图像中的一个以上的像素的亮度值加上通过步骤s1382计算出的亮度值。
通过反复进行从步骤s1342到步骤s3192的处理，能够使选择图像中的全部像素的亮度值反映于对焦图像的像素的亮度值。
进一步，通过反复进行从步骤s1322到步骤s1392，对全部拍摄图像中的全部像素进行加法运算处理，能够生成焦面上的对焦图像。
参照图21来说明图17的流程图中的各步骤的具体例子。在此，对图像传感器102以及焦面等满足以下条件的情况进行说明。图像传感器102的受光面的长边(即与x轴平行的边)的长度为6mm，受光面的短边(即与y轴平行的边)的长度为4mm。焦面相对于x轴的倾斜为30度。焦面相对于y轴的倾斜为0度。焦面的面积与图像传感器102的受光面的面积相同。即，焦面是6mm×4mm的矩形的平面。焦面的一个短边如图21那样位于yz平面上，与y轴平行地延伸。焦面的另一个短边位于xy平面上，x坐标在约5.2mm的位置，与y轴平行地延伸。焦面的中心的坐标(x，y，z)为(2.6，2，1.5)。
在此，设为：通过步骤s1332选择了图像，通过步骤s1333取得了与图像对应的照明位置(7.5，2，10)，通过步骤s1352选择了加法运算像素(1.7，2，0)。该情况下，在步骤s1372中，计算通过加法运算像素(1.7，2，0)和照明位置(7.5，2.0，10)的直线与焦面交叉的交点即加法运算点的坐标(2.6，2，1.5)。然后，在步骤s1382中，对对焦图像中的加法运算点的附近的像素的亮度值分配加法运算像素的亮度值并进行加法运算。
如上所述，根据本变形例涉及的图像生成系统，能够对与连接图像传感器102的受光面上的第1像素的位置和照明器的位置的直线与焦面交叉的交点的位置对应的对焦图像的一个以上的第2像素的亮度值适用拍摄图像的第1像素的亮度值。因此，能够将拍摄图像的各像素的亮度值反映于对焦图像的像素的亮度值，能够生成对象物的高画质的对焦图像。
(实施方式2)
接着，对实施方式2进行说明。在实施方式2中，与实施方式1不同之处在于：根据所决定出的焦面适应性地决定照明位置，使用位于所决定出的照明位置的照明器来拍摄对象物。以下，以与实施方式1不同之处为中心来说明实施方式2。
[图像生成系统的结构]
图22是表示实施方式2涉及的图像生成系统20的功能结构的框图。在图22中，对与图1实质上相同的构成要素标注相同的标号，适当省略说明。
图像生成系统20具备拍摄装置200a、图像生成装置200b、存储部120和显示部150。
[拍摄装置的结构]
拍摄装置200a具备多个照明器101、按各像素记录光的强度的图像传感器102、和拍摄控制部203。
拍摄控制部203按照从后述的照明范围决定部211取得的照明范围信息，控制多个照明器101以及图像传感器102的工作。具体而言，拍摄控制部203从位于不同位置的多个照明器101依次照射光。并且，每当从多个照明器101的任一个照明器照射光时，使图像传感器102拍摄对象物的图像。
拍摄控制部203也可以与实施方式1的拍摄控制部103同样地，例如由包括cpu、ram、rom等的计算机系统(未图示)构成。拍摄控制部203的构成要素的一部分或者全部的功能可以通过cpu将ram用作工作用的存储器并执行rom所记录的程序来实现。另外，拍摄控制部203的构成要素的一部分或者全部的功能也可以通过专用的硬件电路来实现。
[图像生成装置的结构]
图像生成装置200b具备焦面决定部210、照明范围决定部211、重新聚焦处理部130和图像生成部140。
焦面决定部210例如通过控制电路或者处理器来实现，决定位于多个照明器101和图像传感器102之间的假想的焦面。具体而言，焦面决定部210基于预先确定的焦面的信息来决定焦面。另外，例如，焦面决定部210也可以按照从外部输入的信息来决定焦面。
照明范围决定部211决定与由焦面决定部210决定出的焦面对应的照明位置。在此，参照图23以及图24来说明决定照明位置的具体例子。
图23是示意性表示实施方式2中的照明位置的决定方法的说明图。图24是将透镜的焦距和景深的关系、与进行重新聚焦时的点光源的配置和景深的关系进行关联来表示的示意图。图24的(a)示出透镜的焦距和景深的关系，图24的(b)示出进行重新聚焦时的点光源的配置和景深的关系。
在图24中，f表示透镜的焦距。s表示被拍摄对象距离。t表示从透镜到成像面的距离。f表示f数。ε表示焦深的1/2。δ表示容许弥散圆直径。sn表示近点距离。sf表示远点距离。dn表示前景深。df表示后景深。
因重新聚焦得到的景深由照明位置的分布范围的面积来决定。在图24的(b)中，由虚线表示的照明位置的分布范围与图24的(a)的透镜直径对应。在图24的(a)所示的透镜的情况下，在被拍摄对象(subject)表面反射的光通过透镜并在焦面(focalplane)上成像。景深(depthoffield)是前景深dn与后景深df之和。在本公开中，由于是透射光的拍摄下的重新聚焦，所以与图24的(a)的被拍摄对象的位置相当的是焦面。在图24的(b)中，图像传感器相比于焦面位于左侧。在本实施方式中，在相比于点光源的排列位于图中右侧的位置，实际上什么也没有，但通过作为弥散圆而设定图像传感器的像素间距，能够计算景深。
例如，图23所示的用于生成焦面的对焦图像所需要的照明位置的范围，如图24所示，与平行于焦面地设置的透镜的大小对应。若使用透镜，则为了观测放置于焦点位置的被拍摄对象，需要在与拍摄对象相距5mm的位置放置的直径10mm的透镜直径的情况下的照明位置的范围，由如下的圆来表示。也就是说，照明位置的范围如图23那样由与焦面平行、与焦面相距5mm、且以经过焦面中心的焦面的法线与平行于焦面的平面交叉的交点为中心的直径10mm的圆来表示。在实际的点光源的配置平面或者曲面(例如，图3所示的曲面、图4所示的平面)上，配置在对该照明位置的范围进行了映射的区域内的照明器的位置成为与由焦面决定部210决定出的焦面相适合的照明位置。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统20的工作进行说明。
图25是表示实施方式2涉及的图像生成系统20的工作的一例的流程图。在图25中，对与图7实质上相同的步骤标注相同的标号，适当省略说明。
如图25所示，首先，焦面决定部210决定焦面(步骤s1200)。
照明范围决定部211决定与通过步骤s1200决定出的焦面对应的照明位置的范围(步骤s2200)。
拍摄装置200a依次使用多个照明器101中的与通过步骤s2200决定出的照明位置的范围对应的照明器，对对象物进行照明。并且，每当照明器对对象物进行照明时，拍摄装置200a通过对到达了图像传感器102的受光面的光的强度进行记录，由此取得对象物的图像。所取得的图像与拍摄时对对象物进行了照明的照明器的位置信息一起存储于存储部120(步骤s2300)。具体而言，拍摄装置200a的拍摄控制部203基于通过步骤s2200决定出的照明位置的范围，从多个照明器101中选择包含在所决定出的照明位置的范围内的2个以上的照明器。并且，拍摄控制部203按预先确定的顺序使所选择出的2个以上的照明器照射光，使图像传感器102进行拍摄。拍摄装置200a通过反复进行对对象物的照明和对象物的拍摄，使用所决定出的照明位置的范围内的照明器来取得对象物的图像。这之后的工作基本上与实施方式1的图7同样，因此省略说明。
[效果]
如上所述，根据本实施方式涉及的图像生成系统，能够基于焦面的信息来决定照明位置的范围，通过与所决定出的照明位置的范围对应的照明器依次对对象物进行照明。因此，能够使用与焦面上的对焦图像的生成相适合的照明器来拍摄对象物，能够缩短拍摄时间。
(实施方式2的变形例)
接着，对实施方式2的变形例进行说明。在本变形例中，与实施方式2不同之处在于：使用预先取得的引导图像(pilotimage)来决定对象区域，基于该对象区域来决定照明位置的范围。以下，以与实施方式2不同之处为中心来说明实施方式2的变形例。
[图像生成系统的结构]
图26是表示实施方式2的变形例涉及的图像生成系统30的功能结构的框图。在图26中，对与图22实质上相同的构成要素标注相同的标号，适当省略说明。
图像生成系统30具备拍摄装置200a、图像生成装置300b、存储部320和显示部150。
拍摄装置200a具备多个照明器101、图像传感器102和拍摄控制部203。在本变形例中，拍摄装置200a在依次使用与所决定出的照明位置的范围对应的照明器来拍摄对象物之前，通过使用预先确定的照明器拍摄对象物来取得引导图像。引导图像被存储于存储部320，并显示于显示部150。
图像生成装置300b具备焦面决定部210、照明范围决定部311、对象区域决定部312、处理范围切取部313、重新聚焦处理部230和图像生成部140。
对象区域决定部312基于通过外部输入而指定的区域或者通过预先确定的方法而指定的区域，决定引导图像内的对象区域。
照明范围决定部311基于由焦面决定部210决定出的焦面以及由对象区域决定部312决定出的对象区域，决定照明位置的范围。
存储部320将由图像传感器102拍摄到的图像与在该图像的拍摄中使用的照明器的位置信息一起进行存储。进而，存储部320将在由预先确定的照明器进行照明时所拍摄到的图像存储为引导图像。该引导图像被输出到对象区域决定部212。
处理范围切取部313从存储部320所存储的多个图像中分别切取与由对象区域决定部312决定出的对象区域对应的区域。并且，处理范围切取部313将所切取出的图像与照明位置信息一起输出给重新聚焦处理部230。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统30的工作进行说明。
图27是表示图像生成系统30的工作的一例的流程图。如图27所示，首先，拍摄部200的拍摄控制部203使用预先确定的照明器(例如，位于坐标(0，0)的位置的照明器)对对象物进行照明，通过检测到达了图像传感器102的受光面的光的强度来取得引导图像。引导图像被存储于存储部320(步骤s2010)。存储部320将通过步骤s2010拍摄到的引导图像输出到显示部150，显示部150显示引导图像(步骤s2020)。
使用者对通过步骤s2020显示的引导图像，指定想要生成对焦图像的区域。对象区域决定部212基于由使用者指定的区域，来决定对象区域(步骤s2030)。
此外，在本变形例中，显示引导图像并从使用者受理针对引导图像的区域的指定输入，但不限定于此。例如，对象区域决定部312也可以在引导图像中进行对象物的识别处理，基于识别结果来决定对象区域。对象物的识别处理例如基于预先确定的颜色和/或轮廓等特征来进行。在通过对象物的识别处理提取出了多个区域的情况下，对象区域决定部312例如可以基于图像中的区域的位置，从所提取出的多个区域中选择至少一个区域来作为对象区域，也可以将所提取出的多个区域全部决定为对象区域。
焦面决定部210决定焦面(步骤s2100)。照明范围决定部311基于通过步骤s2030决定出的对象区域和通过步骤s2100决定出的焦面，决定照明位置的范围(步骤s2210)。具体而言，照明范围决定部211取代使用图23中的焦面的中心而使用对象区域的中心来决定照明位置的范围。之后的步骤与图25实质上相同，因此省略说明。
[效果]
如上所述，根据本变形例涉及的图像生成系统30，能够除焦面之外还基于对象区域来决定照明位置的范围，能够进一步缩短拍摄时间。
(实施方式3)
接着，对实施方式3进行说明。实施方式3与实施方式1不同之处在于：基于对象物的状态来决定焦面。例如，在本实施方式中，在如受精卵或早期胚那样对象物的状态随着培养时间发生变化的情况下，基于与培养时间对应的对象物的状态来决定焦面的数量以及角度。以下，以与实施方式1不同之处为中心来说明实施方式3。
[图像生成系统的结构]
图28是表示实施方式3涉及的图像生成系统40的功能结构的框图。在图28中，对与图1实质上相同的构成要素标注相同的标号，适当省略说明。
图像生成系统40具备拍摄装置100a、图像生成装置400b、存储部120和显示部150。图像生成装置400b具备焦面决定部410、胚信息表420、计时部430、重新聚焦处理部130和图像生成部140。
在胚信息表420中记录有培养时间和与该培养时间对应的胚的状态以及焦面的信息。图29表示胚信息表420的一例。在图29的例子中，在胚信息表420中，按培养时间记录有胚的状态和焦面的数量。
计时部430对从开始对象物培养的时刻起的经过时间(即培养时间)进行计测。
焦面决定部410从胚信息表420中取得与由计时部430计测到的培养时间对应的焦面的数量。并且，焦面决定部410在图像传感器102与多个照明器101之间决定与取得的数量相同数量的焦面。具体而言，焦面决定部410决定从胚信息表420得到的数量的以外部输入的角度或者预定的角度倾斜的焦面。在对象物为早期胚的情况下，例如决定互相平行的多个焦面。因为早期胚的大小约为100μm，所以将焦面之间的距离决定为以与从胚信息表420得到的数量相同数量的焦面对100μm的高度进行等分。例如，在焦面的数量为2的情况下，2个焦面之间的距离被决定为33μm。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统40的工作进行说明。
图像生成系统40的工作除了步骤s1200的决定焦面的工作之外，与实施方式1的图7实质上相同，因此仅说明步骤s1200的详细情况，关于其他的工作省略说明。
图30是表示实施方式3涉及的焦面决定部410的工作的一例的流程图。
首先，焦面决定部410从计时部430取得培养时间(步骤s1210)。接着，焦面决定部410参照胚信息表420，取得与通过步骤s1210取得的培养时间对应的焦面的数量(步骤s1220)。焦面决定部410基于通过步骤s1220取得的焦面的数量，决定各焦面的中心的高度(即如图8那样定义的xyz空间中的z坐标值)(步骤s1230)。在本实施方式中，在生成多个焦面的各焦面上的对焦图像时，考虑到使用者易于理解，全部焦面都平行配置。此外，多个焦面的角度、配置不限于此。
进一步，焦面决定部410基于经由未图示的输入单元输入的焦面的倾斜的信息、或预定的焦面的倾斜的信息，决定焦面的相对于x轴的角度和相对于y轴的角度(步骤s1240)。以通过步骤s1230决定出的焦面的中心位置为旋转中心，以通过步骤s1240决定出的角度倾斜地假想配置各焦面，由此决定焦面(步骤s1250)。
[效果]
如上所述，根据本实施方式涉及的图像生成系统40，能够根据对象物的状态来决定焦面的数量，能够生成适合于观察对象物的对焦图像。
(实施方式3的变形例)
在实施方式3的变形例中，与上述实施方式3不同之处在于：首先，在与图像传感器的受光面平行的焦面上生成对焦图像，根据生成的对焦图像中的对象物(例如细胞)的立体的配置，自动地决定其他焦面。以下，以与实施方式3不同之处为中心来说明实施方式3的变形例。
图31是表示实施方式3的变形例涉及的图像生成系统50的功能结构的框图。此外，在图31中，拍摄装置100a与图28相同，因此省略其记载。另外，在图31中，对与图28实质上相同的构成要素标注相同的标号，适当省略说明。
图像生成装置500b具备焦面决定部510、胚信息表420、计时部430、重新聚焦处理部530和图像生成部540。焦面决定部510具备水平面决定部511、细胞位置判定部513和位置倾斜决定部514。
水平面决定部511参照胚信息表420，决定与从计时部430取得的培养时间对应的焦面的数量。水平面决定部511基于所决定出的焦面的数量，决定用于决定焦面的位置和倾斜的、与图像传感器102的受光面平行的水平面的数量和该水平面在z轴上的位置。
细胞位置判定部513对图像生成部540生成的与受光面平行的水平面上的对焦图像和根据三维模型生成的截面图像进行比较，根据比较结果来判定三维坐标上的细胞的配置。
在此，参照图32对细胞位置判定部513的详细结构进行说明。
图32是表示细胞位置判定部513的详细的功能结构的框图。细胞位置判定部513具备3d模型数据库(db)521、旋转处理部522、2d化处理部523、比较部524和存储部525。
3d模型数据库521保持有对象物的状态(在此为早期胚的各细胞期的三维模型)。早期胚的三维模型示出在球状的胚膜中包含有与细胞期对应的数量的大致球状的细胞的状态。
旋转处理部522使3d模型数据库521所保持的三维模型以预定的角度进行旋转。
2d化处理部523使用旋转处理部522进行了旋转后的三维模型，生成由水平面决定部511决定出的水平面上的截面图像。
比较部524对图像生成部540生成的水平面上的对焦图像与2d化处理部523根据三维模型生成的截面图像进行比较。一边改变旋转处理部522中的旋转角度、一边反复进行该比较。其结果是，求出表示对焦图像与截面图像的差异的值变为比预定的阈值小的旋转角度。
存储部525存储表示比较部524进行了比较的2个图像的差异的值变为比阈值小的、旋转处理部522中的旋转角度。
位置倾斜决定部514基于细胞位置判定部513判定出的三维坐标上的细胞的配置和水平面决定部511决定出的焦面的数量，决定各焦面的中心点在z轴上的位置和各焦面相对于x轴以及y轴倾斜的值。
重新聚焦处理部530根据由拍摄部100拍摄到的多个图像，进行针对由水平面决定部511决定出的平面或由位置倾斜决定部514决定出的焦面的重新聚焦处理。
图像生成部540使用重新聚焦处理部530生成的各像素的亮度值来生成对焦图像。
[图像生成系统的工作]
接着，对如上述那样构成的图像生成系统50的工作进行说明。
图像生成系统50的工作除步骤s1200之外与实施方式1的图7实质上相同，因此仅说明步骤s1200的详细情况，关于其他工作省略说明。
图33是表示实施方式3的变形例涉及的焦面决定部510的工作的一例的流程图。
首先，焦面决定部510的水平面决定部511从计时部430取得培养时间(步骤s1210)。接着，水平面决定部511参照胚信息表420，取得与通过步骤s1210取得的培养时间对应的焦面的数量(步骤s1220)。水平面决定部511决定与通过步骤s1220取得的焦面的数量相同数量的水平面各自的z轴位置(步骤s1231)。在本变形例中，通过将根据三维模型生成的多个截面图像与多个水平面上的对焦图像进行比较，决定用于图像生成系统50输出的对焦图像的焦面的角度。在图29所示的胚信息表中，作为焦面的数量，对原核期胚和2细胞期胚记录有“1”。因此，在步骤s1231中，决定与参照胚信息表420得到的焦面的数量相同数量的水平面的z轴位置。
此外，水平面的数量也可以与焦面的数量不一致。该情况下，在胚信息表420中除了焦面的数量之外还记录有用于判定细胞配置的水平面的数量即可。另外，也可以如实施方式2的变形例那样取得引导图像，并基于引导图像的状态来决定水平面的数量。
因为早期胚的大小为直径约100μm，所以水平面的z轴位置例如被决定成使得100μm的高度被与从胚信息表420得到的数量相同数量的水平面等分。胚沉浸在培养液中，与图像传感器102的受光面上接触。因此，例如在水平面的数量为2个的情况下，2个水平面的z轴位置为33μm和66μm。
重新聚焦处理部530针对通过步骤s1231决定出的z轴位置处的水平面进行重新聚焦处理。图像生成部540使用重新聚焦处理部530计算出的各像素的亮度值来生成对焦图像(步骤s1232)。
细胞位置判定部513将通过步骤s1232生成的对焦图像与根据早期胚的三维模型生成的截面图像进行比较，由此决定细胞的配置和从适合于观察早期胚的细胞的配置(以下，称为基准位置)起的早期胚的旋转角度(步骤s1241)。后面叙述步骤s1241的详细情况。
位置倾斜决定部514基于通过步骤s1241决定出的细胞的配置和旋转角度，以使焦面与基准位置处的水平面一致的方式决定焦面的角度(步骤s1242)。例如，将以通过步骤s1241判定出的旋转角度的反向的旋转角度使拍摄时的坐标上的水平面旋转而得到的平面的角度决定为焦面的角度。
接着，位置倾斜决定部514决定与通过步骤s1220由水平面决定部511取得的数量相同数量的焦面在z轴上的位置。z轴位置例如被决定为使得对象物整体的z轴方向的大小被等分。
位置倾斜决定部514使用通过步骤s1242决定出的角度和z轴位置来决定全部焦面(步骤s1250)。
在本变形例中，全部焦面作为互相平行的焦面进行了说明，但也可以以不同的角度进行配置。例如，多个焦面也可以以某坐标点为中心而点对称地配置。也可以：根据从图像传感器正上方拍摄的拍摄结果，决定图像传感器的受光面上的胚的中心点，由于胚的直径约为100μm，因此使用从图像传感器的受光面上的胚的中心点向z轴方向偏移50μm的高度位置作为旋转中心来配置焦面。
接着，参照图34对图33的步骤s1241的详细情况进行说明。图34是表示与实施方式3的变形例涉及的由焦面决定部510决定细胞配置有关的处理的流程图。
细胞位置判定部513的旋转处理部522，从水平面决定部511取得早期胚的状态、水平面的数量、水平面的z轴位置的信息(步骤s12411)。旋转处理部522针对3d模型数据库521所保持的模型中的、与通过步骤s12411取得的胚的状态的信息对应的三维模型的全部，判定是否进行了比较处理(步骤s12412)。比较处理是指从步骤s12413到步骤s12418的一系列的处理。
在此，在对于与胚的状态的信息对应的三维模型全都进行了比较处理的情况下(步骤s12412：是)，进入步骤s1242。另一方面，在对于与胚的状态的信息对应的三维模型的某一个尚未进行比较处理的情况下(步骤s12412：否)，进入步骤s12413。
选择与通过步骤s12411取得的胚的状态的信息对应的三维模型中的一个三维模型(步骤s12413)。在此被选择的三维模型是尚未进行比较处理的三维模型。
三维模型按胚的各状态，以三维方式来表现胚中的细胞的配置。三维模型以能够旋转的状态进行保持，不旋转的基准位置被设定成使与xy平面即受光面平行的平面上的细胞的截面成为最适合观察细胞的截面。图35a～图35d表示4细胞期的胚的三维模型的一例。在图35a～图35d的三维模型中，在z轴方向上的低的位置处2个细胞(第1细胞3501和第2细胞3502)并排，在高的位置处2个细胞(第3细胞3503和第4细胞3504)并排。连接第1细胞3501和第2细胞3502的中心点的直线与连接第3细胞3503和第4细胞3504的中心点的直线在映射到xy平面上的情况下正交。当俯视三维模型时成为图35d那样。
图36a以及图36b是图35a的截面线xxviii以及图35b的截面线xxix处的三维模型的截面图。在与xy平面平行的面上并排的2个细胞的对(pair)在z轴方向上成为2层。在该例子中，经过第1细胞3501以及第2细胞3502的中心点的直线和经过第3细胞3503以及第4细胞3504的中心点的直线处于扭转的位置。图35a～图36b示出了基准位置时的三维模型。也就是说，将第1细胞3501和第2细胞3502在与xy平面平行的平面上并排、且第3细胞3503和第4细胞3504在与xy平面平行的平面上并排的位置设为基准位置。
接着，旋转处理部522针对预定的旋转角度的全部，判定是否对通过步骤s12413选择出的三维模型的截面图像与通过步骤s1232生成的水平面上的对焦图像进行了比较(步骤s12414)。在此，在针对旋转角度全都进行了比较的情况下(步骤s12414：是)，返回到步骤s12412。另一方面，在针对预定的旋转角度的某一个未进行比较的情况下(步骤s12414：否)，进入步骤s12415。
旋转处理部522以预定的旋转角度中的尚未进行比较处理的旋转角度，使通过步骤s12413选择出的三维模型进行旋转(步骤s12415)。
2d化处理部523针对通过步骤s12415旋转后的三维模型，生成通过步骤s1231决定出的一个以上的平面上的截面图像(步骤s12416)。图37是表示使图35d所示的基准位置时的三维模型以与x轴平行并经过胚的中心的轴为旋转中心进行了旋转的结果的三维模型的立体图。在图中由虚线所示的平面上生成截面图像。如图38所示，在截面图像中，左下的细胞的轮廓清楚，在z轴上位于最高的位置处的细胞未显现，中间的2个细胞的轮廓模糊。2d化处理部523针对旋转后的三维模型，基于指定的平面和景深来生成截面图像。在此使用的景深等于图像生成系统50的景深。
比较部524对通过步骤s1232生成的水平面上的对焦图像和通过步骤s12416生成的截面图像进行比较，判定表示其差异的值是否比存储部525所存储的值小(步骤s12417)。在此，在表示差异的值为存储部525所存储的值以上的情况下(步骤s12417：否)，返回到步骤s12414。另一方面，在表示差异的值小于存储部525所存储的值的情况下(步骤s12417：是)，进入步骤s12418。此外，在存储部525中，作为初始值，例如预先存储有表示差异的值的上限值。
存储部525存储表示对焦图像与截面图像的差异的值和在步骤s12415中的三维模型的旋转中使用的旋转角度(步骤s12418)。也就是说，存储部525所存储的值被更新为表示通过步骤s1232生成的水平面上的对焦图像与通过步骤s12416生成的截面图像的差异的值。然后，返回到步骤s12414。
通过反复进行从步骤s12414到步骤s12418的比较处理，能够求出通过步骤s1232生成的对焦图像(即根据拍摄图像生成的水平面上的对焦图像)与从基准位置起旋转了多少度后的三维模型的截面图像接近。
[效果]
如上所述，根据本变形例涉及的图像生成系统50，能够根据作为对象物的早期胚中的细胞的配置来决定焦面的位置以及角度。因此，能够生成适合于观察早期胚的对焦图像。
(实施方式4)
实施方式4的图像生成装置对成为向导的合成图像进行显示，所述向导用于让使用者选择所显示的对焦图像的焦面。此外，实施方式4的图像生成装置与上述实施方式1～3及其变形例的图像生成装置100b、200b、300b、400b以及500b同样地进行重新聚焦处理。
[图像生成系统]
图39是实施方式4的图像生成系统的功能框图。
实施方式4的图像生成系统具备图像生成装置600b、图像取得部710、早期胚模型720、焦面输入部730、操作部740和显示器760。
图像取得部710包括实施方式1～3及其变形例中的拍摄装置以及存储部。也就是说，图像取得部710通过每当多个照明器101依次照明对象物时由图像传感器102进行的拍摄，取得对象物的多个拍摄图像并保存于存储部。
早期胚模型720是保持模型数据的记录介质。该模型数据示出早期胚的胚膜和内含于该胚膜的与培养时间相应的数量的细胞分别被模型化成球。进而，模型数据示出胚膜的球大于细胞的球、且胚膜的球包含该细胞的球，进而，示出胚膜的球的面与细胞的球的面不相交。在实施方式4中，对象物是胚(具体而言是早期胚)，通过早期胚模型720将该胚模型化成至少一个球。
此外，拍摄的对象物例如是配置在图像传感器102上的多个半透明的物质。对象物的具体例是脊椎动物的受精卵的早期胚、即球状的胚。在对象物内，有时多个物质以三维重叠的方式排布。多个物质的具体例子是球状的细胞。以下，使用早期胚来说明实施方式4。此外，拍摄的对象物的形状不限定于球形状，可以是任何形状。例如，拍摄的对象物的形状也可以是多面体。多个物质的形状不限定于球形状，可以是任何形状。例如，多个物质的形状也可以是多面体。拍摄的对象物优选在被拍摄时形成为例如透明或者半透明以使得该对象物的内部的多个物质也被拍摄。多个物质优选形成为例如透明或者半透明以使得照明器101的光透射，但也可以具有透明以及半透明以外的结构。另外，对象物也可以不包含多个物质，还可以仅包含一个物质。
显示器760例如包括液晶显示器或有机el(electroluminescence)显示器等，对对焦图像以及成为上述向导的合成图像进行显示。
焦面输入部730受理来自使用者的重新聚焦处理的请求、即受理对焦图像的生成请求。
操作部740受理由使用者进行的显示器760的画面的操作。
如上所述，图像生成装置600b进行重新聚焦处理并生成对焦图像，并且生成成为向导的合成图像并显示于显示器760，所述向导用于让使用者选择所显示的对焦图像的焦面。
[图像生成装置]
如图39所示，图像生成装置600b具备重新聚焦处理部610、球图像生成部620和合成图像生成部630。此外，该图像生成装置600b通过控制电路来实现。另外，该图像生成装置600b也可以具备多个照明器101和具有载置对象物的表面的图像传感器102。
重新聚焦处理部610具有与图像生成装置100b、200b、300b、400b以及500b各装置同样的功能，进行重新聚焦处理并生成对象物的合成图像。也就是说，重新聚焦处理部610使用通过每当多个照明器101依次照明对象物时由图像传感器102进行的拍摄而得到的对象物的多个拍摄图像，生成预先确定的多个焦面的各焦面上的对象物的对焦图像。
对象物的多个拍摄图像由图像取得部710取得并保存于存储部。
预先确定的多个焦面分别例如是与图像传感器102的受光面平行、且沿着与该受光面垂直的方向(即上述的z轴的方向)隔开等间隔而配置的面。具体而言，多个焦面分别隔开1μm或2μm的间隔而配置。此外，以下，将这些预先确定的多个焦面也称为初始焦面。
球图像生成部620提取显现在由重新聚焦处理部610生成的多个对焦图像中的对象物的至少一个截面轮廓。接着，球图像生成部620基于所提取出的至少一个截面轮廓，生成至少一个圆周。并且，球图像生成部620生成球图像，该球图像是具有所生成的至少一个圆周的各圆周的至少一个球的立体图像。在此，球图像生成部620通过参照早期胚模型720，生成该球图像。也就是说，在本实施方式中，对象物是胚，上述的至少一个球包括体现胚的外形的外球和内含于该外球且分别体现细胞的外形的至少一个内球。
合成图像生成部630通过以使该至少一个球的截面出现的方式对球图像进行加工来生成合成图像，使该合成图像显示于显示器760。
另外，合成图像生成部630在使用者的画面操作被操作部740受理时，根据该使用者的操作，使正在显示的合成图像中的截面的位置在显示器760上变更。
重新聚焦处理部610在来自使用者的对焦图像的生成请求被焦面输入部730受理时，根据该来自使用者的请求生成对象物的对焦图像。也就是说，重新聚焦处理部610根据来自使用者的请求，使用多个拍摄图像生成与正显示在显示器760上的截面对应的焦面上的对象物的对焦图像，使该对焦图像显示于显示器760。此外，对象物的多个拍摄图像由图像取得部710取得并保存于存储部。
图40表示由合成图像生成部630显示的合成图像的一例。
球图像生成部620例如生成包含2个小球a2、a3的球a1来作为球图像a0。此外，该球图像a0形成为半透明以使得内部可见。例如，球图像生成部620在以与图像传感器102的受光面平行的面为xy平面且以与该xy平面垂直的方向为z轴方向的假想空间上生成上述的球图像a0。
合成图像生成部630通过以使平面b0与球图像a0相交的方式对球图像a0进行加工来合成合成图像m。也就是说，合成图像生成部630通过以使至少一个球的截面b1出现的方式对球图像a0进行加工来生成合成图像m，使该合成图像m显示于显示器760。例如，该加工所使用的平面b0在初始状态下与xy平面平行、且位于z坐标＝z1的位置。由此，在合成图像m中，出现与xy平面平行、且位于z坐标＝z1的位置的截面b1。另外，在图像传感器102的受光面位于z坐标＝0的情况下，z1例如为50μm。
另外，合成图像生成部630在受理了由使用者进行的用于变更正在显示的截面b1(即平面b0)的位置的操作时，根据该操作，变更截面b1相对于球图像a0的相对位置。
如此，在实施方式4中，作为对象物的胚被模型化为球图像a0。进而，使用者通过变更合成图像m的截面b1的位置，能够一边掌握胚的概略状态以及截面，一边容易地选择该胚的任何截面。
[球图像生成部]
图41是表示球图像生成部620的详细的功能结构的框图。
球图像生成部620具备轮廓提取部621、同一性判定部622、高度决定部623、形状决定部624和立体图像生成部625。
轮廓提取部621提取显现在多个初始焦面各自的对焦图像中的对象物的截面的轮廓。具体而言，轮廓提取部621提取由具有阈值以上的对比度的边缘构成的轮廓。例如，在对象物是胚的情况下，该胚具有胚膜，在该胚膜中内含有与培养时间相应的数量的细胞。该胚膜以及细胞分别具有接近球的形状。因此，轮廓提取部621从各个对焦图像中提取接近圆的形状的轮廓。此外，从一个对焦图像中，有时提取到一个该轮廓，有时提取到多个轮廓，也有时未提取到轮廓。例如，轮廓提取部621从多个初始焦面上的对焦图像中提取ka(ka为2以上的整数)个轮廓。
轮廓提取部621例如从对焦图像中提取边缘点，对所提取出的边缘点进行霍夫变换(houghtransform)。此外，边缘点是像素和与该像素相邻的像素之间的亮度差较大的点。在霍夫变换中，将经过与焦面对应的正交坐标平面上的边缘点(x，y)的圆周由中心坐标(centerx，centery)和基于半径r的坐标点(centerx，centery，r)来表示。接着，形状决定部624求出经过边缘点的圆周的候选。也就是说，根据r2＝(x-centerx)2+(y-centery)2的公式，若决定了centerx和centery(中心位置)，则半径r可定。因此，形状决定部624将正交坐标平面上的边缘点(x，y)变换为(centerx，centery，r)三维空间的面。在多个边缘点的正交坐标平面上的位置为(x1，y1)、……、(xn，yn)的情况下，形状决定部624在(centerx，centery，r)三维空间中生成n个面。该n(n为2以上的整数)个面共有的点位于原来的正交坐标平面上的单个圆周上。因此，形状决定部624决定由在(centerx，centery，r)三维空间中n个面共有的点所指定的原来的正交坐标平面上的圆周。也就是说，形状决定部624通过从原来的多个边缘点中采用被共有的频度多的点来决定圆周。
同一性判定部622判定这些提取出的ka个轮廓各自是否为与对象物所包含的同一构成要素对应的轮廓。并且，同一性判定部622从该ka个轮廓中选择与同一构成要素对应的kb(kb为2以上的整数)个轮廓。在对象物包含多个构成要素的情况下，同一性判定部622对该多个构成要素分别选择与同一构成要素对应的多个轮廓。在对象物是胚的情况下，构成要素是胚或细胞。
是否为与同一构成要素对应的轮廓的判定，基于轮廓(边缘)的形状、尺寸以及位置来进行。
也就是说，本实施方式中的轮廓提取部621以及同一性判定部622从显现在由重新聚焦处理部610生成的多个对焦图像的各对焦图像中的对象物的截面的轮廓中，提取在多个对焦图像的各对焦图像中位于相同位置且尺寸以及形状相同的多个轮廓。在该多个对焦图像的各对焦图像中位于相同位置且尺寸以及形状相同的多个轮廓，是与同一构成要素对应的多个轮廓。
高度决定部623确定具有与同一构成要素对应的kb个轮廓的各轮廓的对焦图像的初始焦面的z坐标。并且，高度决定部623从该z坐标已被确定的kb个初始焦面中，找出位于这些初始焦面的z坐标的中心的初始焦面。高度决定部623将该找出的初始焦面的z坐标决定为上述的同一构成要素的中心的高度。在对象物包含多个构成要素的情况下，高度决定部623对该多个构成要素分别决定该构成要素的中心的高度。具体而言，决定胚膜的中心的高度或细胞的中心的高度。
形状决定部624使用早期胚模型720，决定对象物的构成要素的形状。具体而言，早期胚模型720中的模型数据，如上所述，示出胚膜以及细胞被模型化成球等。因此，形状决定部624将对象物的构成要素模型化为球。也就是说，形状决定部624将由高度决定部623决定出的构成要素的中心的高度设定为球的中心的z坐标。进而，形状决定部624将位于该决定出的高度的沿着该构成要素的轮廓的形状的圆周的半径设定为球的半径。进而，形状决定部624将该圆周在初始焦面上的中心位置设定为球中心的x坐标以及y坐标。由此，针对对象物的构成要素，设定球的中心坐标(x坐标、y坐标以及z坐标)和半径。在对象物包含多个构成要素的情况下，形状决定部624对该多个构成要素分别设定球的中心坐标和半径。
换言之，形状决定部624基于由同一性判定部622选择出的多个轮廓中的具有最大边缘强度的轮廓来生成圆周。边缘强度例如作为清晰度(sharpness)来进行比较。例如通过傅里叶变换将图像变换到频率，由所含的频率分量来表示清晰度。高频分量越大则清晰度越高。将预先确定的频率以上的频率分量最大的轮廓设为具有最大边缘强度的轮廓。
由同一性判定部622选择出的多个轮廓是由轮廓提取部621以及同一性判定部622提取出的与同一构成要素对应的多个轮廓。也就是说，上述的高度决定部623将显现出具有最大边缘强度的轮廓的对焦图像的初始焦面的z坐标决定为同一构成要素的中心的高度。
另外，形状决定部624生成与该具有最大边缘强度的轮廓内接或外接的圆周。
立体图像生成部625生成球图像，该球图像是与由形状决定部624针对对象物的结构设定的中心坐标和半径相应的球的立体图像。在对象物包含多个构成要素的情况下，立体图像生成部625将具有与该多个构成要素分别对应的球的立体图像生成为球图像。并且，立体图像生成部625将该球图像输出给合成图像生成部630。
也就是说，本实施方式中的形状决定部624以及立体图像生成部625生成球图像，该球图像包含具有与所生成的圆周相同的中心以及半径的球的立体图像。此时，立体图像生成部625在选择或提取出多个圆周的情况下，将球面互不相交的多个球的立体图像生成为上述的球图像。
此外，对于同一构成要素，有时存在分别显现出最大边缘强度的多个对焦图像。在这样的情况下，由形状决定部624生成多个圆周。此时，立体图像生成部625也可以基于这些多个圆周来生成球的立体图像。也就是说，立体图像生成部625确定分别显现出最大边缘强度的多个对焦图像各自的初始焦面的z坐标。并且，立体图像生成部625将这些z坐标的中心决定为球的中心。进而，立体图像生成部625将从该球的中心到多个圆周中的任一个圆周为止的距离决定为球的半径。或者，立体图像生成部625将多个圆周中的任一个圆周的半径决定为球的半径。由此，由于球的中心以及半径被决定，因此立体图像生成部625生成具有该决定出的中心以及半径的球的立体图像。
图42表示球图像生成部620的具体处理的一例。
例如，对象物是直径约为100μm的胚，胚具有胚膜和内含于胚膜的2个细胞(第1细胞和第2细胞)来分别作为构成要素。
另外，多个初始焦面分别从图像传感器102的受光面沿着z轴的方向每隔2μm地配置。也就是说，由于z轴的方向是距图像传感器102的受光面的高度方向，因此例如55个初始焦面分别位于高度2μm、4μm、6μm、……、108μm、110μm的位置。
重新聚焦处理部610针对55个初始焦面分别生成对焦图像。这些在初始焦面上生成的对焦图像例如是包括260像素×260像素的图像。
轮廓提取部621从55个初始焦面各自的对焦图像中，提取由具有阈值以上的对比度的边缘构成的轮廓。例如，轮廓提取部621从对焦图像p2、p3、p4、p5以及p6中提取轮廓p21、p31、p41、p51以及p61。在将被判断为是对焦图像所包含的轮廓的像素的亮度值平均设为a、并将与被判断为是对焦图像所包含的轮廓的像素相邻的像素的亮度平均设为b的情况下，也可以设为(对焦图像的轮廓对比度)＝|a-b|。
在此，同一性判定部622判定所提取出的轮廓p21、p31、p41、p51以及p61分别是否为与胚所包含的同一构成要素对应的轮廓。轮廓p21、p31以及p41各自的边缘的形状、尺寸以及位置类似，与其他的轮廓p51以及p61不同。对于边缘的形状以及尺寸的类似，能够通过比较轮廓p21、p31、p41、p51、p61的半径来判断。例如，求出半径的平均值和标准偏差，将半径的值相对于平均值大到或小到标准偏差的值以上的轮廓判断为不是与同一构成要素对应的轮廓。在轮廓不是圆的情况下，例如，也可以使轮廓p21、p31、p41、p51、p61的重心一致，求出2个轮廓之差，根据轮廓之差进行聚类。在求出轮廓之差例如轮廓p21与p31之差的情况下，求出从p21上的点到最近的p31上的点为止的距离。针对预先确定的数量的p21上的点，求出到最近的p31的点为止的距离并进行合计。同样地，在其他的2个轮廓之间，也求出轮廓之差，根据轮廓之差来进行分类。或者，在从重心放射状地引出直线时，求出该直线与p21的交点和该直线与p31的交点之间的距离，在该距离的方差大的情况下判断为形状不同，在方差小的情况下判断为形状类似。关于轮廓的位置，例如，通过对轮廓p21、p31、p41、p51、p61的中心位置或者重心位置进行比较来判断。例如，求出中心彼此之间的距离的平均值和标准偏差，在与其他中心的距离大到对所求出的中心间距离的平均值加上标准偏差而得到的值以上的情况下，判断为轮廓的位置不同。因此，同一性判定部622从轮廓p21、p31、p41、p51、以及p61中，选择与第1细胞对应的3个轮廓p21、p31以及p41。
接着，高度决定部623决定具有与第1细胞对应的3个轮廓p21、p31以及p41的各轮廓的对焦图像p2、p3以及p4的初始焦面的z坐标、即确定高度72μm、70μm、68μm。并且，高度决定部623从高度已被确定的3个初始焦面中找出位于中心的高度的初始焦面。也就是说，高度决定部623找出高度70μm的初始焦面。高度决定部623将该找出的初始焦面的高度70μm决定为第1细胞的中心的高度。
另外，同一性判定部622在由轮廓提取部621从位于高度50μm前后的初始焦面的合成图像中也提取出轮廓的情况下，与上述同样地，将这些轮廓和轮廓p51选择为与胚膜对应的多个轮廓。高度决定部623确定具有这些多个轮廓的各轮廓的对焦图像的初始焦面的高度。并且，高度决定部623从高度已被确定的多个初始焦面中，找出位于中心的高度的初始焦面。例如，高度决定部623找出高度50μm的初始焦面。高度决定部623将该找出的初始焦面的高度50μm决定为胚膜的中心的高度。
同样地，同一性判定部622在由轮廓提取部621从位于高度20μm前后的初始焦面的合成图像中也提取出轮廓的情况下，与上述同样地，将这些轮廓和轮廓p61选择为与第2细胞对应的多个轮廓。高度决定部623确定具有这些多个轮廓的各轮廓的对焦图像的初始焦面的高度。并且，高度决定部623从高度已被确定的多个初始焦面中，找出位于中心的高度的初始焦面。例如，高度决定部623找出高度20μm的初始焦面。高度决定部623将该找出的初始焦面的高度20μm决定为第1细胞的中心的高度。
形状决定部624将胚的各构成要素模型化为球。也就是说，形状决定部624将由高度决定部623决定出的第1细胞的中心的高度(70μm)设定为球的中心的z坐标。进而，形状决定部624将针对位于该决定出的第1细胞的中心的高度(70μm)的初始焦面生成的对焦图像p3所包含的沿着第1细胞的轮廓p31的形状的圆周的半径设定为球的半径。进而，形状决定部624将该圆周在初始焦面上的中心位置设定为球的中心的x坐标以及y坐标。由此，针对胚的第1细胞，设定了球的中心坐标(x坐标、y坐标以及z坐标＝70μm)和半径。同样地，形状决定部624针对胚膜以及第2细胞，也设定球的中心坐标和半径。
其结果是，如图40所示，立体图像生成部625生成包含3个球a1～a3的立体图像即球图像a0，所述3个球a1～a3具有如上述那样分别对胚膜、第1细胞和第2细胞设定的中心坐标和半径。另外，合成图像生成部630通过将由立体图像生成部625生成的球图像a0和平面b0进行合成，生成显现了截面b1的球图像a0来作为合成图像m。
图43表示显示器760所显示的画面的一例。
在图40所示的例子中，合成图像生成部630生成了示出球图像a0的整体和截面b1的合成图像m。但是，为了使截面b1更易于观察，如图43所示，合成图像生成部630也可以生成示出球图像a0中的由截面b1分离开的2个部分中的仅一个部分和截面b1的合成图像。例如，在截面b1，显现上述的第1细胞被模型化后的球a3(参照图40)的轮廓b2。
合成图像生成部630使上述那样的合成图像显示于显示器760。此时，合成图像生成部630也可以显示中心轴c。中心轴c是与截面b1垂直、且经过该截面b1的中心的线段。
另外，合成图像生成部630显示轴调整框d1、截面调整框d2和重新聚焦按钮d3。
例如，操作部740受理通过使用者的操作而输入到轴调整框d1的x坐标、y坐标以及z坐标。合成图像生成部630改变中心轴c的朝向，以使其沿着与所受理的这些坐标相应的矢量的朝向。由此，如图43的(a)以及(b)所示，包含显示在显示器760中的球图像a0的合成图像的整体的朝向被变更。或者，合成图像生成部630也可以仅改变截面b1的朝向。也就是说，合成图像生成部630不将中心轴c的朝向变更为球图像a0的中心轴的朝向而变更为截面b1的法线的朝向。由此，可不改变显示在显示器760中的球图像a0的朝向而仅变更截面b1的朝向。
另外，操作部740受理通过使用者的操作而输入到截面调整框d2的x坐标、y坐标以及z坐标。合成图像生成部630使截面b1的中心bc移动到由所受理的这些坐标表示的位置。在此，在截面调整框d2中仅输入表示中心轴c上的位置的x坐标、y坐标以及z坐标。因此，如图43的(b)以及(c)所示，合成图像生成部630根据向截面调整框d2的输入，使显示在显示器760上的球图像a0中的截面b1的位置沿着中心轴c移动。
另外，焦面输入部730通过使用者选择重新聚焦按钮d3的选择操作，受理重新聚焦处理的请求。重新聚焦处理部610根据来自该使用者的请求，使用多个拍摄图像生成与正显示在显示器760上的截面b1对应的焦面上的对象物的对焦图像，并使该对焦图像显示于显示器760。此外，多个拍摄图像是由图像取得部710取得的拍摄图像。
[图像生成装置的工作]
图44是表示实施方式4涉及的图像生成装置600b的工作的一例的流程图。
(步骤s100)
首先，重新聚焦处理部610使用由图像取得部710取得的对象物的多个拍摄图像，生成多个初始焦面各自上的对象物的对焦图像。
(步骤s110)
接着，球图像生成部620提取显现在所生成的多个对焦图像中的对象物的截面的轮廓，生成球图像，该球图像是分别具有沿着所提取出的轮廓的形状的圆周的至少一个球的立体图像。
(步骤s120)
接着，合成图像生成部630通过以使该至少一个球的截面出现的方式对球图像进行加工来生成合成图像，并使该合成图像显示于显示器760。
(步骤s130)
接着，重新聚焦处理部610判定对焦图像的请求、即重新聚焦处理的请求是否被焦面输入部730受理。
(步骤s140)
重新聚焦处理部610在步骤s130中判定为受理了该请求时(步骤s130：是)，生成对焦图像。也就是说，重新聚焦处理部610根据来自使用者的请求，使用多个拍摄图像生成与正显示在显示器760上的截面对应的焦面上的对象物的对焦图像。此外，多个拍摄图像是由图像取得部710取得的对象物的多个拍摄图像。
(步骤s150)
重新聚焦处理部610使该生成的对焦图像显示于显示器760。
(步骤s160)
当在步骤s130中由重新聚焦处理部610判定为没有受理对焦图像的请求时(步骤s130：否)，合成图像生成部630判定使用者对画面的操作是否被操作部740受理。在此，当由合成图像生成部630判定为没有受理画面的操作时(步骤s160：否)，图像生成装置600b结束处理。
(步骤s170)
另一方面，合成图像生成部630在判定为受理了画面的操作时(步骤s160：是)，根据该操作来变更正在显示的合成图像。也就是说，合成图像生成部630根据使用者的操作来变更正在显示的合成图像中的截面的位置。并且，图像生成装置600b反复执行从步骤s130起的处理。
图45是表示图44的步骤s110中的球图像的生成的详细处理的流程图。
(步骤s111)
首先，球图像生成部620的轮廓提取部621提取显现在多个初始焦面各自的对焦图像中的对象物的截面的轮廓。
(步骤s112)
同一性判定部622针对对象物所包含的至少一个构成要素的各构成要素，从通过步骤s111提取出的多个轮廓中选择与同一构成要素对应的多个轮廓。
(步骤s113)
高度决定部623针对对象物所包含的至少一个构成要素的各构成要素，确定与同一构成要素对应的多个轮廓的高度(z坐标)。并且，高度决定部623将所决定出的多个轮廓的高度的中心决定为构成要素的中心的高度。
(步骤s114)
形状决定部624针对对象物所包含的至少一个构成要素的各构成要素，将构成要素模型化为球。也就是说，形状决定部624使用早期胚模型720、构成要素的中心的高度、和从该高度的对焦图像提取出的轮廓，将构成要素模型化为球。
(步骤s115)
立体图像生成部625生成球图像，该球图像是包括通过对象物所包含的至少一个构成要素各自的模型化而得到的至少一个球的立体图像。
[实施方式4的总结]
上述实施方式4的图像生成装置600b通过多个照明器101和控制电路来实现。
图46a是表示实施方式4的图像生成装置600b的硬件结构的一例的图。
实施方式4的图像生成装置600b具备多个照明器101、具有载置对象物的表面的图像传感器102、用于生成位于多个照明器101与图像传感器102之间的假想的焦面上的对象物的对焦图像的控制电路60。并且，该控制电路60实现上述的重新聚焦处理部610、球图像生成部620和合成图像生成部630各自的功能。此外，该控制电路60也可以通过执行记录在非暂时性的记录介质中的程序或命令来实现这些功能。
即，控制电路60使用通过每当多个照明器101依次照明对象物时由图像传感器102进行的拍摄而得到的对象物的多个拍摄图像，生成预先确定的多个焦面的各焦面上的对象物的对焦图像。接着，控制电路60提取显现在所生成的多个对焦图像中的对象物的至少一个截面的轮廓。接着，控制电路60基于该至少一个截面的轮廓，生成至少一个圆周，生成具有所生成的至少一个圆周的各圆周的至少一个球的立体图像即球图像a0。并且，控制电路60通过以使该至少一个球的截面b1显现的方式对球图像a0进行加工来生成合成图像m，并使该合成图像m显示于显示器760。
图46b是表示图像生成装置600b所具备的控制电路60的工作的一例的流程图。
(步骤s61)
首先，控制电路60使用通过每当多个照明器101依次照明对象物时由图像传感器102进行的拍摄而得到的对象物的多个拍摄图像，生成预先确定的多个焦面的各焦面上的对象物的对焦图像。
(步骤s62)
接着，控制电路60提取显现在所生成的多个对焦图像中的对象物的至少一个截面的轮廓。
(步骤s63)
接着，控制电路60基于该至少一个截面的轮廓，生成至少一个圆周。
(步骤s64)
接着，控制电路60生成具有所生成的至少一个圆周的各圆周的至少一个球的立体图像即球图像a0。
(步骤s65)
然后，控制电路60通过以使该至少一个球的截面b1显现的方式对球图像a0进行加工来生成合成图像m，并使该合成图像m显示于显示器760。
由此，对象物被模型化成球图像a0，例如包括球图像a0和该截面b1的合成图像m被显示于显示器760。其结果是，使用者通过观察该合成图像m，能够容易地掌握对象物的结构。
另外，控制电路60也可以根据使用者的操作来变更正在显示的合成图像m中的截面b1的位置。该情况下，控制电路60根据来自使用者的请求，使用多个拍摄图像生成与正显示在显示器760上的截面b1对应的焦面上的对象物的对焦图像，并使该对焦图像显示于显示器760。
由此，使用者能够将该合成图像m的截面b1变更到所希望的位置，能够显示该位置处的对焦图像。例如，使用者能够一边确认胚内部的结构，一边决定想要观察的细胞的截面的位置。另外，能够为了确认内部结构而高效地进行截面位置的选择。因此，能够容易地显示对象物的在使用者希望的截面上的对焦图像。
此外，具备这样的图像生成装置600b的图像生成系统，也可以具备通过使用者的输入来受理细胞数的细胞数输入部。该情况下，球图像生成部620基于被该细胞数输入部受理的细胞数来生成球图像a0。具体而言，球图像生成部620基于从多个初始焦面上的合成图像中提取出的轮廓，设定n个球的中心坐标和半径。但是，在被细胞数输入部受理的细胞数为m(m<n)个的情况下，球图像生成部620将n个球中的(n-m)个球作为噪声来处理。该作为噪声来处理的(n-m)个球例如是n个球中的比其余的m个球小的球。其结果是，球图像生成部620生成包括m个球的球图像。由此，能够生成消除了噪声的球图像，能够适当地进行对象物的模型化。此外，细胞数输入部也可以不是受理细胞数而是受理培养时间。该情况下，细胞数输入部通过参照实施方式3的胚信息表420，根据所受理的培养时间来确定细胞数。
另外，实施方式4的形状决定部624将沿着构成要素的轮廓的形状的圆周的半径设定为球的半径，但该圆周也可以是与轮廓内接的圆周，还可以是与轮廓外接的圆周。
另外，实施方式4的图像生成装置600b，进行图44所示的步骤s130、s160以及s170的处理，但也可以不进行这些处理。该情况下，图像生成装置600b使出现了预先确定的位置的截面的合成图像显示于显示器760。也就是说，在使用者希望的截面的位置被固定的情况下，图像生成装置600b不受理使用者的画面操作而显示出现了该固定的位置的截面的合成图像。并且，图像生成装置600b生成并显示与该截面对应的焦面上的对焦图像。
(其他实施方式)
以上，基于实施方式对一个或多个技术方案涉及的图像生成系统进行了说明，但本公开不限定于该实施方式。在不脱离本公开的主旨的范围内，在本实施方式中实施本领域技术人员能想到的各种变形而得到的方式、或组合不同实施方式中的构成要素而构成的方式也可以包含在一个或多个技术方案的范围内。
此外，在上述实施方式3及其变形例中，计时部430将从培养开始起的经过时间计测为培养时间，但也可以计测受精后的经过时间。该情况下，胚信息表不是保持培养时间而是保持从受精起的经过时间的信息即可。
本公开能够广泛利用于生成培养中的细胞或胚等细胞团(cellmass)的图像的装置，当在培养箱内拍摄对象物时有用。
- 还没有人留言评论。精彩留言会获得点赞！