图像获取装置、图像获取方法以及程序的制作方法
【技术领域】
[0001 ] 本申请涉及图像获取装置、图像获取方法以及程序。
【背景技术】
[0002] 对于摄像装置所使用的摄像元件，采用的是多个光电变换部在摄像面内被排列为 行以及列状的二维图像传感器。光电变换部典型的是形成于半导体层或者半导体基板的光 电二极管，接受入射光来生成电荷。二维图像传感器的分辨率（resolution)依赖于摄像面 上的光电变换部的排列间距或者排列密度。各个光电变换部的排列间距已短至可见光的波 长程度，因此使得分辨率进一步提升极为困难。
[0003] 由摄像元件获取的图像通过多个像素来规定。各像素通过包含一个光电变换部的 单位区域来划分。在摄像面上，由于存在布线所占有的区域，因此一个光电变换部的受光面 积S2小于一个像素的面积S1。受光面积S2相对于像素的面积Sl的比率（S2/S1)被称作 "开口率"。开口率（S2/S1)例如可取25%左右的值。若开口率小，则用于光电变换的入射 光量少，因此摄像元件所输出的像素信号的质量下降。如果采用以与摄像面对置的方式配 置微透镜阵列，各个微透镜与各个光电变换部对置来进行聚光的构成，则实际上能够有效 地扩大受光面积S2,提高开口率（S2/S1)以接近于1。但是，即便如此提高开口率（S2/S1)， 像素的排列间距以及排列密度也不会增加，因此分辨率不变化。
[0004] 专利文献1公开了基于超分辨率技术的高分辨率化。其中，为了在这种高分辨率 化中进行去卷积的恢复，需要求出点扩展函数（Point Spread Function :PSF)。例如，实际 决定PSF时需要利用点状的光源，提出了使用量子点、荧光珠来求出PSF的方案。
[0005] 在先专利文献
[0006] 专利文献
[0007] 专利文献1 :日本特开2006-140885号公报
【发明内容】
[0008] 发明要解决的课题
[0009] 准确地求出PSF较为困难。此外，PSF的大小与摄影倍率成比例，因此PSF的测定 误差与摄影倍率成比例地增大，其结果导致高分辨率图像的画质与分辨率成比例地劣化。 [0010] 用于解决课题的手段
[0011] 本公开的一形态的图像获取装置具备：照明系统，其以被摄体为基准而从多个不 同的照射方向依次射出照明光，以所述照明光来照射所述被摄体；摄像元件，其被配置在透 过了所述被摄体的所述照明光所入射的位置，并根据所述不同的照射方向来获取不同的多 个图像；图像处理部，其基于所述多个图像来形成分辨率比所述多个图像的各个图像有提 升的所述被摄体的高分辨率图像；和存储器，其保存针对所述多个照射方向的各个照射方 向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线入射至所述像 素的光电变换部的比例的数据，所述图像处理部将构成所述多个图像的各个图像的像素值 的、与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据来形成所 述被摄体的高分辨率图像。
[0012] 本公开的一形态的图像获取方法被设定为包括：以被摄体为基准而从多个不同的 照射方向依次射出照明光，以所述照明光来照射所述被摄体的步骤；利用被配置在透过了 所述被摄体的所述照明光所入射的位置处的摄像装置，根据所述不同的照射方向来获取不 同的多个图像的步骤；基于所述多个图像来形成分辨率比所述多个图像的各个图像有提升 的所述被摄体的高分辨率图像的步骤；和在存储器中保存针对所述多个照射方向的各个照 射方向来表示通过所述摄像元件的各像素中所含的多个子像素的上表面的光线入射至所 述像素的光电变换部的比例的数据的步骤，将构成所述多个图像的各个图像的像素值的、 与所述多个照射方向相应的组设为向量，基于从所述存储器读出的所述数据，将以所述比 例为系数的矩阵的逆矩阵与所述像素值的向量进行运算，来形成所述被摄体的高分辨率图 像。
[0013] 本公开的一形态的图像获取装置具备：照明装置、摄像元件和计算机，所述计算机 被设定为：利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次射出照明光， 以所述照明光来照射所述被摄体，利用被配置在透过了所述被摄体的所述照明光所入射的 位置处的摄像装置，根据所述不同的照射方向来获取不同的多个图像，基于所述多个图像 来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像，在存储器 中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的各像素中所含 的多个子像素的上表面的光线入射至所述像素的光电变换部的比例的数据，所述图像处理 部将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的组设为向量， 基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与所述像素值的 向量进行运算，来形成所述被摄体的高分辨率图像。
[0014] 本公开的一形态的程序是具备照明装置、摄像元件和计算机的图像获取装置用的 程序，该程序被构成为：利用所述照明装置，以被摄体为基准而从多个不同的照射方向依次 射出照明光，以所述照明光来照射所述被摄体，利用被配置在透过了所述被摄体的所述照 明光所入射的位置处的摄像装置，根据所述不同的照射方向来获取不同的多个图像，基于 所述多个图像来形成分辨率比所述多个图像的各个图像有提升的所述被摄体的高分辨率 图像，在存储器中保存针对所述多个照射方向的各个照射方向来表示通过所述摄像元件的 各像素中所含的多个子像素的上表面的光线入射至所述像素的光电变换部的比例的数据， 所述图像处理部将构成所述多个图像的各个图像的像素值的、与所述多个照射方向相应的 组设为向量，基于从所述存储器读出的所述数据，将以所述比例为系数的矩阵的逆矩阵与 所述像素值的向量进行运算，来形成所述被摄体的高分辨率图像。
[0015] 本公开的一形态的图像获取装置具备：光源，其向被摄体照射光，并且姿势以及位 置被固定；倾斜机构，其使所述被摄体倾斜为多个倾斜角度；摄像元件，其被配置在透过了 所述被摄体的所述光所入射的位置，并且利用所述倾斜机构而与所述被摄体一体地倾斜， 根据所述多个倾斜角度来获取多个图像；图像处理部，其基于所述多个图像来形成分辨率 比所述多个图像的各个图像有提升的所述被摄体的高分辨率图像；和存储器，其针对所述 多个倾斜角度的各个倾斜角度来表示通过所述摄像元件的各像素中所含的多个子像素的 上表面的光线入射至所述像素的光电变换部的比例的数据，所述图像处理部将构成所述多 个图像的各个图像的像素值的、与所述多个倾斜角度相应的组设为向量，并基于从所述存 储器读出的所述数据来形成所述被摄体的高分辨率图像。
[0016] 发明效果
[0017] 根据本公开的实施方式，能够通过对由一个摄像元件获得的多个低分辨率图像进 行合成来实现高分辨率化。
【附图说明】
[0018] 图1是示意性地表示摄像元件中的光电二极管的排列例的俯视图。
[0019] 图2是示意性地表示摄像元件中的一个像素和开口区域的关系的俯视图。
[0020] 图3是示意性地表示摄像元件中的一个像素和开口区域的关系的剖视图。
[0021] 图4A是用于说明本公开的图像获取装置的构成以及动作的剖视图。
[0022] 图4B是用于说明本公开的图像获取装置的构成以及动作的剖视图。
[0023] 图5A是表示本公开的图像获取装置中的照明的示例的图。
[0024] 图5B是表示本公开的图像获取装置中的照明的示例的图。
[0025] 图5C是表示本公开的图像获取装置中的照明的示例的图。
[0026] 图6是表示本公开的图像获取装置中的照明的其他示例的图。
[0027] 图7是表示本公开之中的摄像元件中的光线入射的示例的剖视图。
[0028] 图8是表示本公开之中的摄像元件中的光线入射的其他示例的剖视图。
[0029] 图9是表示本公开之中的摄像元件中的光线入射的进一步的其他示例的剖视图。
[0030] 图10是表示本公开之中的摄像元件中的光线入射的进一步的其他示例的剖视 图。
[0031] 图11是表示本公开之中的摄像元件中的通过了被摄体的光线入射的示例的剖视 图。
[0032] 图12A是表示针对照射方向Jl~J4的各个照射方向而通过拍摄获得的光电二极 管40的输出值A 4和透过率Sl~S4的关系的表格。
[0033] 图12B是表示针对N个像素且针对照射方向Jl~J4的各个照射方向而通过拍摄 获得的光电二极管40的输出值和透过率Sl~S4的关系的表格。
[0034] 图13A是表示针对照射方向Jl~J5的各个照射方向而通过拍摄获得的光电二极 管40的输出值A 5和透过率Sl~S4的关系的表格。
[0035] 图13B是表示针对N个像素且针对照射方向Jl~J5的各个照射方向而通过拍摄 获得的光电二极管40的输出值和透过率Sl~S4的关系的表格。
[0036] 图14是表示针对照射方向Jl~J3的各个照射方向而通过拍摄获得的光电二极 管40的输出值Al~A3和透过率Sl~S2的关系的表格。
[0037] 图15是对图14的表格所示的关系进行规定的条件式。
[0038] 图16是在横轴为Sl、纵轴为S2的二维坐标平面上绘制了由图15的3个条件式所 表不的3条直线的图表。
[0039] 图17是表示第一实施方式所涉及的图像获取装置的简要构成的框图。
[0040] 图18是表示第一实施方式所涉及的图像获取装置中的光源的位置偏离所引起的 光线入射位置的误差的剖视图。
[0041] 图19是表示第一实施方式所涉及的图像获取装置中的从点光源射出的光束的扩 展所引起的光线入射位置的偏移的剖视图。
[0042] 图20是表示可设为利用了矩阵的运算的对象的计算范围的示例的图。
[0043] 图21是表示设有遮光部的摄像元件的一例的立体图。
[0044] 图22是表示设有遮光部的摄像元件的一例的剖视图。
[0045] 图23是表示第一实施方式所涉及的图像获取装置的动作的流程图。
[0046] 图24是表示第二实施方式所涉及的图像获取装置的简要构成的框图。
[0047] 图25是表示第二实施方式所涉及的图像获取装置的动作的流程图。
[0048] 图26是表示用于获取放大率为2倍的高分辨率图像的放大图像2801的获取方法 的图。
[0049] 图27是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置的改变例的图。
[0050] 图28是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置的其他改变例的图。
[0051] 图29是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置的进一步的其他改变例的图。
[0052] 图30是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置的进一步的其他改变例的图。
[0053] 图31是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置的进一步的其他改变例的图。
[0054] 图32是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置的进一步的其他改变例的图。
[0055] 图33是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置的进一步的其他改变例的图。
[0056] 图34是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置的进一步的其他改变例的图。
[0057] 图35是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置的进一步的其他改变例的图。
[0058] 图36是表示具备以能装卸的方式保持作为摄像对象的被摄体以及摄像元件的保 持装置