图像处理装置、图像处理方法、以及图像处理程序的制作方法
【专利说明】
[0001] 相关申请的夺叉引用
[0002] 这个申请基于2014年6月30日提交的第2014-135107号日本专利申请，并要求 其优先权的权益；其全部内容通过引用被结合于此。
技术领域
[0003] 在此描述的实施例大体涉及图像处理装置、图像处理方法、以及图像处理程序。
【背景技术】
[0004] 一种图像处理方法、一种图像处理装置以及一种图像处理程序例如通过在曝光时 改变焦点（聚焦）的位置以及通过处理被采集的图像，来获得全聚焦（all-focused)图像。 对于与这种多聚焦位置相对应的图像来说，高质量是令人满意的。
【附图说明】
[0005] 图1是显示根据第一实施例的图像处理装置的框图；
[0006] 图2是显示根据第一实施例的图像处理装置的示意性横截面视图；
[0007] 图3是显示根据第一实施例的图像处理装置的示意性视图；
[0008] 图4是显示根据第一实施例的图像处理装置的操作的流程图；
[0009] 图5是显不用于估计PSF的方法的不意性视图；
[0010] 图6是显示用于估计PSF的方法的示意性视图；
[0011] 图7是显不用于估计PSF的方法的不意性视图；
[0012] 图8是显不PSF的不意性视图；
[0013] 图9是显示参考实例的图像处理装置的特性的示意性视图；
[0014] 图10是显示根据第一实施例的图像处理装置的特性的示意性视图；
[0015] 图11是显示根据第二实施例的图像处理装置的框图；
[0016] 图12是显示根据第二实施例的图像处理装置的操作的流程图；
[0017] 图13是显示根据第三实施例的图像处理装置的框图；
[0018] 图14A至图14E是显示根据第三实施例的图像处理装置的操作的示意性视图；
[0019] 图15是显示根据第三实施例的图像处理装置的操作的示意性视图；
[0020] 图16是显示根据第四实施例的图像处理装置的框图；以及
[0021] 图17是显示根据实施例的图像处理装置的框图。
【具体实施方式】
[0022] 根据一个实施例，一种图像处理装置包括成像元件、透镜以及图像处理器。光朝向 成像元件经过透镜。成像元件与透镜的相对位置是可变的。图像处理器获取第一图像和第 二图像。图像处理器通过添加第二图像的至少一部分至第一图像来得到第一存储图像。当 相对位置在第一范围中时，第一图像通过成像元件被采集。当相对位置在不同于第一范围 的第二范围中时，第二图像通过成像元件被采集。
[0023] 根据一个实施例，公开了一种图像处理方法。该方法包括当成像元件与透镜的相 对位置在第一范围中时，获取通过成像元件采集的第一图像。光朝向成像元件经过透镜。该 方法包括当相对位置在不同于第一范围的第二范围中时，获取通过成像元件采集的第二图 像。该方法包括通过添加至少一部分第二图像至第一图像，得到第一存储图像。
[0024] 根据一个实施例，公开了一种包括图像处理程序的计算机可读的非临时性存储介 质。该程序使得计算机执行处理。该处理包括当成像元件与透镜的相对位置在第一范围中 时，获取通过成像元件采集的第一图像。光朝向成像元件经过透镜。该处理包括当相对位 置在不同于第一范围的第二范围中时，获取通过成像元件采集的第二图像。该处理包括通 过添加至少一部分第二图像至第一图像，得到第一存储图像。
[0025] 以下将参考附图描述各种实施例。
[0026] 附图是示意性的或者概念上的；并且各部分的厚度和宽度之间的关系、各部分之 间的尺寸的比例等等不是必需与其实际值相同。此外，即使在相同的部分被图解的情况下， 附图之间也可以不同地图解尺寸和/或比例。
[0027] 在本申请的附图和说明书中，与对于在其上描述的附图中描述的部件类似的部件 被标记以相同的参考数字，并且适当地省略详细说明。
[0028] 第一实施例
[0029] 图1是图解根据第一实施例的图像处理装置的框图。
[0030] 图2是图解根据第一实施例的图像处理装置的示意性横截面视图。
[0031] 如图1所示，根据第一实施例的图像处理装置100包括聚焦位置确定单元10(位 置确定单元）、成像单元20、以及图像处理器30。如图2所示，成像单元20包括透镜22和 成像元件25。
[0032] 透镜22是朝向成像原件25透射入射光的成像透镜。透镜22相对于成像元件25 的相对位置（聚焦位置）是可变的。通过更改在成像单元20中的聚焦位置，对象（subject) 可以是焦点对准的，或者焦点可以从对象被移位。
[0033] 成像单元20采集多个图像。被采集的多个图像时刻被输入至图像处理器30。图 像处理器30存储被输入的多个图像，并且基于存储的多个图像来得到输出图像。因此，例 如，通过使用多个图像，可以获得其中噪声被抑制的高品质输出图像。
[0034] 在图1中所示的聚焦位置确定单元10确定透镜22相对于成像元件25的相对位 置。成像单元20将聚焦位置更改为所确定的位置，并采集图像。图像处理器30的存储单 元32将采集的图像存储在存储器缓冲区中存储的存储图像中。此外，成像单元20将聚焦 位置更改至由聚焦位置确定单元10所确定的另一个位置，并采集图像。被采集的图像进一 步被附加地存储至存储图像。因此，在实施例中，通过重复聚焦位置的更改并且通过采集， 获得图像被添加的存储图像。
[0035] 存储图像是在整个图像中以相同强度被模糊的图像，并且包括对应于多个不同的 聚焦位置的信息。图像处理器30 (修复单元33)对于这种存储图像进行模糊移除处理。因 此，可以获得高品质的输出图像。其中具有与成像元件彼此不同的距离的对象是焦点对准 的图像（例如，全聚焦图像）可以被获得。
[0036] 在图2中，从成像元件25朝向透镜22的方向被当作Z轴方向。
[0037] 在实例中，成像区域21和半导体衬底24被设置在成像元件25中。例如，成像区 域21被布置在使得在从Z轴方向被观察时、成像区域21和透镜22重叠的位置。
[0038] 透镜22由透镜保持器23所保持。透镜22的光轴被布置为与Z轴方向对齐。例 如，通过被设置在透镜保持器23中的调整机构来调整聚焦位置。
[0039] 例如，聚焦位置确定单元10和图像处理器30被设置在半导体衬底24中。聚焦位 置确定单元10和图像处理器30的至少一部分可以与半导体衬底24分开设置。电路衬底 26进一步被设置；并且聚焦位置确定单元10和图像处理器30的至少一部分可以被设置在 电路衬底26中。
[0040] 例如，光电二极管层21a、微透镜层21b、以及滤色镜层21c被设置在成像区域21 中。滤色镜层21c被布置在光电二极管层21a和微透镜层21b之间。
[0041] 被布置在垂直于Z轴方向的平面上的多个光电二极管被设置在光电二极管层21a 中。被设置在垂直于Z轴方向的平面中的多个微透镜被设置在微透镜层21b中。被布置在 垂直于Z轴方向的平面中的多个滤色镜被设置在滤色镜层21c中。例如，一个滤色镜被设 置在一个光电二极管和一个微透镜之间。
[0042] 图2所示的配置是实例；并且实施例的聚焦位置确定单元10、成像单元20、图像处 理器30等等不局限于以上叙述的实例。实施例的各种变形是可能的。例如，成像元件25 可以包括诸如CMOS图像传感器、CCD图像传感器等等的通常的成像元件。移动成像元件25 的机构可以被用于更改聚焦位置。
[0043] 图3是图解根据第一实施例的图像处理装置的示意性视图。
[0044] 这里，聚焦位置v是聚焦位置（透镜22相对于成像元件25的相对位置）。在实例 中，聚焦位置v是透镜22的位置。在移动成像元件25的机构被使用的情况下，聚焦位置是 成像元件25的位置。
[0045] 扫描范围Rs是聚焦位置v变化（移动）的范围。扫描范围Rs是聚焦位置v可变 的预定范围。随着扫描范围Rs增加，全聚焦图像的深度增加。扫描范围Rs被定义如下。
[0046] [公式 1]
[0047] ^ " (1 )
[0048] 也就是，聚焦位置v在位置V。和位置v 6之间是可变的。
[0049] 图4是图解根据第一实施例的图像处理装置的操作的流程图。
[0050] 图像处理装置100的图像处理方法包括步骤S10至步骤S17。
[0051] 在步骤S10中，聚焦位置确定单元10确定采集时的聚焦位置。当聚焦位置是第一 位置时，聚焦位置确定单元10确定为进行采集。接下来，在实现如下所述的步骤S11至S15 之后，当聚焦位置是第二位置时，在步骤S10中再一次确定为进行采集。第二位置是不同于 第一位置的聚焦位置。
[0052] 图4所示的步骤S10至S15的重复的处理可以被进行作为步骤S11至S15的重复 的处理。在这种情况下，在步骤S10中，聚焦位置确定单元10确定在多个聚焦位置采集图 像。
[0053] 聚焦位置的确定的各种变化可以被使用。例如，聚焦位置可以在扫描范围Rs内被 随机确定。换句话说，第一位置和第二位置可以是在扫描范围Rs中被随机选择的位置。
[0054] 扫描范围Rs内的聚焦位置可以根据适当的分割宽度来被确定。换句话说，第一位 置和第二位置中的每一个可以是在扫描范围Rs中以均匀间隔布置的多个位置中的至少一 个。
[0055] 对于多个聚焦位置V，有利的是在扫描范围Rs内具有适度的波动。例如，被用作第 一位置的聚焦位置使得成像元