图像处理设备及其控制方法
【技术领域】
[0001] 本发明设及一种从拍摄的图像中捜索被摄体并生成聚焦在作为捜索结果的被摄 体图像上的图像的图像处理设备及其控制方法。
【背景技术】
[0002] 近年来，被称为光场（下文中称为"LF")照相机的摄像装置已被商业化。该摄像 装置能够通过布置在图像传感器上的微透镜阵列分割入射光，来拍摄多个方向上的光并获 得光线信息。下文中，LF照相机拍摄的图像被称为"LF图像"，并且图像数据被称为"LF数 据"。通过在拍摄之后基于与LF数据相关的光线强度及其入射方向执行预定的计算处理， 能够重构在可选视点的图像和W可选景深聚焦在可选位置的图像。目P，通过在记录的数据 上进行算法处理，能够在拍摄之后重构图像的视点、焦点位置W及景深，该特征是LF照相 机的优点。该重构处理被称为LF图像的显影处理。
[0003] 当显示LF图像时，一般通过聚焦在预定的默认焦点位置上来进行显影处理。例 如，存储在上次LF图像显示期间的设置信息作为默认焦点位置，并且下次使用该设置信 息。另外，一般进行如下图像捜索（被摄体捜索）：包括人物的被摄体被指定为捜索条件， 并且通过使用被摄体识别和元数据来捜索指定的被摄体的图像。日本特开2010-086194号 公报公开了图像捜索结果的呈现方法。
[0004] 如上所述，上次LF图像显示期间的焦点位置等被设置为默认，通过聚焦在该焦点 位置来进行显影，并显示LF图像，但是在运种设置下，被摄体未必总是被聚焦的。图16A例 示了LF图像的示例。运例示了在S个被摄体12U122和123当中聚焦在被摄体122上的 状态作为默认状态。因此，即使通过聚焦在默认焦点位置上来进行显影，也未必总是聚焦在 被指定为捜索目标的被摄体（例如，被摄体123)上。因此，用户需要在再次调整焦点位置 的同时捜索待捜索的被摄体。例如，如图16B中LF图像的示例所示，用户需要进行调整操 作W聚焦在作为捜索目标的被摄体123上，因此，操作是复杂的。 阳0化]另外，日本特开2010-086194号公报中的现有技术公开了改变强调待捜索的被摄 体的分帖线的形状或颜色，但是并未考虑待显示的图像的焦点位置。
【发明内容】
[0006] 本发明在处理光场数据的图像处理设备中，通过聚焦在待捜索的被摄体上来提高 用户的便利性。
[0007] 根据本发明的设备包括：第一图像生成单元，其被构造为由各自聚焦状态可改变 的多个光场数据中的各个生成具有预定景深的第一图像；捜索单元，其被构造为通过分析 所述第一图像生成单元生成的所述第一图像，来捜索包括预定被摄体的光场数据；W及第 二图像生成单元，其被构造为基于所述捜索单元捜索到的所述光场数据，生成具有比所述 第一图像浅的景深并且聚焦在所述预定被摄体上的第二图像。
[0008] 根据本发明，聚焦在待捜索的被摄体上能够提高用户的便利性。
[0009] 通过W下（参照附图）对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0010] 图IA和图IB是例示LF照相机内部的结构示例A和B的示意图。
[0011] 图2是例示在微透镜阵列12与图像传感器13的各像素之间的位置关系的示意 图。
[0012] 图3是例示在到微透镜的入射光的行进方向与图像传感器13的记录区域之间的 关系的示意图。
[0013] 图4是例示入射到图像传感器13的光线的信息的示意图。
[0014] 图5是例示重新聚焦算法处理的示意图。
[0015] 图6是例示在到微透镜的入射角的差异与图像传感器13中的记录区域之间的关 系的不意图。
[0016] 图7是例示针对景深的调整处理的示意图。
[0017] 图8是例示根据本发明的实施例的图像显示设备的概况的框图。
[0018] 图9是例示图8的被摄体捜索单元的概况的框图。
[0019] 图10是例示图8中被摄体捜索单元的处理示例的流程图。
[0020] 图11是例示图8中显示图像生成单元的概况的框图。
[0021] 图12是例示图8中显示图像生成单元的处理示例的流程图。
[0022] 图13是例示根据本发明的第二实施例的显示图像生成单元的处理示例的流程 图。
[0023] 图14是例示根据本发明的第=实施例的显示图像生成单元的处理示例的流程 图。
[0024] 图15是例示根据本发明的第四实施例的显示图像生成单元的处理示例的流程 图。
[0025] 图16A和图1她是例示LF图像的示例的图。
[00%] 图17A和图17B是例示全景聚焦（pan-focus)图像的示例和对用户的通知处理的 示例的图。
【具体实施方式】
[0027] 下文中，参照附图详细详细描述本发明的各实施例。在描述根据本发明的实施例 的图像处理设备之前，将描述LF照相机。
[0028] 图1例示了LF照相机的示意性结构。图像传感器13对从被摄体通过构成摄像光 学系统的摄像透镜11入射到微透镜阵列12的光进行光电转换，并获得电信号。注意，运里 获得的摄像数据是LF数据。
[0029] 摄像透镜11将来自被摄体的光投射到微透镜阵列12。摄像透镜11可更换，并且 通过将摄像透镜11安装在摄像装置10的主体上来使用摄像透镜11。用户能够通过摄像透 镜11的缩放操作来改变摄像倍率。通过将微透镜布置为网格状来构造微透镜阵列12,并且 该微透镜阵列12位于摄像透镜11与图像传感器13之间。构成微透镜阵列12的各微透镜 分割摄像透镜11的入射光，并且向图像传感器13输出分割的光。构成摄像单元的图像传 感器13是具有多个像素的摄像元件，并且在各像素处检测光强度。通过各微透镜分割的光 入射到接收来自被摄体的光的图像传感器13的各像素。
[0030] 图2是例示在微透镜阵列12与图像传感器13的各像素之间的位置关系的示意 图。微透镜阵列12的各微透镜被布置为与图像传感器13中的多个像素相对应。由各微透 镜分割的光入射到图像传感器13中的各像素，并且能够在各像素处检测到自不同方向的 光强度（光线信息）。此外，根据在各微透镜与图像传感器13中的各像素之间的位置关系， 能够知道通过微透镜入射到图像传感器13中的各像素的光线的入射方向（方向信息）。具 体而言，根据光强度的分布检测光的行进方向的信息。能够通过对位于与来自各微透镜的 光轴的偏屯、量相对应的位置处的图像传感器13中的像素的各输出进行合成，来获得在距 微透镜阵列12的透镜顶点面不同距离的聚焦面上的图像。注意，光线由函数表示，使用例 如位置、方向W及波长等的参数，通过两个平行面来使该函数参数化。具体而言，根据与各 个微透镜相对应的多个像素的布置来确定到各个像素的光的入射方向。如上所述，摄像装 置10获得光线信息和方向信息，并进行光线的排序和计算处理（下文中称为"重构"），从 而能够生成在光学焦点位置和光学视点处的图像数据。关于光线的信息和关于方向的信息 被包括在LF数据中。运种情况下的焦点位置使得用户能够在拍摄之后聚焦在期望的图像 区域中。
[0031] 图3是例示在到微透镜阵列12的微透镜的入射光线的行进方向与图像传感器13 的记录区域之间的关系的示意图。在微透镜阵列12上形成通过摄像透镜11的被摄体图像， 并且图像传感器13通过微透镜阵列12被接收到微透镜阵列12的入射光线。此时，如图3 所示，在图像传感器13上不同位置处被接收根据入射到微透镜阵列12的光线的行进方向 来对其进行接收，并且针对各微透镜形成摄像透镜11的形状的相似形的被摄体图像。
[0032] 图4是例示入射到图像传感器13的光线的信息的示意图。将使用图4描述图像 传感器13接收到的光线。运里，在摄像透镜11的透镜表面上的直角坐标系被表示为（U， V)，并且在图像传感器13的摄像面上的直角坐标系被表示为（X，y)。此外，在摄像透镜11 的透镜表面与图像传感器13的摄像面之间的距离被表示为"F"。因此，通过摄像透镜11和 图像传感器13的光强度可W被表示为图中所示的四维函数L(u，v，x，y)。由于入射到各个 微透镜的光线依据行进方向入射到不同的像素，因此除