图像处理装置、图像处理方法和程序、以及摄像装置的制造方法
【技术领域】
[0001 ] 本发明涉及用于处理光场数据的图像处理装置。
【背景技术】
[0002]已知如下方法:基于通过从许多视角对被摄体进行拍摄而获得的图像，生成具有任意焦距、景深和视角的图像。
[0003]例如，在NPL(非专利文献)I中，公开了如下配置:在摄像元件的前方布置有具有以I比多个像素的比例排列的微透镜的微透镜阵列，从而不仅获得光强的二维分布，而且获得关于入射到摄像元件的光线的入射方向的信息，由此获得被摄体空间的三维信息。
[0004]上述能够获得被摄体空间的三维信息的这种摄像装置被称为“光场照相机”。
[0005]另外，被摄体空间的三维信息被称为“光场数据”，通过获得光场数据并在拍摄之后对光场数据进行图像再形成处理，能够进行被称为“再聚焦”的图像处理。再聚焦例如包括:改变图像的聚焦位置和图像的拍摄视角、以及调整图像的景深。
[0006]当要查看上述能够进行再聚焦的这种光场数据时，在某些情况下难以确定要在哪个焦点位置对要首先显示的图像进行再聚焦。为了解决该问题，在PTL(专利文献)I的技术中，从图像中提取被摄体，以显示在被摄体所在的位置对焦的再聚焦图像。
[0007]引用列表
[0008]专利文献
[0009]PTL 1:日本特开2011-22796号公报
[0010]非专利文献
[0011]NPL I:Ren.Ng, and 7others, "Light Field Photography with Hand-HeldPlenoptic Camera,"Stanford Tech Report CTSR, 2005-02
【发明内容】
[0012]技术问题
[0013]如上所述，在光场照相机中，能够在拍摄之后选择期望的焦距以再形成图像。因此，有必要通过使用拍摄时使用的焦距、主被摄体的信息以及其他这种信息，从多个焦距中确定要在首先显示光场数据时使用的焦距，并将确定的焦距存储为默认焦距。
[0014]然而，例如，对多个人进行了拍摄的光场数据可能包括在与主被摄体不同的焦距处的被摄体。在这种情况下，如果当向各个人发送光场数据时将主被摄体的焦距确定为默认焦距，则出现以下问题。具体地说，在与主被摄体不同的焦距处的被摄体的人是发送目的地的人的情况下，在发送目的地侧再形成的光场数据，被不期望地首先显示为相关人的图像模糊的图像。
[0015]类似地，在再形成光场数据以将图像发送至各个人时，如果主被摄体的焦距被确定为默认焦距，则出现如下问题:根据发送目的地，要被发送图像的相关人的图像模糊。
[0016]问题的解决方案
[0017]为了解决上述问题，根据本发明的一个实施例的图像处理装置被构造为:获得光场数据，所述光场数据是被摄体空间的三维信息；通过使用所获得的光场数据检测所述被摄体空间中包括的被摄体，来生成被摄体信息，并将所生成的被摄体信息添加到所述光场数据中；基于所述光场数据的拍摄信息来设置用于再形成所述光场数据的焦距，并将所设置的焦距添加到所述光场数据中；基于与作为所述光场数据的发送目的地对象的外部装置相对应的被摄体的信息，从被摄体信息中检测与所述外部装置相对应的被摄体；并根据所述检测的结果，更新由设置单元设置的焦距。
[0018]本发明的有益效果
[0019]根据本发明的一个实施例，即使在发送拍摄有多个人的图像的光场数据的情况下，也能够在相关人对焦的状态下，在发送目的地处首先显示再聚焦图像。
[0020]另外，即使在发送具有再形成的光场数据的图像的情况下，也能够在发送目的地处显示相关人对焦的图像。
[0021]通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0022]图1是例示用于实现根据本发明的第一实施例的图像处理装置作为光场照相机中的图像处理配置的硬件配置的框图。
[0023]图2是例示图1的光场照相机的图像处理单元的框图。
[0024]图3是例示图1的光场照相机的拍摄操作的流程图。
[0025]图4是例示图1的光场照相机的发送操作的流程图。
[0026]图5是例示图1的光场照相机的显示操作的流程图。
[0027]图6是例示用于实现根据本发明的第二实施例的图像处理装置作为光场照相机中的图像处理配置和云服务器的云服务器的图像处理单元的框图。
[0028]图7是例示由图6的云服务器进行的显示下载候选图像的操作的流程图。
[0029]图8是例示由图6的云服务器进行的下载图像的操作的流程图。
【具体实施方式】
[0030]现在，将参照附图详细描述本发明的示例性实施例。
[0031]第一示例
[0032]图1是用于实现根据本发明的第一实施例的图像处理装置作为摄像装置中的光场数据的图像处理配置的摄像装置(例如数字照相机)的框图，以例示用于进行包括拍摄、再现和发送/接收的操作的数字照相机的硬件配置。
[0033]参照图1，数字照相机包括用于获得摄像信号以获得光场数据(被摄体空间的三维信息)的摄像单元1002、以及用户用来输入指令(例如，对要发送的图像的变焦、拍摄和选择)的操作单元1003(例如，按钮和操纵杆)。数字照相机还包括通信I/F 1004、显示单元1005和工作存储器1006，通信I/F 1004包括用于有线连接的终端(例如，USB终端和HDMI终端)和用于连接到其他照相机或网络的WiFi接口，显示单元1005 (例如，液晶显示器)用于显示拍摄对象图像、菜单和其他，工作存储器1006(例如，DRAM)用于存储正被处理的图像和数据。数字照相机还包括用于再形成光场数据并进行图像处理(例如JPEG压缩)的图像处理单元1007、以及用于执行从操作单元1003发出的指令和可编程控制序列的控制单元1008 (例如CPU)。数字照相机还包括用于存储要由控制单元1008使用的各种表和已被处理的图像数据的存储器1009。存储器1009的示例包括可移动记录介质。上述单元和存储器经由总线1001相互电连接。
[0034]请注意，作为摄像单元1002，例如已知PTL I中公开的配置(具有不同视角的多个照相机作为整体被视为摄像单元1002)和NPL I中公开的摄像元件(布置有各自包括多个子像素的多个像素，该子像素用于接收通过聚焦光学系统的不同光瞳部分区域的光线)。而且，摄像单元1002的配置并非与本发明直接相关。因此这里省略其描述。
[0035]在下文中，参照图2至图5描述图1所示的数字照相机的操作。
[0036]在本发明的第一实施例的描述中，以用于将光场数据发送至外部装置以进行显示的图像处理配置为例。本实施例讨论了如下情况:发送源是如图1所示的被布置为对光场数据进行拍摄的数字照相机(下文中被简称为“光场照相机”)，发送目的地是具有类似配置的光场照相机或通用数字照相机。在本实施例中，作为发送源的照相机辨别作为发送目的地的照相机是否能够再形成光场数据，以确定是要发送光场数据、还是要在发送源中再形成光场数据以将再形成的数据作为JPEG图像进行发送。
[0037]图2是例示图1所示的光场照相机的图像处理单元1007的详细配置的框图。请注意，在图2中，通过与图1相同的附图标记表示图1所示的部件。
[0038]参照图2，光场数据生成单元2003将通过摄像单元1002拍摄的模拟数据转换为光场数据。被摄体检测单元2004使用全焦点图像进行面部检测，并生成针对各面部存储面部的焦距和面部的图像的面部列表。个人验证单元2005使用与发送目的地相对应的个人验证数据，来对面部列表中的面部依次进行个人验证，以验证面部列表中的面部是否是与发送对方相同的人的面部。在本实施例的以下描述中，以面部信息作为要检测的被摄体信息和要用于验证的信息的示例。然而，被摄体检测不限于面部检测，例如可以使用其他被摄体或动物，只要能够利用特定形状和特征检测并辨别被摄体即可。
[0039]此