控制装置和存储介质的制作方法

控制装置和存储介质的制作方法
【专利摘要】提供了一种控制装置和存储介质，该控制装置包括：对焦控制单元，被配置成执行控制以便使得在捕获的图像中的多个主体顺序地对焦；以及记录控制单元，被配置成响应于来自用户的触发执行控制，以便将由对焦控制单元顺序地对焦的多个主体的捕获的图像记录在存储介质上。
【专利说明】控制装置和存储介质
[0001]相关申请的交叉引用
[0002]本申请要求2013年6月14日提交的日本优先权专利申请JP2013-125826的权益，该日本优先权专利申请的全部内容通过弓I用并入本文。

【技术领域】
[0003]本公开涉及一种控制装置和存储介质。

【背景技术】
[0004]近年变得广泛普及的数字摄像机配备有用于测量与主体的距离并且自动地调节成像透镜的焦点的功能。具体地，例如，数字摄像机配备有所谓的主动距离测量装置，该主动距离测量装置向主体发出红外光并且接收从主体反射的光，以便测量与主体的距离。
[0005]关于根据与主体的距离、自动地调节成像透镜的焦点的这种数字摄像机的技术，例如提出了 JP H8-110545A。
[0006]JP H8-110545A公开了下述一种摄像机，该摄像机被配置成即使当摄像机错误地检测到主体在无穷远处时，摄像机也可以对主体进行拍摄而不牺牲无限焦深并且也尽可能地不牺牲在有限距离处的主体的模糊度。此外，根据JP H8-110545A的摄像机可以防止当发射的光未照射主体并且由于不能接收到从主体所反射的光而将主体错误地检测为在无穷远处的主体时所导致的未对焦状态。


【发明内容】

[0007]然而，在JP H8-110545A中，尽管根据与主体的距离使得在拍摄范围内(即，在视场内)的一个主体对焦，但是未考虑通过自动地对多个主体对焦来对多个主体进行拍摄的方面。
[0008]本公开提出了一种新的并且改进的控制装置和非易失性计算机可读存储介质，其考虑到通过对在视场内的多个主体对焦而进行的成像处理。
[0009]根据本公开的实施例，提供了一种控制装置，该控制装置包括:对焦控制单元，被配置成执行控制以便使得在捕获的图像中的多个主体顺序地对焦；以及记录控制单元，被配置成响应于来自用户的触发执行控制，以便将由对焦控制单元顺序地对焦的多个主体的捕获的图像记录在存储介质上。
[0010]根据本公开的实施例，提供了一种非易失性计算机可读存储介质，具有存储在其中的程序，该程序使得计算机用作下述单元:对焦控制单元，被配置成执行控制以便使得在捕获的图像中的多个主体顺序地对焦；以及记录控制单元，被配置成响应于来自用户的触发执行控制，以便将由对焦控制单元顺序地对焦的多个主体的捕获的图像记录在存储介质上。
[0011 ] 根据以上所述的本公开的一个或更多个实施例，通过使得在视场内的多个主体对焦所执行的成像处理变为可能。

【专利附图】

【附图说明】
[0012]图1示意地示出了根据本公开的实施例的摄影控制系统；
[0013]图2是示出了根据实施例的数字摄像机的内部配置的示例的框图；
[0014]图3是示出了根据实施例的CPU的功能配置的示例的框图；
[0015]图4示出了通过顺序地对多个主体对焦所捕获的图像；
[0016]图5示出了根据实施例的对象层级图像；
[0017]图6是示出了根据实施例的服务器的配置的示例的框图；
[0018]图7是示出了根据实施例的摄影控制系统的操作的流程图；
[0019]图8是示出了在实现根据本公开的另一实施例的对焦控制的情况下的CPU的功能配置的框图；
[0020]图9是示出了根据本公开的其他实施例的对焦控制的操作的流程图；以及
[0021]图10是示出了在由独立的数字摄像机实现摄影控制系统的情况下的CPU的功能配置的框图。

【具体实施方式】
[0022]在下文中，将参照附图详细地描述本公开的优选实施例。注意，在本说明书和附图中，采用相同的附图标记表示具有基本上相同的功能和结构的结构性元件，并且省略对这些结构性元件的重复说明。
[0023]将按照下面的顺序进行说明。
[0024]1.根据本公开的实施例的摄影控制系统的一般概要
[0025]2.基本配置
[0026]2.1数字摄像机的配置
[0027]2.2服务器的配置
[0028]3.操作
[0029]4.其他实施例
[0030]4.1对焦控制的其他示例
[0031]4.2独立的数字摄像机的配置
[0032]5.结论
[0033]1.根据本公开的实施例的摄影(photographic)控制系统的一般概要
[0034]首先，将参照图1描述根据本公开的实施例的摄影控制系统的一般概要。
[0035]图1示意地示出了根据本公开的实施例的摄影控制系统。如图1所示，根据此实施例的摄影控制系统包括数字摄像机I (即，根据本公开的实施例的控制装置)和服务器2。数字摄像机I和服务器2以无线方式或有线方式彼此连接，以便彼此交换数据。具体地，例如，数字摄像机I经由无线通信(诸如，无线局域网(LAN)或W1-Fi (注册商标))或经由有线通信连接到网络，以便与网络中的服务器2连接，从而与其交换数据。
[0036]如图1所示，数字摄像机I在构成数字摄像机I的壳体的一个表面上具有显示单元18，并且数字摄像机I在与设置有显示单元18的表面相对的表面(未示出)处设置有成像透镜和闪光灯。显示单元18可以是层积有触摸传感器13a(操作输入单元13的示例)的触摸屏显示器，并且显示单元18可以配置成检测在显示屏幕上所执行的用户操作。
[0037]此外，如图1所示，数字摄像机I的上表面设置有快门按钮13b、变焦杆13c、以及电源开/关按钮(未示出)。
[0038]此外，如图1所示，除了显示单元18还设置有各种控制按钮13d，包括:菜单按钮、播放按钮、OK按钮、删除按钮、以及模式切换按钮。模式切换按钮用于在诸如手动拍摄模式(shooting mode)、自动拍摄模式、全景拍摄模式、以及视频拍摄模式的拍摄模式之间进行切换。播放按钮用于在显示单元18上回放在数字摄像机I中所存储的捕获的图像。
[0039]当用户打开数字摄像机I并且将拍摄模式设置为预定拍摄模式时，用户使数字摄像机I的成像透镜朝向主体定向。数字摄像机I利用成像透镜收集光并且利用诸如电荷耦合器件(CCD)的成像元件接收光，以便将作为连续地捕获的主体图像的数字数据的通过透镜图像(through-the-lens image)P持续地(实时地)显示在显示单元18上。用户当按照此方式查看在显示单元18上所显示的通过透镜图像P时检查取景状态，然后在任意定时按下快门按钮13b，以便执行拍摄操作。
[0040]通常，当对在视场内的主体对焦时，用户通过移动数字摄像机I来调整取景，以使得主体被显示在通过透镜图像P的中心处(或显示单元18上所显示的对焦标记处)。然后，用户将快门按钮13b按下一半，以便激活自动对焦。当快门按钮13b被按下一半时，数字摄像机I测量与主体的距离(也称为“拍摄距离”或“主体距离”)，并且根据拍照距离调整成像透镜的焦距以便对焦在主体上。替选地，用户可以轻触在通过透镜图像P中出现的自由选择主体，以便对焦在主体上。数字摄像机I测量与在轻触的位置处所显示的主体的距离，并且根据拍照距离调整成像透镜的焦距，以便对焦在主体上。
[0041]然而，在以上所述的通常的控制方法中，仅可以使得在通过透镜图像P中的多个主体S1、S2、S3、以及S4中的一个对焦，这使得其他主体模糊。
[0042]在根据本公开的实施例的摄影控制系统中，通过使得在视场内的多个主体对焦来捕获视场内的多个主体的图像，以使得获取对焦在各个主体上的多个拍摄图像。然后，对这些多个拍摄图像进行合成，由此提供对焦在视场内的多个主体上的拍摄图像。这使得能够增强数字摄像机I的用户友好程度。
[0043]具体地，响应于快门按钮13b的按下，数字摄像机I通过使得在视场内的多个主体SI至S4对焦来捕获多个主体SI至S4的图像，以便获取对焦在各个主体上的多个拍摄图像。然后，数字摄像机I将这些多个拍摄图像传送到服务器2。在服务器2中，对对焦在视场内的多个主体上的拍摄图像进行合成。合成的拍摄图像可以被传送回数字摄像机1，并且可以经由显示单元18被呈现给用户，或可以被存储在预先登记的网络中的用户存储空间中。
[0044]以上已经描述了根据本公开的实施例的摄影控制系统的一般概要。接下来，将参照图2至图5详细地描述在根据实施例的摄影控制系统中所包括的数字摄像机I (即，根据本公开的实施例的控制装置)和服务器2的配置。
[0045]尽管在图1所示的示例中数字摄像机I被示为根据此实施例的控制装置的示例，但是根据此实施例的控制装置不限于此，并且例如替选地可以是数字视频摄像机、具有成像功能的便携式电话、具有成像功能的个人手持电话助手(PHS)、具有成像功能的智能电话、具有成像功能的个人数字助理(PDA)、具有成像功能的头戴式显示器(HMD)、具有成像功能的透视HMD (眼镜式HMD)、或具有成像功能的笔记本式个人计算机。
[0046]此外，图1所示的数字摄像机I的外观仅为示例。显示单元18的尺寸和设置位置，以及快门按钮13b、变焦杆13c、及各种控制按钮13d的位置和是否存在不限于图1所示的示例。例如，显示单元18可以设置为整体地覆盖数字摄像机I的一个表面，并且快门按钮13b、变焦杆13c、以及各种控制按钮13d的功能可以由在显示单元18的屏幕上所显示的按钮图像所实现。
[0047]2.基本配置
[0048]2.1数字摄像机的配置
[0049]图2是示出了根据此实施例的数字摄像机I的内部配置的示例的框图。如图2所示，根据此实施例的数字摄像机I包括中央处理单元(CPU) 10、只读存储器(ROM) 11、随机存取存储器(RAM) 12、操作输入单元13、距离信息获取单元15、摄像模块16、捕获(拍摄)的图像存储器17、显示单元18、以及网络接口(I/F)19。
[0050]操作输入单元
[0051]操作输入单元13是检测用户的操作并且接收操作输入的装置。具体地，操作输入单元13由用于接收用户的操作的装置实现。这样的装置包括层积在显示单元18上的触摸传感器13a、例如在数字摄像机I的上表面上所设置的快门按钮13b和变焦杆13c、各种控制按钮13d等。操作输入单元13将关于所接收到的操作输入的信息提供给CPU10。替选地，操作输入单元13可以由麦克风和音频信号处理器(未示出)实现。通过设置麦克风和音频信号处理器，用户的音频输入变为可能。
[0052]摄像模块
[0053]摄像模块16 (即，成像单元)包括成像光学系统，该成像光学系统包括成像透镜、成像元件以及图像信号处理器。例如由CCD成像器或互补金属氧化物半导体(CMOS)成像器实现成像元件。例如，图像信号处理器可以执行噪声降低、灰度校正、颜色校正、失真校正、模糊度校正、以及图像压缩和扩展。
[0054]摄像模块16根据由CPUlO所执行的控制获取对焦在多个主体上的多个捕获的图像。当使得主体对焦时，使用由距离信息获取单元15所获取的距离信息(即，主体信息)。
[0055]距离信息获取单元
[0056]距离信息获取单元15具有用于获取指示摄像模块16(即，成像单元)与主体之间的距离(即，主体距离)的距离信息的功能。具体地，例如，距离信息获取单元15通过使用主动方法、被动方法或两种方法的组合获取主体距离。具体地，在主动方法中，距离信息获取单元15将红外射线、超声波等辐射到主体上并且计算对于所反射波从主体返回所花费的时间，或基于辐射角度计算到主体的距离。在被动方法中，距离信息获取单元15使用利用透镜所捕获的图像来代替使用红外射线等。距离信息获取单元15可以针对捕获的图像内的每个主体(对象)获取主体距离，或可以针对捕获的图像内的每个像素获取主体距离。
[0057]捕获的图像存储器
[0058]捕获的图像存储器17是下述存储介质:其将预定数据存储在其中，并且其可以由例如像卡式存储器的闪存存储器实现。此外，根据由CPUlO所执行的控制，捕获的图像存储器17将由摄像模块16所捕获的图像存储在其中，并且还与该主体(B卩，在捕获的图像内主体的坐标位置)相对应地将由距离信息获取单元15所获取的、捕获的图像内的每个主体的主体距离存储在其中。此外，捕获的图像存储器17可以将针对捕获的图像中的每个像素的主体距离存储在其中。
[0059]显示单元18
[0060]显示单元18是将输出信息从数字摄像机I再现给用户的装置。显示单元18例如由液晶显示器(IXD)或有机发光二极管(OLED)显示器所实现。
[0061]网络I/F
[0062]网络I/F19是用于以无线方式或有线方式连接到网络的接口。具体地，例如，网络I/F19例如通过无线LAN或W1-Fi (注册商标)经由接入点连接到网络(即，云)。此外，根据由CPUlO所执行的控制，网络I/F19将对焦在多个主体上并且由摄像模块16所捕获的多个捕获的图像传送到网络中的服务器2。
[0063]CPU、ROM 以及 RAM
[0064]CPUlO控制数字摄像机I的每个组件。CPUlO是由例如微处理器所实现的。ROMll将程序存储在其中，该程序是要由CPUlO所执行以用于执行以上所述的功能中的每个功能的程序。当CPUlO执行以上所述的功能中的每个功能时，RAMl2用作工作区域。
[0065]将参照图3描述根据此实施例的CPUlO的详细功能配置。图3是示出了根据此实施例的CPU10-1的功能配置的示例的框图。
[0066]如图3所示，根据此实施例的CPU10-1包括识别单元110、对焦控制单元120、成像控制单元130、以及记录控制单元140。
[0067]识别单元110从由摄像模块16所捕获的图像(例如，通过透镜图像)中识别出多个主体(在下文中也称为“对象”)。对象识别例如基于图像分析(例如，特征、轮廓、颜色和形状的提取、面部识别、以及静态对象模式识别)来执行。因此，例如，通过分析图1中所示的通过透镜图像，识别单元I1可以识别出多个对象(对象SI至S4)。
[0068]此外，识别单元110可以确定每个对象是否可移动，并且可以将确定结果包括在对象的识别结果中。例如，通过参考预先登记的对象模型数据库(未示出)，可以执行对于每个对象是否可移动的确定。模型数据库包括关于每个对象的特征(诸如颜色和形状)和关于每个对象是否可移动的信息。例如，识别单元110基于通过对通过透镜图像P执行分析所提取的主体Si (对象)的形状、尺寸、颜色等，来参考模型数据库以便确定主体SI (对象)是人并且可移动。除了确定是人或人的面部可移动之外，识别单元110可以将面部的部分(例如，鼻子、嘴、眼睛以及眉毛)识别为对象，并且确定每个部分是否可移动。例如，当使得眼睛对焦时，识别单元110确定眼睛可移动；或当使得鼻子对焦时，识别单元110确定鼻子不可移动。
[0069]识别单元110将识别结果输出到对焦控制单元120和成像控制单元130。
[0070]对焦控制单元120控制摄像模块16以便顺序地使得捕获的图像内的多个主体(对象)对焦。具体地，对焦控制单元120顺序地使得由识别单元110所识别的多个主体(主体SI至S4)对焦。在这种情况下，未特别地限制对焦顺序，并且例如对焦顺序可以是随机的。
[0071]当将由对焦控制单元120使得对象对焦通知给成像控制单元130时，成像控制单元130控制摄像模块16以便使得摄像模块16执行成像处理。在这种情况下，成像控制单元130根据从识别单元110所输出的并且指示每个对象是否可移动的识别结果控制快门速度设置。例如，如果对象可移动，则成像控制单元130根据是要在不导致对象的细节模糊的情况下拍摄对象还是拍摄对象的轨迹来设置快门速度。例如，当拍摄跑步的人的表情时，期望拍摄跑步的人以使得他/她的表情清楚地可识别而不导致其细节模糊。另一方面，例如，当拍摄烟火或车辆的头灯(尾灯)时，期望可以拍摄灯的轨迹以使得表达其活动。因此，当要拍摄移动对象的细节时，成像控制单元130将快门速度设置为高的值，而当要拍摄移动对象的轨迹时，成像控制单元130将快门速度设置为低的值。
[0072]除了设置快门速度之外，成像控制单元130还可以设置其它成像参数，诸如自动曝光和孔径光阑。
[0073]记录控制单元140响应于来自用户的触发(例如，快门按钮13b的按下)执行控制，以便将由对焦控制单元120顺序地对焦的并且由成像控制单元130所捕获的多个主体的多个捕获的图像记录在预定存储介质上。在此实施例中，预定存储介质是至少具有合成功能的服务器2的存储介质(即，图6所示的捕获的图像数据库24)。记录控制单元140执行控制，以用于将多个捕获的图像从网络I/F19经由网络传送到服务器2并且用于将图像记录在服务器2的存储介质(即，图6所示的捕获的图像数据库24)上。鉴于诸如当位于地下的情形，在该情形下难以连接到网络并且因此难以将捕获的图像存储在服务器2的存储介质中，由记录控制单元140将捕获的图像存储在其中的存储介质可以包括数字摄像机I中内置的存储介质。将参照图4描述根据此实施例通过顺序地使得多个主体对焦所捕获的图像。
[0074]例如，如图4的上部部分所示，记录控制单元140首先响应于来自用户的触发使得主体(对象)SI对焦，并且记录在其它主体(对象)S2至S4模糊的状态下所捕获的捕获的图像P1。然后，如图4的中间部分所示，记录控制单元140使得主体(对象)S2对焦，并且记录在其它主体(对象)S1、S3、以及S4模糊的状态下所捕获的捕获的图像P2。随后，如图4的下部部分所示，记录控制单元140使得主体(对象)S4对焦，并且记录在其它主体(对象)SI至S3模糊的状态下所捕获的捕获的图像P3。因此，记录控制单元140响应于来自用户的触发(例如，快门按钮13b的按下)执行控制，以便将通过顺序地使得多个主体对焦所捕获的多个捕获的图像记录在服务器2的存储介质(即，图6所示的捕获的图像数据库24)上。
[0075]此外，记录控制单元140可以将由距离信息获取单元15所获取的与每个对象相对应的距离信息记录在预定存储介质上。具体地，记录控制单元140记录由识别单元110所识别出的与各个主体SI至S4 (或各个主体SI至S4的坐标位置)相对应的多个主体SI至S4的距离信息记录。
[0076]此外，记录控制单元140可以将通过对多个对象中的一个对焦所捕获的图像作为第一对象层级图像和通过对第一对象层级图像的一部分放大预定量所捕获的图像作为第二对象层级图像记录在预定存储介质上。将参照图5描述根据此实施例的对象层级图像。
[0077]如图5的左侧所示，例如，记录控制单元140将捕获的图像P5作为第一对象层级图像记录在预定存储介质上，捕获的图像P5是在主体(对象)S5被对焦并且其它主体(对象)SI至S4模糊的状态下所捕获的。然后，记录控制单元140将主体(对象)S5放大预定量，并且将以允许能够识别出被识别为树的主体S5的树枝和树叶的分辨率级别而捕获的捕获的图像P6作为第二对象层级图像记录在预定记录介质上，如图5的右侧所示。第二对象层级图像(具有允许树枝和树叶被识别为对象的分辨率级别)被排列为相对于第一对象层级图像(具有允许树被识别为对象的分辨率级别)的较低层级级别。尽管通常参照视场的中心执行放大，但是如果根据此实施例的摄像模块16的成像透镜是独立可移动类型(即，其成像方向是独立地可改变地)，则通过控制成像透镜的定向执行放大拍照，以使得主体S5位于视场的中心。替选地，如果成像控制单元130具有包括多个成像透镜的结构，则通过使用主体S5位于视场中心的成像透镜光学地执行放大拍照。此外，在存在多个成像透镜的情况下，通过对由多个成像透镜所捕获的多个捕获的图像进行合成生成前述的第一对象层级图像。
[0078]因此，在此实施例中，捕获位于远处的对象(具有较大主体距离)的图像，并且通过对其预先执行放大进行存储，以使得当用户在浏览期间期望捕获的图像(具体地，通过提取对象所生成的组合图像)的放大显示时，可以提供高分辨率图像。尽管未特别地限制放大的量，但是例如，如果第一对象是山，则可以执行放大达到允许在山中所包括的单独的树可识别的分辨率级别，以使得可以对对象进行层级化，此外可以执行放大达到允许在每个树中所包括的树枝和树叶可识别的分辨率级别。
[0079]以上详细地描述了根据此实施例的数字摄像机I的配置。接下来，将参照图6描述根据此实施例的服务器2的配置。
[0080]2.2服务器的配置
[0081]图6是示出了根据此实施例的服务器2的配置的示例的框图。如图6所示，服务器2包括主控制单元20、通信单元22、以及捕获的图像数据库24。
[0082]主控制单元
[0083]主控制单元20控制服务器2的每个组件。主控制单元20例如是由微处理器所实现的。此外，如图6所示，根据此实施例的主控制单元20用作通信控制单元210、记录控制单元220、以及合成单元230。
[0084]通信控制单元
[0085]通信控制单元210控制由通信单元22相对于外部装置所执行的数据交换。具体地，例如，通信控制单元210执行控制，使得由合成单元230所生成的合成图像从合成单元22传送到数字摄像机I。
[0086]记录控制单元
[0087]记录控制单元220执行控制使得由通信单元22从数字摄像机I所接收的捕获的图像(具体地，对焦在各个多个主体上的多个捕获的图像)被记录在捕获的图像数据库24上。此外，记录控制单元220可以将由合成单元230所生成的合成图像记录捕获的图像数据库24上。在这种情况下，记录控制单元220将在合成图像中所包括的多个聚焦主体(in-focus subject)(对象(object))与各个主体的距离信息相对应地记录在捕获的图像数据库24上。
[0088]合成单元
[0089]基于从数字摄像机I所传送的并且对焦在各个多个主体上的多个捕获的图像，合成单元230通过从每个捕获的图像中剪裁聚焦主体(通过使得与每个聚焦对象相对应的像素具有高优先级)执行合成处理，从而生成对焦在所有多个主体上的图像。
[0090]捕获的图像数据库
[0091]捕获的图像数据库24是将从数字摄像机I所传送的捕获的图像和由合成单元230所生成的合成图像存储在其中的存储介质。此外，捕获的图像数据库24包括:R0M，在ROM中存储有程序，该程序要由主控制单元20执行以用于执行以上所述的功能中的每个功能；以及RAM，当主控制单元20执行以上所述的功能中的每个功能时RAM用作工作区域。
[0092]通信单元
[0093]通信单元22通过无线连接或有线连接与外部装置交换数据。具体地，例如，通信单元22通过有线通信连接到网络，并且经由网络与数字摄像机I交换数据。
[0094]以上详细地描述了根据此实施例的服务器2的配置。接下来，将参照图7详细地描述根据此实施例的摄影控制系统的操作。
[0095]3.操作
[0096]图7是示出了根据此实施例的摄影控制系统的操作的流程图。如图7所示，在步骤S103中，数字摄像机I开始通过透镜图像捕获处理。
[0097]在步骤S106中，数字摄像机I的识别单元110识别作为通过透镜图像捕获处理的结果所捕获的捕获的图像(即，通过透镜图像)内的对象。
[0098]在步骤S109中，对焦控制单元120移动摄像模块16的成像透镜，以便使由识别单元110所识别出的多个对象中的一个对焦，并且调整焦距。在这种情况下，使用由距离信息获取单元15所获取的距离信息(即，摄像模块16与对象之间的主体距离)。
[0099]如果可以使得对象对焦(在步骤SI 12中为是)，则成像控制单元130在步骤SI 15中获取从识别单元110所输出的并且指示对象是否可移动的确定结果。
[0100]如果对象可移动(在步骤S115中为是)，则成像控制单元130执行控制，以用于根据要如何拍摄对象来设置快门速度。具体地，如上所述，如果要拍摄可移动对象的细节，则将快门速度设置为高的值，反之如果要拍摄可移动对象的轨迹，则将快门速度设置为低的值。
[0101]另一方面，如果对象不可移动或如果未从识别单兀110输出确定结果(即，如果不清楚对象是否可移动)(在步骤S115中为否)，则成像控制单元130未执行快门速度的控制。
[0102]然后，在步骤S121中，成像控制单元130控制摄像模块16以便执行成像处理。因此，获取对焦在多个对象中的一个上的捕获的图像。此外，为了将捕获的图像记录在网络中的服务器2的存储介质(B卩，捕获的图像数据库24)上，记录控制单元140执行控制以用于从网络接口 I/F19传送捕获的图像。尽管作为示例捕获的图像从数字摄像机I传送到服务器2，但是本实施例不限于此配置。例如，在数字摄像机I中，可以从捕获的图像剪裁聚焦主体区域的图像(即，可以使与聚焦对象相对应的像素具有高优先级)，并且所剪裁的图像可以被传送到服务器2。
[0103]随后，如果要执行对象的放大拍照(在步骤S124中为是)，则成像控制单元130通过对对象的一部分进行放大来执行成像处理(参见图5)。在这种情况下，记录控制单元140执行控制，以用于将放大之前的捕获的图像(即，在步骤S121中所捕获的捕获的图像)作为第一对象层级图像和放大之后的捕获的图像作为第二对象层级图像而记录。
[0104]在步骤S130中，记录控制单元140执行控制以用于将由识别单元110所识别出的每个对象的距离信息(即，主体距离)与该对象相对应地记录。由距离信息获取单元15获取每个对象的距离信息。替选地，由记录控制单元140所执行的每个对象的距离信息的记录控制可以在步骤S133中已经拍摄所有主体之后执行，这将在下面进行描述。
[0105]重复步骤S109至步骤S130，直到在步骤S133中确定针对由识别单元110所识别出的所有多个对象都完成了对焦拍摄过程为止。具体地，如果针对所有多个对象尚未完成对焦拍摄过程(在步骤S133中为否)，则对焦控制单元120执行步骤S109中的控制，以用于使得随后的对象对焦。因此，数字摄像机I可以获取对焦在由识别单元110所识别出的多个对象上的多个捕获的图像，并且将捕获的图像传送到服务器2。
[0106]在步骤S136中，基于从数字摄像机I所传送的多个捕获的图像，服务器2的合成单元230生成对焦在多个对象上的合成图像。具体地，例如，合成单元230从多个捕获的图像中剪裁聚焦主体区域的图像(使得与聚焦对象相对应的像素具有高优先级)，并且对多个所剪裁的图像进行合成，以便生成对焦到多个对象的图像。因此，根据此实施例的摄影控制系统可以将对焦到所有多个对象的图像提供给用户。
[0107]可以响应于由用户所执行的一个操作(诸如快门按钮13b的一个按下)执行以上所述的处理。具体地，例如，在步骤S103中所示的通过透镜图像捕获处理之后，数字摄像机I响应于用户的快门按钮13b的按下开始从步骤S106起和之后的处理。
[0108]4.其他实施例
[0109]4.1对焦控制的其他示例
[0110]尽管在以上所述的实施例中执行控制以顺序地使得由识别单元110所识别出的多个对象对焦，但是根据本公开的实施例的对焦控制不限于此。下面将参照图8和图9详细地描述根据本公开的其他实施例的对焦控制。根据此实施例的摄影控制系统包括数字摄像机I (控制装置)和服务器2，并且与以上所述的实施例中的摄影控制系统的差别仅在于:在数字摄像机I中所包括的CPUlO的功能配置方面。
[0111]功能配置
[0112]图8是示出了当实现根据本公开的其他实施例的对焦控制的情况下，在数字摄像机I中所包括的CPU10-2的功能配置的框图。如图8所示，CPU10-2用作对焦控制单元121、成像控制单元130以及记录控制单元140。
[0113]对焦控制单元121将焦点位置(focal posit1n)从远处侧朝向近处侧移动,或从近处侧朝向远处侧移动(即，调整焦距)，以便顺序地使得在通过透镜图像内的多个主体对焦。例如，在获取了图1所示的通过透镜图像P的情况下，对焦控制单元121将焦点位置从远处侧朝向近处侧移动，以便顺序地使得主体S4、S3、S2、以及SI对焦。
[0114]成像控制单元130执行控制，使得在由对焦控制单元121使得主体对焦的时刻捕获图像。
[0115]此外，当由对焦控制单元121使得主体对焦时，记录控制单元140执行控制以用于将由成像控制单元130所捕获的捕获的图像记录在预定存储介质(具体地，服务器2的捕获的图像数据库24)上。
[0116]如上所述，对焦控制单元121使得焦点位置从远处侧朝向近处侧移动，或从近处侧朝向远处侧移动，以便顺序地使得在通过透镜图像内的多个主体对焦，由此获取当使得多个主体对焦时所捕获的多个捕获的图像。
[0117]操作
[0118]接下来，将参照图9描述在此实施例中的操作。图9是示出了根据本公开的其他实施例的对焦控制的操作的流程图。如图9所示，在步骤S203中，数字摄像机I开始通过透镜图像捕获处理。用户通过在检查作为通过透镜图像捕获处理的结果所捕获的图像的同时移动数字摄像机I来调整取景。
[0119]在步骤S206中，对焦控制单元121将焦点位置控制为无穷远。
[0120]在步骤S209中，对焦控制单元121确定是否存在处于无穷远控制状态下的聚焦部分(主体)。
[0121]然后，如果不存在聚焦部分(在步骤S209中为否)，则对焦控制单元121在步骤S212中确定焦点位置(即，焦距)是否在最小处(即，是否在最接近摄像模块16的位置处)。在这种情况下，由于焦点位置被控制为无穷远，所以确定焦点位置不在最小处。
[0122]然后，如果确定焦点位置不在最小处(在步骤S212中为否)，则对焦控制单元121在步骤S215中将焦点位置移动半个景深的距离。例如，在焦点位置(即，焦距)为50m并且景深在30m至80m之间情况下，如果使得焦点位置更近，则对焦控制单元121将焦点位置移动到40-m的位置，其位于30m与50m之间的中点处。如果使得焦点位置更远，对焦控制单元121将焦点位置移动到65-m处,其位于50m与80m之间的中点处。尽管作为示例将焦点位置移动了半个景深的距离，但是在此实施例中的焦点位置的移动距离不限于此。例如，焦点位置可以移动1/4个景深的距离或可以移动预定距离而与景深无关。
[0123]随后，如果在步骤S209中确定存在聚焦部分(在步骤S209中为是)，则成像控制单元130在步骤S218中确定要拍摄的主体(对象)是否在最佳条件下。对于要拍摄的主体是否在最佳条件下的确定可以根据例如成像参数是否设置为自动模式来执行。具体地，如果成像参数设置为自动模式则成像控制单元130确定要拍摄的主体在最佳条件下，或如果成像参数设置为手动模式，则确定未设置在最佳条件下。
[0124]如果要拍摄的主体在最佳模式下(在步骤S218中为是)，则成像控制单元130在步骤S221中将用于聚焦主体的成像参数(诸如，快门速度、孔径光阑、以及变焦)设置为最佳条件。
[0125]另一方面，如果未设置成最佳条件(在步骤S218中为否)，则成像控制单元130不执行用于设置拍摄参数的控制。
[0126]在步骤S224中，成像控制单元130通过控制摄像模块16执行成像处理。因此，获取对焦到多个主体中的一个上的捕获的图像。
[0127]在步骤S227中，记录控制单元140执行控制以用于从捕获的图像中剪裁聚焦主体区域的图像(即，使得与聚焦对象相对应的像素具有高优先级)，并且从网络I/F19传送所剪裁的图像，以便将所剪裁的图像记录在服务器2的存储介质上。尽管作为示例从数字摄像机I中的捕获的图像中剪裁聚焦主体区域的图像，但是此实施例不限于此配置。例如，捕获的图像可以从数字摄像机I传送到服务器2，并且可以从服务器2中的捕获的图像中剪裁聚焦主体区域的图像(即，可以使得与聚焦主体相对应的像素具有高优先级)。
[0128]在步骤S230中，记录控制单元140执行控制，以用于将拍摄条件、指示与聚焦主体的距离的距离信息等与捕获的图像或主体区域的剪裁图像内的主体坐标位置相对应地记录在服务器2上。
[0129]直到在步骤S212中确定焦点位置在最小处之前，重复步骤S215、S209、以及步骤S218至S230。具体地，如果确定焦点位置不在最小处(在步骤S212中为否)，则对焦控制单元120在步骤S215中进一步移动焦点位置。结果，根据此实施例，逐渐地移动焦点位置，以使得可以顺序地拍摄聚焦主体。
[0130]在步骤S233中，基于从数字摄像机I所传送的多个捕获的图像，服务器2的合成单元230生成对焦在多个对象上的合成图像。结果，根据此实施例的摄影控制系统可以将对焦在所有多个对象上的图像提供给用户。
[0131 ] 以上描述了根据本公开的其他实施例的对焦控制。
[0132]4.2独立数字摄像机的配置
[0133]尽管根据以上所述的每个实施例的摄影控制系统包括数字摄像机I (控制装置)和服务器2，但是根据此实施例的摄影控制系统的主要功能可以由数字摄像机I独立地执行。以下将参照图10描述由数字摄像机I独立地实现的根据本公开的实施例的这样的摄影控制系统。根据此实施例的数字摄像机I (控制装置)的配置与以上所述的实施例中的数字摄像机I的配置的差别仅在于:在数字摄像机I中所包括的CPUlO的功能配置方面。此夕卜，由于根据此实施例的数字摄像机I不需要将捕获的图像传送至服务器2，所以可以省略网络I/F19。
[0134]图10是示出了在由数字摄像机I独立地实现摄影控制系统的情况下在数字摄像机I中所包括的CPU10-3的功能配置的框图。如图10所示，CPU10-3用作识别单元110、对焦控制单元120、成像控制单元130、记录控制单元140、以及合成单元150。
[0135]因为识别单元110、对焦控制单元120以及成像控制单元130具有与参照图3所描述的配置类似的配置，所以在此将省略对其的说明。
[0136]记录控制单元140执行控制以用于将由对焦控制单元120顺序地对焦的并且由成像控制单元130所捕获的多个主体的多个捕获的图像记录在数字摄像机I的内置存储介质(具体地，捕获的图像存储器17)上。此外，记录控制单元140可以执行用于将由合成单元150 (将在下面进行描述)所生成的合成图像记录在捕获的图像存储器17上。在这种情况下，记录控制单元140将在合成图像中所包括的多个聚焦主体(对象)与各个主体的距离信息相对应地记录。
[0137]基于对焦在多个主体上的并且由记录控制单元140所记录的多个捕获的图像，合成单元150通过从每个捕获的图像剪裁聚焦主体(即，通过使得与每个聚焦对象相对应的像素具有高优先级)来执行合成处理，从而生成对焦在所有多个主体上的图像。
[0138]因此，在数字摄像机I中执行在服务器2中所执行的合成处理，以使得即使当难以与服务器2进行通信时，也可以将对焦在所有多个主体上的图像提供给用户。
[0139]5.结论
[0140]如上所述，根据以上所述的每个实施例中的摄影控制系统可以提供对焦在多个主体(对象)上并且具有很少模糊的清晰图像。具体地，摄影控制系统通过响应于来自用户的触发(例如，快门按钮13b的按下)顺序地使得在通过透镜图像内的多个主体对焦来自动地执行成像处理，并且基于多个捕获的图像生成对焦在多个主体(对象)上的图像。
[0141]此外，在根据每个实施例的摄影控制系统中，可以将多个主体的距离信息(即，主体距离信息)与合成图像中所包括的各个主体相对应地记录。
[0142]由于通常地通过仅对一个主体对焦执行拍摄处理，所以将一条距离信息添加到捕获的图像。相比之下，在以上所述的每个实施例中，距离信息(即，主体距离信息)与图像内的多个主体中的每个主体相对应。当基于对象之间的位置关系顺序地执行层级化或当将对象的图像与其他对象的图像进行合成时，此距离信息是有用的。例如，当在每个实施例中所生成的合成图像进一步与在其他情景中所捕获的对象的图像合成的情况下，通过参考与要被合成的对象相对应地记录的距离信息和在合成的图像内的对象的距离信息，确定在图像合成处理期间层之间的层级关系。例如，如果要被合成的对象的距离信息指示图1所示的主体SI与S2之间的位置，则通过将前述对象的层设置在主体SI的层之下并且在主体S2的层之上来执行合成处理。
[0143]尽管以上参照附图详细地描述了本公开的优选实施例，但是，本技术不限于这些示例。本公开的【技术领域】内的普通技术人员应当理解，在所附的权利要求或其等价条件的技术范围内可以发生各种修改和替换，并且这样的修改和替换包括在本公开的技术范围内。
[0144]例如，可以在数字摄像机I或服务器2的内置的硬件单元，诸如CPU、R0M以及RAM中建立用于实现数字摄像机I或服务器2的功能的计算机程序。此外，还提供了其中存储有计算机程序的计算机可读存储介质。
[0145]此外，在本说明书中在数字摄像机I或服务器2的处理中所执行的步骤的顺序不限于在所附的序列图或流程图中所公开的时间顺序。例如，在数字摄像机I或服务器2中的处理中的步骤可以按照不同于序列图或流程图中所描述的顺序而执行，或可以并行地执行。
[0146]另外，本技术还可以如下配置。
[0147]1.一种控制装置，包括:
[0148]对焦控制单元，被配置成执行控制以便使得在捕获的图像中的多个主体顺序地对焦；以及
[0149]记录控制单元，被配置成响应于来自用户的触发执行控制以便将由所述对焦控制单元顺序地对焦的所述多个主体的捕获的图像记录在存储介质上。
[0150]2.根据I所述的控制装置，还包括:
[0151]识别单元，被配置成从所述捕获的图像中将对象识别为所述多个主体。
[0152]3.根据2所述的控制装置，还包括:
[0153]获取单元，被配置成获取由所述识别单元所识别的每个对象与捕获所述图像的成像单元之间的距离，
[0154]其中，所述记录控制单元将由所述获取单元所获取的距离信息与每个对象相对应地记录在所述存储介质上。
[0155]4.根据2或3所述的控制装置，
[0156]其中，所述识别单元确定每个对象是否可移动，以及
[0157]其中，所述控制装置还包括成像控制单元，所述成像控制单元被配置成根据指示所述对象是否可移动的确定结果控制当通过使得所述对象对焦来执行成像处理时所要应用的快门速度设置。
[0158]5.根据I至4中任意一项所述的控制装置，
[0159]其中，所述记录控制单元将通过对焦到多个对象中的一个对象上所捕获的图像作为第一对象层级图像，并且将通过对所述第一对象层级图像的一部分放大预定量所捕获的图像作为第二对象层级图像，记录在所述存储介质上。
[0160]6.根据I所述的控制装置，
[0161]其中，所述对焦控制单元将焦点位置从远处侧朝向近处侧移动，或从近处侧朝向远处侧移动，以及
[0162]其中，所述记录控制单元执行控制，以便将当由所述对焦控制单元使得所述多个对象对焦时所捕获的图像记录在所述存储介质上。
[0163]7.根据1-6中任意一项所述的控制装置，还包括:
[0164]合成单元，被配置成基于由所述记录控制单元所记录的多个图像执行合成处理，使得与每个聚焦对象相对应的像素优先处理。
[0165]8.一种非易失性计算机可读存储介质，具有存储在其中的程序，，所述程序使得计算机用作下述单元:
[0166]对焦控制单元，被配置成执行控制以便使得在捕获的图像中的多个主体顺序地对焦；以及
[0167]记录控制单元，被配置成响应于来自用户的触发执行控制以便将由所述对焦控制单元顺序地对焦的所述多个主体的捕获的图像记录在存储介质上。
【权利要求】
1.一种控制装置，包括: 对焦控制单元，被配置成执行控制以便使得在捕获的图像中的多个主体顺序地对焦；以及 记录控制单元，被配置成响应于来自用户的触发执行控制，以便将由所述对焦控制单元顺序地对焦的所述多个主体的捕获的图像记录在存储介质上。
2.根据权利要求1所述的控制装置，还包括: 识别单元，被配置成从所述捕获的图像中将对象识别为所述多个主体。
3.根据权利要求2所述的控制装置，还包括: 获取单元，被配置成获取由所述识别单元所识别的每个对象与捕获所述图像的成像单元之间的距离， 其中，所述记录控制单元将由所述获取单元所获取的距离信息与所述每个对象相对应地记录在所述存储介质上。
4.根据权利要求2所述的控制装置， 其中，所述识别单元确定每个对象是否可移动，以及 其中，所述控制装置还包括成像控制单元，所述成像控制单元被配置成根据指示所述对象是否可移动的确定结果控制当通过使得所述对象对焦来执行成像处理时所要应用的快门速度设置。
5.根据权利要求1所述的控制装置， 其中，所述记录控制单元将通过对焦到多个对象中的一个对象上所捕获的图像作为第一对象层级图像，并且将通过对所述第一对象层级图像的一部分放大预定量所捕获的图像作为第二对象层级图像，记录在所述存储介质上。
6.根据权利要求1所述的控制装置， 其中，所述对焦控制单元将焦点位置从远处侧朝向近处侧移动，或从近处侧朝向远处侦嫩动，以及 其中，所述记录控制单元执行控制，以便将当由所述对焦控制单元使得所述多个对象对焦时所捕获的图像记录在所述存储介质上。
7.根据权利要求1所述的控制装置，还包括: 合成单元，被配置成基于由所述记录控制单元所记录的多个图像执行合成处理，使得与每个聚焦对象相对应的像素优先处理。
8.一种非易失性计算机可读存储介质，具有存储在其中的程序，所述程序使得计算机用作下述单元: 对焦控制单元，被配置成执行控制以便使得在捕获的图像中的多个主体顺序地对焦；以及 记录控制单元，被配置成响应于来自用户的触发执行控制，以便将由所述对焦控制单元顺序地对焦的所述多个主体的捕获的图像记录在存储介质上。
【文档编号】H04N5/232GK104243800SQ201410250905
【公开日】2014年12月24日 申请日期:2014年6月6日 优先权日:2013年6月14日
【发明者】佐古曜一郎, 渡边一弘, 中村隆俊, 迫田和之, 林和则, 今孝安, 大沼智也, 丹下明 申请人:索尼公司