摄像装置及其控制方法、远程控制装置及其控制方法

摄像装置及其控制方法、远程控制装置及其控制方法
【专利摘要】本发明提供一种摄像装置及其控制方法、远程控制装置及其控制方法。该摄像装置包括：摄像设备，其通过经由光学系统对光学图像进行光电转换来生成图像信号；被摄体检测器，其基于从所述摄像设备获得的所述图像信号来检测多个被摄体图像；识别信息生成器，其对所述被摄体图像中的各个分配识别信息；通信器，其将所述图像信号以及对所述被摄体图像中的各个分配的识别信息发送到所述摄像装置外部，其中，所述通信器能够接收与所发送的被摄体图像的识别信息相关的被摄体图像的识别信息；以及控制器，其被构造为基于所接收到的识别信息来在由所述被摄体检测器检测到的所述被摄体图像中指定主被摄体图像。
【专利说明】摄像装置及其控制方法、远程控制装置及其控制方法
【技术领域】
[0001]本发明涉及包括摄像装置以及从外部操作摄像装置的远程控制终端的、摄像装置的远程控制系统的控制。
【背景技术】
[0002]日本特开2009-273033号公报公开了一种包括照相机2以及可以从外部控制照相机2的控制器I的照相机系统。在该照相机系统中，通过操作者操作控制器1，能够在观察从照相机2发送的拍摄的图像数据的同时，将聚焦位置以及测光位置设置(指定)在期望的被摄体的位置。在进行这种设置时，控制器I向照相机2发送与所设置的被摄体的位置相关的信息。由此，照相机2能够基于所接收到的位置信息在期望的被摄体的位置执行AF (自动聚焦，automatic focus)处理等。
[0003]然而，在上述传统技术中，存在当?呆作者试图针对移动的被摄体(诸如移动的人)进行AF和AE (自动曝光，automatic exposure)控制时、针对与所指定的被摄体不同的被摄体进行AF和AE控制的问题。在下文中，将参照图5A至图来描述该问题。
[0004]图5A至图是由照相机2拍摄的图像以及控制器I中显示的图像。左侧的图5A、图5B和图5C分别是在时间tl、t2和t3照相机2中的图像，时间按照时间tl、t2和t3的顺序经过。右侧的图是在时间t2控制器 I中的图像。
[0005]在控制器I的显示器中，通过无线或有线通信器从照相机2发送实时视频图像。然而，由于图像数据的数据量大，因此在直到由照相机2拍摄的视频图像通过通信要被显示在控制器I的显示器上为止的时间内发生延迟。该延迟由数据通信所需的时间以及用于在照相机2中压缩图像数据以减少通信数据量并在控制器I中恢复所压缩的数据的时间等引起。
[0006]将参照图5A至图描述当在图像数据通信中存在延迟的情况下、在传统技术下的操作。图5A是在时间tl的时刻由照相机2拍摄的图像，包括人物501和背景502。由于在向控制器I发送图5A的图像并进行显示期间发生延迟，所以该图像要在时间t2的时刻被显示在控制器I中(图5B)。操作者使用手指504在触摸屏中指定图的画面中的人物501的部分，从而试图命令照相机2针对人物501进行AF和AE控制。控制器I检测所触摸的位置并决定作为AF和AE控制对象的、由虚线表示的对象区域503。控制器I还向照相机2发送对象区域503的位置信息以及用来指示针对对象区域503进行AF和AE控制的控制命令。然后，在时间t3的时刻，照相机2接收对象区域503的位置信息以及控制命令，照相机2针对对象区域503执行AF和AE控制。
[0007]然而，如果人物501按照如图5A、图5B和图5C的顺序在如图5A、图5B和图5C所示的画面中从右侧移动到左侧，则在时间t3的时刻仅背景502被包括在作为AF和AE控制对象的对象区域503中，人物501在对象区域外部。因此，将会针对背景502而不是人物501执行AF和AE控制。
[0008]由于照相机2与控制器I之间的通信延迟，在传统技术中，存在由于无法针对移动的被摄体精确地指定要进行AF和AE控制的区域、而针对与作为操作者的目标的被摄体不同的被摄体执行AF和AE控制的问题。

【发明内容】

[0009]本发明提供一种甚至当摄像装置与通信装置之间发生通信延迟时对于摄像控制有利的摄像装置、远程控制装置、摄像装置的控制方法、以及远程控制装置的控制方法。
[0010]作为本发明的一方面的摄像装置适于与该摄像装置外部的远程控制装置一起使用，所述摄像装置包括:摄像设备，其被构造为通过对光学图像进行光电转换来生成图像信号；被摄体检测器，其被构造为基于由所述摄像设备生成的所述图像信号来检测多个被摄体；识别信息生成器，其被构造为对由所述被摄体检测器检测到的所述被摄体中的各个分配识别信息；通信器，其能够操作以将所述图像信号或由所述摄像设备生成的另一信号以及由所述识别信息生成器对所述被摄体中的各个分配的所述识别信息发送到所述远程控制装置，并且还能够操作以接收用户从识别信息已被发送到所述远程控制装置的所述被摄体中指定的被摄体的识别信息；以及控制器，其能够操作以基于所接收到的识别信息来在由所述被摄体检测器检测到的被摄体中指定目标被摄体。
[0011]作为本发明的另一方面的远程控制装置适于与所述远程控制装置外部的摄像装置一起使用，所述远程控制装置包括:通信器，其能够操作以接收代表由所述摄像装置拍摄的图像的图像信号以及由所述摄像装置对在所述图像中检测到的多个被摄体中的各个分配的识别信息；显示单元，其被构造为基于所接收到的图像信号显示图像；以及控制器，其被构造为提供由所述远程控制装置的用户基于所显示的图像从识别信息已被所述通信器接收到的被摄体中指定的目标被摄体的识别信息，其中，所述通信器还能够操作以发送由所述控制器提供的所述目标被摄体的识别信息。
[0012]作为本发明的另一方面的摄像装置的控制方法，该摄像装置适于与所述摄像装置外部的远程控制装置一起使用，所述控制方法包括:图像信号生成步骤，通过对光学图像进行光电转换来生成图像信号；被摄体检测步骤，基于在所述图像信号生成步骤中生成的所述图像信号来检测多个被摄体；识别信息生成步骤，对在所述被摄体检测步骤中检测到的所述被摄体中的各个分配识别信息；发送步骤，将所述图像信号或由摄像设备生成的另一信号以及在所述识别信息生成步骤中对所述被摄体中的各个分配的所述识别信息发送到所述远程控制装置；接收步骤，接收用户从识别信息已被发送到所述远程控制装置的被摄体中指定的目标被摄体的识别信息；以及指定步骤，基于所接收到的识别信息来在所述被摄体检测步骤中检测到的被摄体中指定目标被摄体。
[0013]作为本发明的另一方面的远程控制装置的控制方法，该远程控制装置适于与所述远程控制装置外部的摄像装置一起使用，所述控制方法包括:接收步骤，接收代表由所述摄像装置拍摄的图像的图像信号以及由所述摄像装置对在所述图像中检测到的多个被摄体中的各个分配的识别信息；显示步骤，基于所接收到的图像信号显示图像；控制步骤，提供由所述远程控制装置的用户基于所显示的图像从识别信息已在所述接收步骤中被接收的被摄体中指定的目标被摄体的识别信息；以及发送步骤，发送由所述控制步骤提供的所述目标被摄体的识别信息。
[0014]根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。【专利附图】

【附图说明】
[0015]图1是例示本发明的实施例中照相机主体101以及远程控制终端102的结构的框图。
[0016]图2A至图2D是用于说明本发明的实施例中照相机主体101中的被摄体检测、识别信息设置以及被摄体追踪的控制的图。
[0017]图3A至图3F是用于说明本发明的实施例中远程控制终端102中进行的被摄体识别信息的确定处理的图。
[0018]图4A和图4B是例示本发明的实施例中照相机主体101与远程控制终端102之间的通信中的AF和AE控制区域的指定处理操作的流程图。
[0019]图5A至图是例示在传统技术中被摄体正在移动的情况下AF和AE控制区域指定的误操作的图。
【具体实施方式】
[0020]图1例示了作为本发明的实施例的、数字视频照相机(下文中称为照相机主体)以及具有远程(外部)操作该照相机主体(摄像装置)的功能的远程控制终端(通信装置)的结构的框图。虽然在本实施例中将描述照相机主体是数字视频照相机的情况，但是本发明还可以应用于诸如数字静态照相机的其他摄像装置。
[0021]在图1中，附图标记101和102分别表示照相机主体(摄像装置)和远程控制终端(通信装置)。首先，将描述照相机主体101的部件。
[0022]附图标记103表示作为摄像光学系统的镜头单元，其被构造为包括包含用于被摄体图像的聚焦的聚焦镜头的多个光学镜头、用于调节通过镜头的光量的光阑、用于驱动上述部件的电机等。在本实施例中，镜头单元与照相机主体为一体的摄像装置(所谓的镜头内置型摄像装置)被描述作为示例。然而，也可以采用诸如单镜头反光照相机的镜头可更换型摄像装置(所谓的可更换镜头系统)。
[0023]附图标记104表示摄像单元，其被构造为包括经由光学系统对被摄体图像(光学图像)进行光电转换的诸如CCD传感器或CMOS传感器的摄像元件(摄像设备)、对来自摄像元件的输出进行采样、增益调节以及数字化的信号处理电路等。附图标记105表示对来自摄像单元104的输出信号进行各种图像处理并生成视频信号(图像信号)的照相机信号处理电路。此外，在照相机信号处理电路105中，基于由照相机控制器109设置的后述的AF区域和AE区域的图像信号来生成用于聚焦的聚焦信号、以及用于曝光调节的亮度信号以输出到照相机控制器109。
[0024]附图标记106表示显示来自照相机信号处理电路105的图像信号的显示器，附图标记107表示在诸如磁带、光盘、半导体存储器等的存储介质上记录来自照相机信号处理电路105的图像信号的记录器。
[0025]附图标记108表示对来自照相机信号处理电路105的图像信号进行已知的面部检测处理并检测人物的面部区域(被摄体区域)在摄像画面中的位置和大小的面部检测处理电路(被摄体检测器)。关于已知的面部检测处理，例如，已知通过与从图像数据中表示的像素的色调中提取肤色区域而使用预先准备的面部轮廓板的匹配水平来检测面部的方法。另夕卜，例如，还已知使用诸如提取的眼、鼻、嘴等的面部特征点来进行图案识别的方法。
[0026]面部检测处理电路108将检测结果输出到照相机控制器109。照相机控制器109是基于控制程序来控制照相机主体101的微计算机。照相机控制器109执行本实施例中的照相机主体101的各种控制，如下文所述。诸如闪存ROM或DRAM的存储器(未示出)连接到照相机控制器109以将控制程序和数据存储其中。以这种方式，照相机控制器(控制器)109可以针对在面部检测处理电路108中检测到的被摄体进行摄像控制(AF控制(自动聚焦控制)、AE控制(自动曝光控制)、AffB控制等)。另外，即使被摄体移动，照相机控制器(追踪器)109也可以追踪所检测到的被摄体的位置，例如，通过根据所移动的被摄体位置来移动AF和AE控制区域，可以针对移动的被摄体精确地进行AF和AE控制。
[0027]附图标记110表示基于从照相机控制器109输出的控制信号来控制镜头单元103的电机以驱动聚焦镜头和光阑的镜头控制器。附图标记111表示利用操作键、触摸屏等构造的操作部，当用户通过操作照相机主体101进行记录、记录图像的回放、各种设置等并且操作信号被输出到照相机控制器109时使用该操作部。
[0028]附图标记112表示控制用于与远程控制终端102发送和接收图像数据(运动图像或视频)以及控制数据的通信的照相机通信控制器。关于通信，可以使用诸如无线LAN、移动电话线路等的无线通信，或者使用诸如有线LAN等的有线通信。附图标记113表示用于无线通信的通信器(第一通信器)，通信器113可以是用于输入和输出无线电信号的天线。
[0029]接着，将描述远程控制终端102的部件。附图标记114表示显示从照相机主体101接收的图像数据、各种设置数据等的终端显示器，终端显示器114利用液晶显示装置(IXD)等构造。触摸屏单元115被布置为使得与终端显示器114的显示面重叠并且将当用户在触摸屏上触摸时的坐标信息(操作信息)输出到后述的终端控制器116。
[0030]终端控制器116是基于未示出的存储器等中存储的控制程序整体控制远程控制终端102的微计算机。终端控制器116执行本实施例中的远程控制终端102的各种控制，如下文所述。这里，用于存储控制程序和数据的诸如闪存ROM或DRAM的存储器(未示出)也被连接到终控制器116。
[0031]附图标记117表示利用操作键等构造的终端操作部，当用户通过操作远程控制终端102进行各种设置等并将操作信号输出到终端控制器116时使用终端操作部117。当终端操作部117配设有用于选择操作菜单并指定终端显示器114中的画面区域的箭头键和确定键时，也可以省略触摸屏单元115。
[0032]附图标记118表示控制用于与照相机主体101发送和接收图像数据以及控制数据的终端通信控制器。附图标记119表示用于无线通信的通信器(第二通信器)，并且通信器119可以是用于输入和输出无线电信号的天线。
[0033]接着，将参照图2A至图2D来描述由照相机主体101进行的被摄体(面部)的检测、识别信息的设置、以及追踪被摄体的控制。
[0034]图2A是照相机主体101在一定的时间拍摄的视频帧(表示为帧(i))，在画面中拍摄有人物图像201和202。这里，假设在该画面中第一次拍摄人物图像201和202。图2B例示了由面部检测处理电路108在图2A的图像中(画面中)的面部检测的结果，人物图像201和202的面部在画面中的位置(面部位置)以及大小(面部大小)被检测到。在画面中的横轴为X轴并且画面中的纵轴为Y轴的坐标系统中，按照像素单位表示面部位置和面部大小。图2A的画面中的虚线框表示由面部检测处理电路108检测到的要叠加在图像上的面部的位置和大小。这些检测结果被输出到上述照相机控制器109，并且照相机控制器109 (识别信息生成器)设置(生成)作为所检测到的被摄体的识别信息的被摄体ID。由于如上所述第一次在帧(i)中检测到人物图像201和202，所以设置被摄体ID=I和2并且将所述ID与与面部位置和面部大小一起存储在未示出的存储器中。
[0035]图2C是帧(i)的下一帧(表示为帧(i+Ι))，并且拍摄有人物图像203和204。人物图像203和204是与人物图像201和202相同的人物，然而，它们的位置和大小由于正在移动所以略微改变。图2D例示了针对该图像的面部检测的结果。这里，帧(i+Ι)和帧(i)不是必须连续，它们之间的间隔可以是根据面部检测处理电路108的处理能力的多个帧。这些检测结果也被输出到照相机控制器109，并且照相机控制器109将它们与作为最新检测结果的人物图像201和202的数据进行比较。
[0036]通过将人物图像201和202的面部位置和面部大小的数据与人物图像203和204的面部位置和面部大小的数据比较，识别出人物图像203的数据接近人物图像201的数据。另外，识别出人物图像204的数据接近人物图像202的数据。因此，确定人物图像203和201是同一人物，并且针对人物图像203重设与人物图像201相同的被摄体ID，即ID=1。类似地，确定人物图像204和202是同一人物，并且针对人物图像204重设与人物图像202相同的被摄体ID，即ID=2。通过针对之后的帧重复上述处理，即使被摄体正在移动也可以针对同一被摄体设置相同的被摄体ID，并且可以追踪被摄体的位置。
[0037]如果例如具有ID=2的被摄体在追踪期间移出画面外部并且其面部无法被检测至|J，则ID=2将被设置为空，因为不存在针对ID=2的被摄体。如果新被摄体进入到画面中，则新被摄体ID (例如，ID=3)被设置为使得该被摄体ID不与之前在画面中的其他被摄体重复。如果在ID=2为空的状态下新被摄体进入，则不发生重复，因为空的ID=2被分配。然而，当在照相机主体与远程控制终端之间存在通信延迟时，被摄体ID在照相机主体与远程控制终端之间可能不匹配。因此，优选地，在至少与通信延迟相对应的时间内，ID=2保持为空。
[0038]如上所述，即使在画面上存在多个被摄体(面部)，也能够由照相机控制器109分配作为其识别信息的被摄体ID来识别各个被摄体。另外，通过将连续的视频帧的面部检测结果进行比较，即使被摄体(面部)正在画面中移动也能确定被摄体是否相同，并且能够追踪各被摄体的位置。另外，通过控制使得以追踪被摄体的位置总是AF和AE控制对象的方式来更新针对照相机信号处理电路105的AF区域和AE区域的设置，并且可以与移动被摄体一致地移动AF和AE控制区域。这里，由于算法是公知的，因此省略详细的算法。
[0039]虽然在以上描述中面部位置和面部大小的数据用于追踪被摄体，但是可以使用任意一者或者可以与其他检测数据一起使用。例如，近年来，不仅在图像中检测人物的面部而且将照相机拍摄的图像与预先登记的特定人物的面部特征相比较以识别特定人物的面部的面部识别功能已经投入实际使用。在配备有这种功能的照相机的情况下，不仅可以通过如上所述的帧之间的面部位置和面部大小的相似性而且可以通过使用面部识别功能追踪被摄体的位置。另外，例如，在具有ID=2的被摄体移出画面并且再次返回到画面中的情况下，如果通过面部识别功能可以将被摄体确定为它们是同一人物，则不设置新的ID而设置之前设置的ID=2。以这种方式，即使被摄体出入画面，也可以继续追踪被摄体。[0040]接着，将参照图3A到图3F来描述确定用户在远程控制终端102中选择的被摄体的识别信息的处理。
[0041]图3A是在一定的时间在远程控制终端102的终端显示器114中的显示图像，显示与从照相机主体101接收到的图像信号相对应的图像。图3B例示了以与图3A中显示的图像近似同步的方式接收的被摄体ID (被摄体识别信息)、面部位置(被摄体的位置信息)以及面部大小(被摄体的大小信息)的数据。在画面上的横轴为X轴并且画面上的纵轴为Y轴的坐标系统中以像素单位表示面部位置和面部大小。在图3A的图像中，拍摄人物图像301和302，它们分别对应于被摄体ID=I和2。框显示(视觉指示)303和304表示由图3B所示的面部位置和面部大小的数据获得的面部区域，并且它们被显示为叠加在所显示的画面上。
[0042]在下文中，首先，将描述在远程控制终端102包括触摸屏单元115并且用户通过操作触摸屏指定作为AF和AE控制的对象的被摄体的情况下进行的处理。如图3C中所示，用户手指305在终端显示器114中正在显示的图像中触摸被摄体301的面部部分。此时，将图3D所示的触摸位置数据从触摸屏单元115输出到终端控制器116。在终端控制器(确定部)116中，将图3B所示的面部位置和面部大小的数据与图3D所示的触摸位置数据比较，并且确定由用户指定的被摄体。这里，由于触摸位置数据接近被摄体ID=I的面部区域，所以确定用户指定了具有被摄体ID=I的被摄体。为了向用户通知确定了被摄体ID，利用包围所确定的被摄体的面部区域的双框显示306来将其显示，如图3C中所示。因此，在包括触摸屏的远程控制终端中，通过针对从触摸屏输出的触摸位置的数据检查从照相机主体接收到的面部位置和面部大小的数据，可以确定用户指定的被摄体的识别信息(被摄体ID)。由于可以单独利用面部位置数据来进行针对触摸位置数据的检查，所以可以构造为使得不从照相机主体接收面部大小信息。
[0043]如上所述，在本实施例中，在照相机主体中正在被检测和追踪的被摄体的位置信息和识别信息以及视频数据被发送到远程控制终端。如有必要，可以晚于视频数据发送位置信息和识别信息。在远程控制终端中，针对从照相机主体接收到的被摄体的位置信息来检查用户通过触摸屏指定的被摄体的位置信息，从而确定用户指定的被摄体的识别信息。
[0044]从远程控制终端到照相机主体，发送被指定作为AF和AE控制对象的被摄体的识别信息。在照相机主体中，通过利用从远程控制终端接收到的识别信息来确定画面中的被摄体中的哪个被摄体要作为AF和AE控制对象。由于在照相机主体中甚至在通信延迟时间期间也正在检测和追踪被摄体，所以即使用户指定的被摄体正在移动，也可以将AF和AE控制区域设置在与被摄体匹配的位置。
[0045]接着，将描述远程控制终端102不包括触摸屏单元115并且用户仅通过终端操作部117来指定作为AF和AE控制对象的被摄体的情况下进行的处理。图3A和图3B如上所述。在远程控制终端102的终端操作部117中，包括至少两种类型的键(开关)，即用于选择被摄体的选择键(被摄体选择部)以及用于确定被摄体的确定键(被摄体决定部)。如果用户推选择键，则操作信息被输出到终端控制器116。终端控制器116控制终端显示器114以通过使用如图3E所示的双框307来显示表示具有被摄体ID=I的面部区域的框显示。如果再次推选择键，则要利用图3F所示的双框308来显示具有被摄体ID=2的面部区域。通过如上所述控制显示，每次用户推选择键，画面中要利用双框显示的被摄体被切换。因此，用户可以从多个被摄体中选择要作为AF和AE控制对象的被摄体。然后，如果在利用双框显示用户想要指定的被摄体的状态下推确定键，则操作信息被输出到终端控制器116。以这种方式，终端控制器116可以检测到此时利用双框显示的被摄体被确定为控制对象的被摄体。因此，可以确定用户指定的被摄体的识别信息(被摄体ID)。如果框的显示大小是固定的，则可以仅单独利用面部位置数据来进行上述的显示控制。因此，可以构造为使得不从照相机主体接收面部大小信息。
[0046]在通过上述触摸屏操作来指定AF和AE控制对象中，可以构造为使得如果在没有拍摄到面部的画面上进行触摸则画面中的位置而不是被摄体(面部)被指定为AF和AE控制对象。另外，可以构造为使得如果用户触摸了被摄体的面部区域以外的位置则画面中的位置而不是被摄体(面部)被指定为AF和AE控制对象。即，在确定用户在终端控制器116中触摸的位置不存在被摄体(面部)的情况下，可以对照相机主体指定为使得基于触摸的位置信息来设置AF和AE控制区域，与传统技术类似。以下将详细描述在这种情况下进行的处理。
[0047]接着，将通过使用图4A和图4B的流程图来描述用户通过照相机主体与远程控制终端之间的通信来指定AF和AE控制区域的处理。在一般的照相机的远程控制系统中，可以进行诸如开始和结束图像拍摄(摄像)、照相机操作条件的设置、记录图像的回放等的各种操作。然而，对与这些操作相关的处理的描述被省略，并且以下描述限于用于指定AF和AE控制区域的处理。另外，假设照相机主体和远程控制终端正在用于执行远程控制并且已经建立通信的模式下操作。诸如用于建立通信的初始控制的已知控制的描述也被省略。
[0048]首先，将描述在照相机主体101中执行的处理。每次例如更新拍摄图像(拍摄的图像)的帧时，由照相机控制器109以重复的方式来执行这些处理。在步骤401中，对从照相机信号处理电路105输出的图像信号执行上述已知的面部检测处理。接着，在步骤402中，确定是否基于图像信号检测到面部。如果确定未检测到面部，则处理进行到步骤405，因为将不执行追踪处理。如果确定检测到面部，则处理进行到步骤403，并且确定在上一处理中是否检测到面部。如果确定在上一处理中未检测到面部，则处理进行到步骤408，因为将不执行追踪处理并且针对新检测到的面部设置被摄体ID。另一方面，如果确定在上一处理中检测到面部，则处理进行到步骤404并且执行参照图2A至图2D描述的被摄体追踪处理。
[0049]接着，在步骤405中，确定在上一处理中检测到的面部中是否存在由于移出画面外等从画面消失的面部。如果确定没有消失的面部，则处理进行到步骤407。另一方面，如果确定存在消失的面部，则处理进行到步骤406并且已消失的面部的被摄体ID被设置为如上所述的空ID，处理进行到步骤407。在步骤407中，确定是否检测到在上一处理期间不在画面中的新面部。如果确定不存在新面部，则处理进行到步骤409。另一方面，如果确定存在新面部，则处理进行到步骤408，并且要针对新检测到的面部设置不与已经检测到的面部的被摄体ID重复的ID。如上所述，如果存在空的被摄体ID，则该被摄体ID至少在与通信延迟相对应的时间内保持为空，并且针对新检测到的面部设置不与包括该空ID的现有ID重复的ID。
[0050]接着，在步骤409中，如上所述，由照相机主体101拍摄的拍摄图像数据以及基于该图像检测到的被摄体ID以及面部位置和面部大小的数据被发送到远程控制终端102。
[0051]接着，在步骤410中，接收从远程控制终端102发送的各种控制数据并且分析该数据的内容。然后，在步骤411中，确定在所接收到的数据中是否包括指定AF和AE控制的对象区域(AF和AE区域)的控制信息。如果确定不包括与AF和AE区域相关的控制信息，则AF和AE区域不需要从上一设置被改变。因此，处理进行到步骤417并且执行AF和AE控制，然后，处理返回到步骤401并且切换到下一处理。另一方面，如果确定包括与AF和AE区域相关的控制信息，则处理进行到步骤412。
[0052]在步骤412中，确定被摄体ID还是画面上的位置信息是否被指定为AF和AE控制的对象区域。如下所述，由于如果用户触摸了面部区域以外的位置则远程控制终端102向照相机主体101发送触摸区域的位置信息而不是被摄体ID，所以在实施例中确定发送了哪种信息。如果确定指定了画面上的位置信息，则处理进行到步骤416，并且针对照相机信号处理电路105设置AF区域和AE区域，使得画面上指定的位置变为AF和AE控制的对象。以这种方式，如上所述，当用户触摸了面部区域以外的位置时，与传统技术类似，照相机可以被控制为使得基于触摸位置来设置AF和AE控制区域。在实施例中，作为示例，AF和AE控制区域被固定设置到通过通信接收到的画面上的位置处。然而，可以检测在所接收到的画面中的位置的图像的被摄体，并且通过诸如针对之后的图像进行图案匹配的已知技术追踪该位置的被摄体图像，可以追踪AF和AE控制区域。
[0053]另一方面，在步骤412中，如果确定被摄体ID被指定为AF和AE控制的对象区域，则处理进行到步骤413。在步骤413中，确定与所指定的被摄体ID相对应的被摄体区域当前是否存在于画面中。如上所述，在照相机主体101与远程控制终端102之间发生通信延迟，因此与所指定的被摄体ID的相对应的被摄体可能在通信延迟期间由于移出画面外部而已经消失。在这种情况下，由于不存在要被设置为AF和AE区域的对象，所以在步骤413中确定目标被摄体不存在(已经消失)并且处理进行到步骤415，然后，AF和AE区域被设置在画面的中心部分。这里，如果画面中存在所指定得被摄体之外的被摄体(面部)，则AF和AE区域可以被设置为画面中的另一面部区域而不是画面中心。尽管在图4A的流程图中未例示，但是如果不存在目标被摄体，则表示该条件的信息可以被发送到远程控制终端102。在这种情况下，例如，向用户表示无法针对所指定得被摄体设置AF和AE区域的警告可以被显示在远程控制终端中。
[0054]如果在步骤413中确定与所指定的被摄体ID相对应的被摄体区域当前存在于画面中，则处理进行到步骤414并且AF和AE区域被设置到与所指定的被摄体ID相对应的被摄体区域。针对与被摄体ID相对应的被摄体区域，即使当被摄体正在移动时，通过上述的步骤404的被摄体追踪处理也可以正在追踪其位置。因此，即使发生通信延迟，也能够正确地设置AF和AE区域。
[0055]另外，在执行步骤414、步骤415和步骤416的任一处理的情况下，处理进行到步骤417并且执行AF控制和AE控制，然后，处理返回到步骤401并且切换至下一处理。
[0056]接着，将描述在远程控制终端102中执行的处理。例如，每次更新从照相机主体101接收到的数据时，由终端控制器116以重复的方式执行该处理。在步骤451中，接收从照相机主体101发送的拍摄图像数据以及各种控制数据，并且分析数据的内容。如果面部被包括在图像数据中，则上述被摄体ID以及面部位置和面部大小的数据也被包括在所接收到的数据中。
[0057]接着，在步骤452中，在终端显示器114中显示与从照相机主体101接收到的图像数据相对应的图像。然后，在步骤453中，确定在所接收到的数据中是否包括被摄体ID以及面部位置和面部大小的数据。如果确定不包括被摄体ID以及面部位置和面部大小的数据，则处理进行到步骤455。如果确定包括被摄体ID以及面部位置和面部大小的数据，则处理进行到步骤454。在步骤454中，通过使用所接收到的面部位置和面部大小的数据，表示面部区域的框显示如参照图3C所描述的被显示叠加在图像数据上，并且处理进行到步骤455。
[0058]在步骤455中，确定用户是否指定了 AF和AE控制的对象区域。特别地，确定是否通过如参照图3C所述触摸触摸屏或者通过确定键确定了对象区域。如果确定AF和AE控制的对象区域未被指定，则处理进行到步骤460，并且各种控制数据被发送到照相机主体101。然而，在这种情况下，由于AF和AE控制的对象区域未被指定，所以在发送数据中不包括用于指定AF和AE控制的对象区域的控制信息。之后，处理返回到步骤451并且切换至下一处理。
[0059]另一方面，如果在步骤455中确定指定了 AF和AE控制的对象区域，则处理进行到步骤456，并且执行参照图3A至图3D描述的用于确定被摄体的识别信息(被摄体ID)的处理。
[0060]接着，在步骤457中，确定用户是否触摸了面部区域以外的位置。如果确定触摸了面部区域以外的位置，则处理进行到步骤459，并且检测通过在画面中触摸而指定的位置信息(操作信息)，并且该位置信息被设置为要发送到照相机主体101的发送数据中。以这种方式，如在步骤412和步骤416中所述，照相机主体101可以被控制为使得在用户触摸了面部区域以外的位置的情况下，基于触摸位置信息来设置AF和AE控制区域，与传统技术中类似。在步骤459中将位置信息设置为发送数据之后，处理进行到步骤460，并且包括位置信息以及指定AF和AE控制的对象区域的控制信息的数据被发送到照相机主体101。之后，处理返回到步骤451并且切换至下一处理。
[0061]如果在步骤457中确定用户指定了面部区域，则处理进行到步骤458并且由用户指定的被摄体ID被设置为发送数据。然后，在步骤460中，包括被摄体ID以及指定AF和AE控制的对象区域的控制信息被发送到照相机主体101。以这种方式，由于在步骤414中如上所述AF和AE控制区域被设置到照相机主体101中与所指定的被摄体ID相对应的被摄体区域，所以即使发生通信延迟，也可以正确设置AF和AE控制区域。之后，处理返回到步骤451并且切换至下一处理。
[0062]如上所述，根据本实施例，与传统技术中相同，如果用户指定了面部区域，则将被指定为AF和AE控制对象的被摄体的识别信息替代AF和AE控制的对象区域的位置信息从远程控制终端发送到照相机主体。然后，利用从远程控制终端接收到的识别信息以及在通信延迟期间被摄体的检测和追踪信息，AF和AE控制区域被设置到在照相机主体中被指定为AF和AE控制对象的被摄体的位置。通过具有这种结构，即使在照相机主体与远程控制终端之间发生通信延迟，也能够针对移动被摄体正确设置AF和AE控制区域。
[0063]在上述描述中，被摄体的检测器被构造为检测人物面部。然而，还可以使用检测人物面部以外的诸如身体的部位的检测器，只要能够检测图像中包括的被摄体区域的位置即可。另外，例如，还可以使用通过检测特定色彩或图案的区域来检测人物以外的被摄体的检测器。
[0064]虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例及等同的结构和功能。上述实施例的部分可以被任意组合。
[0065](其他实施例)
[0066]本发明的目的还可以按照如下描述来实现。即，存储有描述用于实现上述实施例的功能的过程的软件的程序代码的存储介质要被提供给摄像装置及远程控制终端。然后，摄像装置以及远程控制终端的计算机(或CPU、MPU等)读取存储介质中存储的程序代码并执行该程序代码。
[0067]在这种情况下，从存储介质读取的程序代码自身实现了本发明的新功能，并且存储有该程序代码的存储介质以及程序构成本发明。
[0068]关于用于提供程序代码的存储介质，例如，建议软盘、硬盘、光盘、磁光盘等。另外，还可以使用 CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-R、电磁磁带、非易失性存储卡、ROM等。
[0069]实现本发明的程序可以在除存储器或记录介质以外的载体介质上或通过其来被执行。例如，载体介质可以是诸如信号的发送介质。在这种情况下，程序可以通过以信号的形式通过网络发送(下载或上传)来被提供。网络可以是互联网。实现本发明的程序具体地可以是从诸如ITunes (苹果公司的注册商标)或Google Play应用商店下载的应用。
[0070]另外，通过允许计算机读取的程序代码被执行，实现上述实施例的功能。此外，本发明包括通过在计算机上运行的OS (操作系统)例如基于通过程序代码给出的命令进行部分或全部实际处理并且通过这种处理来实现上述实施例的功能的情况。
[0071]另外，本发明包括以下情况。首先从存储介质读取程序代码，并且将该程序代码写入到插入计算机的扩展板或与计算机连接的扩展单元中配设的存储器。之后，基于该程序代码的命令，例如，由扩展板或扩展单元中配设的CPU进行部分或全部实际处理。
[0072]根据本发明，能够提供甚至当摄像装置与通信装置之间发生通信延迟时对于摄像控制有利的摄像装置、通信装置、摄像装置的控制方法、以及通信装置的控制方法。
【权利要求】
1.一种摄像装置，其适于与该摄像装置外部的远程控制装置一起使用，所述摄像装置包括: 摄像设备，其被构造为通过对光学图像进行光电转换来生成图像信号； 被摄体检测器，其被构造为基于由所述摄像设备生成的所述图像信号来检测多个被摄体； 识别信息生成器，其被构造为对由所述被摄体检测器检测到的所述被摄体中的各个分配识别信息； 通信器，其能够操作以将所述图像信号或由所述摄像设备生成的另一信号以及由所述识别信息生成器对所述被摄体中的各个分配的所述识别信息发送到所述远程控制装置，并且还能够操作以接收用户从识别信息已被发送到所述远程控制装置的被摄体中指定的被摄体的识别信息；以及 控制器，其能够操作以基于所接收到的识别信息来在由所述被摄体检测器检测到的所述被摄体中指定目标被摄体。
2.根据权利要求1所述的摄像装置，其中，所接收到的由用户指定的被摄体的识别信息与从所述远程控制装置发送的所检测到的被摄体中的一个的识别信息相同。
3.根据权利要求1或2所述的摄像装置，其中，所述通信器能够操作以接收基于由所述摄像装置发送到所述远程控制装置的所述图像信号、在所述远程控制装置的显示器上显示的图像中指定的所述目标 被摄体的识别信息。
4.根据权利要求1或2所述的摄像装置，其中，所述控制器能够操作以追踪所指定的目标被摄体。
5.根据权利要求1或2所述的摄像装置，其中，所述通信器还能够操作以将由所述被摄体检测器检测到的所述被摄体的位置信息、以及由所述识别信息生成器对所述被摄体中的各个分配的识别信息发送到所述远程控制装置。
6.根据权利要求1或2所述的摄像装置，其中，所述控制器能够操作以基于所接收到的识别信息进行自动聚焦控制以及自动曝光控制中的至少一者。
7.根据权利要求1或2所述的摄像装置，其中，所述被摄体检测器能够操作以检测所述被摄体的位置信息以及所述被摄体的大小信息，并且 所述通信器能够操作以发送所检测到的被摄体的位置信息以及所检测到的被摄体的大小信息。
8.—种远程控制装置，其适于与所述远程控制装置外部的摄像装置一起使用，所述远程控制装置包括: 通信器，其能够操作以接收代表由所述摄像装置拍摄的图像的图像信号以及由所述摄像装置对在所述图像中检测到的多个被摄体中的各个分配的识别信息； 显示单元，其被构造为基于所接收到的图像信号显示图像；以及控制器，其被构造为提供由所述远程控制装置的用户基于所显示的图像从识别信息已被所述通信器接收到的被摄体中指定的目标被摄体的识别信息； 其中，所述通信器还能够操作以发送由所述控制器提供的所述目标被摄体的识别信肩、O
9.根据权利要求8所述的远程控制装置，其中，所述控制器还包括:指定部，其能够操作以基于所显示的图像指定所述目标被摄体以及位置信息；以及 确定部，其能够操作以基于所显示的图像从识别信息已被所述通信器接收到的被摄体中确定所述目标被摄体的识别信息。
10.根据权利要求8或9所述的远程控制装置，其中，由所述摄像装置拍摄的图像相对该图像的拍摄被延迟显示。
11.根据权利要求8或9所述的远程控制装置，其中，所述目标被摄体是由用户针对所述远程控制装置的所述显示单元上显示的图像指定的被摄体。
12.根据权利要求8或9所述的远程控制装置，其中，所述通信器能够操作以接收所述图像信号以及由所述摄像装置对在所述图像中检测到的多个被摄体中的各个分配的识别信息。
13.根据权利要求8或9所述的远程控制装置，其中，所述通信器还能够操作以从所述摄像装置接收各个所检测到的被摄体的位置信息，以及 所述控制器能够操作以基于所接收到的各被摄体的位置信息以及识别信息来确定所述目标被摄体的识别信息。
14.根据权利要求9所述的远程控制装置，其中，当进行所述摄像装置中的所述目标被摄体的摄像控制时，使用由所述控制器的所述确定部确定的所述目标被摄体的识别信息。
15.根据权利要求8或9所述的远程控制装置，其中，在基于所接收到的图像信号显示所述图像的情况下，所述显示单元在至少一个所述被摄体的位置显示视觉指示。
16.一种摄像装置的控制方法，该摄像装置适于与所述摄像装置外部的远程控制装置一起使用，所述控制方法包括: 图像信号生成步骤，通过对光学图像进行光电转换来生成图像信号； 被摄体检测步骤，基于在所述图像信号生成步骤中生成的所述图像信号来检测多个被摄体； 识别信息生成步骤，对在所述被摄体检测步骤中检测到的所述被摄体中的各个分配识另1Ji目息; 发送步骤，将所述图像信号或由摄像设备生成的另一信号以及在所述识别信息生成步骤中对所述被摄体中的各个分配的所述识别信息发送到所述远程控制装置； 接收步骤，接收由用户从识别信息已被发送到所述远程控制装置的被摄体中指定的目标被摄体的识别信息；以及 指定步骤，基于所接收到的识别信息来在所述被摄体检测步骤中检测到的被摄体中指定目标被摄体。
17.根据权利要求16所述的摄像装置的控制方法，其中，所接收到的由用户指定的所述被摄体的识别信息与从所述远程控制装置发送的所检测到的被摄体中的一个的识别信息相同。
18.根据权利要求16或17所述的摄像装置的控制方法，其中，所述接收步骤包括接收在所述远程控制装置的显示单元上显示的图像中指定的所述目标被摄体的识别信息。
19.根据权利要求16或17所述的摄像装置的控制方法，所述指定步骤还包括追踪所指定的目标被摄体。
20.根据权利要求16或17所述的摄像装置的控制方法，其中，所述发送步骤包括将在所述被摄体检测步骤中检测到的所述被摄体的位置信息、以及在所述识别信息生成步骤中对所述被摄体中的各个分配的识别信息发送到所述远程控制装置。
21.根据权利要求16或17所述的摄像装置的控制方法，所述控制方法还包括: 控制步骤，基于所接收到的识别信息进行自动聚焦控制以及自动曝光控制中的至少一者。
22.根据权利要求16或17所述的摄像装置的控制方法，其中，在所述被摄体检测步骤中检测所述被摄体的位置信息以及所述被摄体的大小信息，并且 在所述发送步骤中发送所检测到的被摄体的位置信息以及所检测到的被摄体的大小信息。
23.—种远程控制装置的控制方法，该远程控制装置适于与所述远程控制装置外部的摄像装置一起使用，所述控制方法包括: 接收步骤，接收代表由所述摄像装置拍摄的图像的图像信号以及由所述摄像装置对在所述图像中检测到的多个被摄体中的各个分配的识别信息； 显示步骤，基于所接收到的图像信号显示图像； 控制步骤，提供由所述远程控制装置的用户基于所显示的图像从识别信息已在所述接收步骤中被接收的被摄 体中指定的目标被摄体的识别信息；以及 发送步骤，发送由所述控制步骤提供的所述目标被摄体的识别信息。
24.根据权利要求23所述的远程控制装置的控制方法，其中，所述控制步骤还包括: 指定步骤，基于所显示的图像指定所述目标被摄体以及位置信息；以及 确定步骤，基于所显示的图像从识别信息已被接收到的所述被摄体中确定所述目标被摄体的识别信息。
25.根据权利要求23或24所述的远程控制装置的控制方法，其中，由所述摄像装置拍摄的图像相对该图像的拍摄在所述显示步骤中被延迟显示。
26.根据权利要求23或24所述的远程控制装置的控制方法，其中，所述目标被摄体是由用户针对在所述显示步骤中由所述远程控制装置显示的所述图像指定的被摄体。
27.根据权利要求23或24所述的远程控制装置的控制方法，其中，所述接收步骤包括接收所述图像信号以及由所述摄像装置对在所述图像中检测到的多个被摄体中的各个分配的识别信息。
28.根据权利要求23或24所述的远程控制装置的控制方法，其中，所述接收步骤还包括从所述摄像装置接收各个所检测到的被摄体的位置信息，以及 所述控制步骤还包括基于所接收到的各被摄体的位置信息以及识别信息来确定所述目标被摄体的识别信息。
29.根据权利要求24所述的远程控制装置的控制方法，其中，当进行所述摄像装置中的所述目标被摄体的摄像控制时，使用在所述控制步骤中确定的所述目标被摄体的识别信肩、O
30.根据权利要求23或24所述的远程控制装置的控制方法，其中，所述显示步骤还包括在基于所接收到的图像信号显示所述图像的情况下，在至少一个所述被摄体的位置显示视觉指示。
【文档编号】H04N5/232GK103945109SQ201410017491
【公开日】2014年7月23日 申请日期:2014年1月14日 优先权日:2013年1月17日
【发明者】森本庸介 申请人:佳能株式会社