用于图像捕获目标锁定的方法和装置制造方法

用于图像捕获目标锁定的方法和装置制造方法
【专利摘要】根据本发明的示例性实施例，公开了一种方法和对应的装置和计算机程序，用于：从照相机单元的图像传感器接收图像(505)；监测所接收的图像中的不同对象的位置(510)；确定所述不同对象中的哪个对象，如果有的话，是用户感兴趣或应当感兴趣的主对象(515)；检测是否有主对象变为被所述不同对象中的另一对象遮挡并且响应于对所述遮挡的检测而触发第一动作(520)。
【专利说明】用于图像捕获目标锁定的方法和装置
【技术领域】
[0001]本申请总体上涉及图像捕获目标锁定(targeting)。
【背景技术】
[0002]在数字拍摄中，视场图像被引导至形成数字图像的照相机传感器。为了将光聚焦在照相机传感器上，如照相机系统中所知，使用了物镜。照片中的深度感可以通过生成有限精度的深度场来获得。比所谓的焦平面更近或更远的对象显得愈加模糊，这使得突出显示期望的对象。当照相机与对象之间的距离变化时或如果物镜的焦距被变焦缩放而改变，则自动聚焦使照相机能够将所选择的感兴趣的对象保持聚焦。
[0003]为了自动聚焦，照相机需要知道应当对图像的哪些部分聚焦。为此，自动聚焦可以采用面部检测或其它算法来找出可能感兴趣的目标。简单来说，用户通过将单个聚焦点对准期望的对象来识别目标点，例如，通过将触发按钮向下按压一半来锁定焦点并且接着使照相机返回以一些其它方式取景，如果需要的话。在一些增强的照相机中，自动聚焦被配置为跟踪感兴趣的对象并且对它保持聚焦，即使在该对象移动时。这种跟踪式自动聚焦，也被称为人工智能伺服或连续聚焦，例如在对飞行的鸟拍照时很有用。

【发明内容】

[0004]本发明示例的各方面在权利要求中阐述。
[0005]根据本发明的第一示例方面，提供一种装置，包括:
[0006]输入，用于从照相机单元的图像传感器接收图像；
[0007]处理器，被配置为:
[0008]监测所接收的图像中的不同对象的位置；
[0009]确定所述不同对象中的哪个对象，如果有的话，是用户感兴趣或应当感兴趣的主对象；
[0010]检测是否有主对象被所述不同对象中的另一对象遮挡并且响应于对所述遮挡的检测而触发第一动作。
[0011 ] 所述装置可以进一步包括输出。
[0012]所述第一动作可以是通过所述输出发出遮挡检测信号。所述处理器可以进一步被配置为确定所述照相机应当被横向移动多少以避免所述遮挡。所述第一动作可以进一步或可替代地包括发出移动信号，所述移动信号指示所述照相机单元应当被朝向其移动以避免所述遮挡的方向。所述移动信号可以进一步包括确定所述照相机应当被移动多少。所述移动信号的发出可以受制于对所述照相机单元应当被移动多少的确定，以便仅在小于给定阈值的移动被确定是需要的时发出所述移动信号。
[0013]所述第一动作可以是启动连续拍摄模式。所述处理器可以进一步被配置为在所述连续拍摄模式作为所述第一动作启动期间，检测并且自动丢弃出现所述遮挡的所述图像中的一些或全部。[0014]所述第一动作可以是延迟图像捕获。所述图像捕获可以被延迟最多给定的最大时间段。所述最大时间段可以是0.5至3秒。所述最大时间段可以是固定的。可替代地，所述最大时间段可以根据一个或多个因素来动态地定义。所述因素可以包括下列各项中的一个或多个:所述被遮挡的主对象和遮挡对象的相对速度；在所述被遮挡的主对象被捕获的情况下是否已经拍摄了其它图像；在目前被遮挡的主对象可见的情况下较早的图像的清晰度；估计的曝光时间段；是否使用了闪光单元，并且如果使用了所述闪光单元，可选地还包括所述闪光单元的可能的闪光频率。
[0015]所述输入可以进一步被配置为从自动聚焦单元接收对象信息。所述对象信息可以包括深度信息。所述处理器可以被配置为将所接收的对象信息用作监测所接收的图像中的所述不同对象的基础。
[0016]监测所述不同对象的位置可以包括确定所述不同对象在横向方向上的位置。监测所述不同对象的位置还可以涉及确定所述不同对象沿着在所述照相机单元与所述对象之间延伸的轴线即深度上的位置。所述处理器可以被配置为通过面部检测以及通过计算所述图像中至少一个面部特征的比例来确定对象的深度。所述至少一个面部特征可以包括由眼睛、耳朵、嘴巴、眉毛、下巴尖和/或头部的尺寸形成的两个或更多点。基于考虑中的所述面部特征的典型尺寸，所述处理器可以被配置为估计所述照相机单元与作为所述图像中的所述不同对象之一出现的人物之间的距离。
[0017]所述处理器可以被配置为执行基于飞行时间的深度映射。所述处理器可以被配置为基于已知的照明时序和所述图像传感器时序来计算所述飞行时间。
[0018]所述处理器可以被配置为如果在所接收的图像中仅识别出一个对象则跳过对主对象的确定和对遮挡的检测。
[0019]所述处理器可以被配置为检测所接收的图像中的不同对象。为了检测所述不同对象，所述处理器可以被配置为使所述照相机单元:在整个或大部分可用聚焦范围内改变聚焦，以不同的聚焦拍摄图像，并且基于所述聚焦被改变时所述图像的不同部分如何变得聚焦和/或散焦来确定不同距离处的对象。可替代地或附加地，所述处理器可以被配置为从所述照相机单元接收深度图并且在确定所述不同对象时使用所述深度图。所述深度图可以来源于所述自动聚焦单元。所述处理器可以进一步被配置为接收对所述取景器上识别的所述对象中的一个或多个对象的用户选择。所述识别可以包括在所述显示器上对对象的视觉突出显示。所述突出显示可以包括:围绕对象画框；改变对象的颜色；改变对象的亮度和/或对比度；或以上各项的任何组合。可替代地或附加地，识别所检测的不同对象可以包括分别呈现所检测的不同对象。
[0020]所述处理器可以被配置为采用颜色用于监测所接收的图像中的所述不同对象的位置。
[0021]根据本发明的第二示例方面，提供一种方法，包括:
[0022]从照相机单元的图像传感器接收图像；
[0023]监测所接收的图像中的不同对象的位置；
[0024]确定所述不同对象中的哪个对象，如果有的话，是用户感兴趣或应当感兴趣的主对象；以及
[0025]检测是否有主对象被所述不同对象中的另一对象遮挡并且响应于对所述遮挡的检测而触发第一动作。
[0026]根据本发明的第三示例方面，提供一种如权利要求51所限定的装置。
[0027]根据本发明的第四示例方面，提供一种如权利要求52所限定的计算机程序。
[0028]根据本发明的第五示例方面，提供一种方法，包括:
[0029]从照相机单元的图像传感器接收全分辨率图像；
[0030]检测所接收的图像中的图像对象；
[0031]取得对应于所检测的图像对象中的一个或多个图像对象的分离的图像或视频；
[0032]对所述分离的图像或视频中的一个或多个进行下采样；以及
[0033]存储所取得的分离的图像或视频。
[0034]可以检测至少一个图像对象是否被另一图像对象遮挡。
[0035]根据本发明的第六示例方面，提供一种装置，被配置为执行第二或第五示例方面的方法。
[0036]所述装置可以包括存储计算机程序代码的存储器和被配置为基于所述计算机程序代码控制所述装置的操作的处理器。
[0037]根据本发明的第七示例方面，提供一种计算机程序，包括当被处理器执行时使所述处理器执行第二或第五示例方面的方法的程序代码。
[0038]根据本发明的第八示例方面，提供一种计算机可读存储介质，其包括第四示例方面的计算机程序。
[0039]所述存储介质可以包括诸如数据盘或软盘的数字数据存储设备、光存储设备、磁存储设备、全息存储设备、光磁存储设备、相变存储器、电阻式随机存储器、磁随机存储器、固体电解质存储器、铁电随机存储器、有机存储器或聚合物存储器。所述存储介质可以形成为没有除了存储之外的其它实质功能的设备，或它可以形成为具有其它功能的设备的一部分，包括但不限于计算机、芯片组和电子设备的子组件的存储器。
[0040]前文已经示出了本发明的不具有约束力的不同示例方面和实施例。上面的实施例仅用于解释可以在本发明的实施中利用的所选择的方面或步骤。一些实施例可以仅参照本发明的某些示例方面来介绍。应当理解的是，对应的实施例还可以应用于其它示例方面。
【专利附图】

【附图说明】
[0041]为了更完整地理解本发明的示例性实施例，现在参照下面关于附图进行的描述，其中:
[0042]图1示出本发明的示例性实施例的系统的架构概况；
[0043]图2示出本发明的示例性实施例的装置的框图；
[0044]图3示出本发明的示例性实施例的照相机单元的框图；
[0045]图4示出本发明的示例性实施例的示例性取景器视图；以及
[0046]图5示出本发明的示例性实施例的过程的流程图。
【具体实施方式】
[0047]图1示出本发明的示例性实施例的系统100的架构概况。该系统包括具有照相机单元(图2中的260)的装置200，该照相机单元具有第一视场110和第二视场120。第一视场110是主视场并且还在装置200的取景器(图2中的270)上呈现给装置200的用户。该第二视场由示例性实施例提供，其中该照相机单元具有比用于当前成像的大得多的分辨率和视场；该实施例将在本文献的结尾附近处进行更详细的描述。为简便起见，第一视场110下面被称为视场110。
[0048]在不同的实施例中，装置200是或者包括下列中的一个或多个:移动设备、手持设备、移动电话、数字照相机、个人数字助理、游戏设备、手持游戏设备、导航设备和车载用户设备。
[0049]在视场110中，有画作笑脸的第一和第二成像对象10、20。第二成像对象20正在移动并且以虚线示出它的较早位置。在该视场中还有部分的第三成像对象30，第三成像对象30正在关于视场110倾斜地移动。在这些目前的位置中，第一至第三成像对象都没有被其它对象遮挡。换句话说，每个成像对象对于装置200的照相机单元260完全可见，自然尽管仅从装置200的这一侧来看。然而，在它的较早位置，第二成像对象20正在遮挡第一成像对象10(假定在相对图面的方向上这些对象占据共同的平面)。一个或多个成像对象的遮挡是在例如拍摄一组人物或动物时容易出现的情况，并且图像中有越多图像对象越有可能。该术语图像对象指的是出现在图像中的对象，诸如飞机、狗或人的头部。要理解的是，通常，图像的背景可以包含各种对象，诸如山峰或几件家具。在一些情况下，一个物理对象的不同部分形成分离的图像对象。例如，人的手可能遮挡其面部，在这种情况下，所述手和面部被看作是分离的图像对象。不同图像对象可以被看作可被处理器210识别的或由该用户定义的这些图像部分。
[0050]图2示出本发明的示例性实施例的装置200的框图。装置200包括通信接口 220、耦合到通信接口模块220的处理器210和耦合到处理器210的存储器240。存储器240包括工作存储器和非易失性存储器，诸如只读存储器、闪存存储器、光或磁存储器。在存储器240中，典型地至少初始在非易失性存储器中，存储有可操作地加载到处理器210并且由处理器210执行的软件250。软件250可以包括一个或多个软件模块，并且可以是计算机程序产品的形式，该计算机程序产品是存储于存储介质中的软件。装置200进一步包括各自耦合到该处理器的照相机单元260和取景器270。
[0051]应当理解的是，本文献中的任何耦合指的是功能上或操作上耦合；在耦合的元件之间可以有中介部件或电路。
[0052]通信接口模块220被配置为通过一个或多个本地链路提供本地通信。这些链路可以是有线链路和/或无线链路。通信接口 220可以进一步或可替代地实施适于与其他用户建立链路或适于数据传送的远程通信链路(例如，使用互联网)。这些远程通讯链路可以是使用无线局域网链路、蓝牙、超宽带、蜂窝或卫星通信链路中的任一个的链路。通信接口220可以被集成到装置200或集成到可以被插入装置200的适当插槽或端口的适配器、卡等。虽然图2示出一个通信接口 220，但是该装置可以包括多个通信接口 220。
[0053]处理器210例如是中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、图形处理单元、专用集成电路(ASIC)、现场可编程门阵列、微控制器或这些元件的组合。图2示出一个处理器210，但是装置200可以包括多个处理器。
[0054]如前面所述，存储器240可以包括易失性和非易失性存储器，诸如只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、随机存储器(RAM)、闪存存储器、数据盘、光存储器、磁存储器、小型卡等。在一些示例性实施例中，在装置200中仅出现易失性或非易失性存储器。此外，在一些示例性实施例中，该装置包括多个存储器。在一些示例性实施例中，各种元件被集成。例如，存储器240可以构成为装置200的一部分或被插入插槽、端口等。另外，存储器240可以用作存储数据的唯一目的，或它可以构成为用作其它目的诸如处理数据的装置的一部分。类似的选项对于各种其它元件也是能够想到的。
[0055]本领域技术人员理解，除了图2中所示的这些元件，装置200可以包括其它元件，诸如麦克风、显示器以及附加电路诸如进一步的输入/输出(I/O)电路、存储芯片、专用集成电路(ASIC)、专用处理电路诸如源编码/解码电路、信道编码/解码电路、加密/解密电路等。另外，装置200可以包括一次性或可充电电池(未示出)，用于当外部电源不可用时为该装置供电。
[0056]认识到在本文献中以不同的范围使用术语装置也是有用的。在一些更宽泛的权利要求和示例中，该装置可以仅指图2中出现的这些特征的子集或甚至被实施为没有图2中的任一特征。在一个示例性实施例中，该术语装置指的是处理器210、被配置为从该照相机单元接收信息的处理器210的输入线路和被配置为向该取景器提供信息的处理器210的输出线路。
[0057]图3示出本发明的示例性实施例的照相机单元260的框图。照相机单元260包括物镜261、被配置为对物镜261调焦的自动聚焦单元262、可选的机械快门263、图像传感器264和输入和/或输出265。在一个不例性实施例中，照相机单兀260被配置为从自动聚焦单元262输出自动聚焦信息。在一个示例性实施例中，该照相机单元还被配置为通过I/0265接收用于自动聚焦单元262的指令。
[0058]图4示出本发明的示例性实施例的示例性取景器视图400。在该取景器上，有两个窗口或窗格:主窗口呈现(在该示例中第一视场110的)实时照相机图像取景，而对象窗口呈现所检测的图像对象。在一个示例性实施例中，对象窗口仅在检测到至少一个对象时被呈现。在该主窗口中，该照相机图像被呈现，这里示出书桌上的各种物品。在该图像中的各项目之间，五个对象(第一对象至第五对象410-450)被检测为潜在的感兴趣对象。应当意识到，图4仅是说明性的设置并且因此该图像周边区域处的一些项目并未被识别为潜在的感兴趣对象。同样在该对象窗口中示出对应的图标或可能缩小的图像对象410'至450'。在一个示例性实施例中，该取景器被呈现在触摸屏上。用户可以将对象切换(toggle)为“开”或“关”，以用于作为感兴趣的图像对象进行处理。在一个示例性实施例中，允许该用户通过指向该屏幕的相应部分来选择期望的一个或多个图像对象，以便装置200识别出所选择图像对象的边界或框。在另一示例性实施例中，允许用户例如通过围绕期望的图像对象画框来手动框选(frame)期望的图像对象。
[0059]图4呈现了矩形图像对象。在其它示例性实施例中，还可能是其它形状。例如，图像对象的形状可以动态适配于符合该图像对象自身的形状。例如，如果选择了杯子，该杯子的形状的区域可以被定义用于该图像对象。
[0060]图5示出本发明的示例性实施例的过程的流程图，其说明了各种可能的特征。图5中所示步骤中的一些或全部被诸如装置200的处理器210这样的处理器执行。应当理解的是，尽管在图5中这些箭头从一个框指向另一框，但是不同的步骤不必按它们在图5中出现的顺序执行。
[0061]在步骤505，从照相机单元的图像传感器接收图像。在510监测所接收的图像中的不同对象的位置。在515确定该用户感兴趣的主对象。在步骤520中，检测是否任何主对象变成被遮挡并且如果是的话，则触发第一动作。步骤525确定照相机单元应当被横向移动多少以避免所检测的主对象的遮挡。在530确定不同对象的横向位置。在535基于例如本文献中公开的不同方法中的一个或多个来确定不同对象在深度上的位置。如果在所接收的图像中识别出少于两个对象，则可以跳过在515对主对象的确定和在520对遮挡的检测。
[0062]新的图像捕获和再现体验系统
[0063]在一个示例性方面，开发了一种新的捕获和再现体验系统，其使得能够由一个用户在一个设备内以高质量相关照片和视频来捕获场景和瞬间。所捕获的信息包含多个图像和/或多个视频，其被同时记录并且可以包含来自分离的或可以彼此重叠的对象的信息。深度信息使得能够对不同对象进行简单的识别或检测。所捕获/记录的信息，可能是分离的每个图像对象的信息，易于编辑、减少或再次再现，因为该信息被很好地组织。
[0064]除了 2D图像和视频系统，还可以通过利用来自也在另外一个或多个照相机系统内的一个照相机系统的信息来改善3D体验。一些进一步的示例说明了下面讨论的本发明的一些实现。
[0065]一个示例性图像捕获过程具有下列步骤:
[0066]1.利用该照相机获得深度图。在一个示例性实施例中，该深度图由处理器基于光从装置到图像对象并返回装置的飞行时间来产生。飞行时间可以使用照相机传感器来确定。在另一示例性实施例中，使用3D成像来产生深度图。
[0067]2.使用深度图，从取景器手动(用户选择)或自动(基于诸如面部识别的算法)识别图像的对象。
[0068]3.当识别出对象时，围绕被标记为感兴趣对象的对象来定义区域(矩形或自由形状)(参见图4).[0069]4.开始监测或跟踪感兴趣的对象并且可选地在取景器上识别感兴趣的对象(图4)。
[0070]5.检测对所识别的对象的遮挡，或可选地如果没有识别出图像对象或如果仅识别出一个图像对象即如果识别出少于两个图像对象，则避开对遮挡的检测。
[0071]6.当用户例如通过按压触发器命令装置拍照时，触发一个或多个动作。这些动作可以涉及:
[0072]a.生成全屏幕的单个照片；
[0073]b.拍摄全照片即全分辨率图像以及感兴趣的对象的分离的照片(从单个大分辨率照片图像建立照片库)，该全分辨率图像使用图像中照相机传感器提供的全部像素(可能不包括用于数字图像稳定的边缘)；
[0074]c.以大分辨率或下采样分辨率拍摄感兴趣的对象的全屏幕照片和视频；
[0075]d.拍摄任何其它组合的照片和/或视频，诸如有多个子对象的大的母照片；
[0076]e.记录较早捕获的图像和/或图像流，诸如静止图像序列或视频片段；
[0077]g.启动静止图像的连续拍摄；
[0078]h.在所拍摄的静止图像中提取感兴趣的对象的子图像，同时丢弃其它部分或以比感兴趣的图像对象的图像更低的分辨率存储该其它部分。
[0079]所捕获图像的后处理/编辑的示例包括:
[0080] 1.允许用户查看内容。每个图像包含对象集，并且彼此相近拍摄的图像在时间上定义照片集。对于每个照片集，允许用户基于下列各项观看这些图像/视频:
[0081]a.人物/对象
[0082]b.母图像+子图像
[0083]c.母图像+其上添加的视频
[0084]d.视频内部的视频(对象I的视频，其包含对象2的视频)
[0085]e.以及这些的任何其它组合。
[0086]2.增强处理，诸如通过所提供的相关联特征处理和存储多个图像和视频，例如，即时快捷方式(shortcut)。这些相关联的特征可以包括:
[0087]a.删除；
[0088]b.标记；和/或
[0089]c.生成汇集。
[0090]各种类型的设备可用于实施不同的示例性实施例。一些示例的系统要求和特征包含下列各项中的一个或多个:
[0091]-诸如图像传感器的图像捕获单元具有足够的分辨率(例如，10到200兆像素，典型地20到50兆像素)来使得能够高质量地捕获多个图像和/或视频；
[0092]-照相机架构为多个个体图像流提供选择、按比例缩放或下采样和实时处理；
[0093]-支持自动和/或通过用户选择(例如，触摸、姿态)来选择所记录的对象；
[0094]-支持跟踪并且在跟踪期间视频捕获所选择的对象(注意:视频和图像稳定可以基于如图1中第二视场120所示的较大背景视场或基于照相机传感器所记录的可见图像对象来提供)；
[0095]-支持生成深度图或测量对象的距离，并且可选地，支持在记录期间和/或在图像和/或视频的回放期间在取景器中显示深度图；
[0096]-能够在每次用户指示捕获时记录这些对象的各个照片和全场景(注意:同样，时间偏移特征(带有时序t-n，...，〖，一t+!!!的图像)可以被用于使得能够更好地捕获正确的瞬间或增强回放体验)。在一个示例性实施例中，如果检测到遮挡，则丢弃按用户预期发送拍摄命令记录的这些图像中的一些或全部；
[0097]-能够连续记录所选择对象的视频(注意:虽然全部的所检测或识别的图像对象正在被跟踪，但是仅感兴趣的图像对象可以被选择性地进行视频记录)；
[0098]-能够通知例如遮挡；
[0099]-能够建议新的照相机位置，在该位置当考虑到这些图像对象的相对运动时遮挡会减少或避免将有的遮挡；
[0100]-能够从所记录的图像生成优化的捕获(照片拼贴)；
[0101]-能够以全场景显示取景器和所选择的一个或多个对象，反之亦然；
[0102]-能够适当地按比例缩放照片用于视频记录、取景器和静止图像，而无需一直记录全分辨率和高频率视频或图像；
[0103]-能够显示不同的照片序列、照片中视频、视频中视频，还有其它的不同呈现或动画(例如，类似取景器视图或动画演示)；
[0104]-在3D照相机单元的情况下，能够将不同对象的跟踪信息从一个照相机单元传送到另一个。
[0105]没有以任何方式限制下面出现的这些权利要求的范围、解释或应用，这里公开的这些示例性实施例中的一个或多个的技术效果是可以自动检测用户感兴趣的图像对象的遮挡。这里公开的这些示例性实施例中的一个或多个的另一技术效果是对遮挡的检测可以被用于控制照相机的操作以便减轻遮挡的不利影响。这里公开的这些示例性实施例中的一个或多个的另一技术效果是图像对象的检测可以被用于以下各项中的两项或更多项:自动聚焦、对遮挡的检测和表示用户感兴趣的个体图像对象的分离的图像或视频的生成。这里公开的这些示例性实施例中的一个或多个的另一技术效果包含生成用于捕获和再现两者的新成像体验的能力；可以从同一瞬间和场景记录更多相关信息；可以更容易地记录这些对象的更多高质量图像；可以使用便宜的设备而不必要求多个设备和/或多个用户；可用作自动聚会照相机或增强的监控照相机；和/或仅剪裁区域会需要以全分辨率和以全部校正进行处理。
[0106]在本文献的上下文中，“计算机可读介质”可以是可以包含、存储、通信、传播或传输由指令执行系统、装置或设备诸如计算机使用的或与指令执行系统、装置或设备诸如计算机有关的这些指令的任何介质或手段，计算机的一个示例如图2中描述和描绘的装置200。计算机可读介质可以包括计算机可读存储介质，计算机可读存储介质可以是可以包含或存储由指令执行系统、装置或设备诸如计算机使用的或与指令执行系统、装置或设备诸如计算机有关的这些指令的任何介质或手段。
[0107]如果需要的话，这里讨论的不同功能可以按不同的顺序和/或彼此同时地执行。此外，如果需要的话，上面描述的功能中的一个或多个可以是可选的或可以被组合。
[0108]尽管在独立权利要求中阐述了本发明的各方面，但是本发明的其它方面包括来自所描述的实施例和/或从属权利要求的特征与从属权利要求的特征的其它组合，并且不仅仅是这些权利要求中明确阐述的这些组合。
[0109]这里还要注意的是，虽然上面描述了本发明的示例性实施例，这些描述不应当在限制的意义上看待。而是，有可以进行而不背离如所附权利要求中定义的本发明的范围的几种变化和修改。
【权利要求】
1.一种装置，包括: 输入，用于从照相机单元的图像传感器接收图像； 处理器，被配置为: 监测所接收的图像中的不同对象的位置； 确定所述不同对象中的哪个对象，如果有的话，是用户感兴趣或应当感兴趣的主对象； 检测是否有主对象变为被所述不同对象中的另一对象遮挡并且响应于对所述遮挡的检测而触发第一动作。
2.根据权利要求1所述的装置，进一步包括输出。
3.根据权利要求2所述的装置，其中所述第一动作是通过所述输出发出遮挡检测信号。
4.根据前述权利要求中任一项所述的装置，其中所述处理器进一步被配置为确定所述照相机单元应当被横向移 动多少以避免对主对象的遮挡。
5.根据权利要求4所述的装置，其中所述第一动作包括发出移动信号，所述移动信号指示所述照相机单元应当被朝向其移动以避免所述遮挡的方向。
6.根据权利要求5所述的装置，其中所述移动信号进一步包括对所述照相机单元应当被移动多少的确定。
7.根据权利要求4至6中任一项所述的装置，其中所述移动信号的发出受制于对所述照相机单元应当被移动多少的确定，以便仅在小于给定阈值的移动被确定是需要的时发出所述移动信号。
8.根据前述权利要求中任一项所述的装置，其中所述第一动作是启动连续拍摄模式。
9.根据权利要求8所述的装置，其中所述处理器进一步被配置为在所述连续拍摄模式期间检测并且自动丢弃出现所述遮挡的所述图像中的一些或全部图像。
10.根据权利要求1或2所述的装置，其中所述第一动作是延迟图像捕获。
11.根据权利要求10所述的装置，其中所述图像捕获被延迟最多给定的最大时间段。
12.根据权利要求11所述的装置，其中所述最大时间段根据一个或多个因素来动态地定义。
13.根据权利要求12所述的装置，所述因素包括下列各项中的一个或多个:被遮挡的主对象和遮挡对象的相对速度；在所述被遮挡的主对象被捕获的情况下是否已经拍摄了其它图像；在目前被遮挡的主对象可见的情况下较早的一个或多个图像的清晰度；估计的曝光时间段；是否使用了闪光单元，并且如果使用了所述闪光单元，可选地还包括所述闪光单元的可能的闪光频率。
14.根据前述权利要求中任一项所述的装置，其中所述装置进一步被配置为从自动聚焦单元接收对象信息。
15.根据权利要求14所述的装置，其中所述对象信息包括深度信息。
16.根据权利要求15所述的装置，其中所述处理器被配置为将所接收的对象信息用作监测所接收的图像中的所述不同对象的基础。
17.根据前述权利要求中任一项所述的装置，其中监测所述不同对象的位置包括确定所述不同对象在横向方向上的位置。
18.根据权利要求17所述的装置，其中监测所述不同对象的位置涉及确定所述不同对象沿着在所述照相机单元与所述对象之间延伸的轴线即深度上的位置。
19.根据前述权利要求中任一项所述的装置，其中所述处理器被配置为通过面部检测以及通过计算所述图像中的至少一个面部特征的比例来确定对象的深度。
20.根据前述权利要求中任一项所述的装置，其中所述处理器被配置为如果在所接收的图像中识别出少于两个对象，则跳过对所述主对象的确定和对所述遮挡的检测。
21.根据前述权利要求中任一项所述的装置，其中所述处理器被配置为检测所接收的图像中的不同对象。
22.根据权利要求21所述的装置，其中为了检测所述不同对象，所述处理器被配置为使所述照相机单元:在整个或大部分可用聚焦范围内改变聚焦，以不同的聚焦拍摄图像，并且基于所述聚焦被改变时所述图像的不同部分如何变得聚焦和/或散焦来确定不同距离处的对象。
23.根据权利要求21或22所述的装置，其中所述处理器被配置为从所述照相机单元接收深度图并且在确定所述不同对象时使用所述深度图。
24.根据前述权利要求中任一项所述的装置，其中所述处理器被配置为使得在取景器上识别所检测的不同对象。
25.根据前述权利要求中任一项所述的装置，其中所述处理器进一步被配置为接收对在所述取景器上识别的所述对象中的一个或多个对象的用户选择。
26.根据权利要求25所述的装置，其中所述识别包括在所述显示器上对对象的视觉突出显示。
27.—种方法,包括: 从照相机单元的图像传感器接收图像； 监测所接收的图像中的不同对象的位置； 确定所述不同对象中的哪个对象，如果有的话，是用户感兴趣或应当感兴趣的主对象；以及 检测是否有主对象变为被所述不同对象中的另一对象遮挡并且响应于对所述遮挡的检测而触发第一动作。
28.根据权利要求27所述的方法，其中所述方法包括在从所述图像传感器接收图像的同时，实时地执行对所述位置的所述监测、对所述主对象的所述确定以及对是否有主对象变为被遮挡的所述检测。
29.根据权利要求27或28所述的方法，其中所述第一动作是通过所述输出发出遮挡检测信号。
30.根据权利要求27至29中任一项所述的方法，进一步包括确定所述照相机单元应当被横向移动多少以避免对主对象的遮挡。
31.根据权利要求27至30中任一项所述的方法，其中所述第一动作是启动连续拍摄模式。
32.根据权利要求31所述的方法，进一步包括在所述连续拍摄模式期间检测并且自动丢弃出现所述遮挡的所述图像中的一些或全部。
33.根据权利要求27或28所述的方法，其中所述第一动作是延迟图像捕获。
34.根据权利要求33所述的方法，其中所述图像捕获被延迟最多给定的最大时间段。
35.根据权利要求34所述的方法，其中所述最大时间段根据一个或多个因素来动态地定义。
36.根据权利要求35所述的方法，所述因素包括下列各项中的一个或多个:所述被遮挡的主对象和遮挡对象的相对速度；在所述被遮挡的主对象被捕获的情况下是否已经拍摄了其它图像；在目前被遮挡的主对象可见的情况下较早的一个或多个图像的清晰度；估计的曝光时间段；是否使用了闪光单元，并且如果使用了所述闪光单元，则可选地还包括所述闪光单元的可能的闪光频率。
37.根据权利要求27至36中任一项所述的方法，其中所述方法进一步被配置为从自动聚焦单元接收对象信息。
38.根据权利要求37所述的方法，其中所述对象信息包括深度信息。
39.根据权利要求38所述的方法，进一步包括将所接收的对象信息用作监测所接收的图像中的所述不同对象的基础。
40.根据权利要 求27至39中任一项所述的方法，其中监测所述不同对象的位置包括确定所述不同对象在横向方向上的位置。
41.根据权利要求27至40中任一项所述的方法，其中监测所述不同对象的位置涉及确定所述不同对象沿着在所述照相机单元与所述对象之间延伸的轴线即深度上的位置。
42.根据权利要求41所述的方法，其中确定对象的深度通过面部检测以及通过计算所述图像中的至少一个面部特征的比例来执行。
43.根据权利要求41所述的方法，其中确定对象的深度通过确定所述照相机单元与所述对象之间的飞行时间来执行。
44.根据权利要求27至43中任一项所述的方法，进一步包括:如果在所接收的图像中识别出少于两个对象，则跳过对主对象的所述确定和对遮挡的所述检测。
45.根据权利要求27至44中任一项所述的方法，进一步包括检测所接收的图像中的不同对象。
46.根据权利要求45所述的方法，其中为了检测所述不同对象，使所述照相机单元:在整个或大部分可用聚焦范围内改变聚焦，以不同的聚焦拍摄图像，并且基于所述聚焦被改变时所述图像的不同部分如何变得聚焦和/或散焦来确定不同距离处的对象。
47.根据权利要求45或46所述的方法，进一步包括从所述照相机单元接收深度图并且在确定所述不同对象时使用所述深度图。
48.根据权利要求27至47中任一项所述的方法，进一步包括在取景器上识别所检测的不同对象。
49.根据权利要求27至48中任一项所述的方法，进一步包括接收对在所述取景器上识别的所述对象中的一个或多个对象的用户选择。
50.根据权利要求49所述的方法，其中所述识别包括在所述显示器上对对象的视觉突出显示。
51.一种装置，包括: 至少一个处理器；以及 包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少执行根据权利要求27至50中任一项所述的方法。
52.一种计算机程序，包括: 当所述计算机程序在处理器上运行时: 用于从照相机单元的图像传感器接收图像的代码； 用于监测所接收的图像中的不同对象的位置的代码； 用于确定所述不同对象中的哪个对象，如果有的话，是用户感兴趣或应当感兴趣的主对象的代码；以及 用于检测是否有主对象变为被所述不同对象中的另一对象遮挡并且响应于对所述遮挡的检测而触发第一动作的代码。
53.根据权利要求52所述的计算机程序，进一步包括用于当所述计算机程序在处理器上运行时执行根据权利要求28至50中任一项所述的方法的代码。
54.根据 权利要求52或53所述的计算机程序，其中所述计算机程序是包括计算机可读介质的计算机程序产品，所述计算机可读介质承载在其中体现的用于与计算机一起使用的计算机程序代码。
【文档编号】G06T7/20GK103988227SQ201180075524
【公开日】2014年8月13日 申请日期:2011年12月16日 优先权日:2011年12月16日
【发明者】O·卡莱沃, R·叙奥默拉 申请人:诺基亚公司