专利名称：移动终端及其离焦图像生成方法
技术领域：
本说明书涉及能够使用深度图生成离焦(out-focused)图像(或者离焦的图像)的移动终端及其生成离焦图像的方法。
背景技术：
移动终端可以被配置以执行各种功能，例如，数据和语音通信、拍摄图像或者视频、存储语音、经过扬声器系统再现音乐文件、显示图像或者视频等。一些移动终端可以包括玩游戏的附加功能，并且其它移动终端可以被实现为多媒体播放器。另外，最近，移动终端可以接收广播或者多播信号以允许观看视频或者电视节目。此外，正在进行很多努力来支持或者增强这种移动终端的各种功能。这些努力不仅包括改变和改进实现移动终端的结构组件，而且包括软件或者硬件改进。另外，为不熟悉按钮/键输入的用户设计了移动终端的触摸功能，以使用触摸屏方便地执行移动终端的功能。最近，除了简单的输入功能之外，触摸功能与用户接口(UI)—起变为终端的重要功能。因此，随着触摸功能进一步以各种形式应用于移动终端，更需要开发适当的n。通常，离焦效果是指当用相机对特定对象摄影时使该对象在焦内(focused-1n)并且除了该对象之外的背景离焦的技术。可以通过使用复杂相机(例如，DSLR型、混合型等)的镜头特性或者通过普通相机的图像处理获得离焦效果。其中，为了使用复杂相机，可以通过设置低光 圈大小(将光圈开的很大)、确保相机和背景之间的更长距离或者使用变焦镜头来获得离焦效果。相反地，为了使用通过图像处理实现离焦效果的相机，连续拍摄两张照片(一个模糊图像和一个原始图像)并且将其彼此组合。然而，当采用图像处理方法时，拍摄的两个完整大小的图像占据通常摄影的两倍存储器存储空间，而且拍摄两个图像使拍摄时间加倍。
发明内容
因此，详细描述的一个方面是提供一种能够在具有双相机的移动终端中使用深度图和一个拍摄图像生成离焦图像的移动终端、及其生成离焦图像的方法。详细描述的另一个方面是提供一种当拍摄静止图像或者运动图像(视频)时能够使用深度图更精确地生成离焦图像的移动终端、及其生成离焦图像的方法。为了实现这些和其它优点，并且根据本说明书的目的，如这里所具体实施和广泛描述的，提供一种用于在移动终端中生成离焦图像的方法，所述方法包括当离焦功能被选择时显示预览图像和深度图；当从所述预览图像中选择特定对象时通过基于所述特定对象调整会聚(convergence)来更新所述深度图；以及当实际拍摄图像时通过基于经更新的深度图的会聚使拍摄的图像模糊来生成离焦图像。所述预览图像可以是静止图像或者运动图像(视频)。
所述深度图可以根据通过两个相机获取的预览图像生成。所述深度图可以以迷你图的形式显示在所述预览图像的一侧，或者可以通过以半透明形式交叠所述预览图像而显示。所述深度图可以基于会聚零点分为负(_)会聚区域和正(+ )会聚区域，所述区域用不同颜色指示。可以响应于布置在所述预览图像或者所述深度图的一侧的控制条的移动，调整所述深度图的背景的模糊程度。所述深度图的更新可以包括将所选择的对象设置为会聚零点；检查是否存在一个或多个具有负会聚的对象；当存在一个或多个具有负会聚的对象时，在画面上显示对应的对象用于用户选择；当用户不选择任何具有负会聚的对象时，提取所述对应的对象；将所提取的对象的会聚重新设置为正会聚；以及基于重新设置的正会聚更新所述深度图。所述离焦图像的生成可以包括将所述经更新的深度图放大到所述拍摄的图像的大小；将所述拍摄的图像和所述深度图分别划分为多个块；以及基于会聚零点，进行用于使通过比较与所述深度图对应的所述拍摄的图像的正会聚区域模糊的高斯模糊滤波。为了实现根据本公开示例性实施方式的目的，提供了一种移动终端，所述终端包括显示单元，所述显示单元被配置为显示预览图像和深度图；存储器，所述存储器被配置为存储拍摄的图像；以及控制器，所述控制器被配置为当从所述预览图像中选择特定对象时通过基于所述特定对象调整会聚来更新所述深度图，并且在拍摄图像时基于经更新的深度图的会聚使拍摄的图像模糊，以生成离焦图像。所述预览图像可以是静止图像或者运动图像。所述预览图像可 以是通过一个相机获取的，所述深度图可以以迷你图的形式显示在所述预览图像的一侧，或者通过以半透明形式交叠所述预览图像而显示。可以在用户菜单中初始设置所述深度图的大小、形状、颜色和显示时间，或者通过所述深度图被选择时显示的菜单设置所述深度图的大小、形状、颜色和显示时间。所述控制器可以将所选择的对象设置为会聚零点，并且基于所述会聚零点用不同颜色指示负(_)会聚区域和正(+ )会聚区域。所述控制器可以响应于布置在所述预览图像或者所述深度图的一侧的控制条的移动，调整所述深度图的背景的模糊程度。当对象被选择时所述控制器可以将所选择的对象设置为会聚零点，并且检查是否存在一个或多个具有负会聚的对象，当存在一个或多个具有负会聚的对象时将对应的对象的会聚重新设置为正会聚。当存在一个或多个具有负会聚的对象时所述控制器可以在画面上显示对应的对象用于用户选择；所述控制器可以将所述经更新的深度图放大到所述拍摄的图像的大小，以块或者像素为单位比较所述拍摄的图像和经放大的深度图，并且基于会聚零点进行用于使与所述深度图对应的所述拍摄的图像的正会聚区域模糊的高斯模糊滤波。从下文给出的详细描述本申请的进一步应用范围将变得更明显。然而，应理解，详细描述和具体示例尽管指示本发明的优选实施方式，但是仅仅是通过例示给出，因为本发明的实质和范围内的各种修改和变化从此详细描述中将对于本领域技术人员变得明显。
附图被包括进来以提供对本发明的进一步理解，并结合到本申请中且构成本申请的一部分，这些附图例示了示例性实施方式，并与说明书一起用于解释本发明的原理。在附图中图1是例示根据本说明书的一个示例性实施方式的移动终端的框图；图2是可与移动终端操作的通信系统的图；图3是示出使用一个预览图像生成深度图的示例的图；图4是示出显示在画面的一侧的深度图的示例的图；图5是示出当从预览图像中选择要通过离焦效果清楚地拍摄的特定对象时更新深度图的示例的图；图6是示出根据详细描述的示例性实施方式的控制具有深度图的预览图像中背景的模糊程度的示例的图；图7是示出通过拍摄预览图像来生成通过离焦效果清楚地拍摄的图像的示例的图；图8是示出根据详细描述的示例性实施方式的用于针对静止图像生成离焦图像的方法的流程图；图9是示出根据详细描述的示例性实施方式的针对负(_)会聚区域调整深度图的示例的图；以及图10是示出根据详细描述的示例性实施方式的用于针对运动图像(视频)生成离焦图像的方法的流程图。
具体实施例方式下面将参照附图详细给出根据本发明的移动终端的优选配置的描述。在下文，提供说明中使用的用于组件的后缀“模块”和“单元或者部”仅是为了便于准备说明书，因而它们不被赋予特定的含义或者功能。因此，应注意的是“模块”和“单元或者部”可以一起使用。可以使用多种不同类型的终端实现移动终端。这些终端的示例包括移动终端，诸如移动电话、智能电话、笔记本计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪等；以及固定终端，诸如数字TV、桌上型计算机等。以下描述假定终端是移动终端。然而，本领域技术人员可以容易理解的是，除了特别针对移动性而设置的组件之外，根据以下描述的配置可以应用于固定终端。图1是根据本发明的一个实施方式的移动终端的框图。移动终端100可包括诸如无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源190等的组件。图1示出具有多个组件的移动终端100，但是应理解，不要求实现所例示的全部组件。可以另选地实现更多或者更少的组件。在下文，将按顺序描述每个组件。无线通信单元110通常可以包括允许移动终端100和无线通信系统之间或移动终端100和该移动终端100所处于的网络之间的无线通信的一个或更多个组件。例如，无线通信单元110可包括广播接收模块111、移动通信模块112、无线因特网模块113、短距离通信模块114、位置定位模块115等。广播接收模块111经过广播信道从外部广播管理实体接收广播信号和/或与广播相关的信息。广播信道可以包括卫星信道和地面信道。广播管理实体可以指生成和发射广播信号和/或与广播相关的信息的服务器，或者指接收预先生成的广播信号和/或与广播相关的信息并且向移动终端发送的服务器。与广播相关的信息的示例可以包括与广播信道、广播节目、广播服务提供商等相关的信息。广播信号可以实现为TV广播信号、无线电广播信号和数据广播信号等。广播信号还可以包括与TV或者无线电广播信号组合的数据广播信号。与广播相关的信息可以是指涉及广播信道、广播节目、广播服务提供商的信息。与广播相关的信息可以通过移动通信网络来提供，并且通过移动通信模块112来接收。与广播相关的信息可以实现为各种格式。例如，与广播相关的信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)、手持数字视频广播(DVB-H)的电子服务指南(ESG)等。广播接收模块111可以被配置为接收从各种类型的广播系统发送的数字广播信号。这种广播系统可以包括地面数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、仅媒体前向链路(MediaFLO)、手持数字视频广播(DVB-H)、地面综合业务数字广播(ISDB-T)等。广播接收模块111可以配置为适用于每一种发送广播信号的广播系统以及数字广播系统。通过广播接收模块111接收到的广播信号和/或与广播相关的信息可以被存储在诸如存储器160这样的适当装置中。移动通信模块112向/从移动通信网络上的网络实体(例如，基站、外部移动终端、服务器等)中的至少一个发送/接收无线信号。在这里，无线信号可以包括音频呼叫信号、视频呼叫信号、或者根据文本/多媒体消息的发送/接收的各种格式的数据。无线因特网模块113支持移动终端的无线因特网接入。该模块可以内置或者外置地耦合到移动终端。这种无线因特网接入的示例可以包括无线LAN (WLAN)、Wi-Fi、无线宽频带(Wibro )、全球微波互联接入(Wimax )、高速下行分组接入(HSDPA)等。短距离通信模块114表示用于短距离通信的模块。用于实现该模块的合适的技术可以包括BLUETOOTH、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee等。位置定位模块115表示用于检测或计算移动终端的位置的模块。位置定位模块115的示例可以包括全球定位系统(GPS)模块。在当前技术条件下，GPS模块可以测量准确时间和分别距三个以上卫星的距离，以根据三角测量方案基于这三个不同距离准确地计算移动终端的当前位置。可以使用方案来获得时间信息和距三个卫星的距离信息，并且通过一个卫星校正误差。另外，GPS模块可以实时地连续计算当前位置以获得速度信息。A/V输入模块120被配置为向移动终端提供音频或视频信号输入。A/V输入单元120可以包括相机121和麦克风122。相机121接收并且处理图像传感器在视频呼叫模式或拍摄模式所得到的静止图片或视频的图像帧。经处理的图像帧可以被显示在显示器151上。
经相机121处理的图像帧可以存储在存储器160中或者通过无线通信单元110发送至外部。根据移动终端的配置可以设置两个或更多个相机121。当移动终端处于特定的模式(例如电话呼叫模式、记录模式、语音识别模式等)时，麦克风122可以经过麦克风接收外部音频信号。该音频信号被处理为数字数据。在电话呼叫模式的情况下，经处理的数字数据被转换为可以通过移动通信模块112传送至移动通信基站以输出的格式。麦克风122可以包括适合的噪声去除算法以去除在接收外部音频信号的过程中生成的噪声。 用户输入单元130可以生成由用户输入的输入数据以控制移动终端的操作。用户输入单元130可以包括键盘、薄膜开关、触摸板(例如，静态压力/电容)、推轮、轻推开关等。特定示例可以是以下描述的触摸板与显示器151层叠的示例，以与显示器151协作，这称为触摸屏。感测单元140提供移动终端的各个方面的状态测量。例如，感测单元140可以检测移动终端的开/关状态、移动终端100的位置的改变、用户与移动终端100的接触的出现或消失、移动终端100的位置、移动终端100的加速/减速等，以生成用于控制移动终端100的操作的感测信号。例如，对于滑盖型移动终端，感测单元140可以感测移动终端的滑动部是打开的还是关闭的。其它示例包括感测功能，例如感测单元140感测由电源190提供的电源的出现或消失、接口单元170和外部设备之间的耦合或其它连接的出现或消失。在此，感测单元140可以包括接近传感器141，稍后将结合触摸屏来对其描述。感测单元140包括地磁传感器，用于计算当用户运动时的运动方向；陀螺仪传感器，用于计算旋转方向；以及加速度传感器。接口单元170通常被实现以将移动终端耦合到外部设备。接口单元170可以包括例如有线/无线耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、用于耦接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。识别模块可以配置为用于存储对使用移动终端100的权限进行认证所需的各种信息的芯片，其可以包括用户身份模块(UM)、订户身份模块(SM)、通用订户身份模块(USM)等。而且，具有识别模块的装置(以下称为“识别装置”)可以实现为智能卡的类型。因此，识别装置可以通过端口耦接至移动终端100。这种接口单元170可以从外部设备接收数据或者被提供电力，并且将接收到的数据或者电力传递到移动终端100内的每一个组件，或者将移动终端100的数据传递到外部设备。而且，接口单元170可以充当当移动终端100连接至外部支架时将电力从外部支架供应至移动终端100的路径，或者充当用于将由用户从支架输入的各种指令信号传送至移动终端100的路径。这些来自支架的各种指令信号或者电源输入可以操作为用于确认移动终端100已被精确地安装至支架的信号。输出单元150被配置为输出音频信号、视频信号或者报警信号。输出单元150可以包括显不器151、音频输出模块152、报警器153等。显示器151可以输出移动终端100中处理的信息。例如，当移动终端工作在电话呼叫模式时，显示器151将提供包括与呼叫相关的信息的用户接口(UI)或图形用户接口(⑶ I)。另外，如上所述，触摸屏可以被配置成显示器151与触摸板彼此叠置以彼此协作。该构造允许显示器151用作输出装置和输入装置两者。可以利用例如液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT-1XD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器等来实现显示器151。一些显示器可以被配置为透明的，从而能够通过其看见外部。这些显示器可以被称为透明显示器。透明显示器的典型示例可以包括透明有机发光二极管(TOLED)等。移动终端100可以根据其实施方式包括两个或更多个这种显示器。例如，移动终端100可同时包括外部显示器(未示出)和内部显示器(未示出)。触摸屏可以被配置为检测触摸输入压力以及触摸输入位置和触摸输入面积。音频输出模块152可以将在包括呼叫接收模式、呼叫拨打模式、记录模式、语音识别模式、广播接收模式等多种模式下从无线通信单元HO接收到的音频数据或者存储在存储器160中的音频数据输出。另外，音频输出模块152可以输出涉及移动终端100进行的特定功能(例如，接收到呼叫、接收到消息等)的音频信号。可以使用扬声器、蜂鸣器等实现音频输出模块152。报警单元153输出通知从移动 终端100发生的事件的信号。从移动终端100发生的事件可以包括接收到呼叫、接收到消息、按键信号输入、触摸输入等。报警单元153可以不仅输出视频或音频信号，还可以输出其它类型的信号，例如，以振动方式通知事件的发生的信号。当呼叫信号或者消息被接收到时，报警单元153可以输出振动以使用户认识到事件发生。当然，可以通过显示单元151或者音频输出模块152输出用于提醒事件发生的信号。存储器160可以存储对控制器180进行处理和控制的程序。另选地，存储器160可以临时存储输入/输出数据(例如，电话薄数据、消息、静止图像、视频等)。而且，存储器160可以存储与振动的各种模式相关的数据以及在触摸屏上进行触摸输入时的音频输出。可以利用任何类型的适合的存储介质实现存储器160，这些存储介质包括闪存类型、硬盘类型、多媒体卡微型、存储卡类型(例如，SD或DX存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPR0M)、可编程只读存储器(PR0M)、磁性存储器、磁盘、光盘等。而且，移动终端100可以对在因特网上执行存储器160的存储功能的网络存储器进行操作。控制器180通常控制移动终端100的总体操作。例如，控制器180执行与电话呼口4、数据通信、视频呼叫等相关的控制和处理。控制器180可以包括提供多媒体回放的多媒体模块181。多媒体模块181可以配置为控制器180的一部分或者作为单独的组件。控制器180可以执行模式识别处理以将触摸屏上的写或画输入识别为文字或图像。电源190在控制器180的控制下提供各种组件所需的电源。所提供的电源可以是内部电源、外部电源或者其组合。此处所描述的各种实施方式可以利用软件、硬件或其组合实现在计算机可读介质中。针对硬件实现，此处所描述的实施方式可以实现在以下各项中的一个或更多个中专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、微处理器、设计为执行此处所描述的功能的其它电子单元或者其选择性的组合。在某些情况下，可以由控制器180实现这样的实施方式。针对软件实现，可以利用各自执行至少一种功能和操作的单独的软件模块共同实现例如程序和功能的实施方式。可以用以任何合适的编程语言编写的软件应用来实现软件代码。而且，该软件代码可以存储在存储器160中，并且被控制器180执行。图1所示的移动终端100可以被配置为在经过帧或者分组发射数据的通信系统内操作，包括无线和有线通信系统以及基于卫星的通信系统。在下文，将参照图2给出根据本公开的可与移动终端操作的通信系统的描述。这些通信系统利用不同的空中接口和/或物理层。通信系统利用的空中接口的示例包括频分多址(FDMA )、时分多址(TDMA )、码分多址(CDMA )和通用移动通信系统(UMT S )、UMTS的长期演进(LTE)、全球移动通信系统(GSM)等。仅仅通过非限定示例，进一步描述将涉及CDMA通信系统，但是这些教导等同地应用于其它系统类型，包括CDMA无线通信系统。现在参照图2，所示的CDMA无线通信系统具有多个移动终端100、多个基站(BS)270、基站控制器(BSC) 275和移动交换中心(MSC) 280。MSC 280被配置以与常规的公共交换电话网络(PSTN) 290接口。MSC 280还被配置以与BSC 275接口。BSC 275经过骨干线路耦合到基站270。可以根据任意已知接口配置骨干线路，包括例如El/Tl、ATM、IP、PPP,帧中继、HDSL、ADSL或者xDSL。因此，多个BSC 275可以被包括在如图2所示的系统中。
每个基站270可以包括一个或者更多个扇区，并且每个扇区可以包括全向天线或者从基站270径向远离地指向特定方向的天线。另选地，每个扇区可以包括两个更多个不同的天线。每一个基站270可以被配置为支持多个频率分配，每一个频率分配具有特定频谱(例如，1. 25MHz、5MHz 等)。扇区和频率分配的交叉可以称为CDMA信道。基站270可以称为基站收发机子系统(BTS)。在一些情况下 ，术语“基站”可以用于统一指代BSC 275和一个或者更多个基站270。基站还可以被表示为“小区站点”。另选地，给定的基站270的各个扇区可以称为小区站点。如图2所示，广播发射机(BT)295向在系统内操作的移动终端100发射广播信号。广播接收模块111 (图1)通常构建在移动终端100内部以接收BT 295发射的广播信号。图2还描绘了多个全球定位系统(GPS)卫星300。这些卫星300便于定位多个移动终端100中的至少一个的位置。图2中描绘了两个卫星，但应理解的是可以通过比两个卫星更多或者更少的卫星获得有用的位置信息。GPS模块115 (图1)通常被配置为与卫星300合作来获得期望的位置信息。应理解的是可以另选地实现其它类型的位置检测技术(即，除了 GPS定位技术还可以使用的定位技术或者代替GPS定位技术使用的定位技术)。如果期望，则GPS卫星300中的至少一个可以另选地或者附加地被配置成提供卫星DMB发射。在无线通信系统的通常操作期间，基站270从各个移动终端100接收反向链路的集合。移动终端100参与呼叫、消息通信以及执行其它通信。给定的基站270接收到的每一个反向链路信号在该基站270内处理。得到的数据被转发到相关联的BSC 275。BSC 275提供呼叫资源分配和移动性管理功能，包括基站270之间的一连串软切换。BSC 275还将接收到的数据路由到MSC 200,MSC 200接着提供用于与PSTN 290接口的附加的路由服务。类似地，PSTN 290与MSC 280接口，并且MSC 280与BSC 275接口，BSC 275接着控制基站270来向移动终端100发射前向链路信号的集合。
本公开提出一种在具有双相机的移动终端中使用拍摄的单个图像而不是拍摄的两个图像生成离焦图像(离焦的图像)的方法。在本公开中，随着一个相机拍摄的预览图像被显示，使用两个预览图像实时地生成深度图并且显示在所显示的预览图像的一侧。当在深度图上选择要通过离焦效果清楚地摄影的对象(或者主体)、即要被清楚地聚焦的部分时，基于所选择的对象的会聚更新深度图。当实际进行拍摄(摄影)时，滤波器(即，高斯模糊滤波器)基于经更新的深度图的会聚处理拍摄的图像，以生成离焦拍摄图像。预览图像可以包括静止图像或者视频。深度图可以显示在画面的随机区域上。例如，深度图可以被处理成半透明(即，通过a混合处理)从而交叠预览画面，或者以小窗口(即迷你图)的形式显示。显示在画面的随机区域上的深度图基于会聚零(0)点用不同颜色显示负(_)会聚区域(负视差区域)(即，突出)和正(+ )会聚区域(正视差区域)(即，深度)。当用户在画面上改变要通过离焦效果清楚地拍摄的对象时，显示在画面的随机区域上的深度图可以通过自动更新而显示。具体地，当要通过离焦效果清楚地拍摄对象时，负(_)会聚区域和正(+ )会聚区域基于将对应的对象作为会聚零点而出现在深度图上。在此，可以通过生成次深度图，针对看上去突出的部分(对象)而不是所选择的 对象来进行背景处理。深度图的生成图3示出使用一个预览图像生成深度图的示例。当在相机模式下选择离焦功能时，控制器180驱动(激活、操作)两个相机。当这两个相机被驱动时，控制器180将经过每一个相机输入的图像(图像数据)存储在每一个缓冲器中。控制器180可以在显示单元151上显示存储在一个缓冲器中的图像作为预览图像，并且可以不显示存储在另一个缓冲器中的图像。另外，控制器180可以使用通过两个相机获得的预览图像实时地生成针对显示的预览图像的深度图，并且在预览图像(用作背景)的一侧显示所生成的深度图。显示在显示单元151上的预览图像(由左相机或者右相机获得的图像)可以被用户选择。图4示出显示在画面的一侧的深度图的示例的图。如图4所示，深度图50可以以迷你图的形式显示在画面的右上部。深度图50可以另选地被显示在右下部和左下部以及右上部之一，或者以半透明形式(即，通过a混合处理)以交叠方式显示在输出到画面上的预览图像上。深度图的大小、形状、颜色和显示时间可以通过菜单被用户设置，或者通过当深度图的边缘被直接触摸时显示的菜单设置或者改变。具体地，可以通过触摸和拖动调整深度图的大小。要通过离焦效果清禁地拍摄的对象的诜择图5是示出当从预览图像中选择要通过离焦效果清楚地拍摄的特定对象时更新深度图的示例的图。如图5所示，当在深度图50显示在预览图像上的状态下用户选择要通过离焦效果清楚地拍摄的特定对象时，控制器180将深度图50上的对应的对象设置为会聚零(0)点，并且基于会聚零点显示负(_)会聚区域(即，突出)和正(+ )会聚区域(即，深度)。在此，为了用户容易识别，可以用不同颜色显示负会聚区域和正会聚区域。图6是示出根据详细描述的示例性实施方式的控制具有深度图的预览图像中背景的模糊程度的示例的图。如图6所示，可以在预览图像或深度图的一侧设置用于控制背景(正会聚区域)的模糊程度的控制条52。用户可以滚动控制条52以调整正会聚区域(即，背景区域)的模糊程度。随着控制条52被滚动，背景区域的模糊程度可以自动调整以显示在深度图50上。例如，如果假定随着控制条的颜色变暗背景更模糊并且随着颜色变亮而更清楚，则用户可以通过调整控制条52来决定正会聚区域的模糊程度。所决定的模糊程度可以反映到深度图50上以通知用户。 拍摄按钮和深度图调整大小图7是示出通过拍摄预览图像来生成通过离焦效果清楚地拍摄的图像的示例的图。当在已经在预览画面上选择了要清楚地聚焦的对象的状态下用户按压位于预览画面右侧的拍摄按钮51时，参照图7，控制器180获取经过两个相机中的一个相机(例如，右相机)拍摄的图像，并且将在预览画面上生成的深度图的大小调整为与获取的图像相同的大小。随着在预览图像上生成的深度图被调整大小，控制器180组合获取到的图像和调整大小的深度图，从而在显示单元151上显示应用了离焦效果的拍摄图像。基于经调整大小的深度图的拍摄图像的离焦可以通过以块为单位或者以像素为单位的比较来实现基于经调整大小的深度图的拍摄的图像的离焦。当以块为单位进行比较时，控制器180将拍摄的图像和经调整大小的深度图分别划分为NXM个块，并且比较每个块。图7示例地示出通过以块为单位比较而生成离焦图像。相反地，当以像素为单位进行比较时，比较每个像素。具体地，当通过以像素为单位进行比较来生成离焦图像时，经调整大小的深度图和拍摄的图像是相同的图像。这可以允许清楚地分离对象之间的边缘，得到精确的针对边缘的模糊。常规方法尚未获得令人满意的针对边缘的离焦效果。经离焦的拍摄的图像的滤波当完成以块为单位或者以像素为单位的比较时，可以进行滤波，即，高斯模糊滤波，以根据基于深度图在拍摄的图像上决定的会聚零点，使对应于正会聚区域的块(或者像素)模糊，而保持负会聚区域不变。当滤波完成时，控制器180最终生成离焦图像并且用编码器处理离焦图像。图8是示出根据详细描述的示例性实施方式的用于针对静止图像生成离焦图像的方法的流程图。如图8所示，当用户在相机模式下选择离焦功能(SlO)时，控制器180同时激活两个相机(左相机和右相机)(Sll)0控制器180接着将各个相机获取的预览图像存储在存储器160中，并且还显示两个相机中的一个相机获得的图像作为预览图像，且显示针对相应预览图像生成的深度图50(S12)。当离焦功能被选择时，深度图50可以与预览图像一起显示，但是另选地，当在以下说明的步骤S13中选择要清楚地聚焦的对象时首先显示。
当用户在显示了深度图50的预览画面上选择要清楚地聚焦的对象(或者部分)时，控制器180将所选择的对象设置为深度图50上的会聚零点，并且通过基于会聚零点用不同颜色指示负会聚区域和正会聚区域来更新深度图50 (S14).在此，用户可以使用控制条52调整针对正会聚区域(S卩，对应于深度图50上的背景的部分)的模糊程度。控制器180接着作为对移动控制条52的响应提供深度图50的正会聚区域的模糊程度(S15)。当在完成深度图的调整之后用户按压拍摄按钮51时，控制器180通过用一个相机(例如，左相机)实际拍摄当前处于预览状态的全大小图像来获得静止图像(S16)。一旦获取了静止图像，控制器180将经调整的深度图50划分为NXM个块，并且放大每个块以对应于全大小静止图像的比例(S17)。也就是说，经调整的深度图50被调整大小为与拍摄的图像相同的大小。因此，控制器180进行高斯模糊滤波，通过该滤波，基于与经放大的深度图对应的拍摄图像的会聚零点，使对应于正会聚区域的部分(块或者像素)模糊，而保持负会聚区域不变，从而最终生成离焦图像(S18 )。所生成的离焦图像接着被存储在存储器160中并且在显示单元151上输出。同时，在步骤S18中，当基于与经放大的深度图对应的拍摄图像的会聚零点进行滤波时，控制器180仍保留负会聚区域。在此情况下，除了目标对象之外的其它对象也很可能被聚焦。因此，必须选择其它对象的特定对象，或者必须进行针对对应部分的背景处理。图9是示出根据详细描述的示例性实施方式的针对负(_)会聚区域调整深度图的示例的图。如图9所示，在图8的步骤S13中，当基于从初始预览画面选择的要聚焦的对象生成深度图50时，控制器180将对应的对象设置为会聚零点(S20)，并且检查是否存在看上去比对应的对象更突出的对 象(即负会聚对象)(S21)。如果根据检查结果不存在任何具有负会聚的对象，则如图8所示，控制器180通过基于所选择的一个对象更新深度图来显示深度图。另一方面，如果检查到存在至少一个具有负会聚的对象，则控制器180显示关于除了所选择的对象之外是否还应用另一个对象的用户确认消息。在此，用户可以应用所述至少一个对象的全部，附加地选择特定的期望对象，或者可以不应用它们中的任一个。如果用户决定不应用不同于所选择的对象的另一个对象(S22)，则控制器180提取当前具有负会聚的对象块(或者像素)，并且将对应的对象块强制地调整为会聚零点(S23和S243)。也就是说，控制器180针对除了已经从初始预览画面选择的要清楚地聚焦的对象之外的其它对象的全部或者选择性地进行背景处理。之后，如图8的步骤S14所示，控制器180基于经调整的会聚零点调整整个深度图。因此，当除了要清楚地聚焦的对象之外存在具有负会聚的对象时，可以通过离焦效果清楚地聚焦所选择的对象，并且附加地，其它对象也可以与所选择的对象一起清楚地聚焦，实现更准确的离焦。同时，相对于静止图像例示了至此描述的离焦图像生成方法。然而，本公开可以不限于静止图像，而还可以应用于视频。
图10是示出根据详细描述的示例性实施方式的用于针对运动图像(视频)生成离焦图像的方法的流程图。如图10所示，当用户在视频模式下选择离焦功能时，控制器180同时激活两个相机(S30)，接着在显示单元151上显示预览图像和利用由两个相机获取的图像生成的深度图(S32)。当在预览画面上选择要清楚地聚焦的对象时(S33)，控制器180将所选择的对象设置为会聚零点接着实时地进行自动会聚。也就是说，当设置了对象跟踪或者面部识别时，控制器180针对所选择的对象实时地进行对象跟踪或者面部识别，并且基于被设置为会聚零点的所选择的对象实时地进行自动会聚，从而根据两个相机获取的图像生成深度图(S34 )。 另外，在连续自动聚焦(AF)的设置状态中，控制器180随着针对两个相机进行连续AF而将焦内部分设置 为会聚零点，之后进行自动会聚以生成深度图。一旦生成了深度图，控制器180将深度图和预览图像分别划分为NXM个块。因此，控制器180基于深度图的会聚零点使预览图像的各块的负(-)会聚区域模糊，并且锐化正(+ )会聚区域(S35和S36)。另外，控制器180可以通过如图9所示地调整深度图来选择性地使正会聚区域模糊。因而生成的离焦图像然后显示在画面上。当用户按压记录按钮时，控制器180通过用编码器压缩对应的图像而将对应的图像存储在存储器160中(S37)。对于处理期间的视频预览，与通常摄影的预览不同，被摄影对象(主体)连续地移动。这可能使得很难按照应用于静止图像的相同方法调整模糊程度。为了弥补缺陷，本公开采用当拍摄视频时单独对运动对象开窗口的方法。也就是说，运动对象的跟踪结果被显示在单独窗口上(或者相反示例)并且允许用户将跟踪结果改变为用户接口(UI )，以调整运动图像的模糊程度。在此情况下，由于运动图像的周围是模糊的，可以减少任何时候跟踪运动对象时调整模糊程度的问题。如上所述，本公开可以允许通过使用深度图和一个拍摄图像而不是两个连续拍摄的图像生成离焦图像，这可以减少由于图像拍摄引起的延迟时间和存储器使用。并且，可以使用作为图像提取概念的深度图生成离焦图像，因此，可以更准确地拍摄这种离焦图像。此外，根据本公开的一个实施方式，该方法可以在程序记录介质中被实现为计算机可读代码。计算机可读介质可以包括存储可被计算机系统读取的数据的全部类型的记录装置。这些计算机可读介质的示例可以包括R0M、RAMXD_R0M、磁带、软盘、光学数据存储元件等。另外，计算机可读介质还可以实现为载波的格式(例如，经过因特网传输)。计算机可以包括移动终端的控制器180。上述实施方式中的移动终端的配置和方法可以不受限地应用，但是这些实施方式可以通过全部或者部分实施方式的选择性的组合来配置，以实现很多变型。上述实施方式和优点仅仅是示例性的而不理解为限制本公开。这些教导可容易地应用于其它类型的设备。这些描述旨在作为示例性的，而不限制权利要求的范围。许多修改和变型对于本领域的技术人员是明显的。此处描述的示例性实施方式的特征、结构、方法和其它特性可以按照各种方式组合以获得附加和/或另选的示例性实施方式。
由于不背离其特性的情况下当前的特征可以按照多种形式实现，还应理解的是除非相反地规定，上述实施方式不限于上述描述的任何细节，而应在所附的权利要求的范围内宽泛地理解 ，因而所附的权利要求旨在包含落入权利要求的实质和边界或者这些实质和边界的等同物内的全部变化和修改。
权利要求
1.一种用于在移动终端中生成离焦图像的方法，所述方法包括 当离焦功能被选择时显示预览图像和深度图； 当从所述预览图像中选择特定对象时通过基于所述特定对象调整会聚来更新所述深度图； 拍摄图像；以及 通过基于经更新的深度图的会聚使拍摄的图像模糊来生成离焦图像。
2.根据权利要求1所述的方法，其中，所述预览图像是静止图像或者运动图像(视频)。
3.根据权利要求1所述的方法，其中，所述深度图是根据通过两个相机获取的预览图像生成的，并且是当所述离焦功能被选择或者所述特定对象被选择时生成的。
4.根据权利要求1所述的方法，其中，所述深度图以迷你图的形式显示在所述预览图像的ー侧。
5.根据权利要求4所述的方法，其中，所述深度图通过以半透明形式交叠所述预览图像而显示。
6.根据权利要求1所述的方法，其中，在用户菜单中初始设置所述深度图的大小、形状、顔色和显示时间，或者通过所述深度图被选择时显示的菜单设置所述深度图的大小、形状、顔色和显示时间。
7.根据权利要求1所述的方法，其中，所述深度图包括基于会聚零点的负(_)会聚区域和正(+ )会聚区域，所述区域用不同顔色指示。
8.根据权利要求1所述的方法，其中，响应于布置在所述预览图像或者所述深度图的ー侧的控制条的移动，进行所述深度图的更新以调整所述深度图的背景的模糊程度。
9.根据权利要求1所述的方法，其中，所述深度图的更新包括 将所选择的对象设置为会聚零点； 检查是否存在ー个或多个具有负会聚的对象； 当存在ー个或多个具有负会聚的对象时，在画面上显示对应的对象用于用户选择； 当用户不选择任何具有负会聚的对象时，提取所述对应的对象； 将所提取的对象的会聚重新设置为正会聚；以及 基于重新设置的正会聚更新所述深度图。
10.根据权利要求1所述的方法，其中，所述离焦图像的生成包括 将所述经更新的深度图放大到所述拍摄的图像的大小； 以块或者像素为单位比较所述拍摄的图像和经放大的深度图；以及基于会聚零点，进行用于使通过比较与所述深度图对应的所述拍摄的图像的正会聚区域模糊的滤波。
11.根据权利要求10所述的方法，其中，所述滤波是高斯模糊滤波。
12.一种移动终端，所述终端包括 显示单元，所述显示単元被配置为显示预览图像和深度图； 存储器，所述存储器被配置为存储拍摄的图像；以及 控制器，所述控制器被配置为当从所述预览图像中选择特定对象时通过基于所述特定对象调整会聚来更新所述深度图，并且在拍摄图像时基于经更新的深度图的会聚使拍摄的图像模糊，以生成离焦图像。
13.根据权利要求12所述的终端，其中，所述预览图像是静止图像或者运动图像。
14.根据权利要求12所述的终端，其中，所述深度图是根据通过两个相机获取的预览图像生成的，并且是当离焦功能被选择或者所述特定对象被选择时生成的。
15.根据权利要求12所述的终端，其中，所述深度图以迷你图的形式显示在所述预览图像的ー侧。
16.根据权利要求12所述的终端，其中，所述深度图通过以半透明形式交叠所述预览图像而显示。
17.根据权利要求12所述的终端，其中，在用户菜单中初始设置所述深度图的大小、形状、顔色和显示时间，或者通过所述深度图被选择时显示的菜单设置所述深度图的大小、形状、顔色和显示时间。
18.根据权利要求12所述的终端，其中，所述控制器将所选择的对象设置为会聚零点，并且基于所述会聚零点用不同顔色指示负(_)会聚区域和正(+ )会聚区域。
19.根据权利要求12所述的终端，其中，所述控制器响应于布置在所述预览图像或者所述深度图的ー侧的控制条的移动，调整所述深度图的背景的模糊程度。
20.根据权利要求12所述的终端，其中，所述控制器在对象被选择时将所选择的对象设置为会聚零点，并且检查是否存在ー个或多个具有负会聚的对象，当存在ー个或多个具有负会聚的对象时通过将对应的对象的会聚重新设置为正会聚来更新所述深度图。
21.根据权利要求20所述的终端，其中，当存在ー个或多个具有负会聚的对象时所述控制器在画面上显示对应的对象用于用户选择。
22.根据权利要求12所述的终端，其中，所述控制器将所述经更新的深度图放大到所述拍摄的图像的大小，以块或者像素为单位比较所述拍摄的图像和经放大的深度图，并且基于会聚零点进行用于使与所述深度图对应的所述拍摄的图像的正会聚区域模糊的滤波。
23.根据权利要求22所述的终端，其中，所述滤波是高斯模糊滤波。
24.根据权利要求12所述的终端，所述终端还包括布置在所述预览图像或者所述深度图的ー侧、用于控制所述深度图的背景的模糊程度的控制条。
全文摘要
移动终端及其离焦图像生成方法。在使用深度图和一个拍摄图像生成离焦图像的移动终端及其离焦图像生成方法中，该方法包括当离焦功能被选择时显示预览图像和深度图；当从所述预览图像中选择特定对象时通过基于所述特定对象调整会聚来更新所述深度图；拍摄实际图像；以及通过基于经更新的深度图的会聚使通过一个相机拍摄的图像模糊来生成离焦图像。
文档编号H04N5/232GK103037075SQ201210370090
公开日2013年4月10日 申请日期2012年9月28日 优先权日2011年10月7日
发明者李赈述 申请人:Lg电子株式会社