移动终端及其控制方法与流程

文档序号:12908355阅读:497来源:国知局
移动终端及其控制方法与流程

本发明涉及移动终端,更具体地讲,涉及一种移动终端及其控制方法。尽管本发明适合于宽范围的应用,它尤其适合于通过调节设置到移动终端的多个相机的光圈值来提供与相机有关的各种用户界面。



背景技术:

终端通常可根据其移动性而被分成移动/便携式终端或固定终端。移动终端还可根据用户是否能够直接携带终端而被分成手持终端或车载终端。

移动终端已经变得越来越多功能化。这些功能的示例包括数据和语音通信、经由相机拍摄图像和视频、记录音频、经由扬声器系统播放音乐文件以及在显示器上显示图像和视频。一些移动终端包括支持玩游戏的附加功能,而其它终端被配置成多媒体播放器。最近,移动终端已经被配置为接收允许观看诸如视频和电视节目的内容的广播和多播信号。

随着这些功能变得更多样化,移动终端可支持更复杂的功能,例如拍摄图像或视频、再现音乐或视频文件、玩游戏、接收广播信号等。通过全面地和集总地实现这些功能,移动终端可按照多媒体播放器或装置的形式来具体实现。

人们正在努力以支持和增加移动终端的功能。这些努力包括软件和硬件改进以及结构组件上的改变和改进。

由于现有技术的使用通过单个相机感测的单个图像的图像分割无法获得关于深度的信息,所以导致分割性能下降的问题。此外,在使用通过多个相机感测的多个图像的图像分割的情况下,由于包括在图像中的对象依据距离而方案不同,所以导致性能下降的问题。

通常,当视角区域中包括动态对象时,如果通过增加曝光时间来捕获图像,则可能由于不稳定而无法清楚地捕获静态对象。此外,当基于通过单个相机感测的图像执行hdr(高动态范围)时,如果视角区域中的对象或相机移动,则从多个图像生成差异。



技术实现要素:

因此,本发明的目的在于解决上述和其它问题。

本发明的一个目的在于提供一种移动终端及其控制方法,通过其方便用户针对捕获的图像或预览图像的深度调节。

本发明的另一目的在于提供一种移动终端及其控制方法,通过其基于通过多个相机感测的图像来执行hdr。

本发明的另一目的在于提供一种移动终端及其控制方法,通过其基于通过多个相机捕获的图像来清楚地输出动态对象和静态对象。

本发明的另一目的在于提供一种移动终端及其控制方法,用户可通过其选择性地捕获通过多个相机感测的多个预览图像。

可从本发明获得的技术任务不限于上述技术任务。另外,本发明所属技术领域的普通技术人员可从以下描述清楚地理解其它未提及的技术任务。

本发明的附加优点、目的和特征将在本文的公开以及附图中阐述。这些方面也可由本领域技术人员基于本文的公开来理解。

为了实现这些目的和其它优点并且根据本发明的目的,如本文具体实现和广义描述的,根据本发明的一个实施方式的移动终端可包括显示单元、感测单元以及控制器,该控制器被配置为将第一图像输出到显示单元,其中,第一图像包括聚焦区域和失焦区域,其中,第一图像的深度对应于第一深度,其中,如果第一图像对应于捕获的图像,则控制器还被配置为响应于第一输入信号控制输出第二图像,并且其中,在第二图像中,失焦区域的深度改变为第二深度。

在本发明的另一方面,如本文具体实现和广义描述的,根据本发明的另一实施方式的控制移动终端的方法可包括以下步骤:将第一图像输出到显示单元,该第一图像包括聚焦区域和失焦区域,第一图像的深度对应于第一深度;以及如果第一图像对应于捕获的图像,则响应于第一输入信号输出第二图像,其中,在该第二图像中,失焦区域的深度改变为第二深度。

在本发明的另一方面,如本文具体实现和广义描述的,根据本发明的一个实施方式的移动终端可包括显示器和控制器,该控制器被配置为:在所述显示器上显示包括聚焦区域和失焦区域的第一图像,其中,第一图像的深度对应于第一深度;并且响应于第一输入信号显示失焦区域被调节为第二深度的第二图像。

在本发明的另一方面,如本文具体实现和广义描述的,根据本发明的另一实施方式的控制移动终端的方法可包括以下步骤:经由移动终端的显示器显示包括聚焦区域和失焦区域的第一图像,其中,第一图像的深度对应于第一深度;以及经由所述显示器响应于第一输入信号显示失焦区域被调节为第二深度的第二图像。

将理解,本发明的优选实施方式的以上总体描述和以下详细描述二者是示例性和说明性的,旨在提供对要求保护的本发明的进一步说明。

附图说明

根据下文给出的详细描述和附图,本发明将被更加全面地理解,这些附图仅是例示进而不是对本发明的限制,并且,在附图中:

图1a是根据本公开的移动终端的框图;

图1b和图1c是从不同方向看时移动终端的一个示例的概念图;

图2是根据本公开的另选实施方式的可变形移动终端的概念图;

图3是根据本发明的一个实施方式的移动终端的框图;

图4是示出在根据本发明的一个实施方式的移动终端中调节预览图像的深度的方法的流程图;

图5是示出在根据本发明的一个实施方式的移动终端中调节通过相机感测的预览图像的深度的一个示例的示图;

图6是示出在根据本发明的一个实施方式的移动终端中调节通过相机感测的预览图像的深度的一个示例的示图;

图7是示出当通过根据本发明的一个实施方式的移动终端中的相机感测的预览图像的光圈值被设定时捕获图像的一个示例的示图;

图8是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的方法的流程图;

图9是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的一个示例的示图;

图10是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的一个示例的示图;

图11是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的一个示例的示图;

图12是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的一个示例的示图;

图13是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的颜色的一个示例的示图;

图14是示出在根据本发明的一个实施方式的移动终端中提供多个预览图像的方法的流程图;

图15是示出在根据本发明的一个实施方式的移动终端中输出多个预览图像的一个示例的示图;

图16是示出在根据本发明的一个实施方式的移动终端中输出多个预览图像的一个示例的示图;

图17是示出在根据本发明的一个实施方式的移动终端中输出多个预览图像的一个示例的示图;

图18是示出在根据本发明的一个实施方式的移动终端中利用多个相机将曝光彼此不同的图像合成的一个示例的示图;

图19是示出在根据本发明的一个实施方式的移动终端中利用通过多个相机感测的图像执行hdr的方法的流程图;

图20是示出根据本发明的一个实施方式的通过设置到移动终端的多个相机执行hdr合成的一个示例的示图;

图21是示出在根据本发明的一个实施方式的移动终端中通过多个相机执行hdr合成的一个示例的示图;

图22是示出在根据本发明的一个实施方式的移动终端中通过多个相机执行hdr合成的一个示例的示图;

图23是示出在根据本发明的一个实施方式的移动终端中通过多个相机执行hdr合成的一个示例的示图;

图24是示出在根据本发明的一个实施方式的移动终端中通过能够调节光圈值的前相机的聚焦方法的流程图;

图25是示出在根据本发明的一个实施方式的移动终端中在通过前相机捕获图像的情况下捕获多个图像的一个示例的示图;

图26是示出在根据本发明的一个实施方式的移动终端中在通过前相机捕获图像的情况下设定光圈值的一个示例的示图;

图27是示出在根据本发明的一个实施方式的移动终端中调节通过前相机捕获的图像的深度的一个示例的示图;

图28是示出在根据本发明的一个实施方式的移动终端中调节通过前相机捕获的图像的深度的一个示例的示图;

图29是示出在根据本发明的一个实施方式的移动终端中调节通过前相机捕获的图像的深度的一个示例的示图;以及

图30是示出根据本发明的一个实施方式的利用移动终端中的相机捕获图像然后校正所捕获的图像的方法的流程图。

具体实施方式

现在将参照附图,根据本文公开的示例性实施方式详细给出描述。为了参照附图简要描述,可为相同或等同的组件提供相同的标号,其描述将不再重复。通常,诸如“模块”和“单元”的后缀可用于指代元件或组件。本文使用这种后缀仅是为了方便说明书的描述,后缀本身并非旨在给予任何特殊含义或功能。在本公开中,为了简明起见,相关领域的普通技术人员熟知的内容已被省略。使用附图来帮助容易地理解各种技术特征,应该理解,本文呈现的实施方式不受附图的限制。因此,本公开应该被解释为扩展至附图中具体示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。

尽管可在本文中使用术语第一、第二等描述各种元件,但是这些元件不应当受这些术语的限制。这些术语一般仅用于将一个元件与另一个元件相区分。

当一个元件被称为“与”另一个元件“连接”时,该元件可以与另一个元件连接或中间元件也可以存在。相反,当一个元件被称为“与”另一个元件“直接连接”时,不存在中间元件。

单数表示可以包括复数表示,除非该单数表示根据上下文表示明确不同的含义。在本文中使用的诸如“包括”或“具有”的术语应当理解为它们旨在指示本说明书中公开的多个部件、功能或步骤的存在,并且还应当理解的是,同样可以使用更多或更少的部件、功能或步骤。

本文呈现的移动终端可利用各种不同类型的终端来实现。这些终端的示例包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航仪、便携式计算机(pc)、石板pc、平板pc、超级本、可穿戴装置(例如,智能手表、智能眼镜、头戴式显示器(hmd))等。

仅通过非限制性示例,参照特定类型的移动终端进行进一步的描述。然而,这些教导同样适用于其它类型的终端,例如上述那些类型。另外,这些教导也可适用于诸如数字tv、台式计算机等的固定终端。

现在参照图1a至图1c,其中图1a是根据本公开的移动终端的框图,图1b和图1c是从不同方向看时移动终端的一个示例的概念图。

移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190的组件。将理解,不要求实现所示的所有组件,可另选地实现更多或更少的组件。

现在参照图1a,移动终端100被示出为具有利用多个通常实现的组件配置的无线通信单元110。例如,无线通信单元110通常包括允许移动终端100与无线通信系统或者移动终端所在的网络之间的无线通信的一个或更多个组件。

无线通信单元110通常包括允许通信(例如,移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端之间的通信、移动终端100与外部服务器之间的通信)的一个或更多个模块。另外,无线通信单元110通常包括将移动终端100连接到一个或更多个网络的一个或更多个模块。为了方便这些通信,无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。

输入单元120包括用于获得图像或视频的相机121、麦克风122(是用于输入音频信号的一种音频输入装置)以及用于使得用户能够输入信息的用户输入单元123(例如,触摸键、按键、机械键、软键等)。数据(例如,音频、视频、图像等)通过输入单元120来获得,并且可由控制器180根据装置参数、用户命令及其组合来分析和处理。

通常利用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现感测单元140。例如,在图1a中,感测单元140被示出为具有接近传感器141和照度传感器142。

如果需要,感测单元140可另选地或另外地包括其它类型的传感器或装置,例如触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、rgb传感器、红外(ir)传感器、手指扫描传感器、超声传感器、光学传感器(例如,相机121)、麦克风122、电池电量计、环境传感器(例如,气压计、湿度计、温度计、辐射检测传感器、热传感器和气体传感器等)和化学传感器(例如,电子鼻、保健传感器、生物传感器等)等。移动终端100可被配置为利用从感测单元140获得的信息,具体地讲,从感测单元140的一个或更多个传感器获得的信息及其组合。

输出单元150通常被配置为输出各种类型的信息,例如音频、视频、触觉输出等。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。

为了方便触摸屏,显示单元151可具有与触摸传感器的中间层结构或集成结构。触摸屏可在移动终端100与用户之间提供输出接口,并且用作在移动终端100与用户之间提供输入接口的用户输入单元123。

接口单元160用作与可连接到移动终端100的各种类型的外部装置的接口。例如,接口单元160可包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等。在一些情况下,移动终端100可响应于外部装置连接到接口单元160而执行与连接的外部装置关联的各种控制功能。

存储器170通常被实现为存储用于支持移动终端100的各种功能或特征的数据。例如,存储器170可被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。这些应用程序中的一些应用程序可经由无线通信从外部服务器下载。其它应用程序可在制造或出厂时安装在移动终端100内,针对移动终端100的基本功能(例如,接电话、打电话、接收消息、发送消息等),通常是这种情况。常见的是,应用程序被存储在存储器170中,被安装在移动终端100中,并由控制器180执行以执行移动终端100的操作(或功能)。

除了与应用程序关联的操作以外,控制器180通常还用于控制移动终端100的总体操作。控制器180可通过处理经由图1a所描绘的各种组件输入或输出的信号、数据、信息等或者激活存储在存储器170中的应用程序来提供或处理适合于用户的信息或功能。作为一个示例,控制器180根据存储在存储器170中的应用程序的执行来控制图1a至图1c所示的一些或所有组件。

电源单元190可被配置为接收外部电力或提供内部电力,以便供应对包括在移动终端100中的元件和组件进行操作所需的适当电力。电源单元190可包括电池,所述电池可被配置为嵌入终端主体中,或者被配置为可从终端主体拆卸。

各个组件的至少一部分可协作地操作以实现以下描述中提及的根据本发明的各种实施方式的移动终端的操作、控制或控制方法。移动终端的操作、控制或控制方法可在移动终端上通过执行保存在存储器170中的至少一个应用程序来实现。

仍参照图1a,现在将更详细地描述该图中描绘的各种组件。关于无线通信单元110,广播接收模块111通常被配置为经由广播频道从外部广播管理实体接收广播信号和/或广播相关信息。广播频道可包括卫星频道、地面频道或这二者。在一些实施方式中,可使用两个或更多个广播接收模块111以方便同时接收两个或更多个广播频道或者支持在广播频道之间切换。

广播管理实体可以是生成并发送广播信号和/或广播相关信息的系统或者接收预先生成的广播信号和/或广播相关信息并将这些项目发送给移动终端的服务器。广播信号可利用tv广播信号、无线电广播信号、数据广播信号及其组合等中的任一个来实现。在一些情况下,广播信号还可包括与tv或无线电广播信号组合的数据广播信号。

可根据用于数字广播信号的发送和接收的各种技术标准或广播方法(例如,国际标准化组织(iso)、国际电工委员会(iec)、数字视频广播(dvb)、高级电视系统委员会(atsc)等)中的任一种来对广播信号进行编码。广播接收模块111可利用适合于使用的发送方法的方法来接收数字广播信号。

广播相关信息的示例可包括与广播频道、广播节目、广播事件、广播服务提供商等关联的信息。广播相关信息还可经由移动通信网络来提供,并且在这种情况下由移动通信模块112来接收。

广播相关信息可按照各种格式来实现。例如,广播相关信息可包括数字多媒体广播(dmb)的电子节目指南(epg)、手持数字视频广播(dvb-h)的电子服务指南(esg)等。经由广播接收模块111接收的广播信号和/或广播相关信息可被存储在诸如存储器170的合适的装置中。

移动通信模块112可向一个或更多个网络实体发送无线信号和/或从其接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体形成移动通信网络的一部分,根据移动通信的技术标准或通信方法(例如,全球移动通信系统(gsm)、码分多址(cdma)、cdma2000(码分多址2000)、ev-do(增强型优化语音数据或增强型仅语音数据)、宽带cdma(wcdma)、高速下行链路分组接入(hsdpa)、hsupa(高速上行链路分组接入)、长期演进(lte)、lte-a(高级长期演进)等)来构建所述移动通信网络。经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号或者支持文本和多媒体消息的通信的各种格式的数据。

无线互联网模块113被配置为方便无线互联网接入。此模块可从内部或外部连接到移动终端100。无线互联网模块113可根据无线互联网技术经由通信网络发送和/或接收无线信号。

这种无线互联网接入的示例包括无线lan(wlan)、无线保真(wi-fi)、wi-fi直连、数字生活网络联盟(dlna)、无线宽带(wibro)、全球微波接入互操作性(wimax)、高速下行链路分组接入(hsdpa)、hsupa(高速上行链路分组接入)、长期演进(lte)、lte-a(高级长期演进)等。无线互联网模块113可根据这些无线互联网技术以及其它互联网技术中的一个或更多个来发送/接收数据。

在一些实施方式中,当根据例如wibro、hsdpa、hsupa、gsm、cdma、wcdma、lte、lte-a等实现作为移动通信网络的一部分的无线互联网接入时,无线互联网模块113执行这种无线互联网接入。因此,互联网模块113可与移动通信模块112协作或用作移动通信模块112。

短距离通信模块114被配置为方便短距离通信。用于实现这些短距离通信的合适的技术包括bluetoothtm、射频识别(rfid)、红外数据协会(irda)、超宽带(uwb)、紫蜂(zigbee)、近场通信(nfc)、无线保真(wi-fi)、wi-fi直连、无线usb(无线通用串行总线)等。短距离通信模块114通常经由无线局域网支持移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端100之间的通信或者移动终端与另一移动终端100(或外部服务器)所在的网络之间的通信。无线局域网的一个示例是无线个域网。

在一些实施方式中,另一移动终端(可类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者与移动终端100协作)的可穿戴装置(例如,智能手表、智能眼镜或头戴式显示器(hmd))。短距离通信模块114可感测或识别可穿戴装置,并允许可穿戴装置与移动终端100之间的通信。另外,当所感测到的可穿戴装置是被验证为与移动终端100进行通信的装置时,例如,控制器180可将在移动终端100中处理的数据的至少一部分经由短距离通信模块114发送给可穿戴装置。因此,可穿戴装置的用户可在可穿戴装置上使用在移动终端100中处理的数据。例如,当在移动终端100中接收到呼叫时,用户可利用可穿戴装置来对该呼叫进行应答。另外,当在移动终端100中接收到消息时,用户可利用可穿戴装置来查看所接收到的消息。

位置信息模块115通常被配置为检测、计算、推导或者标识移动终端的位置。例如,位置信息模块115包括全球定位系统(gps)模块、wi-fi模块或这二者。如果需要,位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起工作,以获得与移动终端的位置有关的数据。

作为一个示例,当移动终端使用gps模块时,可利用从gps卫星发送的信号来获取移动终端的位置。作为另一示例,当移动终端使用wi-fi模块时,可基于与无线接入点(ap)有关的信息来获取移动终端的位置,所述无线接入点(ap)向wi-fi模块发送无线信号或者从wi-fi模块接收无线信号。

输入单元120可以被配置为允许对移动终端100的各种类型的输入。这些输入的示例包括音频、图像、视频、数据和用户输入。图像和视频输入常常利用一个或更多个相机121来获得。这些相机121可对在视频或图像拍摄模式下通过图像传感器获得的静止画面或视频的图像帧进行处理。经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。在一些情况下,相机121可按照矩阵配置布置,以使得具有各种角度或焦点的多个图像能够被输入至移动终端100。作为另一示例,相机121可按照立体布置方式来设置,以获取用于实现立体图像的左图像和右图像。

麦克风122通常被实现为允许向移动终端100输入音频。可根据移动终端100中执行的功能来按照各种方式处理音频输入。如果需要,麦克风122可包括各种噪声去除算法以去除在接收外部音频的过程中生成的不期望的噪声。

用户输入单元123是允许用户输入的组件。这种用户输入可使得控制器180能够控制移动终端100的操作。用户输入单元123可包括机械输入元件(例如,位于移动终端100的正面和/或背面或侧面的键、按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入装置等中的一个或更多个。作为一个示例,触敏输入装置可以是通过软件处理显示在触摸屏上的虚拟键或软键、或者设置在移动终端上的触摸屏以外的位置处的触摸键。另一方面,虚拟键或视觉键可按照各种形状(例如,图形、文本、图标、视频或其组合)显示在触摸屏上。

感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一个或更多个。控制器180通常与感测单元140协作以基于感测单元140所提供的感测来控制移动终端100的操作或者执行与安装在移动终端中的应用程序关联的数据处理、功能或操作。可利用各种传感器中的任何传感器来实现感测单元140,现在将更详细地描述其中一些传感器。

接近传感器141可包括在没有机械接触的情况下,利用电磁场、红外线等来感测是否存在靠近表面的物体或者位于表面附近的物体的传感器。接近传感器141可布置在移动终端被触摸屏覆盖的内侧区域处或触摸屏附近。

例如,接近传感器141可包括透射型光电传感器、直接反射型光电传感器、反射镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等中的任何传感器。当触摸屏被实现为电容型时,接近传感器141可通过电磁场响应于导电物体的靠近而发生的变化来感测指点器相对于触摸屏的接近。在这种情况下,触摸屏(触摸传感器)也可被归类为接近传感器。

本文中常常将提及术语“接近触摸”以表示指点器被设置为在没有接触触摸屏的情况下接近触摸屏的情景。本文中常常将提及术语“接触触摸”以表示指点器与触摸屏进行物理接触的情景。对于与指点器相对于触摸屏的接近触摸对应的位置,这种位置将对应于指点器垂直于触摸屏的位置。接近传感器141可感测接近触摸以及接近触摸模式(例如,距离、方向、速度、时间、位置、移动状态等)。

通常,控制器180对与接近传感器141所感测的接近触摸和接近触摸模式对应的数据进行处理,并使得在触摸屏上输出视觉信息。另外,控制器180可根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端100执行不同的操作或者处理不同的数据。

触摸传感器可利用各种触摸方法中的任何触摸方法来感测施加到触摸屏(例如,显示单元151)的触摸。这些触摸方法的示例包括电阻型、电容型、红外型和磁场型等。

作为一个示例,触摸传感器可被配置为将施加到显示单元151的特定部分的压力的变化或者在显示单元151的特定部分处发生的电容的变化转换为电输入信号。触摸传感器还可被配置为不仅感测触摸位置和触摸面积,而且感测触摸压力和/或触摸电容。通常使用触摸物体来对触摸传感器施加触摸输入。典型的触摸物体的示例包括手指、触摸笔、手写笔、指点器等。

当通过触摸传感器感测到触摸输入时,可将对应信号发送给触摸控制器。触摸控制器可对所接收到的信号进行处理,然后将对应数据发送给控制器180。因此,控制器180可感测显示单元151的哪一区域被触摸。这里,触摸控制器可以是独立于控制器180的组件、控制器180及其组合。

在一些实施方式中,控制器180可以根据对触摸屏或者除触摸屏以外设置的触摸键进行触摸的一种触摸物体来执行相同或不同的控制。例如,根据提供触摸输入的物体是执行相同的控制还是不同的控制可基于移动终端100的当前操作状态或者当前执行的应用程序来决定。

触摸传感器和接近传感器可单独实现或者组合实现,以感测各种类型的触摸。这些触摸包括短(或轻敲)触摸、长触摸、多触摸、拖曳触摸、轻拂触摸、缩小触摸、放大触摸、轻扫触摸、悬停触摸等。

如果需要,可实现超声传感器以利用超声波来识别与触摸物体有关的位置信息。例如,控制器180可基于由照度传感器和多个超声传感器感测的信息来计算波生成源的位置。由于光远比超声波快,所以光到达光学传感器的时间远比超声波到达超声传感器的时间短。可利用这一事实来计算波生成源的位置。例如,可以基于作为参考信号的光、利用相对于超声波到达传感器的时间的时间差来计算波生成源的位置。

相机121通常包括相机传感器(ccd、cmos等)、光电传感器(或图像传感器)和激光传感器中的至少一个。

利用激光传感器实现相机121可允许检测物理对象相对于3d立体图像的触摸。光电传感器可被层压在显示装置上或者与显示装置交叠。光电传感器可被配置为对接近触摸屏的物理对象的移动进行扫描。更详细地讲,光电传感器可包括成行和列的光电二极管和晶体管,以利用根据施加的光的量而变化的电信号来对光电传感器处接收的内容进行扫描。即,光电传感器可根据光的变化来计算物理对象的坐标,从而获得物理对象的位置信息。

显示单元151通常被配置为输出在移动终端100中处理的信息。例如,显示单元151可显示在移动终端100处执行的应用程序的执行画面信息或者响应于执行画面信息的用户界面(ui)和图形用户界面(gui)信息。

在一些实施方式中,显示单元151可被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。

通常,3d立体图像可包括左图像(例如,左眼图像)和右图像(例如,右眼图像)。根据左图像和右图像如何组合成3d立体图像,3d立体成像方法可分为左图像和右图像在帧中上下布置的上下方法、左图像和右图像在帧中左右布置的l至r(左至右或并排)方法、左图像和右图像的片段以拼块(tile)形式布置的棋盘格方法、左图像和右图像按照列或行交替布置的交织方法以及左图像和右图像基于时间交替显示的时间顺序(逐帧)方法。

另外,对于3d缩略图图像,可分别从原始图像帧的左图像和右图像生成左图像缩略图和右图像缩略图,然后将其组合以生成单个3d缩略图图像。通常,术语“缩略图”可用于表示缩小的图像或者缩小的静止图像。生成的左图像缩略图和右图像缩略图可按照与左图像和右图像之间的视差对应的深度利用二者间的水平距离差来显示在屏幕上,从而提供立体空间感。

可利用立体处理单元将实现3d立体图像所需的左图像和右图像显示在立体显示单元上。立体处理单元可接收3d图像并提取左图像和右图像,或者可接收2d图像并将其改变为左图像和右图像。

音频输出模块152通常被配置为输出音频数据。这些音频数据可从多种不同的源中的任何源获得,使得所述音频数据可从无线通信单元110接收或者可存储在存储器170中。所述音频数据可在诸如信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等的模式期间输出。音频输出模块152可提供与移动终端100所执行的特定功能有关的可听输出(例如,呼叫信号接收音、消息接收音等)。音频输出模块152还可被实现为受话器、扬声器、蜂鸣器等。

触觉模块153可被配置为产生用户感觉、感知或者体验的各种触觉效果。由触觉模块153产生的触觉效果的典型示例是振动。由触觉模块153产生的振动的强度、模式等可通过用户选择或控制器的设定来控制。例如,触觉模块153可按照组合方式或顺序方式输出不同的振动。

除了振动以外,触觉模块153可产生各种其它触觉效果,包括诸如插针排列向接触皮肤垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等的刺激效果、利用能够吸热或发热的元件再现冷和热的感觉的效果等。

除了通过直接接触传递触觉效果以外,触觉模块153还可被实现为使得用户能够通过诸如用户的手指或手臂的肌肉觉来感觉到触觉效果。可根据移动终端100的特定配置设置两个或更多个触觉模块153。

光学输出模块154可输出用于利用光源的光指示事件的发生的信号。移动终端100中发生的事件的示例可包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。

由光学输出模块154输出的信号可被实现为使得移动终端发射单色光或多种颜色的光。例如,随着移动终端感测到用户已查看所发生的事件,信号输出可被终止。

接口单元160用作要与移动终端100连接的外部装置的接口。例如,接口单元160可接收从外部装置发送来的数据,接收电力以传送给移动终端100内的元件和组件,或者将移动终端100的内部数据发送给这种外部装置。接口单元160可包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等。

所述标识模块可以是存储用于验证移动终端100的使用权限的各种信息的芯片,并且可包括用户标识模块(uim)、订户标识模块(sim)、全球订户标识模块(usim)等。另外,具有标识模块的装置(本文中也称作“标识装置”)可采取智能卡的形式。因此,标识装置可经由接口单元160与移动终端100连接。

当移动终端100与外部托架连接时,接口单元160可用作使得能够将来自托架的电力供应给移动终端100的通道,或者可用作使得能够用来将由用户从托架输入的各种命令信号传送给移动终端的通道。从托架输入的各种命令信号或电力可用作用于识别出移动终端被正确安装在托架上的信号。

存储器170可存储用于支持控制器180的操作的程序,并存储输入/输出数据(例如,电话簿、消息、静止图像、视频等)。存储器170可存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。

存储器170可包括一种或更多种类型的存储介质,包括闪存、硬盘、固态盘、硅磁盘、微型多媒体卡、卡型存储器(例如,sd或dx存储器等)、随机存取存储器(ram)、静态随机存取存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁存储器、磁盘、光盘等。移动终端100还可与在诸如互联网的网络上执行存储器170的存储功能的网络存储装置有关地操作。

控制器180通常可控制移动终端100的总体操作。例如,当移动终端的状态满足预设条件时,控制器180可设定或解除用于限制用户相对于应用输入控制命令的锁定状态。

控制器180还可执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理,或者执行模式识别处理以将触摸屏上进行的手写输入或绘画输入分别识别为字符或图像。另外,控制器180可控制那些组件中的一个或其组合,以便实现本文公开的各种示例性实施方式。

电源单元190接收外部电力或提供内部电力,并且供应对包括在移动终端100中的各个元件和组件进行操作所需的适当电力。电源单元190可包括电池,该电池通常是可再充电的或者以可拆卸的方式连接到终端主体以便于充电。

电源单元190可包括连接端口。该连接端口可被配置为接口单元160的一个示例,用于供应电力以对电池进行再充电的外部充电器可电连接到该连接端口。

作为另一示例,电源单元190可被配置为以无线方式对电池进行再充电,而不使用连接端口。在此示例中,电源单元190可利用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发送器传送的电力。

本文所述的各种实施方式可利用例如软件、硬件或其任何组合来在计算机可读介质、机器可读介质或类似介质中实现。

现在参照图1b和图1c,参照直板型终端主体描述移动终端100。然而,另选地,移动终端100可按照各种不同配置中的任何配置来实现。这些配置的示例包括手表型、夹子型、眼镜型或者折叠型、翻盖型、滑盖型、旋转型和摆动型(其中两个和更多个主体按照能够相对移动的方式彼此组合)或其组合。本文的讨论将常常涉及特定类型的移动终端(例如,直板型、手表型、眼镜型等)。然而,关于特定类型的移动终端的这些教导将通常也适用于其它类型的移动终端。

移动终端100将通常包括形成终端的外观的壳体(例如,框架、外壳、盖等)。在此实施方式中,壳体利用前壳体101和后壳体102形成。各种电子组件被包含在前壳体101与后壳体102之间所形成的空间中。另外,可在前壳体101与后壳体102之间设置至少一个中间壳体。

显示单元151被示出为设置在终端主体的前侧以输出信息。如图所示,显示单元151的窗口151a可被安装到前壳体101以与前壳体101一起形成终端主体的前表面。

在一些实施方式中,电子组件也可被安装到后壳体102。这些电子组件的示例包括可拆卸电池191、标识模块、存储卡等。后盖103被示出为盖住电子组件,该盖可以可拆卸地连接到后壳体102。因此,当将后盖103从后壳体102拆卸时,安装到后壳体102的电子组件暴露于外。

如图所示,当后盖103连接到后壳体102时,后壳体102的侧表面部分地暴露。在一些情况下,在连接时,后壳体102也可被后盖103完全遮蔽。在一些实施方式中,后盖103可包括开口以用于将相机121b或音频输出模块152b暴露于外。

壳体101、102、103可通过合成树脂的注塑成型来形成,或者可由例如不锈钢(sts)、铝(al)、钛(ti)等的金属形成。

不同于多个壳体形成用于容纳组件的内部空间的示例,移动终端100可被配置为使得一个壳体形成内部空间。在此示例中,具有单一体的移动终端100被形成为使得合成树脂或金属从侧表面延伸至后表面。

如果需要,移动终端100可包括用于防止水进入终端主体中的防水单元(未示出)。例如,防水单元可包括位于窗口151a与前壳体101之间、前壳体101与后壳体102之间、或者后壳体102与后盖103之间的防水构件,以在那些壳体连接时将内部空间气密地密封。

移动终端包括显示单元151、第一音频输出模块151a/第二音频输出模块151b、接近传感器141、照度传感器142、光学输出模块154、第一相机121a/第二相机121b、第一操纵单元123a/第二操纵单元123b、麦克风122、接口单元160等。

将如图1b和图1c所示描述移动终端。显示单元151、第一音频输出模块151a、接近传感器141、照度传感器142、光学输出模块154、第一相机121a和第一操纵单元123a被布置在终端主体的前表面中,第二操纵单元123b、麦克风122和接口单元160被布置在终端主体的侧表面中,第二音频输出模块151b和第二相机121b被布置在终端主体的后表面中。

然而,将理解,另选的布置方式也是可能的并且在本公开的教导内。一些组件可被省略或重新布置。例如,第一操纵单元123a可设置在终端主体的另一表面上,第二音频输出模块152b可设置在终端主体的侧表面上。

显示单元151输出在移动终端100中处理的信息。显示单元151可利用一个或更多个合适的显示装置来实现。这些合适的显示装置的示例包括液晶显示器(lcd)、薄膜晶体管-液晶显示器(tft-lcd)、有机发光二极管(oled)、柔性显示器、3维(3d)显示器、电子墨水显示器及其组合。

根据移动终端100的配置状态,可以存在两个或更多个显示单元151。例如,多个显示单元151可被布置在一侧,彼此间隔开或者这些装置可被集成,或者这些装置可被布置在不同的表面上。

显示单元151还可包括触摸传感器,该触摸传感器感测在显示单元处接收的触摸输入。当触摸被输入到显示单元151时,触摸传感器可被配置为感测该触摸,并且控制器180例如可生成与该触摸对应的控制命令或其它信号。以触摸方式输入的内容可以是文本或数值或者是可按照各种模式指示或指定的菜单项。

触摸传感器可按照设置在窗口151a与窗口151a的后表面上的显示器之间的具有触摸图案的膜或者在窗口151a的后表面上直接构图的金属丝的形式来配置。另选地,触摸传感器可与显示器一体地形成。例如,触摸传感器可设置在显示器的基板上或者显示器内。

显示单元151还可与触摸传感器一起形成触摸屏。这里,触摸屏可用作用户输入单元123(参见图1a)。因此,触摸屏可代替第一操纵单元123a的至少一些功能。

第一音频输出模块152a可按照扬声器的形式来实现以输出语音音频、报警音、多媒体音频再现等。

显示单元151的窗口151a通常将包括孔径以允许由第一音频输出模块152a生成的音频通过。一个另选方式是允许音频沿着结构体之间的装配间隙(例如,窗口151a与前壳体101之间的间隙)来释放。在这种情况下,从外观上看,独立地形成以输出音频音的孔不可见或者被隐藏,从而进一步简化移动终端100的外观和制造。

光学输出模块154可被配置为输出用于指示事件发生的光。这些事件的示例包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。当用户已查看发生的事件时,控制器可控制光学输出模块154停止光输出。

第一相机121a可处理由图像传感器在拍摄模式或视频呼叫模式下获得的图像帧(例如,静止图像或运动图像)。然后,经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。

第一操纵单元123a和第二操纵单元123b是用户输入单元123的示例,其可由用户操纵以提供对移动终端100的输入。第一操纵单元123a和第二操纵单元123b还可被共同称作操纵部分,并且可采用允许用户执行诸如触摸、推按、滚动等的操纵的任何触觉方法。第一操纵单元123a和第二操纵单元123b还可采用允许用户执行诸如接近触摸、悬停等的操纵的任何非触觉方法。

图1b将第一操纵单元123a示出为触摸键,但可能的另选方式包括机械键、按键、触摸键及其组合。

在第一操纵单元123a和第二操纵单元123b处接收的输入可按照各种方式来使用。例如,用户可使用第一操纵单元123a来将输入提供给菜单、主屏键、取消、搜索等,用户可使用第二操纵单元123b来提供输入以控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。

作为用户输入单元123的另一示例,后输入单元(未示出)可被设置在终端主体的后表面上。用户可操纵后输入单元以提供对移动终端100的输入。所述输入可按照各种不同的方式来使用。例如,用户可使用后输入单元来提供输入以进行电源开/关、开始、结束、滚动、控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。后输入单元可被配置为允许触摸输入、推按输入或其组合。

后输入单元可被设置为在终端主体的厚度方向上与前侧的显示单元151交叠。作为一个示例,后输入单元可被设置在终端主体的后侧的上端部,使得当用户用一只手抓握终端主体时用户可利用食指容易地操纵后输入单元。另选地,后输入单元可至多被设置在终端主体的后侧的任何位置。

包括后输入单元的实施方式可将第一操纵单元123a的一些或全部功能实现在后输入单元中。因此,在从前侧省略第一操纵单元123a的情况下,显示单元151可具有更大的屏幕。

作为另一另选方式,移动终端100可包括扫描用户的指纹的手指扫描传感器。然后控制器180可使用由手指扫描传感器感测到的指纹信息作为验证程序的一部分。手指扫描传感器也可被安装在显示单元151中或者被实现在用户输入单元123中。

麦克风122被示出为设置在移动终端100的端部,但其它位置也是可能的。如果需要,可实现多个麦克风,这种布置方式允许接收立体声。

接口单元160可用作允许移动终端100与外部装置进行接口的路径。例如,接口单元160可包括用于连接到另一装置(例如,耳机、外部扬声器等)的连接端子、用于近场通信的端口(例如,红外数据协会(irda)端口、蓝牙端口、无线lan端口等)、或者用于向移动终端100供电的电源端子中的一个或更多个。接口单元160可按照用于容纳外部卡(例如,订户标识模块(sim)、用户标识模块(uim)、或者用于信息存储的存储卡)的插槽的形式来实现。

第二相机121b被示出为设置在终端主体的后表面处,并且其图像拍摄方向基本上与第一相机单元121a的图像拍摄方向相对。如果需要,可另选地将第二相机121b设置在其它位置或者使其能够移动,以便具有不同于所示的图像拍摄方向的图像拍摄方向。

第二相机121b可包括沿着至少一条线布置的多个透镜。所述多个透镜还可按照矩阵配置来布置。这些相机可被称作“阵列相机”。当第二相机121b被实现为阵列相机时,可利用多个透镜以各种方式拍摄图像,并且图像具有更好的质量。

如图1c所示,闪光灯124被示出为与第二相机121b相邻。当利用相机121b拍摄目标的图像时,闪光灯124可对目标进行照明。

如图1b所示,可在终端主体上设置第二音频输出模块152b。第二音频输出模块152b可结合第一音频输出模块152a实现立体声功能,并且还可用于实现呼叫通信的免提模式。

用于无线通信的至少一个天线可设置在终端主体上。所述天线可安装在终端主体中或者可由壳体形成。例如,构成广播接收模块111的一部分的天线可收缩到终端主体中。另选地,天线可利用附着到后盖103的内表面的膜或者包含导电材料的壳体来形成。

用于向移动终端100供电的电源单元190可包括电池191,该电池191被安装在终端主体中或者可拆卸地连接到终端主体的外部。电池191可经由连接到接口单元160的电源线来接收电力。另外,电池191可利用无线充电器以无线方式再充电。无线充电可通过磁感应或电磁共振来实现。

后盖103被示出为连接到后壳体102以用于遮蔽电池191,以防止电池191分离并保护电池191免受外部冲击或异物的影响。当电池191能够从终端主体拆卸时,后盖103可以可拆卸地连接到后壳体102。

在移动终端100上可另外设置用于保护外观或者辅助或扩展移动终端100的功能的附件。作为附件的一个示例,可设置用于覆盖或容纳移动终端100的至少一个表面的盖或袋。所述盖或袋可与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于辅助或扩展对触摸屏的触摸输入的触摸笔。

现在将更详细地描述可随所描述的各种移动终端一起操作的通信系统。这种通信系统可被配置为使用各种不同的空中接口和/或物理层中的任一个。由通信系统使用的这些空中接口的示例包括频分多址(fdma)、时分多址(tdma)、码分多址(cdma)、通用移动电信系统(umts)(包括长期演进(lte)、lte-a(高级长期演进))、全球移动通信系统(gsm)等。

仅通过非限制性示例,进一步的描述将涉及cdma通信系统,但是这些教导同样适用于包括cdma无线通信系统以及ofdm(正交频分复用)无线通信系统的其它系统类型。cdma无线通信系统通常包括一个或更多个移动终端(mt或用户设备、ue)100、一个或更多个基站(bs、nodeb或演进nodeb)、一个或更多个基站控制器(bsc)以及移动交换中心(msc)。msc被配置为与传统公共交换电话网络(pstn)和bsc进行接口连接。bsc经由回程线路连接到基站。回程线路可根据包括例如e1/t1、atm、ip、ppp、帧中继、hdsl、adsl或xdsl的多种已知接口中的任一种来配置。因此,cdma无线通信系统中可包括多个bsc。

各个基站可包括一个或更多个扇区,各个扇区具有全向天线或者指向径向背离基站的特定方向的天线。另选地,各个扇区可包括两个或更多个不同的天线。各个基站可被配置为支持多个频率指派,各个频率指派具有特定频谱(例如,1.25mhz、5mhz等)。

扇区与频率指派的交叉点可被称作cdma信道。基站也可被称作基站收发机子系统(bts)。在一些情况下,术语“基站”可用于集总地指代bsc以及一个或更多个基站。基站还可被称作“小区站点”。另选地,给定基站的各个扇区可被称作小区站点。

广播发送机(bt)向在系统内操作的移动终端100发送广播信号。通常在移动终端100内部配置图1a的广播接收模块111以接收由bt发送的广播信号。

例如,用于对移动终端100的位置进行定位的全球定位系统(gps)卫星可与cdma无线通信系统协作。可利用比两个卫星更多或更少的卫星来获得有用的位置信息。将理解,另选地,可实现其它类型的位置检测技术(即,除了gps定位技术以外还可另外使用的定位技术或代替gps定位技术可使用的定位技术)。如果需要,多个gps卫星中的至少一个可另选地或另外地被配置为提供卫星dmb传输。

位置信息模块115通常被配置为检测、计算或者标识移动终端的位置。例如,位置信息模块115可包括全球定位系统(gps)模块、wi-fi模块或这二者。如果需要,位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起作用,以获得与移动终端的位置有关的数据。

典型的gps模块115可测量准确时间以及距三个或更多个卫星的距离,并且基于所测量的时间和距离来根据三角法准确地计算移动终端的当前位置。可使用从三个卫星获取距离和时间信息并且利用单个卫星执行误差校正的方法。具体地讲,除了位置的纬度值、经度值和高度值以外,gps模块还可根据从卫星接收的位置信息来获取准确时间以及三维速度信息。

另外,gps模块可实时地获取速度信息,以计算当前位置。有时,当移动终端位于卫星信号的盲点处(例如,位于室内空间)时,可能损害测量的位置的准确性。为了使这些盲点的影响最小化,可使用诸如wi-fi定位系统(wps)的另选或补充的定位技术。

wi-fi定位系统(wps)是指使用wi-fi作为跟踪移动终端100的位置的技术的基于无线局域网(wlan)的位置确定技术。该技术通常包括在移动终端100中使用wi-fi模块以及使用无线接入点与该wi-fi模块通信。

wi-fi定位系统可包括wi-fi位置确定服务器、移动终端、连接到该移动终端的无线接入点(ap)以及存储有无线ap信息的数据库。

连接到无线ap的移动终端可将位置信息请求消息发送给wi-fi位置确定服务器。wi-fi位置确定服务器基于移动终端100的位置信息请求消息(或信号)来提取连接到移动终端100的无线ap的信息。无线ap的信息可通过移动终端100发送至wi-fi位置确定服务器,或者可从无线ap发送至wi-fi位置确定服务器。

基于移动终端100的位置信息请求消息提取的无线ap的信息可包括介质访问控制(mac)地址、服务集标识(ssid)、接收信号强度指示符(rssi)、参考信号接收功率(rsrp)、参考信号接收质量(rsrq)、信道信息、隐私、网络类型、信号强度、噪声强度等中的一个或更多个。

wi-fi位置确定服务器可如上所述接收连接到移动终端100的无线ap的信息,并且可从预先建立的数据库提取与连接到移动终端的无线ap对应的无线ap信息。存储在数据库中的任何无线ap的信息可以是诸如mac地址、ssid、rssi、信道信息、隐私、网络类型、纬度和经度坐标、无线ap所在的建筑物、楼层号、详细室内位置信息(可用的gps坐标)、ap所有者的地址、电话号码等的信息。为了在位置确定处理期间去除利用移动ap或非法mac地址提供的无线ap,wi-fi位置确定服务器可按照高rssi的顺序仅提取预定数量的无线ap信息。

然后,wi-fi位置确定服务器可利用从数据库提取的至少一个无线ap信息来提取(分析)移动终端100的位置信息。

提取(分析)移动终端100的位置信息的方法可包括小区id方法、指纹方法、三角方法、界标方法等。

小区id方法用于确定由移动终端收集的周边无线ap信息当中的具有最大信号强度的无线ap的位置,作为移动终端的位置。小区id方法是复杂度最小,不需要附加成本,并且可快速获取位置信息的实现方式。然而,在小区id方法中,当无线ap的安装密度较低时,定位精度可能落于期望的阈值以下。

指纹方法用于通过从服务区域选择参考位置来收集信号强度信息,并且基于所收集的信息来利用从移动终端发送来的信号强度信息跟踪移动终端的位置。为了使用指纹方法,常见的是将无线电信号的特性以数据库的形式预存储。

三角方法用于基于至少三个无线ap的坐标与移动终端之间的距离来计算移动终端的位置。为了测量移动终端与无线ap之间的距离,可将信号强度转换为距离信息,针对发送的无线信号可采取到达时间(toa)、到达时间差(tdoa)、到达角(aoa)等。

界标方法用于利用已知的界标发送机来测量移动终端的位置。

除了这些定位方法以外,可使用各种算法来提取(分析)移动终端的位置信息。这些提取的位置信息可通过wi-fi位置确定服务器发送给移动终端100,从而获取移动终端100的位置信息。

移动终端100可通过连接到至少一个无线ap来获取位置信息。获取移动终端100的位置信息所需的无线ap的数量可根据移动终端100所在的无线通信环境而不同地改变。

如先前参照图1a描述的,移动终端可被配置为包括诸如bluetoothtm、射频识别(rfid)、红外数据协会(irda)、超宽带(uwb)、紫蜂(zigbee)、近场通信(nfc)、无线usb(无线通用串行总线)等的短距离通信技术。

设置在移动终端处的典型nfc模块支持短距离无线通信,短距离无线通信是移动终端之间的不可接触型的通信,通常发生在大约10cm内。nfc模块可在卡模式、读取器模式或p2p模式中的一种模式下操作。移动终端100还可包括用于存储卡信息的安全模块,以便nfc模块在卡模式下操作。该安全模块可以是诸如通用集成电路卡(uicc)(例如,订户标识模块(sim)或通用sim(usim))、安全微型sd和记忆棒(sticker)的物理介质、或者嵌入移动终端中的逻辑介质(例如,嵌入式安全元件(se))。可在nfc模块与安全模块之间执行基于单线协议(swp)的数据交换。

在nfc模块在卡模式下操作的情况下,移动终端可将关于一般ic卡的卡信息发送至外部。更具体地讲,如果具有关于支付卡(例如,信用卡或公交卡)的卡信息的移动终端靠近读卡器,则可执行短距离移动支付。又如,如果存储有关于门禁卡的卡信息的移动终端靠近门禁卡读取器,则进入准许过程可以开始。诸如信用卡、交通卡或门禁卡的卡可按照小应用(applet)的形式被包括在安全模块中,安全模块可存储关于安装在其中的卡的卡信息。用于支付卡的卡信息可包括卡号、余额和使用历史等中的任何信息。门禁卡的卡信息可包括用户姓名、用户编号(例如,学号或员工编号)、进入历史等中的任何信息。

当nfc模块在读取器模式下操作时,移动终端可从外部标签读取数据。由移动终端从外部标签接收的数据可被编码为由nfc论坛定义的nfc数据交换格式。nfc论坛总体上定义了四种记录类型。更具体地讲,nfc论坛定义了诸如智能海报、文本、统一资源标识符(uri)和总体控制的四种记录类型定义(rtd)。如果从外部标签接收的数据是智能海报型,则控制器可执行浏览器(例如,互联网浏览器)。如果从外部标签接收的数据是文本型,则控制器可执行文本查看器。如果从外部标签接收的数据是uri型,则控制器可执行浏览器或发起呼叫。如果从外部标签接收的数据是总体控制型,则控制器可根据控制内容执行适当操作。

在nfc模块在p2p(对等)模式下操作的一些情况下,移动终端可与另一移动终端执行p2p通信。在这种情况下,逻辑链路控制协议(llcp)可应用于p2p通信。为了p2p通信,可在移动终端与另一移动终端之间生成连接。该连接可被分类为在交换一个分组之后结束的无连接模式以及连续交换分组的面向连接模式。对于典型的p2p通信,可交换诸如电子型名片、地址信息、数字照片和url的数据、蓝牙连接、wi-fi连接的设置参数等。可在交换小容量的数据时有效地使用p2p模式,因为nfc通信的可用距离相对较短。

图2是示出根据本发明的一个实施方式的移动终端的另一示例的后视图。根据本发明的一个实施方式,移动终端可包括第二相机121b和第三相机121c。当第二相机121b包括具有正常拍摄角度的正常相机时,假设第三相机121c包括具有比第二相机121b的拍摄角度更宽的拍摄角度的广角相机。

广角相机可以指配备有焦距显著小于正常相机的广角镜头的相机。由于广角相机尽管具有相对小的焦距但具有宽拍摄角度,它可带来在更远距离拍摄图像的效果。因此,广角相机可被广泛地使用。

参照图2,第二相机121b和第三相机121c可被相邻地设置在移动终端100的一侧。尽管图2示出相机被设置在移动终端的背面的一个示例,正常相机和广角相机二者可被相邻地设置在移动终端100的正面。另选地,正常相机和广角相机二者可被相邻地设置在移动终端100的正面和背面中的每一面。

通过相邻地设置的正常相机和广角相机接收的图像可彼此部分地交叠,或者一个图像可通过被完整地包括在另一图像中而与另一图像交叠。根据本发明的一个实施方式,以下描述以通过正常相机接收的正常图像被包括在通过广角相机接收的广角图像中的情况作为一个示例,本发明不限于此。例如,本发明适用于正常图像和广角图像彼此部分地交叠的情况。

因此,根据本发明的一个实施方式,当正常相机和广角相机被相邻地设置时,各个相机被有效地使用。

在图3至图30中,对于通过设置到移动终端的至少一个相机感测或捕获的预览图像,响应于用户的输入提供被配置为改变并输出图像的一部分的用户界面。

根据本发明的实施方式,深度的含义可类似于光圈值的含义。例如,如果相机的光圈值较低,则可感测低深度的图像。因此,在本发明的描述中,假设深度和光圈值是可彼此替换的术语。此外,低深度的图像可指示当相机在图像中的聚焦区域较窄时。因此,低深度的图像可被拍摄为除了聚焦区域之外模糊。此外,高深度的图像可指示当相机在图像中的聚焦区域较宽时。因此,高深度的图像可被拍摄为全部清楚。

此外,当设置到移动终端的多个相机的焦距彼此不同时(例如,多个相机当中的广角相机和窄角相机的焦距彼此不同),当通过将相机设定在相同光圈值来拍摄图像时,本发明假设图像具有相同的深度。

接下来,图3是根据本发明的一个实施方式的移动终端的框图。根据本发明的一个实施方式,移动终端可包括显示单元310、相机320、感测单元330、存储器340和控制器350。

显示单元310可显示视觉信息。在这种情况下,视觉信息可包括内容、应用、图像、视频、图标、用户界面等。另外,显示单元310可基于控制器340的控制命令输出视觉信息。根据本发明的实施方式,显示单元310可被具体实现为图1a所示的显示单元151。根据本发明的一个实施方式,显示单元310可输出相机应用的执行画面和图库应用的执行画面。

相机320可感测视角区域内的对象或目标。根据本发明的实施方式,相机320可被具体实现为图1a所示的相机121。根据本发明的一个实施方式,如上面参照图2的描述中所提及的,多个相机可被设置到移动终端的背面。例如,相机中的一个可对应于具有正常视角的正常相机,而另一个可对应于具有宽视角的广角相机。根据本发明的实施方式,相机320可利用正常相机和广角相机中的至少一个来感测视角区域中的对象或目标。

感测单元330感测用户对移动终端的各种输入以及移动终端的环境,然后可传送感测结果以使得控制器340能够执行对应操作。根据本发明的实施方式,感测单元340可被具体实现为图1a所示的感测单元140或输入单元120。根据本发明的一个实施方式,感测单元330可与显示单元310一起被具体实现为触摸屏。根据本发明的一个实施方式,感测单元330可感测来自用户的各种触摸输入。

存储器340可存储与移动终端中执行的操作有关的数据。例如,存储器340可包括在移动终端外部的存储介质以及设置到移动终端的存储介质。根据本发明的实施方式,存储器340可被具体实现为图1a所示的存储器170。根据本发明的一个实施方式,存储器340可存储由移动终端的相机捕获的图像。

控制器350处理数据,控制移动终端的各个单元,并且还可控制单元之间的数据发送/接收。根据本发明的实施方式,控制器350可被具体实现为图1a所示的控制器180。根据本发明的一个实施方式,基于输入信号,控制器350可改变感测的图像的至少一个局部区域的深度。

根据本发明的一个实施方式,移动终端所执行的操作可由控制器345来控制。然而,为了以下描述清晰,这些操作通常将被描述为由移动终端执行。通过图4至图30所示的实施方式,将如下详细描述通过多个相机创建感测的图像以及捕获的图像的深度改变图像并且执行hdr的方法。

预览图像的深度调节

图像分割通过将图像分成多个区域来处理图像,并且可用于方便图像的识别和使用。由于使用通过单个相机感测的单个图像的传统图像分割无法获得关于深度的信息,所以导致分割性能降低的问题。此外,在使用通过多个相机感测的多个图像的图像分割的情况下,由于包括在图像中的对象的分辨率根据距离而变化,所以导致性能降低的问题。

为了解决上述问题,本发明提出了一种利用通过单个相机感测的多个图像来执行图像分割和合成的方法。参照图4至图7,如下描述在执行相机应用的同时,调节预览图像的光圈值或深度的方法。根据图4至图7所示的实施方式,假设移动终端使用设置到移动终端的背面的多个相机中的一个。

图4是示出在根据本发明的一个实施方式的移动终端中调节预览图像的深度的方法的流程图。当相机应用被启动时,移动终端可控制第一预览图像和光圈指示物被输出到显示单元(s410)。在这种情况下,第一预览图像可包括聚焦区域和失焦区域。例如,聚焦区域可根据从相机感测对象的结果自动地创建。就此,将稍后参照图5描述细节。

移动终端可感测施加于光圈指示物的第一输入信号(s420)。具体地讲,移动终端可感测选择输出到包括在光圈指示物中的光圈控制栏的光圈值的第一输入信号。响应于第一输入信号,移动终端可输出改变了失焦区域的深度的第二预览图像(s430)。具体地讲,移动终端可输出失焦区域中第一输入信号的感测区域的深度被改变的第二预览图像。

随后,移动终端可感测用于图像捕获的第二输入信号(s440)。在这种情况下,第二输入信号可包括对包括在移动终端中的软键或硬键的输入。响应于第二输入信号,移动终端可连续地捕获同一视角区域的光圈值被彼此不同地设定的多个图像(s450)。

随后,基于所述多个图像,移动终端可输出与第二预览图像对应的捕获的图像(s460)。具体地讲,基于多个捕获的图像,移动终端可创建并输出第二预览图像。另外,移动终端可保存输出图像。

就此,如下参照图5至图7描述实施方式。具体地讲,图5是示出在根据本发明的一个实施方式的移动终端中调节通过相机感测的预览图像的深度的一个示例的示图。

具体地讲,图5示出针对相机应用上输出的预览图像调节除了聚焦区域之外的区域的深度的方法。如果相机应用被启动,则移动终端可控制从相机的视角区域感测的第一预览图像10被输出到显示单元。在这种情况下,第一预览图像10对应于根据预设光圈值从视角区域感测的图像。另外,如图5的(a)所示,移动终端可自动地创建并输出聚焦区域510。例如,基于分析视角区域中的对象与设置到相机的镜头之间的距离以及对象的图像中的至少一个,移动终端可自动地创建聚焦区域。参照图5的(a),移动终端自动地创建预览图像聚焦区域510并且可显示所创建的区域。

另外,参照图5的(a),移动终端可针对在视角区域内感测的对象当中的人物自动地设定聚焦区域。例如,移动终端可通过面部识别为人物自动地设定聚焦区域。另外,除了上述方法以外,聚焦区域设定方法可采用各种方法。

移动终端可将光圈指示物520输出到预览图像10。光圈指示物520可指示相机镜头的当前光圈值和预览图像的当前深度。例如,图5的(a)所示的光圈指示物520指示光圈的口径较小时的高光圈值(即,高深度)的状态。

移动终端可通过相机感测设定聚焦区域的对象的移动。参照图5的(b),对象可更靠近移动终端移动。例如,基于对象的面部大小的差异,移动终端可感测出对象与移动终端之间的距离减小。此外,例如,通过相位检测,移动终端可感测出对象与移动终端之间的距离减小。此外,例如,移动终端将激光束施加到对象,从而感测到对象与移动终端之间的距离减小。当然,测量移动终端与对象之间的距离的上述方法可独立地使用或通过组合来使用。

另外,如图5的(c)所示,如果对象与移动终端之间的距离对应于预设距离范围,则移动终端可控制光圈控制栏525被输出到与光圈指示物520相邻的位置。光圈控制栏525可显示可通过硬件实现的真实光圈值以及可通过软件实现的数字光圈值二者。例如,在图5的(c)所示的光圈控制栏525中,可通过相机镜头实际实现直至1.6的光圈值。低于1.6的光圈值可通过移动终端的图像处理被实现为模糊图像。

在输出光圈控制栏525的同时,移动终端可感测对光圈值为1.0的区域的输入信号530。在这种情况下,如图5的(d)所示,移动终端可基于所设定的光圈值输出第二预览图像540。另外,第二预览图像540可对应于当聚焦区域510在焦点上时根据用户所设定的光圈值失焦的图像。移动终端可在宽口径状态下输出光圈指示物520。通过这样,用户可容易地识别第二预览图像540的光圈值。

接下来,图6是示出在根据本发明的一个实施方式的移动终端中调节通过相机感测的预览图像的深度的一个示例的示图。在图6所示的实施方式的以下描述中,省略与参照图5描述的那些细节冗余的细节。

参照图6的(a),如果相机应用被启动,移动终端可输出第一预览图像10和光圈指示物620。在这种情况下,第一预览图像10对应于以预设光圈值感测的图像。移动终端可通过自动地设定聚焦区域来显示聚焦区域610。移动终端可感测对光圈指示物620的第一输入信号631。例如,第一输入信号631可对应于各种触摸输入中的一种。

参照图6的(b),移动终端可输出光圈控制栏625。与图5不同,图6所示的实施方式示出响应于用户的输入信号输出光圈控制栏的情况。在这种情况下,光圈控制栏625被假设为与前面图5所示的光圈控制栏相同。移动终端可感测对光圈控制栏625中光圈值被设定为2.4的区域的第二输入信号632。例如,如图6的(c)所示,响应于第二输入信号632,移动终端可输出通过将从相机的视角区域感测的图像的光圈值调节为2.4而得到的第二预览图像640。另外,光圈指示物620的口径可被输出为大于第一预览图像10。

移动终端可感测对光圈控制栏625中光圈值被设定为1.0的区域的第三输入信号633。在这种情况下,如图6的(d)所示,响应于第三输入信号,移动终端可输出通过根据光圈值1.6调节从相机的视角区域感测的图像而得到的第三预览图像650。具体地讲,响应于第三输入信号而改变光圈值的第三预览图像650可对应于深度比响应于第二输入信号而改变光圈值的第二预览图像640的深度窄的图像。另外,光圈指示物620的口径可被输出为大于第二预览图像640的光圈指示物620的口径。

然而,由于设置到根据本发明的实施方式的移动终端的相机无法通过硬件实现直至1.0的光圈值,所以第四预览图像可对应于通过经由软件进一步模糊图像而输出的图像。

接下来,图7是示出当通过根据本发明的一个实施方式的移动终端中的相机感测的预览图像的光圈值被设定时捕获图像的一个示例的示图。作为延续前面图6所示的实施方式的实施方式,在光圈值被设定为无法通过硬件实现的值的同时,当捕获图像时,图7所示的实施方式示出输出所捕获的图像的方法。

参照图7的(a),移动终端可将光圈值被设定为最小值的预览图像10输出到显示单元。在这种情况下,如上面参照图5或图6的描述中提及的,预览图像10可对应于通过软件模糊的图像,而非通过相机实际感测的图像。此外,移动终端可输出指示当前设定的光圈值的光圈控制栏725以及预览图像和光圈指示物720。在这种情况下,包括在预览图像中的人物的面部可对应于被自动地设定为聚焦区域710的状态。此外,如上面参照图6的描述中提及的,预览图像10的最小光圈值对应于通过软件实现的数字光圈并且可通过使失焦区域模糊来提供利用具有长焦距的相机镜头实际拍摄的感觉。

在输出预览图像10的同时,移动终端可感测用于图像捕获的输入信号730。在这种情况下,如图7的(b)所示,移动终端可连续地捕获多个图像。例如,如图7的(b)所示,第一捕获图像740a可对应于由设置到移动终端的相机利用最大光圈值捕获的图像。例如,第二捕获图像740b可对应于利用可通过设置到移动终端的相机的硬件实现的最小光圈值捕获的图像。

在另一实例中,第一捕获图像可对应于通过聚焦在视角区域中的主要对象(例如,人物)上而捕获的图像。另外,第二捕获图像可对应于通过聚焦在视角区域中不是主要对象的对象上而捕获的图像。根据本实施方式,2个图像被描述为连续地捕获。另选地,所捕获的图像的数量可为3个或更多,而不限于2个。

参照图7的(c),基于第一捕获图像740a和第二捕获图像740b,移动终端可显示输出图像750。另外,移动终端基于多个捕获的图像来提取聚焦区域和失焦区域,通过使失焦区域模糊以对应于数字光圈值来创建输出图像750,然后可将所创建的输出图像750输出到显示单元。在这种情况下,输出图像750可对应于与预览图像10对应的图像。

根据图4至图7所示的实施方式,移动终端可通过按照数字光圈值人为模糊来提供与通过具有大镜头光圈的相机(例如,dslr相机)捕获的图像类似的效果。

输出图像的深度调节

图8至图12示出当通过相机应用捕获图像时调节输出图像的光圈值或深度的方法。在图8至图12所示的实施方式中,为了提供能够调节输出图像的深度的用户界面,假设移动终端在图像捕获时捕获具有不同地设定的光圈值的多个图像。在这种情况下,输出到移动终端的图像被假设为与多个图像中的代表图像对应。当感测到用于对代表图像的深度调节的输入信号时,其余图像仅为了合成而输出并且被假设为在图库应用上不输出。

具体地讲,图8是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的方法的流程图。如所示,移动终端可将包括聚焦区域和失焦区域的第一图像输出到显示单元(s810)。例如,聚焦区域是在捕获图像时被聚焦的区域,并且可对应于图像中的清楚部分。即,失焦区域是图像中除了聚焦区域之外的区域并且可对应于图像中具有低深度或光圈值的区域。移动终端可将光圈图标与第一图像一起输出。

移动终端可感测对失焦区域的输入信号(s820)。在这种情况下,输入信号可对应于调节失焦区域的深度的信号。例如,输入信号可对应于拖曳触摸输入、长按触摸输入等中的一个。在这种情况下,移动终端可控制输入信号感测区域的深度被改变的图像被输出(s830)。具体地讲,移动终端可输出通过从与第一图像关联的多个图像提取与输入信号感测区域的改变的深度对应的图像而合成的第二图像。这将参照图9至图13再描述。

图9是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的一个示例的示图。参照图9的(a),在图库应用执行的同时,移动终端可输出利用第一光圈值捕获的第一图像20。在这种情况下,第一图像20可对应于除了聚焦区域之外的失焦区域被模糊的图像。另外,移动终端可输出光圈图标910。在这种情况下,假设光圈图标910仅在图像捕获时通过设定在数字光圈值来捕获图像时才输出,而非在图库应用上输出图像时一直输出。例如,图9的(a)所示的第一图像20的第一深度可对应于作为拍摄时的数字光圈值的最小光圈值。

移动终端可感测对光圈图标910的第一输入信号921。在这种情况下,第一输入信号921是用于激活光圈图标910的输入,并且对应于用于调节第一图像20的至少一部分的深度的输入。例如,第一输入信号921可对应于短触摸、长触摸等中的一个。

如果是这样,则移动终端可响应于第一输入信号921进入深度控制模式。如果进入深度控制模式,如图9的(b)所示,则移动终端可通过改变光圈图标910的图形效果来指示进入深度控制模式。

在深度控制模式下,移动终端可感测对显示单元的第一区域930的第二输入信号922。在这种情况下,第二输入信号922可对应于通过摩擦第一图像20的第一区域930而执行的拖曳触摸输入。响应于第二输入信号922,移动终端可控制输出第一区域930的深度改变为第二深度的第二图像940。第二深度可对应于高于第一深度的值。具体地讲,可向用户提供被配置为允许图像的被摩擦区域变清楚的直观用户界面。

就此,响应于第二输入信号,移动终端可确定第二深度。如果确定第二深度,则移动终端可在与第一图像有关的多个图像中搜索在第二深度或者与第二深度相似的深度下捕获的图像。移动终端可从与第二深度对应的图像分割或提取与第一区域930对应的部分。另外,移动终端可通过将所提取的与第一区域930对应的区域与第一图像20合成来创建第二图像940。关于此,图像分割和合成可包括本领域技术人员已知的各种方法。

移动终端可感测对光圈图标910的第三输入信号。在这种情况下,第三输入信号923是用于结束深度控制模式的信号,并且可对应于第一输入信号921的相同输入。在这种情况下,移动终端可将第二图像940保存到存储器。代替第一图像20,如图9的(d)所示,移动终端可输出第二图像940。例如,第二图像940可被保存到图库应用中第一图像20旁边的位置,或者被保存为单独的组。此外,参照图9的(d),如果深度控制模式结束,则光圈图标910的图形效果可改变为前面进入深度控制模式之前的效果。

图10是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的一个示例的示图。具体地讲,如果连续地感测到对图像的输入信号多次,则图10示出响应于输入信号(s)逐步地改变深度的情况。以下描述省略了与前面参照图9的描述冗余的细节。

参照图10的(a),在执行图库应用的同时,移动终端可输出在第一深度下捕获的第一图像20。另外,移动终端可输出光圈图标1010。另外,移动终端可输出指示在捕获第一图像20的时间点的光圈值的第一指示物1020。

移动终端可感测对光圈图标1010的第一输入信号1031。第一输入信号1031是用于激活光圈图标1010的输入,并且对应于用于调节第一图像的至少一部分的深度的输入。在这种情况下,假设第一输入信号1031与图9所示的第一输入信号相同。响应于第一输入信号1031,移动终端可进入深度控制模式。

在深度控制模式下,移动终端可感测对显示单元的第一区域1040的第二输入信号1032。在这种情况下,第二输入信号1032可对应于通过摩擦第一图像20的被选择区域1040而执行的拖曳触摸输入。响应于第二输入信号1032,移动终端可控制输出被选择区域1040的深度改变为第二深度的第二图像1050。第二深度可对应于高于第一深度的值。

就此,响应于第二输入信号1032,移动终端可确定第二深度。如果确定第二深度,则移动终端可在与第一图像20有关的多个图像中搜索在第二深度或者与第二深度相似的深度下捕获的图像。移动终端从与第二深度对应的图像提取与被选择区域1040对应的部分,然后可通过将所提取的部分与第一图像20合成来创建第二图像1050。

参照图10的(b),移动终端可将第二指示物1025输出到与调节了深度的被选择区域1040相邻的区域。由于第二图像1050包括与第一深度对应的区域以及与第二深度对应的区域二者,所以用户可通过第二指示物1025容易地识别各个区域的光圈值。

参照图10的(c),移动终端可感测对第一区域1040的第三输入信号1033。在这种情况下,第三输入信号1033可对应于通过摩擦第二图像1050的被选择区域1040而执行的拖曳触摸输入。响应于第三输入信号1033,移动终端可控制输出被选择区域的深度改变为第三深度的第三图像1060。第三深度可对应于高于第二深度的值。就此,可执行与第二图像1050的创建有关的相同处理。

参照图10的(d),移动终端可感测对被选择区域1040的第四输入信号1034。在这种情况下,第四输入信号1034可对应于通过摩擦第三图像1060的被选择区域1040而执行的拖曳触摸输入。响应于第四输入信号1034,移动终端可控制输出被选择区域的深度改变为第四深度的第四图像1070。第四深度可对应于高于第三深度的值。就此,可执行与第三图像1060的创建有关的相同处理。

此外,如果感测到对光圈图标1010的附加输入信号,则移动终端结束深度控制模式并且可将第四图像1070保存到存储器。根据图10所示的实施方式,除了拖曳触摸的计数之外,用于控制深度逐渐增加的第二输入信号至第四输入信号中的每一个还可根据与拖曳触摸一起同时施加压力的水平来确定深度。

根据图10所示的实施方式,如果感测到输入信号,则移动终端调节输入信号感测区域的深度。另选地,如果感测到输入信号,则移动终端也可调节整个图像的深度。通过图10所示的实施方式,用户可按照图像的局部区域的深度与摩擦显示单元的输入的计数成比例地逐渐变深的方式来容易地改变图像。

接下来,图11是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的一个示例的示图。具体地讲,如果感测到另外对图像施加压力的输入信号,图11示出调节整个图像的深度的方法。与前面图9和图10所示的实施方式不同,图11所示的实施方式可对应于光圈图标没有输出到第一图像的情况。以下描述省略了与参照图9的描述冗余的细节。

另外,在执行图库应用的同时,移动终端可输出在第一深度下捕获的第一图像20。根据本发明的实施方式,尽管第一深度对应于数字光圈值,假设在光圈图标没有单独地显示时调节深度。参照图11的(a),移动终端可感测施加到第一图像20的第一输入信号1111。在这种情况下,第一输入信号1111可对应于以第一压力按压的触摸输入。此外,在没有输出光圈图标的同时,第一输入信号1111可对应于用于进入深度控制模式的触发信号。

响应于第一输入信号1111,如图11的(b)所示,移动终端可将第一图像20的深度改变为第二深度的第二图像1130输出到显示单元。第二深度可对应于高于第一深度的值。

就此,响应于第一输入信号1111,移动终端可确定第二深度。如果确定了第二深度,则移动终端可在与第一图像20有关的多个图像中搜索在第二深度或者与第二深度相似的深度下捕获的图像。移动终端可基于与第二深度对应的图像来创建第二图像1130。

此外,移动终端可感测对第二图像1130的第二输入信号。第二输入信号1112可对应于以第二压力按压的触摸输入。根据本实施方式,第二输入信号1112的第二压力可对应于高于第一输入信号1111的第一压力的压力。

在这种情况下,参照图11的(c),响应于第二输入信号1112,移动终端可将第二图像1130的深度改变为第三深度的第三图像1140输出到显示单元。第三深度可对应于高于第二深度的深度值。就此,可执行与第二图像1130的创建有关的相同处理。

移动终端可感测对第三图像1140上的被选择区域1120的第三输入信号1113。第三输入信号1113可对应于以第三压力按压的触摸输入。根据本实施方式,第三输入信号1113的第三压力可对应于高于第二输入信号1112的第二压力的压力。

在这种情况下,响应于第三输入信号1113,移动终端可将第三图像1140的深度改变为第三深度的第四图像输出到显示单元。第四深度可对应于高于第三深度的深度值。就此,可执行与第二图像1130的创建有关的相同处理。

此外,移动终端可感测与在显示单元上绘制特定形状的拖曳触摸输入对应的第四输入信号1114。第四输入信号1114可对应于用于结束深度控制模式的输入。在这种情况下,如图11的(d)所示,移动终端可响应于第四输入信号1114控制第四图像1150输出在图库应用上。

根据本实施方式,第一输入信号1111至第四输入信号1114可对应于一个连续的触摸输入信号。具体地讲,用户利用一个触摸输入信号按压预定区域以控制进入深度控制模式,通过施加逐步的压力来改变深度,然后可通过施加拖曳触摸然后脱离触摸来结束深度控制模式。用户通过施加弱压力来检查第一图像20的深度是否改变,然后可通过以更强的压力连续地按压来容易地检查深度响应于压力的强度而增加。

根据图11所示的实施方式,如果感测到输入信号,则移动终端调节整个图像的深度。另选地,如果感测到输入信号,则移动终端仅调节输入信号感测区域的深度,然后输出对应图像。

图12是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的深度的一个示例的示图。具体地讲,图12示出在放大并输出图像的局部区域之后响应于加压输入信号调节深度的方法。与前面图9和图10所示的实施方式不同,图12所示的实施方式可对应于光圈图标没有输出到第一图像的情况。以下描述省略了与参照图9的描述冗余的细节。

另外,在执行图库应用的同时,移动终端可输出在第一深度下捕获的第一图像20。根据本发明的实施方式,尽管第一深度对应于设置到移动终端的相机的硬件无法支持的数字光圈值,假设在没有单独地显示光圈图标时调节深度。参照图12的(a),移动终端可感测施加于第一图像20的第一输入信号1211。在这种情况下,第一输入信号1211可对应于放大触摸或双击触摸。在这种情况下,参照图12的(b),移动终端可输出通过将感测到第一输入信号1211的区域放大而得到的第二图像1220。

移动终端可感测对第二图像1220的第二输入信号1212。在这种情况下,第二输入信号1212可对应于以第一压力按压的触摸输入。此外,在没有输出光圈图标的同时,第二输入信号1212可对应于用于进入深度控制模式的触发信号。

响应于第二输入信号1212,如图12的(b)所示,移动终端可将第二图像1220上的被选择区域1230的深度改变为第二深度的第三图像1240输出到显示单元。在这种情况下,除了被选择区域1230之外的第三图像1240的其余区域的深度对应于第一深度。被选择区域1230可对应于与显示单元的感测到第二输入信号1212的位置对应的区域。除了第二输入信号感测位置之外,被选择区域1230还可包括感测区域的周边。另外,第二深度可对应于高于第一深度的值。

就此,响应于第二输入信号1212,移动终端可确定第二深度。如果确定了第二深度,则移动终端可在与第一图像20有关的多个图像中搜索在第二深度或者与第二深度相似的深度下捕获的图像。移动终端可从与第二深度对应的图像提取与被选择区域1230对应的区域。移动终端可通过将所提取的与被选择区域1230对应的区域与第一图像20合成来创建第三图像1240。

参照图12的(c),在输出第三图像1240的同时,移动终端可感测第二输入信号1212的触摸输入的结束。具体地讲,用户检查被选择区域1230的深度已改变为第二深度的图像,然后可将触摸手指脱离显示单元。响应于触摸输入的结束,移动终端可结束深度控制模式。参照图12的(d),移动终端可输出通过按照放大率将放大的图像缩小而得到的第四图像1250。在这种情况下,第四图像中的被选择区域1230可包括与第二深度对应的图像。此外,移动终端可将第四图像1250保存到图库应用。

图13是示出调节根据本发明的一个实施方式的移动终端中输出的输出图像的颜色的一个示例的示图。具体地讲,如果感测到对图像的输入信号,图13示出调节颜色而非深度的情况。以下描述省略了与参照图9的描述冗余的细节。

参照图13的(a),在执行图库应用的同时,移动终端可输出在第一深度下捕获的第一图像20。另外,移动终端可输出光圈图标1310。移动终端可感测对光圈图标1310的第一输入信号1321。第一输入信号1321可对应于用于调节第一图像20的至少一部分的颜色的输入。例如,第一输入信号1321可对应于长按触摸、双击触摸等中的一个。根据图9和图13所示的实施方式,由于感测到对相同光圈图标1310的输入信号,假设图13所示的对光圈图标1310的输入信号不同于图9所示。

移动终端可响应于第一输入信号1321进入颜色控制模式。如果进入颜色控制模式,如图13的(b)所示,移动终端可通过改变光圈图标1310的图形效果来指示进入颜色控制模式。

移动终端可感测在颜色控制模式下对显示单元的第一区域1330的第二输入信号1322。第二输入信号1322可对应于摩擦第一图像20的第一区域1330的拖曳触摸输入。响应于第二输入信号1322,移动终端可控制输出通过将第一区域1330的颜色改变为黑色而得到的第二图像1340。

参照图13的(c),移动终端可感测对光圈图标1310的第三输入信号1323。第三输入信号1323是用于结束颜色控制模式的信号,并且可对应于第一输入信号1321的相同输入。在这种情况下,移动终端可将第二图像1340保存到存储器。此外,如图13的(d)所示,移动终端可控制第二图像1340(而非第一图像20)被输出到显示单元。

此外,第二图像1340可被保存到图库应用中第一图像旁边的位置,或者可被保存为单独的组。参照图13的(d),如果颜色控制模式结束,则光圈图标1310的图形效果可再次改变。根据图8至图13所示的实施方式,基于通过拍摄而捕获的多个图像,用户可通过对输出图像的诸如拖曳触摸、长按触摸等的输入来容易地和直观地对输出图像进行后校正。

通过画面分区提供的多个预览图像

图14至图17示出在启动相机应用的情况下同时输出通过多个相机分别感测的预览图像的方法。根据图14至图17所示的实施方式,如上面参照图2的描述中提及的,假设在设置到移动终端的背面的多个相机中的每一个的视角区域中感测图像。另外,假设包括第一相机和第二相机的多个相机彼此相邻地设置在移动终端的背面。第一相机和第二相机可分别对应于图2所示的第二相机121b和图2所示的第三相机121c。

具体地讲,图14是示出在根据本发明的一个实施方式的移动终端中提供多个预览图像的方法的流程图。如所示,移动终端将通过第一相机感测的第一预览图像输出到显示单元的第一区域,并且还可将通过第二相机感测的第二预览图像输出到显示单元的第二区域(s1410)。根据本发明的实施方式,第一相机和第二相机可对应于视角彼此不同的相机。例如,第一相机和第二相机可分别对应于广角相机和窄角相机,本发明不限于此。例如,第一相机和第二相机中的每一个对应于广角相机或窄角相机。

移动终端可感测对第一预览图像或第二预览图像的输入信号(s1420)。例如,输入信号可对应于用于捕获第一预览图像或第二预览图像的触摸输入。响应于所感测的输入信号,移动终端可捕获并保存第一预览图像或第二预览图像(s1430)。具体地讲,移动终端可捕获并保存用户从多个预览图像选择的图像。就此,如下参照图15至图17描述实施方式。

图15是示出在根据本发明的一个实施方式的移动终端中输出多个预览图像的一个示例的示图。具体地讲,图15示出如下的图像捕获方法。另外,通过视角彼此不同的多个相机感测具有相同亮度但是光圈值不同的多个图像然后提供这些图像。如果多个预览图像中的一个被选择,则捕获所选择的预览图像。

根据本实施方式,假设通过多个相机感测的多个图像具有相同的亮度,但是曝光彼此不同。当多个相机中的一个的光圈值较小时,假设快门速度较慢。当另一相机的光圈值较大时,假设快门速度较快。

参照图15的(a),在执行相机应用的同时,移动终端可控制输出多个预览图像10。多个预览图像10包括第一预览图像1510a和第二预览图像1510b。第一预览图像1510a和第二预览图像1510b可设置在宽度或长度方向上。

根据图15所示的实施方式,第一预览图像1510a是通过广角相机感测的图像并且对应于具有宽视角、小光圈值和短曝光时间的图像。第一预览图像1510a可输出通过第一相机感测的图像的全部或部分。根据图15所示的实施方式,第二预览图像1510b是通过窄角相机感测的图像,并且对应于具有窄视角、大光圈值和长曝光时间的图像。第二预览图像1510b可输出通过第二相机感测的图像的全部或部分。

例如,移动终端可感测对第一预览图像1510a的输入信号1520a。在这种情况下,如图15的(b)所示,移动终端捕获作为第一预览图像1510a输出的图像,然后可将所捕获的图像保存到存储器。另外,移动终端可将所捕获的图像1530输出到显示单元。

在另一实例中,移动终端可感测对第二预览图像1510b的输入信号1520b。在这种情况下,如图15的(c)所示,移动终端捕获作为第二预览图像1510b输出的图像,然后可将捕获的图像保存到存储器。另外,移动终端可将捕获的图像1540输出到显示单元。与第一预览图像1510a/第二预览图像1510b不同,捕获的图像1530/1540可全屏输出到移动终端。

图16是示出在根据本发明的一个实施方式的移动终端中输出多个预览图像的一个示例的示图。具体地讲,当通过由多个相机感测而提供亮度彼此不同的多个预览图像时,如果预览图像之一被选择,图16示出捕获所选择的预览图像的方法。以下描述省略了与参照图15的描述冗余的细节。

根据本发明的实施方式,假设通过多个相机感测的图像的亮度彼此不同。例如,如果多个相机具有相同的光圈值,则一个相机对应于快快门速度的情况,另一相机对应于慢快门速度的情况。在另一实例中,如果多个相机具有相同的快门速度,则一个相机对应于小光圈值的情况,另一相机对应于大光圈值的情况。

参照图16的(a),在执行相机应用的同时,移动终端可控制输出多个预览图像10。具体地讲,移动终端可将通过第一相机感测的第一预览图像1610a以及通过第二相机感测的第二预览图像1610b分别输出到第一区域和第二区域。例如,第一相机和第二相机中的每一个可对应于窄角相机或广角相机。然而,尽管第一相机和第二相机具有相同的视角范围,由于第一相机和第二相机的设置位置彼此不同,所以输出到预览图像的视角区域可不同。

根据图16所示的实施方式,第一预览图像160a和第二预览图像160b可对应于相同曝光时间和不同光圈值的情况。例如,第一预览图像1610a可对应于曝光时间比第二预览图像1610b长的图像。

此外,例如,移动终端可感测对第一预览图像1610a的输入信号1620a。在这种情况下,如图16的(b)所示,移动终端捕获第一预览图像1610a,然后将它保存到存储器。另外,移动终端可将捕获的图像1630输出到显示单元。

在另一实例中,移动终端可感测对第二预览图像1610b的输入信号1620b。在这种情况下,如图16的(c)所示,移动终端捕获第二预览图像1610b,然后将它保存到存储器。例如,输入信号1620a和1620b中的每一个可对应于诸如短触摸、长触摸等的各种触摸输入中的一个。另外,移动终端可将捕获的图像1640输出到显示单元。与第一预览图像1610a或第二预览图像1610b不同,捕获的图像1630和1640中的每一个可全屏输出到移动终端。

图17是示出在根据本发明的一个实施方式的移动终端中输出多个预览图像的一个示例的示图。具体地讲,图17示出在设置通过设置到移动终端的多个相机感测的多个图像的区域时通过全局运动分析来确定画面分区的方法。

例如,移动终端可从通过多个相机感测的图像感测垂直运动。例如,参照图17的(a),移动终端可通过多个相机感测一连串落下的水的运动。在这种情况下,移动终端可通过将预览图像设置在长度方向来输出通过多个相机感测的多个预览图像1710a和1710b。

在另一实例中,移动终端可从通过多个相机感测的图像感测水平(并排)运动。例如,参照图17的(b),移动终端可通过多个相机感测在左右方向上移动的游乐设施运动。在这种情况下,移动终端可通过将预览图像设置在宽度方向来输出通过多个相机感测的多个预览图像1720a和1720b。

此外,可通过各种运动分析来确定多个预览图像的画面分区。尽管参照图17描述了垂直或水平画面分区方案,上述画面分区方案以外的各种画面分区方案是可用的。

通过多个相机的长曝光图像和短曝光图像的合成

通常,当视角区域中包括动态对象时,如果通过设定长曝光时间来捕获图像,则由于不稳定而无法清楚地捕获静态对象。本发明提出了一种清楚地捕获包括在视角区域中的静态对象和动态对象二者的方法。

图18是示出在根据本发明的一个实施方式的移动终端中利用多个相机将曝光彼此不同的图像合成的一个示例的示图。具体地讲,如果通过设置到移动终端的相机感测的对象包括动态对象和静态对象二者,图18示出通过多个相机清楚地捕获动态对象和静态对象二者的方法。

如果相机应用被启动,则移动终端可输出通过多个相机中的至少一个感测的预览图像。多个相机可对应于具有相同视角范围的广角相机或窄角相机。然而,尽管多个相机对应于具有相同视角范围的相机,由于相机可被设置在移动终端的背面上的彼此不同的位置中,它们实际感测的视角区域可彼此不同。

在输出预览图像的同时,移动终端可感测用于捕获的输入信号。在这种情况下,移动终端可通过设置到移动终端的第一相机和第二相机来捕获多个图像。参照图18的(a),第一图像1810是通过第一相机感测的图像并且对应于在短曝光时间期间捕获的图像。参照图18的(b),第二图像1820是通过第二相机感测的图像并且对应于在长曝光时间期间捕获的图像。具体地讲,由于第一相机以短曝光来捕获图像,所以第一相机的曝光时间在第二相机的曝光时间届满之前结束。在这种情况下,假设第一相机和第二相机分别包括图2所示的第二相机121b和图2所示的第三相机121c。

由于第一图像1810是以短曝光捕获的图像,所以可清楚地捕获静态对象和动态对象二者。然而,在动态对象的情况下,难以在第一图像1810上表现出运动。由于第二图像1820是以长曝光捕获的图像,所以可在不稳定的情况下捕获静态对象和动态对象二者。然而,在动态对象的情况下,可在第二图像1820上表现出运动。

因此,参照图18的(c),移动终端可通过将第一图像1810中的静态对象的清楚区域与第二图像1820的出现动态对象运动的区域彼此合成来输出第三图像1830作为捕获的图像。

此外,根据图18所示的实施方式,描述了多个相机具有相同的捕获开始定时点。然而,一个相机开始捕获图像,然后另一相机可在对应曝光结束时捕获图像。具体地讲,一个相机通过执行长曝光来捕获图像,然后另一相机可在长曝光结束的定时点以短曝光来捕获图像。

在这种情况下,如果长曝光图像和短曝光图像被合成在一起,则可从长曝光图像提取动态对象的运动轨迹,并且可从短曝光图像提取动态对象运动之后的最后形状和位置。通过这样,尽管不存在闪光灯,可获得动态对象的图像(无闪光灯慢同步)。通过上述实施方式,移动终端可在一个图像中以单个镜头清楚地提供动态对象和静态对象二者。

使用多个相机的hdr

图19至图23示出使用设置到移动终端的多个相机来执行hdr(高动态范围)的方法。根据hdr,随着亮区域范围和暗区域范围在图像中扩大,可就像用真实的眼睛看一样形成亮度和颜色。如果执行hdr,则可通过捕获亮度不同的多个图像来提供视角区域中的亮区域和暗区域二者可识别的图像。

然而,当使用单个相机来执行hdr时,如果视角区域中的对象或相机移动,则在多个图像之间生成差异。由于hdr假设与相同视角区域对应的图像之间仅亮度不同,如果除了图像间亮度差异之外在图像之间还生成视角区域的差异,则合成可能困难。

因此,本发明提供了一种使用多个相机执行hdr的方法。具体地讲,本发明提供了一种通过将相同的快门速度和不同的光圈值指派给设置到移动终端的多个相机来同时捕获亮度不同的多个图像,从而执行hdr的方法。

图19是示出在根据本发明的一个实施方式的移动终端中使用通过多个相机感测的图像执行hdr的方法的流程图。如所示,在执行相机应用的同时,移动终端可感测用于图像捕获的输入信号(s1910)。具体地讲,在相机应用上激活hdr功能的同时,可感测用于捕获图像的输入信号。例如,在通过多个相机感测的至少一个图像作为预览图像输出的同时,移动终端可感测输入信号。输出的预览图像被实现为与图14至图17所示的实施方式相同。

在这种情况下,移动终端可同时通过第一相机和第二相机捕获多个图像(s1920)。具体地讲,移动终端可获得通过第一相机以第一光圈值捕获第一视角区域的第一图像以及通过第二相机以第二光圈值捕获第二视角区域的第二图像。另外,第一图像和第二图像二者可同时获得。

移动终端可输出基于第一图像和第二图像创建的第三图像(s1930)。具体地讲,移动终端可通过沿着第一图像和第二图像之间的公共区域剪切第一图像和第二图像然后将剪切的第一图像和第二图像hdr合成在一起来创建第三图像。就此,如下参照图20至图23描述实施方式。

图20是示出根据本发明的一个实施方式的通过设置到移动终端的多个相机来执行hdr合成的一个示例的示图。在执行相机应用的同时,移动终端可通过激活hdr功能来捕获图像。根据本发明的实施方式,如图20所示,假设捕获到通过第二相机121b感测的第一图像2010a以及通过第三相机121c感测的第二图像2010b。由于第二相机121b和第三相机121c中的每一个被设定为具有相同的快门速度,第一图像2010a和第二图像2010b对应于同时捕获的图像。

在这种情况下,第一图像2010a对应于以第一光圈值捕获的图像,第二图像2010b对应于以第二光圈值捕获的图像。例如,根据图20所示的实施方式,第一光圈值大于第二光圈值。因此,可按照暗区域由于曝光不足而不清楚的方式捕获第一图像2010a。另外,可按照亮区域由于过度曝光而饱和的方式捕获第二图像2010b。

移动终端从第一图像2010a和第二图像2010b提取包含公共对象的公共区域2020,从第一图像2010a剪切公共区域2020,并且还从第二图像2010b剪切公共区域2020。随后,移动终端可通过将第一图像2010a的公共区域2020和第二图像2010b的公共区域2020hdr合成在一起来创建第三图像2030。

在这种情况下,如图20所示,移动终端可将第三图像2030输出到显示单元作为由于激活hdr功能而捕获的图像。与剪切和hdr合成有关的上述处理在后台中操作。另外,相机应用的前台操作可实际刚好在捕获图像之后输出hdr合成的图像。

图21是示出在根据本发明的一个实施方式的移动终端中通过多个相机执行hdr合成的一个示例的示图。具体地讲,图21示出通过设定具有相同视角范围的多个相机的不同光圈值然后执行hdr合成来捕获图像的方法。根据图21所示的实施方式,多个相机可对应于相同的窄角相机或者相同的广角相机。在图21所示的实施方式的以下描述中,省略与参照图20描述的细节冗余的细节。

首先,在激活hdr功能的同时,移动终端可感测用于图像捕获的输入信号。此外,在预览图像被输出到显示单元的同时,移动终端可感测用于图像捕获的输入信号。例如,预览图像可对应于通过第一相机或第二相机感测的多个图像中的至少一个。

响应于输入信号,移动终端可捕获第一图像2110和第二图像2110b。图21的(a)所示的第一图像2110a和第二图像2110b没有输出到移动终端的显示单元,而是可仅用于hdr合成的使用。

在这种情况下,第一图像2110a对应于通过第一相机121b以第一光圈值捕获的图像。参照图21的(a),当第一图像2110a的光圈打开至最大时,第一光圈值可对应于最小光圈值。第二图像2110b对应于通过第二相机121c以第二光圈值捕获的图像。参照图21的(b),当第二图像2110b的光圈略微打开时,第二光圈值可对应于大于第一光圈值的值。第一图像2110a和第二图像2110b对应于以相同的快门速度同时捕获的图像。例如,第一光圈值和第二光圈值可由用户设定,或者可对应于自动设定的值。

此外,尽管图21示出第一图像2110a和第二图像2110b中的每一个具有相同的视角区域,由于第一图像2110a和第二图像2110b不是通过相同的相机捕获的图像,所以第一图像2110a和第二图像2110b实际捕获的视角区域可彼此不同。在这种情况下,移动终端剪切第一图像2110a和第二图像2110b共有的公共区域,然后可对其执行hdr合成。

由于第一图像2110a的光圈值被设定得低,所以第一图像2110a可包括对象的一部分饱和的过度曝光区域2120。由于第二图像2110b的光圈值被设定得高,所以第二图像2110b可包括对象的一部分暗的曝光不足区域2130。

基于第一图像2110a的公共区域和第二图像2110b的公共区域,移动终端可创建第三图像2140。此外,如图21的(c)所示,移动终端可在hdr功能激活状态下输出第三图像2140作为图像捕获的结果。第三图像2140对应于从第一图像2110a和第二图像2110b的hdr合成创建的图像。此外,第三图像2140可按照第一区域2120和第二区域2130中的对象清楚并且可识别的方式输出。

图22是示出在根据本发明的一个实施方式的移动终端中通过多个相机执行hdr合成的一个示例的示图。具体地讲,图22示出通过将具有相同视角范围的多个相机设定为不同的光圈值然后执行hdr合成来捕获图像的方法。与前面图21所示的实施方式不同,图22所示的实施方式对应于多个相机中的一个的光圈值恒定的情况。在图22所示的实施方式的以下描述中,省略与参照图21描述的细节冗余的细节。

如果感测到用于图像捕获的输入信号,则移动终端可捕获图22的(a)所示的第一图像2210a和图22的(b)所示的第二图像2210b。在这种情况下,第一图像2210a对应于通过第一相机121b以第一光圈值捕获的图像。假设第一光圈值总是为固定值。

另外,第二图像2210b对应于通过第二相机121c以第二光圈值捕获的图像。在这种情况下,第二光圈值可对应于能够识别以第一光圈值感测的图像的曝光不足区域的光圈值。

例如,如果以第一光圈值感测的第一图像2210a中的曝光不足区域等于或大于预设比率,则移动终端可通过将第二相机的第二光圈值设定为较小值来捕获第二图像2210b。在另一实例中,如果以第一光圈值感测的第一图像2210a中的曝光不足区域2220等于或大于预设比率,则移动终端可通过将第二相机的第二光圈值设定为较小值来捕获第二图像2210b。第二图像2210b可包括过度曝光区域2230。此外,第一图像2210a和第二图像2210b对应于以相同的快门速度同时捕获的图像。

尽管图22示出第一图像2210a和第二图像2210b的视角区域彼此相等,由于第一相机和第二相机彼此相邻设置但是无法被设置在同一位置,所以视角区域实际上彼此不同。因此,移动终端可另外执行从第一图像2210a和第二图像2210b剪切公共区域的步骤。

基于第一图像2210a的公共区域和第二图像2210b的公共区域,移动终端可创建第三图像2220。此外,参照图22的(c),移动终端可在hdr功能激活状态下输出第三图像2220作为图像捕获的结果。

图23是示出在根据本发明的一个实施方式的移动终端中通过多个相机执行hdr合成的一个示例的示图。具体地讲,图23示出通过将具有不同视角范围的多个相机设定为不同的光圈值然后执行hdr合成来捕获图像的方法。在图23所示的实施方式中,多个相机可包括广角相机和窄角相机。在图23所示的实施方式的以下描述中,省略与参照图21描述的细节冗余的细节。

如果感测到用于图像捕获的输入信号,则移动终端可捕获图23的(a)所示的第一图像2310a和图23的(b)所示的第二图像2310b。在这种情况下,第一图像2310a对应于通过第一相机121b以第一光圈值捕获的图像。假设第一光圈值总是为固定值。

另外,第二图像2310b对应于通过第二相机121c以第二光圈值捕获的图像。在这种情况下,第二光圈值可对应于能够识别以第一光圈值感测的图像的饱和区域的光圈值。例如,如果以第一光圈值捕获的第一图像2310a中的过度曝光区域较大,则移动终端可通过将第二相机的第二光圈值设定为较大值来捕获第二图像2310b。在另一实例中,如果以第一光圈值捕获的第一图像2310a中的曝光不足区域较大,则移动终端可通过将第二相机的第二光圈值设定为较小值来捕获第二图像2310b。此外,第一图像2310a和第二图像2310b对应于以相同的快门速度同时捕获的图像。尽管在图23所示的实施方式中第一光圈值被描述为固定值,相反第二光圈值可为固定值。

参照图23的(a)和图23的(b),第一图像2310a和第二图像2310b的视角彼此不同。具体地讲,第一图像2310a是通过具有宽视角的广角相机捕获的图像,而第二图像2310b是通过具有窄视角的窄角相机捕获的图像。因此,如图23的(b)所示,移动终端可提取第一图像2310a和第二图像2310b的公共区域2320以用于hdr合成。

此外,在广角相机的情况下,可能生成镜头畸变。因此,移动终端可对通过广角相机捕获的第一图像2310a执行镜头畸变校正。在这种情况下,镜头畸变校正可通过本发明所属领域的技术人员可执行的各种畸变校正方法中的一种来执行。图23的(a)至图23的(c)所示的情况可在后台执行,而不被输出到移动终端。

基于第一图像2310a的公共区域和第二图像2310b的公共区域,移动终端可创建第三图像2330。此外,参照图23的(d),移动终端可在hdr功能激活状态下输出第三图像2330作为图像捕获的结果。通过图19至图23,如果基于在相同的定时捕获的多个图像执行hdr合成,则由于在视角区域中感测的对象被一致地保持,所以可提供更准确地合成的hdr图像。

通过前相机的光圈值的调节的自拍聚焦

在通过设置到移动终端的正面的相机捕获包括多个对象的图像的情况下,图24至图28示出通过调节前相机的光圈值来对各种对象执行聚焦的方法。

在设置到现有技术的移动终端的前相机的情况下,设定固定的焦点和固定的光圈值。为了给予通过相机感测的人物以聚焦效果,可能发生的是背景由于对捕获的图像执行后校正而模糊,而不是在捕获图像的时候执行校正。本发明旨在提出一种能够调节光圈值的移动终端的前相机。尽管图24至图28所示的实施方式描述了通过前相机感测图像的情况,实施方式适用于通过后相机感测图像的情况。

图24是示出在根据本发明的一个实施方式的移动终端中通过能够调节光圈值的前相机的聚焦方法的流程图。如所示,在通过前相机感测的第一预览图像输出的同时,移动终端可感测用于捕获的第一输入信号(s2410)。例如,第一预览图像可对应于在相机应用上以设定第一光圈值的方式输出的图像。

响应于第一输入信号,移动终端可连续地捕获第一预览图像以及针对第一预览图像的同一视角区域不同地设定光圈值的至少一个图像(s2420)。另外,移动终端可针对多个图像中的每一个提取并保存每区域的锐度数据。

在第一输出图像输出的同时,移动终端可感测对第一对象的第二输入信号(s2430)。具体地讲,在捕获之后输出第一输出图像的同时,移动终端可感测用于选择包括在第一输出图像中的多个对象中的至少一个的第二输入信号。例如,第一输出图像可对应于与第一预览图像对应的图像。例如,第一输出图像可对应于具有第一预览图像的相同视角区域以及不同于第一预览图像的光圈值的图像。

在这种情况下,移动终端可输出以将第一对象设定为聚焦区域的方式捕获的第二输出图像(s2440)。就此,基于保存的每区域的锐度数据,移动终端可搜索第一对象作为聚焦区域被捕获的图像。移动终端从所找到的图像提取与第一对象对应的区域,然后可通过将所提取的区域与第一输出图像合成来创建第二输出图像。就此,实施方式参照图24至图28来描述。

图25是示出在根据本发明的一个实施方式的移动终端中在通过前相机捕获图像的情况下捕获多个图像的一个示例的示图。参照图25的(a),如果相机应用被启动,则移动终端可将通过前相机感测的第一预览图像10输出到显示单元。另外,所输出的第一预览图像10可对应于以第一光圈值设定的图像。如上面参照图5的描述中提及的,除了可通过硬件实现的光圈值之外,光圈值还可包括可通过软件实现的数字光圈值。

第一预览图像10可对应于包含多个对象的图像。根据图25所示的实施方式,多个对象可对应于人物。在这种情况下,移动终端将预设区域设定为聚焦区域,然后可将其余区域显示为输出聚焦区域。例如,预设区域可对应于离移动终端距离最近的人物。

移动终端可感测用于捕获第一预览图像的输入信号2510。在这种情况下,如图25的(b)所示,除了与第一预览图像10对应的第一输出图像2510之外,移动终端还可连续地捕获设定为不同于第一光圈值的光圈值的至少一个或更多个图像2520。

另外,由于光圈值不同于第一输出图像2510,所述至少一个或更多个图像2520可在对应图像内的高锐度区域中彼此不同。因此,参照图25的(b),移动终端按照区域来对第一输出图像2510以及所述多个图像2520进行分类,然后可保存每区域的高锐度图像。

图26是示出在根据本发明的一个实施方式的移动终端中在通过前相机捕获图像的情况下设定光圈值的一个示例的示图。如以上描述中提及的,移动终端的前相机的光圈值是可调节的。因此,无需在通过前相机捕获图像之后执行后校正以使对象清晰,在输出预览图像的同时,可执行光圈值调节以便于清楚地拍摄对象。

例如,移动终端可在自动模式下执行光圈值调节。例如,参照图26的(a),移动终端确定能够将聚焦区域设定在预览图像中所包括的多个对象当中的大多数对象上的光圈值,然后可将预览图像的光圈值调节为所确定的光圈值。

在另一实例中,移动终端可在手动模式下执行光圈值调节。例如,参照图26的(b),移动终端输出光圈控制栏2610,然后可基于感测到用户的输入信号的光圈值来调节预览图像的光圈值。

图27是示出在根据本发明的一个实施方式的移动终端中调节通过前相机捕获的图像的深度的一个示例的示图。另外,如上面参照图25的描述中提及的,图27所示的实施方式假设通过移动终端的前相机捕获光圈值彼此不同的多个图像。其次,如上面参照图25的描述中提及的,图27所示的实施方式假设提取并保存关于多个图像的锐度区域信息。

参照图27的(a),在执行图库应用的同时,移动终端可输出捕获的第一输出图像20。第一输出图像20可对应于针对最靠近移动终端的对象设定聚焦区域的图像。第一输出图像20可对应于通过聚焦在视角区域中的主要对象上而捕获的图像。移动终端可感测对位于失焦区域中的目标对象2710的输入信号2720。例如,输入信号2720可对应于施加预设压力的触摸输入或者从预设区域感测的触摸输入。

在这种情况下,移动终端可从所保存的锐度区域信息提取目标对象2710的锐度较高的图像。移动终端从所提取的图像提取目标对象2720的聚焦对象2730,并且可通过将所提取的聚焦对象2730与第一图像2710合成来创建第二图像2750。目标对象2720的聚焦对象2730使得第一输出图像20中由于未聚焦而不清楚的目标对象2720在另一输出图像中被表现为聚焦对象。此外,参照图27的(b),移动终端可将第二图像2740输出到显示单元。此外,如果创建第二图像2740,则它可被保存到移动终端。

图28是示出在根据本发明的一个实施方式的移动终端中调节通过前相机捕获的图像的深度的一个示例的示图。另外,如上面参照图25的描述中提及的,图28所示的实施方式假设通过移动终端的前相机捕获光圈值彼此不同的多个图像。其次,如上面参照图25的描述中提及的,图28所示的实施方式假设提取并保存关于多个图像的锐度区域信息。

参照图28的(a),在执行图库应用的同时,移动终端可输出捕获的输出图像20。输出图像20可对应于针对最靠近移动终端的对象设定聚焦区域的图像。另外,移动终端可感测对位于失焦区域中的目标对象2810的输入信号2820。例如,输入信号2820可对应于施加预设压力的触摸输入或者从预设区域感测的触摸输入。

在这种情况下,移动终端可从所保存的锐度区域信息提取目标对象2810的锐度较高的图像。移动终端可从所提取的图像提取目标对象2810的聚焦对象2840。在这种情况下,假设聚焦对象与前面参照图27提及的聚焦对象相同。参照图28的(b),在输出图像20被输出的同时,移动终端可按照聚焦对象以弹出窗口2830的形式覆盖输出图像20的方式输出聚焦对象。在这种情况下,聚焦对象的弹出窗口2830可通过被放大超过目标对象2810来输出。通过这样,用户可在将聚焦对象与输出图像20合成之前检查聚焦对象。作为检查的结果,如果用户施加用于将聚焦对象和输出图像20合成在一起的输入信号,则如图28的(b)所示,移动终端可输出合成的图像。

通过多个相机感测的近处对象和远处对象的合成

图29是示出在根据本发明的一个实施方式的移动终端中调节通过前相机捕获的图像的深度的一个示例的示图。具体地讲,图29示出不执行参照图4至图7提及的利用单个相机的图像分割,而是执行通过设置到移动终端的背面的多个相机的图像分割,从而输出合成的图像的方法。根据本实施方式,假设所述多个相机包括第一相机和第二相机。此外,根据本实施方式,第一相机和第二相机中的每一个的视角区域中可包括第一至第三对象2910、2920和2930。第一对象2910可对应于最接近相机的对象,第三对象2930可对应于最远离相机的对象。

另外,如果感测到捕获信号,则移动终端可通过第一相机和第二相机同时捕获图像。例如,移动终端通过第一相机通过聚焦在第三对象2930上来捕获第一图像,并且还可通过第二相机通过聚焦在第一对象2910上来捕获第二图像。在这种情况下,通过第一相机捕获的第一图像对应于当光圈值被设定得相对高时捕获的图像,而通过第二相机捕获的第二图像对应于当光圈值被设定得相对低时捕获的图像。在这种情况下,参照图29的(a),在通过第一相机捕获的第一图像中,不仅第三对象2930,而且其余对象也可被清楚地捕获。此外,参照图29的(b),在通过第二相机捕获的第二图像中,在焦点上的第一对象2910可被清楚地捕获。

在这种情况下,移动终端可在捕获第一图像之后通过第一相机通过改变光圈值另外捕获第三图像。例如,移动终端可通过第一相机在第三对象2930在焦点上的同时另外捕获第三图像。另外,通过第一相机捕获的第三图像对应于当光圈值被设定为最低时捕获的图像。在这种情况下,参照图29的(b),通过第一相机仅可清楚地捕获聚焦的第三对象2930。

随后,移动终端可感测旨在获得第一对象2910和第三对象2930在焦点上的图像的用户输入。在这种情况下,如图29的(d)所示,移动终端可基于第一图像至第三图像来输出第四图像。另外,第四图像可对应于除了第一对象2910和第三对象2930之外模糊的图像。

具体地讲,移动终端可通过图像分割从第一图像和第二图像提取与近处对象对应的第一对象2910。另外,第一对象2910的图像分割可基于深度图分割。另外,移动终端可通过图像分割从第一图像和第三图像提取与远处对象对应的第三对象2930。另外,第三对象2930的图像分割可基于光圈值调节。

此外,由于第一相机和第二相机的视角区域彼此不同,所以移动终端可执行剪切第一图像至第三图像的公共区域的步骤。此外,移动终端可通过将所提取的第一对象2910和第三对象2930彼此合成来创建并输出第四图像。

图30是示出根据本发明的一个实施方式的利用移动终端中的相机捕获图像然后校正所捕获的图像的方法的流程图。图30所示的实施方式仅利用本发明的实施方式配置,本发明不限于此。另外,本发明可通过进一步包括一般移动终端的相机中可实现的各种用户界面来实现。

如所示,移动终端可控制图像被输出到显示单元(s3010)。输出图像可对应于通过相机实时感测的预览图像或者通过相机捕获的图像。

移动终端可确定输出图像是对应于预览图像还是捕获的图像(s3020)。如果在步骤s3020中输出图像对应于预览图像,则移动终端可确定是多个相机还是单个相机处于激活状态(s3030)。例如,移动终端可确定输出图像是通过多个相机感测的预览图像还是通过单个相机感测的预览图像。关于此,如上面参照图14至图17的描述中提及的,移动终端可同时输出通过多个相机感测的多个预览图像。

如果在步骤s3030中多个相机处于激活状态,则移动终端可响应于第一输入信号同时捕获多个图像(s3040)。在这种情况下,所捕获的多个图像可对应于通过设定为不同的光圈值而同时捕获的图像。另外,根据相机是窄角相机还是广角相机,所捕获的多个图像的视角范围可彼此不同或相同。

例如,如上面参照图18的描述中提及的,移动终端可通过基于所捕获的多个图像将长曝光图像和短曝光图像彼此合成来创建合成图像(s3051)。在另一实例中,如上面参照图19至图23的描述中提及的,移动终端可创建基于所捕获的多个图像通过hdr合成的合成图像(s3052)。在另一实例中,如上面参照图29的描述中提及的,移动终端可通过基于所捕获的多个图像将近处对象和远处对象合成在一起来创建合成图像(s3053)。

此后,移动终端可将合成的图像输出到显示单元(s3060)。例如,刚好在捕获图像之后,移动终端可将相机应用上合成的图像输出到显示单元。在另一实例中,在捕获图像之后,移动终端可通过启动图库应用来输出合成的图像。

此外,如果在步骤s3020中输出图像对应于捕获的图像,则移动终端可响应于第二输入信号控制按照捕获的图像的至少一个局部区域被不同图像取代的方式输出捕获的图像(s3070)。例如,如上面参照图8至图13的描述中提及的,移动终端可输出通过设置到移动终端的背面的相机捕获的图像的局部区域的深度改变的图像。在另一实例中,如上面参照图24至图28的描述中提及的,移动终端可输出通过设置到移动终端的正面的相机捕获的图像的局部区域的深度改变的图像。

此外,如果在步骤s3030中单个相机处于激活状态,则移动终端可响应于第三输入信号连续地捕获多个图像(s3080)。关于此,如上面参照图4至图7的描述中提及的,移动终端可通过单个相机针对相同的视角区域连续地捕获光圈值彼此不同的多个图像。

随后,移动终端可将多个图像当中的代表图像输出到显示单元(s3090)。例如,移动终端可刚好在捕获图像之后在相机应用上将代表图像输出到显示单元。在另一实例中,在捕获图像之后,移动终端可通过启动图库应用来将代表图像输出到显示单元。

因此,本发明的实施方式提供了多个优点。根据本发明的至少一个实施方式,通过根据数字光圈值来人为模糊,移动终端可提供与通过配备有大镜头光圈的相机(例如,dslr相机)捕获的图像相似的效果。

根据本发明的至少一个实施方式,基于在拍摄时捕获的多个图像,用户可通过对输出图像的诸如拖曳触摸、长按触摸等的输入来容易地和直观地对输出图像执行后校正。根据本发明的至少一个实施方式,通过单个镜头,可在单个图像内清楚地提供动态对象和静态对象这二者。

根据本发明的至少一个实施方式,在基于同时捕获的多个图像执行hdr合成的情况下,由于在视角区域内感测的对象维持相同,所以可提供更准确地合成的hdr图像。

将两个或更多个实施方式合并以实现其它实施方式也在本发明的范围内。

以上描述中提到的本发明可利用存储有指令的机器可读介质来实现,所述指令由处理器执行以执行本文所呈现的各种方法。可能的机器可读介质的示例包括hdd(硬盘驱动器)、ssd(固态盘)、sdd(硅磁盘驱动器)、rom、ram、cd-rom、磁带、软盘、光学数据存储装置、本文所呈现的其它类型的存储介质及其组合。如果期望,机器可读介质可按照载波的形式实现(例如,经由互联网的传输)。处理器可包括移动终端的控制器180。

以上实施方式仅是示例性的,并且不被认为限制本公开。本说明书旨在是说明性的,而不是限制权利要求的范围。对于本领域技术人员而言,许多替代、修改和变型将是显而易见的。在此描述的示例性实施方式的特征、结构、方法和其它特性可以按照各种方式组合以获得另外的和/或另选的示例性实施方式。

由于在不脱离本发明的特性的情况下,本发明的特征可以按照多种形式来具体实现,所以还应该理解,除非另外指明,否则上述实施方式不受以上描述的任何细节限制,而是应该在所附权利要求书中所限定的范围内广义地理解,因此,落入权利要求的范围及其等同范围内的所有改变和修改因此旨在被所附的权利要求书涵盖。

相关申请的交叉引用

本申请要求于2016年4月28日提交的韩国专利申请第10-2016-0052377号的优先权,通过引用将该韩国专利申请的全部内容并入本文。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1