本公开涉及包括发光器件的移动终端及其控制方法。
背景技术：
随着相机的性能发展，最近已开发出使用相机的各种功能。例如，已积极开发出拍摄高质量静止图像或运动图像或者利用通过相机接收的图像的深度信息(深度值)生成3d图像的功能。
发光器件在使用相机的各种功能中起到重要作用。这里，发光器件用于将光发射到与通过相机接收的图像对应的空间中。
因此，需要开发用于使用相机执行各种功能的发光器件、发光器件的控制方法等。
技术实现要素：
技术问题
因此，详细描述的一方面在于提供一种可利用从发光器件发射的光提取通过相机接收的图像的深度信息的移动终端及其控制方法。
详细描述的另一方面在于提供一种可利用优化的方法控制发光器件的移动终端及其控制方法。
问题的解决方案
为了实现这些和其它优点并且根据本说明书的目的，如本文具体实现并且广义描述的，一种移动终端包括：相机；发光单元，其被配置为包括多个发光器件，并且朝着与通过相机接收的图像对应的空间发射光；以及控制器，其被配置为控制所述多个发光器件当中的朝着与所述图像的部分对应的空间发射光的发光器件用于提取所述部分的深度信息。
在一个示例性实施方式中，所述多个发光器件可被分成多个组。控制器可控制所述多个组当中的形成为朝着与所述部分对应的空间发射光的组中所包括的发光器件发射光。
在一个示例性实施方式中，当提取图像中的第一部分的深度信息时，控制器可控制所述多个组当中的形成为朝着与第一部分对应的空间发射光的第一组中所包括的发光器件发射光。当提取图像中不同于第一部分的第二部分的深度信息时，控制器可控制所述多个组当中的形成为朝着与第二部分对应的空间发射光的第二组中所包括的发光器件发射光。
在一个示例性实施方式中，当图像被拍摄为静止图像时，控制器可控制所述多个组随着时间过去按照预定次序依次发射光。
在一个示例性实施方式中，所述预定次序可基于包括在图像中的多个区域随着时间过去被拍摄为静止图像的次序来确定。
在一个示例性实施方式中，控制器可基于与相机有关的操作模式按照不同的方式控制发光单元。
在一个示例性实施方式中，当操作模式是与相机有关的第一操作模式时，控制器可按照第一方式控制所述多个组。当操作模式是与相机有关的第二操作模式时，控制器可按照不同于第一方式的第二方式来控制所述多个组。
在一个示例性实施方式中，控制器可从图像提取具有预定范围内的深度信息的区域，并且控制所述多个组当中的形成为朝着与所提取的区域对应的空间发射光的组中所包括的发光器件发射光。
在一个示例性实施方式中，可基于与图像中的预定区域对应的图像的深度信息来提取具有预定范围内的深度信息的区域。
在一个示例性实施方式中，移动终端还可包括被配置为感测移动终端的移动的感测单元。控制器可基于移动的速度和方向中的至少一个来确定所述多个组当中的发射光的组。
在一个示例性实施方式中，如果通过移动，新图像被接收到相机，则控制器可控制所述多个组当中的形成为朝着与新图像对应的空间发射光的组中所包括的发光器件发射光。
在一个示例性实施方式中，发光单元可包括被配置为折射从所述多个发光器件发射的光的透镜。控制器可基于穿过透镜然后被物体反射并返回到移动终端的光的亮度来调节所述多个发光器件的发光度。
为了实现这些和其它优点并且根据本说明书的目的，如本文具体实现并且广义描述的，一种控制移动终端的方法包括以下步骤：通过相机接收图像；以及允许多个发光器件当中的朝着与图像中的部分对应的空间发射光的发光器件发射光，以用于提取该部分的深度信息。
本申请的进一步的适用范围将从下文给出的详细描述而变得更显而易见。然而，应该理解，仅示意性地在指示本公开的优选实施方式的同时给出详细描述和具体示例，因为对于本领域技术人员而言，通过该详细描述，在本公开的精神和范围内的各种改变和修改将变得显而易见。
本发明的有益效果
根据本公开，可提供一种控制方法，其中仅朝着与通过相机接收的图像的部分(由用户设定的区域或者预定区域)对应的空间发射光，以使得可利用优化的方法提取图像的该部分的深度信息。
另外，根据本公开，当提取通过相机接收的图像的深度信息时，可使发光器件的功率最小化并且改进提取深度信息的成功率。
附图说明
图1a是示出根据示例性实施方式的移动终端的框图；
图1b和图1c是示出根据示例性实施方式的从不同方向看的移动终端的示例的概念图；
图2a至图2c是示出根据示例性实施方式的设置在移动终端中的发光单元的概念图；
图3a和图3b是示出根据示例性实施方式的设置在发光单元中的多个发光器件的概念图；
图4是代表性地示出根据示例性实施方式的控制方法的流程图；
图5是示出图4中所描述的控制方法的概念图；
图6a、图6b和图7是示出根据示例性实施方式的控制发光器件的方法的概念图；
图8是示出调节多个发光器件的发光度的控制方法的流程图，图9是示出图8中所描述的控制方法的概念图；
图10和图12是示出根据相机的操作模式以不同的方式控制发光单元的控制方法的流程图，图11和图13分别是示出图10和图12中所描述的控制方法的概念图；以及
图14是示出根据示例性实施方式的控制设置在发光单元中的多个发光器件的方法的概念图。
具体实施方式
现在将参照附图根据本文公开的示例性实施方式详细给出描述。为了参照附图简要描述，可为相同或等同的组件提供相同或相似的标号，其描述将不再重复。通常，诸如“模块”和“单元”的后缀可用于指代元件或组件。本文使用这种后缀仅是为了方便说明书的描述，后缀本身并非旨在给予任何特殊含义或功能。在本公开中，为了简明起见，相关领域的普通技术人员熟知的内容已被省略。使用附图来帮助容易地理解各种技术特征，应该理解，本文呈现的实施方式不受附图的限制。因此，本公开应该被解释为扩展至附图中具体示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。
将理解，尽管本文中可使用术语第一、第二等来描述各种元件，这些元件不应受这些术语限制。这些术语通常仅用于将一个元件与另一元件相区分。
将理解，当元件被称作“与”另一元件“连接”时，该元件可与该另一元件连接，或者也可存在中间元件。相比之下，当元件被称作“与”另一元件“直接连接”时，不存在中间元件。
单数表示形式可包括复数表示形式，除非根据上下文其表示明确不同的含义。本文中使用诸如“包括”或“具有”的术语，应该理解其旨在指示存在说明书中所公开的多个组件、功能或步骤，还应该理解同样可使用更多或更少的组件、功能或步骤。
本文呈现的移动终端可利用各种不同类型的终端来实现。这些终端的示例包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(pda)、便携式多媒体播放器(pmp)、导航仪、便携式计算机(pc)、石板pc、平板pc、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器(hmd))等。
仅作为非限制性示例，参照特定类型的移动终端进行进一步的描述。然而，这些教导同样适用于其它类型的终端，例如上述那些类型。另外，这些教导也可适用于诸如数字tv、台式计算机等的固定终端。
现在参照图1a至图1c，其中图1a是根据本公开的移动终端的框图，图1b和图1c是从不同方向看时移动终端的一个示例的概念图。
移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190的组件。将理解，不要求实现所示的所有组件，可另选地实现更多或更少的组件。
现在参照图1a，移动终端100被示出为具有利用多个通常实现的组件配置的无线通信单元110。例如，无线通信单元110通常包括允许移动终端100与无线通信系统或者移动终端所在的网络之间的无线通信的一个或更多个组件。
无线通信单元110通常包括允许通信(例如，移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端之间的通信、移动终端100与外部服务器之间的通信)的一个或更多个模块。另外，无线通信单元110通常包括将移动终端100连接到一个或更多个网络的一个或更多个模块。
为了方便这些通信，无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。
输入单元120包括用于获得图像或视频的相机121、麦克风122(是用于输入音频信号的一种音频输入装置)以及用于使得用户能够输入信息的用户输入单元123(例如，触摸键、按键、机械键、软键等)。数据(例如，音频、视频、图像等)通过输入单元120来获得，并且可根据装置参数、用户命令及其组合来由控制器180分析和处理。
感测单元140通常利用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现。例如，在图1a中，感测单元140被示出为具有接近传感器141和照度传感器142。
如果需要，感测单元140可另选地或另外地包括其它类型的传感器或装置，例如触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、rgb传感器、红外(ir)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机121)、麦克风122、电池电量计、环境传感器(例如，气压计、湿度计、温度计、辐射检测传感器、热传感器和气体传感器等)和化学传感器(例如，电子鼻、保健传感器、生物传感器等)等。移动终端100可被配置为利用从感测单元140获得的信息，具体地讲，从感测单元140的一个或更多个传感器获得的信息及其组合。
输出单元150通常被配置为输出各种类型的信息，例如音频、视频、触觉输出等。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。
显示单元151可具有与触摸传感器的中间层结构或集成结构，以便方便触摸屏。触摸屏可在移动终端100与用户之间提供输出接口，并且用作在移动终端100与用户之间提供输入接口的用户输入单元123。
接口单元160用作与可连接到移动终端100的各种类型的外部装置的接口。例如，接口单元160可包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等。在一些情况下，移动终端100可响应于外部装置连接到接口单元160而执行与连接的外部装置关联的各种控制功能。
存储器170通常被实现为存储用于支持移动终端100的各种功能或特征的数据。例如，存储器170可被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。这些应用程序中的一些应用程序可经由无线通信从外部服务器下载。其它应用程序可在制造或出厂时安装在移动终端100内，针对移动终端100的基本功能(例如，接电话、打电话、接收消息、发送消息等)，通常是这种情况。常见的是，应用程序被存储在存储器170中，被安装在移动终端100中，并由控制器180执行以执行移动终端100的操作(或功能)。
除了与应用程序关联的操作以外，控制器180通常还用于控制移动终端100的总体操作。控制器180可通过处理经由图1a中所描绘的各种组件输入或输出的信号、数据、信息等或者启动存储在存储器170中的应用程序来提供或处理适合于用户的信息或功能。作为一个示例，控制器180根据存储在存储器170中的应用程序的执行来控制图1a至图1c所示的一些或所有组件。
电源单元190可被配置为接收外部电力或提供内部电力，以便供应对包括在移动终端100中的元件和组件进行操作所需的适当电力。电源单元190可包括电池，所述电池可被配置为嵌入终端主体中，或者被配置为可从终端主体拆卸。
上述组件中的至少一些可按照协作方式操作，以实现根据将稍后说明的各种实施方式的眼镜型终端的操作或控制方法。眼镜型终端的操作或控制方法可在眼镜型终端上通过驱动存储在存储器170中的至少一个应用程序来实现。
仍参照图1a，现在将更详细地描述该图中所描绘的各种组件。关于无线通信单元110，广播接收模块111通常被配置为经由广播频道从外部广播管理实体接收广播信号和/或广播相关信息。广播频道可包括卫星频道、地面频道或这二者。在一些实施方式中，可使用两个或更多个广播接收模块111以方便同时接收两个或更多个广播频道或者支持在广播频道之间切换。
移动通信模块112可向一个或更多个网络实体发送无线信号和/或从其接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体形成移动通信网络的一部分，所述移动通信网络根据移动通信的技术标准或通信方法(例如，全球移动通信系统(gsm)、码分多址(cdma)、cdma2000(码分多址2000)、ev-do(增强语音数据优化或仅增强语音数据)、宽带cdma(wcdma)、高速下行链路分组接入(hsdpa)、hsupa(高速上行链路分组接入)、长期演进(lte)、lte-a(长期演进-高级)等)来构建。经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号或者支持文本和多媒体消息的通信的各种格式的数据。
无线互联网模块113被配置为方便无线互联网接入。此模块可从内部或外部连接到移动终端100。无线互联网模块113可根据无线互联网技术经由通信网络发送和/或接收无线信号。
这种无线互联网接入的示例包括无线lan(wlan)、无线保真(wi-fi)、wi-fi直连、数字生活网络联盟(dlna)、无线宽带(wibro)、全球微波接入互操作性(wimax)、高速下行链路分组接入(hsdpa)、hsupa(高速上行链路分组接入)、长期演进(lte)、lte-a(长期演进-高级)等。无线互联网模块113可根据这些无线互联网技术以及其它互联网技术中的一个或更多个来发送/接收数据。
在一些实施方式中，当根据(例如)wibro、hsdpa、hsupa、gsm、cdma、wcdma、lte、lte-a等实现无线互联网接入时，作为移动通信网络的一部分，无线互联网模块113执行这种无线互联网接入。因此，互联网模块113可与移动通信模块112协作或用作移动通信模块112。
短距离通信模块114被配置为方便短距离通信。用于实现这些短距离通信的合适的技术包括bluetoothtm、射频识别(rfid)、红外数据协会(irda)、超宽带(uwb)、zigbee、近场通信(nfc)、无线保真(wi-fi)、wi-fi直连、无线usb(无线通用串行总线)等。短距离通信模块114通常经由无线局域网支持移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端100之间的通信或者移动终端与另一移动终端100(或外部服务器)所在的网络之间的通信。无线局域网的一个示例是无线个域网。
在一些实施方式中，另一移动终端(可类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者与移动终端100协作)的可穿戴装置(例如，智能手表、智能眼镜或头戴式显示器(hmd))。短距离通信模块114可感测或识别可穿戴装置，并允许可穿戴装置与移动终端100之间的通信。另外，当所感测到的可穿戴装置是被验证为与移动终端100进行通信的装置时，例如，控制器180可经由短距离通信模块114将在移动终端100中处理的数据发送给可穿戴装置。因此，可穿戴装置的用户可在可穿戴装置上使用在移动终端100中处理的数据。例如，当在移动终端100中接到电话时，用户可利用可穿戴装置来回电话。另外，当在移动终端100中接收到消息时，用户可利用可穿戴装置来查看所接收到的消息。
位置信息模块115通常被配置为检测、计算、推导或者标识移动终端的位置。作为示例，位置信息模块115包括全球定位系统(gps)模块、wi-fi模块或这二者。如果需要，位置信息模块115可另选地或另外地与无线通信单元110的任何其它模块一起工作，以获得与移动终端的位置有关的数据。
作为一个示例，当移动终端使用gps模块时，可利用从gps卫星发送的信号来获取移动终端的位置。作为另一示例，当移动终端使用wi-fi模块时，可基于与无线接入点(ap)有关的信息来获取移动终端的位置，所述无线接入点(ap)向wi-fi模块发送无线信号或者从wi-fi模块接收无线信号。
输入单元120可被配置为允许对移动终端100的各种类型的输入。这些输入的示例包括音频、图像、视频、数据和用户输入。图像和视频输入常常利用一个或更多个相机121来获得。这些相机121可对在视频或图像拍摄模式下通过图像传感器获得的静止画面或视频的图像帧进行处理。经处理的图像帧可被显示在显示单元151上或存储在存储器170中。在一些情况下，相机121可按照矩阵配置布置，以使得具有各种角度或焦点的多个图像能够被输入至移动终端100。作为另一示例，相机121可按照立体布置方式来设置，以获取用于实现立体图像的左图像和右图像。
麦克风122通常被实现为允许对移动终端100的音频输入。音频输入可根据移动终端100中执行的功能来按照各种方式处理。如果需要，麦克风122可包括各种噪声去除算法以去除在接收外部音频的过程中生成的不期望的噪声。
用户输入单元123是允许用户输入的组件。这种用户输入可使得控制器180能够控制移动终端100的操作。用户输入单元123可包括机械输入元件(例如，位于移动终端100的正面和/或背面或侧面的键、按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入等中的一个或更多个。作为一个示例，触敏输入可以是通过软件处理显示在触摸屏上的虚拟键或软键、或者设置在移动终端上的触摸屏以外的位置处的触摸键。另一方面，虚拟键或视觉键可按照各种形状(例如，图形、文本、图标、视频或其组合)显示在触摸屏上。
感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一个或更多个。控制器180通常与感测单元140协作以基于由感测单元140提供的感测来控制移动终端100的操作或者执行与安装在移动终端中的应用程序关联的数据处理、功能或操作。可利用各种传感器中的任何传感器来实现感测单元140，现在将更详细地描述其中一些传感器。
接近传感器141可包括在没有机械接触的情况下，利用电磁场、红外线等来感测是否存在靠近表面的物体或者位于表面附近的物体的传感器。接近传感器141可布置在移动终端被触摸屏覆盖的内侧区域处或触摸屏附近。
例如，接近传感器141可包括透射型光电传感器、直接反射型光电传感器、反射镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等中的任何传感器。当触摸屏被实现为电容型时，接近传感器141可通过电磁场响应于导电物体的靠近而发生的变化来感测指点器相对于触摸屏的接近。在这种情况下，触摸屏(触摸传感器)也可被归类为接近传感器。
本文中常常将提及术语“接近触摸”以表示指点器被设置成在没有接触触摸屏的情况下接近触摸屏的情景。本文中常常将提及术语“接触触摸”以表示指点器与触摸屏进行物理接触的情景。对于与指点器相对于触摸屏的接近触摸对应的位置，这种位置将对应于指点器垂直于触摸屏的位置。接近传感器141可感测接近触摸以及接近触摸模式(例如，距离、方向、速度、时间、位置、移动状态等)。
通常，控制器180对与接近传感器141所感测的接近触摸和接近触摸模式对应的数据进行处理，并在触摸屏上输出视觉信息。另外，控制器180可根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端100执行不同的操作或处理不同的数据。
触摸传感器可利用各种触摸方法中的任何触摸方法来感测施加到触摸屏(例如，显示单元151)的触摸。这些触摸方法的示例包括电阻型、电容型、红外型和磁场型等。
作为一个示例，触摸传感器可被配置为将施加到显示单元151的特定部分的压力的变化或者在显示单元151的特定部分处发生的电容的变化转换为电输入信号。触摸传感器还可被配置为不仅感测触摸位置和触摸面积，而且感测触摸压力和/或触摸电容。通常使用触摸物体来对触摸传感器施加触摸输入。典型的触摸物体的示例包括手指、触摸笔、手写笔、指点器等。
当通过触摸传感器感测到触摸输入时，可将对应信号发送给触摸控制器。触摸控制器可对所接收到的信号进行处理，然后将对应数据发送给控制器180。因此，控制器180可感测显示单元151的哪一区域被触摸。这里，触摸控制器可以是独立于控制器180的组件、控制器180及其组合。
在一些实施方式中，控制器180可根据对触摸屏或者除触摸屏以外设置的触摸键进行触摸的触摸物体的类型来执行相同或不同的控制。例如，根据提供触摸输入的物体是执行相同的控制还是不同的控制可基于移动终端100的当前操作状态或者当前执行的应用程序来决定。
触摸传感器和接近传感器可单独实现或者组合实现，以感测各种类型的触摸。这些触摸包括短(或轻敲)触摸、长触摸、多触摸、拖曳触摸、轻拂触摸、缩小触摸、放大触摸、轻扫触摸、悬停触摸等。
如果需要，可实现超声传感器以利用超声波来识别与触摸物体有关的位置信息。例如，控制器180可基于由照度传感器和多个超声传感器感测的信息来计算波生成源的位置。由于光远比超声波快，所以光到达光学传感器的时间远比超声波到达超声传感器的时间短。可利用这一事实来计算波生成源的位置。例如，可基于光作为参考信号利用相对于超声波到达传感器的时间的时间差来计算波生成源的位置。
相机121通常包括至少一个相机传感器(ccd、cmos等)、光电传感器(或图像传感器)和激光传感器。
利用激光传感器实现相机121可允许检测物理对象相对于3d立体图像的触摸。光电传感器可被层压在显示装置上或者与显示装置交叠。光电传感器可被配置为对接近触摸屏的物理对象的移动进行扫描。更详细地讲，光电传感器可包括成行和列的光电二极管和晶体管，以利用根据施加的光的量而变化的电信号来对光电传感器处接收的内容进行扫描。即，光电传感器可根据光的变化来计算物理对象的坐标，从而获得物理对象的位置信息。
显示单元151通常被配置为输出在移动终端100中处理的信息。例如，显示单元151可显示在移动终端100处执行的应用程序的执行画面信息或者响应于执行画面信息的用户界面(ui)和图形用户界面(gui)信息。
在一些实施方式中，显示单元151可被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。
通常，3d立体图像可包括左图像(例如，左眼图像)和右图像(例如，右眼图像)。根据左图像和右图像如何组合成3d立体图像，3d立体成像方法可分为左图像和右图像在帧中上下布置的上下方法、左图像和右图像在帧中左右布置的l至r(左至右或并排)方法、左图像和右图像的片段以拼块形式布置的棋盘格方法、左图像和右图像按照列或行交替布置的交织方法以及左图像和右图像基于时间交替显示的时间顺序(逐帧)方法。
另外，对于3d缩略图图像，可分别从原始图像帧的左图像和右图像生成左图像缩略图和右图像缩略图，然后将其组合以生成单个3d缩略图图像。通常，术语“缩略图”可用于表示缩小的图像或者缩小的静止图像。生成的左图像缩略图和右图像缩略图可按照与左图像和右图像之间的视差对应的深度来利用二者间的水平距离差显示在屏幕上，从而提供立体空间感。
实现3d立体图像所需的左图像和右图像可利用立体处理单元来显示在立体显示单元上。立体处理单元可接收3d图像并提取左图像和右图像，或者可接收2d图像并将其改变为左图像和右图像。
音频输出模块152通常被配置为输出音频数据。这些音频数据可从多种不同的源中的任何源获得，使得所述音频数据可从无线通信单元110接收或者可存储在存储器170中。所述音频数据可在诸如信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等的模式下输出。音频输出模块152可提供与移动终端100所执行的特定功能有关的可听输出(例如，呼叫信号接收音、消息接收音等)。音频输出模块152还可被实现为受话器、扬声器、蜂鸣器等。
触觉模块153可被配置为产生用户感觉、感知或者体验的各种触觉效果。由触觉模块153产生的触觉效果的典型示例是振动。由触觉模块153产生的振动的强度、模式等可通过用户选择或控制器的设定来控制。例如，触觉模块153可按照组合方式或顺序方式输出不同的振动。
除了振动以外，触觉模块153可产生各种其它触觉效果，包括诸如插针排列向接触皮肤垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等的刺激效果、利用能够吸热或发热的元件再现冷和热的感觉的效果等。
除了通过直接接触传递触觉效果以外，触觉模块153还可被实现为使得用户能够通过诸如用户的手指或手臂的肌肉觉来感觉到触觉效果。可根据移动终端100的特定配置设置两个或更多个触觉模块153。
光学输出模块154可输出用于利用光源的光指示事件的发生的信号。移动终端100中发生的事件的示例可包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程通知、电子邮件接收、通过应用的信息接收等。
由光学输出模块154输出的信号可被实现为使得移动终端发射单色光或多种颜色的光。例如，随着移动终端感测到用户已查看所发生的事件，信号输出可被终止。
接口单元160用作要与移动终端100连接的外部装置的接口。例如，接口单元160可接收从外部装置发送来的数据，接收电力以输送给移动终端100内的元件和组件，或者将移动终端100的内部数据发送给这种外部装置。接口单元160可包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等。
所述标识模块可以是存储用于验证移动终端100的使用权限的各种信息的芯片，并且可包括用户标识模块(uim)、订户标识模块(sim)、全球订户标识模块(usim)等。另外，具有标识模块的装置(本文中也称作“标识装置”)可采取智能卡的形式。因此，标识装置可经由接口单元160与终端100连接。
当移动终端100与外部托架连接时，接口单元160可用作使得能够将来自托架的电力供应给移动终端100的通道，或者可用作使得能够用来将由用户从托架输入的各种命令信号输送给移动终端的通道。从托架输入的各种命令信号或电力可用作用于识别出移动终端被正确安装在托架上的信号。
存储器170可存储用于支持控制器180的操作的程序，并存储输入/输出数据(例如，电话簿、消息、静止图像、视频等)。存储器170可存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。
存储器170可包括一种或更多种类型的存储介质，包括闪存、硬盘、固态盘、硅磁盘、微型多媒体卡型、卡型存储器(例如，sd或dx存储器等)、随机存取存储器(ram)、静态随机存取存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁存储器、磁盘、光盘等。移动终端100还可与在诸如互联网的网络上执行存储器170的存储功能的网络存储装置有关地操作。
控制器180通常可控制移动终端100的一般操作。例如，当移动终端的状态满足预设条件时，控制器180可设定或解除用于限制用户相对于应用输入控制命令的锁定状态。
控制器180还可执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理，或者执行模式识别处理以将触摸屏上进行的手写输入或绘画输入分别识别为字符或图像。另外，控制器180可控制那些组件中的一个或其组合，以便实现本文公开的各种示例性实施方式。
电源单元190接收外部电力或提供内部电力，并且供应对包括在移动终端100中的各个元件和组件进行操作所需的适当电力。电源单元190可包括电池，该电池通常是可再充电的或者以可拆卸的方式连接到终端主体以便于充电。
电源单元190可包括连接端口。该连接端口可被配置为接口单元160的一个示例，用于供应电力以对电池进行再充电的外部充电器可电连接到该连接端口。
作为另一示例，电源单元190可被配置为以无线方式对电池进行再充电，而不使用连接端口。在此示例中，电源单元190可利用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发射器输送的电力。
本文所述的各种实施方式可利用(例如)软件、硬件或其任何组合来在计算机可读介质、机器可读介质或类似介质中实现。
现在参照图1b和图1c，参照直板型终端主体描述移动终端100。然而，另选地，移动终端100可按照各种不同配置中的任何配置来实现。这些配置的示例包括手表型、夹子型、眼镜型或者折叠型、翻盖型、滑盖型、旋转型和摆动型(其中两个和更多个主体按照能够相对移动的方式彼此组合)或其组合。本文中的讨论将常常涉及特定类型的移动终端(例如，直板型、手表型、眼镜型等)。然而，关于特定类型的移动终端的这些教导将通常也适用于其它类型的移动终端。
移动终端100将通常包括形成终端的外观的壳体(例如，框架、外壳、盖等)。在此实施方式中，壳体利用前壳体101和后壳体102形成。各种电子组件被包含在前壳体101与后壳体102之间所形成的空间中。另外，可在前壳体101与后壳体102之间设置至少一个中间壳体。
显示单元151被示出为设置在终端主体的前侧以输出信息。如图所示，显示单元151的窗口151a可被安装到前壳体101以与前壳体101一起形成终端主体的前表面。
在一些实施方式中，电子组件也可被安装到后壳体102。这些电子组件的示例包括可拆卸电池191、标识模块、存储卡等。后盖103被示出为盖住电子组件，该盖可以可拆卸地连接到后壳体102。因此，当将后盖103从后壳体102拆卸时，安装到后壳体102的电子组件暴露于外。
如图所示，当后盖103连接到后壳体102时，后壳体102的侧表面部分地暴露。在一些情况下，在连接时，后壳体102也可被后盖103完全遮蔽。在一些实施方式中，后盖103可包括开口以用于将相机121b或音频输出模块152b暴露于外。
壳体101、102、103可通过合成树脂的注塑成型来形成，或者可由例如不锈钢(sts)、铝(al)、钛(ti)等的金属形成。
作为多个壳体形成用于容纳组件的内部空间的示例的另选方式，移动终端100可被配置为使得一个壳体形成该内部空间。在此示例中，具有单一体的移动终端100被形成为使得合成树脂或金属从侧表面延伸至后表面。
如果需要，移动终端100可包括用于防止水进入终端主体中的防水单元(未示出)。例如，防水单元可包括位于窗口151a与前壳体101之间、前壳体101与后壳体102之间、或者后壳体102与后盖103之间的防水构件，以在那些壳体连接时将内部空间密封。
图1b和图1c描绘了布置在移动终端上的特定组件。然而，将理解，另选布置方式也是可能的并且在本公开的教导内。一些组件可被省略或重新布置。例如，第一操纵单元123a可设置在终端主体的另一表面上，第二音频输出模块152b可设置在终端主体的侧表面上。
显示单元151输出在移动终端100中处理的信息。显示单元151可利用一个或更多个合适的显示装置来实现。这些合适的显示装置的示例包括液晶显示器(lcd)、薄膜晶体管-液晶显示器(tft-lcd)、有机发光二极管(oled)、柔性显示器、3维(3d)显示器、电子墨水显示器及其组合。
可利用两个显示装置(可实现相同或不同的显示技术)来实现显示单元151。例如，多个显示单元151可被布置在一侧，彼此间隔开或者这些装置可被集成，或者这些装置可被布置在不同的表面上。
显示单元151还可包括触摸传感器，该触摸传感器感测在显示单元处接收的触摸输入。当触摸被输入到显示单元151时，触摸传感器可被配置为感测该触摸，并且控制器180(例如)可生成与该触摸对应的控制命令或其它信号。以触摸方式输入的内容可以是文本或数值或者是可按照各种模式指示或指定的菜单项。
触摸传感器可按照设置在窗口151a与窗口151a的后表面上的显示器之间的具有触摸图案的膜或者直接图案化在窗口151a的后表面上的金属丝的形式来配置。另选地，触摸传感器可与显示器一体地形成。例如，触摸传感器可设置在显示器的基板上或者显示器内。
显示单元151还可与触摸传感器一起形成触摸屏。这里，触摸屏可用作用户输入单元123(参见图1a)。因此，触摸屏可代替第一操纵单元123a的至少一些功能。
第一音频输出模块152a可按照扬声器的形式来实现以输出语音音频、报警音、多媒体音频再现等。
显示单元151的窗口151a通常将包括孔径以允许由第一音频输出模块152a生成的音频通过。一个另选方式是允许音频沿着结构体之间的装配间隙(例如，窗口151a与前壳体101之间的间隙)来释放。在这种情况下，从外观上看，独立地形成以输出音频音的孔不可见或者被隐藏，从而进一步简化移动终端100的外观和制造。
光学输出模块154可被配置为输出用于指示事件发生的光。这些事件的示例包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。当用户已查看发生的事件时，控制器可控制光学输出单元154停止光输出。
第一相机121a可处理由图像传感器在拍摄模式或视频呼叫模式下获得的图像帧(例如，静止图像或运动图像)。然后，经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。
第一操纵单元123a和第二操纵单元123b是用户输入单元123的示例，其可由用户操纵以提供对移动终端100的输入。第一操纵单元123a和第二操纵单元123b还可被共同称作操纵部分，并且可采用允许用户执行诸如触摸、推按、滚动等的操纵的任何触觉方法。第一操纵单元123a和第二操纵单元123b还可采用允许用户执行诸如接近触摸、悬停等的操纵的任何非触觉方法。
图1b将第一操纵单元123a示出为触摸键，但可能的另选方式包括机械键、按键、触摸键及其组合。
在第一操纵单元123a和第二操纵单元123b处接收的输入可按照各种方式来使用。例如，用户可使用第一操纵单元123a来提供对菜单、主屏键、取消、搜索等的输入，用户可使用第二操纵单元123b来提供输入以控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。
作为用户输入单元123的另一示例，后输入单元(未示出)可被设置在终端主体的后表面上。用户可操纵后输入单元以提供对移动终端100的输入。所述输入可按照各种不同的方式来使用。例如，用户可使用后输入单元来提供输入以进行电源开/关、开始、结束、滚动、控制从第一音频输出模块152a或第二音频输出模块152b输出的音量、切换为显示单元151的触摸识别模式等。后输入单元可被配置为允许触摸输入、推按输入或其组合。
后输入单元可被设置为在终端主体的厚度方向上与前侧的显示单元151交叠。作为一个示例，后输入单元可被设置在终端主体的后侧的上端部，使得当用户用一只手抓握终端主体时用户可利用食指容易地操纵后输入单元。另选地，后输入单元可至多被设置在终端主体的后侧的任何位置。
包括后输入单元的实施方式可实现后输入单元中的第一操纵单元123a的一些或全部功能。因此，在从前侧省略第一操纵单元123a的情况下，显示单元151可具有更大的屏幕。
作为另一另选方式，移动终端100可包括扫描用户的指纹的手指扫描传感器。然后控制器180可使用由手指扫描传感器感测到的指纹信息作为验证程序的一部分。手指扫描传感器也可被安装在显示单元151中或实现在用户输入单元123中。
麦克风122被示出为位于移动终端100的端部，但是其它位置也是可以的。如果需要，可实现多个麦克风，这种布置方式允许接收立体声。
接口单元160可用作允许移动终端100与外部装置进行接口的路径。例如，接口单元160可包括用于连接到另一装置(例如，耳机、外部扬声器等)的连接端子、用于近场通信的端口(例如，红外数据协会(irda)端口、蓝牙端口、无线lan端口等)、或者用于向移动终端100供应电力的电源端子中的一个或更多个。接口单元160可按照用于容纳外部卡(例如，订户标识模块(sim)、用户标识模块(uim)、或者用于信息存储的存储卡)的插槽的形式来实现。
第二相机121b被示出为设置在终端主体的后侧，并且其图像拍摄方向基本上与第一相机单元121a的图像拍摄方向相反。如果需要，可另选地将第二相机121b设置在其它位置或者使其能够移动，以便具有不同于所示的图像拍摄方向的图像拍摄方向。
第二相机121b可包括沿着至少一条线布置的多个透镜。所述多个透镜还可按照矩阵配置来布置。这些相机可被称作“阵列相机”。当第二相机121b被实现为阵列相机时，可利用多个透镜以各种方式拍摄图像，并且图像具有更好的质量。
如图1c所示，闪光灯124被示出为与第二相机121b相邻。当利用相机121b拍摄目标的图像时，闪光灯124可对目标进行照明。
如图1b所示，可在终端主体上设置第二音频输出模块152b。第二音频输出模块152b可结合第一音频输出模块152a实现立体声功能，并且还可用于实现呼叫通信的免提模式。
用于无线通信的至少一个天线可设置在终端主体上。所述天线可安装在终端主体中或者可由壳体形成。例如，构成广播接收模块111的一部分的天线可收缩到终端主体中。另选地，天线可利用附着到后盖103的内表面的膜或者包含导电材料的壳体来形成。
用于向移动终端100供应电力的电源单元190可包括电池191，该电池191被安装在终端主体中或者可拆卸地连接到终端主体的外部。电池191可经由连接到接口单元160的电源线来接收电力。另外，电池191可利用无线充电器以无线方式再充电。无线充电可通过磁感应或电磁共振来实现。
后盖103被示出为连接到后壳体102以用于遮蔽电池191，以防止电池191分离并保护电池191免受外部冲击或异物的影响。当电池191能够从终端主体拆卸时，后盖103可以可拆卸地连接到后壳体102。
在移动终端100上可另外设置用于保护外观或者辅助或扩展移动终端100的功能的附件。作为附件的一个示例，可设置用于覆盖或容纳移动终端100的至少一个表面的盖或袋。所述盖或袋可与显示单元151协作以扩展移动终端100的功能。附件的另一示例是用于辅助或扩展对触摸屏的触摸输入的触摸笔。
以下，将参照附图详细描述根据示例性实施方式的利用发光器件提取通过相机接收的图像的深度信息的方法以及控制移动终端中的发光器件的方法。
以下，在参照附图描述所述方法时至少两个图像以2×2的形式布置在一张图(图n)上的情况下，设置在左上端的图像被称为“第一图”，设置在右上端的图像被称为“第二图”，设置在右下端的图像被称为“第三图”，设置在左下端的图像被称为“第四图”。
另外，在至少两个图像在一张图(图n)上在从顶端到底端的方向上布置成一行的情况下，从设置在最顶端的图像开始图像被依次称为“第一图像、第二图像、…”。
另外，在至少两个图像在一张图(图n)上在从左端到右端的方向上布置成一行的情况下，从设置在最左端的图像开始图像被依次称为“第一图像、第二图像、…”。
根据示例性实施方式的移动终端100可提取通过相机121(参见图1a)接收的图像的深度信息。
通过相机接收的图像可被称为预览图像。具体地，预览图像是指通过相机实时接收的图像。预览图像可基于设置有相机121的移动终端通过外力移动或者对象移动而改变。
深度信息可被称为深度值、深度信息等。深度信息可意指与包括在图像中的像素对应的对象与移动终端(更具体地，相机)之间的距离(或距离值)。
例如，当与图像的特定像素对应的对象与移动终端之间的距离为n时，该特定像素的深度信息可以是与n对应的特定值。与n对应的特定值可以是n或者通过预定算法改变的值。
当图像的坐标被设定为x轴以及垂直于x轴的y轴时，深度信息可意指与垂直于x轴和y轴的z轴对应的值。深度信息的绝对值可随对象与移动终端之间的距离增大而增大。
深度信息可应用于各种领域。例如，深度信息可用于拍摄/生成3d立体图、生成用在3d打印机中的3d打印数据、或者感测移动终端周围的物体(对象)的移动。
根据示例性实施方式的移动终端100可利用各种方法提取通过相机接收的图像的深度信息。例如，控制器180(参见图1a)可利用使用至少两个相机提取深度信息的立体视觉方法、使用布置为形成预定图案的发光器件提取深度信息的结构光方法、基于从发光器件发射的光被反射并返回的时间提取深度信息的飞行时间(tof)方法等或者通过其组合来提取深度信息。
以下，将主要描述利用上述方法当中的结构光方法来提取深度信息。
结构光方法是这样的方法：通过控制布置为具有预定图案的多个发光器件来允许光被发射至对象，感测从对象反射并返回的光，然后基于所感测的光(或者所感测的光的图案)来提取深度信息。例如，根据示例性实施方式的移动终端的控制器180控制布置为具有预定图案的多个发光器件向对象发射光。此后，移动终端的控制器180可通过相机121或感测单元140(参见图1a)感测从对象反射并返回的光。
在这种情况下，控制器180可基于感测结果提取通过相机121接收的图像的深度信息。例如，控制器180可通过将反射并返回的光所形成的图案与预定图案进行比较，或者比较光被发射然后被反射并返回的时间、光的强度等来提取通过相机121接收的图像的深度信息。为此，多个发光器件可被形成为朝着与通过相机121接收的图像对应的空间发射光。
所述预定图案可由用户确定(设定)，或者在移动终端的产品被生产时预先确定。另外，所述预定图案可通过用户的请求或者控制器的控制而改变。
多个发光器件可发射红外光。另外，发光器件可以是用于将电信号转换为光信号的激光二极管。例如，发光器件可以是垂直腔表面发射激光器(vcsel)。
在本公开中，使用结构光方法，以使得可仅通过一个相机(红外相机或3d相机)提取图像的深度信息。另外，即使当对象具有单一颜色时，也可提取深度信息。结构光方法可与使用至少两个相机的立体视觉方法或者tof方法组合，从而改进深度信息的准确度。
以下，将详细描述用于提取通过相机接收的图像的深度信息的发光器件。
图2a至图2c是示出根据示例性实施方式的设置在移动终端中的发光单元的概念图。图3a和图3b是示出根据示例性实施方式的设置在发光单元中的多个发光器件的概念图。
根据示例性实施方式的移动终端100可包括发光单元124。发光单元124可具有与上述闪关灯124相同的配置，或者具有单独的配置。以下，标号124用于发光单元。
发光单元124可包括至少一个发光器件125。具体地，发光单元124可包括多个发光器件125，所述多个发光器件125可按照各种方式布置。多个发光器件125的布置方式将稍后参照图3a和图3b来描述。
发光单元124可与相机121相邻设置。例如，如图2a所示，发光单元124可被设置在相机121b附近。尽管此图中未示出，发光单元124可与相机121b一体地形成。
如上所述，包括在发光单元124中的多个发光器件125中的每一个可以是作为一个红外二极管的vcsel。各个发光器件可朝着对象发射红外光。例如，从发光器件的光发射可意指从vcsel发射红外光。另外，从发光器件的光发射可意指从发光器件投射具有特定范围内的波长的光。
相机121b可以是用于提取深度信息的3d相机或红外相机。相机121b可包括允许从外部接收的红外光通过的红外(ir)通过滤光器以及能够感测红外光的图像传感器。图像传感器可按照电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)的形式来实现。
相机121b可感测从外部接收的红外光，即，从包括在发光单元中的发光器件向对象发射然后被反射并返回的红外光。另外，根据示例性实施方式的移动终端的控制器180可通过上述感测单元140(例如，红外传感器(ir传感器))感测红外光。另外，相机121b可感测具有特定波长的光。
此外，发光单元124可被形成为朝着与通过相机121b接收的图像对应的空间发射光。具体地，包括在发光单元124中的多个发光器件125可朝着与通过相机接收的图像300对应的空间发射光。
这里，与通过相机接收的图像300对应的空间可意指除了被移动终端100占据的空间之外的空间(真实空间)当中由相机拍摄的空间(场景的视野)。例如，与通过相机接收的图像对应的空间可基于相机的视角来确定。
例如，多个发光器件当中的特定发光器件可被形成为朝着与通过相机接收的图像中的特定像素(部分图像或部分)对应的空间发射光。
此外，包括在发光单元124中的多个发光器件125可被分成多个组。所述多个组中的每一组中可包括至少两个发光器件。具体地，控制器180可分别控制多个发光器件125，或者以各自包括至少两个发光器件的组为单位来控制多个发光器件125。多个发光器件可被分成具有各种形式的组，组的形式可通过用户的设定或控制器的控制来确定。
例如，如图2a所示，包括在发光单元124中的多个组g1、g2、…当中的第一组g1中所包括的发光器件可被形成为朝着与通过相机121b接收的图像300中的第一部分r1对应的空间发射光。
另外，包括在发光单元124中的多个组g1、g2、…当中的不同于第一组g1的第二组g2中所包括的发光器件可被形成为朝着与通过相机121b接收的图像300中的不同于第一部分r1的第二部分r2对应的空间发射光。
更具体地，参照图2b，通过相机接收的图像300可被输出在根据示例性实施方式的移动终端的显示器151上。图像300可以是与相机所拍摄的空间(场景的视野或对象)s对应的图像。
根据示例性实施方式的移动终端的发光单元124可被形成为朝着与图像300对应的空间s发射光。
发光单元124可包括多个发光器件，所述多个发光器件可被分成多个组g1、g2、…。包括在各个组中的发光器件可被形成为朝着与图像300中的不同部分对应的空间发射光。
例如，多个组当中的第一组g1中所包括的发光器件可被形成为朝着与图像300中的第一部分r1对应的空间s1发射光，多个组当中的第二组g2中所包括的发光器件可被形成为朝着与图像300中的第二部分r2对应的空间s2发射光。
为此，参照图2c，根据示例性实施方式的发光单元124还可包括透镜127。透镜127可折射或漫射从发光单元124发射的光。透镜127可以是与发光单元124对应的一个透镜。另选地，透镜127可利用形成为分别与包括在发光单元124中的多个组对应的多个透镜来实现。另选地，透镜127可利用形成为分别与包括在发光单元124中的多个发光器件对应的多个透镜来实现。
控制器180可控制透镜127将从发光单元124发射的光朝着与通过相机接收的图像对应的空间发射。具体地，当发光单元124的尺寸大于与通过相机接收的图像300对应的空间s时，控制器180可控制透镜127，使得从发光单元124与空间s对应地发射光。为此，透镜127可被形成为使得其曲率改变，或者形成为使得其位置移动。
此外，包括在发光单元124中的多个发光器件可被布置为形成预定图案。因此，在本公开中，可利用结构光方法提取通过相机接收的图像的深度信息。
为此，多个发光器件125可利用各种方法来布置或控制。
例如，参照图3a，多个发光器件可按照矩阵形式布置，其中它们被布置在发光单元124中的预定距离处。控制器180可控制多个发光器件中的一些发射光，使得形成预定图案。
例如，控制器180可控制发光单元124，使得通过仅允许按照4×4矩阵形式布置的多个发光器件125当中的一些发光器件125a发射光来形成预定图案pa1。
如上所述，多个发光器件125可被分成多个组。包括在所述多个组中的发光器件可被控制以形成不同的图案。作为示例，控制器180可控制发光器件以在多个组当中的第一组中具有第一图案，并且控制发光器件以在多个组当中的不同于第一组的第二组中具有不同于第一图案的第二图案。
作为另一示例，参照图3b，多个发光器件可被布置为在发光单元124中形成预定图案。在这种情况下，多个发光器件可被布置为针对各个组形成不同的图案。
例如，多个组当中的第一组中所包括的发光器件可被布置为形成第一图案pa2，多个组当中的第二组中所包括的发光器件可被布置为形成第二图案pa3，多个组当中的第三组中所包括的发光器件可被布置为形成第三图案pa4。这里，第一至第三图案可彼此不同。
在上文中，描述了各个组的发光器件被布置或控制以形成特定图案。然而，本公开不限于此，包括在发光单元124中的多个发光器件可全部被布置或控制以形成特定图案。
如图2a至图2c中所描述的，多个发光器件当中朝着与通过相机接收的图像的部分对应的空间发射光的发光器件或者多个组当中形成为朝着与图像的部分对应的空间发射光的组中所包括的发光器件可以是如图3a和图3b中所描述按照预定图案形成(布置)的至少两个发光器件。
即，在本公开中，当关于通过相机接收的图像中的特定部分的深度信息时，可从包括在发光单元124中的多个发光器件(或多个组)当中形成为朝着与所述特定部分对应的空间发射光的发光器件(或者组中所包括的发光器件)发射光。
这里，形成为朝着与特定部分对应的空间发射光的发光器件可按照预定图案形成(布置)。因此，从发光单元124中按照预定图案形成的发光器件发射的光可被投射到与所述特定部分对应的空间中。被投射到空间中的光可被反射并返回到移动终端。
此后，在本公开中，可基于从空间反射并返回的光来提取关于特定部分的深度信息。
可包括至少一个上述组件的本公开的移动终端可以按照组为单位控制包括在发光单元124中的多个发光器件以利用优化的方法提取关于通过相机接收的图像的深度信息。
以下，将参照附图详细描述根据示例性实施方式的控制发光单元的方法。
图4是代表性地示出根据示例性实施方式的控制方法的流程图。图5是示出图4中所描述的控制方法的概念图。
首先，参照图4，通过相机接收图像(s410)。通过相机接收的图像可被输出在显示单元151上。可基于用户的请求来启用相机。
例如，可基于与相机有关的应用被执行来启用相机。
此后，从包括在发光单元124中的多个发光器件当中朝着与图像的部分对应的空间发射光的发光器件发射光，以提取该部分的深度信息(s420)。
如上所述，多个发光器件可被设置在设置在根据示例性实施方式的移动终端中的发光单元124中。多个发光器件可被形成为朝着与通过相机接收的图像对应的空间发射光。
具体地，如图5所示，控制器180可选择(设定或指定)通过相机接收的图像300中的部分。该部分可基于用户的请求来选择，或者基于预定条件被满足来选择。
作为示例，在通过相机接收的图像300被输出在显示器151上的状态下，控制器180可基于对图像300施加触摸输入的点(区域或部分)来选择该部分。
作为另一示例，控制器180可选择通过相机接收的图像中的预定区域作为该部分。所述预定区域可意指由用户预先设定的区域。
作为另一示例，控制器180可选择通过相机接收的图像中具有预定范围内的深度信息的区域作为该部分。另选地，当图像被分成多个区域以分别与设置在发光单元124中的多个组对应时，该部分可以是所述多个区域当中包括具有预定范围内的深度信息的区域的至少一个区域。
另外，该部分可基于图像被拍摄或者移动终端通过外力移动来设定或改变。
返回参照图5，如果从通过相机接收的图像300选择部分300a，则控制器180可控制设置在发光单元124中的多个发光器件当中形成为朝着与部分300a对应的空间sa发射光的发光器件125a发射光。
换言之，控制器180可将包括在发光单元124中的多个发光器件分成多个组，并且控制多个组当中形成为向与部分300a对应的空间sa发射光的组中所包括的发光器件125a发射光。
发光器件125a可被布置为形成预定图案，并且光可被投射到与部分300a对应的空间sa中以形成所述预定图案。控制器180可通过相机或感测单元来感测从空间反射并返回的光，并且提取图像中的部分的深度信息。因此，利用布置为形成预定图案的光来提取深度信息的结构光方法是一般技术，因此，将省略其详细描述。
如上所述，设置在发光单元中的发光器件(或组)、通过相机接收的图像以及与图像对应的空间可具有彼此对应的关系。
在如上所述配置的本公开中，当要提取关于通过相机接收的图像中的部分的深度信息时，不从设置在发光单元中的全部多个发光器件发射光，而是从形成为朝着与该部分对应的空间发射光的一些发光器件发射光，以使得可降低功耗并且减小峰值功率。
以下，将参照附图详细描述控制发光单元的各种示例性实施方式。
图6a、图6b和图7是示出根据示例性实施方式的控制发光器件的方法的概念图。
根据示例性实施方式的发光单元124可包括多个发光器件，并且所述多个发光器件可被分成多个组。
当要提取与通过相机接收的图像300中的部分对应的深度信息时，控制器180可控制多个组当中形成为朝着与该部分对应的空间发射光的组中所包括的发光器件发射光。
具体地，当要提取图像300中的第一部分的深度信息时，控制器180可控制多个组当中形成为朝着与第一部分对应的空间发射光的第一组中所包括的发光器件发射光。另外，当要提取图像300中不同于第一部分的第二部分的深度信息时，控制器180可控制多个组当中形成为朝着与第二部分对应的空间发射光的第二组中所包括的发光器件发射光。
作为示例，如图6a所示，通过相机121接收的图像300可被分成(分割成)多个区域。这里，所述多个区域可与通过对发光单元124中的多个发光器件分组而获得的多个组对应。
当提取图像300中的第一部分(或者包括在图像中的多个区域当中的第一区域)601a的深度信息时，控制器180可控制包括在发光单元124中的多个组当中形成为朝着与第一部分601a对应的空间发射光的组601b中所包括的发光器件发射光。
作为另一示例，如图6b所示，当提取图像300中的第二部分(或者包括在图像中的多个区域当中的第二区域)602a的深度信息时，控制器180可控制包括在发光单元124中的多个组当中形成为朝着与第二部分602a对应的空间发射光的组602b中所包括的发光器件发射光。
此外，当通过相机接收的图像300被拍摄(捕获)为静止图像时，控制器180可利用预定方法来控制包括在发光单元124中的多个发光器件。
具体地，当图像300被拍摄为静止图像时，控制器180可控制发光单元124中所设定的多个组随着时间过去按照预定次序依次发射光。这里，所述预定次序可基于随着时间过去包括在图像300中的多个区域被拍摄为静止图像的次序来确定。
例如，根据示例性实施方式的移动终端可拍摄(拾取或捕获)通过相机接收的图像。可基于用户的图像拍摄命令来拍摄图像。如果接收到图像拍摄命令，则控制器180可控制设置在相机中的快门使得图像被拍摄为静止图像，并且将所拍摄的静止图像存储在存储器170(参见图1a)中。
在这种情况下，控制器180可控制设置在相机中的快门依次打开/关闭以将图像拍摄为静止图像。例如，当设置在相机121中的图像传感器按照cmos的形式实现时，快门可以是滚动快门。
所述预定方法可以是使用滚动快门的拍摄方法或者在一个方向上扫描图像的同时拍摄通过相机接收的图像的方法。扫描可以按照行或列(与一行对应的像素(或区域))为单位依次执行。
例如，如图7所示，当使用滚动快门时，控制器180可随着时间过去在一个方向(例如，从上至下的方向)上依次拍摄通过相机121接收的图像700。即，与图像700中设置在最上部的第一区域700a、第二区域700b和第三区域700c对应的图像可随着时间过去在一个方向上从第一区域700a开始依次拍摄。在这种情况下，与第一区域700a对应的图像可被首先拍摄，与第三区域700c对应的图像可被最后拍摄。
控制器180可通过依次拍摄与第一至第三区域对应的图像来将通过相机接收的图像拍摄(生成或存储)为一个静止图像。
即，当随着时间过去依次拍摄与第一区域700a、第二区域700b和第三区域700c对应的图像时，控制器180可根据滚动快门的特性控制多个发光器件与拍摄图像的次序对应地发射光。
例如，当如图7的第一图至第三图所示拍摄与通过相机接收的图像700中的第一区域700a对应的第一图像时，控制器180可控制包括在发光单元124中的多个组当中形成为朝着与第一图像对应的空间发射光的第一组126a中所包括的发光器件发射光(1)。
此后，当在执行第一图像的拍摄之后拍摄与第二区域700b对应的第二图像时，控制器180可控制多个组当中形成为朝着与第二图像对应的空间发射光的第二组126b中所包括的发光器件发射光(1)。
当第一图像的拍摄完成时，控制器180可控制形成为朝着与第一图像对应的空间发射光的第一组126a中所包括的发光器件关闭(0)。
此后，当在执行第二图像的拍摄之后拍摄与第三区域700c对应的第三图像时，控制器180可控制多个组当中形成为朝着与第三图像对应的空间发射光的第三组126c中所包括的发光器件发射光(1)。
当第二图像的拍摄完成时，控制器180可控制形成为朝着与第二图像对应的空间发射光的第二组126b中所包括的发光器件关闭(0)。
如图7的第三图中所示，第一组126a和第二组126b中所包括的发光器件可在特定时间内同时发射光，或者依次发射光。类似地，包括在第二组126b和第三组126c中的发光器件可在特定时间内同时发射光，或者依次发射光。
如上所述，当通过相机接收的图像被拍摄为静止图像时，控制器180可根据滚动快门的特性控制包括在图像中的多个区域随着时间过去按照预定次序被依次拍摄。在这种情况下，控制器180可控制包括在发光单元124中的与所述多个区域对应分组的多个组随着时间过去按照所述预定次序依次发射光。从包括在发光单元124中的多个组发射光应该被理解为从多个组中所包括的发光器件发射光。
所述预定次序可以是包括在图像中的多个区域随着时间过去被拍摄为静止图像的次序。
因此，控制器180可控制图像中在特定时间点拍摄的区域与形成为朝着与该区域对应的空间发射光的组彼此同步。
控制器180控制相机在投射从按照预定图案形成的发光器件发射的光的状态下将图像拍摄为静止图像。因此，控制器180可基于所拍摄的静止图像提取深度信息。
在如上所述配置的本公开中，当拍摄图像时，可减小允许用于提取深度信息的发光器件发射光的峰值功率。在本公开中，可提供一种峰值功率减小的控制方法，以使得可利用优化的方法提取图像的深度信息或拍摄图像，而没有增加峰值功率的复杂配置。
此外，根据示例性实施方式的移动终端可基于与相机有关的操作模式按照不同的方式控制发光单元。
具体地，在与相机有关的第一操作模式下，控制器180可按照第一方式控制包括在发光单元中的多个组(或者多个组中所包括的发光器件)。另外，在与相机有关的不同于第一操作模式的第二操作模式下，控制器180可利用不同于第一方式的第二方式来控制包括在发光单元中的多个组。
以下，将参照附图详细描述针对与相机有关的各个操作模式不同地控制发光单元的各种实施方式。
图8是示出调节多个发光器件的发光度的控制方法的流程图，图9是示出图8中所描述的控制方法的概念图。
图10和图12是示出根据相机的操作模式按照不同的方式控制发光单元的控制方法的流程图，图11和图13分别是示出图10和图12中所描述的控制方法的概念图。
首先，与相机有关的操作模式可包括各种操作模式。例如，与相机有关的操作模式可包括：第一模式，用于调节(调控、设定或确定)多个发光器件的发光度；第二模式，用于仅提取与特定区域对应的深度信息；第三模式，用于通过移动移动终端来拍摄比通过相机接收的图像所对应的特定空间更宽的空间；等等。
将参照图8和图9描述用于调节(调控、设定或确定)多个发光器件的发光度的第一模式。
用于调节多个发光器件的发光度的第一模式可被称为初始设定模式等。
参照图8，当与相机有关的操作模式是第一模式时，从包括在发光单元124中的多个发光器件发射光(s810)。多个发光器件可发射具有预定亮度(强度)的光。
从多个发光器件发射的光可被投射到与通过相机接收的图像对应的空间中。投射到空间中的光可被存在于空间中的对象反射然后返回到移动终端。
随着多个发光器件发射光，控制器180可感测被对象反射然后返回到移动终端的光的亮度(强度)(s820)。
此后，基于感测结果来调节多个发光器件中的每一个的发光度(s830)。
如图2c中所描述的，发光单元124中可包括透镜127。例如，发光单元124可包括用于折射从多个发光器件发射的光的透镜。
控制器180可基于穿过透镜127然后被物体反射并返回到移动终端的光的亮度来调节多个发光器件的发光度。
具体地，反射并返回的光的亮度(强度)可基于由透镜127引起的光的折射/漫射、散射、球面像差、物体对光的吸收、光的移动距离等而与从多个发光器件发射的光的强度不同。
因此，在通过相机接收的图像中所包括的第一区域中感测的光的强度可不同于在不同于第一区域的第二区域中感测的光的强度。例如，当第一区域是中心部分并且第二区域是外侧部分时，在第一区域中感测的光的强度可大于在第二区域中感测的光的强度。
例如，如图9所示，与显示在显示单元151上的图像900中的第一区域910a对应的光的亮度可大于与不同于第一区域910a的第二区域910b对应的光的亮度。
在这种情况下，控制器180可减小形成为朝着与第一区域910a对应的空间发射光的发光器件920a的发光度，或者增大形成为朝着与第二区域910b对应的空间发射光的发光器件920b的发光度。即，控制器180可控制发光单元124，使得针对通过相机接收的整个图像900感测预定范围内的光的亮度(使得感测光的均匀亮度)。
在如上所述配置的本公开中，可提供一种控制方法，其能够控制多个发光器件，使得在通过相机接收的图像中感测预定范围内的光的亮度。即，在如上所述配置的本公开中，可改进设置在发光单元中的多个发光器件的均匀度。
以下，将参照图10和图11描述用于仅提取与特定区域对应的深度信息的第二模式。
参照图10，当与相机有关的操作模式是第二模式时，通过相机接收图像(s1010)。
此后，从所接收的图像提取具有预定范围内的深度信息的区域(1020)。具体地，如果通过相机接收到图像，则控制器180可提取图像的深度信息。
可基于例如立体视觉方法、结构光方法和tof方法中的至少一个来提取深度信息。
控制器180可从图像提取具有预定范围内的深度信息的区域。例如，预定范围内的深度信息可以是相机与目标对象之间的距离在特定距离范围内的深度信息。目标对象可意指要提取深度信息的对象。
此外，控制器180可基于与图像中的预定区域对应的图像的深度信息来设定所述预定范围。具体地，可基于与图像中的预定区域对应的图像的深度信息来提取具有预定范围内的深度信息的区域。
例如，所述预定区域可以是通过相机接收的图像的中心部分。用于通知所述预定区域的指示符可显示在显示单元151上。
控制器180可提取与中心部分对应的深度信息，并且基于所提取的深度信息来设定预定范围。这是为了提取与目标对象对应的图像的深度信息。
此后，控制器180可在通过相机接收的图像中设定具有预定范围内的深度信息的区域。所设定的区域可以是包括与目标对象对应的图像的区域。另外，通过相机接收的图像中除了所设定的区域之外的区域可以是背景区域。
参照图11的第一图，控制器180可从通过相机接收的图像300提取具有预定范围内的深度信息的区域1110。区域1110可以是包括在图像300中的多个区域当中包括与目标对象对应的图像(画面)的区域。
此后，从设置在发光单元中的多个发光器件当中形成为朝着与所提取的区域对应的空间发射光的发光器件发射光(s1030)。
具体地，控制器180可控制多个发光器件当中仅形成为朝着与所提取的区域对应的空间发射光的发光器件发射光，并且控制形成为朝着与除了所提取的区域之外的区域对应的空间发射光的发光器件关闭。
例如，如图11的第二图所示，控制器180可控制包括在发光单元124中的多个发光器件(或多个组)当中仅形成为朝着与所提取的区域1110对应的空间发射光的发光器件(或组)1120发射光。在这种情况下，多个发光器件当中的其它发光器件可关闭。
即，在本公开中，发光单元被控制以使得光仅被投射到目标对象上，而未被投射到除了目标对象之外的背景空间中，从而防止功率消耗。
以下，将参照图12和图13描述用于通过移动移动终端来拍摄比通过相机接收的图像所对应的特定空间更宽的空间的第三模式。
设置在根据示例性实施方式的移动终端中的感测单元140(参见图1a)可感测移动终端的移动。当与相机有关的操作模式是第三模式时，通过感测单元感测移动终端的移动(s1210)。
控制器180可确定移动的速度、方向等。
此后，基于移动的速度和方向中的至少一个来确定包括在发光单元中的多个发光器件(或多个组)当中形成为发射光的发光器件(或组)(s1220)。
具体地，通过移动，新图像可被接收到相机。在这种情况下，控制器180可控制包括在发光单元124中的多个组当中形成为朝着与该新图像对应的空间发射光的组中所包括的发光器件发射光。这里，形成为朝着与新图像对应的空间发射光的组(或发光器件)可基于移动的速度和方向中的至少一个来确定。
例如，如图13所示，通过相机接收的图像300b可被输出在显示单元151上。可利用上述方法当中的至少一个方法来提取图像300b的深度信息。
此后，如果移动终端通过外力移动，则相机可接收不同于图像300b的新图像300c。在这种情况下，控制器180可基于移动的速度和方向来控制包括在发光单元124中的多个发光器件(或多个组)当中形成为朝着与新图像300c对应的空间发射光的发光器件(或组)发射光。此后，控制器180可提取新图像300c的深度信息。
在如上所述配置的本公开中，发光器件仅朝着与通过移动终端的移动而新接收的图像对应的空间发射光，以使得可限制朝着与已经提取深度信息的图像对应的空间发射光，从而降低功耗。
图8至图13中所描述的示例性实施方式可通过将上述方法中的至少两个组合来实现。
以下，将参照附图详细描述减小用于允许发光器件发射光的峰值电流的方法。
图14是示出根据示例性实施方式的控制设置在发光单元中的多个发光器件的方法的概念图。
可包括至少一个上述组件的根据示例性实施方式的移动终端可控制包括在发光单元124中的多个发光器件以减小峰值功率(电流)。
峰值功率是指用于允许至少一个发光器件一起(同时)发射光的功率。
例如，允许一个发光器件发射光需要a[w]的功率。当从n个发光器件发射光时，其峰值功率可为a*n[w]。
为了增大峰值功率，应该设置复杂的组件。因此，移动终端的产品成本增加，并且移动终端的体积增大。另外，移动终端的重量增加。
根据示例性实施方式的移动终端允许设置在发光单元中的多个发光器件在预定时间内依次发射光，从而减小峰值功率。
例如，如图14所示，当从n个发光器件125(或者设置在多个组中的任一组400中的n个发光器件)发射光时，控制器180可控制n个发光器件125按照预定次序依次发射光。在这种情况下，控制器180可控制n个发光器件依次交替发射光，而不存在n个发光器件同时发射光的时候。
如上所述，n个发光器件可以是形成为朝着与通过相机接收的图像的部分对应的空间发射光的发光器件、或者多个组当中形成为朝着与图像的部分对应的空间发射光的组中所包括的发光器件。另外，n个发光器件可按照预定图案形成(布置)。
所述预定时间可通过用户的设定来确定，并且优选为无法被用户的视线感知的较短时间。这是为了尽管多个发光器件(n个发光器件)在预定时间内依次发射光，也发射与多个发光器件(n个发光器件)同时发射时的光强度对应的光。
在如上所述配置的本公开中，与n个发光器件同时发射光时相比，峰值功率可减小1/n。
如上所述，根据本公开，可提供一种控制方法，其中仅朝着与通过相机接收的图像的部分(由用户设定的区域或者预定区域)对应的空间发射光，以使得可利用优化的方法提取图像的部分的深度信息。
另外，根据本公开，当提取通过相机接收的图像的深度信息时，可使发光器件的功率最小化并且改进提取深度信息的成功率。
各种实施方式可利用存储有指令的机器可读介质来实现，所述指令用于由处理器执行以执行本文所呈现的各种方法。可能的机器可读介质的示例包括hdd(硬盘驱动器)、ssd(固态盘)、sdd(硅磁盘驱动器)、rom、ram、cd-rom、磁带、软盘、光学数据存储装置、本文所呈现的其它类型的存储介质及其组合。如果需要，机器可读介质可按照载波的形式来实现(例如，经由互联网的传输)。处理器可包括移动终端的控制器180。
上述实施方式和优点仅是示例性的，而不应被解释为限制本公开。本教导可容易地应用于其它类型的设备。该描述旨在为例示性的，而非限制权利要求的范围。对于本领域技术人员而言，许多替代、修改和变化将是显而易见的。本文所描述的示例性实施方式的特征、结构、方法和其它特性可按照各种方式组合以获得附加和/或另选的示例性实施方式。
由于本发明的特征可在不脱离其特性的情况下按照多种形式具体实现，所以还应该理解，除非另外指明，否则上述实施方式不受以上描述的任何细节的限制，而是应该在所附权利要求书中限定的范围内广义地解释，因此，落入权利要求书的范围或其等同范围内的所有变化和修改旨在被所附权利要求书涵盖。