移动终端和控制移动终端的方法

移动终端和控制移动终端的方法
【专利摘要】移动终端和控制移动终端的方法。提供了一种移动终端，该移动终端包括主机体；分别设置在所述主机体的正面和背面的第一摄像头和第二摄像头；感测单元，该感测单元感测在驱动第一摄像头和第二摄像头时主机体移动的程度；以及控制器，当选择全景拍摄模式时，该控制器以第一摄像头和第二摄像头根据主机体的移动拍摄它们各自的图像的方式同时驱动第一摄像头和第二摄像头，并且当主机体的感测到的移动的程度落到预定基准范围之外时，该控制器停止拍摄并且将由第一摄像头拍摄的第一图像与由第二摄像头拍摄的第二图像连接以产生至少一个全景照片。该主机体在预定基准范围内的旋转使得能够产生全景照片。
【专利说明】移动终端和控制移动终端的方法

【技术领域】
[0001] 本公开涉及移动终端和控制移动终端的方法，更具体地说，涉及能够利用设置在 其主机体中的摄像头执行全景拍摄的移动终端和控制移动终端的方法。

【背景技术】
[0002] 电子装置包括移动终端（诸如便携式电话、智能电话、膝上型计算机、数字广播终 端、个人数字助手（PDA)、便携式多媒体播放器（PMP)和导航器）和固定终端（诸如数字TV 和桌上型计算机）。
[0003] 随着电子装置的功能变得更加多样化，电子装置可支持更复杂的功能（诸如拍摄 图像或视频、再现音乐或视频文件、玩游戏和接收广播信号等）。通过全面并且全体实现这 样的功能，电子装置可以以多媒体播放器或装置的形式实施。已经进行了各种尝试，以经由 硬件或软件在这样的多媒体装置中实现复杂功能。
[0004] 另一方面，移动终端装配有全景拍摄功能。通过执行移动终端的全景拍摄功能，用 户可获得全景照片，该全景照片通过将沿向左/向右方向或沿向上/向下方向单独拍摄的 图像连接而产生，由此在向左/向右方向或向上/向下方向比正常照片大。
[0005] 近年来，360度全景照片已经实现了增多的普及性。在360度全景照片中，拍摄开 始的部分与拍摄结束的部分相同。当设置在移动终端中的摄像头拍摄用于360度全景照片 的图像时，用户不得不将移动终端的主机体旋转360度。然而，不便之处在于用户不易用他 /她的手将主机体旋转360度。而且，如果在用摄像头拍摄用于360度全景照片的周围风 景图像时，用户希望包括观看风景的他/她的面部表情的图像，则在360度全景照片中，他 /她所经历的不便之处在于必须拍摄面部表情的图像然后组合这些图像。
[0006] 上面的参考在合适的情况下通过引用而并入于此，以恰当地教导附加的或另选的 细节、特征和/或技术背景。


【发明内容】

[0007] 因此，详细描述的一个方面是提供一种移动终端，该移动终端能够在用设置在移 动终端上的摄像头拍摄用于360度全景照片的图像时不将移动终端的主机体旋转360度的 情况下，同时拍摄周围风景图像和观看周围风景的用户的面部表情的图像的移动终端和控 制移动终端的方法。
[0008] 详细描述的另一个方面是提供一种移动终端，该移动终端能够以易观察方式显示 所拍摄图像合成的至少一个360度全景照片并且能够容易控制所显示的全景照片，和控制 移动终端的方法。
[0009] 为了实现这些和其它优点并且根据该说明书的目的，如本文具体实施和广泛描述 的，提供了一种移动终端，该移动终端包括主机体；分别设置在所述主机体的正面和背面的 第一摄像头和第二摄像头；感测单元，该感测单元感测在驱动所述第一摄像头和第二摄像 头时所述主机体移动的程度；以及控制器，当选择全景拍摄模式时，该控制器以所述第一摄 像头和第二摄像头根据所述主机体的移动拍摄它们各自的图像的方式同时驱动第一摄像 头和第二摄像头，并且当所述主机体的感测到的移动的程度落在预定基准范围之外时，停 止拍摄并且将由所述第一摄像头拍摄的第一图像与由所述第二摄像头拍摄的第二图像连 接以产生至少一个全景照片。
[0010] 在移动终端中，当分别由所述第一摄像头和第二摄像头根据主机体的移动拍摄的 初始图像和当前图像彼此交叠时，所述控制器可以停止驱动第一摄像头和第二摄像头并且 将第一图像和第二图像连接以产生至少一个全景照片。
[0011] 在要求保护的移动终端中，当用户图像提取功能被选择时，所述控制器可以去除 所产生的全景照片中包括的用户图像，并且可以从连接的在前图像和在后图像提取被所去 除的用户图像隐藏的风景图像，并且执行与所提取的风景图像组合。
[0012] 在移动终端中，当全景拍摄模式被选择时，控制器可以记录通过主机体的麦克风 输入的声音信号，直到停止对所述第一摄像头和第二摄像头的驱动为止。
[0013] 在移动终端中，当全景拍摄模式被选择时，感测单元可以感测主机体的移动，并且 当主机体的旋转角度超过基准角度时，控制器可以停止驱动第一摄像头和第二摄像头并且 连接第一图像和第二图像，以产生所述至少一个全景照片。
[0014] 在移动终端中，当全景拍摄模式被选择时，感测单元可以感测主机体的用户充当 中心轴线的圆周运动的移动，并且当根据主机体的移动在圆心处的角度超过基准角度时， 所述控制器可以停止驱动所述第一摄像头和第二摄像头，并且可以连接由所述第一摄像头 拍摄的所述第一图像以产生第一全景照片，并且连接由所述第二摄像头拍摄的所述第二图 像以产生第二全景照片。
[0015] 在移动终端中，当全景拍摄模式被选择时，所述控制器可以进入所述第一摄像头 的预览画面并且在预览画面上显示用于以所述用户图像位于预定区域上的方式引导用户 图像的框。
[0016] 在移动终端中，控制器可以连接由所述第一摄像头拍摄的、在框内的用户图像，以 产生所述第一全景照片，并且组合由所述第一摄像头拍摄的所述框外的图像和由所述第二 摄像头拍摄的背景图像以产生所述第二全景照片。
[0017] 在移动终端中，控制器可以以不与所述第一图像和第二图像交叠的方式在所述第 一图像和第二图像上显示时间、位置和方向信息，这些信息在所述第一摄像头和第二摄像 头根据所述主机体的移动拍摄它们各自的图像的同时获得。
[0018] 移动终端可以还包括显示单元，向该显示单元输出所述产生的全景照片，其中，基 于用户输入，控制器可以以所产生的全景照片被输出为预定形状的二维照片或预定形状的 三维照片的方式控制所述显示单元。
[0019] 在移动终端中，当在向所述显示单元输出作为所述二维照片的所述全景照片的状 态下检测到第一触摸输入时，所述控制器可以将所述全景照片改变为所述预定形状的所述 三维照片并且输出所产生的三维照片，并且当在向所述显示单元输出作为三维照片的全景 照片的状态下检测到第二触摸输入时，控制器可以将全景照片改变为预定形状的二维照 片，并且输出所产生的二维照片。
[0020] 在移动终端中，在向所述显示单元输出全景照片的状态下，感测单元附加地感测 主机体的倾斜，并且控制器可以根据感测到的倾斜的方向使全景照片旋转。
[0021] 在移动终端中，当在向显示单元输出所述全景照片的状态下在全景照片上感测到 沿一个方向的触摸输入时，控制器可以根据感测到的触摸输入以与触摸输入的强度对应的 速度旋转所述全景照片。
[0022] 在移动终端中，当在向所述显示单元输出全景照片的状态下再现功能被选择时， 控制器可以沿一个方向旋转全景照片并且可以同时附加地输出与全景照片对应的声音，直 到当前输出到显示单元的图像再次出现为止。
[0023] 在移动终端中，当相对于所述第一全景照片再现功能被选择时，控制器可以使第 二全景照片以所述第二全景照片对应于当前图像、旋转方向和旋转速度的方式旋转。
[0024] 在移动终端中，显示单元可以被分为第一区域和第二区域，并且控制器可以向第 一区域输出通过连接由第一摄像头拍摄的用户图像而产生的第一全景照片，并且向第二区 域输出通过连接由第一摄像头和第二摄像头拍摄的背景图像而产生的第二全景照片。
[0025] 在移动终端中，控制器可以向第一区域输出第一全景照片作为二维照片或三维照 片），并且向第二区域输出输出第二全景照片作为所述三维照片。
[0026] 在移动终端中，响应于所述第一全景照片被下推然后被拖到所述第二全景照片的 手势输入，所述控制器可以以按照所述第二全景照片被放大到整个屏幕的方式输出所述第 二全景照片的方式执行控制，并且可以以按照将所述第一全景照片定位在所述第二全景照 片内的方式输出所述第一全景照片的方式执行控制。
[0027] 在移动终端中，响应于将第一全景照片从第一全景照片定位在的第二全景照片拉 出的手势输入，控制器可以以缩小第二全景照片的尺寸的方式输出第二全景照片，并且以 使第一全景照片移动到与手势输入对应的区域的方式输出第一全景照片。
[0028] 为了实现这些和其它优点并且根据本说明书的目的，如本文中具体实施和广泛描 述的，提供了一种控制移动终端的方法，该移动终端装配有分别设置在其主机体的正面和 背面的第一摄像头和第二摄像头，该方法包括以下步骤：当全景拍摄模式被选择时，同时驱 动所述第一摄像头和第二摄像头，以使所述第一摄像头和第二摄像头根据所述主机体拍摄 它们各自的图像；当由所述第一摄像头拍摄的初始图像和由所述第二摄像头拍摄的当前图 像彼此交叠时停止所述第一摄像头和第二摄像头的驱动；以及将由所述第一摄像头拍摄的 第一图像和由所述第二摄像头拍摄的第二图像连接以产生至少一个全景照片。
[0029] 本申请的应用性的进一步范围从下面给出的详细描述将变得更明显。然而，应该 理解的是，由于在公开的精神和范围内的各种改变和修改对于本领域技术人员而言从详细 描述将变得明显，所以仅通过说明的方式给出了指示公开的优选实施方式的详细描述和特 定示例。

【专利附图】

【附图说明】
[0030] 附图被包括以提供公开的进一步理解并且被并入本说明书且构成本说明书的一 部分，附图示出示例性实施方式，并且与描述一起用于解释公开的原理。
[0031] 在附图中：
[0032] 图1是例示根据本公开的一个实施方式的移动终端的框图；
[0033] 图2A和图2B分别是例示根据本公开的一个实施方式的移动终端从正面和背面看 时的一个示例的立体图；
[0034] 图3是例示根据本公开的一个实施方式的移动终端的控制方法的示例性流程图；
[0035] 图4A至图4C是用于描述图3中的控制方法的图；
[0036] 图5示出用于描述产生全景照片的方法的图，从该全景照片去除了根据本公开的 一个实施方式执行全景拍摄时所包括的特定对象；
[0037] 图6A至图6C是用于描述方法的图，该方法中，通过使主机体仅在根据本公开的一 个实施方式的预定基准范围内移动同时产生所述多个全景照片；
[0038] 图7A至图7C是用于描述方法的图，各个方法中，根据本公开的一个实施方式所产 生的360度全景照片被输出到屏幕；
[0039] 图8不出用于描述方法的图，该方法中，根据本公开的一个实施方式所产生的360 度全景照片被转换为二维照片或三维照片；
[0040] 图9A至图9C是用于描述方法的图，该方法中，根据本公开的一个实施方式，多个 全景照片被同时输出到屏幕；以及
[0041] 图10A至图10B是用于描述方法的图，该方法中，显示多个全景照片的方式通过根 据本公开的一个实施方式的用户手势输入而改变。

【具体实施方式】
[0042] 下文中，将参照附图更加详细地说明本公开。为了参照附图简要描述起见，相同或 等同部件将设置相同的附图标记，并且其描述将不重复。用于在下面的描述中的部件的后 缀"模块"或"单元或部"仅为有助于准备本说明书而提供，并且后缀本身不赋予特定含义 或功能。如果相关技术的详细描述被认为不在本公开的范围之内，则这样的详细描述被省 略。而且，还应当理解，实施方式不被上述描述的任何细节所限制，而应当被广泛解释为在 其精神和范围内，并且本公开旨在涵盖本公开的落入权利要求书及其等同物的范围内的修 改和变型。
[0043] 该描述中的终端可以包括移动终端，诸如便携式电话、智能电话、笔记本计算机、 数字广播终端、个人数字助理（PDA)、便携式多媒体播放器（PMP)、导航仪、板状PC、平板PC、 超极本等。然而，对于本领域技术人员来说明显的是，除了用于移动的特定构造，本公开还 可以应用于诸如数字TV和台式电脑等的固定终端。
[0044] 图1是根据本公开的实施方式的移动终端的框图。
[0045] 如图1所示，移动终端100包括无线通信单元110、音频/视频（A/V)输入单元 120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180 和电源单元190。图1示出了具有多种部件的移动终端100,但理解是，实现所有示出的部 件不是必需的。移动终端100可以由更多或更少的部件实现。
[0046] 下文中，将说明上述部件中的各个部件。
[0047] 无线通信单元110通常包括允许在移动终端100与无线通信系统之间进行无线通 信或者允许在移动终端100与移动终端所处的网络之间进行无线通信的一个或更多个部 件。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块 113、短距离通信模块114和位置信息模块115等中的至少一种。
[0048] 广播接收模块111经由广播信道从外部广播管理服务器（或其它网络实体）接收 广播信号和/或广播相关信息。
[0049] 广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是产生和发送 广播信号和/或广播相关信息的服务器，或者是接收先前产生的广播信号和/或广播相关 信息并将该广播信号和/或广播相关信息发送到终端的服务器。广播相关信息可以指与广 播信道、广播节目或广播服务提供商关联的信息。广播信号可以包括TV广播信号、无线电 广播信号和数据广播信号等。而且，广播信号还可以包括组合有TV或无线电广播信号的数 据。
[0050] 广播相关信息也可以经由移动通信网络提供，并且在这种情况下，广播相关信息 可以由移动通信模块112接收。
[0051] 广播信号可以以各种形式存在。例如，广播信号可以以数字多媒体广播（DMB)的 电子节目指南（EPG)、手持数字视频广播（DVB-Η)的电子服务指南（ESG)等的形式存在。
[0052] 广播接收模块111可以被构造成接收利用各种广播系统广播的信号。具体地， 广播接收模块111通过利用诸如地面数字多媒体广播（DMB-T)、卫星数字多媒体广播 (DMB-S)、手持数字视频广播（DVB-Η)、仅媒体前向链路（McdiaFLO?)、地面综合业务数字 广播（ISDB-T)等的数字广播系统广播可以接收数字广播。广播接收模块111可以被构造 成适合于提供广播信号的每种广播系统以及上述数字广播系统。
[0053] 经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器 160 中。
[0054] 移动通信模块112向/从基站、外部终端、服务器中的至少一方发送和/或接收无 线信号。这种无线信号可以包括音频通话信号、视频通话信号或者根据文本和/或多媒体 消息的发送和/或接收的各种类型的数据。
[0055] 移动通信模块112被构造成实现视频通话模式和语音通话模式。视频通话模式指 示在用户观看另一方的同时所执行的通话，而语音呼叫模式指示用户不观看另一方的同时 所执行的通话。为了实现视频通话模式和语音通话模式，移动通信模块112被构造成收发 语音数据和图像数据中的至少一种。
[0056] 无线互联网模块113支持移动通信终端的无线互联网接入。该模块可以内部或 者外部连接到移动终端100。这里，作为无线互联网技术，可以使用无线局域网（WLAN)、 Wi-Fi、无线宽带（WiBro)、微波接入全球互通（WiMAX)、高速下行链路分组接入（HSDPA)等。
[0057] 短距离通信模块114是用于支持短距离通信的模块。短距离通信技术的一些示例 包括蓝牙TM、射频识别（RFID)、红外数据协会（IrDA)、超宽带（UWB)、ZigBee?等。
[0058] 位置信息模块115是用于获取移动通信终端的定位（或位置）的模块。例如，位 置信息模块115可以包括全球定位系统（GPS)模块。
[0059] A/V输入单元120被构造成接收音频或者视频信号。A/V输入单元120可以包括摄 像头121和麦克风122。摄像头121处理在视频拍摄模式或者图像拍摄模式中由图像拍摄 装置获取的静态照片或者视频的图像数据。经处理的图像帧可以显示在显示单元151上。
[0060] 经摄像头121处理的图像帧可以存储在存储器160中，或者可以经由无线通信单 元110发送。
[0061] 麦克风123在电话通话模式、记录模式和语音识别模式等模式中经由麦克风可以 接收声音（可听信号），并且可以将这种声音处理成音频数据。经处理的音频（语音）数 据可以为了输出而被转换为能够在电话通话模式的情况下经由移动通信模块112发送到 移动通信基站的格式。麦克风123可以实现各种噪声消除（或抑制）算法，以消除（或抑 制）在接收和发送音频信号的过程中产生的噪声或干扰。
[0062] 用户输入单元130根据由用户输入的命令可以产生键盘输入数据以控制移动通 信终端的各种操作。用户输入单元130允许用户输入各种类型的信息，并且可以包括键区、 薄膜开关、触摸板（例如，检测因被触摸而产生的电阻、压力、电容等的变化的触敏构件）、 滚轮、拨动开关等。
[0063] 感测单元140检测移动终端100的当前状况（或状态），诸如移动终端100的打开 /关闭状态、移动终端100的位置、用户是否触摸（接触）移动终端100 (例如，触摸输入）、 移动终端100的方位、移动终端100的加速或减速移动和方向等，并且产生用于控制移动终 端100的操作的命令或信号。例如，当移动终端100被实现为滑盖型移动电话时，感测单元 140可以感测滑盖电话是打开还是关闭的。另外，感测单元140可以感测电源单元190是否 供电或接口单元170与外部装置之间是否连接。
[0064] 输出单元150被构造成以视觉、听觉和/或触觉方式提供输出（诸如音频信号、视 频信号或触觉信号等）。输出单元150可以包括显示单元151、音频输出模块152、告警单元 153、触觉模块154等。
[0065] 显示单元151可以显示在移动终端100中处理的信息。例如，当移动终端100在 电话通话模式中时，显示单元151可以显示与通话相关的用户界面（UI)或者图形用户界面 (⑶I)。当移动终端100处于视频通话模式或拍摄模式时，显示单元151可以显示拍摄的和 /或接收到的图像、或UI或GUI。
[0066] 显示单元151可以包括液晶显示器（IXD)、薄膜晶体管-IXD(TFT-IXD)、有机发光 二极管（0LED)显示器、柔性显示器、三维（3D)显示器和电子油墨显示器中的至少一种。 [0067] 这样的显示器中的一些可以被构造成透明的，使得通过显示器能够看到外部，这 被称为"透明显示器"。该透明显示器的代表性示例可以包括透明有机发光二极管（T0LED) 等。移动终端100可以包括两个或更多个显示单元151。例如，移动终端可以包括外部显示 单元（未示出）和内部显示单元（未示出）。触摸屏可以被构造成检测触摸输入压力以及 触摸输入位置和触摸输入区域。
[0068] 显示单元151可以根据移动终端100的配置的方面在数目方面实现为两个或更多 个。例如，多个显示器可以整体地或分开地或设置在一个面上，或者可以设置在不同的面 上。
[0069] 这里，如果显示单元151和触敏传感器（称为触摸传感器）在其间具有层结构，则 该结构可以被称作触摸屏。显示单元151可以被用作输入装置而不是输出装置。触摸传感 器可以被实现为触摸膜、触摸片、触摸板等。
[0070] 触摸传感器可以被构造成将施加到显示单元151的特定部分的压力的改变或在 显示单元151的特定部分发生的电容的改变转换成电输入信号。而且，触摸传感器可以被 构造成不仅感测触摸的位置和触摸的区域，还感测触摸压力。
[0071] 当触摸传感器感测到触摸输入时，向触摸控制器（未示出）发送相应的信号。处 理控制器处理接收到的信号，然后向控制器180发送相应的数据。因此，控制器180可以感 测显示单元151的哪个区域被触摸。
[0072] 参照图1，接近传感器可以设置在移动终端的被触摸屏覆盖的内部区域或靠近触 摸屏。接近传感器指示在没有机械接触的情况下利用电磁场或红外线来感测是否存在对象 接近将被感测的表面或者是否存在在将被感测的表面附近设置的对象的传感器。接近传感 器具有比接触传感器更长的寿命和更增强的可用性。
[0073] 接近传感器可以包括光学透射型光电传感器、直接反射型光电传感器、镜面反射 型光电传感器、高频振荡接近传感器、电容型接近传感器、磁性接近传感器和红外接近传感 器等。当触摸屏被实现为电容型时，通过电磁场的变化来感测指示物到触摸屏的接近。在 这种情况下，触摸屏（触摸传感器）可以被分类成接近传感器。
[0074] 在下面的描述中，为了简洁起见，将指示物位置靠近触摸屏但没有接触的识别称 为"接近触摸"，而将指示物实质上与触摸屏接触的识别称为"接触触摸"。在这种情况下， 当指示物处于接近触摸的状态下时，表示指示物位于与触摸屏垂直对应。
[0075] 接近传感器检测接近触摸和接近触摸模式（例如，接近触摸距离、接近触摸速度、 接近触摸时间、接近触摸位置、接近触摸移动状态等），并且与检测到的接近触摸操作和接 近触摸模式对应的信息可以输出到触摸屏。
[0076] 在呼叫信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等中，音 频输出模块152可以输出从无线通信单元110接收到的或者存储在存储器160中的音频数 据。而且，音频输出模块152可以提供与由移动终端100中执行的特定功能相关的音频输 出（例如，呼叫信号接收声音、消息接收声音等）。音频输出模块153可以包括接收器、扬声 器、蜂鸣器等。
[0077] 告警单元153输出用于对移动终端100的事件的发生进行通知的信号。在移动终 端中产生的事件可以包括呼叫信号接收、消息接收、键信号输入等。除了视频或音频信号之 夕卜，告警单元153可以以不同的方式输出信号，以通知事件的发生。例如，告警单元153可 以以振动的形式输出信号。这种视频信号或音频信号可以通过显示单元151或音频输出模 块152输出。因此，显示单元151或音频输出模块152可以被归类为告警单元153的一部 分。
[0078] 触觉模块154产生用户可以感觉到的各种触感效果。由触觉模块154产生的触感 效果的典型示例是振动。触觉模块154的强度和模式可以被控制。例如，不同的振动可以 被组合进行输出，或者被按顺序输出。
[0079] 除了振动以外，触觉模块154可以产生各种其它触觉效果，例如，针列相对于接触 的皮肤垂直移动的刺激效果、通过喷孔或吸孔的空气喷力或空气吸力的刺激效果、接触皮 肤的刺激效果、接触电极的刺激效果、静电力的刺激效果等、利用能够吸热或发热的元件来 再现冷和热的感觉的效果。
[0080] 触觉模块154可以被实现为允许用户通过诸如用户的手指或手臂的肌觉来感觉 触觉效果，以及通过直接接触来传递触觉效果。根据移动终端100的配置，可以设置两个或 更多个触觉模块154。
[0081] 存储器160可以存储用于由控制器180执行的处理和控制操作的软件程序，或者 可以临时存储输入或输出的数据（例如，地图数据、电话簿、消息、静态图像、视频等）。存储 器160可以存储当在触摸屏上输入触摸时所输出的关于各种模式的振动和声音的数据。
[0082] 存储器160可以包括至少一种类型的存储介质，所述至少一种类型的存储介质包 括闪存、硬盘、多媒体微型卡、卡型存储器（例如，SD或者DX存储器等）、随机存取存储器 (RAM)、静态随机存取存储器（SRAM)、只读存储器（ROM)、电可擦除可编程ROM (EEPROM)、可 编程只读存储器（PROM)、磁性存储器、磁盘和光盘。而且，移动终端100可以与经由互联网 执行存储器160的存储功能的网络存储装置相关地操作。
[0083] 接口单元170用作与移动终端100连接的每个外部装置的接口。例如，接口单元 170可以向外部装置发送数据，接收并向移动终端100的各个元件发送电力，或者向外部装 置发送移动终端100的内部数据。例如，接口单元170可以包括有线或无线耳机端口、外部 电源端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频 输入/输出（I/O)端口、视频I/O端口、耳塞端口等。
[0084] 这里，识别模块可以是存储有用于对使用移动终端100的权限进行认证的各种信 息的芯片，并且可以包括用户身份模块（ΠΜ)、订户身份模块（SM)以及通用订户识别模块 (USIM)等。另外，具有识别模块的装置（在下文称为"识别装置"）可以采用智能卡的形式。 因此，识别装置可以经由端口与移动终端100连接。
[0085] 当移动终端100与外部托架连接时，接口单元170可以用作通路以允许通过该通 路将电力从托架提供给移动终端100,或者可以用作通路以允许由用户输入的各种命令信 号通过该通路从托架转送给移动终端。从托架输入的各种命令信号或电力可以用作用于识 别移动终端被正确地安装在该托架上的信号。
[0086] 控制器180通常控制移动终端的整体操作。例如，控制器180执行与语音通话、数 据通信、视频通话等相关的控制和处理。控制器180可以包括用于再现多媒体数据的多媒 体模块181。多媒体模块181可以被构造在控制器180内，或者可以被构造成与控制器180 分开。
[0087] 控制器180可以执行模式识别处理，以将在触摸屏上执行的手写输入或画图输入 分别识别为字符或图像。
[0088] 在满足移动终端的预设条件时，控制器180就可以执行锁定状态以限制用户输入 对于应用的控制命令。并且，控制器180可以基于在锁定状态下由显示单元（下文中将称 作"触摸屏"）感测到的触摸输入来控制在锁定状态下显示的锁定画面。
[0089] 电源单元190在控制器180的控制下，接收外部电力或内部电力，并提供用于操作 各元件和组件所需的适合的电力。
[0090] 本文描述的各种实施方式可以利用例如软件、硬件或者其任意组合在计算机可读 介质或其类似介质中实现。
[0091] 针对硬件实现，本文描述的实施方式可以利用以下中的至少一种来实现：专用集 成电路（ASIC)、数字信号处理器（DSP)、数字信号处理装置（DSPD)、可编程逻辑器件（PLD)、 现场可编程门阵列（FPGA)、处理器、控制器、微控制器、微处理器和被设计为执行本文描述 的功能的电子单元。在一些情况下，这些实施方式可以由控制器180自身来实现。
[0092] 针对软件实现，诸如本文描述的过程或功能的实施方式可以通过独立的软件模块 来实现。各软件模块可以执行本文描述的一个或更多个功能或操作。
[0093] 软件代码可以通过用任何适当的编程语言所编写的软件应用来实现。软件代码可 以存储在存储器160中，并且可由控制器180来执行。
[0094] 下文中，将说明根据本公开的实施方式的图1的移动终端的结构。
[0095] 图2A是根据本公开的实施方式的移动终端的正面立体图，并且图2B是根据本公 开的实施方式的移动终端的背面立体图。
[0096] 根据本公开的移动终端100是直板型移动终端。然而，本公开不限于此，而可以 应用于两个或更多个主机体彼此耦接以便执行相对运动的滑盖型、折叠型、旋转型、摆动型 等。
[0097] 移动终端100的机体具有正面、侧面和背面。机体沿纵向具有两端。
[0098] 形成机体的外观的壳体（壳、外壳、外罩等）可以包括前壳体101和后壳体102。 由前壳体101和后壳体102形成的空间可以容纳各种部件。还可以在前壳体101与后壳体 102之间配置至少一个中间壳。
[0099] 这种壳体可以由注塑成型合成树脂材料形成，或者可以利用诸如不锈钢（STS)或 钛（Ti)等的金属材料形成。
[0100] 在前壳体101处，可以设置显示单元151、音频输出单元152、摄像头121、用户输入 单元130/131和132、麦克风123和接口单元170等。
[0101] 显示单元151占据前壳体101的主表面的大部分。音频输出单元152和摄像头 121设置在与立体显示单元151的一端相邻的区域处，并且用户输入单元131和麦克风123 可以设置在与显示单元152的另一端相邻的区域处。用户输入单元131、接口 170等可以设 置在前壳体101和后壳体102的侧面上。另一方面，麦克风123设置在机体的另一端处。
[0102] 用户输入单元130被操纵以接收用于控制移动终端100的操作的命令，并且可以 包括多个操纵单元131和132。操纵单元可以称作操纵部，并且可以包括可以以用户的触觉 方式被操纵的任意类型的单元。
[0103] 可以不同地设置通过第一或第二用户输入单元131和132输入的命令。例如，第 一操纵单元131被构造成接收诸如开始、结束、滚动等的命令，并且第二操纵单元132被构 造成输入用于控制从音频输出单元152输出的声音的等级的命令或用于将显示单元151的 当前模式转换为触摸识别模式的命令。
[0104] 参照图2B，音频输出单元152'可以另外设置在后壳体102处。音频输出单元152' 可以与音频输出单兀152 (参见图2A) -起实现立体声功能，并且可以用于以扬声器电话模 式进行呼叫。
[0105] 用于向移动终端100提供电力的电源单元190安装到机体。电源单元190可以安 装在机体中，或者可以可拆卸地安装到机体。
[0106] 用于感测触摸的触摸板135可以附加安装到后壳体102。类似于显示单元151，触 摸板135可以被形成为透光。在这种情况下，如果显示单元151被配置为从其两个表面输 出可视信息，则可以通过触摸板135识别可视信息。从两个表面输出的信息可以被触摸板 135控制。另选地，显示器可以附加安装到触摸板135,使得触摸屏可以设置在后壳体102 处。
[0107] 摄像头122可以另外设置在后壳体102上。摄像头122面对与摄像头121 (参见 图2A)面对的方向相反的方向，并且可以具有与摄像头121的像素不同的像素。
[0108] 例如，摄像头121可以以较低像素（低分辨率）工作。由此，当用户可以在视频通 话等期间拍摄他的脸并且将其发送到另一方时，摄像头121可以是有用的。另一方面，摄像 头122可以以相对高的像素（高分辨率）工作，使得其可以使用户获得更高质量的照片，以 便之后使用。摄像头121和122可以安装在机体处以旋转或弹出。
[0109] 可以附加地在后摄像头122附近设置闪光灯123和反射镜124。在利用摄像头122 拍摄照片时，闪光灯123与摄像头122连同工作。反射镜124可以与摄像头122合作，以允 许用户以自拍模式对自己拍照。
[0110] 音频输出单元252'可以另外设置在机体的背面上。音频输出单元252'（参见图 2A)可以与音频输出单元252 (参见图2A)合作，以实现立体声功能。而且，音频输出单元可 以被配置为作为免提进行工作。
[0111] 用于向移动终端100提供电力的电源单元190安装到机体。电源单元190可以安 装在机体中，或者可以可拆卸地安装到机体。
[0112] 触摸板135与前壳体101的显示单元151关联操作。触摸板135可以平行设置在 显示单元151的背面上。触摸板135的大小可以等于或小于显示单元151的大小。
[0113] 根据本公开的实施方式的移动终端100(包括上述构成元件中的至少一个或更多 个）包括分别在其主机体的正面和背面上的第一摄像头121和第二摄像头122。当通过用 户输入选择全景拍照模式时，控制器180以第一摄像头121和第二摄像头122根据主机体 的移动拍摄它们各自的图像的方式同时驱动第一摄像头121和第二摄像头122。在全景拍 摄模式中，感测主机体移动的程度。当程度超过预定基准范围时，结束拍摄，并且通过组合 分别由第一摄像头121和第二摄像头和122拍摄的第一和第二图像产生至少一个全景照 片。
[0114] 预定基准范围这里指的是进行拍摄直到由第一摄像头121拍摄的初始图像和由 第二摄像头122拍摄的当前图像彼此交叠为止的范围。
[0115] 当选择全景拍摄模式时，如果在360度全景拍摄模式中，用户使主机体绕旋转轴 线旋转，虽然因为第一摄像头121和第二摄像头122位于相反位置，但是主机体仅旋转180 度，第一摄像头121开始拍摄的点或者用户凝视方向与第二摄像头122当前执行拍摄的点 或用户凝视方向也彼此一致。因此，当在360度全景拍摄模式下主机体旋转的旋转角度超 过180度时，组合由第一摄像头121拍摄的图像和由第二摄像头122拍摄的图像以获得360 度全景照片。
[0116] 当以该方式选择全景拍摄模式时，根据本公开的实施方式，通过同时驱动设置在 移动终端的正面和背面的摄像头并且仅在预定范围内旋转主机体，360度全景拍摄是可能 的。由此，周围风景和观看周围风景的用户的面部表情同时被拍摄到全景照片中。
[0117] 下面参照图1、图3和图4A至图4C详细描述利用根据本公开的实施方式的移动终 端产生全景照片的方法。与此关联，图3是例示根据本公开的一个实施方式的移动终端的 控制方法的示例性流程图。图4A至图4C是用于描述图3中的控制方法的图。
[0118] 首先，假定第一摄像头和第二摄像头设置在移动终端100的主机体的正面和背 面。
[0119] 参照图3,当通过用户输入等选择全景拍照模式时（S31)，控制器180以第一摄像 头121和第二摄像头122根据主机体的移动拍摄它们各自的图像的方式同时驱动第一摄像 头121和第二摄像头122 (S32)。例如，设置在主机体正面上的第一摄像头121拍摄随时间 变化的用户图像和根据主机体的移动而变化的背景图像，并且设置在主机体背面上的第二 摄像头122仅拍摄根据主机体的移动而变化的背景图像。
[0120] 此时，如果第一摄像头121和第二摄像头122的分辨能力彼此不同，则具有更高分 辨能力的摄像头的分辨率被调节为具有低分辨能力的摄像头的分辨率。即，改变任意一个 摄像头的分辨率。调节之后，执行全景拍摄。
[0121] 在全景拍摄模式中，感测单元140感测主机体的移动。具体地，感测单元140感测 到主机体绕主机体的中心轴线旋转。另外，感测单元140感测到主机体以用户充当中心轴 线的圆周运动移动。
[0122] 例如，图4A和图4B例示了用户分别使主机体沿向左/向右方向（例如，水平方向） 并沿向上/向下方向（例如，垂直方向）绕主机体的中心轴线旋转。图4C例示了握住主机 体的用户使主机体沿向左/向右方向（例如，水平方向）（他/她充当中心轴线）在180° 至360度的范围内以圆周运动进行移动。
[0123] 在全景拍摄模式中，控制器180确定主机体移动的程度是否落在该范围之外 (S33)。
[0124] 例如，如果全景拍摄模式是用于360度全景拍摄，则当由第一摄像头121拍摄的初 始图像和由第二摄像头122拍摄的当前图像彼此交叠时，控制器180确定主机体移动的程 度落在预定基准范围之外。
[0125] 当确定主机体移动的程度落在预定基准范围之外时，控制器180停止驱动第一摄 像头和第二摄像头，从而结束全景拍摄（S34)。
[0126] 下文中，将由第一摄像头121拍摄的图像和由第二摄像头122拍摄的图像连接 (组合），以产生至少一个全景照片（S35)。
[0127] 具体地，在使主机体从向左/向右方向和向上/向下方向旋转的同时执行全景的 情况下，当主机体的旋转角度超过基准角度时，控制器180停止驱动第一摄像头和第二摄 像头并且将由第一摄像头拍摄的第一图像的开始点和由第二摄像头拍摄的第二图像的结 束点相连接，以产生一个360度全景照片。
[0128] 例如，如图4A和图4B所例示，控制器180将设置在主机体正面上的第一摄像头 121在沿左到右方向（沿图4A中的A方向）（或右到左方向）或沿上到下方向（沿图4B的 B方向）（或沿下到上方向）旋转（在0至180度的范围中旋转）的同时拍摄的图像以及与 第一摄像头拍摄的那些图像不同的、设置在主机体背面上的第二摄像头122在沿相同方向 旋转180度（在180度至360度的范围中旋转）的同时拍摄的图像组合以获得一个360度 全景照片。
[0129] 此时，可以如下所述删除第一摄像头121和/第二摄像头122在旋转的同时拍摄 的图像中所包括的用户图像（或不同的特定对象）。
[0130] 在移动终端的主机体以用户充当基准轴线沿向左/向右方向以圆周运动移动的 同时执行全景拍摄的情况下，当根据主机体的移动圆心处的角度超过基准角度（例如，180 度或360度）时，控制器180停止驱动弟一摄像头和弟-摄像头并且将由弟一摄像头121 拍摄的图像连接，以产生第一全景照片并且将由第二摄像头122拍摄的图像连接，以产生 第二全景照片。
[0131] 例如，如图4C所例示，响应于在用户充当基准轴线的情况下使移动终端的主机体 沿左到右方向（沿图4C中的C方向）（或沿右到左方向）旋转360度或180度的旋转，控制 器180获得第一 360度全景照片（或第一 360度全景照片）（由第一摄像头121拍摄的用 户的面部表情的变化的图像和背景图像连接成该第一 360度全景照片）并且获得第二360 度全景照片（由第二摄像头122拍摄的风景图像连接成该第二360度全景照片）（或360 度全景照片（由第一摄像头121拍摄的背景图像和由第二摄像头122拍摄的风景图像连接 成该360度全景照片））。
[0132] 另外，在使主机体沿向左/向右和向上/向下方向旋转或使主机体在用户充当基 准轴线的情况下圆周运动进行移动的同时执行拍摄的情况下，可以通过将在使主机体沿向 左/向右方向旋转的同时拍摄的图像和在使主机体沿向上/向下方向旋转的同时拍摄的图 像组合来获得沿向左/向右方向和沿向上/向下方向旋转的360度全景照片。
[0133] 在执行全景拍摄的同时，控制器180记录在停止驱动第一摄像头121和第二摄像 头122之前通过麦克风123输入的声音信号。所记录的声音信号与全景照片中所拍摄图像 一起存储，并且当输出或再现全景照片时，所记录的声音信号与全景照片同步输出。
[0134] 另外，在执行全景拍摄的同时（S卩，在第一摄像头121和第二摄像头122根据主机 体的移动拍摄它们各自的图像的同时），控制器180以交叠拍摄图像的方式显示时间信息、 位置信息和指南针方向信息。
[0135] 例如，参照图7A，如果根据本公开的实施方式所产生的360度全景照片根据用户 手势输入旋转，则指示符740 (指示与全景拍摄时所包括的对应图像有关的位置信息、拍摄 时间和指南针方向信息）以文本形式或图形图像的形式显示在显示单元151的一个区域 上。
[0136] 另一方面，当在步骤S33中确定主机体移动的程度落入预定基准范围内时，执行 步骤S32,即，继续同时驱动第一摄像头121和第二摄像头122,以根据主机体的移动拍摄它 们各自的图像，直到施加强制性结束输入为止。
[0137] 如上所述，根据本公开的实施方式的移动终端通过驱动设置在主机体正面和背面 上的摄像头并由此使主机体仅在预定范围内旋转，产生至少一个360度全景照片。
[0138] 下面描述方法，该方法中，当根据本公开，利用移动终端中设置的摄像头执行360 度全景拍摄时，按照去除了特定对象（例如，用户图像）以使隐藏的风景图像出现的方式产 生全景照片。
[0139] 与此关联，图5示出用于描述产生全景照片的方法的图，从该全景照片去除根据 本公开的一个实施方式执行全景拍摄时所包括的特定对象。
[0140] 当通过用户输入等选择全景拍照模式时，控制器180以第一摄像头121和第二摄 像头122根据主机体的移动拍摄它们各自的图像的方式同时驱动第一摄像头121和第二摄 像头122。在全景拍摄模式中，感测单元140感测主机体的移动，并且控制器180确定主机 体移动的程度是否落在预定基准范围之外。当主机体移动的程度落在预定基准范围之外时 (即，当由第一摄像头121拍摄的初始图像与由第二摄像头122拍摄的当前图像彼此交叠 时），控制器180停止驱动第一摄像头和第二摄像头并且将由第一摄像头121拍摄的图像和 由第二摄像头122拍摄的图像连接（组合）。
[0141] 此时，当通过用户输入单元130选择用户图像提取功能时，控制器180提取并去除 连接图像中所包括的用户图像。然后，控制器180从在前图像和在后图像提取由去除的用 户图像所隐藏的风景图像，并且执行与所提取的风景图像的组合。
[0142] 为此，控制器180通过将当前图像（从该当前图像提取用户图像）与当前图像之 前和之后拍摄的图像进行匹配（如果需要，可能与当前图像之前拍摄的多个图像进行匹配 并且与当前图像之后拍摄的多个图像进行匹配），来估计被用户图像隐藏的风景图像。
[0143] 例如，参照图5A和图5B，将由第一摄像头拍摄的第一图像510和由第二摄像头拍 摄的第二图像520平行设置。此时，如果用户图像包括在由第一摄像头121拍摄的图像510 中（例如，如果在使主机体以用户充当轴线做圆周运动而移动的同时执行全景拍摄），则假 定用户图像提取功能被选择。
[0144] 然后，控制器180去除第一图像511中包括的用户图像并且用第二图像512(后面 的图像）和最后图像525(先存图像）估计与被去除图像对应的风景图像。这样，用第三图 像513并用由第二摄像头122拍摄的第一图像521来估计与第四图像514中包括的用户图 像对应的风景图像。
[0145] 这样，去除了用户图像的图像530临时存储在存储器（未例示）中，并且连接到由 第二摄像头122拍摄的第二图像520,且作为一个全景照片输出。
[0146] 另外，如果期望其中恢复了被去除图像的全景照片，则凭借用户输入，控制器180 通过将在预存储的用户图像被去除之前存在的图像与不存在用户图像的图像连接，产生期 望的全景照片。
[0147] 另一方面，在另一个示例中，可以去除不同对象（例如，风景中包括的动物、岩石 或其它），而不是用户图像。
[0148] 具体地，例如，当由多个摄像头121和122拍摄的图像平行显示在显示单元151上 并且在用户触摸那些图像中的特定图像并由此以放大方式显示对应的图像的状态下时，沿 着期望被去除的特定图像的边界线以环状圆周运动输入触摸和拖拽（不限于此），控制器 180还从不同的图像提取对应的特定图像。
[0149] 通过这样做，用户获得全景照片，从该全景照片一次删除全景拍摄时不期望包括 的图像。
[0150] 参照图6A至图6C，下面描述了方法，该方法中，通过使主机体在全景拍摄时仅在 预定基准范围内移动，产生风景图像和示出了观看风景图像的用户的面部表情的变化的多 个全景照片。
[0151] 与此关联，图6A至图6C是用于描述方法的图，该方法中，根据本公开的一个实施 方式通过使主机体仅在的预定基准范围内移动同时产生多个全景照片。
[0152] 根据本公开的实施方式，当通过用户输入等选择全景拍摄模式时，控制器180进 入设置在主机体正面上的第一摄像头121的预览画面。此后，用于按照将用户图像设置在 预览画面的预定区域上的方式引导用户图像（例如，用户的脸）的框显示在预览画面上。
[0153] 此时，以用点线或实线画框的边界线的方式显示框，以将该框与其它区域区分开 来。另外，控制器180输出加亮效果或通过音频输出模块152 (参见图1)输出预定告警声 音，直到用户图像位于预定框中为止。
[0154] 例如，参照图6A，当进入预览画面（移动终端正面上设置的摄像头通过该预览画 面执行拍摄）时，控制器180在显示单元151的右边区域上输出矩形形状的框640,以便以 他/她出现在对应框640之内的方式引导用户。另一方面，通过设置在正面上的摄像头预 先观看的周围风景的图像显示在显示单元151的左部区域上。
[0155] 此时，框可以位于显示单元151的、不同于右部区域的区域上（例如，左部区域或 上/下区域），并且可以通过用户输入改变输出框的区域。另外，可以通过用户输入放大或 减小框的尺寸。
[0156] 在这样执行设置的状态下，控制器180以第二摄像头根据主机体拍摄不同图像的 方式驱动设置在移动终端背面上的第二摄像头。在全景拍摄模式中，感测单元140感测主 机体的移动，并且控制器180确定主机体移动的程度是否落在预定基准范围之外。
[0157] 例如，参见图6B，通过在用户面部位于设置在正面上的第一摄像头121的预览画 面上的框640之内的状态下，使移动终端100以用户充当中心轴线旋转180度，产生至少一 个360度全景照片。
[0158] 另一方面，当主机体移动的程度落在预定基准范围之外时（S卩，当由第一摄像头 121拍摄的初始图像与由第二摄像头122拍摄的当前图像彼此交叠时），停止驱动第一摄像 头和第二摄像头，并且将由第一摄像头121拍摄的图像和由第二摄像头122拍摄的图像连 接（组合），以产生至少一个全景照片。
[0159] 具体地，控制器180将由第一摄像头拍摄的、框内的用户图像连接，由此产生第一 全景照片。控制器将由第一摄像头拍摄的、框之外的图像和由第二摄像头拍摄的背景图像 组合，以产生第二全景照片。
[0160] 例如，参照图6C，作为图6B例示的旋转的结果，控制器180将由设置在主机体正面 上的第一摄像头121拍摄的图像610中的、框640之外的风景图像611a至614a与由设置 在主机体背面上的第二摄像头122拍摄的所有风景图像620连接，以产生一个360度全景 照片650。另外，在由第一摄像头121拍摄的图像610中，控制器180将框640之内的用户 图像（例如，用户面部）611b至614b连接，以产生180度全景照片660。
[0161] 按此方式产生的360度全景照片650和180度全景照片660分别不同地显示在显 示单元151的预定区域上。在以该方式在显示单元151上显示全景照片的状态下，控制器 180以预定速度旋转全景照片650和660,或者以与全景照片中包括的图像的数量成反比的 速度旋转。另外，在旋转全景照片650和660时，控制器180输出在拍摄全景照片中的图像 的同时通过麦克风123记录的声音。
[0162] 上面描述了根据本公开的实施方式利用多个摄像头产生180度全景照片的方法。 从现在开始，描述将所产生的360度全景照片输出到显示单元的方法。
[0163] 与此关联，图7A至图7C是用于描述方法的图，在各个方法中，将根据本公开的一 个实施方式所产生的360度全景照片被输出到屏幕。
[0164] 首先，当通过用户输入等选择全景拍照模式时，控制器180以第一摄像头和第二 摄像头根据主机体的移动拍摄它们各自的图像的方式同时驱动第一摄像头121和第二摄 像头122。在全景拍摄模式中，感测单元140感测主机体的移动，并且控制器180确定主机 体移动的程度是否落在预定基准范围之外。例如，如果全景拍摄模式用于360度全景拍摄， 则当由第一摄像头121拍摄的初始图像与由第二摄像头122拍摄的当前图像彼此交叠时， 控制器180确定主机体移动的程度落在预定基准范围之外。
[0165] 当确定主机体移动的程度落在预定基准范围之外时，控制器180停止驱动第一摄 像头和第二摄像头，从而结束全景拍摄。
[0166] 此后，将由第一摄像头121拍摄的图像和由第二摄像头122拍摄的图像连接（组 合），以产生至少一个全景照片。
[0167] 这样产生的至少一个360度全景照片被输出到移动终端100的显示单元151。
[0168] 基于用户输入（例如，全景照片输出命令），控制器180以所产生的全景照片被输 出为预定形状的二维照片或者被输出为预定形状的三维照片的方式控制显示单元151。
[0169] 此时，预定形状的二维图像表示在显示单元180的至少一个区域上以平面形状输 出的图像。预定形状的三维图像表示以三维形状（诸如带形、螺旋形、球形、多边形、圆柱形 和其它）在显示单元180的至少一个区域上输出的图像。
[0170] 在作为预定形状的二维照片的全景照片或作为预定形状的三维照片的全景照片 以该方式被输出到显示单元151的状态下，控制器180检测施加于所输出的全景照片的沿 一个方向的触摸输入。当检测到该触摸输入时，控制器180使全景照片沿着触摸输入的方 向以与触摸输入的强度对应的速度旋转。即，如图所示，使全景照片沿A方向旋转。
[0171] 例如，参照图7A，在所产生的360度全景照片以二维格式输出到显示单元151的状 态下，控制器180检测沿一个方向的触摸输入（例如，沿A方向的轻击触摸输入）并且使全 景照片根据检测到的输入方向和触摸强度旋转。即，轻击触摸输入的触摸强度越大，旋转速 度越快，并且轻击触摸输入的触摸强度越小，旋转速度越小。
[0172] 如果在使全景照片旋转的同时施加沿与旋转方向相反的方向的轻击触摸输入，则 旋转速度更小。另外，如果在使全景照片旋转的同时，向全景照片施加长触摸输入，或者施 加预定次数的触摸输入，则停止旋转。
[0173] 另外，如图7A所例示，在拍摄对应图像的同时获得的时间信息、位置信息和指南 针方向信息显示在被输出到显示单元151的360度全景照片的一个区域上。当全景照片旋 转并且因而改变当前输出到显示单元151的图像时，相应地改变时间信息、位置信息和指 南针方向信息。
[0174] 另外，在作为预定形状的二维照片的全景照片或作为预定形状的三维照片的全景 照片以该方式输出到显示单元151的状态下，感测单元140感测主机体的倾斜，并且控制器 180使全景照片沿着由感测单元140感测到的倾斜的方向旋转。
[0175] 例如，参照图7B，当感测到诸如从用户使主机体沿B方向倾斜产生的倾斜度的变 化时，360度全景照片在沿B方向旋转的同时输出到显示单元151。此时，当用户使主机体沿 相反方向倾斜时，沿B方向旋转的全景照片越来越慢，然后停止，并且当此后维持沿相反方 向的倾斜时，使360度全景照片沿对应的方向旋转。虽然图7B仅例示了沿向左/向右方向 的倾斜的变化，但是在360度全景照片是沿向上/向下方向的长照片的情况下，可以使360 度全景照片根据向上/向下方向的倾斜的变化旋转。
[0176] 另外，在作为预定形状的二维照片的全景照片或作为预定形状的三维照片的全景 照片以该方式被输出到显示单元151的状态下，选择再现功能时，控制器180在使全景照片 沿一个方向旋转的同时输出对应的声音，直到再次出现当前被输出到显示单元151的图像 为止。此时，例如，因为感测到接近触摸，所以用于选择再现功能的菜单栏可以被输出到显 示单元151的一个区域。
[0177] 例如，参照图7C，当在作为圆柱形的三维照片的360度全景照片输出到显示单元 151的状态下，在显示单元151的下部区域中感测到通过使用用户的手进行的接近触摸时， 显示与对应全景的再现有关的菜单栏740。当从所显示的菜单栏740选择再现功能时，控制 器180在自动旋转从拍摄360度全景照片的开始点到结束点的360度全景照片中的图像的 同时显示这些图像。此时，与再现速度的同步基于执行拍摄的同时获得的指南针方向信息 而变化。另外，如果包括拍摄时记录的语音或声音，则控制器180根据再现时间输出对应的 语音或声音。而且，控制器180另外显示指示条（例如，滚动条），用于在360度全景照片中 有效显示长图像（例如，沿水平轴线的轴线图像）。另外，预先在显示单元151的一个区域 (例如，下部区域）显示针对360度全景照片中的图像的缩略图图像。
[0178] 另外，在作为预定形状的二维照片的全景照片或作为预定形状的三维照片的全景 照片被输出到显示单元151的状态下，控制器180检测被输出的全景照片上的用户目光。为 此，使用紫外光传感器（未例示）和/或摄像头121来感测相对于显示单元151，用户的瞳 孔在预定范围内的移动。控制器180使所显示的全景照片根据以该方式感测到的用户目光 旋转。例如，当用户目光转移到左部时，全景照片向左旋转。
[0179] 图8不出用于描述一种方法的图，该方法中，根据本公开的一个实施方式所产生 的360度全景照片被转换为二维照片或三维照片。
[0180] 首先，当通过用户输入等选择全景拍照模式时，控制器180以第一摄像头和第二 摄像头根据主机体的移动拍摄它们各自的图像的方式同时驱动第一摄像头121和第二摄 像头122。在全景拍摄模式中，感测单元140感测主机体的移动，并且控制器180确定主机 体移动的程度是否落在预定基准范围之外。例如，如果全景拍摄模式用于360度全景拍摄， 则当由第一摄像头121拍摄的初始图像与由第二摄像头122拍摄的当前图像彼此交叠时， 控制器180确定主机体移动的程度落在预定基准范围之外。
[0181] 当确定主机体移动的程度落在预定基准范围之外时，控制器180停止驱动第一摄 像头和第二摄像头，从而结束全景拍摄。
[0182] 此后，将由第一摄像头121拍摄的图像和由第二摄像头122拍摄的图像连接（组 合），以产生至少一个全景照片。
[0183] 按此方式产生的至少一个360度全景照片被输出到移动终端100的显示单元151。
[0184] 基于用户输入（例如，全景照片转换命令），控制器180将被输出为预定形状的二 维照片的全景照片作为预定形状的三维照片输出或者将被输出为预定形状的三维照片的 全景照片作为预定形状的二维照片输出。
[0185] 具体地，当在全景照片（如二维形状）被输出到显示单元151的状态下，感测到第 一触摸输入时，控制器180将全景照片的全景形状改变为三维，并且以预定三维形状输出 全景照片。
[0186] 另外，当在全景照片（如三维形状）被输出到显示单元151的状态下，感测到第二 触摸输入时，控制器180将全景照片的全景形状改变为二维，并且以预定二维形状输出全 景照片。此时，第一触摸输入和第二触摸输入可以是彼此可区别的多触摸。
[0187] 例如，如图8的（c)所例示，放大触摸输入施加于被输出到显示单元151的二维 360度全景照片，控制器180将该全景照片转换为三维全景照片。具体地，如果输出的全景 照片仅沿水平轴线长，则如图8的（b)所示，这种全景照片被转换为作为圆柱形三维照片的 360度全景照片。如果输出的全景照片沿水平轴线和垂直轴线这两个轴线长，则如图8的 (c)所示，这种全景图像被转换为作为球形三维照片的360度全景照片。此时，例如，在背面 是不透明的且正面是半透明的情况下，可以显示圆柱形和球形的三维照片。另外，当双触摸 输入施加于作为由转换产生的三维照片的360度全景照片中的特定图像时，控制器180以 沿横向和纵向仅放大对应图像的方式突出地显示对应图像。
[0188] 另一方面，当缩小触摸输入施加于作为图8的（a)或图8的（c)例示的三维照片 的360度全景照片时，控制器180将对应照片转换为作为二维照片的360度全景照片。
[0189] 参照图9A至图9C，描述了方法，该方法中，根据本公开的一个实施方式产生的多 个360度全景照片同时被输出到显示单元151并且被控制。
[0190] 图9A至图9C是用于描述方法的图，该方法中，根据本公开的一个实施方式，多个 全景照片被同时输出到屏幕。
[0191] 首先，当通过用户输入等选择全景拍摄模式时，控制器180进入设置在主机体正 面上的第一摄像头121的预览画面。此后，用于以用户图像位于预览画面的预定区域上的 方式引导用户图像（例如，用户的面部）的框显示在预览画面上。
[0192] 在这样执行设置的状态下，控制器180以第二摄像头根据主机体拍摄不同图像的 方式驱动设置在移动终端背面上的第二摄像头。在全景拍摄模式中，感测单元140感测主 机体的移动，并且控制器180确定主机体移动的程度是否落在预定基准范围之外。例如，如 果全景拍摄模式用于360度全景拍摄，则当由第一摄像头121拍摄的初始图像与由第二摄 像头122拍摄的当前图像彼此交叠时，控制器180确定主机体移动的程度落在预定基准范 围之外。当确定主机体移动的程度落在预定基准范围之外时，控制器180停止驱动第一摄 像头和第二摄像头，从而结束全景拍摄。此后，控制器180将由第一摄像头拍摄的、框内的 用户图像连接，由此产生第一全景照片。控制器将由第一摄像头拍摄的、框之外的图像和由 第二摄像头拍摄的背景图像组合，以产生第二全景照片。
[0193] 这样产生的第一 360度全景照片和第二360度全景照片被输出到移动终端100的 显示单元151。
[0194] S卩，控制器180将由第一摄像头121拍摄的用户图像连接，以产生第一全景照片， 并且向显示单元151的第一区域输出所产生的第一全景照片。控制器180将由第一摄像头 121和第二摄像头122拍摄的背景图像连接，以产生第二全景照片，并且向显示单元151的 第二区域输出所产生的第二全景照片。
[0195] 此时，控制器180输出被输出到显示单元151的第一区域的第一全景照片作为二 维照片或三维照片，并且输出被输出到显示单元151的第二区域的第二全景照片作为三维 照片。另外，可以根据施加于全景照片的触摸输入分别使输出到第一区域和第二区域的全 景照片旋转，并且可以根据主机体的倾斜的变化使输出到第一区域和第二区域的全景照片 旋转。并且，可以根据预定用户输入将全景照片转换为二维或三维照片。
[0196] 此时，参照图9A和图9B，第一区域和第二区域可以是显示单元151的上部区域和 下部区域，或者如图9A所例示，可以是左部区域和右部区域。另选地，如图9B所例示，一个 全景照片可以以浮动窗口的形式输出到另一个全景照片。
[0197] 另外，当在第一全景照片（由第一摄像头121拍摄的图像组合成该第一全景照片） 被输出到显示单元151的第一区域并且第二全景照片（由第一摄像头121和第二摄像头 122拍摄的图像组合成该第二全景照片）被输出到显示单元151的第二区域的状态下，选择 再现功能时，控制器180沿一个方向旋转第一全景照片和第二全景照片，并且同时输出对 应的声音，直到显示单元151上显示的当前输出的图像再次出现为止。
[0198] 此时，尽管仅相对于第一全景照片选择再现功能，也以与当前输出到显示单元151 的第一全景照片中的当前图像、旋转方向和旋转速度相对应的方式旋转第二全景照片。
[0199] 例如，参照图9C，当在第一 360度全景照片910' '被输出显示单元151的左部区域 并且第二360度全景照片920''被输出到显示单元151的右部区域的状态下，接近触摸输 入施加于第一 360度全景照片910''的预定区域时，控制器180显示用于再现全景照片的 菜单栏940并且检测再现功能键的触摸输入。当相应地执行再现功能时，不仅第一 360度 全景照片910''还有第二360度全景照片920''例如以一速度顺时针旋转。另一方面，尽 管相对于第二360度全景照片920''执行再现功能，也同时自动再现不仅第二360度全景 照片920' '而且第一 360度全景照片910' '。另一方面，如果用户不想同时再现第一 360度 全景照片910' '和第二360度全景照片920' '，则他/她可以通过到菜单栏940或对应的全 景照片的预定触摸输入停止再现其中一方。
[0200] 下面描述通过用户手势输入来移动并显示多个360度全景照片的方法。与此关 联，图10A至图10B是用于描述方法的图，该方法中，显示多个全景照片的方式通过根据本 公开的一个实施方式的用户手势输入而改变。
[0201] 首先，当通过用户输入等选择全景拍摄模式时，控制器180进入设置在主机体正 面上的第一摄像头121的预览画面。此后，用于以用户图像位于预览画面的预定区域上的 方式引导用户图像（例如，用户的脸）的框显示在预览画面上。
[0202] 在这样执行设置的状态下，控制器180以第二摄像头根据主机体拍摄不同图像的 方式驱动设置在移动终端背面上的第二摄像头。在全景拍摄模式中，感测单元140感测主 机体的移动，并且控制器180确定主机体移动的程度是否落在预定基准范围之外。例如，如 果全景拍摄模式用于360度全景拍摄，则当由第一摄像头121拍摄的初始图像与由第二摄 像头122拍摄的当前图像彼此交叠时，控制器180确定主机体移动的程度落在预定基准范 围之外。当确定主机体移动的程度落在预定基准范围之外时，控制器180停止驱动第一摄 像头和第二摄像头，从而结束全景拍摄。此后，控制器180连接由第一摄像头拍摄的、框内 的用户图像，以产生第一全景照片。控制器组合由第一摄像头拍摄的、框之外的图像和由第 二摄像头拍摄的背景图像，以产生第二全景照片。
[0203] 这样产生的第一 360度全景照片和第二360度全景照片被输出到移动终端100的 显示单元151。
[0204] 响应于在第一全景照片和第二全景照片被输出到显示单元151的状态下第一全 景照片被下推然后被拖到第二全景照片的手势输入，控制器180以按照第二全景照片被放 大到整个屏幕的方式输出第二全景照片的方式执行控制。并且，控制器180以按照第一全 景照片位于第二全景照片内的方式输出第一全景照片的方式执行控制。
[0205] 例如，如图10A所例示示，如果用户用他/她的手指下推三维圆柱形的第一全景照 片（用户图像连接成该第一全景照片），然后将其拖拽到三维圆柱形的第二全景照片（风 景图像连接成该第二全景照片），则第二全景照片的形状被输出到显示单元151的所有区 域，并且以第一全景照片位于第二全景照片内（即与第二全景交叠）的方式输出第一全景 照片。当多个全景照片以该方式彼此交叠时，第一全景照片的旋转方向和旋转速度与第二 全景照片的相同。另外，第一全景照片中包括的附加信息（诸如指南针方向信息、位置信息 等）移动到第二全景照片并且显示在第二全景照片上。
[0206] 另一方面，响应于第一全景照片被拉出第二全景照片（第一全景照片以与第二全 景照片交叠的方式位于该第二全景照片之内）的手势输入，控制器180以缩小第二全景照 片的尺寸的方式输出第二全景照片，并且以使第一全景照片移动到与手势输入对应的区域 的方式输出第一全景照片。
[0207] 例如，如图10B所例示，当用户施加下推三维圆柱形的第一全景照片，然后将其从 三维圆柱形的第二全景照片拖出（三维形第一全景照片位于该第二全景照片中）的手势输 入时，控制器180以缩小第二全景照片的形状的方式输出第二全景照片，并且以使第一全 景照片移动到结束手势输入的结束点的方式输出第一全景照片。此时，拉出的第一全景照 片的旋转方向和旋转速度与之前相同，并且显示在第二全景照片上的、关于第一全景照片 上的附加信息以与分开的第一全景照片交叠的方式显示在分开的第一全景照片上。
[0208] 在根据本公开的实施方式的移动终端和控制移动终端的方法中，如上所述，主机 体的正面和背面上设置的摄像头被同时驱动，并且使主机体仅在预定范围内旋转。由此，周 围风景和观看周围风景的用户的面部表情同时被拍摄到全景照片中。另外，提供了通过简 单的手势输入将所产生的360度全景照片再现在显示单元上，并且同时输出并控制多个全 景照片的用户便利性。
[0209] 另外，根据该说明书中公开的一个实施方式，上面描述的方法可以通过在存储程 序的介质中存储为处理器可读代码来实现。ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装 置等是处理器可读介质的示例，并且处理器可读介质可以以载波的形式（例如，通过互联 网的传输）被实现。
[0210] 关于上述移动终端，上述实施方式的构造和方法不限于它们的应用，而是所有的 实施方式或一些实施方式可以以创建各种修改的方式选择性地彼此组合。
[0211] 以上实施方式和优点仅为示例性的，并且不被认为限制本公开。本教导可以容易 地应用于其它类型的设备。该描述意为说明性的，不限制权利要求的范围。多个替代、修改 和变型对于本领域技术人员而言是明显的。本文描述的示例性实施方式的特征、结构、方法 和其它特性可以以各种方式组合以获得另外的和/或替代的示例性实施方式。
[0212] 因为在不脱离本特征的特性的情况下本特征可以以多种形式实现，所以还应该理 解的是，上述实施方式不受以上描述的任何细节的限制，除非指出，否则应该被广义地认为 在所附权利要求限定的范围内，因此落入权利要求的边界和范围或者这样的边界和范围的 等同物内的所有改变和修改因此意在被所附权利要求所包括。
【权利要求】
1. 一种移动终端，该移动终端包括： 主机体； 第一摄像头，该第一摄像头设置在所述主机体的正面； 第二摄像头，该第二摄像头设置在所述主机体的背面； 感测单元，该感测单元感测所述主机体的移动的程度；以及 控制器，该控制器控制所述第一摄像头和所述第二摄像头在所述主机体在指定范围内 移动时拍摄图像， 其中，所述第一摄像头被控制成在所述主机体在所述指定范围内旋转时拍摄多个第一 图像，并且所述第二摄像头被控制成在所述主机体在所述指定范围内旋转时拍摄多个第二 图像，并且 其中，当所述主机体被移动到所述指定范围之外时，所述第一摄像头和第二摄像头被 控制成停止拍摄图像，并且将来自所述第一摄像头的所述第一多个图像和来自所述第二摄 像头的所述多个第二图像连接以产生至少一个全景照片。
2. 根据权利要求1所述的移动终端，其中，所述指定范围是其中由所述第二摄像头拍 摄的当前图像与由所述第一摄像头拍摄的初始图像交叠的、所述主机体的旋转范围。
3. 根据权利要求2所述的移动终端，其中，当用户图像提取功能被选择时，所述控制器 被构造成从所产生的全景照片去除指定对象，并且利用从所述多个第一图像或所述多个第 二图像的对应区域提取的图像的部分填充与所去除的指定对象对应的区域。
4. 根据权利要求3所述的移动终端，其中，所去除的指定对象是用户在由所述第一摄 像头拍摄的所述多个第一图像中的图像，并且用于填充由所去除的图像占据的所述区域的 图像的部分是从所述多个第一图像中的在前图像或在后图像提取的在所述用户的所述图 像后面的图像。
5. 根据权利要求2所述的移动终端，其中，所述控制器记录通过在所述主机体上设置 的麦克风输入的声音信号，以与所拍摄的所述多个第一图像和所述多个第二图像对应。
6. 根据权利要求1所述的移动终端，其中，所述指定范围是指定角度范围，所述第一摄 像头和所述第二摄像头被控制成在所述主机体在所述指定角度范围内旋转的同时拍摄所 述多个第一图像和所述多个第二图像。
7. 根据权利要求1所述的移动终端， 其中，当全景拍摄模式被选择时，所述感测单元感测所述主机体以用户充当中心轴线 做圆周运动的移动，并且 其中，当与所述主机体的移动对应的角度超过基准角度时，所述控制器控制所述第一 摄像头和所述第二摄像头停止拍摄图像，并且将由所述第一摄像头拍摄的所述多个第一图 像连接以产生第一全景照片，并将由所述第二摄像头拍摄的所述多个第二图像连接以产生 第二全景照片。
8. 根据权利要求7所述的移动终端，其中，当所述全景拍摄模式被选择时，所述控制器 控制显示用于所述第一摄像头的预览画面，并且在所述预览画面上的指定区域中显示引导 用户图像的定位的框。
9. 根据权利要求8所述的移动终端，其中，所述控制器将来自所述多个第一图像的、在 所述框内的用户图像连接以产生所述第一全景图像，并且将来自由所述第一摄像头拍摄的 所述多个第一图像的、在所述框之外的图像与由所述第二摄像头拍摄的所述多个第二图像 组合以产生所述第二全景图像。
10. 根据权利要求1所述的移动终端，其中，所述控制器显示在所述第一摄像头和所述 第二摄像头与所述主机体的移动对应地拍摄它们各自的图像的同时获得的时间、位置和方 向信息，所述时间、位置和方向信息显示在所述多个第一图像和所述多个第二图像上以与 所述多个第一图像和所述多个第二图像交叠。
11. 根据权利要求1所述的移动终端，所述移动终端还包括： 显示器，该显示器被构造成显示所产生的全景照片， 其中，基于用户输入，所述控制器控制所述显示器以输出所产生的全景照片作为指定 形状的二维照片或指定形状的三维照片。
12. 根据权利要求11所述的移动终端， 其中，当在所述全景照片被显示为所述二维照片的同时感测到第一触摸输入时，所述 控制器将所述全景照片改变为所述指定形状的所述三维照片并且控制以在所述显示器上 显示所得到的三维照片，并且 其中，当在所述全景照片被显示为所述三维照片的同时感测到第二触摸输入时，所述 控制器将所述全景照片改变为所述指定形状的所述二维照片并且控制以在所述显示器上 显示所得到的二维照片。
13. 根据权利要求11所述的移动终端，其中， 当在所述显示器上显示所述全景照片的同时所述感测单元感测到所述主机体的倾斜 时，所述控制器根据感测到的倾斜的方向使所述全景照片旋转，并且 当在所述显示器上显示所述全景照片的同时在所述全景照片上感测到沿指定方向的 触摸输入时，所述控制器使所述全景照片以与所述触摸输入对应的速度沿所述指定方向旋 转。
14. 根据权利要求11所述的移动终端，其中，当在所述显示器上显示所述全景照片的 同时再现功能被选择时，所述控制器使所述全景照片沿指定方向旋转并且同时输出与所述 全景照片对应的声音。
15. 根据权利要求14所述的移动终端，其中，当显示第一全景照片和第二全景照片并 且针对所述第一全景照片所述再现功能被选择时，所述控制器使所述第二全景照片旋转， 以对应于当前显示图像中的所述第一全景照片、旋转方向和旋转速度。
16. 根据权利要求11所述的移动终端，其中，所述显示器被分为第一区域和第二区域， 并且其中，所述控制器向所述第一区域输出通过将由所述第一摄像头拍摄的用户图像连接 而产生的第一全景照片，并且向所述第二区域输出通过将由所述第一摄像头和所述第二摄 像头拍摄的背景图像连接而产生的第二全景照片。
17. 根据权利要求16所述的移动终端，其中，所述控制器向所述第一区域输出所述第 一全景照片作为二维照片或三维照片，并且向所述第二区域输出所述第二全景照片作为三 维照片。
18. 根据权利要求17所述的移动终端，其中，响应于所述第一全景照片被按下然后被 拖到所述第二全景照片的手势输入，所述控制器控制所述第二全景照片以放大显示并且控 制所述第一全景照片的显示以被定位在所述第二全景照片之内。
19. 根据权利要求17所述的移动终端，其中，响应于将所述第一全景照片从所述第一 全景照片定位在的所述第二全景照片拉出的手势输入，所述控制器控制所述第二全景照片 的显示以缩小尺寸并且控制所述第一全景照片的显示以移动到与所述手势输入对应的区 域。
20. -种控制移动终端的方法，该移动终端在主机体的正面和背面分别设置有第一摄 像头和第二摄像头，该方法包括以下步骤： 控制所述第一摄像头和所述第二摄像头使得在所述移动终端的主机体在指定范围之 内旋转的同时，并行地拍摄多个图像； 控制所述第一摄像头和所述第二摄像头使得当所述主机体的旋转超过所述指定范围 时，停止拍摄图像，所述指定范围延伸到由所述第一摄像头拍摄的初始图像与由所述第二 摄像头拍摄的当前图像彼此交叠的点；以及 将由所述第一摄像头拍摄的所述图像和由所述第二摄像头拍摄的所述图像连接以产 生至少一个全景照片。
【文档编号】H04N5/232GK104243805SQ201410263750
【公开日】2014年12月24日 申请日期:2014年6月13日 优先权日:2013年6月20日
【发明者】李海珠, 朴载珉, 朴映美 申请人:Lg电子株式会社