专利名称：移动终端及控制移动终端的操作的方法
技术领域：
本发明涉及移动终端和控制该移动终端的操作的方法，并且更确切地说，涉及可以提供关于三维(3D)图像的立体信息的移动终端和控制该移动终端的操作的方法。
背景技术：
移动终端是便携式设备，其能够给用户提供各种服务，诸如，语音通话服务、视频通话服务、信息输入/输出服务、以及数据存储服务。由于由移动终端提供的服务的类型多样化，越来越多的移动终端配备有各种复杂功能，诸如，拍摄照片或运动图片、播放音乐文件或运动图像文件、提供游戏节目、接收广播节目以及提供无线互联网服务，并且因此演进为多媒体播放器。已经进行了各种尝试以将这样的复杂功能实现为硬件设备或软件程序。例如，已经开发了各种用户界面(UI)环境，其中，允许用户容易地搜索和选择想要的功能。同时，已经开发了用于通过将相机拍摄的多个二维QD)图像组合，并且处理该组合的结果来创建三维(3D)图像的各种技术。通过将各种技术应用于移动终端，使用移动终端创建并显示各种3D图像是可能的。3D图像的三维性是基于3D图像的左眼和右眼图像之间的视差，并且根据左眼和右眼图像内的对象的位置差异而变化。然而，由于尚不存在适当地测量3D图像的三维性的方法，所以3D图像的三维性的评价可能通常主要依赖于观众的主观意见。因此，需要一种方法来量化分析并测量3D图像的三维性，并且有效使用该分析和测量的结果来控制移动终端所执行的各种操作。
发明内容
本发明提供了移动终端和控制该移动终端的操作的方法，其中，关于三维(3D)图像的立体信息可以被有效地用于控制由移动终端执行的各种操作。根据本发明的一方面，提供了一种控制移动终端的操作的方法，该方法包括将第一和第二图像中的至少一个划分成多个块，该第一图像和第二图像能够使用双眼视差来实现3D图像；在第一图像和第二图像中搜索多对匹配块，并且基于每对匹配块之间的位置的差异来计算每对匹配块的深度信息；以及基于每对匹配块的深度信息来计算3D图像的立体信息。根据本发明的另一方面，提供了一种移动终端，该移动终端包括显示模块，该显示模块被配置成基于使用双眼视差的第一图像和第二图像在其上显示3D图像；以及控制器， 该控制器被配置成将第一图像和第二图像中的至少一个划分成多个块，在第一图像和第二图像中搜索多对匹配块，基于每对匹配块之间的位置的差异来计算每对匹配块的深度信息，基于每对匹配块的深度信息来计算3D图像的立体信息，并且在显示模块上显示立体信肩、ο根据本发明的另一方面，提供了控制移动终端的操作的方法，该方法包括基于使用双眼视差的第一图像和第二图像，在显示模块上显示3D图像；以及在显示模块上显示立体信息量规，该立体信息量规示出了 3D图像的立体信息，基于在第一图像和第二图像中包含的对象的深度信息来计算该立体信息。根据本发明的另一方面，提供了一种移动终端，该移动终端包括显示模块，该显示模块被配置成基于使用双眼视差的第一图像和第二图像，在其上显示3D图像；以及控制器，该控制器被配置成在显示模块上显示立体信息量规，该立体信息量规示出了 3D图像的立体信息，基于在第一图像和第二图像中包含的对象的深度信息来计算该立体信息。
本发明的以上和其他特征和优点通过参考附图详细地描述其优选实施例将变得更加显而易见，在附图中图1是根据本发明示例性实施例的移动终端的框图；图2是图1中所示的移动终端的前立体图；图3是图2中所示的移动终端的后立体图；图4至7是图示如何计算用于在图1所示的移动终端中使用的立体信息的示例的图；图8是根据本发明示例性实施例的控制移动终端的操作的方法的流程图；图9是根据本发明另一示例性实施例的控制移动终端操作的方法的流程图；图10至14是图示立体信息的使用的各个示例的图；以及图15是图示具有立体信息的广播信号的示例的图。
具体实施例方式在下文中将参考附图详细地描述本发明，在附图中，示出了本发明的示例性实施例。如这里所使用的，术语“移动终端”可以指示移动电话、智能电话、膝上计算机、数字广播接收器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、相机、导航设备、平板电脑、或者电子书(e-book)阅读器。在本公开中，能够互换地使用术语“模块”和“单元”。图1图示了根据本发明的实施例的移动终端100的框图。参考图1，移动终端100 可以包括无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元 140、输出单元150、存储器160、接口单元170、控制器180以及电源单元190。无线通信单元110、A/V输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180以及电源单元190中的两个或更多可以被合并为单个单元，或者无线通信单元110、A/V输入单元120、用户输入单元130、感测单元140、输出单元150、存储器 160、接口单元170、控制器180以及电源单元190中的一些可以被分为两个或更多更小的单兀。
无线通信单元110可以包括广播接收模块111、移动通信模块113、无线互联网模块115、短距离通信模块117和全球定位系统(GPQ模块119。广播接收模块111可以通过广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以是卫星信道或地面信道。广播管理服务器可以是生成广播信号和/或广播相关信息并且发送所生成的广播信号和/或所生成的广播相关信息的服务器，或者可以是接收并且然后发送先前生成的广播信号和/或先前生成的广播相关信息的服务器。广播相关信息可以包括广播信道信息、广播节目信息和/或广播服务提供商信息。广播信号可以是TV广播信号、无线电广播信号、数据广播信号、数据广播信号和TV广播信号的组合或者数据广播信号和无线电广播信号的组合。广播相关信息可以通过移动通信网络被提供给移动终端100。在该情况下，可以通过移动通信模块113而不是通过广播接收模块111来接收广播相关信息。广播相关信息可以采取各种形式。例如，广播相关信息可以是数字多媒体广播(DMB)的电子节目指南(EPG)或者可以是手持数字视频广播(DVB-H) 的电子服务指南(ESG)。广播接收模块111可以使用诸如地面数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、仅媒体前向链路(MediaFLO)、DVB-H和地面综合服务数字广播(ISDB-T)的各种广播系统来接收广播信号。另外，广播接收模块111可以被配置成适用于除本文所阐述的广播系统以外的几乎所有类型的广播系统。由广播接收模块111接收到的广播信号和 /或广播相关信息可以被存储在存储器160中。移动通信模块113可以通过移动通信网络将无线信号发送至基站、外部终端以及服务器中的至少一个，或通过移动通信网络从基站、外部终端以及服务器中的至少一个接收无线信号。无线信号可以根据移动终端100是发送/接收语音通话信号、视频通话信号还是文本/多媒体消息而包括各种类型的数据。无线互联网模块115可以是用于无线地访问互联网的模块。无线互联网模块115 可以嵌入在移动终端100中或可以安装在外部设备中。无线互联网模块115可以嵌入在移动终端100中或可以安装在外部设备中。无线互联网模块115可以使用各种无线互联网技术，诸如无线局域网(WLAN)、无线宽带(WiBro)、全球微波互联接入(Wimax)、和高速下行链路分组接入(HSDPA)。短距离通信模块117可以是用于短距离通信的模块。短距离通信模块117可以使用各种短距离通信技术，诸如蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB) 和紫蜂(ZigBee)。GPS模块119可以从多个GPS卫星接收位置信息。A/V输入单元120可以用于接收音频信号或视频信号。A/V输入单元120可以包括相机121和麦克风123。相机121可以在视频通话模式或图像拍摄模式下处理由图像传感器拍摄的诸如静止图像或运动图像的各种图像帧。可以由显示模块151显示由相机121 处理的图像帧。由相机121处理的图像帧可以存储在存储器160中或者可以通过无线通信单元 110发送到外部设备。移动终端100可以包括两个或更多相机121。麦克风123可以使用麦克风在通话模式、记录模式或语音识别模式期间接收外部声音信号，并可将声音信号转换成电声音数据。在通话模式中，移动通信模块113可以将电声音数据转换成能够易于发送到移动通信基站的数据，并且然后可以输出通过转换获得的数据。麦克风123可以使用各种噪声去除算法来去除在接收外部声音信号期间可能生成的噪声。用户输入单元130可以基于用户输入来生成键输入数据，用于控制移动终端100 的操作。用户输入单元130可以被实现为键盘、薄膜开关，或者能够通过被用户推压或触摸而接收命令或信息的静压或电容触摸板。替代地，用户输入单元130可以被实现为能够通过被旋转而接收命令或信息的滚轮、微动盘或微动轮或操纵杆。仍然替代地，用户输入单元 130可以被实现为手指鼠标。具体而言，如果将用户输入单元130实现为触摸板，并且与显示模块151形成相互的层结构，则用户输入单元130及显示模块151可以被统称为触摸屏。感测单元140确定移动终端100的当前状态，诸如移动终端100是打开还是闭合、 移动终端100的位置以及移动终端100是否与用户接触，并且生成用于控制移动终端100 的操作的感测信号。例如，当移动终端100是滑盖型移动电话时，感测单元140可以确定移动装置100是打开还是闭合。另外，感测单元140可以确定移动终端100是否被电源单元 190供电，以及接口单元170是否连接到外部设备。感测单元140可以包括检测传感器141、压力传感器143和运动传感器145。检测传感器141可以在未与实体有机械接触的情况下，确定是否有对象存在附近并且靠近移动终端100。更具体地说，检测传感器141可以通过检测交流磁场变化或静电容变化率来检测存在于附近和正在靠近的对象。感测单元140可以包括两个或多个检测传感器141。压力传感器143可以确定压力是否被施加到移动终端100上，或者可以测量施加到移动终端100上的压力的级别(如果存在压力的话)。压力传感器143可以安装在移动终端100的需要压力检测的特定部分中。例如，压力传感器143可以安装在显示模块151 中。在这种情况下，可以基于由压力传感器143提供的数据来区分典型触摸输入和压力触摸输入，其中通过使用比用于生成典型触摸输入更高的压力级来生成压力触摸输入。另外， 当通过显示模块151接收到压力触摸输入时，可以基于由压力传感器143提供的数据来确定当检测到压力触摸输入时施加到显示模块151的压力的级别。运动传感器145可以使用加速传感器或陀螺仪传感器来确定移动终端100的位置和运动。同时，加速度传感器是一种用于将加速度的变化转换成电信号的设备。随着近来微电子机械系统(MEMQ技术的发展，已经在多种产品中广泛地使用加速度传感器以用于多种目的，从检测大运动(诸如在汽车的气囊系统中进行的汽车碰撞)到检测微小运动 (诸如在游戏输入装置中进行的手的运动)。通常，表示两个或更多轴线方向的一个或者更多加速度传感器被合并在单个封装中。存在着仅需要一个轴线方向(例如，Z轴方向)的检测的一些情况。因此，当需要X或Y轴加速度传感器而非Z轴加速度传感器时，X或Y轴加速度传感器可以被安装在附加基板上，并且附加基板可以安装在主基板上。陀螺仪传感器是用于测量角速度的传感器，可以确定移动终端100相对于参考方向的相对旋转方向。输出单元150可以输出音频信号、视频信号和警报信号。输出单元150可以包括显示模块151、音频输出模块153、警报模块155以及触觉模块157。
显示模块151可以显示通过移动终端100处理的各种信息。例如，如果移动终端 100处于通话模式，则显示模块151可显示用于进行或接收呼叫的用户界面(UI)或图形用户界面(GUI)。如果移动终端100处于视频通话模式或图像拍摄模式，则显示模块151可以显示用于拍摄或接收图像的UI或⑶I。如果显示模块151和用户输入单元130 —起形成层结构并且因此实现为触摸屏， 则显示模块151可以用作输出设备和输入设备。如果显示模块151实现为触摸屏，则显示模块151还可以包括触摸屏面板以及触摸屏面板控制器。触摸屏面板是附着到移动终端100 的外部上的透明面板，并可以连接到移动终端100的内部总线。触摸屏面板持续监视触摸屏面板是否被用户触摸。一旦接收对触摸屏面板的触摸输入，则触摸屏面板将与触摸输入相对应的多个信号发送到触摸屏面板控制器。触摸屏面板控制器处理由触摸屏面板发送的信号，并且将处理后的信号发送到控制器180。然后，控制器180基于通过触摸屏面板控制器发送的处理后的信号来确定是否已经生成触摸输入并且已经触摸了触摸屏面板的哪个部分。显示模块151可以包括电子纸(e-paper)。电子纸是一种反射显示技术，并能够提供如普通墨水在纸上那样高的分辨率、宽视角和优异的视觉属性。电子纸可以在诸如塑料基板、金属基板或纸基板的各种类型的基板上实现，并且即使在电源断开以后，也能在其上显示并且维持图像。另外，因为电子纸无需背光组件，所以其能够减少移动终端100的功率消耗。可以通过使用带静电的半球扭转向列球(electrostatic-charged hemispherical twist ball)、使用电泳淀禾只(electrophoretic deposition)、或使用微胶囊(microcapsule)来将显示模块151实现为电子纸。显示模块151可以包括液晶显示器(IXD)、薄膜晶体管(TFT)-IXD、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器中的至少一个。移动终端100可以包括两个或更多显示模块151。例如，移动终端100可以包括外部显示模块(未示出)以及内部显示模块 (未示出)。音频输出模块153可以输出在呼叫接收模式、通话模式、记录模式、语音识别模式或广播接收模式期间由无线通信单元110接收到的音频数据，或可以输出于存储器160中存在的音频数据。另外，音频输出模块153可以输出与移动终端100的诸如接收呼叫或者消息的功能相关联的各种声音信号。音频输出模块153可以包括扬声器和蜂鸣器。警报模块155可以输出指示移动终端100中事件的发生的警报信号。事件的示例包括接收呼叫信号、接收消息以及接收键信号。通过警报模块155输出的警报信号的示例包括音频信号、视频信号和振动信号。更具体地，警报模块1 可以在接收到呼叫信号或消息时输出警报信号。另外，警报模块1 可以接收键信号并可以输出警报信号作为对键信号的反馈。因此，用户能够基于通过警报模块155输出的警报信号容易地识别事件的发生。 用于向用户通知事件的发生的警报信号不仅可以通过警报模块巧5输出而且还可以通过显示模块151或者音频输出模块153输出。触觉模块157可以提供用户能够察觉的各种触觉效果(诸如振动)。如果触觉模块157生成振动作为触觉效果，则通过触觉模块157生成的振动的强度和模式可以以各种方式变化。触觉模块157可以合成不同的振动效果，并可以输出合成的结果。替代地，触觉模块157可以依次地输出不同的振动效果。
8
除了振动以外，触觉模块157还可以提供各种触觉效果，诸如使用垂直于接触皮肤表面移动的针阵列获得的触觉效果、通过经由喷出孔或者吸入孔来喷出或吸入空气的触觉效果、通过对皮肤表面施加刺激获得的效果、通过接触电极获得的效果、通过使用静电力获得的效果以及通过使用能够吸热或生热的器件实现热或冷的感觉获得的效果。触觉模块 157可以被配置成使用户能够使用手指或胳膊的肌觉来识别触觉效果。移动终端100可以包括两个或更多触觉模块157。存储器160可以存储控制器180的操作所需的各种程序。另外，存储器160可暂时地存储诸如电话簿、消息、静止图像或运动图像的各种数据。存储器160可以包括闪存型存储介质、硬盘型存储介质、多媒体卡微型存储介质、 卡型存储器(例如，安全数字(SD)或极限数字O(D)存储器)、随机存取存储器(RAM)以及只读存储器(ROM)中的至少一个。移动终端100可以操作在互联网上执行存储器160的功能的网络存储器。接口单元170可以与能够连接到移动终端100的外部设备对接。接口单元170可以是有线/无线头戴式受话器，外部电池充电器，有线/无线数据端口，用于例如存储卡、订户识别模块(SIM)卡或用户识别模块(UIM)卡的卡槽，音频输入/输出(I/O)端子，视频I/ 0端子或耳机。接口单元170可以从外部设备接收数据，或可以由外部设备供电。接口单元170可以将由外部设备提供的数据发送到移动终端100中的其他组件，或可以将由移动终端100中的其他组件提供的数据发送到外部设备。当移动终端100连接到外部托架时，接口单元170可以提供用于将电力从外部托架提供给移动终端100的路径，或者将各种信号从外部托架发送到移动终端100的路径。控制器180可以控制移动终端100的总体操作。例如，控制器180可以执行与进行/接收语音呼叫、发送/接收数据或进行/接收视频呼叫有关的各种控制操作。控制器 180可以包括播放多媒体数据的多媒体播放器模块181。多媒体播放器模块181可以被实现为硬件设备并可以安装在控制器180中。替代地，多媒体播放器模块181可以被实现为软件程序。电源单元190可以由外部电源或内部电源供电，并可以向移动终端100中的其他组件供电。移动终端100可以包括有线/无线通信系统或卫星通信系统，并且因此可以在能够以帧或数据分组为单位来发送数据的通信系统中操作。在下文中将参考图2和图3，具体描述移动终端100的外部结构。本发明可以被应用于诸如折叠型、直板型、旋转型、滑盖型移动终端的几乎所有类型的移动终端。然而，为了方便，假定移动终端100是配备有全触摸屏的直板型移动终端。图2图示了移动终端100的前立体图，并且图3图示了移动终端100的后立体图。 参考图2，移动终端100的外部可以由前壳体100-1和后壳体100-2形成。各种电子装置可以被安装在由前壳体100-1和后壳体100-2形成的空间中。前壳体100-1和后壳体100-2 可以通过注模由合成树脂形成。替代地，前壳体100-1和后壳体100-2可以由诸如不锈钢 (STS)或钛(Ti)的金属形成。显示单元151、第一音频输出模块153a、相机121a和第一至第三用户输入模块 130a至130c可以被部署在移动终端100的主体上，并且具体而言，部署在前壳体100-1上。第四和第五用户输入模块130d和130e以及麦克风123可以被部署在后壳体100-2的一侧上。如果触摸板被配置成重叠在显示模块151上，并且因此形成相互的层结构，则显示模块151可以用作触摸屏。因此，用户可以仅通过触摸显示模块151而向移动终端100 输入各种信息。第一输出模块153a可以被实现为接收器或扬声器。相机121可以被配置成适合于拍摄用户的静止或运动图像。麦克风123可以被配置成适当地接收用户的语音或其他声
曰O第一至第五用户输入模块130a至130e和第六用户输入模块130f和第七用户输入模块130g可以被统称为用户输入单元130，并且任何装置可以被用作第一至第七用户输入模块130a至130f，只要其能够以触觉方式操作。例如，用户输入单元130可以被实现为能够根据用户的按压或触摸操作而接收命令或信息的薄膜开关或触摸板，或者可以被实现为滚轮或用于旋转键的轻推类型(jog type)或操纵杆。就功能而言，第一至第三输入模块 130a至130c可以操作为用于输入诸如启动、结束或滚动的命令的功能键，第四用户输入模块130d可以操作为用于选择移动终端100的操作模式的功能键，并且第五用户输入模块 130e可以操作为用于激活在移动终端100内的特殊功能的热键。参考图3，两个相机121b和121c可以另外被设置在后壳体100_2的后面，并且第六和第七用户输入模块130f和130g及接口单元170可以被部署在后壳体100-2的一侧上。相机121b和121c可以具有与相机121a的图像拍摄方向基本相对的图像拍摄方向，并且可以具有与相机121a的分辨率不同的分辨率。相机121b和121c可以被同时使用， 以在3D图像拍摄模式期间创建三维(3D)图像，或者可以被独立使用，以创建二维(2D)图像。相机121b和121c之一可以被配置成能够被移动。因此，通过将相机121b和121c之一与另一相机移动得更远或更近，可以调整两个相机121b和121c之间的距离。闪光灯125和镜子可以被部署在相机121b和121c之间。当利用相机121b和121c 拍摄对象的图像时，闪光灯125可以照亮该对象。当用户希望拍摄其自己的图像时，镜子可以允许用户看到其自己。另一音频输出模块(未示出)可以被另外设置在后壳体100-2上。在后壳体100-2 上的音频输出模块可以与在前壳体100-1上的音频输出模块153 —起实现立体声功能。在后壳体100-2上的音频输出模块也可以被用在扬声器模式中。接口单元170可以被用作允许移动终端100与外部设备通过固定线或无线地交换数据的通道。除了用于通话通信的天线之外，广播信号接收天线可以被部署在前壳体100-1或后壳体100-2的一侧上。广播信号接收天线可以被安装，使得其可以从前壳体100-1或后壳体100-2延伸。电源单元190可以被安装在后壳体100-2上，并且可以向移动终端100供电。例如，电源单元190可以是可拆卸地组合到后壳体100-2的充电电池，用于被充电。图4至7是用于解释如何计算在移动终端100中使用的立体信息的示例的图。移动终端100可以使用在其主体的后面的两个相机，即相机121b和121c，创建3D图像。为了方便，在下文中将相机121b和121c分别称为第一相机121b和第二相机121c。
参考图4(a)和4(b)，通过利用第一相机121b和第二相机121c拍摄对象200，可以获得第一图像205和第二图像207。第一图像205和第二图像207可以分别对应于左眼和右眼图像，用于在创建3D图像中使用。参考图4(c)，考虑到第一图像205和第二图像207之间的视差，控制器180可以通过将第一图像205和第二图像207组合来创建3D图像210。3D图像是用于在图像中创建深度的幻觉，并且因此为观众提供生动的真实感觉的技术。两个眼睛彼此分开大概65mm。因此，当两个眼睛中的每个被呈现以真实世界的不同 2D图像时，这些2D图像可以被投射到两个眼睛的视网膜上，并且大脑利用双眼视差从2D视网膜图像中提取深度，双眼视差产生于两个眼睛的水平距离，并且是当设计3D显示设备时应被考虑的最重要因素之一。3D图像210可以被显示在显示模块151上，或可以被打印出来。移动终端100也可以使用用于创建3D图像210的基本相同的方法来创建3D视频。存在显示3D图像的各种方法，诸如立体显示方法，其是在使用眼镜的情况下显示 3D图像的方法；自动立体显示方法，其是在不使用眼镜的情况下显示3D图像的方法，并且也被称为无眼镜3D;以及投射方法，其使用全息摄影术(holography)。立体显示方法一般用于家用电视机中，并且自动立体显示方法一般用于移动终端中。自动立体显示方法的示例包括，但不限于，透镜显示法、视差屏障(parallax barrier)法以及视差照明(parallax illumination)法。透镜显示法涉及将一片半球形透镜用于显示左眼和右眼图像的设备的前面。视差屏障显示法涉及通过视差屏障投射左眼和右眼图像。视差照明法涉及将照明板放置在IXD后面，以便使得隔列像素(alternate columns of pixels)对于左眼和右眼可见。上述创建或显示3D图像的方法可以被应用于移动终端和其他设备。3D图像中的对象的深度可以根据左眼和右眼图像内的对象的位置差异而变化。在下文中将具体描述如何计算3D图像中的对象的深度的各个示例。图5是图示如何计算3D图像的对象深度的示例。参考图5，点P的ζ坐标ζρ是对象的位置，可以使用由右眼位置R、点P和Ρ2形成的三角形以及由左眼位置L、点P和点 Pl形成的三角形来计算，由右眼位置R、点P和Ρ2形成的三角形是在右眼图像平面ΙΡ2上的投影，由左眼位置L、点P和点Pl形成的三角形是在左眼图像平面IPl上的投影，如等式 (1)所示ζ…⑴
X-X其中，χ"指示点P2的χ坐标，χ'指示点Pl的χ坐标，2d指示左眼和右眼之间的距离，并且f指示眼睛和虚拟屏幕之间的距离。因此，眼睛(或相机)与对象之间的深度，即，深度，可以使用等式⑵来计算
mm=f-zp=f-{f-^-)=^-x ...(2).
X-X X-X参考等式O)，使用3D图像的左眼和右眼内的对象的χ坐标的差异，可以计算对象的深度。由于点Pl在点P2的左侧上，所以点P2的χ坐标减去点Pl的χ坐标的结果可能
11具有正值，其被称为正视差。在该情形下，对象可能看起来位于虚拟屏幕之后。另一方面，当点P2的χ坐标减去点Pl的χ坐标的结果具有负值时，即当负视差出现时，对象可能看起来位于虚拟屏幕的前面。当点Pl和点P2彼此一致时，即，当零视差出现时，对象可能看起来位于虚拟屏幕上。以上述方式，可以计算3D图像中的对象的深度以及对象的深度和眼睛疲劳的程度之间的关系。医学研究表明，当观看对象时的会聚角(convergence angle)超过1. 5度时，观众可能开始感到疲劳。也就是，相比于聚焦于远处对象时，当聚焦于近处对象时，会聚角变得更高，并且会聚角越大，则观众越疲劳。图6(a)和6(b)是图示如何计算3D图像中的对象的深度的另一示例。参考图 6(a)，左眼图像310和右眼图像320中的至少一个可以被划分成多个块。此后，可以搜索与左眼图像310的第一块311匹配的右眼图像320的块，即，第二块321。为了在右眼图像320中搜索与第一块311最为匹配的块，使用评价函数 (evaluation function)(诸如均方差(MSE)函数、平均绝对误差(MAE)函数或平均绝对差 (MAD)函数)的块匹配算法可以被使用。当左眼和右眼图像310和320中的每一个被划分成多个MXN块时，MSE和MAE函数可以分别由等式(3)和(4)定义
ι M NMSE(Uj) =- Rk(m + i,n + j)f…(3);以及
Λ M NMAEii, 7) = —-ΣΣ |4 (m, ri)-Rk{m + i, n + j)\…(4)
MJS m=0 w=0其中，Lk指示左眼图像310的第k±夬，并且&指示右眼图像310的第k块。评价函数可以从右眼图像320选择具有最小MAD或MSE的块，作为第一块311的最佳匹配块。在3D图像的左眼和右眼图像中，由于3D图像的对象通常具有相同的y坐标，但不同的X坐标，所以可以使用仅改变X坐标的评价函数。一旦发现了第二个块321，则可以使用第一块311的χ坐标(I1和第二块321的χ 坐标d2之间的差来计算深度信息。类似地，参考图6(b)，可以搜索与左眼图像310的第三块313匹配的右眼图像320 的块，即，第四块323。然后，可以使用第三块313的χ坐标d3和第四块323的χ坐标d4之间的差来计算深度信息。可以对整个左眼和右眼图像310或320执行上述块匹配操作，从而计算以左眼和右眼图像310或320的块为单位的深度信息。一旦计算了用于左眼和右眼图像310或320的每个块的深度信息，则可以计算由左眼和右眼图像310和320构成的3D图像的立体信息。可以以帧为单位计算立体信息，作为左眼和右眼图像310和320的块的深度信息的平均或标准偏差(deviation)。基于3D图像的相邻对象之间是否存在平滑的深度变化，也可以计算立体信息。该立体信息可以被提供为数字数据，或者作为图形或3D图像，如图7中所示的。图8是根据本发明示例性实施例的控制移动终端操作的方法的流程图，并且具体而言，如何计算3D图像的立体信息。参考图8，如果响应于例如用户命令，选择用于计算3D 图像的立体信息的三维性的评价模式(S400)，则控制器180可以撤销从存储器160输入的 3D图像的左眼和右眼图像(S405)。
此后，控制器180可以将左眼和右眼图像中的每个划分成多个块，并且可以在左眼和右眼图像中搜索一对匹配块(S410)。此后，控制器180可以计算该对匹配块之间的位置差异(S415)，并且可以基于在操作S415中执行的计算的结果，计算该对匹配块的深度信肩、ο如果对于在左眼和右眼图像内的所有对的匹配块的深度信息计算完成(S425)，则控制器180可以基于在左眼和右眼图像内的所有对的匹配块的深度信息，计算输入3D图像的立体信息。如上所述，根据预定义的规则组，立体信息可以计算为，例如，每对的匹配块的深度信息的平均或标准偏差。此后，控制器180可以输出立体信息(S43Q。更具体地说，控制器180可以将该立体信息输出为数字数据或图形或图像。控制器180可以与输入的3D图像相关地存储立体信息，以备后用。已经以静止图像的立体信息的计算为例描述了图8的示例性实施例。然而，本发明也可以被应用于3D视频的立体信息的计算。更具体地说，对于3D视频的每一个帧，可以执行被用于计算静止图像的立体信息的相同方法，从而计算3D视频的立体信息。在该情形下，可以以3D视频的帧或播放段来计算3D视频的立体信息。图9是根据本发明的另一示例性实施例的控制移动终端的操作的方法，并且具体而言，在多媒体模式期间如何利用3D图像的立体信息。参考图9，如果响应于例如用户命令，选择作为用于查看相册或播放视频文件的模式的多媒体模式(S500)，则控制器180可以在显示模块151上显示文件的列表650 。在该情形下，如果所显示的列表包括2D图像，则控制器180也可以显示2D图像的名称或缩略图像。如果所显示的列表包括3D图像， 则控制器180也可以不仅显示3D图像的名称或缩略图像，也可以显示3D图像的立体信息。 可以使用数字数据或图形来显示3D图像的立体信息。如果选择了所显示的列表中的文件之一(S510)，则控制器180可以播放所选择的文件。如果所选择的文件是具有立体信息的3D图像，则控制器180可以在显示模块151上显示立体信息量规(gauge) (S515)。如果接收到诸如“停止”、“快进”、“回退”的用于控制所选择的文件的重放的命令， 则控制器180可以根据所接收到的用户命令来控制所选择的文件的重放(S52Q。如果所选择的文件是3D视频，则可以响应于从立体信息量规检测到的用户输入而控制3D视频的重放。操作S515至S525可以被重复执行，直到多媒体模式被终止(S530)。除了多媒体模式以外，立体信息可以被用在移动终端100的各种操作模式中。例如，在3D图像的获取期间，可以将立体信息显示在相机预览屏上，从而允许用户基于立体信息来选择适当的构成。另外，基于3D内容的立体信息，可以自动控制3D内容的重放。图10至15是图示如何使用立体信息的各个示例的图。参考图10，在多媒体模式期间，可以将能够播放的文件的缩略图像显示在“相册” 屏幕600上。可以用多个星号来标记3D图像的缩略图像，以便指示立体信息的存在性。更具体地说，每个缩略图像被标记的星号的数目对应于相应文件的三维性的程度。例如，2D图像的缩略图像可以不带星号，而3D图像的缩略图像可以带有不止一个星号。另外，具有高三维性程度的3D图像的缩略图像可以比低三维性程度的3D图像的缩略图像标记更多的星号。因此，用户可以基于其星级来选择性地查看高度立体的图像。参考图11，整个3D内容或3D内容的当前帧的三维性程度可以作为星级被显示在 3D内容重放屏幕610的一侧上。参考图12(a)和12(b)，当3D内容重放屏幕620被显示时，如果用户选择显示3D 内容的立体信息，则可以显示通过将3D内容重放屏幕620转换成灰色模式而得到的显示屏 630，并且条形立体信息量规633可以被显示在显示屏630的一侧上。条形立体信息量规 633可以被划分成填充不同颜色的多个部分。然后，用户可以从条形立体信息量规633选择期望的三维性级别，并且可以因此调整该3D内容的三维性级别。此后，控制器180可以将3D内容重放屏幕620转换成原始色彩模式，并且可以仅三维地显示从3D内容选择的几个对象，以及二维地显示其他未选择的对象。参考图13，3D图像的多个块中的每个的深度信息可以被显示在将3D图像示出为图像643的显示屏640上的一侧上。参考图14，立体信息量规653可以被显示在示出了 3D图像的显示屏650的一侧上，从而实时提供该3D图像的立体信息。该立体信息量规653可以在用户请求时或者仅当该3D图像的三维性程度超过参考级别时才被显示。可以使用立体信息量规653来调整该 3D图像的三维性程度。例如，当用户因该3D图像的三维性程度而感到太疲劳时，用户可以简单地通过在立体信息量规653上拖动来降低该3D图像的三维性程度。简言之，立体信息量规653不仅可以用于提供3D图像的立体信息，也可以用于调整该3D图像的三维性程度。图15是图示如何将立体信息插入广播信号中并发送该广播信号的示例的图。参考图15，MPEG传输流(K)分组包含头部和净荷。头部具有4字节的固定长度，并且包括同步字节、分组标识符(ID)、加扰控制数据和适配字段。根据将其如何编码，将MPEG-4视频帧分类成内部编码帧(I帧)、预测编码帧(P 帧)以及双向编码帧(B帧)。I帧是独立帧，并且因此可以独立于其他先前或随后的帧而被编码为单一图像。参考其先前I或P帧将P帧编码。也就是，P帧可以被编码为与其先前帧不同。参考其先前和随后的P帧，将B帧编码。在作为编码视频流内的一组连续图片的图片组(GOP)中，I帧、多个P帧和多个B帧被以重复模式布置，例如，IBBPBBPBBPBB，其被称为GOP模式。可以将3D内容的立体信息插入MPEG TS分组中，并且可以发送MPEG TS分组。例如，参考图15，可以以I帧为单位，预先计算立体信息，并且然后可以将其记录到头部扩展 700或数据净荷中。令人不满意的3D图像通常是过度三维性、图像获取过程中的错误、图像显示过程中的错误和闪烁的结果。图像获取过程中的错误的示例包括，但不限于，图像错位、光扭曲以及相机设置中的错误。图像显示过程中的错误包括，但不限于，左眼和右眼图像错位，其可能引起严重的头痛。闪烁是每秒显示数十个图像所导致的现象，其也可以引起头痛或恶心。考虑到这些，不仅包括3D图像的深度信息，而且包括对于改善用户满意度所必需的其他信息，并且也都可以作为该3D图像的立体信息而提供3D图像。根据本发明的移动终端和根据本发明的控制该移动终端的方法不限于此处所阐述的示例性实施例。因此，此处所阐述的示例性实施例的变体和组合可以落入本发明的范围之内。本发明可以被实现为能够由在移动终端中包含的处理器读取并且可以写入计算机可读记录介质中的代码。计算可读记录介质可以是将数据以计算机可读方式存储于其中的任何类型的记录设备。计算机可读记录介质的示例包括ROM、RAM、⑶-ROM、磁带、软盘、光数据储存器以及载波(例如，通过互联网的数据传输)。计算机可读记录介质可以分布于连接至网络的多个计算机系统，以使得以分散的方式将计算机可读代码写入其中，或从其执行。本领域的普通技术人员可以很容易解释实现本发明所需要的功能性程序、代码和代码段。如上所述，根据本发明，可以基于3D图像的左眼和右眼图像内对象的位置差异来计算3D图像的立体信息。然后，该立体信息可以被用于诸如拍摄、评价和播放3D内容的各种用途。虽然已经参考本发明的示例性实施例具体示出并描述了本发明，但本领域的普通技术人员将理解，在不脱离由下文权利要求所定义的本发明的精神和范围的情况下，可以在形式和细节上作各种变更。
权利要求
1.一种控制移动终端的操作的方法，所述方法包括将至少第一图像和第二图像划分成多个块，所述第一图像和第二图像能够使用双眼视差产生三维(3D)图像；在至少第一图像和第二图像中搜索至少一对匹配块；基于所述至少一对匹配块中的每对之间的位置的差异，计算所述至少一对匹配块中的每对的深度信息；以及基于所计算的深度信息，计算所述3D图像的立体信息。
2.根据权利要求1所述的方法，其中，在至少第一图像和第二图像中搜索包括利用块匹配算法在至少第一图像和第二图像中搜索。
3.根据权利要求1所述的方法，其中，计算立体信息包括以帧或重放段为单位计算立体信息。
4.根据权利要求1所述的方法，进一步包括将所述立体信息显示为至少数字数据、图形或图像。
5.根据权利要求1所述的方法，进一步包括在显示所述3D图像的显示屏上显示表示所述立体信息的立体信息量规。
6.根据权利要求5所述的方法，进一步包括响应于从所述立体信息量规检测到的用户输入，调整所显示的3D图像的三维性的程度。
7.根据权利要求5所述的方法，其中，响应于特定用户命令或当所述立体信息满足预定的条件组时，显示所述立体信息量规。
8.根据权利要求5所述的方法，进一步包括在所显示的3D图像中三维地显示从所显示的3D图像中选择的一个或多个对象；以及在所显示的3D图像中二维地显示未选择的对象。
9.根据权利要求1所述的方法，进一步包括在显示所述3D图像的显示屏上，显示所述立体信息的指示符。
10.根据权利要求1所述的方法，进一步包括将所述3D图像和所述立体信息插入到信号中，并且将所述信号发送至另一设备。
11.一种移动终端，包括显示模块，所述显示模块被配置成使用双眼视差，基于至少第一图像和第二图像，显示三维(3D)图像；以及控制器，所述控制器被配置成将至少第一图像和第二图像划分成多个块，在至少第一图像和第二图像中搜索至少一对匹配块，基于所述至少一对匹配块中的每对之间的位置的差异来计算所述至少一对匹配块中的每对的深度信息，基于所计算的深度信息来计算所述 3D图像的立体信息，以及在所述显示模块上显示所述立体信息。
12.根据权利要求11所述的移动终端，其中，所述控制器进一步被配置成在所述显示模块上将所述立体信息显示为至少数字数据、图形或图像。
13.根据权利要求11所述的移动终端，其中，所述控制器进一步被配置成利用块匹配算法在至少第一图像和第二图像中搜索。
14.根据权利要求11所述的移动终端，进一步包括存储器，所述存储器被配置成存储至少第一图像和第二图像以及立体信息。
15.根据权利要求11所述的移动终端，其中，所述控制器进一步被配置成在所述显示模块上显示立体信息量规，所述立体信息量规表示所述3D图像的立体信息。
全文摘要
本发明提供了一种移动终端及控制移动终端的操作的方法。所述方法包括将至少第一图像和第二图像划分成多个块，所述第一图像和第二图像能够使用双眼视差产生三维(3D)图像；在至少第一图像和第二图像中搜索至少一对匹配块；基于所述至少一对匹配块中的每个之间的位置的差异，计算所述至少一对匹配块中的每个的深度信息；以及基于所计算的深度信息，计算所述3D图像的立体信息。
文档编号G06F3/048GK102411474SQ201110290038
公开日2012年4月11日 申请日期2011年9月20日 优先权日2010年9月20日
发明者李珍术, 辛承珉, 金东玉, 金泰润 申请人:Lg电子株式会社