便携式终端及其用户界面控制方法

专利名称：便携式终端及其用户界面控制方法
技术领域：
本发明涉及一种便携式终端的用户界面控制技术。更具体地说，本发明 涉及一种用于基于对相机拍摄的对象图像的模式识别和模式分析来控制便携 式终端的用户界面的方法以及采用该方法的便携式终端。
背景技术：
随着通信技术和半导体技术的发展，便携式终端配备有通信功能、用于 提供信息的功能、游戏功能等，并且能够在世界范围内使用。所述便携式终端包括便携式电话、个人数字助理(PDA)、 MP3播放器、便携式多媒体播 放器(PMP )、数字多媒体广播(DMB )接收机等。便携式终端已经发展为除了具有它们的通信功能之外，还具有各种功能。 例如，便携式终端目前采用相机功能来拍摄图片。然而，传统便携式终端仅 具有使用安装在其上的相机拍摄的静止图像或运动图像。传统便携式终端包括具有四个方向键的导航键，其允许用户搜索菜单或 文件，或将它们的相机聚焦。此外，当图像或文本包括多于可在一屏上进行 显示的信息时，传统导^/l定还用于滚动图像或文本。然而，传统导航^定的缺 点在于由于它仅允许沿上/下/左/右四种方向的移动，所以难以控制屏幕沿 特定方向移动。发明内容本发明的一方面在于至少解决上述问题和/或缺点，并至少提供以下描述 的优点。因此，本发明的一方面在于提供一种用于增强安装在便携式终端中 的相才几的^f吏用的方法和设备。本发明的另一方面在于提供一种用于克服在操作便携式终端的导航键时 的限制和不^更的i殳备和方法。本发明的另 一方面在于提供一种用于更加直观和方便地控制便携式终端 的用户界面的i殳备和方法。
根据本发明的一方面，提供一种用于基于对相机拍摄的对象图像的模式 识别和模式分析来控制便携式终端的用户界面的便携式终端和方法。根据本发明的另 一方面，提供一种用于控制包括相积4莫块的便携式终端 的用户界面的方法。所述方法包括通过相机模块拍摄第一图像和第二图像， 分别识别第一图像和第二图像的模式，分析识别的模式，基于分析结果选择 控制命令并执行与控制命令相应的功能。根据本发明的另 一方面，提供一种用于控制包括相机模块的便携式终端的用户界面的方法。所述方法包括通过相机模块拍摄根据便携式终端的移动而改变的第一图像和第二图像，分别识别第一图像和第二图像的模式，基 于识别的模式分析便携式终端的移动，基于分析结果选择与便携式终端的移 动相应的控制命令并执行与控制命令相应的功能。根据本发明的另一方面，提供一种便携式终端。所述便携式终端包括 相机模块，用于拍摄第一图像和第二图像；模式识别单元，用于分别识别第 一图像和第二图像的模式；模式分析单元，用于基于模式识别单元的模式识 别结果来分析识别的模式，并用于基于分析结果选择控制命令；以及控制器， 用于执行与控制命令相应的功能。


通过下面结合附图进行的详细描述，本发明特定示例性实施例的上述和其它目的、特点和优点将会变得更加清楚，其中图1A和图1B是示出根据本发明示例性实施例的对相机拍摄的图像的模式识别的概念的示图；图2是示出根据本发明示例性实施例的便携式终端的示意性框图； 图3是示出根据本发明示例性实施例的用户界面控制方法的流程图； 图4是示出根据本发明示例性实施例的用户界面控制方法的流程图； 图5是示出在图4的示例性控制方法中进行比较的目标点和位移角的位置的示图；图6A到图6C是示出图4的示例性控制方法的屏幕；图7A和图7B是示出图4的示例性控制方法的另外的屏幕；图8A和图8B是示出图4的示例性控制方法的另外的屏幕；图9是示出根据本发明示例性实施例的用户界面控制方法的流程图IO是示出在图9的示例性控制方法中进行比较的目标点的位置以及它们之间的距离增量/减量的示图；图IIA和图IIB是示出图9的示例性控制方法的屏幕；图12A和图12B是示出图9的示例性控制方法的另外的屏幕；图14A和图14B是示出图13的示例性控制方法的屏幕；图15是示出根据本发明示例性实施例的用户界面控制方法的流程图；图16是示出根据本发明示例性实施例的用户界面控制方法的流程图；以及图17A到图17C是示出图15和图16的示例性控制方法的屏幕。 在整个附图中，应注意到相同的标号用于指示相同或相似的部件、特 点和结构。
具体实施方式
提供以下参照附图进行的描述，以便有助于全面理解由权利要求及其等 同物限定的本发明的示例性实施例。所述描述包括各种有助于理解本发明的 具体细节，但是这些细节仅被看作是示例性的。因此，本领域的普通技术人 员将认识到在不脱离本发明的范围和精神的情况下，可对在此描述的实施 例进行各种改变和^ff改。此外，为了清楚和简明，将省略对已知功能和结构 的描述。
对相机拍摄的图像的模式识别和模式分析根据本发明示例性实施例的便携式终端的用户界面控制技术对相机拍摄 的图像的基于模式识别和模式分析。因此，示例性便携式终端包括用于拍摄 图像的相机(更确切地说，具有图像传感器和信号处理单元等的相机模块)。 相机正拍摄的图像必然根据相机的移动而轻微改变。在当前描述中，模式识 别指的是识别相机正拍摄的图像的改变，而模式分析指的是从识别的图像改 变来检测便携式终端的移动。
可将对相机拍摄的图像的模式识别分为两种类型。 一种类型为识别位置 改变，另一种类型为识别距离改变。图1A和图1B是示出根据本发明示例性 实施例的对相机拍摄的图像的模式识别的概念的示图。具体说来，图1A是 示出对位置改变的识别的示图，图1B是示出对距离改变的识别的示图。
8以下描述对位置改变的识别。在如图1A所示的示例性实施例中，通过便携式终端100的相机(未示出)拍摄图像10。然后，在便携式终端相对于 拍摄图像10的位置移动之后，由便携式终端100拍摄另一图像12。这里， 当分别在作为两个图^f象10和12中的相同对象的点A和A，的位置(x， y)和 (x，， y，)之间进行比较时(以下，图像10为第一图像，图像12为第二图像)， 第二图像12的点A，相对于第一图像10的点A位于左侧。因此，可确定便携 式终端100已向右侧移动。这样，从两个图像10和12中相应点的位置改变， 可估计便携式终端100移动的方向。以下描述对距离改变的识别。在如图1B所示的示例性实施例中，通过 便携式终端100的相机拍摄图像14。然后，在便携式终端100向用户靠近之 后拍摄另一图像16。这里，当将图像14的两个点A和B之间的距离d与图 像16的两个点A，和B，之间的距离d，进行比较时，第二图像16的距离d，小于 第一图像14的距离d。因此，可断定便携式终端100从拍摄图像14的位置 移开。这样，从与两个图像14和16中的点相应的距离d与d，之间的距离改 变，可估计出^f更携式终端向用户靠近还是远离用户。这样，本发明的示例性实施例可基于对相机拍摄的图像的模式识别及其 模式分析来确定便携式终端是否移动，并允许用户更加容易地控制便携式终 端的用户界面。以下，便携式终端的推拉表示便携式终端沿着与它的显示器 的屏幕垂直的方向移动(靠近或远离用户)。而便携式终端的移动表示便携式 终端沿着除了推拉方向的方向移动。 便携式终端图2是示出根据本发明示例性实施例的便携式终端的示意性框图。参照图2，便携式终端100包括相机模块110、显示器120、键输入单 元130、控制器140和存储单元150。相机模块110实时拍摄对象的图像。也就是说，相机模块110按照顺序 拍摄第一图像和第二图像。众所周知，相机模块110可包括图像传感器、 信号处理单元、图像处理单元等。图像传感器将对象图像转换为电信号。信 号处理单元将模拟信号转换为数字信号。图像处理单元处理数字信号，以将 图像数据显示在显示器120上或将其存储在存储单元150中。显示器120显示在便携式终端100中执行的各种应用以及应用被执行时 所创建的数据。通常，当相机模块110被操作时，图像数据被实时地显示在
显示器120上。然而，在执行本发明的示例性控制方法期间，图像数据没有 被显示在显示器120上。键输入单元130输入用户的操作信号以控制便携式终端100的操作。具 体说来，键输入单元130包括模式识别执行键132，其允许用户选择是否执 行模式识别功能。模式识别执行键132可以通过额外的键来实现，或者通过 允许经由给定键之一执行模式识别功能来实现。或者，可通过除用户选择之 外的方式来执行模式识别功能，从而可省略模式识别执行键132。控制器140控制便携式终端IOO的各个部件的操作。具体说来，控制器 140包括模式识别单元142和模式分析单元144。示例性的模式识别单元142 接收通过相机模块110拍摄的图像数据以执行模式识别。模式分析单元144 基于来自模式识别单元142的模式识别结果来分析模式。模式分析单元144 还从所述分析确定便携式终端的移动，以选择与确定的移动相应的控制命令。 控制器140执行与在模式分析单元144中选择的控制命令相应的功能。在示例性实施例中，模式识别单元142可确定两个图像的位置改变。从 所述位置改变，模式分析单元144计算图像的移动方向以确定便携式终端100 沿着与计算出的图像的移动方向相对的方向移动。响应于此，模式分析单元144选择用于使得显示器120的屏幕的焦点类似于便携式终端100的移动进 行移动的控制命令。在另一示例性实施例中，模式识别单元142可识别两个 图像的距离改变。对于距离改变，模式分析单元144确定距离增量/减量以确 定便携式终端100是远离用户还是靠近用户，响应于此，模式分析模块144 选择用于放大或缩小显示器120的屏幕的控制命令。存储单元150存储在便携式终端100中执行的各种程序和应用以及与其 相关的数据。在示例性实施例中，存储单元150包括控制命令列表152。控 制命令列表152包括被映射到便携式终端的移动的各种控制命令，所述便携 式终端的移动基于模式识别和模式分析而确定。在示例性实施例中，可根据 具体应用，将便携式终端的相似移动映射到不同的控制命令。存储单元150 还可临时存储由相机;漠块110拍摄的图像数据。以下是对便携式终端的示例性控制方法的详细描述。 便携式终端的用户界面控制方法图3是示出根据本发明示例性实施例的用户界面控制方法的流程图。参照图2和图3，在步骤S210键入模式识别执行键132。也就是说，用
户键入模式识别执行键132,从而便携式终端100可执行模式识别功能。然 而，在便携式终端的控制方法中，步骤S210并不总是必要的。也就是说，可 在没有步骤S210的情况下实现根据本发明的示例性控制方法。此外，在执行 步骤S210之前，可另外执行其它的步骤，下面将在本发明的其它示例性实施 例中对此进行描述。在步骤S220,相机模块IIO在控制器140的控制下获取第一图像和第二 图像，并将它们发送到模式识别单元142。第一图像和第二图像指的是时域 中邻近的帧图像。图1A和图1B示出第一图像和第二图像的示例，其中，10 和14指的是第一图像，12和16指的是第二图像。在步骤S230,模式识别单元142分别识别第一图像和第二图像的模式。 也就是说，模式识别单元142从第一图像和第二图像提取将被进行比较的相 似模式，随后从提取的模式确定信息。例如，如图4所示，模式识别单元142 从各个图像提取对比目标点，并确定提取的点的位置，将在下面对此进一步 描述。在步骤S240，模式分析单元144分析识别的模式。也就是说，模式分析 单元144对由模式识别单元142确定的第一图像和第二图像的模式信息进行 比较，以计算模式改变，并基于模式改变执行确定处理。例如，如图4所示， 模式分析单元144计算位移角以确定应用的类型，将在下面对此进一步描述。在步骤S250，模式分析单元144根据分析结果从控制命令列表152选择 相应的控制命令。例如，如图4所示，模式分析单元144根据应用的类型选 择涉及四种方向的移动的控制命令或涉及自由方向的移动的控制命令，将在 下面对此进一步描述。在步骤S260,控制器140执行与控制命令相应的功能。例如，如图4所 示，当涉及四种方向的移动的控制命令被选择时，控制器140根据所选择的 控制命令进行操作。图4是示出根据本发明示例性实施例的用户界面控制方法的流程图。参照图4，在步骤S220，相机模块拍摄第一图像和第二图像并将它们发送到纟莫式识别单元。在步骤S232，模式识别单元分别从第一图像和第二图像提取对比目标 点。对比目标点可以是能够容易地区别于其它点的点，例如，具体图案的顶 点、交叉点等。对于描述示例性实施例的情况，以下将图1A中所示的两个
图像分别称为第一图像10和第二图像12，将A和A，称为对比目标点。当确定对比目标点时，；漠式识别单元在步骤S234确定对比目标点的位 置。如图1A所示，点A的位置为(x， y),点A，的位置为(x，， y，)。可将 两个位置(x， y)与(x，， y，)之间的关系表示为下面的等式1。 X'=x+a和Y'=y+b. [等式1]当确定对比目标点的位置时，模式分析单元在步骤S242确定位移角e。 图5示出对比目标点的位置A (x， y)和A，(x，， y，)以及位移角e。位移角 指示位置改变的方向，并且可使用等式2从对比目标点的位置确定位移角。e^tan"(b/a) [等式2]例如，如果0=30°,则表示相机图像移动了 30。或便携式终端沿与相机图 像的移动方向相对的方向移动了 210°。在步骤S244,模式分析单元确定当前执行的应用的类型。因为尽管存在 便携式终端的相似移动，但是可根据釆用的应用将它们映射到不同的控制命 令，所以进行对应用的类型的确定。存在各种可应用本发明的控制方法的应 用，例如，图6A到图6C中示出的菜单列表300、图7A和图7B中示出的文 件列表400以及图8A和图8B中示出的图像文件500等。本发明可应用于其 它应用，诸如，消息书写/4企查窗口、文档文件、音乐文件和游戏等，由于本 发明的控制方法可应用于各种应用，所以有必要在选择控制命令之前确定应 用的类型。根据确定的位移角和应用的类型，模式分析单元在步骤S252或S254选 择与其相应的控制命令。表1描述根据本发明示例性实施例的控制命令列表。[表l]应用位移角0控制命令菜单列表-450<0<45°显示前一列表450<e<135°将焦点移到下面的菜单1350<0<225°显示下一列表2250<9<315°将焦点移到上面的菜单文件列表-450<e<450将焦点移到前一文件
45O<0<135°将焦点移到下面的文件1350<0<225°将焦点移到下一文件225。<e<3150将焦点移到上面的文件图像文件才艮据相应的位移角来移 动焦点如表l所述，当应用的类型是菜单列表或文件列表时，模式分析单元在步骤S252根据位移角选择涉及四种方向的移动的控制命令。当应用的类型是 图像文件时，模式分析单元在步骤S254不受方向限制地根据位移角选择涉及 自由方向的移动的控制命令。在步骤S260，控制器执行与选择的控制命令相应的功能。通过图6A到 图6C、图7A和图7B以及图8A和图8B中的屏幕示出执行上述过程的示例。当应用是菜单列表并且位移角处于45°<0<135°的条件下时，如表l中所 述，控制命令为"将焦点移到下面的菜单"。也就是说，如图6A所示，在焦 点320位于主菜单1310的第一菜单的状态下，便携式终端向下移动，从而位 移角处于45。<0<135。的条件下。因此，控制器将焦点320向下移动，如图6B 所示。当应用是菜单列表并且位移角处于135°<0<225°的条件下时，如表1中 所述，控制命令为"显示下一列表"。也就是说，如图6A所示，在焦点320 位于主菜单I310的第一菜单的状态下，便携式终端向右移动，从而位移角处 于135。<0<225。的条件下。因此，控制器显示下一主菜单II 330和它的子菜单， 如图6C所示。当应用是文件列表并且位移角处于135。<0<225°的条件下时，如表1中 所述，控制命令为"将焦点移到下一文件"。也就是说，如图7A所示，在焦 点410位于一文件上的状态下，便携式终端向右移动，从而位移角处于 135°<0<225。的条件下。因此，控制器将焦点410移到下一文件，如图7B所 示。当应用是如表1所示的图像文件时，控制命令为"根据相应的位移角来 移动焦点"。如图8A所示，焦点510位于显示窗口 520的一部分，显示屏幕 530详细显示焦点510中的图像。在这种状态下，当便携式终端沿任何方向
移动时，位移角被确定为基于与便携式终端的移动相对的方向的值。作为示例，在相应于便携式终端的移动方向而移动光标510时，如图8B，控制器将 光标510中的图像显示在显示屏幕530上。这里，焦点可沿任何方向自由地 移动，类似于计算机鼠标的移动。参照图9，检测从拍摄的第一图像和第二图像提取的对比目标点的位置， 如先前示例的步骤S234所示。在示例性实施例中，将两个目标点进行比较。 例如，将图1B中所示的两个图像分别称为第一图像14和第二图像16。点A 和B是第一图像14的对比目标点，点A，和B，是第二图像16的对比目标点。 此外，点A和B分别具有位置(x, y)和(u， v)。此外，点A，和B，分别具 有位置(x，， y，)和(u，， v，)。当确定对比目标点的位置时，模式分析单元在步骤S642确定距离增量/ 减量Ad。如果将d定义为第一图像14中的两个点A与B之间的距离，将d， 定义为第二图像16中的两个点A，与B，之间的距离，则可将距离增量/减量Ad 表示为下面的等式3。图IO示出对比目标点的位置以及它们之间的距离增量 /减量。t/ = ^(x — M)2十O — i;)2 , i/'"0'-w')2 +(/—v')2 , A"J一cf [等式3]当距离增量/减量被确定时，模式分析单元在步骤S644确定距离增量/减 量为正还是负。当距离增量/减量大于0时，或第一图像14中的距离d大于 第二图像16中的距离d，时，表示便携式终端向用户靠近。相反，当距离增量 /减量小于0时，或第一图像14中的距离d小于第二图像16中的距离d，时， 表示便携式终端远离用户。在步骤S652和S654,模式分析单元选择与距离增量/减量的确定结果相 应的控制命令。也就是说，当距离增量/减量为正时，模式分析单元在步骤S652 选择用于屏幕放大的控制命令，当距离增量/减量为负时，模式分析单元在步骤S654选择用于屏幕缩小的控制命令。如先前所述，可按照以下方式实现模 式分析单元确定应用的类型，随后仅为适当的应用选择控制命令。在选择控制命令之后，控制器在步骤S260执行与其相应的功能，其中， 通过图IIA和图11B以及图12A和图12B中的屏幕示出上述过程。图IIA示出便携式终端的屏幕，其中，多个图像文件420被列在文件列 表400上，并且焦点410位于特定文件。在这种状态下，当便携式终端向用
户靠近时，距离增量/减量被确定为正值，由此，控制命令放大屏幕上的图像。所以，如图11B所示，控制器基于焦点410所在的文件在屏幕上放大并显示图像。图12A示出显示图像文件500的屏幕，其中，焦点510所在的显示窗口 520被显示，并且显示屏幕530详细显示焦点510中的图像。在这种状态下， 当便携式终端远离用户时，距离增量/减量被计算为负值，由此，控制命令缩 小屏幕上的图像。如图12B所示，随着焦点510的大小被放大，控制器缩小 在焦点510中的图像以将其显示在显示屏幕530上。作为另一示例，如果应用是用于包括字符或消息书写/检查(附图中未示 出)的文档文件的窗口时，则使用屏幕放大/缩小功能来增加或减少字符的字 体大小。图13是示出根据本发明示例性实施例的用户界面控制方法的流程图。在示例性实施例中，根据便携式终端的移动来控制焦点和屏幕的移动方 向，随着便携式终端远离和靠近用户，控制焦点和屏幕的放大/缩小。参照图13,检测从拍摄的第一图像和第二图像提取的对比目标点的位 置，类似于如先前所述的步骤S234。对比目标点的数量至少为两个或以上。在步骤S742,模式分析单元计算平均位移和距离改变。如图IO所示， 两个点A和B在第一图像中并分别具有位置(x, y)和(u, v)。另两个点A， 和B，在第二图像中并分别具有位置(x，， y，)和(u，， v，)。这里，可使用等 式4表示点A与A，之间的距离p以及点B与B，之间的距离q。P"0-x')2 +0-力2 ,g = V(M_w')2 +(v_v')2 ,附=^^ [等式4]这里，p和q分别是位移。此外，m表示平均位移或p与q之间的平均值。平均位移基于第一图像指示第二图像的移动。距离改变被定义为距离增 量/减量的绝对值。距离改变基于第 一 图像指示第二图像远离或靠近用户的程 度。当平均位移和距离改变被确定时，模式分析单元在步骤S744将它们彼此 比较。当平均位移大于距离改变时，表示便携式终端的移动距离大于推或拉 的距离。相反，当平均位移小于距离改变时，表示便携式终端的移动距离小 于推或拉的距离。
在步骤S752和S754,模式分析单元确定适当的与比较结果相应的控制 命令。也就是说，当平均位移大于距离改变时，模式分析单元在步骤S752选 择用于方向移动的控制命令。当距离改变大于平均位移时，模式分析单元在 步骤S754选择用于放大/缩小图像的控制命令。如图所示，当具有相机的便携式终端被移动以控制其自身时，本发明的 示例性实施例可同时执行方向移动功能和放大/缩小功能。也就是说，可如先 前参照图4所述来控制便携式终端的方向移动功能，并如先前参照图9所述 来控制便携式终端的放大/缩小功能。因此，为了简明，将省略对控制所述功 能的描述。在步骤S260，控制器执行与选择的控制命令相应的功能，其中，通过图 14A和图14B示出上述过程。图14A示出显示文档文件800的屏幕，其中，焦点810位于显示窗口 820 内，并且显示屏幕830显示来自焦点810的文档内容。在这种情况下，当便 携式终端向用户靠近时，如图14B所示，随着焦点810的大小的缩小，控制 器放大来自焦点810的内容，并将其显示在显示屏幕830上。在这种状态下， 当便携式终端被移动时，随着焦点810改变它的位置，显示屏幕830还显示 其改变的文档内容。图15是示出根据本发明示例性实施例的用户界面控制方法的流程图。在示例性实施例中，向用户通知是否可通过模式识别来控制便携式终端 的当前状态。参照图15，在如先前参照图3所述的模式识别执行键在步骤S210被输 入以拍摄图像之前，示例性实施例在步骤S202执行特定应用。在特定应用在控制器的控制下被执行的状态下，控制器在步骤S204确定 当前执行的应用是否可执行模式识别。当应用可执行模式识别时，控制器在 步骤S206使用图标等将"模式可识别"显示在显示屏幕上。当应用不能执行 模式识别时，控制器在步骤S208将"模式不可识别"显示在显示屏幕上。图17A和图17B示出本发明的上述示例性实施例的示例。图17A示出 指示可进行模式识别的应用900正在执行的状态的模式识别图标910。根据 随后是否在步骤S210输入了模式识别执行键，模式识别图标910可被显示为 其它形式。例如，图17A的图标910指示模式识别执行^建被输入之前的状态， 图17B的图标920指示模式识别执行键被输入的状态。可按照以下方式来实 现910和920这两个图标可通过亮度、颜色等将所述两个图标彼此区分。 同时，当执行的应用不能执行模式识别时，显示屏显示指示不能执行模式识别的图标(未示出)或者不显示910或920中的任何一个。可在不进行模式识别执行键被输入的步骤S210的情况下实现本发明的上述实施例。在这种情况下，在图3的拍摄图像的步骤S220之前，执行通过步骤S204、 S206和S208确定并显示执行的应用是否能够执行模式识别的状态的处理。图16是示出根据本发明示例性实施例的用户界面控制方法的流程图。如参照图16所述，示例性实施例包括在相机的图像中，；漠式识别失败的 情况。例如，如果拍摄的对象(诸如白墙)的图像没有显示出其中的明显特 点，则难以提取^莫式。因此，在这种图像的情况下，；漠式识别会失败。参照图16，在步骤S230执行关于各个图像的模式识别，如先前参照图3 所述。在步骤S236，确定模式识别是否已经成功。当模式识别已经成功时， 在步骤S240执行才莫式分析，如在图3的实施例中所述。相反，当模式识别失 败时，显示屏幕在步骤S238将失败状态显示在显示器上。图17C示出当模式识别失败时的屏幕。如图所示，显示屏幕使用图标930 和/或短语940来指示模式不可识别。如上所述，实现便携式终端的示例性实施例，以按照与便携式终端移动 的相同方向在显示屏幕上移动焦点，并当便携式终端远离和靠近用户时缩小/ 放大显示的图像。也就是说，当分析结果确定便携式终端被移动时，控制器 选择涉及作为便携式终端移动的相同方向的方向的控制命令。当分析结果确定便携式终端远离和靠近用户时，控制器选择涉及当便携式终端远离和靠近 用户时，分别缩小和放大显示的图像的控制命令。同时，可按照以下方式来修改根据本发明的便携式终端的示例性实施例 可与便携式终端的移动方向相对地移动显示屏幕上的焦点，并且当便携式终 端远离和靠近用户时，可放大/缩小显示图像。也就是说，当分析结果确定便 携式终端被移动时，控制器选择涉及与便携式终端的移动方向相对的移动方 向的控制命令。当分析结果确定便携式终端远离和靠近用户时，控制器选择 涉及当便携式终端远离和靠近用户时，分别放大和缩小显示的图像的控制命 令。可分别将上述两种选择定义为一般模式和相对模式。可将本发明的控制 方法实现为还包括选择这两种模式中的一种。此外，根据本发明的便携式终端包括便携式电话、PDA、 MP3播放器、 PMP、 DMB接收机等。然而，本发明并不受限于所列出的装置，而且，可将 本发明应用于采用按钮但不将键盘和鼠标用作一般输入装置的各种类型的便 携式终端。本发明可使用安装在便携式终端中的相机来控制用户界面。具体说来， 本发明扩展了便携式终端的相机的应用以及对静止图像或运动图像的拍摄。 由于本发明实际上使用相机拍摄的图像，所以不需要额外的部分，诸如运动 识别传感器等。因此，本发明可减小便携式终端的大小，简化生产过程并降 低价格等。此外，本发明可解决当传统导航键被操作时造成的问题。也就是说，显 示在屏幕上的焦点可不受移动方向的限制自由地搡作并且可在上/下/左/右方 向进行操作，如同通过鼠标进行操作。另外，由于将便携式终端的移动或便携式终端相对于用户的远离和靠近 直接应用于用户界面控制，所以可直观和简单地使用便携式终端。尽管已参照本发明的某些示例性实施例示出和描述了本发明，但是本领 域的技术人员将理解在不脱离由权利要求及其等同物限定的本发明的精神 和范围的情况下，可对其进行形式和细节上的各种改变。
权利要求
1 、 一种包括相枳4莫块的便携式终端的用户界面控制方法，所述方法包括 通过相机模块拍摄第 一 图像和第二图像； 识别第 一 图像和第二图像的模式； 分析识别的模式；基于分析结果选择控制命令；以及 执行与控制命令相应的功能。
2、 如权利要求l所述的方法，其中，拍摄第一图像和第二图像的步骤包 括输入模式识别执行键。
3、 如权利要求l所述的方法，其中，识别模式的步骤包括 分别从第一图像和第二图像提取目标点；以及 分别计算目标点的位置。
4、 如权利要求3所述的方法，其中，分析识别的模式的步骤包括基于目标点的位置计算位移角e。
5、 如权利要求4所述的方法，其中，计算位移角e的步骤包括通过e4an"(b/a)来确定e，其中，第一图像中的目标点的位置为(x， y),第二图像 中的目标点的位置为(x+a， y+b)。
6、 如权利要求3所述的方法，其中，分析识别的模式的步骤包括 从目标点的位置计算距离增量/减量Ad;以及 确定距离增量/减量Ad包括正值还是负值。
7、 如权利要求6所述的方法，其中，计算距离增量/减量Ad的步骤包括 通过以下等式确定Ad:= V(:c —M)2 +("v)2 ，cT= V(x'-m')2 +(y-v')2 , A"c/-W 其中，第一图像中的目标点的位置为(x， y)和(u， v)，第二图像中的 目标点的4立置为(x，， y，)和(u，， v，)。
8、 如权利要求3所述的方法，其中，分析识别的模式的步骤包括 从目标点的位置计算平均位移m和距离改变；以及 将平均位移m与距离改变进行比较。
9、 如权利要求8所述的方法，其中，计算平均位移m的步骤包括通过 下面的等式来计算m: p = V(H')2+0__y')2 ,《=V(M-"')2+(H')2 ,附=^^，其中，距离改变是通过下面的等式计算的距离增量/减量Ad的绝对值 ^ = V(^ —w)2 +Cy—v)2 ，^，= V(x，—w')2 +Cy'_v')2 ，= ，其中，第一图像中的比目标点的位置为(x， y)和(u， v),第二图像中 的比目标点的位置为(x，， y，)和(u，， v，)。
10、 如权利要求5所述的方法，其中，分析识别的模式的步骤还包括 确定当前执行的应用的类型。
11、 如权利要求IO所述的方法，其中，应用包括以下内容的至少一种 菜单列表、文件列表、图^f象文件、消息书写/^r查窗口、文档文件、音乐文件 和游戏。
12、 如权利要求4所述的方法，其中，选择控制命令的步骤包括根据 位移角e选择涉及四种方向的移动的控制命令以及涉及自由方向的移动的控 制命令中的至少一个。
13、 如权利要求4所述的方法，其中，控制命令包括显示前一列表、将 焦点移到下面的菜单、显示下一列表和将焦点移到上面的菜单中的至少一个， 所述控制命令分别对应于以下条件-45°<0<45°、 45°<6<135°、 135°<e<225。 和225O<0<315O。
14、 如权利要求4所述的方法，其中，控制命令包括将焦点移到前一文 件、将焦点移到下面的文件、将焦点移到下一文件和将焦点移到上面的文件 中的至少一个，所述控制命令分别对应于以下条件-45。<9<45°、 45。<0<135°、 1350<e<2250和2250<0<3150。
15、 如权利要求4所述的方法，其中，控制命令相应于移动焦点的位移角。
16、 如权利要求6所述的方法，其中，选择控制命令的步骤包括当距 离增量/减量为正时选择屏幕放大，当距离增量/减量为负时选择屏幕缩小。
17、 如权利要求8所述的方法，其中，选择控制命令的步骤包括当平 均位移大于距离改变时选择方向移动，当距离改变大于平均位移时选择屏幕 放大/缩小。
18、 如权利要求1所述的方法，还包括 确定当前执行的应用是否能够执行模式识别；以及 显示当前执行的应用是否能够执行模式识别的状态。
19、 如权利要求18所述的方法，其中，显示状态的步骤包括当当前执 行的应用能够执行模式识别时，显示模式识别图标。
20、 如权利要求1所述的方法，还包括 确定模式识别是否已成功；以及 当模式识别没有成功时，显示"模式不可识别"。
21、 如权利要求20所述的方法，其中，显示"模式不可识别，，的步骤包 括显示图标和短语中的至少一个。
22、 一种包括相积4莫块的便携式终端的用户界面控制方法，所述方法包括,.通过相才A4莫块拍摄与便携式终端的动作相应的第 一 图像和第二图像；识别第 一 图像和第二图像的模式；基于识别的模式分析便携式终端的动作；选择与所分析的便携式终端的动作相应的控制命令；以及执行与控制命令相应的功能。
23、 如权利要求22所述的方法，其中，选择控制命令的步骤包括当分 析确定便携式的动作为移动时，选择与便携式终端移动的方向相应的方向移 动。
24、 如权利要求22所述的方法，其中，选择控制命令的步骤包括当分 析确定便携式的动作为移动时，选择与便携式终端的移动方向相对的方向移 动。
25、 如权利要求22所述的方法，其中，选择控制命令的步骤包括当分 析确定便携式的动作为远离/靠近用户时，选择与便携式终端的推/拉相应的缩 小/放大显示图像。
26、 如权利要求22所述的方法，其中，选择控制命令的步骤包括当分 析确定便携式的动作为远离/靠近用户时，选择与便携式终端的推/拉相应的放 大/缩小显示图像。
27、 一种便携式终端，包括 相机模块，用于拍摄第一图像和第二图像；模式识别单元，用于分别识别第 一图像和第二图像的模式； 模式分析单元，用于基于模式识别单元的模式识别结果来分析识别的模 式，并用于基于分析结果选择控制命令；以及 控制器，用于执行与控制命令相应的功能。
全文摘要
提供一种便携式终端及其用户界面控制方法。在所述终端和方法中，识别并分析相机拍摄的对象图像的模式。由相机模块拍摄根据便携式终端的动作(移动、远离或靠近用户)改变的第一图像和第二图像。识别第一图像和第二图像的模式。基于识别的模式来分析便携式终端的动作。选择与分析的动作相应的控制命令。执行与选择的控制命令相应的功能。因为便携式终端的动作被直接应用于用户界面控制，所以可直观和简单地使用便携式终端。通过使用安装在便携式终端的相机，可在不需要额外的部分的情况下控制用户界面。此外，本发明可解决当操作传统导航键时造成的问题。
文档编号G06K9/00GK101123445SQ20071013919
公开日2008年2月13日 申请日期2007年7月27日 优先权日2006年8月7日
发明者柳东锡, 洪鲁卿, 黄在俊 申请人:三星电子株式会社