用于控制基于运动的用户接口的设备和方法与流程

本申请是申请日为2011年10月13日，申请号为201180049342.7，发明名称为“用于控制基于运动的用户接口的设备和方法”的发明专利申请的分案申请。

本发明涉及一种用户接口，更具体地讲，涉及一种用于根据移动终端进行的运动来控制接口的设备和方法。

背景技术：

目前，诸如tv、mp3播放器、便携式多媒体播放器(pmp)、智能电话等电子装置配备有多种输入/输出装置，以使用户能够方便地控制电子装置。

在输入/输出装置中，智能电话的应用最近急剧增加。特别地，在包括便携式电话、智能电话、便携式电脑的移动终端的市场中，使用触摸面板的比例逐渐增加。因为触摸屏面板被预期在大多数智能电话中变得更加流行，所以用于移动终端的触摸屏的市场将快速增长。触摸屏面板还被广泛地用于诸如tv或电冰箱的家用电器。家用电器的市场在采用触摸屏面板方面将紧跟在移动终端市场之后位居第二。

近来，已经对基于视觉信息识别用户意图和动作进行了广泛的研究，以在用户和触摸屏之间实现自然的交互。特别地，构造用户友好用户界面来识别通过手指或触摸笔输入的手势。用户接口的发展趋势正在从根据在触摸屏上的基于单个手指的单触摸输入进行操作的接口转变为根据在触摸屏上的基于多个手指的多触摸输入进行操作的接口。

触摸屏是用于感测输入的平面和用作显示器的平面的堆叠。因此，可从触摸屏上的多触摸输入分析和感知用户意图，并且分析和感知结果可输出在触摸屏上。特别地，以这种方式来设计基于多触摸的用户接口：触摸屏上的手指触摸/笔触摸的数量和相关的操作被识别，并且相关的命令被执行。以下将描述支持多触摸输入的移动终端的内部结构。

图1是支持多触摸输入的传统移动终端的框图。在图1中，移动终端包括输出单元101、控制器103、存储器105和输入单元107。

参照图1，输出单元101在触摸屏上输出诸如图画或网页的图像。诸如图画或网页的图像被存储在存储器105中。当图像被输出在触摸屏上时，用户可使用输入单元107根据用户选择来放大或缩小图像。通过使用两根手指同时触摸显示在触摸屏上的图像的关注的部分，可放大或缩小该部分。除了手指，还可使用触摸笔。当通过输入单元107输入多触摸时，控制器103控制输出单元101在触摸屏上显示放大或缩小的多触摸区域。

以下将描述当在具有图1中示出的配置的移动终端中输入多触摸时执行的示例性操作。

图2a和图2b示出当输入多触摸时执行的示例性传统操作。所述操作具体表现为通过在触摸屏上的多触摸来放大特定区域。

参照图2a，用户使用两根手指205以捏合运动触摸触摸屏201以放大显示在触摸屏201上的汽车图像203。放大的区域可根据两根手指205触摸的位置而不同。参照图2b，通过在触摸屏201上张开两根手指205来放大汽车图像203。汽车图像203放大的程度可取决于两根手指205彼此张开的距离。

尽管图2a和图2b中仅示出了放大图像的操作，但是也可使用两根手指205来缩小放大的图像。

传统上，触摸屏的预订部分的放大或缩小比率仅可通过按下预定的放大键或缩小键或者进行多次触摸来调整。当用户希望从一页移动到另一页，或者希望在同一页上从一个部分移动到另一部分时，用户应该按下预定的移动键或者触摸并拖拽触摸屏的区域。这意味着，为了连续放大或缩小，用户应该进行连续的键输入或者连续的多次触摸。此外，为了在同一页上从特定部分移动到另一部分，用户必须不方便地连续输入键或者进行连续的触摸和拖拽。因此，难以简单地使用触摸屏上的输入或在触摸屏上做出的手势来快速准确地执行用户期望的操作。

技术实现要素：

技术问题

本发明实施例的一方面在于至少解决上述问题和/或缺点，并至少提供下述优点。因此，本发明实施例的一方面在于提供一种用于控制用户接口以使图像可基于运动被放大、缩小和移动的设备和方法。

技术方案

根据本发明的实施例，提供一种用于控制基于运动的用户接口的设备，其中，触摸屏显示图像并接收在至少一个点上的用户触摸的输入，传感器单元感测所述设备的运动，当传感器单元感测到所述设备的运动时，运动计算器计算所述设备的运动的程度，当在触摸屏上触摸至少一个点时，控制器确定触摸点的数量，从运动计算器接收关于所述设备的运动的程度的信息，并根据触摸点的数量确定是否改变图像的大小或图像的位置。

根据本发明的另一实施例，提供一种用于控制基于运动的用户接口的方法，其中，在触摸屏上显示图像，当在触摸屏上触摸至少一个点时，确定触摸点的数量，根据触摸点的数量确定是改变图像的大小还是改变图像的位置，根据包括所述触摸屏的设备的运动来改变图像的大小或图像的位置。

有益效果

根据本发明的设备和方法，用户可使用运动来容易地放大、缩小和移动图像。

附图说明

通过以下结合附图的详细描述，本发明的特定实施例的以上和其他目的、特点和优点将会更加清楚，在附图中：

图1是支持多触摸输入的传统移动终端的框图；

图2a和图2b示出基于多触摸输入执行的示例性传统操作；

图3是根据本发明实施例的用于控制基于运动的用户接口的移动终端的框图；

图4a至图5c是示出根据本发明实施例的移动终端的运动的示例性示图；

图6a和图6b是示出根据本发明实施例的放大或缩小图像的操作的示例性示图；

图7a和图7b是示出根据本发明实施例的移动图像的操作的示例性示图；

图8a和图8b是示出根据本发明实施例的使用预定键控制基于运动的用户接口的操作的示例性示图；

图9是示出根据本发明实施例的控制基于运动的用户接口的操作的流程图。

贯穿附图，相同的附图标号将被理解为表示相同的元件、特征和结构。

具体实施方式

现在将参照附图详细描述本发明的优选实施例。当诸如组件的特定细节在以下描述中被描述时，这些细节被提供以帮助全面理解本发明，并且本领域技术人员将清楚地理解，在本发明的范围和精神之内，可对这些细节做出变形和修改。

图3是根据本发明实施例的用于控制基于运动的用户接口的移动终端的框图。在图3中，移动终端包括输出单元301、控制器303、存储器305、输入单元307、运动计算器309和传感器单元311。

参照图3，输出单元301在触摸屏上输出诸如照片或网页的图像。诸如照片或网页的图像被存储在存储器305中。当需要时，可使用存储在存储器305中的另一图像，或者可使用配备在移动终端中的相机模块来捕捉期望的照片。

输入单元307接收关于在触摸屏上触摸的点的数量、在触摸屏上进行的拖拽等的信息。运动计算器309计算移动终端的移动方向或角度，并将关于计算的移动方向或角度的信息发送到控制器303。移动终端基本上可向上移动、向下移动、向左移动和向右移动。此外，移动终端可沿着接近用户的水平方向向前移动，或者可沿着远离用户的水平方向向后移动。移动终端移动的角度被计算为移动终端相对于设置为0度的当前位置倾斜的角度。运动计算器309使用传感器单元311来计算移动终端的移动方向或角度。更具体地讲，运动计算器309使用传感器单元311的一个或多个传感器中的陀螺仪传感器来计算移动终端移动的方向或角度。陀螺仪传感器是除了加速度传感器的功能之外还适用于感测旋转的传感器，因此陀螺仪传感器跟踪6个轴上的运动。因此，与加速度传感器相比，陀螺仪传感器可感测更精确的运动。陀螺仪传感器感测高度和旋转倾角以及加速度和减速度。

控制器303从输入单元307接收关于触摸点的数量的信息以及关于触摸屏上的触摸和拖拽的信息，从运动计算器309接收关于计算的移动终端的运动的信息，并根据触摸点的数量以不同的方式控制显示在触摸屏上的图像。

如果在触摸屏的任何区域上两个或更多个点被触摸，则控制器303将多触摸输入确定为用于放大或缩小显示在触摸屏上的图像的命令，并且根据从运动计算器309接收的关于移动终端的运动的改变的信息来放大或缩小图像。例如，当在触摸屏上的任何区域中两个点被触摸，并且移动终端以不变的角度接近用户或者移动终端的触摸屏相对于用户向前倾斜时，图像被放大。另一方面，当移动终端以不变的角度远离用户或者移动终端的触摸屏从用户向后倾斜时，图像被缩小。这种方法具有与使用两根手指放大或缩小图像的创痛的多触摸方案中实现的效果相同的效果，这将从图4a、图4b和图4c的描述中清楚。

图4a、图4b和图4c是示出根据本发明实施例的移动终端的运动的示例性示图。在图4a、图4b和图4c中，假设用户在触摸屏上触摸两个点。

参照图4a，当在移动终端的触摸屏上触摸任意两点的同时，用户面向移动终端的触摸屏以不变的移动终端的角度沿着-z轴方向拉动移动终端时，显示的图像被放大。相反，当用户面向移动终端的触摸屏沿着z轴方向推动移动终端时，显示的图像被缩小。图4b是示出移动终端移动的路径的移动终端的侧视图。从图4b中注意到，移动终端在不改变角度的情况下仅沿着z轴或-z轴移动。图4c示出相对于设置为旋转轴的y轴和-y轴的移动终端的倾角的变化。通过相对于用户向前或向后倾斜移动终端，可放大或缩小显示在触摸屏上的图像。

如果用户在触摸屏上的任何区域中触摸一个点时，控制器303将单触摸输入确定为用于移动显示在触摸屏上的图像的命令，并且根据从运动计算器309接收的关于移动终端的运动的改变的信息来向上、向下、向左或向右移动图像。例如，如果在触摸屏的任何区域中触摸一个点的同时，用户将移动终端向左移动或者将移动终端向左旋转时，显示的图像被移动到左侧。也就是说，实现与通过触摸和拖拽触摸屏的区域来沿着期望的方向移动图像的方案相同的效果，这将从图5a、图5b和图5c中清楚。

图5a、图5b和图5c示出根据本发明实施例的移动终端的运动。在图5a、图5b和图5c中，假设用户在触摸屏上触摸一个点。

参照图5a，当在移动终端的当前角度不变的情况下在触摸屏上触摸一个点的同时，用户将移动终端沿着x轴、-x轴、y轴或-y轴方向移动时，显示在触摸屏上的图像沿着移动终端移动的方向移动。图5b示出相对于设置为旋转轴的z轴和-z轴的移动终端的旋转的改变，图5c示出相对于设置为旋转轴的y轴和-y轴的移动终端的旋转的改变。如果z轴和-z轴被设置为旋转轴并且移动终端在y轴和-y轴上向右旋转或向左旋转，则显示的图像可向一侧移动。另一方面，如果y轴和-y轴被设置为旋转轴并且移动终端在z轴和-z轴向前倾斜或向后倾斜，则显示的图像可向上或向下移动。

如果y轴和-y轴被设置为旋转轴，显示的图像可根据触摸屏上的触摸点的数量被不同地变换。在图4c中，图像被放大或缩小，而在图5c中，图像向上或向下移动。

如同传统上一样，控制器303还可对应于诸如拖拽的手势来控制显示在触摸屏上的图像，所述拖拽可跟随触摸屏的任意区域中的至少一个点的触摸。例如，如果在触摸屏的任意区域中触摸一个点，并且向左拖拽触摸的点，则显示的图像可向左移动，并且下一图像可被显示。如果在触摸屏上触摸两个点，则图像可根据传统的多触摸方案被放大或缩小。

现在将参照图3对用于控制显示的图像的操作进行描述。

图6a和图6b是示出根据本发明实施例的放大或缩小图像的操作的示例性示图。

参照图6a，在观看触摸屏的同时，用户在以触摸屏的任何区域中的两个点被触摸的方式抓住触摸屏的情况下拉动移动终端。显示的图像对应于拉动运动被放大。图6b是示出用户拉动移动终端的侧视图。应注意到，如图4a所示，在没有相对于用户向前倾斜移动终端的情况下，仅仅通过使移动终端接近用户来放大图像。

尽管图6a和图6b中没有示出，但是当在观看触摸屏的同时，用户在以触摸屏的任何区域中的两个点被触摸的方式抓住触摸屏的情况下向后推动移动终端时，显示的图像可被缩小。通过拉动移动终端放大图像和通过推动移动终端缩小图像的功能可由用户设置来改变。例如，可以以这种方式来改变功能：通过拉动移动终端缩小图像，并且通过推动移动终端放大图像。

图像的放大或缩小比率可被设置为与在图4a至图5c中示出的每个轴方向上的旋转角度测量成比例，其中，使用包括在根据用户运动而移动的移动终端的输出单元301中陀螺仪传感器进行旋转角度测量。在图像放大或缩小功能可用的情况下，用户可根据传统的多触摸方案来放大或缩小图像。在传统的基于多触摸的放大或缩小功能进行期间，可以停用基于运动的图像放大或缩小功能，以避免传统的放大或缩小功能与提出的放大或缩小功能之间的相互干扰。

如果在触摸屏上仅触摸一个点或者没有进行触摸，则停用本发明中的图像放大和缩小操作。

图7a和图7b是示出根据本发明实施例的移动图像的操作的示例性示图。

参照图7a，在以触摸屏的任何区域中的一个点被触摸的方式抓住移动终端的同时，用户在观看触摸屏的情况下移动终端从左向右移动。显示在触摸屏上的图像对应于移动终端的运动从右向左移动。

参照集中于触摸屏的图7b，左侧的触摸屏显示移动之前的图像，右侧的触摸屏显示当移动终端从左向右移动时输出的图像。随着图像移动，隐藏在屏幕之外的右侧的图像出现在触摸屏上。在多个图像被布置的情况下，通过移动移动终端，图像可顺序地出现在屏幕上。

图像移动的距离可被设置为与与在图4a至图5c中示出的每个轴方向上的旋转角度测量成比例，其中，使用包括在根据用户运动而移动的移动终端的输出单元301中陀螺仪传感器进行旋转角度测量。在图像移动功能可用的情况下，用户可通过在触摸屏上触摸一个点并拖拽触摸来移动图像。在拖拽功能进行期间，可停用基于运动的图像移动功能，以避免拖拽功能与本发明的图像移动功能之间的相互干扰。

如果在触摸屏上仅触摸一个点或者没有进行触摸，则停用本发明中的图像移动操作。

尽管根据本发明描述显示的图像可根据在触摸屏的任何区域中的触摸点的数量以不同方式被控制，但是可通过分配特定键并根据按下的键的数量控制显示的图像来实现相同的效果，以下将对此进行描述。

图8a和图8b是示出根据本发明实施例的使用分配的特定键控制基于运动的用户接口的操作的示例性示图。

参照图8a，当在执行图像浏览器期间用户同时按下键盘上的数字1和3的按钮或者同时按下预定间隔的按钮时，移动终端可被设置为将运动识别为用于放大或缩小显示的图像的命令。根据移动终端的后续运动，显示的图像可被放大或缩小。

参照图8b，当在执行图像浏览器期间用户按下键盘上的数字1和3的按钮中的任一个时，移动终端可被设置为将运动识别为用于移动显示的图像的命令。同时，键盘可被基于用户触摸进行操作的按钮取代。

图9是示出根据本发明实施例的控制基于运动的用户接口的操作的流程图。

参照图9，在步骤901，当接收到用户输入时，移动终端执行图像浏览器以显示诸如照片或网页的图像。所述图像存储在存储器305中。如果移动终端能够连接无线互联网，则移动终端可在不执行图像浏览器的情况下显示网页。在步骤903，移动终端确定是否已经通过输入单元307感测到触摸输入。如果没有感测到触摸输入，则在步骤901，移动终端继续执行图像浏览器。当感测到触摸输入时，移动终端进入步骤905。

在步骤905，移动终端对在触摸屏上触摸的点的数量进行计数，并且根据触摸点的数量以不同的方式来控制显示的图像。如果触摸了两个或更多个点，则移动终端确定放大或缩小图像，并开始感测移动终端的运动。在步骤907，如果如图4a、图4b和图4c所示移动终端向前或向后移动或者相对于用户向前或向后倾斜，则移动终端使用包括在传感器单元中的陀螺仪传感器来计算移动终端向上、向下、向左、向右、向前或向后移动的程度或者移动终端向前倾斜、向后倾斜、向左旋转或向右旋转的程度，并且对应于计算的程度来放大或缩小图像。通过传感器单元311的陀螺仪传感器来感测移动终端的运动，并且通过运动计算器309来计算移动终端移动的距离或者移动终端倾斜的程度。此外，可分配并按下两个或更多个按钮来代替两个点，以放大或缩小图像。

如果触摸了单个点，则移动终端确定移动图像，并开始感测移动终端的运动。当如图5a、图5b和图5c所示移动终端向上、向下、向左或向右移动、向前或向后倾斜、向左旋转或向右旋转时，计算移动终端的移动距离或者倾斜或旋转程度，并且沿着与计算的程度相应的方向移动图像。如上所述，通过传感器单元311的陀螺仪传感器来感测移动终端的运动，并且通过运动计算器309来计算移动终端移动的距离或者移动终端倾斜的程度。此外，可分配并按下特定按钮来代替一个点，以移动图像。

虽然已经参照本发明的实施例具体显示和描述了本发明，但是本领域普通技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。