用于处理多个输入的方法和装置制造方法
【专利摘要】提供了一种在具有与外部交互的接口的装置中处理多个输入的方法和装置。所述方法包括：从接口的一个中检测第一用户输入；响应于第一用户输入来执行功能；从接口的另一个中接收第二用户输入或者系统输入；以及响应于第二用户输入或者系统输入来改变功能的属性。
【专利说明】用于处理多个输入的方法和装置
【技术领域】
[0001]本发明一般涉及一种用于处理多个输入的方法和装置，更具体地，涉及一种用于响应于同时发生的多个输入来执行功能的方法和装置。
【背景技术】
[0002]便携式终端通常用于无线语音呼叫和信息交换。随着新技术的发展，现在便携式终端提供各种服务和功能。诸如，便携式终端已经被开发为能够提供各种服务的多媒体设备，诸如电话簿、游戏、短信息、电子邮件、叫醒服务、音乐播放器、日程管理、数码相机和无线因特网。
[0003]此外，语音识别技术正在迅速发展，其不仅将语音转换成文本并识别文字，而且识别类似于人类语音的内容。这样的语音识别技术被应用到各种终端，诸如智能手机、智能电视机、平板电脑等。终端可以响应于输入信息、特别是语音信息而执行各种功能(诸如，照相、因特网连接、音乐播放、导航服务等)。
[0004]当前，便携式终端提供了诸如触摸屏和麦克风的各种输入设备来作为接口，以用作与用户交互的输入。也就是说，用户可以通过触摸屏利用触摸输入来控制便携式终端。此外，用户可以通过麦克风利用语音输入来控制便携式终端。也就是说，传统的便携式终端的单独地处理用户的输入。特别是，传统的便携式终端分别处理除了语音输入之外的输入。因此，在便携式终端中具有各种类型的输入设备可能是低效率的。
【发明内容】
[0005]已经做出本发明以至少解决上述问题和缺点，并且至少提供下面描述的优点。因此，本发明的一个方面是提供一种方法和装置，其用于提供在其中可以组合地使用两个或更多个输入方法的环境。换句话说，提供了一种用于处理同时从不同输入接口输入的多个输入的方法和装置。
[0006]本发明的另一个方面是提供一种方法和装置，其能够从自麦克风输入的语音信息中识别用户的意图，并且准确地将用户的意图反映到由除了麦克风之外的接口执行的功能上。
[0007]根据本发明的一个方面，一种在具有用于与外部环境交互的接口的装置中处理多个输入的方法包括:检测来自接口中的一个的第一用户输入；响应于第一用户输入来执行功能；检测来自接口中的另一个的第二用户输入或系统输入；以及响应于第二用户输入或系统输入来改变功能的属性。
[0008]根据本发明的另一个方面，一种用于处理多个输入的装置包括:用于与外部环境进行交互的接口 ；以及用于控制接口的控制器，其中，所述控制器检测来自接口中的一个的第一用户输入，响应于第一用户输入来执行功能，检测来自接口中的另一个的第二用户输入或系统输入，以及响应于第二用户输入或系统输入来改变功能的属性。【专利附图】
【附图说明】
[0009]结合附图，从以下的详细描述中，本发明的方面、特征、和优点将变得更加明显，在附图中:
[0010]图1是示出根据本发明的实施例的、用于处理多个输入的装置的框图；
[0011]图2是示出根据本发明的实施例的、处理多个输入的方法的流程图；
[0012]图3中的(a)_ (e)是示出根据本发明的实施例的、处理多个输入的方法的屏幕示例；
[0013]图4是示出根据本发明的实施例的、改变功能的属性的方法的流程图；
[0014]图5示出根据本发明的实施例的、计算需要校正的部分的方法；
[0015]图6中的(a)_ (b)是示出根据本发明的另一个实施例的、处理多个输入的方法的屏幕示例；
[0016]图7中的(a)_ (b)是示出根据本发明的另一个实施例的、处理多个输入的方法的屏幕示例；以及
[0017]图8是示出根据本发明的另一个实施例的、处理多个输入的方法的屏幕示例。【具体实施方式】
[0018]将参考附图来详细地说明本发明的实施例。在整个附图中，使用相同的附图标记来指代相同或类似部件。并入本文的公知的功能和结构的详细描述可以被省略，以避免模糊本发明的主题。
[0019]根据本发明的用于处理多个输入的方法和装置可被应用于多媒体设备，诸如智能电话机、平板电脑、笔记本电脑、台式电脑、电视机、导航系统和视频电话机。另外，该方法和装置也可被应用于与多媒体设备组合的设备(例如，具有通信功能和触摸屏的冰箱)。
[0020]在本发明中，“输入”是来自用于与外部环境交互的各种接口的信息输入，并且可以包括用户输入和系统输入。具体而言，“用户输入”是通过用户接口(例如，触摸屏、麦克风、传感器单元、键盘输入单元等)中的一个而输入到设备的用户输入信息，并且包括使用手持部件(例如，用户的手或笔等)的对于触摸屏的用户姿势、通过麦克风输入的语音信息、在传感器单元中感测的运动信息等。在此，运动信息包括用户的运动信息。用户的运动信息可以是由照相机(图像传感器)拍摄的手部运动、脸部运动、或眼睛运动。另外，如果装置是便携式终端，则运动信息可以包括设备的运动信息。设备的运动信息可以包括根据便携式终端的用户晃动的、在加速度传感器中感测的设备的加速度信息。
[0021]在本发明中，系统输入是与设备的外部环境相关的信息。在这里，外部环境可以广泛地包括自然环境的通信环境。例如，与自然环境相关的信息可包括外部亮度、温度、湿度、速度、位置和便携终端的移动方向等。另外，与通信环境相关的信息可包括与终端连接的无线通信网络信息一诸如LTE、3G、W1-Fi和蓝牙一以及通过有线线路连接的外部设备的属性信息。
[0022]在本发明中，从用户的角度来看，输入可以根据输入是否是由用户产生的而被划分为用户输入和系统输入。从设备的角度来看，输入可以基于输入的产生位置而被划分为用户输入和系统输入。例如，在触摸屏中产生的输入可以是用户输入，并且在亮度传感器中产生的输入可以是系统输入。[0023]根据本发明的方法和装置可以处理同时产生的多个输入。特别地，根据本发明的方法和装置可以响应于第二用户输入或系统输入来改变由第一用户输入执行的功能的属性。例如，所述方法和装置响应于笔触摸而在屏幕上显示笔迹。此时，如果检测到用户的语音“红色”，则根据本发明的方法和装置将笔迹的颜色改变为红色。此外，根据本发明的方法和装置可以将笔迹的颜色校正为红色。
[0024]图1是示出根据本发明的实施例的、用于处理多个输入的装置100的框图。
[0025]参照图1，装置100包括触摸屏110、键输入单元120、存储单元130、无线通信单元140、音频处理单元150、扬声器(SPK)、麦克风(MIC)、传感器单元160和控制器170，并且还可以包括照相机180。
[0026]触摸屏110包括触摸面板111和显示面板112，以提供用于与用户交互的用户接口。触摸面板111可以被放置在显示面板112上。具体而言，触摸面板111可以被实现为放置在显示面板112上的附加(add-on)类型、单元上(on-cell)类型、或者插入到显示面板112中的单元内(in-cell)类型。
[0027]触摸面板111响应于触摸面板111上的用户姿势而产生模拟信号(例如,触摸事件)，且A/D转换(模拟到数字转换)模拟信号并且将转换后的信号发送到控制器170。控制器170从发送的触摸事件中检测用户姿势。即，控制器170通过检测触摸点、触摸的移动距离、触摸的移动方向、触摸的速度和触摸的压力等来控制组件。
[0028]触摸屏111可以是集成触摸面板，其包括感测手姿势的手触摸面板Illa和感测笔姿势的笔触摸面板111b。在这里，手触摸面板Illb可以是电容类型，其不仅通过用户的手部姿势来产生触摸事件，而且可以通过其他物体(诸如，由可改变电容值的导电性材料制成的物体)来产生触摸事件。即，在手触摸面板Illa中，不仅可以通过用户的手来产生触摸事件，而且可以通过其它物体来产生触摸事件。手触摸面板Illa不限于电容型，而是可以是电阻型、红外线型或超声波型。笔触摸面板Illb可以是电磁感应型。因此，笔触摸面板11 Ib通过用于触摸以形成磁场的专门制造的铁笔来产生触摸事件。
[0029]如上所述，对于触摸屏110的用户姿势根据触摸输入部件被大致划分为手姿势和笔姿势。如上所述，在手触摸面板Illa中感应手姿势，并且在笔触摸面板Illb中感应笔姿势。
[0030]用户姿势被划分为触摸和与手持部件不相关的触摸姿势。此外，触摸姿势可以包括轻击、双击、长击、拖动、拖放、轻拂、按压等。在此，触摸是使用触摸输入部件(例如，手指或铁笔)来接触屏幕的一个点的操作，轻击是利用触摸输入部件触摸一个点，然后将触摸输入部件的触摸从该点移除，而没有移动触摸输入部件的操作，双击是在一个点上连续执行轻击操作两次的操作，长击是触摸一个点达相对长的时间，然后将触摸输入部件的触摸从该点移除，而没有移动触摸输入部件的操作，拖动是在已经触摸了某个点的状态下沿预定方向移动触摸输入部件的操作，拖放是拖动然后移除触摸输入部件的操作，并且轻拂是相对于拖动来说快速地移动输入部件然后移除触摸的操作。按压是利用触摸输入部件触摸一个点并且推动该点的操作。即，“触摸”是其中维持与触摸屏的接触的状态，并且“触摸姿势”是从触摸(开始触摸)到移除触摸(结束触摸)的触摸的移动。通过包括压力传感器，触摸面板可以感测触摸点处的压力。感测到的输入信息被发送到控制器170，并且控制器170基于所感测的压力信息来区分触摸与按压。[0031]显示面板112将来自控制器170的图像数据输入转换成模拟信号，并且在控制器170的控制下显示信号。即，显示面板112根据装置100的使用来显示各种屏幕，诸如锁定屏幕、主页屏幕、应用(应用)屏幕和键盘屏幕。锁定屏幕可以被定义为当显示面板112被开启时在显示面板112上显示的图像。如果检测到用于释放锁定的触摸姿势，则控制器170将所显示的图像改变为主页屏幕或应用执行屏幕等。主页屏幕可以被定义为包括与多个应用相对应的多个应用图标的图像。
[0032]如果通过用户选择多个应用中的一个(例如，轻击一个图标)，则控制器170执行相应的应用(例如，因特网、文档书写、聊天、文本传输等)，并且在显示面板112上显示执行屏幕。显示面板112可以显示屏幕中的一个来作为背景，并且可以在背景中叠加另一屏幕作为前景。例如，显示面板112可以显示应用执行屏幕，并且可以在应用执行屏幕上显示小键盘。
[0033]此外，显示面板112可以在控制器170的控制下显示多个屏幕。例如，显示面板112可以在触摸屏110的第一屏幕区域上显示小键盘，并且可以在触摸屏110的第二屏幕区域上显示通过小键盘输入的消息。
[0034]显示面板112可以由液晶显示器(IXD)、有机发光二极管(OLED)或有源矩阵有机发光二极管(AMOLED)来形成。
[0035]键输入单元120包括用于接收数字或字母信息并且设置各种功能的多个键。这样的键可以包括方向键、侧键和快捷键等。键输入单元120产生与用户设置和装置的功能控制相关的键事件，并且向控制器170发送所产生的键事件。键事件可以包括电源开/关事件、音量调整事件以及屏幕开/关事件。控制器170响应于键事件来控制上述组件。另外，键输入单元120可以包括包含多个键的QWERTY小键盘、3*4小键盘、4*3小键盘等。如果触摸面板被支持为全触摸屏类型，则键输入单元120可包括用于屏幕开/关、装置开/关或音量调节的一个或多个侧键。另外，键输入单元120的键可以被称为硬键，并且在触摸屏110上显示的键可以被称为软键。
[0036]在控制器170的控制下，存储单元130可以存储在装置中产生的数据(例如，文本消息、拍摄的图像)或通过无线通信单元140而从外部接收的数据(例如，文本消息、电子邮件)。存储单元130可以存储锁定屏幕、主页屏幕、小键盘等。存储单元130可存储用于装置的操作的各种设置值(例如，屏幕亮度、在触摸发生时是否有振动、屏幕是否自动旋转、背景图像等)。
[0037]存储单元130可以包括用于引导装置100的操作的操作系统、通信程序、图形处理程序、显示控制程序、用户接口程序、用户识别程序、人工智能程序、嵌入式应用和第三方应用等。
[0038]通信程序包括允许通过无线通信单元140而与外部设备进行通信的命令。图形处理程序包含各种软件组件(例如，用于转换图像格式、调整要显示的图形的大小、渲染、以及确定背光单元的亮度等的模块)，以处理将被显示在触摸屏上的图形图像。在这里，图形图像可以包括文本、网页、图标、图片、视频以及动画等。此外，图形处理程序可以包括软件编解码器223。用户接口程序包括与用户接口相关的各种软件组件。
[0039]诸如，用户识别程序可以包括语音识别程序和面部识别程序。语音识别程序从语音数据中检测语音特征信息(例如，音色、频率、分贝等)。语音识别程序将所检测的语音特征信息与预先存储的一个或更多个语音特征信息集进行比较，并且根据比较结果来识别用户是谁。另外，语音识别程序可以包括语音-文本(STT)功能，以用于将语音数据转换成文本。面部识别程序从由照相机180拍摄的图像中识别用户的面部。具体而言，面部识别程序从图像数据中提取面部信息，将所提取的面部信息与一个或者多个面部信息集进行比较，并且基于比较结果来识别用户是谁。此外，除了语音识别程序和面部识别程序之外，可以通过各种程序(例如，虹膜扫描、静脉识别、指纹扫描等)来执行用户识别。
[0040]人工智能程序是用于根据语音或图像数据来识别用户的意图的程序。例如，人工智能程序可以包括:自然语言处理引擎；用于根据语音数据来识别和处理上下文；用户姿势运动识别引擎，用于根据图像数据来识别用户的姿势运动的趋势；推断引擎，用于基于所识别的上下文来推断用户的意图；以及对话引擎，用于基于所识别的上下文或者用户运动来与用户对话。
[0041]术语“嵌入式应用”是指基本上安装在装置100中的应用。例如，嵌入式应用可以是浏览器、电子邮件、即时信使等。如已经知道的，术语“第三方应用”是指从在线市场下载并安装在装置100中的应用，并且存在各种第三方应用。这样的第三方应用可以被自由安装和删除。
[0042]无线通信单元140在控制器170的控制下执行语音呼叫、视频呼叫或数据通信。为此，无线通信单元140可以包括:无线频率发送单元，用于上变频并放大所发送的信号的频率；以及无线频率接收单元，用于低噪声放大并下变频所接收的信号的频率。此外，无线通信单元140可以包括移动通信模块(例如，第三代移动通信模块、3.5代移动通信模块或第四代移动通信模块)、数字广播模块(例如，DMB模块)和本地通信模块(例如，W1-Fi模块和蓝牙模块)。
[0043]音频处理单元150与扬声器(SPK)和麦克风(MIC)组合，并且执行语音识别、语音复制、数字记录、和用于电话功能的音频信号的输入及输出。也就是说，音频处理单元150通过扬声器(SPK)输出音频信号，并且执行用于通过麦克风(MIC)来接收音频信号的输入的功能。音频处理单元150从控制器170接收音频数据，将所接收的音频数据转换成模拟信号(D/A转换)，并且通过扬声器(SPK)输出模拟信号。音频处理单元150接收来自麦克风(MIC)的模拟信号，将所接收的模拟信号转换成音频数据(A/D转换)，并且将音频数据提供给控制器170。扬声器(SPK)将从音频处理单元150接收到的模拟信号转换为声波并且输出声波。麦克风(MIC)将从人类或其他声源传播的声波转换成模拟信号。
[0044]传感器单元160检测状态变化，诸如倾斜变化、亮度变化、加速度变化，并且将所检测的变化发送到控制器170。传感器单元160可以由各种传感器构成，并且在控制器170的控制下，传感器检测装置100以及电源的状态变化。可以通过将传感器集成在一个芯片上或者通过传感器的分离芯片来实现传感器单元160。具体而言，传感器单元160可以包括加速度传感器。加速度传感器测量关于X轴、y轴和z轴分量中的每个的加速度。加速度传感器可以包括陀螺仪传感器，并且如果在装置中没有运动，则可以测量重力加速度。例如，如果触摸屏110朝向上侧而被放置在xy平面上(例如，正z轴方向)，则由传感器单元160检测的重力加速度的X轴分量和y轴分量可以是Om/sec2，并且z轴分量可以是+9.Sm/Sec20如果触摸屏110被翻转，则X轴分量和y轴分量可以是Om/sec2，并且z轴分量可以是-9.8m/sec2。如果装置100中存在运动，则加速度传感器检测作为装置100的动力学加速度和重力加速度的总和的加速度。
[0045]控制器170控制装置100的整体操作以及装置100的内部组件之间的信号流，并且处理数据。另外，控制器170控制到内部组件的电力提供。
[0046]控制器170可包括中央处理单元(CPU)和图形处理单元(GPU)。如公知地，CPU是计算机系统的核心控制单元，用于执行数据计算和比较，并且分析及执行命令等。GPU是图形控制单元，用于执行与图形相关数据的计算和比较，并且分析和执行命令。CPU和GPU可以被集成到由两个或者更多个单独的核(例如，四核)形成的单个集成电路的一个封装中。此外，CPU和GPU可以被集成到一个集成芯片(片上系统(SoC))中。此外，CPU和GPU可以被封装成多层。另外，包括CPU和GPU的配置可被称为作为应用处理器(AP)。
[0047]根据本发明的多输入处理可以在CPU的至少一个核中执行。另外，在多输入处理中，图形相关功能可以在GPU中执行。例如，GPU的至少一个核响应于触摸姿势来执行指示笔迹的功能。当然，根据本发明的多输入处理可以在GPU和CPU 二者中执行。在下面将具体描述根据本发明的控制器170的功能。
[0048]控制器170包括语音识别单元。语音识别单元从通过音频处理单元150自麦克风(MIC)输入的语音信息中检测语音特征信息(例如，音色、频率、分贝等)，将所检测的语音特征信息与预先存储的一个或更多个语音特征信息集进行比较，并且根据比较结果来识别用户是谁。此外，控制器170可以包括面部识别单元。面部识别单元从来自照相机180的图像数据输入中提取面部信息，将所提取的面部信息与预先存储的一个或更多个面部信息集进行比较，并且根据比较结果来识别用户是谁。控制器170可以仅仅向识别的用户授予控制授权。也就是说，控制器170可以仅当识别出声音或面部时才进行响应。此外，语音识别单元可以将来自输入语音信息的语音的特征信息转换成文本，并且根据输入语音信息来识别用户的意图(例如，诸如“更厚”和“红色”的某些关键字，或上下文)。此外，面部识别单元可以根据图像数据来识别用户运动的趋势。语音识别单元和面部识别单元中的至少一个可以被包括在外部服务器上而不是在装置100的内部。
[0049]照相机180在控制器170的控制下拍摄目标，并且将所拍摄的目标输出到控制器170。具体而言，照相机180包括用于将从图像传感器输入的电信号转换成图像数据(A/D转换)的图像信号处理器(ISP)，并且将图像数据输出到控制器170。照相机180的ISP可以包括:显示控制模块，用于将图像数据处理为预览图像(例如，调整分辨率以适合触摸屏的屏幕大小)，并且将预览图像输出到控制器170 ;以及编码模块，用于对图像数据进行编码(例如，将数据压缩为MPEG格式)并且将编码数据输出到控制器170。控制器170可以在触摸屏110上显示预览图像。此外，控制器170可以在存储单元130中存储编码视频。
[0050]另外，根据数字设备的融合趋势，可以以各种方式对装置100进行修改，因此，并没有将所有这样的修改在此列出。根据本发明的装置100可以进一步包括没有在上面提到的组件，诸如GPS模块、振动电机、照相机、硬件编解码器、通过有线线路来与外部设备(例如，个人计算机等)连接的有线通信单元。另外，本发明的装置100的一些组件可以从上述结构中省略，或者可以由其他组件取代。
[0051]图2和图3分别是示出根据本发明的实施例的、处理多个输入的方法的流程图和
屏幕示例。
[0052]参照图2，在步骤210中，控制器170检测来自用户接口中的一个的第一用户输入。例如，第一用户输入可以是在其中正执行用于使用手持部件(例如，手或笔)来进行书写、绘制或者绘画的程序的情况下，手持部件在触摸屏上的运动。具体地，如图3中所示，触摸屏110显示主页屏幕310。控制器170检测到在主页屏幕310中对于备忘录书写程序的选择(例如，使用笔320双击备忘录书写程序的图标311)(参见图3中的(a))。
[0053]控制器170响应于备忘录书写程序的选择，在触摸屏110上显示备忘录书写屏幕330。控制器170检测在备忘录书写屏幕330上的第一用户输入，例如，笔320的移动。
[0054]在步骤220中，控制器170响应于第一用户输入来执行功能。例如，在图3中的(b)中示出用于显示与笔320的移动相对应的“SELAB”的功能。在此，与诸如笔320的手持部件相对应的功能不限于书写，并且可以是与图形工作相关的功能，诸如绘制、绘画和擦除。在此，擦除是去除由书写、绘制、绘画等造成的笔迹或者图画的功能。
[0055]在步骤230中，控制器170确定是否已经检测到第二用户输入或系统输入。在此，第二用户输入可以已经在除了已经产生第一用户输入的用户接口以外的接口中产生。例如，在触摸屏Iio中产生第一用户输入，而在麦克风(MIC)和传感器单元160中的一个中产生第二用户输入。此外，可以在除了已经产生第一用户输入的用户接口以外的地方产生系统输入。如上所述，在本发明中，系统输入是与装置的外部环境(例如，自然环境或通信环境)有关的信息。因此，系统输入可以已经在传感器单元160中或者在无线通信单元140等中产生。
[0056]如果检测到第二用户输入和系统输入中的至少一个，则在步骤240中控制器170响应于检测到的输入来改变由第一用户输入执行的功能的属性。例如，如果功能是书写，则改变书写的属性。例如，参照图3中的(C)、(d)和(e)，如果用户输入是说出“红色的线、更厚的线”的语音，贝1J控制器170响应于语音输入来改变笔迹“software center (软件中心)”的属性。即，控制器170将字母的颜色改变为红色，并且将字母变厚。如果检测到例如外部亮度的变化的系统输入(诸如，当前检测的外部亮度大于20Klus (室外))，则控制器将字母的颜色变得更亮，并且将背景(即，备忘录书写屏幕330)变得相对较暗。
[0057]另外，可以事先指定用于改变功能的第二用户输入和系统输入。例如可以在环境设置屏幕中通过用户来设置该指定。在此，环境设置屏幕是用于设置装置100的用户环境，诸如声音、亮度、背景屏幕、网络等的屏幕。另外，该指定可以由制造公司来设置，或者用户进行的改变可能是不可以的。如上所述，如果功能是图形相关工作，则第二用户输入被指定为语音输入，并且系统输入可以被指定为外部亮度的变化。
[0058]如果第二用户输入是语音输入，则控制器170需要时间来处理语音信息，以便识别用户的意图。在此，通过麦克风(MIC)从音频处理单元150输入语音信息，并且该处理通过分析语音信息(例如，将语音信息转换成文本等)来识别用户的意图。这样的处理可以在服务器中执行。也就是说，无线通信单元140从控制器170接收包括语音信息的语音识别请求，并向语音识别服务器发送消息。语音识别服务器处理语音信息，并且向装置100发送包括处理结果(即，用户的意图)的响应消息。在其中用户的意图未被反映达语音处理时间的状态中可以执行功能(诸如，书写)。例如，参照图3中的(c)- (e)，用户给出如上所述的“红色的线，更厚的线”的语音命令，其意图在于在写入“SELAB”之后，将字迹变得更厚且为红色。用户可以与语音命令一起同时书写“software center”。此时，“software”的“soft”部分可能没有反映用户的意图。也就是说，用户可以在书写字母的同时给出用于改变字母的属性的语音命令。因此，在已经执行的功能中可能存在应该反映用户的意图的需要校正的部分(即，没有反映用户的意图的部分)。步骤240可以包括这样的校正过程(下面的图4)。
[0059]图4是示出根据本发明实施例的、改变功能的属性的方法的流程图。图5示出了根据本发明的实施例的、计算需要校正的部分的方法。图4和图5的描述假设如下情形:即在触摸屏110上绘制线的同时，给出用于改变线的属性的语音命令。
[0060]参照图4，在步骤410中，控制器170分析所检测的语音信息，并且识别用户的意图。具体而言，参照图5，控制器170检测语音的起始点tl。此后，控制器170检测语音的终止点t2。通过分析该部分tl-t2的语音信息，控制器170识别用户的意图。在此，对用户的意图的识别可以在作为外部设备的语音识别服务器中处理，而不是如上所述在控制器170中。此后，控制器170根据用户的意图来改变绘制的线的属性。例如，在控制器170的控制下，触摸屏110将线变厚并且显示加厚的线。此时，用户打算将线变为更厚的点为tl，但是用户的意图实际被应用的时间点为t3。也就是说，根据用户的意图，该线应该自用户绘制线的时间点11开始被加厚，但是由于处理所花费的时间，仅仅自时间点t3开始应用加厚。这样的差异可以通过下面所述的过程来校正。
[0061]在步骤420中，控制器170确定已经执行的功能是否需要校正。控制器170检测来自触摸屏110的触摸姿势的输入，并且如果检测到通过音频处理单元150从麦克风(MIC)的语音信息的输入，则确定需要校正。也就是说，如果同时检测到第一用户输入(用户姿势)和第二用户输入(语音信息)(例如，其中用户在同一时间绘制线并且给出语音命令的情况)，则控制器170可确定对于已经通过用户的输入而执行的功能需要进行校正。在完成触摸事件的产生之后，如果产生语音信息(例如，在用户完成绘制该线，并且在之后给出用于设置将被执行的功能的属性的语音命令)，可以确定对于已经执行的功能(即，绘制线)不需要进行校正。
[0062]如果需要校正，则在步骤430中，控制器170计算已经执行的功能中的需要被校正的部分。例如，参考图5，控制器170检测作为用户的起始点的时间点tl，并且检测作为在识别用户的意图之后加以应用的时间点的t3。另外，控制器170从绘制的线中确定从tl到t3绘制的部分为需要被校正的部分。
[0063]在步骤440中，控制器170在需要校正(S卩，将线加厚)的部分中反映用户的意图。例如，控制器170控制需要校正的部分按照t3之后的加厚的线的厚度而被显示得更厚。控制器170可以控制该部分，以被显示为朝向线绘制方向而逐渐加厚。在颜色校正的情况下，控制器170向需要校正的部分应用在t3之后所应用的线颜色。控制器170可以向需要校正的部分应用tl之前的线颜色和t3之后的线颜色的混合色(作为红色和蓝色的混合色的紫色)。因此，基于所识别的用户的意图，除了厚度和颜色之外，控制器170可以校正需要校正的部分的图形属性，诸如亮度和透明度。
[0064]图6是示出了根据本发明的另一个实施例的、处理多个输入的方法的屏幕示例。
[0065]参照图6所示，控制器170检测到在备忘录书写屏幕610中笔620的移动。控制器170根据笔620的移动来控制要显示的线。如果所显示的线变为闭合曲线630，则如图6中的(a)所示，则控制器170控制在闭合曲线630内要被显示的颜色(例如，蓝色)。控制器170检测通过音频处理单元150来自麦克风(MIC)的语音信息的输入。控制器170分析输入的语音信息，并且识别用户的意图(例如，将闭合曲线630的形状改变为椭圆形)。根据用户的意图，控制器170控制闭合曲线630以被改变为椭圆形640并且被显示(参见图6中的(b))。
[0066]图7是示出根据本发明的另一个实施例的、处理多个输入的方法的屏幕示例。
[0067]参照图7，控制器170从备忘录书写屏幕710中检测笔720的移动。控制器170根据笔720的移动来控制要被显示的线。如果所显示的线是闭合曲线730，则如图7中的(a)所示，控制器170控制要被显示的闭合曲线730内的颜色(例如，蓝色)。控制器170检测来自传感器单元160的运动信息的输入。例如，如果用户摇动装置100，则传感器单元160产生相应的运动信息，并且发送所产生的信息到控制器170。控制器170使用所检测的运动信息来计算速度。另外，如果所计算的速度超过已存储的阈值，则确定所检测的运动信息是用于请求将封闭曲线的形状改变为椭圆形的用户输入。根据该确定，控制器170控制闭合曲线730以被改变为椭圆形并且被显示(参见图7中的(b))。此外，用于确定所检测的运动信息是否是用于请求将封闭曲线的形状改变为椭圆形的用户输入的元素可以包括除了速度之外的元素(例如，移动方向、移动距离等)。这样的元素可以在环境设置中由用户来设置。
[0068]图8是示出根据本发明的另一个实施例的处理多个输入的方法的屏幕示例。图8假设其中用户在触摸屏上110绘制线的情况。
[0069]参照图8，控制器170从触摸屏110上检测手持部件(例如，手或笔)的移动。控制器170根据所检测的手持部件的移动来控制将要被显示的线。控制器170可以检测来自传感器单元160的系统输入(例如，垂直振动)。控制器170根据系统输入来计算速度，并且如果所计算的速度超过已经存储的阈值，则确定系统输入是用户的非预期输入。根据该确定，控制器170确定被执行达在其期间已检测系统输入的时间段的功能(诸如，画线)为需要校正的部分，并且基于在系统输入被检测之前和之后所执行的功能来校正该需要校正的部分。例如，如图8所示，控制器170校正由于装置100的垂直振动而弯曲的线，以使其被校正为是直的，并且显示如图8中所示的线。此外，用于确定系统输入是否是用户的非预期输入的元素可以包括除了速度以外的元素(例如，移动方向、移动距离等)。
[0070]如上所述，本发明提供了一种用于处理同时输入的多个输入的方法和装置。在此，多个输入可以是通过不同的用户接口输入的用户输入。另外，多个输入可以包括用户输入和系统输入。另外，本发明提供了一种用于校正不反映用户的意图的功能的方法和装置。另外，本发明提供了一种用于校正根据用户的非预期的系统输入而执行的功能的方法和装置。
[0071]如上所述，根据本发明，可以向用户提供其中可以组合并使用两个或更多个输入方法的环境。另外，根据本发明，可以从自麦克风输入的语音信息中识别用户的意图，并且用户的意图可以被设置为在由另一个输入所执行的功能上被精确的反映。
[0072]本发明的上述方法可以通过各种计算机部件而被实现为可执行的程序命令形式，并且可以被记录在计算机可读记录介质中。在这种情况下，计算机可读记录介质可以包括程序命令、数据文件、以及单独的数据结构或它们的组合。同时，记录在记录介质中的程序命令可以被专门设计或者被配置为用于本发明，或者其可以是在将使用的计算机软件领域中的普通技术人员已知的。计算机可读记录介质包括:诸如硬盘、软盘或磁带的磁介质；诸如压缩盘只读存储器(CD-ROM)或数字多功能盘(DVD)的光学介质；诸如可光读磁盘的磁光介质；以及存储和执行程序命令的诸如ROM、RAM和闪速存储器的硬件装置。此外，程序命令包括由编译器产生的机器语言代码，以及通过使用解释器而由计算机可执行的高级语言代码。上述硬件设备可以被配置为如至少一个软件模块来进行操作，以执行本发明的操作。
[0073]虽然上文中详细地描述了本发明的实施例，但应该清楚理解的是，对于本领域的技术人员而言，在此教导的本发明的基本发明构思的许多变化和修改将仍然落入在所附的权利要求中所定义的本发明的精神和范围中。
【权利要求】
1.一种在具有用于与外部交互的接口的装置中处理多个输入的方法，所述方法包括: 从接口的一个中检测第一输入； 响应于第一输入来执行功能； 从接口的另一个中接收第二输入；以及 响应于第二输入来改变所述功能的属性。
2.根据权利要求1所述的方法，其中检测第一输入包括从作为接口中的一个的触摸屏中检测用户姿势，其中执行功能包括响应于用户姿势来执行与图形工作相关的功能，并且其中检测第二输入包括从作为接口的一个的麦克风中检测语音信息。
3.根据权利要求2所述的方法，其中，图形工作是书写、绘制、绘画和擦除中的一个。
4.根据权利要求3所述的方法，其中，改变功能的属性包括: 通过分析语音信息来识别用户的意图； 确定对于已经执行的图形工作是否需要校正； 如果需要校正，则计算在已经执行的图形工作中的需要校正的部分；及将用户的意图反映到需要校正的部分上。
5.根据权利要求4所述的方法，其中，确定是否需要校正包括:如果同时检测到用户姿势和语音信息则确定在已经执行的图形工作中需要校正。
6.根据权利要求5所述的方法，其中，计算需要校正的部分包括:在需要校正的部分中包括已经执行的图形工作中被执行达识别用户的意图所花费的时间段的部分。
7.根据权利要求1所述的方法，其中，所述第一输入是第一用户输入，并且所述第二输入是第二用户输入和系统输入中的一个。
8.根据权利要求7所述的方法，其中，所述第一用户输入是用户姿势、通过麦克风输入的语音信息以及在传感器单元中感测的运动信息中的一个， 其中，所述第二用户输入是用户姿势、通过麦克风输入的语音信息以及在传感器单元中感测的运动信息中的另一个，以及 其中，所述系统输入是与装置的外部环境相关的信息。
9.一种用于处理多个输入的装置，所述装置包括: 接口，用于与外部环境交互；以及 控制器，用于控制接口， 其中，控制器从接口的一个中检测第一输入，响应于第一输入来执行功能，从接口的另一个中检测第二输入，并且响应于第二输入来改变所述功能的属性。
10.根据权利要求9所述的装置，其中，接口至少包括触摸屏和麦克风，并且 其中，控制器响应于从触摸屏检测到的用户姿势来执行与图形工作相关的功能，并且如果从麦克风检测到语音信息，则控制器改变图形工作的属性。
11.根据权利要求10所述的装置，其中，触摸屏包括用于感测手姿势的手触摸面板、用于感测笔姿势的笔触摸面板以及显示面板。
12.根据权利要求11所述的装置，其中，图形工作是通过笔姿势或者手姿势进行的书写、绘制、绘图和擦除中的一个。
13.根据权利要求12所述的装置，其中，控制器通过分析语音信息来识别用户的意图，确定对于已经执行的图形工作是否需要校正，并且如果需要校正，则控制器从图形工作中计算需要校正的部分，且在需要校正的部分上反映用户的意图。
14.根据权利要求13所述的装置，其中，如果同时检测到用户姿势和语音信息，则控制器确定对于已经执行的图形工作需要校正。
15.根据权利要求14所述的装置，其中，需要校正的部分包括已经执行的图形工作中被执行达识别用户的意图所花费的时间段的部分。
16.根据权利要求12所述的装置，其中所述第一输入是第一用户输入，并且其中所述第二输入是第二用户输入和系统输入中的一个。
17.根据权利要求16所述的装置，进一步包括: 无线通信单元，其能够连接到语音识别服务器， 其中，控制器控制无线通信单元来将包括语音信息的语音识别请求消息发送到无线通信单元，通过无线通信单元从语音识别服务器接收包括处理语音信息的结果的响应消息，确定对于已经执行的图形工作是否需要校正，如果需要校正则从图形工作中计算需要校正的部分，并且将结果反映到需`要校正的部分上。
【文档编号】G06F3/041GK103529934SQ201310264276
【公开日】2014年1月22日 申请日期:2013年6月28日 优先权日:2012年6月29日
【发明者】郑皓元, 金雨睦, 金泰亨, 崔允贞 申请人:三星电子株式会社