输入控制方法和支持该输入控制方法的电子装置制造方法

输入控制方法和支持该输入控制方法的电子装置制造方法
【专利摘要】本发明提供了一种输入控制方法和支持该输入控制方法的电子装置。所述方法包括如下步骤：激活支持多模式输入的多个输入信号采集单元；采集来自输入信号采集单元的至少一个输入信号；输出与至少一个输入信号对应的反馈信息。
【专利说明】输入控制方法和支持该输入控制方法的电子装置

【技术领域】
[0001]本发明总体涉及一种电子装置的输入方法，更具体地讲，涉及一种支持改进的输入情况处理的方法。

【背景技术】
[0002]随着硬件技术的持续发展，终端通常支持各种新的用户输入。然而，在传统的终端中，由于对于特定的应用程序(App)操作只允许特定的输入，因此各种用户输入的操作非常有限。


【发明内容】

[0003]做出本发明以至少解决上述问题，并提供至少下面描述的优点。因此，本发明的一方面在于提供一种通过执行进一步改进的输入情况处理来改进用户可操作性的输入控制方法和支持该输入控制方法的电子装置。
[0004]根据本发明的一方面，提供一种电子装置，所述电子装置包括多模式输入单元，所述多模式输入单元被配置为包括:多个输入信号采集单元，支持多模式输入；控制单元，被配置为激活多个输入信号采集单元，从输入信号集合采集至少一个输入信号，并反馈与所述至少一个输入信号对应的信息。
[0005]根据本发明的另一方面，提供一种输入控制方法，该方法包括:激活支持多模式输入的多个输入信号采集单元；从输入信号集合采集至少一个输入信号；输出与所述至少一个输入信号对应的反馈信息。

【专利附图】

【附图说明】
[0006]通过结合附图进行详细的描述，本发明的上述和其他方面、特征和优点将会变得更加清楚，其中:
[0007]图1是示意性示出根据本发明的实施例的电子装置的结构的框图；
[0008]图2是示出图1中示出的控制单元的详细结构的框图；
[0009]图3是示出根据本发明的实施例的提供多模式输入控制方法的反馈的流程图；
[0010]图4是示出根据本发明的实施例的多模式输入控制方法的执行处理方法的流程图；
[0011]图5是示出根据本发明的实施例的用于支持多模式输入的屏幕界面的示例的示图；
[0012]图6是示出根据本发明的实施例的基于时间的多模式输入信号的执行的示图。

【具体实施方式】
[0013]以下，参照附图对本发明实施例进行详细的描述。
[0014]在所描述的实施例中，为了使本发明的要点更清楚，对本领域技术人员公知的与本发明相关但不直接相关的内容的描述将被省略。此外，对具有实质上相同的结构和功能的元件的详细描述将被省略。
[0015]出于同样的原因，在相同的附图中，一些元件被放大、省略或者示意图描述。此外，每个元件的尺寸可能没有准确地反映其实际尺寸。在附图中，相同或相似的元件被分配相同的标号。
[0016]图1是示意性示出根据本发明的实施例的电子装置的结构的框图。
[0017]参照图1，本发明的电子装置100包括通信单元110、多模式输入单元120、显示单元140、存储单元150和控制单元160。电子装置100还包括用于与外部装置200的连接的访问接口 170。电子装置100通过显示单元140、扬声器SPK、振动单元、灯单元等输出将要描述的各种反馈输出。显示单元140以状态栏区域中的指示符的形式输出反馈信息。扬声器SPK以音效或语音向导声音的形式输出反馈信息。当触觉信息与特定模式的振动对应时，振动单元输出反馈信息。灯单元通过控制具有特定形式的灯来实现反馈信息。访问接口 170还可以用作用于将反馈输出到外部装置200的元件。
[0018]多模式输入单元120包括各种输入信号采集单元，以支持电子装置100的各种类型的输入。例如，多模式输入单元120包括输入信号采集单元，诸如触摸感测单元121、运动识别单元123、握持识别单元125、语音识别单元127和输入信号接收单元129。
[0019]触摸感测单元121被构造为具有触摸板形式，并且可以被设置在显示单元140上。可选择地，触摸感测单元121可以被设置在电子装置100的外壳的至少一侧，被构造为感测用户触摸，并向控制单元160提供相应的信号。此外，触摸感测单元121可被构造为感测使用电子笔的触摸以及用户的触摸。感测使用电子笔的触摸的触摸感测单元121可产生根据访问的触摸事件和在距电子笔特定分隔距离的情况下产生的悬停事件二者。
[0020]运动识别单元123被构造为感测用户手势。运动识别单元123包括各种传感器(诸如，图像传感器、接近传感器、陀螺仪传感器、加速度传感器、地磁传感器和空间姿态传感器)中的至少一种。运动识别单元123采集各种信息(例如，图像信息、空间中的用户手势输入信息、接近传感器信号信息、加速度信息、角速度信息和方向信息)，并基于各种信息中的每条信息来执行特定的运动识别。为此，电子装置100包括用于图像信息识别、将运动映射信息映射为接近传感器信号、将运动映射信息映射为加速度信息或角速度信息和方向信息的数据库。运动识别单元123基于所述多条信息来执行运动识别。通过运动识别单元123识别的运动信号被提供给控制单元160。
[0021]握持识别单元125被构造为识别电子装置100的握持状态或者电子装置100被特定的工具按压的状态。握持识别单元125可由各种传感器(诸如，用于握持识别的压电传感器、压电式传感器、压力传感器和SAW (Surface Acoustic Wave,表面声波)传感器)中的至少一种传感器形成。
[0022]语音识别单元127包括麦克风和能够分析采集到的声信号的语音识别数据库。语音识别单元127被构造为基于语音识别数据库来分析由用户输入的声信号，并提供相应的结果。语音识别单元127向控制单元160提供语音识别结果。
[0023]输入信号接收单元129被构造为通过通信单元110或者访问接口 170来接收由外部装置200提供的输入信号。输入信号接收单元129直接将接收到的输入信号传输到控制单元160。具体地讲，输入信号接收单元129向控制单元160提供接收到的输入信号，所述接收到的输入信号包括与已从特定类型的外部装置200接收到输入信号有关的信息。为了接收输入信号，输入信号接收单元129可包括与NFC、蓝牙、无线直连(W1-Fi Direct)和遥控器兼容的元件。
[0024]包括上述元件的多模式输入单元120可向控制单元160提供各种输入信号。例如，多模式输入单元120可向控制单元160提供触摸事件、多点触摸事件、表面或手掌触摸事件、运动信号(诸如，捕捉、摇动、倾斜、轻击、双击、旋转或平移)、空气运动信号(例如，通过识别空间中移动的手势产生的信号，诸如基于非触摸的轻击、横扫、划圈、波动)、悬停信号、用户手形状信号、压力信号(例如，握持、挤压或滑戳)、声信号(例如，STT (语音到文本)或者语音命令信号)、人脸识别信号(例如，人脸感觉信号或者人脸验证信号)、眼球追踪信号和脑电波信号。多模式输入单兀120能够响应于用户输入向控制单兀160提供单个输入信号或向控制单元160提供多个输入信号。可选择地，单个输入信号可能连同在被提供给控制单元160的过程中不合需要地产生的另一输入信号一起作为多个输入信号被提供给控制单元160。在这种情况下，电子装置100适当地执行相应的处理，以便根据用户的意图准确地执行用户输入。在上面的描述中，数据库可以是存储单元150的一部分，然后被提供给多模式输入单元120。可选择地，可以在包括在多模式输入单元120中的额外的存储区域中存储和管理数据库。
[0025]通信单元110被构造为支持电子装置100的通信功能。通信单元110基于移动通信来支持语音通话功能、视频通话功能和数据通信功能。此外，通信单元110可以是近场通信(NFC)模块或W1-Fi模块。可响应于从多模式输入单兀120产生的至少一个输入信号来执行通信单元110的操作。如果电子装置100不支持额外的通信功能，则可以省略通信单元 110。
[0026]显示单元140提供与电子装置100的操作相关的各种屏幕。例如，显示单元140可根据特定功能(诸如，音乐播放功能、视频回放功能或广播接收功能)的执行来输出屏幕。显示单元140可以只在特定时间内根据特定功能(诸如，音乐播放功能)输出屏幕，然后根据进入睡眠状态转移到关闭状态。此外，显示单元140可在视频播放时间段内保持开启状态时间而不转移到睡眠状态。显示单元140可响应于由多模式输入单元120提供的至少一个输入信号来提供输入反馈信息。此外，当在输入信号中产生错误时，显示单元140可输出错误反馈和用于正常信号输入的向导反馈。此外，显示单元140可以响应于特定的输入信号提供处理反馈。
[0027]存储单元150存储用于支持本公开的多模式输入操作的多模式输入处理程序153。此外，存储单元150存储用于执行电子装置100的各种用户功能的至少一个Appl51。Appl51可以是用于支持特定的用户功能的应用程序，并且可响应于来自用户的请求或者响应于设置的行程信息来被激活。从多模式输入单元120产生的输入信号可应用于驱动Appl51的处理。具体地讲，为了驱动Appl51，可提供从多模式输入单元120产生的输入信号中的至少一些。Appl51可以在激活状态下向显示单元140的前端输出功能屏幕。可选择地，Appl51可响应于后台处理来被驱动，而不用在激活状态下向显示单元140输出功能屏眷。
[0028]多模式输入处理程序153包括:用于米集从多模式输入单兀120产生的输入信号的采集程序；用于响应于输入信号提供反馈的反馈程序；用于针对在输入信号处理过程中产生的各种情况提供反馈的反馈程序；用于根据输入信号处理提供反馈的反馈程序。多模式输入处理程序153还包括:确定程序，用于确定什么类型的输入信号将被提供给处于输入信号执行过程中的特定的应用程序151。多模式输入处理程序153可被加载到控制单元160并且可以以一种激活多模式输入单元120中包括的各种元件中的至少一些的方式被控制，以支持多模式输入。多模式输入支持功能可响应于来自用户的请求被激活或可以在默认情况下激活。以多模式输入支持功能激活的元件可包括在多模式输入单元120中包括的元件中的至少一些，并且还可以包括用于多模式输入的响应于用户指定将被激活的一些元件。
[0029]访问接口 170被构造为连接外部装置200与电子装置100。访问接口 170可同时支持有线方法和无线方法。为此，访问接口 170可包括有线串行连接接口，诸如USB接口和UART接口。访问接口 170还可包括无线连接接口，例如，蓝牙连接接口、无线个域网(Zigbee)连接接口、超宽带(UWB)连接接口、射频识别(RFID)连接接口、红外连接接口和无线应用协议(WAP)连接接口。
[0030]访问接口 170可包括使用各种方法的通信连接接口，所述接口可与电子装置100连接。访问接口 170可被构造为包括用于与除一个外部装置200以外的多个外部装置连接的多个端口和多个无线通信模块。例如，访问接口 170可支持与键盘和鼠标的连接，还可以支持与无线遥控器、智能TV、智能监视器、平板电脑、个人电脑(PC)和笔记本PC的连接。访问接口 170可将来自外部装置的输入信号提供给控制单元160，或者支持图像或文本中的至少一个的输出及在本发明的多模式输入支持过程中将被输出到外部装置200的音频信号。
[0031]控制单元160被构造为控制信号处理、数据处理、元件及用于执行本公开的多模式输入支持功能的元件之间的信号传输。控制单元160可包括用于多模式输入功能支持的元件(诸如图2中所示的元件)。
[0032]图2是示出图1中示出的控制单元160的详细结构的框图。
[0033]参照图2，本发明的控制单元160包括多模式输入信号采集单元161、反馈处理单兀165和多模式信号处理单兀163。
[0034]多模式输入信号采集单元161控制对多模式输入单元120中包括的至少一个元件的激活。例如，当向电子装置100提供电力时，多模式输入信号采集单元161控制多模式输入单元120以使多模式输入单元120默认被激活。此外，当产生特定的App驱动请求时，多模式输入信号采集单元161控制多模式输入单元120以使多模式输入单元120激活。在这样的过程中，多模式输入信号采集单元161可控制多模式输入单元120以使当被供电时只有多模式输入单元120中的一些元件被激活，并且可控制多模式输入单元120以使当产生特定的App驱动请求时剩余的元件中的至少一些被激活。例如，当开启电子装置100时,多模式输入信号采集单元161可控制多模式输入单元120以使只有触摸感测单元121和运动识别单元123被激活。此外，多模式输入信号采集单元161可基于被激活的App类型来控制多模式输入单元120以使握持识别单元125、语音识别单元127和输入信号接收单元129中的至少一个被额外激活。可选择地，多模式输入信号采集单元161可控制多模式输入单元120以使多模式输入单元120的所有元件在默认情况下被激活，并且可控制多模式输入单元120，从而响应于特定的App驱动请求将多模式输入单元120的一些元件的激活状态转变为非激活状态。例如，当驱动通话功能时，多模式输入信号采集单元161可控制多模式输入单元120以使语音识别单元127失活且多模式输入单元120的剩余元件保持在激活状态。
[0035]多模式输入信号采集单元161采集从处于激活状态的多模式输入单元120中的元件产生的特定的输入信号，并向多模式信号处理单元163和反馈处理单元165提供特定的输入信号。多模式输入信号采集单元161采集从多模式输入单元120中的至少一个元件产生的信号。例如，多模式输入信号采集单元161可采集触摸事件、多点触摸事件、表面触摸事件、运动信号、空气运动信号(即，通过识别空间中移动的手势产生的信号)、悬停信号、用户手形状信号、握持信号、挤压信号、声信号、人脸识别信号、眼球追踪信号和脑电波信号。
[0036]当从多模式输入信号采集单元161接收特定的输入信号时，反馈处理单元165输出与特定输入信号的类型对应的信息。例如，反馈处理单元165可支持用于输出图标或特定的图像、文本信息和振动模式中的与从多模式输入信号采集单元161接收到的输入信号的类型对应的至少一个的操作。因此，反馈处理单元165可支持用户以使用户可容易地检查当多模式输入信号对应于特定类型的输入信号时产生的电流输入信号。例如，当接收语音识别信号时，反馈处理单元165可以以特定指示符的形式将表明正在进行语音识别的图标输出到状态栏区域或指示符区域，或者可以以弹出消息的形式输出图标。当接收运动识别信号时，反馈处理单元165可将与接收到的运动识别信号对应的指示符或特定的图标输出到显示单元140的一侧。这里，反馈处理单元165可以以各种形式输出与运动识别信号对应的信息。即，反馈处理单兀165可支持关于输入信号的信息，以使信息以实时地基于输入信号的类型的图形显示。此外，反馈处理单元165可基于输入信号的类型以声信号、触觉信号(诸如振动)、LED亮度的改变或者颜色的改变的形式提供信息。此外，反馈处理单元165可将与输入信号相关的信息输出到与电子装置100连接的外部装置200，或者可对输出信息执行反馈镜像。
[0037]反馈处理单元165支持用户，以使用户可根据在反馈提供过程中的输入信号类型更适应性地、更直观地或者更容易地获取关于输入信号的信息。例如，反馈处理单元165可以以与下述输入信号相关的视觉层次的形式输出与输入信号对应的信息，所述输入信号与用户可查看屏幕的情况或基本情况对应。在此过程中，触摸、多点触摸或者表面触摸可以成为输入信号。此外，反馈处理单元165可响应于屏幕不能查看或不具有身体接触的输入信号(诸如，运动信号、空气运动信号或者声信号)来以特定音频信号的形式输出关于输入信号的采集的信息。为此，电子装置100可预先存储与关于输入信号的信息对应的音频信息。在无法查看屏幕的情况下和在无声模式设置情况下，反馈处理单元165可输出关于输入信号的信息作为触觉信息。例如，反馈处理单元165可控制具有特定模式的触觉输出，从而响应于关于输入信号(诸如，触摸、握持、挤压或运动)的信息的采集来输出触觉模式。为了支持用于使电子装置能够接收用户输入并显示状态的直观的方法，反馈处理单元165可提供与信息(诸如，声信号、空气运动信号、人脸识别信号或脑电波信号)的采集对应的LED输出的改变。此外，反馈处理单元165可响应于电子装置100的运动或者输入信号(例如，与外部装置200结合来起作用的声信号或空气运动信号)的采集来支持N屏幕方法(S卩，将与输入信号的采集有关的信息输出到外部装置200的方法)。
[0038]反馈处理单元165还可以支持关于输入信号处理的反馈信息以使反馈信息输出。反馈处理单元165还可以根据取决于输入信号的类型的对应的方法来支持关于信号处理的反馈信息。
[0039]多模式信号处理单元163可被构造为响应于由多模式输入信号采集单元161采集并提供的输入信号来执行处理。例如，当在驱动特定的App的同时接收多模式输入信号时，多模式信号处理单元163可通过将多模式输入信号应用到特定的App来执行App功能，并提供对应的屏幕的改变。这里，多模式信号处理单元163可根据输入信号的执行原理来适应性地处理对应的输入信号。
[0040]图3是示出根据本发明的实施例的提供多模式输入控制方法的反馈的流程图。
[0041]参照图3，在步骤301，本发明的控制单元160执行用于支持多模式输入的操作。例如，控制单元160可执行用于多模式输入单元120中的至少一个元件的电力供应和初始化过程或者支持已被激活的元件的维护。
[0042]接下来，在步骤303，控制单元160确定是否已从多模式输入单元120产生输入信号。作为确定的结果，如果发现已从多模式输入单元120产生输入信号，则控制单元160继续步骤305，在所述步骤305中控制单元160提供输入反馈。在步骤305，控制单元160检查输入信号的类型，并取决于输入信号的类型根据外部装置200的输出方法、视觉方法、语音方法、触觉方法和LED方法中的至少一种方法来控制反馈信息的输出。为了输出反馈信息，电子装置100可预先存储与对应于反馈信息的图像、音频、振动模式或LED控制模式有关的信息。
[0043]接下来，控制单元160进行到步骤307，在所述步骤307中控制单元160确定是否已在输入信号中出现错误。即，控制单元160确定从用于采集特定的输入信号的多模式输入单元120的元件产生的输入信号是否为正常产生的输入信号。在这样的过程中，如果发现在采集到的输入信号中不包括错误，则控制单元160进行到步骤309，在所述步骤309中控制单元160处理输入信号并提供相应的处理反馈。例如，控制单元160可将特定的输入信号应用于特定的App的驱动，并执行控制以使图像、文本、语音、LED灯的调节、或触觉模式(在该触觉模式下，可识别出特定输入信号被施加到特定App)被输出。
[0044]在步骤307，控制单元160将根据使用预定的和错误的方法的触摸的识别、根据预定的和错误的运动信号的识别、或者根据预定的和错误的语音输入的识别确定为是错误的产生。在这种情况下，控制单元160继续步骤311，在所述步骤311中控制单元160输出错误反馈。即，控制单元160可输出宣布输入信号的采集是错误的错误反馈输出。可根据输入信号的类型来输出错误反馈的各种类型。例如，错误反馈可以以视觉层次、声信号、触觉信息、LED控制或者输出到特定的外部装置200的信息的形式来被实现。
[0045]此外，在步骤313中，控制单元160输出向导反馈。向导反馈可包括向导信息，所述向导信息宣布在驱动当前App的过程中产生有效的输入信号。例如，向导反馈可包括描述用于执行特定的操作的输入信号的产生的特定的动画、文本信息、图像信息或音频信息。
[0046]接下来，控制单元160进行到步骤315，在所述步骤315中控制单元160确定是否已产生用于终止多模式输入支持功能的输入信号，并控制相应的操作。作为确定的结果，如果发现还没有产生用于终止多模式输入支持功能的输入信号，则控制单元160返回步骤301并再次执行后续过程。
[0047]图4是示出根据本发明的实施例的多模式输入控制方法的执行处理方法的流程图。
[0048]参照图4，在步骤401，本发明的控制单元160执行多模式输入支持。类似于图3中的步骤301来执行步骤401。接下来，在步骤403，控制单元160确定是否已采集到输入信号。作为确定的结果，如果发现在多模式输入情况下已产生输入信号，则控制单元160进行到步骤405，在所述步骤405中控制单元160检查输入信号的执行标准并根据执行标准来对输入信号进行分类。在此过程中，控制单元160可以等待直到完成或终止对采集到的输入信号的输入的时间点，并采集直到所述时间点接收到的输入信号作为一个输入信号。可选择地，控制单元160可从开始对特定的输入信号进行输入的时间点采集特定的输入信号。如果在步骤403没有采集到输入信号，则控制单元160进行到步骤411来确定是否已经产生用于终止多模式输入支持功能的输入信号，如果是这样，则过程结束。
[0049]对于输入信号的执行标准和分类可包括检查当前激活的App的类型及对可应用于激活的App的有效的输入信号进行分类的过程。当在步骤405中完成输入信号的分类时，控制单元160进行到步骤407，在所述步骤407中控制单元160基于时间、任务和优先级中的至少一个来处理输入信号。例如，当产生多个输入信号时，如果基于时间来处理输入信号，则控制单元160以基于接收到每个输入信号的时间点首先对最初接收到的输入信号进行处理的方式对多个输入信号进行处理。此外，如果要基于任务来对输入信号进行处理，则控制单元160根据执行App的形式来控制输入信号的施加。例如，控制单元160可控制输入信号以使输入信号应用于多个当前激活的App中的至少一个。这里，控制单元160可根据针对每个App的任务来不同地应用输入信号。此外，如果要基于优先级来处理输入信号，则控制单元160向App提供输入信号，但是可根据每个App中预定的优先级向App提供输入信号。每个App中预定的优先级可根据App所独有的特性或设计方法而改变。可选择地，每个App中预定的优先级可根据用户的指定而改变。
[0050]此外，可以在多模式输入信号或包括在多模式输入单元120中的输入信号采集单元之间指定独有的优先级。独有的优先级可以是将要首先处理哪个输入信号的标准、或者将哪个输入信号处理为有效的信号的标准、当多个输入信号几乎在同一时间产生时将忽略哪个输入信号的标准。基于在包括电子装置或与电子装置连接的另一外部装置的系统中的操作的准确性(即，输入的识别准确性)，独有的优先级可直接由用户分配或可根据每个输入信号采集单元来预先分配。因此，当接收到多个输入信号时，基于被分配到输入信号采集单元的优先级或由用户指定分配的优先级，控制单元160可根据被分配到多个输入信号的优先级仅将至少一个输入信号施加到App功能。
[0051 ] 例如，如果在输入信号采集单元产生输入信号的方法和产生其他输入输入信号的方法之间的操纵过程中产生冲突(即，冗余识别)，则控制单元160可支持如下系统的处理，基于优先级将具有更高优先级的输入信号确定为有效，并基于优先级忽略具有较低优先级的输入信号。例如，假设使用触摸输入方法的操纵识别的准确性被设计为高于空间手势识别的准确性，并且使用触摸输入方法的输入信号具有更高优先级。在这种情况下，由于针对用户的手臂的运动的轨迹可在用于在用户执行触摸操纵时在空间中感触手势输入的手势传感器(例如，接近传感器)上运动，因此可同时产生包括空间手势输入信号和触摸输入信号的两种类型的多模式输入。在这种情况下，控制单元160忽略空间手势输入(即，用户不需要的输入)直到完成触摸输入。为了支持这种功能，如果空间手势输入产生并且在经过特定的时间之后然后产生触摸输入，则控制单元160忽略之前采集到的空间手势输入。此夕卜，控制单元160可忽略在产生触摸输入之后的特定的时间内产生的空间手势输入。如果特定的空间手势输入作为空间手势输入而开始并之后作为空间手势输入而结束，则控制单元160可将特定的空间手势输入识别为空间手势。
[0052]接下来，在步骤409中，控制单元160控制处理结果，以使处理结果输出。例如，如果输入信号被施加到特定的App，则控制单元160控制特定的App的功能屏幕，以使功能屏幕被更新和显示。此外，如果数据被应用于特定的App，则控制单元160可将数据改变为适用于特定的App。
[0053]接下来，在步骤411，控制单元160确定是否已产生用于终止多模式输入支持功能的输入信号。作为确定的结果，如果发现没有产生用于终止多模式输入支持功能的输入信号，则控制单元160返回步骤401，在步骤401中，控制单元160执行后续过程。
[0054]图5是示出根据本发明的实施例的用于支持多模式输入的屏幕界面的示例的示图。
[0055]参照图5，当如在状态501中驱动电子装置100时，在W1-Fi状态被重新扫描且可请求特定的音乐(例如，基于语音代理(voice agent)来执行的背景音乐(BGM))的同时，用户通过挤压操作来获取与语音识别单元127对应的语音代理。为此，电子装置100包括W1-Fi模块，并响应于用户的摇动操作来执行用于重新扫描W1-Fi模块的操作。此外，电子装置100可在激活语音识别单元127的同时激活麦克风，并从用户接收声信号。此外，电子装置100可激活握持识别单元125，并根据挤压操作采集输入信号。作为结果，在状态501中，电子装置100可通过语音识别单元127、握持识别单元125和运动识别单元123来采集输入信号。为此，电子装置100可控制在多模式输入单元120中包括的多个输入信号采集单元，以使所有输入信号采集单元被激活，或者只激活语音识别单元127、握持识别单元125和运动识别单元123。具体地讲，当基于W1-Fi模块激活App时，电子装置100可控制包括语音识别单元127、握持识别单元125和运动识别单元123的输入信号采集单元，以使输入信号采集单元被激活。在这样的过程中，显示单元140可输出关于与W1-Fi模块的重新扫描过程相关的屏幕的信息。
[0056]当采集到输入信号的集合时，电子装置100根据如在状态503中采集到的输入信号支持反馈信息的输出。更具体地讲，电子装置100可输出声反馈信息141、根据声信号的处理的语音处理反馈信息143以及运动信号集合或运动信号处理反馈信息145，所述声反馈信息141宣告已从语音识别单元127采集到声信号，所述运动信号集合或运动信号处理反馈信息145反映与显示单元140的当前任务对应的W1-Fi模块的重新扫描过程。
[0057]在执行上述操作时，电子装置100执行一种复杂的过程，所述过程如下:响应于由运动识别单元123采集到的运动信号(S卩，摇动信号)执行W1-Fi模块的特定的操作，响应于由握持识别单元125采集到的输入信号(即，挤压信号)激活语音识别单元127，然后通过执行语音识别来执行音乐回放功能。如上所述，本公开的电子装置100响应于特定功能的执行在同时激活包括在多模式输入单元120中的一些输入信号采集单元时或者在通过将输入信号采集单元彼此关联来激活一些输入信号采集单元时采集输入信号，并响应于以复合的方式采集到的输入信号来执行特定的App。因此，本发明的电子装置可支持用户，以使用户在执行特定功能时激活特定的App并控制特定App的操作。
[0058]图6是示出本发明的基于时间的多模式输入信号的执行的示图。
[0059]参照图6，电子装置100的控制单元160激活包括在多模式输入单元120中的多个输入信号采集单元。此外，控制单元160支持处理以使以基于在将输入信号施加到至少一个App的过程中完成从输入信号采集单元接收输入信号的时间点的顺序来执行处理。例如，如图6中所不，在产生输入I的同时可执行输入2,在执行输入2的同时可终止输入3。在这种情况下，控制单元160将输入I的处理顺序确定为第一、将输入3的处理顺序确定为第二且将输入2的处理顺序确定为第三。
[0060]假设输入I为响应于触摸输入而请求执行电子书App的输入信号，输入2为请求要通过语音识别单元127发送消息的输入信号，输入信号3为响应于空气运动请求立即移动到书签点的输入信号，控制单元160首先执行电子书App，然后在激活语音识别单元127并同时采集声信号时响应于输入3移动到电子书的书签点。此外，当完成输入2时，控制单元160控制包括通过后台处理进行语音识别得到的文本语音的消息，以使该消息被发送到指定的用户或者从语音识别的信息提取的用户。在这样的过程中，在发送消息之前，控制单元160可提供使用户能够检查消息的检查步骤。
[0061]下面更详细地描述本公开的输入支持功能的示例。
[0062]本公开的输入支持功能通过包括在多模式输入单元120中的输入信号采集单元来提供各种类型的输入接口方法。在这样的过程中，本发明的电子装置100支持用户在使用的状态，以使状态被显示。例如，电子装置100可提供语音识别单元127的激活状态，从而在浏览网页的同时接收语音。这里，电子装置100可在状态栏区域(或指示符区域)显示与麦克风相关的指示符。此外，电子装置100可支持在接收空气运动的同时在状态栏区域显示具有手/手势形状的指示符的显示，从而在多模式输入期间用户可直观地识别采集到什么类型的输入。此外，电子装置100可在识别人脸或执行光学字符阅读器(OCR)功能的同时，支持响应于以LED发光效应的形式的输入或者以与状态栏区域的背景对应的视觉层次的形式的输入来显示识别过程。
[0063]如果用户输入用于正在处理中的App (例如，任务或特定的域)的命令，则电子装置100可不向命令的结果提供额外的反馈。如果同时接收的多个输入信号的目标与用于不同的App的多任务情况对应，则电子装置100可不向正在屏幕上显示的任务的输入的结果提供反馈，但是可根据与在外部装置200中执行的命令相关的输入信号的类型来支持后台(background)的供应或者使用已在上面描述的适当的方法的结果反馈。
[0064]如果同时接收的输入信号的目标与用于同一 App的多任务情况对应，则电子装置100可提供用于显示所有接收到的输入信号的列表的步骤，以便用户可以检查列表。例如，电子装置100可将输入信号的列表显示为弹出窗口或者滴答响的东西(ticker)。这里，电子装置100对在接收输入信号时彼此冲突的输入信号进行分类，并显示经分类的输入信号。此外，电子装置100可支持用户以使用户可通过他的声音的方式来结合语音识别单元127控制显示在显示单元140上的列表。输入信号之间的冲突的产生可从相应的应用反馈回来，或控制单元160可从施加到特定的App的输入信号中预先对关于输入信号之间的冲突的产生的信息进行管理和分类。
[0065]例如，如果在回放音乐的过程中用户在没有查看显示单元140的情况下通过他的声音进入下一首歌曲的同时做出不想要的姿势或手势，则电子装置100可以以视觉层次和语音元素中的至少一种形式来输出针对不必要的姿势或手势的通知。即，电子装置100执行控制功能，从而输出与通知对应的音频信息并且还将接收到的输入信号显示为弹出窗口。此外，电子装置100可支持用户以使用户可选择输入信号中的任何一种。在这样的过程中，电子装置提供语音识别单元127从而响应于用户说出的语音选择输入信号或者取消特定输入信号的施加。这里，电子装置100可支持用于去除输入信号的问答格式的取消的执行。
[0066]对于另一示例，用户可在看到消息对话视图时执行直接呼叫操作并通过握持电子装置100来同时获取语音识别单元127。在如上所述同时进行多个输入信号采集方法的情况下，电子装置100可允许在为了响应于多种输入信号或一种输入信号应用特定的App功能而产生的环境中最常使用的输入信号采集方法最先执行。
[0067]本公开的输入控制功能基本包括显示原理和执行原理。
[0068]显示原理提供了一种基于输入分析、目标分析、情况分析和方法的选择来显示诸如输入开始、识别状态、处理状态和处理结果的要素的原理。例如，电子装置100可提供告知针对正在输入的用户命令的所有的状态的不同的反馈。为此，电子装置100提供了与在多模式输入单元120的输入信号采集单元处于模式输入信号采集备用状态的环境中的每个输入信号采集单元对应的一致的反馈，从而识别输入的起始点，可识别识别状态、在识别之后的处理状态和终止处理的状态。此外，电子装置100可通过显示各种例外情况(例如，在使用包括在多模式输入单元120中的输入信号采集单元来采集输入信号时可能出现传感器错误)来支持用户的即时需求。此外，如果在识别运动输入或者电子装置100本身明显移动的情况下识别到空间手势输入，则电子装置100输出特定的状态信息，例如，关于“特定的输入信号采集不可能性”的信息。
[0069]如上所述，电子装置100提供了由包括在多模式输入单元120中的输入信号采集单元采集到的输入信号的结果作为反馈。这里，电子装置100可按顺序提供与通过正被用户操纵的特定的装置(例如，外部装置200)接收到的多个模式输入信号对应的结果反馈。此夕卜，如果通过在集成环境中的特定的装置给目标装置给出命令，则电子装置100可只在目标装置中显示反馈或者向目标装置和特定的装置提供不同类型的反馈。这里，执行被施加特定的输入信号的App的装置可成为目标装置。可选择地，输出被施加特定的App的屏幕的装置可以成为目标装置。
[0070]此外，当产生多个输入信号时,在输入信号之间可产生干扰。例如，如果相同的App被施加多个多模式输入信号，则可在多个多模式输入信号之间产生干扰。在这种情况下，电子设备100提供了针对相应的情况的通知或反馈。
[0071]例如，如果响应于唤醒电子装置100的唤醒命令执行语音命令，则电子装置100显示通知正在识别语音命令的指示符、与识别到的语音命令对应的指示符、通知正在被处理的语音命令的指示符和结果状态。此外，如果在接收语音时周围的噪音强度突然增加，则麦克风出现问题，或如果尽管语音识别单元使用取决于说话者的方法而没有验证注册用户的声音，则电子装置100可支持即时反馈，以使用户不在错误的情况下继续输入他的声音。
[0072]此外，在识别到用户的运动(例如，捕捉、平移、摇动或倾斜)的情况下，电子装置100控制需要终端的固定状态(诸如，空气运动)的接口输入，以使接口输入无效。同样地，当电子装置100本身的运动被感测到时，电子装置100可给用户提供关于需要持续特定时间的静态姿势的输入信号采集单元(例如，人脸识别、OCR、空气运动和手形状)的不可用性的信息。
[0073]这里,通过间接因素(circumstantial factors)来确定向用户提供反馈的方法或向用户提供反馈的通道，所述间接因素包括:已提供输入信号的输入信号采集单元的类型、对应的输入信号将施加的任务的类型或外部装置200的类型、当前电子装置100的物理状态、预定的基本反馈方法或选项信息、关于用户或装置的周围环境的信息、可通过电子装置100提供的反馈的类型。例如，如果对于用户输入正在被识别的状态的反馈(诸如，语音、手形状识别、人脸识别或基于访问接口 170的功能支持)是必要的，则电子装置100提供状态栏区域的指示符的显示、使用后台信息的进程信息的显示、安装在电子装置100上的LED照明(例如，颜色和频率)的操作、与在显示单元140上的多模式输入对应的视觉层次(例如，以最小化前台任务对内容区域的侵入的方式显示正在屏幕上显示的前台任务)、视觉层次和触觉效果(如果用户输入仅限于一种输入类型(例如，握持或挤压))中的至少一种。
[0074]电子装置100可响应于来自仅限于物理运动的输入信号采集单元的输入信号或者响应于在难以查看屏幕的情况(例如，嘈杂的情况)下接收到的输入信号来提供声反馈或触觉反馈，而非直接显示在显示单元140上的视觉层次反馈。电子装置100响应于作为远距离的而没有装置和用户之间的接触的输入信号来提供声反馈，并且可通过在显示结果信息时控制的电子装置100或外部装置200来提供与相应的输入信号的处理对应的结果反馈。电子装置100支持声反馈，从而响应于用户设置信息(诸如无声模式)使声反馈失活。在通过诸如多通道或多方法来提供反馈的过程中，电子装置100可提供设置菜单以使特定的反馈可以以用户期望的方式提供。
[0075]电子装置100可支持响应于特定的运动(例如，在基于W1-Fi模块来搜索用于通信连接的接入点(AP)的过程中的摇动操作)来重新扫描搜索结果的过程。此时，当接收到相应的输入信号时，电子装置100可提供具有特定大小的振动的触觉反馈或声反馈，从而可直观地识别摇动输入停止的时间。
[0076]如果用户通过显示单元140驱动图库功能(gallery function)并在远程停靠栏(dock)上的外部装置200上远程执行输入(诸如，用于控制进入特定的音乐或下一个音乐的空气运动)，则电子装置100可支持将对应的输入作为特定的弹出窗口(例如，toast弹出式提醒)显示在电子装置100的显示单元140上的结果信息的过程。在此过程中，电子装置100采集空气运动并将采集到的空气运动传输到外部装置200以请求特定的音乐文件被回放。
[0077]此外，本发明的输入支持功能可基于作为执行原则的时间、任务和优先级中的至少一个来支持装置的操作。
[0078]首先，在基于时间操作的情况下，电子装置100基于多个多模式输入中的每个的接收终止的时间点来支持任务的顺序执行。这里，电子装置100可支持任务的顺序执行，而不管多个多模式输入是否对应于被施加到不同的App的任务或者多个多模式输入是否对应于应用于同一 App的多个任务。
[0079]为了基于任务支持单个输入处理，如果通过多模式输入单元120接收到的输入信号被映射到前台任务的功能，则电子装置100优先执行前台任务的功能。如果实时识别用户的输入的一个装置或多个装置可测量到用户的距离，则前台任务可以是通过输出模块(例如，基于最接近用户的装置的相应的装置的显示单元或扬声器，或者通过用户的脸或瞳孔识别来聚焦用户的眼睛和注意力的装置)正在进行的最高任务。
[0080]如果被映射到输入信号的前台任务功能不存在，则电子装置100控制被映射到后台任务的功能，以使该功能被执行。在这种情况下，如果存在多个后台任务，则电子装置100可执行控制以使从而执行最近操纵的后台任务功能、执行具有由用户访问的最高频率的后台任务功能、或者执行与具有由用户使用的最高频率的功能对应的后台任务功能。可选择地，电子装置100可提供功能已被映射的所有后台任务的列表，以使用户直接选择后台任务。例如，可假设一种环境，在所述环境中，可通过外部装置200将背景音乐播放功能和照片幻灯片或视频回放功能(即，背景功能)设置为N屏幕功能。这里，N屏幕(N-screen)是一种可在各种数字通信装置(诸如，智能电话、PC、智能TV、平板PC、汽车等)之间共享单一内容的计算和网络(联网)服务。由于N屏幕允许用户连续地看到单一内容而不管时间或位置的限制如何，因此用户可在计算机上下载电影并通过TV观看电影，并且在地铁上时可从智能电话或者平板PC继续观看电影。在这种环境中，当采集与音量控制功能对应的输入信号时，电子装置100支持根据前述的执行方法中的任意一种来应用与采集到的输入信号对应的功能。
[0081]关于前台任务功能，如果多个前台任务中的响应于用户的输入而与功能映射的任务为单个任务，则电子装置100支持正在被执行的对应的任务的功能。此外，电子装置100可执行最近被操纵的前台任务的功能、控制与具有由用户使用的最高频率的功能对应的前台任务的执行、或者提供功能已经映射到的所有前台任务的列表，以使用户可直接选择前台任务。
[0082]例如，电子装置100可诸如通过分裂窗口、N屏幕或多个窗口在使用环境中显示网页和相册。这里，当采集到输入信号(诸如，数字多媒体广播(DMB)的执行和视频播放器App的执行)时，电子装置100可在网页屏幕上提供DMB屏幕和视频播放器App屏幕作为分离的多个层。此外，在基于收敛的N屏幕环境中，电子装置100和外部装置200可执行各自的任务或者电子装置100和多个外部装置200可将并发用户空气运动(simultaneous userair motion)识别为输入。为此,每个电子装置100和多个外部装置200中的至少有一个可包括能够识别并发用户空气运动的多模式输入单元120。此外，如果只有一个装置采集输入信号，则所述一个装置与其他装置共享输入信号。
[0083]在基于任务的多个输入处理中，如果多个多模式输入被映射到不同的App的各自的功能，则电子装置100控制各个功能以完成命令输入的顺序被执行。例如，电子装置100控制被映射到各自的输入信号的App功能以完成输入的时间的顺序来被执行。电子装置100通过提供与所有接收到的用户命令对应的可用功能的列表来支持视觉层次的输出，以使用户可手动地选择可用的功能。在此过程中，由于可响应于由于多个输入之间的干扰所引起的单个输入来执行不同的功能，因此显示可响应于输入信号来执行的功能的列表。触摸、运动和空气运动可不定地施加到用于选择功能的用户的输入。电子装置100将对使用语音识别单元127接收到的多个命令的检查流程处理为进展语音。例如，电子装置100可支持音频信息的输出，诸如“将执行功能A和功能B中的哪一个？ ”和“已同时接收到功能A、功能B和功能C。请以要执行的顺序说出功能号，如果你想要结束说出‘完成’。”。
[0084]例如，当通过图库App输出照片时，电子装置100可通过语音接收命令，所述命令指示以消息的形式将特定的照片发送给特定的收件人。可选择地，电子装置可通过指示进入编辑模式的触摸输入来接收命令。电子装置100可接收空气运动信号，所述信号指示在收敛环境中将当前屏幕上的内容镜像到至少一个外部装置200上。这里，电子装置100可支持通过优先执行语音认证以不应执行不想要的语音命令(例如，根据还未利用电子装置100注册的另一人的语音的操作)的功能。
[0085]如上所述，根据输入控制方法以及支持根据本发明的输入控制方法的电子装置，本发明提供了一种用于多模式输入的显示原理和执行原理，并支持基于可被适应性地和广泛应用的原理而接收到的输入信号的反馈的提供和执行处理。
[0086]在上述描述中，本公开的显示原理包括用于提供适当的反馈的定义。此外，执行原理包括用于传输精确的结果的定义。在显示原理和执行原理之间的关系中，可以给出一种定义以便根据执行原理来对多个命令进行处理。
[0087]此外，除了基于与各种通信系统对应的通信协议来操作的所有移动通信终端之夕卜，根据本发明的实施例的电子装置100可包括例如所有信息通信装置、多媒体装置、及其应用装置，诸如，便携式多媒体播放器(PMP)、数字广播播放器、个人数字助理(PDA)、音乐播放器(例如，MP3播放器)、便携式游戏终端、智能电话、笔记本电脑和掌上PC。
[0088]示出在本说明书和附图中公开的实施例以仅提出特定的示例，用来对本公开的技术内容进行分类且帮助理解本发明，而不是旨在如由权利要求所限定的那样限制本发明的范围。本领域的技术人员将清楚，除了公开的实施例之外，基于本发明的技术精神的各种实施方式是可行的。
【权利要求】
1.一种电子装置的输入控制方法，包括如下步骤: 激活支持多模式输入的多个输入信号采集单元； 从输入信号采集单元采集至少一个输入信号； 输出与所述至少一个输入信号对应的反馈信息。
2.根据权利要求1所述的输入控制方法，其中，输出反馈信息的步骤包括以下步骤中的至少一个步骤: 以指示符的形式在电子装置的状态栏区域中输出反馈信息； 以语音向导声音的形式输出反馈信息； 将反馈信息输出为与具有特定的模式的振动对应的触觉信息； 基于对灯的控制来实现反馈信息； 将反馈信息输出到与电子装置连接的至少一个外部装置。
3.根据权利要求1所述的输入控制方法，其中，输出反馈信息的步骤还包括:当输入信号包括错误时，输出错误反馈以及用于执行特定功能的向导反馈。
4.根据权利要 求1所述的输入控制方法，其中，输出反馈信息的步骤还包括:输出与输入信号的处理结果对应的处理反馈。
5.根据权利要求1所述的输入控制方法，还包括如下步骤: 响应于输入信号来执行应用程序(App)功能； 当接收到多个输入信号时，基于各个输入信号的接收完成的时间来顺序地处理所述多个输入信号。
6.根据权利要求1所述的输入控制方法，还包括如下步骤:特定的输入信号被施加到至少一个前台任务，其中，特定的输入信号被施加到所述至少一个前台任务还包括以下步骤中的至少一个步骤: 如果存在多个前台任务，则 将输入信号施加到最近已操纵的前台任务； 将输入信号施加到具有用户使用的最高频率的前台任务； 输出将被施加输入信号的前台任务的列表。
7.根据权利要求1所述的输入控制方法，还包括如下步骤:将输入信号施加到至少一个后台任务，其中，将输入信号施加到所述至少一个后台任务还包括以下步骤中的至少一个步骤: 如果存在多个后台任务，则 将输入信号施加到最近被操纵的后台任务； 将输入信号施加到具有用户使用的最高频率或访问的最高频率的后台任务； 输出将被施加输入信号的后台任务的列表。
8.根据权利要求1所述的输入控制方法，还包括如下步骤:响应于输入信号对应用程序功能进行处理， 其中，对应用程序功能的处理包括:当接收到多个输入信号时，基于被设置到输入信号采集单元的优先级或由用户指定来分配的优先级，根据多个输入信号的优先级将至少一个输入信号施加到应用程序功能。
9.一种电子装置，包括:多模式输入单元，被配置为包括支持多模式输入的多个输入信号采集单元； 控制单元，被配置为激活所述多个输入信号采集单元，从输入信号采集单元采集至少一个输入信号，并反馈与所述至少一个输入信号对应的信息。
10.根据权利要求9所述的电子装置，还包括以下单元中的至少一个: 显示单元，被配置为以指示符的形式在电子装置的状态栏区域中输出反馈信息； 扬声器，被配置为以语音向导声音的形式输出反馈信息； 振动单元，被配置为将反馈信息输出为与具有特定的模式的振动对应的触觉信息； 灯单元，被配置为基于对灯的控制来实现反馈信息； 访问接口，被配置为将反馈信息输出到与电子装置连接的至少一个外部装置。
11.根据权利要求9所述的电子装置，其中，控制单元还被配置为:当输入信号包括错误时，输出错误反馈以及用于执行特定的功能的向导反馈。
12.根据权利要求9所述的电子装置，其中，控制单元还被配置为:当接收到多个输入信号时，基于各个输入信号的接收完成的时间来顺序地处理所述多个输入信号。
13.根据权利要求9所述的电子装置，其中，控制单元还被配置为:将特定的输入信号施加到至少一个前台任务，并且如果存在多个前台任务，则控制单元还被配置为以下中的至少一种: 将输入信号施加到最近已操纵的前台任务； 将输入信号施加到具有用户使用的最高频率的前台任务； 输出将被施加输入信号的前台任务的列表。
14.根据权利要求9所述的电子装置，其中，控制单元还被配置为将输入信号施加到至少一个后台任务，并且如果存在多个后台任务，则控制单元还被配置为以下中的至少一种: 将输入信号施加到最近已操纵的后台任务； 将输入信号施加到具有用户使用的最高频率或访问的最高频率的后台任务； 输出将被施加输入信号的后台任务的列表。
15.根据权利要求9所述的电子装置，其中，控制单元还被配置为:当接收到所述多个输入信号时，基于被设置到输入信号采集单元的优先级或由用户指定来分配的优先级，根据所述多个输入信号的优先级将至少一个输入信号施加到应用程序功能。
【文档编号】G06F3/01GK104049745SQ201410097768
【公开日】2014年9月17日 申请日期:2014年3月14日 优先权日:2013年3月14日
【发明者】金镇龙 申请人:三星电子株式会社