智能设备及其操作响应方法
【专利摘要】本发明公开了一种智能设备及其操作响应方法，其中所述方法包括：接收用户佩戴的EMG传感器发送的电信号；根据接收的电信号并结合手指触碰触摸屏的位置信息，确定用户的操作后进行响应。本发明中，智能设备可以结合用户触碰的识别信息和触碰位置信息，对用户的操作进行确定并进行响应，简化了一些如多指触碰、长按、组合键等的复杂操作，更为方便用户对智能设备进行输入控制，提升了用户体验。同时，本发明可以将现有触摸屏的多个键集成为一个键，提高了触摸屏的有效显示面积。
【专利说明】
智能设备及其操作响应方法
技术领域
[0001]本发明涉及人机交互技术，具体而言，本发明涉及一种智能设备及其操作响应方法。
【背景技术】
[0002]随着触摸屏技术的不断发展，如智能手机、平板电脑、可穿戴设备等的智能设备，广泛采用触摸屏技术实现对用户的操作进行响应，实现人机交互。目前，触摸屏有电阻式触摸屏、电容式触摸屏、表面声波技术触摸屏等。与传统的键盘、鼠标交互方式相比，触摸屏交互方式操作简单方便，更为直观，用户只需要使用手指触碰显示屏中的图符或文字，即可完成对智能设备的操作，给用户带来了极佳体验。
[0003]通常，当用户在触摸屏上做出触碰操作后，智能设备可以检测到用户触碰触摸屏的位置信息，进而根据检测的位置信息确定出用户对智能设备的输入信息。其中，用户可以通过多种交互方式，如虚拟按键、组合键、双击、长按、多点触碰等，在触摸屏上实现多种操作。例如，用户可以通过触摸屏显示的虚拟键盘编辑输入字符，通过多点触碰实现放大缩小操作等。
[0004]然而，上述的多种交互方式或多或少存在一些缺点和不足，这些缺点和不足容易导致用户操作不方便，操作体验不佳。例如，虚拟键盘中的按键通常不能过小，否则不易触碰，因而占用了大量的屏幕空间，减少了有效显示面积；组合键、双击的方式至少需要用户的两次点击才能完成操作；长按需要占用额外的时间才能完成操作；多点触碰需要同时使用多个手指在屏幕上进行操作，对于屏幕较小的设备，特别是可穿戴设备，会造成严重的遮挡。
[0005]因此，有必要提供一种更为便于用户进行输入控制的智能设备及其操作响应方法，以提升用户操作体验。
【发明内容】
[0006]本发明的目的旨在至少解决上述技术缺陷之一，特别是结合触碰触摸屏的手指和触碰的位置信息，来确定用户的操作，从而更为方便用户对智能设备进行输入控制，提升用户操作体验。
[0007]本发明提供了一种智能设备的操作响应方法，包括:
[0008]接收用户佩戴的EMG传感器发送的电信号；
[0009]根据接收的电信号并结合所述用户触碰所述触摸屏的位置信息，确定所述用户的操作后进行相应的响应。
[0010]进一步，所述接收用户佩戴的EMG传感器发送的电信号后，还包括:
[0011]根据接收的电信号识别出所述用户在触摸屏上触碰的手指，和/或用户的手指在所述触摸屏上的按压力度。
[0012]较佳地，所述根据接收的电信号并结合所述用户触碰所述触摸屏的位置信息，确定所述用户的操作包括:
[0013]根据识别出的手指和/或按压力度，结合所述用户触碰所述触摸屏的位置信息，确定所述用户的操作。
[0014]较佳地，所述根据接收的电信号识别出所述用户在触摸屏上触碰的手指，具体包括:
[0015]利用预先训练出的部件分类器，根据接收的电信号识别出所述用户在触摸屏上触碰的手指。
[0016]较佳地，所述部件分类器具体根据如下方法训练得到:
[0017]针对每个手指，利用EMG传感器感应该手指触碰平面的动作，并提取所述EMG传感器输出的电信号的信号特征后，对提取的信号特征标定该手指的信息后作为训练样本；
[0018]使用得到的训练样本对分类器进行训练，得到所述部件分类器。
[0019]较佳地，所述确定所述用户的操作，具体包括:
[0020]在所述触摸屏显示虚拟键盘时，根据所述位置信息，确定出用户点击的字母；并[0021 ] 根据识别出的手指确定所述字母为大写或小写。
[0022]较佳地，所述确定所述用户的操作，具体包括:
[0023]在所述触摸屏显示虚拟键盘时，若根据所述位置信息确定用户点击删除键，则:
[0024]根据识别出的手指确定用户指定的删除对象为一个字符、或一个词语、或一个句子、或一个段落、或全文。
[0025]较佳地，所述确定所述用户的操作，具体包括:
[0026]在所述触摸屏显示联系人界面时，根据所述位置信息确定用户点击的联系人；并
[0027]根据识别出的手指确定用户打开所述联系人信息、或呼叫所述联系人、或发消息给所述联系人。
[0028]较佳地，所述确定所述用户的操作，具体包括:
[0029]在所述触摸屏显示浏览器界面时，根据所述位置信息确定用户点击的链接；并
[0030]根据识别出的手指确定用户一键打开所述链接、或收藏所述链接、或在新标签页打开所述链接。
[0031]较佳地，所述确定所述用户的操作，具体包括:
[0032]在所述触摸屏显示画图应用界面时，若根据所述位置信息确定用户点击画图应用界面，则
[0033]根据识别出的手指，确定用户调用画笔工具、或橡皮工具；并
[0034]在用户使用画笔工具/橡皮工具的过程中，根据识别出的手指的按压力度，调整画笔的粗细/橡皮的大小。
[0035]较佳地，所述确定所述用户的操作，具体包括:
[0036]在所述触摸屏显示地图应用界面时，若根据所述位置信息确定用户点击地图放大/缩小键，则:
[0037]根据识别出的手指的按压力度，确定放大/缩小显示地图的倍数。
[0038]较佳地，所述确定所述用户的操作，具体包括:
[0039]在所述触摸屏显示媒体播放器界面时，若根据所述位置信息确定用户点击快进/快退键，则
[0040]根据识别出的手指的按压力度，调整快进/快退的速度。
[0041]较佳地，所述确定所述用户的操作，具体包括:
[0042]在所述触摸屏显示媒体播放器界面时，若根据所述位置信息确定用户点击音量键，则
[0043]根据识别出的手指确定增大音量、或减小音量；并
[0044]根据识别出的手指的按压力度，确定增大或减小音量的多少。
[0045]较佳地，所述确定所述用户的操作，具体包括:
[0046]在所述触摸屏显示媒体播放器界面时，若根据所述位置信息确定用户点击文件切换键，则
[0047]根据识别出的手指确定播放上一媒体文件、或播放下一媒体文件。
[0048]较佳地，所述确定所述用户的操作，具体包括:
[0049]当识别出的手指为特定手指时，根据所述位置信息，确定所述用户的操作；
[0050]当识别出的手指不为特定手指时，根据识别出的手指，确定出用户的操作为返回上一级、或返回主屏、或打开应用菜单。
[0051]较佳地，所述EMG传感器为环形结构，包括环向分布的多组电极，并集成有以无线方式发送电信号的无线通信单元。
[0052]较佳地，所述EMG传感器佩戴于如下至少一处:所述用户的手腕、前臂、上臂。
[0053]本发明还提供了一种智能设备，包括:
[0054]信号接收模块，用于接收用户佩戴的EMG传感器发送的电信号；
[0055]操作确定模块，用于根据所述信号接收模块接收的电信号，并结合所述手指触碰所述触摸屏的位置信息，确定所述用户的操作；
[0056]响应模块，用于对确定出的所述用户的操作进行响应。
[0057]较佳地，所述操作确定模块具体包括:
[0058]信号识别单元，用于根据所述信号接收模块接收的电信号，识别出所述用户在触摸屏上触摸的手指，和/或用户的手指在所述触摸屏上的按压力度；
[0059]信息结合单元，用于根据识别出的手指和/或按压力度，结合所述用户触碰所述触摸屏的位置信息，确定所述用户的操作。
[0060]较佳地，所述信号识别单元具体用于根据所述信号接收模块接收的电信号，识别出用户的手指在所述触摸屏上的按压力度；和/或利用预先训练出的部件分类器，根据接收的电信号识别出所述用户在触摸屏上触碰的手指。
[0061]进一步，所述智能设备，还包括:
[0062]分类器训练模块，用于获取所述EMG传感器采集的样本电信号，提取出样本电信号的信号特征；根据样本电信号对应的手指信息，标定提取的信号特征；根据标定的信号特征对分类器进行训练，得到所述部件分类器。
[0063]较佳地，所述信息结合单元具体用于在所述触摸屏显示虚拟键盘时，根据所述位置信息，确定出用户点击的字母；并根据识别出的手指确定所述字母为大写或小写。
[0064]较佳地，所述信息结合单元具体用于在所述触摸屏显示虚拟键盘时，若根据所述位置信息确定用户点击删除键，则根据识别出的手指确定用户指定的删除对象为一个字符、或一个词语、或一个句子、或一个段落、或全文。
[0065]较佳地，所述信息结合单元具体用于在所述触摸屏显示地图应用界面时，若根据所述位置信息确定用户点击地图放大/缩小键，则根据识别出的手指的按压力度，确定放大/缩小显示地图的倍数。
[0066]较佳地，所述信息结合单元具体用于在所述触摸屏显示媒体播放器界面时，若根据所述位置信息确定用户点击音量键，则根据识别出的手指确定增大音量、或减小音量；并根据识别出的手指的按压力度，确定增大或减小音量的多少。
[0067]进一步，所述智能设备，还包括:所述EMG传感器；
[0068]所述EMG传感器为环形结构，包括环向分布的多组电极，并集成有以无线方式发送电信号的无线通信单元。
[0069]本发明的方案中，当用户触碰智能设备的触摸屏时，智能设备可根据用户佩戴的EMG传感器输出的电信号，结合用户触碰触摸屏的位置信息，确定用户的操作后进行相应的响应。本发明简化了一些如多指触碰、长按、组合键等的复杂操作，可避免对屏幕的遮挡，更为方便用户对智能设备进行输入控制，提升了用户体验。而且，本发明还可实现手指对触摸屏的按压力度的识别，应用于画图、地图、媒体播放器等诸多应用时，大大增强了用户体验。
[0070]本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0071]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0072]图1为本发明实施例的智能设备的操作响应方法的流程示意图；
[0073]图2为EMG传感器的佩戴位置和结构的示意图；
[0074]图3为EMG传感器采集的原始的电信号的波形示意图；
[0075]图4为滤波处理后的EMG信号的波形示意图；
[0076]图5a为手指A触碰触摸屏时采集到的EMG信号的波形示意图；
[0077]图5b为手指B触碰触摸屏时采集到的EMG信号的波形示意图；
[0078]图6为同一手指触碰触摸屏而按压力度不同时的波形示意图；
[0079]图7为同一虚拟按键不同手指对应的不同操作的示意图；
[0080]图8为不同手指点击联系人对应不同操作的示意图；。
[0081]图9为不同手指点击浏览器界面中的链接对应不同操作的示意图；
[0082]图10为不同手指点击画图应用界面时调用不同工具的不意图；
[0083]图11为不同按压力度下调整画笔工具的粗细的示意图；
[0084]图12为不同按压力度下地图放大倍数不同的示意图；
[0085]图13为不同手指点击地图应用界面对应不同操作的示意图；
[0086]图14为不同按压力度下快进或快退速度不同的示意图；
[0087]图15为不同手指点击相同位置对应不同操作的示意图；
[0088]图16为不同手指点击显示界面对应不同操作的示意图；
[0089]图17为应用本发明如、后显不屏蒂的有效显不面积的对比不意图；
[0090]图18为本发明实施例的智能设备的结构示意图；
[0091]图19为本发明实施例的操作确定模块的内部结构的框架示意图。
【具体实施方式】
[0092]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0093]本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0094]本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
[0095]本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS (Personal Communicat1ns Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS (Global Posit1ning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
[0096]本发明的发明人考虑到，EMG(electromyography，肌电图)传感器，可以检测到肌肉运动单位的动作电位波形，并转换成可用的电信号输出；当用户使用不同的手指触碰触摸屏时，手臂中的肌肉运动单位会产生不同的动作电位波形，EMG传感器输出的电信号也就不同。
[0097]因此，本发明中，当佩戴有EMG传感器的用户触碰智能设备的触摸屏时，智能设备可根据佩戴的EMG传感器输出的电信号，结合用户触碰触摸屏的位置信息，确定用户的操作后进行响应。一方面，本发明可使用户在使用不同手指触碰触摸屏的同一位置时，实现不同的输入，节省了用户的操作，更为方便用户对智能设备进行输入控制，提升了用户的操作体验；另一方面，本发明可将现有触摸屏的多个键集成为一个键，提高了触摸屏的有效显示面积。
[0098]例如，用户使用手指B点击相应的虚拟按键时输入大写字母，使用手指A点击相应的虚拟按键时输入小写字母。从而，避免了用户点击大小写切换键的操作，方便用户对智能设备的输入控制，提升了用户操作体验，尤其在大小写混合输入较多的情况下，提升用户操作体验的效果非常明显；并且可以省掉大小写切换键的设置，节省屏幕使用空间。
[0099]下面将结合附图详细说明本发明的技术方案。
[0100]本发明实施例提供的智能设备的操作响应方法，具体流程如图1所示，包括如下步骤SlOl至S103:
[0101]SlOl:智能设备接收用户佩戴的EMG传感器发送的电信号。
[0102]具体地，EMG传感器佩戴于用户手臂处；换言之，EMG传感器可以佩戴于如下至少一处:用户的手腕、前臂、上臂的位置处。从而，EMG传感器在用户手指触碰触摸屏时，可以检测到用户手臂的肌肉运动单位的动作电位波形，并将检测到的波形以电信号形式输出。
[0103]而且，EMG传感器可以佩戴于手臂的一处，例如，EMG传感器可佩戴于手腕处、或者前臂靠近肘部处；
[0104]更优地，EMG传感器也可以佩戴于手臂的多处。例如，如图2所示，EMG传感器可同时佩戴于手腕处和前臂靠近肘部处。其中，EMG传感器佩戴于手臂的多处时，可以提高智能设备对触碰触摸屏的手指的识别精度。
[0105]实际应用中，为方便佩戴，EMG传感器可为环形结构。而且，为保证手指识别的准确度，EMG传感器包括环向分布的多组电极。例如，参见图2，佩戴于前臂处的EMG传感器包括11组电极(Chl至Chll)，佩戴于手腕处的EMG传感器包括7组电极(Chl2至Chl8)。
[0106]本步骤中，智能设备可以在检测到用户的手指触碰本设备的触摸屏时，接收用户佩戴于手臂的EMG传感器发送的电信号。较优地，EMG传感器中可集成有以无线方式发送电信号的无线通信单元，从而EMG传感器可以无线方式将电信号发送给智能设备。无线通信单元具体可以是蓝牙单元。此外，EMG传感器中还包括供电单元，如电池供电单元。
[0107]S102:智能设备对接收的电信号进行识别。
[0108]具体地，智能设备在接收到用户佩戴的EMG传感器发送的电信号后，可以根据接收的电信号识别出用户在触摸屏上触碰的手指，和/或用户的手指在触摸屏上的按压力度。
[0109]本步骤中，智能设备可以根据现有的方法识别出用户在触摸屏上触碰所使用的手指。具体地，智能设备可以对接收的电信号进行滤波(滤掉工频交流信号、移除直流分量、降噪)、特征提取(时域、频域)、特征选择(降低特征维度)后，根据选择的特征识别出用户在触摸屏上触碰所使用的手指。例如，图3示出了 EMG输出的原始电信号的波形图；图4示出了对EMG输出的原始电信号进行滤波处理后的波形图。图5a示出了手指A触碰触摸屏时采集到的EMG信号的波形示意图，图5b示出了手指B (不同于手指A)触碰触摸屏时采集到的EMG信号的波形不意图。图5a、5b中，横坐标表不时间，纵坐标表不信号强度；幅值不同的三条曲线分别代表EMG传感器中三组电极采集到的三条通道的EMG信号波形。其中，不同通道的幅值关系、信号频谱有所区别。
[0110]较优地，为保证识别准确性，可以预先训练一个部件分类器，智能设备使用预先训练的部件分类器，根据接收的电信号识别出用户在触摸屏上触碰的手指。具体地，智能设备可对接收的电信号进行滤波、特征提取、特征选择后，使用预先训练的部件分类器进行手指识别。
[0111]其中，一种训练部件分类器的具体方法可以如下:
[0112]针对每个手指，利用EMG传感器感应该手指触碰平面的动作，并提取所述EMG传感器输出的电信号的信号特征后，对提取的信号特征标定该手指的信息后作为训练样本；其中，对应提取的信号特征标定的手指的信息可以是手指的名称；
[0113]使用得到的训练样本对分类器进行训练，得到所述部件分类器。
[0114]进一步，考虑到同一手指触碰触摸屏时，当手指的按压力度不同时，EMG传感器输出的电信号的特征不同(参见图6);因此，智能设备还可以根据接收的电信号，确定出手指在触摸屏上的按压力度。图6示出了使用同一手指在触摸屏上按压十次时采集到EMG信号的波形；其中，每组波峰表示一次按压。可以看出，使用同一手指进行多次按压时，EMG信号具有相似特征，但具有明显不同的强度(幅值)，因此，可以通过EMG信号来识别手指在触摸屏上的按压力度。
[0115]事实上，在上述的部件分类器的训练过程中，还可以训练部件分类器对手指在触摸屏上的按压力度进行识别。由此，智能识别可通过预先训练的部件分类器，确定手指在触摸屏上的按压力度。
[0116]S103:智能设备根据识别出的信息，并结合用户触碰触摸屏的位置信息，确定用户的操作后进行响应。
[0117]具体地，智能设备根据上述步骤S102中识别出的手指和/或按压力度，结合用户触碰触摸屏的位置信息，确定用户的操作。
[0118]实际应用中，智能设备可以在识别出触碰触摸屏的手指后，检测是否有预先设定的关联到该手指的特定操作；若有，则根据手指触碰触摸屏的位置信息、以及识别出的手指所关联的特定操作，确定用户的操作；若没有，则直接如现有技术一般，根据手指触碰触摸屏的位置信息，确定用户的操作。
[0119]本发明通过手指识别，可实现不同手指触碰触摸屏的同一位置时，实现不同的输入，从而可大幅提高屏幕的有效显示面积。参见图17，图17示出了应用本发明前、后显示屏幕的有效显示面积的对比示意图。
[0120]进一步，智能设备在确定用户的操作时，还可以结合手指的按压力度。
[0121]下面通过几个具体的示例详细说明，本发明中智能设备如何根据识别出的手指并结合手指触碰触摸屏的位置信息确定用户的操作，以及如何结合手指的按压力度确定用户的操作。
[0122]示例I
[0123]智能设备在触摸屏显示虚拟键盘时，可以根据用户的手指触碰触摸屏的位置信息，确定出用户点击的字母；并根据识别出的手指确定字母为大写或小写。
[0124]例如，参见图7，预先设定用户使用手指A触碰字母键时，确定用户输入大写字母，使用手指B触碰字母键时，确定用户输入小写字母。
[0125]现有技术中，当用户输入大写字母，需要先点击大小写切换键(如shift键)，再点击相应的字母键；若用户再输入小写字母，还需点击大小写切换键，再点击相应的字母键。
[0126]而本发明中，用户在进行大写或小写字母输入时，不再需要用户点击大小写切换键(如shift键)，减少了用户操作，提升了用户操作体验，尤其在大小写混合输入的情况下，可以大幅简化用户的操作。而且，本发明的智能设备可以不设置大小写切换键，提高了屏幕有效显示面积。
[0127]示例2
[0128]智能设备在触摸屏显示虚拟键盘时，若根据用户手指触碰触摸屏的位置信息确定用户点击删除键，则根据识别出的手指确定用户指定的删除对象为一个字符、或一个词语、或一个句子、或一个段落、或全文。
[0129]例如，参见图7，预先设定用户使用手指A触碰删除键时，删除一个字符；使用手指B触碰删除键时，删除一个词语；使用手指C触碰删除键时，删除一个句子；使用手指D触碰删除键时，删除一个段落；使用手指E触碰删除键时，删除全文。
[0130]现有技术中，如果用户针对输入的文本进行删除，可以通过点击删除键进行逐字删除，也可通过长按删除键进行快速删除，或者选中删除的内容后点击删除键；不管哪种方式，操作都比较烦琐。
[0131]而本发明中，用户可通过使用不同手指触碰删除键来进行一个字、一个词语、一个句子、一个段落、全文的删除等，操作简单方便。
[0132]示例3
[0133]智能设备在触摸屏显示联系人界面时，可以根据用户手指触碰触摸屏的位置信息，确定用户点击的联系人；并根据识别出的手指确定用户打开该联系人信息、或呼叫该联系人、或发消息给该联系人。
[0134]例如，参见图8，预先设定用户使用手指A触碰联系人时，打开相应联系人信息；使用手指B触碰联系人时，呼叫相应联系人；使用手指C触碰联系人时，发送消息给相应联系人。
[0135]现有技术中，当用户呼叫联系人或发消息给联系人时，需要先打开联系人信息，再选择呼叫联系人或发消息给联系人。
[0136]而本发明中，用户可使用不同的手指完成打开联系人、呼叫联系人或发消息给联系人，操作简单方便。
[0137]示例4
[0138]智能设备在触摸屏显示浏览器界面时，可以根据用户手指触碰触摸屏的位置信息确定用户点击的链接；并根据识别出的手指确定用户一键打开该链接、或收藏该链接、或在新标签页打开该链接。
[0139]例如，参见图9，可以预先设定用户使用手指A触碰链接时，一键打开相应链接；使用手指B触碰链接时，在标签页打开相应链接；使用手指C触碰链接时，收藏相应链接。
[0140]同样，本发明简化了用户收藏或在新标签页打开链接时的操作。
[0141]示例5
[0142]智能设备在触摸屏显示画图应用界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击画图应用界面，则根据识别出的手指，确定用户调用画笔工具、或橡皮工具；并在用户使用画笔工具/橡皮工具的过程中，根据识别出的手指的按压力度，调整画笔工具的粗细/橡皮工具的大小。
[0143]例如，参见图10，用户使用手指A点击画图应用界面时，确定用户调用画笔工具，使用手指B点击画图应用界面时，确定用户调用橡皮工具。
[0144]参见图11，在用户使用画笔工具的过程中，可根据识别出的手指的按压力度，调整画笔工具的粗细，如手指轻触时画笔工具较细，手指重压时画笔工具较粗。
[0145]示例6
[0146]智能设备在触摸屏显示地图应用界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击地图放大/缩小键，则根据识别出的手指的按压力度，确定放大/缩小显示地图的倍数。
[0147]例如，参见图12，用户使用手指轻触地图放大/缩小键时，单倍放大/缩小显示地图，重压地图放大/缩小键时，多倍放大/缩小显示地图。
[0148]进一步，应用本发明，还可将地图放大键和地图缩小键合并为一个地图缩放键，智能设备在触摸屏显示地图应用界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击缩放键，则根据识别出的手指确定放大显示地图、或缩小显示地图。
[0149]此外，还可以设置不同的手指触碰触摸屏时，对应实现地图移动、地图放大、地图缩小、到这去的功能。即，智能设备在触摸屏显示地图应用界面时，还可以在触摸屏显示地图应用界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击地图应用界面中的任一位置，则根据识别出的手指确定用户移动地图、放大显示地图、缩小显示地图、将该位置设为目的地。
[0150]例如，参见图13，对于地图应用界面的任一位置，用户使用手指A触碰时移动地图，使用手指B触碰时放大显示地图，使用手指C触碰时缩小显示地图，使用手指D触碰时将该位置设为目的地(即到这去)。
[0151]现有技术中，通常使用多指触碰实现地图的放大或缩小，对于屏幕较小的智能设备，如)?Μ表，多指触碰谷易遮挡屏蒂显不内谷。
[0152]而本发明通过使用不同的手指触碰触摸屏，便可实现放大或缩小显示地图，操作简单，且不易造成严重的屏幕遮挡。
[0153]现有技术往往通过电磁笔(或手写笔)实现压力感应，电磁笔容易丢失且交互不够自然。而本发明可通过对手指在触摸屏的按压力度，确定地图放大或缩小的倍数，交互方式自然，方便简单。
[0154]示例7
[0155]智能设备在触摸屏显示媒体播放器界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击快进/快退键，则根据识别出的手指的按压力度，调整快进、或快退的速度。
[0156]例如，参见图14，用户使用手指轻触快进/快退键时，低速快进/快退，重压快进/快退键时，尚速快进/快退。
[0157]进一步，应用本发明，还可将快进/快退键合并为一个快退键，智能设备在触摸屏显示媒体播放器界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击快退键，则根据识别出的手指确定快进、或快退。
[0158]示例8
[0159]智能设备在触摸屏显示媒体播放器界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击音量键，则根据识别出的手指确定增大音量、或减小音量；并根据识别出的手指的按压力度，确定增大或减小音量的多少。
[0160]智能设备在触摸屏显示媒体播放器界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击上下键，则根据识别出的手指确定播放上一媒体文件、或播放下一媒体文件。
[0161]例如，图15示出了一种可穿戴智能设备的显示界面，用户使用手指A触碰音量键时增加音量，使用手指B触碰音量键时减小音量；用户使用手指A触碰文件切换键时，播放上一个媒体文件，使用手指B触碰文件切换键时，播放下一个媒体文件。
[0162]示例9
[0163]当智能设备识别出的手指为特定手指时，直接根据用户手指触碰触摸屏的位置信息，确定用户的操作；当智能设备识别出的手指不为特定手指时，根据识别出的手指，确定出用户的操作为返回上一级、或返回主屏、或打开应用菜单。
[0164]例如，参见图16，用户使用特定手指A触碰触摸屏时，直接如现有技术一般，根据用户手指触碰触摸屏的位置信息，确定用户的操作，即用户使用手指A触碰实现普通操作；使用手指B触碰触摸屏时，返回上一级；使用手指C触碰触摸屏时返回主屏；使用手指D触碰触摸屏时打开应用菜单。
[0165]本示例9中的应用尤其适用于智能手机。
[0166]为了提高显示界面的易用性，可以通过在不同的按键上添加不同的标记或使用不同的颜色，来提示用户实现该按键的功能所需要使用的手指。
[0167]基于上述的智能设备的操作响应方法，本发明实施例提供的智能设备的结构示意图，如图18所示，包括:信号接收模块1801、操作确认模块1802和响应模块1803。
[0168]信号接收模块1801用于接收用户佩戴的肌电图EMG传感器发送的电信号。
[0169]操作确认模块1802用于根据信号接收模块1801接收的电信号，并结合用户触碰所述触摸屏的位置信息，确定用户的操作。
[0170]响应模块1803对确定出的用户的操作进行相应的响应。
[0171]较优地，操作确定模块1802的内部结构的框架示意图如图19所示，具体包括:信号识别单元1901和信息结合单元1902。
[0172]信号识别单元1901用于根据信号接收模块1801接收的电信号，识别出用户在触摸屏上触摸的手指，和/或用户的手指在触摸屏上的按压力度。
[0173]信息结合单元1902用于根据识别出的手指和/或按压力度，结合用户触碰触摸屏的位置信息，确定用户的操作。
[0174]较优地，上述的智能设备还可包括分类器训练模块1804。
[0175]分类器训练模块1804用于获取EMG传感器采集的样本电信号，提取出样本电信号的的信号特征；根据样本电信号对应的手指信息，标定提取的信号特征；根据标定的信号特征对分类器进行训练，得到部件分类器。
[0176]相应地，操作确认模块1802中的信号识别单元1901具体可以根据信号接收模块1801接收的电信号，识别出用户的手指在触摸屏上的按压力度；和/或利用分类器训练模块1804预先训练出的部件分类器，根据接收的电信号识别出用户在触摸屏上触碰的手指。
[0177]进一步，上述的智能设备还可包括:上述佩戴于用户手臂的EMG传感器(图中未标)。换言之，EMG传感器作为一个信号发送模块设置于智能设备中。
[0178]而且，较优地，EMG传感器为环形结构，包括环向分布的多组电极，并集成有以无线方式发送电信号的无线通信单元。
[0179]实际应用中，智能设备中操作确认模块1802中的信息结合单元1902，可实现但不限于如示例I至9所述的多种功能。
[0180]例如，信息结合单元1902可用于在触摸屏显示虚拟键盘时，根据用户手指触碰触摸屏的位置信息，确定出用户点击的字母；并根据识别出的手指确定所述字母为大写或小与O
[0181]信息结合单元1902可用于在触摸屏显示虚拟键盘时，若根据用户手指触碰触摸屏的位置信息确定用户点击删除键，则根据识别出的手指确定用户指定的删除对象为一个字符、或一个词语、或一个句子、或一个段落、或全文。
[0182]信息结合单元1902可用于在触摸屏显示联系人界面时，根据用户手指触碰触摸屏的位置信息确定用户点击的联系人；并根据识别出的手指确定用户打开所述联系人信息、或呼叫所述联系人、或发消息给所述联系人。
[0183]信息结合单元1902可用于在触摸屏显示浏览器界面时，根据用户手指触碰触摸屏的位置信息确定用户点击的链接；并根据识别出的手指确定用户一键打开所述链接、或收藏所述链接、或在新标签页打开所述链接。
[0184]信息结合单元1902可用于在触摸屏显示画图应用界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击画图应用界面，则根据识别出的手指，确定用户调用画笔工具、或橡皮工具；并在用户使用画笔工具/橡皮工具的过程中，根据识别出的手指的按压力度，调整画笔的粗细/橡皮的大小。
[0185]信息结合单元1902可用于在触摸屏显示地图应用界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击地图放大/缩小键，则根据识别出的手指的按压力度，确定放大/缩小显示地图的倍数。
[0186]信息结合单元1902可用于在触摸屏显示媒体播放器界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击快进/快退键，则根据识别出的手指的按压力度，调整快进/快退的速度。
[0187]信息结合单元1902可用于在触摸屏显示媒体播放器界面时，若根据位置信息确定用户点击音量键，则根据识别出的手指确定增大音量、或减小音量；并根据识别出的手指的按压力度，确定增大或减小音量的多少。
[0188]信息结合单元1902可用于在触摸屏显示媒体播放器界面时，若根据用户手指触碰触摸屏的位置信息确定用户点击文件切换键，则根据识别出的手指确定播放上一媒体文件、或播放下一媒体文件。
[0189]信息结合单元1902可用于当确定识别出的手指为特定手指时，根据用户手指触碰触摸屏的位置信息，确定用户的操作；当确定识别出的手指不为特定手指时，根据识别出的手指，确定出用户的操作为返回上一级、或返回主屏、或打开应用菜单。
[0190]本发明的智能设备中的各模块的功能或功能的实现方式，可参考上述智能设备的操作响应方法的各步骤中所述的内容，此处不再赘述。
[0191]本发明的技术方案中，当用户触碰智能设备的触摸屏时，智能设备可根据用户佩戴的EMG传感器输出的电信号，结合用户触碰触摸屏的位置信息，确定用户的操作后进行相应的响应。因此，应用本发明，用户可以在使用不同手指触碰触摸屏的同一位置时，实现不同的输入，简化了一些如多指触碰、长按、组合键等的复杂操作，可避免对屏幕的遮挡，更为方便用户对智能设备进行输入控制，提升了用户体验。而且，本发明还可实现手指对触摸屏的按压力度的识别，应用于画图、地图、媒体播放器等诸多应用时，大大增强了用户体验。
[0192]本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、⑶-ROM、和磁光盘)、ROM (Read-Only Memory,只读存储器)、RAM (Random Access Memory，随即存储器)、EPROM (Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(ElectricalIy ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
[0193]本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
[0194]本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
[0195]以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【主权项】
1.一种智能设备的操作响应方法，其特征在于，包括: 接收用户佩戴的肌电图EMG传感器发送的电信号； 根据接收的电信号并结合所述用户触碰所述触摸屏的位置信息，确定所述用户的操作后进行响应。2.如权利要求1所述的方法，其特征在于，所述接收用户佩戴的EMG传感器发送的电信号后，还包括: 根据接收的电信号识别出所述用户在触摸屏上触碰的手指，和/或用户的手指在所述触摸屏上的按压力度。3.如权利要求2所述的方法，其特征在于，所述根据接收的电信号并结合所述用户触碰所述触摸屏的位置信息，确定所述用户的操作包括: 根据识别出的手指和/或按压力度，结合所述用户触碰所述触摸屏的位置信息，确定所述用户的操作。4.如权利要求2或3所述的方法，其特征在于，所述根据接收的电信号识别出所述用户在触摸屏上触碰的手指，具体包括: 利用预先训练出的部件分类器，根据接收的电信号识别出所述用户在触摸屏上触碰的手指。5.如权利要求4所述的方法，其特征在于，所述部件分类器具体根据如下方法训练得到: 针对每个手指，利用EMG传感器感应该手指触碰平面的动作，并提取所述EMG传感器输出的电信号的信号特征后，对提取的信号特征标定该手指的信息后作为训练样本； 使用得到的训练样本对分类器进行训练，得到所述部件分类器。6.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 在所述触摸屏显示虚拟键盘时，根据所述位置信息，确定出用户点击的字母；并 根据识别出的手指确定所述字母为大写或小写。7.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 在所述触摸屏显示虚拟键盘时，若根据所述位置信息确定用户点击删除键，则: 根据识别出的手指确定用户指定的删除对象为一个字符、或一个词语、或一个句子、或一个段落、或全文。8.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 在所述触摸屏显示联系人界面时，根据所述位置信息确定用户点击的联系人；并 根据识别出的手指确定用户打开所述联系人信息、或呼叫所述联系人、或发消息给所述联系人。9.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 在所述触摸屏显示浏览器界面时，根据所述位置信息确定用户点击的链接；并 根据识别出的手指确定用户一键打开所述链接、或收藏所述链接、或在新标签页打开所述链接。10.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 在所述触摸屏显示画图应用界面时，若根据所述位置信息确定用户点击画图应用界面，则 根据识别出的手指，确定用户调用画笔工具、或橡皮工具；并 在用户使用画笔工具/橡皮工具的过程中，根据识别出的手指的按压力度，调整画笔的粗细/橡皮的大小。11.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 在所述触摸屏显示地图应用界面时，若根据所述位置信息确定用户点击地图放大/缩小键，则: 根据识别出的手指的按压力度，确定放大/缩小显示地图的倍数。12.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 在所述触摸屏显示媒体播放器界面时，若根据所述位置信息确定用户点击快进/快退键，则 根据识别出的手指的按压力度，调整快进/快退的速度。13.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 在所述触摸屏显示媒体播放器界面时，若根据所述位置信息确定用户点击音量键，则 根据识别出的手指确定增大音量、或减小音量；并 根据识别出的手指的按压力度，确定增大或减小音量的多少。14.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 在所述触摸屏显示媒体播放器界面时，若根据所述位置信息确定用户点击文件切换键，则 根据识别出的手指确定播放上一媒体文件、或播放下一媒体文件。15.如权利要求2或3所述的方法，其特征在于，所述确定所述用户的操作，具体包括: 当识别出的手指为特定手指时，根据所述位置信息，确定所述用户的操作； 当识别出的手指不为特定手指时，根据识别出的手指，确定出用户的操作为返回上一级、或返回主屏、或打开应用菜单。16.如权利要求2或3所述的方法，其特征在于，所述EMG传感器为环形结构，包括环向分布的多组电极，并集成有以无线方式发送电信号的无线通信单元。17.如权利要求1-16任一所述的方法，其特征在于，所述EMG传感器佩戴于如下至少一处:所述用户的手腕、前臂、上臂。18.一种智能设备，其特征在于，包括: 信号接收模块，用于接收用户佩戴的EMG传感器发送的电信号； 操作确认模块，用于根据所述信号接收模块接收的电信号，并结合所述用户触碰所述触摸屏的位置信息，确定所述用户的操作； 响应模块，用于对确定出的所述用户的操作进行响应。19.如权利要求18所述的设备，其特征在于，所述操作确定模块具体包括: 信号识别单元，用于根据所述信号接收模块接收的电信号，识别出所述用户在触摸屏上触摸的手指，和/或用户的手指在所述触摸屏上的按压力度； 信息结合单元，用于根据识别出的手指和/或按压力度，结合所述用户触碰所述触摸屏的位置信息，确定所述用户的操作。20.如权利要求18或19所述的设备，其特征在于， 所述信号识别单元具体用于根据所述信号接收模块接收的电信号，识别出用户的手指在所述触摸屏上的按压力度；和/或利用预先训练出的部件分类器，根据接收的电信号识别出所述用户在触摸屏上触碰的手指。21.如权利要求20所述的设备，其特征在于，还包括: 分类器训练模块，用于获取所述EMG传感器采集的样本电信号，提取出样本电信号的信号特征；根据样本电信号对应的手指信息，标定提取的信号特征；根据标定的信号特征对分类器进行训练，得到所述部件分类器。22.如权利要求19-21任一所述的设备，其特征在于， 所述信息结合单元具体用于在所述触摸屏显示虚拟键盘时，根据所述位置信息，确定出用户点击的字母；并根据识别出的手指确定所述字母为大写或小写。23.如权利要求19-21任一所述的设备，其特征在于， 所述信息结合单元具体用于在所述触摸屏显示虚拟键盘时，若根据所述位置信息确定用户点击删除键，则根据识别出的手指确定用户指定的删除对象为一个字符、或一个词语、或一个句子、或一个段落、或全文。24.如权利要求19-21任一所述的设备，其特征在于， 所述信息结合单元具体用于在所述触摸屏显示地图应用界面时，若根据所述位置信息确定用户点击地图放大/缩小键，则根据识别出的手指的按压力度，确定放大/缩小显示地图的倍数。25.如权利要求19-21任一所述的设备，其特征在于， 所述信息结合单元具体用于在所述触摸屏显示媒体播放器界面时，若根据所述位置信息确定用户点击音量键，则根据识别出的手指确定增大音量、或减小音量；并根据识别出的手指的按压力度，确定增大或减小音量的多少。26.如权利要求18-21任一所述的设备，其特征在于，还包括:所述EMG传感器； 所述EMG传感器为环形结构，包括环向分布的多组电极，并集成有以无线方式发送电信号的无线通信单元。
【文档编号】G06F3/0488GK105988695SQ201510083694
【公开日】2016年10月5日
【申请日】2015年2月16日
【发明人】张超, 冯雪涛, 刘洋, 裵致成, 金尙駿
【申请人】北京三星通信技术研究有限公司, 三星电子株式会社