一种基于语义的智能设备控制方法及系统

本发明涉及人机交互和智能设备输入技术领域，并特别涉及一种基于语义的智能设备控制方法及系统。

背景技术：

近年来随着物联网的发展，越来越多的智能设备出现在人们的生活中并扮演重要的角色。与智能设备输入交互的方式主要有：语音输入、手势输入等。一条智能设备的控制命令可以分为三部分：(1)设备：指的是用户要与之交互的设备，如电灯、电视、电脑等。(2)设备原子功能：用户要与之操作的并且不能再进一步细分的称之为设备原子功能，以后简称为“功能”。例如，电灯的开关、电视的“上一频道”按钮、电脑的音量滑动条。(3)输入功能控制：指的是用户要如何操作功能，之后我们简称其为“输入”，例如打开/关闭电灯、调到电视的上一频道、滑动音量条使得电脑的音量到某一特定值。

现有的各种控制命令大多都由上述三部分构成，传统的智能设备控制流程可以概括为：用户产生交互意图后先选择要控制的设备，再选择要控制的功能，最后输入具体控制值。如图1所示，用户先感觉到气温热，再想到降低气温，再选择空调设备、再选择控温功能、最后操作输入降温作为功能控制，共计5步。基于这种交互方式，其中最关键的问题是如何与要控制的设备进行配对。目前有各种各样不同的形式，例如最常见的每一个设备配备一个遥控器或操作面板进行控制；智能家居环境通常用一个app来控制所有设备，先选择要控制的设备，再对这个设备进行具体的控制；利用智能手机拍照并利用计算机视觉算法对对象进行识别来进行设备绑定；利用手机前置摄像头捕获用户凝视的方向来作为设备绑定的依据。此外，还有基于用户位置或情境上下文来进行设备识别。

“自然性”和“高效性”是交互过程优化的目标。这种“先设备再功能”的方式固然最符合用户的输入习惯，然而，随着物联网技术逐渐融入人们的生活，智能设备越来越多。这种方式存在以下问题：

缺点一：需要冗杂的控制设备或者复杂的设备配对方法，开发和学习成本高。传统的控制流程需要首先与特定的设备或应用程序进行上下文关联，然后再将输入和功能进行关联。如何解决设备、功能、输入关联问题仍然是一个问题。正如前面的相关背景技术介绍的那样，目前的方法预先确定了输入技术、界面和功能之间的关系，这不符合目前物联网背景下泛在输入系统的要求。或者需要开发新型的配对技术，虽然能在交互效率或者体验上有所提升，但是大多对于环境或者操作要求较高，或者需要用户额外学习新的交互方式，难以适用于泛在系统的要求。

缺点二：设备关联方法极大的影响了交互的体验，交互缺乏自发性。目前大部分的设备、功能、输入关联的步骤仍然是作为一个额外的交互步骤，这样的交互范式需要用户显式地选择一个设备，使得交互过程缺乏自发性。此外，不同的设备关联方法和效果将会极大的影响交互体验。

技术实现要素：

本发明的目的是解决上述传统的设备输入关联模式存在的关联方法复杂，使得交互效率低下，交互不自发的问题，提出了一种基于语义的智能设备控制方法。

针对现有技术的不足，本发明提出基于语义的智能设备控制方法，其中包括：

步骤1、构建包括智能设备和控制端的物联网，该控制端提取各智能设备的功能；

步骤2、该控制端通过输入传感器提取用户的输入语义，并基于该输入语义对各智能设备的功能进行筛选，得到只与该输入语义匹配的功能备选集，该控制端根据用户在该备选集中选定的功能，控制智能设备执行对应功能。

所述的基于语义的智能设备控制方法，其中该控制端内置或外接一个显示装置，以显示该智能设备的功能；且该显示装置显示该智能设备的功能。

所述的基于语义的智能设备控制方法，其中该控制端内置或外接一个显示装置，以显示该智能设备的功能；且该步骤2包括：持续触发该输入传感器以切换当前该显示装置显示的功能。

所述的基于语义的智能设备控制方法，其中该输入传感器包括：前进按钮、后退按钮、确定按钮和触摸滑条，该前进按钮和该后退按钮分别表示“上一个”和“下一个”的语义，该确定按钮表示“确认”语义，该触摸滑条的相对滑动表示“增加”或“减少”语义。

所述的基于语义的智能设备控制方法，其中该智能设备为具有物联网功能的冰箱、音箱、电视和台灯。

所述的基于语义的智能设备控制方法，其中该控制端包括蓝牙收发器模块，用于连接智能设备。

所述的基于语义的智能设备控制方法，其中该显示装置为智能手表。

所述的基于语义的智能设备控制方法，其中该显示装置显示的内容包括当前智能设备的名称、当前智能设备的功能和前智能设备的功能的状态。

本发明还提出了一种基于语义的智能设备控制系统，其中包括：

具有物联网功能的智能设备，以及与其相连的控制端；

其中，该控制端用于提取各智能设备的功能，并通过输入传感器提取用户的输入语义，基于该输入语义对各智能设备的功能进行筛选，得到只与该输入语义匹配的功能备选集，根据用户在该备选集中选定的功能，控制该智能设备执行对应功能。

由以上方案可知，本发明的优点在于：

相比于现有技术，我们提出的基于语义的输入关联机制可以降低交互任务的复杂性，并且该机制可以被应用于各种泛在输入技术中，尤其是资源受限的泛在输入界面。我们还根据此机制实现了一个输入系统，该系统利用智能手表和基于语义的输入关联机制，并且展示了相较于传统的基于设备的输入方式的优势，展现了该技术的应用潜力。

附图说明

图1为现有技术中先设备再功能后输入的交互方式示意图；

图2为本发明的先功能再输入的交互方式示意图；

图3为本发明控制器的结构示意图。

图4a到c为本发明具体实施例的示意图。

具体实施方式

基于以上问题，本发明利用“功能”中隐含的语义信息，发明了一种基于语义的输入关联机制。语义是易理解、易表达和易提取的，可以用于物联网设备控制。例如，按钮隐含了离散的二值化输入，例如电灯的开/关、麦克风的工作/静音；状态切换输入隐含了离散的状态切换选择，例如音箱的上一曲/下一曲选择；而滑动条则隐含了连续的值变化，例如调节电视的音量。不同的设备功能内含有不同的语义，利用该特征，本发明提出了“先功能后输入”的交互方式，将设备选择通过功能语义和功能相关联，减少交互的复杂性和设备特异性，降低用户的学习成本，提升智能环境中多智能设备的交互效率。如图2所示，用户先感觉到气温热，再想到降低气温，再操作输入降温作为功能控制，将功能控制输入至空调设备，共计4步。

用户利用本发明，可以从语义上匹配的功能子集进行选择，这提高了交互效率并且降低了用户的交互负担。为了实现上述技术效果，本申请包括以下关键技术点：

关键点1，基于语义的输入关联机制；技术效果：通过功能隐含的语义来进行设备关联；

关键点2，基于智能手表的语义输入系统；技术效果，利用智能手表和基于语义的输入关联机制，实现了一个输入系统，可以作为智能设备的输入方式。

具体来说本发明提出一种基于语义的智能设备控制方法，其中包括：

步骤1s、构建包括智能设备和控制端的物联网，该控制器内置或外接一个显示装置，以显示该智能设备的功能；

步骤2s、该控制器包括至少一个输入传感器，该输入传感器用于表示特定的语义，用户通过触发该输入传感器，完成对当前该显示装置显示功能的控制。

所述的基于语义的智能设备控制方法，其中该显示装置显示该智能设备的功能。

所述的基于语义的智能设备控制方法，其中该步骤2包括：持续触发该输入传感器以切换当前该显示装置显示的功能。

所述的基于语义的智能设备控制方法，其中该输入传感器包括：前进按钮、后退按钮、确定按钮和触摸滑条，该前进按钮和该后退按钮分别表示“上一个”和“下一个”的语义，该确定按钮表示“确认”语义，该触摸滑条的相对滑动表示“增加”或“减少”语义。

所述的基于语义的智能设备控制方法，其中该智能设备为具有物联网功能的冰箱、音箱、电视和台灯。

所述的基于语义的智能设备控制方法，其中该控制端包括蓝牙收发器模块，用于连接智能设备。

所述的基于语义的智能设备控制方法，其中该显示装置为智能手表。

所述的基于语义的智能设备控制方法，其中该显示装置显示的内容包括当前智能设备的名称、当前智能设备的功能和前智能设备的功能的状态。

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

下述实施例主要基于智能手表的语义输入系统，但需要注意的是，本申请并不限于智能手表这一种语义输入方式，例如基于ar的隔空手势操作也是可以的。

(1)设计触控交互界面

触控交互界面决定了用户将如何表示表达他们想要输入的语义。在本系统中，我们设计用户触摸不同的小部件来表达他们的输入语义。

如图3所示，其为本系统的触控交互界面设计。触摸界面包括一个蓝牙收发器模块(嵌入nrf52832芯片的ebytee73-2g4m04s1b模块，使用cr2032供电)以及四个铜制触摸小部件。触摸小部件用薄而柔软的铜带制成，可以轻松的部署到不同的对象表面，便于与其他泛在输入界面融合。触摸小部件与蓝牙模块的模拟输入引脚相连，用于自电容感测。

在本系统中，共设计了三类触摸小部件，包含三类语义。(1)用户可以触摸“上一个”按钮来表示“向上/向前/上一个”等包含“上一个”的语义；触摸“下一个”按钮来表示“向下/向后/下一个”等包含“下一个”的语义；(2)触摸“确认”按钮来表示“确定/允许”等包含“确认”的语义；(3)触摸“滑动条”并向右滑动表示“增大”等包含“增加”的语义；触摸“滑动条”并向左滑动表示“减小”等包含“减少”的语义。

三类信息被编码为蓝牙广播信息，每20ms广播一次。智能手表会连续扫描蓝牙广播并解码每个触摸小部件的触摸状态。且具体控制智能设备的指令可以由智能手表生成直接或间接发送至智能设备，或由控制端生成直接或间接发送至智能设备。

2)设计选择显示界面和选择机制

在本系统中，使用智能手表作为系统的显示设备。选择手表的原因是手表可以戴在用户的手腕上，并且不影响用户进行正常的功能选择，当用户触摸小部件时，无需在触控界面和显示界面之间转移注意力，因此可以支持单手触摸输入。

在智能手表屏幕上，一次显示一个功能，每个功能在固定的时间内依次显示，通过屏幕边缘圆形进度条作为时间进度的显示。

如图4a所示，显示布局由三个部分组成。(1)顶部是当前要操控的设备的名称。(2)中间是功能的图标，占布局中较大的位置。(3)最底部是功能的状态。以上的显示设计，使得用户一瞥就足以识别当先显示的设备、功能和状态，减轻了用户的精神负担。

在本系统中，利用基于语义的输入机制，已经将设备的选择集成在功能选择中，避免了用户额外的工作量。

在本原型系统中，功能的选择是通过小部件的按下，释放或拖动事件触发的，在这些事件中包含了语义，而语义又对应了功能。例如，如图4a到图4c所示，当用户按下“确认”小部件时，系统会检测到该行为，手表的显示界面会利用推荐算法(根据上下文、用户位置、历史信息等进行推荐)，推荐包含有“确认”语义对应功能(例如不包含有二值语义“确认”的功能，那就不会出现在推荐列表里)。同时，手表屏幕边缘的圆圈会表示倒计时，如果当前显示的不是用户想要选择的功能，则用户保持按住小部件的动作。倒计时结束系统会推荐下一个功能，直到用户松开触摸小部件的动作，表示用户确认选择。

具体来说图4a中用户欲控制台灯的开关，需首先按住确认按钮，此时腕表上可能会显示电视开关功能的控制界面，继续按住确认按钮，控制界面从电视开关功能切换到台灯开关功能，此时松开按钮，便可实现台灯的打开或关闭；

图4b，用户欲观看下一频道的电视节目，需首先按住“下一个”按钮，此时腕表上可能会显示音箱播放下一首曲目的控制界面，继续按住“下一个”按钮，控制界面从音箱播放下一首曲目功能切换到电视下一频道功能，此时松开按钮，便可将电视节目切换至下一节目；

图4c，用户欲观增加音箱音量，需首先按住滑动条并沿着该滑动条的特定方向进行滑动，此时腕表上可能会显示台灯亮度的控制界面，继续按住滑动条，控制界面从台灯亮度切换到音箱音量，此时松开滑动条，便可将音箱音量加大，若之前忘记沿着该滑动条的特定方向进行滑动，等待切换至音箱音量，沿着该滑动条的特定方向进行滑动后再松开滑动条，一样可以将音箱音量加大。

以下为与上述方法实施例对应的系统实施例，本实施方式可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提出了一种基于语义的智能设备控制系统，其特征在于，包括智能设备与其相连的控制端，该控制器内置或外接一个显示装置，以显示匹配用户输入语义的功能，且该控制器包括至少一个输入传感器，该输入传感器用于表示特定的语义，用户通过触发该输入传感器，完成对当前该显示装置显示功能的控制。

且该显示装置周期性的显示匹配用户输入语义的功能。持续触发该输入传感器以切换当前该显示装置显示的功能。该输入传感器包括：前进按钮、后退按钮、确定按钮和触摸滑条，该前进按钮和该后退按钮分别表示“上一个”和“下一个”的语义，该确定按钮表示“确认”语义，该触摸滑条的相对滑动表示“增加”或“减少”语义。该智能设备可为具有物联网功能的设备，例如冰箱、音箱、电视和台灯等。该控制端包括蓝牙收发器模块，用于连接智能设备。该显示装置为智能手表。该显示装置显示的内容包括匹配用户输入语义的智能设备的名称、智能设备的功能和智能设备的功能的状态。