基于智能眼镜的智能设备控制方法、系统及智能眼镜与流程

1.本发明涉及智能设备控制技术领域，尤其涉及一种基于智能眼镜的智能设备控制方法、系统及智能眼镜。


背景技术：

2.随着智能设备的普及应用，智能设备之间的互通控制和集成控制也越来越重要。在智能家居领域，这类应用已经比较普遍，但基本是通过手机app或遥控器对整个房间的智能设备进行控制，使用起来不够方便快捷。近几年，智能眼镜的技术越来越成熟，也有很多关于利用智能眼镜进行智能家居控制的研究，利用智能眼镜的可视功能实现对智能家居的控制。但利用智能眼镜进行控制，不可避免的存在系统响应错误的情况，当出现所响应的设备或设备执行的指令并非用户所选择的项目时，系统不能及时终止设备运行，还需再去操作智能设备，导致系统自动化和实时性受到影响，影响用户体验。
3.同时，用户在使用控制系统过程中，可能经常定时定点去操作同一个设备，如果每次都需要重复去指示执行，导致系统响应较慢，使用起来不够快捷。


技术实现要素：

4.为解决上述问题，本发明提供了一种基于智能眼镜的智能设备控制方法，通过设立设备终止模块，可在系统响应错误时通过智能眼镜就能及时终止运行，同时通过分析用户的行为习惯，控制智能设备自动启动，大大提高了系统的响应速度。
5.本发明的技术方案如下：
6.一种基于智能眼镜的智能设备控制方法，
7.智能眼镜接入应用环境局域网，与应用环境的服务器通信连接；
8.智能眼镜采集用户指令信息和当前应用环境信息，将所述用户指令信息和当前应用环境信息发送给服务器，服务器对智能眼镜采集的信息进行识别，判断出被选中的智能设备，生成对被选中智能设备的操作指令；
9.服务器向选中的智能设备传送操作指令；
10.智能设备接收操作指令并执行；
11.当用户发现响应的智能设备不正确或智能设备执行的指令不正确时通过智能眼镜向服务器发送终止指令，终止智能设备的运行；
12.或者系统监测到运行异常，自动终止智能设备的运行。
13.本发明采用智能眼镜作为信息采集模块，采集环境信息和用户的控制指令。智能眼镜穿戴方便，并且能实时看到周围的情景，选择视野中要控制的智能设备，通过服务器向智能设备传达控制指令，控制智能设备自动执行，无需用户直接接触智能设备，同时也不需要再单独安装手机应用软件，大大提高了用户的使用体验。
14.所述用户指令信息是指通过手势、语音、头瞄、眼动方式中的一种或多种向智能眼镜传达选择和操作智能设备的指令。用户可以随意组合上述交互方式，向服务器一次性输
出操作信息，减少了用户的交互过程，提高了系统响应速度。
15.所述应用环境信息包括智能眼镜采集的图像信息、时间信息、位置信息中的一种或多种。
16.服务器根据用户指令信息和应用环境信息识别要执行的智能设备和控制指令，与数据库中预存的可执行智能设备参数匹配，若能匹配到可执行的智能设备和控制指令，则生成对选中智能设备的操作指令发送给相应智能设备；否则，则向智能眼镜反馈智能设备不可执行或指令不可执行。
17.服务器记录用户选择和操作智能设备的过程，对用户操作的反馈链条进行分析，总结用户的行为习惯并根据行为习惯自动控制智能设备。
18.服务器对用户操作的反馈分析包括正向反馈分析和负向反馈分析，正向反馈分析是记录能准确识别到智能设备和控制指令并作出正确响应的过程，获取用户的行为习惯，进行自动响应；负向反馈分析是记录不能识别或错误识别智能设备和控制指令的过程以及用户纠错的过程，降低失误率。
19.一种基于智能眼镜的智能设备控制系统，包括智能眼镜、服务器、至少一台智能设备，三者通过网络模块接入同一局域网，
20.所述智能眼镜用于采集用户指令信息和应用环境信息，发送给服务器，并且当发现执行设备错误时，向服务器发出终止指令；
21.所述服务器用于接收智能眼镜发送的用户指令信息和应用环境信息，与数据库预存的可执行智能设备数据匹配，识别用户选择的智能设备和指令，生成对被选中智能设备的操作指令传送给相应智能设备；
22.所述智能设备执行服务器发送的操作指令。
23.所述服务器设有行为习惯分析模块，用于记录用户每次使用系统进行操作的过程，并通过反馈分析，建立用户的行为习惯模型。
24.一种智能眼镜，包括摄像头、麦克风、控制器和网络连接模块，所述摄像头用于采集应用环境图像信息以及用户的手势、头部和眼部动作，所述麦克风用于采集用户的语音指令；所述网络连接模块用于与服务器通信；还包括设备终止模块，用于当用户发现智能设备执行的指令不正确时向服务器发送终止指令，终止智能设备的运行；或者系统监测到运行异常，自动终止智能设备的运行。
25.所述智能眼镜还包括定位模块和计时模块，用于将用户的位置信息和时间信息发送给服务器。
26.本发明的有益效果：
27.1、本发明将智能眼镜应用到需要进行集中控制的场合，可以是智能家居、智能工厂、智能办公等，利用智能眼镜在可视状态下对智能设备进行控制，直观性更强，并且操作更便捷，提高了用户体验。
28.2、本发明与其他智能控制系统不同，在智能眼镜上设置了设备终止模块，在系统响应错误或运行异常时，能通过智能眼镜及时发出终止指令，终止设备的运行。
29.3、本发明能对用户的使用行为进行分析，通过分析能更加了解用户的行为习惯，对于一些重复性的操作可自动启动，减少了用户的操作，同时通过反馈分析，降低系统的失误率，使系统越用越准确。
附图说明
30.图1是本发明所述控制系统的原理框图；
31.图2是本发明所述智能眼镜的原理框图；
32.图3是本发明的使用流程图；
33.图中，1、智能眼镜，11、摄像头，12、麦克风，13、控制器，14、定位模块，15、计时模块，16、网络连接模块，17、设备终止模块，2、服务器，3、智能设备，4、网络模块，5、行为习惯分析模块。
具体实施方式
34.下面以智能家居环境为例，说明本发明的实施过程。
35.如图1所示，一种基于智能眼镜的智能设备控制系统，包括智能眼镜1、服务器2以及若干智能设备3，智能眼镜1、智能设备3均通过网络模块4与服务器2连接，形成一个局域网。
36.如图2所示，所述智能眼镜1包括摄像头11、麦克风12、控制器13、定位模块14、计时模块15和网络连接模块16。所述摄像头11可用于采集用户前方视野中的图像信息，便于传给服务器识别图像中的智能设备；同时还能采集用户的手势、头部、眼部等动作，跟踪手部、头部、眼部动作，控制光标移动，选择智能设备。所述麦克风12用于采集用户的语音信号，接收用户的控制指令。所述网络连接模块16用于与服务器2通信。所述定位模块14和计时模块15用于将用户的位置信息和时间信息发送给服务器2。
37.所述智能眼镜1还包括设备终止模块17，设备终止模块17用于强行终止当前正在运行的智能设备，具有最高的执行优先级，可以随时进行终止，为系统的运行设置安全底线。设备终止模块17有两种触发方式，一种为用户主动触发设备终止模块，另外一种为系统判断超出安全阈值后自动触发设备终止模块。用户主动触发设备终止模块为用户发现因为系统的失误，开启的设备与预期不一致，或者通过语音手势等对智能设备的控制不起作用时，可以采用手动的方式强制控制正在运行中的智能设备关闭。自动触发设备终止模块为在智能设备的运行过程中，系统会实时采集设备的运行信息，当系统的运行超出预设的安全阈值时，系统自动触发设备终止模块，例如智能设备持续运行的时间超过设定阈值、多个设备同时运行临近系统设定的功率阈值、两个不能同时运行的设备在误操作下一起运行、系统检测到线路短路或电起火时，系统自动触发设备终止模块工作，关闭运行中的智能设备。
38.所述智能设备3是在应用场景中的固定智能设备、移动智能设备或虚拟设备等。以家居场景为例，固定智能设备包括电视、冰箱、空调等家电；移动智能设备包括车、扫地机器人、可跟随行李箱等；虚拟设备包括虚拟头像、nft、wed3等。
39.所述网络模块4可以是wifi、移动网络、蓝牙、zigbee等。
40.所述服务器2中存储有应用环境中的所有可执行智能设备的参数信息以及系统权限等，服务器接收智能眼镜采集的图像信息和用户指令信息，通过与数据库中的数据匹配，识别用户选择的智能设备和下达的控制指令是否可执行，若是，则生成操作指令发送给智能设备执行；若否，则向智能眼镜反馈不可执行。
41.服务器2中还设有行为习惯分析模块5，服务器记录用户每次使用系统进行操作的
过程，对用户每次对智能设备的操作的完整反馈链条进行分析，进而使系统更加了解用户的行为习惯。具体的，用户使用系统对智能设备进行操控，包括正向反馈过程和负向反馈的过程。正向反馈的过程为系统通过智能眼镜采集用户的指令信息，通过信息处理提取出用户指令信息中包含的智能设备以及需执行的操作信息，控制对应的智能设备执行，被选中的智能设备和该智能设备执行的指令与用户的真实意图相匹配的，则该过程为正向反馈过程。负向反馈过程为用户发送了一个或多个信息指令，当服务器不能识别出这些指令信息，或者解析出的控制指令控制的智能设备与用户实际意图不符合，或者被选中的设备执行的指令与用户实际意图不符合，这时用户会有一个纠错的指令或动作，该过程为系统的负向反馈过程。行为习惯分析模块是用于根据正向反馈和负向反馈的过程，进行分析运算使系统更加贴近用户的使用习惯。对于正向反馈，行为习惯分析模块可以减少用户信息的采集量和/或缩短设备响应的控制时间。例如一个正向反馈过程为，每天晚上七点，用户会在沙发上通过智能眼镜的头动或眼动看向电视，通过语音指令或手势指令开启沙发前方的电视，语音指令输入看中央一台，当系统接收到这些信息后，根据用户指令执行上述过程。上述过程包括系统自主采集的定位、时间和摄像信息，还包括用户主动输入的语音和头瞄等信息，通过这些信息共同实现一次对智能设备的控制。当同一个正向反馈过程连续或累计发生的过程超过三次时，行为习惯分析模块分析出该正向反馈过程为用户的行为习惯，会减少该正向反馈的触发条件。例如当行为习惯分析模块认定用户上述观看电视的行为为日常习惯时，可以减少信息的采集，更快捷的执行设备的响应。比如采集到用户在晚上7点到达电视机前，就执行电视的开启，自动调节到中央一台，这一过程就减少了用户的信息输入，相比于第一次用户，信息采集量大大减少，使系统更加理解用户。
42.负向反馈的过程为系统纠错的过程，当系统根据用户的指令做出的响应与用户实际意图不相符合时，用户发出纠错指令就系统的运行过程进行纠正。行为习惯分析模块对每一次的负反馈行为进行记录，从而避免下一次发生相同的错误，降低失误率，使系统越用越准确。
43.如图3所示，上述系统的使用过程如下：
44.1、用户将智能眼镜接入房间局域网，与服务器通信连接，并进行用户身份认证。
45.2、从智能眼镜上选择是否进入控制模式，对房间内的智能设备进行控制。
46.3、用户佩戴智能眼镜看向要操作的智能设备，并通过手势、头瞄、眼动、语音等方式下达控制指令，智能眼镜采集视野内的图像信息和用户下达的指令，一并发送到服务器。
47.4、服务器根据用户指令信息和图像信息识别要执行的智能设备和控制指令，与数据库中预存的可执行智能设备参数匹配，若能匹配到可执行的智能设备和控制指令，则生成对选中智能设备的操作指令。若识别不出智能设备和控制指令，则向智能眼镜反馈错误信号，用户再重新采集信息。若识别到的设备或控制指令不可执行，则向智能眼镜反馈智能设备不可执行或指令不可执行。
48.5、服务器向选中的智能设备传送操作指令，智能设备接收操作指令并执行，执行完毕后返回设备选择模式。
49.在智能设备做出响应后，当用户发现响应的智能设备不正确，或者智能设备执行的指令不正确，或者通过语音手势等对智能设备的控制不起作用时，通过手动操作智能眼镜的设备终止模块，向服务器发送终止指令，强行终止智能设备的运行。
50.在系统运行过程中，也会实时监测设备运行数据，当设备的运行超出预设的安全阈值时，系统自动触发设备终止模块，终止设备运行。
51.在用户使用系统过程中，服务器会通过行为习惯分析模块实时记录用户的操作过程，并对操作中的反馈链条进行分析，了解用户的行为习惯，建立行为习惯模型。当发现用户处于相同场景时，将根据建立的行为习惯模型自动控制设备启动运行，减少用户的输入操作。
52.以上仅以智能家居为例，详细描述了本发明所述系统的组成和使用过程，上述系统还可应用于智能办公、智能厂房等领域，本领域技术人员还可在本发明构思的基础上，演变出其他类似模式，只要未脱离本发明的核心思想，均在本发明的保护范围之内。