一种增强现实型的可见即可控智能家居控制系统及方法
【专利摘要】本发明公开了一种基于增强现实型的可见即可控智能家居控制系统及方法，3D图像获取模块将家居环境立体图像传输给用户模块，通过增强现实显示模块进行3D图像显示，用户模块采集用户信息，根据用户选定的房间切换到对应房间的3D图像获取模块，再根据用户选定的房间内的被控家电设备以及用户的命令内容生成命令信息，用户模块将命令信息传输至家电控制集成模块，家电控制集成模块根据命令内容实现对被控设备的正向控制，并实时读取设备的状态信息经通讯模块返回给用户，形成闭环系统。本发明采用看与控一体的人机交互控制革命了菜单模式的控制，用户控制智能家电设备时，如同真实控制一样通过看到、想到就能做到，用户控制体验效果极为简易、人性化。
【专利说明】
一种増强现实型的可见即可控智能家居控制系统及方法
技术领域
[0001]本发明属于智能家居领域，尤其涉及一种增强现实型的可见即可控智能家居控制系统及方法
【背景技术】
[0002]当下智能家居作为一个热门课题，却由于智能家居控制系统上的许多不足阻碍着智能家居普及于千家万户。比如，由于控制系统对家电设备的智能程度要求过高，用户需要对现有家居环境进行极大工程的智能化改造或需要购置更换为高度智能化的家电设备，致使改造成本高昂；现有的智能家居控制系统用户体验效果也不佳，控制家电设备界面是层层菜单栏筛选形式的界面或者是视觉与控制操作分开的界面，没有通过立体视觉进行人机交互控制的界面，不能身临其境地去体会着在家的感受，并且没法在远程控制家电设备时和家中的老人、小孩等作很好的联系互动。
【发明内容】
[0003]本发明的目的在于针对现有智能家居控制系统改造成本高昂、用户体验效果差等技术不足，提供一种增强现实型的可见即可控智能家居控制系统及方法。
[0004]本发明的目的是通过以下技术方案来实现的:一种增强现实型可见即可控的智能家居控制系统，该系统包括若干3D图像获取模块、通讯模块、用户模块和家电控制集成模块；
[0005]所述3D图像获取模块用于获取家居环境、智能家电的即时立体图像以及智能家电对应的图像坐标范围；
[0006]所述通讯模块用于3D图像的传输、用户控制指令的传输以及家电信息的反馈；
[0007]所述用户模块包括增强现实显示模块、多媒体模块、用户信息采集模块以及控制处理核心模块;其中，增强现实显示模块用于显示立体图像、播放多媒体内容；用户信息采集模块用于采集用户的控制信号;控制处理核心模块负责分析采集的用户控制信号生成对应的指令；
[0008]所述家电控制集成模块用于控制智能家电执行相应的动作以及获取智能家电的工作状况，并将所述的工作状况发送给用户模块；
[0009]所述3D图像获取模块将家居环境立体图像通过通讯模块传输给用户模块，通过增强现实显示模块进行3D图像显示，用户模块采集用户信息，根据用户选定的房间切换到对应房间的3D图像获取模块，再根据用户选定的房间内的被控家电设备以及用户的命令内容生成命令信息，所述命令信息包括命令地址前缀(房间地址)、对象前缀(家电名称)及命令内容(对家电的具体操作)，用户模块将命令信息传输至家电控制集成模块，家电控制集成模块根据命令内容实现对被控设备的正向控制，并实时读取设备的状态信息经通讯模块返回给用户，形成闭环系统。
[0010]进一步地，所述3D图像获取模块为至少一个具有3D图像捕获功能的终端设备，所述家电控制集成模块为至少一台集成信息接收和遥控功能的终端设备，所述用户模块为至少一台集成图像显示、图像坐标定位及控制处理功能的终端设备，所述通讯模块为至少一台具有3D图像传输功能和通信功能的设备。
[0011]进一步地，所述的用户模块为至少一台穿戴式集成智能终端。
[0012]进一步地，所述家电控制集成模块选自智能手机、平板电脑、家用电脑、智能遥控器。
[0013]进一步地，所述家电控制集成模块的控制对象包括所有能够被无线遥控且能够在遥控端显示工作状态数据的家电设备。
[0014]一种增强现实型可见即可控的智能家居控制方法，该方法包括正向控制方法和状态反馈方法，所述的正向控制方法包括如下步骤:
[0015](1)3D图像获取:3D图像获取模块获取家居环境的立体图像并经通讯模块发送给用户模块；
[0016](2)家电定位与识别:增强现实显示模块对步骤I采集的3D图像进行显示，用户信息采集模块通过用户操作选定图像位置，通过该位置的坐标信息匹配用户在该坐标下预定义的内容，如果该内容是一个房间则切换到该房间的3D图像获取模块，并在该房间的图像下进行图像位置坐标选定，如果该内容是家电设备则将所处房间地址信息和设备名称信息发送给用户模块中的控制处理核心模块；
[0017](3)控制命令生成:控制处理核心模块根据接收到的房间地址信息和设备名称信息生成指令的地址前缀和对象前缀，再根据用户发出的命令内容组合成地址前缀-对象前缀-命令内容的命令信息发送给家电控制集成模块；
[0018](4)命令执行:家电控制集成模块根据接收到的命令信息找到被控家电设备，对被控家电设备进行命令内容对应的操作控制。
[0019]所述的状态反馈方法包括如下步骤:
[0020](I)工作状况获取:家电控制集成模块获取智能家电工作状况，并将工作状况通过通讯模块发送给用户模块；
[0021](2)工作状况显示:用户模块将接收到的智能家电的工作状况提供给用户查看。
[0022]所述的正向控制方法和状态反馈方法采用并行方式运行，相互独立，互不影响。
[0023]进一步地，所述的正向控制方法的步骤(2)中，所述的家电定位与识别所使用的方法是智能家居图像空间坐标定位识别法，具体实现如下:首先预定义房间和智能家电设备在图像下的空间坐标范围并保存为表的形式，使用时通过用户操作选定图像位置后，用户模块记录该位置的空间坐标，并以查表的方式确定该坐标对应的房间名称和/或智能家电设备名称作为命令的地址前缀和/或对象前缀。
[0024]进一步地，所述的正向控制方法的步骤(2)中，用户操作的方法为眼动、手动、手势识别、表情识别或脑控。
[0025]进一步地，所述的正向控制方法的步骤(3)中，所述的控制命令生成的方法是根据定位识别的信息以及用户发出的命令内容生成包括地址前缀、对象前缀以及命令内容的命令信息;所述命令内容通过用户语音发出，或者用户选择菜单内容发出；其中用户发出的命令内容为第一优先级，即如果用户发出的命令内容包含有地址前缀与对象前缀则舍弃根据定位识别的信息所生成的地址前缀与对象前缀。
[0026]本发明的有益效果在于:
[0027]1.用户即使出门在外也能通过家居环境的三维立体图像“回到家中”，感受家居中的氛围。
[0028]2.本发明以立体视觉为背景，“看”与“控” 一体的人机交互控制革命了菜单模式的控制，用户控制智能家电设备时，如同真实控制一样通过看到、想到就能做到，相比层层菜单栏筛选形式的界面或者视觉与控制操作分开的界面，本发明的用户控制体验效果极为简易、人性化。
[0029]3.家电集成控制模块的命令执行方式(先分析命令信息确定被控家电的地址与名称再调用对应的遥控器遥控)对家电设备的智能化程度要求不高，日常较多具有能被无线遥控并能往遥控端反馈工作状态数据的家电设备都可以是被控对象，使家居的智能化改造成本低。
[0030]4.用户能远程和家人进行着互动交流，通过家中电视游戏媒体与用户模块中的电视游戏媒体的同步切换可以分享节目或共同玩游戏，出门在外也可以给予家中的老人和小孩智能陪伴和照顾。
[0031]5.家居环境通过3D图像视觉呈现，有利于家居的安防监控。
[0032]6.通过智能家居图像空间坐标定位识别法来定位识别智能家电设备，相比其它图像识别的方法更为简易、准确。
[0033]7.该方案的控制方法是一个包含正向与反馈的闭环控制，使得用户能实时看到家电设备的控制效果，也能随时了解家电设备的工作状况是否出现异常，大大保障了控制的准确性、安全性。
[0034]8.选定控制对象的方式可以是眼动、语音、脑控等多元化智能方式，使用地址前缀与对象前缀耦合被控对象，使得选定较为准确。
【附图说明】
[0035]图1是增强现实型可见即可控智能家居控制系统的组成框图；
[0036]图2是增强现实型可见即可控智能家居控制系统的用户模块示意图；
[0037]图3是增强现实型可见即可控智能家居控制系统的家居环境立体图像的空间坐标显示示意图。
【具体实施方式】
[0038]下面结合附图和具体实施例对本发明作进一步详细说明。
[0039]如图1所示，本发明提供的一种基于增强现实的可见即可控智能家居控制系统，该系统包括若干3D图像获取模块、通讯模块、用户模块和家电控制集成模块；
[0040]所述3D图像获取模块用于获取家居环境、智能家电的即时立体图像以及智能家电对应的图像坐标范围；
[0041]所述通讯模块用于3D图像的传输、用户控制指令的传输以及家电信息的反馈；
[0042]所述用户模块包括增强现实显示模块、多媒体模块、用户信息采集模块以及控制处理核心模块，如图2所示;其中，增强现实显示模块用于显示立体图像、播放多媒体内容；用户信息采集模块用于采集用户的控制信号;控制处理核心模块负责分析采集的用户控制信号生成对应的指令；
[0043]所述家电控制集成模块用于控制智能家电执行相应的动作以及获取智能家电的工作状况，并将所述的工作状况发送给用户模块;所述家电控制集成模块为具有信息接收和遥控功能的终端设备，可选自智能手机、平板电脑、家用电脑、智能遥控器;所述家电控制集成模块的控制对象包括所有能够被无线遥控且能够在遥控端显示工作状态数据的家电设备。
[0044]所述3D图像获取模块将家居环境立体图像通过通讯模块传输给用户模块，通过增强现实显示模块进行3D图像显示，用户模块采集用户信息，根据用户选定的房间切换到对应房间的3D图像获取模块，再根据用户选定的房间内的被控家电设备以及用户的命令内容生成命令信息，所述命令信息包括命令地址前缀(房间地址)、对象前缀(家电名称)及命令内容(对家电的具体操作)，用户模块将命令信息传输至家电控制集成模块，家电控制集成模块根据命令内容实现对被控设备的正向控制，并实时读取设备的状态信息经通讯模块返回给用户，形成闭环系统。
[0045]实施例一:利用本发明的增强现实型智能家居控制系统控制厨房中的智能冰箱和卧室中的智能电灯
[0046]本实施例中的智能家居控制系统由增强现实集成功能头盔、一台无线路由器、两个3D摄像头和一部装有接收指令及控制家电软件的智能手机组成，分别承担着用户模块、通讯模块、3D图像获取模块和家电控制集成模块的功能。其中智能手机放置于家中，增强现实集成功能头盔装有增强现实显示屏、摄像头(用于读取眼球对应图像坐标与记录用户表情)、查找对应坐标的设备名称与识别微笑表情的模块、声音采集与识别模块。控制厨房中的智能冰箱步骤如下:
[0047]虚拟现实图像的读取显示:增强现实集成功能头盔接收家中央的3D摄像头获取的3D立体图像，并全景显示于头盔中的显示屏。
[0048]厨房的选定:用户在图像中观察四周，同时头盔中的摄像装置记录眼球对应图像坐标，用户注视厨房并微笑(相当于选定该位置)，家居图像立即切换到厨房内的3D摄像头获取的3D立体图像，并在指令地址前缀定为“KCT’(代表厨房)；
[0049]被控智能冰箱的选定:用户眼球坐标继续在厨房内部图像移动，当落在冰箱处并微笑时(冰箱被确认为被控设备)，指令地址前缀“KC"后加上对象前缀“fr”(代表冰箱)；
[0050]控制指令的生成:选定被控冰箱后，发出“5度”的语音指令后，控制命令处理模块根据之前的位置信息生成(KC，fr，5°C)的指令发送给无线路由器。
[0051 ]指令的执行:放置于家中的智能手机接收到该指令，经识别，切换到智能冰箱遥控软件，将厨房中的冰箱温度调节为5°C。调节成功后，并将冰箱的温度数据经无线路由器返回给增强现实集成功能头盔中的增强现实显示模块显示，并2s更新一次，供用户查看冰箱内部的实时温度。
[0052]用户继续在厨房中控制卧室中的智能电灯步骤如下:
[0053]控制指令的生成:用户进入厨房后，发出“打开卧室中的电灯”的语音指令，语音识另IJ到“卧室”后舍弃在进入厨房后生成的指令地址前缀“KC”，并修改地址前缀为“BR”(代表卧室)，语音识别到“电灯”后将对象前缀定为“lg”(代表电灯)，生成(BR，lg，l)打开卧室电灯的指令。
[0054]指令的执行:智能手机接收到该指令，经识别，切换到智能电灯遥控软件，将卧室中的电灯开关打开。
[0055]实施例二:利用本发明的增强现实型智能家居控制系统远程与家人共享电视节目
[0056]本实施例中的智能家居控制系统由增强现实集成功能头盔、一台无线路由器、一个3D摄像头和一部装有接收指令及控制家电软件的智能手机组成，分别承担着用户模块、通讯模块、3D图像获取模块和家电控制集成模块的功能。其中智能手机放置于家中，增强现实集成功能头盔装有多媒体模块、增强现实显示屏、摄像头(用于读取眼球对应图像坐标与记录用户表情)、查找对应坐标的设备名称与识别微笑表情的模块、声音采集与识别模块、耳机。与家人共享电视节目步骤如下:
[0057]电视的选定:用户眼球坐标在客厅内部图像移动，当落在电视机处并微笑时(电视机被确认为被控设备)，生成指令地址前缀“LR”(代表客厅)，对象前缀“TV”(代表电视)。
[0058]控制指令的生成:用户发出“一起看电视”的指令，语音识别到“电视”后显示模块打开虚拟现实集成功能头盔中的多媒体模块，切换为看电视模式，在语音识别到“一起”的同时，代表着将家里电视打开并将频道切换至与用户同步为‘ XX ’的指令以(LR，TV，Ch ‘ XX ’)形式经无线路由器远程发送给家中的智能手机。
[0059]指令的执行:家中的智能手机接收到该指令，经识别，切换到智能电视遥控软件，将客厅中的电视开关打开并可以与用户进行同步频道切换。调节成功后，并将频道状态“XX”经无线路由器返回给用户。在同一频道观看时，用户的头像和语音信息可以播报于智能手机上，方便与家人在观看同一节目时进行互动交流。
[0060]实施例三:利用本发明的增强现实型智能家居控制系统远程辅导孩子学习
[0061]本实施例中的智能家居控制系统由两个3D摄像头、增强现实集成功能头盔、一台无线路由器和带话筒的语音播放器组成，分别承担着3D图像获取模块、用户模块、通讯模块和家电控制集成模块的功能。其中带话筒的语音播放器装在孩子的书桌上，增强现实集成功能头盔装有3D现实家居图像显示屏、摄像头(用于读取眼球对应图像坐标与记录用户表情)、查找对应坐标的设备名称与识别微笑表情的模块、声音采集与识别模块、耳机。远程辅导孩子学习的步骤如下:
[0062]3D图像获取:家中央3D摄像头将客厅中央的立体图像通过通讯模块传输给用户模块中的增强现实显示模块，用户一下子如同回到家中。
[0063]孩子房间的选定:眼动与脑电信号等模块会采集用户信息，用户眼球坐标落在孩子的房间后并微笑(房间确认)，切换到孩子房间书桌旁边的3D图像获取模块，通过设备3D摄像拉近放大等方式，让用户感觉如同走到了书桌的面前。
[0064]进入辅导学习模式:在眼球坐标选定孩子的书桌后，立即进入辅导学习模式。孩子通过书桌上的话筒向用户家长请教，用户家长同时通过3D摄像装置经无线路由传输回来的图像看到书桌上的习题，利用语音发送模块将语音发送到孩子书桌的语音播放器上，给孩子讲解与指导。
[0065]本发明不仅局限于上述【具体实施方式】，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方案实施本发明。因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护范围。
【主权项】
1.一种增强现实型可见即可控的智能家居控制系统，其特征在于，该系统包括若干3D图像获取模块、通讯模块、用户模块和家电控制集成模块； 所述3D图像获取模块用于获取家居环境、智能家电的即时立体图像以及智能家电对应的图像坐标范围； 所述通讯模块用于3D图像的传输、用户控制指令的传输以及家电信息的反馈； 所述用户模块包括增强现实显示模块、多媒体模块、用户信息采集模块以及控制处理核心模块;其中，增强现实显示模块用于显示立体图像、播放多媒体内容；用户信息采集模块用于采集用户的控制信号;控制处理核心模块负责分析采集的用户控制信号生成对应的指令； 所述家电控制集成模块用于控制智能家电执行相应的动作以及获取智能家电的工作状况，并将所述的工作状况发送给用户模块； 所述3D图像获取模块将家居环境立体图像通过通讯模块传输给用户模块，通过增强现实显示模块进行3D图像显示，用户模块采集用户信息，根据用户选定的房间切换到对应房间的3D图像获取模块，再根据用户选定的房间内的被控家电设备以及用户的命令内容生成命令信息，所述命令信息包括命令地址前缀(房间地址)、对象前缀(家电名称)及命令内容(对家电的具体操作)，用户模块将命令信息传输至家电控制集成模块，家电控制集成模块根据命令内容实现对被控设备的正向控制，并实时读取设备的状态信息经通讯模块返回给用户，形成闭环系统。2.根据权利要求1所述的智能家居控制系统，其特征在于:所述3D图像获取模块为至少一个具有3D图像捕获功能的终端设备，所述家电控制集成模块为至少一台集成信息接收和遥控功能的终端设备，所述用户模块为至少一台集成图像显示、图像坐标定位及控制处理功能的终端设备，所述通讯模块为至少一台具有3D图像传输功能和通信功能的设备。3.根据权利要求1所述的智能家居控制系统，其特征在于:所述用户模块为穿戴式集成智能终端。4.根据权利要求1所述的智能家居控制系统，其特征在于:所述家电控制集成模块选自智能手机、平板电脑、家用电脑、智能遥控器。5.根据权利要求1所述的智能家居控制系统，其特征在于:所述家电控制集成模块的控制对象包括所有能够被无线遥控且能够在遥控端显示工作状态数据的家电设备。6.—种应用权利要求1所述系统的增强现实型可见即可控的智能家居控制方法，其特征在于:该方法包括正向控制方法和状态反馈方法，所述的正向控制方法包括如下步骤: (1)3D图像获取:3D图像获取模块获取家居环境的立体图像并经通讯模块发送给用户丰旲块; (2)家电定位与识别:增强现实显示模块对步骤I采集的3D图像进行显示，用户信息采集模块通过用户操作选定图像位置，通过该位置的坐标信息匹配用户在该坐标下预定义的内容，如果该内容是一个房间则切换到该房间的3D图像获取模块，并在该房间的图像下进行图像位置坐标选定，如果该内容是家电设备则将所处房间地址信息和设备名称信息发送给用户模块中的控制处理核心模块； (3)控制命令生成:控制处理核心模块根据接收到的房间地址信息和设备名称信息生成指令的地址前缀和对象前缀，再根据用户发出的命令内容组合成地址前缀-对象前缀-命令内容的命令信息发送给家电控制集成模块； (4)命令执行:家电控制集成模块根据接收到的命令信息找到被控家电设备，对被控家电设备进行命令内容对应的操作控制。 所述的状态反馈方法包括如下步骤: (1)工作状况获取:家电控制集成模块获取智能家电工作状况，并将工作状况通过通讯模块发送给用户模块； (2)工作状况显示:用户模块将接收到的智能家电的工作状况提供给用户查看。 所述的正向控制方法和状态反馈方法采用并行方式运行，相互独立，互不影响。7.根据权利要求6所述的智能家居控制方法，其特征在于:所述的正向控制方法的步骤(2)中，所述的家电定位与识别所使用的方法是智能家居图像空间坐标定位识别法，具体实现如下:首先预定义房间和智能家电设备在图像下的空间坐标范围并保存为表的形式，使用时用户信息采集模块通过用户操作选定图像中的位置后，用户模块记录该位置的空间坐标，并以查表的方式确定该坐标对应的房间名称和/或智能家电设备名称作为命令的地址前缀和/或对象前缀。8.根据权利要求6或7所述的智能家居控制方法，其特征在于:所述的正向控制方法的步骤(2)中，用户操作的方法为眼动、手动、手势识别、表情识别或脑控。9.根据权利要求6所述的智能家居控制方法，其特征在于:所述的正向控制方法的步骤(3)中，所述的控制命令生成的方法是根据定位识别的信息以及用户发出的命令内容生成包括地址前缀、对象前缀以及命令内容的命令信息;所述命令内容通过用户语音发出，或者用户选择菜单内容发出；其中用户发出的命令内容为第一优先级，即如果用户发出的命令内容包含有地址前缀与对象前缀则舍弃根据定位识别的信息所生成的地址前缀与对象前.0.%
【文档编号】G05B19/418GK105955043SQ201610370287
【公开日】2016年9月21日
【申请日】2016年5月27日
【发明人】孟濬, 张德钧
【申请人】浙江大学