一种虚拟现实型的可见即可控智能家居控制系统及方法
【专利摘要】本发明公开了一种基于虚拟现实型的可见即可控智能家居控制系统及方法，虚拟现实图像编辑模块构建虚拟现实家居图像，在显示模块上显示，用户模块采集用户信息，根据用户选定的房间切换到对应房间的虚拟现实图像，再根据用户选定的房间内的被控家电设备以及用户的命令内容生成命令信息，用户模块将命令信息传输至家电控制集成模块，家电控制集成模块根据命令内容实现对被控设备的正向控制，并实时读取设备的状态信息经通讯模块反馈到用户模块，形成闭环系统。本发明采用看与控一体的人机交互控制革命了菜单模式的控制，用户控制智能家电设备时，如同真实控制一样通过看到、想到就能做到，用户控制体验效果极为简易、人性化。
【专利说明】
一种虚拟现实型的可见即可控智能家居控制系统及方法
技术领域
[0001]本发明属于智能家居领域，尤其涉及一种虚拟现实型的可见即可控智能家居控制系统及方法
【背景技术】
[0002]当下智能家居作为一个热门课题，却由于智能家居控制系统上的许多不足阻碍着智能家居普及于千家万户。比如，由于控制系统对家电设备的智能程度要求过高，用户需要对现有家居环境进行极大工程的智能化改造或需要购置更换为高度智能化的家电设备，致使改造成本高昂；现有的智能家居控制系统用户体验效果也不佳，控制家电设备界面是层层菜单栏筛选形式的界面或者是视觉与控制操作分开的界面，没有通过立体视觉进行人机交互控制的界面，不能身临其境地去体会着在家的感受，并且没法在远程控制家电设备时和家中的老人、小孩等作很好的联系互动。
【发明内容】
[0003]本发明的目的在于针对现有智能家居控制系统改造成本高昂、用户体验效果差等技术不足，提供一种虚拟现实型的可见即可控智能家居控制系统及方法。
[0004]本发明的目的是通过以下技术方案来实现的:一种虚拟现实型可见即可控智能家居控制系统，该系统包括用户模块、通讯模块和家电控制集成模块；
[0005]所述用户模块包括虚拟现实图像编辑模块、显示模块、多媒体模块、用户信息采集模块以及控制处理核心模块;所述虚拟现实图像编辑模块用于家居立体图像构建以及根据实时反馈的家电状态信息更改图像中的家电显示数据;所述显示模块用于显示家居环境的三维虚拟现实图像、播放多媒体内容;所述用户信息采集模块用于采集用户命令信息并传输给控制处理核心模块;所述控制处理核心模块负责分析采集的命令信号生成对应的指令发送给家电控制集成模块；
[0006]所述通讯模块用于用户控制指令的传输以及家电信息的反馈；
[0007]所述家电控制集成模块用于控制智能家电执行相应的动作以及获取智能家电的工作状况，并将工作状况发送给虚拟现实图像编辑模块。
[0008]所述虚拟现实图像编辑模块构建虚拟现实家居图像，通过显示模块进行图像显示，虚拟现实图像编辑模块实时接收家电控制集成模块反馈的家电设备信息，并更新虚拟图像中显示的家电设备数据；用户模块采集用户信息，根据用户选定的房间切换到对应房间的虚拟现实图像，再根据用户选定的房间内的被控家电设备以及用户的命令内容生成命令信息，所述命令信息包括命令地址前缀(房间地址)、对象前缀(家电名称)及命令内容，用户模块将命令信息传输至家电控制集成模块，家电控制集成模块根据命令内容实现对被控设备的正向控制，并实时读取设备的状态信息经通讯模块返回给用户，形成闭环系统。进一步地，所述家电控制集成模块为至少一台集成信息接收和遥控功能的终端设备，所述用户模块为至少一台集成3维虚拟现实图像编辑、图像显示、图像坐标定位及控制处理功能的终端设备，所述通讯模块为至少一台具有通信功能的设备。
[0009]进一步地，所述的用户模块为至少一台穿戴式集成智能终端。
[0010]进一步地，所述家电控制集成模块选自智能手机、平板电脑、家用电脑、智能遥控器。
[0011 ]进一步地，所述家电控制集成模块的控制对象包括所有能够被无线遥控且能够在遥控端显示工作状态数据的家电设备。
[0012]一种虚拟现实型可见即可控的智能家居控制方法，该包括正向控制方法和状态反馈方法，其中所述的正向控制方法包括如下步骤:
[0013](I)预置虚拟现实图像:构建并保存家居环境(含各个房间)的3维立体图像。
[0014](2)家电定位与识别:显示模块对步骤I构建的3维立体图像进行显示，用户信息采集模块通过用户操作选定图像位置，通过该位置的坐标信息匹配用户在该坐标下预定义的内容，如果该内容是一个房间则切换到该房间的虚拟现实图像，并在该房间的图像下进行图像位置坐标选定，如果该内容是家电设备则将所处房间地址信息和设备名称信息发送给用户模块中的控制处理核心模块；
[0015](3)控制命令生成:控制处理核心模块根据接收到的房间地址信息和设备名称信息生成指令的地址前缀和对象前缀，再根据用户发出的命令内容组合成地址前缀-对象前缀-命令内容的命令信息发送给家电控制集成模块；
[0016](4)命令执行:家电控制集成模块根据接收到的命令信息找到被控家电设备，对被控家电设备进行命令内容对应的操作控制。
[0017]所述的状态反馈方法包括如下步骤:
[0018](I)工作状况获取:家电控制集成模块获取智能家电工作状况，并将工作状况通过通讯模块发送给用户模块；
[0019](2)工作状况显示:用户模块根据接收到的智能家电的工作状况数据，对相应的智能家电虚拟图像的工作状况数据进行更新显示；
[0020]所述的正向控制方法和状态反馈方法采用并行方式运行，相互独立，互不影响。
[0021]进一步地，所述的正向控制方法的步骤(2)中，所述的家电定位与识别所使用的方法是智能家居图像空间坐标定位识别法，具体实现如下:首先预定义房间和智能家电设备在图像下的空间坐标范围并保存为表的形式，使用时通过用户操作选定图像位置后，用户模块记录该位置的空间坐标，并以查表的方式确定该坐标对应的房间名称和/或智能家电设备名称作为命令的地址前缀和/或对象前缀。
[0022]进一步地，所述的正向控制方法的步骤(2)中，用户操作的方法为眼动、手动、手势识别、表情识别或脑控。
[0023]进一步地，所述的状态反馈方法的步骤(2)中，所述的工作状况显示通过对应图像坐标的显示信息植入方法来实现，即用户模块获得反馈回来的家电工作状况数据后，虚拟现实图像编辑模块把该数据对应的虚拟家电设备图像上的显示处编辑成反馈回来的数据，使虚拟家电设备图像能反映出真实的工作状态。
[0024]进一步地，所述的正向控制方法的步骤(3)中，所述的控制命令生成的方法是根据定位识别的信息以及用户发出的命令内容生成包括地址前缀、对象前缀以及命令内容的命令信息;所述命令内容通过用户语音发出，或者用户选择菜单内容发出；其中用户发出的命令内容为第一优先级，即如果用户发出的命令内容包含有地址前缀与对象前缀则舍弃根据定位识别的信息所生成的地址前缀与对象前缀。
[0025]本发明的有益效果在于:
[0026]1.使用预先构建和保存的虚拟现实图像，避免了大流量图像数据的传输。
[0027]2.通过家电控制集成模块反馈回来的工作状态数据实时编辑更新对应虚拟家电设备图像中的工作状态数据，使得虚拟家电设备图像能反映出真实的工作状况。
[0028]3.使用虚拟现实图像编辑模块可以随时根据新添智能家电设备或者装修等的需要修改家居环境立体图像进行居室布置设计预览。
[0029]4.用户即使出门在外也能通过家居环境的3维虚拟现实图像回到家中，感受家中的氛围。
[0030]5.本发明的用户控制体验效果极为简易、人性化，以立体视觉为背景，“看”与“控”一体的人机交互控制革命了菜单模式的控制，用户控制智能家电设备时，如同真实控制一样通过看到、想到就能做到，相比层层菜单栏筛选形式的界面或者视觉与控制操作分开的界面。
[0031]6.家电集成控制模块的命令执行方式(先分析命令信息确定被控家电的地址与名称再调用对应的遥控器遥控)对家电设备的智能化程度要求不高，日常较多具有能被无线遥控并能往遥控端反馈工作状态数据的家电设备都可以是被控对象，使家居的智能化改造成本低。
[0032]7.用户能远程和家人进行着互动交流，通过家中电视媒体与用户模块中的电视媒体的同步切换可以分享节目或共同玩游戏，出门在外也可以给予家中的老人和小孩智能陪伴和照顾。
[0033]8.通过智能家居图像空间坐标定位识别法来定位识别智能家电设备，相比其它的图像识别的方法更为简易、准确。
[0034]9.该方案的控制方法是一个包含正向与反馈的闭环控制，使得用户能实时看到家电设备的控制效果，也能随时了解家电设备的工作状况是否出现异常，大大保障了控制的准确性、安全性。
[0035]10.选定控制对象的方式可以是眼动、语音、脑控等多元化智能方式，使用地址前缀与对象前缀耦合被控对象，使得选定较为准确。
【附图说明】
[0036]图1是虚拟现实型可见即可控智能家居控制系统的组成框图；
[0037]图2是虚拟现实型可见即可控智能家居控制系统的用户模块示意图；
[0038]图3是虚拟现实型可见即可控智能家居控制系统的家居环境立体图像的空间坐标显示示意图。
【具体实施方式】
[0039]下面结合附图和具体实施例对本发明作进一步详细说明。
[0040]如图1所示，本发明提供的一种基于虚拟现实型的可见即可控智能家居控制系统，该系统包括用户模块、通讯模块和家电控制集成模块；
[0041]所述用户模块包括虚拟现实图像编辑模块、显示模块、多媒体模块、用户信息采集模块以及控制处理核心模块;所述虚拟现实图像编辑模块用于家居立体图像构建以及根据实时反馈的家电状态信息更改图像中的家电显示数据;所述显示模块用于显示家居环境的三维虚拟现实图像、播放多媒体内容;所述用户信息采集模块用于采集用户命令信息并传输给控制处理核心模块;所述控制处理核心模块负责分析采集的命令信号生成对应的指令发送给家电控制集成模块；
[0042]所述通讯模块用于用户控制指令的传输以及家电信息的反馈；
[0043]所述家电控制集成模块用于控制智能家电执行相应的动作以及获取智能家电的工作状况，并将工作状况发送给虚拟现实图像编辑模块。
[0044]所述虚拟现实图像编辑模块构建虚拟现实家居图像，通过显示模块进行图像显示，虚拟现实图像编辑模块实时接收家电控制集成模块反馈的家电设备信息，并更新虚拟图像中显示的家电设备数据；用户模块采集用户信息，根据用户选定的房间切换到对应房间的虚拟现实图像，再根据用户选定的房间内的被控家电设备以及用户的命令内容生成命令信息，所述命令信息包括命令地址前缀(房间地址)、对象前缀(家电名称)及命令内容，用户模块将命令信息传输至家电控制集成模块，家电控制集成模块根据命令内容实现对被控设备的正向控制，并实时读取设备的状态信息经通讯模块返回给用户，形成闭环系统。
[0045]实施例一:利用本发明的虚拟现实型智能家居控制系统控制厨房中的智能冰箱和卧室中的智能电灯
[0046]本实施例中的智能家居控制系统由虚拟现实集成功能头蓝、一台无线路由器和一部装有接收指令及控制家电软件的智能手机组成，分别承担着用户模块、通讯模块和家电控制集成模块的功能。其中智能手机放置于家中，虚拟现实集成功能头盔装有虚拟现实图像编辑模块、显示屏、摄像头(用于读取眼球对应图像坐标与记录用户表情)、查找对应坐标的设备名称与识别微笑表情的模块、声音采集与识别模块。控制厨房中的智能冰箱步骤如下:
[0047]虚拟现实图像的读取显示:虚拟现实集成功能头盔读取预先储存家居的3维立体图像，并全景显示于头盔中的显示屏。
[0048]厨房的选定:用户在图像中观察四周，同时头盔中的摄像装置记录眼球对应图像坐标，用户注视厨房并微笑(相当于选定该位置)，家居图像立即切换到厨房内的虚拟现实全景图像，并在指令地址前缀定为“KCT’(代表厨房)；
[0049]被控智能冰箱的选定:用户眼球坐标继续在厨房内部图像移动，当落在冰箱处并微笑时(冰箱被确认为被控设备)，指令地址前缀“KC"后加上对象前缀“fr”(代表冰箱)；
[0050]控制指令的生成:选定被控冰箱后，发出“5度”的语音指令后，控制命令处理模块根据之前的位置信息生成(KC，fr，5°C)的指令发送给无线路由器。
[0051 ]指令的执行:放置于家中的智能手机接收到该指令，经识别，切换到智能冰箱遥控软件，将厨房中的冰箱温度调节为5°C。调节成功后，并将冰箱的温度数据经无线路由器返回给虚拟现实集成功能头盔中的图像编辑模块修改冰箱坐标处的显示温度值，并2s更新一次，供用户查看冰箱内部的实时温度。
[0052]实施例二:利用本发明的虚拟现实型智能家居控制系统在厨房图像中控制卧室中的智能电灯
[0053]用户在厨房图像中控制卧室中的智能电灯步骤如下:
[0054]虚拟现实图像的读取显示:虚拟现实集成功能头盔读取预先储存家居的3维立体图像，并全景显示于头盔中的显示屏。
[0055]厨房的选定:用户在图像中观察四周，同时头盔中的摄像装置记录眼球对应图像坐标，用户注视厨房并微笑(相当于选定该位置)，家居图像立即切换到厨房内的虚拟现实全景图像，并在指令地址前缀定为“KCT’(代表厨房)。
[0056]控制指令的生成:用户进入厨房后，发出“打开卧室中的电灯”的语音指令，语音识另IJ到“卧室”后舍弃在进入厨房后生成的指令地址前缀“KC”，并修改地址前缀为“BR”(代表卧室)，语音识别到“电灯”后将对象前缀定为“lg”(代表电灯)，生成(BR，lg，l)打开卧室电灯的指令。
[0057]指令的执行:智能手机接收到该指令，经识别，切换到智能电灯遥控软件，将卧室中的电灯开关打开。调节成功后，并将打开状态“I”经无线路由器返回给虚拟现实集成功能头盔中的图像编辑模块修改电灯坐标处的亮度。
[0058]实施例三:利用本发明的虚拟现实型智能家居控制系统远程与家人共享电视节目
[0059]本实施例中的智能家居控制系统由虚拟现实集成功能头盔、一台无线路由器和一部装有接收指令及控制家电软件的智能手机组成，分别承担着用户模块、通讯模块和家电控制集成模块的功能。其中智能手机放置于家中，虚拟现实集成功能头盔装有多媒体模块、虚拟现实图像编辑模块、显示屏、摄像头(用于读取眼球对应图像坐标与记录用户表情)、查找对应坐标的设备名称与识别微笑表情的模块、声音采集与识别模块、耳机。与家人共享电视节目步骤如下:
[0060]电视的选定:用户眼球坐标继续在客厅内部图像移动，当落在电视机处并微笑时(电视机被确认为被控设备)，生成指令地址前缀“LR”(代表客厅)，对象前缀“TV”(代表电视)。
[0061 ]控制指令的生成:用户发出“一起看电视”的指令，语音识别到“电视”后显示模块打开虚拟现实集成功能头盔中的多媒体模块，切换为看电视模式，在语音识别到“一起”的同时，代表着将家里电视打开并将频道切换至与用户同步为‘ XX ’的指令以(LR，TV，ch ‘ XX ’)形式经无线路由器远程发送给家中的智能手机。
[0062]指令的执行:家中的智能手机接收到该指令，经识别，切换到智能电视遥控软件，将客厅中的电视开关打开并可以与用户进行同步频道切换。调节成功后，并将频道状态“XX”经无线路由器返回给用户。在同一频道观看时，用户的头像和语音信息可以播报于智能手机上，方便与家人在观看同一节目时进行互动交流。
[0063]本发明不仅局限于上述【具体实施方式】，本领域一般技术人员根据本发明公开的内容，可以采用其它多种具体实施方案实施本发明。因此，凡是采用本发明的设计结构和思路，做一些简单的变化或更改的设计，都落入本发明保护范围。
【主权项】
1.一种虚拟现实型可见即可控智能家居控制系统，其特征在于:该系统包括用户模块、通讯模块和家电控制集成模块； 所述用户模块包括虚拟现实图像编辑模块、显示模块、多媒体模块、用户信息采集模块以及控制处理核心模块;所述虚拟现实图像编辑模块用于家居立体图像构建以及根据实时反馈的家电状态信息更改图像中的家电显示数据;所述显示模块用于显示家居环境的三维虚拟现实图像、播放多媒体内容;所述用户信息采集模块用于采集用户命令信息并传输给控制处理核心模块;所述控制处理核心模块负责分析采集的命令信号生成对应的指令发送给家电控制集成模块； 所述通讯模块用于用户控制指令的传输以及家电信息的反馈； 所述家电控制集成模块用于控制智能家电执行相应的动作以及获取智能家电的工作状况，并将工作状况发送给虚拟现实图像编辑模块； 所述虚拟现实图像编辑模块构建虚拟现实家居图像，通过显示模块进行图像显示，虚拟现实图像编辑模块实时接收家电控制集成模块反馈的家电设备信息，并更新虚拟图像中显示的家电设备数据；用户模块采集用户信息，根据用户选定的房间切换到对应房间的虚拟现实图像，再根据用户选定的房间内的被控家电设备以及用户的命令内容生成命令信息，所述命令信息包括命令地址前缀(房间地址)、对象前缀(家电名称)及命令内容，用户模块将命令信息传输至家电控制集成模块，家电控制集成模块根据命令内容实现对被控设备的正向控制，并实时读取设备的状态信息经通讯模块返回给用户模块，形成闭环系统。2.根据权利要求1所述的虚拟现实型的可见即可控的智能家居控制系统，其特征在于:所述家电控制集成模块为至少一台集成信息接收和遥控功能的终端设备，所述用户模块为至少一台集成3维虚拟现实图像编辑、图像显示、图像坐标定位及控制处理功能的终端设备，所述通讯模块为至少一台具有通信功能的设备。3.根据权利要求1所述的智能家居控制系统，其特征在于:所述用户模块为穿戴式集成智能终端。4.根据权利要求1所述的智能家居控制系统，其特征在于:所述家电控制集成模块选自智能手机、平板电脑、家用电脑、智能遥控器。5.根据权利要求1所述的智能家居控制系统，其特征在于:所述家电控制集成模块的控制对象包括所有能够被无线遥控且能够在遥控端显示工作状态数据的家电设备。6.—种应用权利要求1所述系统的虚拟现实型可见即可控的智能家居控制方法，其特征在于:该包括正向控制方法和状态反馈方法，其中所述的正向控制方法包括如下步骤: (1)预置虚拟现实图像:构建并保存家居环境(含各个房间)的3维立体图像。 (2)家电定位与识别:显示模块对步骤I构建的3维立体图像进行显示，用户信息采集模块通过用户操作选定图像位置，通过该位置的坐标信息匹配用户在该坐标下预定义的内容，如果该内容是一个房间则切换到该房间的虚拟现实图像，并在该房间的图像下进行图像位置坐标选定，如果该内容是家电设备则将所处房间地址信息和设备名称信息发送给用户模块中的控制处理核心模块； (3)控制命令生成:控制处理核心模块根据接收到的房间地址信息和设备名称信息生成指令的地址前缀和对象前缀，再根据用户发出的命令内容组合成地址前缀-对象前缀-命令内容的命令信息发送给家电控制集成模块； (4)命令执行:家电控制集成模块根据接收到的命令信息找到被控家电设备，对被控家电设备进行命令内容对应的操作控制。 所述的状态反馈方法包括如下步骤: (1)工作状况获取:家电控制集成模块获取智能家电工作状况，并将工作状况通过通讯模块发送给用户模块； (2)工作状况显示:用户模块根据接收到的智能家电的工作状况数据，对相应的智能家电虚拟图像的工作状况数据进行更新显示； 所述的正向控制方法和状态反馈方法采用并行方式运行，相互独立，互不影响。7.根据权利要求6所述的智能家居控制方法，其特征在于:所述的正向控制方法的步骤(2)中，所述的家电定位与识别所使用的方法是智能家居图像空间坐标定位识别法，具体实现如下:首先预定义房间和智能家电设备在图像下的空间坐标范围并保存为表的形式，使用时通过用户操作选定图像位置后，用户模块记录该位置的空间坐标，并以查表的方式确定该坐标对应的房间名称和/或智能家电设备名称作为命令的地址前缀和/或对象前缀。8.根据权利要求6或7所述的智能家居控制方法，其特征在于:所述的正向控制方法的步骤(2)中，用户操作的方法为眼动、手动、手势识别、表情识别或脑控。9.根据权利要求6所述的智能家居控制方法，其特征在于:所述的状态反馈方法的步骤(2)中，所述的工作状况显示通过对应图像坐标的显示信息植入方法来实现，即用户模块获得反馈回来的家电工作状况数据后，虚拟现实图像编辑模块把该数据对应的虚拟家电设备图像上的显示处编辑成反馈回来的数据，使虚拟家电设备图像能反映出真实的工作状态。10.根据权利要求6所述的智能家居控制方法，其特征在于:所述的正向控制方法的步骤(3)中，所述的控制命令生成的方法是根据定位识别的信息以及用户发出的命令内容生成包括地址前缀、对象前缀以及命令内容的命令信息;所述命令内容通过用户语音发出，或者用户选择菜单内容发出；其中用户发出的命令内容为第一优先级，即如果用户发出的命令内容包含有地址前缀与对象前缀则舍弃根据定位识别的信息所生成的地址前缀与对象前缀。
【文档编号】G05B15/02GK105955042SQ201610368796
【公开日】2016年9月21日
【申请日】2016年5月27日
【发明人】孟濬, 张德钧
【申请人】浙江大学