控制智能家居系统的方法、装置和计算可读存储介质与流程

本发明涉及计算机技术领域，特别涉及一种控制智能家居系统的方法、装置和计算机可读存储介质。

背景技术：

随着互联网应用的飞速发展，传统的家居设备已经逐渐演进为智能家居设备，进而构成智能家居系统。智能家居系统具备网络接入功能，用户可以将自身携带的终端设备与智能家居系统网络连接，进而由此终端设备控制智能家居系统。

具体而言，终端设备在用户的操控下跳转进入智能家居系统的操控页面，操控页面配置了用于控制智能家居系统的若干个按钮，每一按钮都可用于触使智能家居系统执行相应的控制过程。用户在终端设备的操控页面点击特定按钮即可控制智能家居系统进入相应的状态，智能家居系统得以在终端设备的控制下运转。

但是，用户在操控页面对按钮所触发的点击操作，受限于终端设备以及终端设备和智能家居系统之间存在的诸多不可靠因素，未有效点击到按钮、误触按钮等状况时有发生。此时，如果用户主动查看智能家居系统的运转状况方能够获知智能家居系统的操控执行结果，如果未主动查看智能家居系统的运转状况，则是用户必然是无感知的。

因此，现有的智能家居系统控制的实现由于必须依赖于用户的主动查看，存在着缺乏控制安全性和准确性的技术缺陷。

技术实现要素：

为了解决相关技术中智能家居系统控制的实现存在着缺乏控制安全性和准确性的技术问题，本发明提供了一种控制智能家居系统的方法、装置和计算机可读存储介质。

一种控制智能家居系统的方法，所述方法包括：

向服务器请求用户操控智能家居系统的模型数据；

通过所述模型数据进行渲染获得所述智能家居系统关联的虚拟场景，显示所述虚拟场景；

通过接入的虚拟现实设备执行所述虚拟场景的显示；

控制执行所述用户在所述虚拟场景触发动作的动作视频数据采集，并通过采集的所述动作视频数据触发服务器获得动作信息；

根据所述动作信息与所述智能家居系统之间的关联执行所述虚拟场景中的动作反馈过程，所述智能家居系统受控于所述动作反馈过程。

一种控制智能家居系统的装置，所述装置包括：

数据请求模块，用于向服务器请求用户操控智能家居系统的模型数据；

场景渲染显示模块，用于通过所述模型数据进行渲染获得所述智能家居系统关联的虚拟场景；

投射模块，用于通过接入的虚拟现实设备执行所述虚拟场景的显示；

动作感知模块，用于控制执行所述用户在所述虚拟场景触发动作的动作视频数据采集，并通过采集的所述动作视频数据触发服务器获得动作信息；

动作反馈模块，用于根据所述动作信息与所述智能家居系统之间的关联执行所述虚拟场景中的动作反馈过程，所述智能家居系统受控于所述动作反馈过程。

一种控制智能家居系统的装置，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的控制智能家居系统的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的控制智能家居系统的方法。

本发明的实施例提供的技术方案至少包括以下有益效果：

为进行智能家居系统的控制，首先向服务器请求操控智能家居系统的模型数据，通过模型数据进行渲染获得智能家居系统关联的虚拟场景，然后通过接入的虚拟现实设备执行虚拟场景的显示，以便于将用户投射至此虚拟场景，控制执行用户在虚拟场景触发动作的动作视频数据采集，通过采集的动作视频数据触发服务器获得动作信息，最后根据动作与智能家居系统之间的关联执行虚拟场景中的动作反馈过程，智能家居系统受控于这一动作反馈过程，以此来实现智能家居系统的控制，用户至虚拟场景的投射以及虚拟场景中基于用户触发的动作与智能家居系统之间的关联而执行的动作反馈过程，使得用户能够借助于虚拟现实设备获知智能家居系统的操控被发起之后智能家居系统的被控制情况，不再需要依赖于人为主动进行的查看过程，进而保证了智能家居系统控制的安全性和准确性，避免发生无法及时感知智能家居系统的被控制情况以及智能家居系统控制的不稳定性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并于说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的本发明所涉及的实施环境示意图；

图2是根据一示例性实施例示出的一套智能家居系统的应用示意图

图3是根据一示例性实施例示出的一种装置的框图；

图4是根据一示例性实施例示出的一种控制智能家居系统的方法的流程图；

图5是根据图4对应实施例示出的对步骤310的细节进行描述的流程图；

图6是根据图4对应实施例示出的对步骤370的细节进行描述的流程图；

图7是根据图4对应实施例示出的对步骤390的细节进行描述的流程图；

图8是根据另一示例性实施例示出的一种控制智能家居系统的方法的流程图；

图9是根据一示例性实施例示出的服务器中实时生成模型数据的流程图；

图10是根据一示例性实施例示出的一种控制智能家居系统的装置的框图；

图11是根据图10对应实施例示出的对数据请求模块的细节进行描述的框图；

图12是根据图10对应实施例示出的对动作感知模块的细节进行描述的框图；

图13是根据图10对应实施例示出的对动作反馈模块的细节进行描述的框图；

图14是根据另一示例性实施例示出的一种控制智能家居系统的装置的框图.

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的本发明所涉及的实施环境示意图。在一个示例性实施例中，本发明所涉及的实施环境，如图1所示，至少包括智能家居系统的控制端110以及配合控制端110实现智能家居系统控制的服务器130。

智能家居系统的控制端110，包括终端设备111、虚拟现实设备113以及图像采集设备115。

智能家居系统的控制端110，为用户提供智能家居系统的控制入口，用户将在此控制端110进行智能家居系统控制所相关的各种操作，并且随之获得相应反馈。

服务器130用于为控制端110提供计算能力，进而配合控制端110进行智能家居系统的控制。

具体而言，如图1所示出的实施环境，此实施环境中智能家居系统的控制端110中，终端设备111可以是智能手机、平板电脑等便携移动终端。终端设备111作为控制端110的控制中心，并与服务器130进行数据交互。虚拟现实设备113，则用于进行智能家居系统的控制中立体效果的实现，即为智能家居系统的控制实现立体的视觉效果和立体的反馈效果。

可以理解，虚拟现实设备113，包括了虚拟现实显示设备113，虚拟现实设备113用于与终端设备111建立网络连接，通过自身与终端设备111之间的交互，实现所接入智能家居系统控制的立体效果以及基于立体效果的反馈。

因此，除此之外，虚拟现实设备113根据配置上的需要，还可以包括各种用于实现各种操控的控制器，由此，将使得用户操控动作的触发可以不限于终端设备111。

图像采集设备115进行图像采集，一方面为智能家居系统中虚拟场景的配置预先实现图像数据采集，另一方面，也将为用户操控动作的全面准确感知提供硬件基础和保障。

图2是根据一示例性实施例示出的一套智能家居系统的应用示意图。如图2所示的，可以直观的获知，智能家居系统包括了灯光窗帘、中央空调、可视对讲、安防监控、中央供暖、实现背景音乐和智能影音的音箱系统、实现中央换新风的设备以及其它的智能家电。但是，根据用户侧的需求，智能家居系统所涵盖的设备，并非是固定的，而是灵活配置得到的。

图3是根据一示例性实施例示出的一种装置的框图。例如，装置200是图1所示实施环境中的终端设备111。

参照图2，装置200包括至少一个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件202包括至少一个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件202包括至少一个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202至少包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(staticrandomaccessmemory，简称sram)，电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory，简称eeprom)，可擦除可编程只读存储器(erasableprogrammablereadonlymemory，简称eprom)，可编程只读存储器(programmablered-onlymemory，简称prom)，只读存储器(read-onlymemory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器218执行，以完成下述图3、图4、图5和图6任一所示方法中的全部或者部分步骤。

电源组件206为装置200的各种组件提供电力。电源组件206包括电源管理系统，至少一个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(liquidcrystaldisplay，简称lcd)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括至少一个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还包括有机电致发光显示器(organiclightemittingdisplay，简称oled)。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(microphone，简称mic)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式等时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

传感器组件214包括至少一个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，传感器组件214还可以检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中，该传感器组件214还包括磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如wifi(wireless-fidelity，无线保真)。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(nearfieldcommunication，简称nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(radiofrequencyidentification，简称rfid)技术，红外数据协会(infrareddataassociation，简称irda)技术，超宽带(ultrawideband，简称uwb)技术，蓝牙技术和其他技术来实现。

在示例性实施例中，装置200被至少一个应用专用集成电路(applicationspecificintegratedcircuit，简称asic)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。

图4是根据一示例性实施例示出的一种控制智能家居系统的方法的流程图。该控制智能家居系统的方法适用于图1所示实施环境的终端设备，该终端设备在一个示例性实施例中可以是图3所示的装置。如图4所示，该控制智能家居系统的方法，由终端设备执行，包括如下步骤。

在步骤310中，向服务器请求用户操控智能家居系统的模型数据。

其中，智能家居系统被部署于住宅等房屋中。例如，部署于家庭住宅的多个智能家居设备便构成了智能家居系统，而部署于公共场所的诸多智能家居设备也能够构成智能家居系统。应当说明，此智能家居系统可以被部署于任意房屋，但必定是用户当前所请求控制的智能家居系统。

每一套智能家居系统都有其模型数据，此模型数据被存储于服务器中，在需要时，终端设备可向服务器请求获取此模型数据。模型数据用于为智能家居系统的操控提供虚拟场景，将此虚拟场景以图像画面的形式进行显示。在一个示例性实施例的具体实现中，模型数据是三维模型数据，通过三维模型数据来为用户对智能家居系统的操控配置三维虚拟场景。

在需要对智能家居系统进行控制时，用户可通过自身携带的终端设备向服务器请求此智能家居系统对应的模型数据，终端设备通过与服务器的交互而获得所请求的模型数据。

在步骤330中，通过模型数据进行渲染获得智能家居系统关联的虚拟场景。

其中，虚拟场景是实现智能家居系统控制的图像画面。模型数据实质上是图像画面的描述数据，因此，终端设备在向服务器获得模型数据之后，即可经由模型数据进行渲染，以获得与此模型数据相符的图像画面，即智能家居系统关联的虚拟场景，进而将渲染所获得的虚拟场景交由虚拟现实设备进行显示。。

终端设备在渲染得到与智能家居系统关联的虚拟场景之后，将交由虚拟现实设备进行此虚拟场景的显示，此时，便为用户提供了可实现智能家居系统控制的画面，对于智能家居系统的控制而言，直观并且能够使得交互性能得到增强。

在此应当补充说明的是，智能家居系统与虚拟场景之间的关联，一方面是指基于用户的关联，智能家居系统通过用户所对应的虚拟场景，另一方面也是指渲染显示的虚拟场景是用于实现用户当前所使用智能家居系统的控制。

在步骤350中，通过接入的虚拟现实设备执行虚拟场景的显示。

其中，虚拟现实设备用于与终端设备相配合而为用户实现虚拟现实显示。例如，虚拟现实设备即为vr眼镜。如前所述的，终端设备进行着虚拟场景的显示，此时，在虚拟现实设备的介入下，执行用户至虚拟场景的投射，以便使得用户沉浸于虚拟场景。

虚拟现实设备将用户对外界的视觉和听觉封装，引导用户产生一种身在虚拟场景的感觉，虚拟场景对于用户而言，是立体呈现的图像画面。

应当理解，用户至虚拟场景的投射是穿戴了虚拟现实设备的用户查看显示的虚拟场景而实现的，从而获得浸没感以及多感知性，例如，听觉感知、触觉感知等。

在步骤370中，控制执行用户在虚拟场景触发动作的动作视频数据采集，并通过采集的动作视频数据触发服务器获得动作信息。

其中，部署智能家居系统的房屋装设了图像采集设备，并且用户也正处于此房屋中。终端设备将控制接入的图像采集设备进行动作视频数据的采集，也就是说，用户所发生的动作变化都将被图像采集设备捕获。

采集的动作视频数据被上传至服务器，在服务器的作用下对此动作视频数据进行实时计算生成动作信息，并向终端设备返回，由此即可使得终端设备能够感知用户的动作，进而依据此动作来进行虚拟场景中的动作反馈，以及智能家居系统的控制。

通过服务器的实时计算而生成的动作信息用于指示用户在虚拟场景中触发的动作。进一步的，动作信息还包括描述用户在虚拟场景所触发动作的动画信息，该动画信息用于跟踪呈现用户在虚拟场景触发的动作。也就是说，动画信息实质上是用户动作进行过程与虚拟场景的融合。

由于动作信息的产生，一方面需要对所采集动作视频数据进行实时计算，另一方面需要生成相应的动画，并与虚拟场景相融合，时间性能以及计算的复杂度都比较高，需要非常强的实时计算能力，因此将借助于服务器实现。

在步骤390中，根据动作信息与智能家居系统之间的关联执行虚拟场景中的动作反馈过程，智能家居系统受控于动作反馈过程。

其中，如前所述的，动作信息指示了用户在虚拟场景触发的动作。可以理解，被投射至虚拟场景的用户，即沉浸于虚拟场景的用户不可能是静止不动的，会进行一些有意识的动作和无意识的动作。例如，有意识的动作包括对智能家居系统的操控动作，以及在虚拟场景中的各种交互动作等。

动作信息与智能家居系统之间的关联是指动作信息所指示的动作与智能家居系统之间的相关性。此相关性用于反映动作信息所指示的动作与智能家居系统是否相关。如果动作信息所指示的动作是操控动作，则是与智能家居系统相关的；如果动作信息所指示的动作是其它动作，则与智能家居系统不相关。

虚拟场景中的动作反馈过程一方面是由动作信息而实现的用户动作跟踪呈现过程，另一方面则是根据动作信息所指示动作与智能家居系统之间的关联性而执行的智能家居系统操控反馈。

所执行的智能家居系统操控反馈至少包括动作所相关的用户在虚拟场景执行操作正确或者错误的画面显示。在动作为操控动作时，进行用户在虚拟场景执行操作正确的画面显示，反之，则在动作为其它动作，例如，与智能家居系统并不相关的动作，将会进行用户在虚拟场景执行操作错误的画面显示。

因此，所执行的虚拟场景中的动作反馈过程是图像画面的显示过程。随着用户在虚拟场景中动作的触发，在服务器的辅助下相应执行虚拟场景中的动作反馈过程。

智能家居系统是受控于动作反馈过程的，随着动作反馈过程的执行，在进行用户在虚拟场景执行操作正确的画面显示时，根据动作信息指示的动作生成操控信号，传递该操控信号传送至智能家居系统即可使得智能家居系统进行相应的运转状态。

至此便基于虚拟场景实现了智能家居系统的控制，一方面，由于在此虚拟场景实现的动作感知，即动作视频数据的采集是针对于用户在虚拟场景中的所有动作进行的，因此，不再由于终端设备的诸多限制，例如，屏幕尺寸，而出现未感知到的情况，进而保证了智能家居系统中控制的准确性。

另一方面，确定了用户在虚拟场景触发的动作之后，进行了虚拟场景中的动作反馈，并且智能家居系统是受控于此动作反馈过程的，从而能够使得用户通过此动作反馈过程而获知智能家居系统的被控制情况，得以保证智能家居系统控制的安全性。

图5是根据图4对应实施例示出的对步骤310的细节进行描述的流程图。该步骤310，如图5所示，至少包括以下步骤。

在步骤311中，根据用户登录的标识信息向服务器发起智能家居系统操控请求。

其中，如前所述的，智能家居系统的控制是由终端设备通过接入虚拟现实设备和图像采集设备而实现的。终端设备中运行着相应的应用程序，以执行本发明所述的步骤。用户通过其标识信息而在应用程序执行登录过程，完成登录之后方可进行智能家居系统的控制。

标识信息用于唯一标示用户所操控的智能家居系统。终端设备所运行的应用程序在完成登录过程之后，即可由所登录的标识信息发起智能家居系统操控请求。智能家居系统操控请求携带有用户登录的标识信息，在用户需要控制智能家居系统进入某一运转状态时，由终端设备所运行的应用程序向服务器发起智能家居系统操控请求。

由前述描述可以知道，智能家居系统的操控是在虚拟场景中进行的，因此对于未处于智能家居系统操控状态的用户而言，通过智能家居系统操控请求的发起而获得用于实现虚拟场景的模型数据。

在步骤313中，接收服务器响应智能家居系统操控请求而返回的模型数据，模型数据是预先通过智能家居系统所在真实场景构建得到且对应于智能家居系统操控请求中的标识信息。

其中，服务器在接收到用户的智能家居系统操控请求之后，提取智能家居系统中携带的标识信息，根据标识信息进行模型数据的查找，以获得能够向终端设备返回的模型数据。

服务器以标识信息为索引进行模型数据的存储。也就是说，预先对部署了智能家居系统的房屋进行图像数据采集，进而将此图像数据上传至服务器，以便于服务器能够预先为智能家居系统生成模型数据，并存储。

所指的智能家居系统所在真实场景，即为部署智能家居系统的房屋。基于真实场景而实现的模型数据构建，为用户实现了与真实场景相符的虚拟场景，并且在后续动作反馈过程的执行中，使得与用户动作相关的图像画面显示也在这一与真实场景相符的虚拟场景进行，极大的增强了智能家居系统控制的沉浸感和真实性，从而能够提高智能家居系统控制的易用性，降低了自由操控智能家居系统的门槛。

在一个示例性实施例中，该步骤330，至少包括以下步骤。

对模型数据进行图像画面渲染，构建模型数据的场景被叠加至图像画面获得智能家居系统关联的虚拟场景。

其中，如前所述的，模型数据是对应于智能家居系统的，模型数据为此智能家居系统提供实现了可对其中智能家居设备实现控制的虚拟场景。此虚拟场景以图像画面的形式显示，而显示的内容，即由模型数据提供。

由于模型数据是预先基于一场景而构建得到的，因此，模型数据所实现的图像画面内容显示则必将与此场景相关。在一个示例性实施例中，此场景可以是预先配置的通用场景，即可以适用于所有智能家居系统控制的某一预设场景，以降低计算压力和减少占用的服务器资源，但也可以是如图4对应实施例所述的真实场景，还可以是用户预先选取的某一场景等。

图像画面渲染是一个从场景模型即模型数据，到显示图像的处理过程。通过图像画面渲染的执行，使得在此之前用于构建模型数据的场景被叠加至图像画面中，获得了由此场景以及其它用于实现智能家居系统控制的元素形成的虚拟场景。

模型数据是对应智能家居系统的，因此，所对应的智能家居系统与渲染得到的虚拟场景关联，即此虚拟场景将用于实现所关联智能家居系统的控制。

在终端设备的作用下，完成了虚拟场景的渲染，以使得渲染所得到的虚拟场景能够由接入的虚拟现实设备实现显示，在虚拟现实设备的作用下将用户投射至虚拟场景中，对于穿戴着虚拟现实设备的用户而言，便可以在虚拟现实设备的介入下获得立体的显示效果，达到将自身投射至虚拟场景的目的。

图6是根据图4对应实施例示出的对步骤370的细节进行描述的流程图。该步骤370，如图6所示，至少包括以下步骤。

在步骤371中，控制接入的图像采集设备对用户进行动作视频数据采集，上传动作视频数据至服务器。

其中，用户侧为实现智能家居系统的控制，接入了图像采集设备。图像采集设备可以是摄像头等用于捕获实景的设备。已被投射至虚拟场景的用户将会触发一定的动作，通过所触发的动作来控制智能家居系统，因此，需要接入图像采集设备而实现用户动作的感知。

图像采集设备持续进行着动作视频数据的采集，动作视频数据描述了用户被投射至虚拟场景之后所发生的所有动作，包括前述所指的各种有意识动作和无意识动作。

随着动作视频数据的采集，被采集到的动作视频数据将与用户所登录的标识信息一并上传至服务器，进而触发服务器为此用户进行动作视频数据的实时计算，以根据计算结果生成动作信息。

在实现了虚拟场景之后，通过图像采集设备随之实现了用户在虚拟场景的动作采集，由于图像采集设备是持续进行的，因此，能够避免了动作感知的不准确性，保证后续所实现智能家居系统控制的准确性。

在步骤373中，通过服务器对动作视频数据的实时计算和计算结果的返回获得用户在虚拟场景触发产生的动作信息。

其中，服务器对动作视频数据执行的实时计算过程，用于识别用户所触发的动作，进而获得指示了用户所触发动作的计算结果。因此，可以由计算结果而生成用户在虚拟场景触发产生的动作信息。

在一个示例性实施例中，动作信息用于指示用户所触发的动作，因此，可以直接将计算结果置为动作信息，以向终端设备返回。

在另一个示例性实施例中，动作信息还包括用户在虚拟场景所触发动作的动画信息。动画信息用于对用户在虚拟场景触发的动作进行跟踪显示。例如，被投射至虚拟场景的用户触发的动作是抓取虚拟环境中的虚拟物体时，通过动画信息来跟踪显示此过程，这时，通过触觉反馈以及视觉反馈实现，具体而言，是使得用户有手握着物体的感觉，并且在视野，即虚拟场景中，被抓住的虚拟物体也能立刻随着手的移动而移动，这一过程便通过动画信息所提供图像画面的播放实现。

在此，可以知道，动画信息的生成，一方面需要根据动作视频数据实现动作的跟踪识别，另一方面则需要将跟踪识别到的动作变化过程与虚拟场景相融合，形成了视觉上的图像画面反馈。动画信息的生成需要获得非常高的时效性，以及计算的准确性。

因此，将此动作视频数据上传至服务器之后，便借助于服务器的计算资源以及实时计算能力为用户侧生成动作信息，向终端设备实时输出可交互的图像画面。

通过此过程，将提高了智能家居系统控制的交互性能，在借助服务器来保证实时性的情况下，使得被投射至虚拟场景的用户对虚拟场景内的虚拟物体具备非常高的可操作程度，进而能够对用户所进行的智能家居系统的操控过程以及操控之后智能家居系统的被控制情况进行及时有效的反馈，能够保证智能家居系统控制的安全性。

图7是根据图4对应实施例示出的对步骤390的细节进行描述的流程图。该步骤390，如图7所示，至少包括以下步骤。

在步骤391中，判断动作信息所指示的动作是否为智能家居系统中设定的操控动作，如果为是，则执行步骤393，如果为否，则执行步骤395。

其中，预先为所部署的智能家居系统中各种控制过程的实现设定了操控动作，每一控制过程都有对应设定的操控动作。对于用户而言，只需要触发了操控动作即可使得智能家居系统执行的控制过程。

如前所述的，被投射至虚拟场景的用户往往在虚拟场景触发了各种动作，例如，各种有意识或者无意识的动作。动作信息指示了一系列动作，即根据时间先后顺序而形成的动作序列。与之相对应的，动作信息指示了多个动作，需要从中识别出智能家居系统的操控动作。

在步骤393中，在虚拟场景执行操作正确的画面显示，该动作用于生成智能家居系统的操控信号。

其中，如果判断到动作信息所指示的动作是智能家居系统中设定的操控动作，则说明被投射至虚拟场景的用户，在虚拟场景执行了正确的操作，因此，一方面对操作的正确性进行反馈，另一方面也将相应根据此动作而生成操控信号，操控信号生成后传送至智能家居系统。

在步骤395中，在虚拟场景执行操作错误的画面显示。

其中，如果判断到动作信息所指示的动作均不是智能家居系统所指示的操控动作，则说明用户在虚拟场景中并未触发任何用以操控智能家居设备的动作，此时只需要在虚拟场景为用户执行操作错误的画面显示即可，而并不需要响应用户的动作进行智能家居系统的控制。

通过上述示例性实施例，实现了用户在虚拟场景中动作的反馈，从而为用户提供体验良好的用户操作过程。

除此之外，在动作信息还包含了动画信息的情况下，除了进行操作是否正确的反馈之外，例如，在进行操作是否正确的反馈之前，执行动画信息所描绘图像画面的显示，以对用户即时触发的动作实现跟踪显示，可以理解，所显示的图像画面实质上图像采集设备所实时采集和传输的动作视频数据与原有虚拟场景所对应图像画面的拼接，以此来达到虚拟场景中动作跟踪显示的目的。

图8是根据另一示例性实施例示出的一种控制智能家居系统的方法的流程图。该控制智能家居系统的方法，在步骤310之前，如图8所示，还包括以下步骤。

在步骤410中，在智能家居系统被部署的真实场景，通过接入的图像采集设备获得真实场景图像数据。

其中，对于部署的智能家居系统而言，为实现用户对此智能家居系统的控制，需要预先对部署了智能家居系统的房屋进行图像数据采集，即执行智能家居系统被部署的真实场景所对应真实场景图像数据的采集。可以理解，部署了智能家居系统的房屋可以是住宅、酒店等。

接入的图像采集设备，安装于房屋中的指定位置，例如，角落的位置，门后、墙上等。

终端设备通过接入的图像采集设备获得真实场景图像数据，进而根据真实场景图像数据请求服务器为此智能家居系统执行预配置的过程，以通过预配置过程的执行使得用户对此智能家居系统的操控能够进行。

可以理解的，根据真实图像数据而请求服务器执行的预配置过程，实质是对真实场景图像数据进行动态建模并最终智能家居系统对应的模型数据的过程。

在一个示例性实施例中，图像采集设备可以对所在房屋进行实景的视频或全景拍摄，以输出对应于全景视频或全景图的真实场景图像数据，进而通过服务器的计算能力而实时输出可交互的增强现实内容，即模型数据。

在步骤430中，根据用户登录的标识信息向服务器上传真实场景图像数据，通过真实场景图像数据的上传触发服务器根据真实场景图像数据进行动态建模生成模型数据，模型数据被服务器以标识信息为索引存储。

其中，应当说明的是，用户登录的标识信息是对应于智能家居系统的。终端设备在由接入的图像采集设备获得真实场景图像数据之后，为此标识信息进行真实场景图像数据的上传，在此，实质上是为所对应的智能家居系统执行真实场景图像数据的上传，以便于获得对应于智能家居系统的模型数据。

服务器在接收到上传的真实场景图像数据之后执行动态建模。真实场景图像数据是通过图像采集设备而获得与智能家居系统所部署房屋相关的各种三维信息。

在一个示例性实施例的具体实现中，所执行的动态建模过程，至少包括构建实体几何、nurbs(non-uniformrationalb-splines，非均匀有理b样条)建模、多边形建模、细分曲面和隐函数曲面等过程。在需要的时候，动态建模过程还包括编辑物体表面或材料性质(例如，颜色，荧光度，漫射和镜面反射分量—粗糙度和光洁度，反射特性，透明度或不透明度，或者折射指数)，增加纹理、凹凸映射和其它特征的过程。

通过动态建模过程的执行，完成了建模、场景布局和绘制图像画面三个阶段，进而获得模型数据，最终以标识信息为索引存储于服务器中。

在一个示例性实施例的具体实现中，服务器所实现的模型数据存储，是通过配置的mysql数据库实现的。

进一步的，图9是根据一示例性实施例示出的服务器中实时生成三维模型数据的流程图。服务器是通过与终端设备的交互而获得真实场景图像数据的。如图9所示，在图像采集设备的介入下，终端设备实现真实场景图像数据采集，将将此真实场景图像数据上传至服务器，即如步骤510所实现的过程。

服务器接收到真实场景图像数据之后，执行数据分组过程，在此数据分组过程的执行中，首先应当对终端设备所对应的用户进行权限验证，如步骤610所描述的，服务器随着自身与终端设备之间的数据交互，还获得了终端设备中用户所登录的标识信息，对此标识信息进行权限验证，在通过权限验证之后，执行步骤620，按照不同的视觉角度对真实场景图像数据分组，以获得按照视觉角度归类的真实图像数据。

对每一视觉角度归类的真实图像数据创建时间轴，如步骤630，以获得适配于此视觉角度的时间轴，由此，多个视觉角度的真实图像数据和相适配的时间轴即可形成模型数据。

以标识信息为索引将此模型数据入库存储，即如步骤640所示。

至此即实现了用户所控制的智能家居系统所对应模型数据在服务器的预先存储。一旦用户通过终端设备向服务器发起请求，终端设备即可通过存储的模型数据实时渲染图形，并经由网络传输而向终端设备返回图像画面，进而在所接入虚拟现实设备的作用下实现虚拟场景的显示，如步骤650至步骤670所描述的。

与之相对应的，为用户所构建的虚拟场景中，在感知到用户的动作之后，服务器执行步骤690，通过自身的实现计算能力和网络传输性能实现动作反馈。

在一个示例性实施例中，服务器与终端设备之间网络传输的实现，可以依赖于配置的sibeamsnap技术，以保证智能家居系统中增强现实的实现不会由于网络传输速率不匹配而造成画质及画面的流畅度无法满足观看要求的情况。

通过本发明所实现的示例性实施例，使得智能家居系统控制的实现被融合于虚拟现实技术中，改变了用户与智能家居系统之间枯燥、生硬和被动的现状，并且通过跟踪用户的头、手和身躯感知用户的动作，并且通过触觉、音频以及图像显示上的反馈来增强交互性能，用户发起智能家居系统控制的准确性和安全性获得全面提高。

通过本发明所实现的示例性实施例，用户通过带上虚拟现实设备，例如vr眼镜，看到服务器传输的图形，进而将自身置于一虚拟场景，在此虚拟场景中通过动作来操作比如洗衣机、空调、电饭煲等开关的内容，这样即可保证操作的正确性和安全性，用户对智能家居系统的操作更具备增强感。

在本发明所实现的示例性实施例中，通过虚拟现实设备的采用，使得用户对智能家居系统的控制能够融入虚拟现实技术，一方面实现了用户对智能家居系统操控和获得反馈的沉浸式体验，另一方面也直接提升了智能家居系统在控制上的有效性和准确性，保证了用户操控的及时响应。

下述为本发明装置实施例，可以用于执行本发明上述控制智能家居系统的方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明控制智能家居系统的方法实施例。

图10是根据一示例性实施例示出的一种控制智能家居系统的装置的框图。该控制智能家居系统的装置，如图10所示，包括但不限于：数据请求模块810、场景渲染显示模块830、投射模块850、动作感知模块870和动作反馈模块890。

数据请求模块810，用于向服务器请求用户操控智能家居系统的模型数据。

场景渲染模块830，用于通过模型数据进行渲染获得智能家居系统关联的虚拟场景。

显示模块850，用于通过接入的虚拟现实设备执行虚拟场景的显示。

动作感知模块870，用于控制执行用户在虚拟场景触发动作的动作视频数据采集，并通过采集的动作视频数据触发服务器获得动作信息。

动作反馈模块890，用于根据动作信息与智能家居系统之间的关联执行虚拟场景中的动作反馈过程，智能家居系统受控于动作反馈过程。

图11是根据图10对应实施例示出的对数据请求模块的细节进行描述的框图。该数据请求模块810，如图11所示，包括但不限于：请求发起单元811和数据接收单元813。

请求发起单元811，用于根据用户登录的标识信息向服务器发起智能家居系统操控请求。

数据接收单元813，用于接收服务器响应智能家居系统操控请求而返回的模型数据，模型数据是预先通过智能家居系统所在真实场景构建得到且对应于智能家居系统操控请求中的标识信息。

在一个示例性实施例中，场景渲染模块830进一步用于由模型数据进行图像画面渲染，构建模型数据的场景被叠加至图像画面获得智能家居系统关联的虚拟场景。

图12是根据图10对应实施例示出的对动作感知模块的细节进行描述的框图。该动作感知模块870，如图12所示，包括但不限于：数据控制单元871和动作信息接收单元873。

数据控制单元871，用于控制接入的图像采集设备对用户进行动作视频数据采集，上传动作视频数据至服务器。

动作信息接收单元873，用于通过服务器对动作视频数据的实时计算和计算结果的返回获得用户在所述虚拟场景触发产生的动作信息。

图13是根据图10对应实施例示出的对动作反馈模块的细节进行描述的框图。该动作反馈模块890，如图13所示，包括但不限于：判断单元891、正确操作反馈单元893和错误操作反馈单元895。

判断单元891，用于判断动作信息所指示的动作是否为智能家居系统中设定的操控动作，如果为是，则触发正确操作反馈单元893，如果为否，则触发错误操作反馈单元895。

正确操作反馈单元893，用于在所虚拟场景执行操作正确的画面显示，动作用于生成智能家居系统的操控信号。

错误操作反馈单元895，用于如果动作信息指示的所有动作均不是智能家居系统中设定的操控动作，则在虚拟场景执行操作错误的画面显示。

图14是根据另一示例性实施例示出的一种控制智能家居系统的装置的框图。该控制智能家居系统的装置，如图14所示，还包括但不限于：数据预采集模块910和场景请求配置模块930。

数据预采集模块910，用于在智能家居系统被部署的真实场景，通过接入的图像采集设备获得真实场景图像数据；

场景请求配置模块930，用于根据用户登录的标识信息向服务器上传真实场景图像数据，通过真实场景图像数据的上传触发服务器根据真实场景图像数据进行动态建模生成模型数据，模型数据被服务器以标识信息为索引存储。

可选的，本发明还提供一种控制智能家居系统的装置，执行图4、图5图6、图7和图8任一所示的控制智能家居系统的方法的全部或者部分步骤。所述装置包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行：

向服务器请求用户操控智能家居系统的模型数据；

通过所述模型数据进行渲染获得所述智能家居系统关联的虚拟场景；

通过接入的虚拟现实设备执行所述虚拟场景的显示；

控制执行所述用户在所述虚拟场景触发动作的动作视频数据采集，并通过采集的所述动作视频数据触发服务器获得动作信息；

根据所述动作信息与所述智能家居系统之间的关联执行所述虚拟场景中的动作反馈过程，所述智能家居系统受控于所述动作反馈过程。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器204，上述指令可由装置200的处理器218执行以完成上述控制智能家居系统的方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围内执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。