智能设备控制方法及装置与流程

本公开涉及计算机技术领域，尤其涉及一种智能设备控制方法及装置。

背景技术：

随着虚拟现实技术(virtualreality，简称vr技术)的发展，各种vr头盔、vr眼镜快速涌现出来，并被消费者接纳。在用户头戴vr眼镜观看电影或玩游戏的情况下，若想控制智能家居中的各智能设备，需要摘掉vr眼镜才能进行智能设备的控制，影响用户体验。

技术实现要素：

为克服相关技术中存在的问题，本公开提供一种智能设备控制方法及装置。

根据本公开实施例的第一方面，提供一种智能设备控制方法，包括：

在终端设备的vr实景模式被触发的情况下，启动摄像装置，并显示所述摄像装置的取景画面；在确认控件被触发的情况下，获取与取景画面相对应的第一图片，并在所述第一图片中标记光标所在的第一位置；基于所述第一图片以及所述第一位置，确定第一智能设备；显示所述第一智能设备可执行的操作；控制所述第一智能设备执行用户选择的操作。

在一种可能的实现方式中，基于所述第一图片以及所述第一位置，确定第一智能设备，包括：

确定所述第一图片中与所述第一位置对应的待识别设备；将设备库中与所述待识别设备匹配的可控智能设备确定为所述第一智能设备。

在一种可能的实现方式中，将设备库中与所述待识别设备匹配的可控智能设备确定为所述第一智能设备，包括：

在与所述待识别设备匹配的可控智能设备为多个的情况下，显示待选择的可控智能设备；将用户选中的可控智能设备确定为所述第一智能设备。

在一种可能的实现方式中，所述设备库用于存储所述可控智能设备的基本信息，所述基本信息包括以下至少一种：

所述可控智能设备的名称、外观图片、可执行的操作和所述可控智能设备的空间位置。

在一种可能的实现方式中，所述显示待选择的可控智能设备，包括：

显示待选择的可控智能设备的名称和/或空间位置。

在一种可能的实现方式中，将设备库中与所述待识别设备匹配的可控智能设备确定为所述第一智能设备，包括：

采用图像识别技术对所述设备库中存储的所述外观图片进行识别，将与所述待识别设备匹配的可控智能设备确定为所述第一智能设备。

根据本公开实施例的第二方面，提供一种智能设备控制装置，包括：

模式切换模块，用于在终端设备的vr实景模式被触发的情况下，启动摄像装置，并显示所述摄像装置的取景画面；

图片确定模块，用于在确认控件被触发的情况下，获取与取景画面相对应的第一图片，并在所述第一图片中标记光标所在的第一位置；

设备确定模块，用于基于所述第一图片以及所述第一位置，确定第一智能设备；

操作显示模块，用于显示所述第一智能设备可执行的操作；

设备控制模块，用于控制所述第一智能设备执行用户选择的操作。

在一种可能的实现方式中，所述设备确定模块包括：

第一设备确定子模块，用于确定所述第一图片中与所述第一位置对应的待识别设备；

第二设备确定子模块，用于将设备库中与所述待识别设备匹配的可控智能设备确定为所述第一智能设备。

在一种可能的实现方式中，所述第二设备确定子模块包括：

第一确定子模块，用于在与所述待识别设备匹配的可控智能设备为多个的情况下，显示待选择的可控智能设备；

第二确定子模块，用于将用户选中的可控智能设备确定为所述第一智能设备。

在一种可能的实现方式中，所述设备库用于存储所述可控智能设备的基本信息，所述基本信息包括以下至少一种：

所述可控智能设备的名称、外观图片、可执行的操作和所述可控智能设备的空间位置。

在一种可能的实现方式中，所述第一确定子模块包括：

设备显示子模块，用于显示待选择的可控智能设备的名称和/或空间位置。

在一种可能的实现方式中，所述第二设备确定子模块包括：

设备识别子模块，用于采用图像识别技术对所述设备库中存储的所述外观图片进行识别，将与所述待识别设备匹配的可控智能设备确定为所述第一智能设备。

根据本公开实施例的第三方面，提供一种智能设备控制装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：在终端设备的vr实景模式被触发的情况下，启动摄像装置，并显示所述摄像装置的取景画面；在确认控件被触发的情况下，获取与取景画面相对应的第一图片，并在所述第一图片中标记光标所在的第一位置；基于所述第一图片以及所述第一位置，确定第一智能设备；显示所述第一智能设备可执行的操作；控制所述第一智能设备执行用户选择的操作。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种移动终端的数据传输方法，所述方法包括：在终端设备的vr实景模式被触发的情况下，启动摄像装置，并显示所述摄像装置的取景画面；在确认控件被触发的情况下，获取与取景画面相对应的第一图片，并在所述第一图片中标记光标所在的第一位置；基于所述第一图片以及所述第一位置，确定第一智能设备；显示所述第一智能设备可执行的操作；控制所述第一智能设备执行用户选择的操作。

本公开的实施例提供的技术方案可以包括以下有益效果：使得用户在使用vr头显进行视频观看或玩游戏时，在不摘下vr头显的情况下，即可实现对可控智能设备的控制，操作流程简单、便捷，提升用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种智能设备控制方法的流程图；

图2是根据一示例性实施例示出的按钮及光标显示的应用场景的示意图；

图3是根据一示例性实施例示出的获取第一图片的示意图；

图4是根据一示例性实施例一个示例示出的智能设备控制方法步骤s13的流程图；

图5是根据一示例性实施例一个示例示出的智能设备控制方法步骤s132的流程图；

图6是根据一示例性实施例示出的一种智能设备控制装置的框图；

图7是根据一示例性实施例的一个示例示出的一种智能设备控制装置的框图；

图8是根据一示例性实施例示出的一种智能设备控制装置的框图；

图9是根据一示例性实施例示出的一种智能设备控制装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种智能设备控制方法的流程图，如图1所示，该方法可以包括以下步骤s11至步骤s15。

在步骤s11中，在终端设备的vr实景模式被触发的情况下，启动摄像装置，并显示摄像装置的取景画面。

作为本实施例的一个示例，终端设备可以为用户提供vr常规模式和vr实景模式两种工作模式，并在显示界面中显示对应两种工作模式的按钮，以供用户点击按钮切换不同的工作模式。其中，vr头显可以是vr头戴式显示设备，例如，vr眼镜或vr头盔等。在终端设备的vr虚拟现实模式被触发的情况下，例如，检测到vr虚拟现实模式按钮被点击，进入vr虚拟现实模式，使用户可以通过vr头显观看视频、玩游戏等。在终端设备的vr实景模式被触发的情况下，例如，检测到vr实景模式按钮被点击，进入vr实景模式，使用户可以观看终端设备的摄像装置的取景画面。

图2是根据一示例性实施例示出的按钮及光标显示的应用场景的示意图，如图2所示，光标1可以在显示界面中移动。其中，光标、vr常规模式的按钮和vr实景模式的按钮可以根据用户的需求设置不同的透明度，例如，透明度为50％，使其不遮挡界面中的显示内容，保证用户的更观看体验。

作为本实施例的一个示例，可以通过识别光标在显示界面中的位置和停留时间确定其所触发的工作模式。在光标在vr虚拟现实模式按钮或vr实景模式按钮所在位置停留时间大于或等于阈值时间的情况下，确定vr虚拟现实模式或vr实景模式被触发。其中，阈值时间可以为1秒，在此不作限定。用户可以通过旋转头部移动vr头显的显示界面中的光标。这样，通过vr头显进行取景画面的播放，使用户在不摘下vr头显的情况下，也可以观看所处环境的实景。摄像装置可以是vr头显上的摄像头，还可以是安装在vr头显上的手机等终端设备的摄像头，在此不作限定。

作为本实施例的一个示例，还可以通过例如手柄等光标控制装置移动光标，并通过光标控制装置控制光标点击显示界面中的按钮等控件。

在步骤s12中，在确认控件被触发的情况下，获取与取景画面相对应的第一图片，并在第一图片中标记光标所在的第一位置。

作为本实施例的一个示例，在确认控件被触发的情况下，可以拍摄或截取当前时刻取景画面，获取第一图片；并识别光标在vr头显的显示界面中的位置，确定光标在第一图片中的第一位置。图3是根据一示例性实施例示出的获取第一图片的示意图，如图3所示，获取用户选择的第一图片，并确定光标1所在的第一位置。

在步骤s13中，基于第一图片以及第一位置，确定第一智能设备。

图4是根据一示例性实施例一个示例示出的智能设备控制方法步骤s13的流程图。

在一种可能的实现方式中，如图4所示，步骤s13可以包括步骤s131至步骤s132。

在步骤s131中，确定第一图片中与第一位置对应的待识别设备。

作为该实现方式的一个示例，在第一图片中存在多个待识别设备的情况下，可以根据第一位置确定用户选择的待识别设备，提高确定待识别设备的准确性，节省识别时间。

在步骤s132中，将设备库中与待识别设备匹配的可控智能设备确定为第一智能设备。

作为该实现方式的一个示例，在与待识别设备匹配的可控智能设备为一个的情况下，将该可控智能设备确定为第一智能设备。

在一种可能的实现方式中，设备库用于存储可控智能设备的基本信息，基本信息包括以下至少一种：可控智能设备的名称、外观图片、可执行的操作和可控智能设备的空间位置。

作为该实现方式的一个示例，外观图片可以包括可控智能设备的主视图、左视图、右视图和俯视图等表示可控智能设备外观特征的图片。可控智能设备的名称可以是表示智能设备功能用途的名称，例如，净化器。并且，可控智能设备的名称还可以包括可控智能设备的空间位置，例如，对于放置在卧室的净化器，其名称可以为“净化器-卧室”，放在客厅的净化器的名称可以为“净化器-客厅”。这样，用户可以根据名称区分各可控智能设备。基本信息还可以包括可控智能设备可执行的操作所对应的图片标识和/或设备id。

在一种可能的实现方式中，步骤s132可以包括：采用图像识别技术对设备库中存储的外观图片进行识别，将与待识别设备匹配的可控智能设备确定为第一智能设备。

需要说明的是，本领域技术人员可以根据实际需要设置待识别设备与可控智能设备的匹配方式，在此不作限定。

图5是根据一示例性实施例一个示例示出的智能设备控制方法步骤s132的流程图。

在一种可能的实现方式中，如图5所示，步骤s132还可以包括步骤s1321和步骤s1322。

在步骤s1321中，在与待识别设备匹配的可控智能设备为多个的情况下，显示待选择的可控智能设备。

作为该实现方式的一个示例，可以以列表和/或图片的形式显示待选择的可控智能设备。

在一种可能的实现方式中，显示待选择的可控智能设备，包括：显示待选择的可控智能设备的名称和/或空间位置。

这样，可以使用户更直观的查看各个待选择的可控智能设备。需要说明的是，本领域技术人员可以根据实际需求设置待选择的可控智能设备的显示方式和显示内容，在此不作限定。

在步骤s1322中，将用户选中的可控智能设备确定为第一智能设备。

作为该实现方式的一个示例，可以通过识别光标在显示界面中位置以及停留时间确定用户所选中的可控智能设备。例如，当光标在待选择的可控智能设备2的显示位置停留时间大于或等于阈值时间的情况下，将可控智能设备2确定为第一智能设备。也可以通过手柄等光标控制装置确认所选的可控智能设备。

在步骤s14中，显示第一智能设备可执行的操作。

作为本实施例的一个示例，可以以列表的形式显示第一智能设备可执行的操作，还可以将第一智能设备可执行的操作显示在第一智能设备的图像上，便于用户理解和选择各操作。还可以显示各可执行的操作所对应的图片标识，便于用户理解各操作的具体含义。

在步骤s15中，控制第一智能设备执行用户选择的操作。

作为本实施例的一个示例，可以通过识别光标在显示界面中的位置以及停留时间确定用户所选择的操作。例如，光标在可执行的操作的位置的停留时间大于或等于阈值时间，则确定用户选择该操作。也可以通过手柄等光标控制装置确认所选的可控智能设备。

作为本实施例的一个示例，获取第一智能设备的设备id，并将根据用户选择的操作产生的操作指令发送给设备id所对应的智能设备，以使智能设备在接收到操作指令后，根据操作指令执行对应的操作。

作为本实施例的一个示例，用户将可控智能设备安装在家中或办公场所等环境中时，可以通过安装在手机等终端设备上应用软件对可控智能设备进行设置，包括：

第一，设置可控智能设备与终端设备之间的通信连接，例如，设置可控智能设备的wi-fi(wireless-fidelity，无线保真)或蓝牙等，以使可控智能设备可以与网络连接，并通过网络接收并执行对应的操作指令。

第二，设置可控智能设备的基本信息。可以根据可控智能设备的功能用途和安装位置对可控智能设备的名称进行命名，以区分不同的可控智能设备。其中，可控智能设备的外观图片可以是用户拍摄的该可控智能设备的真实照片，也可以是根据可控智能设备的产品信息下载获得的商品宣传照片，在此不作限定。

第三，设置云服务账号和密码，并将可控智能设备的基本信息存储至云服务账号的设备库中，使用户可以在不同的智能终端中登录云服务账号，控制设备库中的可控智能设备。

本公开实施例所提供的智能设备控制装置，使得用户在使用vr头显进行视频观看或玩游戏时，在不摘下vr头显的情况下，即可实现对可控智能设备的控制，操作流程简单、便捷，提升用户体验。

图6是根据一示例性实施例示出的一种智能设备控制装置的框图。如图6所示，该装置可以包括：模式切换模块61、图片确定模块62、设备确定模块63、操作显示模块64和设备控制模块65。该模式切换模块61，被配置为在终端设备的vr实景模式被触发的情况下，启动摄像装置，并显示摄像装置的取景画面。该图片确定模块62，被配置为在确认控件被触发的情况下，获取与取景画面相对应的第一图片，并在第一图片中标记光标所在的第一位置。该设备确定模块63，被配置为基于第一图片以及第一位置，确定第一智能设备。该操作显示模块64，被配置为显示第一智能设备可执行的操。该设备控制模块65，被配置为控制第一智能设备执行用户选择的操作。

图7是根据一示例性实施例的一个示例示出的一种智能设备控制装置的框图。

在一种可能的实现方式中，如图7所示，设备确定模块63可以包括：第一设备确定子模块631和第二设备确定子模块632。该第一设备确定子模块631，被配置为确定第一图片中与第一位置对应的待识别设备。该第二设备确定子模块632，被配置为将设备库中与待识别设备匹配的可控智能设备确定为第一智能设备。

在一种可能的实现方式中，如图7所示，第二设备确定子模块632可以包括第一确定子模块6321和第二确定子模块6322。该第一确定子模块6321，被配置为在与待识别设备匹配的可控智能设备为多个的情况下，显示待选择的可控智能设备。该第二确定子模块6322，被配置为将用户选中的可控智能设备确定为第一智能设备。

在一种可能的实现方式中，设备库用于存储可控智能设备的基本信息，基本信息包括以下至少一种：可控智能设备的名称、外观图片、可执行的操作和可控智能设备的空间位置。

在一种可能的实现方式中，第一确定子模块可以包括设备显示子模块。该设备显示子模块，被配置为显示待选择的可控智能设备的名称和/或空间位置。

在一种可能的实现方式中，第二设备确定子模块632可以包括设备识别子模块，被配置为采用图像识别技术对设备库中存储的外观图片进行识别，将与待识别设备匹配的可控智能设备确定为第一智能设备。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例所提供的智能设备控制装置，使得用户在使用vr头显进行视频观看或玩游戏时，在不摘下vr头显的情况下，即可实现对可控智能设备的控制，操作流程简单、便捷，提升用户体验。

图8是根据一示例性实施例示出的一种智能设备控制装置800的框图。例如，装置800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图8，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图9是根据一示例性实施例示出的一种智能设备控制装置1900的框图。例如，装置1900可以被提供为一服务器。参照图9，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法.

装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(i/o)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如windowsservertm，macosxtm，unixtm,linuxtm，freebsdtm或类似。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1932，上述指令可由装置1900的处理组件1922执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。