虚拟界面交互控制方法及系统与流程

本发明涉及虚拟现实技术领域，尤其涉及一种虚拟界面交互控制方法及系统。

背景技术：

目前，虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，能利用计算机生成一种多源信息融合的模拟环境。虽然现有技术已经有投影虚拟键盘，但对投影虚拟键盘的操作分单手拿电子设备及双手拿电子设备。当单手拿电子设备时，虚拟键盘成九宫格显示，当双手拿电子设备时，虚拟键盘成全键盘显示，而当用户没有拿电子设备时，无法显示虚拟键盘。另外，现有技术中只是投影虚拟键盘，无法将电子设备的当前使用界面投影成虚拟界面，使用户在虚拟界面上得以进行操作。

技术实现要素：

鉴于以上内容，有必要提供一种虚拟界面交互控制方法及系统，能使用户在使用电子设备时，不再局限于电子设备的显示屏的大小、电子设备是否在手等因素。另外，即使用户的显示屏不能使用，用户仍能使用电子设备，提高了用户的体验。

一种虚拟界面交互控制方法，应用于电子设备中，所述方法包括：

建立与智能穿戴装置的通信连接；

确定在设置界面上所设置的反馈操作功能项；

获取当前用户界面；

将所述当前用户界面及所设置的反馈操作功能项发送至所述智能穿戴装置；

当所述智能穿戴装置利用投影设备将所述当前用户界面显示到虚拟界面上，并基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令后，接收所述智能穿戴装置发送的所述操作指令；及

根据所述操作指令执行相应的操作。

根据本发明优选实施例，所述反馈操作功能项包括捕捉手势功能项或感测功能项，所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令，所述感测功能项用于利用与所述智能穿戴装置相通信的智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令。

一种虚拟界面交互控制方法，应用于智能穿戴装置中，所述方法包括：

接收与所述智能穿戴装置相通信的电子设备发送的所述当前用户界面及所设置的反馈操作功能项；

将所述当前用户界面显示到虚拟界面上；

基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令；及

将所述操作指令发送至所述电子设备。

根据本发明优选实施例，所述反馈操作功能项包括捕捉手势功能项或感测功能项，所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令，所述感测功能项用于利用与所述智能穿戴装置相通信的智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令。

根据本发明优选实施例，当所述所设置的反馈操作功能项是捕捉手势功能项时，所述基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

利用所述智能穿戴装置的摄像设备获取手势信息；

根据获取到的所述手势信息以及预先设置的识别方式，确定所述虚拟界面上的操作指令。

根据本发明优选实施例，当所述所设置的反馈操作功能项是感测功能项时，所述基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

获取所述智能感测设备在所述虚拟界面上的触碰操作；

根据所感测到的触碰操作及预先设置的触碰操作，确定所述虚拟界面上的操作指令。

一种虚拟界面交互控制系统，运行于电子设备中，所述系统包括：

建立模块，用于建立与智能穿戴装置的通信连接；

确定信息模块，用于确定在设置界面上所设置的反馈操作功能项；

获取模块，用于获取当前用户界面；

发送信息模块，用于将所述当前用户界面及所设置的反馈操作功能项发送至所述智能穿戴装置；

所述确定信息模块还用于当所述智能穿戴装置利用投影设备将所述当前用户界面显示到虚拟界面上，并基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令后，接收所述智能穿戴装置发送的所述操作指令。

根据本发明优选实施例，所述反馈操作功能项包括捕捉手势功能项或感测功能项，所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令，所述感测功能项用于利用与所述智能穿戴装置相通信的智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令；及

执行模块，用于根据所述操作指令执行相应的操作。

一种虚拟界面交互控制系统，运行于智能穿戴装置中，所述系统包括：

接收模块，用于接收与所述智能穿戴装置相通信的电子设备发送的所述当前用户界面及所设置的反馈操作功能项；

显示模块，用于将所述当前用户界面显示到虚拟界面上；

确定模块，用于基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令；及

发送指令模块，用于将所述操作指令发送至所述电子设备。

根据本发明优选实施例，所述反馈操作功能项包括捕捉手势功能项或感测功能项，所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令，所述感测功能项用于利用与所述智能穿戴装置相通信的智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令。

根据本发明优选实施例，当所述所设置的反馈操作功能项是捕捉手势功能项时，所述确定模块用于基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

利用所述智能穿戴装置的摄像设备获取手势信息；

根据获取到的所述手势信息以及预先设置的识别方式，确定所述虚拟界面上的操作指令。

根据本发明优选实施例，当所述所设置的反馈操作功能项是感测功能项时，所述确定模块用于基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

获取所述智能感测设备在所述虚拟界面上的触碰操作；

根据所感测到的触碰操作及预先设置的触碰操作，确定所述虚拟界面上的操作指令。

由以上技术方案可以看出，本发明通过智能穿戴装置将电子设备的所述当前用户界面投射到虚拟界面上，通过捕捉手势的运动轨迹及根据预先设置的运动轨迹确定所述虚拟界面上的操作指令，或者通过智能感测设备感应触碰操作及根据预先设置的运动轨迹确定所述虚拟界面上的操作指令，将所述操作指令发送至所述电子设备。本发明能将电子设备中用户的界面显示在虚拟界面上，能使用户在使用电子设备时，不再局限于电子设备的显示屏的大小、电子设备是否在手等因素。另外即使用户的显示屏不能使用，用户仍能使用电子设备，提高了用户的体验。

附图说明

图1是本发明实现虚拟界面交互控制方法的应用环境图。

图2是本发明虚拟界面交互控制方法的第一较佳实施例的流程图。

图3是本发明虚拟界面交互控制方法的第二较佳实施例的流程图。

图4是本发明实现虚拟界面交互控制方法的较佳实施例的电子设备的结构示意图。

图5是本发明实现虚拟界面交互控制方法的较佳实施例的智能穿戴装置的结构示意图。

图6是本发明虚拟界面交互控制系统的实施例的功能模块图。

图7是本发明虚拟界面交互控制系统的另一实施例的功能模块图。

主要元件符号说明

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

如图1所示，图1是本发明实现虚拟界面交互控制方法的应用环境图。所述应用环境图包括电子设备1及智能穿戴装置2。所述智能穿戴装置2与所述电子设备1进行通信。

优选地，本发明的虚拟界面交互控制方法可以应用在多个所述智能穿戴装置2及多个所述电子设备1中。所述电子设备1及所述智能穿戴装置2是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述电子设备1及所述智能穿戴装置2所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。所述电子设备1还包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。

所述电子设备1还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。

所述智能穿戴装置2可以是智能眼镜、智能手环等等。本发明实施例中，所述智能穿戴装置2可以穿戴于用户的至少一个部位，例如、头、手腕、胳膊、腿等等。所述载体为人体，用户可以穿戴、贴附或手持所述智能穿戴装置2以检测用户在虚拟界面上的操作。所述智能穿戴装置2获取用户在虚拟界面上的操作，并将操作对应的指令发送给电子设备1。

如图2所示，是本发明虚拟界面交互控制方法第一较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S10，所述电子设备1建立与所述智能穿戴装置2的通信连接。

在本发明的一个实施例中，所述电子设备1包括第一通讯设备。所述智能穿戴装置2包括第二通讯设备。所述电子设备1通过所述第一通讯设备及所述智能穿戴装置2的第二通讯设备与所述智能穿戴装置2建立通信连接。所述第一通讯设备及第二通讯设备可以是无线通讯模块、有线通讯模块，包括蓝牙模块、Wi-Fi模块，WiMax(World Interoperability for Microwave Access，即全球微波接入互操作性)模块，GSM(Global System for Mobile Communication，全球移动通信系统)模块等等。

S11，电子设备1确定在设置界面上所设置的反馈操作功能项。

在本发明的一个实施例中，所述设置界面包括反馈操作功能项，所述反馈操作功能项包括捕捉手势功能项。所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令。

在本发明的一个实施例中，所述智能穿戴装置2还与智能感测设备相通信，所述智能感测设备包括摄像单元，例如所述智能感测设备可以是智能笔等等。所述智能感测设备通过摄像单元获取用户选中的目标项。因此，进一步地，所述反馈操作功能项还包括感测功能项。所述感测功能项用于利用所述智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令。

当所述电子设备1设置了所述反馈操作功能项为捕捉手势功能项时，后续所述智能穿戴装置2基于捕捉手势功能项确定虚拟界面上的操作指令。当所述电子设备1设置了所述反馈操作功能项为感测功能项时，后续所述智能穿戴装置2基于感测功能项确定虚拟界面上的操作指令，具体过程将在后续详述。

所述设置界面还包括开启所述智能穿戴装置2选项及关闭所述智能穿戴装置2选项。

S12，电子设备1获取当前用户界面。

在本发明的一个实施例中，电子设备1获取当前用户界面具体包括：电子设备1获取当前用户界面上每个显示项的信息，如图标、设置项、图片等等。所述显示项的信息包括显示项的名称等等。电子设备1并获取每个显示项在所述当前用户界面上的位置区域。

S13，电子设备1将所述当前用户界面及所设置的反馈操作功能项发送至所述智能穿戴装置2。

S14，当所述智能穿戴装置2将所述当前用户界面显示到所述虚拟界面上，并基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令后，所述电子设备1接收所述智能穿戴装置2发送的所述操作指令。

在本发明的一个实施例中，所述智能穿戴装置2包括投影设备(如微型投影仪)等。所述智能穿戴装置2利用所述投影设备将所获取的所述当前用户界面投影到所述虚拟界面上。所述虚拟界面可以位于书本上、墙壁上等其他实物上。

在本发明的一个实施例中，所述智能穿戴装置2进一步包括摄像设备，所述摄像设备用于获取用户在所述虚拟界面上的手势信息。

当所述所设置的反馈操作功能项是捕捉手势功能项时，所述基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

(1)利用所述摄像设备获取手势信息。

在本发明的一个实施例中，所述手势信息包括手势的目标点及手势的运动轨迹。例如，对于手势的目标点，当用户用手触碰所述虚拟界面上某个显示项所在的位置时，则手势的目标点即为所述显示项所在的位置。例如，对于手势的运动轨迹，当用户用手指向右滑动时，则手势的运动轨迹为向右滑动。

(2)根据获取到的所述手势信息以及预先设置的识别方式，确定所述虚拟界面上的操作指令。

当所述预先设置的识别方式为识别手势的运动轨迹时，所述手势信息为手势的运动轨迹；将获取的运动轨迹与预先保存的运动轨迹进行匹配，将匹配成功的预先保存的运动轨迹所对应的操作指令作为确定出的操作指令。当所述预先设置的识别方式为识别手势的坐标信息时，所述手势信息为手势的目标点；根据所述目标点确定出要进行操作的显示项，并根据所述目标点对应的运动轨迹确定出对所述显示项的操作指令。例如，预先设置在显示项外围画了一个圆圈以框中所述显示项表示打开所述显示项。用户用手指先触碰了聊天软件图标，并在聊天软件图标外围画了一个圆圈，把所述聊天软件图标框中，根据预先设置的信息，则表示打开所述聊天软件。

当所述所设置的反馈操作功能项是感测功能项时，所述基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

(1)获取所述智能感测设备在所述虚拟界面上的触碰操作。

在本发明的一个实施例中，所述触碰操作包括点击操作及滑动操作。所述智能感测设备包括多个感应器，所述感应器包括压力感应器，陀螺仪、重力感应器等等。所述智能感测设备利用所述多个感应器感测用户在所述虚拟界面上的触碰操作。

(2)根据所感测到的触碰操作及预先设置的触碰操作，确定所述虚拟界面上的操作指令。

在本发明的一个实施例中，当所感测到的触碰操作为点击操作时，进一步利用所述智能感测设备的摄像单元获取目标项。

在本发明的一个实施例中，利用所述摄像单元获取图片，并利用特征提取技术从所述图片提取目标项，如图标、设置选项等等。

将所述所感测到的触碰操作与预先设置的触碰操作进行匹配，根据匹配成功的预先设置的触碰操作所对应的操作指令及所述目标项确定所述虚拟界面上的操作指令。例如，点击操作为打开所触碰的目标项。

当所感测到的触碰操作为滑动操作时，将所述所感测到的触碰操作与预先设置的触碰操作进行匹配，根据匹配成功的预先设置的触碰操作所对应的操作指令确定所述虚拟界面上的操作指令。例如，如预先设置向上滑动为将所述虚拟界面上的用户界面向上滑动，则当检测到向上滑动的触碰操作时，则所述虚拟界面上的操作指令为将用户界面向上滑动。

S15，电子设备1根据所述操作指令执行相应的操作。

如图3所示，是本发明虚拟界面交互控制方法第二较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

S20，所述智能穿戴装置2接收电子设备1发送的所述当前用户界面及所设置的反馈操作功能项。

在本发明的一个实施例中，所述设置界面包括反馈操作功能项，所述反馈操作功能项包括捕捉手势功能项。所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令。

在本发明的一个实施例中，所述智能穿戴装置2还与智能感测设备相通信，所述智能感测设备包括摄像单元，例如所述智能感测设备可以是智能笔等等。所述智能感测设备通过摄像单元获取用户选中的目标项。因此，进一步地，所述反馈操作功能项还包括感测功能项。所述感测功能项用于利用所述智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令。

当所述电子设备1设置了所述反馈操作功能项为捕捉手势功能项时，后续所述智能穿戴装置2基于捕捉手势功能项确定虚拟界面上的操作指令。当所述电子设备1设置了所述反馈操作功能项为感测功能项时，后续所述智能穿戴装置2基于感测功能项确定虚拟界面上的操作指令，具体过程将在后续详述。

S21，所述智能穿戴装置2将所述当前用户界面显示到虚拟界面上。

在本发明的一个实施例中，所述智能穿戴装置2包括投影设备(如微型投影仪)等。所述智能穿戴装置2利用所述投影设备将所获取的所述当前用户界面投影到所述虚拟界面上。所述虚拟界面可以位于书本上、墙壁上等其他实物上。

S22，所述智能穿戴装置2基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令。

在本发明的一个实施例中，所述智能穿戴装置2进一步包括摄像设备，所述摄像设备用于获取用户在所述虚拟界面上的手势信息。

当所述所设置的反馈操作功能项是捕捉手势功能项时，所述基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

(1)利用所述摄像设备获取手势信息。

在本发明的一个实施例中，所述手势信息包括手势的目标点及手势的运动轨迹。例如对于手势的目标点，当用户用手触碰所述虚拟界面上某个显示项所在的位置时，则手势的目标点即为所述显示项所在的位置。例如，对于手势的运动轨迹，当用户用手指向右滑动时，则手势的运动轨迹为向右滑动。

(2)根据获取到的所述手势信息以及预先设置的识别方式，确定所述虚拟界面上的操作指令。

当所述预先设置的识别方式为识别手势的运动轨迹时，所述手势信息为手势的运动轨迹；将获取的运动轨迹与预先保存的运动轨迹进行匹配，将匹配成功的预先保存的运动轨迹所对应的操作指令作为确定出的操作指令。当所述预先设置的识别方式为识别手势的坐标信息时，所述手势信息为手势的目标点；根据所述目标点确定出要进行操作的显示项，并根据所述目标点对应的运动轨迹确定出对所述显示项的操作指令。例如，预先设置在显示项外围画了一个圆圈以框中所述显示项表示打开所述显示项。用户用手指触碰了聊天软件图标，并在聊天软件图标外围画了一个圆圈，把所述聊天软件图标框中，根据预先设置的信息，则表示打开所述聊天软件。

当所述所设置的反馈操作功能项是感测功能项时，所述基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

(1)获取所述智能感测设备在所述虚拟界面上的触碰操作。

在本发明的一个实施例中，所述触碰操作包括点击操作及滑动操作。所述智能感测设备包括多个感应器，所述感应器包括压力感应器，陀螺仪、重力感应器等等。所述智能感测设备利用所述多个感应器感测用户在所述虚拟界面上的触碰操作。

(2)根据所感测到的触碰操作及预先设置的触碰操作，确定所述虚拟界面上的操作指令。

在本发明的一个实施例中，当所感测到的触碰操作为点击操作时，进一步利用所述智能感测设备的摄像单元获取目标项。

在本发明的一个实施例中，利用所述摄像单元获取图片，并利用特征提取技术从所述图片提取目标项，如图标、设置选项等等。

将所述所感测到的触碰操作与预先设置的触碰操作进行匹配，根据匹配成功的预先设置的触碰操作所对应的操作指令及所述目标项确定所述虚拟界面上的操作指令。例如，点击操作为打开所触碰的目标项。

当所感测到的触碰操作为滑动操作时，将所述所感测到的触碰操作与预先设置的触碰操作进行匹配，根据匹配成功的预先设置的触碰操作所对应的操作指令确定所述虚拟界面上的操作指令。例如，如预先设置向上滑动为将所述虚拟界面上的用户界面向上滑动，则当检测到向上滑动的触碰操作时，则所述虚拟界面上的操作指令为将用户界面向上滑动。

S23，所述智能穿戴装置2将所述操作指令发送至所述电子设备1

本发明通过智能穿戴装置将电子设备的所述当前用户界面投射到虚拟界面上，通过捕捉手势的运动轨迹及根据预先设置的运动轨迹确定所述虚拟界面上的操作指令，或者通过智能感测设备感应触碰操作及根据预先设置的运动轨迹确定所述虚拟界面上的操作指令，将所述操作指令发送至所述电子设备。本发明能将电子设备中用户的界面显示在虚拟界面上，能使用户在使用电子设备时，不再局限于电子设备的显示屏的大小、电子设备是否在手等因素。另外即使用户的显示屏不能使用，用户仍能使用电子设备，提高了用户的体验。

如图4所示，图4是本发明实现虚拟界面交互控制方法的较佳实施例的电子设备的结构示意图。所述电子设备1包括第一存储设备12、第一处理设备13及第一通讯设备14。

所述电子设备1还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(Internet Protocol Television，IPTV)、智能式穿戴式设备等。所述电子设备1所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。

所述第一存储设备12用于存储一种虚拟界面交互控制方法的程序和各种数据，并在所述电子设备1运行过程中实现高速、自动地完成程序或数据的存取。所述第一存储设备12可以是电子设备1的外部存储设备和/或内部存储设备。进一步地，所述第一存储设备12可以是集成电路中没有实物形式的具有存储功能的电路，如RAM(Random-Access Memory，随机存取存储设备)、FIFO(First In First Out，)等。或者，所述第一存储设备12也可以是具有实物形式的存储设备，如内存条、TF卡(Trans-flash Card)等等。

所述第一处理设备13又称中央处理器(CPU，Central Processing Unit)，是一块超大规模的集成电路，是电子设备1的运算核心(Core)和控制核心(Control Unit)。所述第一处理设备13可执行所述电子设备1的操作系统以及安装的各类应用程序、程序代码等，例如虚拟界面交互控制系统11。

所述第一通讯设备14可以是无线通讯模块、有线通讯模块，包括蓝牙模块、Wi-Fi模块，WiMax(World Interoperability for Microwave Access，即全球微波接入互操作性)模块，GSM(Global System for Mobile Communication，全球移动通信系统)模块等等。

如图5所示，本发明实现虚拟界面交互控制方法的较佳实施例的智能穿戴装置的结构示意图。所述智能穿戴装置2包括投影设备20、摄像设备21、第二通讯设备22、第二处理设备23及第二存储设备24。进一步地，所述智能穿戴装置2还包括其他元件等等。

所述智能穿戴装置2接收所述电子设备1发送的所述当前用户界面及所设置的反馈操作功能项；将所述当前用户界面显示到虚拟界面上；基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令；及将所述操作指令发送至所述电子设备1。

所述投影设备20用于将所获取的当前用户界上投影到所述虚拟界面上。所述虚拟界面可以位于书本上、墙壁上等其他实物上。所述投影设备可以是微型投影仪)等。

所述摄像设备21用于获取手势信息，所述手势信息包括手势的目标点及手势的运动轨迹。例如对于手势的目标点，当用户用手触碰所述虚拟界面上某个显示项所在的位置时，则手势的目标点即为所述显示项所在的位置。例如，对于手势的运动轨迹，当用户用手指向右滑动时，则手势的运动轨迹为向右滑动。

所述第二通讯设备22可以可以是无线通讯模块、有线通讯模块，包括蓝牙模块、Wi-Fi模块，WiMax(World Interoperability for Microwave Access，即全球微波接入互操作性)模块，GSM(Global System for Mobile Communication，全球移动通信系统)模块等等。

所述第二处理设备23又称中央处理器(CPU，Central Processing Unit)，是一块超大规模的集成电路，是所述智能穿戴装置2的运算核心(Core)和控制核心(Control Unit)。所述第二处理设备23可执行所述智能穿戴装置2的操作系统以及安装的各类应用程序、程序代码等，例如虚拟界面交互控制系统21。

所述第二存储设备24用于存储一种虚拟界面交互控制方法的程序和各种数据，并在所述智能穿戴装置2运行过程中实现高速、自动地完成程序或数据的存取。所述第二存储设备24可以是所述智能穿戴装置2的外部存储设备和/或内部存储设备。进一步地，所述第二存储设备24可以是集成电路中没有实物形式的具有存储功能的电路，如RAM(Random-Access Memory，随机存取存储设备)、FIFO(First In First Out，)等。或者，所述第二存储设备24也可以是具有实物形式的存储设备，如内存条、TF卡(Trans-flash Card)等等。

如图6所示，本发明虚拟界面交互控制系统的实施例的功能模块图。所述虚拟界面交互控制系统11包括建立模块100、确定信息模块101、获取模块102、发送信息模块103及执行模块104。本发明所称的模块是指一种能够被第一处理设备13所执行并且能够完成固定功能的一系列计算机程序段，其存储在第一存储设备12中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

建立模块100建立与所述智能穿戴装置2的通信连接。

在本发明的一个实施例中，所述建立模块100通过所述第一通讯设备14及所述智能穿戴装置2的第二通讯设备22与所述智能穿戴装置2建立通信连接。

确定信息模块101确定在设置界面上所设置的反馈操作功能项。在本发明的一个实施例中，所述设置界面包括反馈操作功能项，所述反馈操作功能项包括捕捉手势功能项。所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令。

在本发明的一个实施例中，所述智能穿戴装置2还与智能感测设备相通信，所述智能感测设备包括摄像单元，例如所述智能感测设备可以是智能笔等等。所述智能感测设备通过摄像单元获取用户选中的目标项。因此，进一步地，所述反馈操作功能项还包括感测功能项。所述感测功能项用于利用所述智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令。

当所述电子设备1设置了所述反馈操作功能项为捕捉手势功能项时，后续所述智能穿戴装置2基于捕捉手势功能项确定虚拟界面上的操作指令。当所述电子设备1设置了所述反馈操作功能项为感测功能项时，后续所述智能穿戴装置2基于感测功能项确定虚拟界面上的操作指令，具体过程将在后续详述。

所述设置界面还包括开启所述智能穿戴装置2选项及关闭所述智能穿戴装置2选项。

获取模块102获取当前用户界面。

在本发明的一个实施例中，所述获取模块102获取当前用户界面具体包括：所述获取模块102获取当前用户界面上每个显示项的信息，如图标、设置项、图片等等。所述显示项的信息包括显示项的名称等等。所述获取模块102并获取每个显示项在所述当前用户界面上的位置区域。

发送信息模块103将所述当前用户界面及所设置的反馈操作功能项发送至所述智能穿戴装置2。

当所述智能穿戴装置2将所述当前用户界面显示到虚拟界面上，并基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令后，所述确定信息模块101接收所述智能穿戴装置2发送的所述操作指令。

在本发明的一个实施例中，所述智能穿戴装置2包括投影设备20(如微型投影仪)等。所述智能穿戴装置2利用所述投影设备20将所获取的所述当前用户界面投影到所述虚拟界面上。所述虚拟界面可以位于书本上、墙壁上等其他实物上。

在本发明的一个实施例中，所述智能穿戴装置2进一步包括摄像设备21，所述摄像设备21用于获取用户在所述虚拟界面上的手势信息。

当所述所设置的反馈操作功能项是捕捉手势功能项时，所述基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

(1)利用所述摄像设备21获取手势信息。

在本发明的一个实施例中，所述手势信息包括手势的目标点及手势的运动轨迹。例如，对于手势的目标点，当用户用手触碰所述虚拟界面上某个显示项所在的位置时，则手势的目标点即为所述显示项所在的位置。例如，对于手势的运动轨迹，当用户用手指向右滑动时，则手势的运动轨迹为向右滑动。

(2)根据获取到的所述手势信息以及预先设置的识别方式，确定所述虚拟界面上的操作指令。

当所述预先设置的识别方式为识别手势的运动轨迹时，所述手势信息为手势的运动轨迹；将获取的运动轨迹与预先保存的运动轨迹进行匹配，将匹配成功的预先保存的运动轨迹所对应的操作指令作为确定出的操作指令。当所述预先设置的识别方式为识别手势的坐标信息时，所述手势信息为手势的目标点；根据所述目标点确定出要进行操作的显示项，并根据所述目标点对应的运动轨迹确定出对所述显示项的操作指令。例如，预先设置在显示项外围画了一个圆圈以框中所述显示项表示打开所述显示项。用户用手指先触碰了聊天软件图标，并在聊天软件图标外围画了一个圆圈，把所述聊天软件图标框中，根据预先设置的信息，则表示打开所述聊天软件。

当所述所设置的反馈操作功能项是感测功能项时，所述基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

(1)获取所述智能感测设备在所述虚拟界面上的触碰操作。

在本发明的一个实施例中，所述触碰操作包括点击操作及滑动操作。所述智能感测设备包括多个感应器，所述感应器包括压力感应器，陀螺仪、重力感应器等等。所述智能感测设备利用所述多个感应器感测用户在所述虚拟界面上的触碰操作。

(2)根据所感测到的触碰操作及预先设置的触碰操作，确定所述虚拟界面上的操作指令。

在本发明的一个实施例中，当所感测到的触碰操作为点击操作时，进一步利用所述智能感测设备的摄像单元获取目标项。

在本发明的一个实施例中，利用所述摄像单元获取图片，并利用特征提取技术从所述图片提取目标项，如图标、设置选项等等。

将所述所感测到的触碰操作与预先设置的触碰操作进行匹配，根据匹配成功的预先设置的触碰操作所对应的操作指令及所述目标项确定所述虚拟界面上的操作指令。例如，点击操作为打开所触碰的目标项。

当所感测到的触碰操作为滑动操作时，将所述所感测到的触碰操作与预先设置的触碰操作进行匹配，根据匹配成功的预先设置的触碰操作所对应的操作指令确定所述虚拟界面上的操作指令。例如，如预先设置向上滑动为将所述虚拟界面上的用户界面向上滑动，则当检测到向上滑动的触碰操作时，则所述虚拟界面上的操作指令为将用户界面向上滑动。

执行模块104根据所述操作指令执行相应的操作。

如图7所示，本发明虚拟界面交互控制系统的另一实施例的功能模块图。所述虚拟界面交互控制系统21包括接收模块200、显示模块201、确定模块202及发送指令模块203。本发明所称的模块是指一种能够被第二处理设备23所执行并且能够完成固定功能的一系列计算机程序段，其存储在第二存储设备24中。在本实施例中，关于各模块的功能将在后续的实施例中详述。

接收模块200接收电子设备1发送的所述当前用户界面及所设置的反馈操作功能项。

在本发明的一个实施例中，所述设置界面包括反馈操作功能项，所述反馈操作功能项包括捕捉手势功能项。所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令。

在本发明的一个实施例中，所述智能穿戴装置2还与智能感测设备相通信，所述智能感测设备包括摄像单元，例如所述智能感测设备可以是智能笔等等。所述智能感测设备通过摄像单元获取用户选中的目标项。因此，进一步地，所述反馈操作功能项还包括感测功能项。所述感测功能项用于利用所述智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令。

当所述电子设备1设置了所述反馈操作功能项为捕捉手势功能项时，后续所述智能穿戴装置2基于捕捉手势功能项确定虚拟界面上的操作指令。当所述电子设备1设置了所述反馈操作功能项为感测功能项时，后续所述智能穿戴装置2基于感测功能项确定虚拟界面上的操作指令，具体过程将在后续详述。

显示模块201将所述当前用户界面显示到虚拟界面上。

在本发明的一个实施例中，所述智能穿戴装置2包括投影设备20(如微型投影仪)等。所述智能穿戴装置2利用所述投影设备20将所获取的所述当前用户界面投影到所述虚拟界面上。所述虚拟界面可以位于书本上、墙壁上等其他实物上。

确定模块202基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令。

在本发明的一个实施例中，所述智能穿戴装置2进一步包括摄像设备21，所述摄像设备21用于获取用户在所述虚拟界面上的手势信息。

当所述所设置的反馈操作功能项是捕捉手势功能项时，所述确定模块202基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

(1)利用所述摄像设备获取手势信息。

在本发明的一个实施例中，所述手势信息包括手势的目标点及手势的运动轨迹。例如对于手势的目标点，当用户用手触碰所述虚拟界面上某个显示项所在的位置时，则手势的目标点即为所述显示项所在的位置。例如，对于手势的运动轨迹，当用户用手指向右滑动时，则手势的运动轨迹为向右滑动。

(2)根据获取到的所述手势信息以及预先设置的识别方式，确定所述虚拟界面上的操作指令。

当所述预先设置的识别方式为识别手势的运动轨迹时，所述手势信息为手势的运动轨迹；将获取的运动轨迹与预先保存的运动轨迹进行匹配，将匹配成功的预先保存的运动轨迹所对应的操作指令作为确定出的操作指令。当所述预先设置的识别方式为识别手势的坐标信息时，所述手势信息为手势的目标点；根据所述目标点确定出要进行操作的显示项，并根据所述目标点对应的运动轨迹确定出对所述显示项的操作指令。例如，预先设置在显示项外围画了一个圆圈以框中所述显示项表示打开所述显示项。用户用手指触碰了聊天软件图标，并在聊天软件图标外围画了一个圆圈，把所述聊天软件图标框中，根据预先设置的信息，则表示打开所述聊天软件。

当所述所设置的反馈操作功能项是感测功能项时，所述确定模块202基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令包括：

(1)获取所述智能感测设备在所述虚拟界面上的触碰操作。

在本发明的一个实施例中，所述触碰操作包括点击操作及滑动操作。所述智能感测设备包括多个感应器，所述感应器包括压力感应器，陀螺仪、重力感应器等等)。所述智能感测设备利用所述多个感应器感测用户在所述虚拟界面上的触碰操作。

(2)根据所感测到的触碰操作及预先设置的触碰操作，确定所述虚拟界面上的操作指令。

在本发明的一个实施例中，当所感测到的触碰操作为点击操作时，进一步利用所述智能感测设备的摄像单元获取目标项。

在本发明的一个实施例中，利用所述摄像单元获取图片，并利用特征提取技术从所述图片提取目标项，如图标、设置选项等等。

将所述所感测到的触碰操作与预先设置的触碰操作进行匹配，根据匹配成功的预先设置的触碰操作所对应的操作指令及所述目标项确定所述虚拟界面上的操作指令。例如，点击操作为打开所触碰的目标项。

当所感测到的触碰操作为滑动操作时，将所述所感测到的触碰操作与预先设置的触碰操作进行匹配，根据匹配成功的预先设置的触碰操作所对应的操作指令确定所述虚拟界面上的操作指令。例如，如预先设置向上滑动为将所述虚拟界面上的用户界面向上滑动，则当检测到向上滑动的触碰操作时，则所述虚拟界面上的操作指令为将用户界面向上滑动。

发送指令模块203将所述操作指令发送至所述电子设备1。

本发明通过智能穿戴装置将电子设备的所述当前用户界面投射到虚拟界面上，通过捕捉手势的运动轨迹及根据预先设置的运动轨迹确定所述虚拟界面上的操作指令，或者通过智能感测设备感应触碰操作及根据预先设置的运动轨迹确定所述虚拟界面上的操作指令，将所述操作指令发送至所述电子设备。本发明能将电子设备中用户的界面显示在虚拟界面上，能使用户在使用电子设备时，不再局限于电子设备的显示屏的大小、电子设备是否在手等因素。另外即使用户的显示屏不能使用，用户仍能使用电子设备，提高了用户的体验。

上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。

结合图2，所述电子设备1中的所述第一存储设备12存储多个指令以实现一种虚拟界面交互控制方法，所述第一处理设备13可执行所述多个指令从而实现：建立与智能穿戴装置的通信连接；确定在设置界面上所设置的反馈操作功能项；获取当前用户界面；将所述当前用户界面及所设置的反馈操作功能项发送至所述智能穿戴装置；当所述智能穿戴装置利用投影设备将所述当前用户界面显示到虚拟界面上，并基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令后，接收所述智能穿戴装置发送的所述操作指令；及根据所述操作指令执行相应的操作。

根据本发明优选实施例，所述反馈操作功能项包括捕捉手势功能项或感测功能项，所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令，所述感测功能项用于利用与所述智能穿戴装置相通信的智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令。

结合图3，在本发明的一个实施例中，所述智能穿戴装置2中的所述第二存储设备24存储多个指令以实现一种虚拟界面交互控制方法，所述第二处理设备23可执行所述多个指令从而实现：接收与所述智能穿戴装置相通信的电子设备发送的所述当前用户界面及所设置的反馈操作功能项；将所述当前用户界面显示到虚拟界面上；基于所设置的反馈操作功能项确定所述虚拟界面上的操作指令；及将所述操作指令发送至所述电子设备。

根据本发明优选实施例，所述反馈操作功能项包括捕捉手势功能项或感测功能项，所述捕捉手势功能项用于根据手势的运动轨迹确定所述操作指令，所述感测功能项用于利用与所述智能穿戴装置相通信的智能感测设备感测触碰操作，并根据所感测到的触碰操作确定所述操作指令。

根据本发明优选实施例，所述第二处理设备23还可执行以下指令包括：

利用所述智能穿戴装置的摄像设备获取手势信息；

根据获取到的所述手势信息以及预先设置的识别方式，确定所述虚拟界面上的操作指令。

根据本发明优选实施例，所述第二处理设备23还可执行以下指令包括：

获取所述智能感测设备在所述虚拟界面上的触碰操作；

根据所感测到的触碰操作及预先设置的触碰操作，确定所述虚拟界面上的操作指令。

具体地，所述第一处理设备13及第二处理设备23对上述指令的具体实现方法可参考图2及图3对应实施例中相关步骤的描述，在此不赘述。在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。