一种远程计算机控制系统及方法与流程

本发明涉及远程控制领域，具体为一种远程计算机控制系统及方法。

背景技术：

随着当今社会的快速发展，电脑在生产生活中发挥着极为重要且不可替代的作用。随着信息化程度的普及，电脑的便携性也越来越受到人们的关注。尽管现在的笔记本电脑已经能够做到比较薄，但仍不够便携，且其本质形式并未改变，硬件尺寸的缩小会对其性能产生一定程度的影响。另一方面，在现实生活中存在一些有特殊用途（如实验室，仓库监控等）的电脑或普通台式电脑，不方便移动。用户在外急需对这些电脑进行操作或处理其中的文件时只能束手无策的窘境经常发生，外出办公极为不便。现在普遍使用的电脑远程控制方式需要使用另外一台电脑，在用户进行某些特殊活动时，一直把电脑携带在身边极为不便，且容易损坏。这就给用户带来了严重的困扰。因此能够快速便携地对电脑进行远程操控的系统与方法具有重要的现实意义。

公布号为cn104850189a的专利公开了一种兼具智能手机功能和个人计算机功能的移动智能终端，包括设备本体以及设置在设备本体内的硬件部分和操作系统；设备本体主要包括设置在外壳左侧端面的键盘投影模组以及、模式切换键、含滤波片的摄像头和红外一字线激光器；投影键盘模组可投射出虚拟键盘，红外一字线激光器发出的红外激光被按下虚拟键盘的手指所反射，含滤波片的摄像头捕捉反射红外激光的手指图像，实现常规键盘的字符输入功能；外壳右侧端面设置有投影镜头和usb接口；投影镜头可以投射出投影屏幕；usb接口可用于连接存储设备；模式切换键通过对硬件部分和操作系统的控制，实现设备在手机应用模式和计算机应用模式之间的切换。

该发明的不足在于：1、作为便携终端，要实现智能手机和计算机功能需集成大量硬件模块，体积较大，便携性较差，同样，由于体积限制，其运行效率同样受限。2、成本较高。3、不能实现多台电脑的远程控制功能，只能单独使用，不利于外出办公的连贯性和方便性。4、其键盘识别方式所需模块繁杂，除投影和摄像头之外还需用到红外激光器，滤波片等。因此有必要进行改进。

技术实现要素：

为了解决上述技术问题，本发明的目的是提供一种远程计算机控制系统及方法。

本发明所采用的技术方案是：

本发明提供一种远程计算机控制系统，包括：远程电脑控制服务器、远程电脑以及移动设备，所述远程电脑控制服务器分别与远程电脑以及移动设备连接；

其中，所述移动设备包括中央处理模块、投影显示模块、图像采集处理模块以及通讯模块，所述中央处理模块的输出端与投影显示模块的输入端连接；所述通讯模块与中央处理模块连接；所述图像采集处理模块的输出端与中央处理模块的输入端连接；所述通讯模块与远程电脑控制服务器连接。

作为该技术方案的改进，所述投影显示模块用于实时投影人机交互界面，其用于显示包括远程电脑的屏幕、鼠标控制区及键盘区。

作为该技术方案的改进，所述鼠标控制区和键盘区上均叠加有网格状条纹。

作为该技术方案的改进，所述图像采集处理模块包括摄像头和图像处理单元，其用于采集及处理人手对于键盘和模拟鼠标的操作。

进一步地，所述通讯模块包括有线通讯和无线通讯。

进一步地，所述通讯模块为无线通讯，所述无线通讯为蓝牙，所述移动设备还包括蓝牙耳机和/或蓝牙音响，所述蓝牙的输出端分别与蓝牙耳机和蓝牙音响的输入端连接。

另一方面，本发明还提供一种远程计算机控制方法，用于所述的远程计算机控制系统，包括以下步骤：

移动设备采集用户输入的手部动作信息，并发送其操作指令至远程电脑；

远程电脑接收到移动设备发出的开启命令后启动所述远程电脑控制客户端；

所述远程电脑控制客户端接收到用户输入的登陆信息并经过验证后，远程电脑控制服务器发送指令至所述远程电脑，并获取其使用权限；

所述远程电脑控制服务器将远程电脑端画面传输至移动设备，所述移动设备投影并实时显示，实现远程控制。

进一步地，其还包括：

所述显示区域包括电脑的屏幕、鼠标控制区及键盘区，其中鼠标控制区及键盘区均叠加有网格投影；

当手指遮挡后摄像头采集到的网格产生形变，系统通过判断检测键盘形状的形变与缺失，与原键盘形状对比以确定形变网格凸包，得到网格形变区域。

进一步地，还包括：

系统通过搜寻形变区域竖条纹与凸包边界线交点，得到其坐标点位置并计算出相邻两点距离；

搜寻未形变区域竖条纹与凸包边界线交点，同样得到其坐标点位置并计算出相邻两点距离；

当二者在某一区域出现重合，相邻点距相等时，此时判定为手指按下，并记录位置点坐标。

进一步地，还包括：

若按下的位置点位于键盘区，则判定为键入字符操作，将位置点在原键位图上定位，确定输入字符，从而实现字符命令键入；

若按下的位置点位于鼠标移动识别区，则继续采集下一帧形变网格图片识别其手指按下位置点，通过两个位置点间坐标变化来识别手指移动轨迹；

若按下的位置点位于左右键功能识别区，则判断为发出左/右键单击指令。

本发明的有益效果是：本发明提供的远程计算机控制系统，包括：便携式移动设备、远程电脑控制服务器与远程电脑。其还提供一种远程计算机控制方法，在检测投影输入方面，对投影操作区加入网格投影调制，当手指进行操作时，摄像头采集到的网格图样投影到手上产生形变，通过检测该网格形变确定键盘输入与鼠标操作，继而通过移动网络实现本地用户与远程电脑之间信息实时传输。本方案所需设备较少，基于本方案提供的移动设备，即可实现控制远程电脑，十分便捷，提高了外出办公的连贯性和方便性；采用网格形变识别输入的方式，识别判断迅速且精确。

附图说明

下面结合附图对本发明的具体实施方式作进一步说明：

图1为本发明第一实施例的模块连接示意图；

图2为本发明第二实施例的各模块连接示意图；

图3为本发明第三实施例的基于投影及图像处理的远程电脑控制系统流程图；

图4为本发明第四实施例的投影键盘区域示意图；

图5为本发明第五实施例的投影鼠标操控区域示意图；

图6为本发明第六实施例手指按下时竖条纹形变的不同状态示意图；

图7为本发明第七实施例手指悬空时竖条纹形变的不同状态示意图；

图8为本发明第八实施例手指按下时竖条纹与凸包交点变化示意图；

图9为本发明第九实施例手指悬空时竖条纹与凸包交点变化示意图；

图10为本发明第十实施例工作状态示意图；

图11为本发明第十一实施例基于网格形变识别输入方法算法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本发明提供一种远程计算机控制系统，包括：远程电脑控制服务器、远程电脑以及移动设备，所述远程电脑控制服务器分别与远程电脑以及移动设备连接；

其中，所述移动设备包括中央处理模块、投影显示模块、图像采集处理模块以及通讯模块，所述中央处理模块的输出端与投影显示模块的输入端连接；所述通讯模块与中央处理模块连接；所述图像采集处理模块的输出端与中央处理模块的输入端连接；所述通讯模块与远程电脑控制服务器连接。

作为该技术方案的改进，所述投影显示模块用于实时投影人机交互界面，其用于显示包括远程电脑的屏幕、鼠标控制区及键盘区。

作为该技术方案的改进，所述鼠标控制区和键盘区上均叠加有网格状条纹。

作为该技术方案的改进，所述图像采集处理模块包括摄像头和图像处理单元，其用于采集及处理人手对于键盘和模拟鼠标的操作。

其中，所述通讯模块包括有线通讯和无线通讯。

进一步，所述无线通讯包括wifi、蓝牙、zigbee。

进一步地，所述无线通讯为蓝牙，所述移动设备还包括蓝牙耳机和/或蓝牙音响，所述蓝牙的输出端分别与蓝牙耳机和蓝牙音响的输入端连接。

进一步地，所述移动设备还包括供电模块，所述供电模块的输出端与中央处理模块的输入端连接。

另一方面，本发明还提供一种远程计算机控制方法，用于所述的远程计算机控制系统，其特征在于，包括以下步骤：

移动设备采集用户输入的手部动作信息，并发送其操作指令至远程电脑；

远程电脑接收到移动设备发出的开启命令后启动所述远程电脑控制客户端；

所述远程电脑控制客户端接收到用户输入的登陆信息并经过验证后，远程电脑控制服务器发送指令至所述远程电脑，并获取其使用权限；

所述远程电脑控制服务器将远程电脑端画面传输至移动设备，所述移动设备投影并实时显示，实现远程控制。

进一步地，其还包括：

所述显示区域包括电脑的屏幕、鼠标控制区及键盘区，其中鼠标控制区及键盘区均叠加有网格投影；

当手指遮挡后摄像头采集到的网格产生形变，系统通过判断检测键盘形状的形变与缺失，与原键盘形状对比以确定形变网格凸包，得到网格形变区域。

进一步地，还包括：

系统通过搜寻形变区域竖条纹与凸包边界线交点，得到其坐标点位置并计算出相邻两点距离；

搜寻未形变区域竖条纹与凸包边界线交点，同样得到其坐标点位置并计算出相邻两点距离；

当二者在某一区域出现重合，相邻点距相等时，此时判定为手指按下，并记录位置点坐标。

进一步地，还包括：若按下位置点位于键盘区，则判定为键入字符操作，将位置点在原键位图上定位，确定输入字符，从而实现字符命令键入。

进一步地，还包括：若按下点位置位于鼠标移动识别区，则继续采集下一帧形变网格图片识别其手指按下位置点，通过两个位置点间坐标变化来识别手指移动轨迹。

进一步地，还包括：若按下点位置位于左右键功能识别区，则判断为发出左/右键单击指令。

该基于网格形变识别输入的远程计算机控制系统，包括：便携式移动设备、远程电脑控制服务器与远程电脑端。

其中移动设备包括：

投影显示交互模块，用于实时投影人机交互界面，在使用过程中投影内容包括远程电脑屏幕、键盘区与鼠标控制区，其中键盘区和鼠标控制区上都叠加上网格状条纹；鼠标控制区域分为3部分，分别为上方的移动识别区，下方的左键功能区及下方的右键功能区。

摄像头操作识别模块，包括摄像头与图像处理单元，用于采集人手对于键盘和模拟鼠标的操作，同时采用检测网格形变的图像处理方法作为检测投影键盘输入方式，设备简单，方便快捷。

通讯模块，包括蓝牙功能单元与移动网络通讯单元；

中央处理模块，用于接收和处理各模块之间信息并进行处理。

所述远程控制系统客户端为该远程控制装置。

服务器的功能是作为远程控制终端与信息传递交互的中转站以及登陆身份验证。

被控制远程电脑端需要在使用前匹配到用户账户，获取使用权限。在使用过程中需要连接互联网。

投影键盘与鼠标的基于网格形变识别输入，由摄像头采集图像到完成键入字符或鼠标操作命令的识别主要经过以下四个步骤：

1，找寻到目标形变位置。键盘投影上叠加网格或其他可进行特征点识别方式，当手对投影出现遮挡后，摄像机采集到的条纹出现形变。在靠近未形变区域，刚刚开始形变的部分即为键入目标区域。

2，检测竖条纹是否连续，从而判断手指是否按下并确认按下位置。经过步骤1后，可以找出因手指遮挡造成形变部分的对应位置，此时可能存在手指并未按下但仍造成遮挡的情况，为避免此类情况干扰，系统通过判断竖方向条纹在形变位置是否连续来确定手指按下与否；手指按下时，该键位上两条竖条纹经手指产生形变后仍基本保存连续；手指悬空遮挡时，竖直方向条纹明显不连续。基于此点，可确认手指是否按下并确认按下位置点。

3，若按下位置点位于键盘区，则判定为执行键入字符操作，将位置点在原键位图上定位，确定输入字符，从而实现字符命令键入。

4，若按下点位置位于鼠标移动识别区，则继续采集下一帧形变网格图片识别其手指按下位置点，通过两个位置点间坐标变化来识别手指移动轨迹，即为鼠标移动轨迹；若按下点位置位于左右键功能识别区，则判断为发出左/右键单击指令。

参照图1所示，本实施例提供一种基于网格形变识别输入的远程计算机控制方法及系统，包括便携式移动终端、远程电脑控制服务器与远程电脑。

参照图2所示，为本发明第二实施例的各模块连接示意图。其中移动设备包括如下几个部分：

投影显示模块，用于实时投影人机交互界面，在使用过程中其投影区域包括远程屏幕、鼠标控制区与键盘区；

图像采集处理模块，包括摄像头与图像处理单元，用于采集人手对于键盘和模拟鼠标的操作；

通讯模块，包括无线通讯和有线通讯，如wifi、蓝牙功能单元、zigbee和/或移动网络通讯单元；

中央处理模块：接收和处理各模块之间信息并进行处理；所述中央处理模块通过通讯模块与远程控制服务器连接。

供电模块：负责供电，可外接数据线接口进行充电。

在使用此系统之前，先在电脑端安装对应软件获取权限，在用户进行远程操作过程中需保持电脑处于联网状态。

优选的，其还包括蓝牙耳机、蓝牙音响，用于输出音频信息。

参照图3所示，为本发明第三实施例的基于投影及图像处理的远程电脑控制系统流程图。

移动设备采集用户输入的手部动作信息，并发送其操作指令至远程电脑；

远程电脑接收到移动设备发出的开启命令后启动所述远程电脑控制客户端；

所述远程电脑控制客户端接收到用户输入的登陆信息并经过验证后，远程电脑控制服务器发送指令至所述远程电脑，并获取其使用权限；

所述远程电脑控制服务器将远程电脑端画面传输至移动设备，所述移动设备投影并实时显示，实现远程控制。

用户需要使用此设备对电脑进行远程控制时，首先打开移动设备电源，此时通讯模块通过互联网连接至服务器；投影模块开始工作，显示出登录界面，用户通过投影键盘输入预设账户的验证信息登录，登录成功后，选择待控制的远程控制电脑，此时通讯模块通过服务器与远程电脑建立通讯关系，将远程电脑屏幕实时通过投影显示。

投影交互模块的投影区域包括远程屏幕、鼠标控制区与键盘区，其中键盘区和鼠标控制区上都叠加有网格状条纹。

参照图4-5，分别为本发明实施例的投影键盘区域示意图及投影鼠标操控区域示意图。

鼠标控制区域分为3部分，分别为上方的移动识别区，下方的左键功能区，右键功能区。

摄像头用于实时采集投影的环境图像，图像处理器用于将摄像头采集到的投影图像与原始投影进行比对并做出处理。

参照图4-11，由摄像头采集图像到完成键入字符或鼠标操作命令的识别主要经过以下四个步骤：

1.找寻到目标形变位置。图4、图5分别为键盘区与鼠标控制区直接投影到平面图样，当手对投影出现遮挡后，摄像机采集到的网格出现形变。在靠近前端未形变区域，刚刚开始形变的部分即为键入目标区域。

系统采集原图（未产生形变的网格投影）和待检测图（已经产生形变的网格投影），将图片进行二值化处理，并进行仿射变换，以消除摄像机因透视关系所产生的影响。将采集后的图片与原图进行特征点匹配对应，建立坐标系，减去其与原图相同的部分（未发生形变部分），对剩余发生形变的网格部分进行凸包检测，得到网格形变区域。

2.检测竖条纹是否连续，从而判断手指是否按下并确认按下位置。经过步骤1后，可以找出因手指遮挡造成形变部分的对应位置，此时可能存在手指并未按下但仍造成遮挡的情况，为避免此类情况干扰，系统通过判断竖方向条纹在形变位置是否连续来确定手指按下与否。参照图6所示为手指按下情形，此时该键位上两条竖条纹经手指产生形变后仍基本保存连续；参照图7所示为手指悬空遮挡情形，此时竖直方向条纹明显不连续。基于此点，可确认手指是否按下并确认按下位置点。

系统通过搜寻形变区域竖条纹与凸包边界线交点，得到其坐标点位置并计算出相邻两点距离；搜寻未形变区域竖条纹与凸包边界线交点，同样得到其坐标点位置并计算出相邻两点距离。当二者在某一区域出现重合，相邻点距相等时，此时判定为手指按下，并记录位置点坐标。需要说明的是，针对与形变网格凸包边界交点可以选择性地忽略靠近底部的边缘与形变（此部分形变不是由于之间部分遮挡产生），以简化计算。

参照图8所示，当手指按下时，形变区域条纹与凸包边界交点为a1、a2，未形变区域竖条纹与凸包边界为a3、a4，此时a1与a3重合，a2与a4重合，a1到a2距离、a3到a4距离相等，此时竖条纹连续，基于此判定为手指按下，指尖与投影平面接触，可以得到该位置坐标；参照图9所示，当手指悬空未按下却仍造成遮挡时，形变区域条纹与凸包边界交点为b1、b2，未发生形变区域竖条纹与凸包边界为b3、b4，此时b1与b3不重合，b2与b4不重合，b1到b2距离、b3到b4距离不相等，此时竖条纹不连续，则手指悬空未按下。

3.若按下位置点位于键盘区，则判定为键入字符操作，将位置点在原键位图上定位，确定输入字符，从而实现字符命令键入。

系统对手指按下位置进行判断，如该位置坐标处于键盘投影区，将其与原始标准图对比，在原始图中通过坐标进行定位，即可确定输入字符，从而实现字符指令键入。

4.若按下点位置位于鼠标移动识别区，则继续采集下一帧形变网格图片识别其手指按下位置点，通过两个位置点间坐标变化来识别手指移动轨迹；若按下点位置位于左右键功能识别区，则判断为发出左/右键单击指令。

系统判定手指按下位置在移动识别区后，记录其按下位置坐标，继而对下一帧网格形变图片进行同样操作，记录下新的手指按下位置点坐标，两坐标点间连线即为鼠标位移轨迹，从而控制鼠标移动。当下一帧图像在鼠标移动识别区未识别到按下点时，则清空此前的位置坐标信息，自下一次按下后重新开始计算。而左右键功能区部分则只识别手指是否按下，手指按下位置在左右键功能区，则发出单击左/右键命令。需要说明的是，一次单击时间可能大于两帧之间的时间间隔，所以当连续几帧都识别为在此区域按下，只认定为一次点击操作。

通过这种方式，得到用户所发出的指令，通过通讯模块发出，以服务器为中转站发送至电脑，并实时传送回电脑的反馈状态，由投影界面和蓝牙耳机（或音响）实现人机交互，从而实现远程控制电脑的目的。

远程电脑控制服务器为连接internet网络的计算机，用于实现远程电脑与客户端之间的数据交互。远程电脑控制服务器主要包括身份验证模块与信息交互模块。身份验证模块，对用户登录远程账户时输入的账户信息及密码进行验证；信息交互模块负责远程电脑与服务器，服务器与移动终端的信息交互。

本发明提供的远程计算机控制系统，包括：便携式移动设备、远程电脑控制服务器与远程电脑。其还提供一种远程计算机控制方法，在检测投影输入方面，对投影操作区加入网格投影调制，当手指进行操作时，摄像头采集到的网格图样投影到手上产生形变，通过检测该网格形变确定键盘输入与鼠标操作，继而通过移动网络实现本地用户与远程电脑之间信息实时传输。本方案所需设备较少，基于本方案提供的移动设备，即可实现控制远程电脑，十分便捷，提高了外出办公的连贯性和方便性；采用网格形变识别输入的方式，识别判断迅速且精确。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。