专利名称：一种屏幕视觉鼠标系统及其实现方法
技术领域：
本发明属于计算机输入设备技术领域，具体涉及一种屏幕视觉鼠标系统及其实现方法。
背景技术：
随着数字技术的发展，人机交互中的输入技术正从传统的鼠标、键盘输入方式演变成多种多样的输入方式。如随着智能手机和平板电脑的流行，更加人性化的直接屏幕手势输入方法已被广泛应用，最新的WindoWS7已正式支持手势输入方式，这使得输入能够直接在输出图像的屏幕上进行，即屏幕直接输入，从而无需外接键盘和鼠标。另一方面，在教学、展览、娱乐等大型屏幕的输入上，操作者往往远离屏幕采用遥控或连线的方式输入。近年广泛应用的激光笔、射频遥控以及摄像头和图像处理技术，使得非接触式屏幕输入成为可能。触屏输入是通过在屏幕上安装特定的位置检测装置(如电容膜、电阻膜、红外光电矩阵等)来实现，由用户手指在触摸屏表面触碰产生信号变换实现控制操作，通过使用专门的触摸屏或电子白板可以实现接触式手势输入，能够直接在屏幕上书写文字、移动鼠标指针等。在屏幕上直接进行输入的方式是未来发展的方向，小型电子产品可以直接触屏输入，在输入面积较小时成本很低，应用广泛，但触屏技术在普通电脑屏幕以及大屏幕展示、 游戏娱乐等领域则存在诸多问题。1.触屏输入需要采用专门的设备，这就需要将当前广泛使用的液晶显示器和CRT 显示器更换成触摸屏显示器，在教学、展览、娱乐中广泛应用的投影屏幕则需要更换为电子白板。电子白板、激光投影系统不仅价格较高，且占用空间、需要独立安装布线，另外，屏幕的定位校准工作较为繁琐。2.目前的手势输入是接触式输入，即必须接触或非常靠近屏幕进行，这样存在屏幕磨损以及卫生等问题，大于人体活动范围的大型投影幕上也不便实现接触式手势输入。3.遥控鼠标激光笔虽然可以实现非接触式控制，但鼠标指针仍然需要在细小的激光笔上安装按键或轨迹球操作，操作方便性受到限制，使用者难以获得好的操作体验，且激光笔无法在普通屏幕上书写。
发明内容
为了解决上述问题，本发明提供一种结构简单、成本低廉、既可实现远程非接触式控制又能实现近距离屏幕直接输入的屏幕视觉鼠标系统及其实现方法。一种屏幕视觉鼠标系统，包括激光操控笔和综合接收装置；
所述激光操控笔安装有功能按键、将功能按键的控制信号发射出去的射频发射模块， 以及向待操作屏幕发射可见光和红外光的双波长激光发射模组；
所述综合接收装置包括获取待操作屏幕的影像信息的摄像头模组、接收所述射频发射模块的发射信号的射频接收模块、处理摄像头模组和射频接收模块获取的信息的信号处理模块；所述信号处理模块输出端设有与电脑主机建立通信的连接器；所述摄像头模组外安装有可移动的、能过滤可见光的红外滤镜；
所述激光操控笔的笔尖周围安装有多个能够接收从物体近距离反射回的红外光的红外接收管，所述红外光接收管与所述射频发射模块连接。其中，所述屏幕视觉鼠标系统还包括红外书写笔，所述红外书写笔包括能发出可见光和红外光的双波长发光二极管，以及控制双波长发光二极管的弹簧触点装置。其中，所述连接器为有线连接所述综合接收装置和电脑主机、带有USB插头的电缆线，或者为无线连接所述综合接收装置和电脑主机的发射器和无线接收器。其中，所述综合接收装置还包括带有透明窗口的外壳，所述外壳设有固定综合接收装置的定位孔。其中，所述功能按键包括鼠标左键、鼠标右键、键盘I^geUp键、键盘PageDown键。其中，所述激光操控笔还设有分别控制可见光和红外光开启和关闭的激光开关。一种屏幕视觉鼠标系统的实现方法，包括远离待操作屏幕操作的远程操控方法， 以及与待操作屏幕近距离接触的触屏操控方法；
所述远程操控方法的步骤包括
A.将综合接收装置安装于待操作屏幕斜上方、左侧或者背面，摄像头模组自动校准； 所述摄像头模组自动校准是指
待操作屏幕上显示标准棋盘方格图像，摄像头模组获取待操作屏幕上的棋盘方格图像，并与标准棋盘方格图像进行对比，计算并存储摄像点与实际屏幕点的矩阵映射变换参数，最后在屏幕上显示校准完成；
B.激光操控笔向待操作屏幕发射双波长激光束，待操作屏幕上形成可见的光点，综合接收装置中的摄像头模组获取该光点的红外光影像；
C.综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行滤波消噪处理后识别光点图像坐标，经与矩阵映射变换参数计算后得到相应的屏幕实际坐标，该屏幕实际坐标数据进入轨迹数据队列；
D.光点的屏幕实际坐标通过连接器传送到电脑主机，电脑主机控制待操作屏幕上的光标移动到光点的坐标位置；
E.点击激光操控笔上的功能按键，激光操控笔上的射频发射模块将该功能按键的控制信号发射出去；
F.综合接收装置的射频接收模块接收到射频发射模块发出的控制信号，并将其传送到信号处理模块，信号处理模块对该控制信号进行解码转换为控制指令，连接器将该控制指令传送到电脑主机，电脑主机执行该控制指令并显示在待操作屏幕上；
所述触屏操控方法的步骤包括
步骤一将综合接收装置安装于待操作屏幕斜上方、左侧或者背面，摄像头模组自动校
准；
所述摄像头模组自动校准是指
待操作屏幕上显示标准棋盘方格图像，摄像头模组获取待操作屏幕上的棋盘方格图像，并与标准棋盘方格图像进行对比，计算并存储摄像点与实际屏幕点的矩阵映射变换参数，最后在屏幕上显示校准完成；
步骤二 激光操控笔向待操作屏幕发射双波长激光束，待操作屏幕上形成可见的光点， 将激光操控笔笔尖触及屏幕，当笔尖距离屏幕小于5mm时，激光操控笔上的红外接收管接收到从屏幕上反射回来的红外光；
步骤三红外接收管接收到的红外光驱动激光操控笔的射频发射模块发射按下鼠标左键的控制信号；
步骤四综合接收装置的射频接收模块接收到射频发射模块发出的控制信号，并将其传送到信号处理模块，信号处理模块对该控制信号进行解码转换为控制指令，连接器将该控制指令传送到电脑主机，电脑主机执行鼠标左键控制指令并将结果显示在待操作屏幕上；
步骤五用激光操控笔点击待操作屏幕上的应用软件书写功能，进入书写状态； 步骤六激光操控笔在待操作屏幕上移动，投射在待操作屏幕上的光点位置也随之变化，综合接收装置中的摄像头模组获取该光点的红外光影像；
步骤七综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行滤波消噪处理后识别光点图像坐标，经与矩阵映射变换参数计算后得到相应的屏幕实际坐标，该屏幕实际坐标数据进入轨迹数据队列；
步骤八光点的屏幕实际坐标通过连接器传送到电脑主机，电脑主机控制待操作屏幕上的鼠标指针移动到光点的坐标位置，在鼠标指针经过的位置，待操作屏幕上出现激光操控笔移动的轨迹；
步骤九将激光操控笔的笔尖远离待操作屏幕，当笔尖距离屏幕大于等于5mm时，红外接收管接收到的红外光信号消失，射频发射模块停止发射信号，鼠标指针还原，结束轨迹绘制。其中，所述触屏操控方法还包括基于多光点识别的多人输入方式步骤十激光操控笔在待操作屏幕上照射形成一个光点，将红外书写笔的笔尖触压屏幕，红外书写笔的弹簧触点装置接通双波长发光二极管电源，发出可见光和红外光，红外书写笔在待操作屏幕上照射形成另一个光点，综合接收装置中的摄像头模组获取两个光点的红外光影像；
步骤十一综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行移动轨迹提取，并将提取的信息传送至电脑主机，电脑主机做出相应的响应并显示在待操作屏眷上ο其中，所述远程操控方法还包括基于多光点识别的多人输入方式G.激光操控笔在待操作屏幕上照射形成一个光点，将红外书写笔的笔尖触压屏幕，红外书写笔的弹簧触点装置接通双波长发光二极管电源，发出可见光和红外光，红外书写笔在待操作屏幕上照射形成另一个光点，综合接收装置中的摄像头模组获取两个光点的红外光影像；
H.综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行移动轨迹提取，并将提取的信息传送至电脑主机，电脑主机做出相应的响应并显示在待操作屏幕上。其中，所述步骤A和步骤一中的计算并存储摄像点与实际屏幕点的矩阵映射变换参数具体是指
信号处理模块从摄像头模组摄取的图像中提取棋盘方格的四角坐标(xl，yl)、(x2， y2)、(x3, y3)和(x4，y4)，结合标准棋盘方格图形的实际坐标(XI，Yl)、(X2，Y2)、(X3，Y3)
权利要求
1.一种屏幕视觉鼠标系统，其特征在于包括激光操控笔和综合接收装置；所述激光操控笔安装有功能按键、将功能按键的控制信号发射出去的射频发射模块， 以及向待操作屏幕发射可见光和红外光的双波长激光发射模组；所述综合接收装置包括获取待操作屏幕的影像信息的摄像头模组、接收所述射频发射模块的发射信号的射频接收模块、处理摄像头模组和射频接收模块获取的信息的信号处理模块；所述信号处理模块输出端设有与电脑主机建立通信的连接器；所述摄像头模组外安装有可移动的、能过滤可见光的红外滤镜；所述激光操控笔的笔尖周围安装有多个能够接收从物体近距离反射回的红外光的红外接收管，所述红外光接收管与所述射频发射模块连接。
2.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述屏幕视觉鼠标系统还包括红外书写笔，所述红外书写笔包括能发出可见光和红外光的双波长发光二极管， 以及控制双波长发光二极管的弹簧触点装置。
3.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述连接器为有线连接所述综合接收装置和电脑主机、带有USB插头的电缆线，或者为无线连接所述综合接收装置和电脑主机的发射器和无线接收器。
4.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述综合接收装置还包括带有透明窗口的外壳，所述外壳设有固定综合接收装置的定位孔。
5.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述功能按键包括鼠标左键、鼠标右键、键盘I^ageUp键、键盘I^ageDown键。
6.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述激光操控笔还设有分别控制可见光和红外光开启和关闭的激光开关。
7.—种如权利要求1至6任一项所述屏幕视觉鼠标系统的实现方法，其特征在于包括远离待操作屏幕操作的远程操控方法，以及与待操作屏幕近距离接触的触屏操控方法；所述远程操控方法的步骤包括A.将综合接收装置安装于待操作屏幕斜上方、左侧或者背面，摄像头模组自动校准；所述摄像头模组自动校准是指待操作屏幕上显示标准棋盘方格图像，摄像头模组获取待操作屏幕上的棋盘方格图像，并与标准棋盘方格图像进行对比，计算并存储摄像点与实际屏幕点的矩阵映射变换参数，最后在屏幕上显示校准完成；B.激光操控笔向待操作屏幕发射双波长激光束，待操作屏幕上形成可见的光点，综合接收装置中的摄像头模组获取该光点的红外光影像；C.综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行滤波消噪处理后识别光点图像坐标，经过与校准参数计算后得到相应的屏幕实际坐标，该屏幕实际坐标数据进入轨迹数据队列；D.光点的屏幕实际坐标通过连接器传送到电脑主机，电脑主机控制待操作屏幕上的光标移动到光点的坐标位置；E.点击激光操控笔上的功能按键，激光操控笔上的射频发射模块将该功能按键的控制信号发射出去；F.综合接收装置的射频接收模块接收到射频发射模块发出的控制信号，并将其传送到信号处理模块，信号处理模块对该控制信号进行解码转换为控制指令，连接器将该控制指令传送到电脑主机，电脑主机执行该控制指令并显示在待操作屏幕上；所述触屏操控方法的步骤包括步骤一将综合接收装置安装于待操作屏幕斜上方、左侧或者背面，摄像头模组自动校准；所述摄像头模组自动校准是指待操作屏幕上显示标准棋盘方格图像，摄像头模组获取待操作屏幕上的棋盘方格图像，并与标准棋盘方格图像进行对比，计算并存储摄像点与实际屏幕点的矩阵映射变换参数，最后在屏幕上显示校准完成；步骤二 激光操控笔向待操作屏幕发射双波长激光束，待操作屏幕上形成可见的光点， 将激光操控笔笔尖触及屏幕，当笔尖距离屏幕小于5mm时，激光操控笔上的红外接收管接收到从屏幕上反射回来的红外光；步骤三红外接收管接收到的红外光驱动激光操控笔的射频发射模块发射按下鼠标左键的控制信号；步骤四综合接收装置的射频接收模块接收到射频发射模块发出的控制信号，并将其传送到信号处理模块，信号处理模块对该控制信号进行解码转换为控制指令，连接器将该控制指令传送到电脑主机，电脑主机执行鼠标左键控制指令并将结果显示在待操作屏幕上；步骤五用激光操控笔点击待操作屏幕上的应用软件书写功能，进入书写状态；步骤六激光操控笔在待操作屏幕上移动，投射在待操作屏幕上的光点位置也随之变化，综合接收装置中的摄像头模组获取该光点的红外光影像；步骤七综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行滤波消噪处理后识别光点图像坐标，经与矩阵映射变换参数计算后得到相应的屏幕实际坐标，该屏幕实际坐标数据进入轨迹数据队列；步骤八光点的屏幕实际坐标通过连接器传送到电脑主机，电脑主机控制待操作屏幕上的鼠标指针移动到光点的坐标位置，在鼠标指针经过的位置，待操作屏幕上出现激光操控笔移动的轨迹；步骤九将激光操控笔的笔尖远离待操作屏幕，当笔尖距离屏幕大于等于5mm时，红外接收管接收到的红外光信号消失，射频发射模块停止发射信号，鼠标指针还原，结束轨迹绘制。
8.根据权利要求7所述的一种屏幕视觉鼠标系统的实现方法，其特征在于所述触屏操控方法还包括基于多光点识别的多人输入方式步骤十激光操控笔在待操作屏幕上照射形成一个光点，将红外书写笔的笔尖触压屏幕，红外书写笔的弹簧触点装置接通双波长发光二极管电源，发出可见光和红外光，红外书写笔在待操作屏幕上照射形成另一个光点， 综合接收装置中的摄像头模组获取两个光点的红外光影像；步骤十一综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行移动轨迹提取，并将提取的信息传送至电脑主机，电脑主机做出相应的响应并显示在待操作屏眷上ο
9.根据权利要求7所述的一种屏幕视觉鼠标系统的实现方法，其特征在于所述远程操控方法还包括基于多光点识别的多人输入方式G.激光操控笔在待操作屏幕上照射形成一个光点，将红外书写笔的笔尖触压屏幕，红外书写笔的弹簧触点装置接通双波长发光二极管电源，发出可见光和红外光，红外书写笔在待操作屏幕上照射形成另一个光点，综合接收装置中的摄像头模组获取两个光点的红外光影像；H.综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行移动轨迹提取，并将提取的信息传送至电脑主机，电脑主机做出相应的响应并显示在待操作屏幕上。
10.根据权利要求7所述的一种屏幕视觉鼠标系统的实现方法，其特征在于所述步骤 A和步骤一中的计算并存储摄像点与实际屏幕点的矩阵映射变换参数具体是指信号处理模块从摄像头模组摄取的图像中提取棋盘方格的四角坐标(xl，yl)、(x2， y2)、(x3, y3)和(x4，y4)，结合标准棋盘方格图形的实际坐标(XI，Yl)、(X2，Y2)、(X3，Y3) 和(X4，Y4)，通过下列方程组计算校准参数
全文摘要
本发明公开了一种屏幕视觉鼠标系统及其实现方法，属于计算机输入设备技术领域。一种屏幕视觉鼠标系统，包括激光操控笔和综合接收装置；所述激光操控笔安装有功能按键、射频发射模块和双波长激光发射模组；所述综合接收装置包括摄像头模组、射频接收模块、处理摄像头模组和射频接收模块获取的信息的信号处理模块；所述信号处理模块输出端设有与电脑主机建立通信的连接器；所述激光操控笔的笔尖周围安装有多个红外接收管，所述红外光接收管与所述射频发射模块连接。本发明结构简单，成本低廉，既可实现远程非接触式控制又能实现近距离屏幕直接输入，还可将实物影像进行屏幕放大。
文档编号G06F3/033GK102253737SQ201110144608
公开日2011年11月23日 申请日期2011年5月31日 优先权日2011年5月31日
发明者王晶, 王石, 黄慧 申请人:王石