专利名称：一种屏幕视觉鼠标系统的制作方法
技术领域：
本实用新型属于计算机输入设备技术领域，具体涉及一种屏幕视觉鼠标系统。
背景技术：
随着数字技术的发展，人机交互中的输入技术正从传统的鼠标、键盘输入方式演变成多种多样的输入方式。如随着智能手机和平板电脑的流行，更加人性化的直接屏幕手势输入方法已被广泛应用，最新的WindoWS7已正式支持手势输入方式，这使得输入能够直接在输出图像的屏幕上进行，即屏幕直接输入，从而无需外接键盘和鼠标。另一方面，在教学、展览、娱乐等大型屏幕的输入上，操作者往往远离屏幕采用遥控或连线的方式输入。近年广泛应用的激光笔、射频遥控以及摄像头和图像处理技术，使得非接触式屏幕输入成为可能。触屏输入是通过在屏幕上安装特定的位置检测装置(如电容膜、电阻膜、红外光电矩阵等)来实现，由用户手指在触摸屏表面触碰产生信号变换实现控制操作，通过使用专门的触摸屏或电子白板可以实现接触式手势输入，能够直接在屏幕上书写文字、移动鼠标指针等。在屏幕上直接进行输入的方式是未来发展的方向，小型电子产品可以直接触屏输入，在输入面积较小时成本很低，应用广泛，但触屏技术在普通电脑屏幕以及大屏幕展示、 游戏娱乐等领域则存在诸多问题。1.触屏输入需要采用专门的设备，这就需要将当前广泛使用的液晶显示器和CRT 显示器更换成触摸屏显示器，在教学、展览、娱乐中广泛应用的投影屏幕则需要更换为电子白板。电子白板、激光投影系统不仅价格较高，且占用空间、需要独立安装布线，另外，屏幕的定位校准工作较为繁琐。2.目前的手势输入是接触式输入，即必须接触或非常靠近屏幕进行，这样存在屏幕磨损以及卫生等问题，大于人体活动范围的大型投影幕上也不便实现接触式手势输入。3.遥控鼠标激光笔虽然可以实现非接触式控制，但鼠标指针仍然需要在细小的激光笔上安装按键或轨迹球操作，操作方便性受到限制，使用者难以获得好的操作体验，且激光笔无法在普通屏幕上书写。
实用新型内容为了解决上述问题，本实用新型提供一种结构简单、成本低廉、既可实现远程非接触式控制又能实现近距离屏幕直接输入的屏幕视觉鼠标系统。一种屏幕视觉鼠标系统，包括激光操控笔和综合接收装置；所述激光操控笔安装有功能按键、将功能按键的控制信号发射出去的射频发射模块，以及向待操作屏幕发射可见光和红外光的双波长激光发射模组；所述综合接收装置包括获取待操作屏幕的影像信息的摄像头模组、接收所述射频发射模块的发射信号的射频接收模块、处理摄像头模组和射频接收模块获取的信息的信号处理模块；所述信号处理模块输出端设有与电脑主机建立通信的连接器；所述摄像头模组外安装有可移动的、能过滤可见光的红外滤镜；所述激光操控笔的笔尖周围安装有多个能够接收从物体近距离反射回的红外光的红外接收管，所述红外光接收管与所述射频发射模块连接。其中，所述屏幕视觉鼠标系统还包括红外书写笔，所述红外书写笔包括能发出可见光和红外光的双波长发光二极管，以及控制双波长发光二极管的弹簧触点装置。其中，所述连接器为有线连接所述综合接收装置和电脑主机、带有USB插头的电缆线，或者为无线连接所述综合接收装置和电脑主机的发射器和无线接收器。其中，所述综合接收装置还包括带有透明窗口的外壳，所述外壳设有固定综合接收装置的定位孔。其中，所述功能按键包括鼠标左键、鼠标右键、键盘I^geUp键、键盘PageDown键。其中，所述激光操控笔还设有分别控制可见光和红外光开启和关闭的激光开关。其中，所述射频发射模块为NRF24L01射频发射模块。本实用新型的有益效果是1.本实用新型的屏幕视觉鼠标系统结合了光电定位和射频遥控技术，运用红外摄像和射频通讯配合来移动和点击鼠标。较好的运用了激光的强指向性特点实现屏幕远距离定位，同时又运用射频无指向性特点实现全方位无死角遥控。2.激光操控笔上安装有双波长激光发射模组，可为双波长激光管，红外书写笔上安装有双波长发光二极管。可见光投射在屏幕上形成光点，起到普通激光笔的指示效果，红外光通过滤镜后被摄像头摄取用来定位，有效避免可见光的干扰。3.激光操控笔的可见光部分不用于识别，可灵活配置。既可以选用红色激光也可以是绿色、蓝色激光。操作者可以只发射红外光部分实现无可见光点的屏幕交互，也可以只发射可见光部分而忽略与屏幕的交互。4.激光操控笔运用光反射接近开关原理实现接近屏幕时自动点击鼠标左键。即在笔尖周围装有多个红外接收管，用于测量笔尖是否接近屏幕，当笔尖接近屏幕书写时，红外接收管能收到从屏幕上反射回的红外光，相当于按下鼠标左键，在不需按键的情况下就能实现在屏幕上的单击、双击、拖动和书写功能。在笔上设计多个红外接收管，能确保笔尖以任何姿势靠近屏幕时，所反射的光线都总能被接收到。5.激光操控笔上安装有射频发射模块，能够发射鼠标或键盘按键信号。6.本实用新型的屏幕视觉鼠标系统还设计了一种成本低廉、结构实用的双波长红外书写笔，可与激光操控笔配合使用，实现屏幕手势操作，也可实现多人同时屏幕书写。7.本实用新型的屏幕视觉鼠标系统可在不同尺寸、材质屏幕的计算机上安装，可应用于包括普通显示屏、幕布、墙幕、LED阵列等任何显示屏。系统通过标准图像和摄取图像的比对进行自动校准，不需人工辅助，不受屏幕分辨率影响。8.本实用新型的屏幕视觉鼠标系统的接收装置整合了摄像头模组、射频接收模块和信号处理模块，与普通USB鼠标一样只需占用电脑主机的一个USB接口与电脑连接，但实现了普通鼠标不能实现的多点屏幕交互功能，还可采用无线鼠标方式连接，无需布线。
[0027]图1为本实用新型的屏幕视觉鼠标系统远程操控实施场景图。图2为本实用新型的屏幕视觉鼠标系统触屏操控实施场景图。图3为图2的多人输入方式实施场景图。图4为本实用新型的屏幕视觉鼠标系统远程操控的流程示意图。图5为本实用新型的屏幕视觉鼠标系统触屏操控的流程示意图。
具体实施方式
为了使实用新型的目的、技术方案及优点更加清楚明白，
以下结合附图及实施例， 对本实用新型进行进一步详细说明。具体实施例参见图1至图5，一种屏幕视觉鼠标系统，包括激光操控笔和综合接收装置；所述激光操控笔安装有功能按键、将功能按键的控制信号发射出去的射频发射模块，以及向待操作屏幕发射可见光和红外光的双波长激光发射模组；所述综合接收装置包括获取待操作屏幕的影像信息的摄像头模组、接收所述射频发射模块的发射信号的射频接收模块、处理摄像头模组和射频接收模块获取的信息的信号处理模块；所述信号处理模块输出端设有与电脑主机建立通信的连接器；所述摄像头模组外安装有可移动的、能过滤可见光的红外滤镜；该红外滤镜被设置成可自动移动部件或手动移动部件；所述激光操控笔的笔尖周围安装有多个能够接收从物体近距离反射回的红外光的红外接收管，以及相关的笔尖光路结构，所述红外光接收管与所述射频发射模块连接。其中，所述屏幕视觉鼠标系统还包括红外书写笔，所述红外书写笔包括能发出可见光和红外光的双波长发光二极管，以及控制双波长发光二极管的弹簧触点装置。其中，所述连接器为有线连接所述综合接收装置和电脑主机、带有USB插头的电缆线，或者为无线连接所述综合接收装置和电脑主机的发射器和无线接收器。其中，所述综合接收装置还包括带有透明窗口的外壳，所述外壳设有固定综合接收装置的定位孔。其中，所述功能按键包括鼠标左键、鼠标右键、键盘I^geUp键、键盘PageDown键。其中，所述激光操控笔还设有控制激光开启和关闭的激光开关。其中，所述射频发射模块为NRF24L01射频发射模块。综合接收装置的信号处理模块装有微处理器，所述微处理器采用一片STM32F103 增强型高速32位微处理器，对摄像头模组传回的图像进行快速处理，快速识别一个或多个红外光点位置，该处理器的一组数据输入与摄像头模组的数字输出端相连，另一组数据输入与射频接收模块的数据输出端相连。微处理器识别光点位置的方法是对视频帧图像进行逐行扫描，累加亮区的像素量，当像素量达到设定值时则认为该位置存在光点。当扫描到另一亮区累加像素量达到设定值时，则认为有一个以上的光点(即多支光笔)。一种屏幕视觉鼠标系统的实现方法，包括远离待操作屏幕操作的远程操控方法， 以及与待操作屏幕近距离接触的触屏操控方法；所述远程操控方法的步骤包括A.将综合接收装置安装于待操作屏幕斜上方、左侧或者背面，摄像头模组自动校准；所述摄像头模组自动校准是指待操作屏幕上显示标准棋盘方格图像，摄像头模组获取待操作屏幕上的棋盘方格图像，并与标准棋盘方格图像进行对比，计算并存储摄像点与实际屏幕点的矩阵映射变换参数，最后在屏幕上显示校准完成；B.激光操控笔向待操作屏幕发射双波长激光束，待操作屏幕上形成可见的光点， 综合接收装置中的摄像头模组获取该光点的红外光影像；C.综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行滤波消噪处理后识别光点图像坐标，经过与校准参数计算后得到相应的屏幕实际坐标，该屏幕实际坐标数据进入轨迹数据队列；D.光点的屏幕实际坐标通过连接器传送到电脑主机，电脑主机控制待操作屏幕上的光标移动到光点的坐标位置；电脑主机通过投影仪等设备将图像投影到待操作屏幕；E.点击激光操控笔上的功能按键，激光操控笔上的射频发射模块将该功能按键的控制信号发射出去；F.综合接收装置的射频接收模块接收到射频发射模块发出的控制信号，并将其传送到信号处理模块，信号处理模块对该控制信号进行解码转换为控制指令，连接器将该控制指令传送到电脑主机，电脑主机执行该控制指令并显示在待操作屏幕上；综合接收装置接收屏幕的光点，通过信号处理模块产生类似普通光电鼠标检测光点移动的鼠标移动数据，该鼠标移动数据发送到电脑主机，可产生普通鼠标移动相同的效果；所述触屏操控方法的步骤包括步骤一将综合接收装置安装于待操作屏幕斜上方、左侧或者背面，摄像头模组自动校准；所述摄像头模组自动校准是指待操作屏幕上显示标准棋盘方格图像，摄像头模组获取待操作屏幕上的棋盘方格图像，并与标准棋盘方格图像进行对比，计算并存储摄像点与实际屏幕点的矩阵映射变换参数，最后在屏幕上显示校准完成；步骤二激光操控笔向待操作屏幕发射双波长激光束，待操作屏幕上形成可见的光点，将激光操控笔笔尖触及屏幕，当笔尖距离屏幕小于5mm时，激光操控笔上的红外接收管接收到从屏幕上反射回来的红外光；步骤三红外接收管接收到的红外光驱动激光操控笔的射频发射模块发射按下鼠标左键的控制信号；步骤四综合接收装置的射频接收模块接收到射频发射模块发出的控制信号，并将其传送到信号处理模块，信号处理模块对该控制信号进行解码转换为控制指令，连接器将该控制指令传送到电脑主机，电脑主机执行鼠标左键控制指令并将结果显示在待操作屏幕上；步骤五用激光操控笔点击待操作屏幕上的应用软件书写功能，进入书写状态；步骤六激光操控笔在待操作屏幕上移动，投射在待操作屏幕上的光点位置也随之变化，综合接收装置中的摄像头模组获取该光点的红外光影像；步骤七综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行滤波消噪处理后识别光点图像坐标，经查询坐标映射表后得到相应的屏幕实际坐标，该屏幕实际坐标数据进入轨迹数据队列；步骤八光点的屏幕实际坐标通过连接器传送到电脑主机，电脑主机控制待操作屏幕上的鼠标指针移动到光点的坐标位置，在鼠标指针经过的位置，待操作屏幕上出现激光操控笔移动的轨迹；步骤九将激光操控笔的笔尖远离待操作屏幕，当笔尖距离屏幕大于等于5mm时， 红外接收管接收到的红外光信号消失，射频发射模块停止发射信号，鼠标指针还原，结束轨迹绘制。其中，所述触屏操控方法还包括基于多光点识别的多人输入方式步骤十激光操控笔在待操作屏幕上照射形成一个光点，将红外书写笔的笔尖触压屏幕，红外书写笔的弹簧触点装置触发双波长发光二极管发出可见光和红外光，红外书写笔在待操作屏幕上照射形成另一个光点，综合接收装置中的摄像头模组获取两个光点的红外光影像；步骤十一综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行移动轨迹提取，并将提取的信息传送至电脑主机，电脑主机做出相应的响应并显示在待操作屏幕上。其中，所述远程操控方法还包括基于多光点识别的多人输入方式G.激光操控笔在待操作屏幕上照射形成一个光点，将红外书写笔的笔尖触压屏幕，红外书写笔的弹簧触点装置触发双波长发光二极管发出可见光和红外光，红外书写笔在待操作屏幕上照射形成另一个光点，综合接收装置中的摄像头模组获取两个光点的红外光影像；H.综合接收装置中的信号处理模块对摄像头模组获取的红外光影像进行移动轨迹提取，并将提取的信息传送至电脑主机，电脑主机做出相应的响应并显示在待操作屏幕上。其中，所述步骤A和步骤一中的计算并存储摄像点与实际屏幕点的矩阵映射变换参数具体是指信号处理模块从摄像头模组摄取的图像中提取棋盘方格的四角坐标(xl，yl)、 (x2，y2 )、( x3，y3 )和(x4，y4)，结合标准棋盘方格图形的实际坐标(Xl，Yl)、(X2，Y2 )、(X3， Y3)和(X4，Y4)，通过下列方程组计算校准参数A、B、C、D、E、F、G、H
xl
>'1
72
O
0 0 0
χ4 O
■ X2*y2 -X3*y3 ■XA*yA -71 * vl
-Y2 *j2 -Y3
-T4*y4信号处理模块通过高斯消元法求解方程组，然后将A、B、C、D、E、F、G、H的值存储在Flash内存中；从内存中读取A、B、C、D、E、F、G、H的值，通过下式将摄像坐标(x，y)映射到屏幕实
O O O O
0 0 0
O
Xl
x4
O
少2
-Xl -JC2 -X3 -X4 -Yl -Y2
A B
■Y4
D B F G H
Π* xl
Χ3*χΖ Χ4*χΑ YV* χ Υ2*χ2
Υ3*χ3
7际坐标(X，Y)X= (A*x+B*y+C)/(x+G*y+H)； Y= (D*x+E*y+F)/(x+G*y+H)。本实用新型的屏幕视觉鼠标系统还可以将实物放大到屏幕展示(该方式可使屏幕具有实物投影仪的功能)设置电脑主机软件进入实物投影放大模式，将摄像头模组的红外滤光片移开，摄取可见光屏幕影像，并在屏幕图像左下角显示一个白色实物取像区；将需要放大投影的实物(书本纸张等印刷品、学生习作等)固定在屏幕的实物取像区位置；摄像头模组从摄取的屏幕影像中提取实物取像区的图像，对图像进行滤波和对比度增强，然后放大至全屏幕显示(该全屏图像不覆盖屏幕的白色取像区域)。本实用新型的屏幕视觉鼠标系统的有益效果是1.本实用新型的屏幕视觉鼠标系统结合了光电定位和射频遥控技术，运用红外摄像和射频通讯配合来移动和点击鼠标。 较好的运用了激光的强指向性特点实现屏幕远距离定位，同时又运用射频无指向性特点实现全方位无死角遥控。2.激光操控笔上安装有双波长激光发射模组，可为双波长激光管，红外书写笔上安装有双波长发光二极管。660nm波长的可见光投射在屏幕上形成光点，起到普通激光笔的指示效果，同时780nm波长的红外光通过滤镜后被摄像头摄取用来定位，有效避免可见光的干扰。3.激光操控笔的可见光部分不用于识别，可灵活配置。既可以选用红色激光也可以是绿色、蓝色激光。操作者可以只发射红外光部分实现无可见光点的屏幕交互，也可以只发射可见光部分而忽略与屏幕的交互。4.激光操控笔运用光反射接近开关原理实现接近屏幕时自动点击鼠标左键。即在笔尖周围装有多个红外接收管，用于测量笔尖是否接近屏幕，当笔尖接近屏幕书写时，红外接收管能收到从屏幕上反射回的红外光，相当于按下鼠标左键，在不需按键的情况下就能实现在屏幕上的单击、双击、拖动和书写功能。在笔上设计多个红外接收管，能确保笔尖以任何姿势靠近屏幕时，所反射的光线都总能被接收到。5.激光操控笔上安装有射频发射模块，能够发射鼠标或键盘按键信号。6.本实用新型的屏幕视觉鼠标系统还设计了一种成本低廉、结构实用的双波长红外书写笔，可与激光操控笔配合使用，实现屏幕手势操作，也可实现多人同时屏幕书写。7.本实用新型的屏幕视觉鼠标系统可在不同尺寸、材质屏幕的计算机上安装，可应用于包括普通显示屏、幕布、墙幕、LED阵列等任何显示屏。系统通过标准图像和摄取图像的比对进行自动校准，不需人工辅助，不受屏幕分辨率影响。8.本实用新型的屏幕视觉鼠标系统的接收装置整合了摄像头模组、射频接收模块和信号处理模块，与普通USB鼠标一样只需占用电脑主机的一个USB接口与电脑连接，但实现了普通鼠标不能实现的多点屏幕交互功能，还可采用无线鼠标方式连接，无需布线。以上内容仅为本实用新型的较佳实施例，对于本领域的普通技术人员，依据本实用新型的思想，在具体实施方式
及应用范围上均会有改变之处，本说明书内容不应理解为对本实用新型的限制。
权利要求1.一种屏幕视觉鼠标系统，其特征在于包括激光操控笔和综合接收装置；所述激光操控笔安装有功能按键、将功能按键的控制信号发射出去的射频发射模块， 以及向待操作屏幕发射可见光和红外光的双波长激光发射模组；所述综合接收装置包括获取待操作屏幕的影像信息的摄像头模组、接收所述射频发射模块的发射信号的射频接收模块、处理摄像头模组和射频接收模块获取的信息的信号处理模块；所述信号处理模块输出端设有与电脑主机建立通信的连接器；所述摄像头模组外安装有可移动的、能过滤可见光的红外滤镜；所述激光操控笔的笔尖周围安装有多个能够接收从物体近距离反射回的红外光的红外接收管，所述红外光接收管与所述射频发射模块连接。
2.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述屏幕视觉鼠标系统还包括红外书写笔，所述红外书写笔包括能发出可见光和红外光的双波长发光二极管， 以及控制双波长发光二极管的弹簧触点装置。
3.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述连接器为有线连接所述综合接收装置和电脑主机、带有USB插头的电缆线，或者为无线连接所述综合接收装置和电脑主机的发射器和无线接收器。
4.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述综合接收装置还包括带有透明窗口的外壳，所述外壳设有固定综合接收装置的定位孔。
5.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述功能按键包括鼠标左键、鼠标右键、键盘I^ageUp键、键盘I^ageDown键。
6.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述激光操控笔还设有分别控制可见光和红外光开启和关闭的激光开关。
7.根据权利要求1所述的一种屏幕视觉鼠标系统，其特征在于所述射频发射模块为 NRF24L01射频发射模块。
专利摘要本实用新型公开了一种屏幕视觉鼠标系统，属于计算机输入设备技术领域，包括激光操控笔和综合接收装置；所述激光操控笔安装有功能按键、射频发射模块和双波长激光发射模组；所述综合接收装置包括摄像头模组、射频接收模块、处理摄像头模组和射频接收模块获取的信息的信号处理模块；所述信号处理模块输出端设有与电脑主机建立通信的连接器；所述激光操控笔的笔尖周围安装有多个红外接收管，所述红外光接收管与所述射频发射模块连接。本实用新型结构简单、成本低廉、既可实现远程非接触式控制又能实现近距离屏幕直接输入，还可将实物影像进行屏幕放大。
文档编号G06F3/033GK202110500SQ20112018042
公开日2012年1月11日 申请日期2011年5月31日 优先权日2011年5月31日
发明者王晶, 王石, 黄慧 申请人:王石