专利名称：一种远程交互笔及书写笔迹检测方法
技术领域：
本发明涉及计算机输入设备，尤其是一种远程交互笔及书写笔迹检测方法。
背景技术：
在新闻发布会、产品展示会、报告会、授课等活动中，投影机的使用越来越频繁而 且不可替代。然而目前使用投影机时有一个很大的缺憾，就是不能灵活地操作系统。有的 公司针对多媒体投影应用场合推出了基于电子感应原理的电子白板，利用白板和手写笔之 间的电磁感应实现手写笔的定位，实现用户可以像普通黑板一样在白板上进行书写圈画等 操作，但用户在白板上进行书写操作时，容易遮挡从背后投射过来的投影机光线，无法做到 远距离书写。在中国专利公开号为CN101071350的专利文献中，公开了一种通过识别动态轨迹 操作光标、视窗的装置，该装置通过采用图像摄取装置检测激光笔打在投影屏幕上的光点 的运动轨迹，经过图像识别算法，实现对光点的定位及运动轨迹的判断。市场上也有采用类 似技术的相关产品出现。利用该技术，用户可以实现远距离对任意投影屏幕的交互。但是 由于该技术方案需要在投影屏幕前架设图像摄取装置，增加了安装使用的复杂度，此外该 技术的图像识别效果还受周围环境的较大影响。在中国专利公开号为CN101320297A的专利文献中公开了一种无线空中鼠标，该 装置包括手持端和接收端两部分，通过在手持端上垂直安装陀螺仪来检测手腕在空间两轴 向的转动，用手腕在水平和垂直平面内转动的角度表示光标的移动距离。在中国专利公开 号为CN101110001A的专利文献中也公开了类似的方法，该方法实现了不依赖其它设备的 情况下与计算机的远距离交互。但是由于人对投影屏幕书写、标注等过程中，不仅是手腕空 间两轴向的转动，还有手臂的平动等，按照该技术方案形成的产品并不符合人的操作习惯。 此外由于低成本陀螺仪等惯性器件的精度限制，该方法还存在控制光标精度差、分辨率不 足的问题。另外，目前使用的鼠标、电子教鞭等输入设备都只能反映光标的二维运动信息，对 虚拟现实等需要反映光标三维运动信息的场合只能用光标的二维运动来模拟，或者需要采 用三维数据手套等复杂设备，缺少一种反应人手空间三维运动信息的简单有效的输入方 式。
发明内容
为了克服现有技术控制光标精度差、分辨率不足以及无法做到远距离书写的不 足，本发明提出了一种远程交互笔及书写笔迹检测方法。本发明解决其技术问题所采用的技术方案是包括手持端和接收端，手持端包括 惯性器件、超声测距模块、温度传感器、微处理器I和数据无线通讯模块；接收端包括与微 处理器II和数据无线通讯模块。其中，惯性器件测量获得书写运动过程中反映人手及手 臂运动的交互笔运动角速度和加速度信息，输出电压信号经滤波模块低通滤波后传输至模数转换模块，转换得到的数字信号送往微处理器I ；温度传感器测量环境温度后输出信号， 经模数转换模块转换后得到数字信号送往微处理器I，用以对惯性器件的输出信号进行温 漂补偿；超声测距模块测量交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号送往 微处理器I ；微处理器I对所获得的上述信号解算包括笔杆姿态、平动分量和转动分量的书 写运动特征量，并将获得的书写运动特征量与交互笔相对于屏幕和地面两个方向的距离变 化的脉冲信号进行融合和误差修正；同时根据人手空中对投影屏幕的书写运动模型进行运 动校正和书写运动意图的识别，将最终结果映射成为屏幕上的书写笔迹信息或者光标的二 维或三维运动信息，通过数据无线通讯模块发送给接收端。接收端通过数据无线通讯模块 接收手持端解算的屏幕上的书写笔迹信息或者光标的二维或三维运动信息，在微处理器II 的控制下发送给计算机主机。
所述的惯性传感器件包括一个三轴陀螺仪和两个三轴加速度计，两个三轴加速度 计分别安装于交互笔的笔杆两端，并且这两个三轴加速度计的三个敏感轴方向均分别与笔 杆惯性坐标系x、Y、z轴相平行；三轴陀螺仪的三个敏感轴方向分别与笔杆惯性坐标系x、Y、 Z轴相平行。所述的超声测距模块包括两组超声测距模块，并且两组超声测距模块相互垂直安 装；其中一组超声测距模块的敏感方向与笔杆轴向相平行，另一组超声测距模块的敏感方 向与笔杆轴向垂直。所述的手持端还包括书写控制模块，书写控制模块采用一组按键，包括光标对准 键、书写键、三维鼠标键以及与鼠标的左右键和滚轮的上下键对应的四个功能键。所述的微处理器II连接存储器，用于存放交互笔的PC端驱动程序。当主机接收 端第一次与PC机连接时，主机接收端首先注册为存储设备，然后自动运行存储器内的交互 笔驱动程序，免除了另外准备驱动安装光盘的不便。本发明还提出了一种远程交互笔实现书写笔迹检测的方法，包括以下步骤步骤一，基于人书写运动特点的运动特征量检测根据人对投影屏幕书写运动的 特点，将手臂的书写运动分解为在空间X轴和Y轴方向上手腕和手臂的转动以及手臂的平 动，即体现为交互笔的书写运动可以分解成为交互笔在X轴向和Y轴方向的转动和平动。测 量交互笔笔杆在空间三轴向的转动角速度信息、运动过程中笔杆头部和尾部的三轴加速度 信息，同时测量笔杆相对于屏幕方向和地面方向的相对运动信息；对环境温度信息进行测 量。步骤二，笔杆运动特征量的确定对传感器测得的笔杆头部加速度信息、笔杆尾部 加速度信息、笔杆转动角速度信息和温度信息进行书写运动特征量的确定，具体过程包括 以下步骤a.数据预处理采用中值滤波算法对对传感器测得的笔杆头部的三轴加速度信 息、笔杆尾部的三轴加速度信息、笔杆三轴向的转动角速度信息和温度信息进行滤波；根据 环境温度信息，采用最小二乘法对滤波后得到的各信息进行温度补偿，减小传感器的零点 漂移；b.转动特征量的确定分别对笔杆在X轴方向和Y轴方向的转动角速度进行确 定；对笔杆两端在X轴方向的运动加速度的差值进行积分运算，得到笔杆在该方向的转动 角速度，并与该方向陀螺仪直接测得的笔杆转动角速度值通过卡尔曼滤波进行数据融合；采用同样方法实现对Y轴向转动角速度的确定；c.笔杆姿态的确定1)通过四元数旋转矢量法三子样算法对笔杆的姿态角进行计算 q为笔杆任意时刻的姿态四元数，其中(g)表示四元数乘法，q(k+l)和q(k)分别 为tk+1和tk时刻笔杆的姿态四元数，θ ^、Ψ为笔杆任意时刻的俯仰角滚转角和航向角；
Q(dt)为从tk到tk+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下 φη φ φη Δ (9= ω( ) + 3ω( + -) + 3ω( + -Η) + ω( + K)—
338其中沙(0，^^ + |)，^ + (t+h)分别为姿态更新周期h时间段内，转动 传感器件的三次角速率等间隔采样值；2)根据公式(9)判断笔杆是否处于加速运动，当公式(9)左边部分小于阈值ε 时，可判定笔杆处于无加速运动，ε取三轴加速度计三轴静态噪声方差方均根的三倍；当 无加速运动时利用笔杆下端的加速度计的输出，根据公式(10)对笔杆的俯仰角和滚转角 进行计算。^ax2 +ay2 +az2 -g <ε(9)
其为A 0，A外A ^为三轴陀螺仪通过四元数算法估计的笔杆姿态角与笔杆真实 姿态角之间的姿态估计误差，Abx，Aby，Abz分别为三轴陀螺仪在三轴方向上的静态漂移，
为&的斜对称阵，^^和\2分别为三轴陀螺仪的观测噪声和漂移噪
声；观测方程为
其中H为观测阵，ea。。和Pm为利用笔杆下端三轴加速度计估计的笔杆姿态角， 和A为利用三轴陀螺仪通过四元数算法估计的笔杆姿态角；VK为零均值白噪声；4)根据卡尔曼滤波器对姿态角计算误差的估计，对姿态角经行修正，得到笔杆运 动的姿态角；d.笔杆平动特征量的确定；1)通过实时测量俯仰角 和滚转角e，由公式(19)得到重力在加速度计各轴上 的分量fb，笔杆运动的动态加速度at为加速度计实时输出值a与fb的差值，即
(19) 其中g为当地重力加速度，ax, ay, az为笔杆下端三轴加速度计的输出值；3)当检测到笔杆无加速运动时采用卡尔曼滤波器对转动传感器件计算的姿态角 误差进行估计，其中卡尔曼滤波器的状态方程为
对X、y和z方向的加速度积分，可以得到笔杆在垂直书写平面上以及相对于屏幕 方向的运动速度和距离。为有效的抑制由于积分带来的误差累积现象，在积分过程中还加 入以下约束条件①当笔杆运动加速度大于阈值I连续4个采样周期时才进行速度和位移的积分， I取三轴加速度计三轴静态噪声方差方均跟的三倍；②当笔杆运动加速度小于阈值I连续4个采样周期时停止对速度和位移的积分， 并令速度和位移值等零。2)对相对于屏幕方向和相对于地面方向的超声测距传感器测得的距离信息进行 差分得到笔杆在这两个方向上的运动速度，如果运动速度小于阈值S (阈值S为人手臂的 最大运动速度，取3m/s)，则将该运动速度和由加速度计积分得到的运动速度值利用卡尔曼 滤波器进行融合，得到交互笔在相对于屏幕和地面方向的运动速度的较为准确的值，对运 动速度积分后最终得到这两个方向的运动距离；步骤三，根据手臂对投影屏幕书写运动特点，把光标在屏幕上的运动分解为笔杆 在X轴向和Y轴向平动和转动运动特征量的叠加；将步骤二中确定的运动特征量映射为 书写笔迹和光标的移动信息，从而实现书写运动意图的识别。映射方法为将投影屏幕上光 标的移动距离分解为笔杆的转动和平动两部分的叠加，用笔杆划过的弧长近似其移动的距 离，计算公式如下
(2 1)式中，1为用户距离投影屏幕的距离，A W为单位时间内笔杆在X轴向的转动分 量，A 为笔杆在Y轴向转动分量即单位时间内笔杆的俯仰角变化量，AX、Ay分别为单 位时间内笔杆在X轴向和Y轴向的平动分量。八乂工和八^分别为单位时间内用户沿笔杆X 轴和笔杆Y轴方向的书写运动距离。交互笔处于空中三维鼠标模式时，步骤三中确定的笔杆相对于屏幕方向的平动距 离作为光标的第三维运动信息。
‘、.- 步骤四坐标的空间映射变换；根据笔杆姿态信息和笔杆轴向的转动角速度f丨 息，完成书写笔迹从笔杆惯性坐标系到屏幕坐标系的映射变换，确定出书写笔迹和光标的 坐标信息。计算公式如下
'AX、A7,
COS0
sin0
-sin0 cos 9
AX,
cos 9 一 sin 汐
A^/x/ +Ax A(/>xl + Ay
(22)
sin 汐 cos0
\ xxv 1 y v式中e为笔杆轴向的滚转角度；AX和AY分别为单位时间内光标在屏幕X轴和 Y轴向的移动距离。步骤五，接收端根据接收到的坐标信息和书写笔迹信息，实现对光标运动的控制 和对视窗书写标注的操作。所述的数据预处理中采用的中值滤波算法包括取数据窗口宽度为2m+l。当采样频 率为lKHz时，m为16，窗口内的数据序列为Xi，X2，...，Xm+1，...，X2m+1，对窗内的起始m个点 和末尾m个点分别进行均值滤波，得到的两个值再和中间值Xm+1进行中值滤波。本发明的有益效果是由于采用多传感器融合的人手及手臂书写运动特征量检测
10和跟踪技术，通过对手臂运动特征进行跟踪定位来控制光标运动、操作视窗并实现隔空书 写功能，本发明实现了在不依托其他辅助设备的情况下，完成空中无依托对屏幕进行圈画、 标注以及书写，摆脱了以往手写输入设备需要依托其他辅助定位设备，便携性差使用不便 的缺陷。本发明更符合人的书写操作习惯，具有设备智能化，便携性、通用性好的优点。同 时，本发明增加了垂直于投影屏幕方向的运动检测功能，使交互笔还可以作为三维空中鼠 标使用，用于虚拟现实等应用。解决了现有输入设备不能反映光标三维运动信息的缺陷。下面结合附图和实施例对本发明进一步说明。
附图1是远程交互笔外观示意图；附图2是远程交互笔内部结构示意图；附图3是远程交互笔主机接收端的左视图；附图4是远程交互笔的结构框图；附图5是远程交互笔电路板坐标图；附图6是传感器信号处理流程图；附图7是对投影屏幕书写运动时笔杆运动特征示意图；附图8是远程交互笔笔杆倾角示意图。图中，1.电源控制锁，2.状态指示灯I，3.三维鼠标功能开启键，4.光标启动对准 键，5.功能键B，6.功能键D，7.书写键，8.功能键A，9.功能键C，10.手持端，11.状态指 示灯II，12. USB接口，13.主机接收端，14. USB接口空腔，15.手持端电路板，16.电源模块， 17.主机接收端电路板。
具体实施例方式本发明包括手持端10和主机接收端13两部分。如图1和图2所示，手持端包括电源控制锁1、状态指示灯I、三维鼠标功能开启键 3、光标启动和对准键4、书写键7、功能键A8、功能键B5、功能键C9、功能键D6、电路板15和 电源模块16。主机接收端包括USB接口 12、电路板17和状态指示灯11。其中主机接收端的USB接口 12可插入手持端的USB接口空腔14内，从而使手持 端10和主机接收端13扣在一起。当主机接收端13手持端10上时，电源控制锁1处于按 下状态，交互笔电源切断；当主机接收端13与手持端10分离时，电源控制锁1处于弹起状 态，交互笔电源接通。三维鼠标功能开启键3和光标启动对准键4位于手持端10的侧面，三维鼠标功能 键3用于开启交互笔的三维鼠标功能键，光标对准及启动键4用于交互笔空中对投影屏幕 操作和做为三维空中鼠标使用时启动光标和调整光 标与笔杆指向的对准关系。书写键7、以 和功能键A8、功能键B5、功能键C9、功能键D6位于手持端的另一端，书写键7用于在空中对 投影屏幕操作时，开启交互笔在屏幕任意位置的标注书写功能。功能键A8对应鼠标左键， 功能键B5对应鼠标右键，功能键C9和功能键D6分别对应鼠标滚轮上下键。各按键通过信 号线和手持端电路板15上的微处理器I相连接。USB接口 12位于主机接收端13的一侧，如图3所示。USB接口 12和主机接收端内部的电路板17相连接，用于和计算机通信。如图4所示主机接收端电路板17包括微处理器II，和与微处理器II相连接的数据无线传输模块II、存储器和USB接口模块。USB接口模块是基于串行通用接口配置芯 片pdiusbdl2的USB接口电路，在微处理器II的控制下向计算机主机进行串行设备描述， 从而成为计算机主机的外部设备，并实现跟计算机主机通讯。数据无线传输模块II和数据 无线传输模块I构成一对双工无线通讯电路，该通讯电路同为基于CSR公司的bluecore系 列芯片。数据无线传输模块II在微处理器II的控制下，用于接收手持端解算的书写控制 信息、书写笔迹信息和光标的三维运动信息。接收信息由微处理器II经USB接口电路发送 给计算机主机，实现书写笔迹的显示和对光标的控制。存储器用于存放交互笔的PC端驱动程序。当主机接收端第一次与PC机连接时， 主机接收端首先注册为存储设备，然后自动运行存储器内的交互笔驱动程序，免除了另外 准备驱动安装光盘的不便。如图4所示手持端电路板15包括惯性传感器件、超声测距模块、温度传感器、信 号滤波模块、信号转换模块、手写笔控制模块、微处理器I和数据无线传输模块I。惯性传 感器件测量获得书写运动过程中人手及手臂的运动角速度和加速度信息后输出电压信号， 经滤波模块低通滤波后，将该电压信号传输至模数转换模块进行模数转换，转换得到的数 字信号送往微处理器I。温度传感器测量并获得当时环境温度后输出信号至模数转换模块 进行模数转换，转换后的数字信号亦送往微处理器I，用以对惯性器件输出信号进行温漂补 偿。超声测距模块输出的笔杆相对运动信息的脉冲信号送往微处理器I的计数器输入端， 用于测量交互笔相对于屏幕和地面两个方向的距离变化。微处理器I对获得的书写运动过程中的数字信号通过数据解算模块进行笔杆姿 态、平动分量和转动分量的书写运动特征量的解算，并将获得的书写运动特征量与超声测 距模块测得的笔杆相对运动信息通过数据融合模块进行融合和误差修正。同时根据人手空 中对投影屏幕的书写运动模型，通过运动校正模块和空间映射模块进行运动校正和书写运 动意图的识别，将解算结果映射成为屏幕上的书写笔迹信息或者光标的二维或三维运动信 肩、ο控制模块即前文所述的三维鼠标功能开启键3、光标启动对准键4、书写键7、以及 功能键A8、功能键B5、功能键C9、功能键D6，各按键的开关量信号均与微处理器I的IO端 口相连接，用于控制交互笔的工作状态和开启相应功能。与微处理器I相连接的数据无线 发送模块将微处理器I的解算结果发送给主机接收端。所述的惯性传感器件包括三轴陀螺仪和两个三轴加速度计。三轴陀螺仪采用MEMS 电子陀螺仪。安装方式如图5所示，三轴陀螺仪的安装方式为三个敏感轴方向分别与电路 板X、Y、Z轴相平行，分别用于测量人手在空中对投影屏幕书写运动时手腕和手臂在X轴和 Y轴方向的转动，以及笔杆自身轴向的转动。两个三轴加速度计为MEMS三轴加速度计，采用 ADI公司的ADXRS330。两个三轴加速度计分别安装于笔杆两端，并且该三轴加速度计的三 个敏感轴方向分别与电路板X、Y、Z轴相平行，用来测量笔杆静态或动态时的加速度信息。所述的超声测距模块采用SRF05，包括两组超声测距模块，并且两组超声测距模块 相互垂直安装。其中一组超声测距模块的敏感方向与笔杆轴向相平行，用于测量书写、操作 运动过程中，笔杆相对于屏幕方向的距离变化，得出笔杆轴向的相对运动信息；另一组超声测距模块的敏感方向与电路板Y轴向相平行，用于测量书写、操作运动过程中，笔杆相对于 地面或周围墙壁等遮挡物方向的距离变化，得出笔杆在Y轴向或X轴向的相对运动信息。两 组测距模块所得信息和加速度计、陀螺仪解算的笔杆运动信息进行数据融合和误差修正， 提高测量精度。温度传感器用于测量周围环境温度变化，所测得的温度信息对三轴陀螺仪、三轴 加速度计的输出数据进行温度漂移补偿，提高交互笔在不同使用环境中的适用性。信号滤波模块为一有源低通滤波电路，用于滤除惯性传感器件和温度传感器的输 出噪声和高频分量。信号转换模块采用TI公司的ADS8365模数转换芯片。信号转换模块的转换精度 为16位。信号转换模块用于将惯性传感器件和温度传感器输出的模拟信号转换成为处理 器能够识别的数字信号。所述书写控制模块包括一组按键，该组按键分别是光标对准键、书写键、三维鼠标 键以及与鼠标的左右键和滚轮的上下键对应的四个功能键，光标对准键用于实现笔杆指向 与光标位置的对准，书写键用于控制用户在屏幕任意位置进行书写标注，三维鼠标键用于 开启交互笔的三维鼠标功能。本实施例还提出了一种远程交互笔的书写笔迹检测的方法。如图6所示，远程交 互笔的书写笔迹检测方法包括以下步骤步骤一，基于人书写运动特点的运动特征量检测；如图7所示，根据人对投影屏幕书写运动的特点，将手臂的书写运动分解为在空 间X轴和Y轴方向上，手腕和手臂的转动以及手臂的平动；将笔杆的书写运动分解成为笔杆 在X轴向和Y轴方向的转动和平动两种运动模式。通过传感器测量获得笔杆在空间三轴向 的转动角速度信息、笔杆运动过程中笔杆头部和笔杆尾部的三轴加速度信息，同时测量笔 杆相对于屏幕方向和地面方向的相对运动信息。为了消除环境温度对交互笔精度的影响， 还对环境温度信息进行测量。步骤二，运动特征量的确定；对传感器测得的笔杆头部加速度信息、笔杆尾部加速 度信息、笔杆转动角速度信息和温度信息进行书写运动特征量的确定，具体过程包括以下 步骤a.数据预处理；采用中值滤波算法对传感器数字信号量进行滤波，以降低采样噪 声。中值滤波算法包括取数据窗口宽度为2m+l，其中，当采样频率为lKHz时，m为16，窗口 内的数据序列为X2，. . .，Xm+1，... , X2m+1，对窗内的起始和末尾m个点分别进行均值滤波， 再和中间值Xm+1三个值进行中值滤波。对经中值滤波后的传感器数据，根据环境温度信息， 采用最小二乘法进行温度补偿，减小传感器的零点漂移。b.转动特征量的确定；分别对笔杆在X轴方向和Y轴方向的转动角速度进行确 定。对笔杆两端在X轴方向的运动加速度的差值，进行积分运算得到笔杆在该方向的转动 角速度，并与该方向陀螺仪直接测得的笔杆转动角速度值通过卡尔曼滤波器进行数据融 合，以减小测量误差，实现笔杆在该方向转动角速度的确定。采用同样方法实现对Y轴向转 动角速度的确定。c.笔杆姿态的确定；如图8所示，笔杆姿态的确定方法为
1)由笔杆三轴转动传感器件的输出值通过四元数旋转矢量法三子样算法对笔杆 的姿态角进行计算 q为笔杆任意时刻的姿态四元数，其中 表示四元数乘法，q(k+l)和q(k)分别 为tk+1和tk时刻笔杆的姿态四元数，θ 1、Ψ为笔杆任意时刻的俯仰角滚转角和航向角； Q(dt)为从tk到tk+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下 其中+ C^ + |/0，"(t+h)分别为姿态更新周期h时间段内，转动 传感器件的三次角速率等间隔采样值；2)利用三轴加速度传感器件的输出值判断笔杆是否处于加速运动，当无加速运动 时利用加速度计的输出对笔杆的俯仰角和滚转角进行计算，判断和计算公式为 其中g为当地重力加速度，ax, ay, az为三轴加速度计输出值；3)当检测到笔杆无加速运动时采用卡尔曼滤波器对转动传感器件计算的姿态角 误差进行估计，其中卡尔曼滤波器的状态方程为 其为Δ θ ,Αφ, Δ Ψ为三轴转动传感器件姿态估计误差，Abx，Aby，Abz分别为三 轴转动传感器件漂移，<5 = I^jc % ω2\,的斜对称阵，分别为转动传感器
件的观测噪声和漂移噪声；观测方程为Zk = HXK+VK(16)
^K=Kc-Gi (PaccIi of(17)H= [I3X3 03X3](18)其中H为观测阵，θ a。。和炉m为加速度传感器件估计的姿态角，θ彳和％为转动传感 器件估计的姿态角。Vk为零均值白噪声；4)根据卡尔曼滤波器对姿态角计算误差的估计，对姿态角经行修正，得到笔杆运 动的姿态角；d.笔杆平动特征量的确定；1)通过实时测量俯仰角Φ和滚转角θ，由公式(19)得到重力在加速度计各轴上 的分量fb，笔杆运动的动态加速度at为加速度计实时输出值a与fb的差值，即
,COS Φ 0 -sin 沴 γο、fb = C* fn= sin<9sin 於 cos6 sin (9 cos ( ) 0(19)
、cos 没 sin 沴-sin ^ cos ^ cos ^ Jygyat = a-fb(20)对X、y和ζ方向的加速度积分，可以得到笔杆在垂直书写平面上以及相对于屏幕方向的运动速度和距离。为有效的抑制由于积分带来的误差累积现象，在积分过程中还加 入以下约束条件①当笔杆运动加速度大于阈值ξ连续4个采样周期时才进行速度和位移的积 分；②当加速度小于阈值ξ连续4个采样周期时停止对速度和位移的积分，并令速度 和位移值等零。
2)对相对于屏幕方向和相对于地面方向的超声测距传感器测得的距离信息进行 差分得到笔杆在这两个方向上的运动速度，如果运动速度小于阈值S，则将该运动速度和 由加速度计积分得到的运动速度值利用卡尔曼滤波器进行融合，得到交互笔在相对于屏幕 和地面方向的运动速度的较为准确的值，对运动速度积分后最终得到这两个方向的运动距 罔；步骤三，根据手臂对投影屏幕书写运动特点，把光标在屏幕上的运动分解为笔杆 在X轴向和Y轴向平动和转动运动特征量的叠加；将步骤二中确定的运动特征量映射为书 写笔迹和光标的移动信息，从而实现书写运动意图的识别，映射方法为如图7所示，将投影屏幕上光标的移动距离分解为笔杆的转动和平动两部分的叠 力口，用笔杆划过的弧长近似其移动的距离，计算公式如下 式中，1为用户距离投影屏幕的距离，ΔΨ为单位时间内笔杆在X轴向的转动分 量，Δ φ为笔杆在Y轴向转动分量即单位时间内笔杆的俯仰角变化量，ΔΧ、Ay分别为单 位时间内笔杆在X轴向和Y轴向的平动分量。AX1* AY1分别为单位时间内用户沿笔杆X 轴和笔杆Y轴方向的书写运动距离。交互笔处于空中三维鼠标模式时，步骤三中确定的笔杆相对于屏幕方向的平动距 离作为光标的第三维运动信息。步骤四坐标的空间映射变换；根据笔杆姿态信息和笔杆轴向的转动角速度信 息，完成书写笔迹从笔杆惯性坐标系到屏幕坐标系的映射变换，确定出书写笔迹和光标的 坐标信息。计算公式如下 式中θ为笔杆轴向的滚转角度。ΔΧ和ΔΥ分别为单位时间内光标在屏幕X轴 和Y轴向的移动距离。步骤五，接收端根据接收到的坐标信息和书写笔迹信息，实现对光标运动的控制 和对视窗书写标注等操作。交互笔所采用的惯性坐标系与屏幕的初始对准方法为，在屏幕上显示特定图形， 如正方向或者圆形，用户控制对准功能键，用交互笔指向显示图形，并沿图形曲线运动一 周，通过测量运动过程中传感器的输出值，利用屏幕显示图形本身的坐标信息，建立起笔杆 运动与光标屏幕运动距离的对应关系，实现交互笔与投影屏幕的初始对准。同时根据超声 测距模块测得的笔杆距离投影屏幕的距离，对公式(5)中1做实时调整，提高交互笔的对准 精度，和不同应用环境下交互笔的适用性。
权利要求
一种远程交互笔，包括手持端和接收端，其特征在于手持端包括惯性器件、超声测距模块、温度传感器、微处理器I和数据无线通讯模块；接收端包括与微处理器II和数据无线通讯模块；其中，惯性器件测量获得书写运动过程中反映人手及手臂运动的交互笔运动角速度和加速度信息，输出电压信号经滤波模块低通滤波后传输至模数转换模块，转换得到的数字信号送往微处理器I；温度传感器测量环境温度后输出信号，经模数转换模块转换后得到数字信号送往微处理器I，用以对惯性器件的输出信号进行温漂补偿；超声测距模块测量交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号送往微处理器I；微处理器I对所获得的上述信号解算包括笔杆姿态、平动分量和转动分量的书写运动特征量，并将获得的书写运动特征量与交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号进行融合和误差修正；同时根据人手空中对投影屏幕的书写运动模型进行运动校正和书写运动意图的识别，将最终结果映射成为屏幕上的书写笔迹信息或者光标的二维或三维运动信息，通过数据无线通讯模块发送给接收端；接收端通过数据无线通讯模块接收手持端解算的屏幕上的书写笔迹信息或者光标的二维或三维运动信息，在微处理器II的控制下发送给计算机主机。
2.根据权利要求1所述的一种远程交互笔，其特征在于所述的惯性传感器件包括三 轴陀螺仪和两个三轴加速度计，两个三轴加速度计分别安装于交互笔的笔杆两端，并且这 两个三轴加速度计的三个敏感轴方向均分别与笔杆惯性坐标系X、Y、Z轴相平行；三轴陀螺 仪的三个敏感轴方向分别与笔杆惯性坐标系X、Y、Z轴相平行。
3.根据权利要求1所述的一种远程交互笔，其特征在于所述的超声测距模块包括两 组超声测距模块，其中一组超声测距模块的敏感方向与笔杆轴向相平行，另一组超声测距 模块的敏感方向与笔杆轴向垂直。
4.根据权利要求1所述的一种远程交互笔，其特征在于所述的手持端的书写控制模 块中包括一组按键，该组按键分别是光标对准键、书写键、三维鼠标键以及与鼠标的左右键 和滚轮的上下键对应的四个功能键。
5.根据权利要求1所述的一种远程交互笔，其特征在于所述的微处理器II连接存储 器，用于存放交互笔的PC端驱动程序。
6.一种利用权利要求1所述远程交互笔实现书写笔迹检测的方法，其特征在于包括下 述步骤步骤一，测量交互笔笔杆在空间三轴向的转动角速度信息、运动过程中笔杆头部和尾 部的三轴加速度信息，同时测量笔杆相对于屏幕方向和地面方向的相对运动信息；对环境 温度信息进行测量。步骤二，笔杆运动特征量的确定，具体包括以下步骤a.采用中值滤波算法对对传感器测得的笔杆头部的三轴加速度信息、笔杆尾部的三轴 加速度信息、笔杆三轴向的转动角速度信息和温度信息进行滤波；根据环境温度信息，采用 最小二乘法对滤波后得到的各信息进行温度补偿，减小传感器的零点漂移；b.分别对笔杆在X轴方向和Y轴方向的转动角速度进行确定；对笔杆两端在X轴方向 的运动加速度的差值进行积分运算，得到笔杆在该方向的转动角速度，并与该方向陀螺仪 直接测得的笔杆转动角速度值通过卡尔曼滤波进行数据融合；采用同样方法实现对Y轴向 转动角速度的确定；c.笔杆姿态的确定1)通过四元数旋转矢量法三子样算法对笔杆的姿态角进行计算 q为笔杆任意时刻的姿态四元数，其中 表示四元数乘法，q(k+l)和q(k)分别为、+1和 tk时刻笔杆的姿态四元数，9、口、▽为笔杆任意时刻的俯仰角滚转角和航向角；Q(dt)为从 tk到tk+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下 其中ω(t)，ω(t+h/3)，ω(t+2/3h)，ω(t+h)分别为姿态更新周期h时间段内，转动传感器件的三次角速率等间隔采样值；2)根据公式(9)判断笔杆是否处于加速运动，当公式(9)左边部分小于阈值￡时，可 判定笔杆处于无加速运动，￡取三轴加速度计三轴静态噪声方差方均根的三倍；当无加速 运动时利用笔杆下端的加速度计的输出，根据公式(10)对笔杆的俯仰角和滚转角进行计 算； 其中g为当地重力加速度，ax，ay, az为笔杆下端三轴加速度计的输出值； 3)当检测到笔杆无加速运动时采用卡尔曼滤波器对转动传感器件计算的姿态角误差 进行估计，其中卡尔曼滤波器的状态方程为 其为A 0，A外AW为三轴陀螺仪通过四元数算法估计的笔杆姿态角与笔杆真实姿 态角之间的姿态估计误差，Abx，Aby，Abz分别为三轴陀螺仪在三轴方向上的静态漂移， 为&的斜对称阵 分别为三轴陀螺仪的观测噪声和漂移噪声；观测方程为 其中H为观测阵，ea。。和Pm为利用笔杆下端三轴加速度计估计的笔杆姿态角，0」和 A为利用三轴陀螺仪通过四元数算法估计的笔杆姿态角；VK为零均值白噪声；4)根据卡尔曼滤波器对姿态角计算误差的估计，对姿态角经行修正，得到笔杆运动的 姿态角；d.笔杆平动特征量的确定；1)通过实时测量俯仰角 和滚转角e，由公式(19)得到重力在加速度计各轴上的分 量fb，笔杆运动的动态加速度at为加速度计实时输出值a与fb的差值，即 Y0、 对x、y和z方向的加速度积分，得到笔杆在垂直书写平面上以及相对于屏幕方向的运 动速度和距离； 2)对相对于屏幕方向和相对于地面方向的超声测距传感器测得的距离信息进行差分 得到笔杆在这两个方向上的运动速度，如果运动速度小于阈值δ ’ δ取3m/s，则将该运动 速度和由加速度计积分得到的运动速度值利用卡尔曼滤波器进行融合，得到交互笔在相对 于屏幕和地面方向的运动速度的较为准确的值，对运动速度积分后最终得到这两个方向的 运动距离；步骤三，根据手臂对投影屏幕书写运动特点，把光标在屏幕上的运动分解为笔杆在X 轴向和Y轴向平动和转动运动特征量的叠加；将步骤二中确定的运动特征量映射为书写笔 迹和光标的移动信息，从而实现书写运动意图的识别；映射方法为将投影屏幕上光标的移 动距离分解为笔杆的转动和平动两部分的叠加，用笔杆划过的弧长近似其移动的距离，计 算公式如下 式中，1为用户距离投影屏幕的距离，ΔΨ为单位时间内笔杆在X轴向的转动分量， Δ Φ为笔杆在Y轴向转动分量即单位时间内笔杆的俯仰角变化量，ΔΧ、Ay分别为单位时 间内笔杆在χ轴向和Y轴向的平动分量分别为单位时间内用户沿笔杆X轴和 笔杆Y轴方向的书写运动距离；步骤四根据笔杆姿态信息和笔杆轴向的转动角速度信息，完成书写笔迹从笔杆惯性 坐标系到屏幕坐标系的映射变换，确定出书写笔迹和光标的坐标信息；公式如下 式中θ为笔杆轴向的滚转角度；Δ X和Δ Y分别为单位时间内光标在屏幕X轴和Y轴 向的移动距离；步骤五，接收端根据接收到的坐标信息和书写笔迹信息，实现对光标运动的控制和对 视窗书写标注的操作。
7.根据权利要求6所述的一种书写笔迹检测方法，其特征在于所述的积分过程中当 笔杆运动加速度大于阈值ξ连续4个采样周期时才进行速度和位移的积分，ξ取三轴加 速度计三轴静态噪声方差方均跟的三倍；当笔杆运动加速度小于阈值ξ连续4个采样周期 时停止对速度和位移的积分，并令速度和位移值等零。
8.根据权利要求6所述的一种书写笔迹检测方法，其特征在于所述的交互笔处于空 中三维鼠标模式时，步骤三中确定的笔杆相对于屏幕方向的平动距离作为光标的第三维运 动信息。
全文摘要
一种远程交互笔及书写笔迹检测方法，包括手持端和接收端。手持端采用三轴陀螺仪和两个三轴加速度计检测笔杆的书写运动特征量，采用超声测距测量笔杆相对与屏幕和地面的相对运动距离，测量信息根据人的书写运动模型进行数据融合和书写运动特征量的解算及书写意图的识别，实现书写笔迹的检测。接收端用于接收手持端解算的书写控制信息、书写笔迹信息和光标的三维运动信息。本发明通过对手臂运动特征的跟踪定位以控制光标运动、操作视窗并实现隔空书写功能，并增加了垂直于投影屏幕方向的运动检测功能，作为三维空中鼠标用于虚拟现实等应用，克服了现有输入设备不能反映光标三维运动信息的缺陷，具有结构简单、使用方便的特点。
文档编号G06F3/033GK101872260SQ20101019149
公开日2010年10月27日 申请日期2010年6月3日 优先权日2010年6月3日
发明者张映锋, 张玉祥, 张通达, 徐福后, 陈家照, 马柳艺 申请人:张通达;张玉祥