平面和空间书写系统及其方法

专利名称：平面和空间书写系统及其方法
技术领域：
本发明涉及用电子板标记装置(电子笔)、计算机和显示设备来显示笔迹
的的系统，更具体地说，涉及一种结合COMS图像传感器和加速计传感器和 交互式的积累误差校准技术来在任何书写表面和书写空间实现手写的系统
背景技术：
目前已经有一些用电子笔、计算机和投影仪来显示书写路径的电子板系 统，例如，美国专利0231488是在计算机平台上的书写系统，美国专利6188392 是在压力传感器板上的书写系统，等等。所有现有的产品或发明都需要带有特 别表面如黑板、白板或触摸屏和栅格屏的电子板上的数据传感器输入设备。这 些产品是基于电磁、压力和光电扫描传感技术，用不同的方法将机械力转化成 电子信号。上述的现有的技术或发明使用不便，其特殊的书写表面/书写板使 得购买和维护的成本高。
现有的产品或发明由于传感器的局限只是2D (二维)的输入和显示系统。 本发明的电子空间板书写系统(EFWS)使用3D (三维)的加速计传感器， 可像美国专利6897854那样检测到电子笔在2D书写平面或3D空间中的运动 加速度，然而，当在可接触表面书写时，电子笔和和书写表面之间的摩擦所产 生的振动噪声使得加速计传感器检测其自身的运动，从而引起混淆。为了实现 可接触书写的正确检测，加入了2DCOMS传感器。
本发明采用不同的技术即将2DCOMS图像传感器和3D加速计传感器 相结合的技术。它的方法是用图像比较器和运动加速度转化来记录运动的步 幅。根据这些方法，本发明是在电子笔内安装传感器而不是在书写板上安装。 因此，EFWS使得可以进行非电子板书写，也就是在任何板上，如木板、墙、 纤维、纸或在空气构成的空间中书写。本发明EFWS克服了现有技术固有的缺陷。
在电子笔中使用CMOS传感器是现有技术，它工作在不受限制的书写表
面。此电子笔像光电鼠标一样在可接触的表面跟踪其自身的运动。在当前的鼠 标产品或发明中有两个问题。使用开关按钮来检测间隔的书写运动如空格、改 变线条、改变书写区域等是绝对的。同样，每次重写时，鼠标必须从上一个左 边的点开始，否则，就会出现"绘图光标"的无效运动。两个问题都使得在可接 触表面的书写(间隔运动)与纸笔书写不是很相似。本发明的电子笔有两个传
感器，COMS和加速度计轮流地跟踪2D间隔运动，只有加速度计跟踪3D连 续运动时才工作。上述的本发明使在板上的书写更接近于纸笔书写。
本发明使用以下方法来从加速度计减少积累误差计算机实时地发送基准 信号给校准器，校准器上的微处理器计算更新了的显示比例参数。校准器是独 立的并且提供了加入更多的功能来支持EFWS的器件。
在本发明中，显示屏可以在投影仪的正常工作范围内没有边界，因此，初 始化只是确定在写路径和一次触摸板的计算机显示屏之间的比例。无论如何， EFWS的初始化很简单。

发明内容
本发明提供一种在书写板上自动跟踪2D间隔运动和跟踪3D连续运动及 其显示的系统和方法，系统包括具有两个传感器的电子笔，其可在两种环境下 工作 一个是可接触的书写表面，另一个是无接触运动空间，系统还包括校准 器(校准器的功能可融于电子笔中以实现电子笔对有无线功能计算机的直接发 送)、计算机或另外的电子显示装置、投影仪和专门的应用软件。


下面将结合附图及实施例对本发明作进一步说明，附图中
图1是本发明电子空间板书写系统的优选实施例的结构示意图2是本发明电子空间板书写系统的优选实施例的主要功能，包括初始 化、书写和擦除；图3是本发明电子空间板书写系统的优选实施例的初始化的过程；
图4是本发明电子空间板书写系统的优选实施例的2D书写表面间隔运动
的跟踪和3D运动空间连续运动及其显示的示意图5是本发明电子空间板书写系统的优选实施例的的电子笔装置的结构
示意图6是本发明电子空间板书写系统的优选实施例的的电子笔的顶端的电 子笔装置的透视图7是本发明电子空间板书写系统的优选实施例的电子笔的示意图8是本发明电子空间板书写系统的优选实施例的的包括电子笔和校准 器在内的主要元件的连接方框图 ，
图9是本发明电子空间板书写系统的优选实施例的2D书写(间隔运动)写 操作的原理的示意图10是本发明电子空间板书写系统的优选实施例的电子笔跟踪和其2D 书写时的传感器；
图11是本发明电子空间板书写系统的优选实施例的电子笔和校准器与另 外的电子装置在3D空间运动的示意图12是本发明电子空间板书写系统的优选实施例的在3D空间中操作的 原理的示意图13是本发明的电子空间板书写系统的优选实施例的从加速计减少积累 误差的方法；
图14是本发明电子空间板书写系统的优选实施例的用来支持3D空间运 动的移动手指架的示意图15是本发明电子空间板书写系统的优选实施例的可用来支持在纸上书 写并实时将其输入到计算机的附加笔的与电子笔连接的结构示意图16是本发明电子空间板书写系统的优选实施例的检测装置的不同优选 实施例；
图17是本发明电子空间板书写系统的优选实施例的显示装置的不同优选 实施例。
具体实施例方式
下面将结合附图和优选实施例对本发明做进一步的描述。
在下面的描述中，各种特定的细节是为了清楚地阐明本发明，然而，计算 机和投影仪的一般设备并不限于这些特定的细节。
图1是本发明的优选实施例的电子空间板书写系统(EFWS) 100，包括 电子笔101、校准器103、积累误差校准固件104、计算机上的应用软件105、 投影仪106、非电子板102，包括可接触书写表面和无接触书写空间。本发明 有3个主要功能，即配置、书写和擦除。图2示出了这些功能的操作步骤。
图2示出了本发明的优选实施例的上述功能的操作步骤。配置功能的实现 的第一步是在应用软件105上选择要配置的功能；书写表面的调节大小是由投 影仪106确定的；然后按下电子笔101上的按钮和根随基线107划线；最后一 步是计算显示比例参数并将其存储于校准器103中。书写功能的实现，首先是 自然地握住电子笔101并且将其在书写表面/空间102上移动，校准器103从 电子笔101接收路径数据并为投影仪106的显示计算有关数据。应用软件105 支持在计算机上显示来自校准器103的书写路径。最后，投影仪106在黑色或 其他除了白色之外的其他颜色中在书写表面/空间显示路径。擦除功能的实现 类似于书写功能的实现，唯一的不同之处是电子笔的把持和显示白色的路径起 到相当于改正液的作用。
图3是本发明的优选实施例的设定EFWS的初始化操作参数的更详细的 描述。EFWS的操作环境可根据用户的需要来改变，比如如果要移动投影仪或 书写表面/空间，改变投影仪的比率或书写表面的大小。上述的情形出现时就 需要进行配置操作。配置的详细操作步骤在图3中(A)到(E)所示。关键 的问题是用校准器103计算和存储显示参数。基线107在书写表面/空间显示 的标准显示比例参数嵌入在校准器中。当电子笔沿着书写表面102上的基线 107运动时，电子笔101的路径步进数据被传送到校准器103中。校准器将标 准的显示比率参数与到来的路径坐标数据比较来产生新的显示比率参数以使 路径数据在计算机窗口和书写表面以适度的比率显示出来。图4是本发明的优选实施例的2D书写表面间隔运动的跟踪和3D运动空 间连续运动及其显示的示意图。本发明EFWS的独特特征是电子笔与数据传 感器配置而不是在书写表面/空间102配置，使得书写表面/空间102可以是任 何材料，例如，木材、塑料、织物、纸或空气。同样，它使得显示窗口 108 的大小灵活可变而不受制造商和产品设计者的限制。显示窗口 108的不同大小 用图中虚线表示，它可被投影仪106调节。EFWS包括不需要特别购买的空间 书写板，使得本发明应用起来方便、经济、安全。
图5是本发明的优选实施例的电子笔装置的的结构示意图。109是可打开 的有电源开/关功能的盖子。当盖子109被旋松，电子笔就关掉。否则，如果 盖子109是紧的，则电子笔就开着。IIO是循环指示灯，用光的颜色和闪烁类 型来代表电子笔的不同操作功能。lll是电子笔的本体，它是中空圆柱体，电 子笔的控制线路板安装在其内部。112是群压电按钮，其转换电子笔的不同功 能是按下电子笔的凹处、握持电子笔时按压按钮或双击按钮来实现的。113是 电子笔的顶部截面，其详细结构参见图6。
图6是本发明的优选实施例的电子笔装置的电子笔顶部截面113的透视 图。有一个组合的传感器系统在此部分的内部。组合传感器系统包括两个集成 电路(IC)传感器芯片和透镜，114是CMOS传感器IC芯片，115是加速计传感 器IC芯片，包括回转仪和加速计。透镜和光源116安装在电子笔的末端，并 且COMS传感器114安装在电子笔的末端来捕获电子笔的运动步幅信息。顶 端的小孔的大小等于透镜和光源116的大小。加速计传感器115检测电子笔的 加速运动。尖端116A是倾斜的表面，以保持正确的书写风格。
图7是为了说明EFWS而展示的电子笔101 (也被称为"标记装置")的一 个优选实施例。电子笔101包括延长的外壳123，其中空的内部容纳电子笔101 的多个部件。外壳123在其末端有带透镜116和光源的中空部分。尖端116A 被设计来接触可以是任何材料的书写表面/空间102。连接到尖端116的是组合 传感器系统117。
组合传感器系统117包括两个传感器114和115，设置在靠近外壳123的 靠近尖端116A的位置。CMOS传感器114配置来检测并提供对尖端116A的位移有关的测量。来自两个传感器的信息可被控制器119交替处理来选择数 据，并且打包，用RF发射器122传输到校准设备103。 118是群开关单元， 其被用来选择电源的开/关、配置、书写、擦写和接触/无接触书写。选择的第 一个功能电源开/关是用带弹簧(在此图中未画出)的盖子开关109来实现的。 余下的选择的功能是通过3个压电开关112 (在此图中未画出)实现的。120 是显示给用户功能设定的指示灯单元。121是电源管理单元，控制从干电池或 充电电池来的供电。
图8是本发明的优选实施例的主要部件的方框图，包括本发明的电子笔 101和校准器103的优选实施例。电子笔101的电路模块方框图展示了 2D COMS传感器和3D加速度计传感器。2D COMS被配置来检测当尖端116A接 触书写表面102时，类似于计算机的光电鼠标那样，处于工作状态。尖端106A 在离开书写表面102上时用3D加速器传感器配置来检测。同样，图8中展示 了微控制器的电子笔另外主要功能是数据处理和打包，选择的功能和数据包以 无线的方式实时地发送给校准器103。
校准器103的电路模块方框图由接收器、数据处理接口和电源构成。校准 器103上的接收器的工作频率与来自电子笔101上的发射器的发射频率相匹 配。数据处理器计算尖端106A在显示窗口 108上的当前坐标以及从电子笔101 传来的路径数据和存储在数据处理存储器上的显示比例参数。这样的处理可基 于本领域技术人员所熟知的现有的数学算法，可基于加速度、速度、位置等。 校准器和计算机或电子显示装置之间的通信是通过接口驱动实现的，可以是计 算机鼠标接口， USB接口和另外的特殊接口。
图9是本发明电子空间板书写系统的优选实施例的2D书写(间隔运动)写 操作的原理的示意图。图9描述了电子笔101上的COMS传感器128和加速 度传感器129之间的自动转换，也包括在可接触的2D书写下的在校准器103 上处理有关数据。在此条件下的书写操作的原理是两个传感器交替工作。当电 子笔在书写表面时，2DC0MS传感器的透镜聚焦，以使书写126连续。电子 笔的操作状态自动选择来检测电子笔步幅128的运动步幅。当电子笔在无接触 的书写表面时，2D COMS传感器的透镜不聚焦，使得书写没有间断127，如空白、改变线、改变书写区域等。电子笔的操作状态自动选择来检测电子笔加
速129的运动加速度。在可接触透镜集中时，检测到的数据被发送到校准器 103来进行数据处理和积累误差校准处理步骤130。如果计算机与校准器103 相连，计算机鼠标接口格式或USB接口格式数据分组包被130步骤发送。否 则，在无接触的透镜不聚焦的条件下，在3D中产生当前位置坐标被存储在存 储器123中来产生重新可接触的参考点。如果另外的电子显示器设备与校准器 103相连的话，另外的匹配了的数据分组被步骤130产生。
图IO是计算从电子笔来的书写路径的解释的示意图。Pn = f (Pn小Sn}。 此处，P是采样点，n是采样点的编号，S是运动步幅。当前采样点"P。"
的位置数据是前一个采样点"Pn.r和步幅编号"n"的函数(从点"Pn-r到点"Pn"的
距离)。用上述的功能实现的电子笔的检测运动尖端106总是被两个传感器交 替工作来连续，因此，上述功能实现的书写更接近用纸笔书写。
图11展示了本发明的优选实施例的电子笔与其他电子装置在无接触(空 中)环境中的应用扩展。电子笔101在空中138中画任何3D图画如133，其 运动轨迹被其自己的加速计传感器检测到。检测到的数据被发送到校准器103 并引起有关数据处理和界面匹配。3D图画133可在电子器件例如PAD/写字板 PC 134、计算机135和HDTV (High Definition Television,高清晰数字电视) 136上用它们的相应接口和安装在这些电子设备中的相关的软件显示出。如果 配置在电子笔101中的校准器和电子笔的数据传输是以蓝牙格式传输，3D图 画133还可在移动电话137上显示。
图12是在无接触的书写表面操作原理的细节。在此情况下，只有电子笔 中的加速计传感器才在129上工作，其检测多个方向上的数据，X、 Y、 Z轴 和时间轴134。检测到的带有时间刻度的3D加速数据(X、 Y、 Z轴和时间轴) 被发送到校准器进行数据处理和积累误差校准步骤130。连接接口可是除了计 算机鼠标以外的接口类型。在本发明中，检测和显示数据包括时间因子，其产 生一些新的EFWS的功能，例如，显示慢速的运动。
权利要求
1、一种交互式书写的数据输入和校准系统，其特征在于，包括电子笔、计算机、校准器、写装置和显示装置；所述写装置，包括可接触的写表面和无接触的写表面或写空间；显示装置，包括投影仪、其他与计算机直接连接的显示装置；所述系统的功能包括配置、书写、擦写；所述电子笔检测其自身的运动，并将检测到的路径数据发送到校准器，所述校准器将处理后的显示数据发送到计算机，通过显示装置显示书写路径，所述校准器的功能可融于电子笔中以实现电子笔对无线功能计算机的直接发送。
2、 根据权利要求1所述的交互式书写的数据输入和校准系统，其特征在 于，所述电子笔包括二维传感器芯片和/或三维传感器芯片、COMS透镜、开 关、储存芯片、微控制器、发送器、固件；所述一个或多个传感器芯片用来确 定位置；所述电子笔用传感器芯片检测其自身运动距离和加速度并且将自身运 动距离和加速度的路径数据用发送器发送。
3、 根据权利要求1所述的交互式书写的数据输入和校准系统，其特征在 于，所述校准器包括接收器、数据处理器、USB接口或鼠标接口，所述校 准器计算并显示比率参数、位置坐标，进行接口分组，交互式的积累错误校准。
4、 根据权利要求1所述的交互式书写的数据输入和校准系统，其特征在 于，所述电子笔还包括固件，所述固件支持无线传输以及自身的协议或蓝牙协 议、电源管理、滤除检测到的噪声。
5、 根据权利要求1所述的交互式书写的数据输入和校准系统，其特征在 于，所述校准器上包括固件，所述固件进行交互式积累错误校准、数据处理/ 过滤来去除振动噪声和倾斜并且利用COMS 二维传感器和/或三维加速度计 的数据来计算步幅和位移、投影仪显示的数据匹配，加上显示比率参数、数据 转换成USB鼠标格式或另外的格式、支持无线接收自身的协议/蓝牙、多个电 子笔书写、强调/点光。
6、 根据权利要求1所述的交互式书写的数据输入和校准系统，其特征在 于，所述计算机上的应用软件支持二维或三维显示书写路径、书写颜色、擦写、跟踪、游戏、运动锻炼、系统初始化或配置。
7、 根据权利要求2所述的交互式书写的数据输入和校准系统，其特征在 于，所述二维、三维传感器芯片包括COMS 二维传感器、三维加速度计和三 维陀螺仪。
8、 根据权利要求1所述的交互式书写的数据输入和校准系统，其特征在 于，所述电子笔上加上普通的笔就能够在纸上书写，所述普通的笔包括水笔和 圆珠笔。
9、 根据权利要求1所述的交互式书写的数据输入和校准系统，其特征在 于，所述电子笔的外形为笔或自动适应手指大小的环或球或腕带。
10、 一种在可接触表面书写和用投影仪、HDTV和另外的计算机相连接的 计算机显示装置来显示书写的方法，其特征在于，所述方法包括检测无接触 空间中的运动和用投影仪、HDTV和其他与计算机相连的电子显示装置来进行 三维显示的方法；跟踪无接触空间和用投影仪、HDTV和另外的与计算机相连 的电子显示装置来进行三维显示的方法；加上时间因子来进行四维显示。
全文摘要
本发明涉及一种平面和空间书写系统及其方法，系统包括电子笔、计算机、校准器、写装置和显示装置；写装置，包括可接触的写表面和无接触的写表面；显示装置，包括空间-表面投影仪、其他与计算机直接连接的显示装置；系统的功能包括配置、书写、擦写；方法包括检测无接触空间中的运动和用投影仪、HDTV和其他与计算机相连的电子显示装置来进行二维或三维显示的方法；跟踪无接触空间和用投影仪、HDTV和另外的电子显示装置来进行二维或三维显示的方法；加上时间因子来进行四维显示。本发明的优势是书写不需用专门的书写板，书写可以在任何表面或空间进行，使得本发明应用起来方便、经济、安全、可靠性高。
文档编号G06F3/033GK101430614SQ20081008830
公开日2009年5月13日 申请日期2008年3月21日 优先权日2007年11月6日
发明者刘北松·贝琳达, 张超·查尔斯, 戴人龙·大卫, 李辛华, 斌 胡, 袁丕坚 申请人:袁丕坚;张超·查尔斯;刘北松·贝琳达;胡 斌;李辛华;戴人龙·大卫