批示器光跟踪方法、程序及其记录媒体的制作方法

专利名称：批示器光跟踪方法、程序及其记录媒体的制作方法
技术领域：
本申请发明涉及广泛应用于各种演示中的、将计算机图像从投影 仪投影到投影屏的投影仪系统等演示系统。
背景技术：
上述投影仪系统被广泛应用于学会、讲义、说明会、演示等各种 场景中，当使用时，使用者大多在使用激光指示器指示投影图像的期 望部分的同时进行说明等。
针对该投影仪系统和激光指示器的组合进行了各种研究开发(例
如参照专利文献1 3)，特别是，以来自激光指示器的光在投影图像上 描绘简单的线、图形的技术(例如参照非专利文献1、 2),能够在投 影屏上放映图像的同时描绘叠置在该图像上能进一步引起观看者注意 的下线、圆圏、箭头等，以提高各种场景中的演示效果，从而能够进 一步提高投影仪系统的利用价值。
专利文献l:特开平11 - 85395号公才艮 专利文献2:特开平11 - 39095号公报 专利文献3:特开2004 - 265235号7>才艮
非专利文献l: R. Sukthankar, R. Stockton, M. Mullin.， "Smarter Presentations: Exploiting Homography in Camera - Projector Systems", Proceedings of International Conference on Computer Vision, 2001
非专利文献2: R. Sukthankar, R. Stockton, M. Mullin., "Self-Calibrating Camera — Assisted Presentation Interface", Proceeding of International Conference on Control, Automation, Robotics and Vision, 2000

发明内容
发明所要解决的课题
然而，现状是，性能好到足以经得住实用的描绘技术还没有实现。 这是因为，不能可靠地检测与来自投影仪的投影图像重叠并放映
到投影屏上的来自激光指示器的激光，不能高精度地跟踪其运动。
此外，各种演示除了投影仪系统以外，还可以应用大型液晶显示
器、等离子显示器等，在该大型显示器系统中最好也能够进行激光指
示器光的高精度跟踪。
并且，不仅是激光指示器，而且利用能够更廉价制造的LED指示 器，通过跟踪该LED指示器光也最好能够实现相同的描绘。在此，包 括这些来自激光指示器的激光以及来自LED指示器的LED光称为指 示器光。
因此，鉴于以上状况，本申请发明的课题在于提供指示器光跟踪 方法及指示器光跟踪程序及其记录媒体，其中，投射到投影屏等各种 显示器上的指示器光的跟踪即使在图像被放映到显示器上时也能够高 精度地实现，由此，谁都可以简单且漂亮地向显示器上进行线、图形 等的描绘，并且还可以实现使该描绘以外的使用性能提高的各种演示。
用于解决课题的方法
本申请发明为了解决上述课题，第一方面提供一种指示器光跟踪 方法，由照相机对投射到显示器上的指示器光进行拍摄，根据所得到 的图像数据由计算机跟踪显示器上的指示器光，其特征在于，使全黑 图像和位于其四角的白正方形图像投影到显示器上，对放映有这些全 黑图像和白正方形图像的显示器进行拍摄，从所得到的图像数据抽取 与上述白正方形图像对应的区域，算出抽取区域的中心坐标(x, y)， 从所算出的中心坐标(x， y)和上述白正方形图像的中心坐标(X， Y) 算出对表示显示器上的指示器光位置的坐标使用射影变换进行失真校 正时所需的参数。
第二方面，本申请发明提供一种指示器光跟踪方法，由照相机对 投射到显示器上的指示器光进行拍摄，根据所得到的图像数据由计算
机跟踪显示器上的指示器光，其特征在于，对拍摄放映有指示器光的 显示器的照相机的快门速度、曝光、伽玛值的某一个或者两个以上进 行调整，获取只有指示器光被强烈放映的图像数据。
第三方面，本申请发明提供一种指示器光跟踪方法，由照相机对 投射到显示器上的指示器光进行拍摄，根据所得到的图像数据由计算 机跟踪显示器上的指示器光，其特征在于，对上述图像数据实施层次 处理，以使该图像数据中包含的指示器光的光点区域扩大。
并且第四方面，本申请发明提供一种指示器光跟踪程序，为了根 据对投射到显示器上的指示器光进行照相机拍摄所得到的图像数据来
跟踪显示器上的指示器光，使计算机实现如下功能从对放映有全黑 图像和位于其四角的白正方形图像的显示器进行照相机拍摄所得到的 图像数据中抽取与上述白正方形图像对应的区域；算出抽取区域的中 心坐标(x， y);以及从所算出的中心坐标(x, y)和上述白正方形图 像的中心坐标(X， Y)算出对表示显示器上的指示器光位置的坐标使 用射影变换进行失真校正时所需的参数。
第五方面，本申请发明提供一种指示器光跟踪程序，为了根据对 投射到显示器上的指示器光进行照相机拍摄所得到的图像数据来跟踪 显示器上的指示器光，使计算机实现如下功能对拍摄放映有指示器 光的显示器的照相机的快门速度、曝光、伽玛值的某一个或者两个以 上进行调整，以获取只有指示器光被强烈放映的图像数据。
第六方面，本申请发明提供一种指示器光跟踪程序，为了根据对 投射到显示器上的指示器光进行照相机拍摄所得到的图像数据来跟踪 显示器上的指示器光，使计算机实现如下功能对上述图像数据实施 层次处理，使该图像数据中包含的指示器光的光点区域扩大。
而且第七方面，本申请发明提供一种计算机可读取的记录媒体， 记录了上述的指示器光跟踪程序。
发明的效果
根据上述第一 第三方面的发明，能够可靠地检测并跟踪投射到 投影屏、大型液晶显示器等这种用于演示的各种显示器上的指示器光，
即使在图像被放映到显示器上时也能够实现该高精度跟踪。
特别是在第 一 方面的发明中，考虑到投影仪投影中通常产生的图 像失真，通过使用上述求出的参数能够进行极为有效的失真校正，从 而能够更准确地算出由照相机摄影所得到的图像数据中包含的指示器 光点的二维坐标值。当然，该图像失真有时也在投影仪投影以外的各 种显示器影像中产生，同样也可以良好地进行失真校正，能够实现高 精度跟踪。
另外，在第二方面的发明中，在对放映有来自通常投影仪的光和
来自激光指示器或LED指示器的指示器光的显示器进行照相机摄影 的情况下，指示器光被埋没在投影仪光中，在计算机图像处理中易于 陷入难以抽取它的状况，但是如上所述通过将照相机快门速度、曝光、 伽玛值的某一个或者二个以上调整为最佳，可以阻挡投影仪光，从而 得到只有指示器光被强烈放映的照相机图像数据，由此可以可靠地抽 取指示器光点。当然，通过使该最佳化调整和上述校正坐标计算组合， 不言而喻，能够实现更优良的指示器光跟踪。另外，最佳化调整即使 在使用了投影屏以外的各种显示器的情况下也是有效的，同样可以阻 挡多余的光，进行指示器光点的高精度抽取。
并且，在第三方面的发明中，如果从显示器整体来看，则指示器 光的光点非常小，即便进行上述快门速度调整来得到指示器光点被强 调的图像数据，光点本身的尺寸还是小，因此如上所述通过实施层次 处理来使光点尺寸扩大，从而不会埋没在周围图像中，可以更可靠地 抽取指示器光点。当然，该层次处理还可以通过与上述校正坐标计算 或上述最佳化调整进行组合，以进一 步实现更高精度的指示器光跟踪。
而且，根据上述第四~第七方面的发明，提供能够获得与上述第 一方面~第三方面的发明相同效果的计算机程序以及记录它的软盘、 CD、 DVD等记录媒体。


图1是用于对本申请发明的一个实施方式进行说明的图2是用于对本申请发明的一个实施方式进行说明的程序结构
图3是用于对失真校正参数获取处理进行说明的流程图； 图4是用于对失真校正参数获取处理进行说明的图； 图5是用于对失真校正参数获取处理进行说明的其他图； 图6是用于对照相机快门速度、曝光、伽玛值调整处理进行说明 的流程图7是用于对照相机图像获取处理进行说明的流程图； 图8是用于对照相机输入处理进行说明的流程图； 图9是用于对光点检测处理进行说明的流程图； 图10 (A) (B) (C)分别是用于对光点检测处理进行说明的图； 图11是用于对失真校正处理进行说明的流程图； 图12 (A) (B)分别是用于对失真校正处理进行说明的图； 图13是用于对本申请发明的一个实施方式进行说明的其他程序 结构图14是用于对履历记录处理进行说明的流程图15时用于对履历再现处理进行说明的流程图16是用于对功能切换处理进行说明的流程图17是用于对笔描绘处理进行说明的流程图18 (A) (B) (C)分别是对笔描绘处理进行说明的图19是用于对鼠标仿真处理进行说明的流程图20是用于对鼠标仿真处理进行说明的图21是用于对软件控制处理进行说明的流程图22是表示菜单画面的一个例子的图。
符号说明
l投影屏、2投影仪、3计算机、31处理部、32存储部 33数据文件部、34显示部、35输入部、36投影仪通信部 37照相机通信部、38总线、4激光指示器、5照相机
具体实施例方式
图1是示出了具有如上所述特征的本申请发明的一个实施方式的
图。在此，主要对演示中多采用的投影仪系统方式进行说明。
1.系统结构〉>
本实施方式中的投影仪系统由投影屏1、投影仪2、计算机3、激 光指示器4、照相机5构成。
投影屏1能够放映从投影仪2投射的图像，例如不但可以是设置 在壁等上的屏幕体，而且只要能够放映图像也可以是壁面本身。
投影仪2是能够将从计算机3发送来的图像投影到投影屏1上的 装置，并具有对放映图像的光进行投射的投射部、在与计算机3之间 发送接收数据信号或控制信号的通信部等。
计算机3向投影仪2发送投影对象的图像，并且执行根据本申请 发明的激光跟踪处理以及基于该跟踪的描绘等各种应用处理。这些处 理由接收了保存在存储部(存储器)32中的激光跟踪程序以及应用程 序的指令的处理部(CPU) 31执行。处理部31通过总线38除了存储 部32之外，还与保存各种数据的数据文件部33、显示程序执行画面 或各种数据的显示器等显示部34、键盘或鼠标等输入部35、在与投影 仪2之间发送接收数据信号或控制信号的投影仪通信部36、在与照相 机5之间发送接收数据信号或控制信号的照相机通信部37连接。
此外，从计算机3发送到投影仪2的图像，通常是显示在显示器 上的桌面画面，例如使用演示软件制作的演示图像首先显示在桌面画 面上(通常是全画面显示)，该桌面画面被发送到投影仪2并投影到投 影屏l,由此，表示在桌面画面上的演示图像将放映到投影屏1。
激光指示器4是能够对激光进行投射的装置，并具有投射激光的 投射部、使用者手持的部位等。由于不仅可以用激光指示投影图像中 的期望部分，而且还可以在图像上进行描绘，因此还可以称为激光笔。
照相机5是可以对放映有来自投影仪2的图像以及来自激光指示 器4的激光的投影屏1进行拍摄、并将该摄像数据输入到计算机3的 装置。在数码照相机的情况下，具有CCD ( Charge Coupled Device: 电荷耦合器件)等图像传感器、在与计算机3之间发送接收数据信号 或控制信号的通信部等。当然，也可以不是数码照相机。
这些投影屏l、投影仪2、计算机3、激光指示器4、照相机5可
以使用市售品，甚至设置投影屏1、投影仪2以及计算机3也跟以往 一样，另外，将照相机5设置在能够拍摄投影屏1的场所，且能够进 行数据通信地连接到计算机3。计算机3中安装了激光跟踪程序以及 应用程序。当然还可以形成将这些程序合而为一的软件。然后，只要 发表者等用户持有激光指示器4即可。 《2.激光跟踪》
下面，首先适当参照图2-图12对如此准备的投影仪系统中的激 光跟踪处理进行说明。
本实施方式中的激光跟踪程序的总体结构如图2所示，相互关联 地合编有图3所示的失真校正参数获取程序、图6所示的照相机控制 程序、图9所示的光点检测程序、图ll所示的失真校正程序。还合编 有图7所示的照相机图像数据获取程序以及图8所示的照相机图像数 据输入程序，但是在图2中没有进行图示。应用程序后面将详述，根 据激光跟踪程序的处理结果即跟踪的激光的坐标数据，执行使使用性 能提高的描绘等各种应用功能。
<2-1.失真校正参数的获取>
首先，执行获取用于正确的跟踪所需的失真校正的参数的处理(参 照图3)。失真校正参数是指后述的失真校正处理中进行的射影变换的 矩阵计算所需的参数。
该处理是每当启动激光跟踪程序时就进行一次的初始设定处理， 由合编到激光跟踪程序中的失真校正参数获取程序来执行(参照图 2)。当然，在该执行以后，当投影仪2或照相机5的位置偏移了等而 产生了失真校正参数的值变动大到跟踪处理的执行中不允许程度的现 象时，有必要再执行。
<步骤S2 - 1 - 1 〉
首先，在投影屏1上放映全黑的图像。
更具体地说，预先由计算机3制作全黑图像并存储，将其从计算 机3发送到投影仪2，从投影仪2投影到投影屏1。很显然，如果将制 作的全黑图像显示在显示器的桌面画面上，则其通过投影仪2投影到 投影屏1。
<步骤S2 - 1 - 2 〉
接着，在该全黑图像的四角依次放映白色的小正方形图像(参照
图4)。
更具体地说，预先由计算机3制作位于上述全黑图像四角的4个 白色的小正方形图像并存储，将其从计算机3发送到投影仪2，从投 影仪2投影到投影屏1。此时，很显然，如果将制作的4个白正方形 图像叠置在全黑图像上并显示在显示器上的桌面画面的四角，则它们 通过投影仪2投影到投影屏1。
<步骤S2-l-3>
将这些4个白正方形图像各自的中心坐标作为(XI, Y1)(X2， Y2 ) ( X3， Y3 ) ( X4, Y4 )存储(参照图4 )。
更具体地说，由计算机3在制作上述4个白正方形图像数据的阶 段中，还算出预先设定在上述全黑图像上的X轴/Y轴坐标系中的各中 心坐标并存储。该坐标系可以利用显示器或者桌面画面上通常设定的 屏幕坐标系，也可以求出屏幕坐标系中的四角的白正方形图像的中心 坐标。
<步骤S2 - 1 -4>
接下来，由照相机5对投影屏1上放映的上述全黑图像以及白正 方形图像进行拍摄。
更具体地说，按照对来自计算机3的摄影开始进行指示的控制信 号，照相机5开始投影屏1的摄影。
当然，如此计算机3和照相机5不联动也可以，不言而喻，也可 以是能够以手动开始照相机5的摄影的系统结构。
<步骤S2-1-5>
从拍摄的图像数据抽取与上述4个白正方形图像对应的区域。 更具体地说，由于在由照相机5拍摄并收入计算机3的照相机图 像数据中出现全黑图像以及白正方形图像，因此如果通过图像处理从 照相机图像数据只抽取白色区域，则能够获取与上述4个白正方形图 像对应的4个区域。 <步骤S2 - 1 - 6 >
并且，计算这些4个区域各自的中心坐标，并存储为(xl， yl) (x2, y2) (x3, y3) ( x4, y4 )。
更具体地说，由计算机3算出上述X轴/Y轴坐标系中的各区域的 中心坐标，并将其存储。 〈步骤S2-1-7>
而且，求解中心坐标(X1， Y1)(X2， Y2)(X3， Y3)(X4， Y4) 和中心坐标(xl, yl)(x2, y2)(x3， y3 ) (x4, y4)的联立方程式， 算出射影变换的矩阵计算所需的8个参数。
一般在投影仪投影中，当对计算机3的显示器上放映的图像和从 投影仪2投影到投影屏1上的图像进行比较时，经常存在投影图像产 生失真的情况，当不考虑该失真而继续进行跟踪处理时，在最终求出 的激光坐标值中同样也会出现失真的影响，并且基于该坐标值的描绘 处理等也将不能正确地进行。
因此，本申请发明被设计成能够进行失真校正，以实现更高精度 的跟踪、且基于此的描绘处理等应用也更适合。
该失真校正是通过将由照相机5拍摄投影后的图像所得到的照相 机图像数据嵌入到投影前的原图像数据中的二维射影变换来进行，因 此，应先算出射影变换矩阵计算所需的8个参数来获取射影变换式。
参数计算中，求解上述白正方形原图像数据的中心坐标(X1， Yl ) (X2， Y2)(X3， Y3)(X4， Y4 )和照相才几图像数据的中心坐标(xl ， yl)(x2, y2)(x3， y3 ) ( x4， y4 )的8元联立方程式即可。
即，如图5例示，投影前的白正方形图像的中心坐标(X, Y)和 投影后的白正方形图像的中心坐标(x， y)的偏差是失真，通过使用 了表示该失真程度的8个参数的二维射影变换式进行失真校正，从而 实现考虑了失真的跟踪。图5中的算式是二维射影变换式的一个例子。 由于该算式可以通过换算器对分子分母进行通分，独立的参数变成8 个。
<2-2.照相机快门速度、曝光、伽玛值的调整〉 那么，上述失真校正参数的获取处理执行后，实际上从投影机2 向投影屏1放映演示图像，使用者使用适当激光指示器4开始演示(下
面为了说明的简便，将演示场景中的应用作为一个例子进行说明)，但
在此之前，为了实现更加适合的跟踪，执行调整照相机5的快门速度、 曝光、伽玛值的处理，以通过照相机5获取来自投影仪的光被阻挡而 只有来自激光指示器4的激光被强烈地放映的图像数据(参照图6 )。
在本申请发明中，投影屏1上放映的激光的跟踪是通过如以下详 述由照相机5拍摄投影屏1上的激光、从所得到的照相机图像数据中 抽取与光点对应的区域、然后与照相机5的摄影速度相配合重复进行 算出区域坐标的处理来进行的(所得到的坐标值用于描绘处理等)，但 此时为了提高光点区域的抽取精度，必须由照相机5可靠地捕捉激光。 因此，通过调整照相机5的快门速度尽可能地阻挡投影仪光以便能够 只拍摄激光将成为非常重要的处理。此外，该处理由合编到激光跟踪 程序中的照相机控制程序执行(参照图2 )。
<步骤S2-2 - 1 〉
首先，将任意的快门速度值、曝光、伽玛值从计算机3发送到照 相机5。
更具体地说，当由使用者向计算机3输入快门速度初始值时，该 初始值从计算机3发送到照相机5。或者，预先设定并存储的初始值 从计算机3发送到照相机5。
<步骤S2 - 2 - 2 >
在照相机5中，以发送来的快门速度值、曝光、伽玛值切换快门， 对投影屏1上的演示图像和激光进行拍摄。也可以说成对放映有演示 图像和激光的投影屏1进行拍摄。
<步骤S2 - 2 - 3 〉
由拍摄所得到的照相机图像数据(下面为了说明的筒便，简称为 "图像数据")发送到计算机3，由计算机3判断在图像数据中激光是 否被足够强烈地放映。
更具体地说，例如预先设定表示激光的色信息的数据(RGB值或 辉度值等)，判断仅与其相当的数据是否包括在图像数据中。
〈步骤S2-2-3否，S2-2-4>
在判断为激光放映不充分、反过来说投影仪光的阻挡不充分的情
况下，调整上述初始值并设定新的快门速度值、曝光、伽玛值。
〈步骤S2-2-3是，S2-2-5>
之后，重复上述各步骤直至得到"是"的判断即能够判别光点为 止，使快门速度、曝光、伽玛值最佳化。"是，，表示光点的像有一个以 上且像的大小与激光相适合。关于大小的判断，例如根据上述既定 RGB值等是否连续存在于既定像素数中来进行。当然也可以应用除此 以外的判断方法。
由此，在照相才几5的石更件中可以阻挡来自投影4义2的光并可以选 择性地只捕捉来自激光指示器4的光。所得到的图像数据由于投影仪 光被阻挡，因此在暗的背景光中只有激光明亮发光而强烈地显现。
作为快门速度的具体值，虽然依赖于照相机5的性能和周围环境， 但是例如150~300/sec的快门速度值是一个优选的范围。
此外，进行最佳化调整的快门速度、曝光、伽玛值，不需要必须 将三个全部都设为调整对象，可以是任一个，也可以二个以上的组合。 但是，依赖于使用环境，快门速度的调整被认为是最有效果的。为此， 就组合来说必须包括快门速度，更优选地在此之上增加曝光或者伽玛 值，从而能够提高良好的激光抽取的稳定性。组合时的上述各处理， 首先自动选择任意的组合，以组合的参数的初始值进行拍摄(S2-2 -2)，在错过(口7卜)了光点的情况下，从该时刻的组合的周边对 各参数值和组合方式进行调整，并重复进行直至可以判断光点为止(S2 -2-3否，S2-2-4)。然后，当能够判别时，将各参数设定为最佳 值(S2-2-3是，S2-2-5)。
<2-3.照相机图像数据的获取〉
接着，对如上所述快门速度等被最佳化的照相机5的图像数据的 获取处理进行说明(参照图7)。该处理由合编到激光跟踪程序中的照 相机图像数据获取程序执行。
<步骤S2-3-l>
首先，由照相机5获取如上所述激光被强调的图像数据。 更具体地说，照相机5对放映有演示图像以及激光的投影屏1进 行拍摄，由于照相机5的快门速度如上所述被最佳化，从而在该摄影
像中只有激光被强调并显现。因此，在数码照相机的情况中，在由CCD 等图像传感器进行拍摄的情况下，能够获取如上所述强调了激光的图 像的色信息。
<步骤S2 - 3 - 2 〉
然后，该色信息作为图像数据从照相机5转送到计算机3。 以上的照相机图像数据获取处理以每秒30帧的拍摄速度重复。另 外，例如其图像大小设为320像素x240像素。 <2-4.照相机图像数据的输入>
接着，对将如上所述转送来的图像数据输入到计算机3内的处理 进行说明(参照图8)。该处理由合编到激光跟踪程序中的照相机图像 数据输入程序执行。
<步骤S2-4 - 1 >
首先，从照相机5送来的图像数据由计算机3所具有的照相机通 信部37接收。照相机5和计算机3之间的发送接收可以是有线的也可 以是无线的。
<步骤S2-4-2>
接着，将接收的图像数据保存到计算机3所具有的存储部32、或 者保存到数据文件33中。由此向计算机3收入图像数据。 <2-5.光点检测>
接着，对由计算机3从上述收入的图像数据中检测光点的处理进 行说明(参照图9)。该处理由合编到激光跟踪程序中的光点检测程序 执行(参照图2)。
<步骤S2 - 5 - 1 〉
首先，对收入的图像数据进行层次处理。
更具体地说，对图像数据全体实施层次处理以扩大图像数据中的 光点区域(参照图10 ( A) (B))。在该层次处理中，可以使用一般图 像处理领域中已知的平均化、高斯层次等。
由此，能够防止光点被埋没在图像数据中而变得难以检测，从而 可以使丟失光点的概率显著降低，能够以更高精度实现光点的跟踪即 由照相机5拍摄并由计算机3跟踪投影屏1上放映的来自激光指示器'
4的激光(参照图12 (A))。 <步骤S2-5-2〉
对实施了上述层次处理的图像数据进行区域抽取处理。 更具体地说，在构成图像数据的像素单位的色信息中抽取具有既 定阈值以上的值的区域，以检测与图像数据中的上述扩大的光点对应 的区域(参照图10( C ))。阈值预先设定为与光点对应的色信息值(RGB 值或辉度值)。
<步骤S2-5-3〉
然后，算出该抽取的区域的重心坐标(inputX, inputY)(参照图 IO(C))。在该重心坐标的计算处理中，可以使用一般图像处理领域 中已知的计算方法。
<2-6.失真4交正>
接着，对由计算机3对如上所述算出的重心坐标的失真校正处理 进行说明(参照图11)。该处理由合编到激光跟踪程序中的失真校正 程序执行(参照图2)。
<步骤S2-6 - 1 >
首先，对上述重心坐标(inputX， inputY)进行射影变换。
更具体地说，对重心坐标(inputX， inputY)通过使用了由上述失 真校正参数获取处理得到的8个参数的射影变换式进行射影变换。
由此，能够得到校正了如前所述由投影仪投影产生的失真(参照 图5)的重心坐标(AGPointX， AGPointY)。
<步骤S2 - 6 - 2 >
然后，只要将该校正的重心坐标(AGPointX, AGPointY)存储在 计算才几3内即可。
<2.7循环处理〉
此外，对从照相机5每秒30帧输入到计算机3的图像重复进行构 成以上描绘处理的2.1~2.6的各处理。
如上所述，能够由计算机3以及照相机5可靠地检测投影屏1上 放映的来自激光指示器4的激光，并跟踪其运动(参照图12 (A))。
然后，例如由计算机3自动制作与跟踪的激光的上述重心坐标对
应的描绘数据，如果该描绘数据与演示图像一起从投影仪2投影到投 影屏1上，则如图12 (B)所例示，在投影屏1上放映出与激光的运 动相适应的线或圆等，实现激光指示器4向投影屏1的描绘。
3.应用〉>
然而，实现了如上所述投影屏1上的激光高精度跟踪的本实施方 式的投影仪系统，不仅可以实现激光指示器4的描绘，而且还能够实 现使使用性能进一步提高的各种功能。具体地说，通过上述2.1~2.6 的各处理跟踪投影屏1上的激光，同时以上述坐标数据(AGPointX， AGPointY)为基础根据需要执行各应用程序。
下面，适当参照图13 ~图22对这些各应用程序的各种功能进行 说明。
本实施方式中的应用程序的总体结构如图13所示，相互关联地合 编有图14所示的履历记录程序、图15所示的履历再现程序、图16 所示的功能切换程序、图17所示的笔描绘程序、图19所示的鼠标仿 真程序、图21所示的演示软控制程序、以及半透明显示程序。当然也 可以形成将这些程序合而为 一的软件，另外还可以综合上述激光跟踪 程序以作为一个软件并将其安装在计算机3中。
图22是表示当将合而为一的软件安装在计算机3上起动时显示成 桌面画面的菜单画面的一个例子。其中显示了表示由各程序执行的各 种功能的图标，该菜单画面从投影仪2投影到投影屏1，只要将来自 激光指示器4的激光投射到投影菜单画面上的任意图标上，就能够筒 单地进行图标操作，从而使用性能被进一步提高。
<3.1履历记录>
首先，对履历记录进行说明(参照图14)。 <步骤S3 - 1 - 1 >
首先，将坐标数据(AGPointX， AGPointY)从上述失真校正程序 交付给履历记录程序。 <步骤S3 - 1 - 2>
接着，将该坐标数据和时刻t作为 一组(AGPointX, AGPointY， t)，依次进4于记录。
作为时刻t，例如可考虑进行上述交付的时刻或坐标数据被算出的
时刻等。另外，将记录开始的时刻设为o。
由此，各坐标数据是哪个时刻的数据即各坐标数据表示的各位置 上投射了哪个激光将被记录。因而，也可以说该坐标履历数据表示了 投影屏1上的激光投射履历，另外也可以说是表示了由投影屏1的上 述菜单画面上的激光进行的各图标操作或描绘操作等操作履历。
<3.2履历再现>
接着，对履历再现进行说明(参照图15)。 <步骤S3-2-l〉
首先，停止来自上述履历记录程序的原始数据的输出。 <步骤S3-l-2〉
接着，将坐标履历数据按照记录的时间t作为伪数据输出。
由于应用是不区别是通常的数据还是伪数据就进行动作，因此通 过伪数据的输出能够按时间正确地再现投影屏1的上述菜单画面上的 用户激光进行的操作。
此时，当忽视伪数据的记录时间t而高速连续输出时，能够进行 "到头(頭出L)"的操作。
<3.3功能切换〉
接着，对功能切换进行说明(参照图16)。
这是一种通过用户利用激光选择投影屏1上放映的上述菜单画面 上的图标来切换成分配给该图标的功能的处理。 <步骤S3 - 3 - 1 >
更具体地说，首先预先确定各图标的选择区域，并存储其区域坐 标数据。
<步骤S3-3-2>
从上述履历记录程序接受上述坐标履历数据(AGPointX， AGPointY， t)。
<步骤S3 - 3 - 3 >
接着，根据该坐标履历数据(AGPointX， AGPointY， t)判断激 光是否进入到哪个图标的选择区域。只要比较坐标数据和上述各区域坐标数据即可。
《步骤S3 - 3 - 4
如果存在进入的图标，则进一步判断是否进入该图标的选择区域 内既定时间以上。只要算出进入到相同图标的选择区域内的坐标履历 数据的时刻数据t持续了多久即可。
《步骤S3 - 3 - 5
然后，如果进入既定时间以上，则判断为选择了该图标，并起动 分配给该图标的功能。
由此，只要用户将激光放在上述菜单画面上的图标群中所期望的 图标上一定时间就能够选择该图标，从而可以起动分配给该图标的功 能。
< 3.4笔描绘>
接着，对笔描绘说明(参照图17)。
该功能是由激光指示器4向投影屏1进行的描绘功能，由于激光 指示器4起到像笔那样的作用，因此称为笔描绘功能。 〈步骤S3-4 - 1, S3-4-2〉
首先，从上述履历记录程序依次接受上述坐标履历数据 (AGPointX， AGPointY, t),生成连接从与最初坐标数据对应的桌面 画面上的位置起到与下一坐标数据对应的位置为止的位图数据。
通过对各坐标数据依次重复该步骤，从而可以进行各坐标数据按 时刻t的顺序连接的描绘(参照图18 (A))。
<步骤S3-4-3〉
然而，由于坐标数据是离散的，因此当按原样用直线连接来进行 描绘时，在与坐标数据对应的每个位置上只能描绘曲折的不自然的线。
因此，在本申请发明中，对离散数据实施贝齐尔曲线的插值处理， 能够进行更自然平滑曲线的描绘。
更具体地说，首先，从4点的坐标值中得出贝齐尔曲线描绘所需 的2个控制点的坐标，生成曲线。此时，通过进^f亍如相邻的曲线4皮此 成为切线连续那样的处理，能够得到平滑连续的曲线(参照图18(B))。
<步骤S3 - 4 _ 4 >
另外，在本申请发明中，作为上述插值功能的扩展，还能够进行 如毛笔那样的质感的描绘。
更具体地说，首先，对于上述曲线，将其控制点在与该曲线垂直 的方向上进行偏置，制作新的曲线。此时的偏置量按照与光点的移动
速度成反比例的方式确定。当该偏置曲线增加到多根(例如30根左右) 时，能够进行宛如用毛笔书写那样的质感的描绘(参照图18 (C))。 <3.5鼠标仿真〉
接着，对鼠标仿真进行说明(参照图19)。
该功能是由投影屏1上的激光实现与通常鼠标功能相同的功能。
<步骤S3 - 5 - 1 >
首先，通过如上所述的激光进行的功能切换来选择鼠标仿真功能。 更具体地说，在上述菜单画面上的表示鼠标仿真功能的鼠标图标 的区域中使激光滞留一定时间，从而选择鼠标仿真功能。 <步骤S3 - 5 - 2 >
当选择了鼠标仿真功能时，显示如图20所例示的表示"鼠标移动，， "单击""双击""右击""拖拉"的各种鼠标功能的图标。 <步骤S3 - 5 - 3 〉
然后，通过在表示期望的鼠标功能的图标区域使激光滞留一定时 间，来选择该图标，从而能够执行被分配的鼠标功能。
例如，如果选择单击图标，则在激光指示器5指向投影机屏幕1 的状态，能够通过该激光进行单击。这些鼠标功能与演示软件或本申 请发明的软件功能联动，从而当单击时就可以执行与单击对应的软件功能。
<3.6软件控制器>
接着，对软件控制器进行说明(参照图21)。 该功能通过投影屏1上的激光对演示软件等各种软件发送使其执 行其具有的功能例如"页面进送(^一-送J9 )""页面返回""到头" "一览显示"等的命令以实现软件的控制。 <步骤S3 - 6 - 1 >
首先，通过如上所述的激光进行的功能切换来选择软件控制功能。
更具体地说，在上述菜单画面上的表示软件控制功能的图标区域 使激光滞留一定时间，从而选择软件控制功能。
<步骤S3-6-2〉
当选择了软件控制功能时，显示如图22所例示的表示"页面进送" "页面返回""到头""一览显示"的各种软件功能的图标。 <步骤S3-6-3〉
然后，通过在表示期望的软件功能的图标区域使激光滞留 一定时 间，来选择该图标，从而能够将执行分配的软件功能的命令信号在计 算机3内发送到该软件。
例如，在演示软件的情况中，如果选择页面进送图标，则能够前 进到下一演示页。
<3.7半透明显示〉
最后，对半透明显示进行说明。
该功能是上述描绘功能的选项功能，将如上所述制作的位图数据 配置在桌面画面的最前面，且以半透明方式显示。
由此，用户在自己操作的应用软件上能够得到如直接写入手写文 字那样的感觉，从而能够实现使用性能的进一步提高。
《《其他>>
<4.1激光指示器>
在如以上所述的本申请发明中，使用能够发出2色或者3色以上 激光(例如红和绿)的激光指示器作为激光指示器5，通过使由上述 光点检测程序进行的光点区域抽取与这些各色对应并使用预先设定的 多种阈值进行处理，从而能够区分并识别这些各色的激光，由此能够 在不同的各激光中实现如上所述的高精度跟踪，还能够实现基于此的 描绘处理等应用处理。
<4.2 LED指示器>
另外，本申请发明除了激光指示器5以外，还能够适用于来自LED 指示器的LED光的跟踪。LED指示器是例如在前端部具有LED的笔 型、指示棒型指示器，与激光相同，发出红或绿等LED光。当然也可 以采用能够进行2色或者3色以上发光的指示器。
应该特别指出的是，根据本申请发明，不管是激光指示器5的激 光，还是LED指示器的LED光，都能够通过相同的上述系统构成、 跟踪处理、应用程序实现高精度跟踪以及高使用性能。
<4,3投影屏〉
对于投影屏1，不仅可以是一般的屏幕方式，而且，不言而喻， 也可以考虑白板或白墙等能够放映来自投影仪2的图像的各种方式。 <4.4显示器>
另外，本申请发明除了投影屏1以外，还可以原样地适用于液晶 显示器、等离子显示器、投影电视等能够进行图像显示的各种显示器， 从而能够实现更富变化的演示。
权利要求
1.一种指示器光跟踪方法，由照相机对投射到显示器上的指示器光进行拍摄，根据所得到的图像数据由计算机跟踪显示器上的指示器光，其特征在于，使全黑图像和位于其四角的白正方形图像投影到显示器上，对放映有这些全黑图像和白正方形图像的显示器进行拍摄，从所得到的图像数据抽取与所述白正方形图像对应的区域，算出抽取的区域的中心坐标(x，y)，从所算出的中心坐标(x，y)和所述白正方形图像的中心坐标(X，Y)算出对表示显示器上的指示器光位置的坐标进行使用射影变换的失真校正时所需的参数。
2. —种指示器光跟踪方法，由照相机对投射到显示器上的指示器 光进行拍摄，根据所得到的图像数据由计算机跟踪显示器上的指示器 光，其特征在于，对拍摄放映有指示器光的显示器的照相机的快门速度、曝光、伽 玛值的某一个或者两个以上进行调整，获取只有指示器光被强烈放映 的图像数据。
3. —种指示器光跟踪方法，由照相机对投射到显示器上的指示器 光进行拍摄，根据所得到的图像数据由计算机跟踪显示器上的指示器 光，其特征在于，对所述图像数据实施层次处理，使该图像数据中包含的指示器光 的光点区域扩大。
4. 一种指示器光跟踪程序，为了根据对投射到显示器上的指示器 光进行照相机拍摄所得到的图像数据来跟踪显示器上的指示器光，使 计算机实现如下功能从对放映有全黑图像和位于其四角的白正方形图像的显示器进行照相机拍摄所得到的图像数据中抽取与所述白正方形图像对应的区域；算出抽取的区域的中心坐标(x, y);以及从所算出的中心坐标(x， y)和所述白正方形图像的中心坐标(X， Y)算出对表示显示器上的指示器光位置的坐标进行使用射影变换的 失真校正时所需的参数。
5. —种指示器光跟踪程序，为了根据对投射到显示器上的指示器 光进行照相机拍摄所得到的图像数据来跟踪显示器上的指示器光，使 计算机实现如下功能对拍摄放映有指示器光的显示器的照相机的快门速度、曝光、伽 玛值的某一个或者两个以上进行调整，以获取只有指示器光被强烈放 映的图像数据。
6. —种指示器光跟踪程序，为了根据对投射到显示器上的指示器 光进行照相机拍摄所得到的图像数据来跟踪显示器上的指示器光，使 计算机实现如下功能对所述图像数据实施层次处理，以使所述图像数据中包含的指示 器光的光点区域扩大。
7. —种计算机可读取的记录媒体，记录了权利要求4至6任一项 所述的指示器光跟踪程序。
全文摘要
一种指示器光跟踪方法，通过照相机对投射到投影屏或大型液晶显示器等各种显示器上来自激光指示器或LED指示器的指示器光进行拍摄，根据所得到的图像数据由计算机跟踪显示器上的指示器光，其中，即使图像放映在显示器上时也可以实现高精度的跟踪。使全黑图像和位于其四角的白正方形图像投影到显示器上，对放映有这些全黑图像和白正方形图像的显示器进行拍摄，从所得到的图像数据抽取与所述白正方形图像对应的区域，算出抽取区域的中心坐标(x，y)，根据所算出的中心坐标(x，y)和所述白正方形图像的中心坐标(X，Y)算出对表示显示器上的指示器光位置的坐标使用射影变换进行失真校正时所需的参数。
文档编号G06F3/041GK101116049SQ20068000441
公开日2008年1月30日 申请日期2006年2月9日 优先权日2005年2月10日
发明者田川欣哉 申请人:有限会社策划设计工程