高分辨率与高敏感度三维(3D)鼠标移动控制系统、移动控制器件及其运动侦测方法与流程

本发明与一移动控制系统有关，该系统可用于控制或协助一个真实的物体的三维运动，该系统亦可用于控制或协助一个以绘图方式表现的物体的三维运动，该以绘图方式表现的物体是以图案的方式呈现在一个计算机、电子器件(Electronic Devices)，或机电器件(Electro-Mechanical Devices)上。

背景技术：

如图1所示，以往的光学鼠标是一个二维(2D)的鼠标移动控制器。当以往光学鼠标在运作时，用户是在一个二维的平面上移动鼠标(101)，该二维的平面可以是一个鼠标垫或是一个桌子表面(104)等等。借由比较一系列该鼠标沿着该表面上移动时所撷取到的该表面的影像，该鼠标提取出一系列的相对运动的向量值，并且进一步将提取出来的该向量值传送给远端的计算机或其它图形显示器，以方便其使用。以往的图形显示器所显示的图像也是二维的(如105所示)，这就是说，与该向量在屏幕上相当的是图1里的(x,y)。以上所述即为以往技术的一般架构，如以绘图方式呈现，则如图1所示。

近年来三维(3D)显示器逐渐变的普及起来。三维显示器可以应用于计算机、三维打印机(3D Printer)、外科手术仿真器(Surgical simulator)，或者是动画式的电玩游戏机(Video gaming device)等等应用上。不幸的是，尽管现今的三维显示器宣称具有某些特殊的效能，它们都有一个严重的缺点–无法与以往的光学鼠标(Conventional optical mouse)直接互动；究其原因，主要是因为以往的光学鼠标仍然是个二维的器件(2D device)。当一个操作者仅靠一个以往的二维的光学鼠标在三维的应用环境上使用时，其结果是许多专业的绘图程序(例如:医疗影像等等)都面临到相当程度的困难。例如，寻址的准确性(Positional accuracy)会下降，甚至近乎完全丧失；再例如，使用的困难度会增加；再例如，中央处理器(CPU)的功率消耗也会增加。这主要是因为当一个以往的二维鼠标的数据要传送给某个三维显示器使用时，该数据必须先经过一些矩阵转换的编程，而该编程通常是必须要借由CPU(或者类似的器件，如GPU，Graphic processing unit)来完成的；最后一点，而且这一点可能是比上述几点都重要–以往的二维光学鼠标无法提供角位移(Angular displacement)的数据给一个屏幕上显示的图形。

当一个以往的二维光学鼠标与一个三维(或者是2.5维,2.5D；2.5D的定义是指一个坐标系统除了具有以往2D坐标系统的两个坐标轴之外，还具有另一个坐标轴，该坐标轴使得该2.5维坐标系统具有旋转的能力)图形产生器协同运作时，它们所面临的问题除了包括有上述的(以往光学鼠标的数据)缺乏角位移数据此一问题之外，还包括另一个问题，该问题与一个三维的景象(3D scene)的景深(Depth)有关。图2以图形解说的方式，借由一个模型飞机的略图来阐述以上所述的以往光学鼠标所面临的这个问题。

在图2里，飞机的骨架概要图(204)是运用一个2.5维的显示器来描绘出来的。当一个操作者使用一个二维的鼠标移动控制器(例如，鼠标205)来把箭头(201)自一个位置移到另一个位置时，沿着动作路径，该箭头会触及飞机骨架上的杆子(202)以及(203)。由于图2所使用的是一个2.5维的概略图案绘图系统(因此，其所示之景物是有景深的，Depth)，其上所有的物体都会有它们的深度值。不幸的是，以往光学鼠标完全不知道这一点。当一个以往的二维的光学鼠标(205)在一个参考平面(Reference plane)移动时，它只能感测到沿着X轴以及Y轴的方向所产生的相对位移。因此，以往光学鼠标根本无法确认或使用一种方法代表景深。

视网膜(Retina)是一种二维的器官(2D organ)。使用一个二维的器官来分析一个三维的环境，就跟把一个三维的坐标系统重迭加在一个由以往光学鼠标所撷取到的图像框一样(严格来说，应该是2.5维；此处为表达图像里的像素具有深度，暂时称其为三维)。人类的大脑可以辨识出一个物体在一个三维坐标系统里的位置，是因为人类的大脑也会把一个2.5维的坐标系统迭加在一个由视网膜所撷取到的图像框里。但是在以往光学鼠标的影像侦测器(Image sensor)里，并没有上述的这样的一个2.5维坐标系统，因此，以往光学鼠标也就没有甚么信息可以用来通知一个使用三维“大脑“的显示器了。

技术实现要素：

本发明是一个三维的导航系统(Navigation system；在本发明里，导航系统与移动控制系统有相同的意义)，该三维导航系统至少包括有一个可移动的导航器(Mobile navigational device)以及一个被特别染色过的表面，该特别染色过的表面可以让该可导航器于其上移动；或者，本发明之三维导航系统可以是一个具有侦测触控功能(Touch sensitive)的表面的器件，因此，该表面把侦测运动改为借由侦测触碰产生的一些效果。

本发明之系统能够控制一个在三维坐标系统里的物体或鼠标的运动，该控制的方法系借由从一个二维的被特别染色过的参考表面(例如:一个彩色鼠标垫，a tinted mouse pad)量测、提取位置的数据(Positional data)以及运动向量(Motion vector)的数据来达成的。本发明之系统亦可以提供，或者协助一个电子或机电系统的控制功能；例如，该电子或机电系统可以是一个三维打印机(3D Printer)，也可以是一个实体的模型等等。值得注意的是，虽然本发明通常会被用户认为是与计算机屏幕上的鼠标或者物体的移动有关，事实上本发明之系统还可以用来操控一些真实的物体在空间中的动作，这类的物体至少包括三维打印机(3D Printer)；在本发明里，有关于”鼠标”这个词汇的使用方法，是比较属于历史性的，其真正的运用范围则不是仅仅局限于该词汇的普通定义。由于本发明采用了以上的描述方法，在本发明里，将上述之系统更单纯地称之为一个移动控制系统，会比较准确。此外，另一个值得注意的地方是，在本发明里经常使用的词汇“染色”或“彩色”(Tinted)，是指一个被处理过或镀膜过的表面，该表面在经过处理或镀膜以后，能够反射(Reflect)或折射(Refract)一个入射的电磁波，该电磁波是可以由一个可移动的导航器发射出来的；或者，另一个可能的情况是，该(被处理过或镀膜过的)表面也可以先吸收某一入射的电磁波(部分或全部)，然后再发射(Re-emit)另一电磁波(该被吸收的电磁波的波长、相位、功率等等，可以与该再发射的电磁波的波长、相位、功率等等不同)；该入射的电磁波可以是发射自上述可移动的导航器(Mobile navigational device)；或者，该入射的电磁波可以是发射自本发明之移动控制系统上的任何一个部位。经过上述的吸收、反射，或再发射(Re-emit)的过程以后，该入射电磁波的强度(Intensity)、颜色(也就是说波长Wavelength)、相位(Phase)、极性(Polarity)，或其它与电磁波有关的特性等受到了影响，成为上述的反射(或折射)电磁波。

借由应用此种特殊的“染色”方法到该参考表面上，该参考表面上的每一个二维空间的点都会有一个特别、独一无二的色彩参数(例如，我们可以使该表面上各彩色点形成一个色域图(Color gamut)，如此我们就可以使用CIE 1931RGB的色彩指标Color index来代表该二维空间的上的每一个地理位置点)。此外，借由每一个点的色彩参数，该参考表面上的每一个原本是二维坐标系统里的点，就可以转换成(或者是按照一个设计好的方式指示为)显示屏上的一个三维的地址数据(例如，一个有x,y,z地址位置的点)；或者，该参考表面上的每一个原本是二维坐标系统里的点的位置数据，可以被指定成一个三维的运动向量，供该显示屏使用。因此，该导航器可以仅仅是在一个二维的“染色”过的表面上移动，就能取得的三维的资料，此种特殊的运动、数据撷取的方式与系统，具有以下几个无与伦比的优点。第一，该导航器能够侦测出自身的非线性运动(例如，旋转)，而该非线性的运动的特性、数值，是以极高的速度加诸至该导航器的自身的运动上的(该速度可以借由量测fps,也就是说每秒拍摄影像的祯数,frames per second,来代表)，该速度是远高于一般数字影像撷取器的拍摄影像的速度的。在本发明的导航器里，属于该导航器自身的运动里的非线性的部分，可以借由模拟电路(Analogue circuitry)来比较几个颜色不同的像素(Pixel)的色彩数值(例如，将其转换成电压值)而得出的。因此，本发明的导航器(或者可称为移动控制器)的性能，是不受限于祯率(Frame rate；fps)的。此种以模拟的方式来处理数据的电路，是模仿蜜蜂的眼睛基本功能达到的。人类的眼睛主要是靠形状辨识(Pattern recognition)来确认一物体在一个图像框里(像素构成的平面)的位置的。蜜蜂的眼睛里的感光细胞(Photoreceptor)的数量远少于人类的，不过蜜蜂的感光细胞有一点跟人类很像，它可以看到一些彩色(例如，黄色，蓝色等颜色)。值得注意的是，这些色彩信号(Hue signal)并不是给蜜蜂用来做形状辨识用的；这些(色彩)信号是直接连通(Wired to)到神经细胞(Neuron)上，用来导引(Navigate)蜜蜂的飞行，使它们不会撞上花朵用的。以成效论，蜜蜂在运动侦测这方面的表现其实是远高于人类的。在本发明里，色彩也是被用来做运动侦测用的(Motion Detection)，此种技术(至少包括以上所述的方法、仪器等)使得本发明之导航器的表现远高于以往的光学鼠标。

第二点，本发明之3D导航器(3D navigator)是把与资料撷取(Data acquisition)有关的工作以及运动侦测(Motion detection)的工作分派给不同的特殊机制(Different features)以及算法(Algorithm)来执行的；此种特别、独一无二的分工方式使得本发明之导航器能够同时享受到甚高的定位精准度(High positional accuracy)，而且还具有控制物体/鼠标的非线性运动(Non-linear motions)的能力；在本发明里，上述的高定位精准度，主要是靠像素区块比对算法(Block Matching Algorithm,BMA)来达到的；有关于本发明对物体/鼠标的非线性运动的控制能力，主要是靠其对彩色的敏感度(Hue sensitivity)达到的。上述这种谨慎而又别具心意的分工编程，使得本发明之导航器在不需要付出甚高的代价去执行沉重的运算的情形下，轻松的执行三维运动侦测的工作。

第三点，上述(由BMA方式取得)的位置数据，可以与一个坐标系统交互参考(Cross-reference)，该坐标系统是嵌入(也就是说隐含于其内)在一个彩色参考平面里面的(例如，该参考平面可以是一个彩色的鼠标垫)。该彩色参考平面为本发明的导航器提供了一个色域图(Color gamut)，该色域图上的彩色数据是经由一种可控制方式来提供给该导航器使用的；该色域图上的不同的地理位置(Geographical position)会提供不同的色彩数据(Hue data)。更明确地说，如果我们沿着某一个方向检视(例如，上述嵌入在该彩色参考平面里的坐标轴的x轴向)，某一种色彩参数(例如，CIE 1931RGB里的红色参数)会呈现线性增加或减少。当上述的彩色参考平面里含有三种颜色刺激元(Tri-color stimuli)，而且该些颜色刺激元均按照以上所述的颜色变化的形式(Hue variation profile)，以彼此独立，互不干扰的方式植印(Imprint)在该彩色参考平面上时，本发明之导航器就能够从一个嵌入式的三维坐标系统里(Embedded3D coordinate system)取得三维的绝对地址(Absolute 3D positional address)的数据，而该三维绝对地址的数据实际上是借由该参考平面的染色情况(Tinting condition)决定出来的。

一个普通的计算机(包括它的鼠标)是靠着在一个单色的图像框里追踪某(些)被锁定的物体来判定该(些)被锁定的物体的位移的。这类的方法包括像素区块比对算法(BMA,Block matching algorithm)。当一个以往光学鼠标受到剧烈的运动时，该鼠标会无法追踪那(些)被锁定的物体；在这种情况下，(与该鼠标相连的)计算机会停止运作。本发明的导航器因为具有以上(快速的决定绝对地址)的功能，即使是经历过操作者手部的剧烈运动之后，仍然可以很快地找到其所在的位置，这种功能是动画游戏的相关应用(Video game application)极为渴望拥有的。由于有以上的功能，一个建立在一个彩色参考平面上的2.5维坐标系统，就可以随时与另一个三维的图形显示系统(3D graphic rendering system)相互检验(Cross-checked)，建立起资料对应的关系，而且这种关系可以随时重建。

蜜蜂是用类似于上述的功能来作长途旅行的(例如，飞行数英里)。尽管事实上蜜蜂从没有真正看清楚过任何物体，它们却可以飞一段很长的距离而不迷路。使蜜蜂能够作如此令人惊异的长途旅行而不迷路的基本能力，是一张存于它的记忆里的一张色彩地图(Hue map)。这张地图是与太阳光的照明条件(Sunlight illumination condition)同时储存于蜜蜂的存储器的(太阳光线的梯度变化会指示出无穷远的方向)。如果某工程师拿一个素描本来模拟上述蜜蜂的导航图，那就好像该素描本上面也有一个三维坐标系统，而且也有一个消失点(Vanishing point)。在一只蜜蜂的三维导航图上是有很多向量的(彩色的梯度就是一个向量)；此外，该蜜蜂导航图上也有一个无穷远点(Point of infinity)。不过，在蜜蜂的眼里没有任何物体是具有清楚的轮廓的。在下世代三维光学鼠标里，上面所述的功能会被加到产品上。因此，与以往技术截然不同的是，下世代的三维光学鼠标并不会像现今的鼠标那样不眠不休地追求越来越高的祯率(Frame rate)，也不会一定要用均质光(Coherent light；激光光为一种均质光)之类特殊的光源来照明；明确地说，本发明就是靠提供一个三维导航图来达到(三维移动控制)目的的。在下面的几个段落里，我们将简单介绍以往光学鼠标的功能，然后解释拥有一张三维导航图的重要性。

人类的视觉神经系统的操作方式，可以用一个2.5维呈像系统显现出来的物体作比拟(例如，人类的视网膜就如同一个像素画框Pixel frame，视网膜在形体上是一个二维的平面)。人类眼睛的形状辨识的功能赋予了我们从一个像素画框(事实上就是我们的视网膜Ratina)里提取一些特征形状的能力。当我们以人为的方式把一个2.5维的坐标系统加到上述的像素画框上后，上述这些自像素画框提取出来的特征(点、线、面等等)就有了三维的地址(3D positional address)。此种图像处理架构需要相当多的计算；因此，当景物(Scene)变化得太快的时候，人类无法像看清楚东西。在大自然里，与大部分其它的动物相比，人类算是一种运动缓慢的生物。从另一个角度来讲，蜜蜂的眼睛就是设计来对付在一个不断变化的环境里快速运动用的了。当一只蜜蜂从一朵花轻快地飞向另一朵花时，它所看到的影像是完全不同的(而这整个影像改变的过程所需的时间不过是几秒钟而已)。如果在这个时候一只蜜蜂用的是人类的视觉系统，那它将会感到头晕目眩。所幸的是，蜜蜂的眼睛在这个方面(三维运动的快速运动侦测)是大大优于人类的眼睛的，因为蜜蜂能够不经过形状辨识的过程，快速地侦测到运动(Rapid motion detection)。此时(蜜蜂眼睛所撷取到的)色彩的数据就是光流(Optical flow)；因此，当一只蜜蜂在花朵间穿梭时，它并不一定需要靠一张有花朵清楚轮廓的影像来完成动作。如果某人用数学的理论来描述上述蜜蜂的神经系统，他/她会了解到原来蜜蜂是借由量测不同颜色的光流的梯度(Gradient of light flow)来作它的工作的；严格地说，蜜蜂的复眼就是一组光流方程式(A cluster of optical flow equations)。当某个人想要改善现今的鼠标产品时，他/她可以从大自然获得启发–下世代的光学鼠标将会变成是对彩色敏感的。当我们有了以上的了解以后，就会知道本发明代表的是计算机绘图工业(Computer graphic industry)另一个世代的开端，在下一个世代里，计算机绘图工业会朝使用与色彩侦测有关的方法(Hue detection methodology)这个方面的应用迈进。不过，一个器件设计工程师应该要体认到光靠制造一个功能类似蜜蜂眼睛侦测彩色的办法的器件，并不能完完全全地弥补以往的光学鼠所有的缺憾；也就是说，蜜蜂的视觉系统是有其极限的。蜜蜂的眼睛在定位物体这方面(Positioning)，其实是不精确的，但是人类使用的光学鼠标是会需要精准的定位功能的(Positioning accuracy)。假如一个器件设计工程师直截了当，不假思索地参考蜜蜂眼睛的结构来设计他的导航仪器的电路，那他的导航仪器会对物体的非线性运动反应敏锐无比(因为他的导航仪器会对光流的变化感应相当敏锐)，但是他的导航仪器的分辨率会很差，定位精准度也会很差。我们可以借由以下的情境看出蜜蜂眼睛的缺点，假如有一个体积比蜜蜂大，而且可能对蜜蜂有危害的物体缓缓地靠近一只蜜蜂，由于蜜蜂的眼睛不是设计来看清楚物体用的，该蜜蜂将无法认知到有一个危险物体正在靠近它。我们人类所企图开发的三维导航器，是需要有高定位精确度的。在很多的应用上(例如，绘图，三维机器人辅助的医疗手术等等)，定位精准度仍然是一项最基本的、需要的功能，此一功能是不可以为了要有其它对非线性运动侦测的能力而被牺牲掉的。自从在二十年前左右光学鼠标发明以来，有关于(鼠标移动控制器，导航器)的定位精准度的需求，一直都是被强调的。

为了要使一个以往的光学鼠标能够获得具有定位准确度(High positional accuracy)的二维运动向量，在以往光学鼠标的下方会有一个空室(Cavity)，该空室内镶嵌有一个数字相机。当鼠标在运作时，一系列的桌子表面的影像，会借由像素区块比对算法(Block matching algorithm,BMA)来相互比较。以上所述的设计法则已经被计算机工业采用了相当长的一段时间了。严格来讲，即使到今天，以往的光学鼠标仍然不过是一个会控制显示在二维平面(指的是显示面板或计算机屏幕)上的一个箭头的平移位移(Translational displacement)的器具。在三维的应用里，鼠标(此时该鼠标已变成一个三维的物体，a 3D object)并不一定需要位于一个特定的二维平面上。因此，为了要能够执行一个完整的三维鼠标运动控制工作，我们会同时需要定位精准度以及对该鼠标或物体非线性运动的控制能力。当面临上述这些新的需求时，以往光学鼠标就显得过时了。当今的微电子工业有极为迫切的需要去开发出新的(运动侦测)方法，这种新的方法除了要能够侦测出运动向量里的高阶项(而且该运动向量必须具有三维的形式)，还要能够维持相当好的定位准确度。如以上所述，蜜蜂眼睛的结构提供了我们线索。值得注意的是，虽然蜜蜂的眼睛能够辨识出几种颜色(彩度)，蜜蜂的视觉神经对于色彩、辉度的变化(Hue variation)的反应是与人类的视觉神经对于光彩变化的反应非常不同的。蜜蜂使用彩色的目的主要是用来作运动侦测(Motion detection)，只有很少的一部份是用来作形状辨识用的。我们可以从观察蜜蜂能够轻快、准确的在一个复杂的三维坐标系统里(例如，一片由花朵覆盖的灌木丛)穿梭自如，得到充分的证明蜜蜂的神经系统功效强大。计算机工业的生态也无非就是个自然生态，在这个生态里，达尔文的进化论仍然适用。那也就是说，当三维图形显示的时代来临时，以往的光学鼠标工业将面临一个临界点。如果能够再持续进步，光学鼠标工业将可以存活下去，否则就会被消灭。为了要改良以往光学鼠标的性能，一个器件工程师应该会很自然地想到要给一个鼠标加上非线性运动的控制能力。而当一个器件工程师着手去设计这样的一个模仿蜜蜂眼睛的功能的电路时，他/她将发现这样的电路很像一个模拟电路(例如，一个差动放大器，Differential amplifier)。当一个物体快速的从一只蜜蜂眼前运动过去，从左向右的运动方向与从右向左的运动方向可以使该蜜蜂的眼睛里的某些神经对(Neuron pairs)产生相反的信号型态(例如，如果以A,B代表上述神经对的信号强度，则以上所述的两种物体运动方式会产生A>B以及A<B的信号型态)。如果我们把一个以现今微电子工艺制造出来的差动放大器(Differential amplifier)的输入点适当的连到某些对色彩敏感的传感器件上，则该差动放大器也会有类似于上述蜜蜂对不同方向的物体的运动的敏感度。为了达到这个目的，本发明的导航器所使用的微电子传感器(Microelectronic sensor)必须是对彩色光敏感的(例如，该微电子传感器可以是对彩色敏感的互补金氧半导体传感器Color sensitive CMOS sensor)，而且本发明的导航器所使用的平面型参考表面，也必须是一个彩色的表面。如此一来，当本发明的导航器在上述的彩色的表面运动时，有关于位置的数据(Positional data)以及方向的资料(Directional data)就可以同时产生出来(在另一个与本发明申请案有相同申请人的NU11-007专利里(US20140160021)，该专利所使用的意义相同于上述的两种参数，是由一个含糊笼统的数值资料,a lumped data,导出来的)。在大部分的实际操作情况，上述的彩色平面型参考表面，其外观的颜色是由三个原色(Primary color；注意，在物理学上，原色是有定义的；例如，红、蓝、绿是原色)所构成的(使用比三个原色还要多，或者少，的颜色是有可能的，但那只有在特殊情况下使用)。当本发明的导航器里的光侦测器(Photo-detector，例如，该光侦测器可以是一个感光二极管Photodiode)对上述的该些原色光有所反应时，其所量测出来的色彩数值(Hue data)会是正交的(也就是说，红色参数Red color index不会与蓝色参数Blue color index相互干扰，相反地亦然)，如此一来，镶嵌于本发明导航器之内的数字相机就会“觉得”自己是处在一个三维的空间里，此种情况就好像一只蜜蜂在许多花朵之间飞来飞去时，它所看到的周遭环境一样。有了这样特别、独一无二的功能以后，本发明的导航器只需要在一个二维的彩色平面(例如，一块彩色鼠标垫)上游移运动，就可以控制一个与其相对应，呈现在一个三维图像显示系统(3D graphic rendering system)里的物体或鼠标的游移运动(Maneuvering)。此外，该游移运动可以同时享受到甚高的定位精准度以及对非线性运动的敏感度。因此，本发明的导航器可以说是为电子工业通往虚拟现实(Virtual reality)领域开启了一扇大门。

从物理的角度看，一个三维的图形显示仪器(3D graphic rendering device)就是一个图像处理器，而一个光学鼠标也是一个图像处理器(该图像处理器可以将像素平面的数据储存起来)。上述两种图像处理仪器的基本不同之处，可以借由公式(1)与公式(4)来解释。我们先考虑一个像素(Pixel)；简单点讲，这个像素可以被当成是任何一个可被一个光学鼠标移动的物体。此处我们将该像素表示为P，它在一个三维正交的坐标系统(3D orthogonal coordinate system)里，是位于点P的位置。当像素P被一个由旋转(Rotational)以及平移(Translational)合成的位移向量所移动时，它会到达一个新的位置，我们把此一新的位置标示为P’；上述的旋转与平移位移，可以由公式(1)里的R与T操作(Operators)里的参数来表达。

如公式(1)所阐明的，旋转位移(Rotational displacement)并非一个单一数值的物件，它其实是由一个(3×3)的矩阵来代表它，例如，这个矩阵可以表达为同样的道理，平移位移(Translational displacement)的资料T也并非一个单一参数值的数据，它其实是一个(3×1)的矩阵，这个T矩阵是由三个位移参数所组成的。在公式(1)里，该三个参数被表达为经过以上的矩阵运算，我们最后所得到的结果是位置P’，它可以用来表达。

旋转矩阵R可以有许多形式。如公式(2)所示，旋转矩阵R可以被视为是由三个旋转矩阵组合而成的(也就是说把此三个矩阵做连续的相乘)，此处该三个旋转矩阵每一个均代表围绕某一个轴的旋转运动(例如，x-轴，y-轴，z-轴)。因此，如公式(2)所示，一个位于三维坐标系统里的点，它的旋转位移可以由三个角位移φ，θ来代表。当我们用φ，θ来代替公式(1)里的R11～R33以后，我们就可以把旋转矩阵R改写成像公式(2)那样，相反地亦然。

还有一些其他的变化方法，例如，旋转矩阵R也可以用公式(3)来描述。在公式(3)里，参数n1，n2，以及n3代表的是旋转轴(The pivot axis)的单位向量(Unit vector)，ω代表的是围绕旋转轴的旋转角度。

在实际操作上，使用者可以根据情况、个人的需要选择使用公式(1)或公式(2)，甚至其它形式的旋转矩阵R(例如，四元数Quaternion)来处理数据，其结果应该会相同。例如，公式(2)需要三个与角度有关的数据(φ，θ)来描述一个旋转运动；至于公式(3)，它所需要的角位移数据只有ω一个。本发明的导航仪器使用公式(3)来导出旋转矩阵R。

从物理的原理来讲，一个以往的光学鼠标就是一个可移动的影像侦测器，该影像侦测器对着一个二维的平面型参考表面拍摄一系列的照片(例如，该表面可以是桌面，鼠标垫，或者类似的东西)，而且该参考表面上有一些可以被追踪的微小物体(例如，灰尘dust，表面缺陷surface imperfection，或者是表面地形起伏所造成的特殊形状topological features等等)。当该参考表面与该影像侦测器之间有一个相对运动时，上述该些被追踪物体就会在影像侦测器里产生相对的运动的影像，通常该影像侦测器是由为数甚多的像素构成的。这些像素的移动可由公式(4)来代表；在公式(4)里，参数M代表转动位移，参数TOptical_mouse代表平移位移。

值得注意的是，公式(4)是针对一般二维运动侦测相机所写的一个最普通的数学表达法。现在我们在消费性电子产品市场里买到的典型的光学鼠标，只能量测平移位移的数据，也就是说公式(4)里的在过去，只有很少的发明是企图量测公式(4)里的旋转项M的。与本发明有相同申请人的NU11-007揭露一种光学鼠标，该鼠标可以借由从一个含糊笼统的运动向量(Lumped motion vector)里提取出旋转位移(Rotational displacement)，也就是说公式(4)里的参数M。此一器件使得下世代鼠标移动控制器能够在不需要使用者以夸张的方式来改变自己移动鼠标的习惯之下，就拥有旋转鼠标的功能。

在一个2.5维的坐标系统里，一个原来只具有二维格式的位置数据，可以被转换成三维的数据。因此，当一些平移的数据以及旋转的数据被转换成三维的格式时，使用该些数据的光学鼠标就能够决定出最终位置P’。借由把一个2.5维的坐标系统加到一些影像上，而且该些影像都是撷取自某一个参考平面，本发明的导航器能够使一个计算机认知到其所取自该导航器的数据是具有三维的格式的。在过去，从光学鼠标量测出来的地址数据仅能是二维的，因此，计算机必须运用二维转三维的数据转换编程来制造出它所需要的三维运动向量(例如，ΔX，ΔY，ΔZ)。由于在计算机与鼠标之间并没有任何明确的物理的关联性，上述的转换编程只能靠计算机的中央处理器来完成，也因此造成计算机中央处理器的多余的能量耗损；而且上述的计算机数据转换编程与操作员手部的运动并没有直觉上的关联性，其结果正如我们在日常生活里所看到的三维图形显示器呈现出来的物体的动作一样:其动作缺乏真实感，而且操作员与计算机之间的互动是备受局限的。

本发明的其中一个目的就是要借由量测一个二维的参考表面的“色彩”(Hue)，或是一个根据该参考表面反射回来或发射出去的电磁波的其它光学特性，提供出三维的位置数据，并且根据其量测的结果建立起一个编程(Process)，该编程把2.5维的数据转换成三维的数据。如果我们拿三道不同颜色(例如，红、蓝、绿；RGB)的光芒(Light rays)照射在一个二维的参考表面上，而且该表面有覆盖一层反射物(能够反射上述三道光芒)，则该参考面上的每一个点所反射的光都可以有某种彩度，而且该彩度可以用一组三刺激元的数据来代表(例如，CIE 1931RGB)。经过数据转换编程以后，本发明的导航器就能够提供具有三维格式的位置数据(Positional data in 3D format)。因此，操作员仅需在一个二维的“染色过的”参考平面(Tinted；例如，一个彩色鼠标垫，一个桌面)上移动本发明的鼠标(也就是说本发明的导航器、鼠标移动控制器)，就能够提供三维的位置数据给计算机使用。色域图里的色彩数据(Hue data)就提拱了这样的一个方法，使我们能够把取自一个平面型参考表面的二维数据，以接近于一点对一点的方式，对应(Mapping)到一个图形显示器(或是其它电子或机电仪器)里的三维空间(3D Space)。以往的光学鼠标因为使用的是单色光(Monochromatic light)，缺乏上述这种提供三维运动数据的能力。图3以概图的方式表示出2.5维与三维坐标系统之间的关系。

如图3所示的是，一个2.5维的鼠标移动控制器与一个三维坐标系统之间会有某种特定的几何关系。那也就是说，对于任意一个在三维坐标系统里被标示为(x,y,z)的点而言(例如，图3里的黑点)，该点投射到一个二维平面上的地址可以被写为(x’,y’)；而上述该两个坐标系统(一个是二维的，另一个是三维的；我们在此处把前述的2.5维的坐标系统说成是二维的是指该坐标系统在形体上就是一个平面)是可以借由公式(5A)与(5B)来彼此转换数据的。x’＝x–z cosσ (5A) y’＝y–z sinσ (5B)

图3所示为一个解说的范例，图3上的三维物体(一个正立方体，Cube)的所有的边都是彼此以90度夹角相交接的(θ＝90°)。至于该正立方体投射到图3以后，其相关各边之间的夹角σ应该是多少，其实是靠我们选择甚么样的2.5维显示器而决定的(以图3所显示的情况来讲，该显示器就是由(301B)来代表，如果更进一步就严格的物理意义来讲，该显示器就是一个二维的平面，其上的夹角σ为45度)。从公式(5A)与(5B)，我们了解到一个在某特定照光条件下的彩色参考平面(Tinted reference plane illuminated by a specific lighting condition，例如，照光的强度有特定的限制)，由其上的一组点所构成的数学平面方程式，无非就是一个2.5维的坐标系统里的平面方程式(A plane function in a 2.5D coordinate system)。但是如果照光条件(Lighting condition)改变了，或是影像侦测器的快门速度(Shutter speed)改变了，或是本发明的导航器其它的功能起了变化，而该变化足以造成与上述(照光，快门等)的改变相类似的效应，那么与其相对应的前述2.5维平面里的数学平面方程式也要跟着改变。从数学的角度讲，这等于是说一个三维平面改变了它的法向量(Normal vector)。借由这个方法，本发明提供了一个革新式的导航器，这个导航器的外型就像一个三维光学鼠标，操作者只要移动一下他的食指(Index finger)，就可以改变一个三维鼠标/物体的方向。此外，只要本发明的导航器与参考面之间有一个相对位移，上述该三维鼠标/物体就可以同时有平移与旋转的位移。我们根据公式(1)来理解，以上所述的这样一组的数据(一个导航器与一个彩色参考平面之间的相对位移数据，R,T)可以充分地满足在一个三维图形显示器里移动一个鼠标/物体的需求。

在本发明里，公式(1)里的旋转矩阵R可以由公式(3)计算得出。根据公式(3)，上述的旋转矩阵R是一个旋转角度ω以及一个单位向量的函数，其中在实际的操作上，n1,n2,n3可以是由计算机程序给定的；或者，n1,n2,n3可以经由本发明的导航器(图5里的(502))获得调整。为了方便解说起见，我们先暂时把n1,n2,n3当作是已知的变数。图6A所示的是在不改变n1,n2,n3的情况下，移动本发明的导航器会产生的现象。当本发明的导航器正在移动时，如果n1,n2,n3保持不变，则箭头形状的鼠标(604)会只在三维图形显示器(608A)里的平面(603A)上移动。在这个极为特殊的情况下，我们把平面(603A)当作是一个走廊。(606A)与(602A)项则是该走廊(603A)两侧的墙壁。因此，无论导航器(607)怎样动作，鼠标(604)都不会爬到墙(606A)以及(602A)上去。这样(的操作方式)会带给操作者逼真的感觉(Realistic feeling)。在本实施例中，符号608A可表示为三维图形显示器、显示仪器，及图像框等元件名称，其在不同情境中有不同的意义。

在计算机的存储器里，有些地方是用来储存三维坐标系统以及某些特殊形状(例如，走廊与墙壁)的地址用的。明确地说，如图6C所示，在上述的三维坐标系统里具有箭头形状的鼠标(604)是用点C来表示的。基于与前段描述相同的原理，如图6B所示，图6C里的点C可以对应到参考表面(606)上的点B。每当操作员在参考表面(606；例如，该参考表面是一个鼠标垫)上以一个运动向量(Δx*,Δy*)去移动导航器(607)时，箭头形状之鼠标(604)就跟着以向量(Δx**,Δy**)在显示仪器(608A)上移动。此处再次提醒注意，除非图6C里的单位向量有所改变，否则不管从参考表面(606)取出来的运动向量是任何值，点C都不会离开平面a1b1c1。对于一个图形显示器而言，以上这种情况暗示着该三维鼠标(604)不会被移到图6A里区域(603A)以外的地方。此种特别、独一无二的功能带给一个需要定位精准度的三维图案型用户接口(3D Graphical User Interface)无与伦比的方便。我们都知道一个以往的光学鼠标的分辨率可以轻易地从一个平面型参考表面获得数百，甚至数千dpi(Dots per inch)，但是目前最先进的三维游戏控制器很难满足这样的规格。因此，假如之前所述具有操控单位向量的能力的前提能够被满足的话，本发明的导航器就可以成为一个先进的高敏感度与高分辨率三维鼠标/物体移动控制器。有关于这个问题(具有控制单位向量的能力)，本发明借由一个特殊的功能实现了需求，在本发明文件后面的段落里，有关于该特殊功能会在实施例里有详细解说。此外，在与本发明相关的另一个发明申请案NU11-007里，揭露了一个方法以及一个实现该方法的导航器，使得该导航器能够借由量测其本身与一个二维的参考平面的相对运动，提供出旋转位移的数据；本发明将NU11-007整份文件纳为其参考数据，NU11-007与本发明有相同的申请人。如图7A、7B、、7C之概略图案所示，本发明借由一个类似于NU11-007所使用的方法，在进行平移移动(Δx*,Δy*)的过程里，能够提供一个旋转运动数据(ω*)；如图7C所示，计算机能够辨认出来上述(平移与旋转)的运动参数为(Δx**,Δy**)以及ω**。在图7A所显示的与前述导航器相对应的图形显示器里，鼠标(704)是被一个平移位移(706)以及一个旋转位移ω***移动的。请注意此时发生在鼠标(704)上的平移与旋转运动都会落在平面(703A)上。由于在以上所述的情况下，平面a1b1c1的单位向量并无改变，鼠标(704)并没有离开平面的动作。对许多三维的应用而言，上述这种功能(鼠标可以在一个特定的三维的平面上运动而不致于离开该平面)在很多应用上(例如，动画型电动游戏Video game，AUTOCAD计算机绘图等等)提供给使用者无与伦比的方便，其原因即在于本发明的导航器提供给用户移动物体的三维运动数据，是从一个一般操作者非常熟悉的参考平面上取得的(例如，鼠标垫)。与大部分市场上找得到的触控/移动控制器(Haptic device)相比(例如，电磁场感应追踪器EM trackers，有物体深度/距离量测能力的照相机Depth camera,Wii,等等)，本发明的导航器有高很多的准确度(Far better accuracy)、灵敏度，以及适应使用者(动作习惯)的能力；以上这些优点使得本发明的导航器特别对一些专业人士有用，例如，本发明的导航器特别适合使用于三维医疗影像(3D medical image)的外科手术(Surgery)。

当参数n1、n2或n3改变时，前述的三维鼠标/物体在一个影像显示器里的数学移动平面与其所使用的坐标系统的三个轴的交会点也会跟着改变。如图8C所示(这是一个解说范例)，当图8C里的鼠标运动平面的单位向量有所改变时，在计算机的存储器里，或者在该导航器的存储器里，该鼠标的运动平面由a1b1c1(其单位向量为)改成了a1b1”c1(其单位向量为)。因此之故，在一个三维图形显示器里，鼠标的运动平面(Plane of cursor motion)改成了(803A)。经过如此的鼠标运动平面倾斜的动作，鼠标(804)现在与图8A里的鼠标比起来显得更向上倾斜了(More upwardly tilted)。因此，由于鼠标的运动平面有了新的位置，鼠标(804)现在能够触及点(806)；点(806)是走廊的天花板。这个现象是图7A里的鼠标做不到的。同样的原理，如图9A至图9C所示，当鼠标运动平面换成了a1b1*c1时，鼠标(904)就能够在平面(903A)上运动。其结果是，鼠标(904)将不能触及点(901A)，该点是走廊的尽头；注意，图7A里的鼠标示可以触及走廊的尽头的。

在实际操作时，操作者可以用一只手同时控制以上所述所有的三维鼠标运动(例如，鼠标的移动以及鼠标移动面的倾斜)，该些运动是借由协同手指的姿态(Finger gestures)，腕部的运动，肘部以及臂部的运动等等来完成的。如图10B所示，操作者可以运用一个平移向量(Tx,Ty,Tz)以及一个旋转向量ω来移动导航器(1007)；在上述该两种向量结合起来的运动的过程里，操作者还可以在单位向量调整器(1008)上摇摆他的食指(1009)(例如，该单位向量调整器可以是一个Lambertian touch sensitive plate，在本发明的一个独立的实施例里，有针对该Lambertian touch sensitive plate的进一步的描述)。点I(更准确地说，它应该是一块区域而非一个点)是操作者的手指与该touch sensitive plate接触的地方，该点代表的是鼠标运动平面的单位向量由三个数值n1、n2以及n3来代表。因此，如图10A所示，操作者可以借由手指以及手部的运动，把箭头鼠标自(1004A)，经过(1004B)，最后移到(1004C)上去。以上所述的Lambertian plate已经在由同一个申请人的专利NU11-002以及NU11-005里揭露，该二专利(US20130002555,US8553235)的全部内容均被本发明当作参考数据使用。在实际操作的情形里，仍然还有其它的方法来让使用者借由手指的运动得到三维向量(即鼠标运动平面的单位向量)。例如，一个摇摆纽(Wiggling knob)，或者一个安装在本发明的导航器上的一个特殊器件，也可以被用来做与以上相同的工作(调整单位向量)，但是这种摇摆钮的分辨率通常都会低于前述Lambertian touch sensitive plate的分辨率。对于(三维影像显示器的)观看者而言，以上所述的鼠标的位置(例如，1004A，1004B，1004C等)，都是以一种连续而且平滑的方式改变的。由于上述的鼠标/物体的运动是按照操作者手部的运动以及手指的动作迅速地、反应灵敏地移动的，如此的迅速灵敏的鼠标/物体运动使得本发明之导航器成为一个质量无与伦比的三维鼠标/物体移动控制器。值得注意的是，我们不应该把本发明之导航器视为等同于一般的体感(Gesture sensing)器件，这一类的体感器件常常在以往技术里被提到。图11与图12以概略图形的方式显示了两种以往的手势、姿态感测仪器(Gesture sensing devices)。明确地说，图11使用的是电磁波(Electromagnetic wave)来侦测操作者手部(1102)的运动，该操作者的手里握有一个电磁波追踪器(EM tracker)。至于图12，它所显示的是，一个对物体深度敏感的追踪器(Depth camera；1204)正在观察操作者的手部(1202)的动作。如果我们留意到上述两种仪器的机械(或者说，力学)性能，我们将了解到由于人类的身体是可折挠的(Flexible)，人体震动(Human body vibration)是一个在大部分情况下都不可避免的情况。这就如图11与图12的概略图形里所显示的模型一样，我们可以用弹簧(1103)、(1203)来代表操作者身体震动的机制；事实上加诸在操作者的手部(1102)、(1202)上的震动是有很多模式(Mode)的。因此，追踪器(1104)以及(1204)所量测得到的运动数据是持续不断底产生误差的(例如，(±x,±y,±z))。专业的应用(例如，操控医学影像，或者是制造飞航仪器所用的零件)，都是不希望有操作者手部的震动所造成的误差的。图13A与图13B所显示的是以上所述的震动现象。在该两个图中，操作者分别是采坐姿(图13A)或者站姿(图13B)，由追踪器(例如，1104以及1204)来追踪其运动的，由于该两种姿态的震动模式是不同的，其所产生的运动向量也会受到不同的误差影响。图5所显示的是，本发明的导航器(502)是置于一个有支撑力的平面(510)上的；因此，人体的震动可以被压制住。说不上甚么原因，此种看似简单的导航仪器使用方法被现今的三维鼠标控制器给抛弃了。在本发明的导航器里，有一个运动侦测电路会持续不断的比较在不同时段撷取到的影像，该电路所使用的典型的比较法是像素区块比对算法(Block matching algorithm,BMA)；在NU11-007里有关于该算法的讨论。当该导航器所使用的影像捕获设备的祯率(Frame rate)非常高时，由上述BMA算法所计算得出的运动向量可以在只有几个像素(Pixel)的范围以内而已(例如，几微米，μm)，其中还可能会带有一些由鼠标非线性运动(Non-linear motions)所造成的小量偏差(Small amount of deviation)。

本发明导航器系利用NU11-007先前已揭露的方法来分离出来运动向量里的非线性的部分。因此，鼠标/物体的旋转运动的数据可以被提取出来，而且这些被提取出来的数据可以使得公式(3)里的旋转矩阵R里的资料一直都有一致的解释。由于现今的影像撷取技术已经相当进步，从影像里取得的平移运动数据已经是一个敏感度相当高，分辨率亦高的技术了，当该旋转运动数据与平移运动数据结合起来，本发明的导航器就可以借由图像处理的方法，取得高敏感度与高分辨率的三维鼠标运动控制的能力。

如图14A的简单图式所示，下世代的鼠标移动控制器必须要能够在很多不同的表面上运作；例如，图14A的鼠标移动控制器可以在沙发表面(1403)，凳子表面(1404)，或者一个贴了磁砖的地板(1405)上等等地方运作。这些物体的表面地形(Surface morphology)变化相当的大(因此，其SQUAL值也变化非常的大；SQUAL是一个鼠标工业常用的参数，用于代表一个参考表面能够提供微小物体给一个鼠标做移动侦测的难易程度)。如果一个鼠标移动控制器无法在某些以上所述的表面上稳定地、可预测地运作，则该鼠标移动控制器将无法满足某些家庭成员的需求，因为在一个家庭里，通常都会有一些成员喜欢把自己摆在客厅里的某一个特定的地方来操作鼠标移动控制器。由于这个原因，一个下世代的光学鼠标想要在市场上成功的话，有一个基本需求必需要被满足–对于各种不同的表面要有广大的适应能力。当我们把以上的这种需求翻译成鼠标工业常用的术语时，它的意思是说下世代的光学鼠标的SQUAL范围远比今日的鼠标来的宽。本发明的导航器可以被视为是下世代的光学鼠标。基于以上的认知，本发明的导航器不会盲目追求不必要高的dpi(dots per inch)，或者是在有光泽的表面(例如：玻璃)上的操作性(某些以往技术认为这是一个卖点Selling point)；本发明的导航器诉求的是在很多种表面上的广泛适应能力。与本发明有相同申请人的另一个发明NU11-006就提供了此种功能(US20130241835)，本发明将NU11-006的全部内容纳为参考数据。除了对各种不同的表面的适应力，还有另一个需求是与下世代的光学鼠标有关的，也就是一种整合二维与三维鼠标移动控制的功能。如图14A所示，在一个客厅里的同一个显示器(1401)会发生这种需求的原因，是为该显示器会被使用在不同的应用之上。例如，当上述被当作解说范例的显示器(1401)被某个家庭成员用来作三维动画游戏(3D video game)时，本发明必须工作的像一个三维导航器。如果另一个家庭成员拿显示器(1401)来看网络新闻(一个网络新闻报导通常都是二维的平面)，那本发明的移动控制器必须工作的像一个二维的鼠标移动控制器。图14B的导航器1408、1409、1410为本发明导航器的几种变化型式，1411、1413及1417为各种形式的单位向量调整器(其中1411、1417：触控式；1413：摇摆纽式)，而1416、1419为导航器(1408)的选择按键；1412、1415为导航器(1409)的选择按键；1418、1420则为导航器(1410)的选择按键。在未来，同一个显示器以及同一个应用里，-二维与三维的景象可以突然、不预期的切换(Swapping)。图14C就是一个简单解说的范例。当某操作员使用本发明的导航器来移动显示器里一个的箭头型的鼠标时，该鼠标的位置会从(1426A)，经过(1426B)，到达(1426C)。该三维显示器(其显示屏幕为1425)是知道该鼠标是位于一个三维的空间的内部区域里的，而指令选单(1423,Instruction menu bar)则是被置于该三度空间里最靠近使用者的一侧。因此当鼠标经过(1426A)，(1426B)，以及(1426C)的地点时，它能够不穿过指令选单。与此相反的，一个二维的鼠标(以黑色箭头(1424)表示)是可以触及指令选单的。但是该二维鼠标无法辨识出来在显示屏幕(1425)里的景物里的消失点(1421,Vanishing point)。借由整合上述二维与三维的功能在同一个系统里(变成一个二维/三维鼠标)，本发明的导航系统使得用户获得一种便利，在使用一个由该导航器与一个表面所组成的系统时，用户能够在一个系统上享受到以上两种的功能。本发明的导航系统还具有另一个特性，在染色过的参考表面上，每一个地理位置点(Geographical point)都能够提供一个二维的位置数据或一个三维的位置数据，或是以上两种数据都提供，而且该两种位置数据是彼此关联、互相转换的(Corresponding；they can be converted back and forth,也就是说该二维的位置数据可以转换为该三维的位置数据，相反地亦然)。在某些极端的情况下，例如，本发明的导航器突然被使用者的手剧烈地摇晃了一下(这种情况常发生在激烈的战斗游戏上)，导航器所拍摄的表面地形的影像失去了关联性(Morphology of the images taken by the navigator lose their correlations)，这种偶尔发生的情况会导致本发明的导航器无法追踪到(影像里原来应该有的)被锁定的物体(Targeted objects)。在这种情况下，一个有染过色或彩色的参考表面可以使本发明的导航器借由量测该染过色或彩色的表面的彩色数值，来确认自己的位置。

为了满足以上的要求，本发明的导航系统使用一个对色彩敏感的特殊机制(Color sensitive feature)来追踪极微小的物体(本发明的系统具有多波长的照明系统，以及一个对(电磁波)波长具有敏感度的侦测器；multiple-wavelength illuminating system and a wavelength sensitive sensor)。根据色彩物理学，一组像CIE 1931RGB这样的色彩指标可以借由公式(6)被转换成另一组数据，例如X,Y,Z。

公式(6)里的A,B,C是色彩刺激值(Color stimuli)，例如，它们可以是CIE 1931RGB的色彩指标。X,Y,以及Z是由公式(6)所导出的地址；在公式(6)的矩阵里出现的D,E,F等元素是一些转换因子(Converting factors)。图5以简单图示来表达本发明导航器(502)的一般架构。当一个被适当地架构起来的参考平面(510)被三个颜色(例如，红绿蓝RGB)不同光源的光(503，505，以及507)照射时，我们可以说该参考平面被该三个光源所发出的光给染色了(Tinted by the respective light sources)。假如该些光源的输出功率是固定的，则该参考平面的「染色」情况会决定于该些不同颜色的光源的发出的光(经过反射、折射等等过程以后)射入到光电侦测器(509)的强度的比值；该光电侦测器(Optoelectronic sensor)可以是一个互补型金氧半导体侦测器(CMOS sensor)。比如说，该比值可以是R:G:B。我们现在用一个色域图来把这个物理现象解释得更仔细一些。请参考图15A，一个由经过Q、R以及S点的线围起来的区域(Locus)代表一个完整的色域图(比如说，该色域图是在D65照光条件所形成的)。如图5所示，不同颜色(例如，红、绿、蓝)的光源(503,505,507)把它们的光线从不同的角度(大致上，该些角度可以是0度，120度，240度；图5未绘示该些角度)照耀在一个平面型参考表面(510)上。被本发明的导航器(502)里的侦测器(509)用来拍摄影像的区域(511)可以用一块长方块来代表(这个长方块其实是该光电侦测器的侦测范围)；在图15A里，该长方块由区块(1516)来代表。当然，如果光电侦测器(509)的格式不是长方形，那么区块(1516)就会跟着改变形状。此一长方形区块(1516)被移到图15B，然后重画成区块(1507)；在这一个区块(1507)里，每一个地理位置的点都可以由一个特殊的、独一无二的色彩指标值(Color index value)来代表(例如，CIE 1931RGB)。在图15B里，我们选择点P’来代表一个三维坐标系统的原点(Origin point)，该三维坐标系统的三个轴穿过点Q’、R’以及S’。依照相同的方法，我们把参考平面上的三个点标示为Q”、R”以及S”。由于点P’、Q’、R’以及S’具有不同的外观颜色(Apparent color)，使用公式(6)，我们可以把它们的色彩指标转变成三维的坐标的位置数据(3D positional data)；也就是说，在一个三维的坐标系统里，我们挑选出来点(0,0,0)，(a1,0,0)，(0,b1,0)，以及(0,0,c1)。图6C所显示的是一个鼠标可在其上移动的数学平面，该数学平面与一个三维的坐标系统的三个轴交会于点(a1,0,0)、(0,b1,0)，以及(0,0,c1)。因此，我们可以用公式(P1)来定义该平面。

当本发明的导航器在一个被光源(503)、(505)、(507)染色过的参考平面上运动时，该平面上所有的点的地址都会满足公式(P1)的规范。如图15D所示，一个被追踪物体(1518A)在一个图像框(1507D)里移动，该被追踪物体的图形(方形，内有数个小方形区块，也就是说像素；该方形的两个对角线分别由白色与黑色的像素来代表)并不会随着该被追踪物体(1518A)的运动而改变。但是，流到上述这些像素上的光流(Light flow)的相对强度是会随着该些像素与各光源之间的距离的改变而有所改变的(例如，该方形里最亮的像素(1518F)的强度与最暗的像素(1518E)的强度的相对比值)。以上这种现象造成了以往使用像素区块比对算法(BMA)技术的严重挑战，其原因是(当光流的因素被考虑在内时)，BMA所计算出来的结果，在(1518A)，(1518B)，(1518C)，(1518D)上都是不同的(因此，以往的光学鼠标无法稳定的提取出运动向量里的非线性项)。在本发明里，其所使用的照明光源(503,505,507)都是被安置在空室里(Cavity)预先设定好的位置的(例如，围绕着被追踪物体0度,120度,以及240度)。因此，物体(1518A)、(1518B)、(1518C)、(1518D)会有不同的颜色(事实上该些物体是同一个实体在不同位置所被拍摄到的影像)。此种(物体在不同位置因光流不同而造成的)颜色的差异非常的微小，但必然存在。由于本发明的导航器使用的是对颜色极为敏感的机制(例如，高增益值的差动放大器Differential amplifier)，这使得本发明(在不依靠BMA的情况下)能够决定物体的位置。当本发明的导航器针对一个置于一个「染色」过的参考表面上的被追踪物体拍摄一系列的影像时，该被追踪的物体的轨迹可以被量测出来，该被追踪的物体的色彩也可以被量测出来。因此，本发明能够借由分析被追踪物体的颜色数据，极为精准的决定出该被追踪物体的位置与运动(线性的与非线性的)。

举一个例子，当该参考平面的染色情况有所改变时，(其相对应的数学)平面与坐标系统的交会点会改变成(a1,0,0)，(0,b1”,0)，以及(0,0,c1)。此时，如图8C以及公式(P2)所示，会有一个新的平面方程式来代表这个情况(该新的平面可以用a1b1”c1来代表，其物理意义是代表一个被新的染色条件染色过的参考表面)。

如图15B所示，当本发明的导航器使用一个特定的三维参考平面，而且该参考平面是用一个特定的条件给染色过的时候，本发明的导航器能够将鼠标/物体在一个自点A’(x1,y1,z1)移至点B’(x2,y2,z2)，请注意此一平面与坐标系统的三个轴的交会点是Q’、R’以及S’。在以往技术里，鼠标移动的参考平面一般都只被当成一个平坦的平面，以往技术里的参考平面是没有深度的。由于本发明的导航器具有给一个表面染色的能力，当本发明的导航器从点A移到点B时，基于该表面的颜色变化的结果，其坐标位置里的z值从z1变成了z2；这个现象代表该鼠标/物体的深度值有所改变。因此，在图15C里的计算机或电子系统的显示屏(1507D’)，其上的鼠标显得像是会跟着导航器(1512)在一个二维的参考平面(1513)的导引动作(Navigating act)，往与操作者靠近或者远离的地方移动。在由一个与本发明有相同申请人的专利NU11-007里，揭露了一个方法，该方法使得一个导航器能够从量测一个鼠标在二维参考平面上运动，得出旋转运动向量ω。因此，如图6A所示，本发明能够借由NU11-007来调整鼠标(604)的方向；请注意，除非使用者的手指在图6B里的平面倾斜度调整器(607，也就是说单位向量调整器)上有晃动过，否则在图6A里的鼠标(604)，永远都会沿着三维图形显示器(608A)里的二维平面(603A)运动。

当我们想要倾斜鼠标移动平面(603A)时，根据公式(3)，为了要能够导出旋转矩阵R，本发明的导航器必须要提供一组新的单位向量如图6C所示，在最初始的情况下，单位向量是垂直于原先的鼠标移动平面a1b1c1的。在实际操作时，该法向量可以从公式(P1)或公式(P2)求得，或者，该法向量可以从其它型态的平面公式求得(这些平面公式可以储存在计算机的数据里)。如此一来，当使用者在参考平面(606)上移动导航器的躯体(607)时，(该鼠标移动平面的)单位向量值可以借由操作者的手指在图6B里的平面倾斜度调整器上的摇晃来获得调整；经过此种手指摇晃的动作以后，(后来的)鼠标移动平面的法向量就不再垂直于原先的鼠标移动平面(603A)了。这种情况显示的是，该鼠标/物件从原先的移动平面内指向一个方向，经过倾斜运动，指向了另一方向，该另一方向是离开了原先的鼠标移动平面的。在这种情况之下，操作者从一个三维的图形显示器里(如图8A与9A所概略表示)所看到的物体/鼠标；例如，(804)与(904))是在空间里倾斜了一个角度的。从数学的角度来讲，公式(P1)里的平面的法向量是(a1,b1,c1)。当该平面被倾斜时，根据公式(P2)所引用的例子，该平面的单位向量改变为(a1,b1”,c1)。从色域图(1502)上，我们可以了解到端点Q、R以及S代表的点是某一种颜色的信号达到最强，其它两种颜色的信号达到最弱。在图15B里，参考平面上的Q’、R’以及S’之中的任何一个点代表一个(三维、正交)坐标系统里的三个点，该三个点的坐标值之中的其中一个参数在坐标轴上会有最大值(例如：(S’,0,0),(0,Q’,0),以及(0,0,R’))。因此，我们可以了解点R’代表的是色彩指标(R,0,0),此处的在括号内的参数R代表的是红色参数(CIE 1931RGB里的R参数)。依照相同的方法，我们可以了解点Q’代表的是色彩指标(0,G,0)，此处的在括号内的参数G代表的是绿色参数(CIE 1931RGB里的G参数)；以此类推，S’代表的是色彩指标(0,0,B)，此处的在括号内的参数B代表的是绿色参数(CIE 1931RGB里的B参数)。图15E所显示的是，不同的三维平面(例如，(1519)与(1520))可以由不同的染色条件而获得，而且该些平面的单位法向量也会不同(在图15E里该些单位法向量为是平面a1b1c1的单位法向量；是平面a2b2c2的单位法向量)。一旦以上的情况建立起来，以下的公式就可以成立(公式(6A)，(6B)，以及(6C))。

现在让我们回去审视公式(3)。当旋转角度ω,单位向量里的n1,n2,以及n3导出来以后，旋转矩阵R就被确定了。更进一步的说，如公式(2)所显示的，当旋转矩阵R被确定了，则(鼠标/物体)围绕x轴，y轴，以及z轴的旋转角度就可以被决定出来了。

对一个影像侦测器而言，色彩的数值代表的就是流向该影像侦测器的某特定波长(或某特定范围的波长的)光子(Photon)的流量(Flux)。以往的鼠标移动控制器并没有办法利用光流或者色彩(或辉度Hue)来量测运动向量，或者更进一步用其来确定物体的位置。因此，本发明的鼠标移动控制器是在基础物理的应用上超越了以往的技术，此种应用特别指的是与不同色彩的光流有关(Optical flows in different colors)。在一个以往技术里(与本发明有相同申请人的NU11-007)，其所揭露的导航器能够从一个含糊笼统的二维平移运动向量(Lumped 2D motion vector)里提取出旋转位移。我们将该技术运用到图7B上，从而决定出平移运动向量(ΔX*,ΔY*)以及NU11-007所揭露的旋转位移，也就是说图7B里的ω*。因此，本发明能够同时使用两种不同的运动-—移动与旋转运动-–把一个物体从某个三维坐标系统里的一个点移到另一个点。这是以往技术(以往光学鼠标)从未做到的。因此，本发明的导航仪器是NU11-007所揭露的技术的重大的进步。借由提供之前所述的单位向量(n1,n2,n3)，本发明能够把一个鼠标/物体移到原先的鼠标移动平面之外(例如，图15B里的1507)。在实际操作时，假如我们在一个三维坐标系统里移动一个鼠标而不改变它的单位向量(n1,n2,n3)，这就代表我们只让该鼠标/物体沿着鼠标移动平面爬行。公式(3)里的n1,n2,n3可以用很多方法获得(例如，我们可以用一个鼠标按钮来调整n1,n2,n3的值；或者，我们可以借由计算机程序来给定n1,n2,n3的值)。我们也应该注意到公式(1)里的三维平移运动向量(Tx,Ty,and Tz)以及旋转运动向量R两个数据是由操作者的一个手部动作同时获得的(也就是说，一个三维鼠标的动作不需要被分解成数个鼠标的步骤才能完成；很多以往技术是必需要如此作的)。这个功能相当符合人体的骨骼架构，人体的平移与旋转运动是同时由一个身体姿态的运作完成的，这种协调的运动是由大脑下达单一指令完成的，在整个运动过程里，不会有局部动作分解的情况发生。因此，本发明提供的其中一种好处是使用者不需要为了产生鼠标的一个动作，把一个导航器的控制步骤分解成很多中间步骤来完成，这种便利大大地降低了本发明的导航器的新使用者学习的障碍。

值得注意的是，公式(3)里的ω的值，也就是说三维的旋转位移，可以借由很多种方法决定出来。第一种方法是在一个与本发明有相同的申请人的发明里揭露的，该方法是先利用像素区块比对算法(BMA)来决定出一个或数个含糊笼统的平移运动向量，然后再把该(些)含糊笼统的平移运动向量分解成一种纯粹的平移运动向量以及一种纯粹的旋转运动向量。第二种方法是在第二实施例里揭露的(详细内容请参考该实施例)。还有其它的方法，在此不再列举。不论是用第一或第二种方法，本发明都可以把三维旋转位移ω的值以及单位向量(n1,n2,n3)合并使用到公式(3)上，从而导出旋转矩阵R。这个旋转矩阵R给当今的三维图形显示系统带来莫大的便利，原因是原来要靠计算机计算的(n1,n2,n3),或者φ，θ的编程，现在都可以省略了(不必靠计算机来作了)。以往的鼠标移动控制器无法轻易地作到这一点。

由以上的解说，我们可以看出来本发明的三维导航器其实是一个高质量，甚至可以说是革命性的三维光学鼠标，该三维光学鼠标拥有以下的能力:

(1)提供一个三维的地址，该地址的格式类似于(X,Y,Z)。

(2)提供一个三维旋转位移的数据，该旋转位移的格式类似于

(3)从一个二维的参考平面上撷取三维的数据。

(4)快速地调整一个物体的深度值，而且该调整方法是相当稳健的。

现代的微电子光电感应影像侦测器是一个二维的器件，该器件内至少包含不只一个像素(Pixel)，该些像素组成一个图像框(Image frame)。因此，量测一个位于一个参考表面的物体的运动，其实是量测投射到该些像素上的光的强度变化，而此种量测必须要同时考虑到两方面的光学效果:1.该物体的实体运动；2.由于光流的变化所造成的光学假象(Optical artifact；例如，物体在行动中发生的颜色上的改变)。在接下来的几个段落里，我们将简明地呈现以上的实体运动以及光学假象所扮演的角色。在不失去一般特性的情形下，我们会把导航器称之为光学鼠标。我们也会把一个物体相对于该光学鼠标的运动称之为该物体的运动。该物体可以是某鼠标垫表面的灰尘或是其它地形特征，该鼠标是在该鼠标垫上运动的。

我们假设一个物体是在某个空间里(或是相对于某空间)运动，例如，该空间可以是一个鼠标垫，此时该空间是一个二维的空间；又例如，该空间是一个环绕于该鼠标周围的空气，此时该空间是一个三维的空间。以上两种情况都满足以下的解说条件。由于一个影像侦测器是一个具有多个像素的二维的光电器件，当完成了一个影像撷取编程以后(例如，快门打开然后关闭)，我们可以把各像素的资料当成是一个与时间有关的函数I(x,y,t)。当物体运动时，该影像侦测器的像素框里(Pixel frame)会侦测到一个与该运动相关的运动向量(或者速度velocity)该运动向量可以表示为:

因此，我们会有

假设在时间间隔dt里是不改变的，那也就是说，

I((x+vxdt),(y+vydt),(t+dt))＝I(x,y,t) (9)

一样的，I(x,y,t)代表的是在时间为t，一个二维的图像框里，位置在(x,y)的光侦测器所侦测到光的强度。

假如一个光学鼠标的照明光源可以投射出三种不同颜色的光束(例如，红、蓝、绿；RGB)，而且该光学鼠标是对上述该些不同的颜色的光敏感的(也就是说，该光学鼠标可以分辨该些不同颜色的光束)，那么公式(9)就可以被改写成公式(10A)，(10B)，以及(10C)。

IRED((x+vxdt),(y+vydt),(t+dt))＝IRED(x,y,t) (10A)

IBLUE((x+vxdt),(y+vydt),(t+dt))＝IBLUE(x,y,t) (10B)

IGREEN((x+vxdt),(y+vydt),(t+dt))＝IGREEN(x,y,t) (10C)

此处的IRED(x,y,t)代表的是在时间为t，一个二维图像框里位置为(x,y)的光侦测器所侦测到的红光的强度；IBLUE(x,y,t)代表的是在时间为t，一个二维图像框里位置为(x,y)的光侦测器所侦测到的蓝光的强度；IGREEN(x,y,t)代表的是在时间为t，一个二维图像框里位置为(x,y)的光侦测器所侦测到的绿光的强度。

值得注意的是，上述三个光流公式(10A)～(10C)是彼此互相独立的(也就是说，它们的信号彼此互不干扰)。当红光的强度改变时，它不会影响到蓝色或绿色光电侦测器的读值，相反地亦然。

当上述的红、蓝、绿光束随着x,y,以及t呈缓和的变化时，公式(9A)～(9C)可以用泰勒级数展开成如下的公式(11A)～(11C)。

此处H.O.T表示的是高次项(High order terms)，例如，就是一个高次项。当一个鼠标的运动里带有旋转运动时，就是一个不可忽略的项。我们先从非线性项可以被忽略不计的情况谈起(也就是说没有旋转运动)。假设该鼠标的参考表面的亮度(Brightness)没有突然的变化(例如，该表面的反射率没有突然的变化)，则公式(12A)～(12C)可以用来表示每一类像素(红、蓝、绿)在受到上述的光束照耀以后的行为。

我们把公式(12A)～(12C)用解析几何的方式来写，就可以写成:

此处是像素在(x,y)位置的影像梯度(Image gradient)。

根据光流物理(Optical flow physics)的原则，当多个光束(或光线)照射到一个影像侦测器上时(例如，公式(13A)～(13C)里的IRED,IBLUE,and IGREEN)，就会产生多个光流。值得注意的是，光流可以是由实体的物体产生的，或是由光学的假象产生的(例如，不同颜色的光束，影子等等)。因此之故，一个影像侦测器可以拍摄到实体物体(例如，在一个参考平面上的灰尘)，也可以拍摄到一个染过色或彩色的参考表面的色彩变化(Hue variation)。在本发明的导航器所创造出来的情况里，有三道不同颜色的光(颜色可用光的波长来代表，因此，我们也可以说是三道波长不同的光)打到参考平面上。经过反射(也许还伴随着其它的光学效应，例如折射等)，镶嵌在本发明的导航器上的空室内的影像侦测器会在它的像素平面上侦测到三个「色彩流」(Hue flow,指的是在某一个特定波长范围内的光流)。当然，本发明的导航器还可以使用其它替代的方法来达到类似的效果；例如，本发明的导航器可以使用不只三道或少于三道的光源，或者具有偏极性的光(Polarized light)，紫外光(UV)，红外光(IR)，激光光(Laser)，不同相位(Phases)的光等等。上述这类的方法事实上还是等于使用本发明所教导的原则的。

假如我们更进一步检验这些光流，我们会发现每一个不同颜色的光流都会根据自己的色彩变化型态(Hue profile；hue variation along the surface)在一个参考表面上产生一种影像梯度(Image gradient)，该色彩变化型态大致上是由该参考表面的染色情况(也可以是由任何表面处理法，偏光法等等)以及该些光源在频谱上分散的程度(Spectral distribution of the respective light sources)决定的。因此，使用公式(13A)～(13C)，我们可以从本发明的导航器里导出三组运动向量。

如前所述，本发明的导航器所使用的平面型参考表面已经被三个颜色给「染色」过了(因此，我们也可以把该参考表面称为彩色鼠标垫)，此种染色可以借由物理的方法，化学的方法，或者光学的方法达到效果的。由于该染过色或彩色的参考面会对光发生反射，其所产生的结果是，自该参考面该些反射光会在该导航器里的影像侦测器里形成三个独立的光流。由于该些光流里的每一个光流都代表着一个特定颜色的影像梯度(或者，也可以使用替代的办法来形成其他类型的光流，例如，光的偏极性，相位等)，在该染过色或彩色的参考平面上各处的色彩指标的数值(Color index data；例如，CIE 1931RGB)也呈现(颜色与颜色之间)彼此独立的变化(例如，红色的变化与蓝色的变化彼此不相关)。其结果是，本发明的导航器里的影像侦测器能够以相当于是「正交」(Orthogonal)的方式侦测色彩指标(正交的涵义是表示彼此独立)，也因此，该些正交的色彩指针的资料全部都可以在该参考平面的地理位置上找到对应的点(Mapped)。这个特殊的能力所产生的结果是，本发明的导航系统可以根据从一个染过色或彩色的参考平面上量测到的色彩指标建立起一个地理位置地图(Geographical map)。当本发明的导航器从一个染过色或彩色的参考平面上确认自己的绝对地址时，该色彩指针的数据(例如，CIE 1931RGB)是非常理想的数据源(Source data)。如此一来，公式(1)里的位置数据[X,Y,Z]就可以被决定出来了。本发明的导航器仍然可以继续用数学解算法(Metrical method，例如，BMA)来追踪在参考平面上的物体(例如，灰尘，表面起伏，或是其它地形特征)。这些微观世界里的物体因为太微小了，以至于它们不会影响到该参考平面的外观颜色；而且它们还可以被用来同时地，独立地求取相对运动向量。如NU11-007所示，本发明的导航器能够从位于一参考平面上的被追踪物体与该导航器之间的相对运动，量测出平移向量与旋转向量。除了能够把一个色彩数据转变成三维的地址之外，本发明的导航器还可以借由表面的特殊地形特征，同时决定出移动运动向量[Tx,Ty,Tz]以及旋转运动向量ω。

我们此时要特别强调在实现绘图设计的法则(Graphical design rule)时，位置精准度的重要性，这一点是与以往技术大大不同的:把本发明的导航器与图形显示器的物理空间对准(Align，指调整成有某种一致性)。这个问题在过去都是被以往技术给忽略掉的。当光学鼠标刚发明的时候，当时并没有需要把操作者手部的动作对准一个屏幕上的鼠标的动作。今天，由于图像显示技术逐渐被用在非常广大的应用范围，一个鼠标是有可能被一个绘图艺术家或者外科医生拿来使用的。在这些专业里工作的人，他们是靠手法(Finesse)来执行工作的，所以，他们所需要的是一种动作可以与屏幕上的鼠标的动作对准(有某种一致性)的光学鼠标。如果我们用公式(11A)～(11C)来理解这些新的需求，这其实意味着每一个该些公式里的高次项(H.O.T.)都不能再被忽略了。例如，一个以卡通绘画为职业的人，可以在经过广泛的练习以后，让他/她的手熟悉在一个固定的三维坐标系统里的某些动作，他/她的手可以如此地熟悉(该些动作)，以至于那些他/她所创造出来的卡通人、物，几乎可以借由该操作者脑内的神经功能，直接对应到一个图形显示系统里的图像。

在绘图这样的工作里，通常同一个艺术家所展现的作品都会带有某种可资辨认的”风格”，所谓风格，如果使用机械性的描述，可以说是该艺术家的一些精致的动作(更准确地说，这些精致的动作就是公式(11A)～(11C)里的H.O.T.)。以往的运动侦测器忽略了该些H.O.T.对于一个艺术表现作品而言，创造这些可资辨认的细致与细小的事务的重要性。

本发明的导航系统除了能够执行演算式的像素区块比较法(BMA)，也能够量测色彩的变化。在一个被追踪的像素区块里，色彩的变化与公式(11A)，(11B)，以及(11C)里的H.O.T.有关。因此，操作者手部的非线性运动可以被用来控制计算机鼠标的一些精致的动作。由于本发明的导航系统使用了一个特殊的方法来”染色”一个参考表面，这使得该参考面上的每一个地理位置点都能够反射光，而且每一个地理位置点都具有一个独一无二的色彩指标(例如，CIE 1931RGB)；当我们把这些点放在一起，这些色彩指标就形成了一个三度空间。这是电子工业头一次出现一个导航器与一个参考平面有一个内建的坐标系统(Built-in coordinate system)。在过去，一个我们常在动画艺术电影(Animated art movie)里看到的图案形物体(例如，卡通里的人物)，都是由数学方程式而不是艺术家的手产生的。其结果是，现今的数字卡通是与艺术家的真正的创造力脱离了。当面临即将到来的三维绘图艺术的革命时，电子工业有了极为迫切的需要去发展一种新的导航器，该导航器可以把两个中央处理单元(Central processing unit)的数据串流(Data stream)连成一致(对准)，这两个中央处理单元就是计算机的CPU以及艺术家的大脑。在传送运动向量给计算机的过程里，本发明的导航器传送给计算机的是电子信号。与此同时的，另一个类似上述的过程发生在操作者的大脑里，在该另一个过程中，操作者的神经系统把本发明的导航器的位置数据传回大脑。上述后面的过程(即该另一个过程)对人眼而言并不明显(尤其是H.O.T.,那些非线性项)。但是这些H.O.T.与一个呈像器件如何能够表达出(物体轮廓的，曲线的)平滑以及(物体)动作的灵巧有深切的关系。当一个艺术家使用的是本发明的导航器时，通过不断的练习，一种属于该艺术家个体的质量可以从他/她的素描、书法、绘画等等作品里的精妙之处(Subtleties)呈现在我们眼前，给了我们一个(创造力、质量的)验证。在过去，就是这些艺术上的细微之处，把我们人类的文明带到了当代(Modernity)。但是在现在的大众消费市场里，我们所看到的大多数的手持式导航器件把上述这些产品设计观念混淆成人因工程(Ergonomics)。人因工程不过是在探讨设计一个产品时，如何设计它可以便于使用者长期使用(不容易疲倦)或者减少能量的消耗而已。人因工程这个术语无法适切地描述本发明所带给使用者的大脑到手部的(数据传输)透明度。今天一个消费者可以很容易地从电子市场里买到一些所谓的三维运动侦测器，但是那样的产品不会有协调大脑与手的动作一致性的功能(也就是说无对准功能)，而这种功能是在处理精致，细微，以及复杂工作时必需要有的(例如，外科手术，绘画等等)。我们可以从消费市场里找到使用光学方法，运用磁性的方法，机电的方法，电磁(EM)的方法等等器件。这些产品仍然忽略了协调(脑与手)的(动作、位置)一致性这个问题(也就是说对准的问题)。几乎所有这些产品都有一些普遍存在的问题，例如，人的身体/手部所产生的自然的震动的问题并未解决，操作者手部的非线性运动无法稳定地量测出来这个问题也没有解决。图13A所显示的是一个坐立的人的身体的震动模型，这个人的手上还持有一个物体(运动侦测器Motion tracker)。这个人整个身体的骨架就像是一个绑满了弹簧的机械框架。图13B所显示的是一个站立的人的身体的震动模型。这种震动的幅度是会随着人的身体的姿态与手势而改变的。某些工业调查也显示困难的姿态所所产生的定位的误差比简单的姿态所产生的误差大。当一个操作者使用一个如图11的运动侦测器(1105)来移动一个三维显示器里的物体，而且该三维显示器是需要精准定位时(High positional accuracy；例如，医学影像，机械制图影像等等)，这类的运动侦测器有可能会无法满足以上这些复杂的应用的严苛的要求。由于这个缘故，虽然大众消费市场上是有一些三维运动侦测器件(例如，NITENDO Wii,Microsoft Kinect等等)在出售，该些三维运动侦测器件大部分都是被局限使用在动画游戏(Video game)或是其它一些不需要高精准度定位的应用上。本发明的导航器是被一个参考平面支撑着，因此，本发明的导航器能够压制操作者手部的震动；这使得本发明成为一个高敏感度与高分辨率的导航器。

在以上的段落里，我们提及了本发明的导航系统的三项主要的优点:

1.从一个二维的参考平面上，导出三维的运动向量数据；

2.以高敏感度与高分辨率的模式，为复杂的三维应用提供绝对位置，以及

3.具有侦测非线性运动的能力。

本发明的第四个优点与物体的尺度的缩小或放大(Scaling)有关。假如一个光学鼠标有把(屏幕上的)物体的尺度的缩小或放大的能力，那等于是说该光学鼠标所撷取到的参考表面的影像有“景深”或“视野深度”(“Depth of view”or“Depth of field”)。如果用数学的方法来表达，那等于是说在本发明所使用的一个参考平面上产生的一个相同大小的位移，可以因为其所使用的缩放因子(Scaling factor)不同，造成本发明的导航器上解读出来的位置数据(Positional readout)有所不同。如图1所示，在一个以往技术所使用的参考表面上(例如，鼠标垫)，同一个地理位置只能产生一种二维位移量数据(Δx,Δy)。在本发明的导航系统里，由于三维的数据是受色彩数据控制的，同一个(参考表面上的)位置可以产生不同的三维地址(例如，照光条件改变，影像撷取条件改变，参考表面染色条件改变等等)。如图10A与图10B所显示的，当鼠标从点(1004A)的位置移到点(1001A)的位置移时，其深度值(Depth value)从几乎是零的情况变成负无限大(-∞)。在参考平面(1006)上，这代表该鼠标的路径(未绘示)跨过一个独一无二的点，我们把这个点叫作负无穷大点(Point of minus infinity)或者消失点(Vanishing point)。任何物体在这个消失点上都看起来只像一个点一样大。以往的鼠标移动控制器并没有这种功能；它们没有消失点(虽然2.5维或者三维的图像显示器上可以有消失点)。受到以上所述的缺点的限制，当今的运动侦测器的动作，无法与图形显示器里的与其相对应物体的动作对准(也就是说形成一种一致性；如果把该动作相对于一个参考平面来检视，会更为明显)。本发明的导航系统使用三个光流(例如，红、蓝、绿)来代表参考平面上的绝对位置。因此，本发明的导航系统能够在一个参考平面上指定一个点作为一个三维显示系统的消失点。当本发明的导航器在其参考平面上游移时(Maneuvering)，其(xyz坐标的)z值会一直随着该参考平面的染色情况的改变而改变。经过手的游移动作，上述的功能(使鼠标具有不同z值)使得一个使用者感觉到自己好像在一个三维空间里导引一个物体，该三维空间有六个自由度(Degree of freedom):+X,-X,+Y,-Y,+Z,-Z。

今天的消费型电子工业所使用的鼠标移动控制器(在技术上)是远远落后于本发明的系统所提供的。以往技术到现在仍然常常会发生一个情况，那就是一个在2.5维或者三维的显示器上展现出来的物体的一个简单动作，需要鼠标移动控制器好多个(分解)动作来完成(例如，将画面放大或缩小)。一旦一个显示器里显现的物体的一个简单的动作，要靠鼠标移动控制器好几个步骤才能完成时，人类的大脑就会很容易失去一些线索，这些线索是他/她要用来分析显示器件上所看到物体的运动要用的。如之前所述的，这种人脑的分析能力是创造力的来源，创造力是现代人类文明的重要价值。

「消失点」并不是一个只有画家使用的词汇而已；它与一些需要使用计算机或电子工业里的图形显示器(例如，三维绘图，外科手术机器人等等)的专业工作有密切的关系。立体绘图法(Perspective sketch)可以使一个绘图增加三维的逼真感。立体绘图的基本法则就是把水平的线收敛到水平线上的一个点上(也就是说消失点)。如果一个绘图里只有一个消失点，那这张绘图就叫做单点立体绘图(One-point perspective sketch)。如果一个绘图里有两组线，而且它们分别收敛到各自的消失点上，那这张绘图就叫做双点立体绘图(Two-point perspective sketch)。也有三点立体绘图(Three-point perspective)，此时所有垂直的线会收敛到一个点上。本发明的导航系统依赖以下三种方法来调整消失点的位置的，这三个方法分别是:参考表面染色的条件，照明光源的照光条件，以及影像撷取的编程架构(例如，快门，曝光时间等等)。以往的鼠标移动控制器并没有在撷取影像的参考材料(也就是说鼠标垫)上提供这么一个消失点，操作者的手势并没有办法直接对准一个有消失点的图形显示器里的坐标系统，形成一种(动作上的、定位性的)一致性。一个理想的三维鼠标移动控制器可以提供一种「手法」的元素(Finesse)，该「手法」元素是借由该控制器的操作者协调手部动作与眼睛的观察的来完成的，这个协调动作需要使用一个坐标系统，该坐标系统把操作者在显示屏上所看到的景物与他/她在鼠标垫上要如何做的动作协调成具有一致的关联性。在未来，以上所述的功能会是专业导航器与普通廉价商品导航器之间最基本的不同之处。

根据以上的解说，我们了解到当今的电子工业需要一种导航仪器，这种导航仪器不只能够提供高准确度的三维位置数据(例如，(x,y,z)格式的数据)，也能够在参考表面/空间里指定至少一个消失点。当以上这些功能被包括在一个导航仪器里以后，另一个功能也需要被加进去:本发明的导航仪器必须要免于人体的震动。

本发明的导航器有两个工作模式，也就是说二维与三维的工作模式。该两种模式所产生的数据是有相互关连性的。如图15C的简单图示所示，当本发明的导航器运作的像一个三维鼠标移动控制器时，该导航器上的彩色侦测机制是启动的，而且会有一个染过色或彩色的鼠标垫与该导航器结合起来使用。当本发明的导航器在以上所述的这个模式下运作时，这个三维鼠标移动控制器(1512)会发射出许多道不同波长的光束，这些光束照耀着该染过色或彩色的鼠标垫(1513)。在本实施例中，符号1512可表示为鼠标移动控制器、导航器及光学鼠标等元件名称，而符号1513可表示为鼠标垫及参考平面等元件名称，其在不同情境中有不同的意义。在本发明的导航器(1512)里，有一个彩色影像侦测器(Color image sensor)被镶嵌在该导航器里面(或上面)，该彩色影像侦测器是对由该鼠标垫反射回来的该些不同波长的光束敏感的。也就是说，该彩色鼠标垫(1513)与该导航器(1512)是经由协同合作来形成本发明的三维鼠标移动控制系统的。

当本发明的导航器被放在一个普通的桌面上而不是一个染过色或彩色的鼠标垫上时，同一个鼠标移动控制器(1512)会变成一个二维的光学鼠标。我们可以借由自动或者手动的方式，把本发明的导航器的工作模式选择成二维或三维的模式。值得注意的是，不管是使用二维或三维的模式，该鼠标移动控制器(1512，注意，此处指的不是显示器上的鼠标)本身只会在一个二维的平面(例如：桌面；一个染过色或彩色的鼠标垫)上运动。由于本发明的导航器的实际动作在以上两种工作模式下是维持不变的(也就是说都只在一个二维的平面上移动)，这个独一无二的能力提供给本发明的使用者了非比寻常的好处，使其能够把本发明用在专业的办公室环境。以往的三维运动侦测器(1105，例如：图11里的棍棒)对于在办公室里的使用者而言，就不是这么方便使用了(User friendly)。

镶嵌在本发明三维光学鼠标(1512)里的彩色影像侦测器也提供了两个前所未有的优点，也就是说高分辨率与高敏感度。现代一个影像侦测器可以很容易就做到一秒内撷取数千张影像；每一张影像里的像素的数量可以很容易就是数百万个，本发明的导航器借由该些性质提供给一个三维鼠标移动控制器(也就是说三维光学鼠标)高解像度与高敏感度。伴随以上所述的高解像度与高敏感度这两个功能的，还有另一个优点:立体绘图(Perspective sketching)的能力。这个看似简单实际上却困难的绘图的方法对于下世代的三维绘画式的图形产生器，或是三维打印机是极为重要的，但是以往技术还没有办法做到这一点。有关于本发明对立体绘图至为重要的原因，有一些已经在先前的段落里提出来了，在后面的段落里，本发明还会提出其他的原因。

一如之前我们针对消失点所做的讨论里已经注意到的，立体绘图(包括立体素描，立体速写等等)是当代艺术绘图的基础，在一个立体绘图里，置于离观看者比较远的物体会被画得比离观看者比较近的物体小。因此之故，如图6A所示，在图像框(608A)里，物体(602A)会显得比物体(604A)大些，尽管事实上该两个物体的实体是一样大的，而且形状也是一样的。这样的绘图法则是被应用到整张图像(608A)上的。当一个物体被置于(离观看者)无穷远处时，它的外观轮廓会被缩小成一个点(例如，消失点601A)，这个点就是之前已经讨论过的消失点。在图像框(608A)里所有的物体都会按此方法绘制，它们的水平轮廓线(例如，线(605)、(605)’以及(605)”)会在消失点(601A)的地方合并起来。以上所述的立体绘图技巧，是大约在意大利文艺复兴时期发展出来的。经过几个世纪的后续发展以后，今天的立体绘图技巧已经变成了一个成熟，普遍被使用的绘图方法，现在几乎所有的数字图像显示器(例如，有三维图形显示能力的平板显示器，Flat panel displays having3D graphic rendering capability)都使用立体绘图法。而另一方面，经过了很多年以后，鼠标移动控制器并没有甚么发展，现在大部分人都还在用二维光学鼠标。本发明的导航器弥补了以上所述的技术落差。

为了方便解说本发明的导航器在以上所述的立体绘图这种功能上的功效，我们使用图16A作为一个示范性的场景；在图16A里，有几个三维的物体(物体1，物体2，以及物体3)被置于一个世界坐标系统W里，该坐标系统被一个照相机坐标系统Q所观看，在该照相机里形成了一个立体影像。在本实施例中，符号Q可表示为照相机坐标系统、点及照相机等元件名称，其在不同情境中有不同的意义。我们让代表点Q相对于上述世界坐标系统W的一个向量，代表一个被追踪的物体(例如，物体1)相对于上述该照相机坐标系统Q的一个向量，根据基本的向量代数的计算法则，我们可以找到上述世界坐标系统W的单位向量，也就是说该单位向量符合公式(14)的规范。

如果一个器件工程师有办法把上述的世界坐标系统牢牢地印(Imprint)到他的鼠标垫上(该坐标系统以单位向量来代表；换句话说，该植印于鼠标垫上的坐标系统W’只是为了给本发明的鼠标移动控制器看的，或者说，是给操作者的手去「感受」(Feel)的，但不是为了给人的眼睛看的)，那么所有在计算机或电子系统内存里的物体可以说都可以被「誊写」(Transcribe)到该鼠标垫(1601A)上了。因此，如图16A所示，现在照相机Q以及鼠标垫(1601A)都可以分别有它们自己的三维坐标系统了，在它们自己的坐标系统上，也有它们各自的消失点1601B(图16A未绘示，图16B有绘示)。图16B所示的是一个用来当解说范例的事件，在图16B里，一个图像显示器(未绘示)里的景象被整个「转印」到一个鼠标垫(1608B)上。读者必须特别注意到，以上所述的鼠标垫上「转印」(Trans-print)过来的景象(Scene)，是一个想象的景象—该景象未必有我们人眼在正常情况下所看的到的颜色或轮廓。本发明全部的目的就是要该参考平面上的每一个地理位置点，可以在图形显示器上找到与该地理位置点(Geographical point)相对应的点，相反地亦然。因此之故，参考平面(1608B)上的点(1601B)代表的是一个消失点。在本实施例中，符号1608B可表示为参考平面及鼠标垫等元件名称，其在不同情境中有不同的意义。我们也会注意到某些物体的轮廓线也被转印到鼠标垫(1608B)上，例如，线(1602B)、(1603B)；这些转印到鼠标垫上的线成为一些绘图线(Sketch lines)，该些绘图线有可能被人眼看得到，也有可能看不到。这些绘图线告诉我们的是，一个参考平面(此处指的是鼠标垫1608B)可以根据一个预先定义好的立体视角(Perspective angle)来提供三维的数据(例如，图3里的θ即可作为一种立体视角)。在某些情况下，该立体视角是会随时调整的–只要该鼠标移动控制器有这个办法的话(以往技术是没有这个办法的)。图16C显示的是一个操作者用他/她的手指(1604C)在一个触控侦测机制(1605C,Touch sensing feature)上游移，这是一个示范的事件，用于显示本发明的鼠标移动控制器可以用来调整立体视角。当操作者的手指(1604C)移到中央线(1606C)的左边时，上述触控侦测机制(1605C,Touch sensing feature)会跟着该手指的动作通知计算机或电子器件调整该立体视角。如图16B所示，(与手指移动动作)几乎同时的，在鼠标垫(1608B)上的想象的消失点(1601B,Imaginary vanishing point)也跟着向左移了，我们把图16B与图16D做个比较就可以看出来消失点已经有所位移了。依照同样的原理，如图16E所示，当操作者的手指(1604E)移到中央线(1606E)的右边时，鼠标垫(1608D)上的消失点(1601D)的位置也跟着改变。本发明的鼠标移动控制器真正做的事情是这样的，当计算机或电子系统想要改变立体视角时，它会通知本发明的鼠标移动控制器；借由提供操作员的手指在触控侦测机制(1605C,1605E)上的位移量，一个立体视角改变的指令以及一些相关的数据被送到计算机或电子系统，达成上述的目的。与此同时发生的是，本发明的鼠标移动控制器会计算出在一个染过色或彩色的鼠标垫上(例如，1608B或1608D)新的消失点的位置(例如，1601B或1601D)。因此，一组新的色彩数据会被决定出来(在本发明里，色彩数据代表位置；当一个点的位置改变时，与其相对应的色彩数据亦随之改变)。此时已经非常明显本发明所揭露的一个本发明的彩色鼠标垫(Tinted mouse pad)对下世代三维立体计算机绘图应用扮演着至为重要的角色。值得注意的是，以上所述的立体视角改变的编程，用户只需要摇摆手指，而不用在本发明的染色的鼠标垫上移动鼠标移动控制器(1607C,1607E)就可以完成了。如果一个操作者再在一个染过色或彩色的鼠标垫上移动本发明的移动鼠标移动控制器(1607C,1607E)，情况就可以变的非常生动–被选择的物体有三维的运动，同时也有立体视角的调整。上述这两种事件可以发生在操作者一个手/手指的姿势动作上(虽然本发明的鼠标移动控制器里的频率仍然可以把上述两种编程分成在两个时段来完成)。有两种场景是可能发生的；第一种场景是物体(例如，图16A里的物体1，物体2，以及物体3)与世界坐标系统W同时移动，第二种场景是物体先移动，世界坐标系统W紧接在后面移动。

专业艺术家所接受的训练是依照立体绘图(Perspective sketching)的准则在绘图纸上绘图的。由于画笔本身并没有坐标系统，如图17所示，艺术家必须在图画纸上重复的练习，以使他/她的手的动作能够熟悉一个(存在于艺术家脑子里)想要呈现于绘图纸上的三维的景观(3D Perception)。当一个艺术家把工作的地点改到计算机时，他/她的大脑控制着连到眼睛与手的神经，制造出曲线，特殊形貌，以及形状等等。卡通人物美人鱼Ariel就是一个例子；在实际的世界里，当然没有美人鱼这种生物。因此，画家出现了一种需求，希望借由一个三维鼠标移动控制器来结合操作者的意志与手势，呈现出美丽的卡通。一如之前所述的，此一类的(对三维鼠标移动控制器的，结合操作者的意志与手势的)需求在光学鼠标刚发明的时候并不存在，此一类的需求是在(电子)图形显示技术成熟到一定程度时才发生的，发生的时间大约就在最近十年。

由于本发明的系统的染色的鼠标垫等于是带着一个三维坐标系统的，从一个艺术家的眼光来看，这样的系统提供了真正的人因工程(Ergonomics)上的便利。图17所显示的是一个卡通女孩。尽管还缺某少某些细节(例如，眼珠，嘴唇，等等)，观看者可以很快地发现，图17所显示的这个女孩是漂亮的，有好的脸部结构的。想要把美感输入到这样一个的图案形的物体上，艺术家的笔划(Strokes，注意，图17里的这些笔画，是属于某种2.5维坐标系统的)扮演着至关重要的角色。因此，对准画家的眼与手的动作(使其形成某种一致性，Align)是相当重要的。这种功能与以往光学鼠标是非常不同的，大部分的以往光学鼠标不会对准任何其它的器件。如之前所述的，要在显示器上产生一个2.5维的笔划并不难，真正难的是在一个显示器上产生第一个2.5维的笔划，然后让使用者分析它的效果，调整他/她的手的动作，再在下一次的尝试时画第二笔画，以期能够把绘图者的感情表达得更好。所以，为了要画出一笔美丽的笔画，一个画家需要重复练习他的手部的动作，以便他的手部的动作渐渐能够反应出大脑想要表达的美感。这就如图17里粗略的素描所显示的一样，图中女孩的头发被画成很多条不同的线，如(1701)以及(1702)等。每一条线都代表艺术家的一次尝试，希望能够达到最后可被接受的条件。在描绘女孩头发曲线的过程里，艺术家逐渐熟悉手部的动作，使其对准大脑意欲传达的信息(也就是说协调成有一致性)。为了要支持艺术家在计算机上作(与纸上绘图)相同的事，一个导航器必须要有一个隐形的坐标系统，这个坐标系统并不会被操作者的眼睛看到，但这个坐标系统可以被一个艺术家，一个普通操作者记忆起来。在大部分的情况下，计算机不会知道这个坐标系统的存在。但是当一个使用者将本发明的导航器在一个染过色或彩色的参考平面上移来移去时，从效果来讲，这个坐标系统是可以被该用户清楚地感觉到的。因此，在整个本发明的导航器的移动的过程里，是有一个三维的坐标系统投射到一个「想象的」绘图纸(也就是说图17)上的，不管使用者的眼睛是否认知得到。

一如之前已陈述过的，计算机工业已进入一个新的时代，这个新时代的鼠标移动控制器(也就是说前述之导航器)必须要能够作立体绘图，至于是否能够从一个光泽的表面上取出数据(某些以往鼠标视此一功能为一重要技术)，这已经不是一个重要的功能指针。在很多当代的电子绘图工具里，艺术家的笔所敏捷地飞越过的「纸」，就相当于一个鼠标移动控制器所使用的参考平面，也就是鼠标垫。以往鼠标移动控制器没有这样的三维参考平面，所以也就没有直接的办法把参考介质上的点，以一对一的方式对应到(Mapping)一个三维显示器上的像素，更进一步通过艺术家的眼睛，神经，传信号回人类的大脑。

我们从人类文明的艺术史领会到，一个理想的三维鼠标移动控制器应该要使操作者能够在一个三维坐标系统里控制他的手部动作的高阶项，而且该三维坐标系统是座落于一个二维的平面上的，如此才能使操作者的手部的震动，颤抖，等等可以被压制住。这个三维坐标系统可以被它的用户以类似于一种一点对一点的对应方式(Mapping)对应到两张图像上，第一张图像与计算机的显像有关，第二张图像是由人脑里的一些神经信号所创造出来的。这些功能是从基本的原理上把本发明与以往技术区隔开来。此处再重复声明，所谓的「平面」，并非一定要在呈现出来的形体上是一个二维空间不可。从文艺复兴时期以来，专业的艺术作品就已经证明了(如图17)在一个二维的参考平面上(例如，一块帆布，画板)可以产生出逼真的三维影像，只要该二维参考平面上有一个稳定的消失点(这个情况就如图16B的点(1601B)之于鼠标垫(1608B)一样)。因此，我们有了以下的理解，下世代的三维导航器的重要功能(Key features)是一个能够为其上的各地理点(Geographical point)提供绝对位置(Absolute address)的一个参考平面，或是任何有相同效果的方法或器件。而这正是本发明的导航器所欲提供的功能。

图18与图19分别是用手绘的卡通与用数字图像显示器(比如说，Graphic processor,像是graphic processor)产生的卡通，它们证明一个二维的参考平面有了消失点以后，会产生明显的功效(绘图时，图18的手绘者靠自己的记忆，记住纸上的三维坐标系统，因此，该手绘者知道该三维坐标系统里的消失点的位置；数字图像显示器则不知道以往的鼠标垫上的绝对位置)。虽然图19上的卡通大致上是柔滑有光泽的，但是要一个艺术家按照自己的意思在一个以往的鼠标垫上修改该卡通是很不容易的，因为该鼠标垫上并没有坐标系统。如果一个画家想要修改图19里的兔子的姿势，那么他/她就必须要通过相当繁复的过程，这些过程至少包括物件数据库管理(Object database management)，顶点对应(Vertex mapping)，表面纹理对应(Texture mapping)，复合切面对应(Polygonal mapping)，阴影产生(Shadow generation)等等。对一个画家而言，创造力的产生是源自于手与眼的对准过程，而非制造出一些数学公式(图19里大部分的曲线是由数学方法产生的)。如果一个鼠标移动控制器不能够支持一个艺术家在进行工作时，直接把他/她的手部的动作联系到(Relating to)工作产生的效果上，那么该工作所产生的成品会缺乏一种自发性(Spontaneity)。也就是说，艺术家的创造力，一个艺术成品最具价值的部分，被以往的鼠标移动控制器牺牲了(这个情况发生在二维与三维的产品上都有)。因此之故，现在的电子工业有必要发展出一个三维鼠标移动控制器来帮助立体绘图的工作。

当然，在这个世界上仍然有许多的工作不甚需要操作者的创造力，只需要仪器的分辨率的。对于需要高分辨率的工作(例如，绘图，医疗影像等等)，本发明的导航器也能够提供他们需要的(解析)能力。这方面的能力主要是归因于桌面上的微小物体的彩色影像。一个物体(例如，一颗灰尘，a dust particle)的外观的颜色，可以因为多道不同颜色的光入射到该物体(灰尘)的角度有所改变，而有所改变(注意，当一个鼠标移动时，被追踪物体与镶嵌在鼠标里的影像侦测器之间的相对位置会有所改变，因此，入射到该被追踪物体上的多道彩色光的入射角也有所改变)。从算法的角度来讲，使用本发明此处所揭露的方法来计算平移与旋转运动向量，会比以往技术来的容易而且准确。

附图说明

图1所显示的是一个以往光学鼠标的结构以及与其相连的计算机，以往光学鼠标只能提供二维的运动向量(无绝对地址)给计算机使用。

图2所显示的是一个艺术家在“2.5”维的坐标系统里呈现的简单飞机模型；在该飞机壳上的每一个点都有一个深度值，而且还有一个旋转轴

图3所概略显示的是一个”2.5”维的坐标系统如何使用一个平面型的显示器件来描述一个三维的物体。

图4所概略显示的是一个本发明的移动控制器被用来操作一个平面倾斜(Plane tilting)的功能。

图5所概略显示的是类似图4的一个本发明的移动控制器的侧面剖面图。

图6A～图6C所概略显示的是本发明的导航器如何使一个鼠标沿着一个三维坐标系统里的平面移动。

图7A～图7C所概略显示的是本发明的导航器如何使一个鼠标在一个位于三维坐标系统里的鼠标运动平面(Plane of cursor motion)上旋转。

图8A～图8C所概略显示的是当消失点改变位置时，一个鼠标的运动应如何将其考虑进去。

图9A～图9C所概略显示的是图8A～8C更进一步的动作。

图10A～图10B所概略显示的是本发明的移动控制器如何利用操作者的手指、腕部，以及手部的动作来操控一个鼠标的动作。

图11所概略显示的是一个以往技术的电磁波追踪器(EM Tracker)如何追踪一个使用者手部的运动。

图12所概略显示的是一个以往技术的照相机如何追踪一个使用者手部的运动。

图13A～图13B所概略显示的是一个处于坐姿的人(如图13A)以及一个处于站姿的人(如图13B)的机械震动模型。

图14A所概略显示的是一个未来的“游戏室”，在这个游戏室里，有很多不同的表面可被用来导引本发明的导航器。

图14B所概略显示的是一个发明的导航器，该导航器上有一个傅大、所小机制。

图14C～图14D所概略显示的是在大致保持仍然是一个二维的器件的外型之下，本发明的导航器可以在三维空间里移动一个鼠标。

图15A～图15E所概略显示的是一个拿来当作范例说明的色域图，该色域图系被置于一个染过色或彩色的参考表面上，当使用本发明的导航系统时，该色域图可以对应到(Mapped into)一个三维坐标系统。

图16A所概略显示的是在一张景物图用本发明所揭露的立体绘图法绘制的景物里，所有的线都能被外插到一个消失点(Vanishing point)上。

图16B～图16E所概略显示的是有关消失点的更进一步应用在立体绘图上的情况。

图17所概略显示的是一个绘画家的手绘的模特尔素描(模特尔是三维的物体)，在这张素描里，该绘画家使用了一个2.5维的坐标系统。

图18所概略显示的是一个在动作中的模特尔，该凸显示出画家如何使用精细的手部、腕部、手指的运动来在图案上呈现出运动的印象(Impression of motion)。

图19所概略显示的是一个由数学方程式而非画家的手的姿态、动作所产生出来的三维的模型。

图20A～图20F所概略显示的是一个能够提供三维位置数据给计算机使用的染过色或彩色的平面型参考表面，该参考表面使用了三个彼此不相干涉的染色形式(Profile)。

图21A以及图21B所概略显示的是一个2.5维的图形显示器在使用本发明的鼠标移动控制系统时，如何使用一个2.5维的参考平面。

图22所概略显示的是一个三维的触摸板使用不同的光源，该触摸板是本发明的另一种实施的方法。

具体实施方式

第一实施例

第一实施例教导一个方法，该方法形成一个平面型参考表面(例如，图15C里的鼠标垫(1513))，该表面能够被本发明的系统用来创造一个2.5维的鼠标移动控制器(1512)。第二实施例将该鼠标移动控制器的功能延伸为三维。

如图20A、图20C与图20E所示，一个染色的参考平面(1513)可以借由网印(Screen printing)的方法制作出来；或者，该染色的参考平面(1513)可以借由其它与网印有类似效果的方法制作出来。在图20A、图20C，以及图20E里，每一张图都沿着某一个轴形成一个特定的型态(Profile,指的是在某一个特定波长范围光的强度变化的方式)。染色的参考平面(1513)可以经过不只一道如图20A、图20C，以及图20E描述的网印编程。因此，该染色的参考平面(1513)的外显颜色(将图20A、图20C，与图20E重迭/混合起来的颜色)，是一个(染料、颜料等)合成后的颜色。例如，该染色的参考平面(1513)的外显颜色(Apparent color)可以是由红、蓝、绿合成的颜色(在图20B、图20D，以及图20F里，上述的颜色可以由色彩指标的强度来代表，Ix,Iy,以及Iz)。如图20A所示，沿着水平坐标轴0到x,色彩指针Ix是线性下降的；这个现象在图20B里有清楚地描述。我们可以使用相同的方法来指定其它色彩指标的在参考平面(1513)上的变化型态，像是沿着纵(y)轴Iy的变化形态等。第三个色彩指标Iz是用来指示z轴的，该色彩指标是沿着对角线方向变化的(z轴与x轴夹角大约成45度)。

现在我们拿点P来分析；我们可以任意挑选一个位置大约是在参考平面(1513)几何中心上的一个点作为点P；点P因此会发出一种彩色光的混色光(也就是说一种电磁波的辐射，该电磁波是由为数不只一种波长范围的电磁波混和而成的电磁波)；在点P处，该混色光里含有大约Ix的极大值的一半的色彩指标值，大约Iy的极大值的一半的色彩指标值，以及大约Iz的极大值的一半的色彩指标值。对于所有在点P右方的点，其色彩指标里的Ix’均低于Ix最大值的一半(也就是说点P的Ix值)，相反地亦然。与此类似的规则也被应用在其他两个色彩指标Iy以及Iz上。这等于说，在一个由图20A、图20C与图20E结合起来的参考平面上，每一个地理位置都有一个独一无二的色彩指标(Ix,Iy,Iz)。该些色彩指标事实上就是公式(6)里的(A,B,C)。经过公式(6)的转换，我们得出地理位置数据(X,Y,Z)。如此我们就可以借由这个地理位置数据(X,Y,Z)，触及(Access to)一个三维坐标系统里与其相对应的点了。因此，我们完成了从一个二维坐标系统以一点对应一点的方式(Mapping)，对应到另一个2.5维的空间。

我们必须指出一个由图20A、图20C以及图20E所形成的坐标系统，是一个2.5维坐标系统，而不是一个完整的三维坐标系统，这是因为由该坐标系统的x轴与z轴形成的夹角是固定的(例如，45度)。如果希望把上述的坐标系统变成一个真正的三维坐标系统，那这个夹角必须是要可以调整的，有关于这方面的应用，第二实施例里有详细的说明。

点P有一个特殊的用途，它可以被当做一个立体绘图系统里的消失点来用。

一个2.5维的鼠标移动控制系统(也就是说鼠标移动控制器(1512)加上一个2.5维的参考平面)可以与一个2.5维的显示器紧密的合作。现在我们来参考简单图说图21A以及图21B。一个球体(2102A)被呈现在一个2.5维的显示器(2101A)上；通过本发明的2.5维鼠标移动控制系统与2.5维参考平面的偕同运作，一个操作者能够触及该球体(2102A)上所有他/她从某个立体角度(例如，45度)能看的到的点。每当操作者想要去触及那些他/她一时不能被看到的点，则需要靠调整z值来达成目的。

在第一实施例里，z值的范围即代表景深(Depth of scene)。因此，借由把本发明的鼠标移动控制器(1512，图21B未绘示)从参考平面(2101B)上的点M’移到点N’，本发明的导航器所侦测到的深度值z(Depth value)即跟着改变。如此一来，鼠标就可以从点M移到点N(在这个时候，点N是不会让操作者看得到的)。如之前的段落所解释的，此种介于显示器(2101A)与参考平面(2101B)之间的三维地理位置对应关系，可以协助一个操作者在三维的应用上发展出自己的手法(Finesse)，而手法对于某些需要灵巧的双手的职业是至为重要的。

假如上述的一个2.5维鼠标移动控制系统所提供的景深范围不够达到一个2.5维显示器(例如，2101A)的范围时，我们可以借由公式(2)以及公式(6)来数字式的扩大该鼠标移动控制系统的景深值。那也就是说，依据相同的一组色彩指标(A,B,C)，元素FA＝1,B＝0,C＝0，FA＝0,B＝1,C＝0，或FA＝0,B＝0,C＝1应该要增大，以使z值增大(这个工作是可以自动作的，因为公式(6)以及其所使用的元素是储存于本发明的鼠标移动控制器(1512)内的)。

第二实施例

第二实施例是第一实施例的延伸，本实施例是把一个2.5维的鼠标移动控制系统延伸成真正的三维系统。

根据先前技术介绍的段落里定义的，2.5维这个词汇的意义是指一个技术(图形显示、鼠标移动控制等等)具有深度值；二维则没有。但是2.5维的技术不能提供完整的旋转功能；三维技术是可以这么做的。

现在我们已经清楚，人类的手通常是有很多线性与非线性的运动的，以往光学鼠标把鼠标运动的非线性的部分丢弃了。对于一个被某种固定型的染色方法的染过色或彩色的参考平面而言(例如，染料，颜料等等)，其由量测其色彩取得的运动资料是2.5维的(有x,y,z的数据，但是其立体视角Perspective angle是固定的)。值得注意的是，本发明的鼠标移动控制器能借由一个镶嵌于其内部的形状辨识机制，从该染过色或彩色的参考平面上取得第二种运动数据(第一种是用量测色彩的方法取得运动数据)。这个形状辨识机制与以往光学鼠标的形状辨识机制几乎是没有甚么不同的。与之前所述的第一种运动数据(取自彩度的侦测)相反的，该第二种运动数据与参考表面的地形地貌(Morphology)较有关系(例如，可以被上述之形状辨识机制追踪得到的灰尘颗粒)，而且其量测的结果大致上不受色彩变化的影响(非线性的部分仍然受影响，但与线性的部分相比，一般并不严重)。例如，如果本发明的鼠标移动控制器里的其中一个光源(例如，图5里的503、505，以及507)轻微地改变了它的照明条件，则由前述之形状辨识机制量测出来的运动数据不会受到太大的影响，但是由前述之色彩侦测机制量测出来的运动数据是会受到影响的。我们可以用这样的方式来指定运动向量，当本发明的鼠标移动控制器在参考表面(1608B)上运动时，其色彩量测机制提供了第一组运动向量(Xi,Yi,Zi)，其形状辨识机制提供了第二组运动向量(Xii,Yii,Zii)。在实际操作上，该第二组运动数据是利用公式(5A)与(5B)来把一组(x,y)的数据转换成另一组(x,y,z)的资料的。上述该第一组运动数据与该第二组运动数据的差距，可以用公式(15)来代表。

(ΔX,ΔY,ΔZ)＝(Xi,Yi,Zi)-(Xii,Yii,Zii) (15)

因此，公式(15)以一个前所未有的方式提供了一个三维运动向量(ΔX,ΔY,ΔZ)；该运动向量与本发明的鼠标移动控制器的运动里面非线性的部分有关。当该非线性运动向量(ΔX,ΔY,ΔZ)被用来控制一个显示屏上的物体的某种非线性运动时，它是可以可与平移运动向量合并使用的。借由这个独一无二的机制，一个原本看似2.5维的鼠标移动控制器现在可以被定性为三维的鼠标移动控制器。

举个例子来讲，如果一个操作者意欲设定一个旋转运动向量，该旋转运动向量的大小远比本发明的鼠标移动控制器原先所设定的范围大得多，其中一种解决办法是用光学的方法来改变参考平面(例如：510)的染色情况(也就是说外显颜色Apparent color)；这可以用图5来解释。如果只是从外观来判断，本发明的鼠标移动控制器(也就是说第二实施例)不过就跟一个以往光学鼠标一样。但是，图5里的鼠标移动控制器与以往的光学鼠标不同的是，它上面有一个彩色光电侦测器(509)以及三个光源(503、505以及507)，其中每一个光源所发出的光的波长都彼此不同(例如，红、蓝、绿，或者也可以使用其它的颜色)；图15系列的图里的鼠标移动控制器(1512)是一个与图5相类似，简化过的模型，这个简化过的模型能够容许比三个光源更多，更少，甚至只有一个光源来照光在参考平面(1513)上。

在所有图15系列的图，以及图5里，其所使用的鼠标移动控制器的光电侦测器都是对彩色敏感的。因此，如图15A所示，上述这些图里的鼠标移动控制器能够形成一个属于自己的色域图(该色域图的形状可由(1502)来代表，其上面的点Q，R，S的位置可以因为照光强度的改变而改变)。所以，我们就用图15A以及图15C来解释当一个在图5里的光源(也就是说503、505，或507)改变它的输出功率时(或者是改变其它的一些特性也可以；例如，改变光的偏极性，或者光电侦测器的快门速度等等)会发生甚么情况。同时我们也应该注意到该三个光源是被本发明所使用的驱动电路分别独立控制的。因此之故，当一个光源的强度改变时，其它两个光源的强度可以维持不变。在这种情况下，等强度点(也就是说图15A里的点P)会朝向该改变照光强度的光源的方向趋近或远离。因此，在区块(1507)里的坐标系统的原点(我们假设等强度点P为原点)的位置会随着上述某光源(503，505，507)的照光强度的改变，沿着一个与其相对应的坐标轴(或)移动。当本发明的鼠标移动控制器从同一个地区的上方通过时，由于照光条件已经改变，它会得到一个新的色彩指标(A’,B’,C’)。使用公式(6)来做转换，此一组新的色彩指标会得出一组新的运动/地址数据(Xi’,Yi’,Zi’)。在本实施例中，符号1507D可表示为图像框及参考平面等元件名称，其在不同情境中有不同的意义。图15D所显示的就是这个现象，一个在参考平面(1507D)上的微小形体(1518D)并不会因为照光条件的改变而改变其地形地貌(Morphology)。所以，当本发明的鼠标移动控制器在之前所述的染过色或彩色的参考平面上移动时，该染过色或彩色的表面的地形地貌/微结构均不会改变；因此之故，前述第二组的运动向量的数值(通常都是用单色光的影像，像素区块比对法解算出来的)并不会有多大的改变—它仍然维持是(Xii,Yii,Zii)。把一个有改变的第一组运动数据与一个不改变的第二组运动数据一起放入公式(15)，我们会得到公式(16)。

(ΔX',ΔY',ΔZ')＝(Xi',Yi',Zi')-(Xii,Yii,Zii) (16)

此时我们可以注意到(与公式(15)比较)，公式(16)里的旋转(非线性)运动向量已经改变了(由(ΔX,ΔY,ΔZ)改变成(ΔX',ΔY',ΔZ'))。这等于是说旋转(非线性)运动向量可以借由改变参考平面(510)的染色情况来调整。

我们仍然用之前在NU11-007里所提过的一个假想的迪斯尼动画电玩节目作为解说怎样运用以上所述的运动数据的范例。彼得潘在跟虎克船长打斗。这一次彼得潘的旋转运动向量是随时按照计算机的程序来改变的(该些鼠标移动控制器上的光源的输出功率会随着计算机的程序状态适时做调整)。当彼得潘沿着一系列的三维弧线绕着虎克船长飞行时，他的身体的姿态是不断在改变的，也就是说，当彼得潘飞到虎克船长的右边时，他的脸会转向左方；当彼得潘飞到虎克船长的左边时，他的脸会转向右方。借由公式(15)或(16)的帮助，以及参考平面(510)的染色条件的不断改变，操作者能够不断地导出旋转运动向量。此处再重复说明，一个物体的平移运动与旋转(非线性的部分)运动之间的相对比重，是可以借由本发明的鼠标移动控制器获得调整的。

第三实施例

在第三实施例里，本发明的鼠标移动控制器的硬件结构从一个桌上的鼠标变成了一个三维触摸板(3D Touch pad)。从外观来看，整个本发明的结构类似于NU11-002所揭露的硬件。该两个器件的主要的不同之处在于本发明的器件是把具有三个刺激元(Tri-stimuli)的色彩指针数据(例如，CIE1931RGB)转换成三维坐标数据(X,Y,Z)。另一方面，NU11-002所提供的器件并没有彩色光学的知识–它所提供的仅是二维的数据(X,Y)。

现在我们参考图22，本实施例的导航器是由一个空室(2204)构成的，该空室被一块混光板(2203Light mixing plate)给覆盖，该混光板可以是一块Lambertian plate(其为一种可使光全散射的板)，一块光扩散板(Light diffusing plate)，或者一块荧光板等等。空室(2204)之内含有几个有颜色的光源(例如，2205，2207，2210)，该些光源可以是用LED(Light emitting diode)或其它类型的光源建构起来的，该些光源发出的光的颜色(也就是说波长)彼此不同。空室(2204)内还含有一个光侦测器(2206)，而且空室(2204)可以被做成正方形，长方形，圆形，椭圆形等等不同的形状。该些光源被摆置在该大约是空室的基底处，以彼此尽量分散开来的方法安置下来，该光侦测器(2206)也是大约置于该空室(2204)的基底处，并且介于该些光源之间，以方便让该光侦测器去拍摄接触到该混光板的指示器件(Pointing device，例如，手指、笔尖等等)的影像。

上述之混光板(2203)(例如，一块Lambertian plate，一块光扩散板，或一块荧光版等等)是一个半透明的板子，该半透明的板子上有一个表面，该表面为一个接近于完全扩散表面(Perfectly diffusing surface)。光线能够以一种高度扩散的方式，从该混光板的一边穿过到另一边，在该混光板某一边的观察者(例如，该光侦测器)无法辨认出位于该混光板另一端远处物体的确切形状。该覆盖于空室(2204)上的混光板(2203)将来自周围环境落在该混光板上的光线打散；此外，当空室(2204)内部由该些光源发出的光线穿出该混光板(2203)时，该混光板也会对该些光线做相同的工作，将其打散。因此之故，形成在光侦测器上的影像是一个没有清楚轮廓的影像。从数学上来讲，上述的光混和效应可以用根据辐射传输方程式(Radiative transfer equation,RTE)建立的模型来理解。例如，一个粗糙的表面会比一个平滑的表面更可以把光散射到各方向(等向性更好More isotropic)，因此，由以上两种不同的表面所反射出来的影像，会有不同的清晰度。

当一个(被该光侦测器追踪的)物体被移到离该混光板(2203)比较远的距离时，上述的影像模糊现象会增强，而当一个(被该光侦测器追踪的)物体被移到离该混光板(2203)比较近的距离时，上述的影像模糊现象会降低。除了以上的方法与板子的型态之外，仍然有其它的方法与板子能够达成相同的目的。例如，一块透明的板子与一个有能力混合入射光的指示器件也可以把混合后的光线反射回光侦测器(2206)，使该光侦测器能够根据从该指示器反光回来的颜色，追踪该指示器。对以往技术而言，一个轮廓模糊的物体的影像会对形状辨识造成很大的挑战，甚至造成运动侦测近乎不可能进行。但是对本发明而言，在以上的情况下作运动侦测的工作不会变成不可能，因为本发明使用的是物体的颜色，或者是指示器反光的颜色来决定位置的；本发明并没有依赖物体的边缘或者轮廓来决定位置。当一个被追踪的物体或指示器接触到本实施例的混光板(2203)时，该物体或该指示器的模糊的影像的亮度相较围绕在其四周的环境是比较高的。当该物体或该指示器在该混光板上移动时，其所形成的模糊却很亮的光点即成为光侦测器(2206)最理想的追踪目标。位于空室(2204)之内的多个光源(例如，2205，2207，2210)比较希望是LED(Light emitting diode)，但是其它类型的光源也是可以用的。光侦测器(2206)比较希望是用对色彩敏感的互补式金氧半导体影像侦测器(CMOS image sensor)，而且该互补式金氧半导体影像侦测器可以看到覆盖该空室的混光板的内侧表面，并用此来决定与其接触的物体或指示器的位置。其它类型的影像侦测器，只要能够看到该从混光板上投射出来的物体或者指示器的影像的，也可以被用来作为本发明的光侦测器。

在本实施例中，符号2202A、2202B，及2202C可表示为指示器及手指等元件名称，其在不同情境中有不同的意义。当一个指示器(2202A，2202B，或2202C；例如，一只手指，一个尖棒，或一个与该尖棒类似的器件)接触到该混光板的表面时，有一部分从该空室内部的光源发射出来的光线会(经由反射)形成一个轮廓模糊但是很亮的光点(Brightened spot)。然后光侦测器(2206)会去侦测该廓模糊但是很亮的光点的色彩(Color，Hue)；当该指示器在该混光板上移动时，一些与该光侦测器相关的电子电路会监测该光点的色彩的变化；根据监测色彩变化的结果，该些电路提供控制的信号，用来控制一个屏幕上的鼠标，该屏幕可以被用于行动式(或可携式)的电子器件上，例如，笔记本电脑，手机，全球定位机，电子游戏机等等。更进一步的，该指示器可以借由提起，然后再重新放下到该混光板的动作来指示选择上述电子器件屏幕上的一个元素(Element)。再更进一步，尤其是在本实施例被使用在笔记本电脑的情况之下，不只一只手指(例如，2202A，2202B，以及2202C)可以使用在该混光板上一些预先决定的不同的地点，以便执行一些移动鼠标以外的功能；例如，屏幕的卷动，旋转，放大、缩小一个影像，以及为一个需要准确定位的屏幕提供高分辨率与高敏感度的鼠标移动控制功能等等。

表一是一个用来作为说明示范的查询表，该表将该光侦测器所看到的该指示器接触到该混光板的区域的颜色转换成地址数据，表一所使用的色彩指标的格式为RGB。

表一

表一使用的色彩指标并不是本发明唯一的选择。我们也可以用其它格式的色彩指标，例如，YUV，LAB，CIE(这些都是色彩指标的一种)等等。因此，借由侦测从一个指示器上反射回来的光的颜色，一个影像侦测器(或者一个光侦测器)以及与其相关的电路能够决定出一的屏幕上的鼠标的三维的位置以及动作。从数学上来讲，我们可以借由公式(6)来导出(X,Y,Z)的数据，在这种情况下，我们不需要表一，或者说我们降低了对表一的依赖/需要(查询表会占据一些存储器资源，消耗计算时间)。

简言之，我们可以注意到本发明的器件(第三实施例)有以下几个优点。

(1)本实施例所使用的参考平面(例如，Lambertian plate 2203)是一个具有触控功能(Touch sensing capability)的二维的结构；本实施例并没有需要为了取得三维地址数据，就一定要把指示器放在一个三度空间(3D Space)里运动。

(2)参考平面(例如，Lambertian plate 2203)是不移动的–它能够压制由人体震动所造成的误差(对于电磁追踪器EM Tracker而言，人体震动是很难避免的)。

(3)由本发明里的三个光源的照光机制所建立起来的三维坐标系统，是可以直接的(点对点)对应到一个三维成像系统的坐标系统的。这项功能使得本发明(三维触摸板)非常适合三维立体绘图之用。

(4)本发明具有甚高的分辨率与敏感度，而这一项优点大致上是与本发明所使用的光侦测器有关(例如，CMOS image sensor)。

(5)原先在第二实施例里所揭露的操作编程，例如，缩小与放大，改变消失点，以及旋转等等，可以借由第三实施例来轻易的完成。也就是说，在第三实施例里，我们可以借由适时的调整照光条件、模拟数字数据转换编程里的放大器的增益值的设定、或一些像是公式(6)里的数值计算等等，来达到调整一个坐标系统的尺度大小(Scale)。

第四实施例

第四实施例所揭露的是一种特殊的参考表面(例如，鼠标垫)，该参考表面所使用的染色材料不一定要是红色、蓝色、或绿色的。事实上世界上有很多种材料能够反射波长范围不在可见光(Visible light)范围的电磁波。这些材料也可以合在一起使用，使其反射的电磁波形成一个非常特殊的色域图(例如，YMC,Yellow,Magenta,and Cyan等等)。甚至也有一些极端的情况，在这些极端的情况之下，上述之参考表面能够反射或者发射某些电磁波，该些电磁波的波长并不在可见光的范围之内；或者，该些电磁波带有某种可被辨识的特性(Identifiable characteristics)，而这些特性并非与波长有关(例如，偏极性Polarity，相位Phase等等)；该些特性能够使本发明除了波长之外还可以使用电磁波的其它一些特性，将一个参考表面上的绝对地址的特征以某种特殊的方式呈现出来。在大自然里，有许多物质在被电磁波照射时，可以反射、折射、发射(Emit)可见光(Visible)、紫外光(UV)、红外光(IR)等等。当我们使用与本发明所揭露相同的方法，借由三种对光有不同的反射、折射、发射的成份形成一个特殊的“色域图”时，我们就能够用该些成份来形成一个参考表面，供本发明的三维导航器使用。该些成份所产生的效应与本发明之前所揭露的反射可见光的方法相同:也就是说，所有位于该参考表面上的点都可以提供彼此不同的三刺激元的色彩指标(Tri-stimuli color index)，当该些色彩指标以各自独立、彼此不相干扰方式的结合起来时，它们就形成了一种对应关系(Mapping)，该对应关系使一个二维的表面对应到一个三维的空间。借由这些三刺激元色彩指标，我们就可以导出三维的位置数据(x,y,z)，这个部分所使用的方法与公式(6)所做的很相似。

一个使用本实施例以上的段落所描述方法制作出来的参考平面，它色彩呈现形式(Coloration profile)可以有几分像图20A至图20E所描述的参考平面那样，但是使用其它的色彩呈现形式还是被容许的(例如，CIE 1931YMC，等等)。这些不同的色彩形式所使用的基本物理都是相同的—由参考面上反射回来的辐射波的强度可以被指示为I’x，I’y，以及I’z。图20A、图20C，以及图20E上有与I’x，I’y，以及I’z相对应的指标(也就是说Ix，Iy，以及Iz)，两者之间不同之处在于I’x，I’y，以及I’z的数值并不一定是沿着图20A、图20C、图20E里的x，y，或z轴变化的。此外，第四实施例里的I’x，I’y，或I’z并不一定代表红、蓝、绿甚至任何可见光。例如，一个器件工程师可以指定使用紫外光(UV)或红外光(IR)等等。在实际操作时，紫外光提供较佳的定位准确度，红外光侦测器则较不受室内环境里的杂光影响。

对于一个熟悉此技艺的人而言，本发明所揭露的实施例是用于阐明而非限制本发明之使用范围的。依照本发明所揭露的技术内容以及在申请专利范围之内对本发明所揭露的方法、编程、材料、结构、以及尺寸大小等等是可以做改良与修正的；任何一种针对本发明所揭露的方法、编程、材料、结构、以及尺寸大小等等所作的改良或修正，而且经过该改良或修正以后仍然是指示如何制造或使用一个三维的移动控制系统，该系统系针对一个染过色或彩色的平面型参考表面，利用色彩侦测技术，以及选择性的利用形状辨识技术来达成其移动控制之功能，则该方法、编程、材料、结构、或尺寸大小等仍在本发明所揭露的内容以及专利范围之内。