在光学导航设备中或者与光学导航设备有关的改进的制作方法
【专利摘要】本发明提供一种用于检测指示器、比如手指在三个维度中的移动的光学导航设备。传感器获得已经被照明源照明的指示器的图像，并且图像缩放模块确定在图像传感器获取的图像之间的大小差值，以确定指示器在图像之间的高度差值。
【专利说明】在光学导航设备中或者与光学导航设备有关的改进
【技术领域】
[0001]本发明涉及在光学导航设备、例如在3D中操作的光学鼠标中或者与该光学导航设备有关的改进。
【背景技术】
[0002]计算机设备正在变得越来越小，并且可以在电话和智能电话以及其它个人数字助理(PDA)上发现完全的计算功能。由于计算机设备变得更小，因此计算机设备的各种特征必须也变得更小。这包括需要更小输入设备用于用户向设备中录入输入。一个这样的输入设备是光学导航设备。许多大型和小型计算机设备配备有光学导航设备、比如鼠标。
[0003]手指鼠标正在变得在移动电话、膝上型计算机、数字静态相机(DSC)和许多其它设备上更普遍。此外，3D显示器正在变得更流行。当前输入或者导航设备(例如触屏、鼠标和包括光学手指导航(OFN)的手指鼠标、光学导航设备(ONM)、光学操纵杆(OJ))通常为2D。当前正在开发支持3D窗口的操作系统和需要3D控制输入的操作。即使用2D显示器，3D导航设备也对识别更广范围的手势有用。
[0004]多数手指鼠标是如下标准PC鼠标的修改，在这些标准PC鼠标中，用户沿X和Y方向在表面的上面移动他们的手指。传感器对手指进行成像并且使用图像以创建与用户的手指的移动对应的X和Y运动矢量。这些传感器不能检测在Z轴的移动。
[0005]一种用于获得深度信息的常用方法是如在利用双眼的人类视觉系统中实现的那样使用在空间上分离的两个传感器。
[0006]图1示出具有两个图像传感器的提出的手指鼠标系统的示例。如图1中可见，如果竖直(即沿着Z轴)移动手指，则传感器上的特征在图像平面中移动。相同特征在两个传感器上在相反方向上移动从而允许X和Y移动区别于Z移动。这一技术有许多缺点:
[0007].需要两个传感器，这增添设备的成本和空间要求；
[0008].在设备中需要至少两个孔，这一般视为无吸引力；
[0009].必须相互比较来自传感器的图像，这需要附加处理；
[0010].对于高时间分辨率，需要高帧速率、例如对于光学鼠标而言常见的在IkHz至IOkHz之间,这又对于图像数据造成典型为40Mbps的高比特率；
[0011].高数据速率需要受传感器的输出发送器和图像处理单元的接收器二者支持；
[0012].准确地匹配两个图像尤其是与比如在指纹上发现的横向移位的周期性结构，有困难并且可能产生不正确三角测量或者Z高度信息。
[0013]另一种确定距离的传统方法是测量光从发射器、比如LED或者VCSEL{竖直腔表面发射激光器}行进到对象、然后回到传感器所需要的时间。“SPAD”(单光子雪崩检测器)适合于测量这一时间，因为它在检测器中具有高电场，该电场允许加速和快速检测光子生成的电子。此外，雪崩的增益意味着产生数字脉冲并且可以对数字脉冲进行计数。然而单个SPAD无空间分辨率，因此单个检测器不能确定对象(即手指)是否正在例如以常见手势的形式沿着以SPAD为中心的圆圈移动。[0014]这可以通过运用多个SPAD设备来克服，但是对于设备壳中的更多孔的要求无吸引力。一种可能系统将运用2个SPAD和I个鼠标传感器以提取在X、Y和Z轴中的运动并且这将需要3个孔。
【发明内容】
[0015]本发明的一个目的是克服与现有技术关联的问题中的至少一些问题。
[0016]本发明的又一目的是提供一种在3D中操作的光学导航设备。
[0017]本发明提供一种如在所附权利要求中阐述的方法和系统。
[0018]根据本发明的一个方面，提供一种用于检测指示器、比如手指在三个维度中的移动的光学导航设备。
[0019]可选地，光学导航设备还包括:传感器，适配成获得已经被照明源照明的指示器的图像。
[0020]可选地，光学导航设备还包括:图像移位模块，被配置用于确定在第一与第二图像之间的差值以由此确定在第一与第二图像之间的运动矢量。
[0021]可选地，光学导航设备还包括:图像缩放模块，被配置用于确定在第一与第二图像之间的大小差值以由此确定指示器从第一到第二图像的高度差值。
[0022]可选地，通过绝对差值求和(SAD)过程确定该差值，在该SAD过程中变化图像性质以允许相互比较第一和第二图像。
[0023]可选地，光学导航设备还包括:相关模块，用于从SAD过程确定最小SAD值,该最小SAD值指示第一和第二图像为最佳匹配，并且随后推导与最小SAD值关联的图像性质。
[0024]可选地，与最小SAD值关联的图像性质中的至少一个图像性质代表在第一和第二图像之间的最可能运动矢量。
[0025]可选地，与最小SAD值关联的图像性质中的至少一个图像性质代表指示器在第一和第二图像之间的最可能高度差值。
[0026]可选地，光学导航设备还包括用于确定和补偿系统性能变化的增益模块。
[0027]可选地，系统性能变化包括亮度。
[0028]可选地，光学导航设备是鼠标。
[0029]可选地，鼠标是手指鼠标。
[0030]本发明赋予许多益处。本发明产生一种能够确定在3个维度中的运动、但是仅用单个孔的光学传感器。此外，本发明提供一种用于在3D中提供鼠标化功能的高效方法和设备，这些鼠标化功能可以容易测量在X、y和z方向上的移动以由此确定控制功能。也考虑其它因素、比如环境光条件和成像的对象距传感器的距离以及酌情施加的补偿。
【专利附图】
【附图说明】
[0031]现在将仅通过示例参照附图，在附图中:
[0032]图1是根据现有技术的立体手指鼠标的框图；
[0033]图1b是根据本发明的一个实施例的手指鼠标的框图；
[0034]图2是根据本发明的一个实施例的手指鼠标导航引擎的框图；
[0035]图3是根据本发明的一个实施例的手指运动图像的示意图；[0036]图4是根据本发明的一个实施例的滤波手指移动图像的示意图；
[0037]图5是根据本发明的一个实施例的包含有移位的滤波手指运动图像的示意图；
[0038]图6是根据本发明的一个实施例的用于3D手指鼠标的光路的示意图；
[0039]图7是根据本发明的一个实施例的3D手指鼠标导航引擎的框图；
[0040]图8是示出根据本发明的一个实施例的绝对差值求和的表；并且
[0041]图9是根据本发明的一个实施例的3D手指鼠标图像相关函数的框图。
【具体实施方式】
[0042]本发明涉及一种旨在借助任一标准成像来操作的光学导航设备、比如小比例鼠标，其中从手指反射光以便识别手指在成像表面上的移动。这一类型的鼠标这里称为手指鼠标。
[0043]图1b示出手指鼠标100的示例。手指鼠标包括基部102 ;在104大体示出成像元件；LED106和传感器108。成像元件104的顶表面110是照明可以穿过的窗。此外，成像元件包括在LED与成像元件之间的准直透镜112以及在成像元件与传感器之间的成像透镜114。成像元件还包括将照明从准直透镜引向目标、例如指示器、然后从目标回到成像透镜的两个全内反射镜元件116。成像元件的下表面118基本上平坦。这仅为光学鼠标的一个示例，并且可以实施许多变化而未脱离其基本操作原理。
[0044]在使用中，用户可以在也可以称为鼠标化表面的窗110之上移动指示器。指示器可以简单地是在表面之上通过的用户的手指。手指包括指纹脊，这些指纹脊可以被检测以标识正在进行的移动。
[0045]在窗110与第一 LED或者传感器之间的距离在本实施例中在范围2.5mm中。这一距离是导航设备的厚度并且可以在Imm与3mm之间变化。理想地，厚度一般不大于5mm。导航设备可以由单件模制件形成。模制件包括图中所示单独光学元件中的每个光学元件。可以备选地用产生相同光学效果的不同光学元件以其它适当方式制成导航设备。导航设备也可以由多个不同元件而不是单个模制件制成。用于形成导航设备的技术可以包括除了模制之外的技术、比如复制、冲压、浮雕或者加工。
[0046]照明源例如是LED，这些LED可以是任何适当类型并且可以在“光学”或者非光学范围中生成源。因而，对光学器件和光学的引用旨在于覆盖未在人类视觉范围中的波长。从源向成像表面取得光照的光学器件可以是任何适当类型。
[0047]传感器可以是具有像素阵列的CMOS传感器，该像素阵列用于测量在不同位置的反射光以产生图像。阵列一般由多个像素形成，这些像素形成网格状阵列而像素在行和列中延伸。本发明同样可以利用不同类型的传感器。可以有各种类型的像素/读出方法；例如滚动刀片或者全局快门机制；无源像素或者有源(3晶体管、4晶体管)像素系统；具有相关双采样的读出；或者仅双采样。
[0048]现在将参照图2描述2D鼠标的操作。图2示出从传感器图像200的信号路径的概括。传感器包括优选地能够取得每帧两个图像的像素阵列(未示出)。LED或者照明源关断产生“黑色”图像来取得第一图像，并且照明源接通产生“曝光”图像来取得第二图像。然后从第二图像减去第一图像以去除任何固定图案噪声并且执行也称为“kTC”噪声的重置。有可能直接比较图像，然而为了保证跨图像平面的均匀照明，应用滤波器、比如“边缘滤波器”202。这可以去除低空间频率变化并且增强高空间频率变化。利用这样的滤波器，去除任何缓慢或者空间照明变化，因此系统更容许跨图像平面的不均匀照明。比较两个边缘滤波的图像204和206。一个图像204已经新近获取,而另一图像206先前已经获取。信号路径也包括图像移位208和相关引擎210，二者由控制逻辑212控制。以下将描述这些单元的功能。
[0049]有用于比较图像的许多不同方式。一种方式是使用先前确定的运动矢量(Xshift，Yshift)作为在两个图像之间的运动的第一估计。使用这一运动矢量通过图像移位对一个图像进行移位，并且比较移位的图像与另一非移位图像。该比较通常利用绝对差值求和(SAD)，其中对应像素之间的绝对差值被加在一起。这可以被表达如下:
[0050]
【权利要求】
1.一种用于检测诸如手指之类的指示器在三个维度中的移动的光学导航设备，所述光学导航设备包括:传感器，适配成获得已被照明源照明的所述指示器的图像；以及图像缩放模块，被配置用于确定所述图像传感器获取的第一图像与所述图像传感器获取的第二图像之间的大小差值，以由此确定所述指示器从所述第一图像到所述第二图像的高度差值。
2.根据权利要求1所述的光学导航设备，还包括:图像移位模块，用于确定所述第一图像与所述第二图像之间的差值以由此确定所述第一图像与所述第二图像之间的运动矢量。
3.根据权利要求1或者2所述的光学导航设备，其中通过绝对差值求和(SAD)过程确定所述差值，在所述绝对差值求和过程中变化图像性质以允许相互比较所述第一图像和第二图像。
4.根据权利要求3所述的光学导航设备，还包括:相关模块，用于从所述SAD过程确定最小SAD值，所述最小SAD值指示所述第一图像和第二图像为最佳匹配，并且随后推导与所述最小SAD值关联的所述图像性质。
5.根据权利要求4所述的光学导航设备，其中与所述最小SAD值关联的所述图像性质中的至少一个图像性质代表所述第一图像和第二图像之间的最可能运动矢量。
6.根据权利要求4或者权利要求5所述的光学导航设备，其中与所述最小SAD值关联的所述图像性质中的至少一个图像性质代表所述指示器在所述第一图像和第二图像之间的最可能闻度差值。
7.根据任一前述权利要求所述的光学导航设备，还包括用于确定和补偿系统性能变化的增益模块。
8.根据权利要求7所述的光学导航设备，其中所述系统性能变化包括亮度。
9.根据任一前述权利要求所述的光学导航设备，其中所述光学导航设备是鼠标。
10.根据权利要求9所述的光学导航设备，其中所述鼠标是手指鼠标。
11.一种装置，包括根据权利要求1至10中的任一权利要求所述的设备。
12.根据权利要求11所述的装置，其中所述装置是计算机。
13.根据权利要求11所述的装置，其中所述装置是电话。
14.根据权利要求11所述的装置，其中所述装置是相机。
15.根据权利要求11所述的装置，其中所述装置是智能电话。
16.根据权利要求11所述的装置，其中所述装置是遥控器。
【文档编号】G06F3/041GK103477309SQ201280018497
【公开日】2013年12月25日 申请日期:2012年2月3日 优先权日:2011年2月28日
【发明者】J·雷纳, P·梅洛 申请人:意法半导体(R&D)有限公司, 意法半导体(格勒诺布尔2)公司