利用可变场照明设备的对象检测和跟踪的制作方法_4

文档序号:8449256阅读:来源:国知局
用户可以指向屏幕或者做出其它手势,其可以被计算机系统解译为输入。
[0072]图8示出了根据本发明的实施例的并入运动检测器作为用户输入设备的计算机系统800。计算机系统800包括台式机箱802,台式机箱802可以容纳计算机系统的各种部件,诸如处理器、存储器、固定或者可移除盘驱动、视频驱动器、音频驱动器、网络接口部件等等。显示器804连接到台式机箱802并且定位为可供用户查看。键盘806定位在用户的手容易到达的范围内。运动检测器单元808被放置于键盘806附近(例如,如图所示在后方,或者在一侧),朝着某区域定向,在该区域中用户将自然地做出指向显示器804的姿势(例如,在键盘上方并且在监控器前方的空中区域)。相机810、812(其可以与上文所述的相机102、104相似或者完全相同)被布置为总体指向上方,并且光源814、816 (其可以与上文所述的光源108、110相似或者完全相同)被布置到相机810、812两侧以便照射运动检测器单元808上方的区域。在典型的实施方式中,相机810、812和光源814、816是基本上共平面的。这种配置防止出现阴影,阴影可能例如干扰边缘检测(若光源位于相机之间而非旁侧,则会出现这种情形)。过滤器(未示出)可以被放置在运动检测器单元808的顶部之上(或者正好在相机810、812的光圈之上)以便过滤掉光源814、816的峰值频率周围的带之外的所有光。
[0073]在示出的配置中,当用户在相机810、812的视场中移动手或者其它对象(例如,笔)时,背景将很可能由天花板和/或安装到天花板的各种固定物组成。用户的手可能在运动检测器808上方10至20cm处,而天花板可能是该距离的五到十倍(或者更多)。来自光源814、816的照明因此在用户的手上将比在天花板上强烈得多,并且本文所描述的技术可以用于可靠地将由相机810、812捕捉的图像中的对象像素与背景像素区分开。如果使用红外光,则用户不会被光分散注意力或者打扰。
[0074]计算机系统800可以利用图1A所示的架构。例如,运动检测器单元808的相机810、812可以将图像数据提供到台式机箱802,并且图像分析和后续的解译可以使用容纳在台式机箱802内的处理器和其它部件来执行。备选地,运动检测器单元808可以并入处理器或者其它部件以便执行图像分析和解译的一些或者全部阶段。例如,运动检测器单元808可以包括实现上述用于区分对象像素和背景像素的过程中的一个或者多个过程的处理器(可编程或者固定功能的)。在此情形下,运动检测器单元808可以将所捕捉图像的精简表示(例如,在使所有背景像素为零情况下的表示)发送到台式机箱802,以用于进一步的分析和解译。不需要在运动检测器单元808内部的处理器和台式机箱802内部的处理器之间的计算任务的具体划分。
[0075]通过绝对亮度水平辨别对象像素和背景像素不总是必要的;例如,在知道对象形状的情形下,亮度衰减的图案可以被利用来检测图像中的对象,即使未明确检测到对象边缘。例如对于圆形对象(诸如手和手指),l/r2关系在对象中心附近产生高斯或者近高斯亮度分布;对由LED照射的并且相对于相机垂直设置的圆柱体成像产生具有对应于圆柱体轴线的明亮中心线的图像,其中亮度向每个边(围绕圆柱体的圆周)衰减。手指是近似圆柱体的,并且通过标识这些高斯峰,即使在其中背景接近并且边缘由于背景的相对亮度不可见(由于靠近或者背景可能正在主动发射红外光的事实)的情况下也可能定位手指。术语“高斯”在本文中广义地用于意指通常对称的钟形曲线,并且不限于明确符合高斯函数的曲线。
[0076]图9示出了根据本发明的实施例的并入运动检测器的平板计算机900。平板计算机900具有外壳,外壳的前表面并入由边框904包围的显示屏幕902。一个或者多个控制按键906可以并入到边框904中。在外壳内,例如在显示屏幕902后方,平板计算机900可以具有各种常规计算机部件(处理器、存储器、网络接口等)。可以使用安装到边框904中并且朝着前表面定向以便捕捉定位于平板计算机900前方的用户运动的相机912、914(例如,相似或者完全相同于图1A的相机102、104)和光源916、918 (例如,相似或者完全相同于图1A的光源108、110)来实现运动检测器910。
[0077]当用户在相机912、914的视场中移动手或者其它对象时,如上文所述地检测运动。在此情形下,背景有可能是用户自己的身体,其在离平板计算机900大约25到30cm的距离处。用户可以将手或者其它对象保持在离显示器902短的距离处,例如5到10cm。只要用户的手明显比用户身体更接近(例如,一半的距离)光源916、918,则本文描述的基于照明的对比度增强技术可以用于将对象像素与背景像素区分开。作为输入姿势的图像分析和后续解译可以在平板计算机900内完成(例如,通过利用主处理器执行操作系统或者其它软件以便分析从相机912、914获得的数据)。用户因此可以使用3D空间中的姿势与平板900交互。
[0078]根据本发明的实施例,如图10所示,护目镜系统1000也可以并入运动检测器。可以例如联系虚拟现实和/或增强现实环境使用护目镜系统1000。护目镜系统1000包括可由用户穿戴的相似于常规眼镜的护目镜1002。护目镜1002包括目镜1004、1006,目镜可以并入小显示屏幕以便向用户的左眼和右眼提供图像,例如虚拟现实环境的图像。这些图像可以由经由有线或者无线信道与护目镜1002通信的基础单元1008(例如计算机系统)提供。相机1010、1012 (例如,相似或者完全相同于图1A的相机102、104)可以安装在护目镜1002的镜框部分中,使得相机不会模糊用户的视觉。光源1014、1016可以安装在护目镜1002的镜框部分中在相机1010、1012两侧。由相机1010、1012收集的图像可以被传输到基础单元1008,以用于分析和解译为指示用户与虚拟或者增强环境交互的姿势。(在一些实施例中,通过目镜1004、1006呈现的虚拟或者增强环境可以包括对用户手的表示,并且该表示可以基于由相机1010、1012收集的图像。)
[0079]当用户在相机1008、1010的视场中使用手或者其它对象做出姿势时,如上文所述那样检测运动。在该情形下,背景有可能是用户所在的房间的墙壁,并且用户将最可能正坐在或者站在离墙壁某一距离处。只要用户的手明显比用户身体更接近(例如,一半的距离)光源1012、1014,则本文描述的基于照明的对比增强技术便于将对象像素与背景像素区分开。图像分析和后续解译为输入姿势可以在基础单元1008内完成。
[0080]将领会的是,图8至图10所示的运动检测器实施方式是说明性的,并且变化和修改是可能的。例如,运动检测器或者其部件可以与诸如键盘或者触控板之类的其它用户输入设备一起组合在单个外壳中。作为另一示例,运动检测器可以并入到膝上型计算机中,例如其中将向上定向的相机和光源内置到与膝上型键盘相同的表面中(例如,在键盘一侧或者在键盘前方或者后方)或者将向前定向的相机和光源内置到包围膝上型显示屏幕的边框中。作为又一示例,可以将可穿戴运动检测器实现为例如不包括有源显示器或者光学部件的头带或者耳机。
[0081]如图11所示,根据本发明的实施例,运动信息可以用作用户输入以便控制计算机系统或者其它系统。可以例如在诸如图8至图10所示的那些之类的计算机系统中实现过程1100。在块1102处,使用运动检测器的光源和相机捕捉图像。如上文所述,捕捉图像可以包括使用光源照射相机的视场,使得更接近光源(和相机)的对象比更远离的对象被更明亮地照射。
[0082]在块1104处,分析捕捉的图像以便基于亮度的改变来检测对象的边缘。例如,如上文所述,这一分析可以包括将每个像素的亮度与阈值进行比较,检测跨邻近像素的从低水平到高水平的亮度转变,和/或比较在有和没有光源照明的情况下捕捉的连续图像。在块1106处,使用基于边缘的算法确定对象的位置和/或运动。这一算法可以是例如上文提及的’ 485申请中描述的基于切线的算法中的任何一种;还可以使用其它算法。
[0083]在块1108处,基于对象的位置和/或运动标识姿势。例如,可以基于用户手指的位置和/或运动定义姿势库。可以基于伸出的手指朝着显示屏幕的快速运动定义“敲击”。可以将“追踪(trace)”定义为伸出的手指在大致平行于显示屏幕的平面内的运动。向内捏可以定义为两个伸出的手指移动得更接近在一起,而向外捏可以定义为两个伸出的手指移动得分开更远。可以基于整个手在特定方向上(例如上、下、左、右)的移动定义扫过(swipe)姿势,并且不同的扫过姿势可以进一步基于伸出手指的数目(例如一根、两根、全部)来定义。还可以定义其它姿势。通过将所检测到的运动与库进行比较,可以确定与检测到的位置和/或运动关联的特定姿势。
[0084]在块1110处,姿势被解译为计算机系统可以处理的用户输入。具体处理通常依赖于当前在计算机系统上执行的应用程序以及那些程序被配置为如何对具体输入做出响应。例如,在浏览器程序中的敲击可以被解译为选择手指指向的连接。在文字处理程序中的敲击可以被解译为将光标放置在手指指向的位置或者被解译为选择菜单项或者可以在屏幕上可见的其它图形控制元件。具体姿势和解译可以按需要在操作系统和/或应用层级确定,并且不要求任何姿势的特定解译。
[0085]全身运动可被捕捉并且用于相似目的。在这种实施例中,分析和重构有利地近似实时地发生(例如,可与人的反应时间相比拟的时间),使得用户体验到与设备的自然交互。在其它应用中,运动捕捉可以用于非实时完成的数字渲染,例如用于计算机动画电影等;在这种情形下,分析可以使用所期望的时长。
[0086]本文所描述的实施例提供了通过利用光强随距离的减少,对捕捉到的图像中的对象和背景之间的高效辨别。通过使用距离对象比距离背景明显更近(例如,两倍或者更多)的一个或者多个光源明亮地照射对象,可以增加对象和背景之间的对比度。在一些实例中,可以使用过滤器将来自除旨在源之外的源的光移除。使用红外光可以减少不想要的“噪声”或者来自有可能出现在正捕捉图像的环境中的可见光源的亮斑,并且还可以减少用户的注意力分散(可假定用户不能看到红外光)。
[0087]上文所描述的实施例提供了两个光源,在用于捕捉关心的对象的图像的相机的每侧设置一个光源。这一布置在位置和运动分析依靠在光源将照射那些边缘时知道如从每个相机看到的对象边缘的情况下可以是特别有用的。然而,还可以使用其它布置。例如,图12示出了具有单个相机1202和设置在相机1202两侧的两个光源1204、1206的系统1200。这一布置可以用于捕捉对象1208和由对象1208投射在平坦背景区域1210上的阴影的图像。在这一实施例中,可以容易地区分对象像素和背景像素。此外,如果背景1210距离对象1208不是太远,则在有阴影的背景区域中的像素和无阴影的背景区域中的像素之间将仍然有足够的对比度,以允许辨别两者。在上文提及的’485申请中描述了使用对象和其阴影的图像的位置和运动检测算法,并且系统1200可以向这种算法提供输入信息,包括对象和其阴影的边缘定位。
[0088]图13示出了具有两个相机1302、1304以及设置在相机之间的一个光源1306的另一系统1300。系统1300可以捕捉对象1308以背景1310为背景的图像。系统1300在边缘照明方面通常没有图1A的系统100可靠;然而,并不是用于确定位置和运动的所有算法都依靠精确知道对象的边缘。因此,在其中需要较低准确性的情况下,可以与例如基于边缘的算法一起使用系统1300。系统1300还可以与非基于边缘的算法一起使用。
[0089]虽然已经关于具体实施例描述了本发明,但是本领域技术人员将认识到众多修改是可能的。可以变化相机和光源的数目和布置。相机的性能(包括帧速率、空间分辨率以及强度
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1