在图像捕捉装置中使用3d传感器的方法和系统的制作方法

文档序号:2728408阅读:249来源:国知局
专利名称:在图像捕捉装置中使用3d传感器的方法和系统的制作方法
技术领域
本发明一般来说涉及用于捕捉静止图像和视频的数码相机,且更明确地说,涉及在此类相机中使用3D传感器。
背景技术
消费者越来越多地使用数码相机来捕捉静止图像和视频数据两者。网络摄像头(连接到主机系统的数码相机)也变得越来越常见。另外,包括数字图像捕捉能力的其它装置(例如装备有相机的手机和个人数字助理(PDA))正在席卷市场。
大多数数字图像捕捉装置都包括二维(2D)的单个传感器。顾名思义,此类二维传感器仅在二维中(例如,沿笛卡尔座标系统中的X轴和Y轴)测量值。2D传感器缺乏测量第三维(例如,沿笛卡尔座标系统中的Z轴)的能力。因此,不但被创建的图像是二维的,而且2D传感器不能够测量被捕捉的图像的不同部分距传感器的距离(深度)。
已经作出了几种尝试来克服这些问题。一种途径包括使用两个相机,每一相机中都具有2D传感器。可以立体镜的方式使用这两个相机,其中来自一个传感器的图像到达用户的每只眼睛,且可创建3D图像。然而,为了达到此目的,用户将需要具备某一特殊装备,类似于用于观看3D影片的眼镜。另外,虽然创建了3D图像,但仍不能直接获得深度信息。如下文所论述,在几种应用中,深度信息是重要的。
对于几种应用来说,不能测量图像的不同部分的深度严重地具有限制性。举例来说,例如背景替换算法的一些应用为同一用户创建不同的背景。(例如,可将用户刻画为坐在沙滩上,而不是坐在他的办公室中)。为了实施此类算法,必须能够将背景与用户区分开。仅仅使用二维传感器来区别网络摄像头的用户与背景(例如,椅子、墙等等)是困难且不准确的,尤其在这些事物中有一些具有同一颜色时。举例来说,用户的头发和她正坐在上面的椅子可能都是黑色的。
三维(3D)传感器可用于克服上文所论述的限制。另外,存在其它几种可利用图像中各个点的深度的测量的应用。然而,按照惯例,3D传感器非常昂贵,且因此在数码相机中使用此类传感器是不可行的。由于新技术的缘故,最近已经开发了一些费用更加担负得起的3D传感器。然而,与深度有关的测量比与其它两个维度有关的信息细致得多。因此,用于存储与深度有关的信息(其为第三维中的信息)的像素必定比用于存储其它两个维度中的信息(与用户及其环境的2D图像有关的信息)的像素大得多。另外,使2D像素变大很多以适应3D像素是不可取的,因为这会损害2D信息的分辨率。在此类情况下,改进的分辨率意味着增加的大小和增加的成本。
因此,需要一种数码相机,其可察觉到达图像中各个点的距离,并且以相对较低的成本以在二维中比较高的分辨率来捕捉图像信息。

发明内容
本发明是一种用于在数码相机中使用3D传感器的系统和方法。
在一个实施例中,仅使用-3D传感器来获得所有三个维中的信息。这通过将适当的(例如,红(R)、绿(G)或蓝(B))滤波器放置在获得两个维度的数据的像素上来完成,而将其它适当的滤波器(例如,IR滤波器)放置在测量第三维(即,深度)中的数据的像素上。
为了克服上文所提及的问题,在一个实施例中,将各个维的信息存储在不同大小的像素中。在一个实施例中,深度信息散布在沿其它两个维度的信息中间。在一个实施例中,深度信息围绕沿其它两个维度的信息。在一个实施例中,3D像素连同2D像素一起配合在一网格中,其中单个3D像素的大小等于许多2D像素的大小。在一个实施例中,用于测量深度的像素的大小是用于测量其它两个维度的像素的大小的四倍。在另一实施例中,3D传感器中有一单独部分测量距离,而3D传感器的其余部分测量其它两个维度中的信息。
在另一实施例中,结合2D传感器而使用3D传感器。2D传感器用于获得两个维度中的信息,而3D传感器用于测量图像的各个部分的深度。由于所使用的2D信息和所使用的深度信息位于不同的传感器上,所以上文所论述的问题不会出现。
在一个实施例中,由相机捕捉到的光被分成两束,其中的一束由2D传感器接收,且另一束由3D传感器接收。在一个实施例中,适合于3D传感器的光(例如IR光)被朝向3D传感器引导,而可见光谱中的光被朝向2D传感器引导。因此,两个维度中的颜色信息与深度信息被分别存储。在一个实施例中,来自两个传感器的信息在图像捕捉装置上组合,且接着被传送到主机。在另一实施例中,将来自两个传感器的信息分别传输到主机,且接着由主机来组合。
使用3D传感器来测量图像的各个点的深度提供了关于距图像中各个点(例如用户的脸部和背景)的距离的直接信息。在一个实施例中,将此信息用于多种应用。此类应用的实例包括背景替换、图像效果、增强的自动曝光/自动聚焦、特征检测和跟踪、鉴别、用户界面(UI)控制、基于模型的压缩、虚拟现实、凝视校正等。
此发明内容中和以下的具体实施方式
中所述的特征和优势不是无所不包的,且明确地说,根据附图、说明书和其权利要求书,所属领域的技术人员将了解很多额外特征和优势。此外,应注意,说明书中所使用的语言大体上是出于易读和教示的目的而选择的,且可能不是经选择以限定或限制发明性主题,参见对确定所述发明性主体来说必要的权利要求书。


本发明具有其它优势和特征,其在结合附图考虑时将从本发明的以下具体实施方式
和所附权利要求书中变得更容易理解,其中图1是包括图像捕捉装置的可能使用场景的方框图。
图2是根据本发明实施例的图像捕捉装置100的一些组件的方框图。
图3A说明常规2D传感器中的像素的排列。
图3B说明用于将第三维的信息连同其它两个维度的信息一起存储的实施例。
图3C说明用于将第三维的信息连同其它两个维度的信息一起存储的另一实施例。
图4是根据本发明实施例的图像捕捉装置的一些组件的方框图。
图5是说明根据本发明实施例的系统的运行的流程图。
具体实施例方式
附图仅出于说明的目的而描绘本发明的优选实施例。应注意,图中的相同或相似参考数字可指示相同或相似功能性。所属领域的技术人员将容易从以下论述中认识到,可在不脱离本文中的发明原理的情况下,利用本文所揭示的结构和方法的替代实施例。应了解,以下的实例集中在网络摄像头上,但本发明的实施例也可应用于其它图像捕捉装置。
图1是说明具有图像捕捉装置100、主机系统110和用户120的可能使用场景的方框图。
在一个实施例中,由图像捕捉装置100捕捉到的数据是静止图像数据。在另一实施例中,由图像捕捉装置100捕捉到的数据是视频数据(在一些情况下伴随有音频数据)。在又一实施例中,图像捕捉装置100视用户120作出的选择而捕捉静止图像数据或视频数据。在一个实施例中,图像捕捉装置100是网络摄像头。此类装置可为(例如)来自罗技(Logitech)公司(Fremont,CA)的QuickCam。应注意,在不同实施例中,图像捕捉装置100是任何可捕捉图像的装置,包括数码相机、数码摄像放像机(camcorder)、个人数字助理(PDA)、装备有相机的手机等。在这些实施例中的一些实施例中,可能不需要主机系统110。举例来说,手机可通过网络直接与远程站点通信。作为另一实例,数码相机本身可存储图像数据。
返回参看图1中所示的特定实施例,主机系统110为常规计算机系统,其可包括计算机、存储装置、网络服务连接和可耦合到计算机系统的常规输入/输出装置,例如,显示器、鼠标、打印机和/或键盘。计算机还包括常规操作系统、输入/输出装置和网络服务软件。另外,在一些实施例中,计算机包括用于与即时消息(IM)服务通信的IM软件。网络服务连接包括那些允许连接到常规网络服务的硬件和软件组件。举例来说,网络服务连接可包括到达电信线路的连接(例如拨号线(dial-up)、数字用户线路(“DSL”)、T1或T3通信线路)。可从(例如)IBM公司(Armonk,NY)、Sun Microsystems公司(PaloAlto,CA)或Hewlett-Packard公司(PaloAlto,CA)购得主机计算机、存储装置和网络服务连接。应注意,主机系统110可为任何其它类型的主机系统,例如PDA、手机、游戏控制台或任何其它具有适当的处理能力的装置。
应注意,在一个实施例中,图像捕捉装置100集成到主机110中。此类实施例的一实例是集成到膝上型计算机中的网络摄像头。
图像捕捉装置100捕捉用户120以及围绕用户120的环境的一部分的图像。在一个实施例中,将捕捉到的数据发送到主机系统110,以供进一步处理、存储和/或经由网络发送给其它用户。
图2是根据本发明实施例的图像捕捉装置100的一些组件的方框图。图像捕捉装置100包括透镜模块210、3D传感器220和红外线(IR)光源225。
透镜模块210可为此项技术中已知的任何透镜。3D传感器是可测量所有三个维(例如,笛卡尔坐标系统中的X、Y和Z轴)中的信息的传感器。在此实施例中,3D传感器220通过使用IR光来测量深度,IR光由IR光源225提供。下文更详细地论述IR光源225。3D传感器测量所有三个维的信息,且将参照图3B和3C进一步论述这一点。
后端接口230与主机系统110介接。在一个实施例中,后端接口为USB接口。
图3A-3C描绘传感器中的各种像素网格。图3A说明2D传感器的常规二维网格,其中仅捕捉两个维度中的颜色信息。(此类排列称为拜耳图案(Bayer pattern))。此类传感器中的像素全部具有统一尺寸,且在像素上具有绿(G)、蓝(B)和红(R)滤波器以测量两个维度中的颜色信息。
如上文所提及,与测量其它两个维度中的信息的像素(例如小于约5微米)相比,测量距离的像素需要显著更大(例如约40微米)。
图3B说明用于将第三维的信息连同其它两个维度的信息一起存储的实施例。在一个实施例中,用于测量距离(D)的像素由IR滤波器覆盖,且与用于存储沿其它两个维度的信息的几个像素(R、G、B)一样大。在一个实施例中,D像素的大小是R、G、B像素的大小的四倍,且如图3B中所说明,D像素与R、G、B像素交织。D像素使用从IR源225发射的光(所述光由捕捉到的图像反射),而R、G、B像素使用可见光。
图3C说明用于将第三维的信息连同其它两个维度的信息一起存储的另一实施例。如从图3C可见,在一个实施例中,与R、G、B像素相比,将D像素放置在传感器上不同的位置中。
图4是根据本发明实施例的图像捕捉装置100的一些组件的方框图,其中3D传感器430连同2D传感器420一起使用。还展示透镜模块210和部分反射镜410,以及IR源225和后端接口230。
在此实施例中,因为所使用的二维信息与所使用的深度信息分别存储,所以与深度像素的大小有关的问题不会出现。
在一个实施例中,3D传感器430使用IR光来测量距捕捉到的图像中各个点的距离。因此,对于此类3D传感器430来说,需要IR光源225。在一个实施例中,光源225由一个或一个以上发光二极管(LED)组成。在一个实施例中,光源225由一个或一个以上激光二极管组成。
管理由IR源225产生的热量的耗散是重要的。功率耗散考虑因素可能会影响用于图像捕捉装置100的情况的材料。在一些实施例中,可能需要包括风扇以辅助热量耗散。如果未经适当地耗散,所产生的热量将影响传感器220中的暗电流,从而降低深度分辨率。热量还可能影响光源的寿命。
从捕捉到的图像发射的光将包括IR光(由IR源225产生),以及常规光(环境中存在的,或由例如闪光的常规光源(未图示)产生的)。由箭头450描绘此光。此光穿过透镜模块210,且接着碰撞部分反射镜410,且由部分反射镜410分成450A和450B。
在一个实施例中,部分反射镜410将光分成450A,其具有被输送到3D传感器430的IR波长;和450B,其具有被输送到2D传感器420的可见光波长。在一个实施例中,此情况可通过使用热镜或冷镜来完成,所述热镜或冷镜将以对应于3D传感器430所需的IR滤波的截止频率来分离光。应注意,可以除使用部分反射镜410之外的方式来分割入射光。
在图4中所描绘的实施例中,可看到部分反射镜410以与入射光束450成一角度的方式放置。部分反射镜410相对于入射光束450的角度确定将分割所述光的方向。适当地放置3D传感器430和2D传感器420,以分别接收光束450A和450B。镜410相对于入射光450而放置的角度影响反射的光与透射的光的比率。在一个实施例中,镜410相对于入射光450成45度的角度。
在一个实施例中,3D传感器430上具有IR滤波器,使得3D传感器430仅接收IR光450A的适当分量。在一个实施例中,如上文所述,到达3D传感器430的光450B仅具有IR波长。另外,然而,在一个实施例中,3D传感器430仍需要具有带通滤波器,以去除除了IR源225自身的波长之外的红外线波长。换句话说,3D传感器220上的带通滤波器经配合以仅允许由IR源225产生的光谱穿过。类似地,2D传感器420中的像素上具有适当的R、G和B滤波器。2D传感器420的实例包括CMOS传感器,例如来自Micron Technology公司(Boise,ID)、STMicroelectronics(瑞士)的CMOS传感器;和CCD传感器,例如来自Sony公司(日本)和Sharp公司(日本)的CCD传感器。3D传感器430的实例包括由PMD Technologies(PMDTec)(德国)、Centre Suissed′Electronique et de Microtechnique(CSEM)(瑞士)和Canesta(Sunnyvale,CA)提供的3D传感器。
因为在此情况下2D和3D传感器是分立的,所以在此实施例中不需要处理存储2D信息和3D信息的像素的大小的不兼容性。
从2D传感器420和3D传感器430获得的数据需要被组合。数据的此组合可发生在图像捕捉装置100中或主机系统110中。如果来自两个传感器的数据需要分别传送到主机110,那么将需要适当的后端接口230。在一个实施例中,可使用允许使来自两个传感器的数据流动到主机系统110的后端接口230。在另一实施例中,使用两个后端(例如,USB缆线)来实现此目的。
图5是说明根据图4中所说明的实施例的设备如何运行的流程图。由IR光源225发射光(步骤510)。由图像捕捉装置100通过其透镜模块210来接收由捕捉到的图像反射的光(步骤520)。接着由镜410将接收到的光分成两个部分(步骤530)。将一部分引导到2D传感器420且将另一部分引导到3D传感器430(步骤540)。在一个实施例中,引导到2D传感器420的光为可见光,而引导到3D传感器430的光为IR光。使用2D传感器420来测量两个维度中的颜色信息,且使用3D传感器430来测量深度信息(即第三维中的信息)(550)。组合来自2D传感器420的信息与来自3D传感器430的信息(步骤560)。如上文所论述,在一个实施例中,在图像捕捉装置100中完成此组合。在另一实施例中,在主机系统110中完成此组合。
使用3D传感器来测量图像的各个点的深度提供了关于距图像中各个点(例如用户的脸部和背景)的距离的直接信息。在一个实施例中,将此信息用于多种应用。此类应用的实例包括背景替换、图像效果、增强的自动曝光/自动聚焦、特征检测和跟踪、鉴别、用户界面(UI)控制、基于模型的压缩、虚拟现实、凝视校正等。下文将更详细地论述这些应用中的一些应用。
根据本发明的设备可提供视频通信中所需的几种效果(例如背景替换、3D虚拟人物、基于模型的压缩、3D显示等)。在此类视频通信中,用户120通常使用连接到个人计算机(PC)110的网络摄像头100。通常,用户120以2米的最大距离坐在PC110后方。
实施例如背景替换的效果的一种有效方式呈现很多挑战。主要问题是在用户120与如桌子或椅背(遗憾的是,其通常为暗色的)的邻近物体之间进行判别。因为用户120的若干部分(例如,用户的头发)在颜色上非常类似于背景中的物体(例如,用户的椅背),所以又会产生进一步的复杂性。因此,图像的不同部分的深度方面的差异可能是解决这些问题的极好方式。举例来说,与用户120相比,椅背通常离相机较远。在一个实施例中,为了有效,精确度不大于2cm(例如,为了在用户与后面的椅子之间进行判别)。
如果仅仅基于深度检测而实施,那么例如3D虚拟人物和基于模型的压缩的其它应用需要更多的精确度。然而,在一个实施例中,所获得的深度信息可与所获得的其它信息组合。举例来说,此项技术中已知几种算法,其用于使用2D传感器420来检测和/或跟踪用户120的脸部。此类脸部检测等可在各种应用中与深度信息组合。
本发明的实施例的又一应用是在游戏领域中(例如,用于对象跟踪)。在此类环境下,用户120以多达5m的距离坐或站在PC或游戏控制台110后方。被跟踪的对象可为用户自身,或用户将操纵的对象(例如剑等)。同样,深度分辨率要求不那么严格(可能约5cm)。
本发明的实施例的又一应用是在用户互动中(例如鉴别或姿态识别)。深度信息使得实施脸部识别更容易。同样,与不能从两个不同角度识别同一个人的2D图像不同,3D系统将通过拍摄单张快照而能够识别所述人,即使在用户的头部侧向一边(如从相机中来看)时。
虽然已经说明并描述了本发明的特定实施例和应用,但将了解,本发明并非限于本文所揭示的精确构造和组件,且所属领域的技术人员将了解,可在不脱离如所附权利要求书中所界定的本发明的精神和范围的情况下,对本文所揭示的本发明方法和设备的排列、操作和细节作出各种修改、改变和变化。举例来说,如果3D传感器不与IR光一起工作,那么将不需要IR光源和/或IR滤波器。作为另一实例,捕捉到的2D信息可为黑白的而不是彩色的。作为又一实例,可使用两个传感器,其两者都捕捉两个维度中的信息。作为又一实例,在各种其它应用中,所获得的深度信息可单独地使用,或可结合所获得的2D信息而使用。
权利要求
1.一种图像捕捉装置,其包含一第一传感器,其捕捉两个维度中的信息;一第二传感器,其捕捉一第三维中的信息;和一分光器,其对入射光进行分割,以便将所述入射光的一第一部分引导到所述第一传感器,且将所述入射光的一第二部分引导到所述第二传感器。
2.根据权利要求1所述的图像捕捉装置,其进一步包含一透镜模块,其用于聚焦所述入射光。
3.根据权利要求1所述的图像捕捉装置,其中所述分光器为一相对于所述入射光成一角度放置的镜。
4.根据权利要求3所述的图像捕捉装置,其中所述镜为一热镜。
5.根据权利要求3所述的图像捕捉装置,其中所述镜为一冷镜。
6.根据权利要求1所述的图像捕捉装置,其进一步包含一红外线光源。
7.根据权利要求6所述的图像捕捉装置,其中所述第二传感器利用由所述红外线光源产生的红外线。
8.根据权利要求7所述的图像捕捉装置,其中所述入射光的所述第一部分由光的可见波长组成,且所述入射光的所述第二部分由光的红外线波长组成。
9.根据权利要求7所述的图像捕捉装置,其中所述第二传感器覆盖有一带通滤波器,所述带通滤波器允许对应于由所述红外线光源产生的所述红外线的红外线穿过。
10.一种捕捉一图像的方法,其包含接收从一图像反射的光;将所述接收到的光分成一第一部分和一第二部分;将所述第一部分引导到一用于捕捉所述图像的第一传感器;和将所述第二部分引导到一用于捕捉所述图像的第二传感器。
11.根据权利要求10所述的方法,其进一步包含组合由所述第一传感器捕捉到的信息与用所述第二传感器捕捉到的信息。
12.根据权利要求10所述的方法,其中所述接收光的步骤包含使用一透镜模块来聚焦从一图像反射的光。
13.一种用于捕捉图像的光学系统,其包含一透镜,其聚焦入射光;和一镜,其接收所述经聚焦的入射光,且将所述光分成复数个分量。
14.根据权利要求13所述的光学系统,其进一步包含一第一传感器,其接收所述光的所述复数个分量中的一第一分量;和一第二传感器,其接收所述光的所述复数个分量中的一第二分量。
15.一种制造一图像捕捉装置的方法,其包含插入一第一传感器以捕捉两个维度中的信息;插入一第二传感器以捕捉一第三维中的信息;和以一分割入射光的角度插入一镜,使得所述镜可将入射光的一第一部分引导到所述第一传感器,且将所述入射光的一第二部分引导到所述第二传感器。
16.根据权利要求15所述的制造方法,其进一步包含插入一光源,其以所述第二传感器使用的波长发射光。
17.根据权利要求15所述的制造方法,其进一步包含插入一透镜模块,其用于接收所述入射光并将其引导到所述镜。
18.根据权利要求15所述的制造方法,其中所述镜为一热镜。
19.根据权利要求15所述的制造方法,其中所述镜为一冷镜。
全文摘要
本发明是一种用于在一图像捕捉装置中使用一3D传感器的系统和方法。在一个实施例中,使用单个3D传感器,且深度信息散布在其它两个维度的信息内,以便不损害二维图像的分辨率。在另一实施例中,一3D传感器连同一2D传感器一起使用。在一个实施例中,使用一镜来将入射光分成两个部分,将其中的一个部分引导到所述3D传感器,且将另一部分引导到所述2D传感器。所述2D传感器用于测量两个维度中的信息,而所述3D传感器用于测量所述图像的各个部分的深度。接着,在所述图像捕捉装置中或在一主机系统中,组合来自所述2D传感器和所述3D传感器的信息。
文档编号G03B11/04GK101026776SQ20071008021
公开日2007年8月29日 申请日期2007年2月13日 优先权日2006年2月24日
发明者弗雷德里克·萨拉 申请人:罗技欧洲公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1