具有拥有可移动的感兴趣的照明区域的三维飞行时间捕捉和二维图像捕捉的集成相机系统的制作方法

发明的领域大体属于计算系统外围设备,并且更具体地,属于具有二维图像捕捉和三维飞行时间捕捉(其拥有可移动的感兴趣的照明区域)的集成相机系统。

背景技术：

许多现有的计算系统包括传统相机作为集成的外围设备。当前的趋势是通过将深度捕捉集成进其成像部件来增强计算系统成像能力。深度捕捉可被用于，例如，执行各种智能物体识别功能，诸如脸部识别(例如，用于安全系统解锁)或手势识别(例如，用于非接触用户界面功能)。

一个深度信息捕捉方法，称为“飞行时间(time-of-flight)”成像，从系统发出光到物体上，并且对于图像传感器的多个像素的每一个测量发出光和在传感器上接收其反射图像之间的时间。通过飞行时间像素产生的图像对应物体的三维分布，其特征为在不同的(x，y)像素位置的每一个处有唯一的深度度量(z)。

由于许多具有成像能力的计算系统本质上是可移动的(例如，手提电脑、平板电脑、智能手机等)，yinci将光源(“照明器”)集成进系统以实现“飞行时间”操作带来了许多设计挑战，诸如成本挑战、封装挑战和/或功率消耗挑战。

技术实现要素：

描述了具有集成的二维图像捕捉和三维飞行时间深度捕捉系统的装置。集成系统包括照明器以生成光用于飞行时间深度捕捉系统。照明器包括成阵列的光源和可移动透镜组件。可移动透镜组件用于可移动地引导已发射的光束至照明器的视场内的多个位置中的任一个，以形成照明器视场内的感兴趣的照明区域。感兴趣的照明区域具有比照明器的视场更小的尺寸。

附图说明

以下描述和附图被用于例示本发明的实施例。在附图中：

图1a示出了照明器及其视场；

图1b示出了第一感兴趣的照明区域；

图1c示出了第二感兴趣的照明区域；

图1d示出了感兴趣的照明区域的扫描；

图1e示出了不同尺寸的感兴趣的照明区域；

图2a示出了照明器的侧视图，所述照明器能够照亮感兴趣的区域并且扫描感兴趣的照明区域；

图2b示出了图2a的照明器的自下而上的视图；

图3a例示了通过调整透镜和光源阵列之间的距离来改变感兴趣的照明区域的尺寸；

图3b例示了发射光束的方向可以通过关于光源阵列调整透镜的侧向偏移来确定；

图3c例示了发射光束的方向可以通过倾斜透镜的角度来确定；

图4a示出了用于关于光源阵列垂直移动透镜的可移动透镜组件；

图4b示出了用于关于光源阵列垂直和侧向移动透镜的可移动透镜组件；

图4c示出了用于相对于光源阵列倾斜透镜的可移动透镜组件；

图5a示出了具有传统2D图像捕捉和3D飞行时间图像捕捉功能二者的集成相机的实施例；

图5b示出了通过图5a的系统执行的方法；

图6示出了计算系统的实施例。

具体实施方式

“智能照明”飞行时间系统解决了上述设计挑战中的一些。如在以下讨论中将更清楚的，“智能照明”飞行时间系统可以只将光发射到照明器视场内的“感兴趣区域”上。因此，发射的光学信号的强度足够强以在图像传感器处产生可检测的信号，而同时，照明器的功率消耗不会从计算机系统的功率源显著地提取。

一个智能照明方法是使用可移动物镜来将来自光源阵列的光收集并集中成更强的光束，所述更强的光束可以被引导至照明器的视场内的各个感兴趣区域。紧接着参考图1a至1d讨论了这个特定方法的一些特征的回顾。

参考图1a，照明器101拥有视场102，照明器能够在该视场上发光。在某些情况下和/或当支持某些应用操作时，照明器101可仅引导光至视场102内的较小区域。作为一例，参考图1b，仅视场102内的区域103被照亮。作为对比，如图1c中所观察到的，仅视场内的区域104被照亮。在各个实施例中，如以下进一步更详细讨论的，照明区域可被引导至视场102内的基本上任何位置。

“智能照明”处理的挑战是这样的需求：发射具有足够的强度以在图像传感器处产生可检测信号的光信号，而同时避免产生发射光的光源的过多的功率消耗。因此，一个方法是通过物镜收集并集中物理光源(一个或多个)(例如，LED(一个或多个)或激光(一个或多个))的发散光以产生较不发散的光(诸如平行的或更加聚焦的光)，来有效地减小所述物理光源(一个或多个)的自然发射角。将较不发散的光束刻意成形为更窄的束有效地将更大的光信号功率集中到照明器的视场内的更小的感兴趣区域103、104上。

另外，在需要更大的照明区域的情况下，智能照明技术可使用较小的照明区域“扫描”更大的区域。例如，如在图1d中观察到的，如果一应用需要照亮视场102内的更大区域105，照明器可以通过跨区域105扫描较小尺寸的照明区域来有效地照亮区域105。如图1d中所描绘的，在时间t1照明区域中心在位置106处，在时间t2照明区域中心在位置107处，在时间t3照明区域中心在位置108处，并且在时间t4照明区域在位置109处。这里，只要从传感器得到的信息被理解为跨越大约从时间t1到时间t4的时间段，更大尺寸的区域105的照明可以被理解，即使使用较小尺寸的照明区域。

仍进一步，如图1e中所观察到的，在各个实施例中，照明区域110、111的尺寸本身可以被改变。大体上，更大的照明区域尺寸可以被容忍，其程度与可以容忍的在传感器处的更弱的接收的信号强度(例如，感兴趣物体越靠近照明器，冲突的环境光较少，等)的程度相当，并且/或者与可以容忍的从功率源提取的更高系统功率消耗的程度相当。当然，照明区域越大，照明器为了有效照明更大的感兴趣区域所需要执行的扫描活动越少。可以理解，一些情况可以允许单独的照明区域足够大，可以充满整个视场102。

因此，总而言之，图1a的照明器101将光功率从其光源(一个或多个)集中在较小的照明区域上，以提高在接收器处接收的信号的强度。因为照明器101照亮较小的区域，因此照明器被设计为有能力将所述较小的照明区域移动至视场102内的各个位置。在一些情况下照明器101可以跨更大的表面面积扫描较小的照明区域，以有效地照亮更大的表面面积。另外，照明器101可被设计为调整照明区域的尺寸。

要照亮视场的哪个区域，要具有什么尺寸的照明区域，以及要不要执行任何扫描，是根据计算系统的特定条件/情况和/或其执行的特定应用的。一些情况/条件/应用的例子包括，举例来说，人脸的智能识别(例如，用于计算系统的安全访问)或人手的形成的智能识别(例如，用于支持手势识别的计算系统的用户界面)。这里，人的脸或者手(“感兴趣的物体”)倾向于仅消耗视场102的部分。

图2a和2b示出了具有物镜202的照明器201的实施例的不同的透视图，所述物镜202的机械夹具包括设置用于以各个自由度(取决于实施)移动物镜202的一个或多个机电马达203。光源阵列204位于物镜202下方。在操作中，当光源阵列204的光源“打开”时，根据透镜202相对于光源阵列204的定位，光源阵列204发射的光被透镜202收集、成形和引导。

光源阵列204可以被实施为，例如，成阵列的发光二极管(LED)或激光器，诸如垂直腔面发射激光器(VCSEL)。在一实施例中，阵列的所述各个光源被集成在一相同的半导体芯片衬底上。在典型的实施中，阵列的光源发射不可见(例如，红外(IR))光，使得反射的飞行时间信号不干扰计算系统的传统可见光图像捕捉功能。另外，在各个实施例中，阵列内的光源中的每一个可被连接至相同的正极和相同的负极，使得阵列内的所有光源全部打开或者全部关闭(可以想到，替代实施例可以被设计为允许阵列内的光源的子集被一起打开/关闭)。

光源阵列倾向于发射出比单独光源更均匀的光。这里，每个光源(诸如单独的LED或VCSEL)本身倾向于发射非均匀的光。即，被单独的LED或VCSEL照亮的区域的表面面积将倾向于具有较亮的点和较暗的点。通过将多个光源集成进阵列，从不同设备发射的光线趋于重叠，导致来自一些光源的暗点被其他光源的亮点照射。由此，来自阵列的总体发射光趋于具有更均匀的强度分布。

为了进一步促进均匀光的发射，照明器可以可选地包括散射器(diffuser)205。当光传播通过散射器205时光被散射，导致离开散射器205的光比进入散射器205的光更均匀。尽管散射器205在图2中描绘为在照明器201的出射口和物镜202之间，但散射器205可以位于沿着照明器201的光路的任何地方。

另外，如以上关于图1a至1e讨论的，应注意个体的光源通常具有宽的发射光发散角206。个体光源的宽发散角206导致来自作为整体的光源阵列204的宽发散角。如图2a中所观察到的，物镜202收集来自光源阵列204的发散光，并且形成一束发射光207，该束发射光207平行或者汇聚或者至少具有较小的发散角。

收集来自光源阵列204的发散光并且形成一束更集中的光增大了发射光束的单位面积的光学强度，其转而导致在传感器处的更强的接收信号。根据一个计算，如果来自光源阵列的发散角206是60°，则将发射光束的发散角减小到30°将以4.6的系数增大传感器处的信号强度。将发射光束的发散角减小到20°将以10.7的系数增大传感器处的信号强度。

通过来自光源阵列204的发射光的光学集中(与简单地从光源阵列204发射更高强度的光相对照)来提高传感器处的接收信号强度，保存了电池寿命，因为光源阵列204将能够充分照亮感兴趣的物体而不消耗大量功率。

图3a至3c提供了如何通过对物镜202的定位的操作来影响照明区域的尺寸和位置的一些基本例子/实施例。

如图3a中所观察到的，照明区域310的尺寸可以通过改变物镜和光源阵列之间的竖直距离312来调整。如以上所讨论的，物镜从发散光源形成更准直的光束。随着透镜移动远离阵列(图3a(i))，更宽半径的分散光被透镜从光源阵列收集，导致具有更宽宽度310的发射光束形状。反过来，随着透镜移动靠近阵列(图3a(ii))，更小半径的分散光被透镜从光源阵列收集，导致具有更窄宽度的发射光束形状。下面进一步提供具有机电动力部(用于如以上参考图3a讨论的竖直透镜移动)的机械设计。在一实施例中，当要照亮整个视场时透镜被置于最靠近光源阵列。

如图3b中所观察到的，视场内的照明区域的位置可以通过改变物镜相对于光源阵列的水平位置来调整。在图3b的特定方法中，光源阵列的位置被固定，并且物镜沿着平面320可控制地移动，所述平面320与光源阵列的表面平行并居于光源阵列的表面之上。大体上，物镜和光源阵列之间的不对准越大(沿平面320测量)，来自照明器的发射光束的指向角越大。另外，不对准的方向确定发射光束的指向方向。例如，如图3b(i)中所观察到的，沿第一方向的不对准产生沿第一光束方向指向的光束。相比之下，沿第二相反的方向的不对准，如图3b(ii)所观察到的，产生沿与第一光束方向的指向方向相反的第二光束方向的光束。再一次，下面进一步提供具有机电动力部(用于如以上参考图3b讨论的水平透镜移动)的机械设计。

替代图3b的方法或与图3b的方法结合，如图3c中所观察到的，视场内的照明区域的位置也可以通过改变物镜的倾斜角度来调整。即，倾斜物镜将导致光束指向一方向，所述方向从透镜的外表面沿着法向330向外延伸。下面还进一步提供具有机电动力部(用于引起如以上刚刚参考图3c讨论的透镜移动)的机械设计。

图4a示出了用于调整物镜402距光源阵列404的竖直距离的更详细的可移动透镜组件。如图4a中所观察到的，由具有弹簧回位件411的竖直可移动内构件410和中空外构件412组成的音圈电机可被利用，其中物镜402被封装在竖直可移动的构件410中。被固定至内构件410的物镜402与内构件410一起竖直移动，其沿着z轴线的竖直位置由内构件410抵靠回位弹簧411施加的马达力限定。马达力由施加至马达的线圈的电压限定。在典型实施中，线圈与内构件410成整体，并且外构件412包括永磁体。响应于被驱动通过线圈的电流的磁场与永磁体的磁场相互作用，其确定施加至内构件的力。

这里，具有弹簧回位件的音圈马达通常具有直接的电流-位置关系，并且因此不需要位置传感器用于反馈控制。为了易于绘图，壳体围绕音圈电机，当内构件410沿z轴线延伸更高时，回位弹簧411抵靠所述壳体压缩。在替代实施例中，回位弹簧可以在马达下面，并且抵靠衬底(光源阵列芯片安装至所述衬底)压缩。在这种情况下，内构件的直径应大于光源阵列半导体芯片的宽度。

图4a示出了用于调整物镜402相对光源阵列404的侧向位置的更详细的可移动透镜组件。如图4b中所观察到的，一对促动器音圈马达421、422(每一个都具有弹簧回位件423、424)被用于分别限定物镜402沿x和y方向的每一个的位置。即，一个音圈马达421和回位弹簧423建立物镜402的x位置，并且另一个音圈马达422和回位弹簧424建立物镜402的y位置。马达和弹簧的力被物理地抵靠竖直构件的外构件412施加。尽管为了易于绘图，如图4b所描绘的，外构件412具有圆柱形的外形，在现实中其可以是方形的/矩形的，使得促动器421、422可以在物镜402的偏离轴线位置抵靠外构件施加齐平力(flush force)。

图4c示出了用于调整透镜的倾斜角的可移动透镜组件。这里，具有弹簧回位件433、434的一对音圈马达431、432的每一个被用作促动器，以限定沿着透镜402的外边缘的两个点的每一个的竖直位置。透镜402绕y轴线的倾斜角实质上由第一马达431抵靠其回位弹簧433施加的力限定。透镜402绕x轴线的倾斜角实质上由第一马达432抵靠其回位弹簧434施加的力限定。从这些基本情景，用于透镜的任何倾斜角可以根据马达施加的各力和弹簧施加的反作用力而建立。

另外，透镜402的竖直定位可以通过相等地促动所述两个马达431、432而建立。即，如果马达431、432二者都向外延伸相等的量，则透镜将沿着+z方向抬升。相应地，如果马达431、432二者都向内凹进相等的量，则透镜将沿着-z方向下降。一个或者更多的附加音圈马达促动器可以沿着透镜保持器的外周定位，以进一步稳定透镜的倾斜角和竖直定位二者(例如，120°分隔开的三个促动器、90°分隔开的四个促动器等)。

尽管上述讨论强调了音圈马达的使用，但其他实施例可以使用诸如压电促动器或步进马达的其他设备。

图5a示出了集成的传统相机和飞行时间成像系统500。系统具有连接器501用于与例如更大的系统/模板(诸如手提电脑、平板电脑或智能手机的系统/母板)形成电接触。取决于布置和实施，连接器501可以联接至排线(flexcable)，所述排线例如形成到系统/母板的实际连接，或者连接器501可以直接接触系统/母板。

连接器501附接至平面板502，所述平面板502可被实施为导电和绝缘层交替的多层结构，其中导电层被设计样式(patterned)以形成支撑系统500的内部电连接的电子迹线。

集成的“RGBZ”图像传感器503安装至平面板502。集成的RGBZ传感器包括不同种类的像素，其中的一些对可见光敏感(例如，对红色可见蓝色光敏感的R像素的子集、对可见绿色光敏感的G像素的子集以及对蓝色光敏感的B像素的子集)，并且其他像素对IR光敏感。RGB像素被用于支持传统“2D”可见图像捕捉(传统的拍照)功能。IR敏感像素被用于使用飞行时间技术支持2D IR图像捕捉和3D深度轮廓成像。尽管基本的实施例包括用于可见图像捕捉的RGB像素，但其他实施例可使用不同的彩色像素方案(例如，青色、品红和黄色)。

对于IR敏感像素，集成的图像传感器503可还包括特殊的信号线或其他电路以支撑飞行时间检测，所述特殊的信号线或其他电路包括，例如，时钟信号线和/或指示IR光的接收的正时(考虑到从光源阵列505发射IR光的正时)的其他信号线。

集成的图像传感器503可还包括多个模拟-数字转换器(ADC)，以将从传感器的RGB像素接收的模拟信号转换为数字信号，所述数字信号代表相机透镜模块504前的可见像。平面板503可类似地包括信号迹线以将多个ADC提供的数字信息承载至连接器501，用于被计算系统的更高端部部件处理，所述更高端部部件诸如图像信号处理管线(例如，其集成在应用处理器上)。

相机透镜模块504集成在集成的RGBZ图像传感器503上面。相机透镜模块504包括成系统的一个或多个透镜以将穿过孔接收的光聚焦到图像传感器503上。因为相机透镜模块对可见光的接收可干扰图像传感器的飞行时间像素对IR光的接收，并且反过来，因为相机透镜模块对IR光的接收可干扰图像传感器的RGB像素对可见光的接收，所以图像传感器503和透镜模块504中的一个或二者可包括成系统的过滤器(例如过滤器510)，所述过滤器被布置为实质上阻止要被RGB像素接收的IR光，并且实质上阻挡要被飞行时间像素接收的可见光。

由在可移动物镜506下方的光源阵列505组成的照明器507也被安装在平面板501上。光源阵列505可以被实施在安装至平面板501的半导体芯片上。可移动透镜组件506和光源阵列505的实施例已经在上文参考图1至4讨论过。

尤其是，用于光源阵列的一个或多个支持集成电路(未在图5a中示出)可以被安装在平面板502上。所述一个或多个集成电路可包括LED或者用于驱动各电流通过光源阵列的光源的激光驱动电路以及用于驱动与可移动透镜组件的音圈马达相关的线圈的每一个的线圈驱动电路。LED或激光驱动电路和线圈驱动电路二者可包括各数字-模拟电路以将通过连接器501接收的数字信息转换为用于光源或音圈的特定电流驱动强度。激光驱动可附加地包括时钟电路以生成时钟信号或具有成序列的1s和0s的其他信号，其当被驱动通过光源时将导致光源重复地打开和关闭，使得深度测量可以重复地做出。

在一实施例中，图5a的集成系统500支持三种操作模式：1)2D模式；2)3D模式；以及，3)2D/3D模式。在2D模式的情况下，系统表现为传统相机。如此，照明器507被禁用并且图像传感器被用于通过其RGB像素接收可见图像。在3D模式的情况下，系统捕捉在相机透镜模块504和照明器507的视场中的物体的飞行时间深度信息。如此，照明器被激活并且发射IR光(例如，成打开-关闭-打开-开闭的的序列)到物体上。IR光被从物体反射，通过相机透镜模块504接收，并且通过图像传感器的飞行时间像素感测。在2D/3D模式的情况下，以上描述的2D和3D模式二者是同时有效的。

图5b示出了可被图5a的系统执行的方法500；如图5b中所观察到的，系统驱动电流通过光源阵列以导致光被从光源阵列551发射。系统通过透镜收集并集中所述光以形成发射光束552。系统移动透镜以将光束引导至感兴趣区域，以形成视场内的感兴趣的照明区域，其中感兴趣的照明区域的尺寸小于视场553。系统检测至少一部分光(在其已从视场内的感兴趣物体反射之后)并且将各光的到达时间与光的发射时间比较以生成感兴趣物体的深度信息。

图6示出了示例性计算系统600的描绘图，所述示例性计算系统600诸如个人计算系统(例如，台式的或手提的)或诸如平板设备或智能手机的移动或手持计算系统。如图6中所观察到的，基本的计算系统可包括中央处理单元601(其可包括，例如，多个通用处理核心615 1至615N，以及布置在应用处理器上的主存储控制器617)，系统存储器602、显示器603(例如，触屏、平板)、本地有线点对点链路(例如，USB)接口604、各种网络I/O功能605(诸如以太网接口和/或蜂窝调制解调器子系统)、无线局域网(例如，Wifi)接口606、无线点对点链路(例如，蓝牙)接口607以及全球定位系统接口608、各种传感器609 1至609N、一个或多个相机610、电池611、功率管理控制单元612、扬声器和麦克风613以及音频编码器/解码器614。

应用处理器或多核处理器650可包括在其CPU 601内的一个或多个通用处理核心615、一个或多个图形处理单元616、存储管理功能617(例如，存储控制器)，I/O控制功能618和一个或多个图像信号处理器管线619。通用处理核心615通常执行计算系统的操作系统和应用软件。图形处理单元616通常执行图形密集功能，以便例如，生成显示在显示器603上的图形信息。存储控制功能617与系统存储器602相互作用，以将数据写到系统存储器602/从系统存储器602读取数据。图像信号处理管线619接收来自相机610的图像信息并且处理原始图像信息用于下游使用。功率管理控制单元612大体控制系统600的功率消耗。

触屏显示器603、通信接口604-607、GPS接口608、传感器609、相机610、以及扬声器/麦克风编码解码器613、614都可以被视为相对于整个计算系统的各种形式的I/O(输入和/或输出)，所述整个系统在适当情况下还包括集成外围设备(例如，所述一个或多个相机610)。取决于实施，这些I/O部件中的各种部件可以被集成在应用处理器/多核处理器650上，或者可以位于远离应用处理器/多核处理器650的管芯或者位于应用处理器/多核处理器650的封装之外。

在一实施例中一个或多个相机610包括集成的传统可见图像捕捉和飞行时间深度测量系统，诸如以上参考图5描述的系统500。在应用处理器或其他处理器的通用CPU核心(或具有指令执行管线以执行程序代码的其他功能块)上执行的应用软件、操作系统软件、设备驱动软件和/或固件可将命令引导至相机系统以及从相机系统接收图像数据。

在命令的情况下，命令可包括进入或者退出以上参考图5描述的2D、3D或2D/3D系统状态中的任一个。另外，命令可被引导至照明器的可移动透镜子组件以指定可移动透镜的特定指向方向、透镜距光源阵列的距离(以指定照明区域尺寸)以及可移动透镜的一系列指向方向以实现前述透镜的前述扫描。

本发明的实施例可包括上述各种处理。所述处理可以通过机器可执行指令实施。指令可以被用于使得通用或专用处理器执行某些处理。替代地，这些处理可以通过包括用于执行所述处理的硬连线逻辑的特定硬件部件来执行，或者通过编程计算机部件和定制硬件部件的任何组合来执行。

本发明的元件可还被提供为用于存储机器可执行指令的机器可读媒介。机器可读媒介可包括但不限于，软盘、光盘、CD-ROM以及磁光盘、闪存、ROM、RAM、EPROM、EEPROM、磁卡或光卡、传播媒体或适于存储电子指令的其它类型的媒体/机器可读媒介。例如，本发明可以被下载为计算机程序，其可以通过实施在载波或其他传播媒介中的数据信号经由通信链路(例如，调制解调器或网络连接)从远程计算机(例如，服务器)被传递至请求计算机(即，客户端)。

在前述说明中，本发明已被参考其特定示例性实施例描述。然而，显然可以对其做出各种修改和改变而不偏离如所附权利要求所述的本发明的更宽的精神和范围。说明和附图因此应被看作示例性的为不是限制性的。