深度摄像头系统的制作方法

文档序号:25542517发布日期:2021-06-18 20:39阅读:203来源:国知局
深度摄像头系统的制作方法

相关申请的交叉引用

本申请要求2018年11月2日提交的美国申请号62/754,888的优先权。

本申请涉及能够捕获场景的深度信息的深度摄像头的领域。深度摄像头例如被结合到电子设备中。该电子设备例如是移动电话(包括所谓的“智能手机”)、平板电脑、笔记本电脑和游戏模块。



背景技术:

深度摄像头能够获取深度图像。该深度图像包含深度摄像头的视场中的场景的深度信息。已知几种用于获取深度图像的技术,例如飞行时间(tof)方法、静态和动态结构光方法以及立体摄像头视觉方法。所有已知的深度摄像头系统具有至少两个面朝外的光学部件。例如,基于tof的深度摄像头具有红外(ir)发射器和ir摄像头(即,对ir光谱范围内的波长敏感的光敏检测器)。附图1示出了这种类型的现有技术深度摄像头系统。而作为另一示例,基于动态结构光的深度摄像头由投影机和光敏检测器组成。这两个光学部件通常被安装在电子设备的前面板(即,电子设备面对要捕获的场景的面板)上,且因此占据了前面板上的空间。对于设备的前面板主要是显示屏的智能手机而言,这尤其成问题。因为如今智能手机公司正努力提高屏占比。深度摄像头系统的面朝外的光学部件占据了前面板上原本可用于显示屏的空间。

已知将深度摄像头与能获取视场中场景的可见光谱颜色图像的摄像头结合。这种增强的深度摄像头系统可被称为“rgb-d”(红绿蓝–深度)摄像头。rgb-d摄像头系统具有rgb光检测器和深度摄像头系统。rgb检测器获取视场中的对象的颜色信息,而深度摄像头系统获取视场中的对象的深度信息。如上文所述,基本的深度摄像头系统具有两个面朝外的光学部件。因此,为了为电子设备提供rgb-d摄像头系统,需要在设备的前面板上安装不少于三个面朝外的光学部件。附图2示出了这种类型的现有技术rgb-d摄像头系统。在前面板上添加rgb检测器加重了面板上空间不足的问题。

上述已知的深度摄像头系统和rgb-d摄像头系统还有其他缺点。由于照射的ir光束的遮挡以及在ir发射器与ir摄像头之间的视角差异,深度图像可包括许多阴影。由于在前面板上必须至少安装两个透镜或窗口,因此制造过程包括更多的操作。由于在面板材料和摄像头系统部件之间需要更多的对液体密封的接缝,制造防水设备将更加困难。在具有覆盖显示屏的一部分以容纳摄像头部件的刘海(notch)的电子设备(例如,智能手机,参见图3)中,对附加摄像头部件的需求增加了刘海的尺寸,减小了屏占比,且使智能手机的外观更丑。在已知的rgb-d摄像头系统中,由于深度图像和rgb图像是从不同的视角获取的,因此需要额外的处理步骤以将深度图像与rgb图像正确地对准。



技术实现要素:

本申请提供包括rgb-d摄像头系统的深度摄像头系统。与现有技术的已知深度摄像头系统相比,面朝外的部件的数量减少了。深度摄像头系统可被结合到不同类型的电子设备,例如智能手机、平板电脑、笔记本电脑和游戏模块中。并且深度摄像头系统可以为面部识别应用、虚拟和增强现实应用以及由电子设备执行的其他应用提供成像能力。本申请包括单目深度摄像头系统、单目rgb-d摄像头系统以及双目rgb-d摄像头系统。如本文中所用地,术语“单目”和“双目”是指深度摄像头系统在设备壳体的面板上的面朝外的光学部件的数量。单目深度摄像头系统在面板上具有正好一个面朝外的光学部件,而双目系统在面板上具有正好两个面朝外的光学部件。

本文中所述的单目深度摄像头系统在电子设备的壳体面板上具有正好一个窗口。光可通过该窗口从设备壳体透射出去以及透射到该设备壳体内。例如,窗口可包括用于在光行进进出壳体时使光折射的透镜。该单目深度摄像头系统还包括在壳体内的光发射器以及在壳体内的光敏第一检测器。光发射器在第一光谱带中发射光。该第一光谱带例如是对象不可见的红外(ir)区域中的一个光谱带。光敏第一检测器配置为检测在第一光谱带中的光,并且响应于检测到的在第一光谱带中的光,生成第一检测信号。单目深度摄像头系统还包括照射光路和检测光路。由光发射器发射的光沿着照射光路从光发射器行进到窗口以离开壳体,用于被在壳体外的视场中的对象反射。通过窗口进入壳体的在第一光谱带中的反射光沿着检测光路从窗口行进到第一检测器。在所描述的单目深度摄像头系统中,照射光路中的通往窗口的一部分与检测光路中的从窗口引出的一部分重合。半透明镜可在壳体内位于照射光路和检测光路中,以将这两条光路分离。

本文中所述的单目rgb-d摄像头系统类似于在上文中总结的基本单目深度摄像头系统。但是单目rgb-d摄像头系统还包括在壳体内的光敏第二检测器和补充检测光路。通过窗口进入壳体的在第二光谱带中的光沿着补充检测光路从窗口行进到第二检测器。第二检测器配置为检测在第二光谱带中的光(例如可见光),并且响应于检测到的在第二光谱带中的光生成第二检测信号。二向色镜可在壳体内位于检测光路和补充检测光路中。二向色镜将补充检测光路与检测光路分离。

在本文中描述的双目rgb-d摄像头系统在电子设备的壳体面板上具有正好两个面朝外的光学部件。一个光学部件可以是在壳体面板上的光发射器或者是出射窗。来自内部光发射器的光可通过出射窗从壳体透射出去,以利用在第一光谱带中的光照射在视场中的对象。另一个光学部件是入射窗。光可通过该入射窗透射到壳体内。与上文中总结的单目rgb-d摄像头系统一样,在第一光谱带中的入射光沿着从入射窗到第一检测器的检测光路,而在第二光谱带中的光沿着从入射窗到第二检测器的补充检测光路。二向色镜可在壳体内位于检测光路和补充检测光路中,以将补充检测光路与检测光路分离。

还公开了对应于上文中总结的单目深度摄像头系统、单目rgb-d摄像头系统以及双目rgb-d摄像头系统的全景深度摄像头系统。单目全景系统在设备壳体的前面板和后面板中的每一个上都具有正好一个面朝外的光学部件。双目全景系统在设备壳体的前面板和后面板中的每一个上都具有正好两个面朝外的光学部件。

在本文中描述的深度摄像头系统可包括在壳体内的控制器。控制器连接到光发射器和检测器。控制器可提供信号处理电路。信号处理电路配置为基于第一检测信号计算在视场中的对象的深度图像,或者基于第一检测信号和第二检测信号计算在视场中的对象的rgb-d图像。可使用飞行时间或结构光方法计算图像的深度信息。如果使用结构光方法,则结构光部件可与光发射器关联以使发射光结构化。

附图说明

现在将在下文的具体实施方式部分结合附图更全面地描述本申请的性质和操作模式。在附图中:

图1是具有现有技术中的已知深度摄像头系统的设备的示意图;

图2是具有现有技术的已知rgb-d摄像头系统的设备的示意图;

图3是示出智能手机的前面板和显示屏的已知布置的平面图,前面板包括刘海;

图4是具有根据本申请的第一实施例形成的单目深度摄像头系统的设备的示意图;

图4a是图4中所示的单目深度摄像头系统的放大示意图;

图5是具有根据本申请的第二实施例形成的单目深度摄像头系统的设备的示意图;

图6是具有根据本申请的第三实施例形成的单目深度摄像头系统的设备的示意图;

图7是根据本申请的第四实施例形成的单目全景深度摄像头系统的示意图;

图8是根据本申请的第五实施例形成的单目rgb-d摄像头系统的示意图;

图9是根据本申请的第六实施例形成的单目rgb-d摄像头系统的示意图;

图10是根据本申请的第七实施例形成的单目rgb-d摄像头系统的示意图;

图11是根据本申请的第八实施例形成的单目全景rgb-d摄像头系统的示意图;

图12是根据本申请的第九实施例形成的双目rgb-d摄像头系统的示意图;

图13是根据本申请的第十实施例形成的双目rgb-d摄像头系统的示意图;以及

图14是根据本申请的第十一实施例形成的双目全景rgb-d摄像头系统的示意图。

具体实施方式

本说明书描述了各种深度摄像头系统。这些深度摄像头系统可被结合到不同类型的电子设备,例如智能手机、平板电脑、笔记本电脑和游戏模块中。例如,深度摄像头系统可以为面部识别应用、虚拟和增强现实应用以及由电子设备执行的其他应用提供成像能力。在本说明书中描述的各种深度摄像头系统可以被分为三大类:单目深度摄像头系统、单目rgb-d摄像头系统和双目rgb-d摄像头系统。在图4至图7中所示的第一实施例至第四实施例涉及单目深度摄像头系统。在图8至图11中所示的第五实施例至第八实施例涉及单目rgb-d摄像头系统。在图12至图14中所示的第九实施例至第十一实施例涉及双目rgb-d摄像头系统。本申请的目的是减少在设备的壳体面板上的面朝外的光学部件的数量。

图4示出了根据本申请的第一实施例形成的电子设备10。设备10包括壳体12。壳体12包括前面板14。前面板14面对要通过电子成像捕获的场景。设备10还包括大体由附图标记20指示的单目深度摄像头系统。深度摄像头系统20包括安装在前面板14上的窗口22。光可通过该窗口22从壳体12传输出去以及传输进入壳体12。例如,窗口22可以是或可包括透镜。光通过该透镜并且被折射。窗口22可实施为例如鱼眼透镜的复合透镜或其他具有相对宽的视场的透镜,或者可实施为其他类型的透镜。深度摄像头系统20还包括在壳体12内的光发射器24。光发射器24用于发射在第一光谱带中的光。例如,发射器24可以是ir发射器,其可直接或借助于频谱带通滤波器(未示出)发射在电磁波谱的红外区域的光谱带中的光。深度摄像头系统20还包括位于壳体12内的光敏检测器26。光敏检测器26用于检测在第一光谱带中的光且响应于检测到的在第一光谱带中的光而生成第一检测信号。例如,检测器26可以是具有二维像素阵列的cmos或ccd摄像头。每一个像素都对在第一光谱带中的光敏感。在图4的实施例中,检测器26可以是对由ir发射器24发射的光敏感的ir摄像头。

光发射器24和检测器26被连接到位于壳体12内的控制器32。控制器32提供信号处理电路。信号处理电路控制深度图像的获取和存储。控制器32可包括一个或多个处理器和电路以及一个或多个存储模块。控制器32可被编程,例如通过所存储的软件指令编程,用于响应于用户输入信号或来自设备操作系统的信号来激活光发射器24,以及用于对由检测器26生成的检测信号进行采样和存储。可通过控制器32以预定的时间顺序控制光发射器24的激活和来自检测器26的检测信号的采样,使得一旦所发射的光子离开窗口22,检测器26就被激活以接收入射的反射光子。控制器32可被编程以执行图像处理操作,用于基于所获取的检测信号来计算深度图像。例如,在图4的实施例中,控制器32可配置为通过飞行时间(tof)方法来计算在深度摄像头系统20的视场中的至少一个对象的深度图像。

进一步参考图4a。由光发射器24发射的光沿着如在图4和图4a中的实线表示的照射光路25从光发射器24到窗口22行进。然后,光通过窗口22离开壳体12,以照射壳体外的视场中的至少一个对象。在图4的示意图中,仅示出了照射光束中的一条照射光线。但是本领域技术人员将理解,发散的光锥离开壳体12以照射在壳体外的视场中的一个或多个对象。如图4所示,在第一光谱带中的照射光被对象反射回窗口22。用虚线表示的返回光穿过窗口22以进入壳体12。在第一光谱带(例如,ir光)中的返回光沿着检测光路27从窗口22行进到检测器26。

在所示实施例中,窗口22是深度摄像头系统20的唯一面朝外的光学部件,且光通过窗口22从设备壳体12中行进出去并通过窗口22返回设备壳体12内。如在图4a中最佳可见地,照射光路25中的通往窗口22的一部分与检测光路27中的从窗口22引出的一部分重合。深度摄像头系统20可包括半透明镜28和镜30。它们都位于壳体12内。如图4和图4a所示,半透明镜28可位于照射光路25和检测光路27中。在所示布置中,当光从光发射器24朝窗口22行进时,半透明镜28沿着照射光路25透射光。而当光从窗口22朝检测器26行进时,半透明镜28沿着检测光路27反射光。镜30可被定位在检测光路27中,以在光已经被半透明镜28反射之后将光朝检测器26反射。当然,可省略镜30,且可将检测器26布置成面对半透明镜28并直接从该半透明镜28接收光。

从图4和图4a可理解,设备10在前面板14上仅具有一个面朝外的光学部件,即窗口22。因此,照射光线和检测光线具有共同的方向,从而减少了由照射光束的遮挡而导致的拍摄图像中的阴影区域。

图5示出了根据本申请的第二实施例形成的电子设备10。深度摄像头系统20除了包括布置在照射光路25中用于使发射光束结构化的结构光部件34之外,与第一实施例的深度摄像头系统在很大程度上相似。结构光部件34可例如是衍射光学元件(doe)。在图5的实施例中,控制器32可配置为通过结构光方法来计算在深度摄像头系统20的视场中的至少一个对象的深度图像。

在图6中所示的第三实施例中,光发射器24和检测器26的位置互换。在该实施例中,当光从光发射器24朝窗口22行进时,半透明镜28沿着照射光路25反射光。而当光从窗口22行进到检测器26时,半透明镜28沿着检测光路27透射光。

图7是根据本申请的第四实施例形成的单目全景深度摄像头系统120的示意图。如图7所示,全景深度摄像头系统120可结合到具有壳体12的设备10中。该壳体12包括前面板14和与前面板14相对的后面板16。全景深度摄像头系统120包括与前面板14相关联的前深度摄像头系统20f和与后面板16相关联的后深度摄像头系统20r。前深度摄像头系统20f和后深度摄像头系统20r共享位于壳体12内的单个光发射器24和单个检测器26。前深度摄像头系统20f包括安装在前面板14上的前窗口22f。通过该前窗口22f,光可从壳体12传输出去以及传输进入壳体12。后深度摄像头系统20r包括安装在后面板16上的后窗口22r,后窗口22r与前窗口22f相对。通过该后窗口22r,光可从壳体12传输出去以及传输进入壳体12。因此,正好有一个分别与每一个面板14、16关联的面朝外的光学部件。如图7所示,前窗口22f和后窗口22r可分别实施为例如鱼眼透镜的复合透镜或其他具有相对宽的视场的透镜,用于获得广角全景图像。

由光发射器24发射的光沿着如图7中的实线所表示的照射光路25行进到一对半透明镜28f、28r。这一对半透明镜28f、28r围绕光发射器24的中心轴24a相对于彼此以镜像关系布置。来自光发射器24的光束被半透明镜28f、28r分成两个光束部分。第一光束部分被半透明镜28r沿向前方向反射,且沿着前照射光路25f通过半透明镜28f透射,以通过前窗口22f从壳体12出来。第二光束部分被半透明镜28f沿向后方向反射,且沿着后照射光路25r通过半透明镜28r透射,以通过后窗口22r从壳体12出来。通过前窗口22f离开壳体12的光照射面对前面板14的视场中的对象,而通过后窗口22r离开壳体12的光照射面对后面板16的另一视场中的对象。在离开每一个窗口22f、22r的锥形发散的照射光束达到接近180°的程度时,可捕获围绕设备10接近360°的全景视场的深度信息。

由光发射器24发射的第一光谱带中的照射光分别被面对前面板14和后面板16的对象反射回窗口22f、22r。用虚线表示的返回光穿过窗口22f、22r进入壳体12。在第一光谱带中的返回光(例如,ir光)沿着检测光路27从窗口22f、22r行进到检测器26。沿着前检测光路27f通过前窗口22f进入壳体12的光被半透明镜28f朝检测器26反射。类似地,沿着后检测光路27r通过后窗口22r进入壳体12的光被半透明镜28r朝检测器26反射。从图7可理解,半透明镜28r位于前照射光路25f和后检测光路27r中,而半透明镜28f位于后照射光路25r和前检测光路27f中。光束调节光学器件39可位于照射光路25和/或检测光路27中。

尽管未在图7中示出,但是如上文中关于之前的实施例描述地,光发射器24和检测器26被连接到壳体12内的控制器32。在本实施例中,控制器可提供信号处理电路。该信号处理电路配置为基于由检测器26生成的检测信号来计算前窗口22f的视场和后窗口22r的另一视场中的对象的全景深度图像。例如,控制器32可被编程为使用飞行时间方法来计算前深度图像和后深度图像,且通过已知的图像处理方法从前深度图像和后深度图像组装单个全景深度图像。

现在将注意力转向图8至图11以描述各种单目rgb-d摄像头系统。

图8示出了根据本申请的第五实施例形成的电子设备10。设备10类似于先前描述的实施例。但是深度摄像头系统20还包括在壳体12内的光敏第二检测器36,用于检测在第二光谱带(例如,可见光)中的光,且响应于检测到的在第二光谱带中的光而生成第二检测信号。第二光谱带不同于由检测器26所检测到的第一光谱带(例如,ir光)。例如,第二检测器36可以是具有二维像素阵列的cmos或ccd彩色摄像头。每一个像素都对第二光谱带中的光敏感。三芯片彩色ccd适合用作第二检测器36。结合马赛克(例如,拜耳马赛克)滤光器用于将入射光分离成一系列颜色(例如,红色、绿色和蓝色)的单芯片ccd也适合用作第二检测器36。

图8中的深度摄像头系统20包括补充检测光路37。通过窗口22进入壳体12内的第二光谱带中的光沿着该补充检测光路37从窗口22行进到第二检测器36。将理解,通过窗口22进入壳体12的第二光谱带中的光包括从在视场或窗口22中的至少一个对象反射或发射的光。二向色镜38可位于检测光路27和补充检测光路37中,以将补充检测光路37与检测光路27分离。例如,可选择二向色镜38以沿着通往第一检测器26的检测光路27反射第一光谱带中的光(例如ir光),而沿着通往第二检测器36的补充检测光路37透射第二光谱带中的光(例如可见光)。合适的二向色镜38可以是短通二向色镜,其透射在400nm-788nm波长光谱带中的可见光的大约90%,且反射在823nm-1300nm波长光谱带中的ir光的大约95%。

在图8的实施例中,控制器32可连接到光发射器24、第一检测器26和第二检测器36。控制器32可包括信号处理电路。该信号处理电路配置为:基于由第一检测器26生成的第一检测信号来计算视场中的至少一个对象的深度图像;以及基于由第二检测器36生成的第二检测信号来计算视场中的至少一个对象的颜色图像。例如,控制器32可被编程为执行图像处理步骤,以从基于第一检测信号的深度图像和基于第二检测信号的颜色图像计算具有深度信息和颜色信息两者的单个rgb-d图像。

图8的深度摄像头系统20的顾虑是在半透明镜28和二向色镜38处的光能损失。来自发射器24的ir光在其离开壳体12的过程中通过半透明镜28,在返回壳体12后被半透明镜28反射,且被二向色镜38朝检测器26反射。在这三个界面中的每一个上,光能都将有损失。如果选择的半透明镜28具有0.1的透射效率(即,透射10%的入射光并且反射90%的入射光),且二向色镜38具有上文中描述的透射和反射性质,则由发射器24发射的光在其到达第一检测器26时将包含其原始能量的大约1/12(~0.95x0.9x0.1)。因此,与现有技术的系统相比,为了维持深度图像的给定图像质量,光发射器24的能量消耗需要增加到大约十二倍。而且,通过窗口22进入壳体12的可见光中仅有大约80%将到达第二检测器36。图9中所示的第六实施例解决了这个问题,且通过重新布置深度摄像头系统20的光学部件以及使用具有更均衡的大小为0.5的透射效率(即,50%的入射光被透射且50%的入射光被反射)的半透明镜28来改善能量消耗。

在图9中所示的第六实施例中,光发射器24和第二检测器26的位置被互换,半透明镜28和二向色镜38的位置也被互换。照射光路25在镜30处被反射,穿过半透明镜28,并且在二向色镜38处被再次反射。检测光路27在二向色镜38处被反射,且在其到达第一检测器26的途中在半透明镜28处被再次反射。因此,在到达第一检测器26时,来自光发射器24的ir光束将携带其原始能量的大约2/9(~0.5x0.95x0.95x0.5)。通过窗口22进入壳体12的可见光的大约90%将到达第二检测器36。因此,与图8的第五实施例相比,在图9的第六实施例中减少了能量消耗并且改善了颜色图像质量。

图10示出了根据本申请的第七实施例形成的电子设备10。深度摄像头系统20除了包括布置在照射光路25中用于使发射光束结构化的结构光部件34之外,与第六实施例的深度摄像头系统在很大程度上相似。例如,结构光部件34可以是衍射光学元件(doe)。在图10的实施例中,控制器32可配置为通过结构光方法来计算rgb-d图像的深度信息。

图11示出了根据第八实施例的设备10。该设备10具有类似于图7中所示的单目全景深度摄像头系统的单目全景rgb-d摄像头系统120。可以看出,沿着检测光路27行进的光被二向色镜38分开。第一光谱带中的光(例如,ir光)被二向色镜38朝对第一光谱带中的光敏感的第一检测器26反射。第二光谱带中的光(例如,可见光)被二向色镜38沿着补充检测光路37朝对第二光谱带中的光敏感的第二检测器36透射。

尽管在图11中未示出,但是如上文中关于之前的实施例描述地,光发射器24、第一检测器26以及第二检测器36被连接到壳体12内的控制器32。在图11中所示的实施例中,控制器可提供信号处理电路。该信号处理电路配置为基于由第一检测器26生成的第一检测信号和由第二检测器36生成的第二检测信号,计算在前窗口22f的视场和在后窗口22r的另一视场中的对象的全景rgb-d图像。例如,控制器可被编程以执行图像处理步骤,用于计算面对前面板14的对象和面对后面板16的对象的单个全景rgb-d图像。该rgb-d图像包括分别从第一检测信号和第二检测信号确定的深度信息和颜色信息两者。

在图8至图11中示出的rgb-d摄像头系统实施例提供了相对于在图2中示出的现有技术rgb-d摄像头系统的优点。在图2的现有技术系统中,因为深度图像和颜色图像是从不同的视点获取的,所以需要额外的图像处理步骤以将深度图像正确地对准颜色图像。相比之下,在图8至图11中所示的实施例中,深度图像和颜色图像是从窗口22的相同单目视点获取的,因此不需要额外的图像处理步骤来对准深度图像和颜色图像。

现在参考图12至图14以描述各种双目rgb-d摄像头系统。在图12至图14中的双目rgb-d系统各自正好具有两个面朝外的光学部件,其中一个涉及用于深度成像的光的出射,而另一个涉及用于深度和颜色成像的光的收集。

在图12所示的第九实施例中,光发射器24被安装在面板14上以朝外面对场景,而入射窗22则专用于光进入壳体12。光发射器24发射在第一光谱带中的光(例如,ir光)。该第一光谱带中的光在壳体12外传播。被在入射窗22的视场中的对象反射的在第一光谱带中的光通过入射窗22进入壳体。从入射窗22的视场中的对象反射或发射的第二光谱带中的光(例如,可见光)也通过入射窗22进入壳体12。

类似于上述单目rgb-d摄像头系统,图12中的深度摄像头系统20包括光敏第一检测器26和光敏第二检测器36。光敏第一检测器26在壳体内用于检测在第一光谱带中的光并且响应于检测到的在第一光谱带中的光生成第一检测信号。光敏第二检测器36在壳体内用于检测在第二光谱带中的光并且响应于检测到的在第二光谱带中的光生成第二检测信号。图12中的设备10包括检测光路27和补充检测光路37。在第一光谱带中的光沿着检测光路27从入射窗22行进到第一检测器26。在第二光谱带中的光沿着补充检测光路37从入射窗22行进到第二检测器36。检测光路27中的从入射窗22引出的一部分与补充检测光路37中的从入射窗引出的一部分重合。二向色镜38可位于检测光路27和补充检测光路37中。二向色镜38将补充检测光路37与检测光路27分离。可以看出,二向色镜38沿着检测光路27反射在第一光谱带中的光,且沿着补充检测光路37透射光。

在图12的实施例中,控制器32可连接到光发射器24、第一检测器26和第二检测器36。控制器32可包括信号处理电路。该信号处理电路配置为:基于由第一检测器26生成的第一检测信号来计算视场中的至少一个对象的深度图像;以及基于由第二检测器36生成的第二检测信号来计算视场中的至少一个对象的颜色图像。例如,控制器32可被编程为执行图像处理步骤,以从基于第一检测信号的深度图像和基于第二检测信号的颜色图像计算具有深度信息和颜色信息两者的单个rgb-d图像。

图13示出了根据本申请的第十实施例形成的电子设备10。深度摄像头系统20除了包括布置为使由光发射器24所发射的光结构化的结构光部件34之外,与第九实施例的深度摄像头系统在很大程度上类似。例如,结构光部件34可以是附连到面板14和/或附连到光发射器24的出射端的衍射光学元件(doe)。在图10的实施例中,控制器32可配置为通过结构光方法来计算rgb-d图像的深度信息。

图14示出了根据第十一实施例的设备10。该设备10具有类似于图11中所示的单目全景rgb-d摄像头系统的双目全景rgb-d摄像头系统120。但是,设备10还包括在前面板14上作为面朝外的光学部件的前出射窗122f以及在后面板16上作为面朝外的光学部件的后出射窗122r。

由光发射器24发射的第一光谱带中的光(例如ir光)沿着如图14中的实线所表示的照射光路25行进到一对镜30f、30r。该一对镜30f、30r围绕光发射器24的中心轴24a相对于彼此以镜像关系布置。来自光发射器24的光束被镜30f、30r分成两个光束部分。第一光束部分被镜30f沿向前方向反射,且沿着前照射光路25f传输,以通过前出射窗122f从壳体12出来。第二光束部分被镜30r沿向后方向反射,且沿着后照射光路25r传输,以通过后出射窗122r从壳体12出来。可在前出射窗122f的出射面上设置结构光部件34f,在后出射窗122r的出射面上设置结构光部件34r。结构光部件34f和34r例如是衍射光学元件。通过前出射窗122f离开壳体12的光照射面对前面板14的视场中的对象,而通过后出射窗122r离开壳体12的光照射面对后面板16的另一视场中的对象。在离开每一个出射窗122f、122r的锥形发散的照射光束接近180°的程度时,可捕获围绕设备10接近360°的全景视场的深度信息。

从面对前面板14的对象反射和发射的光,包括源自光发射器24的第一光谱带中的光和第二光谱带中的光(例如可见光),通过前入射窗22f进入壳体12。同样,从面对后面板16的对象反射和发射的光,包括源自光发射器24的第一光谱带中的光和第二光谱带中的光(例如可见光),通过后入射窗22r进入壳体12。

通过前入射窗22f进入壳体12的光沿着前检测光路27f行进以到达第一检测器26,且沿着前补充检测光路37f行进以到达第二检测器36。同样,通过后入射窗22r进入壳体12的光沿着后检测光路27r行进以到达第一检测器26,且沿着后补充检测光路37r行进以到达第二检测器36。前检测光路27f和前补充检测光路37f从前入射窗22f直到检测光路27f、37f到达二向色镜38为止彼此重合。后检测光路27r和后补充检测光路37r从后入射窗22r直到检测光路27r、37r到达二向色镜38为止彼此重合。一对镜130f、130r可布置成将入射光朝二向色镜38反射。在二向色镜38处,在第一光谱带中的光被沿着检测光路27反射到第一检测器26,而在第二光谱带中的光被沿着补充检测光路37透射到第二检测器36。

光发射器24、第一检测器26和第二检测器36被如上文中关于之前的实施例描述地那样连接至壳体12内的控制器32。控制器可提供信号处理电路。该信号处理电路配置为基于由第一检测器26生成的第一检测信号和由第二检测器36生成的第二检测信号,计算在前窗口22f的视场和在后窗口22r的另一视场中的对象的全景rgb-d图像。例如,控制器可被编程以执行图像处理步骤,用于计算面对前面板14的对象和面对后面板16的对象的单个全景rgb-d图像。rgb-d图像包括分别从第一检测信号和第二检测信号确定的深度信息和颜色信息两者。在提供结构光部件34r、34f的情况下,可对控制器进行编程以通过结构光方法计算深度信息。

在图12至图14的双目实施例中,用于深度测量的来自光发射器24的光在其从光发射器24到对象以及从对象到第一检测器26的往返行程中没有遇到半透明镜或二向色镜。因此,能量损失可忽略不计,且光发射器24的能量消耗被最小化。

从前述描述中可理解,本申请解决了已知深度摄像头系统和rgb-d摄像头系统的上述缺点。单目实施例消除了不需要的阴影。在本文中公开的单目rgb-d摄像头系统消除了将深度图像正确对准到rgb图像所需的额外处理步骤。所有实施例通过减少装置的壳体面板上的面朝外的光学部件的数量来简化制造并有助于制造防水设备。在具有刘海的智能手机中,刘海的大小能够被保持较小,以改善美学外观并提高屏占比。

尽管已经结合示例实施例描述了本申请,但是详细描述并不旨在使本申请的范围受限为所陈述的特定形式。本申请旨在覆盖所描述的实施例的这些替代形式、修改和等价物。这些替代形式、修改和等价物可被包括在权利要求的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1