一种双变焦结构光深度相机及变焦方法与流程

本发明涉及光学技术领域，特别涉及一种双变焦结构光深度相机及变焦方法。

背景技术：

结构光深度相机通过向目标空间投影结构光图像，并采集由物体反射回的结构光图像进一步计算出深度图像，基于该深度图像可以实现3d建模、人脸识别、手势交互等功能，同时结构光深度相机由于具备分辨率高、精度高、功耗低等优点，因此被广泛应用在手机、电脑、机器人、ar/vr等智能设备上。

尽管如此，当前的结构光深度相机也面临着重大的考验，其中之一是测量范围受限，比如应用于手机等产品上的近距离结构光深度相机的测量范围大约在0.2～1m，应用于机器人等产品上的中距离结构光深度相机的测量范围大约在0.6～5m。测量范围受限的主要原因一方面是由于结构光投影距离的限制，另一方面也受到采集相机的景深限制等。本发明将提供一种变焦深度相机，旨在解决深度相机测量距离受限的问题。

技术实现要素：

本发明的目的是为了解决现有技术中的深度相机测量距离受限的问题，提出一种双变焦结构光深度相机及变焦方法。

本发明的双变焦结构光深度相机，包括：发射端，包括光源、变焦投影透镜组和doe，用于向空间中的人或物体投射结构光光束；所述光源用于发射光束；所述变焦投影透镜组，用于将所述光源发出的光束汇聚到所述doe上；所述doe，用于将接收到的光束进行衍射分束或复制，以向外投射出由多束光组成的结构光光束；接收端，包括变焦成像透镜组和图像传感器，用于接收经所述人或物体调制并反射的结构光，并生成结构光图像；所述变焦成像透镜组，用于将接收到的所述结构光光束成像在所述图像传感器上以生成结构光图像；处理器，用于接收来自所述接收端的结构光图像，并计算出所述人或物体的深度图像；所述深度相机还包括致动器，用于驱动所述变焦投影透镜组和变焦成像透镜组实现光学变焦；所述发射端和接收端分别还包括第一反射镜和第二反射镜，所述第一反射镜和第二反射镜用于反射光束以改变光束的传播方向。

在优选的实施方式中，所述变焦投影透镜组和所述变焦成像透镜组分别包括2片以上的透镜，所述透镜之间的间距能够被所述致动器调整，使得整个所述变焦投影透镜组和整个所述变焦成像透镜组均能够实现光学变焦。更优选地，所述变焦投影透镜组整体和/或所述变焦成像透镜组整体能够在所述致动器的驱动作用下发生移动以实现对焦。

在优选的实施方式中，所述第一反射镜，用于反射所述doe投射的结构光光束并向空间中的所述人或物体投射；所述第二反射镜，用于接收由所述发射端投射出的经所述人或物体调制及反射后的结构光光束，并将接收到的所述结构光光束反射至所述变焦成像透镜组；所述变焦成像透镜组，用于接收所述第二反射镜反射的结构光光束，并将接收到的所述结构光光束成像在所述图像传感器上以生成结构光图像。

在优选的实施方式中，所述发射端还包括第三反射镜，所述第三反射镜设置在所述光源与所述变焦投影透镜组之间，用于反射光束以改变光束传播方向；和/或，所述接收端还包括第四反射镜，所述第四反射镜设置在所述图像传感器与所述变焦成像透镜组之间，用于反射光束以改变光束传播方向。更优选地，所述发射端的所述第一反射镜和/或所述第三反射镜为凸面反射镜，用于增加所述发射端的视场角，所述接收端的第二反射镜和/或所述第四反射镜为平面镜或者凹面反射镜；或者，所述接收端的第二反射镜和/或所述第四反射镜为凹面反射镜，用于降低所述接收端的视场角并且补偿所述变焦成像透镜组的畸变，所述发射端的所述第一反射镜和/或所述第三反射镜为平面反射镜或者凸面反射镜。

在优选的实施方式中，所述第一反射镜和所述第二反射镜被设置在所述光源与所述图像传感器之间；或者，所述光源和所述图像传感器被设置在所述第一反射镜与所述第二反射镜之间。在优选的实施方式中，所述深度相机的基线长度能够被所述致动器调整。在优选的实施方式中，本发明的双变焦结构光深度相机还包括控制器，用于控制所述致动器对所述变焦投影透镜组和所述变焦成像透镜组焦距的调整；所述发射端和接收端的焦距符合特定的约束关系，使得所述发射端所发射出的结构光光束能够在所述接收端中实现高质量的成像。

在优选的实施方式中，所述第一反射镜，还用于将所述变焦投影透镜组拆成两个透镜或者两个透镜组，并且所述第一反射镜设置在所述变焦投影透镜组的瞳孔位置，用于减少所述第一反射镜的面积；和/或，所述第二反射镜，还用于将变焦成像透镜组拆成两个透镜或者两个透镜组，并且所述第二反射镜设置在所述变焦成像透镜组的瞳孔位置，用于减少所述第二反射镜的面积。

在优选的实施方式中，所述光源为阵列光源，并且包括2个以上的子阵列光源，各个子阵列光源的光源数量不等并且均能够被单独控制，用于使得所述发射端产生不同密度的结构光光束。

本发明还提出一种上面任一所述双变焦结构光深度相机的变焦方法，包括以下步骤：s1：预先设置至少两个焦距模式，并将所述焦距模式保存在存储器中；s2：接收变焦指令，然后处理器从所述存储器中读取相应焦距模式下的约束关系，并将所述约束关系转换成控制指令以控制发射端和/或接收端进行变焦；s3：在当前焦距模式下，所述处理器控制所述发射端和所述接收端分别进行结构光光束发射和结构光图像采集以形成结构光图像，并基于所述结构光图像进行深度图像的计算。

与现有技术相比，本发明的有益效果有：

本发明的双变焦结构光深度相机及变焦方法，由于发射端和接收端的焦距可以被调整，从而使得深度相机拥有更加灵活可变的景深，从而实现更大范围的深度测量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他实施例的附图。

图1是本发明一个实施例中双变焦结构光深度相机的结构示意图。

图2是本发明另一个实施例中双变焦结构光深度相机的结构示意图。

图3是本发明又一个实施例中双变焦结构光深度相机的结构示意图。

图4是本发明一个实施例中发射端的结构示意图。

图5是本发明一个实施例中双变焦结构光深度相机变焦方法的步骤流程图。

具体实施方式

下面结合具体实施方式并对照附图对本发明做进一步详细说明。其中相同的附图标记表示相同的部件，除非另外特别说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明的双变焦结构光深度相机，包括：发射端，用于向空间中的人或物体投射结构光光束；接收端，用于接收经所述人或物体调制并反射的结构光，并生成结构光图像；处理器，用于接收来自所述接收端的结构光图像，并计算出所述人或物体的深度图像；所述发射端和接收端分别包括变焦投影透镜组和变焦成像透镜组，所述深度相机还包括致动器，用于驱动所述变焦投影透镜组和变焦成像透镜组实现光学变焦；所述发射端和接收端分别还包括第一反射镜和第二反射镜，所述第一反射镜和第二反射镜用于反射光束以改变光束的传播方向。

图1是根据本发明一个实施例的双变焦结构光深度相机示意图。双变焦结构光深度相机10包括发射端112、接收端113以及处理器(图中未示出)，发射端112用于向空间中物体111投射结构光光束，比如红外波长的斑点图案化光束，也可以是其他波长或者其他种类的结构光光束；结构光光束被物体111调制及反射后被接收端113接收并生成结构光图像，处理器接收来自接收端113的结构光图像后利用结构光成像算法计算出物体的深度图像，比如利用匹配算法先获取结构光图像与预先存储的参考结构光图像之间的像素偏离，再基于三角测量法将该像素偏离转换成深度值，最终获取空间中物体111的深度图像。

发射端112包括光源101、变焦投影透镜组102、衍射光学元件(doe)104以及第一反射镜105，光源101发射出光束经由变焦投影透镜组102的汇聚后入射到doe104上，doe104将接收到的光束进行衍射分束(复制)以向外投射出由多束光组成的结构光光束(比如由多个光束组成的斑点图案化光束)，第一反射镜105进一步将结构光光束反射后向空间中的物体投射。

光源101可以是单光源也可以是多个光源组成的阵列光源，比如由单个边发射激光发射器组成的单光源、或者由多个垂直腔面激光发射器组成的阵列光源。

变焦投影透镜组102由多片(2片以上)透镜、第一致动器103(图中为方便起见以箭头进行示意)等组成，多片透镜在第一致动器的作用下位置发生变化，比如沿着光束传播方向透镜间距的变化可以使得整个变焦投影透镜组的焦距发生改变以实现光学变焦；在一个实施例中，第一致动器也可以使得多片透镜整体发生移动以实现对焦。致动器可以是微电子机械系统(mems)、电磁驱动致动器、电机致动器等类型。第一致动器可以包括多个子致动器以分别控制不同的透镜。

当变焦投影透镜组102的焦距发生变化后，其对光源101所发射出的光束的汇聚作用也发生变化，比如通过对焦距的增大或减小可以使得对光束聚焦的距离以及景深发生变化以适应不同的测量范围。

接收端113包括图像传感器109、变焦成像透镜组107以及第二反射镜106，由发射端112投射出的结构光光束经物体111调制及反射(漫反射)后由第二反射镜106接收并反射至变焦成像透镜组107，变焦成像透镜组107将入射光束成像在图像传感器109上以生成结构光图像。在一个实施例中，接收端113还包括滤光片，比如当光源101是红外光时，接收端113中第二反射镜106与变焦成像透镜组107之间，或者图像传感器109与变焦成像透镜组107之间可以设置红外滤光片，其对对应波长的红外光有非常高的透过率，由此可以提升成像质量。图像传感器109可以是cmos、ccd等类型的图像传感器，其包含多个成像像素用于对空间一定视场的区域进行成像。

变焦成像透镜组107由多片(2片以上)透镜、第二致动器108(图中为方便起见以箭头进行示意)等组成，多片透镜在第二致动器的作用下位置发生变化，比如沿着光束传播方向透镜间距的变化可以使得整个变焦成像透镜组的焦距发生改变以实现光学变焦；在一个实施例中，第二致动器也可以使得多片透镜整体发生移动以实现对焦。致动器可以是微电子机械系统(mems)、电磁驱动致动器、电机致动器等类型。第二致动器可以包括多个子致动器以分别控制不同的透镜。

当变焦成像透镜组102的焦距发生变化后，其对物体成像的距离及景深均发生变化，从而可以通过对变焦成像透镜组102的焦距变化来实现对不同距离物体的成像，最终实现该双变焦结构光深度相机10对不同测量范围的物体进行测量。

第一反射镜105与第二反射镜106可以是独立的光学器件，也可以融合成单个光学器件，比如棱镜，图1中所示的是即是将棱镜的两个面镀有反射膜以分别作为第一反射镜105与第二反射镜106。

在一个实施例中，双变焦结构光深度相机10还包括第三致动器110，其用于对第一反射镜105与第二反射镜106之间距离进行调整。一般地，对于结构光深度相机而言，发射端与接收端之间的距离(即基线)影响成像精度，比如对于近距离测量时，基线设置的较小，而对于远距离测量时，基线设置得较大以提升精度。在本发明中，基线体现在第一反射镜105以及第二反射镜106之间的距离(准确地说是变焦投影透镜组102光轴延长线与第一反射镜105的第一交点与变焦成像透镜组107光轴延长线与第二反射镜106的第二交点之间的距离)。因此在对发射端112和/或接收端113的焦距进行变焦以对不同距离物体进行测量时，较佳的方式是同时应对基线的长度进行调整，由此才能获取更高精度的深度图像。

可以理解的是，致动器一般在驱动器的作用下工作的，而驱动器则进一步由处理器进行控制。由于处理器在执行深度计算时涉及基线长度、焦距等参数，因此在对基线长度、焦距等进行调整时，其调整的距离应在处理器的控制下进行，在一些实施例中还需要将当前的调整量实时反馈至处理器以实现更加精确的控制。

一般地，在进行深度测量时，发射端112与接收端113的焦距应符合特定的约束关系，在这种关系的约束下，确保发射端112所发射出的结构光光束最终能在接收端113中实现高质量的成像。比如在一个实施例中，发射端112的焦距与接收端113的焦距在变焦时始终保持相等，当然也可以有其他约束关系。另外，发射端112或接收端113的焦距与基线之间也可以符合一定的约束关系，该约束关系可以通过精确计算获得也可以通过经验获取，最终的目的是保证在焦距与基线满足该约束关系的前提下可以获取高精度的深度图像。在一个实施例中，这些约束关系被保存至存储器中，处理器在对致动器发送调整指令时需要先调用这些约束关系(或者说对保存约束关系的文件进行寻址)，并将该约束关系转换成相应的控制指令以控制变焦和/或基线调整。

图1所示的实施例与现有技术中定焦结构光深度相机相比，拥有以下至少一个优势：

测量范围大。由于焦距可以被调整，从而可以使得深度相机拥有更加灵活可变的景深，从而实现更大范围的深度测量。

精度高。由于焦距及基线可以被调整，可以在相应的焦距下选择最佳的基线长度以获取更高的测量精度。

体积小。对于传统定焦结构光深度相机，要想实现远距离测量，往往需要长焦镜头，而长焦镜头由于具有较长的长度使得深度相机的厚度较大、体积大，难以应用于较薄的设备中。而本实施例中采用反射镜进行反射的方案从而避免厚度大的问题。

图2是根据本发明又一实施例的双变焦结构光深度相机的示意图。与图1所示实施例相比，本实施例中双变焦结构光深度相机20中发射端201还包括第三反射镜203，和/或，接收端202还包括第四反射镜204。第三反射镜203设置在光源与变焦投影透镜组之间，第四反射镜204设置在图像传感器与变焦成像透镜组之间，分别用于反射光束以改变光束传播方向。通过第三反射镜203以及第四反射镜204的设置，可以使得光源以及图像传感器拥有更多方位的结构设置。

图3是根据本发明第三实施例的双变焦结构光深度相机的示意图。与图1、2所示实施例不同的是，光源、以及图像传感器等器件被设置在第一反射镜303以及第二反射镜304之间，而非像图1、2中所示的被设置在外侧。由此设置的好处在于，对于基线较大的结构光深度相机而言，将光源、图像传感器、变焦透镜组等器件设置在反射镜之间可以进一步减少深度相机的体积，同时反射镜之间基线的调整的上限可以更高，相比图1、2所示实施例中基线调整的上限受限而下限可以达到较低。因此图1、2的方案相比而言更适合于近距离测量，而图3所示实施例的方案则相对更适用于远距离测量。需要说明的是，与图1、图2所示的实施例类似，在图3所示的实施例中，发射端和接收端中的变焦投影透镜组和变焦成像透镜组均能够在致动器的作用下移动，以实现光学变焦和/或对焦；在图3所示的另一些实施例中，与图1、图2所示的实施例类似，发射端的反射镜与接收端的反射镜之间的距离(即基线)也能够在致动器的作用下被调整，以获得更高精度的深度图像。

图4是根据本发明一个实施例的发射端示意图。发射端40包括光源401、第一透镜402、反射镜404、第二透镜405以及衍射光学元件(doe)406,光源401发射出光束经由第一透镜402汇聚后入射至反射镜404，反射镜404反射光束后入射至第二透镜405中，进一步光束将被doe406衍射和分束以生成结构光光束向外发射。

光源401是由多个子光源组成的阵列光源，比如垂直腔面激光发射器阵列芯片(vcsel阵列芯片)，阵列光源发射出多个扩散光束后，第一透镜402接收并汇聚多个扩散光束，将其汇聚至单个瞳孔403中(这里所说的瞳孔实际上可以认为是光束被汇聚收窄后能达到的最小截面积所在的位置)，随后光束将继续扩散；在本实施例中，将反射镜404设置在单个瞳孔403处(当第一透镜402的焦距变化时，瞳孔位置也会变化，因此反射镜404并非需要严格放置在瞳孔所在位置，有一定的容差是被允许的)，以对光束进行反射从而改变传播方向，经由反射镜404反射的光束进一步入射至第二透镜405中被再次汇聚(聚焦或准直)，经二次汇聚的光束被doe衍射及分束后生成结构光光束向外发射。

发射端40还包括致动器以调整第一透镜402和/或第二透镜405来实现变焦，第一透镜402以及第二透镜405可以为单个透镜也可以为多个透镜组成的透镜组。因此实现变焦的方式有多种，比如仅对第一透镜402或者第二透镜405进行变焦，或者同时对两者进行变焦，或者调整两个透镜之间的距离来实施变焦等。

可以理解的是，在本实施例中由于瞳孔所在位置的光束截面积较小，将反射镜404设置在瞳孔403位置处可以较大程度上减少对反射镜的面积，从而降低成本以及降低制造难度。在此需要说明的是，与图1-图3所示的实施例相比，在图4所示的实施例中，发射端的第一反射镜(即图4中的反射镜404)，不仅用于反射光束以改变光束的传播方向，还用于将变焦投影透镜组拆成两个透镜或者两个透镜组，以扩大发射端实现变焦的方式，并减小发射端中第一反射镜的面积。上述对发射端的改进同样适用于接收端，在其他实施例中，在接收端也可以采用相同或相似的方式，接收端的第二反射镜，不仅用于反射光束以改变光束的传播方向，还用于将变焦成像透镜组拆成两个透镜或者两个透镜组，以扩大接收端实现变焦的方式，并减小接收端中第二反射镜的面积，在此不再赘述。

在一些实施例中，当光源为阵列光源时，阵列光源被设置成由多个可分组控制的子阵列光源组成，该方案可以应用且不限于以上各个深度相机的实施例中。在一个实施例中，光源包括可被独立控制的第一子阵列光源以及第二子阵列光源，其中第一子阵列光源的光源数量小于第二子阵列光源，这样由该光源组成的发射端至少可以产生三种不同密度的结构光光束(第一、二子阵列单独打开以及同时打开时形成的三种结构光光束)，密度越大越适用于远距离测量，因此可以实现至少由三种不同测量区间组成的测量范围。比如对于图1～图4的各实施例中，变焦透镜的变焦倍数决定了测量区间数量以及整体的测量范围，因此，也可以对阵列光源进行分组控制，让其可产生不低于变焦倍数的密度不同的结构光光束。

可以理解的是，在一些实施例中，当发射端可以发射不同密度的结构光光束时，可以不采用变焦投影透镜组，仅在接收端采用对应于不同密度结构光光束的变焦成像透镜组，如此也能实现较好的深度成像效果，同时可以降低成本。

对于以上各实施例，反射镜也可以被设置成曲面反射镜。在一个实施例中，考虑到发射端衍射光学元件的衍射角度问题，一般发射端的视场角难以达到很大，而为了保证在较大测量范围内发射端的视场角均能覆盖接收端视场角，将发射端内的反射镜(比如第一反射镜和/或第三反射镜)设置成凸面反射镜，可以在一定程度上增加发射端视场角，此时接收端内的反射镜(比如第二反射镜和/或第四反射镜)可以是平面反射镜，也可以是凹面反射镜。在一个实施例中，接收端的反射镜(比如第二反射镜和/或第四反射镜)被设置成凹面反射镜，一方面可以降低视场角、另一方面可以通过凹面反射镜的设置来对变焦成像透镜组的畸变进行补偿，视场角的降低有利于长焦远距离测量的情形，此时，发射端内的反射镜(比如第二反射镜和/或第四反射镜)可以是平面反射镜，也可以是凸面反射镜。

基于上述各实施例的双变焦结构光深度相机，本发明还提供一种双变焦结构光深度相机的工作方法，如图5所示，具体包括以下步骤：

s1：预先设置至少两个焦距模式，将焦距模式保存在存储器中。不同焦距模式下有不同的约束关系，这里的约束关系可以指具体的焦距数值也可以指焦距之间的关系式。比如在一个实施例中，约束关系包括发射端焦距、接收端焦距的数值；或者包括发射端焦距的数值以及接收端焦距与发射端焦距的比值。在一个实施例中，约束关系还包括基线的长度数值或者基线长度与发射端和/或接收端焦距之间的关系式，比如基线长度与发射端和/或接收端焦距之间的比例等关系式。

s2：接收变焦指令，然后处理器从存储器中读取相应焦距模式下的约束关系，并将约束关系转换成控制指令以控制发射端和/或接收端进行变焦；变焦指令的接收可以来自外部的控制，也可以是深度相机自身的自适应调整。在一个实施例中，用户可以通过触控、鼠标等输入方式来发出变焦指令。在一个实施例中，深度相机基于前面帧的数据进行自适应变焦处理，比如当处理器识别到上一帧所获取的深度图像有较多的孔洞，表明被测物体可能超过当前焦距所对应的测量范围，在下一帧时处理器将自动发出变焦指令。基于变焦指令，比如是增加焦距或者减少焦距，处理器将从存储器中读取相应焦距模式下的约束关系，同时基于该约束关系转换成控制指令信号，进一步控制致动器来驱动发射端、接收端或者反射端进行焦距和/或基线的调整。

s3：在当前焦距模式下，处理器控制发射端以及接收端进行结构光光束发射以及结构光图像采集以形成结构光图像，并基于结构光图像进行深度图像的计算。

在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

上述根据本发明的变焦方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cdrom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。