深度相机的控制方法与流程

本发明涉及一种深度相机的控制方法，特别是涉及一种能产生三维点云数据的深度相机的控制方法。

背景技术：

一种现有的深度相机为结构化光深度相机，其使用一红外光源发出具有特定图案的红外光，并使用一红外光感测器感测自视野反射回相机的红外光而产生一红外光影像，并透过分析该红外光影像而能获得深度图。结构化光深度相机的优点为其深度图的精准度高，然而当结构化光深度相机视野中的物体的距离较远时，红外光源的操作功率需提高，所发出的红外光才能自视野反射回结构化光深度相机，因此具有消耗功率大的缺点。

另一种现有的深度相机为立体视觉深度相机，其使用二色彩感测器产生不同视角的色彩影像，并透过分析该等色彩影像而能获得深度图。由于立体视觉深度相机不需发出红外光，因此功率消耗较结构化光深度相机低，然而当视野中出现大片平面的景物时，基于色彩影像所获得的边缘像素的数目不足，导致无法有效辨别出景物与深度相机之间的距离。

技术实现要素：

本发明的目的在于提供一种能改善前述现有深度相机缺点的深度相机的控制方法。

本发明深度相机的控制方法，该深度相机包含一光源、一第一影像感测单元、一与该第一影像感测单元相间隔且具有重叠视野的第二影像感测单元，及一电连接于该光源、该第一影像感测单元、该第二影像感测单元的处理器，该第一影像感测单元能针对一第一波长范围的光线进行感测，该第二影像感测单元能针对该第一波长范围的光线及一第二波长范围的光线进行感测，该第二波长范围相异于该第一波长范围，该光源所发出的光线的波长在该第二波长范围内，该深度相 机的控制方法包含：(A)该处理器控制该第一影像感测单元及该第二影像感测单元针对该第一波长范围进行感测，使该第一影像感测单元产生一第一影像，并使该第二影像感测单元产生一第二影像；(B)该处理器根据该第一影像及该第二影像产生一第一深度图；(C)该处理器对该第一影像或该第二影像进行边缘侦测以获得一边缘像素数目；(D)该处理器判断该边缘像素数目是否小于一第一默认像素数目；(E)当该处理器判断该边缘像素数目小于该第一默认像素数目，该处理器控制该光源发光；(F)该处理器控制该第二影像感测单元针对该第二波长范围进行感测，使该第二影像感测单元产生一第三影像；(G)该处理器根据该第三影像产生一第二深度图；(H)该处理器将该第二深度图与该第一深度图融合，以产生一融合深度图；及(I)该处理器将该融合深度图与该第一影像或该第二影像配准，以产生一三维点云数据。

在一些实施态样中，所述的深度相机的控制方法还包含：(J)当该处理器判断该边缘像素数目不小于该第一默认像素数目，该处理器根据该第一影像与该第二影像的数个视差值计算出一深度代表值；(K)该处理器判断该深度代表值是否大于一第一默认深度；(L)当该处理器判断该深度代表值不大于该第一默认深度，该处理器判断该边缘像素数目是否小于一第二默认像素数目，该第二默认像素数目大于该第一默认像素数目；(M)当该处理器判断该边缘像素数目小于该第二默认像素数目，该处理器判断该深度代表值是否小于一第二默认深度，该第二默认深度小于该第一默认深度；及(N)当该处理器判断该深度代表值不小于该第二默认深度，该处理器控制该光源发光，并接着执行(F)、(G)、(H)及(I)，其中，驱动该光源的一第一驱动电流的电流值与该深度代表值呈正相关。

在一些实施态样中，所述的深度相机的控制方法还包含：(O)当该处理器判断该深度代表值小于该第二默认深度，该处理器控制该光源发光，并接着执行(F)、(G)、(H)及(I)，其中，驱动该光源的一第二驱动电流的电流值不大于该第一驱动电流的最小电流值。

在一些实施态样中，所述的深度相机的控制方法还包含：(P) 当该处理器判断该深度代表值大于该第一默认深度，该处理器不控制该光源发光，并将该第一深度图与该第一影像或该第二影像配准，以产生一三维点云数据。

在一些实施态样中，所述的深度相机的控制方法还包含：(Q)当该处理器判断该边缘像素数目不小于该第二默认像素数目，该处理器不控制该光源发光，并将该第一深度图与该第一影像或该第二影像配准，以产生一三维点云数据。

本发明的有益的效果在于：借由判断该边缘像素数目及该深度代表值的大小，以决定是否产生第二深度图及光源的操作功率，从而能避免高功率消耗，且维持高精准度的深度判别。

附图说明

图1是本发明深度相机的控制方法的实施例的深度相机的一硬体连接关系示意图；及

图2A及图2B是该实施例的一流程图。

具体实施方式

下面结合附图及实施例对本发明进行详细说明。

参阅图1与图2A、2B，是本发明深度相机的控制方法的实施例。深度相机包含一光源1、一第一影像感测单元2、一与第一影像感测单元相间隔且具有重叠视野的第二影像感测单元3、一记忆体5，及一电连接于光源1、第一影像感测单元2、第二影像感测单元3与记忆体5的处理器4。

第一影像感测单元2能针对一第一波长范围的光线进行感测。第二影像感测单元3能针对该第一波长范围的光线及一第二波长范围的光线进行感测，第二波长范围相异于第一波长范围。光源1所发出的光线的波长在该第二波长范围内。在本实施例中，该第一波长范围内的光线为可见光，该第二波长范围内的光线为不可见光，光源1所发出的光线为红外光。具体来说，本实施例的第一影像感测单元2包含一能感测第一波长范围的光线的RGB感测器，本实施例的第二影像感测单元包含一能感测第一波长范围及第二波长范围的光线的RGB-IR感测器。在另一实施态样中，第一影像感测单元2包含一能感测第一 波长范围的光线的RGB感测器，而第二影像感测单元包含一能感测第一波长范围的光线的RGB感测器，及一能感测第二波长范围的光线的IR感测器。

记忆体5存储有一第一默认像素数目、一大于该第一默认像素数目的第二默认像素数目、一第一默认深度，及一小于该第一默认深度的第二默认深度。

深度相机的控制方法首先如步骤S01所示，处理器4控制第一影像感测单元2及第二影像感测单元3针对该第一波长范围进行感测，使第一影像感测单元2产生一第一影像，并使第二影像感测单元3产生一第二影像。接着，如步骤S02所示，处理器4根据该第一影像及该第二影像产生一第一深度图(depth map)。

接着，如步骤S03所示，处理器4对该第一影像或该第二影像进行边缘侦测(edge detection)以获得一边缘像素(edge-pixel)数目。接着，如步骤S04所示，处理器4判断该边缘像素数目是否小于该第一默认像素数目，若是，则执行步骤S05，若否，则执行步骤S10。

如步骤S05所示，当处理器4判断该边缘像素数目小于该第一默认像素数目，处理器4控制光源1发光。接着，如步骤S06所示，处理器4控制第二影像感测单元3针对该第二波长范围进行感测，使第二影像感测单元3产生一第三影像。接着，如步骤S07所示，处理器4根据该第三影像产生一第二深度图。在本实施例中，光源1能发出一具有预定图案的图案化(patterned)红外光，又可称为结构化光(structured light)，由于深度相机视野内不同距离的景物受到结构化光照射时，照射在景物上的预定图案会产生不同的形状改变，处理器4能借由将该第三影像中的各种图案与预先存储于记忆体5内的单个或数个参考图案比对，从而获得该第二深度图。

接着，如步骤S08所示，处理器4将该第二深度图与该第一深度图融合(fusion)，以产生一融合深度图。接着，如步骤S09所示，处理器4将该融合深度图与该第一影像或该第二影像配准(registration)，以产生一三维点云数据(3D point cloud data)。由于当该边缘像素数目小于该第一默认像素数目时，深度相机会执行步骤S05～S09，使得当该第一深度图的精准度不足时，深度相机会产 生精准度高的第二深度图，并将该第二深度图与该第一深度图融合，借此维持深度相机深度感测的精准度。

另一方面，当步骤S04的判断结果为否，也就是说，当处理器4判断该边缘像素数目不小于该第一默认像素数目，则深度相机接着执行步骤S10。步骤S10是处理器4根据该第一影像与该第二影像的数个视差值(disparity)计算出一深度代表值。更明确的说，该第一影像与该第二影像之间具有该等视差值，处理器4能由各视差值计算出一深度，例如将各视差值倒数后乘以第一影像感测单元2与第二影像感测单元3之间的间距(以第一影像感测单元2及第二影像感测单元3的光学中心为准)，再乘以第一影像感测单元2或第二影像感测单元3的焦距，再除以该第一影像或该第二影像的像素尺寸，就能求出该深度。处理器4再根据数个使用前述方法求出的深度，计算出该深度代表值。在本实施例中，该深度代表值为该等深度的平均值，但不以此为限，该深度代表值也可以例如是该等深度的中位数。

接着，如步骤S11所示，处理器4判断该深度代表值是否大于该第一默认深度，若是，则执行步骤S16，若否则执行步骤S12。

如步骤S16所示，当处理器4判断该深度代表值大于该第一默认深度，处理器4不控制光源1发光，并将该第一深度图与该第一影像或该第二影像配准，以产生三维点云数据。由于当该深度代表值大于该第一默认深度时，处理器4直接将该第一深度图与该第一影像或该第二影像配准而不产生第二深度图，因此，能避免视野中的景物大都距离过远时，深度相机的光源1以高功率运作而导致高耗能的情况。

又如步骤S12所示，当处理器4判断该深度代表值不大于该第一默认深度，处理器4判断该边缘像素数目是否小于该第二默认像素数目，若是，则接着执行步骤S13；若否，则执行步骤S16，也就是说，当处理器4判断该边缘像素数目不小于该第二默认像素数目，处理器4不控制该光源1发光，并将该第一深度图与该第一影像或该第二影像配准，以产生三维点云数据，借此，当该边缘像素数目十分充足而使第一深度图具有高精准度时，处理器4直接将该第一深度图与该第一影像或该第二影像配准而不产生第二深度图，从而能节省产生第二深度图所需的功耗。

另一方面，如步骤S13所示，当处理器4判断该边缘像素数目小于该第二默认像素数目，处理器4判断该深度代表值是否小于一第二默认深度，若是，则执行步骤S15，若否，则执行步骤S14。

如步骤S14所示，当该处理器4判断该深度代表值不小于该第二默认深度，处理器4控制光源1发光，且由处理器4产生并用于驱动光源1的一第一驱动电流I₁的电流值与该深度代表值呈正相关。此处的正相关是指当该深度代表值越大时，该第一驱动电流的电流值也越大，当该深度代表值越小时，该第一驱动电流I₁的电流值也越小。于步骤S14之后接着执行步骤S06、S07、S08及S09。借此，当视野内景物与深度相机的距离大致不会过远也没有很近，且第一深度图的精准度不高也不低时，深度相机依据景物与深度相机的距离调整光源1的操作功率以产生第二深度图，并将该第二深度图与该第一深度图融合，从而能维持深度相机深度感测的精准度，且不会造成过大的功耗。

另一方面，当该处理器4判断该深度代表值小于该第二默认深度，处理器4控制光源1发光，且由处理器4产生并用于驱动光源1的一第二驱动电流I₂的电流值不大于该第一驱动电流I₁的最小电流值。于步骤S14之后接着执行步骤S06、S07、S08及S09。借此，当视野内景物与深度相机的距离很近，且第一深度图的精准度不高也不低时，深度相机以最低的操作功率操作光源1以产生第二深度图，并将该第二深度图与该第一深度图融合，从而能维持深度相机深度感测的精准度，且不会造成过大的功耗。

举例来说，设第一默认像素数目为5000，第二默认像素数目为20000，第一默认深度为10000mm，第二默认深度为500mm。当该边缘像素数目为2000时，由于该边缘像素数目小于该第一默认像素数目，因此深度相机于执行完步骤S04的判断步骤之后会执行步骤S05、S06、S07、S08及S09。

又当该边缘像素数目为12000且该深度代表值为1000000mm时，由于该边缘像素数目不小于第一默认像素数目，且该深度代表值大于第一默认深度，因此，深度相机于执行完步骤S04及S11的判断步骤之后会执行步骤S16。

又当该边缘像素数目为50000且该深度代表值为700mm时，由 于该边缘像素数目不小于该第一默认像素数目及该第二默认像素数目，且该深度代表值不大于第一默认深度，因此，深度相机于执行完步骤S04、S11及S12的判断步骤之后会执行步骤S16。

又当该边缘像素数目为10000且该深度代表值为700mm时，由于该边缘像素数目介于该第一默认像素数目及该第二默认像素数目之间，且该深度代表值介于第一默认深度及第二默认深度之间，因此，深度相机于执行完步骤S04、S11、S12及S13的判断步骤之后会执行步骤S14，并接着执行步骤S06、S07、S08及S09。

又当该边缘像素数目为8000且该深度代表值为300mm时，由于该边缘像素数目介于该第一默认像素数目及该第二默认像素数目之间，且该深度代表值小于该第二默认深度，因此，深度相机于执行完步骤S04、S11、S12及S13的判断步骤之后会执行步骤S15，并接着执行步骤S06、S07、S08及S09。

综上所述，本发明深度相机的控制方法借由判断该边缘像素数目及该深度代表值的大小，以决定是否产生第二深度图及光源1的操作功率，从而能避免高功率消耗，且维持高精准度的深度判别，故确实能达成本发明的目的。