具备自身校准的深度摄影装置以及自身校准方法与流程

本发明是关于一种具备自身校准的深度摄影装置以及相关的自身校准方法。

背景技术：

随着科技的进步，现今的深度摄影装置已经能取得并储存三维影像信息。搭配不同的后端演算功能，三维影像信息可进一步地运用于立体建模、动作辨识等用途。

以立体视觉为基础的深度摄影装置，需要准确的装置信息来计算深度信息。因此，在正式开始使用前，深度摄影装置都需要进行校准以取得准确的装置信息。举例而言，现有的校准方式是藉由外部的校准机构来协助取得装置信息。另一方面，深度摄影装置还可以利用不同的视角拍摄的影像，分析其中的特征点信息，然后取得装置信息。

一般而言，透过特定的校准机构来进行校准的效果是较佳的，但非专业人士不易取得前述校准机构，也没有受过相关的操作训练。因此，一旦深度摄影装置受到温度变化、外力撞击、震动等影响造成深度信息的失真，通常必须送回生产厂商进行校准，在使用上是相当不便的。因此，如何有效且较佳地对深度摄影装置进行校准，仍是本领域人员努力的目标之一。

技术实现要素：

本发明提供一种具备自身校准的深度摄影装置以及自身校准方法，能够实时地进行校准并且取得深度摄影装置当前的装置信息，藉以精准地撷取深度信息。

本发明的一实施例提出一种具备自身校准的深度摄影装置，包括投影装置、取像装置以及校准模块。投影装置基于预设校准模板与预设深度计算模板，投射校准模板与深度计算模板至基准面，其中校准模板合并于深 度计算模板。取像装置截取包括校准模板与深度计算模板的影像。校准模块耦接取像模块，依据影像的校准模板、预设校准模板以及对应于预设校准模板的预设对照表，调整深度摄影装置的多个装置参数以校准深度计算误差。

于本发明一实施例中，校准模块更包括分离模块、适配模块、梯形修正模块、比较模块以及优化模块。分离模块耦接取像装置，从影像中分离出包括校准模板的第一过渡影像。适配模块耦接分离模块，定位第一过渡影像的校准模板的多个模板特征以产生第二过渡影像。梯形修正模块耦接适配模块，修正第二过渡影像的梯形失真以产生第三过渡影像。比较模块耦接梯形校准模块，比较预设对照表的多个预设参数以及第三过渡影像的模板特征之间的多个几何关系，藉以取得至少部分的模板特征的多个实际位置以及多个偏移量。优化模块耦接比较模块，依据实际位置、偏移量以及预设对照表的预设参数，执行优化算法以调整深度摄影装置的装置参数。

于本发明一实施例中，分离模块依据影像的每一像素点以及邻近于每一像素点的多个邻近像素点，判断每一像素点的连结性性质。分离模块排除影像中具有弱连结性的像素点，并且对具有强连结性的像素点执行侵蚀算法以分离出具有校准模板的第一过渡影像。

于本发明一实施例中，适配模块对第一过渡影像执行霍夫转换(Hough Transform)以定位校准模板的模板特征。

于本发明一实施例中，适配模块比对预设校准模板与第一过渡影像以定位校准模板的模板特征。

于本发明一实施例中，适配模块比对预设对照表与第一过渡影像以定位校准模板的模板特征。

于本发明一实施例中，比较模块对第三过渡影像执行霍夫转换(Hough Transform)以定位修正后的模板特征。比较模块计算模板特征在第三过渡影像的实际位置以及模板特征之间的几何关系，并且比较实际位置、几何关系以及预设对照表的预设参数以取得模板特征的偏移量。

于本发明一实施例中，预设对照表的预设参数包括多个先前校准模板的多个先前模板特征在多张先前影像中的多个先前位置以及先前模板特征之间的多个先前几何关系。先前校准模板分别为深度摄影装置在不同的 多个已知偏斜角度以及多个已知距离下，基于预设校准模板而投影至基准面。

于本发明一实施例中，优化模块执行莱文贝格-马夸特(Levenberg-Marquardt)优化算法以取得深度摄影装置的多个校准装置参数。优化模块以校准装置参数作为深度摄影装置的装置参数，藉以校准深度计算误差。

本发明的另一实施例提出一种自身校准方法，适用于深度摄影装置。自身校准方法包括下列步骤。基于预设校准模板与预设深度计算模板，投射校准模板与深度计算模板至基准面，其中校准模板合并于深度计算模板。截取包括校准模板与深度计算模板的影像。依据影像的校准模板、预设校准模板以及对应于预设校准模板的预设对照表，调整深度摄影装置的多个装置参数以校准深度计算误差。

基于上述，本发明实施例所提供的具备自身校准的深度摄影装置以及相关的自身校准方法，首先于基准面投射校准模板与深度计算模板，撷取校准模板与深度计算模板的影像，然后藉由校准模板以及已知的预设校准模板、预设对照表，进一步地调整深度摄影装置的装置参数以校准深度计算误差。如此一来，深度摄影装置得以实时且较有效率地进行自身校准，从而维持深度信息在计算上的准确度。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。

附图说明

图1为依据本发明一实施例所绘示的深度摄影装置的示意图。

图2为依据本发明一实施例所绘示的自身校准方法的流程图。

图3A至图3G分别为依据本发明一实施例所绘示的预设深度计算模板与预设校准模板的示意图。

图4为依据本发明一实施例所绘示的校准模块的示意图。

图5为依据本发明一实施例所绘示的依据校准模板、预设校准模板以及对应于预设校准模板的预设对照表而调整装置参数的流程图。

【符号说明】

100：深度摄影装置

120：投影装置

140：取像装置

160：校准模块

161：分离模块

162：适配模块

163：梯形修正模块

164：比较模块

165：优化模块

CP：预设校准模板

DP：预设深度计算模板

SP：模板特征的实际位置

DV：模板特征的偏移量

L：直线

Cr：交点

IL：辨识标记

Im：影像

Im1：第一过渡影像

Im2：第二过渡影像

Im3：第三过渡影像

S220、S240、S260：自身校准方法的步骤

S261、S262、S263、S264、S265：依据校准模板、预设校准模板以及对应于预设校准模板的预设对照表而调整装置参数的步骤

具体实施方式

本发明实施例提供一种具备自身校准的深度摄影装置以及自身校准方法。深度摄影装置依据预设校准模板与预设深度计算模板，同时于基准面上投影校准模板与深度计算模板，然后撷取校准模板与深度计算模板的影像。藉由图像处理与分析，深度摄影装置判断校准模板与预设校准模板 的差异，藉以校准深度摄影装置的多个装置参数。装置参数例如包括取像装置的内部参数与外部参数。内部参数例如是光轴中心位置(Optical Center)、焦距(Focal Length)等参数。外部参数则用于描述取像装置与投影装置之间的平移、旋转关系。

图1为依据本发明一实施例所绘示的深度摄影装置的示意图。参照图1，深度摄影装置100包括投影装置120、取像装置140以及校准模块160。于本实施例中，投影装置120可以依据预设校准模板与预设深度计算模板而投影校准模板与深度计算模板。投影装置120例如是雷射光源搭配衍射光学元件(Diffractive Optical Element，DOE)的组合、发光二极管(Light Emitting Diode，LED)光源搭配光源屏蔽的组合或者是可以投射光点的投影机(Projector)或微型投影机(Pico Projector)。

对应于投影装置120的设计，取像装置140例如是红外光(Infrared，IR)取像装置、红外光(IR)取像装置与红蓝绿(RGB)取像装置的组合或其它可取像的取像装置。于本实施例中，取像装置140用于取得包括校准模板与深度计算模板的影像I_m。

校准模块160耦接至取像装置140，并且由取像装置140接收包括校准模板与深度计算模板的影像I_m。基于预设校准模板、对应于预设校准模板的预设对照表以及影像I_m中的校准模板，校准模块160调整深度摄影装置100的装置参数以校准深度计算误差。于本实施例中，校准模块160还可以是由处理器(未绘示)所执行软件程序。前述处理器例如是微控制器(micro-controller)、嵌入式控制器(embedded controller)、中央处理器(central processing unit，CPU)、场效可程序逻辑门阵列(Field programmable gate array，FPGA)、特殊应用集成电路(Application-specific integrated circuit，ASIC)或类似的元件。前述处理器还可基于影像Im中的深度计算模板来进行深度计算。值得注意的是，于其它实施例中，校准模块160还例如是以特定的电路结构而实现。

图2为依据本发明一实施例所绘示的自身校准方法的流程图。本实施例的自身校准方法适用于图1所示的深度摄影装置100。参照图1与图2，投影装置120基于预设校准模板与预设深度计算模板，投射校准模板与深度计算模板至基准面，其中校准模板合并于深度计算模板(步骤S220)。

更具体而言，如同前述，投影装置120可以由不同的元件或元件组合来实现，例如是雷射光源与衍射光学元件的组合。当投影装置120包括雷射光源以及衍射光学元件时，衍射光学元件是对应于预设深度计算模板与预设校准模板而设计。藉此，当雷射光源所发射的雷射光经过衍射光学元件而投影至平坦且非镜面的基准面时，便会于基准面上形成深度计算模板与校准模板。

类似地，于另一实施例中，当投影装置120包括发光二极管光源与光源屏蔽时，光源屏蔽对应于预设深度计算模板与预设校准模板而设计，而发光二极管光源所发射的光束经过光源屏蔽而投影至平坦且非镜面的基准面时，便会于基准面上形成深度计算模板与校准模板。于本发明又一实施例中，当投影装置120为可投射光点的投影机或微型投影机时，藉由对投影光束的控制，深度摄影装置100可以依据预设深度计算模板与预设校准模板而于基准面上形成深度计算模板与校准模板。

图3A至图3G分别为依据本发明一实施例所绘示的预设深度计算模板与预设校准模板的示意图。如图3A至图3F所示，预设深度计算模板DP例如是包括多个点状区域。预设校准模板CP则包括多个预设模板特征，而前述预设模板特征包括多条直线L(即线状区域)以及直线L间的多个交点Cr。预设校准模板CP可以为不同的设计，例如是图3A与图3D所示的田字形式的预设校准模板CP、图3B与图3E所示的方格形式的预设校准模板CP或图3C与图3F所示的双箭号交叉形式的预设校准模板CP。另一方面，当预设深度计算模板DP以及预设校准模板CP以模板中心为基准而重叠合并时，预设校准模板CP的涵盖范围可以是大于预设深度计算模板DP的涵盖范围(如图3A至图3C)，又或者预设校准模板CP的涵盖范围可以是小于预设深度计算模板DP的涵盖范围(图3D至图3F)。

于本发明的一实施例中，预设校准模板CP隐藏于预设深度计算模板DP之中。如图3G所示，预设校准模板CP由部分点状区域所组成而隐藏于预设深度计算模板DP之中。预设校准模板CP之中还包括多个辨识标记IL，分别坐落于预设深度计算模板DP上的不同方位，并且辨识标记IL则作为从预设深度计算模板DP中辨识预设校准模板CP的主要依据。具 体而言，前述图3D至图3G的预设校准模板CP例如是以此形式呈现于预设深度计算模板DP之中。

重新参照图1、图2、图3A至图3G，对于投影装置120依据预设深度计算模板DP以及预设校准模板CP而投影在基准面上的校准模板与深度计算模板，取像装置140进一步截取包括校准模板与深度计算模板的影像I_m(步骤S240)，而后传输至校准模块160。校准模块160则依据影像I_m的校准模板、预设校准模板CP以及对应于预设校准模板CP的预设对照表，调整深度摄影装置100的多个装置参数以校准深度计算误差(步骤S260)。

一般而言，当投影装置120依据预设深度计算模板DP以及预设校准模板CP而于基准面投影深度计算模板以及校准模板时，深度计算模板以及校准模板会随深度摄影装置100的倾斜、深度摄影装置100与基准面间的距离、投影装置120的偏差等因素而不同于预设深度计算模板DP以及预设校准模板CP。因此，在正式使用前，可利用深度摄影装置100在不同的多个已知偏斜角度以及多个已知距离下，基于预设校准模板CP而投影多个先前校准模板至基准面。此时，多个先前校准模板的多个先前模板特征在多张先前影像中的多个先前位置以及先前模板特征之间的多个先前几何关系，可以作为预设参数而建立一个预设对照表于深度摄影装置100中。先前模板特征的先前位置例如是先前模板特征在先前影像上所对应的像素点。先前几何关系则包括先前模板特征在先前影像中的间隔像素点数等，但不以此为限。

图4为依据本发明一实施例所绘示的校准模块的示意图。

图5为依据本发明一实施例所绘示的依据校准模板、预设校准模板以及对应于预设校准模板的预设对照表而调整装置参数的流程图。参照图4与图5，校准模块160更包括分离模块161、适配模块162、梯形修正模块163、比较模块164以及优化模块165。分离模块161耦接取像装置140。当校准模块160由取像装置140接收包括校准模板与深度计算模板的影像I_m后，分离模块161从影像I_m中分离出包括校准模板的第一过渡影像I_m1(步骤S261)。

详细而言，分离模块161依据影像I_m的每一像素点以及邻近于每一像素点的多个邻近像素点，判断每一像素点的连结性性质。举例而言，分离模块161例如是选择以每一像素点的邻近像素点的个数作为阀值。当一个像素点的邻近像素点的个数不超过阀值时，分离模块161将前述像素点视为具有弱连结性的像素点。相对的，当一个像素点的邻近像素点的个数超过阀值时，分离模块161将前述像素点视为具有强连结性的像素点。接着，分离模块161排除影像I_m中具有弱连结性的像素点，并且对具有强连结性的像素点执行侵蚀算法，藉以进一步细线化具有强连结性的像素点群，从而分离出具有校准模板的第一过渡影像I_m1。

一般而言，影像I_m中的校准模板是投影装置120基于预设校准模板CP所投射的校准模板，故而校准模板对应于预设校准模板CP的多个预设模板特征而同样具有多个模板特征。由于影像I_m中的校准模板具有相互关联的模板特征，故通常是对应至具有强连结性的像素点群。因此，分离模块161可以藉由保留具有强连结性的像素点群而从影像I_m中分离出具有校准模板的第一过渡影像I_m1。

参照图4与图5，分离模块161分离出具有校准模板的第一过渡影像I_m1后，耦接至分离模块161的适配模块162更接收第一过渡影像I_m1，并且定位第一过渡影像I_m1的校准模板的多个模板特征以产生第二过渡影像I_m2(步骤S262)。详细而言，由于分离模块161所分离出的第一过渡影像I_m1可能还包括非校准模板的像素点群，因而适配模块162更进一步地定位第一过渡影像I_m1的校准模板的多个模板特征而产生第二过渡影像I_m2。

于本实施例中，适配模块162例如是直接地比对第一过渡影像I_m1与预设校准模板CP以定位第一过渡影像I_m1的校准模板的模板特征，但本发明不限于此。具体而言，于另一实施例中，适配模块162例如是比对预设对照表与第一过渡影像I_m1以定位校准模板的模板特征。换言之，即是利用预设对照表内的预设参数来定位第一过渡影像Im1的校准模板的模板特征。于又一实施例中，当投影装置120使用雷射光源时，适配模块162则例如是利用第一过渡影像I_m1在影像中心的零级光点(Zero order)作为基准，对第一过渡影像I_m1执行转换以定位第一过渡影像I_m1的校准模板的模板特征。更详细而言，由于第一过渡影像I_m1的模板特征包括了多条直线， 故利用例如霍夫转换(Hough Transform)以准确地定位第一过渡影像I_m1的校准模板的模板特征。

参照图4与图5，梯形修正模块163耦接于适配模块162，并且于接收第二过渡影像I_m2后，修正第二过渡影像I_m2的梯形失真以产生第三过渡影像I_m3(步骤S263)。具体而言，在自身校准的流程中，梯形失真可能是肇因于深度摄影装置100的倾斜配置而使得取像轴与基准面不为直角。此时，梯形修正模块163可以依据第二过渡影像I_m2的影像边缘或者是第二过渡影像I_m2的多个图形特征来判断第二过渡影像I_m2是否具有梯形失真，并且对应地修正第二过渡影像I_m2的梯形失真来产生第三过渡影像I_m3。

参照图4与图5，比较模块164耦接梯形校准模块163，并且于接收第三过渡影像I_m3后，比较预设对照表的多个预设参数以及第三过渡影像I_m3的模板特征之间的多个几何关系，藉以取得至少部分的模板特征的实际位置SP以及偏移量DV(步骤S264)。于本实施例中，比较模块164计算模板特征在第三过渡影像I_m3的实际位置SP以及模板特征之间的几何关系。类似于先前影像中的先前模板特征以及先前几何关系，模板特征在第三过渡影像I_m3的实际位置SP例如是模板特征在第三过渡影像I_m3上所对应的像素点，而模板特征间在第三过渡影像I_m3中的几何关系则包括多个模板特征在第三过渡影像I_m3中的间隔像素点数等，但不以此为限。

更进一步而言，比较模块164比较前述的实际位置SP、模板特征之间的几何关系以及预设对照表的预设参数以取得模板特征的偏移量DV。由于预设对照表的预设参数对应了先前校准模板的多个先前模板特征在先前影像中的先前位置以及多个先前模板特征之间的先前几何关系，因而可用于确认模板特征在第三过渡影像I_m3的实际位置SP是否与相对应的先前影像的先前模板特征的先前位置有所偏差，进而计算第三过渡影像I_m3的模板特征的偏移DV量。

参照图4与图5，优化模块165耦接比较模块164，并且于接收至少部分的模板特征的实际位置SP以及偏移量DV后，依据实际位置SP、偏移量DV以及预设对照表的预设参数，执行优化算法以调整深度摄影装置100的装置参数(步骤S265)。于本实施例中，优化模块165例如是执行莱文贝格-马夸特(Levenberg-Marquardt)优化算法以取得深度摄影装置100 的多个校准装置参数。更详细而言，优化模块165基于模板特征的实际位置SP、模板特征的偏移量DV、第三过渡影像I_m3的影像分辨率(影像宽度与影像长度)等数据以及优化算法执行次数、停止阀值等设定，而最终可以取得如深度摄影装置100的实际偏移角度、实际倾斜角度、实际焦距位置、实际主点位置等校准装置参数。优化模块165以前述校准装置参数作为深度摄影装置100的装置参数，使得深度摄影装置100可以在后续的深度计算程序中校准深度计算误差并正确地计算深度信息。

值得注意的是，优化模块165还可以是执行高斯牛顿法(Gauss-Newton method)、QR分解法(QR Decomposition)、奇异值分解(Singular Value Decomposition)等优化算法，而不限于莱文贝格-马夸特优化算法。

综上所述，本发明实施例所提供之具备自身校准的深度摄影装置以及相关的自身校准方法，首先于基准面投射校准模板与深度计算模板，撷取校准模板与深度计算模板的影像，然后藉由校准模板以及已知的预设校准模板、预设对照表，进一步地调整深度摄影装置的装置参数以校准深度计算误差。如此一来，深度摄影装置得以实时且较有效率地进行自身校准，从而维持深度信息在计算上的准确度。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视权利要求保护范围为准。