用于调整具有微镜头阵列的成像系统的基线的系统和方法

用于调整具有微镜头阵列的成像系统的基线的系统和方法
【专利摘要】一种用于建立具有微镜头阵列的立体成像装置的基线的系统及用于制造及使用所述系统的方法。所述系统获取所述微镜头阵列与所关注物体之间的物距，并基于所获取的物距从所述微镜头阵列中选择第一和第二镜头。所述系统同样可使用所述成像装置来进行同时定位及构图(SLAM)。在一种实施方式中，所述系统可使用所述微镜头阵列来获取第一和第二立体帧。所述系统由此可使用惯性测量单元(IMU)来测量所述第二立体帧的旋转并通过将所述旋转数据与所述第一和第二立体帧组合来匹配所述第一和第二立体帧。所述系统由此可使得同时定位及构图系统能在各种室内和/或室外环境中更准确且更实用地进行。
【专利说明】
用于调整具有微镜头阵列的成像系统的基线的系统和方法
技术领域
[0001] 所掲露的实施方式设及数字成像，且更具体来说设及用于调整具有微镜头阵列的 成像系统的基线的系统和方法。
【背景技术】
[0002] 随着数字图像技术的发展，特别是无人机技术的发展，使得自动同时定位及构图 (Simultaneous Localization And Mapping,SLAM)同时适于室内和室外应用成为一项关 键技术。然而，精确的同时定位及构图一直是个难点。
[0003] 同时定位及构图设及构建或更新不熟悉环境构图的运算问题，同时保持智能体由 其定位的轨迹。典型的同时定位及构图设及构建立体帖并连接所述帖W形成连续构图。
[0004] 目前，主流的同时定位及构图系统通常使用单目相机或双目相机来实现立体环境 构图和定位功能。一些新研发的研究方法使用深度相机，即用结构光或飞行时间（Time Of Flight，T0F)深度传感器来代替单目或双目相机。然而，运些方法因其目前的应用条件及其 相对高昂的成本而受到了极大限制。
[0005] 此外，目前一些主流的同时定位及构图方法通常是通过结合视觉测量来实施。目 前流行的视觉测量方法通常使用被动的单目或双目镜头。类似于人的双眼，视觉测量的基 本原理是利用不同视角的视差计算所关注物体的=维结构，并实现定位。在单目镜头的情 况下，视差仅能通过平移产生；因此，其检测=维环境的能力取决于它的运动特征，该能力 相对受限。
[0006] 双目相机的视差通过第一镜头与第二镜头之间的基线产生；因此，其图像立体环 境的能力与基线的长度密切相关。当长度固定时，由于存在盲点，因此太近或太远的物体都 是无法检测的。随着主动深度传感器(结构光，T0F)的发展，基于主动深度传感器的同时定 位及构图成是一个新的研究热点。然而，由于运些主动传感器的性能、设计结构和成本的限 审IJ，它们的适用环境主要是小型的室内场景。例如，由于阳光的全谱特性，基于结构光的深 度传感器是不适用于室外的。此外，TOF深度传感器在室外使用时依赖于相对强能量的某种 发射光的W及相对精密的传感器设计等；因此，它们不适合小型的飞行平台。
[0007] 另一方面，由于物理原理的限定，很难精准地使用同时定位及构图系统中的一些 其他技术，例如惯性测量单元（Inedial Measurement化it, IMU)、气压计和其他传感器， 来构建准确且可广泛适用的同时定位及构图系统。
[000引综上，需要在各种条件下都精准且更实用的同时定位及构图系统和方法。

【发明内容】

[0009]根据本文掲露的第一个方面，提出一种用于建立具有微镜头阵列的立体成像系统 的基线的方法，所述方法包括：
[0010]获取微镜头阵列与所关注物体之间的物距；从及
[0011]基于所述获取的物距从微镜头阵列中动态地选择两个镜头。
[0012] 在所掲露方法的一种示例性的实施方式中，动态地选择两个镜头包括从微镜头阵 列的多个镜头中选择第一镜头和第二镜头。
[0013] 在所掲露方法的一种示例性的实施方式中，获取物距包括重复地获取微镜头阵列 与所关注物体之间变化的物距；W及
[0014] 从微镜头阵列的多个镜头中选择第一镜头和第二镜头是基于重复获取变化的物 距。
[0015] 所掲露方法的示例性的实施方式还包括基于所选择的第一镜头和第二镜头建立 基线。
[0016] 所掲露方法的示例性实施方式还包括基于微镜头阵列与所关注物体之间变化的 物距来自动调整基线。
[0017] 在所掲露方法的一种示例性的实施方式中，获取物距包括：
[0018] 通过第一镜头获取所关注物体的第一图像；
[0019] 通过第二镜头获取所关注物体的第二图像;W及
[0020] 确定第一图像与第二图像之间的双目视差;且
[0021] 其中获取物距包括基于确定的双目视差计算物距。
[0022] 在所掲露方法的一种示例性的实施方式中，所述获取物距还包括在确定所述双目 视差之前基于第一镜头和第二镜头的焦距计算校正焦距。
[0023] 在所掲露方法的一种示例性的实施方式中，获取物距包括：
[0024] 获取第一图像上的多个特征点；W及
[0025] 使第一图像的多个特征点与第二图像的点匹配。
[0026] 在所掲露方法的一种示例性的实施方式中，所述特征点包括第一图像或第二图像 的像素。
[0027] 在所掲露方法的一种示例性的实施方式中，所述确定双目视差包括确定至少五个 像素且不超过图像宽度五分之一的双目视差。
[00%]在所掲露方法的一种示例性的实施方式中，所述匹配多个特征点包括：
[0029] 扫描第二图像W识别第二图像与所述第一图像的选定特征点相匹配的点；W及
[0030] 计算第一图像的选定特征点与所述点之间的相似度。
[0031] 在所掲露方法的一种示例性的实施方式中，所述计算相似度包括将第一图像的选 定特征点与W第二图像上的该点为中屯、的3X3像素区域进行比较。
[0032] 在所掲露方法的一种示例性的实施方式中，比较3 X 3像素区域包括比较彩色图像 的每个像素的每个色彩分量的视差总和或比较黑白图像的每个像素的灰度值的视差总和。
[0033] 在所掲露方法的一种示例性的实施方式中，所述获取物距还包括：
[0034] 确定微镜头阵列与每个特征点之间各自的特征距离；W及
[0035] 使用特征距离确定物距。
[0036] 在所掲露方法的一种示例性的实施方式中，所述确定物距包括基于特征距离的平 均值获取物距。
[0037] 在所掲露方法的一种示例性的实施方式中，所述确定物距包括选择一个或多个特 征点并基于选定特征点的特征距离获取物距。
[0038] 在所掲露方法的一种示例性的实施方式中，所述选择特征点包括选择最靠近所述 微镜头阵列的预定百分比的特征点并获取所述物距作为距微镜头阵列最远的选定特征点 的特征距离。
[0039] 在所掲露方法的一种示例性的实施方式中，选择第一镜头和第二镜头包括：
[0040] 基于微镜头阵列可用的最小基线、校正焦距和预定的视差范围估算所述物距的检 测范围；
[0041 ]基于物距的估算检测范围计算基线范围；
[0042] 基于估算的物距检测范围计算基线范围；W及
[0043] 当确定视差大于预定水平时，选择最小基线。
[0044] 在所掲露方法的一种示例性的实施方式中，选择第一镜头和第二镜头包括：
[0045] 由Z =巧(T/Ui-Xr))估算物距的检测范围（Zmin至Zmax)，其中Z为物距，f为选定镜 头的校正焦距，T为两个最靠近镜头之间的基线，（Xl-Xr)为两个匹配点的视差；
[OOW 由T = ZdA计算可用基线的范围，其中d=(xi-Xr)为视差；W及
[0047] 在确保视差关系为d〉10的情形下，选择具有最小基线T的第一镜头和第二镜头。
[0048] 在所掲露方法的一种示例性的实施方式中，所述选择第一镜头和所述第二镜头包 括增加基线直到第一镜头的视野与第二镜头的视野重叠至少50%。
[0049] 所掲露方法的示例性实施方式还包括在基线自动调整后校准立体成像系统的外 部参数。
[0050] 在所掲露方法的一种示例性的实施方式中，校准包括校准立体成像系统的平移外 部参数和/或旋转外部参数中的至少一个。
[0051 ]在所掲露方法的一种示例性的实施方式中，校准包括初始根据选择的两个镜头校 准平移外部参数。
[0052] 在所掲露方法的一种示例性的实施方式中，校准包括在初始校准后进一步校准外 部参数W使得外部参数最优化。
[0053] 在所掲露方法的一种示例性的实施方式中，立体成像系统安装在移动平台上，且 其中自动调整取决于移动平台的行进模式。
[0054] 在所掲露方法的一种示例性的实施方式中，移动平台是无人飞行器（unmanned aerial vehicle，UAV)，且其中行进模式是无人飞行器的飞行模式。
[0055] 根据本文掲露的另一个方面，提供一种立体成像系统，其用于根据上述任一种方 法来进行自动基线调整。
[0056] 根据本文掲露的另一个方面，提供一种计算机程序产品，其包括用于根据上述任 一种方法自动调整具有微镜头阵列的立体成像系统的基线的指令。
[0057] 在所掲露装置的一种示例性的实施方式中，所述装置包括：
[0058] 具有多个镜头的微镜头阵列，每个镜头单独地或与一个或多个其他镜头任意组合 地用于获取图像;和
[0059] 控制器，其用于基于所获取的微镜头阵列与所关注物体之间的物距来动态地选择 两个镜头。
[0060] 在所掲露装置的一种示例性的实施方式中，控制器用于从微镜头阵列的多个镜头 中选择第一和第二镜头。
[0061] 在所掲露装置的一种示例性的实施方式中，控制器用于获取微镜头阵列与所关注 物体之间变化的物距并基于重复获取变化的物距而从微镜头阵列的多个镜头中选择第一 镜头和束^镜头。
[0062] 在所掲露装置的一种示例性的实施方式中，控制器用于基于第一镜头和第二镜头 来建立基线。
[0063] 在所掲露装置的一种示例性的实施方式中，控制器用于基于微镜头阵列与所关注 物体之间变化的物距来动态地调整基线。
[0064] 在所掲露装置的一种示例性的实施方式中，控制器用于通过W下方式获取物距：
[0065] 通过第一镜头获取所关注物体的第一图像；
[0066] 通过第二镜头获取所关注物体的第二图像；
[0067] 确定第一图像与第二图像之间的双目视差；W及
[0068] 基于确定的双目视差来计算物距。
[0069] 在所掲露装置的一种示例性的实施方式中，控制器用于在确定双目视差之前基于 第一镜头和第二镜头的焦距来计算校正焦距。
[0070] 在所掲露装置的一种示例性的实施方式中，控制器用于获取第一图像上的多个特 征点并将第一图像上的多个特征点与第二图像上的点相匹配。
[0071] 在所掲露装置的一种示例性的实施方式中，特征点包括第一图像或第二图像的像 素。
[0072] 在所掲露装置的一种示例性的实施方式中，控制器用于确定至少五个像素且不超 过图像宽度五分之一的双目视差。
[0073] 在所掲露装置的一种示例性的实施方式中，控制器用于扫描第二图像来识别第二 图像上与第一图像的选定特征点相匹配的点，并用于计算第一图像的选定特征点与所述点 之间的相似度。
[0074] 在所掲露装置的一种示例性的实施方式中，控制器用于将第一图像的每个选定特 征点与W第二图像上的该点为中屯、的3X3像素区域进行比较。
[0075] 在所掲露装置的一种示例性的实施方式中，控制器用于比较彩色图像的每个像素 的每个色彩分量的视差总和或比较黑白图像的每个像素的灰度值的视差总和。
[0076] 在所掲露装置的一种示例性的实施方式中，控制器用于确定微镜头阵列与每个特 征点之间各自的特征距离，且使用特征距离确定物距。
[0077] 在所掲露装置的一种示例性的实施方式中，物距为特征距离的平均值。
[0078] 在所掲露装置的一种示例性的实施方式中，控制器用于选择一个或多个特征点并 基于选定特征点的特征距离获取物距。
[0079] 在所掲露装置的一种示例性的实施方式中，W最靠近镜头阵列或距微镜头阵列最 远的特征点的预定百分比来选择特征点。
[0080] 在所掲露装置的一种示例性的实施方式中，控制器用于通过W下方式来选择述第 一镜头和束^镜头：
[0081] 基于微镜头阵列可用的最小基线、校正焦距和预定的视差范围来估算物距的检测 范围；
[0082] 基于估算的物距检测范围来计算基线范围；W及
[0083] 在确保视差大于预定水平时，选择最小基线。
[0084] 在所掲露装置的一种示例性的实施方式中，通过W下方式选择第一镜头和第二镜 头：
[0085] 由Z =巧(T/Ui-Xr))估算物距的检测范围（Zmin至Zmax)，其中Z为物距，f为选定的 第一和第二镜头的校正焦距，T为两个最靠近镜头之间的基线，（Xl-Xr)为两个匹配点的视 差；
[008引由T = ZdA计算可用基线的范围，其中d=(xi-Xr)为视差；W及
[0087] 在确保视差关系为d〉10的情形下，选择具有最小基线T的第一镜头和第二镜头。
[0088] 在所掲露装置的一种示例性的实施方式中，控制器用于增加基线直到第一镜头的 视野与第二镜头的视野重叠至少50%。
[0089] 在所掲露装置的一种示例性的实施方式中，控制器用于在调整基线后校准立体成 像系统的外部参数。
[0090] 在所掲露装置的一种示例性的实施方式中，外部参数包括所述立体成像系统的平 移外部参数和/或旋转外部参数中的至少一个。
[0091] 在所掲露装置的一种示例性的实施方式中，所述平移外部参数初始校准是根据第 一透镜和第二透镜。
[0092] 在所掲露装置的一种示例性的实施方式中，所述控制器用于在初始校准后校准所 述外部参数W使得所述外部参数最优化。
[0093] 在所掲露装置的一种示例性的实施方式中，所述立体成像系统是无人飞行器 (UAV)，且其中基线调整取决于无人飞行器的飞行模式。
[0094] 在所掲露装置的一种示例性的实施方式中，所述立体成像系统是红外成像系统。
[0095] 在所掲露装置的一种示例性的实施方式中，所述立体成像系统是X射线成像系统。
[0096] 根据本文掲露的另一个方面，提供一种通过具有微镜头阵列的成像装置进行同时 定位及构图（SLAM)的方法，所述方法包括：
[0097] 通过上述任一种方法使用微镜头阵列获取第一立体帖和第二立体帖；
[0098] 使用惯性测量单元（IMU)来测量第二帖相对于第一立体帖的旋转而产生旋转数 据；W及
[0099] 通过将旋转数据与第一和第二立体帖组合来匹配第一和第二立体帖，
[0100] 其中第一立体帖与第二立体帖W预定的百分比相互重叠。
[0101] 在所掲露方法的一种示例性的实施方式中，获取第一立体帖和第二立体帖包括在 不同的时间点获取第一立体帖和第二立体帖。
[0102] 在所掲露的装置的一种示例性的实施方式中，在不同时间点获取第一立体帖和第 二立体帖包括W不小于六十分之一秒且不大于二十分之一秒的时间间隔获取所述第一立 体帖和第二立体帖。
[0103] 所掲露方法的示例性实施方式中，还包括：
[0104] 基于第一立体帖获取立体点云，
[0105] 其中立体点云是立体特征点的阵列{Pl，P2，P3. . .，Pn}。
[0106] 所掲露方法的示例性实施方式还包括：
[0107] 基于立体点云在x-y平面上获取第二投影阵列Kxi2，yi2)，（x22，y22)，{(X32， 732)，…，{(Xn2，yn2)}。
[0108] 在所掲露方法的一种示例性的实施方式中，获取第二投影阵列包括：
[0109] 基于立体点云在x-y平面上获取第一投影阵列{(Xii，yii)，（X2I ,ysi)，{(X3I， ysi)，…，{(xni，yni)}; W及
[0110] 使用权利要求9至11中任一项所述的方法将第一投影阵列的多个点匹配至第二立 体图像上而产生第二投影阵列 Kxi2，yi2)，（X22，y22)，Kx32，y32)
[0111] 所掲露方法的示例性实施方式还包括：
[0112] 基于旋转数据、立体点云和第二投影阵列计算平移阵列T。
[0113] 在所掲露方法的一种示例性的实施方式中，计算平移阵列T包括应用关系式：
[0114]
[0115] 其中R为旋转测量阵列，門为立体点，T表示待计算的平移阵列，且ii为随机数。
[0116] 在所掲露方法的一种示例性的实施方式中，应月
丕包括通过解 开选自立体点云的至少两个点及其在第二投影阵列中匹配的两个点的方程组来计算T。
[0117] 所掲露方法的示例性实施方式还包括：
[0118] 通过将T引入具有多个选自立体点云的点及其在第二投影阵列上的相应投影点的 方矛_
来证实平移阵列T，从而得到匹配点的数量;W及
[0"y」选挣具巧最大数量匹配点的平移阵列T作为选定的平移阵列T。
[0120] 所掲露方法的示例性实施方式还包括：
[0121] 采用旋转数据、选定的平移T和关系式 ^计算第二帖的立体点 云。
[0122] 所掲露方法的示例性实施方式还包括：
[0123] 通过上述方法用微镜头阵列获取另一立体帖；W及
[0124] W第二立体帖作为第一立体帖且W新获取的立体帖作为第二立体帖重复上述步 骤。
[0125] 根据本文掲露的另一方面，提供一种同时定位及构图系统，其用于根据任意上述 方法进行自动定位与构图。
[0126] 根据本文掲露的另一方面，提供一种计算机程序产品，所述计算机程序产品包括 用于根据任意上述方法使用具有微镜头阵列的立体成像系统自动进行同时定位及构图的 指令。
[0127] 根据本文掲露的另一方面，提供一种使用具有微镜头阵列的成像装置进行同时定 位及构图（SLAM)的装置，所述装置包括：
[0128] 惯性测量单元IMU，其用于测量与在第一时间点获取的第一立体帖相关的在第二 时间点获取的第二立体帖的旋转;和
[0129] 控制器，其用于：
[0130] 通过任意上述方法使用所述微镜头阵列获取第一立体帖和第二立体帖；
[0131] 由惯性测量单元获取所述第二立体帖的旋转数据；W及
[0132] 通过将旋转数据与所述第一和第二立体帖组合来匹配所述第一和第二立体帖，
[0133] 其中，所述第一立体帖与第二立体帖W预定的百分比相互重叠。
[0134] 在所掲露装置的一种示例性的实施方式中，在不同的时间点获取第一立体帖和第 二立体帖。
[0135] 在所掲露装置的一种示例性的实施方式中，不同时间点之间的间隔不小于六十分 之一秒且不大于二十分之一秒。
[0136] 在所掲露装置的一种示例性的实施方式中，所述控制器还用于基于第一立体帖获 取立体点云，其中，所述立体点云为立体特征点的阵列{ Pl，P2，P3 . . .，Pn}。
[0137] 在所掲露装置的一种示例性的实施方式中，所述控制器还用于基于立体点云在X- y 平面上获取第二投影阵列{(Xl2,yi2) , (X22，y22)，{(X32，y32)，...，{(Xn2，yn2)}。
[0138] 在所掲露装置的一种示例性的实施方式中，所述控制器用于通过W下方式获取第 二投影阵列：
[0139] 基于立体点云在x-y平面上获取第一投影阵列{(Xii，yii)，（X2I ,ysi)，{(X3I， ysi)，…，{(xni，yni)}; W及
[0140] 使用权利要求10至12中任一项所述的方法将第一投影阵列的多个点匹配至第二 立体图像上而产生第二投影阵列 Kxi2，yi2)，（X22，y22)，Kx32，y32)
[0141] 在所掲露装置的一种示例性的实施方式中，控制器还用于基于旋转数据、立体点 云和第二投影阵列来计算平移阵列T。
[0142] 在所掲露装置的一种示例性的实施方式中，平移阵列T通过应用W下关系式来计 算：
[0143]
[0144] 其中R为旋转测量的阵列，門为立体点云的立体点，T表示待计算的平移阵列且y为 随机数。
[0145] 在所掲露装置的一种示例性的实施方式中，通过选自立体点云的至少两个点及其 在第二投影阵列中匹配的两个点的方程组来解开平移阵列T。
[0146] 在所掲露装置的一种示例性的实施方式中，所述控制器被配置成用于通过将T引 入具有多个选自立体点云的点及其在第二投影阵列上的相应投影点的方程
3来证实平移阵列T，从而得到匹配点的数量；W及
[0147] 选择具有最大数量匹配点的平移阵列T作为选定的平移阵列T。
[0148] 在所掲露装置的一种示例性的实施方式中，所述控制器用于采用所述旋转数据、 所述选定的平移T和关系式：
计算所述第二帖的立体点云。
[0149] 在所掲露装置的一种示例性的实施方式中，所述控制器用于通过上述方法用所述 微镜头阵列获取另一立体帖，并W所述第二立体帖作为第一立体帖且W所述新获取的立体 帖作为第二立体帖。
【附图说明】
[0150] 图1为说明立体成像系统的一种实施方式的示例性顶层框图，其中所述立体成像 系统包括微镜头阵列和传感器阵列。
[0151] 图2为说明图1中的微镜头阵列的一种实施方式的一具体示意图。
[0152] 图3为说明图1中的立体成像系统的一种备选实施方式的具体示意图，其中在立体 摄影中使用微镜头阵列。
[0153] 图4为说明图3中的立体成像系统的一种备选实施方式的具体示意图，其中通过= 角测量法来确定物距。
[0154] 图5为说明图1中的立体成像系统的一种实施方式的示例性顶层框图，其中该系统 包括用于微镜头阵列的控制器。
[0155] 图6为说明图1中的立体成像系统基于物距的方法的一种实施方式的示例性顶层 流程图。
[0156] 图7为说明基于物距来调整图1中的立体成像系统的基线的方法的一种实施方式 的示例性流程图。
[0157] 图8为说明基于物距来调整图7中的立体成像系统的基线的方法的另一种实施方 式的示例性流程图。
[015引图9为说明根据图8的方法确定物距的方法的一种实施方式的示例图。
[0159] 图10为说明图8方法的一种备选实施方式的示例图，其中该方法包括为选定的微 镜头获取校正的焦距。
[0160] 图11为说明图6方法的另一种备选实施方式的示例图，其中通过一定范围的可用 基线来估算基线。
[0161] 图12为说明同时定位及构图（SLAM))方法的一种实施方式的示例性顶层图。
[0162] 图13为说明图10方法的一种可选实施方式的示例图，其中一对立体图像是相匹配 的。
[0163] 应注意，所述附图并非按比例绘制，且在整个附图中，类似结构或功能的元件通常 由相同的元件符号表示W用于说明目的。还应注意，所述附图仅仅是为了便于所述优选的 实施方式。所述附图并非用于说明所述实施方式的每个方面且不限制本发明的范围。
【具体实施方式】
[0164] 由于当前可用的同时定位及构图系统并非广泛适用且无法精准地定位及构图，因 此一种通过调整具有微镜头阵列的成像系统的基线能够符合要求的同时定位及构图系统 和方法可证明是有利的，且为广泛范围的系统应用提供了基础，例如无人机系统和其他移 动装置系统。此结果可根据图1掲露的一种实施方式得W实现。
[0165] 现参阅图1，说明了一种示例性的立体成像系统100具有微镜头阵列102,所述微镜 头阵列102用于接收从所关注物体198反射的光线。所述微镜头阵列102中的每个微镜头(或 镜头）102A(如图2中所示)对应于传感器阵列104中的各自的传感器。所述通过微镜头阵列 102的镜头102A接收的光线被提供至所述传感器阵列104中的相应的传感器。两个镜头102A (如第一镜头10化与第二镜头102c)通常用于立体成像;然而，可选择微镜头阵列102中任意 合适数量的镜头102A。相应的传感器产生数据流133,其代表了传感器阵列104所产生的图 像。产生的图像数量通常等于微镜头阵列102所选定的微镜头102A的数量。数据流133被提 供给图像信号处理器(ISP)llO。在此示例性的实施方式中，数据流133代表了由传感器阵列 104产生并存储于存储器106中的两个图像106A和106B，所述存储器106可为内置存储器和/ 或外置存储器。尽管本文中显示且描述为处理图像对仅用于说明目的，但立体成像系统100 可适于处理任意合适数量的图像。
[0166] 当对所关注物体198成像时，由每个选定的微镜头102A和所述相应的传感器产生 的图像可从选定的视角展示所关注的物体198。通过选择多个微镜头102A，所述关注物体 198可从多个不同的视角成像。所述图像信号处理器110可通过数据流137处理所述得到的 图像而产生立体图像199。在一种实施方式中，所述图像信号处理器110可产生作为同时定 位及构图系统（图中未示）的一部分用于定位目的的立体图像199。如图1中所述，所述立体 成像装置100中的所述微镜头阵列102、传感器阵列104、存储器106和/或图像信号处理器 110可在控制器120的控制下运行。另外和/或备选地，所述图像信号处理器110可提供对所 述立体成像装置100完全或部分的控制。
[0167] 如图1所示，所述示例性的立体成像装置100可与可选的惯性测量单元（IMU) 150通 信。所述惯性测量单元150可用于提供所述立体成像装置100在两个时间点之间的旋转测 量。所述图像信号处理器110可利用所述旋转测量，沿立体成像装置100的行进路径组合不 同时间点的两个立体帖W产生连续构图。连续构图为同时定位及构图系统的第二部分。尽 管惯性测量单元150显示为独立于立体成像装置100的部件(或外部部件），但惯性测量单元 150也可W设置在所述立体成像装置100的内部。
[0168] 有利地，本文掲露的方法使得同时定位及构图系统能够在各种室内和/或室外环 境中更精准且更实用地进行。因此，与具有结构光和/或飞行时间深度传感器的常规系统相 比而言，同时定位及构图系统可具有更大的利用范围。
[0169] 图2示出了图1所示的微镜头阵列102的一种实施方式的示例性排列。图2中的微镜 头阵列102所示为4X4的微镜头阵列，提供总共16个微镜头102A。每个微镜头102A可用于单 独地获取图像和/或与微镜头阵列102中的任意数量的其他微镜头102A组合来获取图像。当 使用两个选定的微镜头102A来产生图像时，例如两个微镜头102A之间的距离定义双目成像 装置的基线。换句话说，当所述使用微镜头阵列102中的两个选定微镜头102A来产生图像 时，立体成像装置100形成双目成像装置。下文参考图3描述关于双目成像装置更具体的细 -H- T。
[0170] 重新参考图2,微镜头阵列102中具有最大距离的两个镜头102A，如第一镜头10化 和第二镜头102c，定义了双目成像装置的最大基线Tmax。两个最靠近彼此的镜头102A例如第 一镜头102d和第二镜头102e，定义了最小基线Tmin。在图2中，示意出了4X4的微镜头阵列 102,所述Tmax为位于对角线上的两个最外端微镜头102A之间的距离。所述Tmin为位于同一行 或同一列中的任意两个相邻微镜头102A之间的距离，无论哪种情况都具有较短的距离。
[0171] 基于立体观测原理，降低基线T的值可降低检测范围的下限和/或所述范围的上 限。增加所述T可导致相反的效果。因此，所述立体成像装置100相对于传统的具有固定基线 的双目成像装置具有优越性，运是因为传统的装置无法同时考虑下限和上限。
[0172] 另一方面，所述微镜头阵列102可基于选择如图2中所示的微镜头102A来提供预定 范围的不同基线。较近处物体的立体位置可通过具有较小基线的微镜头102A来计算，且较 远处物体的立体位置可通过具有较大基线的微镜头102A来计算。因此，可通过图2的微镜头 阵列102增加立体视觉的范围。虽然图2显示且描述提供4X4阵列形式的16个微镜头102A用 于说明的目的，但微镜头阵列102可包括任意合适数量的W任意合适的配置或大小提供的 微镜头102A。如果W多行和多列微镜头102A的阵列形式提供，所述微镜头阵列202可包括多 行和多列，微镜头阵列202中的行数量与列数量不同或相同。对于所述微镜头阵列102中选 定的相邻微镜头102A对而言，微镜头阵列102中相邻微镜头102A之间的间隔可相同和/或不 同。
[0173] 现参考图3,一种用于确定微镜头阵列102与所关注物体198之间的物距Z的系统。 图3说明关于所述微镜头阵列102的两个选定镜头102A(第一镜头310a和第二镜头310b)使 用立体观测。尽管在本文中使用微镜头阵列102的镜头102A进行说明，但任意类型的镜头阵 列或微镜头阵列都是可用的。因此，镜头102A与微镜头102A是完全可互换的。微镜头310a和 310b各自感知相同的关注物体198，但位于不同的空间坐标中，如所示的坐标轴(Xi，yi，Zi) 和(X2，y2，Z2)。微镜头310a和310b沿它们各自的光轴330a和330b感知所关注的物体198且由 此获得所关注物体198的两种不同的二维图像320a和32化。由于从不同的位置和/或角度获 取，所述因此二维图像320a和320b通常是不同的，除非所述微镜头310a和31化放置成使得 它们的光轴330a和33化重叠的位置。因此，如下文参考图4更详细的描述，在大多数情况下， 可获得图像320a和32化之间的双目视差d(例如，在方程4中所表不的）。
[0174] 现参考图4,可通过比较二维图像320a和32化来确定微镜头对310a和310b与所述 所关注物体198之间的物距Z。可使用一种S角测量方法，从而使用图像320a与320b之间的 双目视差d来确定物距Z。特别的是，可如下给出所关注物体198的位置，具有指数i，由其坐 标(Xi'Yi'Zi)表示： W75: 方程（0 W 76- 方程（2) WW 方程（3)
[017引其中Cx和Cy表示微镜头3 IOa和31化的中屯、坐标，Xi和yi表示所述所关注物体198在 所述图像320a和320b中的一个或两个中的坐标，T为基线（换句话说，为微镜头310a和31化 的中屯、坐标之间的距离），f为微镜头310a和31化的校正焦距，i为多个所关注物体198和/或 所关注物体198的多个特征点355上的指数，且d为图像320a与32化之间的双目视差，此处表 示如下? WW 方程（4)
[0180]图5示出了一种用于调整立体成像系统100的基线T的示例性方法100的实施方式。 在图5中，所述立体成像系统100具有所述控制器120(如图I中所示)和微镜头阵列102(如图 1中所示）。所述控制器120通过控制所述微镜头阵列102的动作而与所述微镜头阵列102交 互。在图5中，所述控制器120可从所述微镜头阵列102中选择一个或多个微镜头102A来产生 立体成像所需的基线;所述微镜头阵列102用于获取图像，所述图像用作用于获取和/或估 算微镜头阵列1〇2(如图1中所示）与所述所关注物体198(如图1中所示)之间的物距Z的基 础。可不断变化的物距Z可根据预定的时间间隔被重复地获取或估算。在一些实施方式中， 所述时间间隔可限制在六十分之一秒至二十分之一秒的范围内。
[0181] 此外，所述控制器120可控制接收通过微镜头阵列102产生的图像并基于所述图像 计算预期基线，用W从所述微镜头阵列102中选择两个微镜头310a和31化。所述预期基线的 计算和/或两个微镜头310a和31化的选择可基于重复性地获取到的变化的物距。
[0182] 现参考图6,说明一种用于调整立体成像系统100的基线T的示例性方法200的实施 方式。所述方法200的一种实施方式能够自动地和/或手动地调整基线T。在步骤610中，获取 立体成像系统100或所述微镜头阵列1〇2(如图1中所示)与所关注物体198(如图1中所示)之 间的物距Z。可视需要使用任意各种不同的方法来获取物距Z。在一些实施方式中，可使用选 自微镜头阵列1〇2(如图1中所示)的多个微镜头102A(如图2中所示)通过立体观测来获取物 距Z。例如，两个微镜头102A可各自分别获取所关注物体198的图像320a、302b(如图3至4中 所示）。可对所述获取到的图像320a、320b的重叠部分进行分析而估计出与所述关注物体 198的物距Z。备选地和/或另外地，可使用非立体观测方法来获取物距Z，例如使用激光和/ 或使用超声波。在步骤680中，自动选择一对镜头102AW根据物距Z来获取基线T。将参考图 11更详细地描述镜头的选择。
[0183] 图7中说明方法300的一种备选的实施方式。本文中，所述方法300基于立体观测， 使用第一镜头310a和第二镜头31化来获取物距Z。在步骤611A中，使用第一镜头310a获取所 关注物体198(如图3和4中所示）的第一图像320a(如图3和4中所示）。在步骤611B中，使用第 二镜头31化获取所关注物体198的第二图像32化(如图3和4中所示）。第一和第二图像320曰、 32化能够W任何常用的方式被获取，包括同时和/或连续的方式被获取。在一种优选的实施 方式中，所述有利的是同时获取第一和第二图像320a、320b从而减少由于所关注物体198 和/或所述立体成像系统100随时间发生移位而产生的错误。
[0184] 在步骤614中，计算所述第一图像320a与所述第二图像32化之间的双目视差d。备 选地或另外地，可使用微镜头310a、310b中任一个(或全部）的焦距来确定步骤614中的双目 视差d。下文参考图7更详细地描述用于计算视差d的示例性实施方式。
[0185] 在步骤619中，计算物距Z。可通过任意合适的方式来计算物距Z。一种示例性的方 式包括使用所述计算出的双目视差d。例如，发现物距Z可作为如615中所建立的所述双目视 差d、所述第一镜头310a与第二镜头31化之间的基线TW及步骤校正焦距f的函数。所述函数 可表不为：
[0186] 方程（5)
[0187]其中，T为基线(换句话说，为微镜头310a和31化的中屯、坐标之间的距离），f为所述 微镜头310a和31化的校正焦距，Xi-)(r = d为所关注物体198的图像320a与32化之间的双目视 差，且Xr为第二图像31化上的一点，其与第一图像310a上由Xi表示的一点相匹配。
[0188] 图8中说明系统400的另一种实施方式。在图8中，除了加入一个新的步骤W外，所 有步骤与图7中所示的系统300相同。在图8中，显示的一种备选的实施方式具有步骤615,其 中可基于两个选定微镜头310a、310b的焦距来计算校正焦距f。尽管第一镜头310a与第二镜 头31化的焦距通常可相同的，但它们也可是不同的。计算校正焦距的所有方法在本文中都 可适用。在一种实施方式中，文章"立体相机标定"中的计算校正焦距的方法可用于本文中， 马库斯.曼（Markus Mann),立体相机标定（Stereo Camera (^ilibration)，（2004年 12月10 日），可获得于：http://cs.nyu.edu/courses/falll4/CSCI-GA.2271-001/ 06StereoCamer曰C曰Iibr曰tio n.pdf。
[0189] 基于关于图7和图8的所论述的，由于Xi为已知要素，因此可由第二图像320b上的 匹配点Xr来计算视差d。在图9中，在第二图像32化上的匹配点Xr进行定位的示例性实施方式 仅用于说明目的。在图9中，IL表示第一图像320曰，且IK表示同一所关注物体198的第二图像 320b。第一图像320a上的点义，f为已知的，且第二图像320b上的匹配点::皆可定义为与第一 图像320a的点x/ "最类似"的点，其可由W下方程来表示：
[0190] d = a;r卵ind I lL(xi)-lR(xi+d) I 方程(6)
[0191] 其中d表示两个选定微镜头310a、310b(如图3和图4中所示）的视差，IL为第一图像 320a JK为同一所关注物体198的第二图像32化，Xi为第一图像320a的点乂/。
[0192] 由于可能匹配错误，因此为了确定匹配准确度和视觉范围，视差d不能小于或大于 某些预定值。在本发明的一种优选的实施方式中，视差d大于5个像素且小于第二图像32化 宽度的五分之一，所述第二图像32化与第一图像320a可大小相同。作为一种说明性的实施 例，假定f = 480，T = O. 15米且图像分辨率为320*240像素，则可推导出1.5米至15.4米的有 效视觉范围。
[0193] 在确定类似性中，从图像310a、310b的每个中取出中屯、具有比较点的3 X 3像素块。 当第一和第二图像320a和32化为彩色图像时，可对3 X 3像素块的每个像素进行彩色分量值 的比较。相反，当图像320a和320b为黑白图像时，可比较每个像素的灰度值。基于方程6,选 择所有9个像素中具有最小差异值总和的点作为匹配点。所述流程可重复地用于在所述第 一图像31 Oa上所有选定的特征点。
[0194] 现参考图10,说明使用所关注物体198的特征点355获取物距Z的方法600的另一备 选的实施方式。在步骤922中，获取所关注物体198上的多个特征点355。可使用一种或多种 不同的方法来选择所述特征点355。在一种示例性的实施方式中，所述特征点355可识别为 所关注物体198上的预定形状。在另一实施方式中，所述特征点可识别为所关注物体198上 的一个或多个具有特定颜色或亮度的部分。在另一实施方式中，可选择所关注物体198上的 随机部分作为特征点355。在另一实施方式中，可在所关注物体198上W规则间隔的间距选 择特征点355,例如间隔间距为每一个像素、每两个像素、每=个像素、每四个像素，等等。所 述特征点355可视需要为不同的形状和大小。在一些实施方式中，可使用上述方法的组合来 选择特征点355。
[01M]在步骤924中，将选定的特征点355从所述第一图像310a被匹配到所述第二图像 310b上。在一种优选的实施方式中，所述特征点的匹配包括两个步骤。在步骤924A中，选择 所述第一图像的特征点355。从计算点开始沿着与所述微镜头310a、310b的中屯、线平行的线 扫描匹配点。可基于第一图像310a上的点的坐标、所述基线的方向和/或长度来计算匹配的 开始点。尽管优选地限定为仅沿着选定线的一个方向，但也可W在任意一个或多个预定方 向进行扫描。
[0196] 在步骤924B中，当扫描每一个点时，通过本文中参考图8详细描述的方法计算两个 点之间的相似度，并选择所述第二图像31化中与所述第一图像310a的特征点具有最小差异 值总和的点。
[0197] 在步骤926中，获得每个特征点355与所述立体成像系统100之间的特征距离Z。每 个特征距离Z可通过任意合适的方式来获得，包括使用由第一镜头310a(如图3和4中所示） 获取的第一图像320a(如图3和4中所示）中的特征点355的位置与由第二镜头31化(如图3和 4中所示)获取的第二图像32化(如图3和4中所示）中的特征点355的位置之间的双目视差d。 使用所述双目视差d，可通过方程1至4W上述方式获得特征距离Z。
[0198] 在步骤928中，使用步骤926中获得的特征距离Z获得物距Z。多种方法中的任一种 均可用于基于所关注物体198的各个特征距离Z来确定所述物距Z。在一种实施方式中，基于 特征距离Z的平均值获得所述物距Z。示例性的平均值类型可包括算术平均值、几何平均值、 中间值和/或不受限定的模式。在另一实施方式中，可通过选择一个或多个特征点355并基 于选定特征点355的特征距离Z获取物距Z来获得物距Z。
[0199] 图11说明用于从微镜头阵列102中选择不同镜头102A的方法700的一种实施方式。 假定在获取第一图像320a后W短时间间隔获取第二图像320b。在一实施方式中，所述时间 间隔可限制在六十分之一秒至二十分之一秒的范围内。由于所述时间间隔较短，因此所述 物距Z的变化通常是可W忽略的，且因此在所述物距Z及其相应基线的计算中可忽略。换句 话说，所述物距Z的变化可能将不会实质性地影响所述方法700的执行。然而，所述物距Z的 突然或意外变化可导致由下面段落描述的示例性方法进行的计算更长。但是由于所述突然 或意外变化极少见，因此计算的总量不会实质性影响。
[0200] #击驢9W中化算基线时，通过W下方程估算物距Z的检测范围（Zmin至Zmax):
[誦]
方程（7)
[0202] 其中Z为微镜头阵列102A与所关注物体198之间的物距，f为第一镜头310a和第二 镜头31化的校正焦距，且T为第一镜头310A与第二镜头310B两者之间的基线，Xi为第一图像 320a上的特征点且Xr为对应于Xi的匹配点。参考图8描述校正焦距f的计算。本文中，所述特 征点Xl和Xr可通过上文参考图10的具体描述的方式来进行选择。在一些实施方式中，Xl和Xr 可选自具有最小物距和/或具有最大物距的点。优选地，Xl和Xr可选自具有平均物距的点。平 均物距可通过任意常用的方式来确定，包括通过确定算术平均值、几何平均值、中间值和/ 或不受限定的模式。在一种优选的实施方式中，选择可用在微镜头阵列102上的两个最靠近 的镜头310a、310b来提供最短基线T。
[0203] 在估算检测范围（Zmin至Zmax)时，可基于预定视差d、校正焦距f和检测范围（Zmin 至Zmax)来计算基线T。为计算基线T，在步骤956中，W下方程可用于获取对第一镜头310a和 第二镜头31化的选择：
[0204] 、 ,、 方程（8)
[0205] 其中d为第一镜头310a和第二镜头31化产生的视差，Z为物距，且f为第一镜头310a 和第二镜头31化的校正焦距。在一些优选的实施方式中，选择不小于10个像素的d。在一些 其他实施方式中，物距Z可为如上计算出的最小物距Zmin。在一种优选的实施方式中，在方 程8中满足d〉10的条件下，选择微镜头阵列中任意两个镜头的最小可用距离作为基线T。在 初始选择两个镜头310a、310b后，可通过选择不同的镜头102A来增加或减小视差。在一种优 选的实施方式中，视差仅需要增加。
[0206] 图12说明一种用于执行同时定位及构图（SLAM)的方法800的一种示例性实施方 式。在图12的步骤810中，所述立体成像装置(图1中所示)获取两帖立体图像。两帖图像可通 过任意合适的方式来获取，包括根据上文参考图1至图11所述的任何方法。在步骤820中，可 计算出所关注物体198的物距Z。物距Z可通过任何合适的方式来计算，包括根据上文参考图 1至图11所述的任何方法。在步骤830中，通过匹配第一和第二帖上的特征点来匹配两个帖。 在步骤840中，通过所述获取的帖来估算=次平移运动和=次旋转的六种运动。所述旋转可 通过惯性测量单元（Inedial Measurement化it, IMU)来获取从而获得旋转数据，并基于 旋转数据来计算平移。
[0207] 在获取所述旋转和平移时，如W下部分中所述，对各帖应用测量，如在下面段落描 述的步骤850。同样在步骤850中，获取下一帖图像且系统重复此过程，从而计算新获取的 帖。此过程持续重复，从而实现不受干扰的构图。
[0208] 图13说明方法800(图12中所示）的一种备选实施方式。如图12中所说明，在步骤 811中，通过参考图1至图11所述的任意方法获取两个立体帖，即一个第一立体帖和一个第 二立体帖。如参考图1至图11所述，所述立体帖由多个立体点组成且每个点由x、y和Z坐标值 来表示。本文所述的两帖是沿着所述立体成像装置1〇〇(图1中所示）的行进路径，在不同的 时间点获取的。
[0209] 步骤831中匹配第一帖和第二帖由两个步骤组成。如831中的第一步骤，基于步骤 832中的第一帖{Pi，P2，P3. . .，Pn}获取立体点云。每个P为第一帖的特征点。在x-y平面上，所 述立体点云可表示为{(Xll，yil)，（X2l，y2l)，{(X3l，y3l)，…，{(Xnl，ynl)}。基于处理的速度、帖 的大小、帖的分辨率W及控制器120的计算能力等，获取不同的特征点数量。在本文掲露的 典型实施方式中，所述点的数量可在100至200的示例性范围内。
[0210] 作为步骤831中匹配帖的第二步骤，在步骤834中，计算第二帖中的第二投影阵列 {(Xl2,yi2) , (X22，y22)，{(X32，y32)，???，{(Xm2，ym2)}。所述第二投影阵列中的每个点（Xi2,yi2)表 示匹配点，投影在x-y平面中，对应于所述第一帖的点云中的点P域（x/，y/)。如果云阵列 {Pl，P2，P3. . .，Pn}中的所有点均被匹配至所述第二帖上，则所述第二投影阵列的大小可与 云阵列的大小相同。然而，在大多数情况下，所述第二投影阵列的大小小于云阵列{Pi,P2， P3. ..，Pn}的大小，运是因为并非所有点都可匹配至第二帖上。第一帖与第二帖的点云匹配 可通过参考图9所述的方法来完成，其中对3X3的像素进行比较W确定两个点的相似度。
[0211] 接着，在步骤841中，测量第二立体帖相对于第一立体帖841的运动，由S个步骤组 成。在步骤842中，配置惯性测量单元150W用于测量旋转运动，并将旋转测量值传递给控制 器120。旋转测量值由=维阵列R来表示。通过旋转测量值阵列R，第一帖的点云阵列与第二 帖的投影点阵列之间的关系可表示为：
[0212] 方程（9)
[0213] 其中R为表示旋转测量值的=维阵列，Pj为第一帖中的立体点，T表示待计算的第 二帖的平移的S维阵列，且y为充当因子的随机数。
[0214] 为保证惯性测量单元150测量的相关旋转阵列的准确度，获取所述第一帖时的时 间点与获取第二帖时的时间点之间的间隔相对短。视实际应用的需要而言，所述第一帖与 第二帖之间的间隔通常可在二十分之一秒至六十分之一秒的范围内。
[0215] 在方程9中存在=个未知数(Tx，Ty，Tz);因此，通过数学原理，在步骤844中需要 = 个方程共同来解开所述具有=个未知数的阵列T。然而，每个投影点仅具有两个值Xi及yi。因 此，为了解开T中的=个未知数，我们需要结合四个方程中的=个方程用于两个所述点。
[0216] 在现实生活中，由于在匹配所述第一立体帖与第二立体帖之间的点中存在错误 和/或不准确，因此所述计算出的T可能不准确。在步骤846中，将所述计算出的平移阵列T引 入方程9中，并计算确定与所述方程中定义的关系一致的点的数量。然后，在844中解出T时 可使用另一对点，然后在步骤846中用于计算来确定与方程9的关系一致的点的数量。此过 程重复预定数量对的点，且结果为预定数量的Ts,同时每个T的点数量与方程9一致。
[0217] 在步骤548中，比较所述一致点的数量并选择具有最大数量一致点的T。
[0218] 在步骤851中，使用所述计算的T和测量的R，我们可W使用修正方程9来获取第二 立体帖的所沐亩化占另，
[0219] 方程（10)
[0220] 在步骤861中，所述计算的第二立体帖的立体点云与所述第一立体帖的立体点云 相结合。所述第一立体帖被所述第二立体帖取代且在下一时间点获取新的第二立体帖。所 述参考图13描述的步骤方法可再=重复从而执行连续的定位及构图。
[0221] 所述实施方式适于各种修改和替代形式，且其具体实施例已在图式中W实施例的 方式示出并在本文中详细描述。然而应理解，所述实施方式不限于所掲露的特定形式或方 法，相反，本发明将涵盖所有修改、等效物和替代物。
【主权项】
1. 一种用于建立具有微镜头阵列的立体成像系统的基线的方法，包括： 获取所述微镜头阵列与所关注物体之间的物距；W及 基于所述获取的物距动态地从所述微镜头阵列中选择两个镜头。2. 如权利要求1所述的方法，其中所述动态地选择所述两个镜头包括从所述微镜头阵 列的多个镜头中选择第一镜头和第二镜头。3. 如权利要求2所述的方法， 其中所述获取所述物距包括重复地获取所述微镜头阵列与所关注物体之间变化的物 距；W及 其中所述从所述微镜头阵列的多个镜头中选择所述第一镜头和所述第二镜头为基于 所述重复地获取所述变化的物距。4. 如权利要求2或3所述的方法，其中还包括基于所述选择所述第一镜头和所述第二镜 头建立所述基线。5. 如权利要求4所述的方法，其中还包括基于所述微镜头阵列与所述所关注物体之间 变化的物距来动态地调整所述基线。6. 如权利要求2所述的方法，其中所述获取所述物距包括： 通过所述第一镜头获取所述所关注物体的第一图像； 通过所述第二镜头获取所述所关注物体的第二图像；W及 确定所述第一图像与所述第二图像之间的双目视差;及 其中，所述获取所述物距包括基于所述确定所述双目视差来计算所述物距。7. 如权利要求6所述的方法，其中所述获取所述物距还包括在所述确定所述双目视差 之前基于所述第一镜头和所述第二镜头的焦距计算校正焦距。8. 如权利要求6或7所述的方法，其中所述获取所述物距包括： 获取所述第一图像上的多个特征点；W及 使所述第一图像的多个特征点与所述第二图像上的点匹配。9. 如权利要求8所述的方法，其中所述特征点包括所述第一图像或所述第二图像的像 素。10. 如权利要求8或9所述的方法，其中所述确定所述双目视差包括确定至少五个像素 且不超过图像宽度五分之一的双目视差。11. 如权利要求8至10中任一项所述的方法，其中所述匹配所述多个特征点包括： 扫描所述第二图像来识别所述第二图像上与所述第一图像选定的特征点相匹配的点； W及 计算所述第一图像选定的特征点与所述点之间的相似度。12. 如权利要求11所述的方法，其中所述计算所述相似度包括将所述第一图像选定的 特征点与W所述第二图像上的所述点为中屯、的3X3像素区域进行比较。13. 如权利要求12所述的方法，其中所述比较3X3像素区域包括将彩色图像的每个像 素的每个彩色分量的差异总和或黑白图像的每个像素的灰度值差异总和进行比较。14. 如前述权利要求中任一项所述的方法，其中所述获取所述物距还包括： 确定所述微镜头阵列与每个所述特征点之间的各个特征距离；W及 使用所述特征距离确定所述物距。15. 如权利要求14所述的方法，其中所述确定所述物距包括基于所述特征距离的平均 值获取所述物距。16. 如权利要求14或权利要求15所述的方法，其中所述确定所述物距包括选择一个或 多个所述特征点并基于所述选定的特征点的特征距离来获取所述物距。17. 如权利要求16所述的方法，其中所述选择所述特征点包括选择最靠近所述微镜头 阵列的预定百分比的特征点W及获取所述物距作为距所述微镜头阵列最远的所述选定特 征点的所述特征距离。18. 如前述权利要求中任一项所述的方法，其中所述动态地选择所述两个镜头包括： 基于可用于所述微镜头阵列的最小基线、校正焦距和预定的视差范围来估算所述物距 的检测范围； 基于所述物距的所述估算检测范围来计算基线范围；W及 当确定视差大于预定水平时，选择最小基线。19. 如权利要求2至18中任一项所述的方法，其中所述选择所述第一镜头与所述第二镜 头包括： 使用Z =巧(T/(xi-Xr))估算所述物距的检测范围（Zmin到Zmax)，其中Z为所述物距，f为 所述选定镜头的校正焦距，T为两个最靠近镜头之间的基线，（X1-&)为两个匹配点的视差； 使用T = Z(Vf计算可用基线的范围，其中d=(Xl-Xr)为所述视差；W及 在确保所述视差关系为d〉10的情形下，选择具有最小基线T的所述第一镜头和所述第 -镜头。20. 如权利要求2至19中任一项所述的方法，其中所述选择所述第一镜头和所述第二镜 头包括增加所述基线直到所述第一镜头的视野与所述第二镜头的视野重叠至少50%。21. 如权利要求5所述的方法，其中还包括在所述基线自动调整后校准所述立体成像系 统的外部参数。22. 如权利要求21所述的方法，其中所述校准包括校准所述立体成像系统的平移外部 参数和/或转动外部参数中的至少一个。23. 如权利要求22所述的方法，其中所述校准包括根据所述选择的两个镜头初始校准 所述平移外部参数。24. 如权利要求23所述的方法，其中所述校准包括在所述初始校准后进一步校准所述 外部参数W使所述外部参数最优化。25. 如权利要求5至23中任一项所述的方法，其中所述立体成像系统安装于移动平台 上，且其中所述自动调整取决于所述移动平台的行进模式。26. 如权利要求24所述的方法，其中所述移动平台为无人飞行器（unmanned aerial vehicle，UAV)，且其中所述行进模式为所述无人飞行器的飞行模式。27. -种立体成像系统，其用于根据权利要求1至26中任一项来执行基线的自动调整。28. -种计算机程序产品，其包括用于根据权利要求1至26中任一项自动调整具有微镜 头阵列的立体成像系统的基线的指令。29. -种装置，用于建立立体成像系统的基线，其包括： 具有多个镜头的微镜头阵列，所述每个镜头用于单独地或与一个或多个其他镜头任意 组合地用于获取图像;和 控制器，其用于基于所述获取的所述微镜头阵列与所关注物体之间的物距来动态地选 择两个镜头。30. 如权利要求29所述的装置，其中所述控制器用于从所述微镜头阵列的多个镜头中 选择第一镜头和第二镜头。31. 如权利要求30所述的方法，其中所述控制器用于获取所述微镜头阵列与所关注物 体之间的变化物距并基于所述重复获取所述变化物距从所述微镜头阵列的多个镜头中选 择所述第一镜头和所述第二镜头。32. 如权利要求31所述的装置，其中所述控制器用于基于所述第一镜头和所述第二镜 头来建立所述基线。33. 如权利要求32所述的装置，其中所述控制器用于基于所述微镜头阵列与所关注物 体之间的变化物距来动态地调整所述基线。34. 如权利要求31至33中任一项所述的装置，其中所述控制器用于通过W下方式获取 所述物距： 通过所述第一镜头获取所述所关注物体的第一图像； 通过所述第二镜头获取所述所关注物体的第二图像； 确定所述第一图像与所述第二图像之间的双目视差；W及 基于所述确定的双目视差来计算所述物距。35. 如权利要求34所述的方法，其中所述控制器用于在所述确定所述双目视差之前，根 据所述第一镜头和所述第二镜头的焦距来计算校正焦距。36. 如权利要求34或35所述的装置，其中所述控制器用于获取所述第一图像上的多个 特征点，并将所述第一图像的所述多个特征点与所述第二图像的点进行匹配。37. 如权利要求36所述的装置，其中所述特征点包括所述第一图像或所述第二图像的 像素。38. 如权利要求36或37所述的装置，其中所述控制器用于确定至少五个像素且不超过 图像宽度五分之一的双目视差。39. 如权利要求38所述的装置，其中所述控制器用于扫描所述第二图像来识别所述第 二图像上与所述第一图像的选定特征点相匹配的点，并计算所述第一图像的所述选定特征 点与所述点之间的相似度。40. 如权利要求39所述的装置，其中所述控制器用于将所述第一图像的每个选定特征 点与W所述第二图像上的所述点为中屯、的3X3像素区域进行比较。41. 如权利要求40所述的装置，其中所述控制器用于将彩色图像的每个像素的每个彩 色分量的差异总和或黑白图像的每个像素的灰度值差异总和进行比较。42. 如权利要求36至41中任一项所述的装置，其中所述控制器用于确定所述微镜头阵 列与每个所述特征点之间的各个特征距离，并使用所述特征距离确定所述物距。43. 如权利要求42所述的装置，其中所述物距为所述特征距离的平均值。44. 如权利要求42或43所述的装置，其中所述控制器用于选择一个或多个所述特征点 并基于所述选定特征点的特征距离来获取所述物距。45. 如权利要求44所述的装置，其中W最靠近所述镜头阵列或距所述微镜头阵列最远 的特征点的预定百分比来选择所述特征点。46. 如权利要求30至45中任一项所述的装置，其中所述控制器用于通过W下方式选择 所述第一镜头和所述第二镜头： 基于可用于所述微镜头阵列的最小基线、校正焦距和预定的视差范围来估算所述物距 的检测范围； 基于所述估算的物距检测范围来计算基线范围；W及 在确保视差大于预定水平时，选择最小基线。47. 如权利要求30至46中任一项所述的装置，其中通过W下方式选择所述第一镜头与 所述束^镜头： 由Z =巧(T/(xi-Xr))估算所述物距的检测范围（Zmiη至Zmax)，其中Z为所述物距，f为所 述选定的第一和第二镜头的校正焦距，T为两个最靠近微镜头之间的基线，（xi-xr)为两个匹 配点的视差； 由T = Z(Vf计算可用基线的范围，其中d= (Xl-Xr)为所述视差；W及 在确保所述视差关系为d〉10的情形下，选择具有最小基线T的所述第一镜头和所述第 -镜头。48. 如权利要求30至47中任一项所述的装置，其中所述控制器用于增加所述基线直到 所述第一镜头的视野与所述第二镜头的视野重叠至少50%。49. 如权利要求33至48中任一项所述的装置，其中所述控制器用于在所述基线调整后 校准所述立体成像系统的外部参数。50. 如权利要求49所述的装置，其中所述外部参数包括所述立体成像系统的平移外部 参数和/或转动外部参数中的至少一个。51. 如权利要求50所述的装置，其中所述平移外部参数根据所述第一镜头和所述第二 镜头来初始校准。52. 如权利要求51所述的装置，其中所述控制器用于在所述初始校准后校准所述外部 参数W使所述外部参数最优化。53. 如权利要求52所述的装置，其中所述立体成像系统为无人飞行器(UAV)，且其中所 述基线调整取决于所述无人飞行器的飞行模式。54. 如权利要求30至53中任一项所述的装置，其中所述立体成像系统为红外成像系统。55. 如权利要求30至54中任一项所述的装置，其中所述立体成像系统为X射线成像系 统。56. -种用于通过具有微镜头阵列的成像装置进行同时定位及构图（SLAM)的方法，包 括： 通过权利要求2至26中任一项所述的方法，使用所述微镜头阵列来获取第一立体帖和 第二立体帖； 通过惯性测量单元（IMU)来测量所述第二帖相对于第一立体帖的旋转而产生旋转数 据；W及 通过将所述旋转数据与所述第一和第二立体帖组合来匹配所述第一和第二立体帖， 其中所述第一立体帖与所述第二立体帖W预定的百分比相互重叠。57. 如权利要求56所述的同时定位及构图的方法，其中所述获取所述第一立体帖和所 述第二立体帖包括在不同的时间点获取所述第一立体帖和所述第二立体帖。58. 如权利要求57所述的同时定位及构图的方法，其中所述在不同的时间点获取所述 第一立体帖和所述第二立体帖包括W不小于六十分之一秒且不大于二十分之一秒的间隔 获取所述第一立体帖和所述第二立体帖。59. 如权利要求58所述的同时定位及构图的方法，其中所述方法还包括： 基于所述第一立体帖获取立体点云， 其中所述立体点云为立体特征点的阵列{ Pi，P2，P3· · ·，Pn}。60. 如权利要求59所述的同时定位及构图的方法，其中所述方法还包括： 基于所述立体点云，在x-y平面上获取第二投影阵列Kxi2，yi2)，（x22，y2 2)，{(x32， 732)，...，{(Xm2，ym2)}。61. 如权利要求60所述的同时定位及构图的方法，其中所述获取所述第二投影阵列包 括： 基于所述立体点云在x-y平面上获取第一投影阵列{(xii，yii)，（X2I，y2i)，{(X3I， ysi)，…，{(xni，yni)}; W及 使用如权利要求11至13中任一项的方法，将所述第一投影阵列的多个点匹配至所述第 二立体图像上而产生所述第二投影阵列{(Xl2，yi2)，（X22，y22)，{(X32，y32)，'.'，{(Xm2，ym2)}。62. 如权利要求61所述的同时定位及构图的方法，其中所述方法还包括： 基于所述旋转数据、所述立体点云和所述第二投影阵列来计算平移阵列T。63. 如权利要求62所述的同时定位及构图的方法，其中所述计算所述平移阵列T包括应 用关系式：其中R为旋转测量的阵列，門为立体点，T表示待计算的平移阵列，且μ为随机数。64. 如权利要求63所述的同时定位及构图的方法，其中所述应用还包括 通过解开用于选自所述立体点云的至少两个点及它们在第二投影阵列匹配的两个点的一 组方程来计算Τ。65. 如权利要求62至64中任一项所述的同时定位及构图的方法，其中还包括： 通过将Τ引入具有多个选自所述立体点云的点及其在所述第二投影阵列上的相应投影 点的方程雌·^来证实所述平移阵列Τ，从而得到匹配点的数量；W及 选择具有最大数量匹配点的平移阵列Τ作为选定的平移阵列Τ。66. 如权利要求65所述的同时定位及构图的方法，其中所述方法还包括： 采用所述旋转数据、所述选定的平移Τ和所述关系式：来计算所述第二帖 的立体点云。67. 如权利要求56至66中任一项所述的同时定位及构图的方法，其中所述方法还包括： 通过如权利要求2至26中任一项所述的方法，用所述微镜头阵列获取另一立体帖；W及 将所述第二立体帖作为所述第一立体帖且w所述新获取的立体帖作为所述第二立体 帖重复权利要求56至66中定义的步骤。68. -种同时定位及构图系统，其用于根据权利要求56至67中任一项来进行自动定位 与构图。69. -种计算机程序产品，包括用于根据权利要求56至67中任一项使用具有微镜头阵 列的立体成像系统自动进行同时定位及构图的指令。70. -种使用具有微镜头阵列的成像装置进行同时定位及构图（SLAM)的装置，包括： 惯性测量单元IMU，其用于测量与在第一时间点获取的第一立体帖相关的在第二时间 点获取的第二立体帖的旋转;和 控制器，其用于： 通过如权利要求2至26中任一项所述的方法，使用所述微镜头阵列获取所述第一立体 帖和所述第二立体帖； 由所述惯性测量单元获取所述第二立体帖的旋转数据；W及 通过将所述旋转数据与所述第一和第二立体帖组合来匹配所述第一和第二立体帖， 其中所述第一立体帖与所述第二立体帖W预定的百分比相互重叠。71. 如权利要求70所述的用于同时定位及构图的装置，其中所述第一立体帖与所述第 二立体帖是在不同的时间点获取的。72. 如权利要求71所述的用于同时定位及构图的装置，其中所述不同时间点之间的间 隔不小于六十分之一秒且不大于二十分之一秒。73. 如权利要求72所述的用于同时定位及构图的装置，其中所述控制器还用于基于所 述第一立体帖获取立体点云，其中所述立体点云为立体特征点的阵列{ Pi，P2，P3 · · ·，Pn}。74. 如权利要求73所述的用于同时定位及构图的装置，其中所述控制器还用于基于所 述立体点云在X-y平面上获取第二投影阵列{ (Xl2，yi2) , (X22,y22) , {(X32,y32),{(加 2，75. 如权利要求74所述的用于同时定位及构图的装置，其中所述控制器用于通过W下 方式获取所述第二投影阵列： 基于所述立体点云在x-y平面上获取第一投影阵列{(xii，yii)，（X2I，y2i)，{(X3I， ysi)，…，{(xni，yni)}; W及 使用权利要求11至13中任一项所述的方法将所述第一投影阵列的多个点匹配至第二 立体图像而产生所述第二投影阵列{ ( Χ?2，yl2 )，（ X22，y22 )，{ ( X32，)，…，{ ( ，ym2 ) }。76. 如权利要求75所述的用于同时定位及构图的装置，其中所述控制器还用于基于所 述旋转数据、所述立体点云和所述第二投影阵列来计算平移阵列T。77. 如权利要求76所述的用于同时定位及构图的装置，其中所述平移阵列T通过应用W 下关系式来计算：其中R为旋转测量的阵列，門为所述立体点云的立体点，T表示所述待计算的平移阵列， 且μ为随机数。78. 如权利要求77所述的用于同时定位及构图的装置，其中所述平移阵列Τ通过选自所 述立体点云的至少两个点及其在第二投影阵列中匹配的两个点的方程组来解开。79. 如权利要求70至78中任一项所述的用于同时定位及构图的装置，其中所述控制器 用于通过将T引入具有多个选自所述立体点云的点及其在所述第二投影阵列上的相应投影 点的方程申来证实所述平移阵列T，从而得到匹配点的数量;W及 选择具有最大数量匹配点的平移阵列T作为选定的平移阵列T。80. 如权利要求79所述的用于同时定位及构图的装置，其中所述控制器用于采用所述 旋转数据、所述选定的平移T和所述关系式：?β十算所述第二帖的立体点云。81. 如权利要求70至80中任一项所述的用于同时定位及构图的装置，其中所述控制器 用于通过如权利要求2至26中任一项所述的方法，用所述微镜头阵列获取另一立体帖，并W 所述第二立体帖作为所述第一立体帖且将所述新获取的立体帖作为所述第二立体帖。
【文档编号】G06T7/00GK105940674SQ201480074618
【公开日】2016年9月14日
【申请日】2014年12月31日
【发明人】张宏辉, 赵丛
【申请人】深圳市大疆创新科技有限公司