相机标定的制作方法
【专利摘要】本发明提供了用于标定一个或多个成像装置的系统、方法和装置。在一个方面，一种方法包括：从所述一个或多个成像装置中的每个成像装置接收标定目标的多个图像，所述标定目标包括多个特征以及一个或多个参考标记；确定在所述多个图像的每个图像中的所述一个或多个参考标记与所述标定目标上的所述一个或多个参考标记之间的空间关系；基于所述空间关系，制定在所述多个图像的每个图像中的特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及基于所述对应关系，确定所述一个或多个成像装置的标定参数。
【专利说明】相机标定
【背景技术】
[0001] 诸如无人飞行器(UAV)等无人载运工具可以用于执行多种军事和民用应用中的监 视、侦察和勘探任务。在一些情况下，UAV可以搭载相机，用于生成环境中的物体的图像数 据。基于特定应用，可以执行相机标定过程以便确定所述相机的一个或多个参数。
[0002] 用于相机标定的现有方法在一些情况下可能不是最优的。例如，一些相机标定方 法对于标定具有多个相机的成像系统可能不是最优的。
【发明内容】
[0003] 本发明公开提供用于相机和其他类型的成像装置的改进的标定系统、方法和装 置。在一些实施方式中，本文所描述的标定技术利用由一个或多个成像装置获取的标定目 标的图像，所述标定目标包括多个特征以及一个或多个可唯一识别的参考标记。所述参考 标记可以用于促进确定在所述图像中的特征的图像坐标与所述标定目标上的对应特征的 全局坐标之间的对应关系。基于确定的对应关系，可以计算所述成像装置的一个或多个标 定参数(例如，外部参数和/或固有参数）。本发明公开的一些方面允许使用描绘少于整个所 述标定目标(例如，少于所述标定目标上的所有特征）的图像来确定标定参数。有利地，这样 的方法为标定过程一一特别是关于多个成像装置的标定一一提供了更高的准确性和灵活 性。
[0004] 因此，在一个方面，提供了一种标定一个或多个成像装置的方法。所述方法包括： 从所述一个或多个成像装置中的每个成像装置接收标定目标的多个图像，所述标定目标包 括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各 自在所述多个图像的每个图像中是可唯一识别的，并且其中所述多个图像包括捕捉少于所 有的所述多个特征的至少一个图像;借助于一个或多个处理器，确定在所述多个图像的每 个图像中的所述一个或多个参考标记与所述标定目标上的所述一个或多个参考标记之间 的空间关系；基于所述空间关系并借助于一个或多个处理器，制定在所述多个图像的每个 图像中的特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及 基于所述对应关系并借助于所述一个或多个处理器，确定所述一个或多个成像装置的标定 参数。
[0005] 在一些实施方式中，所述一个或多个成像装置由无人飞行器搭载。
[0006] 在一些实施方式中，所述多个图像的所述每个图像捕捉所述标定目标上的所述一 个或多个参考标记以及所述多个特征的至少一个子集。可以在相对于所述标定目标的不同 位置和方向（orientation)上获取来自所述一个或多个成像装置中的每个成像装置的所述 多个图像。
[0007] 在一些实施方式中，所述标定目标是包括多个方格的棋盘，并且所述多个特征包 括所述多个方格的角点。所述一个或多个参考标记可以各自定位于所述多个方格中的一个 方格内。所述多个特征可以包括所述棋盘的四个外角，并且所述至少一个图像可以遗漏所 述四个外角中的至少一个。
[0008] 在一些实施方式中，所述一个或多个参考标记包括至少三个参考标记。所述一个 或多个参考标记可以包括圆点、三角形或四边形。所述一个或多个参考标记可以覆盖至所 述重复图案上。所述一个或多个参考标记可以形成所述标定目标上的不规则多边形的顶 点。所述一个或多个参考标记可以包括形成等腰三角形或不等边三角形的顶点的三个参考 记 D
[0009] 在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边 形的顶点，并且确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形 的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。所述多个 特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记可以在所述平面内 形成非旋转对称的形状。
[0010] 在一些实施方式中，所述一个或多个成像装置包括基本上同时捕捉图像的第一相 机和第二相机。所述制定步骤可以包括识别存在于由所述第一相机获取的图像和由所述第 二相机获取的对应图像中的特征。所述标定参数可以包括所述一个或多个成像装置中的每 个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。所述标定参数可以包 括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。
[0011] 在另一方面，提供了一种标定一个或多个成像装置的系统。所述系统包括:一个或 多个成像装置，其各自被用于捕捉标定目标的多个图像，所述标定目标包括布置成重复图 案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标记各自在所述多个图 像的每个图像中是可唯一识别的，并且其中所述多个图像包括捕捉少于所有的所述多个特 征的至少一个图像；以及一个或多个处理器，其共同地或单个地被用于:从所述一个或多个 成像装置中的每个成像装置接收所述多个图像;确定在所述多个图像的每个图像中的所述 一个或多个参考标记与所述标定目标上的所述一个或多个参考标记之间的空间关系;基于 所述一个或多个参考标记的预定全局坐标，制定在所述多个图像的每个图像中的特征的图 像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及基于所述对应关 系，确定所述一个或多个成像装置的标定参数。
[0012] 在一些实施方式中，所述一个或多个成像装置由无人飞行器搭载。
[0013] 在一些实施方式中，所述多个图像的所述每个图像捕捉所述标定目标上的所述一 个或多个参考标记以及所述多个特征的至少一个子集。可以在相对于所述标定目标的不同 位置和方向上获取来自所述一个或多个成像装置中的每个成像装置的所述多个图像。
[0014] 在一些实施方式中，所述标定目标是包括多个方格的棋盘，并且所述多个特征包 括所述多个方格的角点。所述一个或多个参考标记可以各自定位于所述多个方格中的一个 方格内。所述多个特征可以包括所述棋盘的四个外角，并且所述至少一个图像可以遗漏所 述四个外角中的至少一个。
[0015] 在一些实施方式中，所述一个或多个参考标记包括至少三个参考标记。所述一个 或多个参考标记可以包括圆点、三角形或四边形。所述一个或多个参考标记可以覆盖至所 述重复图案上。所述一个或多个参考标记可以形成所述标定目标上的不规则多边形的顶 点。所述一个或多个参考标记可以包括形成等腰三角形或不等边三角形的顶点的三个参考 记 D
[0016] 在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边 形的顶点，并且确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形 的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。所述多个 特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记可以在所述平面内 形成非旋转对称的形状。
[0017] 在一些实施方式中，所述一个或多个成像装置包括基本上同时捕捉图像的第一相 机和第二相机。所述制定步骤可以包括识别存在于由所述第一相机获取的图像和由所述第 二相机获取的对应图像中的特征。所述标定参数可以包括所述一个或多个成像装置中的每 个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。所述标定参数可以包 括所述一个或多个成像装置中的每个成像装置相对于所述标定目标的位置和方向。
[0018] 在另一方面，提供了一种使用一个或多个成像装置来生成深度图的方法。所述方 法包括:从所述一个或多个成像装置中的每个成像装置获取一个或多个图像；以及借助于 一个或多个处理器，基于所述一个或多个成像装置的标定参数，处理来自所述一个或多个 成像装置中的每个成像装置的所述一个或多个图像，以便生成三维深度图，其中使用来自 所述一个或多个成像装置中的每个成像装置的标定目标的多个标定图像来确定所述标定 参数，所述标定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述 一个或多个参考标记各自在所述多个标定图像中的每个标定图像内是可唯一识别的，并且 其中所述多个标定图像包括捕捉少于所有的所述多个特征的至少一个标定图像。
[0019] 在一些实施方式中，所述一个或多个成像装置由无人飞行器搭载。所述深度图可 以包括指示一个或多个物体距所述无人飞行器的距离的信息。
[0020] 在一些实施方式中，所述多个标定图像中的所述每个标定图像捕捉所述标定目标 上的所述一个或多个参考标记以及所述多个特征的至少一个子集。可以在相对于所述标定 目标的不同位置和方向上获取来自所述成像装置中的每个成像装置的所述多个标定图像。
[0021] 在一些实施方式中，所述标定目标是包括多个方格的棋盘，并且所述多个特征包 括所述多个方格的角点。所述一个或多个参考标记可以各自定位于所述多个方格中的一个 方格内。所述多个特征可以包括所述棋盘的四个外角，并且所述至少一个标定图像可以遗 漏所述四个外角中的至少一个。
[0022] 在一些实施方式中，所述一个或多个参考标记包括至少三个参考标记。所述一个 或多个参考标记可以包括圆点、三角形或四边形。所述一个或多个参考标记可以覆盖至所 述重复图案上。所述一个或多个参考标记可以形成所述标定目标上的不规则多边形的顶 点。所述一个或多个参考标记可以包括形成等腰三角形或不等边三角形的顶点的三个参考 记 D
[0023] 在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边 形的顶点，并且通过至少识别在所述多个标定图像中的所述不规则多边形的所述顶点与所 述标定目标上的所述不规则多边形的所述顶点之间的对应关系来确定所述标定参数。所述 多个特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记在所述平面内 可以形成非旋转对称的形状。
[0024] 在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边 形的顶点，并且确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形 的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。所述多个 特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记在所述平面内可以 形成非旋转对称的形状。
[0025] 在一些实施方式中，所述一个或多个成像装置包括基本上同时捕捉图像的第一相 机和第二相机。处理所述一个或多个图像可以包括识别存在于由所述第一相机获取的图像 和由所述第二相机获取的对应图像中的特征。处理所述一个或多个图像可以包括确定由所 述第一相机捕捉的图像与由所述第二相机捕捉的对应图像之间的视差。所述标定参数可以 包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变 之中的至少一个。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置相对 于所述标定目标的位置和方向。处理所述一个或多个图像可以包括减小所述一个或多个图 像的至少一个图像中的光学畸变。
[0026] 在另一方面，提供了一种使用一个或多个成像装置来生成深度图的系统。所述系 统可以包括:一个或多个成像装置，其各自被用于获取图像；以及一个或多个处理器，其共 同地或单个地被用于：从所述一个或多个成像装置中的每个成像装置获取一个或多个图 像；以及基于所述一个或多个成像装置的标定参数，处理来自所述一个或多个成像装置中 的每个成像装置的所述一个或多个图像，以便生成三维深度图，其中使用来自所述一个或 多个成像装置中的每个成像装置的标定目标的多个标定图像来确定所述标定参数，所述标 定目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参 考标记各自在所述多个标定图像中的每个标定图像内是可唯一识别的，并且其中所述多个 标定图像包括捕捉少于所有的所述多个特征的至少一个标定图像。
[0027] 在一些实施方式中，所述一个或多个成像装置由无人飞行器搭载。所述深度图可 以包括指示一个或多个物体距所述无人飞行器的距离的信息。
[0028] 在一些实施方式中，所述多个标定图像中的所述每个标定图像捕捉所述标定目标 上的所述一个或多个参考标记以及所述多个特征的至少一个子集。可以在相对于所述标定 目标的不同位置和方向上获取来自所述成像装置中的每个成像装置的所述多个标定图像。
[0029] 在一些实施方式中，所述标定目标是包括多个方格的棋盘，并且所述多个特征包 括所述多个方格的角点。所述一个或多个参考标记可以各自定位于所述多个方格中的一个 方格内。所述多个特征可以包括所述棋盘的四个外角，并且所述至少一个标定图像可以遗 漏所述四个外角中的至少一个。
[0030] 在一些实施方式中，所述一个或多个参考标记包括至少三个参考标记。所述一个 或多个参考标记可以包括圆点、三角形或四边形。所述一个或多个参考标记可以覆盖至所 述重复图案上。所述一个或多个参考标记可以形成所述标定目标上的不规则多边形的顶 点。所述一个或多个参考标记可以包括形成等腰三角形或不等边三角形的顶点的三个参考 记 D
[0031] 在一些实施方式中，所述一个或多个参考标记形成所述多个标定图像中的不规则 多边形的顶点，并且通过至少识别在所述多个标定图像中的所述不规则多边形的所述顶点 与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系来确定所述标定参数。 所述多个特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记在所述平 面内可以形成非旋转对称的形状。
[0032] 在一些实施方式中，所述一个或多个参考标记形成所述多个图像中的不规则多边 形的顶点，并且确定所述空间关系的步骤包括识别在所述多个图像中的所述不规则多边形 的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系。所述多个 特征可以在平面上布置成所述重复图案，并且所述一个或多个参考标记在所述平面内可以 形成非旋转对称的形状。
[0033] 在一些实施方式中，所述一个或多个成像装置包括基本上同时捕捉图像的第一相 机和第二相机。处理所述一个或多个图像可以包括识别存在于由所述第一相机获取的图像 和由所述第二相机获取的对应图像中的特征。处理所述一个或多个图像可以包括确定由所 述第一相机捕捉的图像与由所述第二相机捕捉的对应图像之间的视差。所述标定参数可以 包括所述一个或多个成像装置中的每个成像装置的焦距、主点位置、像素大小或光学畸变 之中的至少一个。所述标定参数可以包括所述一个或多个成像装置中的每个成像装置相对 于所述标定目标的位置和方向。处理所述一个或多个图像可以包括减小所述一个或多个图 像的至少一个图像中的光学畸变。
[0034]
[0035] 应当明白，本发明的不同方面可以被单独地、共同地或彼此结合地理解。本文所描 述的本发明的各个方面可以适用于下文阐述的任何特定应用或者适用于任何其他类型的 可移动物体。本文对飞行器的任何描述均可适用于和用于任何可移动物体，诸如任何载运 工具。另外，本文在空中运动（例如，飞行）的情景下公开的系统、装置和方法还可以适用于 其他类型运动的情景下，诸如在地面上或在水上的移动、水下运动或者在太空中的运动。此 外，本文对旋翼或旋翼组件的任何描述均可适用于和任何用于通过旋转而生成推进力的推 进系统、装置或机构(例如，螺旋桨、轮子、轮轴）。
[0036] 通过考察说明书、权利要求书和附图，本发明的其他目标和特征将会变得显而易 见。 通过引用并入
[0037] 本说明书中所提及的所有公布、专利和专利申请均通过引用并入本文中，其引用 程度如同明确且单独地指示将各个单独的公布、专利或专利申请通过引用并入本文中。
【附图说明】
[0038] 在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本 发明原理的说明性实施方式加以阐述的以下详细描述和附图，将会更好地理解本发明的特 征和优点;在附图中：
[0039]图1显示了根据实施方式的单目相机的模型；
[0040] 图2显示了根据实施方式从世界坐标系到图像坐标系的映射的模型；
[0041] 图3显示了根据实施方式从世界坐标系到图像坐标系的映射的模型；
[0042]图4显示了根据实施方式适合在成像装置标定中使用的标定目标；
[0043]图5显示了根据实施方式的棋盘标定目标的图像；
[0044] 图6和图7显示了根据实施方式基于相对定位是可唯一识别的参考标记；
[0045] 图8显示了根据实施方式具有参考标记的标定目标；
[0046] 图9显示了根据实施方式使用具有一个或多个参考标记的标定目标来标定一个或 多个成像装置的方法；
[0047]图10到图13显示了根据实施方式对图像中的标定目标的特征和参考标记的识别； [0048]图14显示了根据实施方式在双目相机标定中坐标系之间空间关系的模型；
[0049] 图15显示了根据实施方式在畸变图像坐标与无畸变图像坐标之间映射的模型；
[0050] 图16和图17显示了根据实施方式用于双目相机系统的图像修正过程；
[0051]图18显示了根据实施方式执行图像修正的处理之后的双目相机图像；
[0052]图19显示了根据实施方式由图像数据生成深度图的方法；
[0053]图20显示了根据实施方式的UAV;
[0054]图21显示了根据实施方式包括载具和搭载物的可移动物体；以及
[0055] 图22显示了根据实施方式用于控制可移动物体的系统。
【具体实施方式】
[0056] 本公开提供用于对诸如相机等成像装置进行标定的改进的系统、方法和装置。本 文所描述的方法可以涉及使用一个或多个成像装置来获取标定目标的多个图像。标定目标 可以包括多个特征以及一个或多个参考标记。所述一个或多个参考标记可以是可唯一识别 的，以便促进对图像中的特征的图像坐标与标定目标上的特征的世界坐标之间的对应关系 的确定，即使当一些图像并未捕捉标定目标的所有特征时亦如此。这样的方法可有利于在 难以使每个成像装置获取整个标定目标的图像数据的情况下（例如，当同时标定多个成像 装置时)仍提供准确而可靠的标定。此外，这样的方法允许使用较大的标定目标，这可以提 高所得标定参数的准确性。
[0057] 本文所描述的技术可被实现用于多种涉及成像和成像数据的应用，诸如使用由可 移动物体搭载的一个或多个成像装置进行基于视觉的导航。例如，本公开的系统、方法和装 置可以用于标定由无人飞行器(UAV)搭载的一个或多个相机。所述一个或多个相机中的每 个相机可以用于捕捉棋盘标定目标的多个图像，所述棋盘标定目标具有叠加在棋盘的方格 上的至少三个圆形参考标记。所述参考标记在图像中可以是可唯一识别的，以便促进确定 与在图像数据中捕捉的角点相对应的棋盘的角点的世界坐标。这样的对应关系信息可以用 于确定UAV相机的标定参数。可以基于所述标定参数来处理由相机捕捉的后续图像数据，以 便例如生成周围环境和/或所述环境内的物体的三维(3D)深度图。
[0058] 本文所描述的技术可以用于标定一个或多个成像装置(例如，相机、扫描仪等）。成 像装置(在本文中亦可称为"视觉传感器"）可用于检测电磁辐射(例如，可见光、红外光和/ 或紫外光)并基于检测到的电磁辐射而生成图像数据。例如，成像装置可以包括电荷耦合器 件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器，所述传感器响应于光的波长而生 成电信号。可以处理所得电信号以产生图像数据。由成像装置生成的图像数据可以包括一 个或多个图像，所述图像可以是静态图像(例如，照片）、动态图像(例如，视频)或其合适的 组合。所述图像数据可以是多色的（例如，RGB、CMYK、HSV)或单色的（例如，灰度、黑白、棕 黑)。
[0059] 本公开的成像装置可以由各种类型的物体搭载，诸如由本文所描述的一个或多个 可移动物体搭载。成像装置可以位于所述物体的任何合适的部分，诸如在所述物体的上方、 下方、一个或多个侧面上或内部。一些成像装置可以机械地耦合至所述物体，以使得所述物 体的空间布局和/或运动对应于成像装置的空间布局和/或运动。成像装置可以经由刚性耦 合而耦合至物体，以使得成像装置不会相对于其所附接的物体的部分而移动。或者，成像装 置与物体之间的耦合可以允许成像装置相对于物体移动。所述耦合可以是永久耦合或者非 永久(例如，可拆卸)耦合。合适的耦合方法可以包括粘合剂、粘结、焊接和/或紧固件(例如， 螺钉、钉、销等）。可选地，成像装置可以与物体的一部分一体形成。此外，成像装置可以电耦 合至物体的一部分(例如，处理单元、控制系统、数据存储），以便使得由成像装置收集的数 据能够用于所述物体的各种功能(例如，导航、控制、推进、与用户或其他装置通信等），诸如 本文所讨论的实施方式。
[0060] 在一些实施方式中，成像装置由UAV搭载。例如，UAV可以是小型UAV(例如，不超过 l〇kg重，具有不超过1.5m的最大尺寸）WAV可以是旋翼飞行器，诸如由多个螺旋桨推进以在 空中移动的多旋翼飞行器(例如，四轴飞行器）。本文所描述的UAV可以完全自主地(例如，由 诸如机载控制器等合适的计算系统）、半自主地或手动地(例如，由人类用户)操作。UAV可以 接收来自合适的实体(例如，人类用户或自主控制系统）的命令，并通过执行一个或多个动 作来响应这样的命令。例如，可以控制UAV从地面起飞、在空中移动（例如，以多达三个平移 自由度和多达三个旋转自由度移动）、移向目标位置或一系列目标位置、在空中悬停、降落 在地面上等。又例如，可以控制UAV以指定的速度和/或加速度(例如，以多达三个平移自由 度和多达三个旋转自由度)或沿着指定的移动路径而移动。此外，所述命令可以用于控制一 个或多个UAV组件，诸如本文所述的组件(例如，传感器、致动器、推进单元、搭载物等）。
[0061] 在一些实施方式中，成像装置可以是相机。虽然本文提供的某些实施方式是在相 机的情景下描述的，但应当理解的是，本公开可以适用于任何合适的成像装置，并且本文关 于相机的任何描述亦可适用于其他类型的成像装置。相机可以用于生成3D场景（例如，环 境、一个或多个物体等）的2D图像。由相机生成的图像可以表示3D场景在2D图像平面上的投 影。因此，2D图像中的每个点对应于所述场景中的3D空间坐标。
[0062] 图1显示了根据实施方式的单相机(单目相机）的模型100。模型100包括世界坐标 系102、相机坐标系104、图像平面坐标系106和像素坐标系108。世界坐标系102在本文中亦 可称为"全局坐标系"，其表示由相机捕捉的场景和/或相机的操作环境的参考系。世界坐标 系102具有坐标原点0jP3D坐标轴X w、Yw、Zw。如下文进一步详述，在一些实施方式中，可以关 于场景中感兴趣的物体(诸如标定目标)来定义世界坐标系102。相机坐标系104表示相机的 参考系，并且具有坐标原点0。和3D坐标轴乂。、￥。、2。。轴2。可对应于相机的光轴，其中向外的方 向为正方向。
[0063] 图像平面坐标系106和像素坐标系108(在本文中亦可称为"图像坐标系"）表示由 相机生成的图像的参考系。图像平面坐标系具有坐标原点〇4P2D坐标轴X P、YP。图像内的像 素的位置可以用像素坐标系108来表示，所述像素坐标系108具有位于图像的左上角的坐标 原点以及2D坐标轴 U、V。!!轴可以平行于图像的行，其中向右的方向为正方向，而ν轴可以平 行于图像的列，其中向下的方向为正方向。在一些实施方式中，相机坐标系104与图像平面 坐标系106和像素坐标系108对准。例如，相机坐标系104的X。轴可以平行于图像的行，并且 在与像素坐标系108的u轴相同的方向上对准。类似地，相机坐标系104的Y。轴可以平行于图 像的列，并且在与像素坐标系108的v轴相同的方向上对准。
[0064] 虽然图1描绘了单一成像装置，但应当明白的是，本文所描述的实施方式可以适用 于任何合适数目的成像装置，诸如一个、两个、三个、四个、五个或更多个成像装置。成像装 置可以全都是相同的类型。或者，至少一些成像装置可以是不同的类型。成像装置可以根据 需要而相对于彼此定位和定向。例如，本文提供的各个实施方式利用两个成像装置(双目视 觉），例如，左相机和右相机。成像装置可以处于不同的位置和方向，以使得每个成像装置具 有不同的视野。成像装置的视野可以重叠。在一些实施方式中，所述成像装置各自提供来自 不同位置和/或方向的同一场景的图像数据。成像装置可用于同时或大致同时捕捉场景的 图像。或者，一些成像装置可用于在不同于其他成像装置的时间捕捉图像。
[0065] 在一些实施方式中，适合使用由一个或多个成像装置收集的场景的2D图像数据获 取所述场景的3D信息。例如，各种应用可以涉及基于场景的多个2D图像(例如，获取于多个 不同位置和方向的图像)来生成所述场景的3D重建(例如，诸如点云、占据网格、深度图、视 差图等3D模型）。如下文更详细地描述，在使用多个成像装置的实施方式中，可以基于由处 于不同位置和/或方向的成像装置获取的图像数据之间的视差而生成3D重建。备选地或组 合地，还可以从由单一成像装置获取的图像数据恢复3D信息，例如，使用来自运动的结构 (structure-from-motion)或其他合适的技术来恢复3D信息。所得3D重建可以用于确定关 于场景的各种类型的定量信息，例如，物体的空间位置(例如，距相机、其他物体的距离）、物 体尺寸(例如，长度、宽度、高度）。这样的信息可以用于多种应用，例如，计算机视觉、物体识 另IJ、跟踪、姿态估计、自我运动确定等。例如，在UAV操作的情景下，场景重建可有助于诸如导 航、避障、绘图、目标跟踪等功能。
[0066] 在一些实施方式中，本文所描述的场景重建技术涉及确定场景的图像中的图像坐 标与实际场景的世界坐标(亦称为全局坐标)之间的对应关系。通过确定各种坐标系(例如， 世界坐标系、相机坐标系和图像坐标系)之间的转换或映射可以识别这样的对应关系。基于 场景、成像装置以及图像平面的模型(例如，针孔相机模型），可以确定定义这些映射的数学 关系。
[0067]图2显示了根据实施方式从世界坐标系到图像坐标系的映射的模型200。映射模型 200描绘了世界坐标系、相机坐标系和图像坐标系之间的关系。映射模型200可以用于描述 成像过程(例如，将场景中物体的世界坐标投影到图像中的图像坐标)和重建过程(例如，使 用图像中的图像坐标来恢复场景中物体的世界坐标）。
[0068] 根据以下方程，可以将世界坐标系与相机坐标系相关联：
其中，R是旋转矩阵而T是平移矢量，其分别指示如何相对于世界坐标系定向和定位相 机坐标系。可以缩放相机坐标，以便获取对应的图像平面坐标：
[0069] 在相机具有光学镜头畸变（例如，径向畸变、偏心畸变、薄棱镜畸变）的实施方式 中，可以使用本领域技术人员已知的技术，从图像平面坐标确定具有畸变Xd、Yd的图像平面 坐标，诸如从以下畸变方程来确定：
其牛… v_._p. . 1 :且1^1、1^、1?、？1、？2、81、82是畸变参数仏1、1?、1?是径向畸变参 数，Pl、P2是偏心畸变参数，而S1、S2是薄棱镜畸变参数）。在一些实施方式中，仅计算所述参 数中的四个参数(例如，ki、k2、Pl、P2)。
[0070] 像素坐标可以使用以下关系式来获得：
其中，Μ是相机固有矩阵，UQ、VQ是主点(光轴与图像平面相交之处，亦称为图像中心）的 坐标，并f
其中f是相机的焦距，并且ax、ay分别是水平像素尺寸和垂直像素 尺寸。
[0071] 图3显示了根据实施方式从世界坐标系到图像坐标系的映射的模型250。世界坐标 系、相机坐标系、无畸变图像平面坐标系、畸变图像平面坐标系以及像素坐标系之间的关系 可类似于本文关于图2的映射模型200所描述的关系。类似于映射模型200,映射模型250可 以用于描述成像过程(例如，将世界坐标(Xw，Yw，Z w)投影到像素坐标(u，v)。可以通过将图像 消畸变以便获取无畸变的像素坐标(u'，v'）并继而使用所述无畸变的像素坐标重建世界坐 标，来从所述像素坐标恢复物体的世界坐标。
[0072]确定或估计与本文所描述的映射相关联的成像装置的一个或多个参数可有利于 从图像数据准确地执行场景重建。这些参数可以包括外部参数(指示如何相对于标定目标 定位和定向每个成像装置的旋转矩阵R和平移矢量T)和固有参数(包括关于焦距、主点位 置、像素大小的信息的固有矩阵M;光学畸变参数1^ 1、1?、1?、？1、？2、81、82)。如下文进一步详 述，在使用多个成像装置的实施方式中，外部参数还可以包括指示成像装置相对于彼此是 如何定位和定向的、用于在成像装置的相机坐标系之间进行转换的旋转矩阵和平移矢量。 获取一个或多个成像装置的外部参数和/或固有参数的过程在本文中亦可称为"相机标 定"。
[0073] 当由诸如UAV等可移动物体安装或搭载成像装置时，相机标定可以是特别有用的。 这样的可移动物体的操作可能导致成像装置的位置和/或方向的改变，例如，由于振动和其 他运动而导致所述改变，这可能影响标定参数。可在可移动物体正在操作时(在线标定)和/ 或可移动物体不在操作时（离线标定)对可移动物体所搭载的成像装置进行标定。例如，可 以在UAV关闭和/或不在飞行中时执行对由所述UAV搭载的相机的离线标定，以及可以在所 述UAV开启和/或在飞行中时执行在线标定。
[0074] 相机标定可以按多种方式来执行。在一些实施方式中，标定过程涉及获取具有多 个特征的场景的图像，继而识别图像中的特征的图像坐标与场景中的对应特征的世界坐标 之间的对应关系。继而可以基于识别出的对应关系以及世界坐标系与图像坐标系之间的映 射(例如，基于本文所描述的映射模型而定义的映射)来估计标定参数。例如，单目标定(确 定单个相机的参数)可以涉及基于针孔相机模型生成对标定参数(例如，R、T、M)的估计，继 而估计畸变的影响（例如，假定畸变参数的初始值为〇)，继而执行参数优化（例如，使用 Levenberg-Marquardt算法）以便获取最优相机标定参数。
[0075] 在一些实施方式中，使用标定目标来促进对世界-图像坐标对应关系的确定。标定 目标可以是具有明确的特征布置的任何结构。例如，标定目标可以是1D的（例如，直线形状、 弯曲形状或曲线形状）、2D的（例如，平面或其他平坦表面）或3D的（例如，立方体、球体、棱 柱、两个或更多个相交平面）。所述特征可以设计为能够轻易地从图像数据中识别(例如，使 用图像识别算法、特征提取算法或其他计算机视觉技术），并且可清晰地与非特征(例如，标 定目标的其他部分、场景中的其他物体、图像噪声）区分开。在一些实施方式中，所述特征是 标定目标上的点（例如，角点、顶点、交点），在本文中亦称为"特征点"。备选地或组合地，所 述特征可以是线(例如，直线、弯曲的或曲线的）、边缘(例如，两个不同颜色的区域之间）、几 何形状(例如，圆形、三角形、四边形等）、符号或字符(例如，字母数字字符)或者其合适的组 合。此外，每个特征的特性(例如，大小、形状、颜色)可以根据需要而改变。
[0076] 标定目标可以包括任何合适数目和组合的特征。例如，标定目标可以包括至少10 个、20个、30个、40个、50个、60个、70个、80个、90个或100个特征。较多特征的使用可以提高 标定过程的准确性。在一些实施方式中，标定目标可以包括仅一种类型的特征，而在其他实 施方式中，所述目标可以包括不止一种类型的特征，诸如至少两种、三种、四种、五种或更多 种不同类型的特征。所述特征可以处于标定目标上的限定位置处，以使得每个特征相对于 所述标定目标的位置和/或方向是已知的。在一些实施方式中，所述特征以具有预定尺寸 (例如，长度、宽度、高度、特征之间间距)的重复图案(例如，具有多个行和列的网格)布置在 标定目标上。所述特征可以是静态特征，以使得其在所述标定目标上的位置和/或方向不改 变。或者，所述特征可以是具有变化的位置和/或方向的动态特征。本文所描述的特征可以 与标定目标一体形成(例如，印刷或涂刷到所述目标的一部分上)或者单独提供并耦合至所 述目标(例如，附接或固定于所述目标的一部分）。
[0077] 在一些实施方式中，标定过程涉及使用待标定的每个成像装置捕捉标定目标的一 组图像。每组图像数据可以包括标定目标的至少5个、10个、15个、20个、25个、30个、35个、40 个、45个、50个或更多个图像。所述图像可以描绘在多个不同位置和/或方向上的标定目标。 可以处理每个图像以便识别存在于图像中的特征并确定其图像坐标。可以确定图像数据中 的特征的图像坐标与标定目标上的特征的世界坐标之间的对应关系，并于随后将其用于求 解标定参数(例如，基于本文所描述的数学关系）。可选地，在使用多个成像装置来获取多组 图像数据的实施方式中，还可以确定图像数据组中特征的图像坐标之间的对应关系，并将 其用于估计多个成像装置的参数(例如，成像装置相对于彼此的位置和/或方向）。
[0078]图4显示了根据实施方式适合在成像装置标定中使用的标定目标300。目标300包 括平面棋盘图案，所述平面棋盘图案具有黑色方格302和白色方格304相间的重复图案。方 格302、方格304的每个方格可具有相同大小，并且布置在具有多个行和列的网格中。在一些 实施方式中，方格的角点（例如，如圆圈305所指示)充当标定目标300的特征点，用于执行成 像装置的标定。使用机器视觉方法，可以相对容易地将角点与图像数据的其他部分区别开。 备选地或组合地，棋盘的其他部分可以充当用于标定的目标300的特征（例如，黑色方格 302、白色方格304等）。可使用各种特征提取技术以及已确定的每个特征的图像坐标，从标 定目标300的图像数据中识别目标300的特征。对于标定目标300的几何结构的知识可以促 进所述过程。例如，在棋盘方格302、棋盘方格304的角点充当标定目标300的特征点的实施 方式中，方格的大小限定相邻特征点之间的间距。因此，可以基于每个角点在棋盘内的行位 置和列位置来确定所述角点的图像坐标。
[0079] 一旦已经确定目标300的图像数据中的特征的图像坐标，可以继而确定目标300上 的特征的图像坐标与世界坐标之间的对应关系。可以相对于目标300而定义世界坐标系，以 使得每个特征的世界坐标对应于目标300上的特征的位置。例如，世界坐标系的原点0 W可以 定位在棋盘的四个外角（306a、306b、306c、306d)中的一个外角处，而棋盘的平面沿着世界 坐标系的X WYW平面铺开。因此，在角点充当用于标定的特征的实施方式中，目标300上的每个 角点的Z w世界坐标为0,并且每个角点的XW，YW世界坐标可以基于其在棋盘上的2D位置（例 如，行位置和列位置)而确定。
[0080] 图5显示了根据实施方式类似于目标300的棋盘标定目标的第一和第二图像350、 352。在图5的实施方式中，标定目标是显示在屏幕上的图像。然而，应当理解的是，本文所描 述的标定目标还可以按其他的格式提供，诸如打印在材料(例如，一张纸)上。标定目标的第 一图像350和第二图像352可以分别由双目或立体视觉成像系统的左相机和右相机来获取， 作为用于执行相机标定的一组标定图像数据的一部分。值得注意的是，第一和第二图像 350、352两者全都捕捉整个标定目标(例如，棋盘的四个外角、棋盘的四个外缘、所有黑色方 格和白色方格），以使得标定目标的所有特征在图像350、图像352两者内都是可见的。因此， 可以识别第一图像350中的特征(例如，角点）的图像坐标、第二图像352中的对应特征的图 像坐标以及标定目标中的特征的世界坐标之间的对应关系并使用所述对应关系来确定左 相机和右相机的标定参数。
[0081] 在一些实施方式中，如果由每个相机获取的标定图像数据未捕捉整个标定目标， 从而导致并非全部特征都在图像内可见，则可能难以确定或者甚至不能确定特征的图像-世界坐标对应关系，特别是在标定目标是从多个不同的相机位置和/或方向上成像的情况 下尤为如此。例如，再次参考图5,如果第一和第二图像350、352中的至少一个图像未能捕捉 整个棋盘标定目标(例如，遗漏了四个外角中的至少一个、四个外缘中的至少一个或其部 分、黑色方格和白色方格中的至少一个或其部分)而使得仅棋盘角点的子集是可见的，则图 像中的角点与目标上的角点之间的对应关系可能由于重复的棋盘图案而不明确。虽然在一 些情况下可以通过减小标定目标的大小或者增加相机与标定目标之间的距离以便确保全 部特征点都在每个相机的视野内来避免所述问题，但这些方法会降低标定的准确性。
[0082] 本文所描述的各个实施方式提供了改进的标定目标，即使当图像数据没有捕捉整 个标定目标和全部标定目标特征时，所述改进的标定目标仍允许对相机标定参数的确定。 在一些实施方式中，这些标定目标包括一个或多个位于限定位置处的参考标记。即使图像 数据描绘处于不同位置和/或方向上的标定目标，所述一个或多个参考标记仍可以各自在 所述标定目标的图像数据中是可唯一识别的。因此，即使当图像数据中仅特征的子集可见 时，仍然可以通过使用参考标记作为用于明确识别每个特征的空间参考，来确定标定目标 的特征的图像-世界坐标对应关系。有利地，只要图像捕捉全部参考标记和至少一些标定特 征，所述方法就允许所述图像用于相机标定，从而提高标定过程的灵活性和鲁棒性。这特别 有益于利用多个相机的装置(例如，实现立体视觉感测系统的UAV)，因为可能相对较难布置 相机以使得整个标定目标处于每个相机的视野内。
[0083] 本文所描述的参考标记的特性可以根据需要而改变，所述特性包括形状、大小和/ 或颜色。示例性参考标记包括几何形状(例如，点、线、圆形、三角形、四边形）、符号或字符 (例如，字母数字字符)或者其合适的组合。本文提供的标定目标可以包括任何合适数目的 参考标记，诸如至少一个、两个、三个、四个、五个或更多个参考标记。在一些实施方式中，标 定目标仅包括三个参考标记。在一些实施方式中，本文所描述的标定目标仅包括单一类型 的参考标记。或者，标定目标可以包括多种不同类型的参考标记，诸如至少两种、三种、四 种、五种或更多种不同类型。
[0084] 可以选择参考标记的特性以有助于例如使用图像识别算法、特征提取算法或其他 计算机视觉技术从图像数据识别参考标记。可选地，参考标记可以在视觉上不同于所述特 征，以有助于对参考标记和特征的准确识别。例如，参考标记可以具有与特征不同的形状、 大小和/或颜色。又例如，特征可以布置成重复图案(例如，在1D线或2D表面上布置），而参考 标记不重复。
[0085] 参考标记可以各自定位在标定目标上的不同位置。在一些实施方式中，相对于标 定目标的特征，参考标记处于限定的布置中，以使得每个特征与至少一个参考标记之间的 空间关系（例如，相对位置、方向）是已知的。例如，参考标记可以覆盖或穿插有标定目标的 一个或多个特征。又例如，参考标记可以定位在靠近或邻近于一个或多个特征之处。参考标 记可以定位在标定目标上，以使得所有参考标记和至少一些特征在标定目标的图像中同时 可见。
[0086] 可以使用各种技术来使每个参考标记在标定目标的图像数据中可唯一识别，即使 图像数据表示标定目标的旋转和/或平移后的视图亦如此。例如，每个参考标记可以具有不 同的大小、形状和/或颜色，或者可以包括使得其能够在视觉上区别于其他标记的唯一的特 性或标记。备选地或组合地，可以按以下方式布置参考标记:使得每个参考标记能够基于其 相对定位而被唯一地识别。在这样的实施方式中，参考标记可以是类似的或相同的（例如， 关于形状、大小、颜色或其他特性）。例如，可以定位每个参考标记以便形成不规则多边形 (例如，等腰三角形、不等边三角形）的顶点。不规则多边形的至少一些角可以具有不同于其 他角的大小。类似地，不规则多边形的至少一些边可以具有不同于其他边的长度。可选地， 所有的角可以具有不同的大小，并且所有的边可以具有不同的长度。又例如，在于平面中布 置标定目标的特征(例如，布置成特征的2D重复图案，诸如网格等）的实施方式中，参考标记 可以形成在所述平面内旋转对称的形状。
[0087]图6和图7显示了根据实施方式基于相对定位是可唯一识别的参考标记。图6显示 了在本文中被描绘成黑色圆形的多个参考标记A、B、C的第一视图400。参考标记A、B、C可以 相对于彼此布置，以便形成不等边三角形的顶点。图7显示了第二视图410,其表示第一视图 400的旋转和平移。由于三角形的不对称性质，第二视图410中的参考标记A'、B'和C'可各自 被唯一识别成分别对应于第一视图400中的参考标记A、B、C。在一些实施方式中，基于参考 标记相对于第一和第二视图400、410中的三角形的特征（例如，边、角）的定位，来执行对于 对应参考标记的识别。例如，在图6和图7的实施方式中，标记B和标记B '都定位成与三角形 的最长边相对，而标记C和标记C'都定位成与三角形的最短边相对。又例如，标记B和标记B' 都定位于三角形的最大内角的顶点处，而标记C和C'都定位于三角形的最小内角的顶点处。 虽然图6和图7中的参考标记被描绘为形成三角形，但应当理解的是，参考标记可以布置为 形成其他不规则多边形(例如，具有三个、四个、五个、六个或更多个顶点的不规则多边形）。 此方法可以使得无论从哪个位置和/或方向查看参考标记，每个标记都是可唯一识别的。
[0088] 图8显示了根据实施方式具有参考标记502a、502b、502c的标定目标500。类似于标 定目标300，所述标定目标500包括棋盘，所述棋盘具有交替的黑色方格和白色方格的重复 图案。在图8的实施方式中，参考标记502a-502c是相同的黑色圆形，每个黑色圆形定位于棋 盘的不同白色方格内。然而，应当理解的是，在备选实施方式中，参考标记502a-502c中的至 少一些参考标记可以是定位于黑色方格内的白色圆形。参考标记502a-502c处于标定目标 500上相对于棋盘的已知位置处，例如，每个标记的行和列位置是已知的。每个参考标记 502a-502c可以位于棋盘的不同部分上（例如，不同的行位置和/或列位置）。在一些实施方 式中，参考标记502a-502c布置在目标500上，以便形成不规则三角形的顶点。因此，如果目 标500的图像包括所有三个参考标记502a-502c，则即使目标500仅有一些部分是可见的（例 如，图像中遗漏了棋盘的四个外角、四个外缘、黑色方格和/或白色方格中的至少一个），每 个参考标记502a-502c仍然是可唯一识别的。一旦已经在图像数据中识别出每个参考标记 502a-502c，则可以确定图像中的参考标记与标定目标500上的参考标记之间的空间关系 (例如，旋转、变换）。这样的空间关系可以继而用于确定图像数据中所描绘的每个特征(例 如，角点）的世界坐标。
[0089] 图9显示了根据实施方式使用具有一个或多个参考标记的标定目标来标定一个或 多个成像装置的方法600。方法600的至少一些步骤可以由合适的计算系统或装置，诸如由 一个或多个处理器来实践。在成像装置由可移动物体搭载的实施方式中，可以在可移动物 体不操作时执行方法600的一些或所有步骤(离线标定）。或者，可以在可移动物体正在操作 时执行一些或所有步骤(在线标定）。
[0090] 在步骤610中，从一个或多个成像装置(例如，一个或多个相机）中的每个装置接收 标定目标的多个图像。如前文所述，标定目标可以包括多个特征以及一个或多个参考标记。 所述多个特征可以布置成任何合适的构型，例如，诸如网格等重复图案。如上文所讨论的， 所述一个或多个参考标记可以设计成在图像中可唯一识别。由每个成像装置提供的所述多 个图像可以包括在相对于所述标定目标的多个不同位置和/或方向上获取的图像。每个图 像可以捕捉所有参考标记以及标定目标的多个特征中的至少一些特征。在一些实施方式 中，成像装置生成的图像中的至少一个图像捕捉少于标定目标的所有多个特征。
[0091] 在步骤620中，识别由每个成像装置提供的多个图像的每个图像中的特征以及一 个或多个参考标记。例如，可以使用各种计算机视觉算法来处理每个图像，以便识别图像中 可见的参考标记和特征。在一些实施方式中，为了促进识别，可以基于关于参考标记和/或 特征的已知特性(例如，形状、大小、颜色、相对定位)的信息来执行所述算法。一旦已经识别 所述参考标记和/或特征，即可为其分配图像坐标，以表示其在图像内的像素位置。例如，圆 形参考标记的图像坐标可以是所述圆的中心的坐标。可选地，为了提高识别准确性，可以在 识别过程之前校正和/或预处理图像，例如，通过降噪、丢弃被认为不适于分析的图像等来 进行校正和/或预处理。
[0092] 图10到图13显示了根据实施方式对图像中的标定目标的特征和参考标记的识别。 图10显示了捕捉具有三个黑色圆形参考标记的棋盘标定目标的一部分的图像，类似于目标 500。值得注意的是，所述图像遗漏了标定目标的某些部分，例如，棋盘的左上角和左下角以 及棋盘的左缘，从而只有棋盘的一些角点是可见的。然而，所有三个参考标记和靠近所述参 考标记的角点是可见的。由于所述三个参考标记布置于标定目标上以便形成不规则多边 形，因此尽管在图像中未捕捉标定目标的一些区域，所述参考标记仍然可各自被唯一地识 另IJ。图11显示了在用以识别棋盘方格的角点的处理之后的图10的图像。如前文所述，角点可 以充当用于相机标定的特征。在一些实施方式中，如果角点识别算法失败(例如，没有识别 出角点），则所述图像被认为是无效的。图12显示了在用以识别参考标记的处理之后的图10 的图像。可以使用诸如霍夫变换(Hough transform)等合适的检测方法来识别圆形参考标 记。如果所述算法未能识别出任何参考标记，则所述图像可被认为是无效的。
[0093] 在一些实施方式中，参考标记检测算法可能产生假阳性，例如，识别并非参考标记 的图像区域。例如，图12的图像包括若干个错误结果，其中错误地识别出并非参考标记的图 像部分。例如，当检测算法依赖于形状识别(例如，对圆形的识别)来识别参考标记并且相似 形状的物体在图像中可见时，可能发生这样的情况。图13显示了对图12的结果进行筛选以 减少假阳性的发生率。在参考标记穿插或覆盖有标定目标的特征的实施方式中，可以对图 像数据进行筛选以将参考标记识别结果限制于那些在所识别的特征的凸包内的参考标记。 在图13中，已经移除了位于被识别的角点的凸包之外的假阳性。基于对参考标记的相对定 位的了解，可以从其余结果确定参考标记。在一些实施方式中，可以确定每个结果的位置信 息(例如，行和列信息和/或者图像坐标）。继而可以分析所述组位置信息以识别彼此具有正 确的空间关系的参考标记。例如，再次参考图13,由于已知位于目标上的参考标记形成三角 形的顶点并且三角形的性质(例如，边长、角)是预定的，因此可以搜索结果以便识别将会满 足这样的几何约束的组。如果没有找到这样的结果，或者如果找到不止一组结果，则所述图 像可被认为是无效的。
[0094] 在步骤630中，确定在多个图像的每个图像中的一个或多个参考标记与标定目标 上的一个或多个参考标记之间的空间关系。如前文所述，由于参考标记被配置成可唯一识 别的，因此通过对比图像数据中的参考标记的位置如何不同于实际标定目标上的参考标记 的已知位置来确定所述空间关系（例如，平移、旋转、翻转）。这样的差异可能基于成像装置 在图像捕捉期间相对于标定目标的位置和/或方向而出现。例如，在一个或多个参考标记在 图像数据中形成不规则多边形的顶点的实施方式中，可以通过识别图像数据中的不规则多 边形的顶点如何对应于实际目标上的顶点的已知位置来确定空间关系。在使用棋盘标定目 标并且参考标记定位于所述棋盘的某些方格中的实施方式中，可以通过识别图像中的每个 参考标记的位置信息(例如，行位置和列位置）以及将所述信息与实际棋盘上的已知位置信 息(例如，行位置和列位置)相对比来确定空间关系。
[0095]在步骤640中，基于在步骤630中确定的空间关系来制定在图像数据中的特征的图 像坐标与标定目标上的对应特征的全局坐标(世界坐标)之间的对应关系。例如，可以使用 已确定的空间关系来确定实际标定目标上的每个特征点的位置。每个特征可以继而被分配 一组世界坐标，所述组世界坐标指示特征点相对于世界坐标系的位置。因此，由于每个特征 的图像坐标和世界坐标是已知的，所以可以制定图像坐标与世界坐标之间的对应关系或映 射。
[0096]在标定多个成像装置的实施方式(其中每个成像装置提供相应的一组图像）中，步 骤640可以涉及识别存在于相应的图像组中的每个图像组中的特征，并且继而仅为这些特 征确定世界坐标。例如，对于使用棋盘的角点的双目标定，步骤640可以涉及识别在左相机 图像和右相机图像中都可见的角点并确定那些公共角点的世界坐标。由于左图像和右图像 都描绘了如上文所讨论的标定目标的所有参考标记，因此所述左图像和右图像应当全都至 少包括靠近参考标记的特征。在备选实施方式中，通过在确定哪些特征在不同的图像组之 间是公共的之前确定在由多个成像装置产生的图像中可见的所有特征的世界坐标，可以反 转这个过程。
[0097]在步骤650中，基于步骤640中制定的对应关系来确定一个或多个成像装置的标定 参数。如前文所述，所述标定参数可以包括与下列各项有关的参数:相机固有矩阵(例如，焦 距、主点位置、像素大小）、相机坐标系与世界坐标系之间的旋转矩阵和平移矢量和/或者一 个或多个成像装置中的每个成像装置的光学畸变（例如，径向畸变、偏心畸变、薄棱镜畸 变）。如上文关于步骤640所述，一旦确定了特征的图像-世界坐标对应关系，即可将这样的 对应关系信息用于求解各种标定参数。
[0098] 可以使用各种方法来求解标定参数。在一些实施方式中，首先获取对标定参数的 初始估计。例如，可以使用映射模型（例如，映射模型200或映射模型250)来获取用于单目相 机标定的世界坐标系与图像坐标系之间的如下所示的映射方程，其不考虑畸变效应：
其中，R=[ri r2 r3](3x3矩阵），T是3x1矢量，并且λ = Ζ。!；点从世界坐标系变换至相机 坐标系之后的Ζ-轴分量）。
[0099] 在标定目标是平面(例如，平面棋盘）的实施方式中，可以假定目标平面位于世界 坐标系的XWYW平面上，使得目标上的每个特征的Z w坐标为0。因此，上述方程可以改写为：
继而可以将单应性矩阵Η定义为H=[hi h2 h3] = sM[ri r2 T]，其中s = l/A。单应性矩 阵方程中的λ可以对应于平均值而不是对应于单一的点。
[0100]由于特征的世界坐标已知，例如，如步骤640中所确定的，因此单应性矩阵Η可以求 解。基于单应性矩阵的定义，可以获得以下方程：
由于r#Pr2是旋转矩阵中的矢量，因此可以获得以下方程：
[0101] 定J
可以获得以下方程：
根据方程(8)，可以获得以下方程： 1 xa m
在方程（10)中，V为2x6矩阵，并且是由单应性矩阵Η变换而得。为了求解b，使用至少三 个不同的Η来约束矩阵B。因此，可以用来自不同位置和/或方向上的标定目标的至少三个不 同图像的数据来执行参数估计。
[0102] 如果可以求解矩阵Β，则也可以求解矩阵Μ。随后，可以根据方程(7)来求解R和Τ。基 于矩阵Μ的不同形式，闭合解可以如下：
[0103] 如果不考虑"切线效应"，并且如果
则
[0104] 如果不考虑"切线效应"，并且如果
则
[0105] 在获得初始解之后，可以优化标定参数，例如，通过Levenberg-Marquardt算法来 进行优化。在一些实施方式中，最优解使以下目标函数最小化：
[0106] 在标定多个成像装置(例如，两个或更多个相机)的实施方式中，步骤650还可以包 括求解每个相机坐标系之间的旋转矩阵R和平移矢量T。这些外部参数可以基于本文所描述 的单目标定方法来获得。例如，在双目标定(两个成像装置的标定）中，对于由左相机和右相 机观察到的空间点，左相机坐标系中的坐标Pi和右相机坐标系中的坐标P r可以满足以下关 系： Pi = RPr+T, (14) 其中，R是从右相机坐标系到左相机坐标系的旋转矩阵，而T是从左相机坐标系原点(h 到右相机坐标系原点〇r的平移矢量。
[0107] 图14显示了根据实施方式在双目相机标定中坐标系之间的空间关系的模型800。 世界坐标系（XwYwZw，其中原点为0w)通过旋转矩阵Ri和平移矢量Τι而与左相机坐标系 (XlYlZl，其中原点为〇1)相关，并通过旋转矩阵R r和平移矢量Tr而与相机坐标系（XrrZr，其中 原点为Or)相关。这些旋转矩阵和平移矢量可以使用前文所述的方法来获得。继而可以由以 下关系来确定用于在左相机坐标系与右相机坐标系之间进行转换的旋转矩阵R和平移矢量 T：
[0108] 一旦已经根据本文所描述的方法而确定了标定参数，则可以使用所述参数来处理 由成像装置获取的图像数据，以便使得所述图像数据适合于各种下游应用，例如，用于生成 地图、物体识别、导航等的3D空间信息的恢复。例如，可以基于确定的标定参数来处理图像 数据，以便校正与所述一个或多个成像装置相关联的光学畸变的影响，这在本文中亦可称 为"消畸变"。又例如，在使用两个或更多个成像装置来捕捉相应的图像数据组的实施方式 中，可以使用标定参数来执行修正，例如，使得图像数据组能够用于立体视觉。
[0109] 图15显示了根据实施方式在畸变图像坐标与无畸变图像坐标之间的映射的模型 900。由于镜头的光学性质，在由成像装置捕捉的图像中可能发生畸变。图像消畸变可以用 于去除由成像装置捕捉的图像(例如，具有与畸变图像平面坐标(Xd，Yd)相对应的畸变图像 或像素坐标(m， V1)的图像）中畸变的影响，以便根据理想的针孔相机模型来获得无畸变的 图像(例如，具有与无畸变图像平面坐标(X P，YP)相对应的无畸变图像或像素坐标(u2，v2)的 图像）。因此，图像消畸变可以用于将畸变图像变换成无畸变图像。图像消畸变过程可以基 于成像装置的先前确定的固有参数(例如，畸变参数、相机固有矩阵M)来执行。这样的参数 可以使用本文呈现的方法来确定。
[0110] 可以使用各种方法来执行图像消畸变。例如，可以根据以下方程，从无畸变像素坐 标(U2，V2)确定无畸变图像平面坐标(Χρ,Υρ):
基于数学畸变模型（例如，由本文先前呈现的畸变方程(3 )所描述的模型）和先前确定 的畸变参数值，可以从无畸变图像平面坐标(xp，γρ)确定畸变图像平面坐标(Xd，Yd)。畸变图 像的像素坐标(m，V1)可以继而通过以下方程获得：
无畸变像素坐标(u2，V2)的灰阶值可以通过内插畸变像素坐标(m，vi)而获得。所述内 插可以使用任何合适的方法来执行，诸如使用最近邻内插或双线性内插。因此，可以获得无 畸变图像。 Com]类似于本文所描述的图像消畸变过程，图像修正(亦称为立体修正)可以涉及图像 到图像变换过程。然而，图像修正还涉及相机坐标系水平上的空间变换。图像修正可以用于 处理由多个成像装置捕捉的图像数据，以有助于实现立体视觉算法，例如，生成深度图、视 差图和场景的其他3D表示。例如，在一些实施方式中，立体视觉算法可以涉及确定由不同相 机(例如，左相机和右相机)捕捉的图像之间的点对应。图像修正可以用于将每个相机所获 取的图像数据投影到公共平面中，从而简化搜索图像中相匹配的图像点的过程。
[0112] 图16和图17显示了根据实施方式用于双目相机系统的图像修正过程。图16显示了 在用于立体视觉的左相机坐标系（相机1)与右相机坐标系(相机2)之间的映射的模型1000。 图像修正过程可以涉及确定旋转矩阵Ri、R r，以及用于修正左图像数据和右图像数据的 Rrect。在一些实施方式中，配置这些矩阵来最大化修正之后的左图像和右图像的重叠部分 并且最小化图像变形的量。此外，如果在两个修正图像中都使用同一矩阵M，则修正后的图 像可以具有相同的比例，从而有助于计算景深。
[0113] 图17显示了在未修正的相机坐标系与已修正的相机坐标系之间的映射的模型 1050。在一些实施方式中，旋转矩阵Ri和Rr可以满足方程：
其中，R是从右相机坐标系(Xr，Yr，Zr )到左相机坐标系(Xl，Yl，Zl)的旋转矩阵。Rl和Rr分 别是从左相机坐标系到第一临时坐标系的旋转矩阵和从右相机坐标 系到第二临时坐标系(Xr_te_，，Zr_temp )的旋转矩阵。在一些实施方式中，可被设定 成等于Rr，以使得旋转矩阵R的旋转角度被均分。可以分别根据Ri和Rr来变换左相机坐标系 和右相机坐标系，以使得这两个相机坐标系的空间姿态在转换之后是相同的。然而，在通过 根据Rl变换左相机坐标系而获得的坐标系中可以存在平移矢量TtempifoT。
[0114] 可以通过旋转矩阵Rrect来同时变换所述两个坐标系，以使得这两个坐标系的Χ0Υ 平面是共面的，并且两者的X-轴均与基线相平行。矩阵Rmt可以是主观确定的。例如，Rrect可 以表示为：
其中
= = 矩阵）， Rrec^x定义为Ttemp的第一行的第一列，并且Tte?P_ y定义为Tte?P的第二行的第一列。
[0115] 在一些实施方式中，在相机坐标系旋转之后，仅存在与X-轴相平行并在两个坐标 系之间的平移矢量Trect = Rrec；tRiT。可选地，可以用矩阵施来取代矩阵Μ(见图10A)。
[0116] 在确定旋转矩阵R^Rr和Rrect以及映射矩阵Μ之后，可以与上述单一图像消畸变过 程类似地执行图像修正过程。图像修正可以单独地在由每一单个成像装置获取的每组图像 上执行。例如，再次参考图16，对于点(U3，V3 )，可以执行反向映射以获得原始左相机坐标系 下的坐标(Χρ?，Υρ?，ΖΡι):
可以对此进行缩放以获得以下关系：
[0117] 根据先前确定的畸变参数和畸变模型(例如，方程(3))可以获得畸变的坐标。继而 可以获得原始左坐标系下的像素坐标(m， V1):
[01 18]经修正的图像坐标(U3，V3)的灰阶值可以使用任何合适的内插算法来确定。这样的 修正过程还可以用于获取右相机的经修正图像坐标。
[0119]图18显示了根据实施方式执行图像修正的处理之后的双目相机图像。所述图像包 括由左相机获取的第一经修正图像1100和由右相机获取的第二经修正图像1102。值得注意 的是，如由叠加的水平线1104所指示，第一图像1100中的物体与第二图像1102中的对应物 体水平对准。
[0120] 一旦已经通过如本文所述的消畸变和/或标定处理了从所述一个或多个图像获取 的图像数据，则所述图像可以用于各种应用，诸如计算机视觉应用。在一些实施方式中，所 述图像可以用于恢复成像场景的空间信息，诸如场景中的物体距成像装置的距离。例如，这 样的空间信息可以用于生成环境的3D表示，诸如深度图、视差图、占据网格、点云等。
[0121]图19显示了根据实施方式由图像数据生成深度图的方法1200。方法1200的至少一 些步骤可以由合适的计算系统或装置，诸如由一个或多个处理器来实践。
[0122] 在步骤1210中，从一个或多个成像装置中的每个成像装置获取一个或多个图像。 所述成像装置可被用于同时或基本上同时捕捉图像，以便生成对应的场景图像。成像装置 可以相对于彼此而定位，以便从不同的位置和/或方向产生同一场景的图像。例如，配备有 双目视觉系统的UAV可以具有左相机和右相机，所述左相机和右相机在同一时间但从两个 不同的位置和/或方向来捕捉UAV周围环境的图像。因此，所述场景中的物体在由不同的成 像装置获取的图像中将会具有不同的图像坐标。
[0123] 在步骤1220中，基于所述一个或多个成像装置的标定参数，处理来自所述一个或 多个成像装置中的每个成像装置的所述一个或多个图像，以便生成3D深度图。如前文所述， 标定参数可以包括成像装置的固定参数和/或外部参数，并且可以使用本文所描述的任何 标定方法(诸如方法600)来预先确定。标定方法可以是在线标定方法或离线标定方法。在一 些实施方式中，使用来自所述一个或多个成像装置中的每个成像装置的标定目标的多个标 定图像来确定标定参数。标定目标可以是本文所呈现的任何实施方式，例如，棋盘标定目 标。例如，标定目标可以包括布置成重复图案的多个特征以及一个或多个参考标记。所述一 个或多个参考标记可被设计成各自在由成像装置获取的每个标定图像中是可唯一识别的， 例如，如上文关于图6、图7和图8的实施方式所讨论的那样。在一些实施方式中，至少一个标 定图像捕捉少于标定目标的所有特征。如前文所讨论，本文所描述的方法可以用于从标定 图像确定标定参数，如本文所描述的，即使当一些或所有图像未捕捉标定目标特征的所有 特征时亦如此。
[0124] 可以使用各种方法来处理图像，以便支持从图像生成3D深度图。例如，可以通过本 文讨论的图像消畸变和/或修正技术来处理图像。经修正的图像可以继而用作向各种立体 视觉算法中的输入以便恢复图像中的物体的深度信息，从而生成成像场景的深度图。例如， 可以相互对比由不同成像装置获取的对应图像(例如，同时或基本上同时捕捉的图像），以 便确定图像之间的视差。基于视差信息以及关于成像装置之间的空间关系的信息，可以确 定物体与成像装置之间的距离。例如，可以计算在来自不同成像装置的图像中的同一物体 的图像坐标之间的视差。从成像装置到物体的距离可以用视差、成像装置的焦距以及成像 装置之间的空间关系（例如，成像装置之间的距离)来表示。因此，一旦已经(例如，经由本文 所描述的标定方法)确定了焦距和空间关系信息，则可以计算所述距离。
[0125] 可以重复所述过程以便生成成像场景内的所有点的3D深度图。这样的深度图可以 用于多种应用。例如，在成像装置由UAV搭载的实施方式中，基于来自成像装置的图像数据 生成的深度图可以用于提供指示各个物体距UAV的距离的信息。所述信息可有助于UAV的各 种功能，诸如避障、导航、目标跟踪等。
[0126] 本文所描述的系统、装置和方法可以适用于多种可移动物体。如前文所述，本文对 飞行器的任何描述均可适用于和用于任何可移动物体。本发明的可移动物体可被用于在任 何合适的环境内移动，诸如在空中（例如，固定翼飞行器、旋翼飞行器或者既不具有固定翼 也不具有旋翼的飞行器）、在水中（例如，船舶或潜艇）、在地面上(例如，机动车，诸如轿车、 卡车、公交车、厢式货车、摩托车;可移动构造物或框架，诸如棒状物、钓鱼竿;或者火车）、在 地下（例如，地铁）、在太空（例如，航天飞机、卫星或探测器），或者这些环境的任何组合。可 移动物体可以是载运工具，诸如本文其他各处所描述的载运工具。在一些实施方式中，可移 动物体可以安装在诸如人类或动物等活体身上。合适的动物可以包括禽类、犬类、猫类、马 类、牛类、羊类、猪类、豚类、啮齿类或昆虫类。
[0127] 可移动物体可以能够在所述环境内关于六个自由度（例如，三个平移自由度和三 个旋转自由度）而自由移动。或者，可移动物体的移动可能关于一个或多个自由度受到约 束，诸如由预定路径、轨迹或朝向所约束。所述移动可以由诸如引擎或马达等任何合适的致 动机构所致动。可移动物体的致动机构可以由任何合适的能源提供动力，所述能源诸如为 电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。可移动物体可以如 本文其他各处所述，经由推进系统而自推进。所述推进系统可以可选地依靠能源运行，所述 能源诸如为电能、磁能、太阳能、风能、引力能、化学能、核能或者其任何合适的组合。或者， 可移动物体可以由生物所搭载。
[0128] 在一些情况下，所述可移动物体可以是载运工具。合适的载运工具可以包括水上 载运工具、飞行器、太空载运工具或地面载运工具。例如，飞行器可以是固定翼飞行器（例 如，飞机、滑翔机）、旋翼飞行器(例如，直升机、旋翼机）、同时具有固定翼和旋翼的飞行器或 者既无固定翼又无旋翼的飞行器(例如，飞艇、热气球）。载运工具可以是自推进式的，诸如 在空中、在水上或水中、在太空中或者在地上或地下自推进。自推进式载运工具可以利用推 进系统，诸如包括一个或多个引擎、马达、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或者其 任何合适组合的推进系统。在一些情况下，推进系统可以用于使可移动物体能够从表面起 飞、降落到表面上、保持其当前位置和/或朝向（例如，悬停）、改变朝向和/或改变位置。
[0129] 可移动物体可以由用户遥控或者由可移动物体之内或之上的乘员在本地控制。在 一些实施方式中，可移动物体是无人的可移动物体，诸如UAV。无人的可移动物体(诸如UAV) 可以不具有搭乘所述可移动物体的乘员。可移动物体可以由人类或自主控制系统(例如，计 算机控制系统)或者其任何合适的组合来控制。可移动物体可以是自主式或半自主式机器 人，诸如配置有人工智能的机器人。
[0130] 可移动物体可以具有任何合适的大小和/或尺寸。在一些实施方式中，可移动物体 可以具有能容纳人类乘员身处载运工具之内或之上的大小和/或尺寸。或者，可移动物体可 以具有比能够容纳人类乘员身处载运工具之内或之上的大小和/或尺寸更小的大小/或尺 寸。可移动物体可以具有适合于由人类搬运或搭载的大小和/或尺寸。或者，可移动物体可 以大于适合由人类搬运或搭载的大小和/或尺寸。在一些情况下，可移动物体可以具有的最 大尺寸（例如，长度、宽度、高度、直径、对角线）小于或等于约：2cm、5cm、10cm、50cm、lm、2m、 5m或10m。所述最大尺寸可以大于或等于约：2cm、5cm、10cm、50cm、lm、2m、5m或10m。例如，可 移动物体的相对的旋翼的轴之间的距离可以小于或等于约：2cm、5cm、10cm、50cm、lm、2m、5m 或10m。或者，相对的旋翼的轴之间的距离可以大于或等于约：2cm、5cm、10cm、50cm、lm、2m、 5m 或 10m 〇
[0131] 在一些实施方式中，可移动物体可以具有小于l〇〇cm x 100cm x 100cm、小于50cm x 50cm x 30cm或小于5cm x 5cm x 3cm的体积。可移动物体的总体积可以小于或等于约： lcm3、2cm3、5cm3、10cm3、20cm 3、30cm3、40cm3、50cm3、60cm 3、70cm3、80cm3、90cm3、100cm 3、 150cm3、200cm3、300cm3、500cm 3、750cm3、1000cm3、5000cm3、10，000cm 3、100，000cm3、lm3或 10m3。相反地，可移动物体的总体积可以大于或等于约：lcm 3、2cm3、5cm3、10cm3、20cm3、 30 cm3、40cm3、50 cm3、60cm3、70 cm3、80cm3、90 cm3、100 cm3、150 cm3、200 cm3、300 cm3、500 cm3、 750cm3、1000cm3、5000cm 3、10，000cm3、100，000cm3、lm3 或 10m3 〇
[0132] 在一些实施方式中，可移动物体可以具有的占地面积(这可以指由所述可移动物 体所包围的横截面面积）小于或等于约：32,000cm 2、20,000cm2、10,000cm2、1，000cm2、 500cm 2、100cm2、50cm2、10cm2或5cm 2。相反地，所述占地面积可以大于或等于约：32，000cm2、 20，000cm2、10，000cm 2、1，000cm2、500cm2、100cm2、50cm 2、10cm2 或 5cm2 〇
[0133] 在一些情况下，可移动物体可以不超过1000kg重。可移动物体的重量可以小于或 等于约：l〇〇〇kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、 35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、lkg、0·5kg、 Ο . lkg、Ο . 05kg或Ο . 01kg。相反地，所述重量可以大于或等于约：1000kg、750kg、500kg、 200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、 12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、lkg、0·5kg、0·lkg、0·05kg或0·01kg。
[0134] 在一些实施方式中，可移动物体相对于所述可移动物体所搭载的负载可以较小。 如下文进一步详述，所述负载可以包括搭载物和/或载具。在一些示例中，可移动物体的重 量与负载重量之比可以大于、小于或等于约1:1。在一些情况下，可移动物体的重量与负载 重量之比可以大于、小于或等于约1:1。可选地，载具重量与负载重量之比可以大于、小于或 等于约1:1。当需要时，可移动物体的重量与负载重量之比可以小于或等于 ：1:2、1:3、1:4、 1:5、1:10或者甚至更小。相反地，可移动物体的重量与负载重量之比还可以大于或等于:2: 1、3 :1、4:1、5:1、10:1 或者甚至更大。
[0135] 在一些实施方式中，可移动物体可以具有低能耗。例如，可移动物体可以使用小于 约：51/11、41/11、31/11、21/11、11/11或更小。在一些情况下，可移动物体的载具可以具有低能 耗。例如，所述载具可以使用小于约：5W/h、4W/h、3W/h、2W/h、lW/h或更小。可选地，可移动物 体的搭载物可以具有低能耗，诸如小于约:5W/h、4W/h、3W/h、2W/h、lW/h或更小。
[0136] 图20显示了根据本发明的实施方式的无人飞行器(UAV)1300。所述UAV可以是本文 所述的可移动物体的示例。UAV 1300可以包括具有四个旋翼1302、1304、1306和1308的推进 系统。可以提供任何数目的旋翼(例如，一个、两个、三个、四个、五个、六个或更多个）。所述 旋翼可以是本文其他各处所述的自紧式旋翼的实施方式。无人飞行器的旋翼、旋翼组件或 其他推进系统可使所述无人飞行器能够悬停/保持位置、改变朝向和/或改变位置。相对的 旋翼的轴之间的距离可以是任何合适的长度1310。例如，长度1310可以小于或等于2m，或者 小于或等于5m。在一些实施方式中，长度1310可以在从40cm到lm、从10cm到2m或者从5cm到 5m的范围内。本文对UAV的任何描述均可适用于可移动物体，诸如不同类型的可移动物体， 并且反之亦然。
[0137] 在一些实施方式中，可移动物体可以被用于搭载负载。所述负载可以包括乘客、货 物、器材、仪器等之中的一种或多种。所述负载可以提供在外壳内。所述外壳可以与可移动 物体的外壳相分离，或者是可移动物体的外壳的一部分。或者，负载可以具备外壳，而可移 动物体不具有外壳。或者，负载的一些部分或者整个负载可以在不具有外壳的情况下提供。 负载可以相对于所述可移动物体刚性固定。可选地，负载可以是相对于可移动物体可以移 动的(例如，可以相对于可移动物体平移或旋转）。
[0138] 在一些实施方式中，负载包括搭载物。所述搭载物可被不执行任何操作或功能。或 者，搭载物可以是被用于执行操作或功能的搭载物，亦称为功能性搭载物。例如，搭载物可 以包括一个或多个传感器，用于勘测一个或多个目标。可以向搭载物中合并任何合适的传 感器，诸如图像捕捉装置(例如，相机）、音频捕捉装置(例如，抛物面麦克风）、红外成像装置 或紫外成像装置。所述传感器可以提供静态感测数据(例如，照片)或动态感测数据(例如， 视频）。在一些实施方式中，传感器提供针对搭载物的目标的感测数据。备选地或组合地，搭 载物可以包括一个或多个发射体，用于向一个或多个目标提供信号。可以使用任何合适的 发射体，诸如照明源或声源。在一些实施方式中，搭载物包括一个或多个收发器，诸如用于 与远离可移动物体的模块通信的收发器。可选地，搭载物可被用于与环境或目标交互。例 如，搭载物可以包括能够操纵物体的工具、仪器或机构，诸如机械臂。
[0139] 可选地，负载可以包括载具。可以为搭载物提供载具，并且所述搭载物可经由所述 载具直接地(例如，直接接触可移动物体)或间接地(例如，不接触可移动物体)耦合至可移 动物体。相反地，搭载物可在无需载具的情况下安装于可移动物体上。搭载物可以与载具一 体形成。或者，搭载物可以可拆卸地耦合至载具。在一些实施方式中，搭载物可以包括一个 或多个搭载物元件，并且所述搭载物元件中的一个或多个可以如上文所述是相对于可移动 物体和/或载具是可移动的。
[0140] 载具可以与可移动物体一体形成。或者，载具可以可拆卸地耦合至可移动物体。载 具可以直接地或间接地耦合至可移动物体。载具可以为搭载物提供支撑(例如，承载所述搭 载物的重量的至少一部分）。载具可以包括能够稳定和/或引导搭载物的移动的合适的安装 构造物(例如，云台平台）。在一些实施方式中，载具可以适于控制搭载物相对于可移动物体 的状态(例如，位置和/或朝向）。例如，载具可被用于相对于可移动物体而移动(例如，关于 一个、两个或三个平移自由度和/或者一个、两个或三个旋转自由度），以使得搭载物与可移 动物体的移动无关地保持其相对于合适的参考系的位置和/或朝向。所述参考系可以是固 定参考系（例如，周围环境）。或者，所述参考系可以是移动参考系（例如，可移动物体、搭载 物目标)。
[0141]在一些实施方式中，载具可被用于允许搭载物相对于载具和/或可移动物体的移 动。所述移动可以是关于多达三个自由度的平移(例如，沿着一个、两个或三个轴线)或者是 关于多达三个自由度的旋转（例如，围绕一个、两个或三个轴线），或者是其任何合适的组 合。
[0142] 在一些情况下，载具可以包括载具框架组件以及载具致动组件。所述载具框架组 件可以向搭载物提供结构性支撑。载具框架组件可以包括单个的载具框架组件，其中一些 组件可以是可相对于彼此移动的。所述载具致动组件可以包括一个或多个致动器(例如，马 达），所述致动器致动单个载具框架组件的移动。致动器可以允许多个载具框架组件的同时 移动，或者可用于每次允许单一载具框架组件的移动。载具框架组件的移动可以产生搭载 物的对应移动。例如，载具致动组件可以致动一个或多个载具框架组件围绕一个或多个旋 转轴(例如，滚转轴、俯仰轴或偏航轴）的旋转。所述一个或多个载具框架组件的旋转可以使 搭载物相对于可移动物体围绕一个或多个旋转轴旋转。备选地或组合地，载具致动组件可 以致动一个或多个载具框架组件沿着一个或多个平移轴的平移，并从而产生搭载物相对于 可移动物体沿着一个或多个对应的轴的平移。
[0143] 在一些实施方式中，可移动物体、载具和搭载物相对于固定参考系（例如，周围环 境）和/或相对于彼此的移动可以由终端来控制。所述终端可以是处于远离所述可移动物 体、载具和/或搭载物的位置处的遥控装置。终端可以安置于支撑平台上或者固定至支撑平 台。或者，终端可以是手持式或可穿戴式装置。例如，终端可以包括智能电话、平板计算机、 膝上型计算机、计算机、眼镜、手套、头盔、麦克风或者其合适的组合。终端可以包括用户接 口，诸如键盘、鼠标、操纵杆、触摸屏或显示器。任何合适的用户输入均可用于与终端交互， 诸如手动输入命令、语音控制、手势控制或位置控制(例如，经由终端的移动、位置或倾斜）。
[0144] 终端可以用于控制可移动物体、载具和/或搭载物的任何合适的状态。例如，终端 可以用于控制可移动物体、载具和/或搭载物相对于固定参考物从和/或相对于彼此的位置 和/或朝向。在一些实施方式中，终端可以用于控制可移动物体、载具和/或搭载物的单个元 件，诸如载具的致动组件、搭载物的传感器或者搭载物的发射体。终端可以包括适于与可移 动物体、载具或搭载物中的一个或多个进行通信的无线通信装置。
[0145] 终端可以包括用于查看可移动物体、载具和/或搭载物的信息的合适的显示单元。 例如，终端可被配置用于显示可移动物体、载具和/或搭载物的信息，所述信息关于位置、平 移速度、平移加速度、朝向、角速度、角加速度或其任何合适的组合。在一些实施方式中，终 端可以显示由搭载物提供的信息，诸如由功能性搭载物提供的数据(例如，由相机或其他图 像捕捉装置记录的图像）。
[0146] 可选地，同一终端可以同时控制可移动物体、载具和/或搭载物或者所述可移动物 体、载具和/或搭载物的状态，以及接收和/或显示来自所述可移动物体、载具和/或搭载物 的信息。例如，终端可以控制搭载物相对于环境的定位，同时显示由搭载物捕捉的图像数 据，或者关于搭载物的位置的信息。或者，不同的终端可以用于不同的功能。例如，第一终端 可以控制可移动物体、载具和/或搭载物的移动或状态，而第二终端可以接收和/或显示来 自可移动物体、载具和/或搭载物的信息。例如，第一终端可以用于控制搭载物相对于环境 的定位，而第二终端显示由所述搭载物捕捉的图像数据。可以在可移动物体与同时控制所 述可移动物体并接收数据的集成式终端之间，或者在可移动物体与同时控制所述可移动物 体并接收数据的多个终端之间利用各种通信模式。例如，可以在可移动物体与同时控制所 述可移动物体并接收来自所述可移动物体的数据的终端之间形成至少两种不同的通信模 式。
[0147] 图21显示了根据实施方式包括载具1402和搭载物1404的可移动物体1400。虽然可 移动物体1400被描绘为飞行器，但这样的描绘并不旨在成为限制性的，并且如前文所述可 以使用任何合适类型的可移动物体。本领域技术人员应当理解，本文在飞行器系统的情景 下描述的任何实施方式均可适用于任何合适的可移动物体(例如，UAV)。在一些情况下，可 以在可移动物体1400上提供搭载物1404而无需载具1402。可移动物体1400可以包括推进机 构1406、感测系统1408和通信系统1410。
[0148] 如前文所述，推进机构1406可以包括旋翼、螺旋桨、桨叶、引擎、马达、轮子、轮轴、 磁体或喷嘴中的一种或多种。例如，推进机构1406可以如本文其他各处所公开，是自紧式旋 翼、旋翼组件或其他旋转推进单元。可移动物体可以具有一个或多个、两个或更多个、三个 或更多个或者四个或更多个推进机构。推进机构可以全都是同一类型。或者，一个或多个推 进机构可以是不同类型的推进机构。推进机构1406可以使用任何合适的装置而安装在可移 动物体1400上，所述装置诸如为本文其他各处所述的支撑元件（例如，驱动轴）。推进机构 1406可以安装在可移动物体1400的任何合适的部分上，诸如顶部、底部、前面、后面、侧面或 其合适的组合。
[0149] 在一些实施方式中，推进机构1406可以使得可移动物体1400能够从表面垂直地起 飞或者垂直地降落在表面上，而无需可移动物体1400的任何水平移动(例如，无需沿着跑道 行进）。可选地，推进机构1406可以可操作地允许可移动物体1400以指定位置和/或朝向悬 停于空中。一个或多个推进机构1400可以独立于其他推进机构得到控制。或者，推进机构 1400可被成同时受到控制。例如，可移动物体1400可以具有多个水平定向的旋翼，所述旋翼 可以向所述可移动物体提供升力和/或推力。可以致动所述多个水平定向的旋翼以向可移 动物体1400提供垂直起飞、垂直降落以及悬停能力。在一些实施方式中，所述水平定向的旋 翼中的一个或多个可以在顺时针方向上旋转，同时所述水平旋翼中的一个或多个可以在逆 时针方向上旋转。例如，顺时针旋翼的数目可以等于逆时针旋翼的数目。每个水平定向的旋 翼的旋转速率可独立地改变，以便控制由每个旋翼产生的升力和/或推力，并从而调节可移 动物体1400的空间布局、速度和/或加速度（例如，关于多达三个平移自由度和多达三个旋 转自由度）。
[0150] 感测系统1408可以包括一个或多个传感器，所述传感器可以感测可移动物体1400 的空间布局、速度和/或加速度（例如，关于多达三个平移自由度和多达三个旋转自由度）。 所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、距 离传感器或图像传感器。由感测系统1408提供的感测数据可以用于控制可移动物体1400的 空间布局、速度和/或朝向（例如，使用合适的处理单元和/或控制模块，如下文所述）。或者， 感测系统1408可以用于提供关于可移动物体周围环境的数据，诸如气象条件、距潜在障碍 物的距离、地理特征的位置、人造构造物的位置等。
[0151] 通信系统1410支持经由无线信号1416与具有通信系统1414的终端1412的通信。通 信系统1410、通信系统1414可以包括任何数目的适合于无线通信的发射器、接收器和/或收 发器。所述通信可以是单向通信，使得数据只能在一个方向上传输。例如，单向通信可以仅 涉及可移动物体1400向终端1412传输数据，或者反之亦然。数据可以从通信系统1410的一 个或多个发射器传输至通信系统1412的一个或多个接收器，或者反之亦然。或者，所述通信 可以是双向通信，使得数据在可移动物体1400与终端1412之间的两个方向上均可传输。双 向通信可以涉及从通信系统1410的一个或多个发射器向通信系统1414的一个或多个接收 器传输数据，并且反之亦然。
[0152] 在一些实施方式中，终端1412可以向可移动物体1400、载具1402和搭载物1404中 的一个或多个提供控制数据，以及从可移动物体1400、载具1402和搭载物1404中的一个或 多个接收信息(例如，可移动物体、载具或搭载物的位置和/或运动信息；由搭载物感测的数 据，诸如由搭载物相机捕捉的图像数据）。在一些情况下，来自终端的控制数据可以包括可 移动物体、载具和/或搭载物的相对位置、移动、致动或控制的指令。例如，控制数据可以导 致可移动物体的位置和/或朝向的修改(例如，经由推进机构1406的控制），或者搭载物相对 于可移动物体的移动(例如，经由载具1402的控制）。来自终端的控制数据可以导致对搭载 物的控制，诸如对相机或其他图像捕捉装置的操作的控制(例如，获取静态或移动图片、放 大或缩小、开启或关闭、切换成像模式、改变图像分辨率、改变聚焦、改变景深、改变曝光时 间、改变视角或视野）。在一些情况下，来自可移动物体、载具和/或搭载物的通信可以包括 来自一个或多个传感器(例如，感测系统1408的或搭载物1404的传感器）的信息。所述通信 可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、 距离传感器或图像传感器）的感测到的信息。这样的信息可以关于可移动物体、载具和/或 搭载物的位置(例如，位置、朝向）、移动或加速度。来自搭载物的这样的信息可以包括由所 述搭载物捕捉的数据或所述搭载物的感测到的状态。由终端1412提供并传输的控制数据可 被用于控制可移动物体1400、载具1402或搭载物1404中的一个或多个的状态。备选地或组 合地，载具1402和搭载物1404还可以各自包括通信模块，所述通信模块被用于与终端1412 通信，以使得所述终端可独立地与可移动物体1400、载具1402和搭载物1404中的每一个通 信并对其加以控制。
[0153] 在一些实施方式中，可移动物体1400可被用于与终端1412以外的另一远程装置进 行通信，或不与终端1412而与另一远程装置进行通信。终端1412也可被用于与另一远程装 置以及可移动物体1400进行通信。例如，可移动物体1400和/或终端1412可以与另一可移动 物体或者另一可移动物体的载具或搭载物进行通信。当需要时，所述远程装置可以是第二 终端或其他计算装置（例如，计算机、膝上型计算机、平板计算机、智能电话或其他移动装 置）。远程装置可被用于向可移动物体1400传输数据、从可移动物体1400接收数据、向终端 1412传输数据和/或者从终端1412接收数据。可选地，远程装置可以连接至因特网或其他电 信网络，以使得从可移动物体1400和/或终端1412接收的数据可被上传至网站或服务器。
[0154] 图22是根据实施方式用于控制可移动物体的系统1500的示意性框图。系统1500可 以与本文所公开的系统、装置和方法的任何合适的实施方式结合使用。系统1500可以包括 感测模块1502、处理单元1504、非暂时性计算机可读介质1506、控制模块1508和通信模块 1510〇
[0155] 感测模块1502可以利用以不同方式收集与可移动物体有关的信息的不同类型的 传感器。不同类型的传感器可以感测不同类型的信号或者来自不同来源的信号。例如，所述 传感器可以包括惯性传感器、GPS传感器、距离传感器(例如，激光雷达)或视觉/图像传感器 (例如，相机）。感测模块1502可以可操作地耦合至具有多个处理器的处理单元1504。在一些 实施方式中，感测模块可以可操作地耦合至传输模块1512(例如，Wi-Fi图像传输模块），所 述传输模块被用于向合适的外部装置或系统直接传输感测数据。例如，传输模块1512可以 用于向远程终端传输由感测模块1502的相机捕捉的图像。
[0156] 处理单元1504可以具有一个或多个处理器，诸如可编程处理器(例如，中央处理器 (CPU))。处理单元1504可以可操作地耦合至非暂时性计算机可读介质1506。非暂时性计算 机可读介质1506可以储存可由处理单元1504执行的逻辑、代码和/或程序指令，用以执行一 个或多个步骤。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介 质或外部存储，诸如SD卡或随机存取存储器(RAM))。在一些实施方式中，来自感测模块1502 的数据可直接传送至并储存于非暂时性计算机可读介质1506的存储器单元内。非暂时性计 算机可读介质1506的存储器单元可以储存可由处理单元1504执行的逻辑、代码和/或程序 指令，用以执行本文所描述的方法的任何合适的实施方式。例如，处理单元1504可被用于执 行指令，从而使处理单元1504的一个或多个处理器分析由感测模块产生的感测数据。存储 器单元可以储存要由处理单元1504处理的、来自感测模块的感测数据。在一些实施方式中， 非暂时性计算机可读介质1506的存储器单元可以用于储存由处理单元1504产生的处理结 果。
[0157] 在一些实施方式中，处理单元1504可以可操作地耦合至控制模块1508,所述控制 模块1508被用于控制可移动物体的状态。例如，控制模块1508可被用于控制可移动物体的 推进机构以调节可移动物体关于六个自由度的空间布局、速度和/或加速度。备选地或组合 地，控制模块1508可以控制载具、搭载物或感测模块的状态中的一个或多个。
[0158] 处理单元1504可以可操作地耦合至通信模块1510,所述通信模块1510被用于传输 数据和/或接收来自一个或多个外部装置(例如，终端、显示装置或其他遥控器）的数据。可 以使用任何合适的通信手段，诸如有线通信或无线通信。例如，通信模块1510可以利用局域 网（LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等之中 的一种或多种。可选地，可以使用中继站，诸如塔、卫星或移动台。无线通信可以依赖于距离 或独立于距离。在一些实施方式中，通信可能需要或者可能不需要视线。通信模块1510可以 传输和/或接收来自感测模块1502的感测数据、由处理单元1504产生的处理结果、预定控制 数据、来自终端或遥控器的用户命令等之中的一个或多个。
[0159] 系统1500的组件可以按任何合适的配置来布置。例如，系统1500的一个或多个组 件可以位于可移动物体、载具、搭载物、终端、感测系统或与上述的一个或多个相通信的附 加的外部装置上。此外，虽然图22描绘了单一处理单元1504和单一非暂时性计算机可读介 质1506,但本领域技术人员将会理解，这并不旨在成为限制性的，并且系统1500可以包括多 个处理单元和/或非暂时性计算机可读介质。在一些实施方式中，多个处理单元和/或非暂 时性计算机可读介质中的一个或多个可以位于不同的位置，诸如在可移动物体、载具、搭载 物、终端、感测模块、与上述的一个或多个相通信的附加的外部装置上或其合适的组合，以 使得由系统1500执行的处理和/或存储器功能的任何合适的方面可以发生于一个或多个上 述位置处。
[0160] 本文中使用的A和/或B包含A或B中的一个或多个以及其组合，诸如A和B。
[0161] 鉴于本文的公开内容，对于本领域技术人员将会显而易见的是，本公开的任何装 置、装置、系统及其组件的具体尺寸可以根据预定应用而改变。此外，应当理解，本文所描述 的实施方式仅用于示例说明目的，并且根据这些实施方式的各种修改或改变可以被建议给 本领域技术人员并可被包含在本申请的精神和范围内以及所附权利要求的保护范围内。本 文所描述的实施方式的许多不同的组合皆有可能，并且这样的组合被认为是本公开的一部 分。另外，联系本文任何一个实施方式讨论的所有特征均可容易地适于在本文的其他实施 方式中使用。
[0162] 虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员显而 易见的是，这样的实施方式只是以示例的方式提供的。本领域技术人员现将会在不偏离本 发明的情况下想到许多更改、改变和替代。应当理解，在实践本发明的过程中可以采用对本 文所描述的本发明实施方式的各种替代方案。以下权利要求旨在限定本发明的范围，并因 此覆盖这些权利要求范围内的方法和构造物及其等效项。
【主权项】
1. 一种用于标定一个或多个成像装置的方法，所述方法包括： 从所述一个或多个成像装置中的每个成像装置接收标定目标的多个图像，所述标定目 标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考标 记各自在所述多个图像的每个图像中是可唯一识别的，并且其中所述多个图像包括捕捉少 于所有的所述多个特征的至少一个图像； 借助于一个或多个处理器，确定在所述多个图像的每个图像中的所述一个或多个参考 标记与所述标定目标上的所述一个或多个参考标记之间的空间关系； 基于所述空间关系并借助于一个或多个处理器，制定在所述多个图像的每个图像中的 特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及 基于所述对应关系并借助于所述一个或多个处理器，确定所述一个或多个成像装置的 标定参数。2. 根据权利要求1所述的方法，其中所述一个或多个成像装置由无人飞行器搭载。3. 根据权利要求1所述的方法，其中所述多个图像的所述每个图像捕捉所述标定目标 上的所述一个或多个参考标记以及所述多个特征的至少一个子集。4. 根据权利要求1所述的方法，其中所述一个或多个成像装置中的每个成像装置的所 述多个图像是相对于所述标定目标的不同位置和方向获取的。5. 根据权利要求1所述的方法，其中所述标定目标是包括多个方格的棋盘，并且所述多 个特征包括所述多个方格的角点。6. 根据权利要求5所述的方法，其中所述一个或多个参考标记各自定位于所述多个方 格中的一个方格内。7. 根据权利要求5所述的方法，其中所述多个特征包括所述棋盘的四个外角，并且所述 至少一个图像遗漏了所述四个外角中的至少一个。8. 根据权利要求1所述的方法，其中所述一个或多个参考标记包括至少三个参考标记。9. 根据权利要求1所述的方法，其中所述一个或多个参考标记包括圆点、三角形或四边 形。10. 根据权利要求1所述的方法，其中所述一个或多个参考标记覆盖至所述重复图案 上。11. 根据权利要求1所述的方法，其中所述一个或多个参考标记形成在所述标定目标上 形成不规则多边形的顶点。12. 根据权利要求11所述的方法，其中所述一个或多个参考标记包括形成等腰三角形 或不等边三角形的顶点的三个参考标记。13. 根据权利要求11所述的方法，其中所述一个或多个参考标记在所述多个图像中形 成不规则多边形的顶点，并且其中确定所述空间关系的所述步骤包括识别在所述多个图像 中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之 间的对应关系。14. 根据权利要求1所述的方法，其中所述多个特征在平面上布置成所述重复图案，并 且其中所述一个或多个参考标记在所述平面内形成非旋转对称的形状。15. 根据权利要求1所述的方法，其中所述一个或多个成像装置包括基本上同时捕捉图 像的第一相机和第二相机。16. 根据权利要求15所述的方法，其中所述制定步骤包括识别存在于由所述第一相机 获取的图像和由所述第二相机获取的对应图像中的特征。17. 根据权利要求1所述的方法，其中所述标定参数包括所述一个或多个成像装置中的 每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。18. 根据权利要求1所述的方法，其中所述标定参数包括所述一个或多个成像装置中的 每个成像装置相对于所述标定目标的位置和方向。19. 一种用于标定一个或多个成像装置的系统，所述系统包括： 一个或多个成像装置，所述成像装置各自被用于捕捉标定目标的多个图像，所述标定 目标包括布置成重复图案的多个特征以及一个或多个参考标记，其中所述一个或多个参考 标记各自在所述多个图像的每个图像中是可唯一识别的，并且其中所述多个图像包括捕捉 少于所有的所述多个特征的至少一个图像;以及 一个或多个处理器，其共同地或单个地用于： 从所述一个或多个成像装置中的每个成像装置接收所述多个图像； 确定在所述多个图像的每个图像中的所述一个或多个参考标记与所述标定目标上的 所述一个或多个参考标记之间的空间关系； 基于所述一个或多个参考标记的预定全局坐标，制定在所述多个图像的每个图像中的 特征的图像坐标与所述标定目标上的对应特征的全局坐标之间的对应关系；以及 基于所述对应关系，确定所述一个或多个成像装置的标定参数。20. 根据权利要求19所述的系统，其中所述一个或多个成像装置由无人飞行器搭载。21. 根据权利要求19所述的系统，其中所述多个图像的所述每个图像捕捉所述标定目 标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。22. 根据权利要求19所述的系统，其中所述一个或多个成像装置中的每个成像装置的 所述多个图像是相对于所述标定目标的不同位置和方向获取的。23. 根据权利要求19所述的系统，其中所述标定目标是包括多个方格的棋盘，并且所述 多个特征包括所述多个方格的角点。24. 根据权利要求23所述的系统，其中所述一个或多个参考标记各自定位于所述多个 方格中的一个方格内。25. 根据权利要求23所述的系统，其中所述多个特征包括所述棋盘的四个外角，并且所 述至少一个图像遗漏了所述四个外角中的至少一个。26. 根据权利要求19所述的系统，其中所述一个或多个参考标记包括至少三个参考标 记。27. 根据权利要求19所述的系统，其中所述一个或多个参考标记包括圆点、三角形或四 边形。28. 根据权利要求19所述的系统，其中所述一个或多个参考标记覆盖至所述重复图案 上。29. 根据权利要求19所述的系统，其中所述一个或多个参考标记在所述标定目标上形 成不规则多边形的顶点。30. 根据权利要求29所述的系统，其中所述一个或多个参考标记包括形成等腰三角形 或不等边三角形的顶点的三个参考标记。31. 根据权利要求29所述的系统，其中所述一个或多个参考标记在所述多个图像中形 成不规则多边形的顶点，并且其中确定所述空间关系的所述步骤包括识别在所述多个图像 中的所述不规则多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之 间的对应关系。32. 根据权利要求19所述的系统，其中所述多个特征在平面上布置成所述重复图案，并 且其中所述一个或多个参考标记在所述平面内形成非旋转对称的形状。33. 根据权利要求19所述的系统，其中所述一个或多个成像装置包括基本上同时捕捉 图像的第一相机和第二相机。34. 根据权利要求33所述的系统，其中所述制定步骤包括识别存在于由所述第一相机 获取的所述多个图像和由所述第二相机获取的所述多个图像中的特征。35. 根据权利要求19所述的系统，其中所述标定参数包括所述一个或多个成像装置中 的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。36. 根据权利要求19所述的系统，其中所述标定参数包括所述一个或多个成像装置中 的每个成像装置相对于所述标定目标的位置和方向。37. -种使用一个或多个成像装置来生成深度图的方法，所述方法包括： 从所述一个或多个成像装置中的每个成像装置获取一个或多个图像；以及 借助于一个或多个处理器，基于所述一个或多个成像装置的标定参数，处理来自所述 一个或多个成像装置中的每个成像装置的所述一个或多个图像，以生成三维深度图， 其中使用来自所述一个或多个成像装置中的每个成像装置的标定目标的多个标定图 像来确定所述标定参数，所述标定目标包括布置成重复图案的多个特征以及一个或多个参 考标记，其中所述一个或多个参考标记各自在所述多个标定图像中的每个标定图像内是可 唯一识别的，并且其中所述多个标定图像包括捕捉少于所有的所述多个特征的至少一个标 定图像。38. 根据权利要求37所述的方法，其中所述一个或多个成像装置由无人飞行器搭载。39. 根据权利要求38所述的方法，其中所述深度图包括指示一个或多个物体距所述无 人飞行器的距离的信息。40. 根据权利要求37所述的方法，其中所述多个标定图像中的所述每个标定图像捕捉 所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。41. 根据权利要求37所述的方法，其中所述成像装置中的每个成像装置的所述多个标 定图像是相对于所述标定目标的不同位置和方向获取的。42. 根据权利要求37所述的方法，其中所述标定目标是包括多个方格的棋盘，并且所述 多个特征包括所述多个方格的角点。43. 根据权利要求42所述的方法，其中所述一个或多个参考标记各自定位于所述多个 方格中的一个方格内。44. 根据权利要求42所述的方法，其中所述多个特征包括所述棋盘的四个外角，并且所 述至少一个标定图像遗漏了所述四个外角中的至少一个。45. 根据权利要求37所述的方法，其中所述一个或多个参考标记包括至少三个参考标 记。46. 根据权利要求37所述的方法，其中所述一个或多个参考标记包括圆点、三角形或四 边形。47. 根据权利要求37所述的方法，其中所述一个或多个参考标记覆盖至所述重复图案 上。48. 根据权利要求37所述的方法，其中所述一个或多个参考标记形成所述标定目标上 的不规则多边形的顶点。49. 根据权利要求48所述的方法，其中所述一个或多个参考标记包括形成等腰三角形 或不等边三角形的顶点的三个参考标记。50. 根据权利要求48所述的方法，其中所述一个或多个参考标记在所述多个标定图像 中形成不规则多边形的顶点，并且其中通过至少识别在所述多个标定图像中的所述不规则 多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系来 确定所述标定参数。51. 根据权利要求37所述的方法，其中所述多个特征在平面上布置成所述重复图案，并 且其中所述一个或多个参考标记在所述平面内形成非旋转对称的形状。52. 根据权利要求37所述的方法，其中所述一个或多个成像装置包括基本上同时捕捉 图像的第一相机和第二相机。53. 根据权利要求52所述的方法，其中处理所述一个或多个图像包括识别存在于由所 述第一相机捕捉的图像和由所述第二相机捕捉的对应图像中的一个或多个特征。54. 根据权利要求52所述的方法，其中处理所述一个或多个图像包括确定由所述第一 相机捕捉的图像与由所述第二相机捕捉的对应图像之间的视差。55. 根据权利要求37所述的方法，其中所述标定参数包括所述一个或多个成像装置中 的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。56. 根据权利要求37所述的方法，其中所述标定参数包括所述一个或多个成像装置中 的每个成像装置相对于所述标定目标的位置和方向。57. 根据权利要求37所述的方法，其中处理所述一个或多个图像包括减小所述一个或 多个图像的至少一个图像中的光学畸变。58. -种使用一个或多个成像装置来生成深度图的系统，所述系统包括： 一个或多个成像装置，所述成像装置各自被用于获取图像；以及 一个或多个处理器，其共同地或单个地被用于： 从所述一个或多个成像装置中的每个成像装置获取一个或多个图像；以及 基于所述一个或多个成像装置的标定参数，处理来自所述一个或多个成像装置中的每 个成像装置的所述一个或多个图像，以生成三维深度图， 其中使用来自所述一个或多个成像装置中的每个成像装置的标定目标的多个标定图 像来确定所述标定参数，所述标定目标包括布置成重复图案的多个特征以及一个或多个参 考标记，其中所述一个或多个参考标记各自在所述多个标定图像中的每个标定图像内是可 唯一识别的，并且其中所述多个标定图像包括捕捉少于所有的所述多个特征的至少一个标 定图像。59. 根据权利要求58所述的系统，其中所述一个或多个成像装置由无人飞行器搭载。60. 根据权利要求59所述的系统，其中所述深度图包括指示一个或多个物体距所述无 人飞行器的距离的信息。61. 根据权利要求58所述的系统，其中所述多个标定图像中的所述每个标定图像捕捉 所述标定目标上的所述一个或多个参考标记以及所述多个特征的至少一个子集。62. 根据权利要求58所述的系统，其中所述成像装置中的每个成像装置的所述多个标 定图像是相对于所述标定目标的不同位置和方向获取的。63. 根据权利要求58所述的系统，其中所述标定目标是包括多个方格的棋盘，并且所述 多个特征包括所述多个方格的角点。64. 根据权利要求63所述的系统，其中所述一个或多个参考标记各自定位于所述多个 方格中的一个方格内。65. 根据权利要求63所述的系统，其中所述多个特征包括所述棋盘的四个外角，并且所 述至少一个标定图像遗漏了所述四个外角中的至少一个。66. 根据权利要求58所述的系统，其中所述一个或多个参考标记包括至少三个参考标 记。67. 根据权利要求58所述的系统，其中所述一个或多个参考标记包括圆点、三角形或四 边形。68. 根据权利要求58所述的系统，其中所述一个或多个参考标记覆盖至所述重复图案 上。69. 根据权利要求58所述的系统，其中所述一个或多个参考标记形成所述标定目标上 的不规则多边形的顶点。70. 根据权利要求69所述的系统，其中所述一个或多个参考标记包括形成等腰三角形 或不等边三角形的顶点的三个参考标记。71. 根据权利要求69所述的系统，其中所述一个或多个参考标记形成所述多个标定图 像中的不规则多边形的顶点，并且其中通过至少识别在所述多个标定图像中的所述不规则 多边形的所述顶点与所述标定目标上的所述不规则多边形的所述顶点之间的对应关系来 确定所述标定参数。72. 根据权利要求58所述的系统，其中所述多个特征在平面上布置成所述重复图案，并 且其中所述一个或多个参考标记在所述平面内形成非旋转对称的形状。73. 根据权利要求58所述的系统，其中所述一个或多个成像装置包括基本上同时捕捉 图像的第一相机和第二相机。74. 根据权利要求73所述的系统，其中处理所述一个或多个图像的所述步骤包括识别 存在于由所述第一相机捕捉的图像和由所述第二相机捕捉的对应图像中的一个或多个特 征。75. 根据权利要求73所述的系统，其中处理所述一个或多个图像的所述步骤包括确定 由所述第一相机捕捉的图像与由所述第二相机捕捉的对应图像之间的视差。76. 根据权利要求58所述的系统，其中所述标定参数包括所述一个或多个成像装置中 的每个成像装置的焦距、主点位置、像素大小或光学畸变之中的至少一个。77. 根据权利要求58所述的系统，其中所述标定参数包括所述一个或多个成像装置中 的每个成像装置相对于所述标定目标的位置和方向。78. 根据权利要求58所述的系统，其中处理所述一个或多个图像的所述步骤包括减小 所述一个或多个图像的至少一个图像中的光学畸变。
【文档编号】G06T7/00GK105981074SQ201480075081
【公开日】2016年9月28日
【申请日】2014年11月4日
【发明人】沈宇, 刘昂, 周谷越
【申请人】深圳市大疆创新科技有限公司