机器视觉图像传感器校准的制作方法

机器视觉图像传感器校准的制作方法
【专利摘要】一种用于校准一个或多个外部图像传感器参数的系统、装置、方法和计算机可读介质。系统可以基于包括一个或多个地平面地标的图像数据来对例如如可以被用在车辆中的多照相机环绕视图系统进行校准。该系统可以例如通过拉东变换来确定图像数据的地平面投影。例如，可以通过应用投影切片定理来确定与地平面投影中的一个或多个地平面地标中的至少一个地平面地标相关联的信号。可以将地标信号用作自动校准循环中的响应，以优化与传感器相关联的一个或多个外部参数值。
【专利说明】机器视觉图像传感器校准
【背景技术】
[0001] 机器视觉持续取得快速的发展。很多当前机器视觉系统利用环绕视图系统，在所 述环绕视图系统中，将由不同的图像传感器(例如，不同的照相机)捕获的图像数据彼此地 组合在一起。为了适当地禪合多个图像传感器，可W执行校准W建立与每一个传感器相关 联的外部参数和内部参数。外部参数包括一个传感器相对于其它传感器的方位和位置。内 部参数包括在对由传感器光路造成的图像失真(例如但不限于，与广角光收集相关联的非 线性失真(例如，通常被称为鱼眼失真））进行校正时使用的那些参数。一起地，运些传感器 参数有助于将图像数据帖位置映射到与托管机器视觉系统的平台有关的世界位置。
[0002] 图像传感器校准在将机器视觉系统初始安装到平台中时(例如，在车辆制造期间） 是重要的。为了在平台的整个寿命周期来维护机器视觉性能，后续的校准（即，再校准)也是 重要的。例如，外部的传感器参数容易受到由于平台振动而漂移的影响，并且还容易受到由 于平台冲击和/或传感器置换而引起大阶跃函数变化的影响。因此，不需要大量的手工测量 和/或严格受控的校准环境的稳健的机器视觉传感器校准系统和技术是有利的。
【附图说明】
[0003] 在附图中，通过示例的方式而非通过限制的方式示出了本文描述的材料。为了说 明的简单和清楚起见，附图中示出的要素不必按比例进行绘制。例如，为了清楚起见，可W 相对于其它要素来夸大一些要素的尺寸。此外，在被认为适当的地方，已经在附图中重复一 些附图标记，W指示相应的或者类似的要素。在附图中：
[0004] 图1A是根据一些实施例的使用机器视觉图像传感器校准系统的示例性车辆平台 的等距视图；
[0005] 图1B是根据一些实施例的使用机器视觉图像传感器校准系统的示例性车辆平台 的平面视图；
[0006] 图2是根据一些实施例的描绘两个图像传感器的视野的示例性车辆平台的等距视 图；
[0007] 图3A和图3B示出了根据一些实施例的由在图2中描绘的两个图像传感器捕获的示 例性图像；
[000引图4是根据一些实施例的描绘四个图像传感器的视野的示例性车辆平台的等距视 图；
[0009] 图5A、5B、5C和5D示出了根据一些实施例的由在图4中描绘的四个图像传感器捕获 的示例性图像；
[0010] 图6是示出了根据一些实施例的要被投影到地平面上的环绕图像空间的等距视 图；
[0011] 图7是示出了根据一些实施例的基于地平面投影的自动机器视觉图像传感器校准 方法的流程图；
[0012] 图8是示出了根据一些实施例的用于投影到地平面和对地平面投影中的地标的一 致性进行评价的方法的流程图；
[0013]图9A、9B、9C示出了根据一些实施例的被应用于图像帖的定向平行投影；
[0014]图10A是根据一些实施例的与校准的外部参数相关联的地平面投影的平面视图； [001引图10B是根据一些实施例的与图10A中示出的地平面投影相关联的投影结果的图；
[0016] 图11A是根据一些实施例的与未校准的外部参数相关联的地平面投影的平面视 图；
[0017] 图11B是根据一些实施例的与图11A中示出的地平面投影相关联的投影结果的图；
[0018] 图12是根据一些实施例的被配置为基于地平面投影来执行自动图像传感器校准 方法的机器视觉模块的功能框图；W及
[0019] 图13是根据一些实施例的包括图像传感器校准模块的示例性超低功率系统的图。
【具体实施方式】
[0020] 参照附图来描述一个或多个实施例。虽然详细地描绘并且讨论了具体的配置和排 列，但是应当理解的是，运仅仅是出于说明性的目的而进行的。相关领域的技术人员将认识 到的是，在不背离本描述的精神和范围的情况下，其它的配置和排列也是可行的。对于相关 领域的技术人员来说，将显而易见的是，在本文详细描述的内容W外的各种各样的其它系 统和应用中，可W使用本文描述的技术和/或排列。
[0021] 在下面的【具体实施方式】中对附图进行了参考，所述附图构成【具体实施方式】的一部 分并且示出了示例性的实施例。此外，应当理解的是，在不背离要求的主题的范围的情况 下，可W利用其它实施例，并且可W进行结构的和/或逻辑的改变。因此，下面的具体实施方 式不是从限制的意义上来理解的，并且要求的主题的范围唯一地由所附的权利要求及其等 同物来限定。
[0022] 在下面的描述中，阐述了众多细节，但是对于本领域的技术人员来说，将显而易见 的是，可W在没有运些具体细节的情况下实践实施例。为了避免对更重要的方面造成模糊， W框图的形式而非详细地示出公知的方法和设备。贯穿本说明书对于"一种实施例"或"一 个实施例"的提及意指结合该实施例描述的特定的特征、结构、功能或特性被包括在至少一 个实施例中。因此，在贯穿本说明书的各个地方出现的短语"在一种实施例中"或者"在一个 实施例中"不必然地指代相同的实施例。此外，在实施例的上下文中描述的特定的特征、结 构、功能或特性可任何适当的方式被组合到一个或多个实施例中。例如，在与第一实施 例和第二实施例相关联的特定的特征、结构、功能或特性不互相排斥的任何地方，都可W将 第一实施例与第二实施例进行组合。
[0023] 如在示例性实施例的描述中W及在所附的权利要求书中使用的，单数形式的"一 (a)"、" 一个(an)"和"所述(the)"旨在同样地包括复数形式，除非上下文W不同的方式清楚 地指出。还应当理解的是，如本文使用的术语"和/或"指代并且包含相关联的列表项中的一 个或多个的任意组合和所有可能的组合。
[0024] 如贯穿本说明书W及在权利要求书中使用的，由术语"中的至少一个"或"中的一 个或多个"连接的项目的列表可W意指所列出的项目的任意组合。例如，短语"A、B或C中的 至少一个'可W意指A;B;C;A和B;A和C;B和C;或者A、B和C。
[0025] 本文可W使用术语"禪合"和"连接"连同其派生词来描述部件之间的功能关系或 结构关系。应当理解的是，运些术语不旨在作为彼此的同义词。更确切地说，在特定的实施 例中，"连接"可W被用来指示两个或更多个元件彼此处于直接的物理的、光学的或者电气 的接触。"禪合"可W被用来指示两个或更多个元件彼此处于直接的或间接的（在运些元件 之间具有其它的介于中间的元件)物理的、光学的或者电气的接触，和/或两个或更多个元 件彼此合作或者相互作用(例如，如在因果关系的情况下）。
[0026] 本文提供的【具体实施方式】的一些部分是围绕着对计算机存储器内的数据位的运 算的算法和符号表示提出的。除非W别的方式特别声明，如根据下面的讨论显而易见的，应 当意识到的是，贯穿本描述，利用诸如"计算"、"运算"、"确定"、"估计"、"存储"、"收集"、"显 示"、"接收"、"合并"、"生成"、"更新"等等之类的术语的讨论指代计算机系统或者类似的电 子计算设备的动作和过程，该动作和过程对被表示为计算机系统的电路(其包括寄存器和 存储器）内的物理（电子)量的数据进行操纵，并且将其转变成类似地被表示为计算机系统 的存储器或寄存器或者其它运样的信息存储、传输、或显示设备内的物理量的其它数据。
[0027] 虽然下面的描述阐述了例如可W用诸如片上系统(SoC)架构之类的架构表现的实 施例，但是本文描述的技术和/或排列的实现方式不被限制到特定的架构和/或计算系统， 并且可W由用于类似目的的任何架构和/或计算系统来实现。使用例如多个集成电路（1C) 忍片和/或封装的各种架构和/或诸如机顶盒、智能电话等等之类的各种计算设备和/或消 费电子(CE)设备，可W实现本文描述的技术和/或排列。此外，虽然下面的描述可能阐述了 诸如逻辑实现方式、系统部件的类型和相互关系、逻辑划分/集成选项等等之类的众多具体 细节，但是要求的主题可W在没有运样的具体细节的情况下实践。此外，为了不对本文公开 的材料造成模糊，未详细地示出诸如例如控制结构和全部软件指令序列之类的某种材料。
[0028] 本文公开的材料的某些部分可W用硬件例如实现为图像处理器中的逻辑电路。某 些其它部分可W用硬件、固件、软件或者其任意组合来实现。本文公开的材料中的至少一些 材料还可W被实现为被存储在机器可读介质上的指令，其可W由一个或多个处理器（图形 处理器和/或中央处理器)来读取和执行。机器可读介质可W包括用于存储或发送具有由机 器(例如，计算设备)可读的形式的信息的任何介质和/或机构。例如，机器可读介质可W包 括：只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质；闪存设备；电气 的、光学的、声学的或者其它类似的非暂时性有形介质。
[0029] 下面将描述用于校准一个或多个外部图像传感器参数的示例性的系统、方法和计 算机可读介质。在一些实施例中，机器视觉校准系统例如通过拉东(Radon)变换来确定图像 数据的地平面投影。在一些实施例中，该校准系统还例如通过应用投影切片定理来确定与 地平面投影中的一个或多个地平面地标中的至少一个相关联的信号。在一些实施例中，该 校准系统评估该地标信号的参数化(例如，峰值高度）。在一些实施例中，随着外部参数值在 自动校准循环中变化，对该信号峰值进行评估，W优化与传感器相关联的一个或多个外部 参数值。
[0030] 图1A是根据一些实施例的托管机器视觉图像传感器校准系统的示例性平台105的 等距视图。虽然为了描述清楚起见，本文在车辆主机平台的背景下描述了实施例的细节，但 是本文描述的机器视觉校准系统和方法仍然可应用于任何机器视觉主机平台，无论其是固 定的、移动的、自主的，还是非自主的。如本文使用的，可W在基于示例性车辆平台的坐标系 统的背景下理解诸如"前面"、"后面"、"驾驶员侧"和"乘客侧"之类的术语。参照图1A，例如， 在主机平台105中，前侧和后侧与X轴相交，而驾驶员侧和乘客侧与y轴相交。主机平台105被 布置在地平面110上，所述地平面110在与Z轴相交的二维x-y坐标空间中延伸。在一些实施 例中，地平面是平坦的（z = 0)，但是包括对于机器视觉图像传感器可视的一个或多个特征 或地标。在说明性的实施例中，地平面110包括二维(2D)背景112和2D地平面校准地标114、 116。在该示例性实施例中，地平面校准地标114、116具有与背景112足够的对比度，W对于 被嵌入在车辆平台105中的机器视觉系统可视。
[0031] 在一些实施例中，地平面校准地标包括具有在大部分任何停车场中发现的种类的 一个或多个车位线。由于车位线在全世界是高度标准化的，因此本文描述的利用运样的地 标的校准技术和系统可W在可应用于车辆平台的很多机器视觉使用的情形下被稳健地使 用。在图1A中示出的实施例中，校准地标114、116包括一对直线。在一些实施例中，校准地标 114、116包括一对直线，每一条线邻近平台105的相对的第一(驾驶员）侧和第二(乘客)侧放 置。在另外的实施例中，校准地标114、116包括一对直线，其彼此平行并且具有相同的长度， 并且邻近平台105的相对(驾驶员和乘客)侧放置。地平面校准地标114、116W及背景112可 W具有任何颜色，但是图1A中的示例性实施例示出了将较浅色的（例如，白色）的线画在较 深色的（例如，渐青或混凝±)道路表面上的通常实现方式。
[0032] 在一些实施例中，机器视觉系统包括多个图像传感器。可W在机器视觉系统中使 用两个或更多个图像传感器。在一些实施例中，使用的图像传感器的数量足W生成关于与 地平面110平行的平面内的平台环绕360°弧度的环绕视图。图1B是根据一些实施例的使用 机器视觉校准系统的示例性车辆平台105的平面视图。在该说明性的实施例中，车辆平台 105包括四个图像传感器:驾驶员侧传感器120;前传感器125;乘客侧传感器130; W及后传 感器135。在一些实施例中，每一个传感器125-135包括对在预先确定的和/或已知的视野 (F0V)上收集的光进行采集的摄像机。从图像传感器120-135中的每一个图像传感器输出的 图像数据被禪合到机器视觉模块115中。图像传感器120-135可W是广角图像传感器，其使 得运四个传感器能够捕获足够机器视觉模块来构建环绕视图的F0V。
[0033] 在一些实施例中，图像传感器的F0V将包括地平面。图2是根据一些实施例的描绘 两个图像传感器120和135的视野的示例性主机平台105的等距视图。图像传感器120与沿着 y维度远离平台105延伸的F0V 121相关联。图像传感器135与沿着X维度远离平台105延伸的 F0V 136相关联。在图2中示出的示例性主机平台105的背景下，外部图像传感器参数包括至 少用于描绘图像传感器120和135的相对位置和方位的特性的信息。在该示例性实施例中， 可W参照地平面110来确定针对图像传感器120的Ξ个图像传感器方位φΚ例如，偏转角 (yaw)、俯仰角(pitch)和侧倾角(roll))，W及同样地可W确定针对图像传感器135的Ξ个 图像传感器方位巧2。
[0034] 在一些实施例中，每一个图像传感器120、135通过包括鱼眼镜头(其容纳宽F0V)的 光路来收集光样本。一些实施例中的广角光收集导致由每一个传感器收集的图像数据的非 线性失真。非线性失真的示例包括但不限于:径向失真、桶形失真和/或鱼眼失真。图3A示出 了由图像传感器120收集的和/或从图像传感器120生成的示例性图像帖。图3B示出了根据 一些实施例的由图像传感器135收集的和/或从图像传感器135生成的示例性图像帖。鱼眼 失真在每一个图像传感器的F0V 121、136内可见的地平面校准地标114、116中是明显的。每 一个F0V 121、136可W具有至少170° (W及有利地至少175°)的沿着与地平面110平行的平 面的角形开口。宽FOV包括与主机平面105紧邻的区域中的地平面，并且可W包括平台105的 部分。多个传感器之间的F0V交迭可W根据与图像传感器相关联的外部参数值来改变。在图 像传感器120被放置在驾驶员侧表面上(例如，在侧口镜上)和图像传感器135被放置在近似 地正交于传感器120的位置的后表面上(例如，在后保险杠上）的示例性实施例中，根据每一 个传感器的方位，F0V 121和136沿着平行于地平面110的平面，可W具有如50-70° -样高的 角度交迭。
[0035] 在一些实施例中，地平面校准地标在至少两个图像传感器的F0V内。图4是根据一 些实施例的进一步描绘四个图像传感器120、125、130和135的F0V的主机平台105的等距视 图。图5A、5B、5C和抓进一步示出了由分别与四个图像传感器120、125、130和135中的每一个 图像传感器相关联的F0V 121、126、131和135收集的和/或从其生成的示例性图像帖。传感 器视野内的每一个点与图像坐标相关联。地平面校准地标114在Ξ个视野12U126和136之 内。类似地，地平面校准地标116在Ξ个视野13U126和136之内。
[0036] 在一些实施例中，机器视觉校准模块对来自图像传感器中的两个或更多个图像传 感器的图像数据进行处理，W确定一个或多个外部传感器参数。在图4中示出的示例性主机 平台105的背景下，外部参数至少包括用于描绘图像传感器120、125、130和135的相对位置 和方位的特性的信息。在一些实施例中，机器视觉模块(例如，图1B中的模块115)将由多个 图像传感器输出的图像数据处理成环绕视图或者部分环绕视图。该环绕视图与平台的世界 坐标系统相关联。如本文使用的，环绕视图在平行于地平面的平面中，关于机器视觉平台 (例如，图1B的平台105)展开360°弧度。可W首先在对图像传感器参数的校准时使用运样的 视图，并且随后作为基于传感器参数计算的经校准的视图来确定传感器校准的结果。根据 本文描述的校准方法和系统确定的校准参数，可W在生成校准的环绕视图时使用。图6是示 出了示例性环绕视图140的等距视图，所述示例性环绕视图140是根据从被嵌入在平台105 上的四个图像传感器收集的图像数据生成的。如描绘的，地平面110的一部分在环绕视图 140之内。继本文的实施例之后，即使在环绕视图140是根据广角图像数据来生成的情况下， 环绕视图140也可W基于地平面校准地标114、116来校准。如下面进一步描述的，地标114、 116的存在和类似于地标的任何特征的缺失，可W充当稳健的自动传感器校准方法的基础， 所述自动传感器校准方法可W被应用在很多机器视觉环境中，特别是对车辆平台而言。
[0037] 图7是示出了根据一些实施例的基于地平面投影的机器视觉图像传感器校准方法 701的流程图。在一些实施例中，方法701要由机器视觉校准模块(例如，被嵌入在机器视觉 模块115 (图1B)之内）来自动地执行。方法701开始于:在操作705处，接收针对每一个图像传 感器的内部图像传感器参数，所述每一个图像传感器向校准贡献图像数据。因为本文的实 施例不限于该方面，所W可W遵循任何已知技术来预先确定内部图像传感器参数，例如但 不限于，那些用于描绘传感器光路的非线性失真的特性的参数。在示例性实施例中，在操作 705处，接收针对四个图像传感器(例如，图4中示出的传感器120、125、130和135)中的每一 个图像传感器的内部图像传感器参数。
[0038] 在操作710处，还利用外部参数值的第一集合来初始化方法701，所述外部参数值 的第一集合足够机器视觉模块来对初始的基于多传感器的视图（例如，环绕视图）进行合成 或构建。在操作710处，可W接收针对被禪合到该机器视觉模块的任何两个或更多个图像传 感器的初始外部参数信息。在一些实施例中，该初始外部参数信息包括与每一个图像传感 器相关联的偏转角、俯仰角和侧倾角数据。在一些示例性实施例中，在操作710处接收到的 初始外部参数信息足够机器视觉模炔基于在操作711处从第一图像传感器接收的第一图像 数据、在操作712处从第二图像传感器接收的第二图像数据、在操作713处从第Ξ图像传感 器接收的第Ξ图像数据、W及在操作714处从第四图像传感器接收的第四图像数据，来生成 初始的（未经校准的）环绕视图。可W在操作710处进一步接收针对在操作715处从第η个图 像传感器接收的任何另外的图像数据的相应的初始外部参数信息。在一些实施例中，该外 部参数信息包括与四个图像传感器中的每一个图像传感器相关联的偏转角、俯仰角和侧倾 角数据相对应的至少十二个值。
[0039] 在实施例中，使用接收的图像数据和当前被存储的与特定的图像传感器相关联的 参数的集合来计算图像数据向地平面的投影。在说明性的方法701中，在操作725处，向地平 面中逆投影环绕图像空间（或者其组成部分）。逆投影沿着世界坐标系统内的方向，向地平 面中投影图像坐标。在图6中示出的示例性实施例中，将与环绕图像空间140相对应的图像 坐标逆投影到地平面110上。可W通过将与多个传感器相关联的投影的图像数据拼接在一 起来构建多传感器地平面投影的图像。对于方法701的初始迭代而言，基于在操作710处接 收的针对提供输入的每一个图像传感器的初始外部参数信息来构建地平面投影。在示例性 实施例中，基于从四个图像传感器接收的信息(其包括在操作711处从第一传感器接收的第 一图像数据、在操作712处从第二传感器接收的第二图像数据、在操作713处从第Ξ传感器 接收的第Ξ图像数据、W及在操作714处从另外的传感器接收的第四图像数据)来构建环绕 视图地面投影的图像。
[0040] 继续使用图7,在操作730处，机器视觉校准模块要对在操作725处生成的所投影的 图像数据进行分析，W评估用于指示所投影的校准地标的信号，作为确定被用来计算地平 面投影的外部参数值的充分性的方式。在示例性实施例中，在操作730处，对用于指示所投 影的地平面视图上的校准地标的状况的信号进行评估或者评价。该地标信号可W由一个或 多个度量来参数化。随后，通过在操作740处修改一个或多个外部参数来在自动校准循环中 向该外部参数集应用控制工作，直到校准例程准出条件被满足为止，W及在操作750处，认 为完成该自动校准方法701。
[0041] 在操作730的一些实现方式中，确定针对地标信号的单个度量，其是多个外部参数 值的集合的函数。该单个度量可W是在计算地平面图像投影时利用的所有外部参数值的函 数。例如，可W确定针对与四照相机环绕视图相关联的十二个外部参数值的每一个集合的 一个信号度量。在其它实施例中，在操作730处确定一个W上的信号度量，所述一个W上的 信号度量中的每一个信号度量是多个外部参数值的函数。例如，可W识别出针对与四照相 机环绕视图相关联的十二个外部参数值的每一个集合的一对峰值。峰值中的第一个峰值可 W与第一地平面投影的校准地标相关联，并且随后对该峰值的参数化(例如，峰值高度)取 决于该地标的失真。峰值中的第二个峰值可W与第二地平面投影的校准地标相关联。在另 外的实施例中，可W将该对信号峰值参数彼此进行比较，作为对参数值的集合内的哪些外 部参数值在方法701的后续迭代中要被调整的暗示。
[0042] 可W利用在迭代之间的操作740处改变的一个或多个外部传感器参数值来迭代自 动传感器校准方法701，W评估多个地平面投影校准地标信号。一个或多个信号参数评价 (例如，最大峰值高度)可W与在方法701的特定迭代中评估的外部参数值的给定集合相关 联地存储。在一些实施例中，在满足口限信号参数评价时，断定为完成方法701。该信号参数 评价口限可W是基于一个或多个适当的统计量的，例如但不限于:最小参数评价;最大参数 评价;多个参数评价的平均值的最小值/最大值;或者多个参数评价的总和的最小值/最大 值。可W通过传统的技术来设计任意数量的更复杂的逻辑测试。
[0043] 响应于参数值的给定集合未能满足评价口限或标准时，利用新的外部参数值的集 合来重复操作725和730。针对方法705的多次迭代，可W保留在操作705处接收的内部参数 值，而外部参数值中的一个或多个值则根据先验集来改变(例如，根据操作710处接收的初 始值集合来修改）。还可W在最大迭代计数时断定对方法701的迭代。响应于给定的参数集 未能满足评价口限，可W在达到最大迭代计数时，在操作750处选择最佳的外部参数值的集 合。例如，可W从中选择被存储到存储器的与其相应的评价相关联的参数值集合，并且随 后，在操作750处，将使该评价最大化的参数值的集合保留在存储器中，作为方法701的最终 结果。响应于给定的参数值的集合满足评价口限或标准，方法701W值的该集合被存储到存 储器作为自动校准结果来结束。如果期望的话，随后可W例如通过利用系统用户的帮助实 现的手动校准过程来对方法701的结果进行细化。
[0044] 图8是示出了根据一些实施例的用于计算定向图像投影和评估地平面投影中的校 准地标信号的方法801的流程图。方法801可W在上面描述的自动校准方法701内执行。具体 而言，可W执行方法801来实现在图7的上下文中介绍的操作725和730。
[0045] 方法801开始于在操作821处计算地平面图像投影。在一些实施例中，对来自每一 个传感器的图像数据执行投影计算，所述每一个传感器贡献针对由与正被投影的图像数据 相关联的传感器的一个或多个外部参数值定义的方向的环绕视图。在具有四个图像传感器 的示例性实施例中，将来自运四个传感器中的每一个传感器的图像投影到地平面。对于地 平面投影而言，该投影方向垂直于地平面。由于校准标记落入多个传感器的F0V之内，因此 一个或多个外部参数的误差将导致彼此不一致的投影计算，其引起投影的校准地标的失 真。
[0046] 图9A、9B、9C示出了根据一些实施例的具有要被应用于环绕图像的类型的定向投 影（即，要被应用于包括该环绕视图的组成部分的每一个图像帖）。沿特定方向的平行投影 可W被认为在该维度中信号与迪拉克S函数线的卷积。例如，在坐标系统（R，T)中，其中U (xi，X2)=Uv(R，T)，S(g . X)映射到δ(Κ)1(Τ)。图8A中示出的二维函数u(xi，X2)与图8B中示出 的迪拉克线S(g · X)的卷积沿图8C中示出的方向g生成投影的函数％(?树。如图8C中示出 的，二维函数u(xi，X2)的投影是沿着平行光束850的，所述平行光束850均具有取决于角度巧 的指定方向。将角度φ参数化为平行投影光束的方向，用于拉东变换中的二维图像数据矩 阵：
[0047]
(1)
[0048] 在实施例中，针对与收集图像数据的传感器相关联的外部参数值的集合相对应的 角度巧，计算2D图像数据帖的拉东变换。对于具有四个图像传感器的示例性实施例来说，可 W对四个图像数据帖来执行拉东变换。如果外部参数值对于所有图像传感器来说是正确 的，则投影方向将被适当地对齐，并且地平面投影的环绕图像将适当地表示地平面校准地 标。如果外部参数值对于一个或多个图像传感器来说是不正确的，则投影方向将被对偏，并 且投影计算将产生使校准地标失真的地平面投影的环绕图像。方法801的剩余操作被指向 检测和/或评估地平面投影校准地标中的失真。
[0049] 在操作822处，将地平面投影从空间域变换到频率域。可W遵循任何已知的技术， 关于R，将2D投影图像变换到频率域，W生成地平面投影图像的二维频谱。在一些实施例中， 计算地平面投影图像的傅里叶变换。但是，在操作822处还可W使用近似法来简化该变换 和/或利用在外部参数校准W外的其它能力中进一步使用的图像计算。作为对于计算傅里 叶变换的替代方案，例如，可W计算离散正弦变换(DST)或者离散余弦变换(DCT)。运样的近 似法可W具有利用现有的图像处理管道中的变换模块(硬件和/或软件）的优点。频率域变 换近似法还可W生成适合于自动传感器校准W外的另外的目的（例如但不限于，图像特征 分类算法)的频率域中的图像数据。
[0050] 在操作823处，沿着垂直于投影方向的方向，对该二维频谱图像进行切片。在一些 实施例中，切片方向是基于该平台与地平面地标平行地对齐(例如，与一对车位线的最长维 度相平行）的假定的。在投影与地标的方向平行地对齐的情况下，频谱切片是穿越原点（其 与零频率相对应)并且包括与地平面校准地标相关联的频率的一维频谱信号。如果传感器 外部参数值是正确的，则该频谱信号理想地与垂直于地平面的投影函数相关联。根据投影 切片定理（中屯、切片定理），投影函数A，(化的和穿过二维频谱图像的切片是一维傅里叶变 换对。与在切片内捕获的校准地标相对应的频谱信号中的特征的强度越大，则图像传感器 与地平面对齐得就越好。因此，频谱切片提供了用于评估外部图像传感器参数在多大程度 上与世界坐标内的地平面相对齐的依据。
[0051] 在一些实施例中，在操作824处，对切片的频谱信号进行滤波，W强调期望的频带。 频率域中的滤波可W增强后续操作中的信噪比。在操作824中，可W利用适合于频率域的任 何滤波器，例如，斜坡(ramp)滤波器。
[0052] 在一些实施例中，对该一维频谱信号执行逆变换，W将该信号映射回到空间域。在 示例性方法801中，在操作825处计算的逆变换生成地平面投影的一维信号，其可W关于校 准地标，容易地评估针对外部参数值的当前集合。将信号变换回空间域中解决了与在地平 面内空间分离的不同的校准地标相关联的信号中的不同的峰值。在一个信号峰值与一个校 准地标相对应的情况下，可W通过任何技术来对信号峰值参数化，W生成针对照相机外部 校准参数的评价。通常，信号峰值高度关于感知到的校准地标的强度进行缩放。在操作825 处计算的逆变换取决于在操作822处执行的变换。在例如操作822处计算傅里叶变换的实施 例中，在操作825处计算逆傅里叶变换。
[0053] 图10A是根据一些实施例的与校准的外部参数相关联的地平面投影的平面视图。 地平面地标114和116(例如，一对车位线)与地平面背景112形成对比。对于校准的外部参数 值(和正确的内部参数值)来说，地平面地标114和116是具有近似相等长度的直的平行线。 图10B是根据一些实施例的与图10A中示出的所校准的地平面投影相关联的投影信号的图。 如图10B中示出的，切片信号具有与地标114、116相关联的峰值1014和1016。该峰值的最大 高度取决于所投影的地平面图像内的地标的空间维度，使得在地平面投影的图像中，越高 的峰值与越大的一致性相关。因此，在一些实施例，可W将位于预先确定的值处的小于或等 于"最大值A"的峰值最小口限应用于校准控制循环中，作为校准成功的标准。
[0054] 图11A是根据一些实施例的与未完全校准的外部参数相关联的地平面投影的平面 视图。如示出的，地平面地标114和116示出了由又一个不正确的外部传感器参数值造成的 失真。图11B是根据一些实施例的与图11A中示出的地平面投影相关联的投影信号的图。如 图11B中示出的，切片信号具有与地标114、116相关联的峰值1114和1116。"最大值B"的峰值 最大值远低于与校准的传感器参数集相关联的"最大值A"。可W执行基于投影结果的任何 测试，W确定是否要对一个或多个外部参数值进行修改W及在自动校准控制循环的另一个 迭代中重复方法801。在另外的实施例中，基于对投影信号中的一个或多个峰值的比较，或 者基于运些峰值之间的信号电平相对于运些峰值之外的信号电平的比较，来识别在后续的 校准控制循环的迭代期间修改的外部参数候选。例如，如还在图11B中示出的，由于峰值 1114和1116具有近似相同的幅度，W及峰值1114、1116之间的信号电平高于峰值1114、1116 之外的信号电平，因此优先于在其FOV中仅仅具有一个地标的供替代的图像传感器(例如， 图4中描绘的传感器120和/或130)，校准模块逻辑可W划分优先次序调整与在其FOV中具有 地标114和116二者的图像传感器相关联的外部参数(例如，图4中描绘的传感器125和/或 135)。
[0055]图12是根据实施例的被配置为基于地平面投影来执行自动图像传感器校准方法 的机器视觉模块1215的功能框图。机器视觉模块1215包括照相机硬件模块1210,所述照相 机硬件模块1210包括被禪合到图像传感器校准模块115的一个或多个图像传感器。图12还 示出了如何将图像传感器校准模块115与各个其它部件结合在一起，W提供具有自动图像 传感器校准功能的机器视觉平台。部件机器视觉模块1215在车辆平台之内可W是物理分离 的和/或在车辆平台之外。机器视觉模块1215可W是车辆平台中的部件。更一般地说，机器 视觉模块1215可W是任何移动平台中的部件。移动平台可W指代具有处理系统和移动电源 或电源(例如，一个或多个电池或其它内部电源）的任何设备。移动平台的示例包括膝上型 计算机、平板计算机、智能设备(例如，智能电话、平板计算机或智能电视）、W及被配置为由 人穿戴的设备(例如，手腕计算机、手指计算机、环形计算机、眼镜计算机等等）。虽然通过示 例的方式，利用通过车辆实现的移动平台描述了一些实施例，但是可W意识到的是，可W容 易地实现其它实施例。
[0化6] 机器视觉模块1215包括至少一个照相机模块(CM)。在示例性实施例中，CM 1210还 包括照相机图像传感器120、125。另外的图像传感器130、135可W被包括作为CM 1210的另 外的部件，或者作为单独的照相机模块的部件(未示出）。每一个传感器120-135与如在本文 其它地方描述的外部参数的集合相关联。例如，传感器120-135可W是皿、F皿、QXGA、WQXGA、 QSXGA或者UHD格式的数字光学成像设备。在一些实施例中，传感器120-135具有至少8百万 像素的分辨率。照相机传感器120-135可W提供每像素8比特或者更高的色彩分辨率，可操 作W逐步地捕获连续的视频帖。传感器120-135可W具有170MHz或者更高的像素频率。照相 机传感器120-135可W包括RGB拜尔滤色镜、模拟放大器、A/D转换器、用于将入射光转换成 与原始图像数据相对应的数字信号的其它部件。可W对传感器120-135进行控制W操作卷 帘式快口或者电子焦点平面快口过程，其中针对帖，W行序方式逐步地读出像素。在示例性 的视频实施例中，传感器120-135输出多个连续曝光的帖。CM 1210可W遵照任何已知的流 协议（例如，MIPI)，输出与连续采样的帖相关联的原始数据。将原始图像数据输入到ISP 1275。ISP 1275将在与CM 1210相关联的水平的和/或垂直的消隐期期间，接收和分析原始 图像数据。在原始图像数据处理期间，ISP 1275可W执行例如色彩空间转换、噪声降低、像 素线性化和遮光补偿中的一项或多项。
[0057] 由CM 1210输出的原始数据和/或由ISP 1275输出的预处理的视频数据可W由图 像传感器校准模块115进一步处理。在所示出的实施例中，处理器1250实现图像传感器校准 模块115。在一些实施例中，处理器1250包括用于执行用于将由CM 110输出的原始图像数据 投影到地平面，将该投影变换到频率域，W及沿着与该投影方向垂直的方向对产生的频谱 数据进行切片的方法的一个或多个阶段的一个或多个(可编程的)逻辑电路。处理器1250还 可W包括用于将频谱切片变换回空间域中，W及对产生的投影信号峰值进行参数化和/或 评估的逻辑。例如，在一些实施例中，传感器校准模块115包括用于实现在（图7的）方法701 的上下文中描述的操作中的一个或多个操作的逻辑。在另外的实施例中，传感器校准模块 115包括用于实现在（图8的）方法801的上下文中描述的操作中的一个或多个操作的逻辑。 在一些实施例中，传感器校准模块115实现拉东变换模块1233和中屯、切片模块1234。拉东变 换模块1233包括用于生成一个或多个地平面投影的逻辑，W及中屯、切片模块123包括用于 沿着与该投影方向垂直的方向提取频谱数据的切片的逻辑。在一些实施例中，校准模块115 用于将校准的外部参数值存储在主存储器1210中。
[0058] 在实施例中，传感器校准模块115包括用于执行在本文其它地方描述的图像数据 变换操作和图像传感器校准算法的逻辑。在一些实施例中，传感器校准模块115包括利用已 经通过软件指令配置的可编程电路实现的逻辑。但是，软件实现方式或硬件实现方式或者 其组合适合于实现用于对图像传感器120-135的外部参数进行校准的自动方法的一个或多 个阶段。对于硬件实现方式来说，拉东变换模块1233和/或中屯、切片模块1234可W由固定功 能的逻辑来实现。对于软件实现方式来说，可W利用任何已知的可编程处理器(例如，处理 器1250的内核或者图形处理器的执行单元)来实现拉东变换模块1233和/或中屯、切片模块 1234的逻辑。在一个示例性的实施例中，通过由处理器1250实例化的软件找的用户空间来 调用传感器校准模块115。在一些实施例中，处理器1250执行在软件找的内核空间中实例化 的图像传感器校准算法。在一些实施例中，利用被存储在计算机可读介质上的指令来对处 理器1250进行编程，W使得该处理器执行在本文其它地方描述的一个或多个图像传感器校 准算法。
[0059] 由处理器1250实例化的操作系统(0S)的内核空间内的子系统驱动器1215可W响 应于例如在用户空间中执行的机器视觉软件应用层生成的命令，来传递诸如照相机快口速 率、积分时间等等之类的各种照相机模块参数。如在本文其它地方描述的环绕视图和/或地 平面投影图像可W被输出到显示管道1295,用于呈现给机器视觉模块1215的用户。在另外 的实施例中，例如在由用户基于向显示管道1295的输出执行的手动校准期间，用户接口从 用户接收输入。在一些实施例中，传感器校准模块115基于通过用户接口接收的输入来修改 一个或多个图像传感器外部参数值。
[0060] 图13是根据一些实施例的包括图像传感器校准模块115的示例性超低功率系统 1300的图。系统1300可W是车辆驾驶舱控制器，但是系统1300不限于该背景。例如，如果未 被嵌入在车辆平台中，则系统1300可W被并入到可穿戴的计算设备、膝上型计算机、平板计 算机、触摸板、手持计算机、掌上型计算机、蜂窝电话、智能设备(例如，智能电话、智能平板 计算机或移动电视）、移动互联网设备(MID)、消息传送设备、数据通信设备和其它类似的移 动设备中。
[0061 ] 系统1300包括设备平台1302,所述设备平台1302可w实现上面在图ΙΑ-图12的上 下文中描述的图像传感器校准方法的全部或子集。在各种示例性实施例中，例如，如在本文 其它地方描述的，视频处理器1315对图像数据执行拉东变换和傅里叶变换中的一种或多 种。视频处理器1315包括用于实现例如如在本文其它地方描述的运样的变换的逻辑电路。 在一些实施例中，一个或多个计算机可读介质可W存储指令，当运些指令被CPU 1310和/或 视频处理器1315执行时，其使得处理器执行在本文其它地方描述的图像传感器校准方法中 的一种或多种方法。然后，可W将一个或多个图像传感器外部参数与和CM 1210相关联的多 个图像传感器中的一个或多个图像传感器相关联的存储在存储器1312中。
[0062] 在实施例中，设备平台1302被禪合到人机接口设备化10)1320。平台1302可W利用 CM 1210来收集原始图像数据，所述原始图像数据可W被处理成地平面投影和/或基于被输 出到HID 1320的校准地标来进行评价。包括一个或多个导航特征的导航控制器1350可W被 用来与例如设备平台1302和/或HID 1320进行交互。在实施例中，HID 1320可W包括经由无 线电装置1318和/或网络1360被禪合到平台1202的任何监视器或抬头显示器化UDKHID 1320可W包括例如计算机输出面板、触摸屏显示器、视频监视器、像电视一样的设备和/或 电视。
[0063] 在实施例中，设备平台1202可W包括CM 1210、忍片集1305、处理器1310、1315、存 储器/存储1312、应用1316和/或无线电装置1318的任意组合。忍片集1305可W提供处理器 1310、1315、存储器1312、视频处理器1315、应用1316或无线电装置1318之间的相互通信。
[0064] 处理器1310U315中的一个或多个可W被实现为一个或多个复杂指令集计算机 (CISC)或精简指令集计算机(RISC)处理器、x86指令集兼容处理器、多核处理器或者任何其 它微处理器、或中央处理单元(CPU)。
[0065] 存储器1312可W被实现为易失性存储器设备，例如但不限于：随机存取存储器 (RAM)、动态随机存取存储器(DRAM)或静态RAM(SRAM)。存储器1312还可W被实现为非易失 性存储设备，例如但不限于:闪存、电池备用SDRAM(同步DRAM)、磁存储器、相变存储器等等。
[0066] 无线电装置1318可W包括能够使用各种适当的无线通信技术来发送和接收信号 的一个或多个无线电装置。运样的技术可W设及跨越一个或多个无线网络的通信。示例性 无线网络包括(但不限于)无线局域网(WLAN)、无线个域网(WPAN)、无线城域网(WMAN)、蜂窝 网络和卫星网络。在跨越运样的网络进行通信时，无线电装置618可W根据任何版本的一个 或多个可应用的标准来操作。
[0067] 在实施例中，系统1300可W被实现为无线系统、有线系统或二者的组合。当被实现 为无线系统时，系统1300可W包括适合于通过无线共享介质（例如，一个或多个天线、发射 机、接收机、收发机、放大器、滤波器、控制逻辑等等)进行通信的部件和接口。无线共享介质 的示例可W包括无线频谱(例如，RF频谱等等）的部分。当被实现为有线系统时，系统1300可 W包括适合于在有线通信介质上进行通信的部件和接口，例如，输入/输出（I/O)适配器、用 于将该I/O适配器与相应的有线通信介质相连的物理连接器、网络接口卡(NIC)、光盘控制 器、视频控制器、音频控制器等等。有线通信介质的示例可W包括电线、电缆、金属引线、印 刷电路板(PCB)、背板、交换结构、半导体材料、双绞线、同轴电缆、光纤等等。
[0068] 与本文描述的示例性实施例一致的图像数据变换和传感器校准方法可W用各种 硬件架构、元件设计或者"IP内核'来实现。
[0069] 如上面例证的，本文描述的实施例可W使用硬件单元、软件单元或二者的组合来 实现。硬件单元或模块的示例包括:处理器、微处理器、电路、电路元件(例如，晶体管、电阻 器、电容器、电感器等等）、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD)、数字信 号处理器(DSP)、现场可编程口阵列(FPGA)、逻辑口、寄存器、半导体器件、忍片、微忍片、忍 片集等等。软件单元或模块的示例包括:应用、计算机程序、应用程序、系统程序、机器程序、 操作系统软件、中间件、固件、例程、子例程、函数、方法、过程、软件接口、应用程序接口 (API)、指令集、计算代码、计算机代码、代码段、计算机代码段、数据字、值、符号或者其任意 组合。确定实施例是使用硬件单元和/或软件单元来实现，可W根据针对设计的选择所考虑 的任意数量的因素(例如但不限于:期望的计算速率、功率电平、耐热性、处理循环预算、输 入数据速率、输出数据速率、存储器资源、数据总线速度W及其它设计或性能约束)来改变。
[0070] 至少一个实施例的一个或多个方面可W用被存储在机器可读存储介质上的典型 的指令来实现。运样的指令可W在其被机器执行期间，完全地或至少部分地存在于主存储 器之内和/或处理器之内，存储指令的主存储器和处理器部分然后还构成了机器可读存储 介质。可编程逻辑电路可W具有由实现计算机可读介质的处理器配置的寄存器、状态机等 等。当被编程时，运样的逻辑电路然后可W被理解为物理地转变成落入本文描述的实施例 的范围之内的系统。当表示处理器内的各种逻辑的指令被机器读取时，其还可W使得该机 器制造遵守本文描述的架构的逻辑和/或执行本文描述的技术。运样的表示(被称为元件设 计或IP内核）可W被存储在有形的、机器可读的介质上，并且被提供给各种客户或制造设 施，W加载到实际制造该逻辑或处理器的制造机器中。
[0071] 虽然已经参照实施例描述了本文阐述的某些特征，但是该描述不旨在从限制的意 义上进行解释。因此，对本文描述的实现方式的各种修改，W及对本领域的技术人员来说显 而易见地与本公开内容有关的其它实现方式在本公开内容的精神和范围之内。
[0072] 下面的段落简单地描述了一些示例性的实施例：
[0073] 在一个或多个第一实施例中，一种机器视觉校准系统包括：用于收集与包含地平 面的相邻部分的多视野(F0V)相关联的图像数据的多个图像传感器，被禪合到所述图像传 感器的图像传感器校准模块。所述校准模块包括用于基于与所述图像传感器相关联的一个 或多个第一外部参数值来计算所收集的图像数据向地平面的投影的逻辑。所述校准模块包 括用于根据所述地平面投影来计算与一个或多个地平面校准地标相关联的第一地标信号 的逻辑。所述校准模块包括用于基于对所述第一地标信号的评估来在一个或多个第一外部 参数值和一个或多个第二外部参数值之间进行选择的逻辑。
[0074] 在另外的第一实施例中，所述校准模块包括用于进行下列各项的逻辑:计算所述 图像数据在由一个或多个第一外部参数值定义的投影方向上的第一投影，W及通过将所投 影的图像数据处理成与投影方向垂直的线相关联的信号并且经过所述一个或多个地平面 校准地标来计算所述第一地标信号。
[0075] 在另外的第一实施例中，所述校准模块包括用于修改所述第一外部参数值中的一 个或多个值的逻辑。所述校准模块包括用于基于所述一个或多个修改的外部参数值来计算 所述图像数据向地平面的修改的投影的逻辑。所述校准模块包括用于根据所述修改的投影 来计算与一个或多个地平面校准地标相关联的第二地标信号的逻辑。所述校准模块包括用 于基于所述第一地标信号相对于所述第二地标信号的比较来在所述第一外部参数值和所 述第二外部参数值之间进行选择的逻辑。
[0076] 在另外的第一实施例中，所述校准模块包括用于在基于与所述图像传感器中的第 一图像传感器相关联的一个或多个外部参数值的第一方向上，对从所述第一图像传感器接 收的第一图像数据进行投影的逻辑。所述校准模块包括用于在基于与所述图像传感器中的 第二图像传感器相关联的一个或多个外部参数值的第二方向上，对从所述第二图像传感器 接收的第二图像数据进行投影的逻辑。所述校准模块包括用于基于对所述第一地标信号中 的一个或多个峰值的参数化来对所述第一地标信号进行评估的逻辑。
[0077] 在另外的第一实施例中，所述一个或多个地平面校准地标包括一对平行线。所述 多个图像传感器包括至少四个图像传感器。所述图像传感器中的第一图像传感器是用于收 集与第一F0V相关联的第一图像数据的，所述第一F0V包括所述平行线中的第一条线的至少 一部分，但是不包括所述平行线中的第二条线。所述图像传感器中的第二图像传感器是用 于收集与第二F0V相关联的第二图像数据的，所述第二F0V包括所述平行线中的第二条线的 至少一部分，但是不包括所述平行线中的所述第一条线。所述校准模块包括用于基于对与 所述一对平行线相关联的所述信号中的一对峰值的参数化来对所述第一地标信号进行评 估的逻辑。
[0078] 在另外的紧接着上面的第一实施例中，所述图像传感器中的第Ξ图像传感器是用 于收集与第SF0V相关联的第Ξ图像数据的，所述第SF0V包括所述平行线中的二者的至少 一部分。所述图像传感器中的第四图像传感器是用于收集与第四F0V相关联的第四图像数 据的，所述第四F0V包括所述平行线中的二者的至少一部分。所述校准模块包括用于在基于 与所述图像传感器中的第Ξ图像传感器相关联的一个或多个外部参数值的第Ξ方向上，对 从所述第Ξ图像传感器接收的第Ξ图像数据进行投影的逻辑。所述校准模块包括用于在基 于与所述图像传感器中的第四图像传感器相关联的一个或多个外部参数值的第四方向上， 对从所述第四图像传感器接收的第四图像数据进行投影的逻辑。
[0079] 在另外的第一实施例中，所述图像传感器校准模块包括中屯、切片模块，所述中屯、 切片模块包括用于进行下列各项的逻辑:通过将所投影的图像数据从空间域变换到频率域 来生成二维频谱数据，垂直于所述投影方向中的至少一个方向来对所述二维频谱数据进行 切片，W及通过将所述频谱数据切片逆变换回到空间域来生成所述第一地标信号。
[0080] 在另外的紧接着上面的第一实施例中，所述图像传感器校准模块包括用于针对与 收集所述图像数据的传感器相关联的外部参数值的集合相对应的角度，利用拉东变换来计 算所述二维投影图像的逻辑。
[0081] 在另外的紧接着上面的第一实施例中，所述中屯、切片模块包括用于将所述二维频 谱数据切片成一维频谱信号的逻辑，所述一维频谱信号包括与所述一个或多个地平面校准 地标相关联的频率。
[0082] 在另外的紧接着上面的第一实施例中，所述中屯、切片模块包括用于通过执行傅里 叶变换、离散正弦变换或者离散余弦变换来生成所述频谱数据的逻辑。
[0083] 在一个或多个第二实施例中，一种校准机器视觉系统的方法包括:接收与多视野 (F0V)相关联的图像数据，所述多个F0V包含地平面的相邻部分。该方法包括:基于与所述图 像传感器相关联的一个或多个第一外部参数值来计算所收集的图像数据向地平面的投影。 该方法包括:根据所述地平面投影来计算与一个或多个地平面校准地标相关联的第一地标 信号。该方法包括:基于对所述第一地标信号的评估来在所述一个或多个第一外部参数值 和一个或多个第二外部参数值之间进行选择。
[0084] 在另外的第二实施例中，该方法包括计算所述投影，包括:计算所述图像数据在由 所述一个或多个第一外部参数值定义的投影方向上的第一投影，计算所述第一地标信号包 括:将所投影的图像数据处理成与所述投影方向垂直的线相关联的信号并且经过所述一个 或多个地平面校准地标。
[0085] 在另外的第二实施例中，该方法包括:修改所述第一外部参数值中的一个或多个 值。该方法包括:基于所述一个或多个修改的外部参数值来计算所述图像数据向地平面的 修改的投影。该方法包括:根据所述修改的投影来计算与所述一个或多个地平面校准地标 相关联的第二地标信号。该方法包括:基于所述第一地标信号相对于所述第二地标信号的 比较来在所述第一外部参数值和所述第二外部参数值之间进行选择。
[0086] 在另外的第二实施例中，计算所收集的图像数据向地平面的投影进一步包括:在 基于与所述图像传感器中的第一图像传感器相关联的一个或多个外部参数值的第一方向 上，对从所述第一图像传感器接收的第一图像数据进行投影。计算所收集的图像数据向地 平面的投影进一步包括:在基于与所述图像传感器中的第二图像传感器相关联的一个或多 个外部参数值的第二方向上，对从所述第二图像传感器接收的第二图像数据进行投影。在 所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择进一步包括： 基于对所述第一地标信号中的一个或多个峰值的参数化来对所述第一地标信号进行评估。
[0087] 在另外的第二实施例中，所述一个或多个地平面校准地标包括一对平行线。该方 法还包括:利用与第一 F0V相关联的所述图像传感器中的第一图像传感器来收集第一图像 数据，所述第一 F0V包括所述平行线中的第一条线的至少一部分，但是不包括所述平行线中 的第二条线。该方法还包括:利用与第二F0V相关联的所述图像传感器中的第二图像传感器 来收集第二图像数据，所述第二F0V包括所述平行线中的第二条线的至少一部分，但是不包 括所述平行线中的所述第一条线。在所述一个或多个第一外部参数值和一个或多个第二外 部参数值之间进行选择进一步包括:基于对与所述一对平行线相关联的所述第一地标信号 中的一对峰值的参数化来对所述第一地标信号进行评估。
[0088] 在另外的第二实施例中，计算所述第一地标信号进一步包括:通过将所投影的图 像数据从空间域变换到频率域来生成二维频谱数据，垂直于所述投影方向中的至少一个方 向来对所述频谱数据进行切片，W及将所述频谱数据切片逆变换回到空间域。
[0089] 在另外的紧接着上面的第二实施例中，计算所收集的图像数据向地平面的投影进 一步包括:针对与收集所述图像数据的传感器相关联的外部参数值的集合相对应的角度， 计算拉东变换。计算所述第一地标信号进一步包括:将所述二维频谱数据切片成一维频谱 信号，所述一维频谱信号包括与所述一个或多个地平面校准地标相关联的频率。
[0090] 在一个或多个第Ξ实施例中，一种机器视觉校准系统包括：用于执行第二实施例 中的任何一个实施例的单元。
[0091] 在一个或多个第四实施例中，一种机器视觉系统包括:所述一个或多个第Ξ实施 例的校准系统、W及用于收集与多个交迭的视野相关联的图像数据的单元。该校准系统还 包括：用于在基于与第一图像数据收集单元相关联的一个或多个外部参数值的第一方向 上，对从所述第一图像数据收集单元接收的第一图像数据进行投影的单元。该校准系统还 包括：用于在基于与第二图像数据收集单元相关联的一个或多个外部参数值的第二方向 上，对从所述第二图像数据收集单元接收的第二图像数据进行投影的单元。该校准系统还 包括:用于通过将所投影的第一图像数据和第二图像数据从空间域变换到频率域来生成二 维频谱数据的单元。该校准系统还包括：用于垂直于所述投影方向中的至少一个方向来对 所述频谱数据进行切片的单元。该校准系统还包括：用于将所述频谱数据切片逆变换回到 空间域中的第一地标信号的单元。该校准系统还包括：用于对所述第一地标信号中的一个 或多个峰值进行参数化的单元。
[0092] 在一个或多个第五实施例中，一种计算机可读介质包括:被存储在其上的指令，当 所述指令被处理系统执行时，其使得所述系统执行第二实施例中的任何一个实施例。
[0093] 在一个或多个第六实施例中，一种计算机可读介质包括:被存储在其上的指令，当 所述指令被处理系统执行时，其使得所述系统执行包括下列各项的方法:接收与包含地平 面的相邻部分的多视野(F0V)相关联的图像数据，基于与图像传感器相关联的一个或多个 第一外部参数值来计算所收集的图像数据向地平面的投影，根据所述地平面投影来计算与 一个或多个地平面校准地标相关联的第一地标信号，W及基于对所述第一地标信号的评估 来在所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择。
[0094] 在另外的第六实施例中，所述介质还包括被存储在其上的指令，当所述指令被所 述处理系统执行时，其进一步使得所述系统执行还包括下列各项的方法:通过将所投影的 图像数据从空间域变换到频率域来生成二维频谱数据，垂直于所述投影方向中的至少一个 方向来对所述频谱数据进行切片，将所述频谱数据切片逆变换回到空间域。
[0095] 将认识到的是，实施例不被限制到运样描述的示例性实施例，但是在不背离所附 权利要求书的范围的情况下，可W利用修改和改变来实践。例如，上面的实施例可W包括特 征的特定组合。但是，上面的实施例不被限制在运点上，并且在实施例中，上面的实施例可 W包括:承担运样的特征的仅仅一个子集，承担运样的特征的不同顺序，承担运样的特征的 不同组合，和/或承担除那些明确列举的特征外的另外的特征。因此，应当参照所附的权利 要求书连同赋予与运样的权利要求等同的全部范围一起来确定范围。
【主权项】
1. 一种机器视觉校准系统，包括： 多个图像传感器，用于收集与多视野(FOV)相关联的图像数据，所述多视野(FOV)包含 地平面的相邻部分；以及 图像传感器校准模块，其被耦合到所述图像传感器并且包括用于进行下列操作的逻 辑： 基于与所述图像传感器相关联的一个或多个第一外部参数值来计算所收集的图像数 据向所述地平面的投影； 根据所述地平面投影来计算与一个或多个地平面校准地标相关联的第一地标信号；以 及 基于对所述第一地标信号的评估来在所述一个或多个第一外部参数值和一个或多个 第二外部参数值之间进行选择。2. 根据权利要求1所述的系统，其中，所述校准模块包括用于进行下列操作的逻辑： 计算所述图像数据在由所述一个或多个第一外部参数值定义的投影方向上的第一投 影；以及 通过将所投影的图像数据处理成与垂直于投影方向的线相关联的信号并且经过所述 一个或多个地平面校准地标来计算所述第一地标信号。3. 根据权利要求1所述的系统，其中，所述校准模块包括用于进行下列操作的逻辑： 修改所述第一外部参数值中的一个或多个值； 基于所述一个或多个修改的外部参数值来计算所述图像数据向所述地平面的修改的 投影； 根据所述修改的投影来计算与所述一个或多个地平面校准地标相关联的第二地标信 号；以及 基于所述第一地标信号相对于所述第二地标信号的比较来在所述第一外部参数值和 所述第二外部参数值之间进行选择。4. 根据权利要求1所述的系统，其中，所述校准模块包括用于进行下列操作的逻辑： 在基于与所述图像传感器中的第一图像传感器相关联的一个或多个外部参数值的第 一方向上，对从所述第一图像传感器接收的第一图像数据进行投影； 在基于与所述图像传感器中的第二图像传感器相关联的一个或多个外部参数值的第 二方向上，对从所述第二图像传感器接收的第二图像数据进行投影;以及 基于对所述第一地标信号中的一个或多个峰值的参数化来对所述第一地标信号进行 评估。5. 根据权利要求1所述的系统，其中： 所述一个或多个地平面校准地标包括一对平行线； 所述多个图像传感器包括至少四个图像传感器； 所述图像传感器中的第一图像传感器是用于收集与第一 FOV相关联的第一图像数据 的，所述第一FOV包括所述平行线中的第一条线的至少一部分，但是不包括所述平行线中的 第二条线； 所述图像传感器中的第二图像传感器是用于收集与第二FOV相关联的第二图像数据 的，所述第二FOV包括所述平行线中的第二条线的至少一部分，但是不包括所述平行线中的 所述第一条线；以及 所述校准模块包括:用于基于对与所述一对平行线相关联的所述信号中的一对峰值的 参数化来对所述第一地标信号进行评估的逻辑。6. 根据权利要求5所述的系统，其中： 所述图像传感器中的第三图像传感器是用于收集与第三FOV相关联的第三图像数据 的，所述第三FOV包括所述平行线中的两条线的至少一部分； 所述图像传感器中的第四图像传感器是用于收集与第四FOV相关联的第四图像数据 的，所述第四FOV包括所述平行线中的两条线的至少一部分；以及 所述校准模块包括用于进行下列操作的逻辑： 在基于与所述图像传感器中的所述第三图像传感器相关联的一个或多个外部参数值 的第三方向上，对从所述第三图像传感器接收的第三图像数据进行投影；以及 在基于与所述图像传感器中的所述第四图像传感器相关联的一个或多个外部参数值 的第四方向上，对从所述第四图像传感器接收的第四图像数据进行投影。7. 根据权利要求1所述的系统，其中，所述图像传感器校准模块包括中心切片模块，所 述中心切片模块包括用于进行下列操作的逻辑： 通过将所投影的图像数据从空间域变换到频率域来生成二维频谱数据； 垂直于所述投影方向中的至少一个方向来对所述二维频谱数据进行切片；以及 通过将所述频谱数据切片逆变换回到空间域来生成所述第一地标信号。8. 根据权利要求7所述的系统，其中，所述图像传感器校准模块包括：用于针对与收集 所述图像数据的所述传感器相关联的外部参数值的集合相对应的角度，利用拉东变换来计 算所述二维投影图像的逻辑。9. 根据权利要求8所述的系统，其中，所述中心切片模块包括：用于将所述二维频谱数 据切片成一维频谱信号的逻辑，所述一维频谱信号包括与所述一个或多个地平面校准地标 相关联的频率。10. 根据权利要求7所述的系统，其中，所述中心切片模块包括:用于通过执行傅里叶变 换、离散正弦变换或者离散余弦变换来生成所述频谱数据的逻辑。11. 一种校准机器视觉系统的方法，所述方法包括： 接收与多视野(FOV)相关联的图像数据，所述多视野(FOV)包含地平面的相邻部分； 基于与所述图像传感器相关联的一个或多个第一外部参数值来计算所收集的图像数 据向所述地平面的投影； 根据所述地平面投影来计算与一个或多个地平面校准地标相关联的第一地标信号；以 及 基于对所述第一地标信号的评估来在所述一个或多个第一外部参数值和一个或多个 第二外部参数值之间进行选择。12. 根据权利要求11所述的方法，其中： 计算所述投影包括:计算所述图像数据在由所述一个或多个第一外部参数值定义的投 影方向上的第一投影；以及 计算所述第一地标信号包括:将所投影的图像数据处理成与垂直于所述投影方向的线 相关联的信号，并且经过所述一个或多个地平面校准地标。13. 根据权利要求11所述的方法，还包括： 修改所述第一外部参数值中的一个或多个值； 基于所述一个或多个修改的外部参数值来计算所述图像数据向所述地平面的修改的 投影； 根据所述修改的投影来计算与所述一个或多个地平面校准地标相关联的第二地标信 号；以及 基于所述第一地标信号相对于所述第二地标信号的比较来在所述第一外部参数值和 所述第二外部参数值之间进行选择。14. 根据权利要求1所述的方法，其中： 计算所收集的图像数据向所述地平面的所述投影进一步包括： 在基于与所述图像传感器中的第一图像传感器相关联的一个或多个外部参数值的第 一方向上，对从所述第一图像传感器接收的第一图像数据进行投影； 在基于与所述图像传感器中的第二图像传感器相关联的一个或多 个外部参数值的第二方向上，对从所述第二图像传感器接收的第二图像数据进行投 影；以及 在所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择进一 步包括:基于对所述第一地标信号中的一个或多个峰值的参数化来对所述第一地标信号进 行评估。15. 根据权利要求11所述的方法，其中，所述一个或多个地平面校准地标包括一对平行 线；以及所述方法还包括： 利用与第一 FOV相关联的所述图像传感器中的第一图像传感器来收集第一图像数据， 所述第一 FOV包括所述平行线中的第一条线的至少一部分，但是不包括所述平行线中的第 二条线； 利用与第二FOV相关联的所述图像传感器中的第二图像传感器来收集第二图像数据， 所述第二FOV包括所述平行线中的第二条线的至少一部分，但是不包括所述平行线中的所 述第一条线；以及 在所述一个或多个第一外部参数值和一个或多个第二外部参数值之间进行选择进一 步包括:基于对与所述一对平行线相关联的所述第一地标信号中的一对峰值的参数化来对 所述第一地标信号进行评估。16. 根据权利要求11所述的方法，其中，计算所述第一地标信号进一步包括： 通过将所投影的图像数据从空间域变换到频率域来生成二维频谱数据； 垂直于所述投影方向中的至少一个方向来对所述频谱数据进行切片；以及 将所述频谱数据切片逆变换回到空间域。17. 根据权利要求16所述的方法，其中： 计算所收集的图像数据向所述地平面的投影进一步包括:针对与收集所述图像数据的 所述传感器相关联的外部参数值的集合相对应的角度来计算拉东变换； 计算所述第一地标信号进一步包括:将所述二维频谱数据切片成一维频谱信号，所述 一维频谱信号包括与所述一个或多个地平面校准地标相关联的频率。18. -种计算机可读介质，包括被存储在其上的指令，所述指令当被处理系统执行时， 使得所述系统执行权利要求11-17中所述的方法中的任何一种方法。
【文档编号】G06T7/00GK105989603SQ201610091256
【公开日】2016年10月5日
【申请日】2016年2月18日
【发明人】K·纳特罗什维利
【申请人】英特尔公司