衍射光学元件和使用其的几何内部照相机校准方法和装置与流程

1.本发明涉及衍射光学元件、使用衍射光学元件的几何内部照相机校准的方法和装置。


背景技术：

2.为了确保有效操作，一些照相机经历几何内部校准(geometric intrinsic calibration)，以对诸如焦距、图像中心(也称为主点(principal point))、畸变和歪斜(skew)等的内部特性(也称为内部参数)进行建模。用于校准照相机的传统方法利用包括棋盘图案的测试图。传统方法有若干缺点。首先，传统方法仅对于有限的对象距离有效。其次，传统方法不适用于校准中距离至长距离照相机(诸如自主运载工具(av)中采用的具有大的超焦距(例如5米至30米及以上)的照相机)，因为这样做将需要精确地打印巨大比例的测试图。传统的校准方法在对测试图进行均匀照明和跨重复校准迭代地实现一致性方面也存在困难。


技术实现要素：

3.一种衍射光学元件，包括：第一表面，其包括掩模，所述掩模包括与照相机的多个视角相对应的多个孔；以及第二表面，其包括与所述多个视角相对应的多个脊，各个脊具有与相应视角相关联的脊角，所述衍射光学元件被配置为：通过使光束穿过所述多个孔，将所述光束分成多个光束，以及将所述多个光束通过所述多个脊输出到所述照相机的镜头以用于校准，所述多个光束基于所述脊角在多个传播方向上被输出。
4.一种装置，包括：激光器，其被配置为输出第一光束；准直器，其沿所述激光器的光路布置，并且被配置为基于所述第一光束来输出准直光束；以及衍射光学元件，其沿所述准直器的光路布置，并且包括：第一表面，其包括掩模，所述掩模包括与照相机的多个视角相对应的多个孔，以及第二表面，其包括与所述多个视角相对应的多个脊，各个脊具有与相应视角相关联的脊角，所述衍射光学元件被配置为：通过使所述准直光束穿过所述多个孔，将所述准直光束分成多个光束，以及通过所述多个脊将所述多个光束输出到所述照相机的镜头以用于校准，所述多个光束基于所述脊角在多个传播方向上被输出。
5.一种方法，包括：利用至少一个处理器，接收照相机基于从与所述照相机的光轴对准的衍射光学元件接收的多个光束而捕获的至少一个图像，所述多个光束具有与多个视角相关联的多个传播方向；利用所述至少一个处理器，识别所述图像中的多个形状；利用所述至少一个处理器，确定所述图像中的所述多个形状与所述多个光束之间的对应；以及利用所述至少一个处理器，基于所述图像中的所述多个形状和所述多个传播方向，识别使重投射误差函数最小化的所述照相机的一个或多于一个内部参数。
6.一种方法，包括：在衍射光学元件的第一表面上形成与待校准的照相机的多个视角相对应的多个孔；基于所述多个视角和预定公式来确定多个脊角；基于所述多个脊角在所述衍射光学元件的第二表面上形成多个脊；以及在激光器和所述衍射光学元件之间布置
准直器，其中，所述激光器、所述准直器和所述衍射光学元件的光轴相互对准。
7.一种方法，包括：在衍射光学元件的第一表面上形成与待校准的照相机的多个视角相对应的多个孔；基于所述多个视角和预定公式来确定多个脊角；以及基于所述多个脊角在所述衍射光学元件的第二表面上形成多个脊。
附图说明
8.图1是可以实现包括自主系统的一个或多于一个部件的运载工具的示例环境；
9.图2是包括自主系统的运载工具的一个或多于一个系统的图；
10.图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的部件的图；
11.图4是自主系统的某些部件的图；
12.图5是用于制造包括衍射光学元件的几何内部照相机校准系统的处理的实现的图；
13.图6是使用衍射光学元件的几何内部照相机校准的处理的实现的图；
14.图7是包括衍射光学元件的几何内部照相机校准系统的实现的图；
15.图8和9是用于几何内部照相机校准的衍射光学元件的实现的图；
16.图10是用于制造包括衍射光学元件的几何内部照相机校准系统的处理的流程图；
17.图11是用于几何内部照相机校准的衍射光学元件的实现的又一图；
18.图12是使用衍射光学元件的几何内部照相机校准的处理的流程图；
19.图13是使用衍射光学元件的几何内部照相机校准的又一处理的流程图；
20.图14是示出作为使用衍射光学元件的几何内部照相机校准的处理的一部分而捕获的示例图像的图；
21.图15是示出作为使用衍射光学元件的几何内部照相机校准的处理的一部分在图14的样本图像中识别的形状的图；
22.图16是示出作为使用衍射光学元件的几何内部照相机校准的处理的一部分在图15的图像中识别的中心形状的图；
23.图17是示出作为使用衍射光学元件的几何内部照相机校准的处理的一部分按顺序排序的图15的图像的形状的图；
具体实施方式
24.在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
25.在附图中，为了便于描述，例示示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
26.此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
27.尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
28.在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或部件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、部件和/或其群组。
29.如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的部件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
30.如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当
…
时”、“在
…
时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定
…
时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
[0031]
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他
情况下，尚未详细描述众所周知的方法、处理、部件、电路和网络，以便不会不必要地使实施例的方面模糊。
[0032]
在一些方面和/或实施例中，本文描述的系统、方法和计算机程序产品包括和/或实现使用衍射光学元件的几何内部照相机校准。本公开的实施例通过提供包括具有光栅设计的专有衍射光学元件的光学系统而克服了传统校准方法的缺点，其中该光栅设计使得能够对具有大的超焦距的照相机进行内部校准。在一个示例中，处理器接收由照相机基于从与照相机的光轴对准的衍射光学元件所接收的光束而捕获的图像。光束具有与视角相关联的传播方向。处理器识别图像中的形状，确定形状和光束之间的对应，并基于形状和传播方向来识别使重投射误差函数(reprojection error function)最小化的照相机的一个或多于一个内部参数。
[0033]
借助本文所述的系统、方法和计算机程序产品的实现，本公开的实施例的技术实现了中距离和长距离照相机的几何内部校准，即，利用现有系统和方法目前无法实现的能力。本公开的实施例的处理产生比常规的(例如，基于棋盘或基于charuco的)校准技术更高的内部校准的准确度，这有助于提高传感器融合算法的精度，从而提高不同传感器之间的传感器融合准确度。与传统校准系统相比，提出的校准系统在大小上大约紧凑了五倍，并且提供了相当低的循环时间。
[0034]
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(v2i)装置110、网络112、远程自主运载工具(av)系统114、队列管理系统116和v2i系统118。运载工具102a-102n、运载工具到基础设施(v2i)装置110、网络112、自主运载工具(av)系统114、队列管理系统116和v2i系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(v2i)装置110、网络112、自主运载工具(av)系统114、队列管理系统116和v2i系统118中的至少一者互连。
[0035]
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与v2i装置110、远程av系统114、队列管理系统116和/或v2i系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
[0036]
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
[0037]
路线106a-106n(单独称为路线106且统称为路线106)各自与连接av可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于
初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载av的地点，并且第二状态或区包括搭载av的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
[0038]
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
[0039]
运载工具到基础设施(v2i)装置110(有时称为运载工具到万物(vehicle-to-everything)(v2x)装置)包括被配置为与运载工具102和/或v2i系统118进行通信的至少一个装置。在一些实施例中，v2i装置110被配置为与运载工具102、远程av系统114、队列管理系统116和/或v2i系统118经由网络112进行通信。在一些实施例中，v2i装置110包括射频识别(rfid)装置、标牌、照相机(例如，二维(2d)和/或三维(3d)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，v2i装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，v2i装置110被配置为与运载工具102、远程av系统114和/或队列管理系统116经由v2i系统118进行通信。在一些实施例中，v2i装置110被配置为与v2i系统118经由网络112进行通信。
[0040]
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(lte)网络、第三代(3g)网络、第四代(4g)网络、第五代(5g)网络、码分多址(cdma)网络等)、公共陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电话网(例如，公共交换电话网(pstn))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
[0041]
远程av系统114包括被配置为与运载工具102、v2i装置110、网络112、队列管理系统116和/或v2i系统118经由网络112进行通信的至少一个装置。在示例中，远程av系统114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程av系统114与队列管理系统116位于同一位置。在一些实施例中，远程av系统114参与运载工具的部件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安
装。在一些实施例中，远程av系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些部件和/或软件。
[0042]
队列管理系统116包括被配置为与运载工具102、v2i装置110、远程av系统114和/或v2i系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
[0043]
在一些实施例中，v2i系统118包括被配置为与运载工具102、v2i装置110、远程av系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，v2i系统118被配置为与v2i装置110经由不同于网络112的连接进行通信。在一些实施例中，v2i系统118包括服务器、服务器组和/或其他类似装置。在一些实施例中，v2i系统118与市政当局或私营机构(例如，用于维护v2i装置110的私营机构等)相关联。
[0044]
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
[0045]
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考sae国际标准j3016:道路上机动车自动驾驶系统相关术语的分类和定义(sae international's standard j3016:taxonomy and definitions for terms related to on-road motor vehicle automated driving systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
[0046]
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、lidar传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)gps接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
[0047]
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。
照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(ccd)等的光传感器的数字照相机、热照相机、红外(ir)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，raw、jpeg和/或png等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
[0048]
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，raw、jpeg和/或png等)的一个或多于一个图像相关联的tld数据。在一些实施例中，生成tld数据的照相机202a与本文所述的包含照相机的其他系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
[0049]
lidar传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。lidar传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由lidar传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由lidar传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到lidar传感器202b。在一些实施例中，由lidar传感器202b发射的光不会穿透该光遇到的物理对象。lidar传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与lidar传感器202b相关联的至少一个数据处理系统生成表示lidar传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与lidar传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定lidar传感器202b的视场中的物理对象的边界。
[0050]
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施
例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
[0051]
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
[0052]
通信装置202e包括被配置为与照相机202a、lidar传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控驱动(dbw)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(v2v)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
[0053]
自主运载工具计算202f包括被配置为与照相机202a、lidar传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或dbw系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程av系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、v2i装置(例如，与图1的v2i装置110相同或类似的v2i装置)和/或v2i系统(例如，与图1的v2i系统118相同或类似的v2i系统)进行通信。
[0054]
安全控制器202g包括被配置为与照相机202a、lidar传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或dbw系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
[0055]
dbw系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，dbw系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。
附加地或可替代地，dbw系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
[0056]
动力总成控制系统204包括被配置为与dbw系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从dbw系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
[0057]
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
[0058]
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(aeb)系统和/或再生制动系统等。
[0059]
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位系统(gps)接收器、惯性测量单元(imu)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
[0060]
现在参考图3，例示装置300的图。如所例示的，装置300包括处理器304、存储器306、存储部件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)、运载工具200的至少一个装置(例如，运载工具200的系统的至少一个装置)；以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的系统的一个或多于一个装置)、一个或多于一个运载工具200的装置(例如，运载工具200的系统的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个部件。如图3所示，装置300包括总线302、处理器304、存储器306、存储部件308、输入接口310、输出接口312和通信接口314。
[0061]
总线302包括许可装置300的部件之间的通信的部件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(cpu)、图形处理单元(gpu)和/或加速处理单元(apu)等)、麦克风、数字信号处理器(dsp)、以及/或者可被编程为进行至少一个功能的任意处理部件(例如，现场可编程门阵列(fpga)和/或专用集成电路(asic)等)。存储器306包括随机存取存储器(ram)、只读存储器(rom)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或
静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
[0062]
存储部件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储部件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(cd)、数字多功能盘(dvd)、软盘、盒式磁带、磁带、cd-rom、ram、prom、eprom、flash-eprom、nv-ram和/或另一类型的计算机可读介质、以及相应的驱动器。
[0063]
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的部件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(gps)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的部件(例如，显示器、扬声器和/或一个或多于一个发光二极管(led)等)。
[0064]
在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的部件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(rf)接口、通用串行总线(usb)接口、接口和/或蜂窝网络接口等。
[0065]
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器305和/或存储部件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
[0066]
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储部件308中。存储器306和/或存储部件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
[0067]
存储器306和/或存储部件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储部件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
[0068]
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个部件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
[0069]
提供图3所例示的部件的数量和布置作为示例。在一些实施例中，与图3所例示的部件相比，装置300可以包括附加的部件、更少的部件、不同的部件或不同布置的部件。附加
地或可替代地，装置300的一组部件(例如，一个或多于一个部件)可以进行被描述为由装置300的另一部件或另一组部件进行的一个或多于一个功能。
[0070]
现在参考图4，例示出自主运载工具计算400(有时称为“av堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(asic)和/或现场可编程门阵列(fpga)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程av系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与v2i系统118相同或类似的v2i系统等)进行通信。
[0071]
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
[0072]
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
[0073]
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个lidar传感器(例如，lidar传感器202b)所生成的至少一个点云相关联的lidar数据。在某些示例中，定位系统406从多个lidar传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2d)和/或三维(3d)地图进行比较。然后，基于定位系
统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
[0074]
在另一示例中，定位系统406接收由全球定位系统(gps)接收器所生成的全球导航卫星系统(gnss)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的gnss数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
[0075]
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，dbw系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其他装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。
[0076]
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(mlp)、至少一个卷积神经网络(cnn)、至少一个递归神经网络(rnn)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
[0077]
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储部件(例如，与图3的存储部件308相同或类似的存储部件)。在一些实施例中，数据库410存储与至少一个区域的2d和/或3d地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(state)(例如，国家)等的2d和/或3d地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道
路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个lidar传感器(例如，与lidar传感器202b相同或类似的lidar传感器)生成与表示该至少一个lidar传感器的视场中所包括的对象的图像相关联的数据。
[0078]
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程av系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或v2i系统(例如，与图1的v2i系统118相同或类似的v2i系统)等中。
[0079]
现在参考图5，例示用于制造包括衍射光学元件的几何内部照相机校准系统的处理500的实现的图。在一些实施例中，如上所述，由自主运载工具102(例如，完全地和/或部分地等)进行关于处理500描述的步骤中的一个或多于一个。附加地或可替代地，在一些实施例中，关于处理500描述的一个或多于一个步骤可由与自主运载工具102分离或包括自主运载工具102的其他装置或装置组(诸如进行上述部分或全部计算的远程服务器(例如，与图1的远程av系统114和/或队列管理系统116相同或类似的远程服务器))(例如，完全地和/或部分地等)进行。如图5所示，孔502形成在衍射光学元件506的第一表面504上，孔502对应于光束508并且对应于待校准照相机(未明确示出)的视角。脊角510(例如，由感知系统402)基于视角(例如，视角512)和预定公式(诸如斯奈尔定律(snell’s law)等)来确定。根据确定的脊角，在衍射光学元件506的第二表面514上形成脊516。准直器518布置在激光器520(例如，具有比例如氦氖激光器更稳定的中心波长的固态激光器)和衍射光学元件506之间，其中激光器520、准直器518和衍射光学元件506的光轴相互对准。
[0080]
现在参考图6，例示使用衍射光学元件的几何内部照相机校准的处理600的实现的图。在一些实施例中，如上所述，由自主运载工具102(例如，完全地和/或部分地等)进行关于处理600描述的步骤中的一个或多于一个。附加地或可替代地，在一些实施例中，关于处理600描述的一个或多于一个步骤可由与自主运载工具102分离或包括自主运载工具102的其他装置或装置组(诸如进行上述部分或全部计算的远程服务器(例如，与图1的远程av系统114和/或队列管理系统116相同或类似的远程服务器))(例如，完全地和/或部分地等)进行。
[0081]
如图6所示，包括衍射光学元件601的装置602与照相机202a的光轴对准(例如，在一些示例中，照相机202a可以固定在自主运载工具102上)。装置602经由衍射光学元件601将光束604投射到照相机202a上。各个光束604具有与来自照相机202a的多个视角中的相应视角相关联的传播方向。照相机202a基于光束604捕获图像606，并经由数据端口610将图像转发到一个或多于一个处理器608。处理器608执行存储在存储器612中的指令，以识别接收图像606中的形状(614)，确定图像606中的形状与光束604之间的对应(616)，计算形状的像素坐标(618)，存储将像素坐标与光束604的相应传播方向相关联的表(620)，并基于图像606中的形状和传播方向来识别使重投射误差函数最小化的照相机的一个或多于一个内部参数(622)。
[0082]
现在参考图7，例示几何内部照相机校准系统700的实现的图。在一些实施例中，系统700包括激光器702(例如，固态激光器)、扩束透镜704、准直器706、衍射光学元件708(例如，其可以与本文别处描述的一个或多于一个衍射光学元件相同或类似)和保护窗710。激
光器702被配置为可选地通过扩束透镜704朝向准直器706输出第一光束712。在一些示例中，扩束透镜704被配置为将第一光束712扩展成扩展光束714，并将扩展光束提供给准直器706。在其他示例中，准直器706是光束扩展型准直器，其被配置为扩展激光器702所输出的第一光束712，从而使准直光束716的直径大于激光器702所输出的第一光束712的直径。准直器706沿着激光器702的光路布置，并且被配置为基于从激光器702(和/或扩束透镜704)接收的第一光束712(或扩展光束714，视情况而定)输出准直光束716。
[0083]
衍射光学元件708沿着准直器706的光路布置，并且包括第一表面718和第二表面720。第一表面718(例如，平坦侧)包括具有与照相机(例如，照相机202a，图7中未单独示出)的视角相对应的孔的掩模(图7中未单独示出)。第二表面720包括对应于视角的脊(图7中未单独示出)，各个脊具有与相应视角相关联的脊角(ridge angle)。衍射光学元件708被配置为通过使准直光束716穿过孔(例如，诸如图8所示的孔808等)来将准直光束716分成多个光束722，并通过脊将光束722输出到照相机的镜头(图7中未单独示出)以用于校准，其中光束722基于脊角在各传播方向上被输出。在一个示例中，在doe 708的设计阶段期间配置光束722。在这样的示例中，例如，通过以下面描述的方式利用等式(1)、(2)和(3)，基于主光束712将被分割出的光束(例如，光束722)的期望数量而预先确定doe 708的光栅角。在另一个示例中，在设计阶段期间，基于要利用doe 708测试的照相机的视场和/或分辨率来配置doe 708的各种个方面。例如，对于视场为30度、分辨率为2度的照相机，doe 708可被配置为将主光束(例如，与光束712相同或类似)分成15个光束(例如，与光束722相同或类似)，以覆盖30度的视场中的各个2度分辨率间隔。在另一方面，可以基于doe 708的横截面积(诸如通过调整孔(例如，图8的孔808)的大小等，以利用doe 708的侧部(例如，图8的侧部806)的最大横截面积量)来定义主光束(例如，与光束712相同或相似)的大小和/或主光束被doe 708分成的多个光束(例如，与光束722相同或相似)的大小。在一些示例中，衍射光学元件708还被配置为当激光器702、扩束透镜704、准直器706、衍射光学元件708和照相机的光轴相互对准时，将光束722穿过镜头投射到照相机的图像传感器上，以使图像传感器能够捕获光束722的图像以进行内部校准。在这样的示例中，衍射光学元件708还可以被配置为使得基于投射光束在照相机的图像传感器上形成点网格(该点网格与照相机的视角相对应)，并且使得能够计算至少一个内部参数(例如，衍射光学元件708的朝向、照相机的焦距、照相机的主点、照相机的朝向的畸变)。在一些实施例中，点网格的各个点似乎源自相对于照相机的无限远距离，以模拟类似于自主运载工具102的照相机202a的用例的校准“目标”。
[0084]
现在参考图8和图9，例示了衍射光学元件(例如，其可与衍射光学元件708或本文所述的(一个或多于一个)任何其他衍射光学元件相同或类似)的实现的示意图800和900。在一些实施例中，如图8所示，衍射光学元件802包括第一表面804和第二侧部806。第一表面804包括孔808，在一些实施例中，孔808以十字线图案布置。在一个示例中，将孔808蚀刻到平坦表面上，以在衍射光学元件802的第一表面804上形成掩模。在一些示例中，衍射光学元件802和孔808是圆形的，并且孔808的直径在从衍射光学元件802的边缘朝向衍射光学元件802的中心的方向上减小。继续参考图8和图9，在一些示例中，衍射光学元件802包括在衍射光学元件802的第二表面806上以同心圆布置的脊902。在这样的示例中，孔808沿着脊902的光路布置。
[0085]
现在参考图10，例示用于制造包括衍射光学元件的几何内部照相机校准系统的处
理1000的流程图。在一些实施例中，如上所述，由自主运载工具102(例如，完全地和/或部分地等)进行关于处理1000描述的步骤中的一个或多于一个。附加地或可替代地，在一些实施例中，关于处理1000描述的一个或多于一个步骤可由与自主运载工具102分离或包括自主运载工具102的其他装置或装置组(诸如进行上述部分或全部计算的远程服务器(例如，与图1的远程av系统114和/或队列管理系统116相同或类似的远程服务器))(例如，完全地和/或部分地等)进行。
[0086]
继续参考图10，在衍射光学元件的第一表面上形成与待校准照相机的多个视角相对应的孔(框1002)。如结合图11进一步详细描述的，处理器608(或任何其他合适的处理器)基于视角并基于预定公式(例如斯奈尔定律)确定脊角(框1004)。基于脊角在衍射光学元件的第二表面上形成脊(框1006)。准直器布置在激光器和衍射光学元件之间，其中激光器、准直器和衍射光学元件的光轴相互对准(框1008)。在一些示例中，将准直器布置在激光器和衍射光学元件之间包括：固定从激光器到准直器的距离，以及固定从准直器到衍射光学元件的距离。在一些示例中，镜头布置在准直器内并且被配置为扩展激光器输出的光束(框1010)。
[0087]
现在参考图11，例示衍射光学元件1102(例如，其可以与本文所述的衍射光学元件708或任何其他(一个或多于一个)衍射光学元件相同或相似)的实现的示意图1100。衍射光学元件1102包括第一表面1104(例如，可以与第一表面718和/或804相同或相似)和第二表面1106(例如，可以与第二表面720和/或806相同或相似)。图11包括具有脊角1116(也称为doe表面角)、视角1110、θ1 1112和θ2 1114的衍射光学元件1102的单个脊1108的部分截面图。在一些实施例中，衍射光学元件1102包括多个(例如，15个)视角和多个(例如，15个)相应脊(例如，类似于脊1108)。在这些实施例中，各个脊的几何图形(例如，角度)是基于斯奈尔定律、形成衍射光学元件的材料的折射率和/或其他因素来确定的，以实现向待校准的照相机镜头的期望场角投射。例如，在一些示例中，脊角(例如，脊角1116)是通过识别脊角来确定的，脊角被配置为以特定视角(例如，视角1110)将准直光束从准直器朝向被测试的照相机偏斜。根据一个示例，以迭代方式利用斯奈尔定律(本文中再现为等式(1))和等式(2)，基于对θ1(1112)的连续输入估计来确定θ2(1114)的值，直到确定导致期望视角(1110)的θ1和θ2的值为止。
[0088]
等式(1)
[0089]
n1
×
sin(θ1)＝n2
×
sin(θ2)
[0090]
等式(2)
[0091]
视角＝θ2-(90
°‑
θ1)
[0092]
一旦确定了产生期望视角(1110)的θ1和θ2的值，则根据等式(3)确定期望视角的相应脊角(1116)。
[0093]
等式(3)
[0094]
脊角＝90
°‑
θ1
[0095]
表1118示出视角1110的示例列表、n1和n2的相应值(分别形成衍射光学元件1102和真空的材料的折射率)、θ1 1112和θ2 1114的值、以及脊角1116(其可针对具有15个视角的示例衍射光学元件1102来确定)。
[0096]
现在参考图12，例示使用衍射光学元件进行几何内部照相机校准的处理1200的流
程图。在一些实施例中，如上所述，由自主运载工具102(例如，完全地和/或部分地等)进行关于处理1200描述的步骤中的一个或多于一个。附加地或可替代地，在一些实施例中，关于处理1200描述的一个或多于一个步骤可由与自主运载工具102分离或包括自主运载工具102的其他装置或装置组(诸如进行上述部分或全部计算的远程服务器(例如，与图1的远程av系统114和/或队列管理系统116相同或类似的远程服务器))(例如，完全地和/或部分地等)进行。
[0097]
继续参考图12，照相机(例如，照相机202a)布置在衍射光学元件(例如，其可与本文所述的衍射光学元件708或(一个或多于一个)任何其他衍射光学元件相同或类似)前面，其中光轴相互对准(框1202)。光束以本文别处描述的方式经由衍射光学元件投射到照相机上，并且照相机基于投射光束捕获一个或多于一个图像(框1204)。处理器608(或任何合适的处理器)基于从与照相机光轴对准的衍射光学元件接收的光束来接收照相机捕获的至少一个图像，光束具有与照相机的视角相关联的传播方向(框1206)。在示例中，光束的方向包括衍射光学元件的坐标系中的坐标。处理器608例如以下面结合图13进一步详细描述的方式识别图像中的形状(框1208)。处理器608例如以下面结合图13进一步详细描述的方式确定图像中的形状与光束之间的对应。在一个示例中，确定图像中的形状与光束之间的对应包括生成列表(例如，pu1，da1)，(pu2，da2)
…
，(pun，dan)，其中，pui表示图像中的点的像素坐标，并且dai表示doe中心坐标中光束的相应方向(框1210)。例如，可以基于质心检测算法来计算图像中的点的像素坐标(框1212)。处理器608在存储器(例如，存储器612)中存储表，该表基于图像中的形状与光束之间的所确定的对应，将像素坐标与传播方向相关联(框1214)。处理器608基于图像中的形状和传播方向来识别使重投射误差函数最小化的照相机的一个或多于一个内部参数(例如，照相机的焦距、照相机的主点和/或照相机的镜头的畸变)(例如，寻找使重投射误差函数(诸如等式(4)中所示的平方和重投射误差函数，其中||.||表示2范数(2-norm))最小化的内部参数(θ)和旋转矩阵crd，(框1216)。
[0098]
等式(4)
[0099][0100]
现在参考图13，例示使用衍射光学元件的几何内部照相机校准的进一步处理1300的流程图。在一些实施例中，处理1300与上面结合图12描述的框1208、1210和/或1212的处理相同或类似。在一些实施例中，如上所述，由自主运载工具102(例如，完全地和/或部分地等)进行关于处理1300描述的步骤中的一个或多于一个。附加地或可替代地，在一些实施例中，关于处理1300描述的一个或多于一个步骤可由与自主运载工具102分离或包括自主运载工具102的其他装置或装置组(诸如进行上述部分或全部计算的处理器608、远程服务器(例如，与图1的远程av系统114和/或队列管理系统116相同或类似的远程服务器))(例如，完全地和/或部分地等)进行。
[0101]
继续参考图13，处理器608(或任何合适的处理器)加载图像，诸如图14中的图像1400等，该图像1400是由照相机(例如照相机202a)基于通过衍射光学元件(例如，其可以与本文所述的衍射光学元件708或(一个或多于一个)任何其他衍射光学元件相同或类似)投射到照相机上的光束而捕获的(1302)。处理器608使用任何合适的去马赛克算法对加载的图像进行去马赛克(1304)。处理器608通过基于去马赛克图像执行加权质心检测算法来识
别去马赛克图像中的形状(例如，图15的图像1500中所示的斑点、点和/或质心)(1306)。处理器608将所识别的形状(例如，图16的形状1602)中的一个指定为与图像1500中的形状中的中心形状1602相对应(1308)。处理器608将图像1500的形状按至少部分地基于多个形状相对于中心形状1602的位置的顺序(例如，按基于图17所示的中心形状1602索引的行和列顺序)进行排序(1310)。处理器608至少部分地基于形状的顺序将各个形状与光束中的相应光束相关联(1312)。
[0102]
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本技术发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。