动态振动传感器光学失真预测的制作方法

1.本公开总体上涉及车辆传感器。


背景技术：

2.自主车辆通常包括提供关于周围环境的信息的各种传感器。在一些示例中，这些自主车辆可以包括相机传感器、雷达传感器和激光雷达传感器。
3.在一些情况下，相机传感器可以结合有立体视觉，或多相机成像涉及具有重叠视野的两个或更多个相机。通过从不同的视角观看相同的一个或多个对象，多个视图中的相应视图中的对象的位置之间的所观察到的视差为计算距这些对象的距离提供了基础。一些车辆系统可以使用立体视觉成像来监视周围环境。


技术实现要素：

4.一种系统包括计算机，所述计算机包括处理器和存储器。所述存储器包括指令使得所述处理器被编程为接收车辆状态数据和车辆惯性测量数据；基于所述车辆状态数据和所述车辆惯性测量数据，生成指示由图像捕获总成捕获的图像内的图像失真的图像失真预测；以及基于所述图像失真预测来进行校正或缓解所述图像内的图像失真中的至少一项。
5.在其他特征中，所述处理器还被编程为基于所述图像失真预测来致动车辆。
6.在其他特征中，所述图像失真预测包括失真类型或失真幅度中的至少一者。
7.在其他特征中，所述失真类型或所述失真幅度中的所述至少一者包括图像平移、图像旋转或图像失真误差中的至少一者。
8.在其他特征中，所述处理器还被编程为通过访问基于所述失真类型或所述失真幅度中的所述至少一者的查找表并施加与所述失真类型或所述失真幅度中的所述至少一者相对应的图像校正技术来基于所述图像失真预测缓解所述图像失真。
9.在其他特征中，所述处理器还被编程为基于所述图像失真预测来更新车辆路线选择算法。
10.在其他特征中，所述处理器还被编程为接收与图像捕获总成相关联的应变数据，其中所述应变数据指示所述图像捕获总成上的应变；并且基于所述车辆状态数据、所述车辆惯性测量数据和所述应变数据来生成指示由所述图像捕获总成捕获的图像内的图像失真的图像失真预测。
11.在其他特征中，所述系统包括设置在车辆的车顶上方的所述图像捕获总成。
12.在其他特征中，所述图像捕获总成包括壳体，所述壳体包括相机。
13.在其他特征中，所述系统包括设置在所述壳体内的传感器。
14.在其他特征中，所述传感器测量指示所述图像捕获总成上的应变的所述应变数据或所述图像捕获总成的惯性测量数据中的至少一者。
15.在其他特征中，所述相机包括立体相机，并且所述传感器被附接到所述立体相机的第一相机或第二相机中的至少一者的镜头总成。
16.在其他特征中，所述处理器还被编程为基于所述图像失真预测来修改图像感知算法的图像过滤参数。
17.在其他特征中，所述处理器还被编程为基于所述图像失真预测来修改车辆速度和车辆路线。
18.一种方法包括：接收车辆状态数据和车辆惯性测量数据；基于所述车辆状态数据和所述车辆惯性测量数据，生成指示由图像捕获总成捕获的图像内的图像失真的图像失真预测；以及基于所述图像失真预测来进行校正或缓解所述图像内的图像失真中的至少一项。
19.在其他特征中，所述方法还包括基于所述图像失真预测来致动车辆。
20.在其他特征中，所述图像失真预测包括失真类型或失真幅度中的至少一者。
21.在其他特征中，所述失真类型或所述失真幅度中的所述至少一者包括图像平移、图像旋转或图像失真误差中的至少一者。
22.在其他特征中，基于所述图像失真预测来缓解所述图像失真包括：访问基于所述失真类型或所述失真幅度中的所述至少一者的查找表并施加与所述失真类型或所述失真幅度中的所述至少一者相对应的图像校正技术。
23.在其他特征中，所述方法还包括：接收与图像捕获总成相关联的应变数据，其中所述应变数据指示所述图像捕获总成上的力；以及基于所述车辆状态数据、所述车辆惯性测量数据和所述应变数据来生成指示由所述图像捕获总成捕获的图像内的图像失真的图像失真预测。
附图说明
24.图1是根据本公开的示例性实现方式的示例性车辆系统的图式。
25.图2是根据本公开的示例性实现方式的包括图像捕获总成的示例性车辆的图式。
26.图3a是根据本公开的示例性实现方式的示例性图像捕获总成的框图。
27.图3b是由图像捕获总成检测到的对象的示例性图式，其中图像捕获总成的镜头总成上的各种力导致对象在所捕获的图像内变形。
28.图4是示出根据本公开的示例性实现方式的用于缓解图像失真的示例性过程的流程图。
具体实施方式
29.传感器(例如，相机、激光雷达等)通常结合有光学元件(例如，镜头)，所述光学元件用于改善光去往或来自传感器或传感器的子部件(例如，光电二极管、发射器、传感器阵列等)的路径。此传感器通常可以安装在车辆上并在车辆承受振动载荷时操作。即使在变化的振动载荷下，稳定的传感器数据对于自动和半自动驾驶系统也是至关重要的。此外，可以在传感器融合过程、立体视觉算法或某个其他过程中比较多个传感器的输出。
30.自主车辆通常可以采用感知算法或代理来感知车辆周围的环境。这些车辆可以采用多个传感器来感知周围环境的各个方面。感知算法使用传感器数据来确定是否应基于传感器数据修改一个或多个车辆动作。例如，感知算法可以更新路线选择算法，使得车辆基于环境内的感测到的对象改变路线。本公开公开了一种用于缓解与车辆的图像捕获总成相关
联的图像失真的系统和方法。
31.图1是示例性车辆系统100的框图。系统100包括车辆105，所述车辆是陆地车辆，诸如汽车、卡车等。车辆105包括计算机110、车辆传感器115、用于致动各种车辆部件125的致动器120以及车辆通信模块130。经由网络135，通信模块130允许计算机110与服务器145通信。
32.计算机110包括处理器和存储器。存储器包括一种或多种形式的计算机可读介质，并且存储可由计算机110执行以执行各种操作(包括如本文所公开的操作)的指令。
33.计算机110可以以自主模式、半自主模式或非自主(手动)模式来操作车辆105。出于本公开的目的，自主模式被限定为其中由计算机110控制车辆105推进、制动和转向中的每一者的模式；在半自主模式下，计算机110控制车辆105推进、制动和转向中的一者或两者；在非自主模式下，人类操作员控制车辆105推进、制动和转向中的每一者。
34.计算机110可以包括编程以操作车辆105制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆的加速)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算机110(而非人类操作员)是否以及何时控制此类操作。另外，计算机110可以被编程为确定人类操作员是否以及何时控制此类操作。
35.计算机110可以包括多于一个处理器，或者例如经由如以下进一步描述的车辆105通信模块130而通信地耦接到所述多于一个处理器，所述多于一个处理器例如包括在车辆105中所包括的用于监测和/或控制各种车辆部件125的电子控制器单元(ecu)等(例如动力传动系统控制器、制动控制器、转向控制器等)中。此外，计算机110可以经由车辆105通信模块130与使用全球定位系统(gps)的导航系统通信。作为示例，计算机110可以请求并接收车辆105的位置数据。位置数据可以是已知的形式，例如地理坐标(纬度坐标和经度坐标)。
36.计算机110通常被布置用于依靠车辆105通信模块130并且还利用车辆105内部有线和/或无线网络(例如车辆105中的总线等，诸如控制器局域网(can)等)和/或其他有线和/或无线机制进行通信。
37.经由车辆105通信网络，计算机110可以向车辆105中的各种装置传输消息和/或从所述各种装置接收消息，所述各种装置例如车辆传感器115、致动器120、车辆部件125、人机界面(hmi)等。替代地或另外，在其中计算机110实际上包括多个装置的情况下，车辆105通信网络可以用于在本公开中表示为计算机110的装置之间的通信。此外，如以下所提及，各种控制器和/或车辆传感器115可以向计算机110提供数据。
38.车辆传感器115可以包括诸如已知的用于向计算机110提供数据的多种装置。例如，车辆传感器115可以包括设置在车辆105的顶部上、在车辆105的前挡风玻璃后面、在车辆105周围等的光探测和测距(激光雷达)传感器115等，所述传感器提供车辆105周围的对象的相对位置、大小和形状和/或周围的情况。作为另一示例，固定到车辆105保险杠的一个或多个雷达传感器115可以提供数据以提供对象(可能地包括第二车辆106)等相对于车辆105的位置的速度并进行测距。车辆传感器115还可以包括相机传感器115(例如，前视、侧视、后视等)，所述相机传感器提供来自车辆105的内部和/或外部的视野的图像。车辆传感器115还可以包括惯性测量单元(imu)，所述imu测量与车辆105相关联的力、角速度和/或取向。
39.在本公开内，车辆传感器115可以包括有源传感器和/或无源传感器。有源传感器
(诸如激光雷达和雷达传感器)将能量投射到周围环境中并使用所测量的能量反射来解译环境内的对象和/或对其进行分类。无源传感器(诸如相机)不会为了解译和/或分类而投射能量。每种类型的传感器都可以采用光学元件来控制电磁辐射(例如，光)用于发射和/或接收目的。在一些情况下，光学器件的误差或变化可能会影响所感知的图像和/或所接收到的点云。
40.车辆105致动器120经由如已知那样可以根据适当控制信号致动各种车辆子系统的电路、芯片、马达或者其他电子和/或机械部件来实施。致动器120可以用于控制部件125，包括车辆105的制动、加速和转向。
41.在本公开的上下文中，车辆部件125是适于执行机械或机电功能或操作(诸如使车辆105移动、使车辆105减速或停止、使车辆105转向等)的一个或多个硬件部件。部件125的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可以包括方向盘、转向齿条等中的一者或多者)、制动部件(如以下所描述)、停车辅助部件、自适应巡航控制部件、自适应转向部件、可移动座椅等。
42.此外，计算机110可以被配置用于经由车辆对车辆通信模块或接口130与车辆105外部的装置通信，例如，通过车辆对车辆(v2v)或车辆对基础设施(v2x)无线通信与另一车辆、远程服务器145(通常经由网络135)通信。模块130可以包括计算机110可借以通信的一种或多种机制，包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望网络拓扑(或者当利用多个通信机制时为多个拓扑)。经由模块130提供的示例性通信包括提供数据通信服务的蜂窝、ieee 802.11、专用短程通信(dsrc)和/或广域网(wan)，包括互联网。
43.网络135可以是各种有线或无线通信机制中的一者或多者，包括有线(例如，缆线和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何所需组合和任何期望的网络拓扑(或在利用多个通信机制时的多个拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用蓝牙、低功耗蓝牙(ble)、ieee 802.11、车辆对车辆(v2v)(诸如专用短程通信(dsrc))等)、局域网(lan)和/或广域网(wan)，包括互联网。
44.计算机110可以基本上连续地、周期性地和/或当由服务器145指示时等从传感器115接收并分析数据。此外，对象分类或识别技术可在例如计算机110中基于激光雷达传感器115、相机传感器115等的数据用于识别对象的类型(例如，车辆、人、岩石、坑洞、自行车、摩托车等)以及对象的物理特征。
45.图2示出了附接到车辆105的示例性图像捕获总成202。如图所示，图像捕获总成202可以位于车辆105的车顶上方。然而，在其他实现方式中，图像捕获总成202可以位于车辆105周围。如下面更详细地解释的，图像捕获总成202捕获车辆105的环境周围的视野(fov)204内的图像。图像捕获总成202可以包括壳体204，所述壳体容置(例如，容纳)传感器设备的各种部件。在一种或多种实现方式中，壳体204可以包括纤维复合结构、空间框架结构等。
46.当车辆105横越路径(例如，道路)时，图像捕获总成202捕获环境的图像。例如，图像捕获总成202可以捕获图像，所述图像包括对车辆的路径内可能感兴趣的对象(诸如坑洞208)的描述。将图像提供给计算机110，使得计算机110可以对图像内的对象进行分类并且响应于所述分类而致动车辆105。
47.图3a是示出根据示例性实现方式的示例性图像捕获总成202的框图。传感器设备202通信地连接到计算机110并且包括一个或多个相机302
‑
1、302
‑
2。为了方便起见，仅示出了一个相机。然而，应理解，在其他实现方式中，图像捕获总成202可以包括附加相机。在一种或多种实现方式中，图像捕获总成202可以包括附加传感器，诸如激光雷达传感器，其可以在光发射和光接收两者中利用光学器件。每个传感器的输出可以在对象检测之前或之后彼此进行比较和/或融合。在对象检测之前进行低级传感器融合的示例是多视图成像。例如，车辆系统100可以使用各种传感器融合技术将传感器输出彼此进行比较和/或融合。例如，传感器融合技术可以包括但不限于竞争传感器融合技术、互补传感器融合技术和/或协作传感器融合技术。
48.作为示例，每个相机302
‑
1、302
‑
2提供多视图成像能力，例如，立体成像能力。例如，相机302
‑
1、302
‑
2充当立体相机对。每个相机302
‑
1、302
‑
2包括：镜头总成304，其包括一个或多个镜头；图像传感器306，其被放置成与镜头总成304光学对准；以及图像处理器308，其可以是预处理器或被配置为操作图像传感器306、提供图像传感器数据的读出、控制曝光时间等的其他处理电路。
49.在另一个示例中，激光雷达传感器将电磁辐射投射到激光雷达传感器的fov中并测量反射的电磁辐射。与激光雷达传感器相关联的处理器使用所测量的返回时间和波长来生成fov内的一个或多个对象的三维表示。类似地，激光雷达传感器使用光学器件来聚焦和/或接收电磁辐射。
50.图像捕获总成202还包括图像处理器310，所述图像处理器可以包括一个或多个基于微处理器的、基于dsp的、基于asic的和/或基于fpga的电路。在一种实现方式中，图像处理器310包括数字处理电路，所述数字处理电路对由相机302
‑
1、302
‑
2捕获的立体图像执行立体图像相关处理。图像处理器310可以执行多视图图像处理，诸如生成深度图并确定距成像场景内的对象的范围。
51.在示例性实现方式中，图像处理器从相机302
‑
1、302
‑
2中的每一者接收连续图像，也被称为“帧”。在此，“帧”或“图像”包括针对给定的图像捕获来自图像传感器的图像数据，例如像素数据。例如，在一系列捕获间隔中的每一个捕获间隔期间，图像处理器310接收一对图像，即，来自第一相机302
‑
1的一个图像和来自相机302
‑
1的一个图像。帧速率或捕获速率确定相机302
‑
1、302
‑
2捕获新图像的速率。
52.图像处理器310基于对来自相机302
‑
1、302
‑
2的对应图像对执行相关处理来对所捕获的图像执行三维(3d)测距。相机302
‑
1、302
‑
2可以沿着水平线(例如，对极几何)以一定的间隔距离设置，以充当左图像相机和右图像相机。对于对象或特征的相同成像像素，在左图像和右图像中的像素位置之间看到的“视差”或位移为确定3d测距信息提供了基础，如本领域普通人所理解的。例如，在一些实现方式中，网格和/或全局搜索算法可以通过更好的相机图像帧对准得到改善。相机302
‑
1、302
‑
2之间的水平距离可以被称为“基线”。
53.在一个或多个实施例中，图像处理器310包括存储装置或与存储装置相关联。存储装置将被理解为包括一种类型的计算机可读介质
‑
例如，快闪存储器或eeprom
‑
其为计算机程序提供非暂时性存储。图像处理器310适于基于其对计算机程序指令的执行来执行本文所教导的对应处理。
54.图像捕获总成202还包括通信模块312，所述通信模块将计算机110通信地连接到
图像捕获总成202，由此允许图像捕获总成202向计算机110提供图像数据和/或导出的对象检测数据并允许计算机110向图像捕获总成202提供计算机可读指令。通信模块312可以包括图像捕获总成202可以借以通信的一个或多个机制，包括无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合以及任何期望网络拓扑(或者当利用多个通信机制时的多个拓扑)。经由通信模块312提供的示例性通信包括提供数据通信服务的蜂窝、ieee 802.11、专用短程通信(dsrc)和/或包括互联网的广域网(wan)。
55.在操作期间，图像处理器310和/或计算机110的处理器估计相机302
‑
1、302
‑
2中和/或其间的未对准，例如，机械未对准，这将在下面更详细地描述的。未对准可能由车辆加速、车辆105经历力引发的事件等引起。如图所示，一个或多个传感器115经由控制器局域网(can)总线320通信地连接到计算机110，使得传感器115可以将车辆状态数据提供给计算机110。例如，车辆状态数据可以包括但不限于车辆加速度、车辆速度、踏板位置、发动机每分钟转数(rpm)、车辆惯性测量数据等。
56.如图3a所示，图像捕获总成202还包括传感器316。在示例性实现方式中，传感器316包括测量对象上的应变的应变仪。应变仪可以是合适的应变传感器或测量已知几何形状上的应变的相关传感器类型。例如，应变仪可以包括但不限于光纤应变仪、机械应变仪或电应变仪。传感器316可以安装到壳体204以测量壳体204和/或车辆105的车身结构上的应变。在一种实现方式中，图像捕获总成202还可以包括传感器318，所述传感器附接到相机302
‑
1、302
‑
2中的一者或两者和/或相机光学器件，例如镜头总成。例如，传感器318可以附接到镜头总成304以测量镜头总成304上的力。在示例性实现方式中，传感器318可以包括惯性测量单元(imu)，所述imu测量与相机302
‑
1、302
‑
2相关联的加速度、角速率和/或取向。在另一种示例性实现方式中，传感器318可以包括测量相机302
‑
1、302
‑
2上的应变的合适应变仪。尽管仅示出了单个传感器316和单个传感器318，但是应理解，图像捕获总成202可以采用任何数量的传感器318。
57.图像处理器310和/或计算机110的处理器从传感器115、316、318接收测量数据并估计镜头总成304的加速度和/或力以生成指示镜头总成304上的位移和应力的位移和应力预测。图像处理器310和/或计算机110的处理器可以基于适当的有限元分析来生成位移和应力预测。例如，有限元分析可以使用镜头总成几何形状、边界条件、材料属性、惯性测量数据、车辆状态数据和/或与车辆105和/或图像捕获总成202相关联的应变数据来通过经验测试和/或分析提供位移和应力预测。此外，还可以将有限元分析的离散时间步长内插或外推到相机图像捕获的对应时间范围，包括滚动快门逐帧曝光时间(frameby frame exposure time)。最后，可以将有限元模型的预测结合到训练过的神经网络或其他算法中以改善和实现对镜头总成状态的实时预测。
58.基于所述预测，图像处理器310和/或计算机110的处理器生成指示由相机302
‑
1、302
‑
2接收的图像的失真的失真预测。
59.在一种实现方式中，图像处理器310和/或计算机110的处理器可以使用将预测的镜头位移和应力与预测的图像失真关联的查找表。在另一种实现方式中，图像处理器310和/或计算机110的处理器可以使用机器学习技术以基于预测的镜头位移和应力来预测图像失真。可以训练机器学习技术和/或可以基于光线跟踪光学仿真对查找表进行编程。光线跟踪光学仿真的输出是图像失真预测。这些图像失真预测可以包括失真类型和/或失真幅
度。例如，失真类型和/或失真幅度包括但不限于图像平移、图像旋转或图像失真误差，包括散焦、倾斜、球面像差、像散、彗星像差、图像平面移位、失真(桶形、枕形、胡子失真)、珀兹伐(petzval)场曲率、色差、点扩展函数等。在本公开内，失真可以被定义为光学像差，诸如偏离直线投影，光学系统的属性导致光散布在空间的某个区域上方而不是聚焦到一点。
60.图3b是示出由诸如图像捕获总成202之类的传感器总成检测到的示例性对象的图式。如步骤(a)至(d)中所示，不同的冲击载荷导致镜头总成304相对于彼此以不同方式改变。例如，图3b
‑
a示出了基于相应的镜头总成304的变化幅度的桶形失真。如本文所述，图像处理器310和/或计算机110基于图像失真预测来校正或缓解图像内的图像失真。
61.在其他示例中，与镜头总成304相关联的图像失真可以基于经验测试结合在振幅、加速度、频率等的不同的时间历史下校准图案的成像来计算。在一些实现方式中，机器学习技术和/或查找表可以在服务器145处被初始化并经由网络135提供给计算机110。然而，应理解，机器学习技术和/或查找表可以在任何合适的服务器处被初始化并经由任何合适的通信网络被提供给计算机110。
62.图像处理器310和/或计算机110的处理器使用合适的计算机视觉技术来识别图像捕获总成202的fov 204内的对象和/或对象类型。合适的计算机视觉技术可以包括但不限于用于图像处理以进行对象检测和/或对象分类以允许自主车辆导航其环境的计算机视觉算法或机器学习技术。
63.在一些实现方式中，图像处理器310和/或计算机110的处理器根据失真类型和/或失真幅度校正和/或缓解所接收的图像的图像失真，从而导致图像更新。在一些实现方式中，图像处理器310和/或计算机110的处理器针对某些失真类型和/或失真幅度施加图像校正。例如，图像处理器310和/或计算机110的处理器可以使用将失真类型和/或失真幅度与图像校正技术和/或激光雷达点云校正技术关联的查找表。
64.图像处理器310和/或计算机110可以使用以下公式来校正与图像相关联的径向失真：
65.x
校正
＝x(1+k1*r2+k2*r4+k3*r6)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1，
66.y
校正
＝y(1+k1*r2+k2*r4+k3*r6)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2，
67.其中x
校正
和y
校正
表示校正后的像素位置，x和y表示未失真的像素位置，k1、k2和k3表示镜头总成304的径向失真系数，并且r2表示x2+y2。
68.图像处理器310和/或计算机110可以使用以下公式来校正与图像相关联的切向失真：
69.x
校正
＝x+[2*p1*x*y+p2*(r2+2*x2)]
ꢀꢀꢀ
公式3，
[0070]
y
校正
＝y+[p1*(r2+2*y2)+2*p2*x*y]
ꢀꢀꢀ
公式4，
[0071]
其中x
校正
和y
校正
表示校正后的像素位置，x和y表示未失真的像素位置，k1、k2和k3表示镜头总成304的切向失真系数，并且r2表示x2+y2。
[0072]
在其中无法基于失真类型、失真幅度、点扩展函数形式的表征和/或多种失真模式之间的相互作用(c1*对比度+c2*分辨率+c3*对比度*分辨率>阈值？)来校正接收到的图像的一些实现方式中，图像处理器310和/或计算机110的处理器基于所接收的图像来更新用于导航车辆105的图像感知算法。变量c1、c2和c3可以包括关于预定义失真阈值对失真度量进行加权和/或归一化的系数。预定义失真阈值可以基于相机失真参数相对于对象检测准
确度、误报率、r2等的统计评估。例如，图像处理器310和/或计算机110的处理器可以对所接收到的图像进行合并以减小图像大小、修改图像过滤器参数，例如高斯、中值或双边图像过滤器等，或者其他计算机视觉工作流程修改。计算机110还可以基于更新后的图像、失真类型和/或失真幅度来发起一个或多个车辆105动作。车辆105动作可以包括但不限于修改车辆105速度、生成警报、修改车辆105路线等。
[0073]
图4是用于缓解图像失真的示例性过程400的流程图。过程400的框可以由计算机110或图像处理器310来执行。过程400开始于框405，其中确定是否已经从图像捕获总成202接收到。如果尚未接收到图像，则过程400返回到框405。在示例性实现方式中，计算机110可以将静态失真校正(例如，桶形失真校正)从静态校准过程到动态载荷校正预测施加于所接收的图像。另外或替代地，计算机110可以将准静态失真参数校正施加于所接收的图像。一个示例是温度对镜头失真的影响，所述影响可以在静态时来表征并且可能被结合到有限元分析(fea)模型中，在所述fea模型中，一些塑料随温度/载荷速率而改变机械响应(例如，粘弹性模式)，其可以被建模为prony系列。否则，在框410处，接收车辆状态数据。车辆状态数据可以包括但不限于车辆加速度、车辆速度、踏板位置、发动机每分钟转数(rpm)、惯性测量数据等。
[0074]
在框415处，接收与车辆105相关联的惯性测量数据。在框420处，接收与车辆105和/或图像捕获总成202相关联的应变数据。在框425处，生成用于图像捕获总成202(例如，相机302
‑
1、302
‑
2)的应力预测。在示例性实现方式中，使用有限元分析生成相机总成位移和应力预测，所述有限元分析使用车辆状态数据、惯性测量数据和/或应变数据作为输入。
[0075]
在框430处，基于应力预测来生成图像失真预测。例如，查找表和/或机器学习技术可以用于将压力预测与图像失真预测关联。在框435处，缓解与所接收的图像相关联的图像失真。在示例性实现方式中，图像处理器310和/或计算机110的处理器可以访问用于与失真类型和/或失真幅度相对应的图像校正技术的查找表。在另一种示例性实现方式中，图像处理器310和/或计算机110的处理器修改车辆感知算法以考虑失真类型和/或失真幅度。
[0076]
在框440处，基于图像失真来修改一个或多个车辆动作。在示例性实现方式中，可以基于图像失真来修改一种或多种车辆路线选择算法。例如，可以更新车辆路线选择算法以相对于其当前速度减慢车辆105的速度。在另一种情况下，可以生成警报以警告操作员和/或乘客存在图像失真。在框445处，基于修改后的车辆动作来致动车辆。例如，计算机110可以使车辆105根据更新后的车辆路线选择算法来改变车辆105的路径。在一些情况下，可以执行后处理技术以验证过程400正在操作。例如，后处理技术可以包括在车辆105经历力引起的事件(诸如车辆105在对象上方行驶或行驶通过坑洞)之前和之后比较路牌。后处理技术可以在力引发的事件之前和之后比较路牌的图像，以确保图像的比较在预定义阈值内，例如，表示路牌的足够量的像素相匹配。
[0077]
通常，所描述的计算系统和/或装置可采用多个计算机操作系统中的任一者，包括但绝不限于以下版本和/或变型：福特应用程序、applink/smart device link中间件、微软操作系统、微软操作系统、unix操作系统(例如，由加州红杉海岸的oracle公司发布的操作系统)、由纽约阿蒙克市的international business machines公司发布的aix unix操作系统、linux操作系统、由加州库比蒂诺的苹
果公司发布的mac osx和ios操作系统、由加拿大滑铁卢的黑莓有限公司发布的blackberry os以及由谷歌公司和开放手机联盟开发的android操作系统、或由qnx software systems供应的car信息娱乐平台。计算装置的示例包括但不限于车载计算机、计算机工作站、服务器、台式机、笔记本、膝上型计算机或手持计算机、或一些其他计算系统和/或装置。
[0078]
计算机和计算装置通常包括计算机可执行指令，其中所述指令可能能够由一个或多个计算装置(诸如以上所列出的那些)执行。计算机可执行指令可由使用各种编程语言和/或技术创建的计算机程序编译或解译，所述编程语言和/或技术包括但不限于单独或组合的java
tm
、c、c++、matlab、simulink、stateflow、intercal、visual basic、java script、perl、python、html等。这些应用程序中的一些可在虚拟机(诸如java虚拟机、dalvik虚拟机等)上编译和执行。通常，处理器(例如，微处理器)接收来自例如存储器、计算机可读介质等的指令，并执行这些指令，从而执行一个或多个过程，包括本文所述过程中的一者或多者。此类指令和其他数据可以使用各种计算机可读介质来存储和传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
[0079]
存储器可以包括计算机可读介质(也称为处理器可读介质)，所述计算机可读介质包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括例如通常构成主存储器的动态随机存取存储器(dram)。此类指令可以由一种或多种传输介质传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括构成耦接到ecu的处理器的系统总线的电线。计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、cd
‑
rom、dvd、任何其他光学介质、穿孔卡片、纸带、具有孔图案的任何其他物理介质、ram、prom、eprom、flash
‑
eeprom、任何其他存储器芯片或盒式磁带、或者计算机可从其读取的任何其他介质。
[0080]
数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用数据库、关系数据库管理系统(rdbms)等。每个此类数据存储装置通常包括在采用计算机操作系统(诸如以上所提到的那些操作系统中的一个操作系统)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(例如上述pl/sql语言)之外，rdbms还通常采用结构化查询语言(sql)。数据库的一些附加示例可以包括nosql和/或图形数据库(gdb)。
[0081]
在一些示例中，系统元件可以被实施为一个或多个计算装置(例如，服务器、个人计算机等)上、存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上的用于执行本文所描述功能的此类指令。
[0082]
关于本文描述的介质、过程、系统、方法、启发等，应理解，虽然此类过程等的步骤已被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文对过程的描述出于说明某些实施例的目的而提
供，并且决不应被解释为限制权利要求。
[0083]
因此，应理解，以上描述旨在是说明性的而非限制性的。在阅读以上描述时，除了所提供的示例之外的许多实施例和应用对于本领域的技术人员将是明显的。不应参考以上描述来确定本发明的范围，而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。设想并预期未来的发展将在本文讨论的技术中发生，并且所公开的系统和方法将结合到此类未来实施例中。总之，当应理解，本发明能够进行修改和变化，并且仅受所附权利要求的限制。
[0084]
除非本文做出明确的相反指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和一般的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
[0085]
根据本发明，提供了一种系统，所述系统具有计算机，所述计算机包括处理器和存储器，所述存储器包括指令使得所述处理器被编程为：接收车辆状态数据和车辆惯性测量数据；基于所述车辆状态数据和所述车辆惯性测量数据，生成指示由图像捕获总成捕获的图像内的图像失真的图像失真预测；以及基于所述图像失真预测来进行校正或缓解所述图像内的图像失真中的至少一项。
[0086]
根据一个实施例，所述处理器还被编程为基于所述图像失真预测来致动车辆。
[0087]
根据一个实施例，所述图像失真预测包括失真类型或失真幅度中的至少一者。
[0088]
根据一个实施例，所述失真类型或所述失真幅度中的所述至少一者包括图像平移、图像旋转或图像失真误差中的至少一者。
[0089]
根据一个实施例，所述处理器还被编程为通过访问基于所述失真类型或所述失真幅度中的所述至少一者的查找表并施加与所述失真类型或所述失真幅度中的所述至少一者相对应的图像校正技术来基于所述图像失真预测缓解所述图像失真。
[0090]
根据一个实施例，所述处理器还被编程为基于所述图像失真预测来更新车辆路线选择算法。
[0091]
根据一个实施例，所述处理器还被编程为接收与图像捕获总成相关联的应变数据，其中所述应变数据指示所述图像捕获总成上的应变；并且基于所述车辆状态数据、所述车辆惯性测量数据和所述应变数据来生成指示由所述图像捕获总成捕获的图像内的图像失真的图像失真预测。
[0092]
根据一个实施例，本发明的特征还在于被设置在车辆的车顶上方的所述图像捕获总成。
[0093]
根据一个实施例，所述图像捕获总成包括壳体，所述壳体包括相机。
[0094]
根据一个实施例，本发明的特征还在于被设置在所述壳体内的传感器。
[0095]
根据一个实施例，所述传感器测量指示所述图像捕获总成上的应变的应变数据或所述图像捕获总成的惯性测量数据中的至少一者。
[0096]
根据一个实施例，所述相机包括立体相机，其中所述传感器被附接到所述立体相机的第一相机或第二相机中的至少一者的镜头总成。
[0097]
根据一个实施例，所述处理器还被编程为基于所述图像失真预测来修改图像感知算法的图像过滤参数。
[0098]
根据一个实施例，所述处理器还被编程为基于所述图像失真预测来修改车辆速度
和车辆路线。
[0099]
根据本发明，一种方法包括：接收车辆状态数据和车辆惯性测量数据；基于所述车辆状态数据和所述车辆惯性测量数据，生成指示由图像捕获总成捕获的图像内的图像失真的图像失真预测；以及基于所述图像失真预测来进行校正或缓解所述图像内的图像失真中的至少一项。
[0100]
在本发明的一个方面，所述方法包括基于所述图像失真预测来致动车辆。
[0101]
在本发明的一个方面，所述图像失真预测包括失真类型或失真幅度中的至少一者。
[0102]
在本发明的一个方面，所述失真类型或所述失真幅度中的所述至少一者包括图像平移、图像旋转或图像失真误差中的至少一者。
[0103]
在本发明的一个方面，基于所述图像失真预测来缓解所述图像失真包括：访问基于所述失真类型或所述失真幅度中的所述至少一者的查找表并施加与所述失真类型或所述失真幅度中的所述至少一者相对应的图像校正技术。
[0104]
在本发明的一个方面，所述方法包括：接收与图像捕获总成相关联的应变数据，其中所述应变数据指示所述图像捕获总成上的力；以及基于所述车辆状态数据、所述车辆惯性测量数据和所述应变数据来生成指示由所述图像捕获总成捕获的图像内的图像失真的图像失真预测。