包括加权拖车角度估计的自动平移相机镜像系统的制作方法

1.本公开涉及用于商用卡车的相机镜像系统(cms)，并且特别地涉及具有包括融合的拖车角度估计的自动平移特征的cms。


背景技术：

2.在商用车辆中，利用了镜像替换系统和用于补充镜像视图的相机系统，以增强车辆操作者看到周围环境的能力。相机镜像系统(cms)利用一个或多个相机来向车辆操作者提供增强的视场。在一些示例中，该镜像替换系统覆盖比常规镜更大的视场，或者包括经由常规镜不能完全获得的视角。
3.在某些操作中，诸如拖车倒车操纵，诸如由固定镜或固定视场相机提供的那些的固定视角可能不提供操作的完整视角，并且可能呈现给操作者的期望信息不被呈现给操作者。手动调整物理相机或镜子角度的手动平移系统可能需要频繁地停止操纵以调整所提供的视角，并且可以对调整设置不充分的粒度。
4.一些示例系统试图通过实现自动或半自动平移来最小化手动平移的问题。这种系统依赖于潜在地不准确的拖车角度的估计，并且车辆操作的运动模型(特别是在倒车操作中)可能难以考虑拖车角度估计的潜在可变性。


技术实现要素：

5.一种用于自动平移用于商用车辆的视角的示例性方法包括：确定多个估计的拖车角度，每个估计的拖车角度使用不同的估计方法来确定；为多个估计的拖车角度中的每个估计的拖车角度分配置信度值；确定多个估计的拖车角度的加权和；以及至少部分地基于加权和和当前车辆操作来自动平移视角。
6.用于自动平移用于商用车辆的视角的上述方法的另一示例还包括：将所确定的加权和添加到历史加权和的有序列表中并且对有序列表进行低通滤波。
7.在用于自动平移用于商用车辆的视角的任何上述方法的另一示例中，自动平移视角是基于经滤波的有序列表。
8.用于自动平移用于商用车辆的视角的任何上述方法的另一示例还包括：在将置信度值分配给每个估计的拖车角度之后并且在确定加权和之前，丢弃置信度值低于预定义阈值的任何估计的拖车角度。
9.在用于自动平移用于商用车辆的视角的任何上述方法的另一示例中，预定义阈值为至少85％。
10.在用于自动平移用于商用车辆的视角的任何上述方法的另一示例中，通过将每个拖车角度估计乘以对应的置信度值来确定加权估计、对加权估计求和、以及将求和的加权估计除以置信度值的总和，来确定加权和。
11.在用于自动平移用于商用车辆的视角的任何上述方法的另一示例中，不同的估计方法包括：基于图像的车轮检测、基于图像的拖车后边缘角度检测、基于图像的拖车标记角
度检测、基于图像的车轮角度检测、道路边缘偏差检测、车道标记偏差检测、牵引角度传感器、以及车轮角度传感器中的至少两个。
12.在用于自动平移用于商用车辆的视角的任何上述方法的另一示例中，自动平移视角包括调整iv类视角内的ii类视角。
13.在用于自动平移用于商用车辆的视角的任何上述方法的另一示例中，自动平移视角包括将拖车的后边缘保持在ii类视角内。
14.用于自动平移商用车辆的视角的任何上述方法的另一示例还包括连续迭代所述方法，从而生成实时拖车角度监测。
15.在用于自动平移用于商用车辆的视角的任何上述方法的另一示例中，在所述车辆的相机镜像系统控制器内执行：确定多个估计的拖车角度、为多个估计的拖车角度中的每个估计的拖车角度分配置信度值、以及确定多个估计的拖车角度的加权平均值。
16.在用于自动平移用于商用车辆的视角的任何上述方法的另一示例中，从相机镜像系统控制器远程执行以下各项中的至少一个：确定多个估计的拖车角度、为多个估计的拖车角度中的每个估计的拖车角度分配置信度值、以及确定多个估计的拖车角度的加权平均值，并将其传输到相机镜像系统控制器。
17.在一个示例性实施例中，一种用于车辆的相机镜像系统包括：第一相机，其具有第一视场；控制器，其被配置为接收第一视场并将第一视场的子集输出到第一显示器，控制器包括：拖车角度检测模块，其被配置为确定多个拖车角度估计；置信度值模块，其被配置为确定每个拖车角度估计的置信度值；以及融合模块，其被配置为将多个拖车角度估计和置信度值融合到单个拖车角度估计中；并且至少部分地基于单个拖车角度估计，来自动平移相机镜像系统的至少一个视角，使得拖车的特征保持在至少一个视角内。
18.在用于车辆的上述相机镜像系统的另一示例中，融合模块被配置为：基于多个拖车角度估计和对应的置信度值，来确定加权和拖车角度。
19.在用于车辆的任何上述相机镜像系统的另一示例中，融合模块还被配置为：将加权和拖车角度添加到历史加权和拖车角度数据集中，并且对历史加权和拖车角度数据集进行低通滤波。
20.在用于车辆的任何上述相机镜像系统的另一示例中，经由不同的角度估计方法，确定多个拖车角度估计中的每个拖车角度估计。
21.在用于车辆的任何上述相机镜像系统的另一示例中，控制器还被配置为：将单个拖车估计添加到历史拖车角度估计的有序列表中并且对有序列表进行低通滤波。
22.在用于车辆的任何上述相机镜像系统的另一示例中，自动平移至少部分地基于经低通滤波的有序列表。
附图说明
23.结合附图参考以下详细描述，可进一步理解本公开，其中：
24.图1a是具有用于提供至少ii类视角和iv类视角的相机镜像系统(cms)的商用卡车的示意性正视图。
25.图1b是具有提供ii类视角、iv类视角、v类视角和vi类视角的相机镜像系统的商用卡车的示意性顶部正视图。
26.图2是包括显示器和内部相机的车厢的示意性顶部透视图。
27.图3a示出了在倒车操纵开始时的车辆，没有拖车角度。
28.图3b示出了具有高拖车角度的车辆中途倒车操纵。
29.图4示出了用于获得估计的加权拖车角度的方法。
30.图5示出了用于根据估计的加权角度确定准确的拖车角度并且自动平移相机镜像系统的系统。
31.前述段落、权利要求书或以下描述和附图的实施例、示例和替代例，包括其各种方面或相应的单独特征中的任何一个，可以独立地或以任何组合被采取。结合一个实施例所描述的特征适用于所有实施例，除非这些特征是不兼容的。
具体实施方式
32.在图1a和图1b中示出了商用车辆10的示意图。该车辆10包括用于拉动拖车14的车辆驾驶室或牵引车12。尽管在本公开中设想了商用卡车，但是本发明也可以应用于其他类型的车辆。车辆10包含相机镜像系统(cms)15(图2)，该相机镜像系统15具有安装到车辆驾驶室12外部的驾驶员侧相机臂16a和乘客侧相机臂16b。如果需要，相机臂16a、16b也可以包括与该两臂集成的常规镜，尽管cms 15可以用于完全替换镜。在另外的示例中，每一侧可以包括多个相机臂，每个臂容纳一个或多个相机和/或镜。
33.相机臂16a、16b中的每个包括固定到例如驾驶室12的基座。枢转臂由基座支撑并且可以相对于基座进行关节运动。至少一个面向后方的相机20a、20b被分别布置在相机臂上。外部相机20a、20b分别提供外部视场fov
ex1
、fov
ex2
，每个视场包括ii类视角和iv类视角中的至少一个(图1b)，这些视角是商用卡车行业中的法律规定视角。在车辆10的给定侧的ii类视角是车辆10的同一侧的iv类视角的子集。如果需要，也可以在每个相机臂16a、16b上使用多个相机来提供这些视角。每个臂16a、16b还可以提供包裹被配置为提供cms 15各种特征的电子器件的外壳。
34.第一视频显示器18a和第二视频显示器18b被布置在车辆驾驶室12内的驾驶员侧和乘客侧的每一侧上，在a柱19a、19b上或附近，以在车辆10的其相应侧上显示ii类视角和iv类视角，这提供了由外部相机20a、20b捕获的沿着车辆10的面向后方的侧方视角。
35.如果还需要v类视角和vi类视角的视频，相机外壳16c和相机20c可以布置在车辆10的前部处或附近，以提供这些视角(图1b)。布置在驾驶室12内靠近挡风玻璃的顶部中心的第三显示器18c可以用于向驾驶员显示朝向车辆10前方的v类视角和vi类视角。
36.如果需要viii类视角的视频，相机外壳可以设置在车辆10的侧面和后部，以提供包括车辆10的部分或全部viii类区域的视场。在这样的示例中，第三显示器18c可以包括显示viii类视角的一个或多个帧。可替代地，在第一显示器18a、第二显示器18b和第三显示器18c附近可以增加额外的显示器，并提供专用于提供viii类视角的显示器。
37.继续参考图1a、图1b和图2，图3a和图3b示出了在执行倒车操纵的过程中的车辆100。在初始位置(图3a)中，拖车110相对于驾驶室120具有大约零度的初始角度，意味着拖车110与驾驶室120的取向对齐。可替代地，可将该角度表示为相对于驾驶室120的180度。在倒车过程期间，特别是当通过转弯倒车时，拖车110相对于驾驶室120偏斜(图3b)，产生影响倒车操纵的拖车角度。出于说明性目的，相对于大多数预期角度来说，夸大了图3b的特定偏
斜。
38.为了辅助驾驶员进行倒车操纵，有益的是，确保拖车110的后部112通过倒车操纵在至少一个显示器中对驾驶员来说是可见的。在一些特定示例中，期望不仅包括拖车110的后部112，而且还使ii类视角以拖车110的后部112为中心。然而，如图3b中所示，即使当后部112保持在iv类视场内时，静态ii类视角也可导致拖车110的后部112延伸超过ii类视角的边界。为了防止在ii类视角中拖车110的后部112的视角的缺失，或为了保持ii类视角以拖车110的后部112为中心，本文所示的车辆10、100包括相机镜像系统内的自动平移特征。
39.自动平移特征使用不同的拖车角度估计和检测系统的组合来估计在任何给定时间相对于牵引车的拖车角度。估计的拖车角度被分配“权重”并且被提供给车辆控制器内的融合系统，该“权重”对应于估计的拖车角度在当前操作条件下是准确的可能性。举例来说，基于车轮检测的系统可以在日光条件下(当黑色车轮在周围环境的反衬下显得醒目时)具有高的准确度概率(大于90％)，并且在夜间条件下(当黑色车轮融入黑暗环境时)具有低的准确度概率(50％-70％)。类似地，基于车道标记的检测系统，诸如使用霍夫变换(hough transforms)的直线检测系统，可以在模糊的天气条件下(雨、雪、雾等)具有较低的准确度概率，在晴朗天气条件下具有较高的准确度概率，并且底部边缘检测系统在集装箱拖车的情况下可以具有高的准确度概率，在油罐拖车的情况下具有低的准确度概率。
40.车辆控制器使用基于每种检测方法的置信度值的加权和来融合多个拖车角度估计。该加权和被称为原始估计。然后将原始估计与历史估计结合并使用低通滤波器进行滤波，以将平滑转变的拖车角度提供给cms中的自动平移特征，以及提供给可以受益于利用所述拖车角度估计的任何其他车辆系统。在一些示例中，相机镜像系统可以生成对应于拖车侧面的元信息，并且该元信息可以用于防止误报和/或以其他方式为确定的拖车角度提供附加置信度。为了减少相位滞后并且因此减少报告延迟，当确定拖车角度估计到达可忽略的水平时，低通滤波器在第一测量处启动。这通过提供初始分配值而减少了相位滞后。虽然这种系统中仍然存在一些延迟，但是该延迟被最小化以至于不影响该倒车系统。
41.继续参考图1a至图3b，图4示出了用于确定更准确的拖车角度的过程。最初，过程300在“确定角度估计”步骤310中确定角度估计。所确定的角度估计的数量可以依据所涉及的特定系统而变化。在一些示例中，至少一些角度估计是纯粹基于视觉的，并且利用在cms视频传输中识别的对象(例如，车轮、后边缘、拖车标记等)的特征跟踪来确定估计的拖车角度。类似地，可以基于与道路边缘和/或车道检测的偏差、与所存储的地图的定位卫星比较、牵引角度传感器、拖车边缘检测、车道检测器、雷达传感器、激光雷达传感器和任何其他类似的拖车角度检测系统来确定一些角度估计。
42.一旦确定了拖车角度估计，确定拖车角度估计的控制器就在“确定置信度值”步骤320中向每个拖车角度估计分配置信度值。用于确定每个估计的置信度的方法取决于如何执行该特定估计，并且可以由本领域技术人员使用任何适当的技术来确定。在一些示例中，置信度值可以取决于天气状况、照明条件、拖车类型、历史准确度数据以及可能与准确度的可能性相关的任何其他特征。置信度值被表示为准确度的百分比(例如，15度的基于车轮的拖车角度具有94％的准确几率)。
43.在确定置信度值之后，控制器在“丢弃低于置信度阈值的角度”步骤330中丢弃低于最小置信度阈值的所有估计。在一个示例中，假设低于85％置信度的估计在一些系统中
是错误的或不准确的，并且不予考虑。在另一示例中，假设低于90％置信度的估计是错误的。丢弃低于最小置信度值阈值的估计消除了可能由于不准确的传感器而发生的离群值，特别是由于对于给定估计技术的不良状况以及导致不准确估计的任何其他类似状况。消除极端离群值增加了估计的准确性。在一些示例中，在向控制器提供大量估计和/或低置信度值不指示错误的情况下，可以将丢弃低于阈值的角度省略。
44.在丢弃低于阈值的所有估计之后，或者绕过步骤330之后，控制器中的融合算法在“确定加权和”步骤340中确定角度估计的加权和。在加权平均值确定的一个示例中，14度的第一拖车角度估计具有98％的置信度，10度的第二拖车角度估计具有86％的置信度，并且15度的第三拖车角度估计具有94％的置信度。预定义的置信度阈值被设置为85％，上述所有三个值被认为是可接受的。融合算法将每个角度乘以其对应的置信度，对结果求和，并且将总和除以置信度的总和。在示例性情况下，融合算法得出如下：((14*98)+(10*86)+(15*94))/(98+86+94)＝13.10度。因此，在示例性情况下，所确定的角度(或者称为原始测量)是13.10度，并且该角度被输出到低通滤波器。低通滤波角度被输出到自动平移系统。应当理解，实际实施方案可以利用基本上多于三个角度估计，且所使用的角度估计越多，所得出的值将越准确。
45.当已经确定估计角度的加权平均值，控制器就将该加权平均值加到包括当前操作的先前确定的加权平均值的历史数据集中。在一个示例中，拖车角度估计大约每200毫秒执行一次，并且该历史数据集按顺序包括每个后续条目。将低通滤波器应用于历史数据集，包括新确定的加权平均值。低通滤波器使转变平滑并消除“急动的(jerky)”或“突然的(abrupt)”拖车角度转变，从而提供对拖车角度随时间变化的更准确的表示，并且允许自动平移系统和/或任何其他车辆系统来考虑准确的变化。
46.继续参考图4，图5示意性地示出了用于车辆410的示例自动平移系统。控制器420从车辆410接收图像和其他传感器信息，并且控制器420使用角度检测模块424根据所接收的图像和传感器信息来确定原始角度估计。置信度值确定模块422与角度检测模块424一起，利用指示影响每个检测到的角度的置信度的条件和任何其他方面的所接收的数据421。置信度值确定模块422确定每个拖车角度检测的置信度，并且该检测和置信度值被提供给融合模块426。
47.融合模块426确定估计的拖车角度的加权平均值，并且将该加权平均值与存储在拖车角度历史428中的先前拖车角度融合。融合模块426还将低通滤波器应用于结合的拖车角度和历史拖车角度数据，以确定二维拖车角度。二维拖车角度是二维平面上的当前拖车角度的准确估计。基于拖车角度和地理特征(例如，坡度)将二维拖车角度转换为三维拖车位置。然后将三维拖车角度提供给自动平移特征，并且相机镜像系统自动平移图像内的至少一个相机视角。在一个示例中，自动平移被配置为确保拖车的后边缘在车辆的整个操作中保持在ii类视角内。在其它实施方案中，自动平移可保持其它对象或对象的部分在视角内。
48.将来自不同源的多个估计角度融合成可以跨多个系统使用的单个更可靠的拖车角度估计。将多个拖车角度估计融合成单个值还允许系统针对某些条件和/或某些类型的拖车考虑某些拖车角度估计技术的不可靠性，同时仍然可靠地确定和平移准确的拖车角度。
49.尽管已经公开了示例实施例，但本领域技术人员应认识到一些修改会落入权利要求书的范围内。因此，应研究所附权利要求书以确定本发明的真实范围和内容。