采用HMI辅助可视伺服的智能拖车联接控制的制作方法

技术领域

本发明总体上涉及一种用于对准牵引联接球和拖车挂钩的系统和方法，更具体地说，涉及一种通过人机界面(HMI)辅助的可视伺服过程来对牵引车辆上的牵引联接球与拖车上的拖车挂钩进行自主对准的系统和方法。

相关技术讨论

一些车辆配备有牵引联接装置，所述牵引联接装置允许拖车或其它拖曳车与车辆连接，使得牵引车辆能够牵引拖车。通常，拖车联接装置安装在临近车辆的后保险杠的牵引车辆的后部支承结构，包括具有特定直径的牵引联接球。拖曳车通常包括拖车挂钩，所述拖车挂钩从拖曳车的前端伸出。拖车挂钩一般包括放置联接球的杯子以将联接装置连接到拖车挂钩上。杯内的紧固机构，例如金属薄板，当其被插入杯内以将挂钩牢固地保持在联接装置上时，选择性地置于联接球周围。

当拖曳车脱离牵引车辆时，拖车挂钩通常支撑在高度可调的支撑架上，从而杯位于地面上比联接装置的球更高的位置上。当牵引车辆的操作员将挂钩附接到联接装置时，他将牵引车辆倒退到联接球刚好位于杯的下方的位置。一旦在这个位置，通过降低支撑架，挂钩被下放到联接球上。

一般，当倒退牵引车辆以将拖曳车连接到牵引车辆时，车辆操作员需要大量的经验和技能以将联接球精准地置于挂钩杯下。不考虑操作员的技能和经验，精准地将联接球置于适当位置几乎是不可能的。因此，操作员一般必须使用拖车挂钩手动移动拖曳车向右、向左、向前或向后，以提供精准校准。由于拖曳车可能很大、很沉，移动起来十分笨重，所以这有时是难以处理的工作。

现代车辆通常包括一个或多个相机提供倒车辅助，提供车辆正在行驶时道路的图像以避免碰撞，提供结构识别，例如道路标志等。辅助车辆倒车的相机系统通常使用叠加或重叠在相机图像上的可视覆盖图形以提供车辆倒车转向导航。对于图形在相机图像上重叠的那些应用，精准地校准相机相对于车辆的位置和方向是很关键的。相机校准一般包括确定一组参数，所述参数使相机图像坐标与车辆坐标相关，反之亦然。一些相机参数，例如相机焦距、光心等是稳定的，而同时其它参数，例如相机方向和位置是不稳定的。例如，相机高度取决于车辆的荷载，其会时常变化。这种改变可能导致相机图像上的车辆轨迹的重叠图形不精准。

2014年9月3日提交的、标题为智能牵引的、转让给本申请的受让人并在此被引入作为参考的美国专利申请序列号14/476，345，公开了一种通过叠加在倒车相机图像上的图形重叠提供可视辅助，以帮助车辆操作员在倒车时校准牵引联接球和拖车挂钩的系统和方法。所述方法包括提供相机模型，以将车辆坐标的相机图像与世界坐标相关联，其中所述相机模型提供图形重叠以将具有高度的拖曳线包括在相机图像中，所述拖曳线的高度由拖车挂钩的估算高度确定。该方法也包括提供车辆动态模型，以当车辆围绕旋转中心移动时识别车辆运动。所述方法预测车辆转向时的路径，包括计算旋转中心。

当车辆操作员对准牵引球和拖车挂钩时，‘345号申请中的上述系统在提供可视辅助方面是有效的。然后，所述系统要求车辆操作员实际控制与可视辅助相关联的车辆的制动、方向盘和节流器以提供牵引球和挂钩之间的校准。因此，由于操作员技能水平问题，该系统仍有一些缺陷，其中牵引联接球和拖车挂钩的对准能力可通过全自动过程来改进。

技术实现要素：

本发明描述了用于通过人机界面(HMI)辅助的可视伺服过程来对牵引车辆上的牵引联接球与拖车上的拖车挂钩进行自主对准的系统和方法。所述方法包括车辆上的后视相机提供显示出牵引球和挂钩的后视图像，其中在触摸屏显示器上显示图像。该方法包括：触摸显示器上的牵引球以登记所述图像中的所述牵引球的位置；以及触摸显示器上的挂钩以登记牵引球将与挂钩适当对准的目标位置。所述方法提供了围绕图像中目标的模板图案并且自主移动车辆，使得牵引球朝向目标移动。所述方法包括当所述车辆移动时预测目标的新位置且通过将先前的模板图案与围绕在预测目标周围的图像块进行比较来识别当车辆移动时新图像中的目标，当联接球至目标的距离小于某一最小阈值时，该方法使车辆停止。

根据下面的描述和所附权利要求，结合附图，本发明的另外的特征将变得明显。

附图说明

图1是示出了定位相对于包括有牵引挂钩的拖车的包括有牵引联接装置的车辆的相机图像的图示；

图2是用于自主定位车辆以将牵引联接球与牵引挂钩对准的系统的示意性框图；

图3是示出了图像坐标至世界坐标转换的变量的转向路径移动的车辆的顶视图的图示；

图4是示出了用于通过HMI辅助的可视伺服过程来自主定位牵引球的过程的流程图；以及

图5是用于在自主定位牵引球的过程中提供用于对挂钩的位置进行估计的卡尔曼-布西滤波的系统的示意性框图。

具体实施方式

本发明的实施例的以下讨论的涉及用于自主定位车辆使得车辆上的牵引联接球与拖车挂钩对准的系统和方法在本质上仅是示例性的，并且决不旨在限制本发明或者其应用或用途。例如，如所讨论的，所述系统和方法具有用于自主定位车辆使得牵引联接球与拖车挂钩对准的特定应用。然而，本领域技术人员将理解，所述系统和方法可以具有用于其他移动平台(例如，在火车、机器、拖拉机、船、休闲车等上)的应用。

本发明提出了用于自主定位车辆使得通过HMI辅助的可视伺服过程来将车辆上的牵引联接球与拖车挂钩对准的系统和方法。下面将详细讨论，操作员将使车辆定位成接近拖车使得来自车辆后部处的相机的后视图像显示拖车和拖车挂钩。然后操作员将通过示出图像的触摸屏来识别图像中联接球的位置、识别挂钩上的目标，然后启动指令，其中车辆将自主移动车辆使得联接球与目标对准。

图1是由安装至车辆12后部的相机提供的后视相机图像10的图示，其中车辆12包括具有从其延伸的牵引联接球16的牵引联接件14。后备控制系统18通常示出为在车辆12上，并且包括对于如下面所讨论的本发明的操作来说需要的所有的相机、相机图像处理器、算法、自主车辆控制器等。框20是车辆12上的触摸屏显示器，图像10可以在所述触摸屏显示器上显示以允许车辆操作员看见图像10并且提供如本文中所讨论的触摸屏输入。图像10示出了在车辆12后面的拖车22，拖车22包括具有位于在地面上方一定距离处并且高于牵引球16的挂钩杯26的拖车挂钩24。

一旦车辆操作员已将车辆12定位在拖车22前方且相机图像10显示拖车22，则车辆操作员将通过触摸显示屏20上的牵引球16的图像来登记牵引球16以便登记图像10中的牵引球16的位置。将登记图像10中的联接球16的位置的过程可能在先前已经执行，其中图像10中的牵引球16的位置应当总是在相同位置。接来下，操作员将通过触摸显示器20上的杯26来识别目标位置，其中本文的杯26被称为目标。本领域技术人员将容易认识到，通过触摸屏操作识别图像中元件的位置的适合的算法和过程。然后车辆操作员将车辆12转换成反向，或者提供一些其他合适的命令，该命令为系统18的指示以接管驱动车辆12以将牵引球16定位于目标位置处，而无需车辆操作员的任何其他干预。如将在下文详细讨论，当车辆12移动且图像10中的目标的位置改变时，目标被跟踪和锁定以识别目标的新位置。每次提供新图像时，计算联接球16和目标之间的距离，且一旦联接球16和目标之间的距离在某个最小阈值范围内，比如一英寸，则车辆12停止，且自主对准过程结束，其中然后车辆操作员必须降低挂钩24使得联接球16定位于杯26内。在对准操纵期间，车辆操作员将监控周围对象，比如人或动物，如果碰撞路径通过触摸制动器或通过提供车辆转向而存在，则其允许车辆操作员中止自主联接对准操纵。

图2是系统40的高级示意性框图，该系统40在如上所述的后备和联接对准操纵期间自主地定位车辆12。系统40包括后视相机42，该后视相机42以预定采样速率将图像提供到可视伺服控制器44，该可视伺服控制器44在操作期间使用反馈分析来控制车辆12的位置。此外，人机接口(HMI)输入在框46处通过如上所述的触摸屏显示器20提供给控制器44。尽管将触摸屏显示器20的用途应用于本文所讨论的实施例中，但其他技术也可以用于识别图像10中的联接球16和目标的位置。一旦牵引球16和目标已经识别并通过HMI输入来登记，车辆操作员便初始化对准操作，控制器44将向发动机控制模块(ECM)48提供节流和制动命令信号以便以所需速度朝拖车22移动车辆12，以及向具有转矩叠加的电动助力转向(EPS)控制模块50提供转向角命令信号以为操纵提供车辆转向。当车辆12移动时，图像10中的目标的位置也移动，其中控制器44重新计算来自与本文所讨论一致的新图像的目标的新位置。当车辆12继续朝目标移动且图像10中的目标的位置持续更新时，控制器44试图最小化牵引球16和目标之间的距离使得当他们处于相同位置时该过程停止，其应该将牵引球16直接定位在杯26之下。

当初始登记目标时，系统40识别图像坐标(u，v)中的目标位置并提供由例如像素阵列或特征描述符限定的目标图案或围绕目标的模板T，如图1中的模板30所示，该像素阵列或特征描述符为包括目标的图像10的一些部分。一旦已经识别目标位置且已经接合系统40，则当车辆12移动以对准联接球16和目标时目标被跟踪并锁定。基于车辆12的速度和转向角，算法预测在每个样本点处的目标的图像坐标中的新位置(u'，v')。当从相机42获取新图像时，算法使用如下公式(1)和(2)围绕预定义窗口W内的预测位置(u'，v')搜索新图像，该预定义窗口W定义为图像块I(u，v)，并表示为图1中的虚线框块32：

min_u,v||T-I(u,v)||²，(1)

其中：

min(|u-u′|,|v-v′|)<W.(2)

当在窗口32中发现与模板30匹配的图像时，算法将由T表示的当前模板30替换为新匹配模板，其中目标的新位置(u'，v')变为目标的当前位置(u，v)。当获取新图像时，算法重复该过程。可以舍弃旧模板T，或者可以应用平均过程，其中当车辆12移动时保留一定数量的旧模板T。

如上所述，控制器44控制车辆12的转向角，其转换为路面车轮角度θ。在一个实施例中，该算法提供开环控制以计算转向角来使得牵引球16的位置和目标之间的距离最小。为此，该算法需要将图像10中的图像坐标(u，v)转换成世界坐标(x，y)。图3是具有轴距b的车辆62的俯视图60，其中车辆62相对于拐点66沿着弯道64转向，并且圆68表示牵引球16的位置而加号70表示目标位置。联接球16在世界坐标中的位置被识别为q＝(x_H，y_H)^T，而目标在世界坐标中的位置被识别为r＝(x，y)^T。算法将图像10中的每个像素位置(u，v)映射到x-y世界坐标中的俯视图上。具体地说，单应矩阵H如下所述在与牵引球16相同的高度处将作为u＝(u，v，1)^T的像素映射到x-y平面上，其平行于地面。

p＝(p₁，p₂，p₃)^T， (3)

p＝Hu， (4)

x＝p₁/p₃， (5)

y＝p₂/p₃， (6)

其中，单应矩阵H如下定义：

$H=Kc(Rot+\frac{{\mathrm{tn}}^T}{d})K^{-1},---\left(7\right)$

并且其中Kc是内在矩阵，Rot是相机旋转矩阵，t是相机中心，d是牵引球16的高度，以及：

n^TX＝d， (8)

是平面等式。一旦已经校准好相机42，内在矩阵Kc、相机旋转矩阵Rot以及相机中心t就是已知的数值。

如果联接球位置q和挂钩位置r之间的距离在预定阈值内，由于连接器16处于目标位置处因而该算法停止并保持车辆12。如果联接球位置q和挂钩位置r之间的距离并不在预定阈值内，则算法计算期望的方向盘角度以将车辆12转向至目标位置，例如：

$R=\frac{x^2+y^2}{2y},---\left(9\right)$

$\mathrm{\&theta;}={\tan }^{-1}\left(\frac{b}{R}\right).---\left(10\right)$

对于初始步骤，算法将车辆12保持在全制动，并且将方向盘移动至期望的方向盘角度，否则其在伺服方向盘角度的同时释放制动并控制车速v。

图4是示出用于使得车辆12自主地转向以使得牵引球16与如上所述的目标对准的过程的流程图80。该算法在框块82处启动，并且在判决菱形块84处确定牵引球16是否被登记。如果在判决菱形块84处牵引球16未被登记，则如上所述，该算法在框块86处促使车辆操作员通过触碰显示器26来识别牵引球16在图像10中的位置，然后该算法在框块88处将牵引球16在图像坐标中的位置进行登记并存储。一旦该算法在框块88处已登记牵引球16的位置或者在判决菱形块84处已事先登记该牵引球16的位置，该算法就在判决菱形块90处确定图像10中的目标是否已被识别。如果这是用于使得牵引球16与目标对准的操作的开始，则目标将不会已在判决菱形块90处被识别，且过程将移至框块92，在此车辆操作员将如上所述识别目标在图像10上的位置。该算法也在框块92处定义围绕目标的模板30。

如果在判决菱形块90处该目标已被识别或者在框块92处新的目标已被识别，算法就在判决菱形块94处确定是否已从相机42获得新的图像。在对准操纵开始时，该新的图像可以是在算法已经将车辆12移向目标之前的原始图像，或者可以是在车辆12处于联动对准操纵时获得的新的图像。如果在判决菱形块94已获得了新的图像，该算法就在框块96处评估车辆12的速度、车辆12的转向角、车辆12的横摆率、联接轨迹等等以使得车辆移向目标。该算法在框块98处提供图像校正，从而以本领域技术人员所良好理解的方式去除最新图像中的失真。然后，该算法在框块100处缩放或重新定位图像块32并且使用评估的车辆12的速度、车辆12的转向角、车辆12的横摆率、联接轨迹等等来预测新图像中的目标位置(u'，v')。然后，该算法在框块102处执行图像块32内的图案匹配操作以识别新窗口中的模板30。然后，该算法在判决菱形块104处确定当前模板T和图像块32中的模板之间的匹配是否已被发现，并且如果未被发现的话，通过停止车辆12而在框块106处中止该过程，并且返回至框块92来使得车辆操作员再次输入目标位置。如果在判决菱形块104处已在缩放图像块32中发现了与当前模板T的匹配，则算法例如在框块108处使用Kalman-Bucy滤波过程来评估在新图像中的目标位置。

图5是示出了使用卡尔曼-布西(Kalman-Bucy)滤波过程来确定新图像中的目标位置的一种过程的实例的系统110的方框图。系统110具有四种输入，即线路112上的路面车轮角度θ、线路114上的车辆速度v、线路116上的图像平面中的挂钩定位p的位置的测量值(x₀，y₀)以及线路118上的卡尔曼滤波器增益K。目标的估计位置设置为线路120上的输出。使用来自前述计算的路面车轮角度θ、车辆速度v和估计的目标位置在框122处将目标的位置的时间导数确定为：

$\stackrel{\&CenterDot;}{x}=-v+\mathrm{\&omega;}y,---\left(11\right)$

$\stackrel{\&CenterDot;}{y}=-\mathrm{\&omega;}x,---\left(12\right)$

其中：

$\mathrm{\&omega;}\frac{tan\mathrm{\&theta;}}{b}v.---\left(13\right)$

在框124处目标的位置的时间导数被积分以生成世界坐标(x，y)中的目标定位。在减法器126中，目标定位(x，y)从挂钩定位p的位置的测量值(x₀，y₀)减去，以产生革新误差e，在乘法器128中将该革新误差e乘以卡尔曼增益K。然后在加法器130中增益调整后的误差信号Ke加上目标定位(x，y)以提供线路120上的目标的估计位置

返回到流程图80，一旦在如上所述的框108处获得目标的位置，则在框块132处算法计算从联接球16到目标的距离，并在判断方块134处确定该距离是否小于一些预定值。如果在判断方块134处该距离小于阈值，则算法知道牵引球16与目标对齐，且在框块136处制动器被应用于停止车辆。如果在判断方块134处该距离小于阈值，则在框块138处算法计算所需转向角度以及车辆速度，并在框块140处将这些信号提供给控制模块48和50以移动车辆12以减小牵引球16和目标之间的距离。然后算法返回至判断方块94以确定新图像是否已经到达。

本领域技术人员将完全理解，已经在本文讨论以描述本发明的几种以及各种步骤和过程可以参考通过计算机、处理器或者使用电现象处理和/或转换数据的其他电子计算设备执行的操作。这些计算机和电子设备可以采用各种易失性和/或非易失性存储器，包括具有存储在其上的可执行程序的非易失性计算机可读介质，该可执行程序包括能够通过计算机或处理器执行的各种代码或可执行指令，其中该存储器和/或计算机可读介质可包括所有形式和类型的存储器和其他计算机可读介质。

上文的讨论仅仅公开和描述了本发明的示例性实施例。本领域技术人员将很容易认识到，根据这一讨论并根据所附附图和权利要求，在不背离以下权利要求限定的本发明的精神和范围的前提下，可作出各种改变、修饰和变化。