利用车厢背面摄像头的车厢及拖车体移动确定的制作方法

本申请特别应用于全景车辆成像系统中。然而，将会理解的是，所述技术还可以应用于其他车辆监控系统、其他成像系统或其他车辆安全系统中。

背景技术：

确定牵引车与拖车之间的铰接角的传统方法是利用牵引车上的多个传感器来确定拖车的铰接角。一种这样的方法要求牵引点对于安装在牵引车上的摄像头可见，并且拖车舌(trailer tongue)长度已测或已知。另外，该方法不使用牵引车自己的任何视野来确定铰接角。相反，安装在司机外视镜上的摄像头必须能够看到车轮。此外，在轿车中，摄像头到车轮的距离相对较小。这样的方法对天气(雨水干扰到对车轮的视野)、照明(低悬的太阳，湿润的路面，夜晚……)敏感，并且不适于牵引车拖车布置方式中的较大的距离，这种布置方式中仅由少许像素来表示车轮。在如此低的分辨率的情况下，角度测量的质量受到不利影响。

另一种传统方法采用用于观察拖车后部的拖车上的摄像头，其中在确定与拖车移动有关的“光流”时使用向后观看的图像。光流描述了对象和/或点移动的方式，并且难以可靠且低成本地计算。此外，这种方法不考虑面对牵引车的摄像头，并且仅能间接且计算成本高昂地推断铰接角。

本发明提供了新颖的和改进的系统和方法，其有助于根据铰接车辆的第一或第二铰接部分的摄像头图像来直接计算车辆的所述第一和第二部分之间的铰接角，克服了上述问题以及其他问题。

技术实现要素：

根据一个方面，一种有助于铰接车辆的铰接角测量的系统包括耦接到所述铰接车辆的第一部分的至少一个摄像头，其中所述摄像头监控所述铰接车辆的第二部分，所述第二部分可铰接地耦接到所述第一部分。所述系统还包括处理器，其构造为测量所述铰接车辆的第二部分在由所述至少一个摄像头拍摄的图像中的至少一个参数。所述处理器还构造为执行几何模型，所述几何模型将所述至少一个参数的测量值转换为所述铰接车辆的第一部分与第二部分之间的相应的角度值。

根据另一方面，一种确定铰接车辆的第一部分与第二部分之间的铰接角的方法包括：从耦接到所述铰接车辆的第一部分的摄像头接收至少一个图像，其中所述摄像头监控所述铰接车辆的第二部分，所述第二部分可铰接地耦接到所述第一部分；以及测量所述铰接车辆的第二部分在所述至少一个图像中的至少一个参数。所述方法还包括：将所述至少一个参数输入到几何模型中，从而将所述至少一个参数的测量值转换为所述铰接车辆的第一部分与第二部分之间的相应的角度值，以及将所述铰接角输出到用户界面，以向用户进行显示。

根据另一方面，一种处理器构造为执行用于测量的计算机可执行指令，所述指令包括：从耦接到所述铰接车辆的第一部分的摄像头接收至少一个图像，其中所述摄像头监控所述铰接车辆的第二部分，所述第二部分可铰接地耦接到所述第一部分；以及测量所述铰接车辆的第二部分在所述至少一个图像中的至少一个参数。所述指令还包括：将所述至少一个参数输入到几何模型中，从而将所述至少一个参数的测量值转换为所述铰接车辆的第一部分与第二部分之间的相应的角度值。

根据另一方面，一种有助于铰接车辆的铰接角测量的设备包括：耦接到所述铰接车辆的第一部分的用于拍摄图像的装置，其中所述用于拍摄图像的装置监控所述铰接车辆的第二部分，所述第二部分可铰接地耦接到所述第一部分；用于测量所述铰接车辆的第二部分在由所述用于拍摄图像的装置拍摄的图像中的偏移角度的装置；以及用于将所测量的偏移角度转换为所述铰接车辆的第一部分与第二部分之间的铰接角的装置。

本领域普通技术人员一旦阅读并理解了以下详细说明，将会领会主题发明的其他更多优点。

附图说明

本发明可以采取各种部件和部件组合、以及各种步骤和步骤安排的形式。附图仅用于说明各个方面的目的，而不应解释为对本发明的限制。

图1示出了根据本文所述各个方面的有助于铰接车辆铰接角测量的系统。

图2示出了根据本文所述一个或多个特征的从摄像头观看的拖车示图。

图3示出了拖车在不同铰接角的情况下由牵引车上向后安装的摄像头观看到的表示拖车顶部边缘外观的图形。

图4示出了根据本文所述一个或多个方面的铰接车辆，其中牵引车和拖车相对于彼此以铰接角β铰接。

图5示出了根据本文所述一个或多个特征的用于实时计算诸如牵引车拖车组合之类的铰接车辆的各部分之间的铰接角的方法。

图6示出了具有垂直加强筋的拖车的正面。

图7示出了使用等式(1)及2mm焦距的拖车各外边缘之间的在成像器上的物理距离的图表，其中横坐标为以度表示的铰接角，纵坐标示出呈现在成像器(用户界面)上的拖车各外边缘之间的物理距离(米)。

图8示出了这样的图表，其示出使用等式1及2mm焦距的(例如向外+/-0.6米的)各内筋之间的宽度行为，其中横坐标为以度表示的铰接角，纵坐标示出呈现在成像器(用户界面)上的拖车各外边缘之间的物理距离(毫米)。

图9示出了由摄像头观察到的通过最大宽度值进行标准化后的两条筋的曲线的图表。

图10示出了真实世界值的示例的Q的差异的图表。

具体实施方式

本文所述系统和方法克服了前述问题，其有助于根据铰接车辆(例如牵引车和拖车组合等)的前部或后部的图像来直接确定车辆铰接角。

在一个实施例中，将摄像头安装在铰接车辆的第一部分(牵引车背面或拖车正面)上以相对接近的距离观看铰接车辆的第二部分(相应地，拖车正面或牵引车背面)上的图案或结构。所述摄像头布置相比传统方法而言对于天气和道路溅起液体更不敏感，同时具有更高分辨率。采用通过观察牵引车与拖车之间的关系而得到的信息来直接确定铰接角。根据一个示例，还可以利用产生车辆环绕视图显示的摄像头来测量牵引车与拖车的铰接角，从而节约成本并同时提高功能性。

图1示出了根据本文所述各个方面的有助于铰接车辆铰接角测量的系统10。系统10包括包含处理器14和存储器16的板载控制器12，处理器14执行用于实行本文所述各种方法、技术协议等的计算机可执行指令(例如模块、例程、程序、应用程序等)，而存储器16存储这些指令。与传统方法相比，系统10有助于实时地补偿摄像头偏航角并计算精确的摄像头间距离，其优点是减小了当铰链车辆的各部分互换时会发生的距离计算误差。

存储器16可以包括易失性存储器、非易失性存储器、固态存储器、闪速存储器、随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、前述存储器类型的变体、它们的组合、以及/或者适合于提供所述功能和/或存储用于由处理器14执行的计算机可执行指令的任何其他(多种)类型的存储器。另外，本文所使用的“模块”代表永久性地存储在计算机可读介质或存储器上以由处理器执行的一组计算机可执行指令(例如例程、子例程、程序、应用程序等)。

存储器16存储由耦接到铰接车辆20的一个或多个摄像头拍摄的图像18。这一个或多个摄像头监控车辆的前部(例如牵引车)与后部(例如拖车)之间的间隙。例如，铰接车辆20的第一部分22(例如牵引车)上安装了面向后方的摄像头24，其拍摄铰接车辆20的第二部分26(例如拖车)的图像。额外地或替代地，铰接车辆的第二部分26上安装了面向前方的摄像头28，其拍摄铰接车辆的第一部分22的图像。附加的摄像头29可以安装到车辆20作为用于获得计算车辆20的铰接角的图像的环视摄像头系统的一部分。在一个实施例中，各摄像头是自校准的。

尽管本文所述的示例涉及利用由面向后方的摄像头24拍摄的车辆第二部分的图像来计算铰接角，但将会理解的是，还可以利用由面向前方的摄像头28拍摄的铰接车辆第一部分的图像以相似方式来计算铰接角，并且发明主题不限于面向后方的摄像头的实施例。另外，所述实施例的优点在于，摄像头无论安装在牵引车的背面还是拖车的正面，都处于防护区域中，该区域可被照明以提高可视性且同时保护(各个)摄像头不受道路溅起液体和恶劣天气(其很容易妨碍摄像头视野)的影响。另外，当安装到牵引车背面时，摄像头能协助司机对单独的牵引车进行操纵。

根据一个实施例，面向后部的摄像头24监控铰接车辆的第二部分26(例如拖车)，第二部分通过铰接耦合方式(例如拖车栓钩等)耦接到第一部分22(例如牵引车)。处理器14分析拖车的图像18并执行角度偏移模块，以测量铰接车辆的拖车在由牵引车上的面向后方的摄像头24拍摄的图像中的至少一个参数(例如铰接角、俯仰角或滚动角的度数)。在一个实施例中，处理器14执行角度偏移模块30，其测量拖车的图像相对于水平面偏移的角度α。在另一示例中，处理器识别拖车在所分析的图像中的位置，并将其与期望的拖车位置(例如，当拖车在牵引车正后方时)比较，以确定铰接角。一旦确定了偏移角度α，并将角度偏移测量数据32存储到存储器，则处理器执行几何模型34(参照图6至图10更详细地描述)，其将根据图像确定的角度偏移值α转换为相应的牵引车与拖车之间的实际角度值β(即实际铰接角)。将实际铰接角β数据36存储到存储器以用于在用户界面(未示出)上向司机进行显示。根据进一步的实施例，处理器执行校准模块38，其通过对拖车的多个图像执行去偏平均函数来校准铰接角β。

额外地或替代地，计算拖车在铰接期间经历的滚动量(即滚动角)和/或俯仰量(即俯仰角)。例如，所述系统可包括耦接到铰接车辆的第一部分和第二部分并互相通信的多个传感器39(例如加速度计等)。处理器执行长期平均函数40以计算铰接车辆的第一部分和第二部分的每一个上的至少一个传感器之间的静态俯仰角测量差42。例如，可以测量各传感器之间的距离并将其从各传感器之间的已知距离或平均距离中减去，来确定其间的俯仰角。处理器以这种方式动态地测量铰接车辆的第一部分和第二部分之间的俯仰角。为了测量滚动角，处理器执行长期平均函数以计算铰接车辆的第一部分和第二部分的每一个上的至少一个传感器之间的静态滚动角测量差44。处理器以这种方式动态地测量铰接车辆的第一部分和第二部分之间的滚动角。

在一个实施例中，安装在牵引车上的摄像头24观察拖车上的配对摄像头(counterpart camera)28或拖车上的其他特征。通过处理器16(例如，通过执行上述的一个或多个模块)在(各个)摄像头产生的(多个)图像18中测量配对摄像头的角度或位置或者拖车的特征。由处理器执行预编程的几何模型34以将位置和/或角度偏移测量值转换为牵引车-拖车组合的相应的铰接角和/或滚动角。另外，去偏长期平均函数对所计算的铰接角进行校准。在另一实施例中，安装在牵引车和拖车中的加速度计或类似传感器相互通信并对长期平均函数进行贡献，长期平均函数学习这些传感器之间的静态俯仰角测量值差。随后计算牵引车与拖车的动态的俯仰角测量值。

额外地或替代地，拖车上的摄像头28用来执行铰接角、俯仰角和/或滚动角测量。在这一示例中，面向前方的摄像头28监控牵引车背面上的已知的或预生成的图案(例如十字准线等)，所述图案配置为用于测量铰接角。在一个实施例中，所述图案由多个LED形成，以在夜晚清楚可见。拖车摄像头还通过拍摄软管/线缆的潜在解耦和牵引车与拖车之间的不期望的运动的图像来提供增强的安全性。在另一实施例中，摄像头相互双向通信。对各摄像头之间的距离和偏移角进行测量或计算，并将其用来使车辆的鸟瞰图精细化。

继续参照图1，图2示出了根据本文所述一个或多个特征的从摄像头24(图1)观看的拖车26的示图。以由偏移角α表示的铰接定向来示出了拖车26。在该示例中，偏移角是由摄像头观看到的在水平面(0°)与拖车的正面的底部边缘之间的角度。还示出了中心线，其标记了拖车的垂直中心线并有助于确定偏移角α。

在一个实施例中，角度偏移模块30计算图像中的可跟踪特征(例如，在该示例中的拖车的底部边缘)的平均位置和时变位置。在给予适当速度约束的情况下，平均位置对应于牵引车和拖车相对于彼此保持直线、并且未被铰接(即偏移角α为0)的情况。利用摄像头观看到的图像的动态模型和/或几何模型34(例如，拖车正面顶部和底部的平行边缘在图像中将具有与铰接角有关的变化的斜度)来校准时变位置。还可以利用例如与零铰接角对应的在足够时间上保持的零转向角来考虑转向角。

图3示出了由牵引车上向后安装的摄像头观看到的表示作为铰接角的函数的拖车顶部边缘外观的图形60。可以看出顶部边缘的长度和角度均随着铰接角而改变。在一个实施例中，在确定例如牵引车与拖车之间的铰接角时，处理器(图1)识别拖车的侧边缘并定位各边缘的末端(即拖车的前上角)。使用单应矩阵算法对拖车边缘在图像中的倾斜线进行调整以形成拖车的鸟瞰图。

图4示出了根据本文所述一个或多个方面的铰接车辆20，其中牵引车22和拖车26相对于彼此以铰接角β铰接。通过使用由安装于牵引车的摄像头24和安装于拖车的摄像头28中的一个或两个所拍摄的图像，处理器14(图1)基于在拍摄的(多个)图像中确定的偏移角实时计算实际铰接角β。

图5示出了根据本文所述一个或多个特征的用于实时计算诸如牵引车拖车组合之类的铰接车辆的各部分之间的铰接角的方法。在100处，接收来自与铰接车辆的第一部分耦接的摄像头的至少一个图像，其中该摄像头监控通过铰接耦合方式(例如拖车栓钩等)与第一部分耦接的铰接车辆的第二部分。在102处，测量铰接车辆的第二部分在所述至少一个图像中的至少一个参数。该参数例如可以是在所述至少一个图像中铰接车辆的第二部分看起来相对于水平面偏移的角度。在另一实施例中，该参数为铰接车辆的第二部分在图像中的位置。在又一示例中，该参数为打印在或者以其它方式位于铰接车辆的第二部分的表面上的图案。在104处，将所述至少一个参数输入至几何模型，该几何模型将所述至少一个参数的测量值转换为铰接车辆的第一部分与第二部分之间的对应角度值。

在106处，对多个图像应用平均函数。例如，可以执行平均函数来校准铰接角。在另一实施例中，平均函数是长期平均函数，其有助于计算铰接车辆的第一部分和第二部分的每一个上的至少一个传感器(例如加速度计等)之间的静态俯仰角测量值。随后动态地测量铰接车辆的第一部分与第二部分之间的俯仰角。在又一实施例中，平均函数是长期平均函数，其有助于计算铰接车辆的第一部分和第二部分中的每一个上的至少一个传感器(例如加速度计等)之间的静态滚动角测量值。随后动态地测量铰接车辆的第一部分与第二部分之间的滚动角。

在108处，将角度值输出到用于向用户进行显示的用户界面。在一个实施例中，角度值是铰接车辆的第一部分与第二部分之间的铰接角。在另一实施例中，角度值是描述铰接车辆的第二部分在铰接期间经历的滚动量的滚动角。在另一实施例中，角度值是描述铰接车辆的第二部分在铰接期间经历的俯仰的量的俯仰角。

继续参照前述附图，并根据另一实施例，图6示出了具有垂直加强筋144的拖车142的正面140。在该示例中，当开发几何模型(图1)时，拖车正面相比主销靠前大约1.2米，并且大约2.4米宽。这意味着从主销(牵引车-拖车组合绕着主销铰接)到拖车外前角146的角度为+/-45度。由摄像头观看到的拖车的各外边缘148之间的距离正比于：

sin(45+铰接角)-sin(铰接角-45) (1)

图7示出了使用等式(1)及2mm焦距的拖车各外边缘之间的在成像器上的物理距离的图表170，其中横坐标为以度表示的铰接角，纵坐标示出呈现在成像器(用户界面)上的拖车各外边缘之间的物理水平距离(米)。可以看出，拖车随着铰接角增大而看起来越窄，并在零铰接角时看起来最宽。利用图7的图表，根据相对于摄像头拍摄的最大值摄像头拍摄的当前宽度来读出铰接角。

图8示出了图表180，其示出使用等式1及2mm焦距的(例如向外+/-0.6米的)各内筋之间的行为，其中横坐标为以度表示的铰接角，纵坐标示出呈现在成像器(用户界面)上的拖车各外边缘之间的物理距离(毫米)。蓝线为由摄像头观看到的如图7所示的拖车外边缘之间的距离的图表。红线示出了两条筋(每一条从拖车中心轴向外60cm)之间的距离在成像器上看到的宽度。

图9示出了通过由摄像头观察到的最大值进行归一化后的两条筋的曲线的图表190。可以看到，两条筋的归一化曲线对应于拖车边缘的曲线(图7)。这表明，在针对某一对位置对称的筋或边缘给定当前相对宽度(其作为看到的最大值的百分比)的情况下，可以利用图7的图表来直接读出拖车的铰接角，而与所选的筋无关。也就是说，若有来自图像的测量值，则可以通过例如查找表等确定当前铰接角。

在一个实施例中，由于拖车的边缘与背景之间增强了对比度，并且因为实体动画的影响在这里最小(即，各边缘之间存在相对较大数量的像素)，因此使用拖车外边缘来确定铰接角。

由摄像头观看到的拖车上两条位置对称的垂直筋之间的距离的公式可以描述如下：

常数*(sin(a+b)-sin(b-a)) (2)

若有图像中看到的宽度与摄像头观看到的最大值之比，则可以根据当前观察宽度与最大观察宽度之比来直接读出铰接角(例如，通过绘制的曲线，执行表格查找，等等)。因此，所述比值被描述为：

比值＝铰接角的余弦 (3)

利用关于各角的和与差的正弦的各公式，操纵上述三角表达式，可以显示：无论选取哪一对筋，上述等式均成立。

在另一实施例中，考虑了线条的水平长度，比如拖车的水平底边缘(或顶边缘)，并确定所述线条的长度与所观察的最大值之比，这与上述方式是等同的，因为在两条筋或边缘之间绘制线条。在该示例中，所述比值被描述为：

当前线条长度与最大线条长度之比＝铰接角的余弦 (4)

例如，针对安装在牵引车背面上并且观看拖车正面的摄像头，可以确定图像中的这样一条水平线的角度与铰接角之间的关系。随着拖车进行铰接，其水平边缘的角度如在摄像头图像中看到的那样发生改变。该水平边缘例如可以是拖车的下边缘。当拖车在牵引车正后方时，安装在中央的牵引车摄像头看到该下边缘在图像中是水平的。随着拖车进行铰接，一条边缘向该摄像头靠近，而另一条边缘远离，这对所投射的摄像头图像产生影响。

例如，可以在图像中识别光轴上方的位置Q，在该位置处投射了拖车下边缘的一端。摄像头被安装以在拖车下边缘上方的高度H处水平地向后观看，具有焦距FL，并且在拖车下边缘前方的距离A处(未铰接时)。拖车具有宽度，并具有安装在前下边缘后方的主销。即，拖车的各个角(下边缘的各端)形成了相对于主销的角度ρ。拖车的下边缘的每一端所处的光轴上方的图像行(image row)Q可以写为：

Q＝(H*FL)/(A+H*cos(ρ+/-铰接角)) (5)

其中+/-是指两个端(一个靠近，一个远离)。

图10示出了真实世界值的拖车下边缘的两端的Q的差异的图表200。例如，在该示例中假设焦距FL为2mm，高度H为2米，距离A为1米，角度ρ为45°，则：

Q＝(2e-3)/(1+2*cos(45+/-铰接角))

在该示例中，在0°铰接角，图像中拖车边缘的两端之间没有位置(行)差(即曲线通过0,0)，并且零铰接角在图像中给出了零度斜线。随着车辆铰接，图像中拖车的前下边缘开始向一边倾斜，不再水平。随着车辆向另一方向铰接，图中拖车的前下边缘开始向另一边倾斜，不再水平。利用足够的摄像头分辨率，可以将图像数据线性化，则对于小值的铰接角而言图像数据与铰接角线性相关。

已经参照若干实施例描述了本发明。其他人在阅读并理解了前述详细说明之后可以作出修改和变化。本发明意在解释为包括落入所附权利要求或其等同物的范围内的所有这种修改和变化。