学习铰接车辆的摄像头之间的距离的制作方法

本申请特别应用于全景车辆成像系统中。然而，将会理解的是，所述技术还可以应用于其他车辆监控系统、其他成像系统或其他车辆安全系统中。

背景技术：

铰接车辆通常由两个或更多自由可链接部分组成，各部分可以替换为其他类似部分。如果将环视摄像系统附接到这些可链接部分，则牵引车上的各摄像头与(多个)拖车上的各摄像头之间的距离和偏航角会有变化。传统的系统在重构环视图像时不会计算真实的摄像头间距离来考虑这些变化，并且不考虑摄像头偏航角。

本发明提供了新颖的和改进的系统和方法，其有助于在生成铰接车辆的复合环视图像时计算真实的摄像头间距离并将摄像头之间的偏航角纳入考虑，克服了上述问题以及其他问题。

技术实现要素：

根据一个方面，一种有助于确定安装在铰接车辆的各独立部分上的摄像头之间的真实摄像头间距离(TICD)的系统，包括：第一摄像头、第二摄像头和处理器，处理器构造为：从所述第一摄像头接收第一图像帧，所述第一图像帧包括参考对象的第一图像；从所述第二摄像头接收第二图像帧，所述第二图像帧包括所述参考对象的第二图像，第二图像相对于第一图像偏移。所述处理器还构造为：将所述第一图像和所述第二图像重叠从而生成所述参考对象的复合图像；将所述第一图像和所述第二图像进行移位，直到它们对准；以及作为所述第一图像和所述第二图像在对准过程中移位的距离的函数，计算所述第一摄像头与所述第二摄像头之间的TICD。可以在纵向和横向两个方向上计算TICD。即，在两个方向上均可以执行移位。

根据另一方面，一种计算安装在铰接车辆的各独立部分上的摄像头之间的真实摄像头间距离(TICD)的方法，包括：从第一摄像头接收第一图像帧，所述第一图像帧包括参考对象的第一图像；从第二摄像头接收第二图像帧，所述第二图像帧包括所述参考对象的第二图像，第二图像相对于第一图像偏移；以及将所述第一图像和所述第二图像重叠从而生成所述参考对象的复合图像。所述方法还包括：将所述第一图像和所述第二图像进行移位，直到它们对准；以及作为所述第一图像和所述第二图像在对准过程中移位的距离的函数，计算所述第一摄像头与所述第二摄像头之间的TICD。

根据另一方面，一种处理器构造为执行计算机可执行指令以用于计算安装在铰接车辆的各独立部分上的摄像头之间的真实摄像头间距离(TICD)，所述指令包括：从第一摄像头接收第一图像帧，所述第一图像帧包括参考对象的第一图像；从第二摄像头接收第二图像帧，所述第二图像帧包括所述参考对象的第二图像，第二图像相对于第一图像偏移；以及将所述第一图像和所述第二图像重叠从而生成所述参考对象的复合图像。所述指令还包括：将所述第一图像和所述第二图像进行移位，直到它们对准；以及作为所述第一图像和所述第二图像在对准过程中移位的距离的函数，计算所述第一摄像头与所述第二摄像头之间的TICD。

根据另一方面，一种有助于计算安装在铰接车辆的各独立部分上的摄像头之间的真实摄像头间距离(TICD)的设备，包括：用于从至少两个视角点拍摄参考对象的多个图像的装置；用于从第一摄像头接收包括参考对象的第一图像的第一图像帧的装置；以及用于从第二摄像头接收包括所述参考对象的第二图像的第二图像帧的装置，第二图像相对于第一图像偏移。所述设备还包括：用于将所述第一图像和所述第二图像重叠从而生成所述参考对象的复合图像的装置；用于将所述第一图像和所述第二图像进行移位直到它们对准的装置；以及作为所述第一图像和所述第二图像在对准过程中移位的距离的函数而计算所述第一摄像头与所述第二摄像头之间的TICD的装置。

本领域普通技术人员一旦阅读并理解了以下详细说明，将会领会主题发明的其他更多优点。

附图说明

本发明可以采取各种部件和部件组合、以及各种步骤和步骤安排的形式。附图仅用于说明各个方面的目的，而不应解释为对本发明的限制。

图1示出了根据本文所述一个或多个方面的系统，其有助于计算安装到铰接车辆的多个摄像头之间的真实摄像头间距离(TICD)，计算摄像头偏航角，并在利用TICD重构复合环视图像时对摄像头偏航进行补偿。

图2A示出了可被安装在诸如牵引车-拖车的铰接车辆的相应分段上的第一摄像头A和第二摄像头B。

图2B示出了由摄像头A看到的虚线的顶视图像。

图2C示出了由摄像头B看到的虚线的顶视图像。

图2D示出了第一图像和第二图像互相重叠的复合图像。

图3示出了在由多个虚线车道标记所标记的行车道中行驶的包括牵引车和拖车的铰接车辆。

图4示出了根据本文所述一个或多个方面的铰接车辆，其中牵引车和拖车相对于彼此以铰接角α铰接。

图5示出了根据本文所述各种特征的用于根据耦接到铰接车辆的多个摄像头来重构复合环视图像的方法。

图6示出了根据本文所述一个或多个方面的用于确定耦接到铰接车辆的两个摄像头之间的TICD的方法。

图7示出了根据本文所述各个方面的在重构复合环视图像时对摄像头偏航角进行补偿的方法。

具体实施方式

通过本文所述的系统和方法，克服了前述问题，所述系统和方法有助于确定安装在铰接车辆上的各摄像头之间的距离，以使根据各独立的摄像头视图而重构的环绕视图精细化。例如，无论各摄像头的具体定向和/或间距，可以以连接得恰当的图像拼接来根据安装在铰接车辆上的多个摄像头生成环绕视图。

图1示出了根据本文所述一个或多个方面的系统10，其有助于计算安装到铰接车辆的多个摄像头之间的真实摄像头间距离(TICD)，计算摄像头偏航角，并在利用TICD重构复合环视图像时对摄像头偏航进行补偿。因此，该系统确定了安装在铰接车辆(例如牵引车-拖车等)上的各摄像头之间的距离，并使用所确定的摄像头间距离来生成车辆的复合环视图像。另外，该系统对在多个摄像头之间可能不同的摄像头偏航角进行计算和补偿。

系统10包括包含处理器14和存储器16的板载控制器12，处理器14执行用于执行本文所述各种方法、技术协议等的计算机可执行指令(例如模块、例程、程序、应用程序等)，而存储器14存储这些指令。与传统方法相比，系统10有助于实时地补偿摄像头偏航角并计算精确的摄像头间距离，其优点是减轻了当铰链车辆的各部分互换时会发生的距离计算误差。

存储器16可以包括易失性存储器、非易失性存储器、固态存储器、闪速存储器、随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、前述存储器类型的变体、它们的组合、以及/或者适合于提供所述功能和/或存储由处理器14执行的计算机可执行指令的任何其他(多种)类型的存储器。另外，本文所使用的“模块”代表永久性存储在计算机可读介质或存储器上以由处理器执行的一组计算机可执行指令(例如例程、子例程、程序、应用程序等)。

在一个实施例中，处理器计算用于生成复合环视图像的所有摄像头之间的真实摄像头间距离。例如，从安装到铰接车辆19的多个摄像头A、B、……N(其中N为整数)接收摄像头图像18并将其存储在存储器16中。处理器执行对象识别模块20，对象识别模块20识别接收到的图像中的参考对象(例如，车道标记或道路上绘制的条纹)。处理器执行叠置模块22，叠置模块22例如将来自摄像头A的图像叠加到来自摄像头B的图像上。将会注意的是，无论在车辆移动时各摄像头是同步地还是异步地拍摄图像，由摄像头A和B拍摄的图像帧都会彼此轻微地偏移。因此，处理器执行移位模块24，移位模块24对偏移图像中的一个或两者进行移位直到参考对象在两个图像中均对准。在执行TICD模块26来确定摄像头之间的真实摄像头间距离时，处理器连同参考对象的长度的先验知识或计算的参考对象长度一起使用移位的距离。在一个实施例中，将一个参考对象图像从另一个参考对象图像中减去来确定移位距离。在另一实施例中，采用匹配滤波技术来确定移位距离。

处理器执行对车速进行监控的车速监控模块27。TICD模块26连同车速信息一起估计被分析的每个摄像头的起始时间数据28，以确定距离不确定性值(DUFM)(其表示摄像头运动引起的距离不确定性)。通过TICD模块确定摄像头间帧起始时间差(DFST)，并将其用来识别为了对准各叠加的图像而应用的移位量。该移位量转而被用来确定真实摄像头间距离。

另外，处理器执行对各摄像头间的偏航角进行确定的偏航计算模块29。将摄像头偏航角确定为将一个摄像头图像与另一摄像头图像中的参考对象进行对准所需的旋转量或“扭转”量的函数。由偏航计算模块对所确定的每个摄像头的偏航值在多个图像帧上进行时间平均，以便确定可以在重构复合环绕视图时通用于每个摄像头的平均偏航值。例如，摄像头B可以相对于车辆中心线或相对于其他摄像头所参照的“根”摄像头具有0.4度的平均偏航，因此在生成复合环视图像时，可以将从摄像头B接收到的图像帧进行扭转或者以其它方式调节0.4度。在本实施例中，可以周期性地或在将新拖车耦接到牵引车之时初始地计算各个摄像头的摄像头偏航角。补偿模块30应用偏航角调节并且对来自每个摄像头的图像进行调节，以便重构模块32将其拼接到一起，这就产生了(多个)复合环视图像34。

继续参照图1，图2A至图2D示出了根据本文所述的一个或多个特征的两个摄像头(摄像头A和B)观看地上的矩形图案并利用假定的摄像头间距离根据两个摄像头图像来产生拼接图像的示例。

图2A示出了可被安装在铰接车辆(比如牵引车-拖车)的相应分段上的第一摄像头A和第二摄像头B。通过拍摄参考对象102(比如，在高速路上的诸如用于标记行车道的虚线)的图像来确定真实摄像头间距离(TICD)。图2B示出了由摄像头A看到的虚线102A的顶视图像112。图2C示出了由摄像头B看到的虚线102B的顶视图像114。图2D示出了图像102A和图像102B互相重叠的复合图像116。将参考对象图像中的一个(所示示例中为102B)移位直到其与另一参考对象图像(该示例中为102A)对准。通过利用对参考对象的长度的先验知识，参考标记图像102B所移位的距离(例如以像素为单位)可以用来确定真实摄像头间距离。在另一实施例中，参考对象的两个图像均朝向彼此进行移位来使各参考对象图像对准，以便计算TICD。将会理解的是，尽管图2A至图2D的示例以说明性的目的示出了在x方向上移位的参考对象，然而对于本领域技术人员显而易见的是，参考对象还可以在y方向上移位和/或根据需要进行旋转来对准图像。

根据一个示例，利用一个或多个参考对象的已知长度来调节根据多个摄像头视图生成的复合环绕视图。在所示示例中，摄像头间距离仅在纵向上变化。然而将会理解，本领域技术人员将会理解的是，摄像头间距离还可以垂直地(例如，摄像头可以安装在不同的高度处)和/或横向地(例如，不同宽度的拖车具有不同的横向偏移)变化，并且可以按照与关于水平变化描述的方式相似的方式来对这样的变化进行补偿。可以预先得知(例如，使用标准高速车道标记长度的知识：如彼此相距3m的长度为2m的线，或某个其他已知图案)、或者预先或实时确定参考对象的长度(例如，通过在每个摄像头的视野中对铰接车辆的具有已知尺寸或长度的部分进行定位，并通过将该视野中的该车辆部分与参考对象进行比较来计算参考对象的长度)。在另一示例中，利用代表英寸、厘米之类的一组参考线对车辆在每个摄像头的视野中的、且与摄像头相距已知距离的部分进行标记，并且将这些参考标记与摄像头的视野中的参考对象进行比较，来确定参考对象的长度。一旦知道了参考对象的长度，就可以对描述摄像头间距离的参数进行调节以使得拼接图像中的图案的长度与已知值匹配。

根据另一示例，对摄像头进行预校准，以使得地上的点或对象位置在其位于图像中时即成为已知，并且可以确定其相对于摄像头的角度。计算各个摄像头测量值之间的差的时间平均，以得到横向和纵向的TICD以及偏航角。例如，当每个摄像头在一个时间实例中观看同一点时，摄像头A看到其在前方3米、4米和5米，摄像头B看到其在前方6米、7米和8米。在该示例中，各测量值之间的平均差异是3米，因此各摄像头彼此偏移3米。图3示出了在由多个虚线车道标记146所标记的行车道中行驶的包括牵引车142和拖车144的铰接车辆140。虚线车道标记形成了重复的纵向图案，不过通常在外观上会有一些变化。车道标记通常位于铰接车辆的一侧(或两侧)，在此处由多个摄像头对其进行观察，因此可以将其用作用于计算摄像头之间的真实摄像头间距离(TICD)的参考对象。单个摄像头(比如摄像头A或摄像头B)可以测量虚线车道标记相对于该摄像头的长度和位置。可以使用测量到的虚线车道标记来计算真实摄像头间距离。

图4示出了根据本文所述一个或多个方面的铰接车辆140，其中牵引车142和拖车144相对于彼此以铰接角α铰接。

在一个示例中，可以假设各摄像头移动并异步地拍摄视频。各摄像头每秒多次拍摄图像。例如，在拍摄的各图像帧之间可以存在1/25秒或1/60秒。在本示例中，使用1/25秒为一帧时间。进一步对于该示例，铰接车辆速度为每秒25米。摄像头以该速度移动，并且每秒产生25个图像，因此在各帧之间移动1米。然而，用来生成环绕视图的摄像头A和B不一定是同步的。因此，用于产生环绕视图的帧起始时间之间的差可达1/25秒。该1/25秒对应于摄像头之间的1米的距离不确定性。

摄像头不同步的一个问题是它们可能在不同时间拍摄了同一对象的快照。如果摄像头所附接的车辆正在移动，则该对象在拍摄这两个图像之间的时间间隙期间会移动，并且计算的任何移位将会包括这一运动。因此，期望将有关运动的方面纳入考虑。通过使车辆以两个不同速度移动来实现这一点(即，在两个不同的时间实例中；因为各摄像头均刚性地连接到车辆上因而以相同速度移动)。通过以两个不同速度移动，例如一次是在车辆加速期间采用10mph移动，并且再次是在车辆行驶在高速路上时以例如50mph移动，从而改变了表观(apparent)对象运动的量。

为了对摄像头间距离测量值的差的不确定性进行补偿，可以执行如下算法(例如，通过图1的处理器等)。摄像头间距离可以表达为：

AICD＝TICD+DUFM (1)

其中AICD为表观摄像头间距离，TICD为真实摄像头间距离，DUFM为运动所致的距离不确定性。运动所致的距离不确定性可以表达为：

DUFM＝DFST*v (2)

其中DFST为摄像头间帧起始时间的差，v为车辆的速度。随着车辆速度的变化，运动所致的距离不确定性改变。

进一步对于该示例，将如两个摄像头看到的地面上的单个点或对象取作参考。在两个不同速度下，利用纵向移位将来自摄像头视图的两个图像帧彼此重叠在一起。对象的表观运动为车辆速度乘以帧起始时间的差，DFST。将其加到用以对从摄像头A和摄像头B取得的图像中的对象进行对准的移位中。描述图像帧的重叠的公式如下：

Shift1＝TICD+speed1*DFST (3)

Shift2＝TICD+speed2*DFST (4)

其中Shift1为描述第一图像中的参考点或参考对象所移位的量的值，speed1为第一摄像头的速度。类似地，Shift2为描述第二图像中的参考点或参考对象所移位的量的值，speed2为第二摄像头的速度。DFST在这两个公式中是共同的。

随后求解公式(3)和(4)求出TICD，真实摄像头间距离，给出：

TICD＝(speed ratio*shift1)-(shift2)/(speed ratio-1)

(5)

其中speed ratio为(shift2/shift1)。在一个实施例中，采用了多个参考点(在两个帧中重叠了多于一个点)，并在时间上对多个参考点进行平均以增大摄像头间距离测量的准确度。摄像头A和B之间的距离的计算受到多个变量的影响，包括但不限于：摄像头是否移动；摄像头是同步地还是异步地拍摄视频；铰接车辆是否正偏航，使得各个摄像头视角受到影响；等等。

根据另一实施例，测量并补偿摄像头偏航差。例如，商用车辆的牵引车和(多个)铰接车之间的(多个)铰接角通常不为零。因此，每个摄像头产生的各个视图可以相对彼此旋转。为了补偿该旋转，在摄像头可以相对于彼此偏航的假定下，考虑了额外的项(term)。例如，图4示出了摄像头A直直地看向一侧，而摄像头B稍微有点向后看，并且远离摄像头A而偏航。以较高速度在直路上行驶的车辆在它们的车道中和/或在变道期间仅有一点偏航。因此，车辆的各分段之间的相对旋转的平均值为零，相对于该值仅有很小偏差。对准车道标记方向所需的剩余旋转的平均值对应于两个摄像头之间的静态偏航角差。计算该静态角的步骤可以包括将对准车道标记方向所需的旋转的平均值进行累积。

图5示出了根据本文所述各种特征的用于根据耦接到铰接车辆的多个摄像头来重构复合环视图像的方法。在200处，接收参考对象的多个偏移图像。通过相对于参考对象具有不同观察点或视角的至少两个摄像头来获取偏移图像。在202处，将偏移图像彼此重叠或叠加。在204处，将偏移图像移位，直到对准了每个图像中的参考对象。利用偏移距离、车辆速度和针对每个摄像头的摄像头帧起始时间信息，在206处计算TICD。在208处，计算摄像头之间的偏航角并在时间上对其求平均。在210处，通过利用每一对摄像头之间的TICD来定位各个图像以用于图像拼接，并且利用所计算的(多个)偏航角来对摄像头偏航进行调整，来重构复合环视图像。

图6示出了根据本文所述一个或多个方面的用于确定耦接到铰接车辆的两个摄像头之间的TICD的方法。在220处，确定车辆的速度。车辆在其运行时(例如在加速或减速期间)通常会改变速度。在222处，确定对准所需的标记转移(marking translation)量。由于潜在的不同的帧起始时间，该对准仍然包含不确定性。例如，两个摄像头可能没有同步地拍摄图像帧，而是在用于计算TICD的图像帧之间会存在轻微的时间偏移。在224处，确定用于将各图像帧中的参考对象对准的移位距离。在第二时间实例，当速度已改变时，在225处再次确定所需的对准，并应用上文的公式(5)。在226处，计算TICD。

图7示出了根据本文所述各个方面的在重构复合环视图像时对摄像头偏航角进行补偿的方法。在240处，接收或取得参考对象的偏移图像。在242处，旋转图像，直到对准两个图像中的参考对象。对准给定的一对图像中的参考对象所需的旋转量等于拍摄所述图像之时摄像头之间的偏航角。在244处，在多对图像上对摄像头之间的偏航角求平均。在246处，当在图像重构期间将来自各个摄像头的图像进行定位以便拼接到一起时，应用偏航补偿因子，以生成复合环视图像。

已参照若干实施例描述了本发明。在阅读并理解了前述详细说明之后，本领域的其他技术人员将会想到各种修改和替代。本发明旨在被理解为包括落入所附权利要求及其等同物范围内的所有这样的修改和替代。