驾驶辅助系统及汽车列车的制作方法

专利名称：驾驶辅助系统及汽车列车的制作方法
技术领域：
本发明涉及一种用于辅助汽车列车的驾驶的驾驶辅助系统。并且，本发明涉及利
用该驾驶辅助系统的汽车列车。
背景技术：
随着近年来安全意识的提高，多在车辆上搭载探头。该趋势不仅适于普通轿车，而 且适于产业用车辆。特别是由牵引车及被该牵引车牵引的挂车构成的汽车列车的驾驶比较 困难，利用探头的驾驶辅助是有益的。在这种汽车列车中，挂车以连接部作为支点弯折，但 驾驶者很难认识到在牵引车运动时挂车的后端部如何运动的。 考虑到这种情况，提案有多种利用探头来辅助汽车列车的驾驶的技术。例如，在下
述专利文献l中揭示有以下技术在牵引车的后方和被牵引车的后方各设置1台探头，求出 被牵引车的预计移动轨迹，并将其与被牵引车的后方的图像叠加显示。但是，在该技术中，
由于必须有2台探头，因此系统整体的成本增加。
专利文献1 :日本特开2006-256544号公报

发明内容
本发明的目的在于，提供一种低成本且能够良好地辅助车辆驾驶的驾驶辅助系
统。并且，本发明的另一目的在于提供一种利用该驾驶辅助系统的汽车列车。 为达到上述目的，本发明所涉及的第一驾驶辅助系统具有探头，该探头设置在由
第一车辆和连接于该第一车辆的第二车辆构成的汽车列车中的所述第二车辆上，且拍摄所
述第二车辆的后方，从所述探头获得按时间序列排列的多个拍摄图像，并对显示装置输出
由各拍摄图像生成的显示用图像，所述驾驶辅助系统的特征在于，具有运动检测机构，其
导出由所述多个拍摄图像形成的动态图像的光流；连接角推定机构，其根据所述光流及所
输入的所述第一车辆的移动信息，推定所述第一车辆和所述第二车辆的连接角；移动轨迹
推定机构，其根据所述连接角及所述第一车辆的移动信息，导出所述第二车辆的预计移动
轨迹，通过将与所述预计移动轨迹对应的指示标识叠加在基于所述拍摄图像得到的图像上
而生成所述显示用图像。 由此，能够通过影像确认第二车辆的预计移动轨迹，辅助驾驶者的驾驶操作。并 且，因为只要在第二车辆侧设置探头就足够，所以成本低。 具体地说，例如，第一驾驶辅助系统还具有坐标变换机构，其通过将各拍摄图像投 影到规定的俯视图坐标上而将所述多个拍摄图像变换为多个俯视像，由所述运动检测 机构导出的所述光流为所述俯视图坐标上的光流。 另外，具体地说，例如在第一驾驶辅助系统中，所述第一车辆的移动信息包括表示 所述第一车辆的移动方向及移动速度的信息，所述连接角推定机构基于所述第一车辆的移 动信息导出所述俯视图坐标上的表示所述第一车辆的移动方向及移动量的向量，并基于所 述向量和所述光流推定所述连接角。
并且，例如第一驾驶辅助系统还具有报告机构，其基于所推定的所述连接角与规 定的阈值角度的比较结果对外部进行报告。 为达到上述目的，本发明所涉及的第二驾驶辅助系统具有探头，该探头设置在由 第一车辆和连接于该第一车辆的第二车辆构成的汽车列车中的所述第二车辆侧，且拍摄所 述第二车辆的后方，从所述探头获得按时间序列排列的多个拍摄图像，并对显示装置输出 由各拍摄图像生成的显示用图像，所述驾驶辅助系统的特征在于，具有运动检测机构，其 导出由所述多个拍摄图像形成的动态图像的光流；移动方向推定机构，其根据所述光流推 定所述第二车辆的移动方向，该驾驶辅助系统使该推定结果反映到所述显示用图像上。
由此，能够通过影像确认第二车辆的移动方向，辅助驾驶者的驾驶操作。并且，因 为只要在第二车辆侧设置探头就足够，所以成本低。 具体地说，例如第二驾驶辅助系统还具有坐标变换机构，其通过将各拍摄图像投 影到规定的俯视图坐标上而将所述多个拍摄图像变换为多个俯视像，由所述运动检测 机构导出的所述光流为所述俯视图坐标上的光流。 并且，例如第二驾驶辅助系统还具有连接角推定机构，其根据所述光流及所输入 的所述第一车辆的移动信息，推定所述第一车辆和所述第二车辆的连接角，使所述连接角 的推定结果反映到所述显示用图像上。 另外，例如在第二驾驶辅助系统中，所述第一车辆的移动信息包括表示所述第一 车辆的移动方向及移动速度的信息，所述连接角推定机构基于所述第一车辆的移动信息导 出所述俯视图坐标上的表示所述第一车辆的移动方向及移动量的向量，并基于所述向量和 所述光流推定所述连接角。 并且，例如第二驾驶辅助系统还具有报告机构，其基于所推定的所述连接角与规 定的阈值角度的比较结果对外部进行报告。 为达到上述目的，本发明所涉及的汽车列车的特征在于，由第一车辆和连接于该 第一车辆的第二车辆构成，所述汽车列车设置有上述的任一项所述的驾驶辅助系统。
发明效果 根据本发明，能够以低成本良好地辅助车辆驾驶。 本发明的意义或效果通过以下所示的实施方式的说明能够进一步明确。但是，以 下的实施方式仅为本发明的一个实施方式，本发明乃至各结构要件的用语的意义并不限制 于以下实施方式中的记载。


图1为本发明的实施方式所涉及的驾驶辅助系统的结构模块图。
图2为设置有图1的驾驶辅助系统的汽车列车的外观侧视图。 图3为设置有图1的驾驶辅助系统的汽车列车的外观侧视图。 图4为从上方观察图2的汽车列车的俯视图(连接角为0°的情况)。 图5为从上方观察图2的汽车列车的俯视图(连接角不为0°的情况)。 图6为示出本发明实施方式中的探头坐标系XYZ、探头的拍摄面S的坐标系XbuYbu
和世界坐标系XWYWZW的关系的图。 图7为涉及本发明第一实施例且表示用于生成显示用图像的动作流程的流程图。
图8为涉及本发明第一实施例且从上方观察汽车列车及其周边路面的俯视图。
图9(a)及(b)为涉及本发明第一实施例且示出时刻tl及t2的拍摄图像的图。
图10(a)及(b)为涉及本发明第一实施例且示出时刻tl及t2的俯视像的图。
图11为涉及本发明的第一实施例且示出将图10(a)及(b)的2个俯视像重 合的图像的图。 图12为涉及本发明的第一实施例且示出与牵引车的移动信息对应的向量(VA)和 与挂车的移动信息对应的向量(VB)的关系的图。 图13为涉及本发明的第一实施例且示出显示用图像的示例的图。 图14为涉及本发明的第三实施例且示出显示用图像的示例的图。 图15为涉及本发明的第四实施例且示出显示用图像的示例的图。 图16为涉及本发明的第四实施例且示出显示用图像的另一示例的图。 图17为涉及本发明的第五实施例且用于说明挂车的预计移动轨迹的导出手法的图。 图18为涉及本发明的第五实施例且用于说明挂车的预计移动轨迹的导出手法的 图。 图19为涉及本发明的第六实施例的图1的图像处理装置的功能模块图。
图20为涉及本发明的第六实施例且示出图19的功能模块图的变形例的图。
图中卜探头；2-图像处理装置；3-显示装置；10-汽车列车；11-牵引车；12-挂 车；14-连接部；121、122、131、132-车辆引导线。
具体实施例方式
以下，参照附图详细说明本发明的实施方式。在参照的各图中，对同一部分标注同 一符号，原则上省略关于同一部分的重复说明。在后面会说明第一 第六实施例，但首先对 于在各实施例中通用的事项和在各实施例中被参照的事项进行说明。 在图1中示出本发明的实施方式所涉及的驾驶辅助系统的结构模块图。图1的驾 驶辅助系统包括探头1、图像处理装置2和显示装置3。探头l进行拍摄，并将表示由拍摄 所得的图像的信号输出到图像处理装置2。图像处理装置2根据从探头1得到的图像生成 显示用图像。图像处理装置2将表示生成后的显示用图像的影像信号输出到显示装置3，显 示装置3根据被施与的影像信号将显示用图像作为影像显示。 由探头1的拍摄所得的图像本身多受镜头变形的影响。因此，图像处理装置2对 通过探头1的拍摄所得的图像本身进行镜头变形补正，根据镜头变形补正后的图像进行显 示用图像的生成。以下将该镜头变形补正后的图像称为拍摄图像。在不需要进行镜头变形 处理时，通过探头l的拍摄所得的图像本身为拍摄图像。并且，拍摄图像也可以另称为探头 图像。 图2为设置有图1的驾驶辅助系统的汽车列车10的外观侧视图。汽车列车10由 牵引车11及连接于牵引车11且由牵引车11牵引的挂车12构成。符号13表示设置于挂 车12上的车轮。 一般将车轮13称为挂车12的后轮。车轮13设置有2个， 一个车轮13设 置在挂车12的左侧，另一个车轮13设置在挂车12的右侧。并且，在挂车12的后方上端部 设置有探头l，探头1对挂车12的周边进行拍摄。
6
汽车列车IO配置在路面上，在路面上行驶。以下，将路面假定为与水平面平行。并 且，仅说"高度"时，其表示以路面为基准的高度。在本实施方式中，地面和路面为同义。另 外，与对车辆的一般解释同样，将从挂车12观察牵引车11的方向设定为前方向，将从牵引 车11观察挂车12的方向设定为后方向。 作为探头1可以使用例如使用CCD (Charge Coupled Devices)的探头或使用 CMOS (Complementary Metal Oxide Semiconductor)图像传感器的探头。图像处理装置2 由例如集成电路形成。显示装置3由液晶显示板等形成。也可以将包含于汽车导航系统等 中的显示装置移用来作为驾驶辅助系统中的显示装置3。并且，图像处理装置2可以作为汽 车导航系统的一部分进行组装。图像处理装置2及显示装置3设置在例如牵引车11内部 的驾驶位附近。 图3与图2同样，为汽车列车10的外观侧视图。但是，为明示探头1的倾斜角度， 在图3中，将探头1放大图示且使挂车12的形态与图2的形态有所变化。探头1朝挂车12 的斜后方设置，位于挂车12后方的路面和立体物被收在探头1的视野内。水平面与探头1 的光轴所成的角度有图3中e所表示的角度和92所表示的角度2种。角度92—般被 称为下视角或俯角。现在，捕捉角度9作为探头l相对于水平面的倾斜角度。90° < e
< 180°且e + e 2 = 180°成立。 图4及图5分别为从上方观察汽车列车10的俯视图。在图4及图5中，为使图示 简略化，仅用四边形表示牵引车11及挂车12。图4为牵引车11和挂车12所成的角度(以 下称"连接角")为0。时的俯视图，图5为连接角不为0。时的俯视图。连接角为0。时， 牵引车11和挂车12在同一直线上排列(牵引车11和挂车12各车体在同一直线上排列)。
符号14为牵引车11和挂车12的连接部。挂车12通过连接部14与牵引车11连 接。挂车12以连接部14为支点相对于牵引车11弯折。在将牵引车11及挂车12投影到 水平面上而形成的二维平面中，牵引车11的车体的中心线21和挂车12的车体的中心线22 所成的角度相当于上述的连接角，该连接角用9 表示。并且，中心线21及中心线22为与 汽车列车10笔直前进时的汽车列车10的行进方向平行的中心线。 在从上方观察牵引车11及挂车12时，将挂车12以连接部14为支点逆时针方向 弯折时所呈现的连接角e^设为正。从而，将汽车列车10从直行状态右转时所呈现的连接 角e③设为正。[俯视像的生成方法] 图1的图像处理装置2具有利用坐标变换而将拍摄图像变换为俯视像的功 能。用于从拍摄图像生成俯视像的坐标变换称为"俯视变换"。对于该俯视变换的手法 进行说明。 图6表示探头坐标系XYZ、探头1的拍摄面S的坐标系XbuYbu和包含二维地面坐标
系XWZW的世界坐标系XWYWZW的关系。坐标系XbuYbu为定义拍摄图像的坐标系。 探头坐标系XYZ为将X轴、Y轴及Z轴设为坐标轴的三维坐标系。拍摄面S的坐
标系XbuYbu为将Xbu轴及Ybu轴设为坐标轴的二维坐标系。二维地面坐标系XWZW为将Xw轴及
Zw轴设为坐标轴的二维坐标系。世界坐标系XWYWZW为将Xw轴、Y,轴及Zw轴设为坐标轴的三
维坐标系。 以下，将探头坐标系XYZ、拍摄面S的坐标系XbuY吣二维地面坐标系XWZW及世界坐标系XWYWZW分别简单记为探头坐标系、拍摄面S的坐标系、二维地面坐标系及世界坐标系。
在探头坐标系XYZ中，将探头1的光学中心取为原点0，将光轴方向取为Z轴，将与 Z轴正交且与地面平行的方向取为X轴，将与Z轴及X轴正交的方向取为Y轴。在拍摄面S 的坐标系XbuYbu中，将拍摄面S的中心取为原点，将拍摄面S的横向取为Xbu轴，将拍摄面S 的纵向取为Ybu轴。 在世界坐标系XWYWZW中，将通过探头坐标系XYZ的原点0的铅直线与地面的交点 取为原点(^，将与地面垂直的方向取为Y.轴，将与探头坐标系XYZ的X轴平行的方向取为 Xw轴，将与Xw轴及Yw轴正交的方向取为Zw轴。 Xw轴与X轴之间的平行移动量为h，该平行移动的方向为铅直线方向。Z,轴与Z轴
所成的钝角的角度与倾斜角度e —致，预先设定h及e的值，并将其提供给图像处理装置2。 将在探头坐标系XYZ中的像素的坐标值记为(x， y， z) 。 x、y及z分别为在探头坐 标系XYZ中的X轴成分、Y轴成分及Z轴成分。 将在世界坐标系XWYWZW中的像素的坐标值记为(xw， yw， zw) 。 xw、 yw及zw分别为在 世界坐标系XWYWZW中的Xw轴成分、Yw轴成分及Zw轴成分。 将在二维地面坐标系XwZw中的像素的坐标值记为(xw，zw)。、及^分别为在二维 地面坐标系XWZW中的Xw轴成分及Zw轴成分，它们与在世界坐标系XWYWZW中的Xw轴成分及 Z.轴成分一致。 将在拍摄面S的坐标系XbuYbu中的像素的坐标值记为(xbu， ybu) 。 xbu及ybu分别为 在拍摄面S的坐标系XbuYbu中的Xbu轴成分及Ybu轴成分。 探头坐标系XYZ的坐标值(x， y， z)和世界坐标系XWYWZW的坐标值(xw， yw， zw)之间
的变换式由下式(1)表示。 [数1]
X_100xw0
y0cos 9—sin 8yw+h
z0sin0COS0zw0 在此，将探头1的焦点距离设为f 。这样，拍摄面S的坐标系XbuYbu的坐标值(xbu， ybu)和探头坐标系XYZ的坐标值(x， y， z)之间的变换式由下式(2)表示。
[数2]
^ x 由上述式(1)及(2)能够得到拍摄面S的坐标系XbuYbu的坐标值(xbu，ybu)和二维 地面坐标系XWZW的坐标值(xw， zw)之间的变换式(3)。
[数3]
xbu
ybu<formula>formula see original document page 9</formula> 并且，虽在图6中未示出，但定义关于俯视像的坐标系即俯视图坐标系XauYau。
俯视图坐标系XauYau为将Xau轴及Yau轴设为坐标轴的二维坐标系。将俯视图坐标系XauYau中
的像素的坐标值记为(xau， yau)。俯视像由二维排列的多个像素的像素信号来表示，俯
视像上的各像素的位置由坐标值(Xau， yau)表示。、u及yau分别为俯视图坐标系XJau
中的Xau轴成分及Yau轴成分。 俯视像是将通过实际的探头1的拍摄得到的拍摄图像变换为从假想探头的
视点(以下称假想视点)观察到的图像而形成的图像。更具体地说，俯视像为将拍摄 图像变换为沿铅直方向俯视地面看到的图像所形成的。这种图像变换一般称为视点变换。 与地面一致的被定义了二维地面坐标系XJ,的平面与被定义了俯视图坐标系 XauYau的平面平行。由此，通过平面投影进行从二维地面坐标系XWZW向假想探头的俯视图坐 标系X皿Yau的投影。若将假想探头的高度(即假想视点的高度)设为H，则二维地面坐标系 X^A的坐标值(xw， zw)和俯视图坐标系X皿Yau的坐标值(xau， yau)之间的变换式由下式(4) 表示。假想探头的高度H被预先设定。进而，通过式(4)的变形能够得到下式(5)。
[数4]<formula>formula see original document page 9</formula> [数5]<formula>formula see original document page 9</formula>
若将所得的式(5)代入上式(3)则得到下式(6) [数6]
<formula>formula see original document page 9</formula>
由上式(6)能够得到用于将拍摄面S的坐标系XbuYbu的坐标值(xbu，ybu)变换为俯 视图坐标系XauYau的坐标值(xau， yau)的下式(7)。
[数7]
<formula>formula see original document page 10</formula> 由于拍摄面S的坐标系XbuYbu的坐标值(xbu， ybu)表示拍摄图像的坐标值，因此可 以利用上式(7)将拍摄图像变换为俯视像。 S卩，根据式(7)，通过将拍摄图像的各像素的坐标值(xbu，ybu)变换为俯视图坐标系 的坐标值(xau， y皿)，能够生成俯视像。俯视像由在俯视图坐标系中排列的各像素 形成。 实际上，根据式(7)，预先制成表示拍摄图像上的各像素的坐标值(xbu， ybu)和俯视 像上的各像素的坐标值(xau，yau)的对应关系的列表数据，并将该列表数据预先存储在 未图示的存储器(查找表)中。然后，利用该列表数据将拍摄图像变换为俯视像。当 然，也可以在每次得到拍摄图像时根据式(7)进行坐标变换运算来生成俯视像。
以下，将第一 第六实施例作为详细说明图1的驾驶辅助系统的动作内容的实施 例进行说明。只要没有矛盾，则某实施例所记述的事项也可以适用于其他实施例。并且，在 以下说明中，有时将俯视图坐标系简称为俯视图坐标，两者同义。
〈第一实施例> 首先说明第一实施例。图1的图像处理装置2由探头1以规定的周期获得拍摄图 像，由依次获得的拍摄图像依次生成显示用图像，将最新的显示用图像输出到显示装置3。 由此，在显示装置3中更新显示最新的显示用图像。 参照图7说明用于生成1个显示用图像的动作流程。图7为表示该动作流程的流 程图。图7中所示的步骤Sll S17的各处理由图1的图像处理装置2执行。
为了生成本发明所涉及的特征性的显示用图像，需要在不同的时刻拍摄的多个拍 摄图像。因此，图像处理装置2读取不同时刻拍摄的多个拍摄图像，在后级的处理中参照所 述多个拍摄图像(步骤Sll)。这时，读取的多个拍摄图像设定为包含通过时刻tl的拍摄 所得的拍摄图像(以下简称为时刻tl的拍摄图像)和通过时刻t2的拍摄所得的拍摄图像 (以下简称为时刻t2的拍摄图像)。时刻t2在时刻tl之后。并且，在时刻tl-t2之间，汽 车列车10移动。由此，时刻tl时的探头1的视点和时刻t2时的探头1的视点不同。
在获得时刻tl及t2的拍摄图像后，在步骤S12中，求取时刻tl-t2间的光流。其 中，在步骤S12中求得的光流为俯视图坐标上的光流。 具体来说，在步骤S12中进行以下处理。将时刻tl及t2的各拍摄图像通过上述 的俯视变换而变换为俯视像。基于时刻tl及t2的拍摄图像而得到的俯视像分别 称为时刻tl及t2的俯视像。然后，对比时刻tl的俯视像和时刻t2的俯视 像，并用公知的块匹配法或梯度法求出时刻tl-t2间的俯视图坐标上的光流(换言之，为由 时刻tl及t2的俯视像构成的动态图像的光流)。 也可以进行以下处理来取代上述方法。S卩，对比时刻tl的拍摄图像和时刻t2的 拍摄图像，并用公知的块匹配法或梯度法首先求出拍摄图像的坐标上的光流。然后，将该拍 摄图像的坐标上的光流根据上式(7)匹配到俯视图坐标上，由此最终求出俯视图坐标上的光流。 以下在单称光流时表示的是俯视图坐标上的光流。 为使说明具体化，假想如图8所示的情况。图8表示从上方观察到的汽车列车10 及汽车列车10的周边路面。在汽车列车10后方的路面上绘有停车场的长方形形状的停车 框30。将形成该长方形的4个顶点中的位于比较接近汽车列车10的路面上的2个顶点设 为顶点31及32。在图8中，标注了符号33的虚线三角形表示探头1的视野。假定在时刻 tl及t2时，顶点31及32分别包含在视野33内。 在汽车列车10中，根据牵引车11的移动方向和连接角9 cw确定挂车12的移动方 向。设定如下情况进行示例在时刻tl时，连接角e^为正角，在时刻ti-t2间，牵引车i1 笔直地向后方行进。这时，在时刻tl-t2间，挂车12向右斜后方移动。在图8中，箭头41 及42分别表示时刻tl-t2间的牵引车11及挂车12的行进方向。 图9(a)表示时刻tl的拍摄图像，图9(b)表示时刻t2的拍摄图像，在图9(a)中， 符号31a及32a分别表示时刻tl的拍摄图像上的顶点31及32，在图9 (b)中，符号31b及 32b分别表示时刻t2的拍摄图像上的顶点31及32。 图10(a)表示时刻tl的俯视像，图10(b)表示时刻t2的俯视像。在图 10(a)中，符号31c及32c分别表示时刻tl的俯视像上的顶点31及32，在图10(b)中， 符号31d及32d分别表示时刻t2的俯视像上的顶点31及32。 在图11中表示使图10(a)及(b)所示的2个俯视像重合后的图像101。这 时，分别捕捉图8的顶点31及32作为第一及第二特征点。图11中的箭头V31表示在时刻 tl-t2间的、俯视图坐标上的第一特征点的移动向量，图11中的箭头V^表示在时刻tl-t2 间的、俯视图坐标上的第二特征点的移动向量。移动向量与运动向量同义。
移动向量L用向量表示了从特征点31c向特征点31d的偏移，表示俯视图坐标上 的第一特征点在时刻tl-t2间的移动的方向及大小。移动向量V^用向量表示了从特征点 32c向特征点32d的偏移，表示俯视图坐标上的第二特征点在时刻tl-t2间的移动的方向及 大小。 光流为多个移动向量的集合，在步骤S12中求出的光流中包含移动向量L及V， 俯视图坐标上的特征点的移动通过实际空间中的挂车12的移动产生，并且，因为被定义 了俯视图坐标的平面与路面平行，因此与移动向量V31及V32方向相反的向量表示在时刻 tl-t2间的挂车12的移动信息。 在接着步骤S12的步骤S13中，基于光流求出该挂车12的移动信息。该移动信息 具体由图11的向量Ve表示。向量Ve由在步骤S12中求得的光流导出。向量Ve的方向及 大小表示在时刻tl-t2间的、俯视图坐标上的挂车12的移动方向及移动量。
向量Ve例如基于包含在由步骤S12求出的光流中的、所关注的l个移动向量(例 如l或V^导出。这时，向量Ve的大小与所关注的l个移动向量的大小相同，且向量Ve的 方向与着眼的1个移动向量的方向相反。 或者，例如向量Ve基于包含在由步骤S12求出的光流中的多个移动向量(例如L 及V^)导出。这时，向量Ve的大小与所述多个移动向量的均值向量的大小相同，且向量Ve 的方向与所述多个移动向量的均值向量的方向相反。 在接着步骤S13的步骤S14中，图像处理装置2检测在时刻tl-t2间的牵引车11的移动信息。该牵引车11的移动信息由汽车列车10所具有的舵角传感器及速度传感器 (未图示)而得。舵角传感器为检测牵引车ll的操舵角的传感器。速度传感器为检测牵引 车ll的移动速度的传感器。 牵引车11的移动信息中包含通过舵角传感器测出的时刻tl-t2间的牵引车11 的操舵角；通过速度传感器测出的时刻tl-t2间的牵引车11的移动速度。基于该牵引车11 的移动信息和时刻tl-t2间的时间差A t，求出时刻tl-t2间的牵引车11在实际空间的移 动方向及移动量。牵引车11在实际空间的移动方向是指牵引车11相对于图5的中心线21 在实际空间的移动方向。 图像处理装置2将表示该牵引车11在实际空间的移动方向及移动量的向量变换 为俯视图坐标上的向量V^因为被定义了俯视图坐标的平面与路面平行，且牵引车ll在实 际空间的移动为路面上的移动，因此，能够根据假想探头的高度H等在几何学上将表示牵 引车11在实际空间的移动方向及移动量的向量变换为向量VA。向量VA表示在时刻tl-t2 间的、牵引车11的俯视图坐标上的移动方向及移动量。 在所关注的任意区间中，若使连接部14的移动方向及移动量与牵引车11的移动 方向及移动量一致，且牵引车11的移动方向和移动量以及连接角e ^确定，则能够确定在 关注区间的挂车12的移动方向及移动量。也就是说，在将牵引车11的移动方向及移动量
设为第一变量，将挂车12的移动方向及移动量设为第二变量，将连接角e^设为第三变量
时，若第一 第三变量中的2个变量确定，则剩下的1个变量也能够确定。
利用这样的特性，图像处理装置2在接着步骤S14的步骤S15中，基于在步骤S14 及S13中所得的牵引车11及挂车12的移动信息而推定此时的连接角eeN。此时的连接角 9 cw是指时刻t2的连接角或时刻tl-t2间的连接角。在图12中表示与牵引车11的移动信 息对应的向量VA和与挂车12的移动信息对应的向量Ve(参照图11)的关系。在时刻tl-t2
间，当牵引车ii笔直地向后方行进时，通过将向量VA及Ve代入下式(8)来求出连接角eCN。 [数8] |VB|cos 9 CN = |Vj... (8) 详细地说，挂车12的移动方向及移动量不仅依存于牵引车11的移动方向及移动 量和连接角e^，而且依存于连接部14与挂车12的车轮13(参照图2)的位置关系以及挂 车12的形状。从而，通过考虑上述关系而在几何学上求出连接角9 即可。由于连接部14 与车轮13的位置关系以及挂车12的形状为预先确定的，因此，若牵引车11及挂车12的移
动信息确定，则能够唯一确定连接角eCN。也就是说，连接角e^能够作为牵引车ii和挂
车12的移动信息(S卩，向量Va及V》的函数进行表示。因此，例如根据连接部14和车轮13 的位置关系以及挂车12的形状等预先制成输入牵引车11及挂车12的移动信息则输出连 接角9 的查找表，并将该查找表存储到图像处理装置2中，在步骤S15中利用该查找表推
定连接角e③即可。
若确定了某时刻的牵引车ii的操舵角和连接角e^，则能够预计其后的挂车i2的
行进线路。在此，在接着步骤S15的步骤S16中，根据在步骤S14中测出的牵引车11的移 动信息和在步骤S15中推定的连接角e^，导出挂车12的预计移动轨迹。在此导出的预计 移动轨迹为预计的在俯视图坐标上的、时刻t2以后的挂车12的车体的移动轨迹。
详细地说，挂车12的预计移动轨迹不仅依存于牵引车11的操舵角和连接角e CN，
12而且依存于连接部14与挂车12的车轮13(参照图2)的位置关系以及挂车12的形状。从 而，考虑上述关系而在几何学上求出预计移动轨迹即可。由于连接部14与车轮13的位置 关系以及挂车12的形状为预先确定的，因此，若各时刻的牵引车11的操舵角和连接角e CN 确定，则能够唯一确定各时刻的挂车12的车体的位置。其中，需要考虑到即使操舵角保持 为固定角度，连接角也是逐渐变化的情况。 具体来说，例如通过以下的处理1 3来导出预计移动轨迹。 处理1 :在导出预计移动轨迹时，假定牵引车11保持当前的操舵角及移动速度，在 时刻t2以后仍移动。在此基础上，根据当前的牵引车11的操舵角和当前的连接角e 来 推定未来各时刻的连接角9ffl。用于进行该推定的查找表可以根据连接部14与车轮13的 位置关系以及挂车12的形状等预先制成。也可以根据实际的汽车列车10的行驶测试结果
制成该查找表。通过在该查找表中输入当前的牵引车ii的操舵角和当前的连接角e^，能 够推定未来各时刻的连接角e CN(即，时刻t2以后的各时刻的连接角e CN)。
处理2 :根据当前的操舵角和通过处理l推定的未来各时刻的连接角e ，推定未 来各区间的挂车12在俯视图坐标上的移动方向。用于进行该推定的查找表也根据连接部 14与车轮13的位置关系以及挂车12的形状等预先制成。 处理3 :根据未来各区间的挂车12在俯视图坐标上的移动方向和在俯视图坐标上 的挂车12的车体位置来导出预计移动轨迹。若以时刻t2的俯视图坐标上的挂车12的车 体位置作为起点，将未来各区间的挂车12的移动方向连接起来，即求出预计移动轨迹。
在接着步骤S16的步骤S17中，图像处理装置2制作与在步骤S16中求出的预计 移动轨迹对应的显示用图像。具体的说，通过将表示挂车12的车体左后端的预计移动轨迹 的车辆引导线和表示挂车12的车体右后端的预计移动轨迹的车辆引导线在时刻t2的俯视 像上叠加而生成显示用图像。这里的显示用图像和俯视像同样，也是俯视图坐标 上的图像。 在图13中示出显示用图像的示例。在图10(a)及(b)中使俯视像的外形形 状为矩形，但俯视像的外形形状并不局限为矩形。在图13中示出的显示用图像120的 外形形状为六边形。虽然图13的显示用图像120与图10(a)和(b)中示出的俯视像 有很大的不同，但该不同只是为了便于图示而产生的。 在显示用图像120中，斜线区域表示停车框的白线的描绘区域。显示用图像120 通过在基于拍摄图像而得到的俯视像上叠加车辆引导线121及122而得。点123和点 124与俯视像上的挂车12的左右后端部对应，点123和点124之间的长度表示在俯视 像上的挂车12的车宽。车辆引导线121及122以点123及124为起点进行绘制。
在显示用图像120上还叠加有表示距挂车12后端的距离的第一及第二距离线。在 显示用图像120中，沿显示用图像120的横向延伸的虚线125及126分别表示第一及第二距 离线。第一及第二距离线例如分别表示距挂车12的后端的距离为lm及2m的部分。当然， 也可以追加地叠加第三距离线(及第四距离线，……)。由于二维地面坐标系XJw中的Zw 轴方向的坐标值zw表示距挂车12的后端的距离，因此，图像处理装置2能够根据上式(4) 或(5)求出显示用图像上的第一及第二距离线的位置。并且，通过虚线125和126的各自 左端及点123的虚线，以及通过虚线125和126的各自右端及点124的虚线，相当于挂车12 的左右端的延长线。
13
由步骤S17生成的显示用图像显示在显示装置3的显示画面上。当步骤S17的处 理结束时，返回步骤S11，将基于最新的拍摄图像而得到的显示用图像更新显示在显示装置 3中，并反复执行步骤Sll S17的各处理。 虽然相比于轿车和卡车，汽车列车10的驾驶需要较高的技术且难以直接目视后 方进行确认，但通过如本实施例显示的车辆引导线，能够良好地辅助安全驾驶。并且，由于 能用1台探头来进行这样的辅助，因此能够以低成本形成驾驶辅助系统。在本实施例中，由 于通过向俯视像叠加附加信息而生成显示用图像，因此能够将保持了实际距离和影像 距离的一致性且容易掌握车辆后方情况的图像提供给驾驶者。
〈第二实施例〉 应该在图7的步骤S13中求出的挂车12的移动信息由图11的向量Ve表示，若求 出移动向量V^及/或V^则能够导出向量Ve。因此，在图7的步骤S12及S13中也可以执 行以下的处理。将对于该步骤S12及S13的处理的变形例作为第二实施例进行说明。在第 二实施例中，通过特征点的抽取处理和追踪处理导出向量Ve。其中，该导出手法可以认为包 含在第一实施例中所述的向量Ve的导出手法中。第二实施例与第一实施例组合实施，第一 实施例中记述的事项只要没有矛盾则同样适用于本实施例中。 在第二实施例中，在步骤Sll中获得时刻tl及t2的拍摄图像之后，在步骤S12中 从时刻tl的拍摄图像中抽取特征点。特征点是指与能够与周围的点相区别且容易追踪的 点。这样的特征点可以通过公知的特征点抽取器(未图示)自动抽取，所述特征点抽取器 检测水平及垂直方向的浓淡变化量大的像素。特征点抽取器为例如Harris的角检测器、 SUSAN的角检测器。应该抽取的特征点例如为路面上描绘的白线的交点或端点、路面上的污 垢或龟裂等，假定为路面上的没有高度的不动点。 并且，在第二实施例所涉及的步骤S13中，进行特征点的追踪处理。作为特征点的 追踪处理可以采用公知的手法。当将通过某时刻的拍摄所得的拍摄图像作为第一参照图像 且将通过该时刻以后的时刻的拍摄所得的拍摄图像作为第二参照图像时，通过对比第一及 第二参照图像来进行追踪处理。更具体来说，例如，将第一参照图像中的特征点的位置的附 近区域作为特征点搜索区域，通过在第二参照图像的特征点搜索区域内进行图像匹配处理 而确定第二参照图像的特征点的位置。在图像匹配处理中，例如，以第一参照图像中的特征 点的位置为中心形成矩形区域，由该矩形区域内的图像形成样本，计算该样本和第二参照 图像的特征点搜索区域内的图像的相似度。根据计算出的相似度来确定第二参照图像的特 征点的位置。 若将时刻tl及t2的拍摄图像分别作为第一及第二参照图像来进行追踪处理，则 能够求出时刻t2的拍摄图像中的特征点的位置。 这时，从时刻tl的拍摄图像抽取特征点31a及32a(参照图9(a))，通过追踪处理 求得时刻t2的拍摄图像中的特征点31b及32b的位置(参照图9(b))。图像处理装置2将 时刻tl及t2的拍摄图像通过俯视变换而变换为时刻tl及t2的俯视像，且根据上式 (7)将特征点31a、32a、31b及32b在俯视图坐标上匹配，由此确定俯视图坐标上的特征点 31c、32c、31d及32d的位置。若进行该确定，则由于自动求出移动向量V31及V32，因此能够 根据L及/或V^导出向量Ve。 另外，虽然例示了抽取及追踪的特征点的个数为2个的情况，但由于求出移动向
14量^及^中的至少一个就能够导出向量Ve，因此，需要抽取及追踪的特征点的个数也可以 为1个。 另外，虽然例示了在拍摄图像上进行特征点的抽取处理及追踪处理的情况，但也 可以在俯视像上进行。即，在将时刻tl及t2的拍摄图像通过俯视变换而变换为时刻 tl及t2的俯视像后，利用特征点抽取器从时刻tl的俯视像抽取特征点31c及 32c(参照图10(a))。然后，通过将时刻tl及t2的俯视像分别作为第一及第二参照图 像而进行追踪处理，也可以确定时刻t2的俯视像中的特征点31d及32d的位置(参照
图io(b))。〈第三实施例〉 在第一实施例中，虽然通过将车辆引导线在俯视像上叠加而生成显示用图 像，但由于俯视像提供从正上方俯视路面的影像，因此存在视野范围狭小的缺点。因 此，也可以通过将车辆引导线在俯视像以外的图像上叠加而生成显示用图像。将上述 方法作为第三实施例进行说明。具体来说，例如，也可以将车辆引导线在作为原图像的拍摄 图像上叠加，由此生成显示用图像。由此，能够提供视野广阔的影像。第三实施例与第一或 第二实施例组合实施，在第一或第二实施例中记述的事项只要没有矛盾则也适用于本实施 例中。 在第三实施例中，将通过图7的步骤Sll S16求出的车辆引导线在拍摄图像的 坐标上进行匹配。该匹配通过将拍摄图像变换为俯视像的坐标变换的逆变换而实现。 例如，将形成俯视像上的车辆引导线的各像素的坐标值(xau，yau)根据上式(7)逆变换 为拍摄图像上的坐标值(xbu， ybu)，则能够求出拍摄图像上的车辆引导线的位置。
在图14中示出本实施例所涉及的显示用图像的示例。图14中所示的显示用图像 130通过将车辆引导线131及132在时刻t2的拍摄图像上叠加而得。并且，为便于图示， 与图14对应的时刻t2的拍摄图像和与图9对应的时刻t2的拍摄图像不同。车辆引导线 131及132通过将图13中所示的车辆引导线121及122在拍摄图像的坐标上进行匹配而 得。在显示用图像130中，斜线区域表示停车框的白线的描绘区域。点133及134与拍摄 图像上的挂车12的左右后端部对应，点133和点134之间的长度表示拍摄图像上的挂车12 的宽度。车辆引导线131及132以点133及134为起点进行描绘。 在显示用图像130上还叠加有表示距挂车12的后端的距离的第一及第二距离线。 沿显示用图像130的横向延伸的虚线135及136为第一及第二距离线，它们相当于将图13 中的虚线125及126在拍摄图像上匹配所得的线。另外，通过虚线135和136的各自左端 以及点133的虚线，和通过虚线135和136的各自右端以及点134的虚线，相当于挂车12 的左右端的延长线。
〈第四实施例〉 另外，可以将显示用图像的生成手法进行各种变形。作为说明显示用图像的生成 手法的变形例的实施例来说明第四实施例。对于显示用图像的生成手法以外的应用例也会 在第四实施例的说明中涉及。第四实施例与第一 三实施例组合实施，第一 三实施例所 记述的事项只要没有矛盾则也适用于本实施例。以下，单独说明第一变形处理 第三变形 处理，但也可能将多个变形处理组合实施。
[第一变形处理]
可以不将车辆引导线在拍摄图像或俯视像中叠加，而是通过将表示挂车12 的移动方向(行进方向)的指示标识叠加在拍摄图像或俯视像上来生成显示用图像。 在图15中示出该显示用图像的示例。图15的显示用图像150是将箭头151作为表示挂车 12的移动方向的指示标识叠加在图10(b)所示的时刻t2的俯视像上而成的图像。箭 头151的方向与图l所示的向量Ve的方向一致。 当通过将表示挂车12的移动方向的指示标识叠加在拍摄图像上而不是叠加在俯
视像上来生成显示用图像时，采用下述方法生成显示用图像即可将俯视图坐标上的
向量Ve通过第三实施例中所述的逆变换而变换为拍摄图像的坐标上的向量，将方向与所得
的向量的方向一致的箭头叠加在图9(b)所示的时刻t2的拍摄图像上。 另外，也可以将表示挂车12的移动方向的指示标识及车辆引导线二者叠加在拍
摄图像或俯视像上来生成显示用图像。[第二变形处理] 此外，也可以使图7的步骤S15中的连接角e^的推定结果反映在显示用图像中。 该反映的方法为任意。考虑根据时刻tl及t2的拍摄图像推定连接角e③的情况。这时， 例如通过将表示连接角9 ffl的数值叠加在时刻t2的拍摄图像或时刻t2的俯视像上而 生成显示用图像。也可以进而在该显示用图像中叠加表示挂车12的移动方向的指示标识 及/或车辆引导线。 并且，例如可以以将时刻t2的拍摄图像或时刻t2的俯视像、表示连接角9 CN 的插图在显示画面上排列显示的方式生成显示用图像。在图16中示出该显示用图像的示 例。图16的显示用图像160被分割为2个区域161及162。在区域161中，描绘有与图14 所示的显示用图像130同样的图像(或者为将显示用图像130在横向上压縮后的图像)，在 区域162中，描绘有表示推定的最新的连接角e^的插图。在该插图中包含有由牵引车和 挂车构成的汽车列车的图，插图上的牵引车和挂车的连接角与连接角e③相对应地发生变化。[第三变形处理] 若连接角e③达到一定角度以上，则可能产生翻倒等情况。因此，也可以根据连接 角e^来进行报警。具体来说进行如下处理。驾驶辅助系统(例如图像处理装置2)将在 图7的步骤S15中推定的连接角e ^与规定的阈值角度比较，当前者在后者以上时，进行用 于对汽车列车io的驾驶者通知连接角e^过大的报告。该报告可以为通过利用显示装置
3的影像的报告，也可以为通过利用未图示的扬声器的报告。另外，由于合适的阈值角度根 据牵引车11及挂车12的各车体的大小等而有所不同，因此，该阈值角度可以根据汽车列车 10的汽车种类而变更。
〈第五实施例〉 在第一实施例中说明了导出挂车12的预计移动轨迹的手法，将该导出手法的变 形例(即，图7的步骤S16的处理的变形例)作为第五实施例进行说明。第五实施例与第 一实施例或第二 第四实施例中的任一例组合实施。对获得时刻tl及t2的拍摄图像并如 第一实施例所述执行图7的步骤Sll S15的各处理后的处理进行说明。
图17示出将Xbu轴及Ybu轴作为坐标轴的俯视图坐标。在图17中，还描绘有将汽 车列车10向俯视图坐标投影后的图形。在图17中，符号11a、12a及13a分别为将图2的牵引车11、挂车12及车轮13向俯视图坐标上投影后的图形。用Q表示设置于挂车的2个 车轮13的车轴中心。2个车轮13的车轴与图5的中心线22正交，车轴中心Q在中心线22 上。 这时，将俯视图坐标上的时刻t2的连接点14的位置设为原点。将俯视图坐标上 的时刻t2的牵引车11的中心线21(参照图5)设定在Y皿轴上。进而，假定以时长At离 散的时刻tl、t2、t3、t4、……。时间以时刻tl、t2、t3、t4、……的顺序经过。俯视图坐标 上的时刻ti时的连接点14的位置用k[ti]表示(i为自然数)。 在导出预计移动轨迹时，假定牵引车11保持当前的操舵角及移动速度，在时刻t2 后仍移动。这样，表示时刻t2-t3间的牵引车11的俯视图坐标上的移动方向及移动量的向 量与第一实施例中所述的时刻tl-t2间的向量l一致。从而，能够根据向量VJ角定俯视图 坐标上的时刻t3时的连接点14的位置k[t3]。也就是说，当将时刻t2的连接点14的位置 k[t2]作为起点而将向量VA配置在俯视图坐标上时，向量VA的终点位置确定为位置k[t3]。 并且，若时刻tl-t2间的牵引车11的操舵角能够确定，则俯视图坐标上的向量VA的方向能 够确定。
并且，将时刻ti时的连接角e^用eeN[ti]表示(i为自然数)。进而，将在俯
视图坐标上的、时刻ti的车轴中心Q的位置用Q[ti]表示(i为自然数)。在图7的步骤 S15中推定时刻t2时的连接角9 CN[t2]，图像处理装置2利用该连接角9 CN[t2]求出位置 Q[t2]。更详细地说，根据连接角9ffl[t2]和位置k[t2]以及已知的挂车12的车体信息求 出位置Q[t2]。挂车12的车体信息确定俯视图坐标上的连接点14到车轴中心Q的距离。
然后，图像处理装置2推定俯视图坐标上的、时刻t3的车轴中心Q的位置Q[t3] 并使其同时满足以下的第一及第二条件(参照汽车规格(JAS0Z 006-92 ;第18页))。
第一条件为位置k[t2]与位置Q[t2]的距离和位置k[t3]与位置Q[t3]的距离 相同。 第二条件为位置Q[t3]位于位置k[t2]与位置Q[t2]的连线上。
进而，图像处理装置2根据推定的位置Q[t3]和位置k[t3]推定在时刻t3时的 连接角、N[t3]。也就是说，将通过位置k[t3]且与Yau轴平行的直线和位置k[t3]与位置 Q[t3]的连线所成的角度推定为连接角9ra[t3]。 如上所述，以"k[t2]、Q[t2]及e^[t2]"为基准导出"k[t3]、Q[t3]及9CN[t3]"。 若以"k[t3]、Q[t3]及e^[t3]"为基准来应用将该导出手法，则能够确定"k[t4]、Q[t4]及 9CN[t4]"。通过反复执行该手法，能够接连求出"k[t5]、Q[t5]及ecN[t5]"、"k[t6]、Q[t6] 及9CN[t6]"、……。 图18为将时刻t2 t6的车轴中心Q的位置Q[t2] Q[t6]连成曲线而成的图。 连接Q[t2] Q[t6]的轨迹为在俯视图坐标上的车轴中心Q的预计移动轨迹。若能够求出 各时刻的车轴中心Q的位置，则根据俯视图坐标上的挂车12的车宽也可以求各时刻的挂车 12的车体的左右后端的位置。图18中的曲线171及172为时刻t2以后的挂车12的车体 的左右后端的预计移动轨迹。在图7的步骤S16中导出所述预计移动轨迹。
例如，图13的显示用图像120通过将沿着所述曲线171及172的车辆引导线121 及122叠加在时刻t2的俯视像上而生成。
〈第六实施例〉
接下来说明第六实施例。在第六实施例中，例示图1的图像处理装置2的功能模 块图。图19为与第一实施例对应的图像处理装置2的功能模块图。在图19的图像处理装 置2中，执行图7所示的各步骤的处理。图19的图像处理装置2具有参照符号201 205 的各部位。 在图7的步骤Sll中读取的时刻tl及t2的拍摄图像输送到俯视变换部201中。 俯视变换部201将tl及t2的拍摄图像通过俯视变换而变换为时刻tl及t2的俯视 像。运动检测部202通过将由该变换所得的时刻tl及t2的俯视像进行对比，导出时 刻tl-t2间的俯视图坐标上的光流(步骤S12)。连接角推定部203根据该光流和输入的牵 引车11的移动信息推定连接角9 步骤S15)。并且，图7的步骤S13及S14的处理通过 运动检测部202或连接角推定部203，抑或是图像处理装置2中的其他部位来实现。
移动轨迹推定部204根据由连接角推定部203推定的连接角e^和牵引车ll的 移动信息来执行图7的步骤S16的处理，由此求出挂车12的预计移动轨迹。显示用图像生 成部205将基于该推定结果而得到的车辆引导线叠加在时刻t2的俯视像上，由此生成 时刻t2的显示用图像。 另外，如在上述第四实施例中的第一变形处理，当将表示挂车12的移动方向的指 示标识叠加在拍摄图像或俯视像上时，图19的功能模块图如图20所示变形。图20所 示的挂车移动方向推定部206也与参照符号201 205的各部位一样设置在图像处理装置 2内。挂车移动推定部206通过利用来自运动检测部202的光流而执行图7的步骤S13的 处理，从而求出表示挂车12的移动方向的图11的向量V"这时，显示用图像生成部205利 用孩向量Vb生成圉15的显示用图像150。
〈变形等> 作为上述实施方式的变形例或注释事项，以下记述注释1 注释4。各注释中记述
的内容只要没有矛盾就能够任意组合。[注释l] 上述的由拍摄图像生成俯视像的坐标变换一般被称为透视投影变换。也可以 不采用该透视投影变换，而是通过公知的平面投影变换由拍摄图像生成俯视像。当采 用平面投影变换时，在探头校正处理阶段预先求出单应性矩阵(坐标变换矩阵)，该单应性 矩阵用于将拍摄图像上的各像素的坐标值变换为俯视像上的各像素的坐标值。单应性 矩阵的求法为公知。并且，在进行图7所示的动作时，根据单应性矩阵将拍摄图像变换为俯 视像即可。不论采用哪种方法，通过将拍摄图像投影到俯视图坐标上而将拍摄图像变 换为俯视像。
[注释2] 在上述的实施方式中，将基于从1个探头所得的拍摄图像而得到的显示用图像显 示在显示装置3中，但当将多个探头(未图示)设置在汽车列车10上时，可以根据由所述 多个探头所得的多个拍摄图像而生成显示用图像。例如，将探头1以外的其他的1台以上 的探头安装到汽车列车10上。并且，将基于其他探头的拍摄图像得到的图像和基于探头1 的拍摄图像得到的图像进行合成，可以将通过该合成所得的图像最终作为对于显示装置3 的显示用图像。该合成图像例如为如日本特开2006-287892号公报所记述的全周俯视 像。
[注释3] 在上述的实施方式中，将本发明所涉及的驾驶辅助系统适用于由牵引车11和挂 车12构成的汽车列车10 (参照图2)。但是，能够应用本发明所涉及的驾驶辅助系统的车辆
不局限于由牵引车和挂车构成的汽车列车。可对由第一车辆和连接于第一车辆而被牵引的 第二车辆构成的任意汽车列车应用本发明所涉及的驾驶辅助系统。在上述的实施方式中，
第一车辆相当于牵引车11且第二车辆相当于挂车12。并且，图1的汽车列车10为运输钢
材或重物的大型汽车列车，但本发明不依存于汽车列车的大小。 能够适用本发明的汽车列车包括一般被称为牵引汽车的车辆(或汽车列车本身 为牵引汽车)。进而，例如，能够适用本发明的汽车列车由第一车辆和第二车辆构成，包括通
道式公共汽车(铰接公共汽车)、铰接式公共汽车及无轨电车。例如，在铰接公共汽车中适 用本发明所涉及的驾驶辅助系统时，将铰接公共汽车中的第一车辆及第二车辆看作上述的 牵引车11及挂车12来实施上述处理即可。另外，被分类为SUV (Sports UtilityVehicle) 的汽车列车也能够适用本发明。
[注释4] 图1的图像处理装置2能够通过硬件、软件或硬件和软件的组合来实现。也可以 将在图1的图像处理装置2中实现的功能的全部或一部分作为程序记载，通过在计算机上 执行该程序来实现所述功能的全部或一部分。
权利要求
一种驾驶辅助系统，具有探头，该探头设置在由第一车辆和连接于该第一车辆的第二车辆构成的汽车列车中的所述第二车辆上，且拍摄所述第二车辆的后方，从所述探头获得按时间序列排列的多个拍摄图像，并对显示装置输出由各拍摄图像生成的显示用图像，所述驾驶辅助系统的特征在于，具有运动检测机构，其导出由所述多个拍摄图像形成的动态图像的光流；连接角推定机构，其根据所述光流及所输入的所述第一车辆的移动信息，推定所述第一车辆和所述第二车辆的连接角；移动轨迹推定机构，其根据所述连接角及所述第一车辆的移动信息，导出所述第二车辆的预计移动轨迹，通过将与所述预计移动轨迹对应的指示标识叠加在基于所述拍摄图像得到的图像上而生成所述显示用图像。
2. 根据权利要求l所述的驾驶辅助系统，其特征在于，还具有坐标变换机构，其通过将各拍摄图像投影到规定的俯视图坐标上而将所述多个拍摄图像变换为多个俯视像，由所述运动检测机构导出的所述光流为所述俯视图坐标上的光流。
3. 根据权利要求2所述的驾驶辅助系统，其特征在于，所述第一车辆的移动信息包括表示所述第一车辆的移动方向及移动速度的信息，所述连接角推定机构基于所述第一车辆的移动信息导出所述俯视图坐标上的表示所述第一车辆的移动方向及移动量的向量，并基于所述向量和所述光流推定所述连接角。
4. 根据权利要求l所述的驾驶辅助系统，其特征在于，还具有报告机构，其基于所推定的所述连接角与规定的阈值角度的比较结果对外部进行报告。
5. —种驾驶辅助系统，具有探头，该探头设置在由第一车辆和连接于该第一车辆的第二车辆构成的汽车列车中的所述第二车辆上，且拍摄所述第二车辆的后方，从所述探头获得按时间序列排列的多个拍摄图像，并对显示装置输出由各拍摄图像生成的显示用图像，所述驾驶辅助系统的特征在于，具有运动检测机构，其导出由所述多个拍摄图像形成的动态图像的光流；移动方向推定机构，其根据所述光流推定所述第二车辆的移动方向，该驾驶辅助系统使该推定结果反映到所述显示用图像上。
6. 根据权利要求5所述的驾驶辅助系统，其特征在于，还具有坐标变换机构，其通过将各拍摄图像投影到规定的俯视图坐标上而将所述多个拍摄图像变换为多个俯视像，由所述运动检测机构导出的所述光流为所述俯视图坐标上的光流。
7. 根据权利要求6所述的驾驶辅助系统，其特征在于，还具有连接角推定机构，其根据所述光流及所输入的所述第一车辆的移动信息，推定所述第一车辆和所述第二车辆的连接角，使所述连接角的推定结果反映到所述显示用图像上。
8. 根据权利要求7所述的驾驶辅助系统，其特征在于，所述第一车辆的移动信息包括表示所述第一车辆的移动方向及移动速度的信息， 所述连接角推定机构基于所述第一车辆的移动信息导出所述俯视图坐标上的表示所 述第一车辆的移动方向及移动量的向量，并基于所述向量和所述光流推定所述连接角。
9. 根据权利要求7所述的驾驶辅助系统，其特征在于，还具有报告机构，其基于所推定的所述连接角与规定的阈值角度的比较结果对外部进 行报告。
10. —种汽车列车，其特征在于， 由第一车辆和连接于该第一车辆的第二车辆构成， 所述汽车列车设置有权利要求1 9中任一项所述的驾驶辅助系统。
全文摘要
本发明提供一种驾驶辅助系统及汽车列车，在由牵引车和挂车构成的汽车列车的挂车侧设置有探头。探头拍摄挂车的后方。驾驶辅助系统通过将各拍摄图像投影到与路面平行的俯视图坐标上而将各拍摄图像变换为俯视像，并在俯视图坐标上导出由多个拍摄图像构成的动态图像的光流。根据该光流和牵引车的移动信息推定牵引车和挂车的连接角，进而根据连接角和牵引车的移动信息导出挂车的移动预计轨迹。然后，对显示装置输出将该移动预计轨迹叠加在俯视像上而形成的图像。
文档编号B60R1/00GK101795901SQ20088010539
公开日2010年8月4日 申请日期2008年8月19日 优先权日2007年9月3日
发明者石井洋平 申请人:三洋电机株式会社