专利名称：图像处理装置的制作方法
技术领域：
本发明涉及一种图像处理装置，特别地，涉及一种在画面中与导航信息一起显示 表示由设置在移动体上的照相机捕捉到的被摄场景的图像的图像处理装置。
背景技术：
此种装置的一例在专利文献1中被公开。根据其背景技术，由安装在汽车的前端 的照相机捕捉汽车行进方向的景色。图像合成部将导航信息要素合成为由照相机捕捉到的 实拍图像，在显示器中显示合成图像。由此，驾驶员能更感觉灵敏地把握汽车的现在位置和 行进路径。专利文献1 JP特开平11-108684号公报
发明内容
但是，与导航信息要素合成的实拍图像仅仅表示汽车的行进方向的景色。为此，在 背景技术中，在操纵支援性能上存在限制。因此，本发明的主要目的在于，提供一种能提高操纵支援性能的图像处理装置。根据本发明的图像处理装置(10 在实施例中相应的参照符号。以下相同)，包括 多个照相机(CM_0 CM_3)，设置于在基准面上移动的移动体(100)的互不相同的位置，输 出表示移动体的周围的被摄场景像；第一生成部件(S21)，其基于从多个照相机输出的被 摄场景像，生成相对基准面的鸟瞰图像；第一显示部件(S31 S33、S39 S47)，其在监视 器画面中显示由第一生成部件生成的鸟瞰图像；检测部件(S23)，其与第一生成部件的生 成处理并行地检测移动体的位置；第二生成部件(S27、S35、S53、S57)，其基于检测部件的 检测结果和地图信息，生成导航信息；以及第二显示部件(S29、S37、S55、S59)，其与第一显 示部件的显示处理相关联地在监视器画面中显示由第二生成部件生成的导航信息。优选地，导航信息包括地像，第一显示部件包括第一复合部件(S47)，上述第 一复合部件将鸟瞰图像复合在地像中。进一步优选地，移动体及基准面分别相当于车辆及路面，第一显示部件还包括决 定部件(S43、S45)，上述决定部件参照路面绘图来决定鸟瞰图像的复合位置。更优选地，决 定部件还参照移动体的方向来决定复合位置。优选地，导航信息包括可视地表示到目的地为止的路线的路线信息，第二显示部 件包括第二复合部件(S55、S59)，上述第二复合部件将路线信息复合在地像和/或鸟 瞰图像中。优选地，还包括发生部件(S61 S63)，上述发生部件在从移动体的周边检测出障 碍物时发出警告。发明效果根据本发明，基于来自设置在移动体的互不相同的位置的多个照相机的输出，生 成鸟瞰图像，再现移动体的周围。基于移动体的位置和地图信息生成的导航信息，与这样的鸟瞰图像一起在监视器画面中被显示。由此，能在同一画面中确认移动体的周围的安全性 及导航信息双方，提高操纵支援性能。本发明的上述目的、其它目的、特征及优点，基于参照附图进行的如下实施例的详 细的说明将更加明了。
图1是表示本发明的基本的结构的方框图。图2是表示本发明的一实施例的结构的方框图。图3是表示搭载了图2实施例的车辆的一例的斜视图。图4是表示由安装在车辆上的多个照相机捕捉的视野的图解图。图5是表示基于照相机的输出的鸟瞰图像的生成工作的一部分的图解图。图6是表示由显示装置显示的驾驶支援图像的一例的图解图。图7(A)是表示对应并列显示模式而显示的驾驶支援图像的一例的图解图，(B)是 表示对应复合显示模式而显示的驾驶支援图像的一例的图解图。图8是表示在检测到障碍物时显示的警告的一例的图解图。图9是表示适用于图2实施例的CPU的工作的一部分的流程图。图10是表示适用于图2实施例的CPU的工作的另一部分的流程图。图11是表示适用于图2实施例的CPU的工作的另一部分的流程图。图12是表示适用于图2实施例的CPU的工作的又一部分的流程图。符号说明10…操纵支援装置CM_0 CM_3...照相机12…图像处理电路14…存储器12p...CPU20...GPS 装置18…显示装置26…闪速存储器100…车辆
具体实施例方式下面，参照
本发明的实施方式。[基本的结构]参照图1，本发明的图像处理装置基本结构如下。多个照相机1、1、…被设置于在 基准面上移动的移动体的互不相同的位置，输出表示移动体的周围的被摄场景像。第一生 成部件2，基于从多个照相机1、1、…输出的被摄场景像，生成相对基准面的鸟瞰图像。第 一显示部件3，在监视器画面7中显示由第一生成部件2生成的鸟瞰图像。与第一生成部件 2的生成处理并行，检测部件4检测移动体的位置。第二生成部件5，基于检测部件4的检 测结果和地图信息，生成导航信息。第二显示部件6，与第一显示部件3的显示处理相关联地在监视器画面7中显示由第二生成部件5生成的导航信息。基于来自设置在移动体的互不相同的位置的多个照相机1、1、…的输出，生成鸟瞰 图像，再现移动体的周围。基于移动体的位置和地图信息而生成的导航信息，与这样的鸟瞰 图像一起在监视器画面7中被显示。由此，能在同一画面中确认移动体的周围的安全性及 导航信息双方，提高操纵支援性能。[实施例] 图2所示的此实施例的操纵支援装置10包括4个照相机CM_0 CM_3。照相机 CM_0 CM_3，每1/30秒分别输出被摄场景像P_0 P_3。输出的被摄场景像P_0 P_3被 给予图像处理电路12。参照图3，照相机CM_0，以照相机CM_0的光轴向车辆100的前方斜向下方向延伸 的姿势被设置在车辆100的前上侧部。照相机CM_1，以照相机CM_1的光轴向车辆100的右 方斜向下方向延伸的姿势被设置在车辆100的右上侧部。照相机CM_2，以照相机CM_2的光 轴向车辆100的后方斜向下方向延伸的姿势被设置在车辆100的后上侧部。照相机CM_3， 以照相机CM_3的光轴向车辆100的左方斜向下方向延伸的姿势被设置在车辆100的左上 侧部。用这样的照相机CM_0 CM_3，从与路面斜交叉的方向捕捉车辆100的周边的被摄场
旦
ο如图4所示，照相机CM_0具有捕捉车辆100的前方向的视野VW_0，照相机CM_1 具有捕捉车辆100的右方向的视野VW_1，照相机CM_2具有捕捉车辆100的后方向的视野 Vff_2,照相机CM_3具有捕捉车辆100的左方向的视野VW_3。再有，视野VW_0及视野VW_1 具有公共视野CVW_0，视野VW_1及视野VW_2具有公共视野CVW_1，视野VW_2及视野VW_3 具有公共视野CVW_2，而且，视野VW_3及视野VW_0具有公共视野CVW_3。返回图2，设置在图像处理电路12中的CPU12p，基于从照相机CM_0输出的被摄 场景像p_0生成鸟瞰图像BEV_0，基于从照相机CM_1输出的被摄场景像P_1生成鸟瞰图像 BEV_1。CPU12p还基于从照相机CM_2输出的被摄场景像P_2生成鸟瞰图像BEV_2，基于从 照相机CM_3输出的被摄场景像P_3生成鸟瞰图像BEV_3。如图5所表明的，鸟瞰图像BEV_0相当于由在铅直方向上俯视视野VW_0的虚拟照 相机捕捉到的图像，鸟瞰图像BEV_1相当于由在铅直方向上俯视视野VW_1的虚拟照相机捕 捉到的图像。此外，鸟瞰图像BEV_2相当于由在铅直方向上俯视视野VW_2的虚拟照相机捕 捉到的图像，鸟瞰图像BEV_3相当于由在铅直方向上俯视视野VW_3的虚拟照相机捕捉到的 图像。生成的鸟瞰图像BEV_0 BEV_3被保持在存储器14的工作区域14w中。接着，CPU12p，在鸟瞰图像BEV_0 BEV_3上定义与图4所示的再现块BLK相对应 的截出线CT_0 CT_3，合成存在于比定义的截出线CT_0 CT_3更偏内侧的一部分图像， 并生成全周鸟瞰图像，然后，在全周鸟瞰图像的中央粘贴对车辆100的上部进行了模仿的 车辆图像GLl。这样，在工作区域14w上完成图6所示的驾驶支援图像ARV。与这样的驾驶支援图像ARV的生成处理并行，CPU12p基于GPS装置20的输出来 检测车辆100的现在位置，进一步判别现在时刻的显示模式是并列显示模式及复合显示模 式中的哪一种。再有，显示模式响应对操作面板28的模式切换操作，在并列显示模式和复 合显示模式之间进行切换。如果现在时刻的显示模式是并列显示模式，则CPU12p基于保存在数据库22中的地图数据来生成表示车辆100的现在位置和其周边的广域地像MPl。生成的广域地图 图像MPl按图7(A)所示的要领在形成在存储器14中的显示区域14m的右侧被展开。接 着，CPU12p调整在工作区域14w中保持的驾驶支援图像ARV的倍率，以使其适合并列显示 模式，按照图7(A)所示的要领在显示区域14m的左侧展开具有调整后的倍率的驾驶支援图 像 ARV。在车辆100的驾驶座上设定的显示装置24，反复读出像这样在显示区域14m中展 开的广域地像MPl及驾驶支援图像ARV，按照图7(A)所示的要领在同一画面中显示读 出的广域地像MPl及驾驶支援图像ARV。另一方面，如果现在时刻的显示模式是复合显示模式，则CPU12p基于保存在数据 库22中的地图数据来生成表示车辆100的现在位置和其周边的狭域地像MP2。生成的 狭域地像MP2按照图7(B)所示的要领在显示区域14m的整面展开。接着，CPU12p调整驾驶支援图像ARV的倍率，以使其适合复合显示模式，基于GPS 装置20的输出来检测现在时刻的车辆100的方向，然后通过图形识别来检测在驾驶支援图 像ARV中表示出的路面绘图。基于车辆100的方向和路面绘图来决定驾驶支援图像ARV的 复合位置，按照图7(B)所示的要领将具有调整过的倍率的驾驶支援图像ARV复合在决定的 复合位置。若更详细地说明，则调整驾驶支援图像ARV的倍率，以使得驾驶支援图像ARV上的 路面的宽度与狭域地像上的路面的宽度一致。此外，调整驾驶支援图像的复合位置，以 使得驾驶支援图像ARV上的路面绘图遵循狭域地像上的路面绘图。再有，为了避免将 车辆图像Gl复合在狭域地像上的相反车道的路面上的情形，而参照车辆100的方向。显示装置24反复读出这样在显示区域14m中展开的狭域地像MP2及驾驶支 援图像ARV，在画面中显示读出的狭域地像MP2及驾驶支援图像ARV。一旦在图2所示的操作面板28上进行目的地的设定操作，CPU12p就基于GPS装 置20的输出来检测现在位置，基于检测出的现在位置和在数据库22中保存的地图数据来 设定到目的地为止的路线。如果现在时刻的显示模式是并列显示模式，则CPU12p生成按照广域来表示到目 的地为止的路线的路线信息RTl，将生成的路线信息RTl复合在在显示区域14m中展开的广 域地像MPl上。另一方面，如果现在时刻的显示模式是复合显示模式，则CPU12p生成 按照狭域来表示到目的地为止的路线的路线信息RT2，将生成的路线信息RT2复合在在显 示区域14m中展开的驾驶支援图像ARV上。按照图7(A)所示的要领来复合路线信息RT1， 按照图7 (B)所示的要领来复合路线信息RT2。这样复合的路线信息RTl或RT2也在显示装 置24的画面中显示。再有，在本实施例中，将广域地像MPl、狭域地像MP2、路线信息RTl、路线 信息RT2总称为“导航信息”。CPU12p还参照驾驶支援图像ARV反复从车辆100的周围搜索障碍物。如果发现 障碍物OBJ，CPU12p就将警告信息ARM复合在在显示区域14m中展开的驾驶支援图像ARV 上。对应障碍物OBJ的位置，按照图8所示的要领来复合警告信息ARM。此外，在显示装置 24的画面中也显示这样复合的警告信息ARM。CPU12p并行地执行包括图9所示的路线控制任务及图10 图12所示的显示控制任务在内的多个任务。再有，对应这些任务的控制程序被存储在闪速存储器26中。参照图9，在步骤S 1中将标记FLG设定为“0”。标记FLG是用于识别目的地的设 定/非设定的标记，FLG = O表示“非设定”，另一方面FLG= 1表示“设定”。在步骤S3中 判别是否在操作面板28上进行了目的地的设定操作，在步骤S5中判别是否在操作面板28 上进行了设定解除操作。在步骤S3中如果是“是”，则进入步骤S7，基于GPS装置20的输出，检测现在位置。 在步骤S9中，基于检测出的现在位置和保存在数据库22中的地图数据，设定到目的地为止 的路线。一旦完成步骤S9的处理，就在步骤Sll中将标记FLG设定为“1”，此后，返回步骤 S3。在步骤S5中如果是“是”，则进入步骤S13，解除到目的地为止的路线的设定。一 旦完成步骤S13的处理，就在步骤S15中将标记FLG设定为“0”，此后返回步骤S3。参照图10，在步骤S21中，基于从照相机CM_0 CM_3输出的被摄场景像P_0 P_3来生成驾驶支援图像ARV0在步骤S23中，基于GPS装置20的输出，检测车辆100的现 在位置。在步骤S25中，判别现在时刻的显示模式是并列显示模式及复合显示模式中的哪 一个。如果判别结果是并列显示模式，则进入步骤S27,另一方面，如果判别结果是复合显示 模式则进入步骤S35。在步骤S27中，基于保存在数据库22中的地图数据来生成表示车辆100的现在位 置和其周边的广域地像MPl。在步骤S29中，在显示区域14m的右侧展开生成的广域地 像MP1。在步骤S31中，调整在步骤S21中生成的驾驶支援图像ARV的倍率，以使其适 合并列显示模式。在步骤S33中，在显示区域14m的左侧展开具有调整过的倍率的驾驶支 援图像ARV。一旦完成步骤S33的处理，就进入步骤S49。在步骤S35中，基于保存在数据库22中的地图数据来生成表示车辆100的现在位 置和其周边的狭域地像MP2。在步骤S37中，在显示区域14m的整面展开生成的狭域地 像MP2。在步骤S39中，调整在步骤S21中生成的驾驶支援图像ARV的倍率，以使其适 合复合显示模式。在步骤S41中，基于GPS装置20的输出，检测现在时刻的车辆100的方向，在步骤 S43中通过图形识别来检测在驾驶支援图像ARV中表示出的路面绘图。在步骤S45中，基于 在步骤S41中检测出的车辆100的方向和在步骤S43中检测出的路面绘图，来决定驾驶支 援图像ARV的复合位置。在步骤S47中，在由步骤S45决定的位置中复合具有在步骤S39 中调整过的倍率的驾驶支援图像ARV。一旦完成步骤S47的处理，就进入步骤S49。在步骤S49中，由步骤S49判别标记FLG是否表示“1”。如果判别结果是“否”的 话，就按照原样进入步骤S61。如果判别结果是“是”，就经过步骤S51 S59进入步骤S61。在步骤S51中，判别现在时刻的显示模式是并列显示模式及复合显示模式中的哪 一个。如果现在时刻的显示模式是并列显示模式，就进入步骤S53，生成按照广域来表示到 目的地为止的路线的路线信息RT1。在步骤S55中，将生成的路线信息RTl复合在在步骤 S29中展开的广域地像MPl中。如果现在时刻的显示模式是复合显示模式，就进入步 骤S57，生成按照狭域来表示到目的地为止的路线的路线信息的RT2。在步骤S59中，将生 成的路线信息RT2复合在在步骤S47中展开的驾驶支援图像ARV中。在步骤S61中，判别在车辆100的周围是否存在障碍物0BJ。如果判别结果是“否”，
7就按照原样返回步骤S21，另一方面，如果判别结果是“是”，就在步骤S63中，将警告信息 ARM重合在驾驶支援图像ARV中，之后，返回步骤S21。警告信息ARM对应障碍物OBJ的位 置，被复合在驾驶支援图像ARV中。如以上说明可知，照相机CM_0 CM_3被设置在在路面上移动的车辆100的互不 相同的位置，输出表示车辆100的周围的被摄场景像P_0 P_3。CPU12P基于输出的被摄 场景像P_0 P_3，生成驾驶支援图像ARV (S21)，在显示装置24的画面中显示生成的驾驶 支援图像ARV(S31 S33、S39 S47)。与驾驶支援图像ARV的生成处理并行，CPU12p还检 测车辆100的位置(S23)，基于检测出的位置和数据库22的地图数据，生成导航信息(地图 信息、路线信息)(S27、S35、S53、S57)，然后，在显示装置24的画面中显示生成的导航信息 (S29、S37、S55、S59)。基于来自设置在车辆100的互不相同的位置的照相机CM_0 CM_3的输出来生成 驾驶支援图像ARV，再现车辆100的周围。基于车辆100的位置和地图数据而生成的导航信 息，与这样的驾驶支援图像ARV —起在显示装置24中被显示。由此，能在同一画面中确认 车辆100的周围的安全性及导航信息双方，提高操纵支援性能。再有，在本实施例中，将路线信息RTl复合在广域地像MPl中，将驾驶支援图 像ARV复合在狭域地像MP2中，将路线信息RT2复合在驾驶支援图像ARV中，然后将警 告信息ARM复合在驾驶支援图像ARV中。在此，复合图像的透过率不限于0%，可在 99%的范围内适当调整。此外，在本实施例中，虽然假设在路面上行驶的车辆为移动体，但本发明也能适用 于在海面上航行的船舶。
权利要求
一种图像处理装置，包括多个照相机，设置于在基准面上移动的移动体的互不相同的位置，输出表示上述移动体的周围的被摄场景像；第一生成部件，其基于从上述多个照相机输出的被摄场景像，生成相对上述基准面的鸟瞰图像；第一显示部件，其在监视器画面中显示由上述第一生成部件生成的鸟瞰图像；检测部件，其与上述第一生成部件的生成处理并行地检测上述移动体的位置；第二生成部件，其基于上述检测部件的检测结果和地图信息，生成导航信息；以及第二显示部件，其与上述第一显示部件的显示处理相关联地在上述监视器画面中显示由上述第二生成部件生成的导航信息。
2.根据权利要求1所述的图像处理装置，其特征在于， 上述导航信息包括地像，上述第一显示部件包括第一复合部件，该第一复合部件将上述鸟瞰图像复合在上述地 像中。
3.根据权利要求2所述的图像处理装置，其特征在于， 上述移动体及上述基准面分别相当于车辆及路面，上述第一显示部件还包括决定部件，该决定部件参照路面绘图来决定上述鸟瞰图像的 复合位置。
4.根据权利要求3所述的图像处理装置，其特征在于， 上述决定部件还参照上述移动体的方向来决定上述复合位置。
5.根据权利要求1至4中任一项所述的图像处理装置，其特征在于， 上述导航信息包括可视地表示到目的地为止的路线的路线信息，上述第二显示部件包括第二复合部件，该第二复合部件将上述路线信息复合在上述地 像和/或上述鸟瞰图像中。
6.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，该图像处理装置还包括发生部件，该发生部件在从上述移动体的周边检测出障碍物时 发出警告。
全文摘要
本发明提供一种图像处理装置。将照相机(CM_0～CM_3)设置于在路面上移动的车辆的互不相同的位置，输出表示车辆的周围的被摄场景像(P_0～P_3)。CPU(12p)基于输出的被摄场景像(P_0～P_3)生成相对于路面的全周鸟瞰图像，在显示装置(24)的画面中显示生成的全周鸟瞰图像。CPU(12p)还与全周鸟瞰图像的生成处理并行地检测车辆的位置，并基于检测出的位置和数据库(22)的地图数据来生成导航信息，然后在显示装置(24)的画面中显示生成的导航信息。由此，就能够在同一画面中确认车辆(100)周围的安全性及导航信息两者，提高操纵支援性能。
文档编号G01C11/00GK101943579SQ20101022257
公开日2011年1月12日 申请日期2010年7月2日 优先权日2009年7月2日
发明者浅利圭介 申请人:三洋电机株式会社