车辆周边显示装置和用于车辆周边图像的方法

专利名称：车辆周边显示装置和用于车辆周边图像的方法
技术领域：
本发明涉及用于表示车辆的周边状况的车辆周边显示装置。本发明还涉及用于表 示车辆周边图像的方法。
背景技术：
传统上，例如，JP-A-2003-189291和JP-A-2006-7498公开了一种用于通过将以下 图像相组合来表示合成视图的技术通过实时地对自车后侧的周边状况进行成像而获得的 图像、以及在自车向后移动的同时表示向视野外部移动的视图的图像和自车的图像。因此， 自车和周边状况之间的物理关系被提供给驾驶者。根据JP-A-2003-189291中说明的第一种传统技术，通过使用摄像机获得的图像 例如被转换为以按照摄像机的视点投影的地表面坐标的数据，以便连续地产生鸟瞰视 像的图像数据。因此，所表示的图像不是特别针对原始图像的失真图像。随后，在先前的成 像中获得的第一鸟瞰视像对应于车辆的移动而移动，以便在车辆移动之后产生鸟瞰视 像的图像数据。将车辆移动之后的鸟瞰视像的图像数据与比第一鸟瞰视像更 新的第二鸟瞰视像的图像数据相组合，以便产生合成鸟瞰视像。此外，合成鸟瞰视 像被转换为看似由摄像机获得的投影图像，并且在监控器装置等上表示该投影图像。根据在JP-A-2006-7498中公开的第二种传统技术，图形处理单元校正由广角镜 头引起的当前图像数据和先前的图像数据中的失真像差，以便获得无失真的图像。而且，图 形处理单元在车辆侧仅提取被校正的先前图像数据的一部分，以便获得先前数据用于合成 图像。而且，用于合成图像的先前数据的视角被转换为从车后轮轴中心的上侧的假想视点 的视点。而且，图形处理单元仅提取从车辆更远侧上的被校正的当前图像数据的一部分，以 便获得当前数据用于合成图像。而且，图形处理单元执行缩小转换，以便以预定的缩小比来 缩小用于合成图像的当前数据，以便产生缩小的数据。随后，图形处理单元通过将缩小的数 据与进行了视点转换的用于合成图像的先前数据的合成区域组合来产生合成图像，并且在 显示装置的屏幕上输出所产生的合成图像。而且，图形处理单元转换车辆侧边的延长线和 由后轮根据假想视角绘制的线，并且在显示器的屏幕上输出被转换的线。在每种所述传统技术中，执行各种图像处理，诸如失真校正、视点转换和所获得图 像的缩小转换。因此，图像处理的处理负荷变大。

发明内容
鉴于上述和其他问题，本发明的目的是生产一种车辆周边显示装置，其能够方便 表示诸如围绕车辆在视野外部的白线的对象。本发明的另一个目的是提出一种用于表示车 辆周边图像的方法。根据本发明的一方面，一种车辆周边显 示装置，用于表示车辆周边的图像，车辆周 边显示装置包括成像单元，其被配置用于拍摄车辆周边的图像。车辆周边显示装置还包 括第一对象检测单元，其被配置为从所拍摄的图像中获得与所拍摄图像的亮度和颜色中的至少一个相关的图像信息，从所拍摄的图像中获得关于所拍摄图像的位置信息，根据所 拍摄的图像中的对象的具体特征从所获得的图像信息中检测包括道路指示和路上物体的 至少一个的对象，并且，将关于该对象的图像信息与关于该对象的位置信息相关联。所述 车辆周边显示装置还包括存储单元，存储单元被配置为预先存储车辆的车辆图像并且存储 相关联的图像信息和位置信息的历史数据。车辆周边显示装置还包括绘图单元，绘图单元 被配置为根据历史数据来生成图像，将所生成的图像和包括预先存储的车辆图像的图像重 叠，并且将所重叠的图像转换为从预定视点观看。车辆周边显示装置还包括显示屏幕，显示 屏幕包括周边图像显示区域，周边图像显示区域被配置为表示由成像单元获得的车辆周 边的当前图像；以及，历史显示区域，其毗邻周边图像显示区域，并且被配置为在根据相关 联的位置信息的位置表示所转换的图像和从所转换的图像中的图像信息中检测的对象。根据本发明的另一方面，一种用于表示车辆周边图像的方法，方法包括拍摄车辆 周边的当前图像。方法还包括从所拍摄的图像获得与所拍摄图像的亮度和颜色中的至少 一个相关的图像信息。方法还包括从所拍摄的图像获得关于所拍摄图像的位置信息。方 法还包括根据在所拍摄的图像中的对象的具体特征从所获得的图像信息中检测包括道路 指示和路上物体中的至少一个的对象。方法还包括将所获得的关于该对象的图像信息与 所获得的关于该对象的位置信息相关联。方法还包括存储相关联的图像信息和相关联的 位置信息的历史数据。方法还包括根据所述历史数据来生成图像。方法还包括将所生成 的图像和车辆预先存储的车辆图像重叠。方法还包括将所重叠的图像转换为从预定视点 观看。方法还包括在周边图像显示区域中表示车辆周边的当前图像。方法还包括在毗邻 周边图像显示区域的历史显示区域中表示所转换的图像。方法还包括在根据相关联的位 置信息的位置表示在所转换的图像中的所检测的对象。


通过下面参考附图的详细说明，本发明的上述和其它目的、特征和优点将变得更 清楚。在附图中图1是示出根据第一实施例的车辆后方显示装置的方框图；图2是示出车辆和摄像机之间的物理关系的示意图；图3是示出了在所获得的图像中的亮度分布的图，用于描述一种从所获得的图像 中检测作为检测对象的在道路表面上的白线的方法；图4是示出当车辆向后停车时车辆后方显示装置的操作的主流程图；图5是用于图像处理的主流程图的子例程；图6是示出通过使用摄像机获得并且在整个屏幕上表示的原始图像的视图；图7是示出当未执行根据所述实施例的对象检测操作时表示的图像的视图；图8是示出当车辆向后停车时由根据所述实施例的车辆后方显示装置表示的图像的视图；以及图9是示出当执行在图8的历史显示区域中的白线的校正操作时的被校正的白线 的图像。
具体实施例方式车辆周边显示装置能够表示车辆周围的情况，并且通过在屏幕上提供表示来帮助 驾驶者的驾驶操作。将参考图1-9来说明作为车辆周边显示装置的一个示例的车辆后方显 示装置。车辆后方显示装置表示合成图像，所述合成图像包括在车辆后侧的当前实际图像、 车辆的图像和根据与该实际图像连续的先前图像而产生的车辆的周边。因此，所述车辆后 方显示装置能够向驾驶者通知自车的准确位置，并且有效地帮助向后停车。图1是示出了车辆后方显示装置的结构方框图。图2是示出车辆10和摄像机7之 间的物理关系的示意图。车辆后方显示装置包括摄像机7、显示装置9、图形处理电路(绘图 单元)4、解码器8、存储器5、微计算机1和车辆移动检测单元2。摄像机7获得(拍摄)车辆 后侧的图像。显示装置9表示通过使用摄像机7而获得(拍摄)的图像。图形处理电路4生 成要在显示装置9上表示的图像。解码器8将从摄像机7发送的模拟信号转换为数字信号， 并且将所转换的数字信号作为图像信号发送到图形处理电路4。存储器5存储关于通过使用 摄像机7而获得的图像的图像信息。微计算机1控制在显示装置9上的图像表示。如图2中所示，摄像机7位于车辆10的后保险杠IOa的上侧。摄像机7在诸如 180度的预定角度范围和在车辆后侧的预定距离范围中具有预定的视场范围。摄像机7用 作成像单元，用于获得整个广角范围内的后方图像。存储器5用作存储单元，其包括随机存取存储器(RAM)，用于存储从解码器8发送 的画面信号作为图像数据。存储器5将关于通过使用摄像机7获得并与图像上的位置信息 相关联的前一图像的图像信息存储为历史数据。另外，存储器5预存车辆10的后方图像。 车辆10的后方图像被生成以相对于所获得的图像具有精确的物理关系。在存储器5中预 存的车辆10的后方图像包括车辆10的后保险杠IOa等。在下面的实施例中，当从车辆的 上侧(高侧)的预定位置以预定视点观看时的计算机绘像(车辆计算机绘图，车辆CG) 被预先产生，并且用作后方图像的一个示例。存储器5与微计算机1和图形处理电路4中 的每一个通信。微计算机1用作对象检测单元，用于从图像中检测道路指示和在道路上的对象 (路上物体)中的至少一个，上述在道路上的对象位于车辆周围，并且被要求检测出来以帮 助驾驶操作。上述路上物体是，例如另一辆车辆、墙壁以及通过使用超声波声纳等检测的行 人。上述道路指示是在道路上或位于车辆10即将移动到的空间中的障碍物、停车带以及导 向线等。障碍物是，例如凹槽、台阶、路边石、杆以及人。停车带是，例如示出停车空间的白 线。道路指示用作在车辆周围的标记。当前应用人注意从移动到视野外部的图像中检测出作为在车辆周围标记的白线 的边缘，并且与当前的原始图像组合表示该边缘，以便取得车辆周围的视图，和执行白线的 检测而不使用高级图像处理。在检测白线的边缘的处理中，可能从所获得的图像中错误地 检测除白线之外的对象。结果，该除白线之外的对象(噪声)被绘制为白线。因此，与白线 等 具有相同颜色的点被绘制在显示器上表示的图像的除了白线之外的区域中。这样，难于 识别的图像被提供给驾驶者。根据应用人的注意，微计算机1从通过使用摄像机7获得的图像中获得关于图像 的亮度和颜色的至少一个的图像信息和关于图像的位置信息。因此，微计算机1基于所获 得的图像信息来检测对象。所获得的图像信息与关于图像的位置信息相关联，并且存储在存储器5中作为历史数据。微计算机1根据在图像上的具体特征来从所获得的图像信息中 检测对象。图像上的具体特征是基于图像信息生成的图像上对象的特性特征。具体特征例 如是颜色特征、亮度特征、发光度特征和形状特征等。微计算机1用作对象检测单元，用于 提取图像的具体特征，以便检测等同于具体特征的检测对象。例如，微计算机1使用对象检测方法来检测一个范围，，将其中亮度或者颜色不同 于该范围周围的图像范围作为检测对象。下面说明使用微计算机1作为对象检测单元的对 象检测方法的一个示例。微计算机1控制在显示装置9上表示所生成的图像的时间点和位 置。微计算机1还用作显示控制单元，用于控制图像在显示装置9上的表示。微计算机1 还作为控制装置，用于从车辆移动检测单元2、车辆状态检测单元3、存储器5和图形处理电 路4等接收信号，执行预定的计算，并且向图形处理电路4输出作为计算结果的图像数据。
微计算机1包括只读存储器(ROM)，其存储计算程序等；以及，随机存取存储器(RAM)，用 作计算的工作空间。微计算机1执行在ROM中存储的程序。微计算机1读取用于执行程序 所需要并且暂时被存储在存储器5和RAM中的信息。图形处理电路4用作绘制单元，用于生成图像，向显示装置9输出所生成的图像， 并且与用作对象检测单元的微计算机1通信。图形处理电路4根据由微计算机1执行图像 处理的处理结果在显示装置9上生成(绘制)图像。图形处理电路4基于微计算机1提供 的、生成预定图像的生成指令来生成预定图像。因此，微计算机1和图形处理电路4用作生 成图像的图像生成单元。图形处理电路4输出通过使用摄像机7获得的车辆后侧的原始图 像，以将该原始图像定位于后方图像显示区域20 (图7)中。图形处理电路4在历史显示区 域30上叠加车辆后侧周围的路上物体和从历史数据中提取的道路指示中的至少一个和车 辆CG，以从上述预定视点观看。这样，图形处理电路4向显示装置9输出叠加视图。图形处 理电路4可以在历史显示区域30上表示车辆10的车轴部分11和车轮12的位置中的至少 一个。图形处理电路4在历史显示区域30中的图像中加入在后方图像显示区域20中的车 辆后方图像的失真。图形处理电路4还在历史显示区域30中绘制所提取的路上物体或者道 路指示，以与在后方图像显示区域20中当前表示的路上物体或者道路指示一起连续地被 表示。图形处理电路4执行用于通过生成显示装置9的每个像素的灰度数据而绘制图像的 处理。微计算机1执行用于从存储器5获得历史数据的处理，并且执行用于参考在ROM中 存储的信息而生成图像的灰度数据的处理，同时在RAM中暂时存储处理所需要的信息。图 形处理电路4向显示装置9输出作为计算结果的图像的灰度数据。显示装置9具有显示屏幕，其包括周边图像显示区域和历史显示区域30。周边图 像显示区域表示通过使用摄像机7获得的当前车辆周边图像。历史显示区域30邻近周边图 像显示区域，用于表示基于历史数据而生成的图像。显示装置9表示在预定的车辆状态中 的车辆周边图像，并且当例如车辆10的传动装置的档位在倒档位置时在周边图像显示区 域中表示车辆后侧的图像。显示装置9具有后方图像显示区域20和历史显示区域30。后 方图像显示区域20表示当车辆10向后倒车时，通过使用摄像机7获得的当前车辆后方图 像，而不校正在图像中的失真。后方图像显示区域20是周边图像显示区域的一个示例。历 史显示区域30与后方图像显示区域20邻近，用于表示根据先前的历史数据而生成的图像。 历史显示区域30在基于相关联的位置信息确定的位置表示由微计算机1从所获得的图像 信息中检测的对象。显示装置9例如是液晶显示器，并且位于手柄之前或者位于仪表板中央部分的仪表指示器的一部分中。在本实施例中，点矩阵型TFT透射液晶面板被用作显示装置9的一个示例。TFT透射液晶面板具有在矩阵形状中分配的多个像素作为用于表示图 像的表示单元。显示装置9的每个像素包括子像素，其分别具有包括红色(R)、绿色(G)和 蓝色(B)三色的滤色器，并且能够用颜色指示图像。显示装置9基于从图形处理电路4获 得的灰度数据来驱动每个像素以表示图像。显示装置9包括在表示侧后侧的背光装置(未 示出)，用于从后侧点亮图像，以执行图像的透射表示。显示装置9可以位于风挡附近的仪 表板中。根据本结构，驾驶者可以在观看车辆前方的舒适状态中可视地识别后方图像，而不 用向手柄附近的前侧移动目光。显示装置9可以位于在车辆宽度方向上仪表板的中央，并 且在仪表板上倾斜。或者，显示装置9可以位于车辆导航装置的液晶显示器上。车辆移动检测单元2基于车轮的旋转速度等来检测车辆10从特定状态移动的距 离，基于驾驶盘的旋转角度等来检测当前的偏转方向，并且向微计算机1发送用于表示所 检测的移动的信号。可以通过下述方式来获得移动和偏转方向将图像转换为鸟瞰视 像，并且通过将其前一个图像与其当前图像匹配来计算。车辆状态检测单元3接收车辆10 的各种状态的检测信号。在本实施例中，车辆状态检测单元3至少接收传动装置的档位信 号，并且将所接收的信号发送到微计算机1。微计算机1可以接收从声纳装置6输出的信号。声纳装置6用作对象检测单元， 用于检测在车辆周围的路上物体，并且检测路上物体距车辆10的距离。声纳装置6获得关 于路上物体的位置信息。所获得的位置信息与通过使用摄像机7从图像获得的图像信息相 关联。声纳装置6例如是超声波传感器，并且被配置用于检测在车辆周围存在的固体对象 等与车辆的距离。声纳装置6向微计算机1输出检测信号。例如，预定数量的声纳装置6 以预定的间隔被嵌入在车辆的后方的表面中。更具体地，每个声纳装置6具有检测单元，其 例如从后保险杠IOa暴露。以下将参考图3说明对象的检测操作的一个示例。在检测操作中，微计算机1根 据图像的具体特征从所获得的图像信息中获得对象。图3是示出在所获得的图像中的亮度 分布的图，用于描述一种用于从所获得的图像中检测作为检测对象的在道路表面上的白线 的方法。以下将描述停车带的白线的检测作为检测对象的一个示例。而且，在一个示例中， 关于图像的亮度级的信息被用作从图像获得的图像信息。微计算机1从存储在存储器5中伴随车辆10移动的的前一个图像检测图像的亮 度上的改变，并且在屏幕上绘制在假想的二维坐标上的改变，由此产生在二维坐标上的亮 度的分布。在图6中所示的车辆后侧的原始图像中，二维坐标包括例如在水平方向上可移 动的X坐标和在垂直方向上可移动的Y坐标。在图3所示的亮度分布中，图像的X轴与水 平轴相关联，并且亮度的幅度与垂直轴相关联。微计算机1首先在二维坐标中的Y轴中固 定图像中的垂直位置(Y坐标)，并且通过仅改变沿着X轴在图像上的水平位置(X坐标)而 提取在图像上的亮度改变。即，在X轴上扫描图像。因此，微计算机1产生伴随着在X坐标 中的改变的亮度分布。在伴随着在X坐标中的改变的亮度分布中，对应于在X轴上水平位 置(X坐标)的图像中的白线的亮度高于在X轴上另一部分的亮度。这是由以下原因引起 的在图像中道路表面被以诸如比作为道路指示的白线的颜色更深的浙青材料的黑色的颜 色表示。在图像中亮度大于其周围的部分在亮度级不同于其周围的范围中。在图3中，该部分出现在X轴上的两个点Xl和X2的每一个中。两个点Xl和X2包括多个范围，每个范 围的亮度级不同于周围。两个点Xl和X2包括在图3的左侧的山状部分，其在X轴上具有 宽度Wl ；以及，在图3的右侧的山状部分，其在X轴上具有宽度W2。在左侧上的山状部分相 对于在X轴上的坐标Xl的中心基本对称，并且在右侧上的山状部分相对于在X轴上的坐标 X2的中心基本对称。所述山状部分的中心的坐标是从图像检测的在X轴上的白线的中心的 坐标。所述山状部分的宽度W1、W2的每个值是白线的宽度。宽度Wl和宽度W2的每一个在 水平方向上的两端对应于白线的边缘部分。在改变在Y轴上的垂直位置的同时，可以提取 和检测伴随着在X轴上的水平位置上以这种方式产生的改变的多个亮度分布。即，当改变 在Y轴上的垂直位置的同时，继续在X轴方向上的图像的扫描。随着在Y轴上的坐标增大， 即当在继续扫描的同时提高在Y轴上的垂直位置上的改变时，在伴随着X轴上的改变的亮 度分布上亮度大于周围的部分成为在图像上实际的白线。通过以这种方式使用白线检测方法，可以将在图7中所示的显示装置9中的图像 表示改变为在图8中所示的表示。图7是示出当不执行根据该实施例的白线检测操作(对 象检测操作)时表示的图像的视图。图8是示出当执行根据该实施例的白线检测操作(对 象检测操作)时并且当车辆向后停车时表示的图像的视图。在图7的表示中，显示装置9 将噪声表示为白线，其实际上不是白线。因此，具有与白线310的颜色相同颜色的点被表示 在道路表面32上的一部分中，在道路表面32上白线实际上并不存在。结果，不清楚的图像 被提供给驾驶者。相反，当执行根据本实施例的白线检测操作时，如图8中所示，白线31被 以较少的道路表面32上的噪声表示在历史显示区域30中，白线31可以进一步清楚地被识 别为线。可以通过下述方式来执行白线的检测仅存储与坐标(位置信息)相关联的白线 的边缘部分，而不是检测在二维坐标上亮度改变的分布。以这种方式，可以减少在白线检测 操作中的数据处理以及数据处理所需要的工作区和处理时间。可以通过下述方 式来绘制白 线检测包括从二维坐标上的亮度分布的宽度Wl和宽度W2的每一个的仅中心部分的坐标 的位置信息，并且在历史显示区域30中对应于所检测的位置信息的位置分配具有预定颜 色和预定尺寸的点(例如白点)。例如，当所检测的白线具有11个像素的宽度时，可以在白 线的每个边缘上绘制直径为8个像素的圆形符号。以这种方式，可以在白线检测操作和绘 制操作中进一步减少数据处理以及数据处理所需要的工作区和处理时间两者。可以在显示 装置9中的图像上反映所检测的白线的亮度。原因描述如下。图3中所示的预定阈值L是 用于确定是否对象是白线的参考值。参考值可以是预先存储在微计算机1中的预定值。或 者，参考值可以是通过使用整个图像的平均亮度的预定计算方法而获得的值。作为对象检测单元，微计算机1检测作为对象的图像信息的图像亮度和阈值L之 间的差。当该差根据在X轴上的位置而改变时，对于每个像素检测该差，并且对于每个像素 计算根据所检测的差的亮度。这样，微计算机1根据所检测的白线(对象)的图像信息和 阈值L之间的差来计算亮度。微计算机1使图形处理电路4在历史显示区域30中绘制白 线(对象)，以便对于每个像素在亮度上计算白线的亮度。图形处理电路4以所计算的亮度 绘制白线，并且使历史显示区域30表示白线，其反映了所检测的亮度。因此，在历史显示区 域30中表示的白线整体上不是同一亮度。白线反映了当获得图像时的实际亮度，由此，白 线基本上被以实际亮度表示。
如图3中所示，在图3中左侧的白线部分具有在山状部分的中心的图像的亮度(图像信息)和阈值L之间的差Al，并且图3中右侧的白线部分具有差A2。微计算机1可 以仅以这种方式计算山状部分中心的亮度和阈值L之间的差，并且可以使图形处理电路4 在历史显示区域30中绘制整条白线，以便整条白线具有在该中心中计算的亮度。因此，图 形处理电路4绘制具有该中心的亮度的白线，并且使历史显示区域30以该亮度表示白线。 在这种情况下，在历史显示区域30中表示的白线整体具有同一亮度。微计算机1可以使历史显示区域30表示白线31与后方图像显示区域20中的白 线21连续，以便驾驶者可以识别白线的历史记录，其当前在驾驶者的视野外部。在此情况 下，根据所述处理，优选地可以减少在Y轴上的坐标改变的数量。另外，与足以形成白线的 完整轨迹的绘制数量相比较，优选地减少和提取绘制数量。因此，根据由微计算机1执行的 白线检测，当白线被检测为在图像上的线时，所述白线被检测为多个点的绘制的集合。以这 种方式，可以进一步减少数据处理和所述数据处理所需要的工作区和处理时间。通过使用白线的检测方法，可以减少在车辆后方显示装置中的处理负荷和存储器 的工作区。因此，不必提供用于控制例如车辆导航装置的高性能控制装置，并且用于控制例 如仪表指示器的控制装置就足够。而且，当关于图像的颜色级的信息被用作从图像获得的 图像信息时，白线的检测方法等同于参考图3的描述的方法。在这种情况下，构成图像的三 基色的R值(红色级)、G值(绿色级)和B值(蓝色级)的每个等同于在图3的Y轴中的 垂直位置指定的亮度。而且，基于符合要检测的对象的颜色的值及该值的等级来检测图像 的颜色在颜色级上不同于图像的周边的范围，因此，所检测的范围与位置信息相关联，并且 被存储在存储器5中。本检测方法的其它部分等同于基于亮度的检测方法的那些部分。因 此，根据所检测的白线的图像信息的亮度和颜色的白线31被绘制在历史显示区域30中。接下来，当车辆向后停车时执行的操作将被描述为车辆后方显示装置的操作的一 个示例。图4是示出当车辆向后停车时执行的车辆后方显示装置的操作的主流程图。图5 示出了在主流程图中的图像处理的子例程。图4和5的流程图被微计算机1执行，微计算 机1也用作控制车辆后方显示装置的操作的控制装置。当向微计算机1供电时，图4的主流程图开始。首先，在步骤10，显示装置9在通 常情况下表示除车辆后方图像之外的图像。在步骤20，微计算机1确定是否微计算机1从 车辆状态检测单元3接收到信号，该信号指定传动装置的档位将处于倒档位置。微计算机 1重复步骤20的确定，直到微计算机1接收到指定倒档位置的信号。在步骤20，可以确定 是否车辆状态检测单元3和微计算机1接收到在显示装置9上表示车辆周边图像的指令信 号。当例如乘员操纵用于命令表示车辆周边图像的开关时接收到指令信号。在这种情况下， 可以根据车辆移动的方向来选择在显示装置9上表示的图像。当车辆向前移动时，可以在 显示装置9上表示在车辆前方的图像。乘员可以操纵用于命令选择车辆侧面图像的开关。当在步骤20接收到有指定倒档位置的信号时，本处理进行到步骤30，其中，微计 算机1执行图像处理的子例程，以便产生要被输出到显示装置9的图像。通过用于图像处 理的子例程中的图5中的步骤300到步骤311的处理来绘制(生成)图像。当从图形处理 电路4向显示装置9输出绘制的图像时，在步骤40表示包括后方图像显示区域20和历史 显示区域30的屏幕。在车辆移动的同时，在步骤20，根据用于指定车辆向后移动的信号接收连续地获得和绘制要在步骤40在显示装置9上表示的图像。在显示装置9上连续地表示在后方图 像显示区域20中的实时图像和与在后方图像显示区域20中的图像相连续的在历史显示区 域30中的图像，直到在步骤50确定倒档位置的档位被释放。当在步骤50得到否定判断时， 处理进行到步骤30，在此，继续执行图像处理的子例程。因此，与在后方图像显示区域20中 的实时图像相连续的在历史显示区域30中的图像被根据车辆10的移动绘制。而且，在显 示装置9上的历史显示区域30中表示所绘制的图像。当在步骤50得到肯定判断时，处理 返回到步骤10，其中，取消在显示装置9上表示后方图像的命令。一般，当停车时关断点火 开关。因此，当关断点火开关并且去活微计算机1时，结束本流程图的处理。接下来，将参考图5来说明图像处理的步骤300到步骤311的子例程。摄像机7 获得车辆后侧的图像数据以包含预定区域。首先，获得图像数据。在步骤301，通过解码器 8和图形处理电路4向存储器5和微计算机1输出由摄像机7获得的图像的信号作为图像 数据。图像数据被转换为随着车辆10移动的屏幕上的假想坐标上的数据，被转换的图像数 据被存储和累积在存储器5中。在显示装置9上并未实际原样地表示所获得的图像数据。 假定，当所获得的图像数据被如实表示时，则在图6中所示的视图中，在屏幕的上半部分表 示后方图像，并且在屏幕的下半部分表示车辆10的后方分。图6是示出由摄像机7获得并 且在整个屏幕上表示的原始图像的视图。在步骤301，图形处理电路4执行处理以产生历史显示区域30和后方图像显示区 域20，并且将历史显示区域30和后方图像显示区域20分配到屏幕。如图7中所示，后方图 像显示区域20位于屏幕的上部分，并且历史显示区域30邻近后方图像显示区域20地位于 屏幕的下部分。图7是用于说明当车辆向后停车时要表示的屏幕的一个示例的视图。在步骤302，微计算机1读取存储在存储器5中的图像数据，并且通过白线检测方 法从自图像获得的图像信息中检测道路指示。在这个示例中，道路指示是停车带的白线21。 在当前条件下，所检测的白线21被转换为图像在假想坐标(图像坐标)上的形式。位置 (位置信息)、颜色、亮度和诸如与图像中的白线的边缘(白线边缘)相关的宽度的尺寸被 检测。在步骤303，与白线边缘相关的图像坐标被转换为三维坐标。因此，计算在三维空间 中的白线边缘的位置(三维位置)。在步骤304，当声纳装置(对象检测单元)6检测诸如车辆外部障碍物的路上物体 时，声纳装置6将所检测的路上物体的位置和所检测的路上物体的距离从车辆10向微计算 机1输出。当由声纳装置6所检测的路上物体与由微计算机1从图像所检测的对象相同时， 包括由声纳装置6所检测的位置、距离等的位置信息用于校正和补偿从图像获得的位置信 息。在步骤305，微计算机1将被转换为图像坐标的白线21的图像信息与被转换的白线21 的位置信息相关联，并且将该相关联的信息在存储器5中存储为历史数据。在步骤306，计算白线边缘和根据车辆10的移动而在屏幕上移动的路上物体的三 维位置。具体地，当车辆10移动时，微计算机1读取与存储器5中存储的白线边缘和路上 物体相关的三维位置(历史数据)，并且根据车辆的移动和由车辆移动检测单元2检测的旋 转角度(手柄的驾驶角度)来计算车辆被移动后的三维位置，由此更新该三维位置。在步骤307，微计算机1计算和更新与在 步骤306中更新的白线边缘和路上物体相 关的三维位置的图像坐标，以便在与后方图像显示区域20中的原始图像相连续的历史显 示区域30中表示白线31和路上物体。在步骤308，微计算机1在存储器5中存储所计算的图像坐标。随后，在步骤309到步骤311，图形处理电路4基于从微计算机1输出的信号来绘 制要在显示装置9上表示的图像。具体地，在步骤309，图形处理电路4在后方图像显示区 域20中绘制车辆的当前后方图像(原始图像)等。在步骤310，图形处理电路4读取预先 存储在存储器5中的车辆CG，并且在历史显示区域30中绘制从预定视点观看的车辆CG。在 本附图中，向车辆CG加上失真，该失真类似于在后方图像显示区域20的原始图像中引起的 失真，并且在历史显示区域30中绘制失真的车辆CG。在步骤311，图形处理电路4读取从 存储器5中存储的位置、颜色、亮度和诸如白线、道路指示等的图像坐标的宽度的尺寸。因 此，图形处理电路4在历史显示区域30中绘制白线31，其包括从预定视点观看的白线边缘。 在本附图中，在步骤310，所读取的白线被应用以公知的视角转换，以从与车辆CG的位置相 同的预定视角被观看。而且，向白线加上与在后方图像显示区域20中的原始图像的失真相 同的失真。因此，与车辆CG类似地绘制大大失真的白线31。以下将说明用于在步骤310和步骤311向图像加上失真的详细操作的示例。首先， 执行校正以去除在预先通过使用摄像机7获得的图像数据的图像中的失真。而且，被校正 的图像数据被转换为在三维坐标中的图像数据。所述三维空间基于车辆的移动和旋转的信 号按照车辆的移动被转换和移动(旋转和平移等)。因此，保持自车的精确的位置。被转换 为三维坐标中的数据的图像数据进一步被转换为在屏幕上的假想坐标中的数据，由此形成 二维数据。原始图像的失真被加到所转换的二维数据上。因此，可以在历史显示区域30中 绘制被加上类似于原始图像的失 真的失真的车辆CG和白线31。在图4中，在步骤40，将在步骤310或者步骤311在历史显示区域30中绘制的图 像与在步骤309在后方图像显示区域20中绘制的图像组合(合成)。这样，在两个相邻区 域中的组合图像被输出并表示在显示装置9上。通过执行上面的图像处理子例程，如图8中所示，包括后方图像显示区域20中的 白线21和历史显示区域30中的白线31的原始图像跨越两个区域之间的边界被连续地表 示。注意，可以以减小的显著噪声清楚分明地表示白线31。另外，可以绘制白线31使得与 在后方图像显示区域20和历史显示区域30之间的边界上的白线21具有基本上相同的宽 度和基本上相同的颜色。因此，白线31可以被表示为与白线21重合。换句话说，位于车 辆主体周边并且当前在摄像机7的视野外部的白线31和位于车辆后侧并且当前被摄像机 7所看到的白线21在显示装置9上被整体地表示。因此，可以向驾驶者提供车辆周边的图 像，其在可视性上大大地增强。以这种方式，可以向驾驶者提供前一个图像和当前图像并表 示前一个图像和当前图像之间的边界，其中，前一个图像表示有效地用于精确地查看自车 位置的标记(白线31)。这样，可以清楚分明地向驾驶者提供前一个图像和当前图像作为一 个图像，而没有不舒适的感觉。因此，驾驶者可以清楚地和正确地获得车辆主体、在车辆主 体周围绘制的道路指示及当前的后方图像之间的物理关系。如图8中所示，图形处理电路4可以在后方图像显示区域20中的图像上叠加车辆 10的预期路径线22和车辆的侧边的延长线等。预期路径线22是示出基于手柄的角度而向 后移动的车辆的预期轨迹的指示器。可以以不同颜色绘制预期路径线22和车辆侧边的延 长线，以便对于驾驶者而言清楚而分明。此外，如图9中所示，图形处理电路4可以减少被加到在历史显示区域30中绘制的白线31A中的失真，以在远离与后方图像显示区域20邻界的位置进一步线性地校正白线 31A。图9是示出通过校正在图8中的历史显示区域30中的白线31而获得的被校正的白 线31A的示例的视图。以这种方式，白线31A被表示为原始图像中在与后方图像显示区域 20的边界上与白线21连续的一条线，并且白线31A在远离后方图像显示区域20的边界的 位置不大幅度弯曲。以下将说明根据本实施例的车辆后方显示装置的操作效果。车辆后方显示装置当 接收到用于命令车辆10开始向后移动的信号时表示车辆周边图像。显示装置9包括摄像机7，用于获得车辆后侧的图像；微计算机1 (对象检测单 元)，用于从所获得的图像检测白线31 ；存储器5(存储单元)，用于存储从由摄像机7拍摄 的前一个图像中获得的数据作为历史数据，并且存储车辆后方的预先绘制的图像，使得预 先绘制的图像与所拍摄的图像具有精确的物理关系；以及，图形处理电路4。后方图像显示 区域20表示由摄像机7拍摄的当前车辆后方图像，而没有校正在图像中的失真。历史显示 区域30毗邻后方图像显示区域20，并且表示使用历史数据产生的图像。白线31是路上物 体和道路指示中的至少一个的示例。微计算机1从所拍摄的图像中获得与图像上的亮度和 颜色中的至少一个的级相关的图像信息和关于图像的位置信息。微计算机1基于该图像信 息来检测白线31。存储器5预先存储车辆的后方分的图像。另外，存储器5将该图像信息 与关于由微计算机1检测的对象的位置信息相关联，并且将其存储为历史数据。图形处理 电路4在历史显示区域30中将预先存储的车辆的后方分的图像叠加到在车辆的后方分周 围的白线31的图像上，其中，白线31的图像是从历史数据提取的，因此在历史显示区域30 中从预定的视点观看所叠加的图像。微计算机1根据图像的具体特征从所获得的图像信息 中检测对象。例如，微计算机1检测图像信息的范围作为对象，在该范围中，图像在亮度级 或者颜色级上与周围不同。在本结构中，在周边图像显示区域中表示当前的车辆周边图像。 另外，在历史显示区域中的基于相关联的位置信息所确定的位置绘制由微计算机1从图像 信息中检测的对象。根据上述结构，获得下面的操作效果。在对象检测中使用与所拍摄图像的亮度和 颜色中的至少一个的级相关的图像信息。因此，可以在减小用于处理图像信息的处理负荷 的同时执行对象的检测。此外，通过基于亮度或者颜色的检测操作来获得图像信息，并且获 得关于图像的位置信息。将图像和位置信息相关联，并且存储为历史数据。由此，可以足够 精确地检测对象的位置和尺寸。另外，也可以减小所存储的历史数据的数据量。微计算机 1(对象检测单元)基于图像中的具体特征从所获得的图像信息中检测对象。图形处理电路 4基于位置信息在历史显示区域30中的位置上绘制对象。因此，可以在显示装置9上表示 具有较少噪声的图像。另外，驾驶者可以看到模糊性被降低的图像。因此，可以减少被施加 到微计算机1上用于图像处理的操作负荷。另外，驾驶者可以在可视性增强的屏幕上正确 地识别自车的位置。因此，可以增强辅助停车的功能。此外，在历史显示区域30中绘制具有根据检测的白线(对象)的图像信息的亮度 和颜色的白线31 (对象)。根据本结构，与传统的以统一的亮度和统一的颜色表示白线相比 较，以从所拍摄的图像中进一步可视的色调来表示本白线。具体地，即使当在其中白线31 实际上并不存在的图像的部分中检测到噪声时，也以从所述图像中获得的相同亮度级和颜 色级表示其中检测到噪声的图像的部分。因此，即使当检测到噪声并且在该图像的部分中表示所检测到的噪声时，不以指定的白线的颜色来表示该图像的部分。因此，在显示屏幕上的图像中不显著地表示噪声。而且，微计算机1 (对象检测单元)检测白线31 (对象)的图像信息和预定阈值L 之间的差。在历史显示区域30中，以根据所检测的白线31(对象)的图像信息和阈值L之 间的差的亮度和颜色表示白线31 (对象)。根据本结构，以根据在检测为白线31的范围中的 亮度级或者颜色级和阈值L之间的差的亮度和颜色表示白线31。因此，与传统的以统一亮 度和统一颜色表示白线相比较，可以以与所拍摄图像的亮度和颜色进一步类似的色调来表 示白线。即，即使当在其中白线31实际上并不存在的图像的部分中检测到噪声时，使用从 图像获得的相同亮度级和相同颜色级来表示其中检测到噪声的图像的部分。以这种方式， 不与传统方法类似，在其中检测到噪声的图像的部分中不绘制用于指定白线的预定尺寸的 点。因此，即使当检测到噪声并且在图像的该部分中表示所检测到的噪声时，也不以指定的 白色表示图像的该部分。因此，在显示屏幕上的图像中不显著地表示噪声。而且，微计算机1(对象检测单元)从所检测的白线31(对象)的图像信息中检测 白线31 (对象)的宽度。在历史显示区域30中绘制具有对应于所检测的宽度的宽度的白 线31 (对象)。根据本结构，基于所检测的白线的宽度来指定在历史显示区域30中表示的 白线31(对象)的宽度。因此，可以清楚地表示具有指定宽度的白线31。这样，也可以清楚 地表示白线31的边缘。以这种方式，可以清楚地向驾驶者通知白线31的存在。因此，可以 增强辅助驾驶操作。可以以从所获得的图像信息中获得的道路表面的平均颜色和道路表面的平均亮 度中的至少一个来绘制要在历史显示区域30中表示的白线31 (对象)和除了车辆后方分 的图像之外的道路表面。根据本结构，可以在历史显示区域30中以接近实际道路表面颜色 的平均颜色和平均亮度来表示道路表面。通过以平均颜色和平均亮度中的至少一个来表示 道路表面，可以进一步减少屏幕上的噪声。而且，图像中道路表面可以进一步与白线31 (对 象)相区别。因此，可以进一步增强驾驶者的识别。而且，还可以提供声纳装置6 (对象检测单元)以检测在车辆周边周围的路上物 体、路上物体距车辆10的距离以及关于路上物体的位置信息。根据本结构，可以通过声纳 装置6来补充关于路上物体的位置信息。因此，可以进一步精确地向驾驶者通知路上物体 的位置，并且可以进一步增强辅助驾驶操作。可以在历史显示区域30中绘制标度线，用于示出与车辆10的预定距离。可以根 据关于对象的位置信息来确定由标度线示出的与车辆的距离。可以根据由作为对象检测单 元的声纳装置6检测的距离信息来确定当前的距离。以这种方式，在历史显示区域30中的 车辆10周围绘制路上物体和/或道路指示及标度线。因此，驾驶者可以详细地识别车辆相 对于在车辆周边周围的空间的位置。因此，可以进一步增强辅助驾驶操作。在历史显示区域30中使用车轴部分11和车轮12的位置来表示车辆10。以这种 方式，可以通过以下方式来清楚地向驾驶者通知车轴部分11和车轮12相对于车辆周边周 围的状况的位置在历史显示区域30中表示车轴部分11和车轮12的位置。因此，可以提 供用于驾驶操作的进一步增强的指导图像。此外，车辆后方显示装置检测作为检测对象的白线21 (停车带)等，白线21 (停车 带)作为道路指示示出停车空间。车辆后方显示装置还在后方图像显示区域20中的当前图像上和在历史显示区域30中的从先前的数据产生的图像上连续地表示检测对象。以这 种方式，从所拍摄的图像中检测不是三维对象的道路指示。因此，与用于检测三维对象的检 测方法相比较，可以降低图像处理装置和检测设备所需要的处理性能和处理时间。因此，可 以产生便宜的设备。后方图像显示区域20表示由摄像机7拍摄的车辆周边周围的当前图像，而未校正 在图像中的失真。以这种方式，可以表示例如180度范围的车辆后侧的大区域。因此，与其 中校正失真的图像的表示相比较，可以放大车辆后侧的表示范围。因此，驾驶者可以获得增 强的车辆周边信息。 图形处理电路4向历史显示区域30中的图像加上后方图像显示区域20中的车辆 后方图像的失真，并且绘制失真的车辆后方图像。以这种方式，通过在历史显示区域30中 绘制车辆的失真的后方图像，在后方图像显示区域20中的当前原始图像可以进一步可视 地与当前在摄像机7的视野外部并且在历史显示区域30中所表示的图像相关联。因此，驾 驶者可以更容易地识别车辆和当前在视野外部的车辆周围的周边之间的关系。而且，图形 处理电路4向历史显示区域30中的图像加上在后方图像显示区域20中的车辆后方图像的 失真。此外，图形处理电路4在历史显示区域30中表示所提取的白线31 (路上物体或者道 路指示)，以使得与在后方图像显示区域20中表示的白线21 (路上物体或者道路指示)连 续。以这种方式，在历史显示区域30中，在后方图像显示区域20中的当前原始图像可以可 视地与在历史显示区域30中当前在摄像机7的视野外部的图像整体上相关联(连接)。而 且，图形处理电路4校正在历史显示区域30中的路上物体和/或白线31A(道路指示)在 远离与后方图像显示区域20邻界的部分成直线。以这种方式，在与后方图像显示区域20 的边界附近连续地绘制白线31A等。另外，在远离该边界的部分以直线形状绘制白线31A 等，以便去除向历史显示区域30中的后方图像加上的失真。以这种方式，在历史显示区域 30中绘制白线31A等，使得在车辆10近处与车辆10基本上平行。因此，可以减小由在历史 显示区域30中的图像失真引起的不适，同时经由边界保持在后方图像显示区域20中的图 像和在历史显示区域30中的图像之间的一致性。图形处理电路4可以在历史显示区域30中仅表示车辆的后方分和白线31 (路上 物体和/或道路指示)的CG，该CG被加上了在后方图像显示区域20中的原始图像的失真。 以这种方式，仅仅在历史显示区域30中绘制车辆和白线31 (路上物体和/或道路指示)的 CG，而不绘制其它信息。因此，驾驶者可以直接而清楚地获得车辆和诸如白线31的标记之 间的物理关系。此外，可以通过限制所绘制的信息来减少图像处理负荷。在历史显示区域30中除了车辆CG、路上物体和/或道路指示之外的图像的地面颜 色可以不同于后方图像显示区域20中的道路表面的颜色。在地面颜色的这种分配中，后方 图像显示区域20中的图像和在历史显示区域3中的图像之间的边界变得清楚。这样，在显 示装置9上的整体的合成图像中，驾驶者可以容易地将在屏幕上部分中的图像识别为当前 的原始图像，并且将在屏幕下部分中的图像识别为当前已在视野外部的前一个图像。例如， 历史显示区域30的地面颜色可以不同于道路表面的实际颜色。具体地，可以以黑色或者蓝 色来表示该地面颜色。注意，使用与车辆CG的颜色不同的颜色来表示该地面背景颜色。以 这种方式，两个图像进一步被区别地表示为在独立区域中的独立图像。另外，可以在历史显 示区域30中进一步区别地表示车辆CG、路上物体和道路指示等。
图形处理电路4可以被控制装置控制，控制装置控制仪表指示器的操作。用于控 制图形处理电路4和仪表指示器的控制装置可以具有相对小的存储器和相对低的处理性 能。根据本结构，存储器的处理负荷和工作区的减少可以在用于产生简化的前一个图像和 当前图像(它们彼此连续地连接)的图像处理中更有效。显示装置9位于仪表指示器的一部分中。具体地，车辆后侧的图像可以重叠车辆 的仪表。根据本结构，驾驶者可以在查看仪表的同时确认车辆后侧的图像，而不大幅度地移 动视点。图形处理电路4被控制装置控制，控制装置控制仪表指示器的操作。显示装置9可 以位于车辆内部的仪表板上。根据本结构，车辆后侧的图像接近驾驶者的眼部的高度。因 此，驾驶者可以确认后侧的图像，而不大幅度地移动视点。(其他实施例)如上所述，已经记载了本发明的期望的实施例。注意，本发明不限于上述实施例。 在本发明的精神范围内，本发明可以进行各种修改，并且可以投入实际应用。 在上述实施例中，将车辆后方显示装置描述为车辆周边显示装置的一个示例。显 示屏幕表示周边图像显示区域和历史显示区域就足够了，周边图像显示区域用于示出当前 车辆周边，历史显示区域用于示出当前在摄像机的视野外部的车辆周边。例如，可以将车辆 的前侧和/或车辆的侧边表示为车辆周边。在上述实施例中，将描述在历史显示区域30中的图像中要绘制的白线(停车带) 作为标记的提取作为一个示例。注意，可以提取除了白线之外的路上物体，诸如另一个道路 指示、凹槽、路边石和杆。这样的路上物体的提取方法可以类似于上述用于提取白线的边缘 的方法。在上述实施例中，图形处理电路4可以在历史显示区域30中绘制标度线，用于示 出与车辆10的预定距离。所述标度线可以包括在屏幕上以预定间隔绘制的标度线，用于示 出与车辆的距离。例如，以相对于车辆在车辆的纵向和宽度方向上布置的网格的形状来绘 制标度线。根据本示例，除了白线31 (路上物体和/或道路指示)之外，在历史显示区域30 中在车辆10周围绘制标度线。因此，驾驶者可以更详细地识别在车辆10周围的路上物体 和相对于道路指示的物理关系。在上述实施例中，单个要素摄像机7拍摄停车时在显示装置9上表示的图像。或 者，可以使用多个摄像机来拍摄多个图像，并且可以组合或者修改并且在显示装置9上表 示所拍摄的多个图像。汇总上述实施例，用于表示车辆周边图像的车辆周边显示装置包括成像单元，用于获得在车辆后侧上的图像；对象检测单元，用于从所获得的图像获得图像信息和关于图像的位置信息，并且 用于基于所获得的图像信息来检测道路指示和路上物体中的至少一个，该图像信息与图像 上的亮度和颜色中的至少一个的级相关；存储单元，用于预先存储车辆的图像，并且用于存储历史数据，历史数据包括与关 于由对象检测单元检测的对象的位置信息相关联的图像信息；显示屏幕，其包括周边图像显示区域和历史显示区域，周边图像显示区域用于表 示由成像单元拍摄的车辆周边的当前图像，历史显示区域毗邻周边图像显示区域，用于表示使用历史数据产生的图像；以及绘图单元，用于生成图像，并且用于在历史显示区域上表示所生成的图像，生成的 图像包括预先存储的车辆图像和使用历史数据产生的图像，这两个图像彼此重叠，并且被 转换为从预定视角观看。此外，对象检测单元根据在图像上出现的具体特征来从图像信息中检测对象。在 周边图像显示区域中表示车辆周边的当前图像。在历史显示区域中根据相关联的位置信息 的位置表示从图像信息中检测的对象。
以这种方式，在对象检测中使用与所拍摄的图像的亮度和颜色中的至少一个的级 相关的图像信息。因此，可以在减少用于处理图像信息的处理负荷的同时执行对象检测。 此外，基于亮度和颜色中的至少一个来检测图像信息和关于图像的位置信息。图像信息与 位置信息相关联，并且被存储为历史数据。据此，可以以足够的精度来检测对象的位置和尺 寸。另外，也可以减小所存储的历史数据的数据量。对象检测单元基于图像中的具体特征 从所获得的图像信息中检测对象。绘图单元基于位置信息在历史显示区域中的位置上绘制 对象。由此，可以表示具有很少噪声的图像。另外，驾驶者可以观看到在可视性上增强的图 像。因此，车辆周边显示装置能够减少当前在视野外部的车辆周边图像中的不舒适，并且表 示图像。在周边图像显示区域和历史显示区域中的路上物体和道路指示位于车辆正在向其 中移动的空间中，并且被用作在车辆周边周围的标记。路上物体和道路指示例如是凹槽、台 阶、路边石、杆、人、另一辆车辆和指定停车空间的停车带的白线。在图像上的具体特征是对 象的特性特征，其出现在基于图像信息表示的图像上。具体特征例如是颜色特征、亮度特 征、发光度特征和形状特征等。对象检测单元提取图像的具体特征以检测对象。根据所述实施例，在历史显示区域中，使用被检测为对象的图像信息的亮度和颜 色来表示对象。以这种方式，以被检测为对象的图像信息的亮度和颜色来表示对象。因此， 与传统的以统一亮度和统一颜色表示白线相比较，可以在显示屏幕上表示观看起来与所拍 摄的图像进一步类似的白线。另外，即使当在车辆周边周围的道路指示或者路上物体的检 测中引起噪声时，并且甚至当在屏幕上表示所引起的噪声时，可以在显示屏幕上的图像中 将噪声表示得不显著。因此，可以生成其中噪声相对不显著的图像，并且可以向驾驶者提供 在可视性上增强的图像。根据所述实施例，对象检测单元可以从被检测为对象的图像信息中检测对象的宽 度值，并且可以在历史显示区域上表示具有对应于所检测的宽度值的宽度的对象。以这种 方式，基于从被检测为对象的图像信息中获得的对象的宽度值来指定在历史显示区域中表 示的对象的宽度。因此，可以清楚地表示具有该宽度的对象，并且也可以清楚地表示该对象 的边缘。以这种方式，驾驶者可以清楚地被通知对象的存在。因此，可以增强辅助驾驶操作。根据所述实施例，可以使用从所获得的图像信息中获得的道路表面的平均颜色和 道路表面的平均亮度中的至少一个来表示要在历史显示区域中表示的除了车辆图像和对 象之外的道路表面。以这种方式，可以在历史显示区域中使用类似于实际道路表面颜色和 亮度的颜色和亮度来表示该道路表面。通过使用平均颜色和平均亮度中的至少一个表示道 路表面，可以在屏幕上降低噪声。而且，道路表面可以与图像中的对象进一步区别。因此， 可以进一步增强驾驶者的识别。根据所述实施例，还可以提供检测单元，用于检测与车辆的距离，并且用于检测在车辆周边周围的路上物体。检测单元可以检测关于路上物体的位置信息。根据本结构，可以通过对象检测单元来补充关于路上物体的位置信息。因此，可以 向驾驶者进一步精确地通知路上物体的位置，并且可以进一步增强辅助驾驶操作。根据所述实施例，绘图单元可以在历史显示区域中表示标度线，用于示出与车辆 的预定距离。在本结构中，在历史显示区域中的车辆周围绘制路上物体和/或道路指示以 及标度线。因此，驾驶者可以详细识别车辆相对于在车辆周边周围的空间的位置。因此，可 以进一步增强辅助驾驶操作。根据所述实施例，可以在历史显示区域中表示车辆的车轴部分和车轮的位置中的 至少一个。以这种方式，可以通过在历史显示区域中表示车辆的车轴部分和车轮的的位置 中至少一个来向驾驶者清楚地通知车轴和/或车轮相对于车辆周边的位置。因此，可以进 一步增强辅助驾驶操作。根据所述实施例，可以在周边图像显示区域中表示由成像单元拍摄的车辆周边的 当前图像，而未校正在图像中引起的失真。以这种方式，与其中校正了失真的图像表示相比 较，可以放大车辆后侧的表示范围。因此，驾驶者可以获得增强的车辆周边信息。根据所述实施例，成像单元可以拍摄车辆后侧的图像，并且可以在周边图像显示 区域中表示由成像单元拍摄的车辆后侧的当前图像，而未校正在图像中引起的失真。以这 种方式，在周边图像显示区域中表示车辆后侧的实际失真的图像。由此，与其中校正了失真 的图像表示相比较，可以放大车辆后侧的表示范围。因此，驾驶者可以获得增强的车辆周边 信息。向历史显示区域加上在后方图像中的失真。因此，可以在显示屏幕中将在周边图像 显示区域中的当前原始图像可视地与在历史显示区域中的图像连接，当前历史显示区域中 的图像在成像单元的视野外部。因此，驾驶者可以进一步容易地识别自车的位置。因此，可 以保证车辆后侧的图像范围，并且可以增强驾驶者的可视能力。根据所述实施例，绘图单元向历史显示区域中的图像加上在周边图像显示区域中 表示的图像的失真。以这种方式，向从历史数据获得的并且在历史显示区域中表示的路上 物体和/或道路指示加上车辆周边周围的图像的失真。因此，在显示屏幕中，在周边图像显 示区域中的当前原始图像可以与在历史显示区域中的图像可视地连接，当前历史显示区域 中的图像在成像单元的视野外部。因此，驾驶者可以进一步容易地识别车辆和当前在视野 外部的车辆周边之间的关系。诸如计算和确定的上述处理不限于被微计算机1和图形处理电路4所执行。控制 单元可以具有各种结构，包括例如作为示例示出的微计算机1和图形处理电路4。可以通过软件、电子电路和机械装置等的任何一个或者任何组合来执行诸如计算 和确定的上述处理。该软件可以被存储在存储介质中，并且可以经由诸如网络装置的发送 装置发送。该电子电路可以是集成电路，并且可以是分立电路，诸如被配置了电子或者电气 元件等的硬件逻辑。产生上述处理的元件可以是分立元件，并且可以部分或者整体地集成。应当明白，虽然已经在此将本发明的实施例的处理描述为包括具体的步骤顺序， 但是包括这些步骤的各种其它顺序和/或另外的未在此公开的步骤的另外的替代实施例 也被认为在本发明的步骤中。在不脱离本发明的精神的情况下，可以对 于上述实施例多样地进行各种修改和改变。
权利要求
一种车辆周边显示装置，用于表示车辆周边的图像，所述车辆周边显示装置包括成像单元(7)，其被配置用于拍摄所述车辆周边的图像；第一对象检测单元(1)，其被配置用于从所拍摄的图像中获得与所拍摄图像的亮度和颜色中的至少一个相关的图像信息，从所拍摄的图像中获得关于所拍摄图像的位置信息，根据在所拍摄的图像中的对象的具体特征从所获得的图像信息中检测包括道路指示(21)和路上物体中的至少一个的对象，并且，将关于所述对象的图像信息与关于所述对象的位置信息相关联；存储单元(5)，其被配置用于预先存储所述车辆的车辆图像，并且存储所述相关联的图像信息和位置信息的历史数据；绘图单元(4)，其被配置用于根据所述历史数据来生成图像，将所生成的图像与包括预先存储的车辆图像的图像相重叠，并且将所重叠的图像转换为从预定视点观看，显示屏幕(9)，其包括周边图像显示区域(20)，其被配置用于表示由所述成像单元(7)获得的所述车辆周边的当前图像；以及，历史显示区域(30)，其与所述周边图像显示区域(20)相邻，并且被配置为在根据相关联的位置信息的位置表示所转换的图像和从所转换的图像的图像信息中检测的对象。
2.根据权利要求1的车辆周边显示装置，其中，所述历史显示区域(30)被配置用于使 用与所述图像信息相关联的亮度和颜色中的至少一个来表示对象。
3.根据权利要求1或者2的车辆周边显示装置，其中，所述第一对象检测单元(1)被配置为检测从所述图像信息中检测的所述对象的 宽度，并且所述历史显示区域(30)被配置为表示所述对象具有对应于所检测的宽度的宽度。
4 根据权利要求1或者2的车辆周边显示装置，其中，所述历史显示区域(30)被配置 为使用从所述图像信息获得的道路表面的平均颜色和道路表面的平均亮度中的至少一个 表示除了所述车辆图像和所述对象之外的道路表面。
5.根据权利要求1或者2的车辆周边显示装置，还包括第二对象检测单元(6)，其被配置为检测在所述车辆周边周围的路上物体，并且检测所 检测的路上物体与所述车辆的距离，其中，所述第二对象检测单元(6)被配置为检测关于所述路上物体的位置信息。
6.根据权利要求5的车辆周边显示装置，其中，所述绘图单元(4)被配置为使得所述历 史显示区域(30)表示标度线，所述标度线用于指定与所述车辆的预定距离。
7.根据权利要求1或者2的车辆周边显示装置，其中，所述历史显示区域(30)被配置 为表示所述车辆的车轮和所述车辆的车轴部分的位置中的至少一个。
8.根据权利要求1或者2的车辆周边显示装置，其中，所述周边图像显示区域(20)被 配置为表示由所述成像单元(7)获得的所述车辆周边的当前图像，而未校正在所述当前图像中引起的失真。
9.根据权利要求8的车辆周边显示装置，其中，所述绘图单元(4)被配置为向在所述历 史显示区域(30)中的图像加上在所述周边图像显示区域(20)中的所述当前图像的失真。
10.根据权利要求1或者2的车辆周边显示装置，其中，所述成像单元(7)被配置为获得所述车辆后侧的当前后方图像，并且 所述周边图像显示区域(20)被配置为表示由所述成像单元(7)获得的所述当前后方 图像，而未校正在所述当前后方图像中引起的失真。
11.根据权利要求10的车辆周边显示装置，其中，所述绘图单元(4)被配置为向在所述 历史显示区域(30)中的图像加上在所述周边图像显示区域(20)中的所述当前后方图像的 失真。
12.一种用于表示车辆周边图像的方法，所述方法包括 拍摄所述车辆周边的当前图像；从所拍摄的图像中获得与所拍摄图像的亮度和颜色中的至少一个相关的图像信息； 从所拍摄的图像中获得关于所拍摄图像的位置信息；根据所拍摄的图像中的对象的具体特征从所获得的图像信息中检测包括道路指示 (21)和路上物体中的至少一个的对象；将所获得的关于所述对象的图像信息与所获得的关于所述对象的位置信息相关联； 存储相关联的图像信息和相关联的位置信息的历史数据； 根据所述历史数据生成图像；将所生成的图像和所述车辆的预先存储的车辆图像重叠；将所重叠的图像转换为从预定视点观看；在周边图像显示区域(20)中表示所述车辆周边的当前图像；在与所述周边图像显示区域(20)相邻的历史显示区域(30)中表示所转换的图像；并且在根据所述相关联的位置信息的位置表示在所转换的图像中的所检测的对象。
13.一种计算机可读介质，包括由计算机执行的指令，所述指令包括根据权利要求12 的方法。
全文摘要
本发明涉及车辆周边显示装置和用于车辆周边图像的方法。成像单元(7)拍摄车辆外部的图像。对象检测单元(1)从图像中获得与图像的亮度或者颜色相关的图像信息和关于所获得的图像的位置信息，并且根据图像的具体特征来从图像信息中检测对象。存储单元(5)预先存储车辆图像和历史数据，历史数据包括与位置信息相关联的图像信息。绘图单元(4)将车辆图像和根据历史数据而产生的图像重叠，并且将重叠的图像转换为从预定视点观看。周边图像显示区域(20)表示车辆的当前周边。历史显示区域(30)毗邻周边图像显示区域(20)，用于在根据位置信息的位置表示所转换的图像和所检测的对象。
文档编号G06T5/00GK101844545SQ20101014194
公开日2010年9月29日 申请日期2010年3月25日 优先权日2009年3月25日
发明者今西胜之, 若山信彦 申请人:株式会社电装