俯瞰图像显示装置制造方法
【专利摘要】俯瞰图像显示装置10具备：相机11a、11b，其搭载于车辆，对车辆周边进行拍摄；图像生成部21，其对拍摄到的车辆周边的摄影图像进行视点变换，然后，不使用存在于车辆周边的目标的位置信息，而以预先设定的压缩率向车辆侧压缩车辆周边的图像区域来生成俯瞰图像；以及显示器12，其显示生成的俯瞰图像。根据俯瞰图像显示装置10，可在俯瞰图像上在某种程度上准确地显示存在于车辆周边的目标与车辆的位置关系。因而，能够通过不伴有测距传感器等的简单的结构，来显示容易识别与目标的距离的俯瞰图像。
【专利说明】俯瞰图像显示装置
【技术领域】
[0001]本发明涉及俯瞰图像显示装置。
【背景技术】
[0002]以往，已知有如下显示装置:其对车辆周边的摄影图像进行视点变换，生成并显示俯瞰表示车辆周边的状况的俯瞰图像。然而，在俯瞰图像中，存在于离开车辆周边的地表面的空间上的目标有时会显示成存在于与实际相比距车辆较远处。因此，例如在日本特开2004-354326号公报中记载有如下技术:由测距传感器推定目标的外缘，将推定出的外缘与俯瞰图像重叠而显示，从而使得容易识别与目标的距离。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2004-354326号公报
【发明内容】
[0006]发明要解决的问题
[0007]但是，即使将目标的外缘重叠而显示，因为在俯瞰图像上目标仍保持显示为与实际相比距车辆较远处，所以关于与目标的距离，有时还是会带给驾驶员违和感。另外，为了推定目标的外缘等目标的位置而需要测距传感器等，所以显示装置的结构变得复杂。
[0008]于是，本发明的目的在于提供如下俯瞰图像显示装置:其能够通过不伴有测距传感器等的简单的结构，来显示容易识别与目标的距离的俯瞰图像。
[0009]用于解决问题的手段
[0010]本发明的俯瞰图像显示装置构成为具备:拍摄部，其搭载于车辆，对车辆周边进行拍摄；图像生成部，其对拍摄到的车辆周边的摄影图像进行视点变换，然后，不使用存在于车辆周边的目标的位置信息，而以预先设定的压缩率向车辆侧压缩车辆周边的图像区域来生成俯瞰图像；以及显示部，其显示生成的俯瞰图像。
[0011]根据本发明的俯瞰图像显示装置，不使用存在于车辆周边的目标的位置信息，而以预先设定的压缩率向车辆侧压缩车辆周边的图像区域来生成俯瞰图像。由此，在生成的俯瞰图像上可在某种程度上准确地显示存在于车辆周边的目标与车辆的位置关系。因而，能够通过不伴有测距传感器等的简单的结构，来显示容易识别与目标的距离的俯瞰图像。
[0012]另外，可以是，图像生成部以根据存在于离开地表面的空间上的目标的高度而预先设定的压缩率，向车辆侧压缩车辆周边的图像区域来生成俯瞰图像。由此，能够显示容易识别与存在于离开地表面的空间上的目标的距离的俯瞰图像。
[0013]另外，可以是，俯瞰图像显示装置还具备报知部，该报知部报知与存在于车辆周边的目标的接近度，显示部在报知部处于有效地工作的期间的情况下，显示生成的俯瞰图像。由此，在俯瞰图像的显示期间，报知与存在于车辆周边的目标的接近度。因而，即使在俯瞰图像上不能完全准确地显示与目标的距离，也能够通过接近度的报知来使驾驶员识别与目标的距离。
[0014]另外，可以是，图像生成部以根据车辆周边的位置而不同的压缩率，向车辆侧压缩车辆周边的图像区域来生成俯瞰图像。由此，可更加准确地显示包含存在于车辆周边的目标的车辆周边的状况。
[0015]发明效果
[0016]根据本发明，能够提供通过不伴有测距传感器等的简单的结构、来显示容易识别与目标的距离的俯瞰图像的俯瞰图像显示装置。
【专利附图】
【附图说明】
[0017]图1是示出本发明的实施方式的俯瞰图像显示装置的结构的框图。
[0018]图2是对俯瞰图像的显示时产生的问题进行说明的图。
[0019]图3是示出俯瞰图像显示装置的动作的流程图。
[0020]图4是将俯瞰图像的整体显示例与俯瞰图像的放大显示例对比而进行表示的图。
【具体实施方式】
[0021]以下，参照附图，详细地说明本发明的实施方式。此外，在附图的说明中，对于相同要素标注相同附图标记，并省略重复的说明。
[0022]首先，参照图1至图2，对本发明的实施方式的俯瞰图像显示装置10的结构进行说明。图1是示出本发明的实施方式的俯瞰图像显示装置10的结构的框图。图2是对俯瞰图像的显示时产生的问题进行说明的图。
[0023]俯瞰图像显示装置10是搭载于车辆、对容易识别与存在于车辆周边的目标的距离的俯瞰图像进行显示的装置。如图1所示，俯瞰图像显示装置10具备:相机I la、I lb...、显示器12、接近传感器13a、13b...、报知装置14、EQJ(Electronic Control Unit:电子控制单元)20。相机11a、lib...、显示器12、接近传感器13a、13b...、报知装置14与ECU20连接。
[0024]此外，接近传感器13a、13b…和报知装置14不是为了显示容易识别与目标的距离的俯瞰图像所必须的装置，而是为了在显示俯瞰图像的同时报知与目标的接近度而辅助性地使用的装置。
[0025]相机11a、Ilb…搭载于车辆,作为构成为对车辆周边进行拍摄的拍摄部发挥功能。相机IlaUlb…例如配置于车辆的前面、后面、左右侧面。相机IlaUlb…将拍摄车辆的前方、后方、左右侧方而得到的摄影图像供给到未图示的图像存储器等。
[0026]显示器12作为构成为显示生成的俯瞰图像的显示部发挥功能。所谓俯瞰图像，是从车辆上方的假想视点观察包含车辆的车辆周边而得到的图像。作为显示器12，例如可以使用车载导航装置的显示器，但也可以使用其他的显示装置。如后述那样，显示器12显示由E⑶20生成的俯瞰图像。
[0027]接近传感器13a、13b...构成为检查存在于车辆周边的目标。作为接近传感器13a、13b...，例如可以使用超声波传感器，但也可以使用接近检查用的其他的传感器。接近传感器13a、13b...例如配置于车辆的前保险杆的左右角、后保险杆的左右角。接近传感器13a、13b…检查存在于车辆周边的目标、例如存在于距接近传感器13a、13b-lm左右的距离的目标，检查与存在的目标的距离，将检查结果供给到ECU20。
[0028]报知装置14作为构成为报知与存在于车辆周边的目标的接近度的报知部发挥功能。可将扬声器、LED等用作报知装置14，也可与显示器12并用。当与目标的距离低于阈值时，报知装置14使用发光、声音、振动等向驾驶员报知与目标的接近状况、接近度(距离等)。报知装置14与接近传感器13a、13b...—起作为接近警报系统或侦测声纳系统发挥功倉泛。
[0029]E⑶20具备图像生成部21、报知控制部22、显示控制部23。E⑶20以CPU、R0M、RAM为主体，CPU从ROM等读出程序而在RAM上执行，从而实现图像生成部21、报知控制部22、显示控制部23的功能。此外，图像生成部21、报知控制部22、显示控制部23的功能也可以由2个以上的E⑶实现。
[0030]图像生成部21构成为将对拍摄到的车辆周边的摄影图像进行视点变换而得到的车辆周边的图像与车辆的图像重叠而生成俯瞰图像。图像生成部21基于从图像存储器等读出的摄影图像，在显示控制部23的控制下生成俯瞰图像，并将其输出到显示器12。
[0031]车辆周边的图像(示出车辆周边的图像)是从车辆上方的假想视点观察车辆周边而得到的图像，例如通过对车辆的前方、后方、左右侧方的摄影图像进行视点变换并将其合成而生成。车辆的图像(示出车辆的图像)是从车辆上方的假想视点观察车辆而得到的图像，作为车辆的影像图像、车辆的轮廓图像而预先存储。通过将车辆周边的图像与车辆的图像重叠，从而将俯瞰图像作为从车辆上方的假想视点观察包含车辆的车辆周边而得到的图像生成。
[0032]图像生成部21生成(没有压缩的)通常的俯瞰图像或者压缩后的俯瞰图像。所谓通常的俯瞰图像，是指对车辆周边的摄影图像进行视点变换，将其与车辆的图像重叠而得到的俯瞰图像。另一方面，所谓压缩后的俯瞰图像，是指对车辆周边的摄影图像进行视点变换，进而以预先设定的压缩率向车辆侧压缩车辆周边的图像区域，将其与车辆的图像重叠而得到的俯瞰图像。
[0033]此处，通常的俯瞰图像的生成例如使用地址转换表。在地址转换表中，摄影图像上的各像素的位置以及车辆的图像上的各像素的位置与通常的俯瞰图像上的各像素的位置相关联。并且，通常的俯瞰图像基于地址转换表，由摄影图像和车辆的图像生成。
[0034]然而，在通常的俯瞰图像中，例如在图2(a)所示那样的状况下，存在于离开车辆周边的地表面的空间上的目标有时显示成存在于与实际相比距车辆较远处。在图2(a)所示的例子中，由在车辆的前面配置的相机11，从斜上方拍摄到前方车辆的后保险杆A。在该情况下，在图2(b)所示的通常的俯瞰图像I中，后保险杆A显示于比其正下方的位置B靠前方的地表面的位置C的前方。由此，驾驶员有时无法在通常的俯瞰图像上准确地识别与目标的距离，尤其是在放大显示通常的俯瞰图像的情况下，车辆与目标的位置关系被明了地显示，所以容易误识别与接近车辆的目标的距离。
[0035]因而，图像生成部21不使用存在于车辆周边的目标的位置信息而以预先设定的压缩率向车辆侧压缩(或者拉近)车辆周边的图像区域来生成俯瞰图像。即，不使用接近传感器13a、13b...等检查装置的目标的检查结果地生成压缩后的俯瞰图像。将车辆周边的图像区域一律朝向车辆的图像区域侧、例如朝向车辆的图像区域的中心进行压缩来生成压缩后的俯瞰图像。
[0036]压缩率根据成为驾驶员识别的对象的主要目标、例如其他车辆的前保险杆、后保险杆、路牙石等的高度(地表面上的高度)而预先设定。压缩率例如预先设定为:以预定的高度位于车辆的前方0.5m的目标在压缩后的俯瞰图像上显示于相当于车辆的前方0.5m的位置。
[0037]另外，压缩率也可设定成根据车辆周边的位置而不同。若将车辆周边的图像区域一律朝向例如车辆的图像区域的中心压缩，则表示车辆的斜前方、斜后方的图像区域会大幅弯曲。因此，将压缩率设定成根据车辆周边的位置而不同，使得示出车辆的斜前方、斜后方的图像区域不会大幅弯曲。
[0038]此处，压缩后的俯瞰图像由摄影图像直接生成。压缩后的俯瞰图像的生成例如可使用专用的地址转换表。在专用的地址转换表中，摄影图像上的各像素的位置与压缩后的俯瞰图像上的各像素的位置相关联。双方的图像上的各像素的位置以将车辆周边的图像区域以预先设定的压缩率或者以被设定成根据车辆周边的位置而不同的压缩率向车辆的图像区域侧压缩的方式相关联。并且，压缩后的俯瞰图像基于专用的地址转换表，由摄影图像和车辆的图像生成。
[0039]此外，压缩后的俯瞰图像可以以放大表示车辆周边的一部分的方式放大显示，也可以以示出车辆周边的整体的方式整体显示。以下，对为了使驾驶员识别到与目标的距离而在压缩后的俯瞰图像中将车辆周边的一部分放大显示的情况进行说明。
[0040]报知控制部22构成为根据与存在于车辆周边的目标的接近度来使报知装置14工作。当从接近传感器13a、13b...供给的检查结果低于距离阈值时，报知控制部22将工作信号输出到报知装置14。
[0041]显示控制部23构成为考虑俯瞰图像的放大显示条件来控制俯瞰图像的显示的切换。作为俯瞰图像的放大显示条件，考虑有报知装置14的工作状态、车辆的速度、相机11a、Ilb…的拍摄状态。显示控制部23对报知装置14是否处于有效地工作的期间进行判定。也考虑接近传感器13a、13b...的工作状态和报知控制部22的工作状态来判定报知装置14的工作状态。另外，显示控制部23例如还对车辆的速度是否低于速度阈值、相机lla、llb...是否适当地对车辆周边进行着拍摄等进行判定。
[0042]在满足俯瞰图像的放大显示条件的情况下，显示控制部23允许俯瞰图像的放大显示。在满足所有放大显示条件的状态下驾驶员指示了放大显示时，显示控制部23允许俯瞰图像的放大显示。另一方面，在不满足放大显示条件的至少一部分的情况下，显示控制部23抑制俯瞰图像的放大显示。
[0043]接着，参照图3到图4，对俯瞰图像显示装置10的动作进行说明。图3是示出俯瞰图像显示装置10的动作的流程图。图4是将俯瞰图像的整体显示例和俯瞰图像的放大显示例进行对比而示出的图。此外，在图4中，示出了主要放大显示车辆的斜前方的情况，但也可以主要放大显示车辆的前方、后方、左右侧方、斜后方等。
[0044]俯瞰图像显示装置10按处理周期反复执行图3所示的处理。此外，尽管在图3中并没有示出，但在俯瞰图像显示装置10中，按每个处理周期拍摄车辆周边。
[0045]如图3所示，显示控制部23对是否处于整体显示俯瞰图像的期间进行判定(步骤Sll)。在判定为处于整体显示俯瞰图像的期间的情况下，显示控制部23对报知装置14是否处于有效地工作的期间进行判定(S12)。另外，在S12中判定为报知装置14处于有效地工作的期间的情况下，显示控制部23对是否满足其他的放大显示条件进行判定(S13)。另夕卜，在S13中判定为满足其他的放大显示条件的情况下，显示控制部23对是否指示了放大显示进行判定(S14)。此外，放大显示的指示例如通过手指等接触并指定显示器12所显示的俯瞰图像上的任意的位置来进行。
[0046]而在S12中没有判定为报知装置14处于有效地工作的期间、或者在S13中没有判定为满足其他的放大显示条件、或者在S14中没有判定为指示了放大显示的情况下,显示控制部23基于在处理周期中摄影到的车辆周边的摄影图像，使图像生成部21生成(没有压缩的)通常的俯瞰图像(S15)，并将其整体显示于显示器12 (S16)。
[0047]如图4(a)所示，在俯瞰图像的整体显示中，显示车辆和车辆周边的整体。在车辆周边的图像区域Ia中示出了在路面绘出的格子图案。在整体显示中，车辆周边的图像区域Ia没有被向车辆的图像区域Ib侧压缩。因此，如在图2中所说明那样，在离开车辆周边的地表面的空间上存在目标的情况下，该目标被显示成存在于与实际相比距车辆较远处。此夕卜，俯瞰图像的整体显示与报知装置14的工作状况无关地进行。
[0048]返回图3的说明，在S12中判定为报知装置14处于有效地工作的期间且在S13中判定为满足其他的放大显示条件且在S14中判定为指示了放大显示的情况下，显示控制部23基于在处理周期中拍摄到的车辆周边的摄影图像，使图像生成部21生成压缩后的俯瞰图像(S25)，并将其放大显示于显示器12(S26)。此外，在放大显示中，以在指示放大显示时指定的位置为基准，放大显示压缩后的俯瞰图像上的对应的图像区域。
[0049]如图4(b)所示，在俯瞰图像的放大显示中，与车辆一起示出例如车辆的前方、左前方、左侧方。在放大显示中，车辆周边的图像区域Ia被以预先设定的压缩率向车辆的图像区域Ib侧压缩。特别地，在图4(b)所示的例子中，车辆周边的图像区域Ia被向车辆的图像区域Ib侧压缩，或者拉近。因此，在离开车辆周边的地表面的空间上存在目标的情况下，可在某种程度上准确地显示该目标与车辆的位置关系。
[0050]此处，俯瞰图像的放大显示仅在报知装置14有效地工作的情况下被允许。这是因为，在放大显示的俯瞰图像(压缩后的俯瞰图像)中，车辆与目标的位置关系被明了地显示，所以变得容易误识别与存在于车辆周边的目标的距离。通过仅在报知装置14有效地工作的情况下允许放大显示，即使在压缩后的俯瞰图像上没有完全准确地显示与目标的距离，也能够通过接近度的报知来使驾驶员识别与目标的距离。
[0051]另外，在俯瞰图像的放大显示中，车辆周边的图像区域Ia以根据车辆周边的位置而不同的压缩率被压缩。与车辆周边的位置相应的压缩率能够从在车辆周边的图像区域Ia显示的格子图案的弯曲状态获取。
[0052]在图4(b)所示的例子中，示出车辆的前方的图像区域如箭头Cl所示，被朝向车辆的后方几乎一样地压缩。由此，例如，能够在某种程度上准确地显示存在于车辆前方的停车线等的位置/配置。另外，示出车辆的左侧方的图像区域如箭头C2所示，被朝向车辆的右方几乎一样地压缩。由此，例如，能够在某种程度上准确地显示存在于车辆侧方的导引线、障碍物的位置/配置。另外，示出车辆的左前方的图像区域如箭头C3所示，以图像区域不大幅弯曲的方式被压缩。由此，能够在某种程度上准确地显示尤其难以识别与目标的距离的、车辆的斜前方的状况。
[0053]返回图3的说明，在Sll中没有判定为处于整体显示俯瞰图像的期间的情况下，显示控制部23对是否处于放大显示俯瞰图像的期间进行判定(S21)。在判定为处于放大显示俯瞰图像的期间的情况下，显示控制部23对报知装置14是否处于有效地工作的期间进行判定(S22)。另外，在S22中判定为报知装置14处于有效地工作的期间的情况下，显示控制部23对是否满足其他的放大显示条件进行判定(S23)。另外，在S23中判定为满足其他的放大显示条件的情况下，显示控制部23对是否指示了整体显示进行判定(S24)。此外，整体显示的指示例如通过手指等接触在显示器12显示的预定的图标的位置来进行。
[0054]而在S22中判定为报知装置14处于有效地工作的期间且在S23中判定为满足其他的放大显示条件且在S24中没有判定为指示了整体显示的情况下，基于在处理周期中摄影到的车辆周边的摄影图像，使图像生成部21生成压缩后的俯瞰图像(S25)，并将其放大显示于显示器12(S26)。
[0055]另一方面，在S22中没有判定为报知装置14处于有效地工作的期间、或者在S23中没有判定为满足其他的放大显示条件、或者在S24中判定为指示了整体显示的情况下，显示控制部23基于在处理周期中拍摄到的车辆周边的摄影图像，使图像生成部21生成(没有压缩的)通常的俯瞰图像(S15)，并将其整体显示于显示器12 (S16)。
[0056]如以上说明那样，根据本发明的实施方式的俯瞰图像显示装置10，不使用存在于车辆周边的目标的位置信息，而以预先设定的压缩率向车辆侧压缩车辆周边的图像区域来生成俯瞰图像。由此，在生成的俯瞰图像上，可在某种程度上准确地显示存在于车辆周边的目标与车辆的位置关系。因而，能够通过不伴有测距传感器等的简单的结构，来显示容易识别与目标的距离的俯瞰图像。
[0057]另外，也可以是，图像生成部21以根据存在于离开地表面的空间上的目标的高度而预先设定的压缩率，向车辆侧压缩车辆周边的图像区域来生成俯瞰图像。由此，能够显示容易识别与存在于离开地表面的空间上的目标的距离的俯瞰图像。
[0058]另外，也可以是，俯瞰图像显示装置10还具备报知与存在于车辆周边的目标的接近度的报知装置14，显示器12在报知装置14处于有效地工作的期间的情况下，显示生成的俯瞰图像。由此，在俯瞰图像的显示期间，可报知与存在于车辆周边的目标的接近度。因而，即使在俯瞰图像上不能完全准确地显示与目标的距离，也能够通过接近度的报知来使驾驶员识别与目标的距离。
[0059]另外，也可以是，图像生成部21以根据车辆周边的位置而不同的压缩率，向车辆侧压缩车辆周边的图像区域来生成俯瞰图像。由此，可更加准确地显示包含存在于车辆周边的目标的车辆周边的状况。
[0060]此外，前述的实施方式说明了本发明的俯瞰图像显示装置10的最优选的实施方式，本发明的俯瞰图像显示装置10不限于本实施方式所记载的内容。本发明的俯瞰图像显示装置10可在不脱离各权利要求所记载的技术方案的主旨的范围内对本实施方式的俯瞰图像显示装置10进行变形，或者将其适用于其他的装置。
[0061]另外，本发明也同样能够适用于用于按照前述的方法、显示不使用存在于车辆周边的目标的位置信息而以预先设定的压缩率向车辆侧压缩车辆周边的图像区域而得到的俯瞰图像的程序、或者存储有该程序的计算机可读取的记录介质。
[0062]例如，在前述的实施方式中，对放大显示压缩后的俯瞰图像的情况进行了说明，但是也可整体显示压缩后的俯瞰图像。另外，在前述的实施方式中，对基于车辆的前面、后面、左右侧面的摄影图像来生成示出车辆周边的整体的俯瞰图像的情况进行了说明。但是，也可以基于例如车辆的前面、后面、左侧面、右侧面的某个摄影图像，生成俯瞰图像作为示出车辆周边的一部分的图像。
[0063]附图标记说明
[0064]10…俯瞰图像显不装置，I la、I Ib…相机,12…显不器，13a、13b…接近传感器,14…报知装置，20…ECU，21…图像生成部，22...报知控制部，23…显示控制部。
【权利要求】
1.一种俯瞰图像显示装置，具备: 拍摄部，其搭载于车辆，对车辆周边进行拍摄； 图像生成部，其对拍摄到的所述车辆周边的摄影图像进行视点变换，然后，不使用存在于所述车辆周边的目标的位置信息，而以预先设定的压缩率向所述车辆侧压缩所述车辆周边的图像区域来生成俯瞰图像；以及 显示部，其显示生成的所述俯瞰图像。
2.根据权利要求1所述的俯瞰图像显示装置，其中， 所述图像生成部，以根据存在于离开地表面的空间上的目标的高度而预先设定的所述压缩率，向所述车辆侧压缩所述车辆周边的图像区域来生成所述俯瞰图像。
3.根据权利要求1或2所述的俯瞰图像显示装置，其中， 还具备报知部，所述报知部报知与存在于所述车辆周边的目标的接近度， 所述显示部，在所述报知部处于有效地工作的期间的情况下，显示生成的所述俯瞰图像。
4.根据权利要求1至3中任一项所述的俯瞰图像显示装置，其中， 所述图像生成部，以根据所述车辆周边的位置而不同的压缩率，向所述车辆侧压缩所述车辆周边的图像区域来生成俯瞰图像。
【文档编号】H04N7/18GK104271406SQ201280073020
【公开日】2015年1月7日 申请日期:2012年5月8日 优先权日:2012年5月8日
【发明者】江坂俊德, 前岛康平 申请人:丰田自动车株式会社