车辆周边监视装置制造方法
【专利摘要】车辆周边监视装置包括：第一俯瞰图像生成部，其基于车载摄像头模块所获取的拍摄图像来通过进行二维平面投影转换生成第一俯瞰图像；第二俯瞰图像生成部，其基于拍摄图像通过进行三维面投影转换生成第二俯瞰图像；显示图像生成部，其使用第一俯瞰图像来生成用于显示到显示器上的第一显示图像，并且使用与该第一显示图像的规定区域相对应的第二俯瞰图像的规定区域来产生具有比第一显示图像的显示倍率更大的显示倍率的用于显示到显示器上的第二显示图像。
【专利说明】车辆周边监视装置
【技术领域】
[0001]本发明涉及通过对由拍摄自身车辆的周边区域的车载摄像头获取的拍摄图像进行投影转换来生成从摄像头视点上方的上方假想视点观察的俯瞰图像作为显示图像显示到显示器上的车辆周边监视装置。
【背景技术】
[0002]以往，已知有为了确认自身车辆的死角而将从车辆的上方假想视点观察的俯瞰图像显示到显示器来支援驾驶人员的技术。该俯瞰图像是如下得到的，即，使用多个车载摄像头拍摄车辆周围，并对由这些多个车载摄像头获取的拍摄图像进行视点转换来连接成从车辆上方的假想视点观察的图像。此时，采用了如下办法:通过将表示自身车辆的自身车辆图像合成到显示在显示器上的俯瞰图像的中心，来使驾驶人员容易地识别自身车辆周围的情况。
[0003]在专利文献I中记载有使用了那样的俯瞰图像的车辆周边显示装置。在该车辆周边显示装置中，基于由多个摄像头拍摄得到的各拍摄图像来显示车辆周边的俯瞰图像，但通过将该俯瞰图像分割为多个区域来将与由用户选择的区域相对应的对象图像放大显示到该显示器上。因此，由于放大显示由用户选择的俯瞰图像的特定区域，因而具有仅放大显示周边的应关注的区域这样的优点。然而，在使用拍摄图像通过投影转换得到的从上方假想视点观察的俯瞰图像中，相对于路面而具有高度的物体大幅度失真，因而存在驾驶人员难以识别距离感及大小这样的问题。
[0004]进而，在专利文献2中记载的停车支援装置具有:拍摄单元，其获取自身车辆的周围的图像；图像转换单元，其使用所述自身车辆的周围的图像及自身车辆的图像，来生成从上方的假想视点观察所述自身车辆的俯瞰图像；立体物检测单元，其检测自身车辆的周围的立体物，并计算与立体物的自身车辆之间的距离及相对速度作为立体物信息。进而，在基于立体物信息判断出立体物为移动体时，以将该立体物显示到俯瞰图像的端部的方式变更比例尺，来将俯瞰图像显示到显示器上。即，在显示俯瞰图像时，在自身车辆与周围的立体物接近时，以自身车辆为中心，以使立体物成为俯瞰图像的端部的方式变更比例尺，来放大显示俯瞰图像。然而，在该装置中也仅仅是放大俯瞰图像的一部分，因而在该放大图中，相对于路面而具有高度的物体大幅度失真，从而存在驾驶人员难以识别距离感及大小这样的问题。
[0005]另外，还已知有如下的图像合成装置，在该图像合成装置中，在对由不同视点的多个摄像头取得的拍摄图像进行合成时，对使用了作为路面平面的二维投影面的投影图像，进一步进行投影转换来生成使用了由球面和圆筒面构成的三维投影面的投影图像，由此试图降低图像的失真。然而，在该装置中，由于最终显示的显示图像是使用了三维投影面的投影图像，因而存在如下问题:不能充分确保在从上方假想视点观察的俯瞰图像中可能出现的白线等路面上的识别标识的直线性。
[0006]现有技术文献[0007]专利文献
[0008]专利文献1:日本特开2009 - 239674号公报(段落编号〔0008 — 0013〕，图14)
[0009]专利文献2:日本特开2009 - 111946号公报(段落编号〔0011 — 0057〕，图4)
【发明内容】
[0010]发明要解决的问题
[0011]鉴于上述实情，希望有如下的车辆周边监视装置，在该车辆周边监视装置中，在显示器上不仅显示通常的俯瞰图像，而且还显示其局部放大俯瞰图像时，生成适合于各自的显示目的的俯瞰图像。
[0012]用于解决问题的手段
[0013]本发明的车辆周边监视装置包括:车载摄像头模块，其拍摄车辆的周边区域，第一俯瞰图像生成部，其基于所述车载摄像头模块所获取的拍摄图像来通过进行二维平面投影转换生成第一俯瞰图像，第二俯瞰图像生成部，其基于所述拍摄图像来通过进行三维面投影转换生成第二俯瞰图像，显示图像生成部，其使用所述第一俯瞰图像来生成用于显示到显示器上的第一显示图像，并且使用与该第一显示图像的规定区域相对应的所述第二俯瞰图像的规定区域生成具有比所述第一显示图像的显示倍率更大的显示倍率的用于显示到显示器上的第二显示图像。
[0014]在该结构中，第一显示图像使用二维平面(通常是路面)作为投影面，这是目前众所周知的通常的俯瞰图像(第一俯瞰图像)。因此，描绘在路面平面上的白线等的直线性良好，从而驾驶人员能够通过该第一显示图像来容易且概略地掌握周围状况。就第二显示图像所使用的第二俯瞰图像而言，通过使用三维面作为投影面来使从路面上竖起的立体物(停止车辆或路锥(road cone)等)的变形小于第一俯瞰图像的变形。进而，就该第二显示图像而言，仅限定于放大显示与第一显示图像的规定区域相对应的区域，所以驾驶人员对存在于自身车辆附近的关注区域例如自身车辆的附近的立体物的视觉辨认性变得良好。
[0015]此外，此时所说的作为投影面的三维面表示不是如路面那样的单一平面，不仅是曲面，还包括由多个不同的平面构成的平面体例如折曲平面或阶梯状平面。其中，在考虑视觉辨认性及直线性等的情况下，包含半球面或圆顶面等的凹曲面尤为适合。因此，在本发明的优选的实施方式中，所述三维面投影转换使用凹曲面作为投影面。
[0016]在本发明的优选的实施方式之一中，将所述第一显示图像和所述第二显示图像显示到同一显示器画面上。由此，驾驶人员通过对能够以地图方式掌握周边状况的第一显示图像和容易掌握路面上立体物与自身车辆之间的距离感的第二显示图像进行比较，能够更准确且容易地监视车辆周边。
[0017]不需与应关注的特定区域不存在的情况无关地将所述第一显示图像和所述第二显示图像显示到显示空间有限的显示器上。特别地，同时还是第一显示图像的特定区域的放大图像的第二显示图像在路上立体物存在于自身车辆周边的情况下尤为重要。因此，在本发明的优选的实施方式之一中，基于从检测车辆周边的立体物的立体物检测部接收的立体物检测信息来将包含所述立体物所存在的区域的所述第二显示图像显示到显示器上。
[0018]其中，在未安装有立体物检测部的情况下，或者要满足要观察立体物检测部未检测出立体物的区域的第二显示图像这样的希望的情况下，也可以采用将包含车辆乘客所指定的车辆周边区域的所述第二显示图像显示到显示器上的结构。
[0019]进而，作为放大了车辆周边区域的俯瞰图像的第二显示图像适合于在停车行驶时用于掌握其他车辆等的行驶障碍物与自身车辆之间的位置关系。特别地，在预先设定能够停车的停车区域并计算行驶至该停车区域的停车路径由此支援沿该停车路径的停车行驶的停车支援装置中，在设定停车区域时或计算停车路径时检测出与要停车的自身车辆接近的立体物的情况不少。在满足这样的条件的情况下，在停车行驶时自身车辆的一部分与立体物接近时适合显示第二显示图像。因此，在本发明的优选的实施方式之一中，利用从停车支援模块获取的停车支援信息，求出显示所述第二显示图像的时刻，在该时刻将所述第二显示图像显示到显示器画面上，其中，所述停车支援模块进行停车控制即设定停车区域并且生成用于将车辆引导至该停车区域的停车路径，所述停车支援信息中包含与停车路径、停车区域及停止车辆相关的信息。
[0020]在本发明中，车载摄像头模块可以由一台摄像头构成，并利用该摄像头拍摄得到的拍摄图像来生成第一俯瞰图像和第二俯瞰图像及显示图像。特别地，仅利用用于拍摄容易成为对于驾驶人员的最大死角的后方周边区域的后方摄像头的拍摄图像，对驾驶支援也有足够的效果。然而，若车载摄像头模块由具有相互之间的拍摄区域重叠的重叠区域的多个车载摄像头构成，并且通过对各摄像头拍摄得到的拍摄图像的俯瞰图像进行全景合成来生成整个周围图像，则是优选的车辆周边监视。此时，在将相邻的拍摄图像的俯瞰图像通过在重叠区域重叠的方式合成的情况下，导致存在于其重叠区域的被拍摄体发生变形，因而在重叠区域适合混合合成。因此，在利用多个摄像头拍摄得到的拍摄图像的本发明的优选的实施方式中，所述第一俯瞰图像及所述第二俯瞰图像通过对各拍摄图像进行全景合成来生成，此时所述重叠区域以规定宽度及规定比率混合而成。
[0021]进而，对存在于该重叠区域的被拍摄体的变形方式在二维平面投射转换和三维面投射转换中不同。为了解决该问题，在所述第一俯瞰图像和所述第二俯瞰图像中以使重叠区域的规定宽度或规定比率或这双方不同的方式独立地进行设定。
[0022]可以采用利用拍摄图像生成第一俯瞰图像并通过对该第一俯瞰图像进行三维平面投射转换来生成第二俯瞰图像的方法和利用拍摄图像直接生成第二俯瞰图像的方法，作为第二俯瞰图像的生成方法。无论如何，由于始终生成第一俯瞰图像，因而适合构件通过对第一俯瞰图像进行三维面投射转换来生成第二俯瞰图像的第二俯瞰图像生成部。
【专利附图】
【附图说明】
[0023]图1是图解了显示在本发明的驾驶支援装置中使用的将拍摄图像作为初始图像通过进行二维平面投影转换得到的第一俯瞰图像和将拍摄图像作为初始图像通过进行三维面投影转换得到的第二俯瞰图像的过程的示意图。
[0024]图2是图解了显示使用多个摄像头拍摄得到的拍摄图像通过进行二维平面投影转换和合成处理得到的整个周围第一俯瞰图像以及使用该第一俯瞰画通过进行三维面投影转换得到的整个周围第二俯瞰图像的过程的示意图。
[0025]图3是图解了显示使用多个摄像头拍摄得到的拍摄图像通过进行二维平面投影转换和合成处理得到的整个周围第一俯瞰图像以及使用拍摄图像通过进行三维面投影转换和合成处理得到的整个周围第二俯瞰图像的过程的示意图。[0026]图4是说明包含驾驶支援装置的控制单元的电子控制系统的功能的功能块图。
[0027]图5是图像处理模块的功能块图。
[0028]图6是图解了使用从各种投影转换图中选择的投影转换图来生成第二俯瞰图像的过程的示意图。
[0029]图7是示出了俯瞰图像显示程序的流程图。
【具体实施方式】
[0030]首先，使用图1，说明显示本发明的驾驶支援装置所使用第一俯瞰图像和第二俯瞰图像的基本过程，该第一俯瞰图像是将拍摄图像作为初始图像通过进行二维平面投影转换得到，该第二俯瞰图像是将拍摄图像作为初始图像通过进行三维面投影转换得到的。在此，车载摄像头是后方摄像头，拍摄图像是拍摄车辆后方的周边得到的图像。即，在图1中，示出了仅使用由后方摄像头拍所得到的拍摄图像生成俯瞰图像的过程。
[0031]为了将作为车辆周边监视画面的俯瞰图像显示到显示器上，首先使用后方摄像头获取自身车辆的后方周边区域的拍摄图像(#1)。使用该拍摄图像，进行将投影面作为与路面平行的面的第一投影转换(二维平面投影转换)，即进行在正上方设定了假想视点的视点转换(#2)。通过该二维平面投影转换处理，得到从车辆后方区域的正上方观察的俯瞰图像即第一俯瞰图像。对该第一俯瞰图像进行用于修整的修剪调整(trimming)处理之后，将其作为第一显示图像显示到显示器画面上(#3)。
[0032]进而，使用拍摄图像，进行将投影面作为配置在路面上的三维面的第二投影转换(三维面投影转换)，即，不仅进行在正上方设定了假想视点的视点转换，还进行还将投影面作为弯曲面(curved plane)或折曲平面(bent plane)的投影转换(#4)。在此,使用圆顶(穹顶)形状的凹形曲面(concave plane)作为三维面。通过进行该三维面投影转换，得到从车辆后方区域的正上方投影到配置在路面上的弯曲面上的俯瞰图像即第二俯瞰图像。该第二俯瞰图像是投影到如折曲平面或弯曲平面这样的三维面上的投影图像，因而产生相应的变形，但与因进行从上方假想视点观察的视点转换而产生的变形有一部分相抵消。因此，就第二俯瞰图像而言，例如，反而抑制了如路上立体物向上拉伸这样的因上述视点转换而产生的变形，由此可得到易于掌握自身车辆与路上立体物之间的距离间隔这样的优点。
[0033]从该第二俯瞰图像中切出指定的图像区域，将进一步放大其切出图像区域而得到的图像作为第二显示图像，与第一显示图像并排地显示到显示器画面上(#5)。此外，在要显示第二显示图像的区域，在显示第二显示图像之前例如显示有由后方摄像头Ia拍摄得到的图像。
[0034]第二显示图像的显示时刻及从第二俯瞰图像切出的切出区域可以由用户来选择，但若车辆具备立体物检测功能，则能够在检测出立体物的时间点，切出拍摄到所检测出的立体物的图像区域来作为第二显示图像显示到显示器画面上。除此之外，在第二显示图像的显示框，原样显示后方摄像头的拍摄图像来作为通常图像。
[0035]在使用图1的本发明的图解说明中，仅使用后方摄像头拍摄得到的拍摄图像，生成通过二维平面投影转换(路面投影转换)生成的第一俯瞰图像和通过三维面投影转换(凹形曲面投影转换)生成的第二俯瞰图像，进而使用各俯瞰图像生成第一显示图像和第二显示图像。然而，将以自身车辆为中心的四方的周边状况，特别是将能够掌握路面状况的整个周围俯瞰图像显示给驾驶人员，才是优选方式的周边监视。下面，说明使用了整个周围俯瞰图像的周边监视的基本图像处理的流程。
[0036]图2是图解了显示整个周围第一俯瞰图像和整个周围第二俯瞰图像的过程的示意图，图2中的该整个周围第一俯瞰图像是使用由多个摄像头拍摄得到的拍摄图像通过进行二维平面投影转换和合成处理得到的，图2中的该整个周围第二俯瞰图像是从该第一俯瞰画通过进行三维面投影转换得到的。图3是图解了显示整个周围第一俯瞰图像和整个周围第二俯瞰图像的过程的示意图，图3中的该整个周围第一俯瞰图像是从由多个摄像头拍摄得到的拍摄图像通过进行二维平面投影转换和合成处理得到的，图3中的该整个周围第二俯瞰图像是从拍摄图像通过进行三维面投影转换和合成处理得到的。在图2及图3中，准备了后方摄像头la、左侧方摄像头lb、右侧方摄像头Ic及前方摄像头ld，来作为车载摄像头模块，并且，为了支援通过倒车进行平行停车(纵向停车)时的停车，准备了用于从由这些摄像头拍摄得到的四个周边拍摄图像生成二个类型的俯瞰图像的装置。
[0037]在使用图2图解的图像处理过程中，首先，将后方摄像头Ia拍摄得到的后方拍摄图像，通过进行从车辆正上方观察的通常的二维平面投影转换，来生成整个周围俯瞰图像的后方区域图像。同样地，将左侧方摄像头Ib拍摄得到的左拍摄图像、右侧方摄像头Ic拍摄得到的右拍摄图像以及前方摄像头Id拍摄得到的拍摄图像，分别投影转换成整个周围俯瞰图像的左区域图像、右区域图像及前方区域图像。在此，投影转换是通过使用了二维平面投影转换用映射表的映射来进行的。通过对从各拍摄图像生成的俯瞰图像(最终的第一俯瞰图像的一个区段(segment))，以在相邻的拍摄图像之间形成重叠(overlap)区域的方式进行图像合成，来生成第一俯瞰图像。在该图像合成中，在规定宽度的重叠区域实施规定比率的混合(blend)合成处理(alpha blending、透明混合处理)。
[0038]对于所生成的第一俯瞰图像,一方面根据需要通过实施修剪调整(trimming)处理，将其作为第一显示图像显示到显示器上。对于所生成的第一俯瞰图像，另一方面进一步通过使用了三维面投影转换用映射表的映射，来进行三维面投影转换，例如进行投影到凹弯曲状投影面上的投影转换。通过进行该映射，来生成第二俯瞰图像。该第二俯瞰图像因投影到三维面上而产生变形，但因该变形而还能够抵消在第一俯瞰图像上产生的路上立体物的向上拉伸变形。从所生成的第二俯瞰图像中切出所指定的图像区域，例如切出与在通过倒车进行平行停车时驾驶人员应关注的地方相对应的图像区域，并进一步对其进行放大后作为第二显示图像而与第一显示图像相邻地显示到显示器上。在图2的例子中，将平行停车行驶中的自身车辆的左前部分和停止车辆的右后部分之间的接近区域，视为驾驶人员应关注的地方来作为第二显示图像进行显示。
[0039]还使用图2，说明将该第二显示图像显示到显示器上的优选时刻的一个例子。在图2中示意性示出了平行停车，但在停车支援装置等运行的情况下，首先进行搜寻要停车的停车区域的搜寻行驶(图中用S表示的行驶路径)。在进行其搜寻行驶时检测到没有停止车辆的空场地的停车区域时，使车辆行进至用于停车到其停车区域的停车开始点(后退的开始位置)。在检测停车区域时，会得到对其停车区域添加了边界的停止车辆(立体物)的信息(还包含如没有停止车辆这样的信息)。在停车支援过程中，计算从停车开始点至停车区域的停车路径(图中用K表示的行驶路径)，并进行沿其停车路径的停车支援。此外，也可以如下进行该停车支援，即，以使得沿停车路径行驶的方式自动地进行转向控制，驾驶人员仅进行速度调节。在沿该停车路径后退时，已得到了停止车辆(立体物)的信息，因而例如在自身车辆的左前方接近前方的停止车辆而要接触的时刻，将基于反映出该停止车辆的拍摄图像而得到的第二显示图像显示到显示器画面上。
[0040]在使用图3图解的图像处理过程中，首先，将后方摄像头Ia拍摄得到的后方拍摄图像，通过进行从车辆正上方观察的通常的二维平面投影转换，来生成整个周围俯瞰图像的后方区域图像。同样地，将左侧方摄像头Ib拍摄得到的左拍摄图像、右侧方摄像头Ic拍摄得到的右拍摄图像及前方摄像头Id拍摄得到的拍摄图像，分别投影转换成整个周围俯瞰图像的左区域图像、右区域图像及前方区域图像。进而，通过对从各拍摄图像生成的俯瞰图像(最终的第一俯瞰图像的一个区段)，以在相邻的拍摄图像之间形成重叠区域的方式进行图像合成，来生成第一俯瞰图像。在该图像合成中，设定与通过二维平面投影转换生成的整个周围俯瞰图像适合的规定宽度的重叠区域，同样地，实施对该整个周围俯瞰图像适合的规定比率的混合合成处理(透明混合处理)。针对所生成的第一俯瞰图像，根据需要实施修剪调整处理，然后将其后作为第一显示图像显示到显示器上。
[0041]在图3的图像处理过程中，通过合成对各摄像头拍摄得到的拍摄图像分别进行三维面投影转换得到的俯瞰图像区段，来生成第二俯瞰图像。即，对使用后方摄像头Ia拍摄得到的后方拍摄图像，进行从车辆正上方投影到配置在路面上的三维投影面上的投影转换即三维面投影转换，以生成最终的整个周围俯瞰图像的后方区域图像。同样地，将左侧方摄像头Ib拍摄得到的左拍摄图像、右侧方摄像头Ic拍摄得到的右拍摄图像及前方摄像头Id拍摄得到的拍摄图像，分别作为整个周围俯瞰图像的左区域图像、右区域图像及前方区域图像，进行同样的投影转换。这样，通过对从各拍摄图像生成的俯瞰图像(最终的第二俯瞰图像的一个区段)，以在相邻的拍摄图像之间形成重叠区域的方式进行图像合成，来生成第二俯瞰图像。在该图像合成中，也设定对通过三维面投影转换生成的整个周围俯瞰图像适合的规定宽度的重叠区域，同样地实施对该整个周围俯瞰图像合适的规定比率的混合合成处理(透明混合处理)。在第一俯瞰图像和第二俯瞰图像中，周边部的图像的变形(失真)不同，因而设定了相互不同的重叠区域宽度及混合比率。从所生成的第二俯瞰图像中切出指定的图像区域后进而进行放大，将其作为第二显示图像而与第一显示图像相邻地显示到显示器上。
[0042]下面，基于附图，说明本发明的车辆周边监视装置的具体的实施方式的结构。在本实施方式中，采用使用图3图解的图像处理。因此，在车辆中安装有如下的车辆周边监视装置，在该车辆周边监视装置中构建有图像处理系统，该图像处理系统根据由四个车载摄像头即后方摄像头la、前方摄像头Id、左侧方摄像头Ib及右侧方摄像头Ic拍摄得到的拍摄图像生成前述的第一显示图像和第二显示图像。在下面的说明中，存在适宜地将这些车载摄像头la、lb、lc、Id简单地统称为摄像头I的情况。
[0043]摄像头I是数码摄像头，使用CCD (charge coupled device:电荷稱合器件)或CIS (CMOS image sensor:互补金属氧化物半导体型影像传感器)等的拍摄元件,来以时间序列拍摄每秒30帧的二维图像，并进行数字转换来实时地输出其拍摄图像。摄像头I具有广角镜头。特别地，在本实施方式中，在水平方向上确保140?190°的视场角而且在光轴上形成大约30度左右的俯角的方式，将该摄像头I设置在车辆上。
[0044]在车辆内部，设有作为车辆周边监视装置的核心的控制单元(下面，简称为E⑶)20。如图4所示，该ECU20具有传感器输入接口 23及通信接口 70等，用于将来自车辆状态检测传感器组的输入信号按照原样或对其进行评价后传送至E⑶20的内部，并且具有对输入信息进行处理的微处理器及DSP (digital signal processor:数字信号处理器)。
[0045]连接在传感器输入接口 23上的车辆状态检测传感器组，对驾驶操作及车辆行驶的状态进行检测。虽未图示，车辆状态检测传感器组包括对转向操作方向(操舵方向)和操作量(操舵量)进行计测的转向传感器、对变速杆的挡位进行判别的挡位传感器、对油门踏板的操作量进行计测的油门传感器、对制动踏板的操作量进行检测的制动传感器、对自身车辆的行驶距离进行检测的距离传感器等。
[0046]另外，用作输入输出接口的通信接口 70米用车载LAN (local area network:局域网)作为数据传送线，在该车载LAN上以能够传送数据的方式连接有显示器21、触摸面板21T、动力转向单元PS、变速机构T、制动装置BK等的控制单元。此外，还具有扬声器22作为语音信息的输出装置。
[0047]ECU20包括以硬件或软件或这两者的方式构建的各种功能部，但作为与本发明特别有关联的功能部，可例举作为本发明的立体物检测部的立体物检测模块30、图像处理模块50、显示控制部71及语音处理模块72。由图像处理模块50生成的用于显示到显示器上图像，被显示控制部71转换为视频信号之后发送至显示器21。使用扬声器22发出由语音处理模块72生成的语音引导及紧急时的警告声等。
[0048]停车支援模块73具有停车区域设定功能、停车路径生成功能、位置计算功能、停车引导功能等的用于支援自身车辆停到规定的停车区域的功能。停车区域设定功能是通过如下的设定方法来设定用于使自身车辆停车的停车区域的功能，这些设定方法是指，通过基于拍摄图像的图像处理及基于来自立体物检测模块30的立体物信息的推定处理等进行的自动设定的方法，或通过人为操作的设定的方法，或组合了这些设定方法的设定方法。停车路径生成功能计算从停车开始点至停车区域的停车路径的功能。位置计算功能是检测随自身车辆的移动而发生变化的自身车辆的位置信息并且检测随自身车辆的移动而发生变化的与停车区域之间的相对位置关系的功能。实际的停车行驶时的自身车辆位置例如能够基于由距离传感器获取的车辆移动量和由转向传感器计测的方向盘的转向量来求出。停车引导功能是一边参照所求出的自身车辆位置一边引导自身车辆以沿停车路径行驶的功能。停车引导功能可以自动地控制方向盘以沿停车路径行驶，也可以通过画面或语音将沿停车路径的方向盘的操作方向及操作量指示给驾驶人员。
[0049]立体物检测模块30包括通过对来自多个超声波传感器3的检测信号进行评价来进行立体物检测的超声波评价部31以及使用来自摄像头I的拍摄图像进行立体物检测的图像识别部32。超声波传感器3配置在车辆的前部、后部、左侧部基准右侧部中的各部的两端部位和中央部位，能够将存在于车辆周边附近的物体(立体物)通过来自该物体上的反射波检测出来。不仅能够通过对各超声波传感器3的反射波的返回时间及振幅进行处理来推定从车辆至物体的距离及物体的大小，还能够通过按时间顺序对全部超声波传感器3的检测结果进行处理来推定物体的移动及横向上的外形形状。图像识别部32中安装有其本身为公知的物体识别算法，根据输入来的拍摄图像，特别根据随时间经过连续拍摄得到的拍摄图像检测车辆周边的立体物。使用超声波评价部31和图像识别部32中的任一结构都能够检测出立体物，但是通过使对于检测立体物的形状优选的图像识别部32和对于计算到立体物为止的距离即立体物的位置优选的超声波评价部31这双方协同工作，能够更加准确地检测立体物。由此,立体物检测模块30能够输出记述有所检测出的立体物的位置、姿势、大小、色调等的立体物信息。从而，超声波评价部31和图像识别部32中的某一个结构或者它们的组合发挥本发明的立体物检测部的功能，进而还包括如使用激光雷达的其他立体物检测装置。
[0050]图5示出了 E⑶20的图像处理模块50的功能块图。图像处理模块50具有使用由拍摄自身车辆周边的摄像头I获取的拍摄图像通过进行投影转换来生成俯瞰图像等图像的功能。
[0051]图像处理模块50包括拍摄图像存储器51、预处理部52、图像生成部60、显示图像生成部53、帧存储器56及立体物信息获取部57。由摄像头I获取的拍摄图像被展开到拍摄图像存储器51中，预处理部52对由摄像头I分别获取的拍摄图像之间的亮度平衡及颜色平衡等进行调整。立体物信息获取部57接收从立体物检测模块30输出的立体物信息，并读取记述在该立体物信息中的立体物的位置、姿势、大小、色调等。进而，该立体物信息获取部57接收来自停车支援模块73的包括在设定停车区域时得到的停止车辆(立体物)的位置以及该停止车辆(立体物)与自身车辆之间的位置关系等的停车支援信息，作为附加的立体物信息。
[0052]图像生成部60包括通常图像生成部61、俯瞰图像生成管理部62、映射表63、第一俯瞰图像生成部64、第二俯瞰图像生成部65及混合调整部66。通常图像生成部61将拍摄图像的画质调整为在将拍摄图像按照原样作为车辆周边图像显示到显示器上时最佳的画质。可以由驾驶人员从后方摄像头la、左侧方摄像头lb、右侧方摄像头Ic及前方摄像头Id拍摄得到的拍摄图像中选择一个图像，作为显示到显示器上的车辆周边图像，也可以将多个拍摄图像的组合作为显示到显示器上的车辆周边图像。
[0053]第一俯瞰图像生成部64使用在拍摄图像存储器51中展开的拍摄图像进行上述的二维平面投影转换，由此生成第一俯瞰图像。在此，默认设定有将位于车辆上方的点作为假想视点并将与路面一致的面作为投影面的投影转换(的方式)，来作为该二维平面投影转换(的方式)，但也可以按照驾驶人员的嗜好或根据驾驶状况来变更投影转换的方式。
[0054]第二俯瞰图像生成部65使用在拍摄图像存储器51中展开的拍摄图像来进行上述的三维面投影转换，由此生成第二俯瞰图像。在此，默认设定有将位于车辆上方的点作为假想视点并将配置在路面上的圆顶形状的凹形曲面作为投影面的投影转换(的方式)，来作为该三维面投影转换(的方式)。就该三维面投影转换中的投影面而言，能够从其他的三维面，例如半球面、圆柱面、折曲平面等中选择，或者还能够将其投影面中心和投影中心错开规定偏移量。
[0055]此外，在该实施方式中，第一俯瞰图像生成部64及第二俯瞰图像生成部65中的投影转换是通过进行使用了映射表的图转换来实现的，因而以能够选择的方式预先保存有要在此使用的用于投影转换的各种映射表。在此，将由这样的以能够选择的方式保存的多个映射表构成的集合体及单个映射表，称为映射表63。能够以各种方式构建用于构成映射表63的各映射表(以下简称为映射图(map))，但是在此，构建了记述有拍摄图像的像素数据和投影转换图像(俯瞰图像)的像素数据之间的对应关系的映射图，针对I帧的拍摄图像的各像素，记述有俯瞰图像上的目标像素坐标。[0056]第一俯瞰图像生成部64生成通常的俯瞰图像，因而可从映射表63中选择的映射图是被限定的。然而，在第二俯瞰图像生成部65中使用的三维面投影转换的类型较多，因而能够将用于较多类型的三维面投影转换的图登录到映射表63中来选择适合的类型。进而，能够基于立体物的存在位置、大小等特性来决定选择要使用的三维面投影转换用图。在图6中示意性示出了基于立体物信息来选择那样的三维面投影转换用图的过程。由俯瞰图像生成管理部62选择要在那样的第一俯瞰图像生成部64及第二俯瞰图像生成部65中使用的投影转换类型，即选择根据映射表63而要使用的映射图。
[0057]使用图6，进一步详细说明选择在第二俯瞰图像生成部65中使用的投影转换类型的处理。
[0058]基于记述在从立体物检测模块30输出的立体物信息中的立体物的数据(位置、姿势、形状等)，或者基于从停车支援模块73输出的停车支援信息，来开始进行在第一俯瞰图像生成部64的俯瞰图像即第一显示图像旁边显示基于拍摄有该立体物的拍摄图像生成的第二显示图像的处理。首先，通过将从立体物信息中读取的立体物的特性数据作为输入参数进行规则运算处理，决定用于指示优选类型的投影转换的映射图选择指令。基于该映射图选择指令来从映射表63中选择适合的映射图，并将其设定到第二俯瞰图像生成部65中。例如，基于立体物的特性数据来决定转换参数，该转换参数用于规定投影转换的投影面形状以及该投影面与立体物(准确地是作为投影转换元图像的立体物图像)之间的相对位置。
[0059]在此，如在图5中示意性示出的那样，以映射图的方式准备了投影面形状及该投影面与立体物之间的相对位置不同的多个投影转换，来作为降低立体物失真的投影转换。可例举圆柱状弯曲面、由在途中弯折的平面构成的弯曲面、球面状弯曲面等，来作为投影面形状。当然，也可以使用与路面垂直的垂直平面以及相对于路面倾斜的倾斜平面，来作为投影面。另外，能够通过将各投影面配置在与立体物不同的相对位置上来实现不同的投影转换。特别地，将立体物投影到从投影面的路面立起的倾斜面区域或弯曲面区域，作为优选的配置，由此，能够在立体物的投影图像整体(整个投影图像)上抑制在与路面平行的投影面产生的拖拉失真。由此，便于将立体物的路面侧端部的投影位置配置在与从投影面的路面起立起的区域位置一致的位置。此时，能够通过边缘检测处理来检测出立体物的路面侧端部的位置，因而，可以使用以使该位置与从投影面的路面立起的位置一致的方式配置的投影面来生成立体物的俯瞰图像。
[0060]显示图像生成部53包括合成由图像生成部60生成的图像的图像合成部54以及对图像进行修剪调整并进行放大的图像放大部55。图像合成部54通过对根据各摄像头的拍摄图像中的每个拍摄图像生成的俯瞰图像区段进行全景合成，来生成整个周围的第一俯瞰图像及第二俯瞰图像。在进行该全景合成时，为了进行上述的混合合成处理，使用由混合调整部66决定的对于投影转换优选的重叠区域宽度及混合比率。图像放大部55为了生成第二显示图像而从第二俯瞰图像中切出拍摄有立体物的第二俯瞰图像的图像区域并进行放大。
[0061]将最终的第一显示图像和第二显示图像嵌入到规定的模板框中，并将此作为用于显示到显示器上图像传送至帧存储器56，并经由显示控制部71显示到显示器21上。
[0062]接着，使用图7的流程图，说明内置有如上述那样构成的图像生成装置的车辆周边监视装置显示俯瞰图像的流程。[0063]若以监视该车辆周边为目的的俯瞰图像显示程序开始，首先设定在第一俯瞰图像生成部64中使用的用于进行二维平面投影转换的映射图，在此设定将路面作为投影面的用于进行投影转换的映射图(#01)。另外，还设定合成俯瞰图像区段时的重叠区域的宽度及混合比率等(#02)。接着，获取各车载摄像头I的拍摄图像(#03)，并用所设定的映射图来根据各拍摄图像生成俯瞰图像区段(#04)。通过将所生成的俯瞰图像区段以所设定的重叠区域的宽度及混合比率进行组合合成，来生成作为通常的俯瞰图像的第一俯瞰图像(#05)。此时，在自身车辆位置配置预先设定的车辆的俯瞰图像(也可以是插图或标识)。
[0064]检查是否从立体物检测模块30或停车支援模块73输出了立体物信息(#06)。在未输出立体物信息的情况下(#06 否”分支)，视为哪个拍摄图像都未拍摄出应关注的立体物，因此通过将在步骤#05中生成的第一俯瞰图像与通常图像(例如，后侧监控图像)进行组合来生成显示俯瞰图像(#14)。将所生成的显示俯瞰图像显示到显示器21上(#15)。在此，只要没有使俯瞰图像显示程序结束的指令(#16 否”分支)，就再次返回步骤#01，反复执行该程序。
[0065]在步骤#06的检查中，在示出了立体物信息的情况下(#06 是”分支)，视为应关注的立体物被拍摄到拍摄图像中，首先从立体物信息中读取所检测出的立体物的位置、姿势、大小等的数据(#07)。基于与所读取的立体物相关的数据来计算拍摄图像上的该立体物的图像区域(#08)。进而，在该实施方式中，基于与立体物相关的数据，来设定在第一俯瞰图像生成部64中使用的用于进行三维面投影转换的映射图，在此设定将半球面作为投影面的用于进行投影转换的图(#09)。同样地基于与立体物相关的数据，来设定合成俯瞰图像区段时的重叠区域的宽度及混合比率等(#10)。用所设定的用于进行三维面投影转换的该映射图，根据拍摄图像生成俯瞰图像区段(#11)。通过将所生成的俯瞰图像区段以所设定的重叠区域的宽度及混合比率进行组合合成，来生成作为球面投影俯瞰图像的第二俯瞰图像(#12)。从所生成的第二俯瞰图像中，基于所计算出的立体物的图像区域切出含有该立体物的范围并进行放大(#13)。放大的该第二俯瞰图像的部分区域成为用于显示的第二俯瞰图像。因此，在步骤#12生成第二俯瞰图像时，可以仅使用含有该立体物的拍摄图像。通过将这样生成的作为局部放大俯瞰图像的第二俯瞰图像与第一俯瞰图像进行组合来生成显示俯瞰图像(#14)。将所生成的显示俯瞰图像显示到显示器21上(#15)。此外，因在车辆附近存在立体物而基于第二俯瞰图像生成第二显示图像，并与第一显示图像一起将第二显示图像显示到显示器21上，但也可以参照图2及图3中示出的显示器画面来作为该显示器画面。
[0066]〔其他实施方式〕
[0067](I)在上述的具体的实施方式中，采用了在图3中图解的图像处理方法，但还能够以实质上同一结构来采用在图3中图解的图像处理方法，进而还能够采用在图1中图解的图像处理方法即使用一个摄像头生成二个类型的俯瞰图像的图像处理方法。
[0068](2)在上述的实施方式中，为了容易理解地说明图像处理模块50的功能，如图5所示，将其结构按照功能进行了模块化，但该功能块仅是说明目的，本发明并不限定于这样划分的功能块。例如，可以组合各功能部中的一些功能部来构成，相反也可以将各功能部进一步分割。另外，也可以将图像处理模块50自身的全部功能或其一部分的功能内置到其他ECU 中。[0069](3)在上述的实施方式中，提出了使用了超声波的立体物检测和使用了图像识别的立体物检测中的一个检测方法或这两个检测方法的组合,作为立体物检测方法,但显然使用这以外的立体物检测方法，例如使用激光雷达法或红外线法的技术，也包含在本发明的范围内。
[0070](4)在上述的实施方式中，将第二显示图像与第一显示图像并排地显示到显示器画面上，但例如也可以采用以替代第一显示图像而显示第二显示图像的方式切换显示第一显示图像和第二显示图像的方法。
[0071]产业上的可利用性
[0072]本发明能够应用于用俯瞰图像进行车辆周边的监视的全部的系统。
[0073]附图标记的说明
[0074]I摄像头模块
[0075]30立体物检测模块
[0076]21显示器(监视器)
[0077]50图像处理模块
[0078]53显示图像生成部
[0079]54图像合成部
[0080]55图像放大部
[0081]57立体物信息获取部
[0082]60图像生成部
[0083]61通常图像生成部
[0084]62俯瞰图像生成管理部
[0085]63映射表
[0086]64第一俯瞰图像生成部
[0087]65第二俯瞰图像生成部
[0088]66混合调整部
[0089]71显示控制部
[0090]73停车支援模块
【权利要求】
1.一种车辆周边监视装置，其特征在于， 包括: 车载摄像头模块，其拍摄车辆的周边区域， 第一俯瞰图像生成部，其基于所述车载摄像头模块所获取的拍摄图像，通过进行二维平面投影转换来生成第一俯瞰图像， 第二俯瞰图像生成部，其基于所述拍摄图像，通过进行三维面投影转换来生成第二俯瞰图像， 显示图像生成部，其根据所述第一俯瞰图像来生成用于显示到显示器上的第一显示图像，并且根据与该第一显示图像的规定区域相对应的所述第二俯瞰图像的规定区域，来生成具有比所述第一显示图像的显示倍率更大的显示倍率的用于显示到显示器上的第二显示图像。
2.如权利要求1所述的车辆周边监视装置，其特征在于，在所述三维面投影转换中，使用凹曲面作为投影面。
3.如权利要求1或2所述的车辆周边监视装置，其特征在于，将所述第一显示图像和所述第二显示图像显示到同一显示器画面上。
4.如权利要求1至3中任一项所述的车辆周边监视装置，其特征在于，基于从检测车辆周边的立体物的立体物检测部接收的立体物检测信息，来将包含所述立体物所存在的区域的所述第二显示图像显示到显示器上。
5.如权利要求1至3中任一项所述的车辆周边监视装置，其特征在于， 在显示器上，显示包含由车辆乘客指定的车辆周边区域在内的所述第二显示图像。
6.如权利要求1至5中任一项所述的车辆周边监视装置，其特征在于，所述车载摄像头模块，由具有相互之间的拍摄区域相重叠的重叠区域的多个车载摄像头构成，所述第一俯瞰图像及所述第二俯瞰图像，是通过对各拍摄图像进行全景合成来生成的，此时，所述重叠区域以规定宽度及规定比率被混合。
7.如权利要求6所述的车辆周边监视装置，其特征在于，所述规定宽度或所述规定比率或这双方，在所述第一俯瞰图像和所述第二俯瞰图像中不同。
8.如权利要求1至5中任一项所述的车辆周边监视装置，其特征在于，所述第二俯瞰图像生成部，通过对所述第一俯瞰图像进行曲面投影转换来生成所述第二俯瞰图像。
9.如权利要求1至8中任一项所述的车辆周边监视装置，其特征在于， 根据从停车支援模块获取的停车支援信息，求出用于显示所述第二显示图像的时刻，在该时刻将所述第二显示图像显示到显示器画面上， 所述停车支援模块用于进行停车控制，在该停车控制中，设定停车区域并且生成用于将车辆引导至该停车区域的停车路径，所述停车支援信息中包含与停车路径、停车区域及停止车辆相关的信息。
【文档编号】H04N7/18GK103988499SQ201280043837
【公开日】2014年8月13日 申请日期:2012年8月21日 优先权日:2011年9月27日
【发明者】若林春树, 佐藤功祐, 山本欣司, 武田圣子 申请人:爱信精机株式会社