驾驶辅助装置的制作方法

专利名称：驾驶辅助装置的制作方法
技术领域：
本发明涉及驾驶辅助装置。
背景技术：
1. 车载摄像机
在汽车中，通常具有消除自驾驶人的死角，提高辨识性的摄像机的装
备。据说在2006年度辨识用摄像机的出厂台数超过200万台。包括卡车 的国内的新车销售台数在一年略少于600万辆，因此，可以计算出大概三 辆安装有一台辨识用摄像机。
辨识用摄像机包括(1)在后退时显示车辆后方影像的后侧摄像机、 (2)显示与驾驶人的相反侧的前轮部分的前侧摄像机、(3)辨识车辆正 前方的死角的前摄像机、(4)显示在从狭窄胡同等出发时产生的侧方的死 角的影像的侧面盲区摄像机等。当前，后侧摄像机占据辨识用摄像机的 77%,并成为了主流。
在辨识用车载摄像机中，为了尽量减小死角，通常使用广角的光学系。 在后侧摄像机中，水平面超过100度。在由具备这样的光学系的车载摄像 机拍摄的图像中，产生大的"木桶"状歪曲像散。由于该像散，对驾驶人 来说，存在拍摄为图像的障碍物的位置或距离感难以直观分辨的问题。
2. 畸变修正
2.1利用光学处理的透镜畸变修正方法
作为修正木桶型畸变的方法，大致有两种。其一是通过对光学系的结 构进行研究，抑制畸变的方法，其二是在图像摄影后利用数字方法来修正 图像的方法。
光学畸变修正如非专利文献1、 2中所示，通过使用非球面透镜等对 光学系的结构进行研究而实现修正。
非专利文献1:免费百科事典"维基菲尔德(Wikipedia)"摄像透镜项。
非专利文献2:数码相机的最尖端技术第四章透镜魂学系设计(株) 技术信息研究会
但是，畸变像差与角度的大致三次幂成正比地增大，在用于车载摄像 机的成为广角的光学系的情况下，难以通过仅对光学系进行研究来完全修 正畸变。另外，修正的程度在光学系的设计阶段中已确定，导致在用户使 用的阶段，难以调节畸变的程度。进而，使用金属模来生产非球面透镜， 因此，初始投资成为大的问题。
2.2利用图像处理的透镜畸变修正方法
作为利用图像处理，修正摄像机的透镜畸变的方法，经常使用Tsai 的方法(参照非专利文献3、 4)或Zhengyou zhang建议的算法(参照非 专利文献5、 6)。本方法已作为计算机程序安装的程序库提出(参照非专 利文献7)，也可以利用于本发明的畸变修正中。
一卩专禾ll文献3: R.Y.Tsai:A Versastile camera calibration technique for hightg-accuracy 3D machine vision metrology using off-the-shelf TV camera and lenses; Ieee Journal of Robotics and Automation,Ra-3,4,pp.323-344(1987).
非专利文献4:计算机图像技术评论和未来展望1998年6月浅田
尚纪
非专利文献5: Z.Zhang . "Flexible Camera Calibration By Viewing a Plane From Unknown Orientations" ,Proc.ofICCV，99，pp666-673，1999,
非专禾U文献6: Z.Zhang. "A Flexible New Technique for Camera Calibration"正EE，PAMI 22(1 l)，ppl 130-1134,2000.
非专利文献7: OpenCV Reference Manual,6 3D Reconstruction [Camera Calibration] ,pp6—1-6—3.
在提供的程序库中，对于在图1所示的平面上的规则性的已知图案， 改变摄像机和平面的相对关系的同时，使用拍摄的多个图像，算出用于进 行摄像机的畸变修正的四个参数(k,， k2， Pl， p2)。这些参数是用于控制 畸变修正强度的参数。这些参数的值越大，畸变修正强度越大。
使用这些参数，使用以下式(1)，可以求出获得图像的坐标位置(x，， y，)和畸变修正后的坐标值(x， y)的对应关系。但是，坐标位置由以图像的中心为原点，水平方向设为x坐标，垂直方向设为y坐标的坐标系来 表示。在式(1)中，<formula>formula see original document page 5</formula>使用上述方法，图2 (a)、图2 (b)及图2 (c)表示进行了畸变修正 的图像的例子的示意图。图2 (a)表示拍摄了图1的已知参数的原图像， 图2 (b)表示畸变修正整体图像，图2 (c)表示畸变修正切出图像。在 使用广角摄像机的情况下，如原图像一样产生木桶型的畸变的情况居多， 当修正畸变时，成为如矩形的角的四处扩大的"畸变修正整体图像"的图 像。另外，基本上进行将畸变部分扩大的转换，因此，图像尺寸变得比原 图像大。通常，这些图像通过判断辨识性降低，将从"畸变修正整体图像"内 切出的矩形区域(在图2 (b)中由虚线的矩形框包围的区域)的"畸变修 正切出图像"用于显示的情况居多。在从"畸变修正整体图像"切出内部 的矩形区域时，舍弃畸变修正时扩大的图像的角的四处部分，因此，不显 示由原图像获得的信息的一部分。因此，可能提高阅览人的辨识性，但图 像整体的信息量降低。还有，在畸变修正或切出时，根据显示系的图像解 析度，有时伴随扩大或縮小的处理。作为利用硬件进行畸变修正的方法，考虑如下方法，S卩预先准备与 修正前后的地址对应的修正表格(查询表格)，按照该查询表格，转换像 素的地址。畸变由于具有二维形状，修正后的像素地址未必与修正前的整 数地址对应，由此，需要存储一个图像的量的输入图像的帧存储器和插补 像素的插补运算电路，存在电路规模变大的问题。在专利文献l中，提出了通过将畸变修正在水平方向上进行，利用线 路存储器和两个像素的插补电路进行畸变修正的技术。另外，在专利文献 2中，出于简略化插补电路的结构，避免由畸变修正产生的图像四角的欠 缺的目的，提出了将图像的X轴、Y轴分为两个阶段，依次进行处理的方 法。在这些专利文献1、 2中，电路的简单化为主要目的，为了提高用户的可观测性，不考虑控制畸变修正的强度。专利文献1:特许第3047581号公报"图像畸变修正方法及装置"、使用了线路存储器的畸变修正。专利文献2:特许第3451017号公报"图像处理方法及装置"水平、 垂直的两阶段畸变修正。出于修正数码相机的畸变的目的，也提出了数字畸变修正(参照非专 利文献8)。在数字畸变修正中，通过变换畸变修正的参数，能够变更畸变 的强度的情况下，提高畸变修正的精度等。但是，在此，使以光轴为中心 点对称地分布的畸变同样地减少。非专利文献8:"数码相机中的图像修正技术"Ricoh Technical Report No,31(Dec.,2005)http:〃www.ricoh.co.jp/about/businessoverview/report/31/pdf/A3114.pdf 3.车载摄像机的畸变修正/图像转换在车载摄像机中，也为了容易进行驾驶人的辨识，提出了各种建议。在专利文献3中，认为完全修正畸变未必有利于驾驶人的认知性(尤 其距离感)的提高，并提出了通过在纵向及横向上赋予平缓的畸变而保存 距离感的畸变修正。在该建议中，主要着眼于认知性的提高，并没有考虑 保存像角的情况。另外，仅记载了平缓地转换畸变的情况，没有将图像分 为区域而变更畸变修正的强度的概念。专利文献3:特开2003 — 123064号公报"图像转换装置及将其装入 的摄像及/或显示装置"。在专利文献4中，提出了在具有用于牵引拖车的结的车辆中，抽出结 部分，将其放大表面的方法。在该建议中，建议将结部分和广范围图像同 时作为各自的图像来显示，没有控制畸变修正的强度的概念。专利文献4:特许第3483143号公报"驾驶辅助装置"在专利文献5中，提出了在拍摄90度以上的广角的摄像机中，将观 测区域的图像部分地抽出的同时，修正畸变的方法。在建议中，与一律进 行畸变修正后，抽出图像的情况等同，没有控制畸变修正的强度的概念。专利文献5:特许第3446277号公报"车辆用周围状况显示装置"在专利文献6中，提出了通过使用棱镜之类的光学部件来赋予光学性 平缓的畸变修正的技术。在该建议中，仅记载了使畸变平缓地变化的情况， 没有将图像分为区域，曝光畸变修正的强度的概念。另外，由于是光学式 畸变修正，因此，在设计光学系后，不能变更畸变修正的强度，没有根据 车辆上的搭载状态，调节修正强度的概念。专利文献6:特许第3446991号公报"监视装置"出于容易掌握车辆的姿势或周围的状况，提出了假想转换摄像机的位 置或角度的方法。在专利文献7中，提出了通过假想转换车辆后摄像机的 安装高度，减小靠近车辆的区域、和远的区域的观测的差异，或通过假想 转换摄像机的前后方向的安装位置，减小成为视野的无用区域的缓冲器的 映射的方法。专利文献7:特许第3624769号公报"车辆后方监视装置用图像转换 装置"在国内汽车厂家的选折中釆用的后侧摄像机(参照非专利文献9)或 专利文献8中，通过将摄像机假想地朝向铅垂方向，容易理解地显示道路 的停车线和自车的位置关系。在这些建议中，着眼于认知性的提高，而牺 牲了图像角度。非专利文献9: 7X、年工7、、!； 一 7rf、y用7夕ir步U— ir^夕卜匕、、 二一〃^夕7一力乂 ，http:〃www.suzuki-accessory.ip/every/navi/99020—b 14.html 专利文献8:特许第3286306号公报"图像生成装置、图像生成方法" 为了正确表示车宽延长线或前进路预想线，寻求对车体的摄像机安装 的精度。另外，在进行如上所述的图像的坐标转换的高功能的摄像机中， 摄像机安装的精度也是重要的。调节检査摄像机的安装的方法也变得重 要。在专利文献9中，提出了为了向作业人员显示安装的摄像机的角度是 否为基于图像转换引起的能够微调的范围，或角度的调节方法，而对位于 车辆前方的规定位置的基准测试图案、和在拍摄图像的规定位置显示的判 断参数进行比较的方法。在该专利中，仅着眼于摄像机的角度调节，没有 调节畸变系数的概念。专利文献9:特许第3565749号公报"车载摄像机的摄像方向的检查 方法及其检査装置"在专利文献10中，出于修正摄像机的安装位置、角度、透镜光轴的 偏移的目的，提出了对在摄像机前的规定位置设置的测试图案、和由作为 对车辆的设计值确定的基准位置算出的测试图案的理想拍摄位置进行比 较的方法。在该专利中，提出了由测试图案的实际摄像位置和理想摄像位 置的偏离来算出含有畸变系数的摄像机参数，但没有调节畸变系数的建 议。专利文献10:特许第3632563号公报"影像位置关系修正装置、具 备该影像位置关系修正装置的操纵辅助装置、及影像位置关系修正方法"如上所述，通常，车载摄像机使用广角的光学系，因此，具有大的透 镜畸变。为了能够同时掌握车体附近的障碍物和自车，如图3所示，通常 将摄像机位置设定为车体映射于图像内的一部分中。图3的例子中拍摄了 停车场，但作为车体的一部分，映射了后保险杆(图3中用100表示)。 车体需要一部分映射，但如果透镜畸变大，则车体占据图像大部分区域。 除了透镜畸变之外，摄像机的安装位置从车的中央偏离的情况居多，还难 以查找最佳摄像机位置。在数字式的畸变修正中，能够大致完全修正透镜畸变。图4中示出畸 变修正后的图像。在这种情况下，几乎没有车体端的畸变，没有消除过大 映射车体的难点。但是，另一方面，通过解决畸变，会缺欠对角的信息。对角的信息是指摄像机的上侧视野的两侧的区域的信息，相对于图3的右 上及左上的部分的信息。例如，如图4虚线所示，缺欠图3的右上的车辆 的信息。对角图像角度是否重要通过摄像机对车体的设置来变化。在摄像机的 俯角大的情况下，摄像机的上侧视野拍摄道路面。在这种情况下，在道路 面可能存在人或车等干扰自车的障碍物，是重要的区域。通过畸变修正， 不优选由于畸变修正，导致对角信息缺欠的情况。在摄像机的俯角小的情 况下，摄像机的上侧视野成为道路面之上。在这种情况下，干扰自车的障 碍物存在的可能性降低，另外，通常能够由驾驶人直接辨识。在成为这样 的摄像机设定的情况下，能够比对角信息更重视畸变，进行畸变修正。发明内容本发明的目的在于提供在对输入图像进行透镜畸变修正的情况下，能 够将输入图像分为多个区域，对各区域单独改变畸变修正强度的驾驶辅助 装置。本发明的驾驶辅助装置是一种驾驶辅助装置，其特征在于，具备摄 像装置，其搭载于车体，且拍摄车体的周边区域；透镜畸变修正机构，其 对利用摄像装置拍摄的输入图像进行透镜畸变修正；及显示器，其用于显 示利用透镜畸变修正机构得到的图像，透镜畸变修正机构将输入图像分为 多个区域，以在每个区域不同的畸变修正强度进行透镜畸变修正。作为上述透镜畸变修正机构例如使用以下的机构也可，S卩根据距车 体的距离及/或摄像机的俯角，将输入图像分为多个区域，以在每个区域不 同的畸变修正强度进行透镜畸变修正。也可设置区域设定机构，其用于设定多个区域；及畸变修正强度确 定机构，其对利用区域设定机构设定的区域每一个确定畸变修正强度，上 述透镜畸变修正机构对输入图像进行与利用畸变修正强度确定机构确定 的区域每一个的畸变修正强度对应的透镜畸变修正。也可设置区域临时设定机构，其用于临时设定多个区域；畸变修正 强度临时确定机构，其对利用区域临时设定机构临时设定的区域每一个， 临时确定畸变修正强度；利用网格线，在显示器上显示与利用畸变修正强 度临时确定机构临时确定的区域每一个的畸变修正强度对应的畸变修正 的效果的机构；及正式设定机构，其将利用畸变修正强度临时确定机构临 时设定的区域每一个的畸变修正强度，正式设定为原本的区域每一个的畸 变修正强度，上述透镜畸变修正机构对输入图像，进行与利用正式设定机 构正式设定的区域每一个的畸变修正强度对应的透镜畸变修正。


图1是用于通过图像处理修正摄像机的透镜畸变的方法的说明图。 图2 (a)、图2 (b)及图2 (c)是表示进行了透镜畸变修正的图像的 例子的示意图。图3是表示利用车载摄像机摄像的图像的一例的示意图。图4是表示对图3的图像进行透镜畸变修正后的图像的示意图。图5是表示对车体部及车体附近部进行强的畸变修正，在远方部进行 透镜畸变修正为从车体越远离而修正的强度越弱的例子的示意图。图6是表示在车体部中进行强的透镜畸变修正，在车体附近部进行修 正为从车体越远离而修正的强度越弱，在远方部不进行透镜畸变修正的例 子的示意图。图7是表示驾驶辅助装置的结构的方框图。图8是用于说明利用LUT21的透镜畸变修正方法的概要的示意图。 图9 (a)及图9 (b)是表示LUT21的结构例的示意图。 图IO是用于说明插补运算方法的示意图。图11是表示在起动了畸变修正强度调节软件的情况下，在PC50显示 的畸变修正强度调节画面的例子的示意图。图12是表示边界位置u、s、和控制畸变修正强度参数的系数a(050^1) 的关系的示意图。图13 (a)、图13 (b)及图13 (c)是分别表示输入图像、进行本实 施例的畸变修正的结构的整体的图像、及显示用而切出的图像的示意图。 图14是表示用于简易显示畸变修正强度的分配的网格的例子的示意图。图15是用于由对图像整体设定a=l的情况下的网格上的坐标值，根 据ct的设定值，计算相当于各自的对应点的坐标值的方法的示意图。图16 (a)及图16 (b)是分别表示没有畸变修正的情况((x=0)的情 况下的网格的一例、基于设定的u、 s制作的畸变强度的分配所示的网格 的一例的示意图。
具体实施方式
首先，对本申请发明的基本的想法进行说明。在本申请发明中，将图 像区域分为车体部、车体附近部及远方部的区域，使用在每个区域预先设 定的畸变修正强度参数，进行透镜畸变修正。镜畸变修正为从车体越远离而修正的强度越弱的例子。在车体部及车体附 近部进行了强的透镜畸变修正，因此，将车体端正确表示为直线。在远方 部中，透镜畸变修正变弱，因此，透镜畸变残留，但是保存对角的信息量。 图5所示的透镜畸变修正使用于摄像机的俯角小等，对角信息并不那么重 要的情况中。还有，如图6所示，对车体部中进行强的透镜畸变修正，在车体附近 部进行透镜畸变修正为从车体越远离而修正的强度越弱，在远方部不进行透镜畸变修正也可。图6所示的透镜畸变修正使用于摄像机的俯角大等，对角信息重要的情况中。以下，对通过图6所示的畸变修正强度的分配，对输入图像进行透镜畸变修正的情况的实施例进行说明。 [1]实施例1图7表示驾驶辅助装置的结构。驾驶辅助装置具备输入图像的摄像机l、透镜畸变修正部2及显示图像的监视器3。在该例中，透镜畸变修正部2形成为独立于摄像机1或 监视器3的结构，但形成为与摄像机1成一体的结构也可，形成为与监视 器3成一体的结构也可。在该例子中，作为摄像机l，使用拍摄车辆的后 方影像的后侧摄像机。在本实施例中，作为调节透镜畸变修正的强度的工 具，使用校准用PC50。透镜畸变修正部2具备存储输入图像和输出图像的坐标的对应关系 的LUT (査询表格)21及基于LUT21计算透镜畸变修正图像的CPU22。 另外，如后述的实施例中说明所述，具备用于将畸变修正强度的分配(透 镜畸变修正的效果)在图像上容易辨认地显示的OSD(在屏显示，on screen display)回路23。透镜畸变修正部2还担当向OSD电路23的显示指示、 与PC50的接口的作用。图8表示利用LUT21的畸变修正方法的概要。图8的左侧表示输入图像(畸变图像)101，图8的右侧表示输出图 像(畸变修正图像)102。对于输入图像，将原点(0， 0)设在输入图像 的左下方，横轴设定为x坐标，纵轴设定为y坐标。对于输出图像，将原 点(0， 0)设定在输出图像的左下方，横轴设定为i坐标，纵轴设定为j坐标。用査询表格的形式保存用于获得位于输出图像102的像素位置P(i，
j)中的像素值而参照的原图像的像素位置P' (Xij， Yij)。 图9 (a)及图9 (b)表示LUT21的结构例。
在图9 (a)及图9 (b)中，对于输出图像中的各像素位置，分别对x 坐标和y坐标保持LUT。图9 (a)表示存储了与输出图像中的各像素位 置(i， j)对应的输入图像的x坐标的LUT，图9 (b)表示存储了与输出 图像对应的各像素位置(i， j)对应的输入图像的y坐标的LUT。
例如，在输出图像中位于(0， 0)位置的像素的像素值为输入图像的 (22.5， 43.7)的位置的像素值。另外，在输出图像中位于(2， 1)的位 置的像素的像素值为输入图像的(23.5， 44.2)的位置的像素值。
与输出图像中的各像素位置对应的输入图像的像素位置通过后述的 畸变修正转换式来求出。但是，输入图像的像素位置为整数值，因此，实 际上，x坐标为22.5的像素不存在。因此，通过使用其小数部分，进行加 权平均而算出转换后的像素值(Bi—Linear插补运算)。使用图10说明插 补运算。
在此，对求出在输出图像中位于(2， 1)的位置的像素的像素值的情 况进行说明。如详述，在输出图像中位于(2， 1)的位置的像素的像素值 为输入图像的(23.5， 44.2)的位置的像素值。
在图10中，X表示与输入图像内的位置(23.5， 44.2)对应的假想的 像素。图IO的A、 B、 C、 D表示与假想的像素位置(23.5， 44.2)邻接的 四个像素。A、 B、 C、 D的像素的位置分别为(23， 45)、 (24， 45)、 (23， 44)、 (23， 44)。
在图10中，p表示像素D和假想像素X的x坐标的差分的绝对值，q 表示像素D和假想像素X的y坐标的差分的绝对值。在该例中，p=0.5， q=0.2。如果用A、 B、 C、 D表示像素A、 B、 C、 D的像素值，则通过以 下式(2)来算出假想像素X的像素值。<formula>formula see original document page 12</formula> …(2)还有，畸变修正强度的分配需要根据摄像机1的向车体的设置来变更。 在该实施例中，畸变修正强度的分配的设定是使用校准用PC50来进行。
在校准用PC50中安装有用于进行畸变修正强度的分配的设定的畸变 修正强度调节软件。校准用PC50和驾驶辅助装置的CPU22经由通信电缆 连接。
图11表示在起动了畸变修正强度调节软件的情况下，在PC50显示的 畸变修正强度调节画面的例子。
在图11中，201表示图像显示区域，202表示图像取入按钮，203表 示LUT数据转送按钮，204表示结束按钮，205、 206表示滑动键。滑动 键205是用于设定车体部和车体附近部的边界位置u的键。滑动键206是 用于设定车体附近部和远方部的边界位置s的键。
图12表示边界位置u、 s、和控制畸变修正强度参数的系数a (0《a 《1)的关系。
在该实施例中，在从图面下侧到边界位置u为止的区域(车体部)中 畸变修正强度变强。即，a=l。 .
在u和s的区域(车体附近部的区域)中，随着从u的距离远离，畸 变修正强度变弱。艮卩，在将从u的距离设为t的情况下，a=|s—t|/|si|。
在从s到图面上侧为止的区域(远方部)中，不进行畸变修正。即，a=0。
若按动图像取入按钮202，则由摄像机1拍摄的图像被转送到校准用 PC50，显示于图像显示区域201上。PC50基于利用滑动键205、 206设定 的边界位置u、 s、和后述的畸变修正转换式，制作用于将输入图像转换为 畸变修正后的图像的LUT数据，基于制成的LUT数据，对输入图像进行 畸变修正，将畸变修正后的图像显示于图像显示区域201上。
操作人确认图像转换的效果的同时，设定边界位置u、 s。在设定了最 佳边界位置u、 s的情况下，操作人按动LUT数据转送按钮203。由此， 利用PC50制作的LUT数据被送往驾驶辅助装置的CPU22。 CPU22将从 PC50送过来的LUT数据设置于透镜畸变修正部2的LUT21。透镜畸变修 正部2使用在LUT21设置的坐标对应关系，将输入图像转换为畸变修正 图像，将得到的图像显示于监视器3。
对在制作LUT数据的情况下使用的透镜畸变转换式进行说明。如在"背景技术"栏中的说明，输入图像的坐标位置(x'， y')和透镜畸变修
正后的坐标值(x， y)由下述式(3)表示。在式(3)中，r2=x2+y2。其 中，xy坐标系是将图像的中心作为原点的坐标系。
x， =x + x (Id r2 + k2 ") +2pji xy + p2 (r2+2x2) y， =y + y (ki r2+k2 r4) + 2pi xy + p2 (r2+2y2)
…(3)
为了调节畸变修正强度，通过在四个参数k2、 Pl、 p2上乘以系数a， 如式(4)、 (5)所示地修正上述式(3)。
k ' i = a; k i
k' 2= a
p ， 1= a p i
p ， 2= a p 2 … (4 )
x ， = x + x (k y ， = y + y (k
k，,、 k'2、 p、及p'2是修正后的畸变修正参数，其大小根据a的值而变化。
在本实施例中使用的坐标系如图8及图9中的说明，是将图像的左下 方作为原点的xy坐标系，因此，将输入图像的水平像素数设为M，将垂 直像素数设为N，贝lJX『x，+M/2、 Yij=y，+N/2、 i=x+M/2、 j=y+N/2。
从而，上述式(5)如下述式(6)所示地表现。在式(6)中，r2= (i —M/2) 2+ (j—N/2) 2。
,r2 + k，2:M ) + 2p、xy + p，2 (r2 + 2x2) ir2 + k，2r4 ) + 2p，'xy + p'2 (r2 + 2y2)
…(5)Xi产(i一M/2) + (i—M/2)(k' ^ r 2 .+k ' 2 r 4 ) + 2 p, :i ( i -M/2)(j-N/2) +p'2 + 2 (i —M/2) 2 }
+ M/2
Yu= (j —N/2) + (j —N/2)(k、r2 + k'2r'i ) + 2 p、 (i 一M/2)(j—N/2)+p'2{r2+2 (j —N/2) 2 } + N/2 …(6)
在辅助驾驶人的视觉的情况下，图像下部成为保险杆部，图像上部成 为车辆后方(在前侧摄像机的情况下为前方)的情况居多。如果考虑驾驶 人的辨识性的情况下，保险杆部优选显示为没有畸变的直线。另一方面， 成为图像上部的车辆后方(在前侧摄像机的情况下为前方)优选出于安全 确认的目的，尽量不损失获得的图像的信息量而显示。
因此，在相当于保险杆部的图像下部(在实施例中，畸变修正图像的 作为纵轴的j的值小于u的部分)中，将畸变修正强度设定((X=l)为大， 使用上述式(4)及式(6)，算出在LUT保持的参照像素位置。
另外，在图像上部(在实施例中，畸变修正图像的作为纵轴的j的值 小于s的部分)中，为了保存信息量，将畸变修正强度设定(a=0)为小， 使用上述式(4)及(6)，算出在LUT保持的参照像素位置。
在中间部(在实施例中，畸变修正图像的作为纵轴的j的值为u和s 之间的t的部分)中，阶段性地设定(cHs_t|/|Si|)，使用上述式(4) 及(6)，算出在LUT保持的参照像素位置。这是因为，在极端地变动a 的值的情况下，不能在上部和下部顺畅地连接图像，导致降低辨识性。在 本实施例中，在图像的中间部中，阶段性地变动a的值，由此生成维持了 辨识性的畸变修正图像。通过这样设定(x，对图像下部进行强的透镜畸变 修正，对于图像上部不进行透镜畸变修正，从而生成图像。
图13 (a)表示输入图像，图13 (b)表示进行了本实施例的畸变修正 的结果的整体的图像，图13 (c)表示用于显示而切出的图像。
在图像的下部进行强的透镜畸变修正，因此，图像的下部成为比输入 图像的显示区域广的状态。另一方面，在图像的上部，不进行透镜畸变修正，因此，成为与输入图像相同的图像尺寸。在生成畸变修正切出图像时， 切出转换后的图像区域的内切区域，因此，横向的图像尺寸与输入图像相 同，但纵向比输入图像略大。因此，纵向需要縮小，图像的纵横比略变，
但不大大影响辨识性。记录于LUT的参照像素的值是在将切出的图像调
节(縮小)为显示图像尺寸后，记录对应的参照位置即可。另外，将切出
前的图像的参照位置记录于LUT，在显示时进行放大或縮小的处理也可。
利用人通过PC50上的调节画面来确认的同时，设定车体部和车辆附 近的边界位置u、和车辆附近和车辆远方的边界位置s。在设定u、 s时， 计算LUT数据，使用LUT数据，生成对输入图像的畸变修正图像而显示。
若利用人按动LUT数据转送按钮203，则由PC50生成的LUT数据送 往驾驶辅助装置的透镜畸变修正部2内的CPU22，并设置于透镜畸变修正 部2内的LUT21。在LUT21设置LUT数据后，透镜畸变修正部2使用在 LUT21设置的坐标对应关系，对来自摄像机1的输入图像进行畸变修正， 在监视器3显示得到的畸变修正图像。还有，在LUT21设置LUT数据后， 卸载校准用PC50。
还有，在驾驶辅助装置侧具有与上述基于校准用PC50的畸变修正强 度调节功能相同的功能也可。实施例2
如实施例1所示，在畸变修正的参数调节中使用PC的情况下，通过 PC的计算能力，能够在短时间(用Pen4机器为约100msec)内计算输入 图像和输出图像的坐标对应关系，能够大致实时地确认透镜畸变修正的效 果。若通过在驾驶辅助装置的透镜畸变修正部2内置的比较低的计算功率 的CPU进行该计算，则需要长的计算时间。
在实施例2中，在驾驶辅助装置进行畸变修正的参数调节的情况下， 能够通过简单的运算来确认效果。在实施例2中，在驾驶辅助装置侧设定 u、 s，并且，安装有用于将对应于设定的u、 s的畸变修正强度的分配简单 地显示于屏幕的畸变修正强度调节软件。
若在驾驶辅助装置侧设定u、 s，则驾驶辅助装置的CPU22不计算整 个图面的输入输出坐标，即不计算LUT数据，用网格线表示与设定的u、 s对应的修正强度的分配。还有，若在操作人确认效果后，输入LUT生成
16指令，则生成与设定的u、 s对应的LUT数据，设置于LUT21。 LUT数据 的制作方法与实施例l相同。
图14表示用于简单地表示畸变修正强度的分配的网格的例子。
图14的实线表示对图像整体设定(x=l的情况下的网格线。图14的虚 线表示对图像整体设定a=0 (没有畸变修正)的情况下的网格线。网格线 还包括将通常的直线状网格线弯曲的形状。
预先保存对图像整体设定了 a=l的情况下的网格(格子图案)。还有， 对图像整体设定了01=1的情况下的网格上的坐标值，根据a的设定值，计 算与各自的对应点相当的坐标值并显示。使用图15说明对应点的计算方 法。图15是图14的S所示的部分的放大图。
在图15中，将a=l的情况下的网格上的点的坐标设为(XI， Yl)， 将原图像(输入图像)上的参照点(作为(XI， XI)的坐标值参照的原 图像上的点)的坐标作为(X0， Y0)。原图像上的参照点的坐标值(X0， Y0)与不进行畸变修正的情况下的网格(a-0的情况下的网格)上的对应 点一致。
0<a<l的坐标(Xg， Yg)通过下述式(7)来表示。
Xg=XO + a (XI—XO)
Yg=YO + a (Yl—YO)…(7)
在将a =1的情况下的网格上的点用(i， j)表示的情况下，坐标值(X0， Y0)通过在上述式(4)及式(6)中带入01=1，利用下式(8)来表示。
X 0 = ( i —M/2)
+ 2pi (i—MZ2) + M/2
YO= (j —N/2)
+ 2 p i ( i —M/ .2)
+ N/2
+ ( i -M/2) (k (j —N/2) +p2.
+ (j —N/2) (k (j 一N/2) +p2 .(8)
x r2 +k2 ") { r 2 + 2 ( i —2 }
r 2 + k2 r "1 )
+2 (j —N/2) 2 }另外，坐标值(Xl， Yl)为a=l的情况下的网格上的点，因此，下 式(9)成立。X 1 = i￥l = j …(9)通过在上述式(7)中带入上述式(8)及式(9)，得到以下式(10)。Xg=i+(1 — a) 〔(i 一M/ 2) (kir2+k2r4) + 2 p ! ( i —M/2) (j —N/2) +p2 { r 2 + 2 ( i —M力)2 }〕 Yg - j + (1 i) 〔 ( j 一M/2) (Id r2 +k2 ) + 2 p i ( i —M/ 2)(j — N/ 2) +p2 {"+2 (j —M/ 2) 2 }〕…(1 0)能够通过使用上述式(10)，将预先保存的情况下的a=l的情况下的 网格线上的坐标值转换为与设定的a值对应的坐标值，由此生成与设定的 (X对应的形状的网格，在屏幕上将其显示。图16 (a)示出了没有畸变修正的情况(a=0)的情况下的网格的一例， 图16 (b)示出了表示基于设定的u、 s制作的、畸变强度的分配的网格的 一例。还有。通过改变网格线的线种类或颜色，能够表现畸变修正的强度。通过在网格上限定事先计算畸变修正的效果的区域，能够削减计算 量。通过使用OSD功能，在显示器上显示网格的形状，在计算LUT之前， 能够事先预测效果。另外，也能够使用该功能，目视辨认生产时的光学系 的不均、畸变修正部的回路的动作。根据上述实施例可知，能够根据摄像机的向车体的设置，得到获得图 像的畸变感和对角信息的协调的图像。另外，对各种车种，不进行需要初 始投资的光学系的再次设计，仅通过数据的变更，就能够个别应对。根据本发明可知，在对输入图像进行透镜畸变修正的情况下，能够将 输入图像分为多个区域，在各区域每一个改变畸变修正强度。
权利要求
1.一种驾驶辅助装置，其特征在于，具备摄像装置，其搭载于车体，且拍摄车体的周边区域；透镜畸变修正机构，其对利用摄像装置拍摄的输入图像进行透镜畸变修正；以及显示器，其用于显示利用透镜畸变修正机构得到的图像，透镜畸变修正机构将输入图像分为多个区域，且对每个区域以不同的畸变修正强度进行透镜畸变修正。
2. 根据权利要求l所述的驾驶辅助装置，其特征在于， 透镜畸变修正机构根据距车体的距离及/或摄像机的俯角，将输入图像分为多个区域，且对每个区域以不同的畸变修正强度进行透镜畸变修正。
3. 根据权利要求1或2所述的驾驶辅助装置，其特征在于， 具备区域设定机构，其用于设定多个区域；以及 畸变修正强度确定机构，其对于利用区域设定机构设定的每个区域来确定畸变修正强度，透镜畸变修正机构对于输入图像，进行与利用畸变修正强度确定机构 而确定的每个区域的畸变修正强度相对应的透镜畸变修正。
4. 根据权利要求1或2所述的驾驶辅助装置，其特征在于， 具备区域临时设定机构，其用于临时设定多个区域； 畸变修正强度临时确定机构，其对于利用区域临时设定机构临时设定的每个区域，临时确定畸变修正强度；利用网格线，在显示器上显示与利用畸变修正强度临时确定机构临时 确定的每个区域的畸变修正强度相对应的畸变修正的效果的机构；以及正式设定机构，其将利用畸变修正强度临时确定机构临时设定的每个 区域的畸变修正强度，正式设定为原本的每个区域的畸变修正强度，透镜畸变修正机构对于输入图像，进行与利用正式设定机构正式设定 的每个区域的畸变修正强度相对应的透镜畸变修正。
全文摘要
一种驾驶辅助装置，具备摄像装置(1)，其搭载于车体，且拍摄车体的周边区域；透镜畸变修正机构，其对利用摄像装置(1)拍摄的输入图像进行透镜畸变修正；及显示器，其用于显示利用透镜畸变修正机构(2)得到的图像，透镜畸变修正机构(2)将输入图像分为多个区域，以在每个区域不同的畸变修正强度进行透镜畸变修正。
文档编号B60R11/02GK101410868SQ200780011428
公开日2009年4月15日 申请日期2007年3月23日 优先权日2006年3月27日
发明者本乡仁志, 石井洋平, 藤田日出人 申请人:三洋电机株式会社