车道划分标示检测装置、驾驶辅助系统的制作方法
【专利摘要】本发明提供一种车道划分标示检测装置(100)，该车道划分标示检测装置(100)具有：多个拍摄单元(11、12)，拍摄对车辆行驶的车道进行划分的车道划分标示；车道划分标示检测单元(24)，根据由多个所述拍摄单元分别生成的图像数据中的至少一个图像数据来检测车道划分标示；道路形状推断单元(25)，根据所述车道划分标示检测单元检测到的车道划分标示来推断道路形状；以及图像数据决定单元(26)，根据所述道路形状推断单元推断出的道路形状，来决定所述车道划分标示检测单元检测车道划分标示所使用的图像数据。
【专利说明】车道划分标示检测装置、驾驶辅助系统
【技术领域】
[0001] 本发明涉及对标示于路面的车道划分标示进行检测的车道划分标示检测装置。
【背景技术】
[0002] 已知有一种利用由车载的照相机拍摄到的白线来进行防止从车道脱离等各种驾 驶辅助的技术。另外，存在使用可获取距离信息的立体相机作为用于拍摄白线的照相机的 情况。在检测由立体相机拍摄到的白线的情况下，作为白线检测装置检测白线的方法，有如 下两种方法（例如，参照专利文献1):
[0003] (1)将白线检测用的图像固定为左照相机拍摄到的图像或者右照相机拍摄到的图 像的任意一个的方法
[0004] (2)根据由左右的照相机共同拍摄到的图像区域来检测的方法。
[0005] 在专利文献1中公开了一种根据由立体相机拍摄到的图像来计算三维位置信息， 并根据左右图像的每一个来检测在路面上存在的白线的图像处理装置。
[0006] 然而，在使用了立体相机的情况下的现有白线检测方法中，存在如下的问题：在道 路弯曲（以下称为"转弯"）的情况下，图像中拍摄到白线的区域变窄。
[0007] S卩，在如上述的（1)那样将白线检测用的照相机固定为左边的情况下，若道路向 右转弯，则拍摄到右侧的白线的区域变窄，在将白线检测用的照相机固定为右边的情况下， 若道路向左转弯，则拍摄到左侧的白线的区域变窄。
[0008] 另外，如上述的（2)那样白线检测装置根据左右的照相机共同拍摄到的图像区域 来检测的情况也相同，若道路向右或者左的任一边转弯，则在共同拍摄到的图像区域中拍 摄到白线的区域变窄。
[0009] 使用图来进行说明。图1表示在道路向左转弯的情况下，由右照相机和左照相机 分别拍摄到的图像的一个例子。图1(a)表示左照相机的图像，图1(b)表示右照相机的图 像。在图示的状况下，当将右照相机拍摄的图像固定为白线检测用的图像时，无法检测左侧 的远方的白线。
[0010] 另外，左照相机的图像和右照相机的图像各自的虚线内的区域是由左右的照相机 共同拍摄到的区域。因此，在根据左右照相机共同拍摄到的图像区域来检测白线的情况下， 同样无法检测左侧的远方的白线。
[0011] 此外，这样的问题因为立体相机中左右的照相机沿车宽度方向分离配置（左右的 照相机具有规定的基线长），且右照相机比车宽度方向的中央靠右侧配置，左照相机比车宽 度方向的中央靠左侧配置而产生。
[0012] 专利文献1 :日本特开2009 - 041972号公报
【发明内容】
[0013] 本发明鉴于上述课题而提出，其目的在于，提供一种不管道路形状如何均能够提 高车道划分标示的检测精度的车道划分标示检测装置。
[0014] 本发明涉及一种车道划分标示检测装置，该车道划分标示检测装置具有：多个拍 摄单元，拍摄对本车辆行驶的车道进行划分的车道划分标示；车道划分标示检测单元，根 据由多个所述拍摄单元分别生成的图像数据中的至少一个图像数据来检测车道划分标示； 道路形状推断单元，根据所述车道划分标示检测单元检测到的车道划分标示来推断道路形 状；以及图像数据决定单元，根据所述道路形状推断单元推断出的道路形状，来决定所述车 道划分标示检测单元为了检测车道划分标示而使用的图像数据。
[0015] 根据本发明，能够提供一种不管道路形状如何均能够提高白线检测精度的车道划 分标示检测装置。
【专利附图】
【附图说明】
[0016] 图1是表示道路向左转弯的情况下由左右的照相机拍摄到的图像的一个例子的 图。
[0017] 图2是说明白线检测装置的概略特征的图的一个例子。
[0018] 图3是包含白线检测装置的驾驶辅助系统的概略结构图的一个例子。
[0019] 图4是照相机计算机的功能框图的一个例子。
[0020] 图5是表示平行化后的右照相机的图像数据和左照相机的图像数据的一个例子 的图。
[0021] 图6是说明视差的搜索的图的一个例子。
[0022] 图7是说明坐标系的图的一个例子。
[0023] 图8是示意性地说明白线的检测的图的一个例子。
[0024] 图9是表示白线检测装置检测白线，并切换白线检测用的照相机的步骤的流程图 的一个例子。
[0025] 图10是表示外侧和内侧的白线长度的比较的图的一个例子。
[0026] 图11是照相机计算机的功能框图的一个例子。
[0027] 图12是表示白线检测装置检测白线，并切换白线检测用的照相机的步骤的流程 图的一个例子。
[0028] 符号说明
[0029] 11...右照相机；12...左照相机；13...照相机计算机；21...立体图像获取部； 22...形变修正/平行化部；23...边缘提取部；24...白线检测部；25...试车道路参数推 断部；26...处理图像切换部；27...视差计算部；29...白线长度计算部；100...白线检测 装置；200. . ?驾驶辅助ECU ;300. . ?工作设备。
【具体实施方式】
[0030] 以下，参照附图对用于实施本发明的方式进行说明。
[0031] 图2是说明本实施方式的白线检测装置的概略特征的图的一个例子。在白线检测 装置中，作为初始设定，左右的照相机中的白线检测用的照相机被预先设定（S3)。例如，作 为初始设定，在将右照相机作为白线检测用的照相机的情况下，根据右照相机拍摄到的图 像来检测白线。
[0032] 白线检测装置根据检测到的白线来推断试车道路参数（S2)。由于试车道路参数例 如包含道路的曲率、半径，所以白线检测装置判定道路是否向与当前的配置有白线检测用 (例如初始设定）的照相机一侧相反方向弯曲（以下称为"转弯"）（S3)。即，在右照相机是 当前的白线检测用的照相机的情况下，白线检测装置100判定道路是否向左方向转弯。
[0033] 在道路向与当前的配置有白线检测用的照相机一侧相反方向转弯的情况下（S3 的是），白线检测装置切换白线检测用的照相机（S4)。即，在右照相机是当前的白线检测用 的照相机的情况下，从下一个图像开始将左照相机拍摄到的图像作为白线检测用的图像。 [0034] 由此，拍摄白线检测用的图像的照相机被设定为右照相机或者左照相机的任意一 个，即使道路向与当前的配置有白线检测用的照相机一侧相反方向转弯也能够检测远方的 白线。其中，白线检测装置持续判定道路是否转弯，在道路向与当前的配置有白线检测用的 照相机一侧相反方向转弯的情况下，切换白线检测用的照相机。通过反复进行该处理，能够 与道路形状无关地根据由左右任意一个照相机拍摄到的图像来检测远方的白线。
[0035] 以下，列举实施例来进行说明。其中，以下的实施例中，不特别区别地记载了切换 白线检测用的照相机和切换白线检测用的图像。
[0036] 实施例1
[0037] 〔构成例〕
[0038] 图3表示包含白线检测装置100的驾驶辅助系统的概略结构图的一个例子。在驾 驶辅助系统500中，具有经由CAN(Controller Area Network:控制区域网路）总线等车载 LAN彼此连接的白线检测装置100、驾驶辅助EQJ(Electronic Control Unit:电子控制单 元）200以及工作设备300。白线检测装置100相当于权利要求的车道划分标示检测装置。
[0039] 白线检测装置100除了后述的试车道路参数，还将到障碍物的目标信息等发送至 驾驶辅助ECU200。驾驶辅助ECU200根据试车道路参数、目标信息来判断驾驶辅助的必要 性，并请求工作设备300工作。工作设备300例如是仪表面板的警报装置、电动助力转向装 置、以及制动致动器等。
[0040] 试车道路参数例如是道路的曲率（半径）、道路的车道宽度、车道内的本车辆的横 位置、本车辆针对道路的横摆角等。驾驶辅助E⑶200使用连接于车载LAN的其他E⑶、或者 传感器检测到的信息（例如，车轮速度、转向角、横摆率等）来进行驾驶辅助。作为使用了试 车道路参数的驾驶辅助，已知有LDW (Lane Departure Warning :车道偏离警告）、LKA (Lane Ke印ing Assist:车道保持辅助）等。LDW是指在根据横位置、横摆角以及车速有可能脱离 车道的情况下用警报音、振动等来唤起驾驶员注意的驾驶辅助。LKA是指控制电动助力转 向装置来对转向轴施加转向扭矩、或者控制每个车轮的制动、发动机输出以使本车辆在车 道内的目标行驶路线行驶的驾驶辅助方式。除了控制转向扭矩、或者每个车轮的制动、发动 机输出以便在目标行驶路线行驶以外，还有控制成在有可能从车道脱离时维持车道的LKA。 这样，通过检测白线能够进行多样的驾驶辅助。
[0041] 另外，目标信息例如是距离信息、相对速度、以及方位（横位置）。驾驶辅助E⑶200 根据方位（横位置）来提取可能碰撞的障碍物，若根据距离信息和相对速度计算出的 TTC(Time To Collision:碰撞时间）为规定值以下，则进行鸣放警报音或者减速等驾驶辅 助。
[0042] 白线检测装置100具有右照相机11、左照相机12、以及照相机计算机13。由右照 相机11和左照相机12构成一个立体相机。立体相机例如将光轴朝向车辆前方地配置于后 视镜，但也能够配置于车顶等其它场所。右照相机11和左照相机12沿车宽度方向或者水 平方向分离规定间隔（基线长）地配置。右照相机11和左照相机12的前后位置、或者高 度位置也可以不一致。右照相机11和左照相机12分别具有C⑶或者CMOS、背面照射CMOS 等个体拍摄元件。右照相机11和左照相机12可以是仅获取亮度信息的黑白照相机，也可 以是彩色照相机。
[0043] 右照相机11和左照相机12分别几乎同时地周期性拍摄车辆前方的规定范围。在 路面标示有白线的情况下，图像中拍摄有白线。其中，本实施方式的白线相当于权利要求的 车道划分标示。车道划分标示并不局限于在路面上以白色标示，包括例如黄色、橙色等彩色 的线状标示。另外，白线并不局限于由无断开处而连续的实线标示的线状标示，也可以是多 个点连续而成为线状的点线、断开处以等间隔（或者按照不同的间隔）加入实线的断续线 等。在点线的情况下，例如能够通过霍夫（Hough)变换来变换成直线。另外，白线并不局限 于平面的标示，也可以如Botts Dots等那样相对于路面具有凸部。由于Botts Dots是连 续的（例如等间隔的）点，所以可与点线同样地视为线。另外，若如猫眼反射镜那样反射本 车辆的灯或者自发光来标示车道间的边界的道钉也被连续地敷设，则可与点线同样地视为 线。
[0044] 照相机计算机13是具备CPU、ROM、RAM、CAN控制器、输入输出接口、以及其他一般 的电路的计算机。照相机计算机13如后述那样进行形变修正/平行化、白线检测、试车道 路参数的推断、以及照相机或者白线检测用的图像的切换等。
[0045] 〔照相机计算机的功能〕
[0046] 图4表示照相机计算机13的功能框图的一个例子。照相机计算机13具有立体图 像获取部21、形变修正/平行化部22、边缘提取部23、白线检测部24、试车道路参数推断部 25、处理图像切换部26、以及视差计算部27。立体图像获取部21分别获取右照相机11周 期性拍摄到的图像以及左照相机12周期性拍摄到的图像的图像数据，并存储于缓冲存储 器等。
[0047] 〔形变修正/平行化〕
[0048] 形变修正/平行化部22使用预先获取的照相机的外部参数、以及内部参数来修正 左右的图像的形变，进行平行化。内部参数例如是指右照相机11和左照相机12各自的透 镜畸变、畸变像差、拍摄元件的形变、焦距等。透镜畸变例如通过参照根据透镜的设计值而 生成的修正变换表来修正图像数据而降低。畸变像差通过根据使用了半径方向的畸变像差 的模型的参数推断来修正图像数据而降低。
[0049] 外部参数例如是将照相机的安装位置和朝向数值化了的值。由于左右的照相机的 安装位置（例如高度）以及朝向（斜度、侧倾、横摆）有微小的差别，所以存在右照相机11 和左照相机12的光轴高度也不完全一致且不平行的情况。因此，存在因该外部参数的差 另IJ，例如右照相机11和左照相机12的拍摄系统以光轴为中心相对旋转的情况。为了降低 这样的旋转，在立体相机中，由车辆制造商等在出厂前校准。在校准中，利用右照相机11和 左照相机12分别拍摄形变校正用的图。校正用的图描绘有正方形的白块（mass)和黑块反 转成泊松图案状的格子。例如，以右照相机11的图像的白黑的块与左照相机12的图像的 白黑的块一致的方式，确定像素彼此的对应关系。对应关系被登录于表，例如与右照相机11 的全部像素相关联地设定了修正前的像素位置被变换成哪个像素位置。
[0050] 在图中，将基于内部参数和外部参数进行左右的图像的形变修正以及平行化用的 数据设为查询表28。这样，通过形变修正以及平行化，能够进行高效的视差的搜索。
[0051] 图5(a)是表示平行化后的右照相机11的图像数据和左照相机12的图像数据的 一个例子的图。在本实施方式中，作为道路坐标系，将车宽度方向作为X轴、将车高方向作 为Y轴、以及将行进方向作为Z轴。坐标P (x，y，z)分别反映于左照相机12的像素Pl和右 照相机11的像素Pr。关于它们的对应将后述。
[0052] 〔边缘提取〕
[0053] 在检测视差时，搜索像素Pr与像素Pl对应的情况。由于可知2个图像被平行化， 所以白线检测装置1〇〇只要仅与水平方向平行地搜索图像数据即可。
[0054] 此外，视差搜索也可以针对形变修正/平行化部22平行化后的左右的图像数据进 行，但通过在进行边缘增强处理后进行视差搜索，使得搜索变容易。鉴于此，边缘提取部23 从左右的图像提取边缘。已知有各种边缘提取的过滤器，例如使用sobel过滤器。
[0055] 图5(b)是表示过滤处理的一个例子的图。图5(b)的上段是右照相机11的图像， 图5(b)的下段是左照相机12的图像。分别图示了根据亮度图像生成的边缘图像。亮度图 像中拍摄有白线、护栏、以及树木等，但通过过滤处理，右照相机11和左照相机12的边缘图 像成为白线、护栏或者树木的端部被强调了（图中以白色像素所示）的图像。
[0056] 〔视差的检测〕
[0057] 图6(a)是说明视差的搜索的图的一个例子。这里，着眼于左图像数据的像素，从 右图像数据中确定与左图像数据一致（相关性最高或者具有一定以上的相关性）的区域。 视差计算部27按包含所关注的像素的每一个区域（以下称为"窗口"）计算SAD(Sum of Absolute Difference:绝对差和）或者 SSD (Sum of Squared Differences:差平方和）。 SAD是每个像素的像素值之差的绝对值的合计，SSD是每个像素的像素值之差的平方和。都 意味着越小则窗口中包含的图像的一致度越高。
[0058] 如图所示，在着眼于（u，V)像素的情况下，生成以（u，V)像素为中心的矩形的窗 口，也根据右图像生成以（u，V)像素为中心的窗口。若在左图像的窗口和右图像的窗口计 算出SAD或者SSD，则视差计算部27反复进行使右图像的整个窗口向右错移1个像素（像 点）并计算SAD或者SSD的处理。即，由于被平行化，所以在右图像中可以不使窗口向V轴 方向移动，只要向U方向逐个像素错移即可。
[0059] 图6(b)表示U方向的错移量（视差）与SAD的关系的一个例子。相对于错移量， SAD表示极小值。表示极小值的像素的错移量是左图像中关注的像素（u，v)中的视差。
[0060] U方向的搜索范围被预先决定。但是，视差计算部27也可以对于右图像的U方向 的所有像素计算SAD或者SSD，还可以在不规定搜索范围而SAD或者SSD表示阈值以下的极 小值的情况下，对SAD或者SSD的计算进行舍位。前者能够计算出最正确的视差，后者能够 高效地计算出一定程度正确的视差。
[0061] 此外，也可以如上述那样根据亮度图像来求出视差。另外，也可以根据边缘图像和 亮度图像双方来求出视差。在使用了边缘图像和亮度图像双方的情况下，将SAD或者SSD为 极小的像素的错移量的平均作为视差，或者对边缘图像和亮度图像进行加权来决定视差。 这样一来，能够更正确地求出视差。
[0062] 除了像素单位的整数视差之外，视差计算部27还计算子像素视差。子像素视差的 求取方法已知有等距拟合、抛物线拟合等。
[0063] 若如此以像素单位求出视差，则能够以像素单位计算出到像素所反映的物体的距 离。
[0064] 距离=(f Xm) An Xd)
[0065] f?是透镜的焦距，m是基线长，n是视差（像素数），d是拍摄元件的像素间距。
[0066]〔白线检测〕
[0067] 白线检测部24根据右照相机11或者左照相机12拍摄到的图像来检测白线。根 据哪个图像来检测白线如以下那样设定。
[0068] (i)在白线检测装置100启动之后（初始设定），立即将右照相机11的图像作为 白线检测用的图像的情况下，
[0069] ?根据试车道路参数检测出直线或者右转弯的情况：右照相机11
[0070] ?根据试车道路参数检测出左转弯的情况：左照相机12
[0071] 然后，在根据试车道路参数未检测出左转弯的情况下，既可以返回为右照相机11 也可以保持为左照相机12。
[0072] (ii)在白线检测装置100启动之后（初始设定），立即将左照相机12的图像作为 白线检测用的图像的情况下，
[0073] ?根据试车道路参数检测出直线或者左转弯的情况：左照相机12
[0074] ?根据试车道路参数检测出右转弯的情况：右照相机11
[0075] 然后，在根据试车道路参数未检测出右转弯的情况下，既可以返回为左照相机12 也可以保持为右照相机11。
[0076] 图7是说明白线检测中的坐标系的图的一个例子。在本实施方式中，使用上述的 X、Y、Z方向的道路坐标系、和对图像数据的平面坐标进行指定的平面坐标系。例如，将左照 相机12的透镜的中心作为原点，将从左向右的水平方向作为X轴，将车辆的高度方向作为 Y轴，将车辆的行进方向作为Z轴。平面坐标系是原点位于道路坐标系的Z轴上，并具有与 X轴平行的U轴、与Y轴平行的V轴的坐标系。
[0077] 若将焦距由f表示，坐标由小写字母x、y、z表示，则道路坐标系和平面坐标系的变 换公式如以下那样。其中，假定到物体的距离z比焦距f?大到能够忽略的程度。
[0078] V = -(y/z) ? f
[0079] u = (x/z) ? f
[0080] 由于立体相机的高度是固定的，所以到标示有白线的路面的高度也可视为一定， 能够根据平面坐标的V求出道路坐标系的Z。另外，根据V求出的Z中的X能够使用平面坐 标系的U来计算。
[0081] 另外，由于即使对于白线检测只使用一个图像，也能够通过立体相机求出各像素 的距离信息Z，所以如果按每个像素使用已知的z，则能够唯一地求出x、y。
[0082] 此外，在本实施方式中，右照相机11或者左照相机12的哪一个都有可能被用于白 线检测。因此，例如在以右照相机11或者左照相机12为基准将道路坐标系和平面坐标系 建立关联，并将不是基准的一方的照相机的图像作为白线检测的对象的情况下，将道路坐 标系的X坐标修正基线长。即，在将左照相机12作为基准的情况下，当将右照相机11的图 像作为白线检测的对象时，X = X+基线长。这样一来，即使切换白线检测用的照相机，也能 够抑制道路形状产生偏差。
[0083] 图8是示意性地说明白线的检测的图的一个例子。在图8(a)中，示意性地表示了 图像数据（平面坐标系的白线）。白线检测部24确定边缘提取部23提取出的边缘中边缘 强度为阈值以上的像素。在图8(a)中，在左右的白线的各个中求出从道路的亮度变化至白 线的亮度的边缘、和从白线的亮度变化至道路的亮度的边缘。此外，推断为在道路的中央没 有白线，可以将白线的检测区域分别限制为图像的右侧的一部分和左侧的一部分。由此，能 够降低照相机计算机13的处理负载。
[0084] 白线检测部24从画面的下方向上方搜索边缘强度为阈值以上的像素。由于即使 白线是直线，在图像中也被拍摄成"八"字状（下方的间隔宽，上方的间隔窄的2根直线状）， 所以延长在此之前搜索到的多个边缘来反复搜索。如果存在白线，则在左右的白线的各个 中沿画面的从下至上方向得到边缘。如果实线的白线被良好地拍摄，则该边缘被连续地检 测，如果是点、断续线，则该边缘被隔着间隔检测出。
[0085] 白线检测部24通过判断是否近似连续地检测出边缘，或者在未连续地检测出的 情况下边缘的间隔是否是等间隔等，来判断边缘是否能够推断为白线的一部分。在判定为 边缘是白线的一部分的情况下，将左右各自的2根边缘线的宽度与一般的白线的宽度比较 等来删除不是白线的边缘，由此在左右分别检测白线。此外，不一定限制为在左右有白线， 也存在只在一边检测出白线的情况。
[0086] 白线检测部24使用道路坐标系与平面坐标系的对应式，将边缘绘制到XZ平面 (在实际的处理中无需绘制，是为了容易说明的处理）。图8(b)是示意性地表示被变换为 XZ平面的坐标（x，z)的边缘的图的一个例子。"X"相当于边缘。此外，在图8(a)中，在1 根白线的两端分别检测出边缘，但存在近似于道路模型的边缘为一个时近似精度较好的情 况。该情况下，白线检测部24计算出1根白线的内侧、外侧、或者X方向的2个边缘的中点 等，并绘制到XZ平面。
[0087] 〔试车道路参数的推断〕
[0088] 试车道路参数推断部25根据图8 (b)的边缘来推断试车道路参数。试车道路参数 的推断有几个方法。有使用道路模型公式并代入多个边缘线的坐标，通过最小二乘法确定 出道路模型的系数的方法；使用卡尔曼滤波器、微粒滤波器等最优值推断方法来推断试车 道路参数的方法。
[0089] 作为道路模型的一个例子，例如如以下那样定义。
[0090] X = X0+ 0 X z+0. 5 X c X Z2…（1)
[0091] 对Xtl而言，在求取右侧的白线的试车道路参数的情况下，是从XZ平面的原点到右 侧的白线的距离Xot，在求取左侧的白线的试车道路参数的情况下，是从XZ平面的原点到左 侧的白线的距离Xtjlt5 0是右照相机11或者左照相机12的光轴与白线方向所成的角（车 辆的横摆角）。9相对于正面方向使右朝向为正。C是道路的曲率。C根据XZ平面的定义 以左转弯为负，以右转弯为正。根据公式（1)，以Xtl为起点，修正因横摆角引起的偏移（车 辆具有朝右的横摆的情况下，由于白线向左方向倾斜而被拍摄所以修正其相应量），通过Z 的平方使曲率C发挥作用。
[0092] 试车道路参数推断部25将XZ平面的边缘线的坐标（x，z)代入公式（1)，用最小二 乘法求出e和c。由此，能够求出试车道路参数中的横摆角e和道路的曲率c(半径R)。 另外，道路的车道宽度W既可以根据XOT+X()1来求出，也可以根据任意的z坐标处的白线的x 值来求出。车道的本车辆的位置例如能够将车道的中央位置作为零（基准），由W/2 - x" 表示（在使右侧为正的情况下）。
[0093] 其中，作为表示道路模型的公式，有回旋曲线模型、B-样条模型等各种公式。在本 实施方式中也能够应用这些公式，但只要使用能够分辨是右转弯还是左转弯的道路模型即 可。
[0094] 〔白线检测用的图像的切换〕
[0095] 在求出了试车道路参数的情况下，处理图像切换部26根据道路曲率来判定是右 转弯还是左转弯，如果需要切换，则对白线检测部24指示白线检测所使用的图像。
[0096] 例如，在白线检测部24将右照相机11的图像用于白线检测的情况下，处理图像切 换部26判定以下的条件是否成立。在曲率的绝对值比零大的情况下，可推断为正转弯。
[0097] a.检测出左转弯
[0098] b.左转弯的曲率的绝对值为阈值1以上
[0099] 通过b的条件包含阈值1，如果是缓慢的左转弯，则无需切换白线检测用的照相 机。由于在试车道路参数推断部25例如利用卡尔曼滤波器等求取试车道路参数的情况下， 到能够稳定地推断出试车道路参数为止需要几帧的图像数据，所以通过不切换白线检测用 的照相机，能够继续稳定的试车道路参数的检测。
[0100] 在上述的条件成立，白线检测部24将左照相机12的图像用于白线检测的情况下， 处理图像切换部26判定以下的条件是否成立。
[0101] C.检测出右转弯
[0102] d.右转弯的曲率的绝对值为阈值1以上
[0103] 根据以上的a?d那样的条件，在切换为左照相机12后，左照相机12的图像容易 被继续使用于白线检测。再次切换到右照相机11后，右照相机11的图像容易被继续使用 于白线检测。因此，能够防止白线检测用的照相机频繁地切换。
[0104] 阈值1可以固定，但根据车速为可变也是有效的。由于在车速大的情况下，与慢的 情况相比更早地接近转弯，所以在白线检测装置100中预先设定有车速越大则越小的阈值 1。因此，在车速大的情况下，能够提前切换白线检测用的图像。
[0105] 另外，在由制造商等判断为优选白线检测部24将右照相机11的图像优先使用于 白线检测的情况下，可以忽略d条件（或者使阈值1更小），仅通过"c.检测出直线或者右 转弯"成立，就将右照相机11的图像切换为白线检测用。a、b条件保持原样。由此，例如在 因左侧的白线不是实线而为点线、断续线、或者较细等理由而检测比较困难的国家或地域， 能够基于b的条件将右照相机11的图像优先用于白线检测用。
[0106] 相反，在由制造商等判断为优选将左照相机12的图像优先用于白线检测的情况 下，ab和cd的条件相反。即，忽略b条件，仅通过"a.检测出直线或者左转弯"成立，就将 左照相机12的图像切换为白线检测用。
[0107] 另外，如果本车辆的左右有白线则白线检测部24检测两方的白线，但在左右的白 线均没有的情况下，将无法检测的左右的白线的识别信息通知到处理图像切换部26。该情 况下，若即使检测出左转弯也检测不到左白线，则处理图像切换部26不对白线检测部24指 示向左照相机12的切换。同样，若即使检测出右转弯也检测不到右白线，则处理图像切换 部26不对白线检测部24指示向右照相机11的切换。这样一来，能够防止在左或者右的白 线在合流车道等被切断、或者雨天难以检测白线、或者白线由于劣化而难以检测、或者其他 车辆停车这样的状况下，切换白线检测用的照相机。
[0108] 其中，在未检测出左右的白线双方的情况下，处理图像切换部26不判定是否切换 白线检测用的照相机。
[0109] 〔动作步骤〕
[0110] 图9是表示白线检测装置100检测白线，并切换白线检测用的照相机的步骤的流 程图的一个例子。
[0111] 立体图像获取部21获取立体相机的右照相机11和左照相机12几乎同时拍摄到 的图像（SlO)。此外，立体相机也可以具有3个以上照相机。该情况下，白线检测装置100 确定3个照相机中白线被良好检测出的图像，计算出视差，或者推断试车道路参数。
[0112] 形变修正/平行化部22例如使用查询表28,来对右照相机11的图像以及左照相 机12的图像实施形变修正、以及平行化处理（S20)。
[0113] 接下来，边缘提取部23对右照相机11的图像和左照相机12的图像分别实施边缘 的提取处理，白线检测部24根据右照相机11的图像或者左照相机12的图像的任意一个来 检测白线（S30)。此外，无需禁止从左照相机12的图像以及右照相机11的图像双方来检测 白线，可以根据双方的图像来检测白线，并根据白线检测被良好进行的一方的图像来推断 试车道路参数。白线检测被良好进行的图像例如是边缘数多的一方的图像、将边缘变换为 V轴方向的线时进行了插补的距离短的图像等。
[0114] 接下来，试车道路参数推断部25根据检测出的白线的边缘来推断试车道路参数 (S40)。
[0115] 处理图像切换部26判断前方的道路是否向右还是向左转弯，从下一个图像开始 切换白线检测用的图像（S50)。即，在右照相机11的图像是白线检测用的图像的情况下，若 检测出左转弯，则将左照相机12的图像切换为白线检测用的图像。
[0116] 此外，除了试车道路参数以外，也可以将驾驶员的转向方向、转向速度、以及横摆 率的一个以上追加至道路的转弯方向的判定。在驾驶员使方向盘沿道路转向的情况下，缓 慢地开始转向并沿回旋曲线使转向速度慢慢增大。因此，当转向速度在一样的转向方向缓 缓变大时，能够推断为前方向转向方向转弯。另外，除了驾驶员的转向以外，通过LKA等工 作的情况下的电动助力转向装置的转向角等车辆本身的转向角也能够推断转弯方向。
[0117] 如以上说明那样，本实施例的白线检测装置100通过根据道路形状来切换白线检 测用的图像，即使道路转弯也能够拍摄更远方的白线，能够检测远方的白线。由于能够检测 远方的白线，所以还可使试车道路参数的精度提高。
[0118] 实施例2
[0119] 在实施例1中，根据试车道路参数来判断转弯的有无和转弯方向，但本实施例中， 对根据白线长度来判定转弯的有无和转弯方向的白线检测装置100进行说明。
[0120] 在道路转弯的情况下，左右的白线中的外侧的白线比内侧的白线长。
[0121] 图10是外侧和内侧的白线的长度进行比较的图的一个例子。将内周的圆的半径 作为r，预计圆弧的规定的角度为4)。内周的圆弧的长度为r4)，夕卜周的圆弧的长度为（r+W) 小。因此，在道路转弯的情况下，设想为外侧的白线的长度长1小。从而，如果比较左右的白 线的长度，则能够推断转弯方向。
[0122] 图11表示照相机计算机13的功能框图的一个例子。在图11中，对与图4不同的 功能中的主要功能进行说明。本实施例的照相机计算机13具有白线长度计算部29。
[0123] 白线长度计算部29从Z方向的最初的边缘到最后的边缘搜索如图8 (b)那样被变 换为XZ平面的边缘位置，计算出相当于白线的部分的长度。即，沿从下到上的方向一边增 大Z坐标一边检测作为白线而检测出的边缘，计算出边缘间的距离。然后，合计各边缘间的 距离。通过对于左右的白线进行该处理，能够求出左右的白线的长度。
[0124] 也能够不如此计算边缘间的距离并合计，而利用实施例1的道路模型来求出白线 的长度。在根据道路模型和边缘的坐标知晓试车道路参数的情况下，由于道路形状由（1) 式那样的函数表示，所以可根据下式求出白线的长度。其中，积分范围从Z方向的最初的边 缘到最后的边缘为止。
【权利要求】
1. 一种车道划分标示检测装置，其中，具有： 多个拍摄单元，拍摄对本车辆行驶的车道进行划分的车道划分标示； 车道划分标示检测单元，根据由多个所述拍摄单元分别生成的图像数据中的至少一个 图像数据来检测车道划分标示； 道路形状推断单元，根据所述车道划分标示检测单元检测到的车道划分标示来推断道 路形状；以及 图像数据决定单元，根据所述道路形状推断单元推断出的道路形状，来决定所述车道 划分标示检测单元为了检测车道划分标示而使用的图像数据。
2. 根据权利要求1所述的车道划分标示检测装置，其特征在于， 所述图像数据决定单元在所述道路形状推断单元推断出的道路形状表示前方的道路 弯曲的情况下，将沿车宽度方向分离地搭载于车辆的多个所述拍摄单元中最接近弯曲方向 的所述拍摄单元生成的图像数据决定为所述车道划分标示检测单元为了检测车道划分标 示而使用的图像数据。
3. 根据权利要求2所述的车道划分标示检测装置，其特征在于， 所述道路形状推断单元推断道路的曲率作为道路形状， 所述图像数据决定单元在道路的所述曲率为阈值以上的情况下，将多个所述拍摄单元 中最接近弯曲方向的所述拍摄单元生成的图像数据决定为所述车道划分标示检测单元为 了检测车道划分标示而使用的图像数据。
4. 根据权利要求2所述的车道划分标示检测装置，其特征在于， 所述道路形状推断单元推断道路的曲率作为道路形状， 预先决定了由多个所述拍摄单元分别生成的多个图像数据中、所述车道划分标示检测 单元为了检测车道划分标示而优先使用的图像数据， 在所述车道划分标示检测单元根据优先使用的图像数据检测车道划分标示的情况下， 所述图像数据决定单元在道路的所述曲率为阈值以上的情况下，将多个所述拍摄单元中最 接近弯曲方向的所述拍摄单元生成的图像数据决定为所述车道划分标示检测单元为了检 测车道划分标示而使用的图像数据， 在所述车道划分标示检测单元根据不是优先使用的图像数据的图像数据检测车道划 分标示的情况下，当道路的所述曲率小到可视为直线道路程度时，将所述车道划分标示检 测单元优先使用的图像数据决定为检测车道划分标示的图像数据。
5. 根据权利要求1?4中任意一项所述的车道划分标示检测装置，其特征在于， 所述图像数据决定单元除了根据车道划分标示检测单元检测出的车道划分标示来推 断道路形状之外，还根据车辆的转向角来推断所述道路形状。
6. 根据权利要求1所述的车道划分标示检测装置，其特征在于， 所述车道划分标示检测装置具有计算所述车道划分标示检测单元检测出的车道划分 标示的长度的长度计算单元， 所述图像数据决定单元根据所述长度计算单元计算出的本车辆的左右的车道划分标 示的长度的比较结果来推断道路形状。
7. 根据权利要求1所述的车道划分标示检测装置，其特征在于， 所述道路形状推断单元推断道路的宽度、所述宽度方向的本车辆的位置、以及相对于 车道划分标示的横摆角。
8. -种驾驶辅助系统，是车道划分标示检测装置和驾驶辅助装置经由车载网络连接而 成的驾驶辅助系统，其特征在于， 所述车道划分标示检测装置具有： 多个拍摄单元，拍摄对本车辆行驶的车道进行划分的车道划分标示； 车道划分标示检测单元，根据由多个所述拍摄单元分别生成的图像数据中的至少一个 图像数据来检测车道划分标示； 道路形状推断单元，根据所述车道划分标示检测单元检测出的车道划分标示来推断道 路形状；以及 图像数据决定单元，根据所述道路形状推断单元推断出的道路形状，来决定所述车道 划分标示检测单元为了检测车道划分标示而使用的图像数据， 所述驾驶辅助装置根据所述道路形状推断单元推断出的道路的宽度、所述宽度方向的 本车辆的位置、以及相对于车道划分标示的横摆角，来进行本车辆的防止脱离车道辅助。
【文档编号】B60R21/00GK104335264SQ201280073463
【公开日】2015年2月4日 申请日期:2012年6月14日 优先权日:2012年6月14日
【发明者】竹前嘉修 申请人:丰田自动车株式会社