CD或者CMOS、背面照射CMOS等固体拍摄元件。右拍摄装置11和左拍摄装置12可以是仅获取亮度信息的黑白的拍摄装置，也可以是彩色的拍摄装置。
[0052]右拍摄装置11和左拍摄装置12分别几乎同时地周期性地拍摄车辆前方的预定范围。在路面标识有白线的情况下，在图像上拍摄有路缘石(或者人行道台阶)以及白线。应予说明，白线只不过是划分车道的路面标识的一个例子。在表现为白线的情况下，不局限于白色的线，包括有彩色的线状标识、点线、虚线、虫点(Botts’dots)以及猫眼(cat’s-eye)等。
[0053]拍摄装置计算机13是具备CPU、ROM、RAM、CAN控制器、输入输出I/F、以及其他通常电路的计算机。如下述那样，拍摄装置计算机13进行变形修正/平行化、阶梯差的检测、车行道参数的推断、以及远方区域的线段的检测等。
[0054]〔关于拍摄装置计算机的功能〕
[0055]图3表示拍摄装置计算机13的功能框图的一个例子。拍摄装置计算机13具有立体图像获取部21、变形修正/平行化部22、边缘提取部23、视差检测部24、路面检测部25、路面构造推断部26、阶梯差判断部27、车行道参数推断部28、搜索范围设定部29、以及边缘线段检测部30。
[0056]这些各功能在图4的流程图中示出的路旁物检测装置100的动作中发挥功能。以下，基于图4按顺序对这些各功能进行说明。应予说明，每当拍摄左右一对图像时反复执行图4的步骤。
[0057]< SlO图像数据的获取>
[0058]立体图像获取部21分别获取右拍摄装置11进行周期性地拍摄得到的图像以及左拍摄装置12进行周期性地拍摄得到的图像的图像数据，并存储至缓存器等。
[0059]< S20变形修正/平行化>
[0060]变形修正/平行化部22使用预先获取的拍摄装置的外部参数以及内部参数，来修正左右图像的变形并进行平行化。内部参数例如是指右拍摄装置11和左拍摄装置12各自的透镜的变形、畸变像差、拍摄元件的变形、焦距等。例如通过参照基于透镜的设计值生成的修正变换表，对图像数据进行修正来减少透镜的变形。通过基于使用了半径方向的畸变像差的模型的参数推断对图像数据进行修正，来减少畸变像差。
[0061]外部参数例如是将拍摄装置的安装位置和方向进行数值化得到的。由于在左右拍摄装置的安装位置(例如高度)以及方向(间距、侧摆、横摆)存在稍许差别，所以存在右拍摄装置11和左拍摄装置12的光轴高度不完全一致且不完全平行的情况。因此，由于该外部参数的差别，例如存在右拍摄装置11和左拍摄装置12的拍摄系统以光轴为中心相对地旋转的情况。为了减少这样的旋转，在立体拍摄装置中，在出厂前由车辆厂商等进行校准。在校准中，分别利用右拍摄装置11和左拍摄装置12拍摄变形校正用的方格图(chart)。校正用的方格图描绘正方形的白格和黑格以棋盘格状反转的格子。例如，以右拍摄装置11的图像的白黑格与左拍摄装置12的图像的白黑格一致的方式，确定出像素彼此的对应关系。对应关系被登记于表，例如与右拍摄装置11的全部像素对应地设定将修正前的像素位置变换至哪个像素位置。
[0062]在图中，将用于基于内部参数和外部参数进行左右图像的变形修正以及平行化的数据设为查找表31。通过像这样进行变形修正以及平行化，能够进行高效的视差搜索。
[0063]图5的(a)是表示平行化了的右拍摄装置11的图像数据和左拍摄装置12的图像数据的一个例子的图。在本实施方式中，作为道路坐标系，将车辆宽度方向设为X轴，将车辆高度方向设为Y轴，以及将行进方向设为Z轴。坐标P(X，Y，Z)分别映于左拍摄装置12的像素Pl和右拍摄装置11的像素Pr。
[0064]<S30视差计算>
[0065]在检测视差时，搜索像素Pr对应像素P1。由于知晓两个图像已被平行化，所以路旁物检测装置100仅与水平方向平行地搜索图像数据即可。
[0066]应予说明，也可以针对变形修正/平行化部22进行了平行化的左右图像数据进行视差搜索，但通过在进行边缘强调处理之后进行视差搜索，会使搜索变得容易。因此，边缘提取部23从左右图像提取边缘。已知各种边缘提取的滤波器，但例如使用索贝尔(sobel)滤波器。
[0067]图5的(b)是表示滤波处理的结果的一个例子的图。在原始图像上拍摄有白线、护栏、以及树木等，但通过滤波处理，右拍摄装置11和左拍摄装置12的图像变成强调了白线、护栏或者树木的端部的(在图中以白色的像素表示)图像。
[0068]图6的(a)是对视差的搜索进行说明的图的一个例子。这里，着眼于右图像数据的像素，从左图像数据确定出与右图像数据一致(相关性最高或者具有一定以上相关性)的区域。视差计算部27对包括所着眼的像素的区域(以下称作“窗口 ”)，计算SAD (Sum ofAbsolute Difference:绝对差值和)或者 SSD (Sum of Squared Differences:差方和)。SAD是每个像素的像素值的差的绝对值的合计，SSD是每个像素的像素值的差的平方和。SAD和SAD的任意一个越小，意味着窗口所包含的图像的一致度越高。
[0069]如图示那样，在着眼于(x，y)的像素的情况下，生成以像素(x，y)为中心的矩形窗口，从右图像也生成以像素(x，y)为中心的窗口。视差计算部27若在左图像的窗口和右图像的窗口中计算SAD或者SSD，则将右图像的窗口的整体向右偏移一个像素(pixel)，来计算SAD或者SSD，并反复进行。换句话说，由于被平行化，所以在右图像中不将窗口向y轴方向偏移，只向X方向逐个像素地偏移即可。
[0070]图6的(b)表不X方向的偏移量(视差)和SAD的关系的一个例子。SAD相对于偏移量示出极小值。表示几个极小值中的最小值的像素的偏移量是在右图像中着眼的像素(X，y)的视差。
[0071]预先决定X方向的搜索范围。但是，视差计算部27也可以针对右图像在X方向的全部像素求出SAD或者SSD，还可以在不决定搜索范围而在SAD或者SSD示出了阈值以下的极小值的情况下，停止SAD或者SSD的计算。前者能够求出最准确的视差，后者能够高效地求出某种程度准确的视差。
[0072]应予说明，也可以如上述那样根据亮度图像求出视差。另外，还可以根据边缘图像和亮度图像这双方来求出视差。在使用了边缘图像和亮度图像这双方的情况下，将SAD或者SSD为极小的像素的偏移量的平均作为视差，或者对边缘图像和亮度图像进行加权来决定视差。通过这样，能够更加准确地求出视差。
[0073]视差计算部27除了计算像素单位的整数视差之外，还计算子像素视差。已知子像素视差的求法有等角拟合、抛物线拟合等。
[0074]另外，可以在画面的整体中获取视差，考虑仅在附近区域使用，也可以仅在附近区域获取视差。
[0075]图7是表示利用等角拟合求出子像素视差的求法的一个例子的图。在图7中示出图6的(b)的SAD为最小值的视差以及该SAD前后的SAD值。将SAD为最小值的视差的SAD值设为C，将与最小值相比视差小的一侧的SAD值设为a，将与最小值相比视差大的一侧的SAD值设为b。若a = b，则SAD为最小值的视差为子像素单位的视差。在图示那样为a > b的情况下，子像素视差SP成为比SAD为最小值的视差大的值。在a < b的情况下相反。在等角拟合中，针对SAD为最小值的视差，按照以下方式求出子像素视差SP。
[0076]在a > b 的情况下 SP = (a_b)/2(a_b)
[0077]在a < b 的情况下 SP = - (b_c)/2 (b_c)
[0078]视差计算部27将整数视差和子像素视差SP的和决定为注视像素的视差。若像这样以像素单位求出视差，则能够计算出至以像素单位映于像素的物的距离。
[0079]<S40路面推断>
[0080]路面检测部25根据视差图像推断路面的构造。因此，首先从图像仅推断路面的区域。应予说明，所谓路面的区域，不区分路缘石、人行道台阶等步行者所行走的区域和车辆所行驶的车道，若是没有立体物的平坦区域，则设为路面的区域。
[0081]图8是对路面区域的推断进行说明的图的一个例子。在图8中，在图像上重叠表示视差信息。通过将亮度与视差对应并与图像数据重叠，将相同视差的像素加工成为相同程度的亮度。
[0082]在图像中拍摄有立体物的情况下，至立体物的距离在该立体物中为同程度，所以视差也为相同程度。与此相对，路面越处于远方，视差越大，所以I方向的视差根据I值而不同。因而，从图像的y坐标的下端向上方扫描(图的箭头)，在视差的差别在预定值内的像素连续的情况下，能够判断为立体物。在视差的差别在预定值内的像素不连续的情况下，能够判断为路面(的视差)。应予说明，由于在本实施例中检测子像素单位的视差，所以将预定值设为小于一个像素。
[0083]在以图示的箭头扫描的情况下，在包括人行道、路缘石扫描路面时，视差逐渐变大，所以判断为路面。若开始先行车辆的扫描，则视差的变化限制在预定值内，所以判断为立体物。
[0084]< S50路面构造的推断>
[0085]路面构造推断部26仅使用相对于车辆在附近区域的视差信息，来进行路面构造的推断。通过仅使用附近区域的图像数据，能够不使用容易包含误差的远方的视差信息地推断路面构造。附近区域是视差信息的精度有可靠性的区域，取决于立体拍摄装置的质量、设计。另外，在视差信息的精度受到白天和夜间的差别、或者晴天和雨天的差别等影响的情况下，即使是搭载于某车辆的同一立体拍摄装置，也存在附近区域不固定的情况。由此，附近区域是考虑条件恶化的情况，针对视差信息的精度在阈值以上的某区域(从图像的y坐标的下端开始预定像素个数)设置了预定余量的区域(换句话说，是比视差信息的精度为阈值以上的某区域稍窄的区域)。另外，也可以利用照度传感器等检测白天或夜间，另外利用雨传感器等检测天气，从而可变地设定附近区域。通过这样，能够根据给视差信息的精度带来影响的状况，来最大限地利用至远方的视差信息。
[0086]首先，路面构造推断部26利用视差信息来计算至附近区域的路面的距离D