制动的操作，也可确保车辆的安全性。
[0053]图像识别单元51基于从相机2接收的图像信息，识别载有系统车辆的外围中出现的物体和物体的运动。图像识别单元51将指示识别结果的识别结果信息输出到判断单元50 ο
[0054]相机输入单元52接收相机2发送的图像信息，并且将接收到的图像信息输出到图像识别单元51。传感器输入单元53接收距离传感器3发送的距离信息，并且将接收到的距离信息输出到图像识别单元51。用户输入单元54接收用户界面装置4发送的操作信息，并且将接收到的操作信息输出到判断单元50。用户输出单元55将判断单元50输出的信息发送到输出装置7。
[0055]LSI 6基于从用户界面装置4或判断单元50接收的信息，控制载有系统车辆。LSI6包括控制单元60、用户输入单元61和用户输出单元62。
[0056]控制单元60控制载有系统车辆的各部分。在手动控制模式下，控制单元60基于从用户界面装置4接收的操作信息所指示的用户操作内容，控制载有系统车辆的各部分。另一方面，在自动控制模式下，控制单元60基于从判断单元50接收的命令值，控制载有系统车辆的各部分。
[0057]控制单元60控制载有系统车辆的各部分(例如，轮胎转动角度、发动机速度和制动调节)。在这种情况下，在手动控制模式下，控制单元60根据从方向盘接收的操作信息所指示的方向盘的转向角度，控制载有系统车辆的转动角度。另外，在手动控制模式下，控制单元60根据从油门踏板接收的操作信息所指示的油门踏板的下压量，控制载有系统车辆的发动机速度。此外，在手动控制模式下，控制单元60根据从制动踏板接收的操作信息所指示的制动踏板的下压量，控制载有系统车辆的制动调节。
[0058]另一方面，在自动控制模式下，控制单元60基于从判断单元50接收的命令值，控制轮胎转动角度、发动机速度和制动调节。因此，任何形式可被用作命令值，只要它是能够指明表示载有系统车辆的各部分的状态(轮胎转动角度、发动机速度和制动调节)的控制内容即可。例如，以伪方式表示方向盘转向角和油门踏板下压量的信息也可被用作命令值。
[0059]用户输入单元61接收用户界面装置4发送的操作信息，并且将操作信息输出到控制单元60。用户输出电路62将控制单元60输出的信息发送到输出装置7。
[0060]输出装置7是根据LSI 5和LSI 6的指令输出信息以将任何通知内容通知给驾驶员的装置。输出装置7例如是为驾驶员显示信息的显示装置、向驾驶员输出声音的声音输出装置、或同时执行这些操作的装置。显示装置可以是例如显示指示针对驾驶员的通知内容的图像的显示面板或与针对驾驶员的通知内容对应的LED (发光二极管)。声音输出装置可以是例如扬声器。
[0061]因此，在向驾驶员发送通知的情况下，判断单元50和控制单元60通过用户输出单元55和62将用于指令代发送通知的信息发送到输出装置7。例如，在使用显示面板作为输出装置的情况下，当将要发送从自动控制模式转移为手动控制模式的通知时，判断单元50或控制单元60将指示用于发送从自动控制模式转移为手动控制模式的通知的图像的图像信息发送到输出装置7。因此，显示面板显示图像信息所指示的图像。例如，在使用LED作为输出装置的情况下，当将要发送从自动控制模式转移为手动控制模式的通知时，判断单元50或控制单元60将指令LED被点亮的信息发送到输出装置7。例如，在使用扬声器作为输出装置的情况下，当将要发送从自动控制模式转移为手动控制模式的通知时，判断单元50或控制单元60将指示用于通知从自动控制模式转移为手动控制模式的声音的声音信息发送到输出装置7。因此，扬声器输出声音信息所指示的声音。
[0062]接下来，参照图2，将描述根据第一实施例的LSI 5的硬件构造。如图2中所示的，LSI 5包括CPU(中央处理单元)10、硬件加速器11、内置存储器12、外部存储器接口电路13和外围电路14。外围电路14包括相机接口电路15、传感器接口电路16和用户界面电路17。
[0063]CPU 10用作判断单元50和图像识别单元51。具体地，CPU 10执行例如基于来自相机2和距离传感器3的信息识别载有系统车辆的外围中的物体的处理、判断控制模式的转变的处理、计算将输出到LSI6的命令值的处理。
[0064]硬件加速器11用作判断单元50和图像识别单元51。硬件加速器11其次执行CPU10中的算术处理的部分。例如，在基于图像信息识别物体的情况下，硬件加速器11执行算术处理的部分，以分析图像信息所指示的图像。包括多个GPU核的GPU (图形处理单元)例如可被用作硬件加速器11。
[0065]内置存储器12存储包括CPU 10用于执行处理的信息和致使CPUlO执行上述处理的信息的程序(软件)。CPU 10执行内置存储器12中存储的程序，从而将处理实现为判断单元50和图像识别单元51。
[0066]外部存储器接口电路13得到在LSI 5外部的车载控制系统I中提供的外部存储器(未示出)中存储的信息，并且将得到的信息存储在内置存储器12中。例如，上述程序可被预先存储在外部存储器中。在这种情况下，外部存储器接口电路13得到外部存储器中存储的程序并且将得到的程序存储在内置存储器12中，从而使CPU 10能够执行程序。
[0067]相机接口电路15用作相机输入单元52。相机接口电路15接收相机2发送的图像信息，并且将接收到的图像信息存储在内置存储器12中。传感器接口电路16用作传感器输入单元53。传感器接口电路16接收距离传感器3发送的距离信息，并且将接收到的距离信息存储在内置存储器12中。用户界面电路17用作用户输入单元54和用户输出单元55。用户界面电路17接收用户界面装置4发送的操作信息，并且将接收到的操作信息存储在内置存储器12中。结果，CPU 10(判断单元50和图像识别单元51)可通过参照内置存储器12来使用图像信息、距离信息和操作信息。在这种情况下，CPU 10可被硬件加速器11取代，内置存储器12可被外部存储器取代。
[0068]接下来，参照图3，将描述根据实施例将物体分类的示例。判断单元50基于来自图像识别单元51的识别结果信息，将物体(识别的物体)分类为静止物体和移动物体。判断单元50基于来自图像识别单元51的识别结果信息，判断各物体是静止物体还是移动物体。另外，判断单元50将移动物体分类为线性移动物体和随机移动物体。具体地，如图3中所示，判断单元50将识别的物体分类为(I)静止物体、(2)线性移动物体和(3)随机移动物体。
[0069]可使用诸如滤波器、光流(运动向量)和图案匹配技术的任何典型技术将物体分类。例如，当特定图像(第一图像)和在第一图像之后拍摄的图像(第二图像)之间的物体运动方向(运动向量)与第二图像和第二图像之后拍摄的图像(第三图像)之间的物体运动方向(运动向量)之间的差异落入预定可容许范围内时，可判断物体是线性移动物体。当物体超出可容许范围，则可判断物体是随机移动物体。
[0070]接下来，参照图4至图8，将描述判断超驰请求的方法。
[0071]判断单元50基于各物体的分类结果和与各物体的距离，判断载有系统车辆如果在自动控制模式下持续行进，载有系统车辆是否可沿着避开各物体的行进路线行进。判断单元50基于来自距离传感器3的距离信息，识别与各物体的距离。可使用利用CMOS传感器20替代距离传感器3测量距离的方法。具体地，通常使用两个CMOS传感器20的立体相机。当判断单元50判断载有系统车辆不可沿着避开各物体的行进路线行进时，判断单元50发出请求从自动控制模式转移为手动控制模式的超驰请求。另外，判断单元50计算发出超驰请求的定时并且在计算出的定时发出超驰请求。
[0072]在判断载有系统车辆是否可沿着避开各物体的行进路线行进的情况下，判断单元50通过映射表示载有系统车辆的外围区域中存在物体的概率的存在概率分布来创建地图，并且基于存在概率分布计算载有系统车辆的行进路线。这个地图可以是例如鸟瞰图(当从上方观察时载有系统车辆外围区域的平面图)。以使得例如判断单元50将地图作为地图信息存储在内置存储器12中这样的方式，保持该地图。
[0073]现在，将描述用存在概率表达存在物体的概率的示例。在这种情况下，用100%表示存在概率的最大值并且用0%表示存在概率的最小值。然而，存在概率的形式不限于存在物体的概率，只要存在概率表示根据存在物体的概率而变化的值。
[0074]在这种情况下，判断单元50如下地设置地图上存在概率的分布。
[0075]关于静止物体(I)
[0076]在存在静止物体的区域中，设置存储概率的最大值(100% )。
[0077]关于移动物体⑵和(3)
[0078]在移动物体有可能在其中移动的区域中，根据移动物体的种类和从载有系统车辆到该区域的距离，设置存在概率。
[0079]由于静止物体一直存在于该位置而没有移动，因此以使得其中存在静止物体的区域中的存在概率的值大于移动物体有可能在其中移动的区域中这样的方式设置存在概率。
[0080]在这种情况下，判断单元50例如按以下方式确定移动物体有可能在其中移动的区域。
[0081](2)线性移动物体:在物体移动方向上从物体延伸的径向区域；在物体移动方向上从物体延伸的带状区域；或布置在物体移动方向前方的圆形区域。
[0082](3)随机移动物体:以物体为中心的圆形区域。
[0083]首先，参照图4A至图4C，将描述线性移动物体。在物体移动方向上从物体延伸的径向区域被布置成例如图4A中示出的形状。以使得区域宽度在远离物体的方向上增大这样的方式布置这个区域。物体移动方向上的右和左弯曲部分中的每个的曲率可被确定是预定值，或者可确定随着物体速度(例如，运动向量的幅值)减小，曲率增大。可通过物体的运动(例如，运动向量的幅值)指定物体的速度。另外，物体移动方向上的长度可被确定是预定值，或者可确定随着物体速度增大，长度增大。
[0084]在物体移动方向上从物体延伸的带状区域被布置成例如图4B中示出的形状。物体移动方向上的长度可被确定是预定值，或者可确定随着物体速度增大，长度增大。与物体移动方向垂直的方向上的长度可被确定是预定值，或者可确定随着物体速度增大，长度减小。
[0085]布置在物体移动方向前方的圆形区域被布置成例如图4C中示出的形状。物体移动方向上的长度可被确定是预定值，或者可确定随着物体速度增大，长度增大。与物体移