信息处理设备、信息处理方法和程序与流程

本公开涉及信息处理设备、信息处理方法和程序，并且尤其涉及使得可以减少流过车载网络并且对于自动驾驶所必需的通信数据量的信息处理设备、信息处理方法和程序。

背景技术：

在旨在改善便利性和安全性的诸如自适应巡航控制(acc)和防碰撞安全性(pcs)之类的高级驾驶员辅助系统(adas)中，需要在确认存在或不存在障碍物之后判定车辆是否可以行驶。

在这种情况下，由相机拍摄的图像的数据和由除相机以外的传感器执行的检测的结果的数据流过车载网络。

近年来，由于诸如相机之类的传感器的成本降低，安装的传感器数量趋于增加。诸如相机之类的安装的传感器数量的增加导致流过车载网络的数据量增加，并且这可能导致通信速度的降低。

因此，例如，已经提出了一种技术，该技术识别由相机拍摄的图像中的物体，并将关于在图像中识别出的物体的坐标的信息输出到车辆网络以减少流过车辆网络的数据量(参考专利文献1)。

引文列表

专利文献

专利文献1：日本专利申请特开no.2014-125029

技术实现要素：

技术问题

然而，根据专利文献1中公开的技术，仅输出关于在由相机拍摄的图像中识别出的物体的坐标的信息。因此，不包括诸如关于物体的速度和到物体的距离的信息之类的其它信息，因此不允许流动对于自动驾驶所必需的足够信息。

鉴于上述情况进行了本公开，并且特别地，本公开使得可以减少流过车载网络并且对于自动驾驶所必需的通信数据量。

问题的解决方案

根据本公开的一个方面的图像处理设备是以下图像处理设备，该图像处理设备包括：图像拍摄部，拍摄移动物体的周围环境的图像；和物体识别处理部，执行识别由图像拍摄部拍摄的图像中的物体的物体识别处理，并且通过移动物体中的网络以识别出的物体为单位输出通过物体识别处理获得的物体识别处理结果。

根据本公开的该方面的图像处理方法和程序对应于图像处理设备。

在本公开的该方面中，拍摄自身汽车的周围环境的图像；执行识别由图像拍摄部拍摄的图像中的物体的物体识别处理；以及通过移动物体中的网络以识别出的物体为单位输出通过物体识别处理获得的物体识别处理结果。

附图说明

图1示出了一般车载网络的概要。

图2示出了本公开的车载网络的概要。

图3是示出本公开的车辆控制系统的配置的示例的框图。

图4是示出本公开的数据获取部的第一实施例的配置的示例的框图。

图5示出了识别部的配置。

图6示出了由识别部执行的物体识别的结果的示例。

图7是示出由图4的数据获取部执行的感测处理的流程图。

图8示出了将元数据添加到由识别部执行的物体识别的结果的示例。

图9是示出数据获取部的第二实施例的配置的示例的框图，其中元数据被添加到由识别部执行的物体识别的结果。

图10是示出由图9的数据获取部执行的感测处理的流程图。

图11示出了设置多个传感器部以对车辆全周执行感测的示例。

图12是示出数据获取部的第三实施例的配置的示例的框图，其中设置多个传感器部以对车辆全周执行感测。

图13是示出由图12的数据获取部执行以整合由多个传感器部执行的感测处理的结果的整合处理的流程图。

图14示出了根据要执行感测的状况选择性地使用利用以多个灵敏度拍摄的多个图像获得的多个物体识别结果以及由毫米波雷达和lidar执行的感测的结果的示例。

图15示出了选择性地使用利用以多个灵敏度拍摄的多个图像获得的多个物体识别结果以及由毫米波雷达和lidar执行的感测的结果的图案。

图16是示出数据获取部的第四实施例的配置的示例的框图，其中根据要执行感测的状况选择性地使用利用以多个灵敏度拍摄的多个图像获得的多个物体识别结果以及由毫米波雷达和lidar执行的感测的结果。

图17是示出由图16的数据获取部执行的感测处理的流程图。

图18是示出图17的识别结果整合处理的流程图。

图19是描述当拍摄使用led的交通灯的图像时闪烁的发生原理的图。

图20是描述本公开的图像传感器的曝光时间的图。

图21是示出数据获取部的第五实施例的配置的示例的框图，其中抑制了当拍摄使用led的交通灯或车灯的图像时闪烁的发生。

图22是示出由图21的数据获取部执行的闪烁抑制处理的流程图。

图23示出了通用计算机的配置的示例。

具体实施方式

将参考附图详细描述本公开的有利实施例。注意，在说明书和附图中，具有基本相同的功能配置的组件通过相同的附图标记表示以省略重复描述。

下面描述用于实施本技术的实施例。描述按以下顺序进行。

1.本公开的概要

2.控制本公开的车辆的车辆控制系统的配置的示例

3.第一实施例

4.第二实施例

5.第三实施例

6.第四实施例

7.第五实施例

8.使用软件执行系列处理的示例

<<1.本公开的概要>>

描述了本公开的概要。

本公开的车辆使得可以减少流过车载网络并且对于使用例如adas的自动驾驶所必需的通信数据量。

执行自动驾驶的车辆11包括例如传感器部31和自动驾驶控制器32，如图1中所示。

传感器部31感测关于车辆11之外的世界的信息，并将感测结果m1输出到自动驾驶控制器32。

自动驾驶控制器32基于由传感器部31供应的感测结果m1控制车辆11的移动，并执行自动驾驶。

更具体地，传感器部31包括图像拍摄部41、毫米波雷达42和lidar(光检测和测距、激光成像检测和测距)43。

图像拍摄部41例如是互补金属氧化物半导体(cmos)图像传感器。图像拍摄部41拍摄车辆11的周围环境的图像，并将图像数据作为感测结果输出到自动驾驶控制器32。

毫米波雷达42照射毫米波带中的无线电波，根据关于检测到来自物体的反射波的峰值的位置的信息来检测关于物体的位置、速度和方向的信息，并将检测到的信息作为感测结果输出到自动驾驶控制器32。

lidar43发射红外光的激光，并接收来自物体的反射光。基于光的往返时间段，lidar43检测作为关于到物体的距离的点组信息的三维点组信息，并将检测到的信息作为感测结果输出到自动驾驶控制器32。

因此，由传感器部31输出的感测结果m1包括由图像拍摄部41拍摄的图像，由毫米波雷达42检测到的关于物体的位置、速度和方向的信息，以及作为由lidar43执行的检测的结果的三维点组信息。

所有感测结果都是高分辨率感测结果。因此，当所有信息被输出到自动驾驶控制器32时，在车载网络中增加了通信数据量，并且这可能导致通信的延迟，从而对自动驾驶的实行有影响。

因此，在本公开中，新设置了识别部51，如图2中所示。基于由图像拍摄部41拍摄的图像，识别部51识别图像中的物体。由毫米波雷达42执行的感测的结果和由lidar43执行的感测的结果被输出到识别部51。

识别部51将由毫米波雷达42执行的感测的结果和由lidar43执行的感测的结果作为例如元数据附加到作为基于由图像拍摄部41拍摄的图像执行的物体识别的结果的每个物体，并且将元数据和由图像拍摄部41拍摄的图像作为感测结果m2输出到自动驾驶控制器32。

根据这样的配置，在感测结果m2的情况下，作为由毫米波雷达42执行的感测的结果和由lidar43执行的感测的结果的关于物体的位置、速度、方向和到物体的距离的信息作为元数据被添加到作为物体识别结果的每个物体。这导致能够减少感测结果m2的数据量。

因此，可以抑制流过车载网络的感测结果的数据量，同时充分确保对于自动驾驶所必需的信息。这使得可以抑制例如通信延迟的发生，从而执行适当的自动驾驶。

<<2.控制本公开的车辆的车辆控制系统的配置的示例>>

接下来，参考图3的框图描述用于本公开的车辆的车辆控制系统。

图3是示出车辆控制系统100的示意性功能配置的示例的框图，该示例是本技术适用的移动物体控制系统的示例。车辆控制系统100安装在车辆91上。

注意，当将设置有车辆控制系统100的车辆与其它车辆区分开时，在下文中将设置有车辆控制系统100的车辆称为自身汽车或自身车辆。

车辆控制系统100包括输入部101、数据获取部102、通信部103、车载装备104、输出控制器105、输出部106、动力传动控制器107、动力传动系统108、车身相关控制器109、车身相关系统110、存储部111和自动驾驶控制器112。输入部101、数据获取部102、通信部103、输出控制器105、动力传动控制器107、车身相关控制器109、存储部111和自动驾驶控制器112通过通信网络121彼此连接。例如，通信网络121包括符合任何标准的总线或车载通信网络，诸如控制器局域网(can)、局部互连网络(lin)、局域网(lan)或flexray(注册商标)。注意，车辆控制系统100的各个结构元件可以在不使用通信网络121的情况下彼此直接连接。

注意，下面当车辆控制系统100的各个结构元件通过通信网络121彼此通信时将省略通信网络121的描述。例如，当输入部101和自动驾驶控制器112通过通信网络121彼此通信时，将简单地说明为输入部101和自动驾驶控制器112彼此通信。

输入部101包括由乘客使用来输入各种数据、指令等的设备。例如，输入部101包括诸如触摸板、按钮、麦克风、开关和杠杆之类的操作装置；可以通过除手动操作以外的诸如声音或手势之类的方法执行输入的操作装置等等。可替代地，例如，输入部101可以是使用红外或其它无线电波的外部连接的装备，诸如遥控设备；或者与车辆控制系统100的操作兼容的移动装备或可穿戴装备。输入部101基于由乘客输入的数据、指令等生成输入信号，并且将所生成的输入信号供应给车辆控制系统100的各个结构元件。

数据获取部102包括用于获取用于由车辆控制系统100执行的处理的数据的各种传感器等，并且将所获取的数据供应给车辆控制系统100的各个结构元件。

例如，数据获取部102包括用于检测例如自身汽车的状态的各种传感器。具体地，例如，数据获取部102包括：陀螺仪；加速传感器；惯性测量单元(imu)；以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、引擎的转数、马达的转数、车轮旋转的速度等的传感器等。

此外，例如，数据获取部102包括用于检测关于自身汽车外部的信息的各种传感器。具体地，例如，数据获取部102包括图像拍摄设备，诸如飞行时间(tof)相机、立体声相机、单眼相机、红外相机和其它相机。此外，例如，数据获取部102包括用于检测天气、气象现象等的环境传感器，以及用于检测自身汽车周围的物体的周围信息检测传感器。例如，环境传感器包括雨滴传感器、雾传感器、阳光传感器、雪传感器等。周围信息检测传感器包括超声波传感器、雷达、lidar(光检测和测距、激光成像检测和测距)、声纳等。

此外，例如，数据获取部102包括用于检测自身汽车的当前位置的各种传感器。具体地，例如，数据获取部102包括例如全局导航卫星系统(gnss)接收器，该gnss接收器从gnss卫星接收gnss信号。

此外，例如，数据获取部102包括用于检测关于车辆内部的信息的各种传感器。具体地，例如，数据获取部102包括拍摄驾驶员的图像的图像拍摄设备、检测驾驶员的生物信息的生物传感器、收集车辆内部的声音的麦克风等。例如，生物传感器设置在座椅表面、方向盘等上，并检测坐在座椅上的乘客或者持有方向盘的驾驶员的生物信息。

通信部103与车载装备104以及各种车外装备、服务器、基站等进行通信，传输由车辆控制系统100的各个结构元件供应的数据，以及将接收到的数据供应给车辆控制系统100的各个结构元件。注意，通信部103支持的通信协议没有特别限制。通信部103也可以支持多种类型的通信协议。

例如，通信部103使用无线lan、蓝牙(注册商标)、近场通信(nfc)、无线usb(wusb)等与车载装备104无线地通信。此外，例如，通信部103使用通用串行总线(usb)、高清多媒体接口(hdmi)(注册商标)、移动高清链路(mhl)等通过连接终端(未示出)(以及必要时的缆线)通过导线与车载装备104进行通信。

此外，例如，通信部103通过基站或接入点与外部网络(例如，因特网、云网络或载波特定网络)中的装备(例如，应用服务器或控制服务器)进行通信。此外，例如，通信部103使用对等(p2p)技术与位于自身汽车附近的终端(例如，行人或商店的终端或者机器型通信(mtc)终端)进行通信。此外，例如，通信部103执行诸如车辆到车辆通信、车辆到基础设施通信、自身汽车和家庭之间的车辆到家庭通信以及车辆到行人通信之类的v2x通信。此外，例如，通信部103包括信标接收器，接收从例如安装在道路上的无线电站传输的无线电波或电磁波，并且获取关于例如当前位置、交通拥塞、交通规则或所需时间的信息。

车载装备104的示例包括乘客的移动装备或可穿戴装备、引入或附加到自身汽车的信息装备以及搜索到任何目的地的路线的导航设备。

输出控制器105控制到自身汽车的乘客或到自身汽车外部的各种信息的输出。例如，输出控制器105生成包括视觉信息(诸如图像数据)或音频信息(诸如声音数据)中的至少一个的输出信号，将输出信号供应给输出部106，从而控制视觉信息和音频信息从输出部106的输出。具体地，例如，输出控制器105组合由数据获取部102的不同图像拍摄设备拍摄的图像的数据，生成鸟瞰图像、全景图像等，并且将包括所生成的图像的输出信号供应给输出部106。此外，例如，输出控制器105生成包括例如警示诸如碰撞、接触或进入危险区之类的危险的警告哔哔声或警告消息的声音数据，并且将包括所生成的声音数据的输出信号供应给输出部106。

输出部106包括能够将视觉信息或音频信息输出到自身汽车的乘客或自身汽车外部的设备。例如，输出部106包括显示设备、仪表板、音频扬声器、耳机、用于在乘客上穿戴的诸如眼镜型显示器之类的可穿戴装置、投影仪、灯等。代替包括常用显示器的设备，输出部106中包括的显示设备可以是诸如平视显示器、透明显示器之类的设备，或者是包括在驾驶员的视野中显示视觉信息的增强现实(ar)显示功能的设备。

动力传动控制器107生成各种控制信号，将它们供应给动力传动系统108，从而控制动力传动系统108。此外，动力传动控制器107根据需要将控制信号供应给除动力传动系统108以外的结构元件，以例如通知它们控制动力传动系统108的状态。

动力传动系统108包括与自身汽车的动力传动相关的各种设备。例如，动力传动系统108包括：生成驱动力的驱动力生成设备，诸如内燃引擎和驱动马达；用于将驱动力传输到车轮的驱动力传输机构；调整转向角的转向机构；生成制动力的制动设备；防锁制动系统(abs)；电子稳定控制(esc)系统；电动转向设备等。

车身相关控制器109生成各种控制信号，将它们供应给身体相关系统110，从而控制车身相关系统110。此外，车身相关控制器109根据需要将控制信号供应给除车身相关系统110以外的结构元件，以例如通知它们控制身体相关系统110的状态。

车身相关系统110包括提供给车身的各种车身相关设备。例如，身体相关系统110包括无钥匙进入系统、智能钥匙系统、电动窗设备、电动座椅、方向盘、空调、各种灯(诸如前照灯、尾灯、制动灯、闪光信号灯和雾灯)等。

例如，存储部111包括只读存储器(rom)、随机存取存储器(ram)、诸如硬盘驱动器(hdd)之类的磁存储装置、半导体存储装置、光学存储装置、磁光存储装置等。存储部111在其中存储由车辆控制系统100的各个结构元件使用的各种程序、数据等。例如，存储部111在其中存储诸如三维高精度地图、全局地图和局部地图之类的地图数据。高精度地图是动态地图等。全局地图更不精确并且覆盖比高精度地图更宽的区域。局部地图包括关于自身汽车的周围环境的信息。

自动驾驶控制器112执行与诸如自动行驶或驾驶辅助之类的自动驾驶相关的控制。具体地，例如，自动驾驶控制器112执行旨在实现高级驾驶员辅助系统(adas)的功能的协作控制，包括自身汽车的碰撞避免或冲击缓解、基于车辆之间的距离的先前车辆之后的行驶、维持车辆速度同时的行驶、自身汽车的碰撞的警告、自身汽车从车道偏离的警告等。此外，例如，自动驾驶控制器112执行旨在实现例如在没有由驾驶员执行的操作的情况下自主行驶的自动驾驶的协作控制。自动驾驶控制器112包括检测器131、自我位置估计器132、状态分析器133、规划部134和移动控制器135。

检测器131检测控制自动驾驶所需的各种信息。检测器131包括车辆外部信息检测器141、车辆内部信息检测器142和车辆状态检测器143。

车辆外部信息检测器141基于来自车辆控制系统100的每个结构元件的数据或信号执行检测关于自身汽车外部的信息的处理。例如，车辆外部信息检测器141执行检测、识别和跟踪自身汽车周围的物体的处理以及检测到物体的距离的处理。检测目标物体的示例包括车辆、人、障碍物、结构、道路、交通灯、交通标志和道路标志。此外，例如，车辆外部信息检测器141执行检测自身汽车周围的环境的处理。检测目标周围环境的示例包括天气、温度、湿度、亮度和路面状况。车辆外部信息检测器141将指示检测处理的结果的数据供应给例如自我位置估计器132；状态分析器133的地图分析器151、交通规则识别部152和状态识别部153；以及移动控制器135的紧急事件避免部171。

车辆内部信息检测器142基于来自车辆控制系统100的每个结构元件的数据或信号执行检测关于车辆内部的信息的处理。例如，车辆内部信息检测器142执行认证和识别驾驶员的处理、检测驾驶员的状态的处理、检测乘客的处理以及检测车辆内部环境的处理。驾驶员的检测目标状态的示例包括身体状况、唤醒程度、集中程度、疲劳程度和视线的方向。检测目标车辆内部环境的示例包括温度、湿度、亮度和气味。车辆内部信息检测器142将指示检测处理的结果的数据供应给例如状态分析器133的状态识别部153和移动控制器135的紧急事件避免部171。

车辆状态检测器143基于来自车辆控制系统100的每个结构元件的数据或信号执行检测自身汽车的状态的处理。自身汽车的检测目标状态的示例包括速度、加速度、转向角、异常的存在或不存在及其细节、驱动操作状态、电动座椅的位置和倾斜度、门锁的状态以及其它车载装备的状态。车辆状态检测器143将指示检测处理的结果的数据供应给例如状态分析器133的状态识别部153和移动控制器135的紧急事件避免部171。

自我位置估计器132基于来自车辆控制系统100的诸如车辆外部信息检测器141和状态分析器133的状态识别部153之类的各个结构元件的数据或信号执行估计自身汽车的位置、姿势等的处理。此外，自我位置估计器132根据需要生成用于估计自我位置的局部地图(在下文中称为自我位置估计地图)。例如，自我位置估计地图是使用诸如即时定位与地图构建(slam)之类的技术的高精度地图。自我位置估计器132将指示估计处理的结果的数据供应给例如状态分析器133的地图分析器151、交通规则识别部152和状态识别部153。此外，自我位置估计器132将自我位置估计地图存储在存储部111中。

状态分析器133执行分析自身汽车的状态及其周围环境的处理。状态分析器133包括地图分析器151、交通规则识别部152、状态识别部153和状态预测部154。

根据需要使用来自车辆控制系统100的诸如自我位置估计器132和车辆外部信息检测器141之类的各个结构元件的数据或信号，地图分析器151执行分析存储在存储部111中的各种地图的处理，并构造包括自动驾驶处理所需的信息的地图。地图分析器151将所构造的地图供应给例如交通规则识别部152、状态识别部153和状态预测部154以及规划部134的路线规划部161、行为规划部162和移动规划部163。

交通规则识别部152基于来自车辆控制系统100的诸如自我位置估计器132、车辆外部信息检测器141和地图分析器151之类的各个结构元件的数据或信号执行识别自身汽车周围的交通规则的处理。识别处理使得可以识别自身汽车周围的交通灯的位置和状态、自身汽车周围执行的交通控制的细节以及可行驶的车道。交通规则识别部152将指示识别处理的结果的数据供应给例如状态预测部154。

状态识别部153基于来自车辆控制系统100的诸如自我位置估计器132、车辆外部信息检测器141、车辆内部信息检测器142、车辆状态检测器143和地图分析器151之类的各个结构元件的数据或信号执行识别与自身汽车相关的状态的处理。例如，状态识别部153执行识别自身汽车的状态、自身汽车的周围环境的状态、自身汽车的驾驶员的状态的处理等。此外，状态识别部153根据需要生成用于识别自身汽车的周围环境的状态的局部地图(在下文中称为状态识别地图)。状态识别地图例如是占用网格地图。

自身汽车的识别目标状态的示例包括自身汽车的位置、姿势和移动(诸如速度、加速度和移动方向)以及异常的存在或不存在及其细节。自身汽车的周围环境的识别目标状态的示例包括：自身汽车周围的静止物体的类型和位置；自身汽车周围的移动物体的类型、位置和移动(诸如速度、加速度和移动方向)；自身汽车周围的道路的结构和路面的状况；以及自身汽车周围的天气、温度、湿度和亮度。驾驶员的识别目标状态的示例包括身体状况、唤醒程度、集中程度、疲劳程度、视线移动和驱动操作。

状态识别部153将指示识别处理的结果的数据(根据需要包括状态识别地图)供应给例如自我位置估计器132和状态预测部154。此外，状态识别部153在存储部111中存储状态识别地图。

状态预测部154基于来自车辆控制系统100的诸如地图分析器151、交通规则识别部152和状态识别部153之类的各个结构元件的数据或信号执行预测与自身汽车相关的状态的处理。例如，状态预测部154执行预测自身汽车的状态、自身汽车的周围环境的状态、驾驶员的状态的处理等。

自身汽车的预测目标状态的示例包括自身汽车的行为、自身汽车中异常的发生以及自身汽车的可行驶距离。自身汽车的周围环境的预测目标状态的示例包括移动物体的行为、交通灯的状态的变化以及自身汽车周围的诸如天气之类的环境的变化。驾驶员的预测目标状态的示例包括驾驶员的行为和身体状况。

状态预测部154将指示预测处理的结果的数据与来自交通规则识别部152和状态识别部153的数据一起供应给例如规划部134的路线规划部161、行为规划部162和移动规划部163。

路线规划部161基于来自车辆控制系统100的诸如地图分析器151和状态预测部154之类的各个结构元件的数据或信号来规划到目的地的路线。例如，路线规划部161基于全局地图设定从当前位置到指定目的地的路线。此外，例如，路线规划部161基于例如交通拥塞、事故、交通规则和构造的状态以及驾驶员的身体状况来适当地改变路线。路线规划部161将指示规划的路线的数据供应给例如行为规划部162。

基于来自车辆控制系统100的诸如地图分析器151和状态预测部154之类的各个结构元件的数据或信号，行为规划部162规划自身汽车的行为以使自身汽车在由路线规划部161规划的时间内在由路线规划部161规划的路线上安全地行驶。例如，行为规划部162制定关于例如开始移动、停止、行驶方向(诸如，前向移动、向后移动、左转、右转以及方向的变化)、用于行驶的车道、行驶速度和超车的规划。行为规划部162将指示自身汽车的规划的行为的数据供应给例如移动规划部163。

基于来自车辆控制系统100的诸如地图分析器151和状态预测部154之类的各个结构元件的数据或信号，移动规划部163规划自身汽车的移动以实现由行为规划部162规划的行为。例如，移动规划部163制定关于例如加速度、减速度和行驶轨迹的规划。移动规划部163将指示自身汽车的规划的移动的数据供应给例如移动控制器135的加速/减速控制器172和方向控制器173。

移动控制器135控制自身汽车的移动。移动控制器135包括紧急事件避免部171、加速/减速控制器172和方向控制器173。

基于由车辆外部信息检测器141、车辆内部信息检测器142和车辆状态检测器143执行的检测的结果，紧急事件避免部171执行检测诸如碰撞、接触、进入危险区、驾驶员不正常以及车辆异常之类的紧急事件的处理。当紧急事件避免部171检测到紧急事件的发生时，紧急事件避免部171规划自身汽车的移动，诸如突然停止或快速转弯以避免紧急事件。紧急事件避免部171将指示自身汽车的规划的移动的数据供应给例如加速/减速控制器172和方向控制器173。

加速/减速控制器172控制加速度/减速度以实现由移动规划部163或紧急事件避免部171规划的自身汽车的移动。例如，加速/减速控制器172计算用于驱动力生成设备或制动设备实现规划的加速度、规划的减速度或规划的突然停止的控制目标值，并且将指示计算出的控制目标值的控制指令供应给动力传动控制器107。

方向控制器173控制方向以实现由移动规划部163或紧急事件避免部171规划的自身汽车的移动。例如，方向控制器173计算用于转向机构实现由移动规划部163规划的行驶轨迹或由紧急事件避免部171规划的快速转弯的控制目标值，并且将指示计算出的控制目标值的控制指令供应给动力传动控制器107。

<<3.第一实施例>>

<减少流过车载网络的感测结果的数据量的配置>

接下来，参考图4的框图描述减少流过车载网络的感测结果的数据量的数据获取部102的配置的示例。

注意，在实现参考图3描述的车辆控制系统100的功能配置的示例当中，图4示出了减少流过车载网络的感测结果的数据量的数据获取部102的配置。

传感器部200是数据获取部102的一部分，并且在图4中，传感器部200被配置为实际上用作相机。

传感器部200包括控制器201、镜头202、图像传感器203、信号处理部204、识别部205、缓冲器206和判定部207。

控制器201包括处理器和存储器，并控制传感器部200的整个操作。

镜头202收集从车辆91的周围环境入射的光，使得在图像传感器203的图像拍摄面上形成入射光的图像。

在控制器201的控制下，图像传感器203基于通过镜头202入射的周围环境光来生成每个像素的信号，以将所生成的信号输出到信号处理部204。

在控制器201的控制下，信号处理部204对由图像传感器203供应的每个像素的信号执行诸如去马赛克处理、去噪和色调校正之类的信号处理，并生成图像以将所生成的图像输出到识别部205、缓冲器206和判定部207。

识别部205基于由信号处理部204供应的图像对每个像素执行物体识别，并以识别出的物体为单位将识别结果通过车载网络输出到自动驾驶控制器112和判定部207。换句话说，可以通过以识别出的物体为单位而不是以像素为单位输出物体识别结果来抑制通过车载网络输出的物体识别结果的数据量。在这种情况下，物体识别结果包括关于在图像中识别出的物体的坐标的信息。因此，仅以识别出的物体为单位的物体的坐标的位置和物体识别结果流过车载网络，并且这使得可以减少车载网络中的通信负载。

更具体地，识别部205基于图像对每个像素执行物体识别以识别地面、人、车辆、建筑物、固定物体、自然环境、天空等作为物体，并输出物体识别的结果。

地面的物体识别结果的示例包括关于例如道路、人行道、停车场和轨道的信息。

此外，人的物体识别结果的示例包括行人和驾驶员。

这里，驾驶员的物体识别结果的示例包括：自行车、摩托车、踏板车、滑板和马的骑手；旱冰鞋手；轮椅中的人以及道路清洁车和无顶棚汽车的驾驶员。

此外，车辆的物体识别结果的示例包括：汽车、卡车、公共汽车、在轨道上行驶的电动列车或轨道列车、摩托车、自行车和牵引车。

此外，建筑物的物体识别结果的示例包括：建筑、墙壁、围栏、护栏、桥梁和隧道。

此外，固定物体的物体识别结果的示例包括：杆、杆组、交通标志和交通灯。

此外，自然环境的物体识别结果的示例包括：关于植被和地形的信息。

在控制器201的控制下，缓冲器206临时缓冲由信号处理部204供应的图像，并在根据由识别部205执行的识别处理以及信号处理中的每一者的处理时间的定时处将缓冲图像输出到自动驾驶控制器112。

注意，仅物体识别结果可以输出到自动驾驶控制器112而不输出图像本身，或者可以在减小比特率的状态下执行输出。这使得可以进一步抑制流过车载网络的数据量。

判定部207比较由识别部205执行的识别处理的处理时间与由信号处理部204执行的信号处理的处理时间，并将比较结果和处理时间的差异输出到控制器201。

控制器201控制信号处理部204、识别部205和缓冲器206，使得根据比较结果，间隔剔除并输出作为图像拍摄结果的图像，或者间隔剔除并输出物体识别结果，或者输出图像拍摄结果和物体识别结果而不间隔剔除图像拍摄结果或物体识别结果。

此外，当间隔剔除并输出作为图像拍摄结果的图像或者间隔剔除并输出物体识别结果时，控制器201根据处理时间的差异间隔剔除并输出作为图像拍摄结果的图像，或者间隔剔除并输出物体识别结果。

更具体地，当物体识别处理比信号处理慢时并且当物体识别处理比信号处理慢n倍时，控制器201控制信号处理部204以使得每n帧间隔剔除并输出图像，并且使得彼此相关联地输出当前图像和n帧之前的图像的物体识别结果。此外，控制器201可以使缓冲器206缓冲图像，直到获得物体识别结果为止，并且可以使获得的物体识别结果与在获得物体识别结果的定时处的图像一起输出。在这种情况下，也根据获得物体识别结果的定时输出图像。因此，也将每n帧间隔剔除图像。

此外，当物体识别处理比信号处理快时并且当物体识别处理比信号处理快n倍时，控制器201控制识别部205以使得每n次输出一次物体识别结果，并且彼此相关联地输出获得的物体识别结果和当前图像。

<识别部的配置>

相对于由信号处理部204供应的图像，识别部205获得每个像素的物体识别结果以输出获得的物体识别结果。

换句话说，如图5中所示，识别部205对由信号处理部204输出的图像r1的每个像素p执行诸如语义分割之类的物体识别处理，并输出每个像素p的物体识别结果pr。

更具体地，当例如拍摄图6中所示的图像p11时，执行物体识别处理以识别例如行人h1至h4、车辆c1至c4、白线l1和l2、交通灯t1和标志m1。

此外，关于作为图6的物体识别结果的行人h1至h4、车辆c1至c4、白线l1和l2、交通灯t1和标志m1中的每一个，坐标位置和识别名称(例如，人、车辆、白线、交通灯或标志)例如被设定在构成物体的像素区域的重心的位置处。

<由图4的数据获取部执行的感测处理>

接下来，描述由图4的数据获取部102执行的感测处理。

在步骤s11中，在控制器201的控制下，图像传感器203基于通过镜头202入射的光拍摄车辆91的周围环境的图像，并将已经执行了图像拍摄的每个像素的信号输出到信号处理部204。

在步骤s12中，在控制器201的控制下，信号处理部204针对由图像传感器203供应的每个像素的信号执行诸如去马赛克处理、去噪和色调校正之类的信号处理，并生成图像以将生成的图像输出到识别部205、缓冲器206和判定部207。

在步骤s13中，缓冲器206缓冲由信号处理部204输出的图像信号。

在步骤s14中，识别部205基于由信号处理部204供应的图像对每个像素执行物体识别。

在步骤s15中，缓冲器206将缓冲图像输出到自动驾驶控制器112。

在步骤s16中，识别部205通过车载网络将识别结果输出到自动驾驶控制器112和判定部207，如参考图6描述的。

换句话说，由于执行步骤s15和s16的处理，将彼此相关联的图像和物体识别结果输出到自动驾驶控制器112。

在步骤s17中，判定部207比较由信号处理部204执行的信号处理的时间以及由识别部205执行的物体识别处理的时间，并判定由识别部205执行的物体识别处理是否比由信号处理部204执行的信号处理慢。

当已经在步骤s17中判定由识别部205执行的物体识别处理比由信号处理部204执行的信号处理慢时，处理移动到步骤s18。

在步骤s18中，判定部207向控制器201通知由识别部205执行的物体识别处理比由信号处理部204执行的信号处理慢。响应于该通知，控制器201控制信号处理部204以使得根据由信号处理部204执行的信号处理和由识别部205执行的物体识别处理之间的处理时间的差异间隔剔除并输出作为由信号处理部204输出的信号处理结果的图像。

在步骤s19中，判定是否已经给出了终止处理的指令，并且当已经判定未给出执行终止的指令时，处理返回到步骤s11。

此外，当已经在步骤s17中判定由识别部205执行的物体识别处理不会比由信号处理部204执行的信号处理慢时，处理移动到步骤s20。

在步骤s20中，判定部207比较由信号处理部204执行的信号处理的时间以及由识别部205执行的物体识别处理的时间，并判定由识别部205执行的物体识别处理是否比由信号处理部204执行的信号处理快。

当已经在步骤s20中判定由识别部205执行的物体识别处理比由信号处理部204执行的信号处理快时，处理移动到步骤s21。

在步骤s21中，判定部207向控制器201通知由识别部205执行的物体识别处理比由信号处理部204执行的信号处理快。响应于该通知，控制器201控制识别部205以使得根据由信号处理部204执行的信号处理与由识别部205执行的物体识别处理之间的处理时间的差异间隔剔除并输出物体识别结果。

然后，当已经在步骤s20中判定由识别部205执行的物体识别处理不会比由信号处理部204执行的信号处理快，即当物体识别处理和信号处理几乎相同的快慢时，处理移动到步骤s19，并且不控制信号处理部204和识别部205执行间隔剔除。

上述处理使得可以通过根据由信号处理部204执行的信号处理与由识别部205执行的物体识别处理之间的处理时间的差异间隔剔除物体识别结果或拍摄图像来调整定时并适当地输出物体识别结果和拍摄图像。

上面已经描述了向自动驾驶控制器112输出物体识别结果的数据和图像的数据两者的示例。然而，当仅使用物体识别结果控制自动驾驶时，可以仅将物体识别结果输出到自动驾驶控制器112。这使得可以减少流过车载网络的数据量，从而改善通信速度。

此外，不需要执行从图像识别物体的处理。因此，传感器部200可以将低分辨率图像和物体识别结果输出到自动驾驶控制器112。

上面已经描述了输出所有物体识别结果的示例。然而，从物体识别结果当中，可以仅输出控制自动驾驶所需的相对高重要性的物体的物体识别结果。这里，相对高重要性的物体的示例包括掌握交通状况所需的目标物体以及碰撞或接触目标物体。具体地，相对较高重要性的物体的示例包括交通灯、道路标志、车辆、行人、自行车和摩托车。此外，不一定必须输出低重要性的物体的物体识别结果。例如，由于天空的识别结果不是控制自动驾驶必不可少的，因此不一定必须输出天空的识别结果。

这使得可以使控制自动驾驶所需的图像和物体识别结果流入自动驾驶控制器112，同时抑制流过车载网络的数据量。

上面已经描述了当物体识别处理比信号处理慢时根据处理时间的差异间隔剔除并输出图像的示例。然而，可以彼此相关联地输出当前图像以及当前图像的帧之前几帧的帧的图像的物体识别结果而不间隔剔除图像。这导致降低物体识别结果的精度，但不需要降低帧速率。

<<4.第二实施例>>

上面已经描述了传感器部200基于由图像传感器203拍摄的图像执行物体识别处理并将彼此相关联的物体识别的结果和图像输出到自动驾驶控制器112的示例。然而，传感器部200还可以包括能够感测其它信息的多个传感器，并且可以将由多个传感器执行的感测的结果添加到物体识别结果并输出感测结果和物体识别结果。

例如，除了图像传感器203之外，传感器部200中可以包括毫米波雷达和lidar，并且分别从由毫米波雷达执行的感测的结果和由lidar执行的感测的结果获得的关于物体的速度的信息和关于到物体的距离的信息可以作为元数据添加到每个物体识别结果中。

换句话说，如例如图8中所示，行人h1至h4、车辆c1至c4、白线l1和l2、交通灯t1和标志m1被由上述处理执行的物体识别处理识别。

这里，传感器部200还包括毫米波雷达和lidar，然后，关于物体的速度的信息和关于到物体的距离的信息被作为元数据添加到物体识别结果当中的可以以指定的精度感测的作为移动物体的每个物体。

在这种情况下，物体识别结果当中的可以以指定的精度感测的移动物体的示例包括车辆c1至c4。已知的是，毫米波带中的无线电波可以通过例如行人h1至h4容易地传输，并且关于行人h1至h4的可检测速度的信息表现出低的精度。

如上所述，关于可以以指定的精度感测的移动物体，通过将速度信息和距离信息添加到物体作为元数据来获得控制自动驾驶所需的关于物体的更详细信息。注意，尤其是添加元数据的物体，诸如可以以指定的精度感测的物体，在下文中也被称为需要添加元数据的物体。

在图8中，将速度(v)和距离(d)添加到车辆c1至c4中的每一个，如图中(v，d)所指示的。

更具体地，将h1(45，8.0)给予车辆c1，并且指示车辆c1的移动速度是45km/h，并且从自身汽车到车辆c1的距离为8.0m。此外，将c2(50，70)给予车辆c2，并且指示车辆c2的移动速度是50km/h，并且从自身汽车到车辆c2的距离为70m。

将c3(-40，30)给予车辆c3，并且指示车辆c3的移动速度是-40km/h，并且从自身汽车到车辆c3的距离为30m。此外，将c4(-50，5.0)给予车辆c4，并且指示车辆c4的移动速度为-50km/h，并且从自身汽车到车辆c4的距离为5.0m。

注意，给予速度的图“-”的事实指示方向与自身汽车的行驶方向相反，并且指示车辆c3和c4是迎面而来的车辆。

此外，图8中的表示是用于描述与图像识别结果的对应关系的表示，实际上，与对应物体识别结果相关联的关于物体的速度的信息和关于到物体的距离的信息作为元数据被添加到物体识别结果。

上面已经描述了可以使用毫米波雷达221以指定的精度感测的移动物体被设定为需要添加元数据的物体的示例，需要添加元数据的物体是要添加元数据的物体。然而，可以将元数据添加到控制自动驾驶所需的相对高重要性的物体。相对高重要性的物体的示例包括掌握交通状况所需的目标物体以及碰撞或接触目标物体。具体地，相对高重要性的物体的示例包括交通灯、道路标志、车辆、行人、自行车和摩托车。此外，当然，由毫米波雷达221和lidar222执行的所有物体识别的结果可以被设定为需要添加元数据的物体。

<传感器部的配置的示例，其中速度信息和距离信息被添加到物体识别结果>

接下来，参考图9的框图描述减少流过车载网络的感测结果的数据量的第二实施例的配置的示例。

注意，从实现参考图3描述的车辆控制系统100的功能配置的示例当中，图9示出了数据获取部102的配置的示例，从而减少了流过车载网络的感测结果的数据量，并进一步将关于移动物体的速度和到移动物体的距离的信息添加到物体识别结果当中的可以以指定的精度感测的物体。

此外，图9的数据获取部102中的包括与图4的数据获取部102中的结构元件相同的功能的结构元件由与图4相同的附图标记表示，并且适当地省略其描述。

换句话说，毫米波雷达221和lidar222新添加到图9的数据获取部102。

毫米波雷达221照射毫米波带中的无线电波，接收来自物体的反射波，基于无线电波被照射到反射波以峰值强度被接收的往返时间段来检测到物体的距离和物体的速度，并将检测到的距离和速度输出到识别部205。

lidar222发射红外光的激光，接收来自物体的反射光，基于从发射激光的定时到接收激光的定时的往返时间段来检测关于到物体的距离的信息，并将检测到的信息作为三维点组信息输出到识别部205。

识别部205将速度信息和距离信息作为元数据添加到物体识别结果当中的可以以指定的精度感测的移动物体，登记以在其中存储与物体识别结果相关联的元数据，并将它们输出到自动驾驶控制器112。

此外，在与物体识别结果相关联地登记速度信息和距离信息之后，即使在由于图像伪像或图像的不充分的亮度而不允许从图像中检测到物体的状态下，识别部205也基于由毫米波雷达221供应的最近和当前的速度信息以及由lidar222供应的最近和当前的距离信息来估计物体的位置。

注意，从与物体识别结果相关联地登记速度信息和距离信息的物体当中，在下文中还将由于图像伪像或图像的不充分的亮度而不允许从图像中检测到的物体称为不可检测的物体。此外，可以以指定的精度感测的移动物体也被称为元数据添加的物体。

<由图9的数据获取部执行的感测处理>

接下来，参考图10的流程图描述由图9的数据获取部102执行的感测处理。

注意，图9的流程图中的步骤s31至s33和s36的处理与图7的流程图中的步骤s11至s14的处理类似。因此，省略其描述。

也就是说，在步骤s34中，毫米波雷达221将毫米波带中的无线电波照射到车辆91的周围环境上，基于具有峰值强度的反射波检测关于物体的速度的信息，并将检测到的速度信息输出到识别部205。

在步骤s35中，lidar222发射红外光的激光，接收来自物体的反射光，基于激光的往返时间段检测作为关于到物体的距离的信息的三维点组信息，并将检测到的信息输出到识别部205。

在步骤s36中，识别部205基于由信号处理部204供应的图像对每个像素执行物体识别。

在步骤s37中，识别部205将未处理的识别出的物体设定为处理目标物体。

在步骤s38中，识别部205判定处理目标物体是否是可以以指定的精度感测的移动物体，即，需要添加元数据的物体。这里，可以以指定的精度感测的需要添加元数据的移动物体的示例包括车辆。注意，可以将任何物体设定为需要添加元数据的物体，并且例如，不仅是车辆，而且还可以将所有物体设定为需要添加元数据的物体。

当已经在步骤s38中判定处理目标物体是需要添加元数据的物体时，处理移动到步骤s39。

在步骤s39中，识别部205将由毫米波雷达221供应的速度信息和由lidar222供应的距离信息作为元数据添加到处理目标物体，并且登记(更新)以在其中与处理目标物体关联地存储元数据。

注意，当已经在步骤s38中判定处理目标物体不是需要添加元数据的物体时，跳过步骤s39的处理，并且不添加元数据。

在步骤s40中，识别部205判定是否存在物体识别结果当中未处理的识别出的物体，并且当已经判定存在未处理的识别出的物体时，处理返回到步骤s37。

在步骤s41中，识别部205将登记的物体识别结果当中的一个不可检测的物体设定为处理目标不可检测的物体。

在步骤s42中，识别部205基于关于不可检测的物体的当前速度信息和距离信息以及关于不可检测的物体的最近的速度信息和距离信息来估计不可检测的物体的当前位置，并且，假设在估计位置中存在不可检测的物体的物体识别结果，识别部205在其上彼此相关联地登记当前速度信息和距离信息。

注意，在基于处理目标不可检测的物体的最近位置中的速度信息和距离信息预测的位置中的速度信息和距离信息用作关于处理目标不可检测的物体的当前速度信息和距离信息。

此外，当未检测到对应于处理目标不可检测的物体的当前速度信息和距离信息时，判定不存在物体本身。因此，识别部205取消处理目标不可检测的物体的登记和与处理目标不可检测的物体相关联地登记的速度信息和距离信息的登记。

在步骤s43中，识别部205判定是否存在未处理的不可检测的物体，并且当已经判定存在未处理的不可检测的物体时，处理返回到步骤s41。换句话说，关于所有不可检测的物体，重复步骤s41至s43的处理，直到基于对应的速度信息和距离信息估计到当前位置。

当已经在步骤s43中判定不存在未处理的不可检测的物体时，处理移动到步骤s44。

在步骤s44中，缓冲器206将缓冲图像输出到自动驾驶控制器112。

在步骤s45中，如以上参考图8所描述的，识别部205通过车载网络将识别结果输出到自动驾驶控制器112和判定部207，识别结果是通过添加包括关于高重要性物体的速度和到高重要性物体的距离的信息的元数据而获得的。

在步骤s46中，判定部207比较由毫米波雷达221和lidar222执行的处理的时间以及由信号处理部204执行的信号处理的时间，并判定由毫米波雷达221和lidar222执行的处理是否比由信号处理部204执行的信号处理慢。

当已经在步骤s46中判定由毫米波雷达221和lidar222执行的处理比由信号处理部204执行的信号处理慢时，处理移动到步骤s47。

在步骤s47中，判定部207向控制器201通知由毫米波雷达221和lidar222执行的处理比由信号处理部204执行的信号处理慢。响应于该通知，控制器201控制信号处理部204，使得根据由信号处理部204执行的信号处理与由毫米波雷达221和lidar222执行的处理之间的处理时间的差异间隔剔除并输出由信号处理部204输出的作为信号处理结果的图像。

在步骤s48中，判定是否已经给出了终止处理的指令，并且当已经判定尚未给出执行终止的指令时，处理返回到步骤s31。此外，当已经在步骤s48中判定已经给出执行终止的指令时，终止处理。

此外，当已经在步骤s46中判定由毫米波雷达221和lidar222执行的处理不会比由信号处理部204执行的信号处理慢时，处理移动到步骤s49。

在步骤s49中，判定部207比较由毫米波雷达221和lidar222执行的处理的时间与由信号处理部204执行的信号处理的时间，并判定由毫米波雷达221和lidar222执行的处理是否比由信号处理部204执行的信号处理快。

当已经在步骤s49中判定由毫米波雷达221和lidar222执行的处理比由信号处理部204执行的信号处理快时，处理移动到步骤s50。

在步骤s50中，判定部207向控制器201通知由毫米波雷达221和lidar222执行的处理比由信号处理部204执行的信号处理快。响应于该通知，控制器201控制识别部205，使得由毫米波雷达221和lidar222执行的处理的结果在作为由信号处理部204输出的信号处理结果的图像不被输出的定时处输出为空包。

然后，当已经在步骤s49中判定由毫米波雷达221和lidar222执行的处理不会比由信号处理部204执行的信号处理快时，即当由毫米波雷达221和lidar222执行的处理与信号处理几乎相同的快慢时，处理移动到步骤s48，并且不控制信号处理部204间隔剔除处理并且不控制识别部205输出处理结果为空包。

根据上述处理，将速度信息和距离信息作为元数据添加到物体识别结果当中的需要添加元数据的物体，需要添加元数据的物体是可以以指定的精度感测的移动物体，并且速度信息和距离信息与物体识别结果相关联地登记(更新)。这使得自动驾驶控制器112能够相对于可以以指定的精度感测的需要添加元数据的移动物体除了关于图像中的坐标之外还考虑移动速度和距离信息来控制自动驾驶。

这使得可以使控制自动驾驶所需的图像和物体识别结果流入自动驾驶控制器112中，同时抑制流过车载网络的数据量。

此外，在与物体识别结果相关联地登记速度信息和距离信息之后，即使在从图像无法获得物体识别结果的状态下，也基于最近彼此相关联地登记的速度信息和距离信息并且基于当前速度信息和距离信息来估计位置，并且在估计位置中与物体识别结果相关联地登记速度信息和距离信息。

因此，即使在由于图像中的问题无法获得物体识别结果的状态下，诸如由图像传感器203拍摄的图像的伪像、图像的不充分的亮度或者由于刮片导致的图像盲点的状态下，也可以基于由毫米波雷达221获得的速度信息和由lidar222获得的距离信息持续地获取物体识别结果。

此外，当由毫米波雷达221和lidar222执行的处理比由信号处理部204执行的信号处理慢时，控制信号处理部204，并且根据处理时间的差异间隔剔除并输出作为信号处理结果的图像。

此外，当由毫米波雷达221和lidar222执行的处理比由信号处理部204执行的信号处理快时，控制识别部205，并且由毫米波雷达221和lidar222执行的处理结果在不输出作为信号处理结果的图像的定时处被输出为空包。

因此，由毫米波雷达221获得的速度信息和由lidar222获得的距离信息被调整为对应于由信号处理部204执行的处理的速度的定时或者对应于由毫米波雷达221和lidar222执行的处理的速度的定时，并且被输出。

<<5.第三实施例>>

上面已经描述了以下示例：速度信息和距离信息作为元数据被添加到物体识别结果当中的需要添加元数据的物体，需要添加元数据的物体是可以以指定的精度感测的移动物体，并且需要添加元数据的物体和添加的元数据被输出。然而，多个传感器部200可以设置给车辆91以检测关于车辆91全周的信息。

更具体地，如例如图11中所示，可以设置传感器部200-1至200-6，使得可以相对于车辆91全周的区域执行感测，区域包括位于车辆91正前方的范围z1、位于其右侧前方的范围z2、位于其右侧后方的范围z3、位于车辆91正后方的范围z4、位于其左侧后方的范围z5和位于其左侧前方的范围z6。

然后，通过各个传感器部200-1至200-6执行的感测的结果被整合并且整合结果被输出到自动驾驶控制器112。

也就是说，如从车辆91所观察的，各个传感器部200-1至200-6的物体识别结果可以与关于感测目标范围z1至z6的各个信息相关联地输出。

此外，可以设定当车辆91的周围环境由二维平面表示时的坐标，并且在物体识别结果各自与表示车辆91的周围环境的二维平面中的坐标相关联的状态下，可以以单个地图信息的形式输出各个传感器部200-1至200-6的物体识别结果。

此外，为了减少流过车载网络的数据量，可以根据毫米波雷达221和lidar222的驱动状态或操作状态来改变输出到自动驾驶控制器112的数据。

例如，当行驶速度是恒定的并且当与周围车辆的位置关系在指定的时间段内保持不变时，并非所有方向上执行的感测的所有感测结果都是必要的，并且仅由用于相对于位于行驶方向上的范围z1执行感测的传感器部200-1供应的感测结果可以被输出。如上所述，仅输出在某些方向上执行的感测的结果的模式在下文中也被称为低负载模式。

此外，当在传感器部200-1至200-6中的每一个的毫米波雷达221和lidar222的操作状态中存在问题时，无论驱动状态如何，都可以输出在所有方向上执行的感测的结果。仅输出在所有方向上执行的感测的结果的模式在下文中也被称为高负载模式。

<检测关于车辆全周的信息的数据获取部的配置的示例>

接下来，参考图12的框图描述检测关于车辆全周的信息的数据获取部102的第三实施例的配置的示例。

注意，图12的数据获取部102的配置的示例中的包括与图9的数据获取部102中的结构元件相同的功能的结构元件由与图9相同的附图标记表示，并且适当地省略其描述。

也就是说，图12的数据获取部102与图9的数据获取部102的不同在于包括传感器部200-1至200-6，传感器部200-1至200-6各自具有与传感器部200相同的配置，使得可以相对于作为车辆91全周的区域的范围z1至z6执行感测，并且不同在于包括识别结果整合部231和图像整合部232。

识别结果整合部231获取分别由传感器部200-1至200-6供应的物体识别结果，并在物体识别结果分别与关于范围z1至z6的各条信息相关联的状态下将物体识别结果输出到自动驾驶控制器112。

图像整合部232将分别由传感器部200-1至200-6供应的图像在图像分别与关于范围z1至z6的各条信息相关联的状态下输出到自动驾驶控制器112。

可替代地，识别结果整合部231可以获取分别由传感器部200-1至200-6供应的物体识别结果，并且可以在物体识别结果各自与表示车辆91的周围环境的二维平面中的坐标相关联的状态下以单个地图信息的形式输出物体识别结果。

此外，当行驶速度是恒定的并且当与周围车辆的位置关系在指定的时间段内保持不变时，并非所有方向上执行的感测的所有结果都是必要的。因此，识别结果整合部231仅输出由用于相对于位于行驶方向上的范围z1执行感测的传感器部200-1供应的物体识别结果。

在这种情况下，图像整合部232还仅输出由用于拍摄位于行驶方向上的范围z1的图像的传感器部200-1供应的图像。

此外，当在传感器部200-1至200-6中的每一个的毫米波雷达221和lidar222的操作状态中存在问题时，识别结果整合部231输出在所有方向上执行的物体识别的结果而无论驱动状态如何。

在这种情况下，图像整合部232还输出由用于在所有方向上执行图像拍摄的传感器部200-1至200-6供应的所有图像。

<整合处理>

接下来，参考图13的流程图描述由图12的数据获取部102执行的整合处理。注意，在假设参考图10的流程图描述的感测处理在传感器部200-1至200-6中的每一个中执行的情况下执行该处理。

在步骤s61中，识别结果整合部231获取分别由传感器部200-1至200-6供应的物体识别结果。图像整合部232类似地获取分别由传感器部200-1至200-6供应的图像。

在步骤s62中，基于已经添加了包括速度信息和距离信息的元数据的物体识别结果，识别结果整合部231判定车辆91是否以恒定速度行驶并且与周围车辆的距离在指定的时间段内是否保持不变。

当已经在步骤s62中判定车辆91以恒定速度行驶并且与周围车辆的距离在指定的时间段内保持不变时，处理移动到步骤s63。

在步骤s63中，基于是否存在由毫米波雷达221供应的速度信息和由lidar222供应的距离信息，识别结果整合部231判定毫米波雷达221和lidar222的操作状态是否存在异常。

当已经在步骤s63中判定毫米波雷达221和lidar222的操作状态中不存在异常时，处理移动到步骤s64。

在步骤s64中，识别结果整合部231仅将由用于相对于位于行驶方向上的范围z1执行感测的传感器部200-1供应的物体识别结果输出到自动驾驶控制器112(低负载模式)。此外，图像整合部232仅将由用于相对于位于行驶方向上的范围z1执行感测的传感器部200-1供应的图像输出到自动驾驶控制器112。

此外，当已经在步骤s62中判定车辆91不以恒定速度行驶或与周围车辆的距离在指定的时间段不会保持不变时，或者当已经在步骤s63中判定在毫米波雷达221和lidar222的操作状态中的至少一个中存在异常时，处理移动到步骤s65。

在步骤s65中，识别结果整合部231输出在所有方向上执行的物体识别的结果，物体识别的结果由传感器部200-1至200-6供应。此外，图像整合部232将由传感器部200-1至200-6供应的所有图像输出到自动驾驶控制器112(高负载模式)。

由于以上描述的一系列处理被执行，相对于覆盖车辆91全周的区域的范围执行感测，并且物体识别结果和图像被输出到自动驾驶控制器112。这使得可以更精确地控制自动驾驶。

此外，根据车辆91的行驶状态以及根据毫米波雷达221和lidar222的操作状态是否存在异常，来改变供应给自动驾驶控制器112的物体识别结果和图像的感测范围。

更具体地，在相对低风险的状态下，仅将位于行驶方向前方的区域的物体识别结果和图像供应给自动驾驶控制器112。这导致能够降低车载网络中的通信负载。

这里，处于相对低风险的状态的示例包括车辆91以恒定速度行驶并且与周围车辆的距离在指定的时间段内保持不变的状态，以及毫米波雷达221和lidar222的操作状态不存在异常的状态。

上面已经描述了在处于相对低风险的状态下仅将位于行驶方向前方的区域的物体识别结果和图像输出到自动驾驶控制器112的示例。然而，如果风险降低，自动驾驶控制将变得不必要。因此，例如，当车辆以比典型的行走速度慢的速度行驶并且车辆可以随时用制动器停止时，并且进一步处于低风险的状态下，则物体识别结果和图像都可以不输出到自动驾驶控制器112。

<<6.第四实施例>>

在假设图像传感器203执行单个曝光的情况下，上面已经描述了为从车辆91观察的所有方向上的区域设置多个传感器200以整合多个感测结果并输出整合的结果的示例。然而，当然，可以同时执行多次曝光(即，在单个帧的时间段内存在多个曝光定时，并且在单个帧的时间段内拍摄多个图像)。可以根据车辆之外的状态选择性地使用各个灵敏度的图像拍摄结果以及由毫米波雷达221和lidar222执行的感测的结果，以改善识别的精度。

也就是说，图14中的左侧的图像传感器203在单个帧的时间段内拍摄三个图像，并且通过执行图像传感器控制来设定，诸如打开和关闭高灵敏度部203h、中灵敏度部203m和低灵敏度部203l中的每一个的快门的定时(也就是说，曝光时间)的调整以及传感器增益调整。因此，在图14的图像传感器203中，可以同时拍摄三种类型的灵敏度的图像ph、pm和pl。

高灵敏度图像ph是曝光时间长于指定时间的图像，并且是用于黑暗被摄体的图像。中灵敏度图像pm是曝光时间短于高灵敏度图像ph的曝光时间并且长于低灵敏度图像pl的曝光时间的图像，并且是用于中亮度的被摄体的图像。低灵敏度图像pl是曝光时间短于指定时间的图像，并且是用于明亮被摄体的图像。

然后，对高灵敏度图像ph执行信号处理和物体识别处理以获得高灵敏度物体识别结果。

类似地，对中灵敏度图像pm执行信号处理和物体识别处理以获得中灵敏度物体识别结果。

此外，对低灵敏度图像pl执行信号处理和物体识别处理以获得低灵敏度物体识别结果。

然后，根据外界的状况选择性地使用高灵敏度物体识别结果、中灵敏度物体识别结果、低灵敏度物体识别结果、由毫米波雷达221执行的检测的结果以及由lidar222执行的检测的结果，以改善物体识别的精度。

换句话说，例如，当外界处于足够亮的状况下并且可以使用所有识别结果时，高灵敏度物体识别结果、中灵敏度物体识别结果、低灵敏度物体识别结果、由毫米波雷达221执行的检测的结果以及由lidar222执行的检测的结果被整合以供使用，如图15的pat1中给出的。

此外，例如，当外界处于黑暗的状况下并且亮度低于指定亮度时，高灵敏度物体识别结果、由毫米波雷达221执行的检测的结果以及由lidar222执行的检测的结果被整合以供使用，如在图15的pat2中给出的。

此外，例如，当外界处于背光的状况下时，中灵敏度物体识别结果、由毫米波雷达221执行的检测的结果以及由lidar222执行的检测的结果被整合以供使用，如在图15的pat3中给出的。

此外，例如，当外界处于太亮的状况下并且亮度高于指定亮度时，低灵敏度物体识别结果、由毫米波雷达221执行的检测的结果以及由lidar222执行的检测的结果被整合以供使用，如在图15的pat4中给出的。

此外，例如，当存在浓雾时，由毫米波雷达221执行的检测的结果和由lidar222执行的检测的结果被整合以供使用，如在图15的pat5中给出的。然而，在这种情况下，尽管不允许执行物体识别处理，但是可以获得物体的位置、速度以及到物体的距离。因此，存在物体，但是物体识别结果是未知的，则确认图像中的物体的位置、速度以及到物体的距离。

注意，在图15中给出使用的感测结果的类型，其中感测结果按从上到下的顺序是高灵敏度物体识别结果(高灵敏度)、中灵敏度物体识别结果(中灵敏度)、低灵敏度物体识别结果(低灵敏度)以及由毫米波雷达221和lidar222执行的识别的结果(毫米波、lidar)。指示是否可以获得物体识别结果的项目在最下部中给出。此外，选择并分别对应于图案pat1至pat5的类型的感测结果的类型按从左到右的顺序由圆形指示，并且交叉指示不选择。

<根据车辆外部的状态选择以多个不同灵敏度拍摄的图像以及由毫米波雷达和lidar执行的感测的结果的数据获取部的配置的示例>

接下来，参考图16描述数据获取部102的第四实施例的配置的示例，其中根据车辆外部的状态选择以多个不同灵敏度拍摄的图像以及由毫米波雷达221和lidar222执行的感测的结果。

图16的数据获取部102与图9的数据获取部102的不同在于图像传感器203、信号处理部204和识别部205中的每一个包括用于对高灵敏度图像ph、中灵敏度图像pm和低灵敏度图像pl执行处理的结构元件，并且不同还在于还包括检测亮度的亮度传感器241以及检测雾的雾传感器242。

如图14中所示，图像传感器203包括高灵敏度部203h、中灵敏度部203m和低灵敏度部203l。图像传感器203可以同时拍摄应用不同曝光时间的不同灵敏度的图像，并将各个图像输出到信号处理部204。

注意，图14示出了为灵敏度设定三个级别的示例，但是灵敏度可以分为两个级别或者四个或更多个级别。

对应于图像传感器203被划分的数量，信号处理部204包括高灵敏度信号处理部204h、中灵敏度信号处理部204m和低灵敏度信号处理部204l。高灵敏度信号处理部204h、中灵敏度信号处理部204m和低灵敏度信号处理部204l对分别由高灵敏度部203h、中灵敏度部203m和低灵敏度部203l供应的高灵敏度图像ph、中灵敏度图像pm和低灵敏度图像pl执行信号处理，并将各个图像输出到识别部205。

对应于图像传感器203被划分的数量，识别部205包括高灵敏度识别部205h、中灵敏度识别部205m、低灵敏度识别部205l和识别结果整合部205r。高灵敏度识别部205h、中灵敏度识别部205m和低灵敏度识别部205l基于作为分别由高灵敏度信号处理部204h、中灵敏度信号处理部204m和低灵敏度信号处理部204l供应的信号处理结果的高灵敏度图像ph、中灵敏度图像pm和低灵敏度图像pl执行物体识别处理，并且将各个所得的物体识别结果输出到识别结果整合部205r。

如参考图15所描述的，识别结果整合部205r基于由亮度传感器241供应的亮度信息以及由雾传感器242供应的关于是否存在雾的信息，选择性地使用高灵敏度信号处理部204h、中灵敏度信号处理部204m和低灵敏度信号处理部204l的物体识别结果；以及由毫米波雷达221和lidar222执行的感测的结果，并整合物体识别结果。然后，识别结果整合部205r将整合物体识别结果输出到自动驾驶控制器112。

这种配置使得可以通过根据外界的状况选择性地使用物体识别结果来改善物体识别的精度。

<由图16的数据获取部执行的感测的处理>

接下来，参考图17的流程图描述由图16的数据获取部102执行的感测处理。

注意，图17的流程图中的步骤s79至s85的处理与参考图10的流程图描述的步骤s44至s50的处理类似。因此，省略其描述。

也就是说，在步骤s71中，在控制器201的控制下，图像传感器203以高灵敏度部203h、中灵敏度部203m和低灵敏度部203l的相应灵敏度拍摄车辆91的周围环境的三种图像ph、pm和pl，图像ph、pm和pl是不同灵敏度的图像并是基于通过镜头202入射的光拍摄的，并且将拍摄图像的信号输出到信号处理部204。

在步骤s72中，在控制器201的控制下，信号处理部204使用高灵敏度信号处理部204h对高灵敏度图像ph执行信号处理，使用中灵敏度信号处理部204m对中灵敏度图像pm执行信号处理，并且使用低灵敏度信号处理部204l对低灵敏度图像pl执行信号处理，并将已经执行了信号处理的图像输出到识别部205、缓冲器206和判定部207。

在步骤s73中，在由信号处理部204输出的三种类型的灵敏度的图像的信号当中，控制器201使缓冲器206缓冲与由亮度传感器241获得的亮度相对应的灵敏度的图像。此外，用于检测由图像传感器203拍摄的图像的整体视图的亮度的亮度检测处理部可以包括在信号处理部204中，以检测图像的视图的亮度而不使用亮度传感器241。

换句话说，当处于黑暗中并且亮度呈现出低于指定值的值时，缓冲已经由高灵敏度信号处理部204h执行处理的图像。当处于明亮中并且亮度呈现出高于指定值的值时，缓冲已经由低灵敏度信号处理部204l执行处理的图像。在上述情况以外的情况下，缓冲已经由中灵敏度信号处理部204m执行处理的图像。

在步骤s74中，毫米波雷达221将毫米波带中的无线电波照射到车辆91的周围环境上，基于具有峰值强度的反射波检测关于物体的速度的信息，并将检测到的速度信息输出到识别部205。

在步骤s75中，lidar222发射红外光的激光，接收来自物体的反射光，基于激光的往返时间段检测关于到物体的距离的信息作为三维点组信息，并将检测到的信息输出到识别部205。

在步骤s76中，识别部205的高灵敏度识别部205h、中灵敏度识别部205m和低灵敏度识别部205l基于各个灵敏度的图像ph、pm和pl执行物体识别处理，并且将所得的物体识别结果分别输出到识别结果整合部205r。

在步骤s77中，识别结果整合部205r基于各个灵敏度的识别结果、由毫米波雷达221获得的速度信息以及由lidar222获得的距离信息执行识别结果整合处理以整合识别结果。

在步骤s78中，识别结果整合部205r基于识别结果整合处理的结果将由毫米波雷达221获得的速度信息和由lidar222获得的距离信息作为元数据添加到物体识别结果以生成物体识别结果。

然后，在步骤s79中，将缓冲图像输出到自动驾驶控制器112，并且在步骤s80中，物体识别结果被输出到自动驾驶控制器112。

随后的处理使得自动驾驶控制器112能够基于更精确的物体识别结果执行自动驾驶。

<识别结果整合处理>

这里，参考图18的流程图描述识别结果整合处理。

在步骤s101中，基于由亮度传感器241检测到的车辆91的周围环境中的亮度，识别结果整合部205r判定周围环境是否处于黑暗中，并且周围环境中的亮度等于或低于指定亮度。

在已经在步骤s101中判定周围环境处于黑暗中时，并且周围环境中的亮度等于或低于指定亮度，处理移动到步骤s102。

在步骤s102中，识别结果整合部205r选择高灵敏度物体识别结果、由毫米波雷达221执行的检测的结果以及由lidar222执行的检测的结果，如在图15的pat2中给出的。

此外，在已经在步骤s101中判定周围环境不是处于黑暗中时，并且周围环境中的亮度不等于或低于指定亮度，处理移动到步骤s103。

在步骤s103中，识别结果整合部205r基于作为中灵敏度信号处理的结果的图像pm中的明亮和黑暗之间的差异，判定周围环境是否处于背光状态。

在已经在步骤s103中判定周围环境处于背光状态时，处理移动到步骤s104。

在步骤s104中，识别结果整合部205r选择中灵敏度物体识别结果、由毫米波雷达221执行的检测的结果以及由lidar222执行的检测的结果，如在图15的pat3中给出的。

此外，在已经在步骤s103中判定周围环境不处于背光状态下时，处理移动到步骤s105。

在步骤s105中，基于由亮度传感器241检测到的车辆91的周围环境中的亮度，识别结果整合部205r判定周围环境是否很亮，并且周围环境中的亮度等于或高于指定亮度。

当已经在步骤s105中判定周围环境很亮时，并且周围环境中的亮度等于或高于指定亮度，处理移动到步骤s106。

在步骤s106中，识别结果整合部205r选择低灵敏度物体识别结果、由毫米波雷达221执行的检测的结果以及由lidar222执行的检测的结果，如在图15的pat4中给出的。

此外，当已经在步骤s105中判定周围环境不是很亮时，处理移动到步骤s107。

在步骤s107中，基于由雾传感器242检测到的关于在车辆91的周围环境中是否存在雾的信息，识别结果整合部205r判定是否存在雾。

当已经在步骤s107中判定周围环境处于雾状态时，处理移动到步骤s108。

在步骤s108中，识别结果整合部205r选择由毫米波雷达221执行的检测的结果和由lidar222执行的检测的结果，如在图15的pat5中给出的。然而，在这种情况下，物体识别结果是未知的。换句话说，在这种情况下，物体识别结果是未知的，但是将速度信息和距离信息作为元数据添加到识别出的物体未知的物体识别结果。

当已经在步骤s107中判定周围环境不处于雾状态下时，即，当已经在步骤s107中判定周围环境不是太暗或太亮或者周围环境不在背光状态下或在雾状态下，处理移动到步骤s109。

在步骤s109中，高灵敏度物体识别结果、中灵敏度物体识别结果、低灵敏度物体识别结果、由毫米波雷达221执行的检测的结果和由lidar222执行的检测的结果被选择，如在图15的pat1中给出的，因为识别结果整合部205r可以使用所有识别结果。

根据上述处理，获得了基于多个灵敏度的图像、由毫米波雷达221获得的关于物体的速度的信息以及由lidar222获得的关于到物体的距离的信息的物体识别结果，根据外界的状态选择适当的信息，并生成物体识别结果以输出到自动驾驶控制器112。

这导致能够改善物体识别的精度，并基于精确的物体识别结果来适当地控制自动驾驶。

<<7.第五实施例>>

上面已经描述了以下示例：获得了基于多个灵敏度的图像、由毫米波雷达221获得的关于物体的速度的信息以及由lidar222获得的关于到物体的距离的信息的物体识别结果，根据外界的状态选择适当的信息，并生成物体识别结果。

注意，近年来，发光二极管(led)越来越多地用于例如在交通灯中使用的照明以及车辆的闪光信号灯和制动灯中。

例如，使用led的交通灯根据ac电源周期闪烁，这在视觉上对于人是不可识别的。因此，可能发生所谓的闪烁现象。在闪烁现象中，取决于快门速度拍摄其中交通灯完全关断的图像。

也就是说，图19示出了ac电源的电压的变化。当电压如图19中所示地变化时，在波形向上或向下凸出的定时处led被点亮接通，并且在包括在正波形和负波形之间执行反转的定时的定时处led被关断。

因此，当由箭头ss1指示图像传感器203的曝光时间时，由于led被关断，因此在正波形和负波形之间执行反转的定时附近的定时处不执行图像拍摄。另一方面，当图像传感器203的曝光时间由比箭头ss1长的箭头ss2指示时，即使曝光时间包括包含在正波形和负波形之间执行反转的定时的时间段，也在任何定时不会拍摄其中交通灯的led被关断的图像。原因是在led被接通的定时也执行曝光。

因此，通常，对拍摄交通灯的图像的图像传感器203执行设定，使得通过将曝光时间限制为11ms(＝1/90s)而不拍摄交通灯的led被关断的图像，如图20的下部中所示的。注意，在图20中，假设设定等同于1.8的f数和iso100的设定。

注意，在图20中，当曝光时间为1/30s至1/90s时，通过曝光时间调整灵敏度，并且当曝光时间为1/90s时，通过增益调整灵敏度。这导致抑制闪烁的发生。

然而，当周围环境中过亮时，可能例如在具有移动的图像中发生色度模糊，或者可能例如由于对曝光时间的限制而在隧道出口的图像中发生过度曝光的高光。

因此，在本公开中，当从物体识别结果确认在图像中存在交通灯时，曝光时间可以像往常一样限制为11ms(＝1/90s)，并且在其它情况下可以调整曝光时间，使得曝光时间根据外界的亮度而在例如从1/90至1/15000s的范围内，如图20的上部中所示的。

这样的配置使得可以防止当在图像中存在交通灯时拍摄使用led的交通灯被关断的图像，并且当在图像中不存在交通灯时以取决于光量的曝光时间拍摄图像。

因此，抑制了具有移动的图像中的模糊的发生和在例如隧道出口的图像中的过曝高光的发生，并且当存在交通灯时，在交通灯被关断的状态下不执行图像拍摄，而不管是否使用led。

此外，当led用于车辆用的照明当中的尾灯时，也可能发生闪烁。在这种情况下，也需要执行类似的处理。此外，led可以用于车辆用的闪光信号灯。然而，由于闪光信号灯的照明时间不如尾灯的照明时间那么长，因此在闪光信号灯中闪烁是不可见的。因此，当在图像中存在车辆用的灯当中的尾灯时，执行与交通灯的处理类似的处理，并且当存在闪光信号灯时根据亮度调整曝光时间。

<根据在图像中是否存在使用led的交通灯或车辆照明来调整曝光时间的数据获取部的配置的示例>

接下来，参考图21描述根据在图像中是否存在使用led的交通灯或车辆照明来调整曝光时间的数据获取部102的配置的示例。

图21的数据获取部102与图9的数据获取部102的不同在于判定部207包括交通灯判定部207a和车灯判定部207b。

基于由识别部205执行的物体识别的结果，交通灯判定部207a判定交通灯是否包括在由信号处理部204输出的图像中，并将判定的结果输出到控制器201。

基于由识别部205执行的物体识别的结果，车灯判定部207b判定车灯是否存在于由信号处理部204输出的图像中。此外，当已经判定存在车灯时，车灯判定部207b判定车灯是否是照明时间短于指定时间的闪光信号灯。当已经判定车灯不是闪光信号灯时，即，当已经判定车灯是照明时间长于指定时间的尾灯时，车灯判定部207b将判定的结果输出到控制器201。

当供应了指示在图像中存在交通灯或尾灯的判定结果时，信号处理部204将图像传感器203的曝光时间限制为不发生闪烁的时间长度。在其它情况下，信号处理部204控制图像传感器203的曝光时间，使得曝光时间的长度是取决于外界的亮度的适当长度。

根据这样的配置，抑制了由于交通灯或尾灯而导致的闪烁的发生，并且抑制了在具有移动的图像中发生色度模糊和在例如隧道出口的图像中发生过曝高光。

<闪烁抑制处理>

接下来，参考图22描述由图22的数据获取部102执行的闪烁抑制处理。注意，这里，执行上述感测处理，并且由识别部205依次供应物体识别结果。

在步骤s131中，判定部207获取来自识别部205的物体识别结果。

在步骤s132中，交通灯判定部207a判定交通灯是否包括在物体识别结果中。

当已经在步骤s132中判定包括交通灯时，处理移动到步骤s103。

在步骤s133中，交通灯判定部207a向控制器201通知交通灯包括在物体识别结果中。控制器201控制图像传感器203，使得曝光时间是用于抑制闪烁的曝光时间，即，使得例如曝光时间被限制为11ms。

在步骤s134中，判定是否已经给出了终止处理的指令，并且当已经判定尚未给出执行终止的指令时，处理返回到步骤s131，并且重复后续处理。此外，当已经在步骤s134中判定给出了执行终止的指令时，终止处理。

此外，当已经在步骤s132中判定不存在交通灯时，处理移动到步骤s135。

在步骤s135中，车灯判定部207b判定车灯是否包括在物体识别结果中，并且当已经判定包括车灯时，处理移动到步骤s136。

在步骤s136中，车灯判定部207b判定车灯是否是照明时间短于指定时间的闪光信号灯。

当已经在步骤s136中判定车灯不是闪光信号灯时，处理移动到步骤s103。

另一方面，当已经在步骤s136中判定车灯是闪光信号灯时，处理移动到步骤s137。

在步骤s137中，车灯判定部207b向控制器201通知交通灯和尾灯不包括在物体识别结果中。控制器201控制图像传感器203，使得曝光时间是调整到外界中的亮度的正常曝光时间。

此外，当已经在步骤s135中判定不存在车灯时，处理移动到步骤s137。

根据上述处理，相对于使用led的交通灯或尾灯抑制闪烁的发生，并且这导致防止拍摄交通灯或尾灯被关断的图像。此外，当不存在交通灯或尾灯时，可以用调节到亮度的正常曝光时间来执行图像拍摄。这使得可以抑制在具有移动的图像中发生色度模糊以及在例如隧道出口的图像中发生过曝高光。

<<8.使用软件执行系列处理的示例>>

注意，可以使用硬件或软件执行上述系列处理。当使用软件执行该系列处理时，软件中包含的程序从记录介质安装在计算机上。计算机的示例包括结合到专用硬件中的计算机以及能够通过在其上安装的各种程序执行各种功能的诸如通用计算机之类的计算机。

图23示出了通用计算机的配置的示例。该计算机包括中央处理单元(cpu)1001。输入/输出接口1005经由总线1004连接到cpu1001。只读存储器(rom)1002和随机存取存储器(ram)1003连接到总线1004。

输入部1006、输出部1007、存储部1008和通信部1009连接到输入/输出接口1005。输入部1006包括用户使用来输入操作命令的诸如键盘和鼠标之类的输入装置。输出部1007将处理操作屏幕和处理结果的图像输出到显示装置。存储部1008包括例如在其中存储程序和各种数据的硬盘驱动器。通信部1009包括例如局域网(lan)适配器，并且通过由因特网表示的网络来执行通信处理。此外，驱动器1010连接到输入/输出接口1005。驱动器1010从可移除记录介质1011读取数据以及将数据写入可移除记录介质1011中，可移除记录介质1011诸如是磁盘(包括软盘)、光盘(包括光盘只读存储器(cd-rom)和数字多功能盘(dvd))、磁光盘(包括迷你盘(md))或半导体存储器。

cpu1001依据存储在rom1002中的程序或者依据从要安装在存储部1008上的诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除记录介质1011读取的程序以及从存储部1008加载到ram1003中的程序来执行各种处理。根据需要，cpu1001执行各种处理所需的数据还存储在ram1003中。

在具有上述配置的计算机中，由cpu1001经由输入/输出接口1005和总线1004将例如存储在存储部1008中的程序加载到ram1003中并且执行程序来执行上述系列处理。

例如，可以通过存储在用作例如包装介质的可移除记录介质1011中来提供由计算机(cpu1001)执行的程序。此外，可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。

在计算机中，可以通过安装在驱动器1010上的可移除记录介质1011经由输入/输出接口1005将程序安装在存储部1008上。此外，可以经由要安装在存储部1008上的有线或无线传输介质由通信部1009接收程序。此外，程序可以预先安装在rom1002或存储部1008上。

注意，由计算机执行的程序可以是按照本文描述顺序按时间顺序执行处理的程序，或者可以是并行执行处理或在诸如调用定时之类的必要定时执行处理的程序。

注意，图3的自动驾驶控制器112的功能由图23的cpu1001实现。此外，图3的存储部111由图23的存储部1008实现。

此外，本文使用的系统是指多个组件(诸如设备和模块(部件))的集合，并且所有组件是否处于单个壳体中并不重要。因此，容纳在分开的壳体中并经由网络彼此连接的多个设备以及多个模块容纳在单个壳体中的单个设备均是系统。

注意，本公开的实施例不限于上述示例，并且可以在不脱离本公开的范围的情况下对其进行各种修改。

例如，本公开还可以具有云计算的配置，其中单个功能被共享以经由网络由多个设备协作地处理。

此外，除了由单个设备执行之外，可以共享使用上述流程图描述的各个步骤以由多个设备执行。

此外，当单个步骤包括多个处理时，除了由单个设备执行之外，还可以共享包括在单个步骤中的多个处理以由多个设备执行。

注意，本公开还可以采用以下配置。

<1>一种图像处理设备，包括：

图像拍摄部，拍摄作为自身汽车的车辆的周围环境的图像；和

物体识别处理部，执行识别由所述图像拍摄部拍摄的图像中的物体的物体识别处理，并且以识别出的物体为单位将通过所述物体识别处理获得的物体识别处理结果输出到控制车辆的操作的驾驶控制器。

<2>根据<1>所述的图像处理设备，其中

所述物体识别处理部从图像中识别关于地面、人、车辆、建筑物、固定物体、自然环境以及天空的信息中的至少一个作为所述物体，并将识别出的物体输出为所述物体识别处理结果。

<3>根据<2>所述的图像处理设备，其中

地面的物体识别处理结果包括道路、人行道、停车场和轨道中的至少一个。

<4>根据<2>所述的图像处理设备，其中

人的物体识别处理结果包括行人和驾驶员中的至少一个。

<5>根据<2>所述的图像处理设备，其中

车辆的物体识别处理结果包括汽车、卡车、公共汽车、在轨道上行驶的电动列车或轨道列车、摩托车、自行车和牵引车中的至少一个。

<6>根据<2>所述的图像处理设备，其中

建筑物的物体识别处理结果包括建筑、墙壁、围栏、护栏、桥梁和隧道中的至少一个。

<7>根据<2>所述的图像处理设备，其中

自然环境的物体识别处理结果包括关于植被或地形的信息中的至少一个。

<8>根据<2>所述的图像处理设备，其中

自然环境的物体识别处理结果包括关于植被的信息和关于地形的信息。

<9>根据<1>至<8>中的任一项所述的图像处理设备，还包括

信号处理部，对图像执行信号处理，其中

所述物体识别处理部通过基于由所述信号处理部执行过信号处理的图像的物体识别处理来识别图像中的物体，以及

当由所述物体识别处理部执行的物体识别处理比由所述信号处理部执行的信号处理慢时，所述信号处理部基于物体识别处理的处理时间与信号处理的处理时间之间的时间差间隔剔除并输出已经执行信号处理的图像。

<10>根据<9>所述的图像处理设备，其中

当将已经执行信号处理的图像间隔剔除并输出的情况下，一起输出所述物体识别处理结果与被间隔剔除的图像数量之前的定时的图像。

<11>根据<1>至<8>中的任一项所述的图像处理设备，还包括

信号处理部，对图像执行信号处理，其中

所述物体识别处理部通过基于已经由所述信号处理部执行信号处理的图像的物体识别处理来识别图像中的物体，以及

当由所述物体识别处理部执行的物体识别处理比由所述信号处理部执行的信号处理快时，所述物体识别处理部基于物体识别处理的处理时间与信号处理的处理时间之间的时间差间隔剔除并输出物体识别处理结果。

<12>根据<1>至<11>中的任一项所述的图像处理设备，还包括

速度信息检测器，检测关于所述自身汽车的周围环境中的物体的速度的信息；和

距离信息检测器，检测关于到所述自身汽车的周围环境中的物体的距离的信息，其中

所述物体识别处理部将元数据与物体识别处理结果分别相关联地将所述元数据添加到每个物体识别处理结果，其中所述元数据包括速度信息和距离信息，以及

所述物体识别处理部输出已经添加所述元数据的物体识别处理结果。

<13>根据<12>所述的图像处理设备，其中

相对于物体识别处理结果当中所述速度信息检测器和所述距离信息检测器的检测精度大于指定值的物体识别处理结果，所述物体识别处理部将包括所述速度信息和所述距离信息的元数据添加到物体识别处理结果，并输出已经添加所述元数据的物体识别处理结果。

<14>根据<1>至<13>中的任一项所述的图像处理设备，其中

所述物体识别处理部根据周围环境的状态以低负载模式或以高负载模式输出物体识别处理结果，所述低负载模式是输出物体识别处理结果的一部分的模式，所述高负载模式是输出所有物体识别处理结果的模式。

<15>根据<14>所述的图像处理设备，其中

当周围环境的状态是周围环境中的车辆以恒定速度行驶并且到周围环境中的车辆的距离在指定的时间段内保持不变的状态时，所述物体识别处理部以所述低负载模式输出物体识别处理结果当中的行驶方向上的物体识别处理结果。

<16>根据<1>至<15>中的任一项所述的图像处理设备，其中

所述图像拍摄部以不同灵敏度拍摄多个图像，

所述物体识别处理部对不同灵敏度的多个图像中的每一个执行物体识别处理，以生成不同灵敏度的多个物体识别处理结果，以及

根据周围环境的状态，所述物体识别处理部从不同灵敏度的多个物体识别处理结果选择并输出所选择的物体识别处理结果。

<17>根据<1>至<16>中的任一项所述的图像处理设备，其中

当物体识别处理结果当中包括指定物体识别处理结果时，所述图像拍摄部的参数被控制。

<18>根据<17>所述的图像处理设备，其中

当物体识别处理结果当中作为指定物体识别处理结果包括交通灯和尾灯时，控制所述图像拍摄部的参数当中的曝光时间，使得曝光时间的长度等于或大于指定的时间长度。

<19>一种图像处理方法，包括：

执行拍摄作为自身汽车的车辆的周围环境的图像的图像拍摄处理；和

执行识别拍摄图像中的物体的物体识别处理，以识别出的物体为单位将通过所述物体识别处理获得的物体识别处理结果输出到控制车辆的操作的驾驶控制器。

<20>一种使计算机作为图像拍摄部和物体识别处理部发挥功能的程序，

所述图像拍摄部拍摄作为自身汽车的车辆的周围环境的图像，

所述物体识别处理部执行识别由所述图像拍摄部拍摄的图像中的物体的物体识别处理，所述物体识别处理部以识别出的物体为单位将通过所述物体识别处理获得的物体识别处理结果输出到控制车辆的操作的驾驶控制器。

附图标记列表

91车辆

100车辆控制系统

102数据获取部

102自动驾驶控制器

200、200-1至200-6传感器部

201、201-1至201-6控制器

202、202-1至202-6镜头

203、203-1至203-6图像传感器

203h高灵敏度部

203m中灵敏度部

203l低灵敏度部

204、204-1至204-6信号处理部

204h高灵敏度信号处理部

204m中灵敏度信号处理部

204l低灵敏度信号处理部

205、205-1至205-6识别部

205h高灵敏度识别部

205m中灵敏度识别部

205l低灵敏度识别部

205r识别结果整合部

206、206-1至206-6缓冲器

207判定部

207a交通灯判定部

207b车灯判定部

221毫米波雷达

222lidar

223碰撞判定部

231识别结果整合部

232图像整合部

241亮度传感器

242雾传感器