危险预测方法与流程

本发明涉及危险预测方法。

背景技术：

例如，在专利文献1中，公开了一种用于支援驾驶车辆的驾驶员的安全确认的驾驶支援技术装置。根据该驾驶支援技术，例如，能够在早的定时精度良好地检测出在十字路口处红绿灯从绿变成红时突然开始跑动的行人等这样的、与驾驶员的预想相反地突然变速而导致事故的可能性高的危险的移动物。

在先技术文献

专利文献

专利文献1：日本专利第4967015号公报

非专利文献

非专利文献1：jonathanlong、evanshelhamer、trevordarrell，“fullyconvolutionalnetworksforsemanticsegmentation”(用于语义分割的全卷积网络)，theieeeconferenceoncomputervisionandpatternrecognition(cvpr：ieee国际计算机视觉与模式识别会议)，2015，第3431-3440页

技术实现要素：

发明要解决的问题

然而，在上述专利文献1的驾驶支援技术装置中，存在如下问题：只不过是观测能够实际视觉识别的移动物的速度变化来预测危险状态。即，在上述专利文献1的驾驶支援技术装置中，存在如下问题：不能检测出停着的巴士背后的区域等、可能要发生当从巴士下车的行人冲出来时与车辆碰撞这样的危险的区域(危险区域)。

本公开鉴于上述情况而做出，目的在于提供一种能够预测对正在行驶的车辆来说可能要发生危险的危险区域的危险预测方法。

用于解决问题的技术方案

为了解决上述问题，本公开的一个方式涉及的危险预测方法是一种使用了卷积神经网络的危险预测器的计算机进行的危险预测方法，包括：取得步骤，使所述卷积神经网络取得由搭载于车辆的车载摄像头拍摄到的输入图像；和输出步骤，使所述卷积神经网络推定危险区域和该危险区域的特征，并将所述推定出的危险区域和所述推定出的危险区域的特征作为对所述输入图像预测的危险度输出，所述危险区域是在所述取得步骤中取得的所述输入图像中的、在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的区域。

此外，这些整体或具体的技术方案既可以用系统、方法、集成电路、计算机程序或计算机可读取的cd-rom等记录介质来实现，也可以用系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。

发明的效果

根据本公开，能够实现一种对正在行驶的车辆来说能够预测可能要发生危险的危险区域的危险预测方法。

附图说明

图1是表示实施方式1中的危险预测器的构成的一例的框图。

图2是表示图1所示的危险预测器使用的卷积神经网络的构造的概略的图。

图3是表示实施方式1中的危险预测器的预测结果的一例的图。

图4是表示实施方式1中的危险预测器的预测结果的另一例的图。

图5是表示实施方式1中的危险预测器的预测处理的一例的流程图。

图6是表示实施方式1中的卷积神经网络的学习处理的概要的流程图。

图7a是在步骤s1中准备的学习用数据的说明图。

图7b是在步骤s1中准备的学习用数据的说明图。

图7c是在步骤s1中准备的学习用数据的说明图。

图7d是在步骤s1中准备的学习用数据的说明图。

图8是表示作为学习处理的结果输出的危险区域及其特征的一例的图。

图9是表示实施例中的学习系统的构成的一例的框图。

图10是表示学习用数据制作装置进行的带注释(annotation)数据的制作处理的流程图。

图11是表示学习装置进行的学习处理的流程图。

图12a是在步骤s1中准备的带注释图像的另一例。

图12b是表示作为学习处理的结果输出的危险区域及其特征的另一例的图。

图13是表示详细区域信息的一例的图。

图14a是学习用图像的一例。

图14b是赋予了表示危险区域的注释的带注释图像的一例。

图15a是学习用图像的一例。

图15b是赋予了表示危险区域的注释的带注释图像的一例。

图16a是学习用图像的一例。

图16b是赋予了表示危险区域的注释的带注释图像的一例。

图17a是学习用图像的一例。

图17b是赋予了表示危险区域的注释的带注释图像的一例。

图18是表示实施方式2中的两个阶段的学习处理的概要的流程图。

图19是用于示意性地说明第一阶段的学习处理的说明图。

图20是用于示意性地说明第二阶段的学习处理的说明图。

图21是用于示意性地说明第一阶段的学习处理的另一说明图。

具体实施方式

(得到本发明的一个技术方案的经过)

近年来，通过使用深度学习(deeplearning)，图像识别的性能取得了惊人的提高。深度学习作为使用了多层神经网络的机器学习的方法论为人所知，在这样的多层神经网络中，多使用卷积神经网络(convolutionalneuralnetwork：cnn)。在此，卷积神经网络包括反复进行局部区域的卷积(convolution)和池化(pooling)的多层神经网络。

在此，卷积神经网络具有：通过利用多个滤波器的卷积处理提取特征的卷积层、通过将一定区域的反应汇总的池化处理获得局部数据的不变性的池化层以及使用通过softmax函数等算出的概率进行识别的全连接层。

但是，使用了这样的卷积神经网络的图像识别处理具有不能实时执行这一问题。

与此相对，例如，在非专利文献1中，提出了将构成卷积神经网络的全连接层作为卷积层的卷积神经网络的构造。通过使用该构造的卷积神经网络(全卷积神经网络)，能够实时执行图像识别处理。

因此，发明人(们)想到了使用全卷积神经网络来解决上述问题。

即，本公开的一个方式涉及的危险预测方法是一种使用了卷积神经网络的危险预测器的计算机进行的危险预测方法，包括：取得步骤，使所述卷积神经网络取得由搭载于车辆的车载摄像头拍摄到的输入图像；和输出步骤，使所述卷积神经网络推定危险区域和该危险区域的特征，并将所述推定出的危险区域和所述推定出的危险区域的特征作为对所述输入图像预测的危险度输出，所述危险区域是在所述取得步骤中取得的所述输入图像中的、在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的区域。

由此，由于能够推定对所取得的输入图像的危险度，所以能够实现一种能够预测对正在行驶的车辆来说可能会发生危险的危险区域的危险预测方法。

在此，例如也可以是，在所述输出步骤中，使所述卷积神经网络推定该危险区域的危险程度来作为该危险区域的特征，并将表示推定出的所述危险区域和该危险区域的危险程度的似然度映射作为所述危险度输出。

另外，例如也可以是，在所述输出步骤中，使所述卷积神经网络推定与所述危险区域关联的所述运动物体的类别来作为该危险区域的特征，并将推定出的所述危险区域和所述类别作为所述危险度输出。

另外，例如也可以是，所述危险预测方法还包括：学习步骤，在进行所述取得步骤之前，使用包括所述危险区域的学习用图像、和在所述学习用图像中赋予了表示所述危险区域的注释的带注释图像，使所述卷积神经网络学习用于推定所述学习用图像中的所述危险区域和该危险区域的所述特征的该卷积神经网络的权重。

另外，例如也可以是，所述学习步骤包括：第一学习步骤，使用作为所述学习用图像各自中的一部分区域的、赋予了表示所述危险区域的注释的区域的危险区域图像和作为所述学习用图像各自中的一部分区域的、没有赋予该注释的区域的安全区域图像，使作为具有全连接层的卷积神经网络的第一神经网络学习该第一神经网络的第一权重，所述第一权重用于判定所述一部分区域是安全区域还是危险区域；和第二学习步骤，通过将第二神经网络的权重的初始值更新为在所述第一学习步骤中学习到的所述第一权重，使用包括所述危险区域的学习用图像、和在所述学习用图像中赋予了表示所述危险区域的注释的带注释图像，并使所述第二神经网络学习用于推定所述学习用图像中的所述危险区域和该危险区域的所述特征的该第二神经网络的第二权重，由此学习与所述第二神经网络同一构成的所述卷积神经网络的权重，所述第二神经网络包括将所述第一神经网络的全连接层变更为卷积层而得到的结构。

另外，例如也可以是，所述危险预测方法还包括：赋予步骤，取得由搭载于车辆的车载摄像头拍摄到的、按时间顺序连续的多个图像，决定所取得的所述多个图像的至少一部分图像所包括的、且在所述车辆按原样行驶的情况下有可能在所述车辆的行驶路径中出现运动物体并与所述车辆碰撞的危险区域，并对该至少一部分图像赋予表示决定了的危险区域的注释，在所述学习步骤中，取得在所述赋予步骤中赋予了注释的该至少一部分图像和所述多个图像中与该至少一部分图像对应的图像来作为所述学习用图像和所述带注释图像，学习该卷积神经网络的所述权重。

在此，例如也可以是，所述危险区域是包括存在于所述学习用图像中的遮蔽物的区域的一部分的区域，且是所述运动物体正隐藏着、且所述运动物体从所述遮蔽物出现在所述行驶路径中之前的区域。

另外，例如也可以是，所述危险区域是当包括人物的两个以上运动物体中的至少一个与所述两个以上运动物体中的其他运动物体接近时会横穿所述车辆的行驶路径的、所述两个以上运动物体之间的区域。

另外，例如也可以是，所述注释表示所述危险区域和与所述危险区域关联的所述运动物体的分类。

另外，例如也可以是，所述注释表示所述危险区域和控制信息，所述控制信息包括拍摄所述学习用图像时的所述车辆的制动器强度或方向盘角度。

另外，例如也可以是，所述注释是所述危险区域的图块信息。

在以下说明的实施方式均为表示本公开的一具体例的实施方式。在以下的实施方式中所示的数值、形状、构成要素、步骤、步骤的顺序等均为一例，并不意在限定本公开。另外，关于以下实施方式的构成要素中、在表示最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。另外，在全部实施方式中，也能够将各个内容组合。

(实施方式1)

在以下说明中，参照附图，进行实施方式1中的危险预测器10的危险预测方法等的说明。

[危险预测器10的构成]

图1是表示本实施方式中的危险预测器10的构成的一例的框图。图2是表示图1所示的危险预测器10使用的卷积神经网络的构造的概略的图。图3是表示本实施方式中的危险预测器10的预测结果的一例的图。

图1所示的危险预测器10是使用了卷积神经网络的危险预测器，用计算机等实现。例如，如图2所示，危险预测器10使用的卷积神经网络是卷积层101和将全连接层变更而成的卷积层102的全卷积神经网络。

在此，卷积神经网络经常在图像识别领域中使用，通过对二维图像进行利用滤波器的卷积，从图像中提取特征量。如上所述，卷积神经网络包括反复进行卷积和池化的多层网络。而且，使用大量的学习用图像等大量的学习用数据，学习在卷积神经网络中构成卷积层的、对识别有效的滤波器的系数(权重)。该系数(权重)通过使用大量的数据进行学习而得到，所述学习通过反复进行利用滤波器的卷积和将一定区域的反应汇总的池化从而获得对多样的变形的不变性。此外，可知：卷积神经网络的识别性能依存于构成卷积层的滤波器。

当输入由车载摄像头拍摄到的输入图像时，图1所示的危险预测器10使用图2所示的卷积神经网络，推定对输入图像中的正在行驶的车辆来说的危险区域及其特征，并作为预测到的危险度进行输出。越接近在过去发生过人的冲出而成为危险的图像之前的图像的一部分区域即在过去导致危险的区域，则危险预测器10预测越高的危险度。

更具体而言，图1所示的危险预测器10取得由搭载于车辆的车载摄像头拍摄到的输入图像。危险预测器10用卷积神经网络推定所取得的输入图像中的危险区域和该危险区域的特征，所述危险区域是在该车辆按原样行驶的情况下有可能在该车辆的行驶路径中出现运动物体并与该车辆碰撞的危险区域。而且，危险预测器10将其作为对所取得的输入图像预测的危险度输出。在此，危险预测器10推定该危险区域的危险程度作为该危险区域的特征，并将推定出的该危险区域以及表示该危险区域的危险程度的似然度映射作为危险度输出。

在本实施方式中，危险预测器10取得了例如图3所示的图像50，即包括停着的巴士501、作为行人的人物502和503的图像50来作为输入图像。在该情况下，危险预测器10推定为：在图像50中，停着的巴士501背后的区域、人物502的区域以及人物503的区域是危险区域。而且，将重叠了对图像50推定出的危险区域的危险程度(似然度)后的图像50a作为预测出的危险度输出。在图像50a中，作为似然度映射，重叠有停着的巴士501背后的区域的似然度504、人物502的区域的似然度505以及人物503的区域的似然度506。该似然度示出了车辆有可能碰撞的风险(危险度)。在本实施方式中，利用该似然度，即使对于看不到人且人可能会冲出的区域，也作为与危险关联的区域，示出高的危险度(风险)。

此外，危险预测器10输出的危险度不限于图3所示的表示危险区域及其危险程度的似然度映射。以下，使用图4说明该例子。

图4是表示本实施方式中的危险预测器10的预测结果的另一例的图。此外，对与图3同样的要素赋予同一标号且省略详细的说明。

危险预测器10对作为输入图像取得的图像50推定为：停着的巴士501背后的区域507、人物502的区域508以及人物503的区域509是危险区域，并输出使对图像50推定出的危险区域及其分类重叠而成的图像50b。也就是说，危险预测器10输出对图像50重叠了区域507和作为其分类的危险区域(车)、区域508和作为其分类的危险区域(人)、区域509和作为其分类的危险区域(人)而成的图像50b。在此，在图像50b中，由于与作为危险区域的区域507关联的运动物体的类别是车，所以作为危险区域的分类重叠有危险区域(车)。同样地，在图像50b中，由于与作为危险区域的区域508和区域509关联的运动物体的类别是人物(人)，所以作为危险区域的分类重叠有危险区域(人)。

这样，危险预测器10也可以推定与该危险区域关联的所述运动物体的类别来作为该危险区域的特征，并将推定出的该危险区域和该类别作为危险度输出。

[危险预测器10的预测处理]

接着，使用附图，说明本实施方式涉及的危险预测器10的预测处理。

图5是表示本实施方式中的危险预测器10的预测处理的一例的流程图。

如图5所示，危险预测器10的计算机首先使卷积神经网络取得由搭载于车辆的车载摄像头拍摄到的输入图像(s1)。在本实施方式中，危险预测器10的计算机使卷积神经网络取得例如上述图5所示的图像50来作为输入图像。

接着，危险预测器10的计算机使卷积神经网络推定危险区域及其特征，并作为对输入图像预测出的危险度输出(s2)。更具体而言，危险预测器10的计算机使卷积神经网络推定危险区域和该危险区域的特征，所述危险区域是在s1中取得的输入图像中的、在车辆按原样行驶的情况下有可能在车辆的行驶路径中出现运动物体并与车辆碰撞的区域。而且，将危险区域和该危险区域的特征作为对输入图像预测出的危险度输出。

在本实施方式中，危险预测器10的计算机使该卷积神经网络推定该危险区域的危险程度来作为该危险区域的特征，并将表示推定出的危险区域和该危险区域的危险程度的似然度映射作为危险度输出。例如，危险预测器10的计算机使卷积神经网络输出例如上述图3所示的图像50a来作为预测出的危险度。

此外，如上所述，危险预测器10的计算机也可以使该卷积神经网络推定与该危险区域关联的所述运动物体的类别来作为该危险区域的特征，并将推定出的危险区域和该危险区域的类别作为危险度输出。

[危险预测器10的效果等]

如上所述，根据实施方式1涉及的危险预测器10，能够推定由搭载于车辆的车载摄像头拍摄到的输入图像中的危险区域和该危险区域的特征。特别是，实施方式1涉及的危险预测器10也能够将停着的巴士背后的区域等、虽然看不到从巴士下车的行人但行人可能会冲出的区域也预测为对正在行驶的车辆来说可能会发生危险的危险区域。

由此，例如，在正在自动驾驶的车辆具备危险预测器10的情况下，由于该车辆能够使用车载摄像头的图像预测可能会发生危险的危险区域，并进行避开预测出的危险区域的控制，所以能够进行更安全的行驶。

[危险预测器10的学习处理]

以下，说明用于实现这样的危险预测器10的学习处理。将通过进行学习处理来作为在危险预测器10中使用的卷积神经网络发挥功能的卷积神经网络称为卷积神经网络10a来进行说明。

图6是表示本实施方式中的卷积神经网络10a的学习处理的概要的流程图。图7a～图7d是在步骤s1中准备的学习用数据的说明图。图8是表示作为学习处理的结果输出的危险区域及其特征的一例的图。

首先，准备学习用数据(s11)。更具体而言，准备包括学习用图像和在学习用图像中赋予了表示危险区域的注释的带注释图像的学习用数据，所述学习用图像包含危险区域。

在此，使用图7a～图7d说明学习用数据。

图7a和图7b是学习用图像的一例，是在过去由车载摄像头拍摄到的多个图像中与危险关联的图像的一例。在图7b所示的图像52中，示出了停着的巴士511、作为行人的人物512以及作为从巴士511背后的区域出现的行人的人物513。在图7a所示的图像51中，示出了停着的巴士511和作为行人的人物512。虽然人物513存在于巴士511背后的区域，但看不到。

图7c所示的图像51a是带注释图像的一例，在图像51的人物出现的预定时间之前的区域中赋予有注释。更具体而言，图像51a被赋予有表示危险区域的注释，所述危险区域是在搭载拍摄到图像51的车载摄像头的车辆按原样(保持状态不变地)行驶的情况下，有可能在车辆的行驶路径中出现作为人物513的运动物体并与该车辆碰撞的区域。

此外，并不限于以下情况：如图7c的图像51a所示，表示危险区域的注释赋予给包括虽然看不到人物513但人物513可能会冲出的、巴士511背后的区域514，即刚要发生冲出之前的区域514。例如，如图7d所示，也可以是，除了区域514之外，对能看到的人物512的区域515赋予表示危险区域的注释，对其他区域(例如区域516)赋予表示安全区域的注释。

以下，返回图6进行说明。

接着，为了使卷积神经网络10a作为危险预测器10发挥功能，计算机使用学习用数据，进行学习处理(s12)。更具体而言，使用包括危险区域的学习用图像、和在学习用图像中赋予了表示危险区域的注释的带注释图像，进行使卷积神经网络10a学习用于推定学习用图像中的危险区域和该危险区域的特征的该卷积神经网络10a的权重的学习处理。

例如，将图7a所示的图像51作为包括危险区域的学习用图像使用，将图7d所示的图像51b作为在学习用图像中赋予了表示危险区域的注释的带注释图像使用，并使卷积神经网络10a进行学习处理。在该情况下，卷积神经网络10a学习用于推定图8的图像51c所示的表示危险区域和该危险区域的危险程度的似然度映射的权重。在此，在图8的图像51c中，停着的巴士511背后的区域和人物512的区域是危险区域，并重叠有巴士511背后的区域的似然度517和人物512的区域的似然度518。

此外，在学习用数据的准备中，在学习用图像中赋予表示危险区域的注释的作业例如委托众包(crowdsourcing)的工人进行等以人工方式进行，但也可以使计算机进行一部分或全部作业。以下，以学习系统的计算机进行在学习用图像中赋予表示危险区域的注释的作业，并使用学习用数据在卷积神经网络10a中进行学习处理的情况为实施例，来进行说明。

(实施例)

[学习系统的构成]

图9是表示实施例中的学习系统的构成的一例的框图。图9所示的学习系统具备学习用数据制作装置20和学习装置30，并进行用于实现危险预测器10的学习处理。

学习用数据制作装置20具备存储部201、存储部203以及注释赋予部202，并根据影像数据制作学习用数据。存储部201由hdd(harddiskdrive：硬盘驱动器)或存储器等构成，并存储由搭载于车辆的车载摄像头拍摄到的、由按时间顺序连续的多个图像构成的影像数据。该影像数据也作为学习用图像使用。存储部203由hdd(harddiskdrive：硬盘驱动器)或存储器等构成，并存储对学习用图像(影像数据)赋予了表示危险区域的注释而成的带注释数据。注释赋予部202至少在从存储部201取得的学习用图像(影像数据)中赋予表示危险区域的注释，并存储在存储部203中。

学习装置30具备误差算出部301和权重调整部302，使用从学习用数据制作装置20取得的学习用数据，在卷积神经网络10a中进行学习处理。在此，卷积神经网络10a与在危险预测器10中使用的卷积神经网络为同一构成，学习处理的结果是，作为在危险预测器10中使用的卷积神经网络发挥功能。误差算出部301使用误差函数算出误差，所述误差是卷积神经网络10a应推定出的表示学习用图像中的危险区域和该危险区域的特征的值(正确值)与卷积神经网络10a当前输出(推定)的值(表示推定出的危险度的值)的误差。权重调整部302调整卷积神经网络10a的权重以使得由误差算出部301算出的误差变小。

[学习系统的工作]

接着，使用图10和图11，说明按以上方式构成的学习系统的工作。图10是表示学习用数据制作装置20进行的带注释数据的制作处理的流程图。图11是表示学习装置30进行的学习处理的流程图。此外，图10属于图6所示的s11的详细处理的一例，图11属于图6所示的s12的详细处理的一例。

如图10所示，学习用数据制作装置20首先取得存储在存储部201中的影像数据(s111)。更具体而言，学习用数据制作装置20取得由搭载于车辆的车载摄像头拍摄到的按时间顺序连续的多个图像来作为影像数据。

接着，学习用数据制作装置20决定影像数据所包括的危险区域(s112)。更具体而言，学习用数据制作装置20决定所取得的多个图像(影像数据)的至少一部分图像所包括的、且在搭载拍摄到该多个图像的车载摄像头的车辆按原样行驶的情况下有可能在该车辆的行驶路径中出现运动物体并与该车辆碰撞的危险区域。

接着，学习用数据制作装置20对影像数据赋予表示危险区域的注释(s113)。更具体而言，学习用数据制作装置20对该至少一部分图像赋予表示决定了的危险区域的注释。而且，将在至少一部分图像中赋予了表示危险区域的注释而成的影像数据(带注释数据)存储在存储部203中。在本实施方式中，学习用数据制作装置20对人物出现的预定时间之前的图像的一部分区域赋予表示危险区域的注释，但不限于此。也可以是，对球、带有危险灯的汽车或映有人物的弯道镜等人物出现的预定时间之前的图像的特定物体区域赋予表示危险区域的注释。无论如何，都会赋予表示危险区域的注释，所述危险区域是在搭载拍摄到影像数据的车载摄像头的车辆按原样行驶的情况下有可能在车辆的行驶路径中出现作为人物513的运动物体并与该车辆碰撞的区域。

接着，如图11所示，学习装置30从学习用数据制作装置20取得学习用数据(s121)。具体而言，学习装置30取得在s113中赋予了注释的该至少一部分图像和多个图像(影像数据)中与该至少一部分图像对应的图像来作为学习用图像和带注释图像。例如，如上所述，学习装置30从学习用数据制作装置20取得图7a所示的包括危险区域的学习用图像和图7d所示的带注释图像。

接着，学习装置30使用学习用图像，使卷积神经网络10a输出表示推定出的危险度的值(s122)。在本实施方式中，例如，对于图7a所示的包括危险区域的学习用图像，学习装置30使卷积神经网络10a输出表示学习用图像中的危险区域及该危险区域的特征即危险区域及其危险程度(似然度映射)的值，作为表示推定出的危险度的值。

接着，学习装置30算出在s122中输出的值、和卷积神经网络10a应推定出的表示学习用图像中的危险区域和该危险区域的特征的值(正确值)之差(误差)(s123)。在此，正确值是表示根据在图7d所示的图像51b的在学习用图像中赋予了表示危险区域的注释而得到的带注释图像而算出的图8的图像51c所示的表示危险区域和该危险区域的危险程度的似然度映射的值。

接着，当在s123中输出的表示危险度的值与正确值的误差不是最小的情况下(在s124中为否)，学习装置30更新卷积神经网络10a的权重以使得该差变小(s125)。而且，学习装置30从s122的处理起，进行反复的回归处理。

另一方面，在s122中输出的表示危险度的值与正确值之差为最小的情况下，结束处理。即，学习装置30通过调整卷积神经网络10a的权重以使得在s123中算出的误差成为最小，由此使卷积神经网络10a学习权重。而且，学习装置30将在s123中算出的误差成为最小的情况下的卷积神经网络10a的权重决定为在危险预测器10中使用的卷积神经网络的权重。

此外，为了便于说明图10和图11，说明了对一张图像的制作处理和/或学习处理，但不限于此。也可以按每10～20张图像进行制作处理和/或学习处理。另外，将误差成为最小的卷积神经网络10a的权重决定为在危险预测器10中使用的卷积神经网络的权重来进行了说明，但不限于此。也可以是，在即使反复进行上述回归处理，权重的值和误差也不变化的情况下，将权重的值和误差不变化时的卷积神经网络10a的权重决定为在危险预测器10中使用的卷积神经网络的权重。另外，也可以是，误差最小是指在决定了回归处理的上限次数的情况下，到上限次数为止的回归处理中的误差的最小。

(变形例1)

图12a是在步骤s1中准备的带注释图像的另一例。图12b是表示作为学习处理的结果输出的危险区域及其特征的另一例的图。另外，对于与图7a～图8同样的要素赋予同一标号且省略详细的说明。

在上述危险预测器10的学习处理中，说明了图7a所示的图像51和图7d所示的图像51b是学习用图像和带注释图像的一例，且正确值是表示图8所示的图像51c中的危险区域及其危险程度的值的情况，但不限于此。也可以是，将图7a所示的图像51和图12a所示的图像51d作为学习用图像和带注释图像，且正确值是表示图12b所示的图像51e中的危险区域及其分类的值。

在图12a所示的图像51中，停着的巴士511背后的区域514d是看不到的人物有可能冲出并与车辆碰撞的危险区域，危险分类1是表示危险区域的分类的注释。另外，在图像51d中，赋予有表示看到的人物512的区域515及其危险分类2的注释。人物512的区域515属于有可能与车辆碰撞的危险区域，危险分类2属于危险区域的分类。另外，在图像51d中，也对除此以外的区域(例如区域516d)赋予表示是安全区域的注释。

在图12b所示的图像51e中，示出了：停着的巴士511背后的区域519是危险区域，其分类是危险区域(车)以及人物512的区域520是危险区域，其分类是危险区域(人)。

(变形例2)

在学习用图像中赋予的注释不限于在实施例中说明的表示危险区域的信息(框等)、和/或在变形例1中说明的与危险区域关联的运动物体的分类的情况。例如，既可以是车辆的方向盘角度、制动器强度等拍摄到学习用图像时的车辆的控制信息，也可以是与图13所示的物体区域不同的详细区域信息。

图13是表示详细区域信息的一例的图。图13所示的详细区域信息例如是相对于图7a的图块(segment)信息54。区域541表示图7a所示的巴士511背后的区域是危险区域，区域542表示图7a所示的人物512的区域是危险区域。

这样，也可以是，在学习用图像中赋予的注释表示输入图像中的危险区域和控制信息，所述控制信息包括拍摄学习用图像时的车辆的制动器强度或方向盘角度。另外，在学习用图像中赋予的注释也可以是输入图像中的危险区域的图块信息。

(变形例3)

在上述实施方式1、实施例、变形例1和2中，将对正在行驶的车辆来说可能会发生危险的危险区域设为：包括存在于学习用图像中的遮蔽物的区域的一部分，且运动物体正隐藏着、且该运动物体从遮蔽物出现在行驶路径中之前的区域来进行说明，但不限于此。也可以是，危险区域是当包括人物的两个以上运动物体彼此接近时会横穿车辆的行驶路径的、两个以上运动物体之间的区域。

以下，例示用于学习处理这样的危险区域的学习用图像和带注释图像。

图14a、图15a、图16a以及图17a是学习用图像的一例。图14b、图15b、图16b以及图17b是赋予了表示危险区域的注释的带注释图像的一例。

在图14a所示的学习用图像56a中，示出了驻停车中的汽车561和人物562。在图14b所示的带注释图像56b中，对学习用图像56a赋予有表示驻停车中的汽车561与人物562之间的区域563是危险区域的注释。

在图15a所示的学习用图像57a中，示出了人物571、表示巴士的车站的物体572以及驻停车中的汽车573。在图15b所示的带注释图像57b中，对学习用图像57a赋予有表示人物571与表示巴士的车站的物体572之间的区域574是危险区域的注释。

另外，在图16a所示的学习用图像58a中，示出了作为孩子的人物581、和球等人物581在玩耍中使用的物体582。在图16b所示的带注释图像58b中，对学习用图像58a赋予有表示人物581与人物581在玩耍中使用的物体582之间的区域583是危险区域的注释。

另外，在图17a所示的学习用图像59a中，示出了作为孩子的人物591和孩子的父母等人物592。在图17b所示的带注释图像59b中，对学习用图像59a赋予有表示人物591与人物592之间的区域593是危险区域的注释。

这样，由于当包括人物的两个以上运动物体彼此接近时会横穿车辆的行驶路径，所以可认为两个以上运动物体之间的区域是在车辆按原样行驶的情况下，有可能在车辆的行驶路径中出现运动物体并与车辆碰撞的危险区域。因此，危险预测器10可以将该两个以上运动物体之间的区域预测为危险区域。

(实施方式2)

在实施方式1中，说明了仅使用与在危险预测器10中使用的卷积神经网络同一构成的卷积神经网络10a进行学习处理，但不限于此。也可以是，首先，使用具有全连接层的卷积神经网络进行第一阶段的学习处理，接着，使用将全连接层变更为卷积层的卷积神经网络进行第二阶段的学习处理。以下，关于该情况，作为实施方式2进行说明。此外，在以下说明中，以与实施方式1不同之处为中心进行说明。

[学习处理]

省略了危险预测器10的构成等如在上述实施方式1中已说明的说明。在实施方式2中，相对于实施方式1，计算机使用学习用数据进行的学习处理不同。

图18是表示本实施方式中的两个阶段的学习处理的概要的流程图。图19是用于示意性地说明第一阶段的学习处理的说明图。图20是用于示意性地说明第二阶段的学习处理的说明图。此外，对于与图3和图7d等同样的要素赋予同一标号且省略详细的说明。图18属于图6所示的步骤s12的详细处理的一例。另外，图19所示的第一神经网络10b是在第一阶段的学习处理中使用的具有全连接层的卷积神经网络。图20所示的第二神经网络10c是在第二阶段的学习处理中使用的卷积神经网络，属于将第一神经网络10b的全连接层变更为卷积层而成的卷积神经网络。第二神经网络10c与在危险预测器10中使用的卷积神经网络为同一构成。

首先，计算机使用学习用数据，进行使第一神经网络10b学习权重(第一权重)的第一学习处理(s221)。更具体而言，计算机使用作为学习用图像各自中的一部分区域的、赋予了表示危险区域的注释的区域的危险区域图像和作为学习用图像各自中的一部分区域的、没有赋予该注释的区域的安全区域图像，使作为具有全连接层的卷积神经网络的第一神经网络10b学习该第一神经网络的第一权重，所述第一权重用于判定一部分区域是安全区域还是危险区域。

例如，在图19所示的例子中，示出了如下情形：计算机将危险区域图像61输入至第一神经网络10b，并学习第一神经网络10b的第一权重以进行是否是危险区域的判定，所述危险区域图像61是作为带注释图像的图像51b的一部分图像。

接着，计算机使用学习用数据，在第二神经网络10c中进行第二学习处理(s221～s224)。更具体而言，首先，计算机生成将第一神经网络的全连接层变更为卷积层而成的第二神经网络(s222)。接着，计算机读入在s221中学习的第一神经网络的权重(第一权重)(s223)，并将在s222中生成的第二神经网络的权重的初始值更新为第一权重。接着，计算机使用包括危险区域的学习用图像、和在学习用图像中赋予了表示危险区域的注释的带注释图像，使第二神经网络10c学习用于推定学习用图像中的危险区域和该危险区域的特征的第二神经网络10c的权重(第二权重)(s224)。

例如，在图20所示的例子中，计算机将作为学习用图像(输入图像)的图像50输入第二神经网络10c，更新(学习)第二神经网络10c的第二权重以推定表示该危险区域和该危险区域的危险程度的似然度映射来作为危险度。

通过进行这样的第二学习处理，能够学习与第二神经网络同一构成的、在危险预测器10中使用的卷积神经网络的权重。

此外，在第一学习处理中，将赋予了表示危险区域的注释的危险区域图像和没有赋予该注释的安全区域图像作为学习用图像使用，使第一神经网络10b学习将所输入的学习用图像判定为是安全还是危险的第一权重，但不限于此。

例如，如图21所示，也可以在第一学习处理中，将赋予了表示危险区域及其分类的注释的学习用图像的一部分区域作为学习用图像使用。而且，也可以使第一神经网络10b学习：判定所输入的学习用图像是安全还是危险，且在判定为危险的情况下，判定该学习用图像表示的分类的第一权重。

在此，图21是用于示意性地说明第一阶段的学习处理的另一说明图。

在图21所示的例子中，计算机将切取了区域514d而得到的危险区域图像63输入至第一神经网络10b，所述区域514d是图像51d的一部分区域，所述图像51d是带有注释的图像，所述注释表示危险区域及其分类。而且，示出了如下情形：计算机进行危险区域图像63是否是危险区域的判定，进而，学习第一神经网络10b的第一权重以判定该危险区域图像63表示的分类(在图中为危险分类(车))。此外，由于除了上述情况以外，也可以考虑危险区域的各种变形(variation)，所以在第一学习处理中，也可以将危险分类划分为物体的各个观察方式下等的各个分类(详细分类)进行学习。

另外，危险预测器10输出的危险度不限于图20所示的表示危险区域及其危险程度的似然度映射。也就是说，不限于以下情况：在第二学习处理中，作为危险区域及其特征，学习第二权重以输出表示危险区域及其危险程度的似然度映射。也可以是，学习第二权重以输出危险区域及其分类。

[其他实施方式的可能性]

以上，在实施方式1～3中说明了本公开的危险预测方法，但实施各处理的主体和/或装置不特别限定。也可以由装入配置在本地的特定装置内的处理器等(以下说明)来处理。另外，也可以由配置在与本地装置不同的场所的云服务器等来处理。

另外，作为学习用图像和/或危险预测时的输入图像，既可以是由车载摄像头拍摄到的图像(整体图像)，也可以是整体图像的一部分图像(部分图像)。作为部分图像，也可以是按上述方式推定为危险的区域的图像。作为整体图像，也可以是危险状况发生时或发生前的图像。

此外，本公开不限定于上述实施方式。例如，也可以在本说明书中将记载的构成要素任意组合或除去几个构成要素而实现的其他实施方式作为本公开的实施方式。另外，在不脱离本公开的主旨即权利要求书所记载的文字表示的含义的范围内对上述实施方式实施本领域技术人员想到的各种变形而得到的变形例也包含于本公开。

另外，本公开进一步也包括以下的情况。

(1)具体而言，上述装置是由微处理器、rom、ram、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在所述ram或硬盘单元中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，各装置实现其功能。在此，计算机程序是为了实现预定的功能而组合多条命令代码而构成的，所述命令代码表示对计算机的指令。

(2)构成上述装置的构成要素的一部分或全部可以由一个系统lsi(largescaleintegration：大规模集成电路)构成。系统lsi是将多个构成部集成在一个芯片上制造而成的超多功能lsi，具体而言，是包括微处理器、rom以及ram等而构成的计算机系统。在所述ram中存储有计算机程序。通过所述微处理器按照所述计算机程序工作，系统lsi实现其功能。

(3)构成上述装置的构成要素的一部分或全部可以由可拆装于各装置的ic卡或单个模块构成。所述ic卡或所述模块是由微处理器、rom以及ram等构成的计算机系统。所述ic卡或所述模块也可以包括上述超多功能lsi。通过微处理器按照计算机程序工作，所述ic卡或所述模块实现其功能。该ic卡或该模块也可以具有防篡改性。

(4)另外，本公开也可以是上述的方法。另外，既可以是利用计算机实现这些方法的计算机程序，也可以是由所述计算机程序构成的数字信号。

(5)另外，本公开也可以将所述计算机程序或所述数字信号记录于计算机可读取的记录介质，例如软盘、硬盘、cd-rom、mo、dvd、dvd-rom、dvd-ram、bd(blu-ray(注册商标)disc)以及半导体存储器等。另外，也可以是记录在这些记录介质中的所述数字信号。

另外，本公开也可以经由电通信线路、无线或有线通信线、以互联网为代表的网络以及数据广播等输送所述计算机程序或所述数字信号。

另外，本公开是具备微处理器和存储器的计算机系统，所述存储器存储有上述计算机程序，所述微处理器按照所述计算机程序工作。

另外，也可以通过将所述程序或所述数字信号记录于所述记录介质并移送，或经由所述网络等移送所述程序或所述数字信号，从而利用独立的其他计算机系统实施。

产业上的可利用性

本公开尤其能够利用于：在搭载于用于进行自动驾驶的车辆的车载摄像头、系统、用于进行驾驶支援的装置或系统等中，用于预测可能会发生危险的危险区域的危险预测方法。

标号说明

10危险预测器

10a卷积神经网络

10b第一神经网络

10c第二神经网络

20学习用数据制作装置

30学习装置

50、50a、50b、51、51a、51b、51c、51d、51e、52图像

54图块信息

56b、57b、58b、59b带注释图像

61、63危险区域图像

101、102卷积层

201、203存储部

202注释赋予部

301误差算出部

302权重调整部

501、511巴士

502、503、512、513、562、571、581、591、592人物

504、505、506、517、518似然度

507、508、509、514、514d、515、515d、516、516d、519、520、541、542、563、574、583、593区域

561、573汽车

572、582物体