车外交流装置、车外交流方法、信息处理装置和车外交流程序与流程

本发明涉及对步行者显示显示内容的车外交流装置和车外交流方法、构成车外交流装置的一部分的信息处理装置以及使计算机执行车外交流方法的车外交流程序。

背景技术：

已提出通过照射标记光而对由识别装置识别出的步行者报知进行了识别的车辆用的报知装置(例如参照专利文献1)。该装置根据摄像机的检测结果判断步行者是否具有横穿道路的意思(即横穿意思)。具体而言，该装置在步行者采取了预先决定的行动(例如挙手、面部的朝向)的情况下，判断为步行者具有横穿意思。

现有技术文献

专利文献

专利文献1：日本特开2014-46838号公报(摘要、第0026、0068、0085段、图16)

技术实现要素：

发明要解决的课题

但是，上述装置仅以预先决定的行动为基准来判断步行者的横穿意思，因此，无法准确地判断步行者的横穿意思。因此，无法准确地判断步行者是否具有要给车辆让路的意思(即让路意思)，无法对步行者提供适当的信息。

本发明正是为了解决上述课题而完成的，其目的在于，提供能够准确地判断步行者的让路意思的状态并对步行者显示适当的显示内容的车外交流装置和车外交流方法、构成车外交流装置的一部分的信息处理装置以及使计算机执行车外交流方法的车外交流程序。

用于解决课题的手段

本发明的一个方式的车外交流装置的特征在于，该车外交流装置具有：让路意思判断参数学习部，其基于预先根据交通场景生成的学习用数据库，预先学习步行者要给车辆让路的意思即让路意思的状态、所述步行者的头部的举动和所述步行者的位置的关系，生成将所述举动和所述位置与所述让路意思的状态关联起来的学习数据即让路意思判断参数；存储部，其存储所述让路意思判断参数；周边状况取得部，其取得第1步行者的头部图像和位置；让路意思判断部，其根据所取得的所述第1步行者的头部图像和位置以及所述存储部中存储的所述让路意思判断参数，判断所述第1步行者的让路意思的状态；显示器，其在道路上显示显示内容；以及显示控制部，其根据所述第1步行者的让路意思的状态的判断结果，决定是否对所述第1步行者显示所述显示内容，并决定所述显示内容的内容和所述显示内容在道路上的显示位置，根据所述决定对所述显示器进行控制。

本发明的另一个方式的车外交流方法的特征在于，该车外交流方法具有以下步骤：基于预先根据交通场景生成的学习用数据库，预先学习步行者要给车辆让路的意思即让路意思的状态、所述步行者的头部的举动和所述步行者的位置的关系，生成将所述举动和所述位置与所述让路意思的状态关联起来的学习数据即让路意思判断参数，将所述让路意思判断参数存储到存储部；从周边状况取得部取得第1步行者的头部图像和位置；根据所取得的所述第1步行者的头部图像和位置以及所述存储部中存储的所述让路意思判断参数，判断所述第1步行者的让路意思的状态；以及根据所述第1步行者的让路意思的状态的判断结果，决定是否对所述第1步行者显示显示内容，并决定所述显示内容的内容和所述显示内容在道路上的显示位置，根据所述决定对在道路上显示显示内容的显示器进行控制。

发明效果

根据本发明，能够准确地判断步行者的让路意思的状态，能够对步行者显示适当的显示内容。

附图说明

图1是概略地示出实施方式1的车外交流装置的结构的功能框图。

图2是示出具有实施方式1的车外交流装置的车辆与步行者的位置关系的例子的图。

图3是示出步行者相对于车辆的位置和道路上显示的显示内容的例子的图。

图4是示出实施方式1的车外交流装置的让路意思判断参数学习部的学习动作(通过离线处理来进行)的流程图。

图5是以表形式示出存储部中存储的让路意思判断参数的例子的图。

图6是示出实施方式1的车外交流装置在实际的交通场景中的车外交流动作(通过在线处理来进行)的流程图。

图7是以表形式示出实施方式1的车外交流装置的显示要否决定部使用的要否决定表的例子的图。

图8是以表形式示出实施方式1的车外交流装置的显示内容决定部使用的内容db的例子的图。

图9是概略地示出实施方式2的车外交流装置的结构的功能框图。

图10是示出实施方式2的车外交流装置的理解度判断参数学习部的学习动作(通过离线处理来进行)的流程图。

图11是以表形式示出存储部中存储的理解度判断参数的例子的图。

图12是示出实施方式2的车外交流装置在实际的交通场景中的车外交流动作(通过在线处理来进行)的流程图。

图13是以表形式示出实施方式2的车外交流装置的显示内容变更部使用的内容db的例子的图。

图14是示出实施方式1、2的变形例的车外交流装置的硬件结构的图。

具体实施方式

下面，参照附图对本发明的实施方式的车外交流装置、车外交流方法、构成车外交流装置的一部分的信息处理装置以及使计算机执行车外交流方法的车外交流程序进行说明。车外交流装置设置于车辆(例如汽车)，能够通过对车辆周边的道路上的人(即步行者)显示显示内容，进行车辆与步行者之间的交流。以下的实施方式只不过是例子，能够在本发明的范围内进行各种变更。

《1》实施方式1

《1-1》结构

<车外交流装置>

图1是概略地示出实施方式1的车外交流装置的结构的功能框图。图1的车外交流装置是能够执行实施方式1的车外交流方法的装置。

如图1所示，实施方式1的车外交流装置具有：周边状况取得部10，其拍摄或检测车辆周边的状况(例如周边的对象物)；让路意思判断参数学习部20，其通过基于预先根据交通场景生成的学习用数据库(学习用db)的学习(例如机器学习或深度学习)，预先生成让路意思判断参数31；以及作为存储装置的存储部30，其预先保存有让路意思判断参数31等数据。让路意思判断参数学习部20用于通过使用学习用db的图像数据和传感器数据进行学习而生成让路意思判断参数31，在实施车外交流时并不使用。这里，学习用db的图像数据是由用于取得学习用db的摄像机拍摄交通场景而得到的图像数据。学习用db的传感器数据是通过由用于取得学习用db的毫米波传感器或激光传感器在交通场景中检测对象物而得到的数据。

此外，实施方式1的车外交流装置具有：让路意思判断部40，其判断实际的交通场景中的实际的步行者(以下也称作“第1步行者”)的让路意思的状态(例如“有让路意思”、“无让路意思”或“让路意思未决定”)；显示器60，其在路面上显示显示内容；以及显示控制部50，其对显示器60进行控制。

“有让路意思”是步行者具有要使车辆先通过而自身在车辆通过后横穿道路的意思的状态，即具有要给车辆让路的意思的状态。

“无让路意思”是步行者具有要在车辆通过前横穿道路的意思的状态，即不具有要给车辆让路的意思的状态。

“让路意思未决定”是步行者犹豫是在车辆通过前横穿道路还是使车辆先通过而自身在车辆通过后横穿道路的状态，即犹豫状态。

头部提取部14、步行者检测部15、让路意思判断参数学习部20、让路意思判断部40和显示控制部50构成实施方式1的信息处理装置。该信息处理装置的硬件结构的例子在后述图14中示出。

<周边状况取得部10>

图2是示出具有实施方式1的车外交流装置的车辆91与要横穿道路93的实际的步行者(以下也称作“第1步行者”)92的位置关系的例子的图。图3是示出第1步行者92相对于车辆91的位置和道路93上显示的显示内容61的例子的图。在图2和图3中，车辆91位于vx-vy直角坐标系下的原点(0，0)，前端朝向箭头94方向即+vy轴方向。第1步行者92位于坐标(vx_h，vy_h)，面部朝向箭头95方向即-vx轴方向，向-vx轴方向步行而横穿道路93或者想要横穿而站立。

周边状况取得部10是取得车辆91周边的第1步行者92的头部图像和第1步行者92的位置的单元。在实施方式1中，车辆91周边是车辆91前方即箭头94方向的预先决定的角度范围内的区域。

在图1的例子中，周边状况取得部10具有拍摄图像的摄像机11、检测作为对象物的第1步行者92的位置的毫米波传感器12和激光传感器13、从由摄像机11拍摄到的图像中提取第1步行者92的头部图像的头部提取部14、以及根据从毫米波传感器12和激光传感器13提供的传感器数据检测第1步行者92的位置的步行者检测部15。第1步行者92的头部包含第1步行者92的面部。在摄像机11具有距离计测功能的情况下，也可以根据由摄像机11拍摄到的第1步行者92的图像(例如头部图像)计测第1步行者92的位置。能够通过从车辆91到第1步行者92的距离l和从车辆91观察的第1步行者92的方向(箭头96)确定第1步行者92的位置。毫米波传感器12使用毫米波检测对象物的位置。毫米波传感器12也被称作毫米波雷达。激光传感器13使用激光束检测对象物的位置。周边状况取得部10只要是能够取得第1步行者92的头部图像和第1步行者92的位置的单元即可，不限于图1所示的结构。

<让路意思判断参数学习部20>

让路意思判断参数学习部20用于在实际的交通场景中使用实施方式1的车外交流装置之前，生成让路意思判断参数31，并将其保存在存储部30中。在图1中的从头部提取部14切离摄像机11、从步行者检测部15切离毫米波传感器12和激光传感器13的状态下使用让路意思判断参数学习部20。将该状态下的处理称作离线处理。让路意思判断参数学习部20基于预先根据交通场景生成的学习用db，预先学习步行者要给车辆让路的意思即让路意思的状态、所述步行者的头部的举动和所述步行者的位置的关系，生成将“步行者的头部的举动”和“步行者的位置”与“让路意思的状态”关联起来的学习数据即让路意思判断参数31，将让路意思判断参数31存储在存储部30中。

从时间序列的图像数据中提取步行者的面部的朝向、面部的朝向的变化、面部的朝向维持固定方向的时间、步行者的视线、步行者的面部的表情或它们的组合等，能够判断步行者的头部的举动。面部的朝向的变化能够包含用于步行者确认车辆通行的头部的移动、步行者点头时的头部的移动等。

让路意思的状态例如包含在步行者具有让路意思时表现出的“有让路意思”、在步行者不具有让路意思时表现出的“无让路意思”和步行者犹豫是给车辆让路还是先横穿道路时表现出的“让路意思未决定”即“犹豫状态”中的一个以上。

<存储部30>

存储让路意思判断参数31的存储部30能够由半导体存储器或硬盘装置等构成。存储部30在让路意思判断参数31的基础上，还预先存储有将表示是否需要显示显示内容的要否信息与“让路意思的状态”关联起来的要否决定表32和将显示内容与让路意思的状态关联起来的内容数据库(内容db)33。让路意思判断参数31、要否决定表32和内容db33也可以分别存储在相互不同的多个存储部中。

<让路意思判断部40>

让路意思判断部40根据第1步行者92的头部图像、第1步行者92的位置以及存储部30中存储的让路意思判断参数31，判断第1步行者92的让路意思。第1步行者92的让路意思包含在第1步行者92具有让路意思时表现出的“有让路意思”、在第1步行者92不具有让路意思时表现出的“无让路意思”和第1步行者92犹豫是给车辆让路还是先横穿道路时表现出的“让路意思未决定”即“犹豫状态”中的一个以上。

<显示器60>

显示器60是在道路93的路面上显示显示内容97的装置。显示器60例如是投射图像的投影仪。

<显示控制部50>

显示控制部50根据第1步行者92的让路意思的状态的判断结果，决定是否对第1步行者92显示显示内容、显示内容的内容和显示内容在道路93上的显示位置，根据所述决定对显示器60进行控制。

显示控制部50具有显示要否决定部51，该显示要否决定部51根据存储部30中存储的要否决定表32，决定是否显示显示内容。此外，显示控制部50具有显示内容决定部52，该显示内容决定部52根据存储部30中存储的内容db33决定显示内容。进而，显示控制部50具有显示位置决定部53，该显示位置决定部53对显示器60进行控制，使得在连接车辆91和第1步行者92的线段98上的位置显示显示内容97。显示位置决定部53对显示器60进行控制，使得关于显示内容中包含的字符，字符的下部位于第1步行者92的附近，字符的上部位于远离第1步行者92的位置。

《1-2》动作

车外交流装置的动作包含使用学习用db进行学习以生成让路意思判断参数31的离线处理(后述的图4)、以及判断实际的交通场景中的第1步行者92的让路意思的状态并显示显示内容的在线处理(后述的图6)。学习用db是在学习用db取得用的车辆搭载学习用db取得用的摄像机、毫米波传感器和激光传感器，在假设为实际的交通场景的实验环境下以数秒～数十秒的时间拍摄和检测步行者而得到的时间序列的图像数据和时间序列的传感器数据的集合。在实际的交通场景中使用车外交流装置之前生成让路意思判断参数31，并将其存储在存储部30中。

此外，学习用db的时间序列的图像数据和时间序列的传感器数据与步行者的让路意思的状态即“有让路意思”、“无让路意思”、“让路意思未决定”和“步行者与道路上的交通无关”等步行者的举动相关联。另外，学习用db的时间序列的图像数据和时间序列的传感器数据的取得方法能够自由选择，只要基于实际的交通场景即可，数据量和取得方法没有限制。此外，安装于车辆91的毫米波传感器12、激光传感器13和摄像机11预先已经校准。因此，车外交流装置已经取得表示毫米波传感器12、激光传感器13和摄像机11相对于车辆91的安装位置和安装方向的信息。

<离线处理>

图4是示出实施方式1的车外交流装置的让路意思判断参数学习部20的学习动作的流程图。在学习动作中，对步行者检测部15输入预先准备的学习用db的时间序列的传感器数据，对头部提取部14输入预先准备的学习用db的时间序列的图像数据。

在学习动作中，头部提取部14从基于学习用db的图像中修剪并提取步行者的头部(步骤s101)。能够利用使用histogramsoforientedgradients(hog)的方法或使用singleshotmultiboxdetector(ssd)等已学习神经网络的方法等进行头部的提取。

接着，步行者检测部15从学习用db的传感器数据中，以车辆为基准来检测步行者在道路上的位置(步骤s102)。

接着，计算由头部提取部14取得的步行者的头部在图像内的位置与利用毫米波传感器12或激光传感器13检测步行者的头部而得到的位置之间的对应关系。毫米波传感器12、激光传感器13和摄像机11已经校准，因此，能够在通过摄像机11的拍摄而得到的图像中的图像坐标系与由毫米波传感器12和激光传感器13得到的传感器坐标系之间进行坐标转换。通过取根据毫米波传感器12的检测信号求出的步行者在道路上的位置和根据激光传感器13的检测信号求出的步行者在道路上的位置的平均，能够得到高精度的位置信息。由此，能够从学习用db取得时间序列的头部图像和时间序列的道路上的位置的集合即数据组。

接着，让路意思判断参数学习部20根据所取得的数据组进行学习。该学习中使用的模型只要是利用lstm(longshort-termmemory)的神经网络、隐马尔可夫模型(hmm)等能够根据时间序列数据求解分类问题的模型即可，可以是任意的。不管使用什么模型，都将时间序列的头部图像和步行者在道路上的时间序列的位置作为输入，赋予步行者的举动即标签作为输出的训练数据进行学习即可。通过该学习而得到的面向模型的参数作为让路意思判断参数31保存在存储部30中(步骤s103)。

图5是以表形式示出存储部30中存储的让路意思判断参数31的例子的图。在让路意思判断参数31中，贴上基于步行者的举动的标签。在图5中，作为表示步行者的让路意思的数据标签，准备“有让路意思”、“无让路意思”、“让路意思未决定”，对数据标签分别关联有场景#n(n为1以上的整数)的数据组。在图5中，1个场景的数据组具有由时间序列的头部图像数据构成的头部图像数据组和由道路上的时间序列的位置数据构成的道路上位置数据组。

<在线处理>

图6是示出实施方式1的车外交流装置在实际的交通场景中的车外交流动作(通过在线处理来进行)的流程图。在车外交流动作中，对步行者检测部15输入毫米波传感器12和激光传感器13的时间序列的传感器数据，对头部提取部14输入由摄像机11拍摄到的时间序列的图像数据。

首先，头部提取部14从车辆91具有的摄像机11的拍摄图像中提取第1步行者92的头部(步骤s111)。然后，步行者检测部15根据正在进行传感的毫米波传感器12和激光传感器13的传感器数据的值和第1步行者92的头部的图像内位置，计算第1步行者92在道路上的位置(步骤s112)。该处理与离线处理时的处理相同。

接着，让路意思判断部40使用第1步行者92的头部图像和第1步行者92在道路上的位置，判断第1步行者92的让路意思的状态(步骤s113)。这是哪个通过针对应用学习到的让路意思判断参数31的模型输入步行者的头部图像和第1步行者92在道路上的位置来计算的。另外，这里得到的第1步行者92的举动成为学习用db中已经登记的标签中的任意一方。

接着，显示要否决定部51根据第1步行者92的举动，决定是否需要对第1步行者92显示显示内容(步骤s114、s115)。根据预先生成的要否决定表32决定是否需要对第1步行者92显示显示内容。例如，如果第1步行者92的举动为“有让路意思”的举动，则需要显示以对第1步行者92表示感谢的意思，即显示成为“需要”。生成要否决定表32，使得针对第1步行者92的举动为“步行者与交通无关”，即没有横穿意思而仅站立在交叉路口的附近的人，不需要显示，即显示成为“不需要”。

图7是以表形式示出实施方式1的车外交流装置的显示要否决定部51使用的要否决定表32的例子的图。如图7所示，在步骤s115中判断为“不需要”显示的情况下，结束处理。在判断为“需要”显示的情况下，显示内容决定部52根据内容db33决定针对第1步行者92的显示内容(步骤s116)。在决定显示内容时，从预先生成的按照每个步行者的举动而关联起来的内容组即内容db33中，选择与由让路意思判断部40判断出的第1步行者92的举动对应的显示内容。

图8是以表形式示出实施方式1的车外交流装置的显示内容决定部52使用的内容db33的例子的图。如图8所示，能够在内容db33内准备多个与第1步行者92的举动对应的显示内容，该情况下，能够用第1步行者92的年龄、种族、性别等进行选择即可。作为识别第1步行者92的年龄、种族、性别等的方法，能够采用公知的方法。

接着，显示位置决定部53决定显示内容的显示位置和角度(步骤s117)。这里，以外切于车辆91的矩形的中心为原点的vx-vy坐标系的+vy轴方向为行进方向的坐标轴。

如图2所示，能够用以下的计算式决定显示位置(vx_d，vy_d)和显示角θ，以在第1步行者92与车辆91之间显示显示内容。

【数式1】

(vx_d，vy_d)＝(vx_h*r，vy_h*r)

其中

这里，t是从第1步行者92到显示内容97的距离，预先决定为适当的距离(例如t＝3米)。

图3中示出第1步行者92相对于车辆91的位置和道路93上显示的显示内容97的例子。如果按照显示位置和显示角在道路93的路面上显示显示内容，则显示控制部50的处理结束(步骤s118)。在图3的状况下车辆91先通行的情况下，作为显示内容97，能够应用与图8中的“谢谢”对应的内容。此外，在图3的状况下车辆91在第1步行者92横穿后通行的情况下，作为显示内容97，能够应用与图8中的“请先走”对应的内容。此外，在图3的状况下车辆91不清楚第1步行者92的横穿的意思的情况下，作为显示内容97，能够应用与图8中的“要过去吗”对应的内容。

《1-3》效果

如以上说明的那样，实施方式1的车外交流装置根据表示步行者的举动的时间序列的数据和与其相关联的标签自动地学习规则，生成让路意思判断参数31作为学习数据。在实际的交通场景中使用车外交流装置的情况下，根据让路意思判断参数31判断第1步行者92的让路意思的状态，因此，与仅使用预先由人决定的规则的情况相比，能够准确地判断让路意思的状态。因此，能够对第1步行者92在适当的显示位置显示适当内容的显示内容。

此外，能够准确地判断第1步行者92的让路意思的状态，因此，按照第1步行者92的让路意思，如果不需要显示显示内容，则能够使得不显示显示内容。因此，能够抑制由于显示不需要的显示内容而对第1步行者92降低感情收益的显示。

《2》实施方式2

《2-1》结构

上述实施方式1的车外交流装置根据第1步行者92的让路意思的状态的判断(图6的步骤s111～s113)结果，决定是否对第1步行者92显示显示内容(图6的步骤s114、s115)，决定显示内容的内容(图6的步骤s116)，决定显示内容在道路93上的显示位置(图6的步骤s117)，根据这些决定对显示器60进行控制(图6的步骤s118)。

但是，有时第1步行者92无法理解由显示器60显示在道路93上的显示内容或无法视觉辨认道路93上显示的显示内容。

因此，实施方式2的车外交流装置判断步行者对显示内容的理解度，在无法理解显示内容的情况下，将显示内容变更为新的显示内容，使得第1步行者92能够理解显示内容。

图9是概略地示出实施方式2的车外交流装置的结构的功能框图。在图9中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。图9的车外交流装置是能够执行实施方式2的车外交流方法的装置。在说明实施方式2时，还参照图2和图3。

实施方式2的车外交流装置与实施方式1的车外交流装置的不同之处在于，具有生成理解度判断参数34的理解度判断参数学习部70、使用理解度判断参数34判断第1步行者92对显示内容的理解度的理解度判断部80以及显示内容变更部54。

理解度判断参数学习部70预先学习步行者对道路93上显示的显示内容的理解度、步行者的头部的举动和步行者的位置的关系，生成将步行者的头部的举动和步行者的位置与理解度关联起来的学习数据即理解度判断参数34，将其存储在存储部30a中。

在理解度判断参数34中与理解度相关联的步行者的头部的举动包含在步行者理解了显示内容的情况下表现出的举动、在步行者无法理解显示内容的情况下表现出的举动和在步行者无法视觉辨认显示内容的情况下表现出的举动中的一个以上。作为在步行者理解了显示内容的情况下表现出的举动，例如具有步行者移动头进行点头的举动。作为在步行者无法理解显示内容的情况下表现出的举动，例如具有步行者歪头的举动、步行者的面部表现出的疑问的表情等。作为在步行者无法视觉辨认显示内容的情况下表现出的举动，例如具有步行者上下左右移动头而要看被障碍物的影子遮挡的显示内容的部分的举动。

理解度判断部80根据由周边状况取得部10取得的第1步行者92的头部图像、第1步行者92的位置以及存储部30a中存储的理解度判断参数34，判断第1步行者92对显示内容的理解度。显示控制部50根据第1步行者92对显示内容的理解度的判断结果，决定是否需要变更正在显示的显示内容，根据所述是否需要变更的决定对显示器60进行控制。关于上述以外的方面，实施方式2的车外交流装置的结构与实施方式1相同。

《2-2》动作

实施方式2的车外交流装置进行让路意思判断参数31的生成和理解度判断参数34的生成用的离线处理、以及根据实际的交通场景中的让路意思的判断和理解度的判断对第1步行者92提供显示内容的在线处理。在实施方式2中，在离线处理中，使用与实施方式1相同的学习用db。此外，设毫米波传感器、激光传感器和摄像机已经校准。此外，设预先准备有用于学习理解度的学习用db，该学习用db是在车辆搭载有摄像机、毫米波传感器和激光传感器的状态下，在假设实际的交通场景的实验环境下在数秒～数十秒的期间内检测步行者而得到的时间序列的传感器数据和时间序列的图像数据的集合。此外，设各数据与“理解了”显示内容、显示内容的“内容无法理解”、“看不到显示内容”、“没看到”显示内容等步行者的理解度关联起来。

<离线处理>

图10是示出实施方式2的车外交流装置的理解度判断参数学习部70的学习动作(通过离线处理来进行)的流程图。

让路意思判断参数31的学习(步骤s200)与实施方式1中的离线处理相同。

接着，实施用于生成理解度判断参数34的学习。首先，头部提取部14从理解度学习用db的全部图像中修剪并提取步行者的头部(步骤s201)。能够利用与让路意思判断参数31的学习时相同的公知方法提取步行者的头部。

接着，步行者检测部15从理解度学习用db的全部传感器数据中，检测以车辆的位置为基准的步行者在道路上的位置(步骤s202)。该处理能够与让路意思判断参数31的学习时同样地使用公知的方法。通过这些处理，能够从理解度学习用db取得时间序列的头部图像数据和时间序列的道路上的位置数据的集合。

图11是以表形式示出存储部30a中存储的理解度判断参数34的例子的图。此外，预先对理解度学习用db的数据贴上基于步行者的理解度的标签，因此，生成能够如图11所示整理的数据组。

接着，理解度判断参数学习部70根据生成的数据组进行学习(步骤s203)。学习中使用的模型是利用lstm的神经网络或利用隐马尔可夫模型的模型等能够根据时间序列数据求解分类问题的模型即可，可以是任意的。不管使用什么模型，都将时间序列的头部图像数据和步行者在道路上的位置数据作为输入，赋予表示理解度的标签作为输出的训练数据进行学习即可。通过学习而取得的面向模型的参数作为理解度判断参数34保存在存储部30a中(步骤s203)。

<在线处理>

图12是示出实施方式2的车外交流装置在实际的交通场景中的车外交流动作(通过在线处理来进行)的流程图。在图12中，对与图6所示的处理步骤相同内容的处理步骤标注与图6中的步骤编号相同的步骤编号。在图12中，步骤s111～s118的处理与图6中的处理相同。

接着，理解度判断部80使用从头部提取部14提供的第1步行者92的头部图像数据和从步行者检测部15提供的第1步行者92在道路上的位置数据，判断第1步行者92对第1步行者92用的显示内容的理解度(步骤s211)。关于该判断，能够针对应用通过离线处理中的学习而取得的理解度判断参数34的模型，应用第1步行者的头部图像数据和第1步行者92在道路93上的位置数据，由此进行计算。通过该处理而得到的理解度成为理解度学习用db中已经登记的标签中的任意一方，例如图11的左栏所示的“表示理解度的数据标签”中的任意一方。

在步骤s212中，如果判断结果为“理解了”显示内容，则不变更显示内容，结束处理(不变更已经显示的显示内容)。

在步骤s212中，如果判断结果不是理解了显示内容，则显示内容变更部54变更显示内容(步骤s213)。

显示内容变更部54在与从让路意思判断部40提供的第1步行者92的举动对应的内容db33内的显示内容中，选择与以前显示的显示内容不同的显示内容即可。例如，在第1步行者92的举动示出“有让路意思”且作为显示内容而选择图8中的“谢谢”且已经显示的情况下，变更成还未显示的显示内容“thankyou！！”即可。这样，虽然还能够随机地选择新的显示内容，但是，预先按照每个理解度将内容db33内的各步行者的举动的内容对应起来，由此，能够向第1步行者92提供更加适当的新的显示内容。

图13是以表形式示出实施方式2的车外交流装置的显示内容变更部54使用的内容db33的例子的图。例如，如果如图13所示与理解度的种类对应地准备内容db33，则在第1步行者92的举动为“有让路意思”且显示基本的显示内容“谢谢”时，在理解度判断中判断为理解度为“看不到显示内容”即“无法视觉辨认”的情况下，能够变更成属于“有让路意思”的项目且与“看不到内容”对应的使亮区域和暗区域反转的“谢谢”的显示。通过这样将显示内容变更成新的显示内容，能够消除看不到显示内容的状况。此外，在变更显示内容后的理解度判断中，在理解度再次为“看不到显示内容”的情况下，也可以反复进行同样的处理，直到理解度成为“理解了”为止。

《2-3》效果

如以上说明的那样，实施方式2的车外交流装置根据表示步行者的举动的时间序列的数据和与其相关联的标签自动地学习规则，生成理解度判断参数34作为学习数据。然后，使用理解度判断参数34判断第1步行者92的理解度，根据显示内容的理解度将显示内容变更成新的显示内容。因此，能够准确地向第1步行者92提供信息。

《3》变形例

图14是示出实施方式1、2的车外交流装置的硬件结构的图。如图14所示，该车外交流装置具有处理器101、作为存储装置的外部存储介质102、作为其他存储装置的存储器103、网络接口104和显示器接口105。这些结构直接或经由数据总线106相互连接。摄像机11、毫米波传感器12和激光传感器13经由网络接口104而与数据总线106连接。显示器60经由显示器接口105而与数据总线106连接。

实施方式1的车外交流装置能够通过使用存储作为软件的车外交流程序的存储器103和执行存储器103中存储的程序的处理器101的装置(例如计算机)实现。车外交流程序能够经由互联网下载，或者从存储有车外交流程序的记录介质取得。该情况下，图1中的存储部30相当于图14中的存储器103或外部存储介质102。此外，图1中的头部提取部14、步行者检测部15、让路意思判断参数学习部20、让路意思判断部40和显示控制部50的整体或一部分能够通过图14所示的存储器103和执行程序的处理器101实现。

实施方式2的车外交流装置能够通过使用存储车外交流程序的存储器103和执行存储器103中存储的程序的处理器101的装置(例如计算机)实现。该情况下，图9中的存储部30a相当于图14中的存储器103或外部存储介质102。此外，图9中的头部提取部14、步行者检测部15、让路意思判断参数学习部20、让路意思判断部40、显示控制部50a、理解度判断参数学习部70和理解度判断部80的整体或一部分能够通过图14所示的存储器103和执行程序的处理器101实现。

此外，搭载上述车外交流装置的车辆能够搭载于在步行者通行的道路上行驶的各种车辆。

此外，显示内容的显示位置不限于连接车辆91和第1步行者92的线段98上，也可以检测第1步行者92的视线方向，由此显示在该视线上的路面。

标号说明

10：周边状况取得部；11：摄像机；12：毫米波传感器；13：激光传感器；14：头部提取部；15：步行者检测部；20：让路意思判断参数学习部；30、30a：存储部；31：让路意思判断参数；32：要否决定表；33：内容db；34：理解度判断参数；40：让路意思判断部；50、50a：显示控制部；60：显示器；70：理解度判断参数学习部；80：理解度判断部。