设施满意度计算装置的制作方法

本发明涉及执行与车辆司机的沟通的装置。

背景技术：

近年来，计算机基于人发出的声音、表情来推定人的情绪的技术被开发。这样的情绪推定技术在例如与计算机进行对话时，通过基于人的情绪来进行回答从而实现顺利的对话等应用被人们所期待。作为情绪推定技术，例如被提出有下述一种技术：通过从声音信号中提取出与情绪相对应的特征量，并且检测其与构成基准的声音信号之间的偏差量，从而判断情绪(参照专利文献1)。此外，还被提出有以下一种技术：通过求出情绪确定度来推定心理状态，其中，情绪确定度是相对于事先针对人的表情的图像、特别是眼睛和嘴的形状设定的多种基本情绪而言的确定度(参照专利文献2)。

还被提出有以下一种信息系统：从已访问过活动或购物等特定地域的人员收集关于满意度的信息，并将这些信息公开到网络上(参照专利文献3)。信息中心在发送关于车辆搭乘者的满意度的询问时，基于速度信息而选择停止中的车辆发送询问。而当信息中心判断车辆是处于移动中时，基于搭乘者的相关信息，仅在判断为有除司机以外的搭乘者存在的车辆时，发送询问。像这样，可以防止在除司机以外不存在搭乘者、且车辆处于移动中时发出询问的情况，其结果能够确保回答者的安全。

现有技术文献

专利文献

专利文献1：日本特开平05-012023号公报

专利文献2：日本特开2007-065969号公报

专利文献3：日本专利第4296411号公报

技术实现要素：

发明要解决的课题

然而，仅根据对车辆乘员进行询问和该乘员的回答，有时乘员对设施的满意度的推定精度会降低。例如，即使车辆乘员对停留过的设施满意，但由于感觉不想终止与同乘人员的会话或者不想破坏正享受余韵的氛围等原因，有时会说出与其本意相反的言辞。

因此，本发明的目的在于提供能够实现提高车辆的乘员对设施的满意度的推定精度的装置。

用于解决问题的手段

本发明的设施满意度计算装置具备：停留判定部，其判定车辆有无在设施中停留；情绪推定部，其基于涉及所述车辆的一个或者多个乘员的状态的信息，推定所述一个或者多个乘员的情绪；指标值评价部，其在所述停留判定部判定所述车辆在所述设施中停留时，基于在所述车辆从所述设施离开起的指定时间内通过所述情绪推定部推定出的所述一个或者多个乘员的情绪，评价所述一个或者多个乘员对所述设施的满意度的指标值；人数推定部，其推定所述车辆的乘员的人数；以及，询问部，其在通过所述人数推定部推定为所述车辆的乘员仅一人时，向乘员输出询问。

本发明的设施满意度计算装置中，优选的是，当所述停留判定部判定所述车辆在所述设施中停留、且通过所述人数推定部推定为所述车辆的乘员为多人时，所述询问部在所述指定时间内通过所述情绪推定部推定所述乘员的情绪的推定准确度未达到规定值以上的前提下，向所述乘员输出询问。

本发明的设施满意度计算装置中，优选的是，所述指标值评价部除了基于在所述车辆从所述设施离开起的所述指定时间内通过所述情绪推定部推定出的所述一个或者多个乘员的情绪之外，还基于在所述车辆到达所述设施之前的规定时间内通过所述情绪推定部推定出的所述一个或者多个乘员的情绪，评价所述一个或者多个乘员对所述设施的满意度的指标值。

本发明的设施满意度计算装置中，优选的是，涉及所述车辆的一个或者多个乘员的状态的信息为用摄像头拍摄得到的所述一个或者多个乘员的表情和动作、以及用麦克风收录得到的所述一个或者多个乘员的声音中的至少任一者。

发明效果

根据本发明的设施满意度计算装置，能够实现提高车辆的乘员对设施的满意度的推定精度。

附图说明

图1是基本系统的构成说明图。

图2是代理装置的构成说明图。

图3是便携终端装置的构成说明图。

图4是作为本发明的一个实施方式的设施满意度计算装置的构成说明图。

图5是设施满意度计算装置的功能说明图。

符号说明

1：代理装置；2：便携终端装置；3：服务器；4：设施满意度计算装置；11：传感器部；111：gps传感器；112：车速传感器；113：陀螺仪传感器；12：车辆信息部；13：存储部；14：无线部；141：近距离无线通信部；142：无线通信网通信部；15：显示部；16：操作输入部；17：音频部；18：导航部；191：拍摄部(车内摄像头)；192：声音输入部(麦克风)；21：传感器部；211：gps传感器；213：陀螺仪传感器；23：存储部；231：数据存储部；232：应用存储部；24：无线部；241：近距离无线通信部；242：无线通信网通信部；25：显示部；26：操作输入部；27声音输出部；291：拍摄部(摄像头)；292：声音输入部(麦克风)；41：信息获取部；42：停留判定部；43：情绪推定部；44：指标值评价部；45人数推定部；46询问部；x车辆(移动体)。

具体实施方式

(基本系统的构成)

作为本发明的一个实施方式的设施满意度计算装置4(参照图4)由图1中示出的基本系统的构成要素之中的至少一部分构成。基本系统由搭载于车辆x(移动体)上的代理装置1、能够通过乘员带入车辆x的内部的便携终端装置2(例如智能手机)和服务器3构成。代理装置1、便携终端装置2和服务器3具备通过无线通信网(例如互联网)而彼此进行无线通信的功能。代理装置1和便携终端装置2在同一车辆x的空间内共存等在物理位置上相邻时，具备通过近距离无线方式(例如蓝牙(bluetooth，“bluetooth”为注册商标))而彼此进行无线通信的功能。

(代理装置的构成)

例如如图2中所示，代理装置1具备：控制部100、传感器部11(具备gps传感器111、车速传感器112和陀螺仪传感器113)、车辆信息部12、存储部13、无线部14(具备近距离无线通信部141和无线通信网通信部142)、显示部15、操作输入部16、音频部17(声音输出部)、导航部18、拍摄部191(车内摄像头)和声音输入部192(麦克风)。

传感器部11的gps传感器111基于来自gps(全球定位系统，globalpositioningsystem)卫星的信号来计算当前位置。车速传感器112基于来自旋转轴的脉冲信号来计算车辆的速度。陀螺仪传感器113检测角速度。通过这些gps传感器、车速传感器、陀螺仪传感器，能够正确地计算出车辆的当前位置、朝向。

车辆信息部12通过can-bus等车内网络获取车辆信息。车辆信息中包括例如点火sw的on/off、安全装置系统的动作情况(adas、abs和气囊等)的信息。操作输入部16除了检测开关按下等操作之外，还检测能够用于推定乘员的情绪的方向盘、油门踏板或刹车踏板的操作量、车窗和空调的操作(温度设定等)等输入。

无线部14的近距离无线通信部141为例如wi-fi：无线保真(wirelessfidelity，注册商标)、蓝牙(bluetooth，注册商标)等的通信部，无线通信网通信部142为连接于3g、蜂窝网络、lte通信等以所谓移动电话网为代表的无线通信网的通信部。

(便携终端装置的构成)

例如如图3中所示，便携终端装置2具备：控制部200、传感器部21(具备gps传感器211和陀螺仪传感器213)、存储部23(具备数据存储部231和应用存储部232)、无线部24(具备近距离无线通信部241和无线通信网通信部242)、显示部25、操作输入部26、声音输出部27、拍摄部291(摄像头)和声音输入部292(麦克风)。

便携终端装置2具备与代理装置1共通的构成要素。便携终端装置2不具备获取车辆信息的构成要素(参照图2/车辆信息部12)，但可以例如通过近距离无线通信部241而从代理装置1获取车辆信息。此外，便携终端装置2可以按照应用存储部232中存储的应用(软件)而具备与代理装置1的音频部17和导航部18分别相同的功能。

(设施满意度计算装置的构成)

图4中示出的作为本发明的一个实施方式的设施满意度计算装置4由代理装置1和便携终端装置2之中的一者或两者构成。设施满意度计算装置4的部分构成要素为代理装置1的构成要素，设施满意度计算装置4的其他构成要素为便携终端装置2的构成要素，代理装置1和便携终端装置2可以相互协作，从而对彼此的构成要素进行互补。关于标记，n1(n2)这一记载表示由构成要素n1和构成要素n2之中的一者或两者构成或者执行。

设施满意度计算装置4具备：存储部13(23)、拍摄部191(291)、声音输入部192(292)、声音输出部17(27)(或音频部)和导航部18。设施满意度计算装置4具备：信息获取部41、停留判定部42、情绪推定部43、指标值评价部44和人数推定部45。

信息获取部41基于来自拍摄部191(291)、声音输入部192(292)、导航部18和时钟402的输出信号，获取涉及车辆x的司机等乘员的状态的信息作为乘员状态信息。

可以获取通过拍摄部191(291)拍摄到的乘员(特别是车辆x的司机或主乘员(第1乘员))随着音频部17输出的音乐的节奏而周期性地活动身体的一部分(例如头部)的情况等表示其行为的视频作为乘员状态信息。可以获取通过拍摄部191(291)拍摄到的乘员(特别是车辆x的司机(第1乘员)的同乘者或副乘员(第2乘员))闭眼的情况、眺望车外的情况、或者操作智能手机的情况等表示其行为的视频作为乘员状态信息。可以获取通过拍摄部191(291)拍摄到的乘员(第1乘员)根据导航部18的输出图像变更或声音输出而发生的视线移动等表示反应的视频作为乘员状态信息。

可以获取通过声音输入部192(292)检测到的乘员的哼唱作为乘员信息。可以获取涉及由音频部17输出的音乐内容的信息作为乘员信息。可以获取通过声音输入部192(292)检测到的第1乘员和第2乘员的会话或者第2乘员的说话内容作为车内情况信息。

可以获取由服务器3对设施满意度计算装置4发送的导航路线、或者在包括其在内的区域中包含的道路、或者构成该道路的路段的移动成本(距离、移动所需时间、交通堵塞度或能量消耗量)作为乘员状态信息(交通状况信息)。导航路线由从当前地点或出发地点起至目的地点为止的连续的多个路段构成，通过导航部18或便携终端装置2的导航功能、或者服务器3来进行计算。设施满意度计算装置4的当前地点通过gps传感器111(211)来测定。出发地点和目的地点由乘员通过操作输入部16(26)或声音输入部192(292)来进行设定。

停留判定部42判断车辆x有无有在设施中停留。情绪推定部43基于涉及车辆x的一个或者多个乘员的状态的信息来推定该一个或者多个乘员的情绪。当停留判定部42判定车辆x在设施中有过停留时，指标值评价部44基于在车辆x从设施离开起的指定时间内通过情绪推定部43推定出的一个或者多个乘员的情绪，评价该一个或者多个乘员对该设施的满意度的指标值。指标值评价部44除了基于在车辆x从设施离开起的第3指定时间内通过情绪推定部43推定出的一个或者多个乘员的情绪，还基于在车辆x到达设施之前的规定时间内通过情绪推定部43推定出的一个或者多个乘员的情绪，评价该一个或者多个乘员对设施的满意度的指标值。

人数推定部45推定车辆x的乘员的人数。人数的推定可以通过从拍摄部191(291)拍摄的图像中检测到人，也可以通过装配在座位上的落座传感器(未图示)、检测安全带佩系的装置(未图示)来进行检测。当人数推定部45推定为车辆x的乘员仅一人时，询问部46向乘员输出询问。当停留判定部42判定车辆x在设施中停留、且通过人数推定部45推定为车辆x的乘员为多人时，询问部46在指定时间内通过情绪推定部43推定乘员的情绪的推定准确度未达到规定值以上的前提下，向乘员输出询问。

(设施满意度计算装置的作用)

针对具有所述构成的设施满意度计算装置4的作用或功能进行说明。

信息获取部41获取表示车辆x的乘员的状态的信息作为乘员状态信息(图5/步骤102)。例如，可以获取通过拍摄部191(291)拍摄到的表示车辆x的座舱空间中的乘员的表情、或多个乘员会话的情况的图像作为乘员状态。也可以获取通过声音输入部192(292)检测到的乘员的说话内容作为乘员状态信息。乘员状态信息与通过时钟402计测的时刻一起时间序列性地进行存储并被保存于存储部13(23)中。

情绪推定部43基于信息获取部41获取的乘员状态信息来推定车辆x的一个或者多个乘员的情绪(图5/步骤104)。具体而言，以乘员状态信息作为输入，使用通过深度学习或支持向量机等机器学习制作的过滤器，推定该乘员的情绪。例如，乘员状态信息中包括表示多个乘员正在享受会话的情况的视频或声音信息时，将该多个乘员的情绪推定为“喜欢”或“高兴”等肯定的情绪。情绪推定结果与通过时钟402计测的时刻一起时间序列性地进行存储并不被保存于存储部13(23)中。

停留判定部42判定车辆x有无到达设施(图5/步骤106)。例如，根据车辆信息部12，ign开关从on切换为off起经过一定时间，并且通过gps传感器111(211)测定的车辆x或设施满意度计算装置4的当前位置包括在导航部18保存的地图中的设施的附近区域之中时，判定车辆x到达该设施。可以将该设施在导航部18中被设定为目的地点这一情况视为用于到达判定的进一步的要件。

当判定车辆x未到达设施时(图5/步骤106‥no)，反复进行获取乘员状态信息以后的处理(参照图5/步骤102→步骤104→步骤106)。

当判定车辆x到达设施时(图5/步骤106‥yes)，停留判定部42判定车辆x有无从设施出发(图5/步骤108(参照图5/步骤108‥no→步骤108))。例如，根据车辆信息部12，ign开关从off切换为on起经过一定时间，并且通过gps传感器111(211)测定的车辆x或设施满意度计算装置4的当前位置离开设施的附近区域时，判定为车辆x从该设施出发。

当判定车辆x从设施出发时(图5/步骤108‥yes)，人数推定部45推定车辆x的乘员的人数(图5/步骤110)。例如，通过对拍摄部191(291)拍摄到的表示车辆x的座舱空间的情况的图像进行分析处理，推定座舱空间中的乘员的人数。

当乘员的推定人数为多人时(图5/步骤110‥a)，信息获取部41获取表示车辆x的乘员的状态的信息作为乘员状态信息(图5/步骤112)。并且，情绪推定部43基于通过信息获取部41获取的车辆x从设施出发以后的指定时间内的乘员状态信息，推定乘员的情绪(图5/步骤114)。

情绪推定部43判定乘员的情绪的推定准确度是否为规定值以上(图5/步骤116)。

当判定乘员的情绪的推定准确度为规定值以上时(图5/步骤116‥yes)，指标值评价部44除了基于存储于存储部13(23)中的车辆x从设施出发以后的指定期间内的乘员的推定情绪之外，还基于车辆x到达设施以前的规定期间内的乘员的推定情绪，评价该乘员对该设施的满意度的指标值(图5/步骤118)。例如，在该评价中存在以下倾向：以车辆x到达设施以前的乘员的推定情绪为基准，车辆x从设施出发以后的乘员的推定情绪朝肯定侧变化的程度越大，则将指标值评价为越大。另一方面，在该评价中存在以下倾向：以车辆x到达设施以前的乘员的推定情绪作为基准，车辆x从设施出发以后的乘员的推定情绪朝否定侧变化的程度越大，则将指标值评价为越小。指标值的计算结果以与设施的相关信息建立关联的方式存储到存储部13(23)中，并适时向服务器3发送上述信息。

“指定时间”和“规定时间”可以相同，也可以不同。“指定时间”可以基于车辆x到达设施以前的规定时间内的乘员的推定情绪而适当进行设定。

当判定乘员的情绪的推定准确度低于规定值时(图5/步骤116‥no)，通过询问部46判定车辆x从设施离开或出发起是否经过指定时间(图5/步骤120)。当判定未经过指定时间时(图5/步骤120‥no)，反复进行获取乘员状态信息以后的处理(参照图5/步骤112→步骤114→‥)。

当判定经过了指定时间时，询问部46向乘员输出询问(图5/步骤122)。由此，从声音输出部17(27)输出“●●(设施名称)怎么样？”等询问声音，替代或者附加地，在显示部15(25)上显示表示该询问的文字。

信息获取部41获取乘员状态信息(图5/步骤124)。乘员状态信息中除了包括乘员对于该询问所作出的回答“是”或“不是”等声音信息之外，还包括表示乘员使颈部纵向摆动或横向摆动等的动作的视频。情绪推定部43基于通过信息获取部41获取的乘员状态信息来推定乘员的情绪(图5/步骤126)。例如，乘员状态信息中包括乘员的“是”、“高兴”或“还想再去”等肯定性的说话内容、或者表示乘员使颈部纵向摆动或微笑等肯定的动作或表情的视频时，很可能推定为该乘员的情绪为肯定性的情绪。另一方面，乘员状态信息中包括乘员的“不是”、“还差了点”或“不想再去”等否定性的说话内容、或者使颈部横向摆动或皱眉等否定的动作或表情的视频时，推定该乘员的情绪为否定性的情绪的可能性高。

并且，指标值评价部44基于乘员的推定情绪评价该乘员对该设施的满意度的指标值(图5/步骤118)。

当乘员的推定人数为一人时(图5/步骤110‥b)，执行询问部46对乘员的询问输出、乘员状态信息的获取、乘员的情绪推定和指标值评价(参照图5/步骤122→步骤124→步骤126→步骤118)。

(本发明的其他实施方式1)

所述实施方式中，根据人数推定结果，在区别有无输出询问之后推定乘员的情绪(参照图5/步骤110→‥→步骤118)，作为另一实施方式，省略人数推定(参照图5/步骤110)，可以执行不伴有询问输出的乘员状态信息的获取和乘员的情绪推定以后的处理(参照图5/步骤112→步骤114→‥→步骤118)，或者可以执行伴有询问输出的乘员状态信息的获取和乘员的情绪推定以后的处理(参照图5/步骤122→步骤124→‥→步骤118)。

所述实施方式中，当人数推定部45推定车辆x的乘员为多人时，在指定时间内通过情绪推定部43推定乘员的情绪的推定准确度未达到规定值以上的前提下，向乘员输出询问(参照图5/步骤110‥a→步骤112→步骤114→步骤116‥no→步骤120‥yes→步骤122)，作为另一实施方式，当人数推定部45推定车辆x的乘员为多人时，可以以与乘员的情绪的推定准确度无关的方式向乘员输出询问。此外，可以以与乘员的情绪的推定准确度无关的方式评价该乘员的(对设施的)满意度的指标值。

所述实施方式中，除了基于存储于存储部13(23)中的车辆x从设施出发以后的指定期间内的乘员的推定情绪之外，还基于车辆x到达设施以前的规定期间内的乘员的推定情绪，评价该乘员对该设施的满意度的指标值(参照图5/步骤118)，作为另一实施方式，可以仅基于存储于存储部13(23)中的车辆x从设施出发以后的指定期间内的乘员的推定情绪，评价该乘员对该设施的满意度的指标值。例如，存在以下的倾向：车辆x从设施出发以后的乘员的推定情绪为肯定性的、且肯定程度(情绪值)越大，指标值被评价为越大。另一方面，存在以下的倾向：车辆x从设施出发以后的乘员的推定情绪为否定性的、且否定程度(情绪值)越大，指标值被评价为越小。

(本发明的其他实施方式2)

进一步，作为本发明的另一实施方式，在乘员人数为一人时输出询问(图5/步骤122)，但在乘员人数为一人的情况或者多人的情况下均输出该询问。此时，例如所得到的对该设施的满意度偏离通常的设施的平均值时，通过询问为何好(满意)、为何不好(不满意)的方式来收集理由。询问除此之外，还可以进行与乘员过去访问过的其他设施进行比较、提出今后的建议内容。

(本发明的其他实施方式3)

进一步，作为本发明的另一实施方式，对收集的设施的满意度的指标值进行活用。例如，可以通过服务器3多次统计对该设施的满意度的指标值，制作作为使用者对设施的评价、以及改善内容的分析报告，并能够将该分析报告销售给该设施。销售的收益可以对协助设施满意度的指标值制作的乘员以金钱方式进行返还，也可以以免费或低价的方式提供无线通信使用量、音乐、影像等内容、以及提供更详细的设施信息之类的原本收费的信息的方式进行返还。

(本发明的其他实施方式4)

进一步，作为本发明的另一实施方式，对收集的设施满意度的指标值进行不同方式的活用。例如，通过服务器3多次统计对该设施的满意度的指标值，在导航部18进行路线选择时将指标值被评价为高数值的设施优先设定为目的地。通过以这样的方式来实施，能够简单地将被多人评价为高的所谓“优良设施”设定为目的地。

(效果)

根据本发明的设施满意度计算装置，能够实现提高车辆x的乘员对设施的满意度的推定精度。