作业适应性判定装置、作业适应性判定方法和作业适应性判定程序与流程

文档序号:18901179发布日期:2019-10-18 21:57阅读:256来源:国知局
作业适应性判定装置、作业适应性判定方法和作业适应性判定程序与流程

本发明涉及用于判定表示用户处于以何种程度适合进行应该推行的作业的状态的作业适应度的作业适应性判定装置、作业适应性判定方法和作业适应性判定程序。



背景技术:

以往,提出了判定汽车的用户(作业者)即驾驶员处于以何种程度适合作为应该推行的作业的汽车驾驶的状态的各种技术。

例如,非专利文献1提出了如下系统:使用安装有睡意检测算法的面向智能手机的专用应用和计测驾驶员的心率的佩戴型心率计,根据心率检测驾驶员的睡意,向驾驶员通知警告,并且以邮件方式对驾驶员的管理者通知警告。

此外,专利文献1提出了如下技术:确定应该视觉辨认的对象物,并且,根据从驾驶员的面部图像检测到的驾驶员的视线,检测驾驶员是否正在视觉辨认应该视觉辨认的对象物,判定驾驶员的作业适应度。这里,应该视觉辨认的对象物例如是标识、信号灯、车辆、障碍物和通行人等移动物。

现有技术文献

非专利文献

非专利文献1:株式会社ntt数据mse、国立大学法人京都大学、国立大学法人熊本大学、株式会社ntt都科摩、报道发表资料“hitoeを活用したドライバー向け眠気検知システムの実証実験を開始”、[online]、2016年5月10日、互联网<url:https://www.nttdocomo.co.jp/info/news_release/2016/05/10_00.html>

非专利文献2:森岛圭祐等5人、“眼球·頭部非固定における自動車運転時の有効視野計測”、日本机械学会论文集(c编)、2013年10月、79卷806号、p.272-284(p.3561-3573)

专利文献

专利文献1:日本特开2009-69885号公报



技术实现要素:

发明要解决的课题

但是,在非专利文献1提出的技术中,驾驶员需要注意不要忘记佩戴佩戴型心率计,此外,驾驶员有时感觉佩戴型心率计的佩戴很麻烦,或者佩戴后感觉佩戴型心率计成为障碍。因此,存在对驾驶员造成负担这样的课题。

此外,在专利文献1提出的技术中存在以下的课题。一般而言,作业者即用户通过反复进行包含以下行动的活动,推行预定作业:

〔行动1〕从周边环境等收集适当推行预定作业所需要的信息(即认知所需要信息),

〔行动2〕根据收集到的信息思考进行哪种动作就能够适当推行作业(即判断),

〔行动3〕按照该思考的内容(即判断的结果)执行作业(即控制行动)。

因此,如果用户处于能够适当执行〔行动1〕~〔行动3〕的状态,则能够判定为用户能够适当推行作业。

在采用〔行动1〕所示的“认知所需要信息”作为判断材料的方式(被称作“基于认知的适应性判断方式”)中,需要得到用户识别出所需要信息的实证。但是,认知是用户内心的活动,难以计测认知。例如,即使观察到用户的感觉器官的举动,也难以准确地区分感觉器官的举动是针对察觉对象(即应该察觉的对象物)反射性反应的结果(即未达到认知的反射行动),还是根据察觉对象的认知而得到的结果(即根据认知进行的行动)。因此,难以准确地区分专利文献1记载的技术中采用的用户的举动即视线的移动是基于视线目的地的察觉对象具有的高显著性的反射行动,还是根据认知进行的行动。因此,存在无法准确地判定作业适应度这样的课题。

本发明正是为了解决上述课题而完成的,其目的在于,提供能够准确地判定表示用户处于以何种程度适合进行预定作业的状态的作业适应度而不对用户造成负担的作业适应性判定装置、作业适应性判定方法和能够执行作业适应性判定方法的作业适应性判定程序。

用于解决课题的手段

本发明的一个方式的作业适应性判定装置判定作业适应度,所述作业适应度表示用户处于以何种程度适合进行应该推行的预定作业的状态,其特征在于,所述作业适应性判定装置具有:察觉困难空间检测部,其根据从检测存在于用户周边的周边物体的周边物体检测装置取得的周边物体信息,检测察觉困难空间,该察觉困难空间是所述用户难以察觉在进行所述预定作业时所述用户应该察觉的对象物即察觉对象的空间;用户察觉动作检测部,其根据从检测所述用户的动作的用户动作检测装置取得的用户动作信息,检测用户察觉动作,该用户察觉动作是所述用户尝试察觉所述察觉对象时的所述用户的动作;以及作业适应度计算部,其根据由所述察觉困难空间检测部检测到的所述察觉困难空间和由所述用户察觉动作检测部检测到的所述用户察觉动作,计算所述用户的所述作业适应度。

本发明的另一个方式的作业适应性判定方法判定作业适应度,所述作业适应度表示用户处于以何种程度适合进行应该推行的预定作业的状态,其特征在于,所述作业适应性判定方法具有以下步骤:根据从检测存在于用户周边的周边物体的周边物体检测装置取得的周边物体信息,检测察觉困难空间,该察觉困难空间是所述用户难以察觉在进行所述预定作业时所述用户应该察觉的对象物即察觉对象的空间;根据从检测所述用户的动作的用户动作检测装置取得的用户动作信息,检测用户察觉动作,该用户察觉动作是所述用户尝试察觉所述察觉对象时的所述用户的动作;以及根据检测到的所述察觉困难空间和检测到的所述用户察觉动作,计算所述用户的所述作业适应度。

发明效果

根据本发明,可得到能够准确地判定表示用户处于以何种程度适合进行作业的状态的作业适应度而不对用户造成负担这样的效果。

附图说明

图1是概略地示出本发明的实施方式1、2的作业适应性判定装置的结构的框图。

图2是概略地示出实施方式1、2的作业适应性判定装置的硬件结构的图。

图3是示出由周边物体检测装置收集到的数据的一例的图。

图4是示出由周边物体检测装置收集到的数据的另一例的图。

图5是示出实施方式1、2的作业适应性判定装置进行的基本处理的时序图。

图6是详细示出实施方式1的作业适应性判定装置中的主循环处理的内部处理的时序图。

图7是示出针对基于视觉的察觉的具体的察觉困难空间检测处理的图。

图8是示出察觉困难空间的重要度的判定方法的一例的图。

图9是示出察觉困难空间的重要度的判定方法的另一例的图。

图10是示出以用户的视点位置为基点存在由于周边物体而产生的察觉困难空间的状况的图。

图11是示出针对包含穿过周边物体上的2点的线段的平面中的各位置的察觉重要度的一例的图。

图12是示出在图10中的周边物体是其他车辆的情况下以用户的视点位置为基点存在由于周边物体而产生的察觉困难空间的状况的图。

图13是示出在图12的状况下针对包含穿过周边物体上的2点的线段的平面中的各位置的察觉重要度的一例的图。

图14是详细示出实施方式2的作业适应性判定装置中的主循环处理的内部处理的时序图。

图15是用于说明图14的察觉对象检测处理的图。

图16是用于说明图14的用户察觉对象判定处理的图。

具体实施方式

下面,参照附图对本发明的实施方式的作业适应性判定装置、作业适应性判定方法和作业适应性判定程序进行说明。在实施方式1、2中,主要对作业是汽车驾驶、进行作业的用户是汽车的驾驶员的情况进行说明。但是,以下的实施方式只不过是例子,能够在本发明的范围内进行各种变更。

《1》实施方式1

《1-1》概要

图1中概略地示出实施方式1的作业适应性判定装置130的结构。作业适应性判定装置130是能够实施实施方式1的作业适应性判定方法的装置。此外,能够通过作业适应性判定装置或服务器中存储的作为软件的作业适应性判定程序执行作业适应性判定方法。

作业适应性判定装置130是判定作业适应度的装置,所述作业适应度表示用户处于以何种程度适合进行应该推行的预定作业的状态。作业适应性判定装置130从周边物体检测装置110取得检测用户周边(用户周围或附近)的物体而得到的周边物体信息,从用户动作检测装置120取得检测用户的动作而得到的用户动作信息。作业适应性判定装置130使用取得的周边物体信息和用户动作信息计算用户的作业适应度,将计算出的作业适应度提供给信息提示部140。信息提示部140能够对用户通知当前的状态是以何种程度适合进行预定作业的状态或以何种程度不适合进行预定作业的状态。

如图1所示,作业适应性判定装置130具有用户察觉动作检测部131、察觉困难空间检测部132和作业适应度计算部133。察觉困难空间检测部132使用从周边物体检测装置110取得的周边物体信息,检测察觉困难空间,该察觉困难空间是用户难以察觉在进行预定作业时用户应该察觉的对象物即察觉对象的空间。用户察觉动作检测部131使用从用户动作检测装置120取得的用户动作信息,检测用户察觉动作,该用户察觉动作是用户尝试察觉察觉对象时的用户的动作。作业适应度计算部133根据由察觉困难空间检测部132检测到的察觉困难空间和由用户察觉动作检测部131检测到的用户察觉动作,计算用户的作业适应度。

这样,在实施方式1中,利用察觉困难空间与察觉对象不同,不是具有高显著性的对象物这一点。即,在存在察觉困难空间时,用户尝试察觉察觉困难空间时的用户的动作即与察觉困难空间有关的用户察觉动作,不是基于察觉对象的高显著性的反射性行动而是根据察觉困难空间的认知进行的行动的可能性较高。换言之,根据实施方式1,在背景技术中说明的上述〔行动1〕是根据认知进行的行动时(即,不是反射性行动时),检测用户察觉动作。因此,根据实施方式1的作业适应性判定装置130,能够准确地判定作业适应度,能够提高作业适应度的可靠性。

此外,为了进一步提高作业适应度的置信度,作业适应性判定装置130也可以还具有使用从周边物体检测装置110取得的周边物体信息检测察觉对象的察觉对象检测部134和用户察觉对象判定处理部135。在实施方式1中说明不具有察觉对象检测部134和用户察觉对象判定处理部135的方式,在实施方式2中说明具有察觉对象检测部134和用户察觉对象判定处理部135和的方式。

《1-2》结构

<作业适应性判定>

实施方式1的作业适应性判定装置130是能够针对以汽车(车辆)驾驶为作业的作为驾驶员的用户判定(计算)作业适应度的装置。在作业适应性判定中,进行如下处理:

〔第1处理〕在用户进行预定作业时,检测用户难以察觉用户应该察觉的察觉对象的空间即察觉困难空间的处理(察觉困难空间的检测动作);

〔第2处理〕检测用户要察觉察觉对象的用户察觉动作的处理(用户察觉动作的检测动作);

〔第3处理〕使用检测到的察觉困难空间和检测到的用户察觉动作,计算表示用户以何种程度适合进行预定作业(即适合程度)的作业适应度的处理(作业适应度的计算动作)。

<察觉对象>

驾驶中用户能够察觉的周边物体即察觉对象(即能够察觉的对象物)多种多样,例如包含周边车辆、自行车、摩托车、步行者、动物等这样的移动体,路边带、道路白线、人行横道、隔离带、标识、信号灯等这样的道路结构要素以及建筑物、街道树木、广告牌等这样的固定物。用户断续地反复进行视线移动,以适时确认判断为重要的察觉对象的状况。此时,用户通过直接观察察觉对象,从察觉对象得到所需要信息。

<用户察觉动作>

用户察觉动作是指用户要借助五官取得每当实施作业所需要的信息的用户的全部动作。例如,基于视觉的用户察觉动作包含用户眼睛的移动、用户的视线(视线的朝向和移动)、用户注视的位置(范围)等。此外,基于视觉的用户察觉动作还包含根据感觉器官本身的移动而估计出的有效视野范围、有效视野周边的视野即周边视野范围、有效视野或周边视野范围的变化等。基于听觉的用户察觉动作例如包含使耳朵朝向声音所在方向的动作、将手放在耳朵上的动作等采取容易拾取周边声音的姿态的动作。其他用户察觉动作包含用于提高察觉灵敏度的动作或抑制无用动作的动作。例如,用户察觉动作还包含挡住眼睛或堵住耳朵等的遮断希望提高察觉灵敏度的感觉器官以外的感觉器官的行动、通过转身或改变姿势而使面部接近或使耳朵接近等使希望提高察觉灵敏度的感觉器官接近对象的行动等宏观动作。

作为用户的视线或用户注视的位置的检测方法,开发了各种方法。例如,作为该检测方法,公知有根据眼角和虹膜的位置关系进行检测的方法、或根据对用户的眼睛照射从红外线led(lightemittingdiode)输出的红外线而产生的红外线的角膜反射的位置与瞳孔的位置的关系进行检测的方法等。此外,关于有效视野等范围的计测,能够通过阶梯法或概率法进行计测,此外,还能够通过非专利文献2记载的方法进行计测。此外,通过使用被统称作行动识别(activityrecognition)的领域的技术,能够检测伴随用户的宏观动作的用户察觉动作。

<察觉困难空间>

现实世界是三维空间,因此,不一定处于能够察觉在作业中重要的应该察觉的察觉对象(即应该察觉的对象物)的状况。具体而言,有时在隐藏于某个物体的影子中而无法从用户观察的位置存在应该察觉的察觉对象。例如,应该察觉的察觉对象包含要从停放于道路侧方的车辆的影子向车道跑出的孩子等。此外,还存在应该察觉的察觉对象未完全隐藏在物体的影子中的状况。该情况下,应该察觉的察觉对象包含在停放于道路侧方的车辆隐藏头的顶部以外的部分的孩子、或仅能够通过街道树木的间隙视觉辨认的自行车等。这样,将用户完全无法察觉应该察觉的察觉对象的范围(即局部也无法察觉的范围)或能够局部察觉(但是无法察觉一部分)的范围或这两个范围定义为察觉困难空间。与视觉有关的察觉困难空间意味着一般被称作死角空间的空间。预测察觉困难空间中隐藏的察觉对象的存在并适当意识可能从察觉困难空间出现的察觉对象是为了适当推行多个作业而必不可少的用户行动。

<阻碍对抗察觉动作>

一般而言,在用户认知到存在于察觉困难空间中的风险而要察觉潜入该察觉困难空间中的察觉对象的情况下,用户进行与通常的用户察觉动作不同的用户察觉动作,以对抗产生该察觉困难空间的要因即察觉阻碍并以现状以上的程度进行察觉。

通常的用户察觉动作是指使被阻碍的感觉器官的注意力朝向由于察觉阻碍而产生的察觉困难空间。具体的例子是如下的用户察觉动作:在存在由于障碍物而产生的察觉困难空间即死角空间且担心该死角空间的前端(障碍物的影子的空间部分)的情况下,使视线朝向死角空间。另一方面,为了以现状以上的程度察觉该死角空间的前端(障碍物的影子的空间部分),有时产生改变面部的朝向、改变姿态、凝视、如果可能则使产生死角空间的障碍物移动等伴有身体运动的用户察觉动作。相反,注意力集中于特定的感觉器官,因此,有时还产生伴有身体运动减少的用户察觉动作。

除了上述以外,视觉的注意力集中于某个死角空间,因此,有时产生针对除此以外的物体或死角空间的视觉反应延迟或无反应等感觉器官的察觉灵敏度的降低。针对视觉而言,这相当于有效视野或周边视野变窄。这种感觉器官的察觉灵敏度的降低不是仅在被阻碍的察觉的感觉器官中产生,有时也在其他感觉器官中产生。例如,视觉的注意力集中于死角空间,因此,有时产生针对声音的反应的降低即听觉的察觉灵敏度的降低。

如上所述,将要积极察觉察觉困难空间而出现的身体运动或针对当前时点的察觉对象以外的感觉器官的察觉灵敏度的降低等特征性的用户察觉动作称作阻碍对抗察觉动作。

<作业适应性判定装置130的系统结构>

图2中概略地示出实施方式1的作业适应性判定装置130的硬件结构。图2示出嵌入车辆100中的作业适应性判定装置130。如图2所示,车辆100包含周边物体检测装置110、用户动作检测装置120、作业适应性判定装置130、信息提示部140、操作部150和车辆控制部160。

在图2的例子中,将用户驾驶嵌入有作业适应性判定装置130的车辆100称作“作业”,将能够没有事故地推行作业的用户的状态称作“适合于进行作业的状态”即作业适应度较高的状态。一般而言,驾驶所需要信息的大约80%是通过视觉得到的。在实施方式1中,为了简化说明,以用户察觉动作是基于视觉的动作的情况为中心进行说明。但是,本发明不限于视觉,使用视觉以外的感觉也能够进行作业适应性判定。

此外,在实施方式1中,设用户为进行车辆100的驾驶的车辆利用者即驾驶员,但是,本发明的用户不限于驾驶员,例如,通常时不进行驾驶但在例外的状况下代行驾驶的落座于助手席或后部座席的同乘者有时也包含在用户中。此外,在车辆100是自动驾驶车辆的情况下,落座于驾驶席的搭乘者不是驾驶员,但是,落座于驾驶席的搭乘者有时进行驾驶操作的一部分,因此,包含在用户中。

<周边物体检测装置110>

图2所示的周边物体检测装置110由用于收集检测存在于车辆100的周边(例如行进方向前方的附近)的物体所需要的数据的各种装置构成。雷达111对车辆周边照射电波,测定此时的反射波,由此测定存在于车辆100的周边的物体的距离或方向。摄像机112通过计测从车辆100的周边照射(反射)的光,拍摄车辆100的周边,由此取得影像信息。三维(3d)扫描仪113对车辆100的周边照射激光等,测定其反射光,由此测定存在于车辆100的周边的物体的距离或方向。传感器118是用于检测从存在于车辆100的周边的物体发布的各种信号的各种传感器。传感器118例如能够包含用于收集声音的麦克风、用于计测接触状态的接触传感器、用于收集周边的温度数据的温度传感器和红外线热像仪等。

雷达111、摄像机112、3d扫描仪113和传感器118不需要必须全部安装,但是,在车辆100中安装适当的检测器以检测存在于周边的物体。

此外,在实施方式1中,雷达111、摄像机112、3d扫描仪113和传感器118用于检测存在于车辆100的周边的物体,但是,其计测范围不限于车辆的周边,例如,在与用户的周边例如车辆100的内部有关的信息也需要作为周边物体进行处理的情况下,车辆100的内部也可以成为计测对象。

通信装置114经由网络而与服务器171进行通信,用于得到检测存在于车辆100的外部的物体所需要的数据或检测到的物体的类别和属性等附加数据。此外,也可以使用通信装置114,以向服务器171发送由雷达111、摄像机112、3d扫描仪113和传感器118等计测出的数据,向服务器171委托物体的检测处理或检测到的物体的类别和属性等附加数据的检索处理等,接受其结果。此外,服务器171不限于用于提供服务或功能的计算机(信息处理装置)即服务器设备,只要是具有能够与通信装置114进行通信且能够保存数据的装置或信息处理装置的设备即可,没有特别限定。服务器171例如也可以是搭载于周边车辆的信息处理装置或其他信息处理装置。

gps(globalpositioningsystem)115用于接收来自gps卫星172的信号而得知车辆100的当前位置。利用通信装置114对服务器171发送当前位置,当前位置能够用于得到与存在于当前位置周边的建筑物、标识、道路等永续性高的物体有关的信息。

此外,地图数据117存储在车辆100的存储装置中或从服务器171提供,用于将当前位置作为关键字来提取当前位置周边的地图数据。地图数据117对与地球表面的整体或一部分有关的地理状况进行数据化,主要能够用作与周边的建筑物、标识、道路等永续性高的物体有关的信息源之一。

过去数据116存储在车辆100的存储装置中或从服务器171提供,能够包含与车辆100过去行驶时检测到的物体有关的数据或雷达111、摄像机112、3d扫描仪113和传感器118的输出数据等。与过去检测到的物体中的建筑物、标识、道路等永续性高的物体有关的数据与位置数据一起进行记录,由此能够削减检测车外物体的处理负荷。此外,输出数据也同样与位置数据一起进行记录,由此得到相同的效果。

雷达111、摄像机112、3d扫描仪113和传感器118主要用于计测周边车辆、步行者、自行车等移动体的移动状况等,以实时计测车辆100的周边,由此检测周边的物体。另一方面,通信装置114、过去数据116和地图数据117是提供根据过去计测出的结果生成的数据的信息源,用于检测永续性高的建筑物、标识、道路等。但是,通信装置114进行通信的服务器171也可以是由车辆100的周边的车辆计测出的移动体,该情况下,能够实时接收从周边的车辆发送的数据。

<数据的具体例>

图3是示出由周边物体检测装置110收集到的数据的一例的图。图3的例子对摄像机112在某个时点从车辆100拍摄前方而取得的静态图像进行简化。图3的静态图像包含道路401、道路上描绘的白线402、步道的台阶403、步道408、前方车辆404、步行者405、建筑物406、407。在静态图像中,为了进行已映出的物体的提取处理,也可以从通信装置114向服务器171传送该静态图像,进行服务器171具有的图像识别处理,通信装置114接受识别结果。此外,作为其他方法,也可以通过作业适应性判定装置130的信息处理装置181进行用于从静态图像中提取物体的图像识别处理。此外,也可以采用如下方法:使用从gps115得到的位置数据和地图数据117,与存在于周边的设施数据等进行匹配,由此判定建筑物406、407等。另外,由摄像机112得到的数据不限于静态图像数据,也可以是动态图像数据。

图4是示出由周边物体检测装置110收集到的数据的另一例的图。图4的例子示意地示出雷达111或3d扫描仪113或传感器118在某个时点从车辆100检测存在于车辆周边的物体而取得的3d数据。图4的3d数据利用等高线表现存在于周边的物体的高度数据。图4的数据是与拍摄到图3的静态图像时同时得到的数据。图3的数据501的平面对应于图3的道路401。此外,图4的数据502、503、504、505、506分别对应于图3的步道408、前方车辆404、步行者405、建筑物406、407。此外,图3的白线402的高度与道路401大致相同,步道的台阶403的高度与步道408大致相同,因此,在检测精度较低的情况下,不像图4那样区分。如上所述,当得到存在于车辆100的周边的物体的高度数据时,例如,存在与图4的数据503、504、505、506对应的图3的前方车辆404、步行者405、建筑物406、407,由此,能够导出无法视觉辨认它们的里侧的状况(被遮挡部分的状况)的范围,这样的范围成为察觉困难空间。

<用户动作检测装置120>

图2所示的用户动作检测装置120由用于收集检测车辆100内的用户的动作所需要的数据的各种装置构成。用户动作检测装置120例如包含用户摄像机121和用户传感器122。为了检测用户动作,用户摄像机121拍摄用户而取得用户的影像数据。通过对用户的影像数据进行分析,能够检测用户的身体运动等。此外,用户传感器122是摄像机以外的用于检测用户动作的各种传感器。通过使用用户传感器122,能够得到用户摄像机121无法得到的数据,能够检测更加详细且准确的用户动作。例如,通过使用视线检测传感器作为用户传感器122,能够检测用户的视线、用户注视的方向。此外,通过在落座的座席面具有面压传感器作为用户传感器122,能够检测用户的身体运动或心率。此外,通过使用红外线热像仪作为用户传感器122,能够检测用户的表面温度或其变化。另外,用户动作检测装置120也可以仅包含用户摄像机121和用户传感器122中的一方。此外,用户动作检测装置120可以具有多个用户摄像机121,也可以具有多个用户传感器122。

<作业适应性判定装置130>

图1和图2所示的作业适应性判定装置130具有根据由周边物体检测装置110和用户动作检测装置120计测出的各种计测数据进行用户的作业适应性判定的信息处理装置181和存储装置182。信息处理装置181根据计测数据进行用户的作业适应性判定。具体而言,信息处理装置181包含cpu(centralprocessingunits)或gpgpu(general-purposecomputingongraphicsprocessingunits)、fpga(field-programmablegatearray)等处理器。此外,存储装置182包含暂时保存用户进行作业适应性判定所需要的数据的ram(randomaccessmemory)和存储信息处理装置181执行的作业适应性判定程序的存储器等。

在实施方式1中,为了简化说明,说明在作业适应性判定装置130内进行用于进行作业适应性判定的信息处理的情况,但是,如周边物体检测装置110中说明的那样,不需要在作业适应性判定装置130内进行全部与作业适应性判定关联的处理,根据需要,可以采取经由通信装置114在服务器171中进行处理的分散处理的方式。因此,作业适应性判定程序也可以存储在服务器171中。

<信息提示部140>

图2所示的信息提示部140是用于对用户或同乘者提示某些信息的装置。信息提示部140是通过对人的五官进行刺激来提示某些信息的装置。信息提示部140的代表例是提示影像信息的液晶显示器等显示装置。信息提示部140能够包含hud(head-updisplay)、提示声音信息的扬声器、使用各种致动器对人的触觉进行刺激的触觉显示器、放出香味而对人的嗅觉进行刺激的嗅觉显示器等。

<操作部150>

图2所示的操作部150是进行用于供用户或同乘者输入用户指示的操作的操作装置。操作部150是用于进行车辆100和安装于车辆100的各种装置的操作的装置。操作部150例如能够包含方向盘、制动踏板、油门踏板等用于供用户实施驾驶车辆的作业的驾驶控制所需要的驾驶操作部。驾驶操作部送出针对后述车辆控制部160的控制指示。此外,操作部150能够包含触摸面板或遥控器等信息输入操作部。信息输入操作部能够送出针对信息提示部140或各种的信息处理装置181的控制指示。

<车辆控制部160>

图2所示的车辆控制部160是用于进行车辆整体的控制以使车辆100进行动作的控制装置。车辆控制部160根据用户经由操作部150进行的操作的内容对车辆100的动作进行控制。

《1-3》动作

<算法>

图5中示出表示作业适应性判定装置130进行的基本处理的时序。当车辆100起动后,作业适应性判定装置130执行初始化处理201。初始化处理201是为了使作业适应性判定装置130适当执行动作而被请求的处理。

当完成初始化处理201后,作业适应性判定装置130执行主循环处理202。主循环处理202是在车辆100的动作结束之前反复进行的内部处理。

当车辆100的动作结束用的处理开始后,产生主循环处理202的中断请求,以该中断请求为触发,作业适应性判定装置130中断主循环处理202,执行结束处理203。作业适应性判定装置130在结束处理中准备车辆100的下次起动,使作业适应性判定装置130返回能够初始化的状态。

<计测数据等待处理301>

图6是详细示出实施方式1中的主循环处理202的内部处理的时序图。在主循环处理202中,首先,进行计测数据等待处理301。在计测数据等待处理301中,作业适应性判定装置130请求周边物体检测装置110和用户动作检测装置120提供各自的计测数据,等待被提供该计测数据。但是,也可以仅初次这1次执行计测数据的提供请求,然后,在流处理中,周边物体检测装置110和用户动作检测装置120在存储装置182上的确定区域中写入计测数据,由此对作业适应性判定装置130通知事件。

<用户察觉动作检测处理305>

在从用户动作检测装置120提供了用户动作计测数据的情况下,作业适应性判定装置130进行用户动作计测数据取得处理304,取得用户动作计测数据。然后,在用户察觉动作检测处理305中检测用户正在进行什么样的用户察觉动作。在实施方式1中,例示检测基于视觉的用户察觉动作的情况。在安装有视线检测传感器作为用户动作检测装置120的用户传感器122的情况下,在用户动作计测数据取得处理304中,作业适应性判定装置130能够取得计测时点的用户的视点位置、视线方向、眼睛的焦点位置等。此外,作业适应性判定装置130能够从用户动作检测装置120的用户摄像机121取得计测时点的用户的姿态移动的影像。作业适应性判定装置130根据这些取得数据进行用户察觉动作检测处理305,能够取得用户的视点位置、视线方向、焦点位置等瞬间的用户察觉动作的状况,从该时序数据中导出注视方向和视野范围,能够导出某个时间窗口内的用户的注意力和关心状况。

用户察觉动作检测处理305的检测结果可以保存在存储装置182中,在其他处理过程中也能够参照。其他处理也同样可以将处理结果保存在存储装置182中,在其他处理过程中也能够参照。

一般而言,在设“l”和“m”为正整数、“*”为l或m以下的正整数时,在用户察觉动作检测处理305中检测到的用户察觉动作b能够通过在用户动作计测数据取得处理304中取得的数据dp*的集合{dp1,dp2,…,dpl}与在用户察觉动作检测处理305中检测到的结果bp*的集合{bp1,bp2,…,bpm}的积集合即{dp1,dp2,…,dpl}∩{bp1、bp2、…、bpm}表现。以后,为了简化表现,简单地将dp*表现为bp*,表现为b={bp1,bp2,…,bpm}。

在计测数据等待处理301中被提供来自周边物体检测装置110的计测数据的情况下,进行周边物体计测数据取得处理302,作业适应性判定装置130取得计测数据。然后,在察觉困难空间检测处理303中,检测用户难以察觉的察觉困难空间。

<察觉困难空间的基本判定处理>

图7是示出针对基于视觉的察觉的具体的察觉困难空间检测处理的图。图7示出如下状况:通过进行针对用户601的用户察觉动作检测处理305,导出用户601的视点位置602,由周边物体检测装置110检测周边物体603。此时,能够导出以用户的视点位置602为基准从观察到的周边物体603的外周到前端的空间(被周边物体的影子遮挡的空间)是周边物体603造成的察觉困难空间606。图7中,为了简化说明,以二维进行表现。现实世界的空间是三维的,但是,图7的说明也能够应用于三维。此外,在存在多个周边物体的状况下,如果能对各周边物体进行相同的处理,则能够导出察觉困难空间。此外,在图7中,关于视觉进行了记述,但是,本发明不限于视觉,此外,不限于单一感觉器官。例如,也可以不是关于视觉而是关于听觉求出察觉困难空间,此外,还可以关于视觉和听觉求出察觉困难空间。

<察觉困难空间的重要度判定处理>

在图6所示的察觉困难空间检测处理303中,在检测察觉困难空间的基础上,还能够判定检测到的察觉困难空间(死角空间)的重要度。

作为重要度的尺度,存在“察觉困难空间的大小”。察觉困难空间的大小能够视为表示在该察觉困难空间中容易隐藏多少察觉对象的指标。这里,察觉困难空间越大,则重要度越高。

作为重要度的另一个尺度,存在“察觉困难空间与用户或车辆之间的距离”。该距离能够视为表示在该察觉困难空间中隐藏的察觉对象露出时例如用于避免与察觉对象接触的犹豫的指标。这里,距离越短,则重要度越高。

作为重要度的另一个尺度,存在“察觉困难空间的大小的变化量”。能够视为如果该大小的变化量较大则随着时间经过而成为察觉困难的范围较大的指标。这里,察觉困难空间的大小的变化量越大,则重要度越高。

作为重要度的另一个尺度,存在“察觉困难空间的移动速度”或“移动方向”或“移动加速度”。“移动速度”或“移动方向”或“移动加速度”能够视为表示该察觉困难空间中隐藏的察觉对象露出时的躲避犹豫的指标。这里,在察觉困难空间接近的方向的移动的情况下,移动速度越快以及移动速度的增加率越大,则重要度越高。

此外,作为重要度的另一个尺度,存在察觉困难空间内的难以察觉程度。这是因为,如果难以察觉程度较低,则能够以较少的劳力发现隐藏的察觉对象,但是,如果程度较高,则该劳力成比例增多。例如,关于由于被街道树木阻碍察觉而产生的察觉困难空间,能够从街道树木的间隙得知街道树木的影子的空间,因此,与如由于是卡车而产生的察觉困难空间那样完全无法得知卡车的影子的空间的情况相比,难度较低。这里,察觉困难空间内的察觉越难,则重要度越高。

此外,在作为阻碍察觉察觉困难空间的要因的物体的显著性低于平均的情况下,用户反射性观察作为要因的物体的概率较低,因此,注意到存在于其前端(作为要因的物体的影子的区域)的察觉困难空间的可能性也较低。因此,这种情况下,能够解释成察觉困难空间的重要性较高。

关于察觉困难空间的重要度的程度,可以根据阻碍察觉的物体的类别预先确定,也可以根据由周边物体检测装置110计测出的物体的计测数据判定有无间隙或透过性、显著性,使用这些值动态进行计算。

如上所述,使用察觉困难空间自身的特性、根据察觉困难空间与用户或车辆等其他要素之间的关系导出的特性,计算察觉困难空间的重要度。此外,不是仅通过唯一的尺度计算察觉困难空间的重要度,也可以使用多个尺度(通过上述重要度的尺度的2个以上的组合),使用分别对其乘以权重系数而得到的值进行计算。

<考虑到察觉困难空间与的作业之间的关联的重要度判定处理>

进而,在察觉困难空间的判定处理和重要度判定处理中,还能够考虑用户当前应该推行的作业的内容进行判定处理。例如,实施方式1中的作业是车辆的驾驶,需要认知可能与行驶中的车辆碰撞的周边物体。一般而言,可能碰撞的周边物体是在与车辆100正在行驶的道路同等高度的平面中停止或移动的物体,关于存在于某一定以上的高度的物体,其本身与车辆碰撞的危险性较低,并且,在由于该物体而产生的察觉困难空间中隐藏一般的交通上的物体的可能性较低。

此外,同样,关于由于从车辆100的位置分开一定的距离以上的位置的物体而产生的察觉困难空间、或相对于由于存在于一定的距离内的物体而产生的察觉困难空间从车辆100的位置分开一定以上的距离的空间,为了躲避从此处出现的潜在物体,存在充分距离的犹豫,因此,碰撞的危险性较低。

进而,即使是存在于所述高度和距离的范围内的察觉困难空间,在察觉困难空间与车辆100之间存在妨碍物体移动的物体的情况下,该察觉困难空间内潜在(隐藏)的物体朝向车辆移动的可能性也较低。例示具体状况时,关于由于无间断的墙而产生的察觉困难空间,被该墙隐藏在其前端的人或车辆通过墙移动的可能性较低。相反,在道路侧方连续停车中的车辆的列中,一般产生人能够通过的程度的间隙,因此,该车辆列存在间断,因此,由于该车辆列而产生的察觉困难空间中隐藏的物体朝向车辆100移动的可能性较高。

图8是示出察觉困难空间的重要度的判定方法的一例的图。这里,说明用户701以视点位置702为基准正在驾驶车辆的情况。在车辆的周边存在周边物体703。由于周边物体703而产生察觉困难空间710。作为用于计算察觉困难空间710的重要度的参数,使用视点位置702与周边物体703之间的最短距离711。察觉困难空间710的重要度与最短距离711成反比例,或者与最短距离711具有负相关。即,用户701越接近周边物体703,则最短距离711越短,因此,察觉困难空间710的重要度越高。

此外,作为用于计算察觉困难空间710的重要度的另一个参数,存在察觉困难空间710的大小。察觉困难空间710的大小的尺度例如是察觉困难空间710的最接近用户701的一侧的表面的面积712、或察觉困难空间710的从最接近用户701的一侧的表面到与用户701分开一定距离707的面之间包含的察觉困难空间710的部分709的体积(图9中的网格区域的体积)。在使用这些值计算察觉困难空间710的重要度的情况下,该重要度与面积712或图9中的网格区域的体积成比例或具有正相关。

图9是示出察觉困难空间710的重要度的判定方法的另一例的图。在图9中,相对于图8追加有周边物体801和信号灯802。图9示出如下情况:考虑用户701的作业的内容,察觉困难空间710中的存在于高度803之上的部分(薄网格区域)降低重要度,此外,察觉困难空间710中的位于比距离707远的部分(没有网格的区域)忽略。

首先,在考虑距离707来思考察觉困难空间的情况下,周边物体801和信号灯802存在于比距离707远的位置,因此,由于它们而产生的察觉困难空间可忽略。另一方面,周边物体703存在于比距离707近的位置,因此,判定为存在由于周边物体703而产生的察觉困难空间。进而,当考虑与高度803有关的条件时,察觉困难空间被分割成2种空间部分,即存在于高度803以下的范围内的空间部分(察觉困难空间)805以及存在于比高度803高的范围内的空间部分(察觉困难空间)804。此时,判定为察觉困难空间804的重要度是比察觉困难空间805的重要度低的值。当用户701前进而使信号灯802进入距离707的范围内时,由于信号灯802而产生察觉困难空间。

在图9的例子中,设定有较低地设定比高度803高的范围的察觉困难空间的重要度且忽略存在于比距离707远的位置的察觉困难空间的条件,但是,本发明不限于这种条件。限制察觉困难空间的大小的条件也可以是考虑到作业内容的其他条件。

如上所述,即使存在察觉困难空间,在考虑到作业内容的情况下,也判断为对于作业来说不会或几乎不会存在障碍或危险性,有时忽略察觉困难空间的一部分的存在或降低察觉困难空间的一部分的重要度是妥当的。相反,在察觉困难空间的一部分对于作业来说障碍较大的情况下或危险性较高的情况下,有时提高察觉困难空间的一部分的重要度是妥当的。

由此,最初不考虑作业内容,在检测到察觉困难空间后,根据是否满足由作业内容规定的条件,进行检测到的察觉困难空间的过滤或重视,由此能够实现考虑作业内容的察觉困难空间的判定和重要度判定的处理。此时的由作业内容规定的条件不限于从道路面起的高度、从车辆起的距离、有无阻碍察觉困难空间内的物体的出现的物体,也可以根据作业内容使用其他条件。

以上说明的察觉困难空间检测处理303(图6)中检测到的察觉困难空间的重要度能够总结如下。

针对某个察觉困难空间x,在将基于察觉困难空间x自身的形状和大小、察觉困难空间x与用户驾驶的车辆之间的距离、作为它们的时序变化的变化量等察觉困难空间x自身具有的特性gxi的权重记作w(gxi)(i为正整数),将基于作为察觉阻碍要因的物体的影响即透过度或间隙的比例、作为该察觉阻碍要因的物体具有的显著性等作为要因的物体的察觉特性pxi的权重记作w(pxi),将基于考虑到用户推行的作业内容的条件cxi的权重记作w(cxi)时,察觉困难空间x的重要度wx通过下式表现。

【数学式1】

wx=∑iw(gxi)+∑iw(pxi)+∑iw(cxi)式1

此外,此时的察觉困难空间x能够表现成自身具有的特性的集合gx={gx1,gx2,…,gxn}。

这里,各权重w(gxi)、w(pxi)、w(cxi)利用以相互独立为前提的合计值表现重要度wx,但是,重要度wx的计算不限于式1。也可以使用上述各特性等计算重要度wx。例如,考虑到用户推行的作业内容的条件c*i在满足某个固定条件的情况下,如上所述丢弃该察觉困难空间。该情况下,例如,在设针对条件c*i的阈值为tc*i的情况下,例如,能够通过以下的式2、3表现。

【数学式2】

<作业适应度计算处理306>

在图6的作业适应度计算处理306中,根据察觉困难空间检测处理303中检测到的察觉困难空间及其重要度、用户察觉动作检测处理305中检测到的用户察觉动作,计算表示该时点的用户能够以何种程度适当推行作业的作业适应度。

在实施方式1中,例示是否能够预测视觉上的察觉困难空间中隐藏的察觉对象作为作业适应性的尺度。

<基本的作业适应度计算处理的例子>

在适当预测出上述察觉对象的情况下,在该察觉困难空间与用户察觉动作之间产生相关性。具体而言,有在察觉困难空间与用户的视线向量相交、察觉困难空间的移动向量与用户的视线移动向量相似、在察觉困难空间具有的特性中的1个以上的特性产生急剧变化时以用户的视线向量与该察觉困难空间相交的方式变化等。

另外,也可以使用针对察觉困难空间根据视线移动的次数或频度、视线的滞留时间的增减求出相关性等其他方法。

设作为对象的数据为时序数据,通过使用相关系数等,能够以算术方式导出这种相关性。关于针对某个察觉困难空间x的相关性crx,能够使用该察觉困难空间x的特性gx和用户察觉动作b,如下式4那样表现。

【数学式3】

crx=∑iαifi(gx,b)式4

这里,“fi()”是计算表现基于所述察觉困难空间x与用户察觉动作b之间的某个基准i的相关性等关系的值的函数,αi是针对基准i的权重。此外,用户察觉动作b不仅可以是某个特定时点的用户察觉动作,也可以设某个时序窗口的范围的时序数据为用户察觉动作b。察觉困难空间x的特性gx也是同样的。

crx的值的大小能够视为表示用户意识到要以何种程度察觉察觉困难空间x的尺度。例如,能够解释成如果是较大的值,则通过该察觉困难空间x判断的作业适应度较高,如果是较小的值,则作业适应度较低。此外,该时点的全部察觉困难空间的相关性crx的平均值如下式5所示。

【数学式4】

cr=∑icrx/n式5

这是表示意识到该时点的要详细察觉用户察觉困难空间的尺度。这里,n是该时点检测到的察觉困难空间的个数(正整数)。

<使用察觉困难空间的重要度的作业适应度计算处理的例子>

此外,还能够考虑根据察觉困难空间计算出的各察觉困难空间的重要度求出crx,能够如下式6那样定式化。

【数学式5】

crx=∑iαiwxfi(g,b)式6

在作业适应度计算处理306中,计算此前说明的crx或cr作为作业适应度之一。至少使用该计算结果,进行判定用户的作业适应度的用户作业适应性判定处理307,判定该时点的用户的作业适应性。在用户作业适应性判定处理307完成后,再次返回计测数据等待处理301,反复进行处理。此外,当车辆100的结束处理开始后,即使进行了图6的某个处理,也迅速进行中断处理,能够中断主循环处理202。

<包含阻碍对抗察觉动作的情况>

此前说明的方法不限于某个通常的用户察觉动作。如上所述,在用户察觉动作中存在积极尝试察觉察觉困难空间的阻碍对抗察觉动作,还能够考虑该特性进行作业适应度计算。该情况下,作为用户动作计测数据取得处理304中取得的数据,除了与视觉有关的数据以外,还包含与身体运动有关的数据进行取得,在用户察觉动作检测处理305中,根据与身体运动有关的数据,通过身体运动的增减与通常的用户察觉动作的相关关系,判定是否正在进行阻碍对抗察觉动作,以及在正在进行的情况下判定其程度。在用户察觉动作检测处理305中检测与身体运动关联的阻碍对抗察觉动作的程度bc,与一起检测到的用户察觉动作b成为一组,附加阻碍对抗察觉动作的程度bc而转交给作业适应度计算处理306。

此外,关于针对感觉器官的反应灵敏度的变化,能够根据当前用户注意的察觉困难空间以外的察觉困难空间或其他周边环境和针对它们的变化的各感觉器官中的反应时间等,计算该感觉器官的察觉灵敏度降低的程度。在用户察觉动作检测处理305中检测伴有针对感觉器官的反应灵敏度的变化的阻碍对抗察觉动作的程度sc,与一起检测到的用户察觉动作b或伴有身体运动变化的阻碍对抗察觉动作的程度bc成为一组,转交给作业适应度计算处理306。

对作业适应度计算处理306中使用sc和bc的作业适应度的计算方法进行说明。sc和bc与此时的用户察觉动作b成为一组,能够根据用户察觉动作b判别是朝向哪个察觉困难空间x的阻碍对抗察觉动作。例如,如果是视觉,则利用视线向量进行判别,如果是听觉,则利用频率范围等进行判别。更一般地表现阻碍对抗察觉动作的对象时,能够表现成概率,即能够表现成察觉困难空间x是阻碍对抗察觉动作的对象的概率值cpx。

针对某个察觉困难空间x的相关性crx能够通过下式7表现。

【数学式6】

crx=cw(b,sc,bc,gx)·cpx∑iαifi(gx,b)+cc(b,sc,bc,gx)

式7

这里,cw(b、sc、bc、gx)和cc(b、sc、bc、gx)分别是阻碍对抗察觉动作的程度对相关性σiαifi(gx、b)造成影响时的权重和截距。具体而言,如果该阻碍对抗察觉动作朝向察觉困难空间x,则权重或截距成为较大的值,相反,如果不朝向察觉困难空间x,则权重或截距成为较小的值,根据情况而成为负值。此外,不需要同时应用权重或截距,可以仅应用一方,也可以不应用任何一方。这些权重或截距可以根据某个确定的表来决定,也可以构筑某个模型,每次基于模型进行计算。此外,也可以不始终考虑阻碍对抗察觉动作,在存在至少1个以上的察觉困难空间的情况下考虑阻碍对抗察觉动作计算相关性crx,削减处理负荷。

<考虑到作业的情况>

进一步对作业适应度计算的方法进行说明。根据用户应该推行的作业内容,针对察觉困难空间的察觉的意识有时出现偏差。在实施方式1的车辆驾驶中考虑应该具有从死角空间飞出的意识这一点时,不需要察觉全部察觉困难空间,如果限于察觉困难空间,则应该偏重察觉其边界线的周边。

使用图10对考虑到作业内容的作业适应度计算的方法进行说明。图10是示出以用户601的视点位置602为基点存在由于周边物体603而产生的察觉困难空间606的状况的图。此时,一般而言,周边物体603很难通过物体,因此,作为察觉对象的人等通过该周边物体603从包含连接点611、点612的线段的平面出现的可能性较低。另一方面,作为察觉对象的人等经由点611或点612附近出现的可能性较高。即,针对察觉困难空间,应该意识到察觉的程度(察觉重要度)不是均匀的,根据该作业内容而产生偏差。

图11是示出针对包含周边物体603上的点612到点611的线段的平面中的各位置的察觉重要度的一例的图。在该例子中,点611附近最近,重要度较高,点612附近成为次高的重要度。该情况下,在视线朝向点611或点612附近的情况下,与视线朝向点611与点612之间的情况相比,较高地计算作业适应度,由此,能够考虑到作业内容来计算作业适应度。这能够视为计算相关性crx时的基准i之一。

使用图12进一步对考虑到作业内容的作业适应度计算方法进行说明。图12是示出在图10中的周边物体603是其他车辆的情况下以用户601的视点位置602为基点存在由于周边物体603而产生的察觉困难空间606的状况的图。根据从周边物体检测装置110取得的数据,使用机器学习等算法,进行数据的分类,由此能够实现周边物体603的属性即用于判别其他车辆的信息。其他车辆603在侧面具有门621、622,搭乘者可能从其他车辆603内部出来。因此,与图10的状况不同,不仅应该使视线朝向点611、612附近,还应该使视线朝向从门621、622投影到连接线点611、612的线段的连接点623、624的线段、连接点625、626的线段附近。

图13是示出在图12的状况下针对包含周边物体603上的点612到点611的线段的平面中的各位置的察觉重要度的一例的图。在该例子中,在连接相当于门621、622的点623、624的线段以及连接点625、626的线段中,察觉重要度较高。在该例子中,均示出从接近用户601的一侧的点626、624朝向远离用户601的一侧的点625、623单调减少的例子,但是,这是由于其他车辆603朝向与用户601朝向的方向相同的方向停车,因此,门621、622成为接近用户的一侧打开的构造,因此,与其对应的点626、624的察觉重要度较高。

《1-4》效果

如以上说明的那样,在实施方式1的作业适应性判定装置130、作业适应性判定方法和作业适应性判定程序中,能够针对用户以何种程度意识到阻碍了推行作业所需要的察觉的空间即察觉困难空间,根据与用户的察觉行动之间的关系性,判定用户在该时点是否处于适合推行该作业的状况。此时,察觉困难空间无法察觉其自身,因此,区分容易是基于其自身的显著性的反射性反应,还是针对察觉困难的危险预知等作业推行上的认知结果的反应。因此,能够准确地判定表示用户处于以何种程度适合进行作业的状态的作业适应度,而不对用户造成负担。

《2》实施方式2

图14是详细示出图5的主循环处理202的另一个内部处理的时序图。在图14中,对与图6相同的处理标注相同标号。在实施方式2中,以与实施方式1不同之处为中心进行说明。图14所示的内部处理与图6(实施方式1)所示的内部处理的不同之处在于,追加有察觉对象检测处理311和用户察觉对象判定处理312。此外,实施方式2的作业适应性判定装置与实施方式1的不同之处在于,具有执行察觉对象检测处理311的察觉对象检测部134(图1)和进行用户察觉对象判定处理312的用户察觉对象判定处理部135(图1)。通过追加这些处理,在实施方式2的作业适应性判定装置、作业适应性判定方法和作业适应性判定程序中,检测存在于用户周边的察觉对象,判定检测到的察觉对象中的哪个对象物被用户察觉,使用与被察觉的对象物有关的信息(判定结果)进行用户的作业适应性判定。除了这一点以外,实施方式1与实施方式2相同。另外,在说明实施方式2时,也参照图1和图2。

在图14所示的察觉对象检测处理311中,根据周边物体计测数据取得处理302中取得的与周边物体有关的信息,检测每当用户进行作业时应该察觉的对象物。

图15是用于说明图14的察觉对象检测处理311的图。作为用户701周边的对象物,存在道路901、白线902、步道的台阶903、前方行驶中的车辆904、步道步行中的步行者905,除此之外,还存在天空、云、鸟、飞机等多种周边物体。周边物体检测装置110不区分地取得这些周边的对象物的数据作为一连串的数据。

通常,在用户701推行作业时,用户701不需要识别全部周边物体,识别大量周边物体中的一部分周边物体即可。作为用户701的驾驶员应该识别的周边物体例如是白线902、步道的台阶903、前方行驶中的车辆904、步行者905。因此,在图14的察觉对象检测处理311中,通过过滤来去除道路901等不需要识别的周边物体的信息。根据从周边物体检测装置110取得的周边物体的检测数据,使用基于机器学习等已知算法的物体识别技术等,由此能够执行该过滤。作为该过滤的结果,能够提取在过滤的时点应该识别(察觉)的对象物的种类、形状、位置、尺寸等对象物的属性信息。此外,也可以按照时序取得检测到的对象物的属性信息,对检测时刻不同的属性信息进行比较,由此提取属性信息的变化量。

在图14中的用户察觉对象判定处理312中,根据察觉对象检测处理311的检测结果即应该察觉的对象物的属性信息的列表和用户察觉动作检测处理305中检测到的用户察觉动作的信息,判定应该察觉的对象物被用户察觉的概率。

图16是用于说明图14的用户察觉对象判定处理312的图。图16是针对图15重叠显示察觉对象检测处理311中检测到的视线的目的地位置(对象物上的位置)的移动时序数据911的图。视线的目的地位置的移动时序数据911表示以点912为起点下次检测到线段的变化点(线段弯曲的部位)的视线的目的地位置,点913是最新的视线的目的地位置。该情况下,示出视觉上的注意力从白线902起按照步道的台阶903、白线902、步道的台阶903、步行者905、步道的台阶903依次移动。这种情况下,例如,能够解释成白线902、步道的台阶903、步行者905被用户认知,另一方面,能够解释成前方行驶车辆904未被用户认知。

此外,作为认知程度,能够使用考虑到视线的维持时间或从视线离开起的经过时间或这双方的加权系数。具体而言,在将设视线朝向某个察觉对象y的次数、或视线朝向该察觉对象y的维持时间、或从视线离开起的经过时间、或它们中的若干个的组合等与用户的察觉行动关联的参数为zi时的各参数的权重表现成w(zi)的情况下,用户是否认知到察觉对象y的尺度p(y)能够通过下式8表现。

【数学式7】

p(y)=∑iw(zi)式8

使用用户的视线朝向察觉对象的次数作为与用户的察觉对象关联的参数来计算用户是否认知到图16中的各察觉对象的尺度的例子如下所述。

p(白线902)=5

p(步道的台阶903)=6

p(前方行驶车辆904)=0

p(步行者905)=4

该情况下,判断为步道的台阶903是察觉程度最高的对象(即认知的尺度大)。

作为另一个参数,例如在设视线连续朝向的次数的最大值为参数的情况下,计算用户是否认知到图16中的各察觉对象的尺度的例子如下所述。

p(白线902)=4

p(步道的台阶903)=4

p(前方行驶车辆904)=0

p(步行者905)=4

该情况下,除了前方行驶车辆904以外,判断为察觉程度为相同等级(即认知的尺度为相同程度)。

与用户的察觉行动有关的参数不限于上述参数,也可以定义除此以外的参数。

在实施方式2中,使用用户察觉对象判定处理312、察觉困难空间检测处理303、用户察觉动作检测处理305的输出,进行作业适应度计算处理306。在上述实施方式1中说明了如下例子:使用察觉困难空间检测处理303和用户察觉动作检测处理305求出察觉困难空间x与用户察觉动作的相关性crx,根据这些计算作业适应度。与此相对,在实施方式2中,进一步使用用户察觉对象判定处理312的输出,计算求出作业适应度的指标。在用户察觉对象判定处理312中,按照每个周边物体,输出基于用户以何种程度认识周边物体的尺度的值。

例如,在将与物体u有关的尺度表现为p(u)时,能够解释p(u)的合计值v=σup(u)是表示用户以何种程度认识该时点存在于周边的全部物体的值。该合计值v是作业适应度的一例。该计算例只不过是一例,也可以采用其他计算方法。例如,还能够根据物体u的类别或物体u的类别以外的特性对尺度p(u)进行加权,设加权后的合计值为作业适应度。

此外,在物体u存在于某个察觉困难空间的周边(附近)的情况下,关于该物体u,物体u的一部分有时隐藏在该察觉困难空间中。此外,另一物体y未存在于紧前方,但是有时从某个察觉困难空间的周边出现。这样,能够解释成分布于察觉困难空间周边的物体是优先于除此以外的物体的察觉对象,该情况下,能够增大尺度p(u)的加权,设加权后的合计值为作业适应度。

如以上说明的那样,在实施方式2的作业适应性判定装置、作业适应性判定方法和作业适应性判定程序中,能够更加准确地判定表示用户处于以何种程度适合进行作业的状态的作业适应度,而不对用户造成负担。

《3》变形例

在上述实施方式1、2中,说明了用户是汽车驾驶员的情况,但是,用户驾驶的车辆也可以是汽车以外的车辆。车辆例如也可以是自行车、摩托车、电车等移动体。此外,能够应用本发明的作业不限于移动体的操作,也可以是移动体的操作以外的作业,例如设备或机械的操作等。例如,在设使用机床的工作作业为用户应该进行的作业的情况下,设切屑为察觉对象,设微细的切屑的飞散区域为察觉困难空间,能够分配切屑的原材料或尺寸作为察觉困难空间的重要度的参数。该情况下,例如,能够为了对抗基于微细度的观察困难度而在用户接触机床或其周边之前将目视确认视为阻碍对抗察觉动作,能够设该动作的次数、频度、维持时间或它们的组合等为阻碍对抗察觉动作的程度。

此外,在上述实施方式1、2中,说明了使用通过视觉进行察觉的察觉对象、难以进行基于视觉的察觉的察觉困难空间的例子,但是,本发明中利用的察觉不限于视觉,还能够应用于听觉、触觉、味觉等其他感觉。例如,在设使用机床的工作作业为用户应该进行的作业的情况下,设用户操作的机械的异常声为察觉对象,设除此以外的声音例如机械正常动作时的动作声、其他作业员使用的机械发出的声音、除此以外的声音等为察觉困难空间,能够设察觉困难空间的重要度为与机械的异常声之间的相似度或音量、声音产生源的方向或它们的组合等。该情况下,例如,作为阻碍对抗察觉动作,与察觉困难空间的重要度相关,能够设用户的作业动作停止或针对机床及其周边的目视确认等为阻碍对抗察觉动作,能够设该动作的次数、频度、维持时间等为阻碍对抗察觉动作的程度。

标号说明

100:车辆;110:周边物体检测装置;120:用户动作检测装置;130:作业适应性判定装置;131:用户察觉动作检测部;132:察觉困难空间检测部;133:作业适应度计算部;134:察觉对象检测部;140:信息提示部;181:信息处理装置;182:存储装置;601、701:用户;603、703:周边物体。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1