信息处理装置、移动装置、信息处理系统、方法和程序与流程

文档序号:23068169发布日期:2020-11-25 17:55阅读:137来源:国知局
信息处理装置、移动装置、信息处理系统、方法和程序与流程

本公开涉及信息处理装置、移动装置、信息处理系统、方法和程序。更具体地,本公开涉及用于执行自动驾驶和手动驾驶的切换控制的信息处理装置、移动装置、信息处理系统、方法和程序。



背景技术:

近年来,为了提高车辆行驶的安全性、减轻驾驶员的负担等,正在开发无需驾驶员对车辆的行驶和转向操作而自动地控制车辆的行驶并支持行驶的自动转向系统。将来,当能够自动执行车辆的全部行驶控制时,期望自动驾驶模式下使用车辆的用户在车辆的自动驾驶期间免于任何驾驶和转向操作,并且期望允许该用户相对于作为原始的主要任务的转向操作执行另一个次要任务。然而,在原本参与驾驶的驾驶员完全退出车辆的控制回路并且将车辆的控制留给车辆的自动驾驶系统的情况下,在驾驶员退出控制回路时未执行对于驾驶员的驾驶而言所必须的对周围状况的掌握,导致对于驾驶员进行驾驶和转向操作而言所需要的对周围状况的掌握和识别的完全断开。

如果驾驶员使用能够进行车辆的自动驾驶的系统开始自动转向行驶,则在继续进行由该系统控制的行驶或者出现需要驾驶员进行恢复的状况的情况下,需要使驾驶员安全地接管车辆,因为驾驶员离开了对转向所需的周围环境进行识别的原始主要任务操作,但是驾驶员的行驶所需的状况掌握和操作能力不一定在有限的时间内恢复。即,一旦车辆使用自动转向系统自动进入行驶状态,此后针对车辆的安全性,系统可以采取的措施受到限制,诸如保持可以被自动转向系统识别和应对的周围事件、在系统安全地发挥功能时驾驶员而非自动转向系统正常掌握道路行驶状况并接管行驶和转向控制、或者系统暂停车辆的行驶而紧急停车。

在这种情况下,当出现驾驶员并非主动接管转向控制的状况时,当在行驶路线上车辆接近驾驶员需要接管转向控制的区间时,系统为了安全起见而紧急停车。然而,如果车辆在道路上紧急停车或减速,则可能导致道路上的允许交通量出现瓶颈,这可能导致社会基础设施的基本功能的恶化(诸如拥堵),并且从社会活动的角度来看,这不能说是一种期望的使用模式。

换句话说,为了使自动驾驶系统在社会上广泛可用并且在不会负面影响社会的基本功能的情况下引入自动驾驶系统,可以说,在驾驶员在自动驾驶状态下开始行驶的车辆中,需要该系统具有使驾驶员能够近乎可靠且准确地恢复控制的功能。

自动驾驶系统不能将车辆的控制交还给驾驶员,除非该系统可以关于是否可以使驾驶员安全地接管车辆的控制而确定驾驶员的恢复驾驶的能力。因此,在密闭空间中充分使用自动驾驶的使用模式被认为是一种使用方法。同时,汽车的优点是汽车可以从任意地点自由移动到任何不同地点。如果以这样的使用模式引入自动驾驶,则在存在自动驾驶无法通过的区间的情况下,驾驶员需要从自动驾驶进行恢复。即使在驾驶员难以进行恢复的情况下将车辆靠边停到路肩等,也可能如上所述导致交通拥堵。

实际上,即使将自动驾驶引入到普通车辆行驶的社会基础设施中,从社会允许的基础设施投资的观点出发,也将需要驾驶员干预的区间和能够进行自动驾驶的区间交替混合的状态假设为目前的道路基础设施。特别地,在初始引入时段中,假设各区间斑状地交替出现在整个行程区间中的引入模式。因此,为了使驾驶员能够在驾驶员使用能够自动驾驶的车辆时顺利地执行次要任务,需要在适当的定时对驾驶员给出驾驶恢复通知。

例如,专利文献1公开了一种针对驾驶员自己的车辆计划行驶的道路上的多个危险显示危险级别的技术。此外,例如,专利文献2公开了一种在自动驾驶期间使驾驶员开始手动驾驶的情况下在移动终端的屏幕上对关注该移动终端的驾驶员显示并通知该驾驶员处于开始手动驾驶的情况的技术。这些已知技术是针对可以作为行驶环境作为地图信息而预先获取的已知预定点的统一通知方法。

引文列表

专利文献

专利文献1:日本专利申请公开号2016-139204

专利文献2:日本专利申请公开号2016-090274



技术实现要素:

本发明要解决的问题

随着用于自动驾驶的车辆周围环境识别技术的成熟,以及引入了以高密度且不断地更新车辆行驶的道路的行驶地图信息的所谓的局部动态地图(localdynamicmap,ldm),在现实世界空间中使用车辆的自动驾驶的势头增长。当然,随着今天这些实验技术的进步,大量实验表明,已经存在使得车辆能够在普通道路上自动行驶的技术,并且车辆自己行驶是可能的。

支持自动驾驶车辆在市区和高速公路上行驶的技术之一是局部动态地图(ldm)。寻求提供局部动态地图(ldm),该局部动态地图由分层的多个层的信息组构成,并且通过例如将基于中长期更新的国土地理院(geographicalsurveyinstitute)的地图等生成的原始地图信息以及基于该原始地图信息周期性地更新和校正的固定地图信息用于路线计划和路线导航,而且还使用诸如关于实际驾驶的固定环境参考基础设施的层信息以及道路限制信息(诸如道路相关标志和交通信号灯)这样的高密度实况信息,来提供诸如周围行人、分类和预测的移动方向的信息。然而,仅仅将ldm地图信息不断地提供给能够控制自动驾驶的车辆并不能保证通过自动驾驶在行程的所有区间中行驶。此外,存在作为ldm无法及时更新信息并且可能需要驾驶员基于无法从ldm获得的实际状况来恢复驾驶和转向的一些情况。

ldm不像铁路车辆的轨道那样依靠行程的整个过程的信息来保证通过自动驾驶进行行驶。于是,在持续的不断更新中会出现缺陷,并且会发生暂时的数据过时。而且,存在即使提供了ldm信息,由于意外事件(诸如掉落的物体、地震或起雾),车辆也无法以自动驾驶模式行驶的一些情况。此外,即使不是极端情况并且甚至在组织了使用当今的技术由任意两点确定的自动驾驶的行程的情况下,也可能存在可以进行自动驾驶的区间、如果驾驶员不注意自动行驶控制则难以安全行驶和通过的区间、以及自动驾驶无法应对可能发生的事件并且手动驾驶对于安全通过至关重要的区间。

因此,当驾驶员使用车辆在其他点之间移动时,在移动中多次发生从自动驾驶接管到手动驾驶的操作。在此,当自动驾驶的使用广泛时,用户开始执行与他们在驾驶和转向方面的思考和意识分离的次要任务,这是自动驾驶的优点之一。在那种情况下,当系统提示驾驶员恢复并且驾驶员实际上暂停对次要任务的执行和意识集中并且恢复到驾驶和转向时,从通知到恢复发生延迟,并且延迟根据正在执行的次要任务的内容以及当时驾驶员的意识与转向操作的偏离状态而大大改变。作为结果,即使系统出于上述原因向驾驶员通知了从自动驾驶恢复到手动驾驶的请求,驾驶员也没有在固定时间内恢复,并且表现出根据驾驶所需的状况判断和识别能力以及由次要任务导致的意识偏离度等确定的一定时间分布。由于反应时间分布,存在反应快的情况和花费时间的情况。

于是,从恢复通知开始的应对时间分布出现另一个问题。当系统不管驾驶状态如何而总是重复执行早期通知时,用户习惯于从恢复所需定时开始的极早通知。于是,对通知的早期恢复的需要的认识逐渐减弱,并且即使并非总是这样,如果重复发出早期通知,则驾驶员也在不知不觉中将通知视为不必要的噪音,并且重要性意识降低。此外,因为驾驶员对通知感到过于烦扰,所以驾驶员有意识地减小通知声音,或者在不知不觉中进行针对该通知声音的声音过滤。

换句话说,无法根据确切的状况执行驾驶员恢复定时通知的车辆控制系统影响用户的行为特性,并且产生偶然地导致驾驶员不在需要的定时恢复的风险。

此外,当关注道路基础设施时,期望设置“注意下行驶区间”,在该区间中,在从允许自动驾驶车辆进行自动驾驶的“自动驾驶区间”进入需要手动驾驶的“手动驾驶区间”之前,需要在驾驶员的预定注意下行驶,并且期望在“注意下行驶区间”的行驶时段内100%的驾驶员恢复到手动驾驶。

然而,根据作为在“自动驾驶区间”中由驾驶员执行的除驾驶和转向以外的操作的次要任务的内容,不能预期100%恢复。因此,代替地,提出了当以自动驾驶模式行驶的车辆的驾驶员未能恢复时,在自动驾驶系统控制车辆时诸如对车辆进行减速、紧急减速和缓行、缓慢疏散、靠边停到路肩上等措施。

从确保车辆行驶本身的安全的观点来看,可以说这些是非常自然的措施和适当的控制。然而,当车辆停在可能是社交活动的路线的主要道路上时,并且如果这种紧急停车发生在绕路不起作用的主要路线上,则会使作为社会活动的更高级活动瘫痪,并且导致引起重要社会问题。

因此,需要考虑人类行为特性并考虑长期使用的有害影响而使道路基础设施的负荷最小化。为实现这一点,需要一种当需要驾驶员恢复到手动驾驶时在自动驾驶期间使车辆的驾驶员能够以高成功率迅速恢复到手动驾驶的机制,并且需要根据道路状况在恢复定时发出恢复通知并产生用户可以在更准确的定时开始恢复操作的循环的新机制。

例如鉴于上述问题做出了本公开,并且本公开的目的是提供实现在需要驾驶员恢复到手动驾驶的情况下在自动驾驶期间使车辆的驾驶员能够以与目标恢复成功率(requestedrecoveryratio,rrr)对应的成功率迅速恢复到手动驾驶的机制的信息处理装置、移动装置、信息处理系统、方法和程序。

问题的解决方案

本公开的第一方面在于

一种信息处理装置,包括:

数据处理单元,被配置为为了达到预定义的从自动驾驶到手动驾驶的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

而且,本公开的第二方面在于

一种作为向移动装置提供局部动态地图(ldm)的服务器的信息处理装置,该信息处理装置包括:

附有目标恢复成功率rrr信息的局部动态地图ldm生成和更新单元,被配置为生成和更新针对每个道路区间设置了从自动驾驶到手动驾驶的目标恢复成功率(rrr)的附有目标恢复成功率(rrr)的局部动态地图(ldm)。

而且,本公开的第三方面在于

一种移动装置,包括:

驾驶员信息获取单元,被配置为获取移动装置的驾驶员信息;

环境信息获取单元,被配置为获取针对每个道路区间设置了从自动驾驶到手动驾驶的目标恢复成功率(rrr)的附有目标恢复成功率(rrr)的局部动态地图(ldm);以及

数据处理单元,被配置为为了达到所述目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

而且,本公开的第四方面在于

一种包括服务器和移动装置的信息处理系统,其中

所述服务器是向所述移动装置提供局部动态地图(ldm)的服务器,并且

所述服务器生成和更新针对每个道路区间设置了从自动驾驶到手动驾驶的目标恢复成功率(rrr)的附有目标恢复成功率(rrr)的局部动态地图(ldm),并且向所述移动装置发送所述附有目标恢复成功率(rrr)的局部动态地图(ldm),并且

所述移动装置

为了达到从所述服务器接收到的附有目标恢复成功率(rrr)的局部动态地图(ldm)中所记录的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

而且,本公开的第五方面在于

一种在信息处理装置中执行的信息处理方法,该信息处理方法包括

由数据处理单元

为了达到预定义的从自动驾驶到手动驾驶的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

而且,本公开的第六方面在于

一种用于使信息处理装置执行信息处理的程序,包括

使数据处理单元为了达到预定义的从自动驾驶到手动驾驶的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

注意,根据本公开的程序例如是可以以计算机可读格式提供的由存储介质或通信介质提供给可以执行各种程序代码的信息处理装置或计算机系统的程序。通过以计算机可读格式提供这样的程序,在信息处理装置或计算机系统上实现与该程序对应的处理。

通过基于下面描述的本公开的示例和附图的更详细描述,本公开的其他目的、特征和优点将变得清楚。注意,本说明书中的系统是多个装置的逻辑集合配置,并且不限于在同一壳体内具有各个配置的装置。

发明的效果

根据本公开的实施例的配置,实现了一种为了达到针对每个道路区间的目标恢复成功率(rrr)而计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间并且基于计算出的时间发出手动驾驶恢复请求通知的配置。

具体地,例如,包括数据处理单元,该数据处理单元被配置为为了达到预定义的从自动驾驶到手动驾驶的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。该数据处理单元获取作为局部动态地图(ldm)的附属信息而设置的针对每个道路区间的目标恢复成功率(rrr),并且使用针对每个驾驶员的学习数据计算针对计划行驶的每个道路区间的手动驾驶可恢复时间。

利用本配置,实现了为了达到针对每个道路区间的目标恢复成功率(rrr)而计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间并且基于计算出的时间发出手动驾驶恢复请求通知的配置。

注意,本说明书中描述的效果仅仅是示例而不受限制,并且可以表现出附加的效果。

附图说明

图1是图示局部动态地图(ldm)的概要的图。

图2是用于描述本公开的移动装置的配置示例的图。

图3是用于描述在本公开的移动装置的显示单元上显示的数据的示例的图。

图4是图示由本公开的移动装置执行的处理的图。

图5是用于描述根据本公开的移动装置的配置示例的图。

图6是用于描述根据本公开的移动装置的配置示例的图。

图7是用于描述根据本公开的移动装置的传感器配置示例的图。

图8是图示由本公开的移动装置执行的从自动驾驶模式到手动驾驶模式的模式切换序列的示例的图。

图9是图示用于描述自动驾驶的操作序列的示例的流程图的图。

图10是图示以斑状设置或确定自动驾驶可用和不可用区间的通过驾驶员设置目的地而确定的行驶路线的示例的图。

图11是用于描述安全性确定单元的具体配置示例和处理的图。

图12是用于描述ldm信息提供服务器的附有rrr信息的ldm生成和更新单元的具体配置示例的图。

图13是用于描述ldm事件方法提供服务器与移动装置等之间的通信配置示例和处理的图。

图14是图示用于描述学习处理的序列示例的流程图的图。

图15是用于描述与观测值对应的可观测评价值和恢复延迟时间(=手动驾驶可恢复时间)之间的多条关系信息(观测图)的分布示例以及恢复成功率的图形。

图16是用于描述与驾驶员在自动驾驶模式下执行的处理(次要任务)的类型对应的手动驾驶可恢复时间的图形。

图17是用于描述计算从自动驾驶到手动驾驶的切换通知定时的处理的具体示例的图形。

图18是用于描述计算从自动驾驶到手动驾驶的切换通知定时的处理的具体示例的图形。

图19是用于描述计算从自动驾驶到手动驾驶的切换通知定时的处理的具体示例的图形。

图20是图示用于描述获取和使用局部动态地图(ldm)和目标恢复成功率(rrr)的处理序列的流程图的图。

图21是图示用于描述当将自动驾驶模式切换为手动驾驶模式时执行的处理序列的示例的流程图的图。

图22是用于描述信息处理装置的硬件配置示例的图。

具体实施方式

在下文中,将参考附图详细描述本公开的信息处理装置、移动装置、信息处理系统、方法和程序。注意,将根据以下项目给出描述。

1.局部动态地图(ldm)和本公开的配置的概要

2.移动装置和信息处理装置的配置和处理的概要

3.移动装置的具体的配置和处理示例

4.从自动驾驶模式到手动驾驶模式的模式切换序列

5.自动驾驶的操作序列示例

6.移动装置执行的安全性确定处理和手动驾驶可恢复时间估计处理

7.本公开的移动装置、信息处理装置或服务器所执行的信息处

理序列

8.获取和使用局部动态地图(ldm)和目标恢复成功率(rrr)的处理序列

9.使用目标恢复成功率(rrr)的手动驾驶恢复通知处理的序列

10.信息处理装置的配置示例

11.本公开的配置的总结

[1.局部动态地图(ldm)和本公开的配置的概要]

首先,将参考图1和后续附图描述局部动态地图(ldm)的概要。局部动态地图(ldm)是自动驾驶所需的信息之一。

如图1中所示,ldm由分层的多种类型的层的信息组构成。即,ldm包括以下四种类型的信息:

类型1=静态数据;

类型2=准静态数据;

类型3=准动态数据;以及

类型4=动态数据。

类型1=静态数据例如包括基于中长期更新的国土地理院的地图等生成的地图信息等的数据。

类型2=准静态数据例如包括长期改变但短期改变不大的数据,诸如建筑物(诸如大楼)、树木和标志。

类型3=准动态数据包括可以按一定时间单位改变的数据,诸如交通灯、交通拥堵和事故。

类型4=动态数据包括诸如车辆、人等的交通信息这样的顺序地改变的数据。

包括这些数据的局部动态地图(ldm)例如从服务器发送到每辆汽车,并且汽车分析ldm并将其用于自动驾驶的控制,诸如设置行驶路线以及控制行驶速度和车道。

注意,服务器连续地执行基于更新信息的局部动态地图(ldm)更新处理,并且每辆汽车在使用ldm时从服务器获取最新信息并使用该信息。

然而,在当前状况下,自动驾驶车辆可以使用ldm信息进行自动驾驶的区间被限制为例如高速公路的一部分,并且存在需要驾驶员进行手动驾驶的许多区间。此外,当前ldm的信息无法及时更新,在这样的情况下,需要驾驶员进行手动驾驶。

如上所述,在使用当前基础设施的情况下,执行自动驾驶车辆进行的自动驾驶的驾驶员需要在各种定时或地点从自动驾驶恢复到手动驾驶。

然而,在自动驾驶的执行期间,存在驾驶员处于例如驾驶员睡着了的低觉醒水平状态(即,处于低意识水平状态)的许多情况。在这种状态下,即使请求驾驶员恢复到手动驾驶,恢复失败的可能性也很高。恢复不成功的车辆可以采取诸如在道路旁的疏散空间中紧急停车的措施。然而,如果出现大量的恢复不成功的车辆,则疏散空间会变得不足。

下面描述的本公开的配置解决这样的问题。在本公开的配置中,针对每个道路区间设置了作为从自动驾驶恢复到手动驾驶的目标成功率的目标恢复成功率(rrr)。而且,根据针对每个道路区间的目标恢复成功率(rrr)来控制针对自动驾驶车辆的向手动驾驶的恢复请求通知的定时。

例如,在目标恢复成功率(rrr)高的道路区间中,将针对自动驾驶车辆的向手动驾驶的恢复请求通知的定时设置为比目标恢复成功率(rrr)低的道路区间更早。通过控制,在目标恢复成功率(rrr)高的道路区间中,向手动驾驶的恢复成功率可以近似于目标值。

注意,目标恢复成功率(rrr)是根据道路状况而顺序地改变的信息,并且该目标恢复成功率(rrr)例如作为局部动态地图(ldm)的配置信息而设定。即,局部动态地图(ldm)提供服务器针对自动驾驶车辆顺序地生成并发送包括更新的目标恢复成功率(rrr)的局部动态地图(ldm)。每个自动驾驶车辆根据ldm中包括的目标恢复成功率(rrr)来控制从自动驾驶到手动驾驶的恢复请求的通知定时。在下文中,将描述本公开的配置和处理的细节。

[2.移动装置和信息处理装置的配置和处理的概要]

将参考图2和后续附图描述移动装置和信息处理装置的配置和处理的概要。

本公开的移动装置例如是能够切换自动驾驶和手动驾驶而行驶的汽车。

在这样的汽车中,在产生将自动驾驶模式切换为手动驾驶模式的需要的情况下,需要使驾驶员开始手动驾驶。

然而,在自动驾驶的执行期间,存在驾驶员执行的各种类型的处理(次要任务)。

例如,存在与驾驶的情况类似地驾驶员注视车辆的前方而仅释放方向盘的情况、驾驶员正在读书的情况、以及驾驶员睡着了的情况。

驾驶员的觉醒水平(意识水平)根据这些类型的处理的差异而发生变化。

例如,睡着会降低驾驶员的觉醒水平。即,意识水平降低。在觉醒水平降低的这种状态下,无法执行正常的手动驾驶,并且如果在该状态下将模式切换为手动驾驶模式,则在最坏的情况下可能发生事故。

为了确保驾驶的安全性,需要在驾驶员的觉醒水平高的状态下(即,在驾驶员意识清楚的状态下)使驾驶员开始手动驾驶。

因此,需要根据正在执行自动驾驶的驾驶员的觉醒水平来改变请求从自动驾驶切换为手动驾驶的通知定时。

例如,在执行自动驾驶时驾驶员向前看并看着道路的情况下,驾驶员的觉醒水平高,即,驾驶员可以随时开始手动驾驶。

在这样的情况下,在紧接在需要手动驾驶的时间之前发出切换到手动驾驶的通知即可。这是因为驾驶员可以立即开始安全的手动驾驶。

然而,在自动驾驶的执行期间驾驶员睡着的情况下,驾驶员的觉醒水平极低。

在这样的情况下,如果在紧接在需要手动驾驶的时间之前的定时提供切换到手动驾驶的通知,则迫使驾驶员在意识不清楚的状态下开始手动驾驶。作为结果,造成事故的可能性增加。因此,在如上所述觉醒水平低的情况下,需要在更早的阶段发出切换到手动驾驶的通知。

如上所述,目前,尚未构建使得能够在所有行驶区间中进行自动驾驶的基础设施。存在需要驾驶员手动驾驶的区间,并且需要驾驶员在各种定时和地点从自动驾驶恢复到手动驾驶。

然而,当在执行自动驾驶时驾驶员处于由于睡着等导致觉醒水平降低的状态时,即使需要驾驶员恢复到手动驾驶,恢复不成功的可能性也高。恢复不成功的车辆被迫采取诸如紧急停车的措施,但是大量的这样的车辆的出现会造成交通拥堵和事故。

为了解决这样的问题,在本公开的配置中,针对每个道路区间设置了作为从自动驾驶恢复到手动驾驶的目标成功率的目标恢复成功率(rrr),并且根据该目标恢复成功率(rrr)来控制针对自动驾驶车辆的向手动驾驶的恢复请求通知的定时。

将参考图2和后续附图描述本公开的移动装置和可安装到该移动装置的信息处理装置的配置和处理。

图2是图示作为本公开的移动装置的示例的汽车10的配置示例的图。

本公开的信息处理装置被安装到图2中所示的汽车10。

图2中所示的汽车10是能够以手动驾驶模式和自动驾驶模式这两种驾驶模式驾驶的汽车。

在手动驾驶模式下,执行基于驾驶员20的操作(即,方向盘(转向)操作,加速器、制动器等的操作)的行驶。

此外,在自动驾驶模式下,驾驶员20的操作是不必要的,并且执行基于诸如位置传感器和其他周围环境信息检测传感器的传感器信息的驾驶。

位置传感器例如是gps接收器等,周围环境信息检测传感器例如是相机、超声传感器、雷达、光检测和测距或激光成像检测和测距(lidar)、声纳等。

注意,图2是用于描述本公开的概要的图并且示意性地图示了主要配置元素。下面将描述详细配置。

如图2中所示,汽车10包括数据处理单元11、驾驶员信息获取单元12、环境信息获取单元13、通信单元14和通知单元15。

驾驶员信息获取单元12例如获取用于确定驾驶员的觉醒水平的信息,诸如驾驶员的生物特征信息以及驾驶员的操作信息等。具体地,例如,驾驶员信息获取单元12包括捕获驾驶员的面部图像的相机、获取眼球和瞳孔的运动等的传感器、温度等的测量传感器、以及操作单元(方向盘、加速器、制动器等)的操作信息获取单元等。

环境信息获取单元13获取汽车10的行驶环境信息。行驶环境信息的示例包括汽车的前后左右的图像信息、基于gps的位置信息以及来自雷达、光检测和测距或激光成像检测和测距(lidar)、声纳等的周围障碍物信息。

数据处理单元11接收由驾驶员信息获取单元12获取的驾驶员信息和由环境信息获取单元13获取的环境信息作为输入,并且计算例如表示自动驾驶车辆中的驾驶员是否处于安全手动驾驶可执行状态、以及手动驾驶中的驾驶员是否正在执行安全驾驶等的安全性指标值。

而且,例如,在出现从自动驾驶模式切换到手动驾驶模式的需要的情况下,数据处理单元11执行经由通知单元15发出用于切换到手动驾驶模式的通知的处理。

这个通知处理定时是例如使用来自驾驶员信息获取单元12和环境信息获取单元13的输入计算出的最优定时。

即,这是驾驶员20可以开始安全的手动驾驶的定时。

具体地,在驾驶员的觉醒水平高的情况下,紧接在手动驾驶开始时间之前(例如五秒之前)发出通知。在驾驶员的觉醒水平低的情况下,例如有余量地在手动驾驶开始时间之前二十秒发出通知。下面将描述通知的最优定时的具体计算。

通知单元15包括显示通知的显示单元、声音输出单元、手柄或座椅的振动器。在图3中图示了在构成通知单元15的显示单元上显示的警告显示的示例。

如图3中所示,通知单元(显示单元)15显示以下项目。

驾驶模式信息=“自动驾驶中”,

警告显示=“请将驾驶切换为手动驾驶”

在驾驶模式信息的显示区域中,在执行自动驾驶模式时显示“自动驾驶中”,在执行手动驾驶模式时显示“手动驾驶中”。

警告显示信息的显示区域是在自动驾驶模式下执行自动驾驶时显示以下项目的显示区域。

“请将驾驶切换为手动驾驶”

注意,汽车10具有能够经由通信单元14与服务器30进行通信的配置,如图2中所示。

例如,可以由服务器30执行计算数据处理单元11中的通知输出的适当时间的处理的一部分。

下面将描述处理的具体示例。

图4是图示由本公开的移动装置和信息处理装置执行的处理的具体示例的图。

图4是图示在自动驾驶模式下执行自动驾驶时请求切换到手动驾驶的通知的适当定时的设置示例的图,并且图示了以下两个通知处理示例。

(a)自动驾驶期间驾驶员的觉醒水平高的情况下的通知处理

(b)自动驾驶期间驾驶员的觉醒水平低的情况下的通知处理

示例(a)是在执行自动驾驶时驾驶员看着前方的道路的示例。在这种情况下,驾驶员的觉醒水平高,即,用户可以随时开始手动驾驶。

在这样的情况下,即使在紧接在需要手动驾驶的时间之前的定时发出切换到手动驾驶的通知,驾驶员也可以迅速开始安全的手动驾驶。

示例(b)是在执行自动驾驶时驾驶员睡着的情况下驾驶员的觉醒水平极低的示例。

在这样的情况下,如果在紧接在需要手动驾驶的时间之前的定时发出切换到手动驾驶的通知,则驾驶员在意识不清楚的状态下开始手动驾驶,造成事故的可能性高。因此,在如上所述觉醒水平低的情况下,需要在更早的阶段发出切换到手动驾驶的通知。

而且,在本公开的配置中,针对每个道路区间设置了作为从自动驾驶恢复到手动驾驶的目标成功率的目标恢复成功率(rrr),并且根据该目标恢复成功率(rrr)控制针对自动驾驶车辆的向手动驾驶的恢复请求通知的定时。下面将描述具体的控制示例。

[3.移动装置的具体的配置和处理示例]

接下来,将参考图5和后续附图描述与本公开的汽车10对应的移动装置的具体的配置和处理示例。

图5图示了移动装置100的配置示例。注意,在下文中,在将设有移动装置100的车辆与其他车辆进行区分的情况下,将该车辆称为用户自己的汽车或用户自己的车辆。

移动装置100包括输入单元101、数据获取单元102、通信单元103、车载装置104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身系统控制单元109、车身系统110、存储单元111以及自动驾驶控制单元112。

输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111以及自动驾驶控制单元112经由通信网络121彼此连接。通信网络121例如包括总线、符合任意标准的车载通信网络等,诸如控制器局域网(controllerareanetwork,can)、局部互连网络(localinterconnectnetwork,lin)、局域网(lan)或者flexray(注册商标)等。注意,可以无需通信网络121而直接连接移动装置100的各单元。

注意,在下文中,在移动装置100的各单元经由通信网络121执行通信的情况下,省略对通信网络121的描述。例如,将输入单元101和自动驾驶控制单元112经由通信网络121执行通信的情况简单地描述为输入单元101和自动驾驶控制单元112执行通信。

输入单元101包括乘员用来输入各种数据和指令等的装置。例如,输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆这样的操作装置,以及能够通过除手动操作以外的方法(诸如语音或手势)输入数据和指令的操作装置。此外,例如,输入单元101可以是使用红外线或其他无线电波的远程控制装置,或者是与移动装置100的操作对应的外部连接的装置(诸如移动装置或可穿戴装置)。输入单元101基于乘员输入的数据、指令等生成输入信号,并将该输入信号供应给移动装置100的每个单元。

数据获取单元102包括获取用于移动装置100的处理的数据并将获取的数据供应给移动装置100的每个单元的各种传感器。

例如,数据获取单元102包括用于检测用户自己的汽车的状态的各种传感器。具体地,例如,数据获取单元102包括陀螺仪传感器,加速度传感器,惯性测量装置(imu),以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、马达速度、车轮的转速等的传感器。

此外,例如,数据获取单元102包括用于检测用户自己的汽车外的信息的各种传感器。具体地,例如,数据获取单元102包括成像装置,诸如飞行时间(tof)相机、立体相机、单眼相机、红外相机和其他相机。此外,例如,数据获取单元102包括用于检测天气、气象现象等的环境传感器,以及用于检测用户自己的汽车周围的物体的周围环境信息检测传感器。环境传感器例如包括雨滴传感器、雾传感器、日照传感器、雪传感器等。周围环境信息检测传感器例如包括超声传感器、雷达装置、光检测和测距或激光成像检测和测距(lidar)装置或者声纳。

例如,图6图示了用于检测用户自己的汽车的外部信息的各种传感器的安装示例。成像装置7910、7912、7914、7916和7918中的每个成像装置例如设在车辆7900的前鼻、侧镜、后保险杠、后门或者内部的挡风玻璃的上部中的至少一个位置处。

设在车辆的前鼻处的成像装置7910和设在内部的挡风玻璃的上部的成像装置7918主要获取车辆7900的前方的图像。设在侧镜处的成像装置7912和7914主要获取车辆7900的侧方的图像。设在后保险杠或后门处的成像装置7916主要获取车辆7900的后方的图像。设在车辆内部的挡风玻璃的上部的成像装置7918主要用于检测先行车辆、行人、障碍物、交通信号灯、交通标志、车道等。此外,在将来的自动驾驶中,当车辆向右或向左转弯时,成像装置可以以扩展方式使用至较宽范围中的越过右转或左转道路的横穿道路的行人或者接近横穿道路的物体范围。

注意,图6图示了成像装置7910、7912、7914和7916的捕获范围的示例。成像范围a表示设在前鼻处的成像装置7910的成像范围,成像范围b和c分别表示设在侧镜处的成像装置7912和7914的成像范围,成像范围d表示设在后保险杠或后门处的成像装置7916的成像范围。例如,通过对在成像装置7910、7912、7914和7916中成像的图像数据进行叠加,可以获得从上方观看的车辆7900的鸟瞰图像、以弯曲的平面围绕车辆外围的全方位立体显示图像等。

设在车辆7900的前方、后方、侧方、拐角和内部的挡风玻璃的上部的传感器7920、7922、7924、7926、7928和7930可以是例如超声传感器或者雷达。设在车辆7900的前鼻、后保险杠、后门和内部的挡风玻璃的上部的传感器7920、7926和7930可以是例如lidar。这些传感器7920至7930主要用于检测前面的车辆、行人、障碍物等。检测结果还可以应用于改善鸟瞰图显示和全方位立体显示的立体物体显示。

将返回图5继续描述配置元素。数据获取单元102包括用于检测用户自己的汽车的当前位置的各种传感器。具体地,例如,数据获取单元102包括接收来自gnss卫星的gnss信号的全球导航卫星系统(globalnavigationsatellitesystem,gnss)接收器。

此外,例如,数据获取单元102包括用于检测车辆内部的信息的各种传感器。具体地,例如,数据获取单元102包括对驾驶员进行成像的成像装置、检测驾驶员的生物特征信息的生物传感器、收集车辆内部的声音的麦克风等。生物传感器例如设在座椅表面、方向盘等上,并且检测坐在座椅上的乘员的就座状态或者握住方向盘的驾驶员的生物特征信息。作为生物信号(vitalsignal),多样化的可观测的数据是可用的,诸如心率、脉搏、血流、呼吸、心身相关性、视觉刺激、脑电图(eeg)、出汗状态、头部姿势行为、眼睛、注视、眨眼、扫视(saccade)、微扫视(microsaccade)、固视(fixation)、漂移(drift)、凝视和虹膜瞳孔反应。这些反映可观测的驾驶状态的活动可观测信息作为从观测估计的可观测评价值而汇总,并且根据与评价值的日志(log)相关联的恢复延迟时间特性,用于由下面描述的安全性确定单元(学习处理单元)155计算恢复通知定时作为驾驶员的恢复延迟实例的固有特性。

图7图示了用于获得数据获取单元102中包括的车辆内的驾驶员的信息的各种传感器的示例。例如,数据获取单元102包括tof相机、立体相机、座椅应变仪(seatstraingauge)等作为用于检测驾驶员的位置和姿势的检测器。此外,数据获取单元102包括面部识别装置(面部(头部)识别)、驾驶员眼睛跟踪器、驾驶员头部跟踪器等作为用于获得驾驶员的活动可观测信息的检测器。

此外,数据获取单元102包括生物信号检测器作为用于获得驾驶员的活动可观测信息的检测器。此外,数据获取单元102包括驾驶员认证(驾驶员识别)单元。注意,作为认证方法,除了使用密码、个人标识号码等的知识认证之外,还可以考虑使用面部、指纹、瞳孔的虹膜、声纹等的生物认证。

通信单元103与车载装置104及车辆外部的各种装置、服务器、基站等进行通信,发送从移动装置100的每个单元供应的数据,并将接收到的数据供应给移动装置100的每个单元。注意,对于通信单元103所支持的通信协议没有特别限制,并且通信单元103可以支持多种类型的通信协议。

例如,通信单元103使用无线lan、蓝牙(注册商标)、近场通信(nfc)、无线usb(wusb)等与车载装置104进行无线通信。此外,例如,通信单元103使用通用串行总线(usb)、高清晰度多媒体接口(hdmi)(注册商标)、移动高清链路(mhl)等经由连接端子(未示出)(如有必要,还可以使用电缆)与车载装置104进行有线通信。

而且,例如,通信单元103经由基站或接入点与存在于外部网络(例如互联网、云网络或公司固有网络)的装置(例如应用服务器或控制服务器)进行通信。此外,例如,通信单元103使用对等(peertopeer,p2p)技术与存在于用户自己的汽车附近的终端(例如行人或商店的终端,或者机器类型通信(machinetypecommunicationmtc)终端)进行通信。

而且,例如,通信单元103执行v2x通信,诸如车辆对车辆(vehicletovehicle)通信、车辆对基础设施(vehicletoinfrastructure)通信、车辆对家庭(vehicletohome)通信以及车辆对行人(vehicletopedestrian)通信。此外,例如,通信单元103包括信标接收单元,并且接收从安装在道路上的无线站等发送的无线电波或电磁波,并获取诸如当前位置、拥堵、交通管制或所需时间这样的信息。注意,可以通过通信单元与可以作为领先车辆的在区间中行驶的前方行驶车辆进行配对,并且可以获取由安装在前方车辆上的数据获取单元获取的信息作为预先行驶间距信息,并且可以与用户自己的汽车的数据获取单元102的数据互补地使用。特别地,例如,这将成为使用基于领先车辆的排队行驶来确保跟随排队车辆的安全性的手段。

车载装置104例如包括乘员的移动装置(平板电脑、智能电话等)或可穿戴装置、用户自己的汽车中携带或附接的信息装置、以及用于搜索到达任意目的地的路线的导航装置。注意,考虑到由于自动驾驶的普及而乘员并不总是固定在座椅固定位置,预期车载装置104在将来可以扩展到视频播放器、游戏装置或者可以安装在车辆中并从其拆卸的任何其他装置。在本实施例中,已经描述了将需要驾驶员干预的地点的信息的呈现限制到适当驾驶员的示例。然而,信息可以在排队行驶等中还提供给后续车辆,或者可以通过不断地将信息提供给乘员运输共享公共汽车和长途物流商业车辆的运营管理中心来适当地将信息提供与远程行驶支持相结合。

输出控制单元105控制各种信息向用户自己的汽车的乘员或车辆外部的输出。输出控制单元105例如通过生成包括视觉信息或听觉信息中的至少一个的输出信号并且将该输出信号供应给输出单元106来控制视觉信息(例如图像数据)和听觉信息(例如声音数据)从输出单元106的输出。具体地,例如,输出控制单元105合成由数据获取单元102的不同成像装置捕获的图像数据来生成鸟瞰图像、全景图像等,并将包括所生成的图像的输出信号供应给输出单元106。此外,例如,输出控制单元105生成包括针对碰撞、接触、进入危险地带等危险的警告声音、警告消息等的声音数据,并将包括所生成的声音数据的输出信号供应给输出单元106。

输出单元106包括能够将视觉信息或听觉信息输出到用户自己的汽车的乘员或车辆外部的装置。例如,输出单元106包括显示装置、仪表板、音频扬声器、耳机、可穿戴装置(诸如乘员穿戴的眼镜式显示器)、投影仪、灯等。除了具有普通的显示器的装置外,输出单元106中包括的显示装置例如还可以是用于在驾驶员的视野中显示视觉信息的装置,诸如平视显示器(head-updisplay)、透射型显示器或者具有增强现实(ar)显示功能的装置。

驱动系统控制单元107通过生成各种控制信号并将控制信号供应给驱动系统108来控制驱动系统108。此外,驱动系统控制单元107根据需要向除驱动系统108以外的每个单元供应控制信号并进行驱动系统108的控制状态的通知等。

驱动系统108包括与用户自己的汽车的驱动系统相关的各种装置。例如,驱动系统108包括用于生成驱动力的驱动力生成装置(诸如内燃机或驱动马达)、用于将驱动力传送至车轮的驱动力传送机构、用于调整转向角的转向机构、用于生成制动力的制动装置(包括再生制动)、防抱死制动系统(antilockbrakesystem,abs)、电子稳定控制(electronicstabilitycontrol,esc)、电动助力转向装置等。

车身系统控制单元109通过生成各种控制信号并将控制信号供应给车身系统110来控制车身系统110。此外,车身系统控制单元109根据需要向除车身系统110以外的每个单元供应控制信号并进行车身系统110的控制状态的通知等。

车身系统110包括安装在车身上的各种车身系统装置。例如,车身系统110包括无钥匙进入系统、智能钥匙系统、电动车窗装置、电动座椅、方向盘、空气调节器、各种灯(例如前灯、后灯、刹车灯、闪光信号灯、雾灯等)等。

存储单元111例如包括诸如只读存储器(rom)、随机存取存储器(ram)和硬盘驱动器(hdd)的磁存储装置、半导体存储装置、光学存储装置、磁-光存储装置等。存储单元111存储移动装置100的每个单元所使用的各种程序、数据等。例如,存储单元111存储地图数据,诸如三维高精度地图(诸如动态地图)、精度低于高精度地图但覆盖大区域的全局地图、以及包括用户自己的汽车周围的信息的局部地图。

自动驾驶控制单元112执行与自动驾驶相关的控制,诸如自主驾驶或驾驶支持。具体地,例如,自动驾驶控制单元112以实现包括用户自己的汽车的碰撞避免或减震、基于车辆间距的跟随行驶、车速维持行驶、用户自己的汽车的碰撞警告、用户自己的汽车的车道脱离警告等的先进驾驶辅助系统(advanceddriversupportsystem,adas)功能为目的来执行协作控制。此外,例如,自动驾驶控制单元112以不依赖于驾驶员的操作而进行自主行驶的自动驾驶为目的来执行协作控制。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、计划单元134和操作控制单元135。

检测单元131检测控制自动驾驶所需要的各种信息。检测单元131包括车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143。

车辆外部信息检测单元141基于来自移动装置100的每个单元的数据或信号来执行检测用户自己的汽车外部的信息的处理。例如,车辆外部信息检测单元141执行针对用户自己的汽车周围的物体的检测处理、识别处理和跟踪处理,以及检测距物体的距离和相对速度的处理。要检测的物体例如包括车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志、道路标记等。

此外,例如,车辆外部信息检测单元141执行检测用户自己的汽车周围的环境的处理。要检测的周围环境例如包括天气、温度、湿度、亮度、路面状况等。车辆外部信息检测单元141将表示检测处理的结果的数据供应给自身位置估计单元132、状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153以及操作控制单元135的紧急情况避免单元171等。

在局部动态地图中存储有作为自动驾驶的行驶可用的区间而不断地且大量地更新的区间的情况下,由车辆外部信息检测单元141获取的信息可以主要从基础设施供应和接收。可替代地,用户自己的车辆可以通过在进入区间之前不断地从在该区间中行驶在前的车辆或车辆组预先接收信息更新来进行行驶。此外,特别地,为了在排队行驶中紧接在进入区间之前更安全地获得道路信息,诸如基础设施未持续更新最新局部动态地图的情况,可以进一步补充使用从已经进入该区间的领先车辆获得的道路环境信息。在许多情况下,自动驾驶可用的区间取决于由这些基础设施提供的先验信息的存在与否。关于由基础设施提供的路线上的自动驾驶的可用性的信息等同于作为所谓的“信息”提供了看不见的轨道。注意,为了方便起见,在假设车辆外部信息检测单元141安装在用户自己的车辆上的情况下图示了车辆外部信息检测单元141。通过将由先行车辆捕获的信息用作“信息”,可以进一步改善行驶时的预先可预测性。

车辆内部信息检测单元142基于来自移动装置100的每个单元的数据或信号来执行检测车辆内部的信息的处理。例如,车辆内部信息检测单元142执行驾驶员认证处理和识别处理、驾驶员状态检测处理、乘员检测处理、车辆内部环境检测处理等。要检测的驾驶员的状态例如包括身体状况、觉醒水平、注意力水平、疲劳水平、视线方向、详细的眼球行为等。

而且,在将来,预期驾驶员在自动驾驶中从驾驶和转向操作完全脱离,并且驾驶员暂时入睡或开始进行其他作业,并且系统需要掌握驾驶恢复所需的意识的觉醒恢复进展的程度。即,在传统的驾驶员监视系统中,主要检测部件检测意识的下降,诸如睡意。然而,在将来,驾驶员将完全不参与驾驶和转向。因此,系统不具有用于从转向装置的转向稳定性等直接观测驾驶员的干预水平的部件,并且需要从驾驶员的准确的意识水平未知的状态观测驾驶所需的意识恢复过渡,掌握驾驶员的准确的内部觉醒状态,并且推进从转向的自动驾驶到手动驾驶的干预。

因此,车辆内部信息检测单元142主要具有两个主要作用。第一个作用是在自动驾驶期间被动监视驾驶员的状态。第二个作用是从系统发出恢复请求直到车辆接近注意下驾驶区间,检测驾驶员的周边识别、感知、判断和转向装置的操作能力,直至可以进行手动驾驶的水平。作为控制,还可以执行整个车辆的故障自诊断,并且在由于自动驾驶的部分误动而引起自动驾驶的功能恶化的情况下,可以类似地提示驾驶员早期恢复到手动驾驶。被动监视在此是指不要求驾驶员的有意识的响应反应的一种类型的检测手段,并且不排除通过从装置发送物理无线电波、光等来检测响应信号的装置。即,被动监视是指监视驾驶员的无意识状态(诸如小睡期间),并且不是驾驶员的认知反应的分类是被动方式。被动监视不排除分析和评价通过发射无线电波、红外线等获得的反射或散射信号的主动响应装置。此外,请求驾驶员给出有意识的响应并请求响应反应的装置是主动系统。

要检测的车内环境例如包括温度、湿度、亮度、气味等。车辆内部信息检测单元142将表示检测处理结果的数据供应给状况分析单元133的状况识别单元153以及操作控制单元135。注意,在揭示了从系统发出对驾驶员的驾驶恢复指令之后驾驶员无法在适当的期限内实现手动驾驶并且确定了即使在自操作中执行减速控制以给出时间也将无法及时进行接管的情况下,向系统的紧急情况避免单元171等给出指示,并且开始减速、疏散和停车过程以对车辆进行疏散。即,即使在不能像初始状态那样及时进行接管的情况下,也可以通过早期开始车辆的减速来赢得达到接管极限的时间。

车辆状态检测单元143基于来自移动装置100的每个单元的数据或信号来执行检测用户自己的汽车的状态的处理。要检测的用户自己的汽车的状态例如包括速度、加速度、转向角、异常的有无、异常的内容、驾驶操作的状态、电动座椅的位置和倾斜、门锁的状态、其他车内装置的状态等。车辆状态检测单元143将表示检测处理的结果的数据供应给状况分析单元133的状况识别单元153、操作控制单元135的紧急情况避免单元171等。

自身位置估计单元132基于来自移动装置100的单元(诸如车辆外部信息检测单元141和状况分析单元133的状况识别单元153)的数据和信号来执行估计用户自己的汽车的位置、姿势等的处理。此外,自身位置估计单元132根据需要生成用于估计自身位置的局部地图(下文中称为自身位置估计地图)。

自身位置估计地图是使用诸如同时定位和地图构建(simultaneouslocalizationandmapping,slam)等技术的高精度地图。自身位置估计单元132将表示估计处理的结果的数据供应给状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153等。此外,自身位置估计单元132使存储单元111存储自身位置估计地图。

状况分析单元133执行分析用户自己的汽车及其周围的状况的处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153、状况预测单元154和安全性确定单元(学习处理单元)155。

地图分析单元151根据需要使用来自移动装置100的单元(诸如自身位置估计单元132和车辆外部信息检测单元141)的数据或信号来执行分析存储在存储单元111中的各种地图的处理,并且构建包括自动驾驶处理所需要的信息的地图。地图分析单元151将构建的地图供应给交通规则识别单元152、状况识别单元153、状况预测单元154以及计划单元134的路线计划单元161、动作计划单元162和操作计划单元163等。

交通规则识别单元152基于来自移动装置100的单元(诸如自身位置估计单元132、车辆外部信息检测单元141和地图分析单元151)的数据或信号来执行识别用户自己的汽车周围的交通规则的处理。通过识别处理,例如,识别用户自己的汽车周围的信号的位置和状态、用户自己的汽车周围的交通管制的内容、可行驶的车道等。交通规则识别单元152将表示识别处理的结果的数据供应给状况预测单元154等。

状况识别单元153基于来自移动装置100的单元(诸如自身位置估计单元132、车辆外部信息检测单元141、车辆内部信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号来执行识别关于用户自己的汽车的状况的处理。例如,状况识别单元153执行识别用户自己的汽车的状况、用户自己的汽车周围的状况、用户自己的汽车的驾驶员的状况等的处理。此外,状况识别单元153根据需要生成用于识别用户自己的汽车周围的状况的局部地图(下文中称为状况识别地图)。状况识别地图例如是占用网格地图(occupancygridmap)。

要识别的用户自己的汽车的状况例如是车辆特有的用户自己的汽车的位置、姿势和运动(例如速度、加速度、移动方向等)以及确定用户自己的汽车的运动特性的货物载荷量和伴随货物载荷的车身重心的移动、轮胎压力、伴随制动衬块的磨损的制动距离移动、防止由于载荷制动而造成的货物移动的可允许的最大减速制动、以及在具有液体载荷的情况下在弯道上行驶时的离心松弛极限速度。而且,即使诸如路面的摩擦系数、道路弯曲或者坡度这样的道路环境完全相同,由于装载货物特有的条件、车辆本身特有的特性、负载等,控制所需的恢复开始定时也是不同的。因此,需要收集和学习这样的各种条件,并将其反映在执行控制的最优定时中。根据车辆的类型和负载,例如仅观测和监视用户自己的车辆的异常的存在与否及其内容不足以确定控制定时。为了在运输业等中根据负载的固有特性确保一定水平的安全性,可以将用于确定期望的恢复的宽限时间的累加的参数预先设置为固定的值,并且不必总是通过自我积累学习来统一设置所有通知时间确定条件。

要识别的用户自己的汽车周围的状况例如包括周围静止物体的类型和位置,周围移动物体的类型、位置和运动(例如速度、加速度、移动方向等),周围道路的配置和路面的状况,以及周围天气、温度、湿度、亮度等。要识别的驾驶员的状态例如包括身体状况、觉醒水平、注意力水平、疲劳水平、视线运动、行驶操作等。为了使车辆安全地行驶,根据在车辆特有的状态下搭载的载荷量、搭载单元的底盘固定状态、重心的偏心状态、最大可减速加速度值、最大可负荷离心力、对应于驾驶员状态的恢复响应延迟量等,需要采取措施的控制开始点大不相同。

状况识别单元153将表示识别处理的结果的数据(根据需要,包括状况识别地图)供应给自身位置估计单元132、状况预测单元154等。此外,状况识别单元153使存储单元111存储状况识别地图。

状况预测单元154基于来自移动装置100的单元(诸如地图分析单元151、交通规则识别单元152和状况识别单元153)的数据或信号来执行预测与用户自己的汽车相关的状况的处理。例如,状况预测单元154执行预测用户自己的汽车的状况、用户自己的汽车周围的状况、驾驶员的状况等的处理。

要预测的用户自己的汽车的状况例如包括用户自己的汽车的行为、异常的发生、可行驶距离等。要预测的用户自己的汽车周围的状况例如包括用户自己的汽车周围的移动物体的行为、信号状态的改变、诸如天气的环境的改变等。要预测的驾驶员的状况包括例如驾驶员的行为和身体状况等。

状况预测单元154将表示预测处理的结果的数据与来自交通规则识别单元152和状况识别单元153的数据一起供应给计划单元134的路线计划单元161、动作计划单元162、操作计划单元163等。

安全性确定单元(学习处理单元)155具有作为对与驾驶员的恢复动作模式、车辆特性等对应的最优恢复定时进行学习的学习处理单元的功能,并将学习到的信息提供给状况识别单元153。因此,例如,可以向驾驶员呈现统计地确定的驾驶员以预定比率或更大比率从自动驾驶正常恢复到手动驾驶所需的最优定时。

路线计划单元161基于来自移动装置100的单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划到达目的地的路线。例如,路线计划单元161基于全局地图来设置从当前位置到指定的目的地的路线。此外,例如,路线计划单元161基于拥堵、事故、交通规则、施工等的状况以及驾驶员的身体状况等适当地改变路线。路线计划单元161将表示计划的路线的数据供应给动作计划单元162等。

动作计划单元162基于来自移动装置100的单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划用于在计划的时间内在由路线计划单元161计划的路线中安全行驶的用户自己的汽车的动作。例如,行动计划单元162制定出发、停止、行驶方向(例如向前、向后、向左转、向右转、转弯等)、行车道、行驶速度、超车等的计划。动作计划单元162将表示计划的用户自己的汽车的动作的数据供应给操作计划单元163等。

操作计划单元163基于来自移动装置100的单元(诸如地图分析单元151和状况预测单元154)的数据或信号来计划用于实现由动作计划单元162计划的动作的用户自己的汽车的操作。例如,操作计划单元163计划加速度、减速度、行驶轨道等。操作计划单元163将表示计划的用户自己的汽车的操作的数据供应给操作控制单元135的加速和减速控制单元172和方向控制单元173等。操作计划单元计划短期内的行驶轨道,另一方面,在较长时期内,因为道路状况随着行程的开始而改变并且随着行驶随时间的改变而改变,即,在这期间对驾驶员干预的需要发生改变,所以可以重置行驶道路选择路线。两点之间移动的可选择路线不一定是唯一确定的,并且驾驶员的期望需求根据驾驶员的次要任务而改变,诸如给予到达时间优先权的路线选择或者驾驶员的干预需求在路线中的发生频率,以及具有一定程度最大化的不干预连续性的路线。即,在响应于这些随时间的改变而发生改变超过一定量的情况下,操作计划单元163可以适当地发出重置行驶道路选择路线的提议的通知。

操作控制单元135控制用户自己的汽车的操作。操作控制单元135包括紧急情况避免单元171、加速和减速控制单元172以及方向控制单元173。

紧急情况避免单元171基于车辆外部信息检测单元141、车辆内部信息检测单元142和车辆状态检测单元143的检测结果来执行检测诸如碰撞、接触、进入危险地带、驾驶员的异常、车辆的异常等紧急情况的处理。在紧急情况避免单元171检测到紧急情况的发生的情况下,紧急情况避免单元171计划用于避免诸如突然停车或急转弯这样的紧急情况的用户自己的汽车的操作。紧急情况避免单元171将表示计划的用户自己的汽车的操作的数据供应给加速和减速控制单元172、方向控制单元173等。注意,紧急情况避免单元主要是驾驶员未能响应于手动驾驶请求而接管手动驾驶时的系统与驾驶员之间的控制功能,但是紧急情况避免单元还可以具有车辆内部或外部的第三人或驾驶员本人感觉到身体状况异常并使用针对系统的外部触发器在紧急状况下处置车辆的模式。更具体地,作为有意的紧急停车措施,可以包括各种使用情况下的紧急停车的使用,诸如驾驶员在行程中突然疾病发作而在那个地点之后的行驶中不能预期手动驾驶恢复并且进行作为紧急措施和sos发送的操作,当无法驾驶车辆的乘员看到驾驶员的恢复可能性降低时该乘员所采取的预防措施,以及由于系统假设的范围之外发生的地震、落石、飞行物体从天而降、系统异常或用户失去知觉而引起的第三人对行驶中的车辆的紧急停车指示。

加速和减速控制单元172执行用于实现由操作计划单元163或紧急情况避免单元171计划的用户自己的汽车的操作的加速和减速。例如,加速和减速控制单元172计算用于实现计划的加速、减速或突然停止的驱动力生成装置或制动装置的控制目标值,并且将表示计算出的控制目标值的控制命令供应给驱动系统控制单元107。注意,主要存在会发生紧急状况的两种情况。即,存在在行驶路线上自动驾驶期间在根据从基础设施获取的局部动态地图等本来应该是安全的道路上由于突然原因而发生非预期事件并且紧急恢复不能及时进行的情况,以及驾驶员难以从自动驾驶准确地恢复到手动驾驶的情况。注意,在第三人的紧急停车指示的情况下,目的是使车辆停止,并且基本过程是使车辆减速、缓行并在诸如路肩的安全地带处停车。在驾驶员恢复序列延迟的情况下,车辆减速以延迟到达接管点并获得到达宽限时间,从而可以在延长的时间内实现接管。即,紧急情况的避免不仅仅限于使车辆停止。

方向控制单元173控制用于实现由操作计划单元163或紧急情况避免单元171计划的用户自己的汽车的操作的方向。例如,方向控制单元173计算用于实现由操作计划单元163或紧急情况避免单元171计划的行驶轨迹或急转弯的转向机构的控制目标值,并将表示计算出的控制目标值的控制指令供应给驱动系统控制单元107。

[4.从自动驾驶模式到手动驾驶模式的模式切换序列]

接下来将描述从自动驾驶模式到手动驾驶模式的接管序列。

图8示意性地图示了自动驾驶控制单元112中的从自动驾驶模式到手动驾驶模式的模式切换序列的示例。

在步骤s1中,驾驶员处于完全脱离驾驶和转向的状态。在这种状态下,例如,驾驶员可以执行次要任务,诸如小睡、观看视频、专注于游戏以及使用平板电脑或智能电话的可视工具的作业。例如,可以在驾驶员的座椅移位的状态下或在与驾驶员座椅不同的座椅上执行使用平板电脑或智能电话的可视工具的作业。

当车辆接近路线上的需要手动驾驶恢复的区间时,假设直到驾驶员恢复的时间根据当时的操作内容而大大变化。在刚好在事件接近之前的通知的情况下,时间不足以恢复。在对于事件接近有余量地进行过早通知的情况下,根据驾驶员的状态,到恢复实际所需的定时的时间可能太长。作为结果,如果在适当的定时不执行通知的状况反复出现,则驾驶员失去对系统的通知定时的信赖,并且驾驶员对通知的意识降低,作为结果,驾驶员的准确处理被忽略。作为结果,接管失败的风险提高,同时,这成为阻碍舒适地执行次要任务的因素。因此,为了使驾驶员能够开始针对通知的准确的驾驶恢复,系统需要优化通知定时。

步骤s2是以上参考图3描述的手动驾驶恢复请求通知的定时。使用诸如振动的动态触觉或者视觉或听觉方式向驾驶员发出驾驶恢复通知。自动驾驶控制单元112例如监视驾驶员的稳定状态,掌握发出通知的定时,并在适当的定时发出通知。即,系统在先前的被动监视时段内被动并持续地监视驾驶员的次要任务的执行状态,并且可以计算出通知的最优定时。期望在步骤s1的时段中连续不断地执行被动监视,并根据驾驶员固有的恢复特性来计算恢复定时并发出恢复通知。

即,期望根据驾驶员的恢复动作模式、车辆特性等来学习最优恢复定时,并且向驾驶员呈现统计地确定的驾驶员以预定比率或更大比率从自动驾驶正常恢复到手动驾驶所需的最优定时。在这种情况下,例如,在驾驶员未在一定时间段内对恢复开始的期望地点处的通知做出响应的情况下,给出高刺激的警告,诸如发出警报或造成不适的座椅的振动。

在步骤s3中,确认驾驶员是否已经就座并恢复。在步骤s4中,使用面部和视线评价,根据已经开始了周围环境的确认操作的驾驶员的行为确定,确认驾驶员的识别开始状况,而且,通过分析瞳孔行为特性或诸如扫视或固视的眼球行为来确认行驶环境识别所需的驾驶员的内部觉醒状态。特别地,详细的眼球行为分析示出了影响大脑中的认知判断和理解的回归反应。因此,变得可以观测内部觉醒状态,这对于系统紧接在接管之前确定驾驶员的觉醒水平可以是很好的线索。然后,在系统可以掌握一定的觉醒恢复状况的阶段,系统在短期内并且分阶段将控制转移给驾驶员。在步骤s5中,系统在该操作转移期间监视驾驶员的实际转向状况的稳定性。该操作转移处理可以完全是被动转移,并且可以通过稍微添加需要驾驶员有意识或无意识地执行校正转向的主动行驶(诸如加速或减速或者蜿蜒)噪声来评价驾驶员的校正转向质量。另外,主动转向确认根据从ldm获得的道路状况而发生,并且可以选择性地仅应用于在直路等上驾驶员的被动转向响应难以检测的区间。然后,在步骤s6中,在系统在驾驶员的觉醒状态下检测到良好的转向恢复的情况下,从自动驾驶到手动驾驶的接管完成。

[5.自动驾驶的操作序列示例]

接下来,将参考图9中所示的流程图描述自动驾驶的操作序列的示例。

图9中所示的流程图是用于描述由移动装置执行的自动驾驶的操作序列的流程图。

首先,在步骤s11中,执行驾驶员认证。这种驾驶员认证是利用使用密码、pin等的知识认证、使用面部、指纹、瞳孔的虹膜、声纹等的生物认证、或者一起利用知识认证和生物认证而执行的。通过以这种方式执行驾驶员认证,即使在多个驾驶员驾驶同一车辆的情况下,也可以与每个驾驶员相关联地累积用于确定通知定时的信息。

接下来,在步骤s12中,驾驶员操作输入单元101以设置目的地。在这种情况下,驾驶员的输入操作基于仪表板上的显示来执行。

注意,已经在假设驾驶员进入车辆并设定行程的情况下描述了本实施例。然而,驾驶员例如可以在上车之前使用智能电话或在离开家之前使用个人计算机来远程进行提前预订。而且,车辆的系统例如可以根据日程安排表按照驾驶员假设的日程安排来执行预计划,更新并获取道路环境的ldm信息(即,车辆的道路行驶地图信息被高密度且恒定地更新的所谓的局部动态地图(ldm)),并且在上车时或上车之前如礼宾员(concierge)那样显示实际行驶的建议。

接下来,在步骤s13中,开始显示行驶路线上的行驶区间。这种行驶区间显示在仪表板上,并且例如还与作业窗口一起显示在驾驶员执行次要任务的平板电脑等上。作为结果,在作业窗口上进行作业的驾驶员可以容易地在从当前地点开始的预测到达时间轴上识别行驶路线上的需要驾驶员干预的区间和可自动驾驶区间。

在行驶区间显示中,呈现提前的日程安排和向每个地点的接近信息。在行驶区间显示中,在从当前地点开始的预测到达时间轴上显示行驶路线上的需要驾驶员干预的区间和可自动驾驶区间。此外,需要驾驶员干预的区间包括手动驾驶区间、从自动驾驶到手动驾驶的接管区间以及从自动驾驶开始的注意行驶区间。下面将描述行驶区间显示的细节。

接下来,在步骤s14中,开始获取ldm更新信息。通过获取ldm更新信息,可以将行驶区间显示的内容改变为最新状态。接下来,在步骤s15中,开始行驶。接下来,在步骤s16中,基于用户自己的汽车的位置信息和获取的ldm更新信息来更新行驶区间显示的显示。作为结果,滚动了行驶区间显示,使得随着车辆行驶,每个区间接近用户自己的汽车。

用于呈现诸如相对接近的前方行驶环境和接管用户自己的车辆所需要的定时这样的信息的手段不限于滚动手段。作为其他手段,优选的是使用发出即将到来的时间间隔的通知的直观且明确的手段,以及以较少的误解来通知驾驶员何时开始驾驶的手段。例如,可以使用模仿沙漏的时间呈现方法,或者以计时腕表形式将接管剩余时间直接呈现给用户穿戴的装置的手段。

接下来,在步骤s17中,监视驾驶员的状态。接下来,在步骤s18中,执行事件改变应对处理。事件改变应对处理包括:模式切换处理,用于响应行驶路线上存在的自动驾驶模式和手动驾驶模式之间的切换地点或注意行驶区间正在接近的情况;事件发生处理,用于响应在行驶路线上新出现了模式切换地点或注意行驶区间的需要驾驶员干预的区间的情况。在下文中,适当地重复进行步骤s16至s18的处理。

“行驶区间显示的细节”

图10图示了通过驾驶员设置目的地而确定的行驶路线的示例。为行驶路线至少设置可自动驾驶区间sa和手动驾驶区间sb。而且,图10中的示例图示了从自动驾驶到手动驾驶的接管区间sc和从自动驾驶开始的注意行驶区间sd被设置为逆时针行驶的路线的配置。行驶区间信息是记录在局部动态地图(ldm)中的信息。

在此,接管区间sc紧接在手动驾驶区间sb之前而存在,并且驾驶员需要处于向手动驾驶的可恢复状态。此外,注意行驶区间sd是车辆可以在处于向手动驾驶的可恢复状态的驾驶员的注意下在保持自动驾驶的同时以恒定的巡航速度或减速行驶或通过的区间。由于注意行驶区间是系统不能通用于处置事件的区域,因此要求驾驶员确定状况并应对事件。因此,在系统在自动驾驶中不能应对状况的情况下,驾驶员需要适当地应对状况。在进入该区间之前,驾驶员需要将姿势和觉醒水平恢复到能够应对事件的程度。

在图示的示例中,以绿色图示可自动驾驶区间sa,以红色图示手动驾驶区间sb,以黄色图示接管区间sc和注意行驶区间sd。注意,为了方便起见,每种颜色由不同的图案表示。

在诸如中心信息显示器或平板电脑这样的显示装置中的行驶区间显示中,行驶路线上的每个区间显示在从当前地点开始的预测到达时间轴上。自动驾驶控制单元112基于行驶路线信息和交通信息来处理用于显示行驶路线上的行驶区间的信息。

[6.移动装置执行的安全性确定处理和手动驾驶可恢复时间估计处理]

接下来,将描述移动装置执行的安全性确定处理和手动驾驶可恢复时间估计处理。

这个处理主要由配置在参考图5描述的移动装置100的自动驾驶控制单元112中的安全性确定单元155执行。

如上所述,安全性确定单元155具有作为对与驾驶员的恢复动作模式、车辆特性等对应的最优恢复定时进行学习的学习处理单元的功能,并将学习到的信息提供给状况识别单元153。作为结果,例如,可以向驾驶员呈现统计地确定的驾驶员以预定比率或更大比率从自动驾驶正常恢复到手动驾驶所需的最优定时。

图11是用于描述安全性确定单元155的具体的配置示例和处理的图。

左侧图示了诸如汽车的移动装置200,右侧图示了经由网络与移动装置100通信的学习服务器300和局部动态地图(ldm)信息提供服务器310。注意,图11图示了一个移动装置、一个学习服务器和一个ldm信息提供服务器。然而,大量的这些装置经由网络连接。例如,ldm信息提供服务器310可以由各针对每个局部区域设置的多个服务器构成。此外,学习服务器和ldm信息提供服务器可以配置在一个服务器中。

移动装置200包括驾驶员信息获取单元201、环境信息获取单元202、驾驶员个人识别信息获取单元203、安全性确定单元210、通知控制单元221、通知单元222、通信单元230和存储单元240。

注意,安全性确定单元210对应于图5中所示的状况分析单元133中配置的安全性确定单元155。

安全性确定单元210包括学习处理单元211、安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212和个人认证处理单元213。

学习服务器300包括学习数据获取和生成单元301、学习处理单元302、通信单元303和存储单元304。

首先,将描述移动装置200的每个配置单元的处理。

驾驶员信息获取单元201包括相机和各种传感器,并获取驾驶员信息。

由驾驶员信息获取单元201获取的驾驶员信息例如是从包括眼球区域的图像中获取的视线方向、眼球行为和瞳孔直径、从包括面部区域的图像中获取的面部表情等。

由驾驶员信息获取单元201获取的这些信息例如用作确定驾驶员的觉醒水平的信息。

注意,以上示例是对驾驶员的觉醒水平确定的简化描述,不能通过获取眼睛、面部等的简单信息来确定驾驶员的详细状态。驾驶员的觉醒水平确定包括对先前历史信息以及眼睛、面部等的行为的详细分析,以及使用可观测的值对驾驶员手动驾驶恢复所需的内部觉醒水平的全面且分层的确定。在下文中,将描述用于确定的生物特征信息的一些示例。

作为通过观测大脑中的活动区域来观测要识别或确定的部分的活动状态从而观测驾驶员的觉醒水平的手段,存在大型测量装置,诸如电检测电位的脑电图观测、使用红外线的头部表层血流的观测以及基于fmri的大脑功能评价。然而,在当今技术下,当这样的装置安装在车辆上时,已经远远超出了日常的一般使用。在实验环境下基于与其他生物特征信息(诸如心跳波形和eog)的相关性的离线学习的使用受到限制。

此外,虽然难以在突然需要接管的阶段中直接用于短期的觉醒水平确定,但是存在可以通过预先连续地获取中长期先前日志信息而预先用于觉醒恢复预测的一些信息。从系统接收到恢复通知之后到恢复所需的时间根据诸如接收通知时的睡眠深度、疲劳累积程度、从小睡开始所经过的时间的各种因素以及个人特性而变化。虽然难以直接提供恢复时间,但这些先验信息充当了觉醒恢复的影响因素。因此,可获取的可观测的信息作为估计觉醒恢复时间的影响因素而用于学习。

根据驾驶员的状态来获取由驾驶员信息获取单元201获取的驾驶员信息的日志,并且响应于恢复通知的接收、接管事件的接近等作为触发器来观测觉醒状态。例如在驾驶员穿戴并使用可观测装置(诸如腕表)的情况下,长期日志观测可以包括上车之前的生活日志。在那种情况下,诸如休息状态和额外或不足的睡眠的先验信息也可以对确定有帮助。在无法预先获取日志的正常使用情况下,用户上车,并且可以使用例如安装在车辆上的各种传感器通过心电图的洛伦兹图(lorentzplot)评价来观测诸如疲劳和睡意的注意力分散程度。另外,可以从心率/脉搏波/血流信息和血压以及呼吸、呼气和体味的中长期改变日志中估计紧张和疲劳状态。另外,可以借助于系统的语言响应通过分析用户的发声音调和响应延迟来估计驾驶员的状态。而且,可以采用面部表情、下视或旁视状态的发生等的行为分析手段。

此外,可以执行示出指示响应特性的状态确定,该状态确定利用了使用手势的敏捷性评价或使用活动量的活动评价。

由驾驶员信息获取单元201获取的驾驶员信息需要以高准确性确定内部觉醒水平,以在通过先前日志观测预先监视觉醒恢复影响因素时执行最终接管确定。从驾驶员醒来并且可以从自动驾驶恢复到手动驾驶的另一个角度来看,驾驶员的状况在时间序列中按照以下顺序发生改变。

1.识别要接管的事件的发生,

2.掌握并识别接管所需要的状况,并且

3.在通过声音掌握和识别通知的情况下,对通知做出响应。响应可以是醒来,可以是基于开关的识别和确认,可以是基于手势的响应确认,可以是基于将手放在方向盘上的动作识别的检测,或者可以是驾驶员坐着的座位的恢复的检测。

4.通常,假设响应于恢复通知而最终返回到恢复姿势的驾驶员在开始转向装置(诸如方向盘、制动器和加速器)的操作之前在经过了手动驾驶恢复所需要的状态识别和检验过程之后开始装置转向,因此主要的信息获取手段之一是视觉信息获取。

5.当驾驶员可以视觉地识别状况时,驾驶员开始操作适当的转向装置。然而,为了安全起见,系统不会立即接管整个转向,而是执行逐渐接管转向直到可以确认驾驶员适当的转向干预和肌肉转向响应的阶段的过程。作为系统确认是否获得转向装置的转向稳定性的过程,还可以通过在自动控制系统的控制阶段中添加需要驾驶员进行转向校正的转向噪声并检查对转向噪声的响应来确认车身的功能响应。

由驾驶员信息获取单元201获取的驾驶员信息包括执行一系列处理中的观测的功能。

关于由驾驶员信息获取单元201获取的驾驶员信息,如上所述,进一步掌握了视觉状况。只有在4的处理中进一步视觉地执行了识别、确定和计划之后,手动转向的准备才准备好。仅通过在视线的中心视野中捕获确定所需要的信息,不能确定和计划驾驶员采取的转向动作。因此,视线指向风险判断所需要的对象,并且通常捕获外围视野中的对象,并指向在哪个方向上中心视野=视线,由于扫视而引起的眼球转动的敏捷移动出现。当对象进入视线的中心视野时,为了促进对对象的理解而主要开始固视。当通过在掌握对象的特性时参考大脑中的知识信息完成对对象的判断时,产生理解的火花(ignition)。当完成对对象的理解时,在新方向上执行眼球的扫视操作以推进掌握需要被并行掌握的下一个对象,或者执行抵消相对方向移动的追踪跟踪旋转以推进对捕获的对象的动作判断。

即,当根据诸如作为这些眼球的视觉信息搜索行为而出现的广角扫视搜索、跟随与行驶相伴的流动的追踪移动、保持固视直到认识到视线所指向的感兴趣对象时发生的固视期间的不自主的眼睛移动及其范围和波动稳定性、对感兴趣的点的扫视的停留时间这样的初始视觉获取在知识认知和认知确认的固视期间的不自主的眼睛移动周期中做出判断时,引发判断的火花的轻微时间延迟受大脑中的活动量的影响,并且可以在短期内观测到这种效果。存在这种现象。在此,特别地,在视觉反射动作中,假设驾驶员通过参考其自己的视觉记忆从视觉地捕捉到的不良信息开始风险判断,并且在固视期间执行不自主的眼球移动时补充无意识地确认该判断所需要的附加补充信息,直到达到风险判断。因此,间歇地重复以下序列:在由于扫视而转动眼球立即评价初始视觉信息并无意识地且复杂地重复驾驶动作判断以确认继续驾驶所需要的判断,并且重复进行扫视以获得接下来要检查的信息。驾驶和转向的信息获取所需的这一系列的眼球移动是觉醒认知下的动作。因此,它表现为强烈反映恢复到手动驾驶所需的内部觉醒状态的恢复水平的眼球的详细行为。

而且,驾驶员信息获取单元201包括获取驾驶员的操作信息的操作信息获取单元。驾驶员信息获取单元201包括捕获驾驶员的面部图像的相机,以及用于操作单元(方向盘、加速器、制动器等)的操作信息获取单元。

环境信息获取单元202获取各种类型的环境信息。

由环境信息获取单元202获取的环境信息例如是基于安装在移动装置200中的成像单元的图像、深度信息、三维结构信息、基于诸如安装在移动体上的雷达或lidar的传感器的地形信息、基于gps的位置信息、交通信号灯状况、标志信息、来自安装在诸如道路等基础设施上的通信装置的信息等。

环境信息获取单元202根据需要还经由通信单元230从ldm信息提供服务器310获取附有目标恢复成功率(rrr)信息的局部动态地图(ldm)。

根据需要更新附有rrr信息的ldm,并且根据需要将最新数据供应给移动装置100。

注意,局部动态地图(ldm)包括分层的多种类型的层的信息组,如以上参考图1所描述的。即,ldm包括以下四种类型的信息:

类型1(静态数据)=例如基于中长期更新的国土地理院的地图等生成的地图信息等数据。

类型2(准静态数据)=长期改变但短期改变不大的数据,诸如建筑物(诸如大楼)、树木和标志。

类型3(准动态数据)=可以按一定时间单位改变的数据,诸如交通灯、交通拥堵和事故。

类型4(动态数据)=诸如车辆、人等的交通信息这样的顺序地改变的数据。

在本公开的配置中,除了来自ldm信息提供服务器310的常规ldm数据之外,根据需要还获取添加有以道路的区间为单位的rrr信息的ldm。

即,ldm信息提供服务器310生成和更新添加有作为从自动驾驶恢复到手动驾驶的目标成功率的目标恢复成功率(rrr)作为针对每个道路区间的信息的ldm(即,附有rrr信息的局部动态地图(ldm)),并将生成的ldm提供给移动装置100。

驾驶员个人识别信息获取单元203获取适用于诸如虹膜认证、指纹认证、静脉认证和声纹认证的个人认证的信息,。

注意,图11中所示的驾驶员信息获取单元201、环境信息获取单元202和驾驶员个人识别信息获取单元203的配置与图5中所示的数据获取单元102和检测单元131的配置对应。

安全性确定单元210包括学习处理单元211、安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212和个人认证处理单元213。

个人认证处理单元213接收已经由驾驶员个人识别信息获取单元203获取的诸如虹膜认证、指纹认证、静脉认证和声纹认证的个人认证信息作为输入,并执行个人认证处理。

从存储单元240或学习服务器300获取该认证处理所需要的注册信息。

例如,当驾驶员进入作为移动装置的汽车时,执行作为个人识别处理的个人认证。个人识别之后的驾驶员信息、时间、驾驶输入以及诸如道路的环境信息被不断地或定期地记录并发送到学习服务器300。

注意,例如,将从驾驶员个人识别信息获取单元203输入并且适用于诸如虹膜认证、指纹认证、静脉认证和声纹认证的个人认证的信息发送到学习服务器300,并且可以使用在学习服务器300中注册的信息由学习服务器300执行个人认证处理。

学习处理单元211接收例如由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息作为输入,并且执行用于应用了这些输入信息的安全性确定的学习处理。

具体地,例如,学习处理单元211构造能够计算与“驾驶员信息”和“环境信息”对应的“安全性指标值”和“手动驾驶可恢复时间估计值”的学习装置。注意,学习装置不仅学习驾驶员固有特性的确定,而且还学习与车辆特性、环境特性等对应的特性的确定。例如,当驾驶员考虑通勤汽车的转向特性的安全性而驾驶私家车通勤时,以及当驾驶员考虑车辆行为特性的安全性而驾驶连接着重负载的车辆时,即使驾驶员被识别为同一个驾驶员,转向起点和制动量例如根据驾驶情况也会大大变化。因此,通过学习对安全性有贡献的可变因素,可以获得包括状况和车辆特性的经优化的学习装置。

注意,学习装置是指可以使用机器学习来学习其输入和输出关系的模型、算法、参数等的集合。存在各种各样的名称,诸如统计学习装置、学习模型、机器学习模型、统计学习模型、预测器、预测模型、估计器、估计模型等,但它们的含义本质上相同,因此在这里采用名称“学习装置”。根据具体的应用,学习装置也被称为分类器、分类模型、识别器、识别模型、回归学习装置、回归学习模型、生成模型等,但名称“学习装置”是包括所有以上概念的上级概念。

安全性确定处理执行单元212接收例如由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息作为输入,并且还使用作为学习处理单元211中的学习结果的学习装置或者从学习服务器300获取的学习装置,计算基于当前的驾驶员信息和环境信息的安全性指标值。

而且,估计恢复安全的手动驾驶所需的时间(=手动驾驶可恢复时间)。

注意,恢复安全的手动驾驶所需的时间是基于驾驶员以固定的高比率开始手动驾驶直至到达需要接管的地点所需的时间而计算的,而不是通过直接评价安全性而计算出的时间。向手动驾驶的恢复的准备的开始的定时受到诸如车辆的运动特性、道路环境状况和天气的各种因素的影响。因此,通过考虑这样的影响因素,可以使安全性最大化。

通知控制单元221基于由安全性确定处理执行单元212估计的手动驾驶可恢复时间来控制已经参考图3描述的手动驾驶开始请求通知的通知定时,并且经由通知单元222发出该通知定时的通知。

注意,通知单元222例如包括警报器、窗上的显示器、中央控制台、仪表板、方向盘和座椅的振动处理执行单元等。

通信单元230与诸如学习服务器300的外部装置进行通信。

接下来,将描述学习服务器300的每个构成单元的处理。

学习服务器300包括学习数据获取和生成单元301、学习处理单元302、通信单元303以及存储单元304。

学习数据获取和生成单元301获取和生成构建学习装置所需的学习装置的输入和输出数据。具体地,例如,学习数据获取和生成单元301从连接到网络的各种移动装置获取“驾驶员信息”和“环境信息”。而且,例如,学习数据获取和生成单元301生成基于诸如地图数据、事故发生状况数据、交通拥堵数据等各种可获得的数据的学习数据。注意,在此,使用学习装置的“输入和输出数据”的表述。这些数据在监督式学习中被称为教师数据、训练数据等。由于只要可以学习期望的输入和输出关系,就不排除利用诸如非监督式学习、半监督式学习和强化学习这样的其他技术的学习可能性,因此,在此对表述进行概括并且使用学习装置的输入和输出数据。

这些数据存储在存储单元304中。

学习处理单元303使用由学习装置的输入和输出数据获取和生成单元301获取或生成并存储在存储单元304中的学习装置的输入和输出数据来执行学习处理。

通过学习处理,例如,构造能够计算与“驾驶员信息”和“环境信息”对应的“安全性指标值”和“手动驾驶可恢复时间估计值”的学习装置的输入和输出数据。

接下来,将描述移动装置200的安全性确定单元210的处理的细节。

安全性确定单元210包括学习处理单元211、安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212和个人认证处理单元213。

学习处理单元211接收由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息作为输入,并且执行用于应用了这些输入信息的安全性确定的学习处理。

安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212接收由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息作为输入,并且还使用作为学习处理单元211中的学习结果的学习装置或者从学习服务器300获取的学习装置,计算基于当前的驾驶员信息和环境信息的安全性指标值。

而且,估计恢复安全的手动驾驶所需的时间(=手动驾驶可恢复时间)。

注意,在不存在学习装置的输入和输出数据并且不能从学习处理单元211获取经学习的学习装置的初始状态下,安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212例如从存储单元240获取已经学习了预先通过实验获取的未指定的大量数据的学习装置,并且使用获取的学习装置来执行计算安全性指标值的处理和估计手动驾驶可恢复时间的处理。

可替代地,安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212输出预设的固定的手动驾驶可恢复时间作为估计值。

注意,可以从学习服务器300获取通过使用未指定的大量数据的学习处理生成的学习装置。

在执行了学习处理单元211中的学习处理之后,使用学习装置执行计算基于输入的驾驶员信息和环境信息的安全性指标值的处理以及估计手动驾驶可恢复时间的处理。

学习处理单元211执行例如构造以下信息(a)和(b)之间的对应的学习处理:

(a)由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息;以及

(b)关于在从自动驾驶模式到手动驾驶模式的切换通知之后驾驶员是否能够在安全状态下进行驾驶的操作信息。

注意,如上所述,例如,除了获取用于确定驾驶员的觉醒水平的信息的处理之外,驾驶员信息获取单元12还具有获取驾驶员的操作信息(即,操作单元(方向盘、加速器、制动器等)的操作信息)的功能。

即,学习处理单元211获取驾驶员信息和环境信息,在某个定时获取如以上参考图3所述的手动驾驶恢复请求通知之后的驾驶员的驾驶操作信息,并且检查是否已执行安全的驾驶。

当已执行安全驾驶时,在获得相同的驾驶员信息和环境信息的情况下,确定进一步延迟手动驾驶恢复请求通知的通知定时。

另一方面,当尚未执行安全驾驶时,在获得相同的驾驶员信息和环境信息的情况下,确定提前手动驾驶恢复请求通知的通知定时。

在学习处理单元211中的学习处理中,构造用于确定这样的手动驾驶恢复请求通知的通知定时的学习装置。

注意,在学习处理单元211中的学习处理中,不仅构造应用于确定手动驾驶恢复请求通知的通知定时的数据,而且在可以获得某些驾驶员信息和环境信息的情况下构造适用于关于驾驶员是否可以执行安全的手动驾驶的确定处理的学习装置,即,“驾驶员信息和环境信息”与“安全性指标值”相关联的学习装置。

作为学习装置的特性,在获取从每次发生事件时都会发生的恢复通知之前的驾驶员的特性开始的过渡时,将(b)驾驶员是否已经能够在安全状态下驾驶的操作信息用作教师数据,并且执行成功/失败确定和接管质量评价,由此该系统包括自包含的(self-contained)学习装置,并且可以提高准确性。

如上所述,在学习处理单元211中的学习处理中,可以获得与由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息相关联的安全性指标值数据。

而且,可以计算与由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息对应的手动驾驶可恢复时间(恢复安全的手动驾驶所需的时间)。

可以基于手动驾驶可恢复时间来确定针对驾驶员的手动驾驶开始请求通知的通知时间。

学习处理单元211中的学习处理的结果数据被存储在存储单元240中。

存储在存储单元240中的数据(学习装置和/或学习装置的输入和输出数据)例如包括以下数据。

与驾驶员信息和环境信息相关联的安全性指标值数据,

与驾驶员信息和环境信息相关联的手动驾驶可恢复时间(恢复安全的手动驾驶所需的时间)(=手动驾驶开始请求的最优的先行通知时间),

手动驾驶开始请求通知之后的驾驶员信息的异常、环境信息的异常和恢复所需时间,以及

学习装置,

这些数据可以存储在存储单元240中。

存储在存储单元240中的数据被定期发送到学习服务器300。

学习服务器300将从移动装置200接收的数据存储在存储单元304中,并且学习数据生成单元301执行基于接收到的数据的学习处理。

学习服务器300从大量的移动装置(汽车)接收大量数据,并且可以执行基于这些大量数据的学习处理。因此,可以获得具有高通用性和高可靠性的输入和输出数据(学习装置)。

学习服务器300通过基于大量数据的学习处理来更新学习装置,并将该学习装置存储在学习服务器300的存储单元304中。

存储在学习服务器300的存储单元304中的学习装置包括与存储在移动装置200的存储单元240中的上述数据相似的数据。即,

学习装置,

与驾驶员信息和环境信息相关联的安全性指标值数据,

与驾驶员信息和环境信息相关联的手动驾驶可恢复时间(恢复安全的手动驾驶所需的时间)(=手动驾驶开始请求的最优的先行通知时间),以及

手动驾驶开始请求通知之后的驾驶员信息的异常、环境信息的异常和恢复所需时间,

这些数据可以存储在学习服务器300的存储单元304中。

存储在学习服务器300的存储单元304中的学习装置根据需要被提供给移动装置200,并且例如用于在移动装置200的安全性确定单元210的安全性确定处理单元212中计算基于由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息的安全性指标值和手动驾驶可恢复时间。

注意,学习处理单元211可以通过在学习数据中包括个人识别信息、车辆类型信息、时间信息等来生成能够预测与个人、汽车(车辆类型等)或时间相关联的安全性指标值和手动驾驶可恢复时间的学习装置。

可以经由个人认证处理单元213获取个人识别信息。

可以从环境信息获取单元202获取车辆类型信息。可替代地,可以采用使用预先存储在存储单元中的数据的配置。

安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212应用作为学习处理单元211的学习处理的结果而计算出的学习装置,以获取手动驾驶可恢复时间,并发出基于获取的手动驾驶可恢复时间的手动驾驶可恢复时间通知。

而且,学习处理单元211从驾驶员信息获取单元201和环境信息获取单元202获取的该通知之后的驾驶员的驾驶操作信息,并确定是否正在执行正常驾驶。

基于该确定,更新和/或重新学习学习装置,使得例如在异常的频率高的情况下提前通知时间,而在异常的频率低的情况下延迟通知时间。通过更新和/或重新学习处理,可以根据驾驶员的当时的健康状态来执行通知时间控制。

在后半部分中,已经描述了使用学习服务器的情况。然而,实际处理分担和个性化信息的应对分类根据通信容量的可允许带宽、服务器侧的处理能力、车载学习装置的处理能力等而不同并且仅仅是示例,而不限制在基础设施侧执行的处理。

接下来,将描述在移动装置200的安全性确定单元210的安全性确定处理单元212中执行的估计手动驾驶可恢复时间的处理的具体示例。

如上所述,在自动驾驶期间驾驶员可以执行各种类型的处理(次要任务),并且觉醒水平根据正在执行的次要任务而大大变化。

例如,存在与驾驶的情况类似地驾驶员注视车辆的前方而仅释放方向盘的情况、驾驶员正在读书的情况、以及驾驶员睡着了的情况。驾驶员的觉醒水平(意识水平)根据这些类型的处理的差异而变化。

例如,睡着会降低驾驶员的觉醒水平。即,意识水平降低。在觉醒水平降低的这种状态下,无法执行正常的手动驾驶,并且如果在该状态下将模式切换为手动驾驶模式,则在最坏的情况下会发生事故。

因此,为了在安全性确定处理单元212中执行估计手动驾驶可恢复时间的处理,优选的是,驾驶员信息获取单元201获取可确认执行自动驾驶时的驾驶员的次要任务执行状况的信息,并且学习处理单元211使用所获取的数据来执行学习处理。

作为用于此目的的驾驶员信息获取单元201的配置,优选的是包括为了观测车辆内部而安装的相机、安装在方向盘或座椅中的压力传感器、温度传感器等。

学习处理单元211使用从相机获得的图像来计算面部认证、头部姿势估计、视线估计、身体姿势估计和动作识别出的结果,并将这些数据用于学习处理。

在执行次要任务时,以给出附加信息的形式进行管理,使得它是在自动驾驶状态下获取的输入信息。当从次要任务中恢复时,需要在通过某种方法计算出的可恢复时间之前的定时向驾驶员呈现信息,并且返回到手动驾驶状态。在没有足够的数据来估计手动驾驶可恢复时间的时候,需要在肯定可以恢复的时间发出恢复通知。因为未学习个人的特性,所以使用不依赖于该信息的固定的定义时间来呈现信息。可以使用例如通过对各种驾驶员群体的实际使用情况数据进行统计评价、预先获取评价用户可以以一定比率成功接管的时间以及离线地学习预先收集的恢复延迟时间的驾驶员群体平均等获得的统计数据来设置用于以目标成功率进行恢复的这个固定的定义时间。

此外,由于初次使用该系统的用户在使用这个固定时间时是谨慎的,因此可以考虑该特性而执行偏移量设置。

那时,每次发生接管事件时都测量从信息的呈现到恢复到手动驾驶的时间,并将其作为手动驾驶可恢复时间记录为记录日志。

此外,当确定向手动驾驶恢复时,可以参考先前的学习结果。通过重复类似的过程,可以收集用于估计特定的个人和车辆的可恢复时间的数据。

在收集到用于安全性指标值估计和手动驾驶可恢复时间估计的足够数据的情况下,例如,可以构造通过使用以下输入和输出数据的机器学习处理来预测安全性指标值和最优可恢复时间的学习装置。

输入:驾驶员信息、环境信息等

输出:安全性指标值和手动驾驶可恢复时间

此外,根据驾驶员过去的驾驶经验和环境条件,固有地认证过的固有恢复特性可以具有不同的恢复时间。例如根据诸如阴雨天气下能见度差、夜间状况、背光下的视力障碍、清晨和傍晚累积的疲劳这样的状况,或者根据诸如即使是同一驾驶员使用私家车通勤时的行为、大型乘用客车和载货车辆的车辆特性这样的状况,开始恢复和恢复所需的时间并不唯一。这些状况因素中有许多是示例,并且这些因素大致分为两类,分别被统称为“驾驶员信息”和“环境信息”。

ldm信息提供服务器310包括附有目标恢复成功率(rrr)信息的局部动态地图(ldm)生成和更新单元311以及通信单元312。

附有rrr信息的ldm生成和更新单元311生成或更新通过将针对每个道路区间的rrr信息添加到包括以上参考图1描述的分层的多种类型(类型1至类型4)的层的信息组的ldm而获得的附有rrr信息的ldm,并且经由通信单元312将该附有rrr信息的ldm发送到移动装置100。

即,ldm信息提供服务器310根据需要生成和更新添加了作为从自动驾驶恢复到手动驾驶的目标成功率的目标恢复成功率(rrr)作为针对每个道路区间的信息的ldm(即,附有rrr信息的局部动态地图(ldm)),并将生成的ldm提供给移动装置100。

图12图示了ldm信息提供服务器310的附有rrr信息的ldm生成和更新单元311的具体配置示例。

如图12中所示,附有rrr信息的ldm生成和更新单元311包括信息收集存储单元320、现有ldm信息生成和更新单元330、rrr信息生成和更新单元340以及rrr信息插入单元350。

如图12中所示,信息收集存储单元320包括前车收集信息收集存储单元321、基础设施动态观测监视信息收集存储单元322、基础设施定点观测监视信息收集存储单元323、宏观基础设施信息收集存储单元324、以及基础设施依赖信息收集存储单元325。

上述配置单元执行收集和存储用于生成和更新包括以上参考图1描述的多个层的现有ldm所需要的信息以及用于计算作为从自动驾驶恢复到手动驾驶的目标成功率的目标恢复成功率(rrr)所需要的信息的处理。

前车收集信息收集存储单元321收集并存储来自在每个道路区间中行驶的车辆的信息。基础设施动态观测监视信息收集存储单元322收集并存储例如来自在每个道路区间中行驶的信息收集车辆(探查车(probecar))的信息。基础设施定点观测监视信息收集存储单元323例如收集并存储来自每个道路区间中安装的相机和传感器的信息。宏观基础设施信息收集存储单元324收集并存储例如由交通信息提供服务器提供的交通拥堵信息和事故信息。基础设施依赖信息收集存储单元325例如收集并存储影响道路交通的诸如地图信息和天气信息的各种外部信息。

上述信息是生成和更新包括以上参考图1描述的多个层的现有ldm所需要的信息,以及计算作为从自动驾驶恢复到手动驾驶的目标成功率的目标恢复成功率(rrr)所需要的信息。

现有ldm信息生成和更新单元330输入信息收集存储单元320中的信息,并生成现有的局部动态地图(ldm)。如图12中所示,现有ldm信息生成和更新单元330包括类型1数据(诸如地图信息的静态数据)生成和更新单元331、类型2至3数据(准静态至准动态数据)生成和更新单元332、以及类型4数据(动态数据)生成和更新单元333。

这些配置元素接收信息收集存储单元320的信息作为输入,并生成包括以上参考图1描述的分层的多种类型(类型1至4)的层的信息组的局部动态地图(ldm)。

rrr信息生成和更新单元340接收来自信息收集存储单元320的信息作为输入,计算针对每个道路区间的从自动驾驶到手动驾驶的目标恢复成功率(rrr),并根据需要更新rrr。

如图12中所示,rrr信息生成和更新单元340包括区间单位rrr计算单元341、区间单位预测交通量估计单元342、车辆减速和停车导致的允许交通量减少率估计单元343、接管失败导致的停车车辆占用率估计单元344、基本允许交通量计算单元345以及rrr接管失败惩罚因子计算单元346。

区间单位rrr计算单元341计算从自动驾驶到手动驾驶的针对每个计算区间(道路区间)的目标恢复成功率(rrr)。从区间单位预测交通量估计单元342到rrr接管失败惩罚因子计算单元346获取该计算所需要的参数。

区间单位预测交通量估计单元342接收信息收集存储单元320的信息作为输入,并且估计针对每个rrr计算区间(道路区间)的预测的交通量。

车辆减速和停车导致的允许交通量减少率估计单元343接收信息收集存储单元320的信息作为输入,并且估计针对每个rrr计算区间(道路区间)的由于车辆的减速和停车而导致的可允许交通量减少率。注意,即使道路维护计划时间通常避免降雪和交通繁忙的高峰时间(诸如深夜),允许交通量的减少也由于除事故以外的各种因素而随着时间积极变化,诸如因状况改变等而转移到高峰时间、发生意外事件、被诸如落石和阵风的飞行物体阻塞一些车道。

接管失败导致的停车车辆占用率估计单元344接收信息收集存储单元320的信息作为输入,并且估计针对每个rrr计算区间(道路区间)的由于接管失败而导致的停车车辆占用率。

基本允许交通量计算单元345接收信息收集存储单元320的信息作为输入,并且计算针对每个rrr计算区间(道路区间)的基本允许交通量。

rrr接管失败惩罚因子计算单元346接收信息收集存储单元320的信息作为输入,并且计算针对每个rrr计算区间(道路区间)的接管失败惩罚因子。注意,接管失败惩罚因子是在车辆的驾驶员未能从自动驾驶接管到手动驾驶的情况下强加给驾驶员的惩罚元素,并且例如是类似于一般交通违规的设置惩罚的模式,诸如预定的培训课程、罚款和驾驶执照暂停。该惩罚因子针对每个rrr计算区间(道路区间)而设置。例如,在由于未能从自动驾驶接管到手动驾驶的车辆的出现而导致发生交通堵塞的区间中,将惩罚因子设置为具有大的值。此外,在没有由于未能从自动驾驶接管到手动驾驶的车辆的出现而导致发生交通堵塞的区间中,将惩罚因子设置为具有小的值。

区间单位rrr计算单元341使用从区间单位预测交通量估计单元342至rrr接管失败惩罚因子计算单元346获取的参数来计算针对每个计算区间(道路区间)的目标恢复成功率(rrr)。即,区间单位rrr计算单元341计算针对每个区间的从自动驾驶到手动驾驶的目标恢复成功率(rrr)。

rrr信息插入单元350将由rrr信息生成和更新单元340生成的作为针对每个道路区间的目标恢复成功率(rrr)的rrr信息362插入到由现有ldm信息生成和更新单元330生成的局部动态地图(ldm)361中,以生成附有rrr信息的ldm363,并经由通信单元312将附有rrr信息的ldm363发送到每个车辆。

注意,由rrr信息生成和更新单元340生成的作为每个道路区间的目标恢复成功率(rrr)的rrr信息362作为具有以上参考图1描述的分层配置的局部动态地图(ldm)的配置数据中的例如类型3或类型4的数据而插入。

注意,根据道路条件的改变等,根据需要更新针对每个道路区间的目标恢复成功率(rrr)。

由rrr信息插入单元350生成的附有rrr信息的ldm363被分发给在道路上行驶的每个车辆。

注意,可以将ldm信息提供服务器310设置为单独地向汽车分发由现有ldm信息生成和更新单元330生成的局部动态地图(ldm)361以及由rrr信息生成和更新单元340生成的作为针对每个道路区间的目标恢复成功率(rrr)的rrr信息362。

图13图示了附有rrr信息的ldm的分发配置的示例以及用于生成附有rrr信息的ldm的信息收集配置示例。图13图示了在划分为预定区间(片段区间(n-4)至(n+1))的道路上行驶的多个汽车。每个区间(片段)与目标恢复成功率(rrr)的计算区间对应。多个普通车辆381a、381b等在道路上行驶。此外,作为信息收集器的探查车382也在行驶。

地域ldm信息提供服务器371和372是分别生成和更新其负责的预定区域的ldm并将ldm提供给每个车辆的服务器。注意,在本公开的配置中,地域ldm信息提供服务器371和372中的每一个都具有以上参考图12描述的配置,并且生成附有rrr信息的ldm并将附有rrr信息的ldm分发给每个车辆。

图13中所示的点线表示配置元件之间的信息的通信路径的示例。注意,不仅图示了从地域ldm信息提供服务器371和372向每个车辆提供附有rrr信息的ldm的通信路径,而且还图示了用于由地域ldm信息提供服务器371和372生成和更新最新的附有rrr信息的ldm的通信路径。

地域ldm信息提供服务器371和372具有以上参考图12描述的配置。即,包括信息收集存储单元320,并且包括前车收集信息收集存储单元321、基础设施动态观测监视信息收集存储单元322、基础设施定点观测监视信息收集存储单元323、宏观基础设施信息收集存储单元324以及基础设施依赖信息收集存储单元325。

用于获取上面提到的单元的每个信息的通信路径的一部分是图13中所示的点线。

注意,也可以普通车辆和探测车之间执行车辆对车辆的通信并且基于接收到的数据执行更新附有rrr信息的ldm的处理。

[7.本公开的移动装置、信息处理装置或服务器所执行的信息处理序列]

接下来,将描述在移动装置、信息处理装置或服务器中执行的本公开的信息处理序列。

首先,将参考图14中所示的流程图描述在以上参考图11描述的移动装置200的学习处理单元211或者学习服务器300的学习处理单元302中执行的学习处理的序列示例。

如上所述,移动装置200的学习处理单元211以及学习服务器300的学习处理单元302构造能够计算与“驾驶员信息”和“环境信息”对应的“安全性指标值”和“手动驾驶可恢复时间估计值”的学习装置。

首先,在步骤s31中,输入“驾驶员信息”和“环境信息”。

接下来,在步骤s32中,测量从手动驾驶开始请求通知时间到开始手动驾驶的时间。

接下来,在步骤s33中,从驾驶员信息获取单元获取手动驾驶开始之后的驾驶员的操作信息,并且计算与是否正在执行安全的操作对应的安全性指标值。如上所述,除了获取用于确定驾驶员的觉醒水平的信息的处理之外,驾驶员信息获取单元12还具有获取驾驶员的操作信息(即,操作单元(方向盘、加速器、制动器等)的操作信息)的功能。

注意,在步骤s33中的安全性指标值计算处理中,可以不仅使用驾驶员的操作信息而且还使用例如具体事件应对信息和事故信息来执行计算安全性指标值的处理。例如,可以不仅使用“驾驶员信息”和“环境信息”而且还使用与时间和道路信息对应的事故信息等来计算安全性指标值。事件应对信息是通过连续监视驾驶转向状况作为驾驶员的准确转向判断评价水平来连续且全面地评价如对波动振幅或转向进行校正时产生的加速度的改变的转向稳定性而获得的信息,诸如在车辆开始偏离车道时是否在适当的定时执行了用于校正的方向盘操作,定期观测是否存在延迟,是否发生了过度校正操作,或者校正间隔的发生是否变得不规律。系统被动地监视和分析驾驶员关于转向装置的转向稳定性是监视驾驶员的方法之一,该方法传统上用于估计驾驶员的驾驶质量的降低,诸如驾驶员的疲劳水平或困意。然而,如果将统一的被动监视用于自动驾驶中的短期内的驾驶员觉醒水平的恢复质量评价,则驾驶员的干预会根据接管请求地点处的道路单调性或紧急程度的不同而发生变化。因此,可以通过在接管地点处适当地注入需要驾驶员做出响应的操作噪声并检测主动反射响应来进一步确认转向校正稳定性。

一旦系统开始将车辆系统的控制给予驾驶员,驾驶员就对方向盘、制动器和加速器执行转向意图输入。因此,如在方向盘的上述校正转向中所看出的,系统可以开始评价允许范围内的理想速度驾驶控制与驾驶员进行的控制之间的差异作为可以被确定为系统的转向上期望的正常行驶。因此,变得可以根据驾驶员的转向适当性对驾驶员的觉醒恢复水平进行定量评价。系统在将系统控制委托给驾驶员的阶段完成转向干预。作为结果,系统获得“驾驶员信息”和“环境信息”的历史(诸如接管开始之前的驾驶员状态、车辆状态、环境状态)、接管的成功或失败、正常接管所需的实际延迟时间、接管开始时的转向的质量评价日志、完全恢复所需的恢复行为特性改变曲线等日志数据集。

在接下来的步骤s34中,计算使基于手动驾驶开始之后的操作信息的安全性指标值成为固定值或更大(安全)所需要的从通知时间到手动驾驶开始时间所经过的时间(手动驾驶可恢复时间)。

在接下来的步骤s35中,生成包括输入信息(驾驶员信息、环境信息等)、安全性指标值和手动驾驶可恢复时间的对应数据的输入和输出数据,并更新学习装置。

重复执行步骤s31至s35的处理,并且使用大量的学习数据顺序地更新使用输入信息(驾驶员信息、环境信息等)、安全性指标值和手动驾驶可恢复时间的对应数据配置的学习装置。

步骤s36中的处理是由学习服务器300的学习处理单元302构造学习装置的情况下的处理。

在步骤s36中,将学习服务器300生成的最新学习装置发送到移动装置(汽车)。

通过图14中所示的学习处理,可以生成安全性指标值和手动驾驶可恢复时间的对应数据以及恢复延迟时间和恢复成功率的对应数据。这些数据的具体示例在图15中示出。

图15(a)图示了与观测值对应的可观测评价值与恢复延迟时间(=手动驾驶可恢复时间)之间的多条关系信息(观测图(observationplot))的分布的示例。这个示例与某个驾驶员的某个次要任务的类型对应。为了从多条关系信息(观测图)计算恢复延迟时间,提取在与获取的观测值对应的评价值方向上具有一定宽度的区域(由断线矩形框架示出)中的关系信息(观测图)。图中的点线c表示以驾驶员的不同观测值观测下述图15(b)中的恢复成功率为0.95的恢复延迟时间时的边界线。

通过以比点线c更长的时间(即,在更早的时间)向驾驶员发出从自动驾驶到手动驾驶的恢复通知或警报,以0.95或更高的比率确保驾驶员成功地从自动驾驶恢复到手动驾驶。

图15(b)图示了从提取出的多条关系信息(观测图)获得的恢复延迟时间与恢复成功率之间的关系。在此,曲线a图示了每个恢复延迟时间处的单独成功率,曲线b图示了每个恢复延迟时间处的累积成功率。在这种情况下,基于曲线b,以使成功率成为预定比率(即,在所示的示例中,成功率变为0.95)的方式计算恢复延迟时间t1。

例如,在以上参考图11描述的安全性确定单元210中执行这个计算处理。例如,使用存储在存储单元240中的过去获取的可观测评价值与恢复延迟时间之间的多条关系信息(观测图)的分布信息,在安全性确定单元210中执行计算处理。

上述作为从自动驾驶恢复到手动驾驶的目标成功率的目标恢复成功率(rrr)与图15(b)的图形中所示的恢复成功率对应。

在本公开的配置中,针对每个道路区间设置作为从自动驾驶恢复到手动驾驶的目标成功率的目标恢复成功率(rrr),并且根据目标恢复成功率(rrr)来控制针对自动驾驶车辆的向手动驾驶的恢复请求通知的定时。

例如,在要求成功率为95%的区间中(即,在rrr=0.95的设置区间中),获得与图(b)中所示的恢复成功率=0.95的线和曲线b的交点对应的恢复延迟时间t1,获取该恢复延迟时间t1,并且在比进入手动驾驶开始区间的时间早了恢复延迟时间t1的时间向驾驶员发出恢复请求通知。例如,通过以上参考图3描述的显示处理、警报输出等来发出恢复通知。

图16是用于描述与驾驶员在自动驾驶模式下在驾驶员脱离驾驶和转向操作时执行的处理(次要任务)的类型对应的手动驾驶可恢复时间的图。

每个分布剖面与图15(b)中所示的基于观测值(即,表示驾驶员状态的驾驶员信息)而预测的曲线a对应。即,为了在接管点处以必要的恢复成功率完成从自动驾驶到手动驾驶的接管,从能够评价在每个阶段检测到的驾驶员的觉醒水平的观测值中,例如根据正在执行的次要任务的内容以及恢复之前和之后的历史,参考驾驶员恢复所需的过去特性,基于剖面(图15(b)中的恢复成功率剖面)变为期望值的时间t1来监视状态是否实际上在每个恢复阶段达到了的恢复所需的必要状态,直到接管完成为止。

例如,小睡的情况下的初始曲线在根据在自动驾驶中的小睡期间被动监视的呼吸和脉搏波等观测信息估计睡眠水平并且在发出觉醒警报之后查看驾驶员的恢复延迟特性的情况下具有累积的平均分布。根据表示驾驶员在醒来之后和随后的移动恢复过程中观测到的驾驶员状态的驾驶员信息来确定途中的每个分布。对图中所示的“6.小睡的情况”进行观测并确定觉醒警报的正确定时,并且此后的途中行程示出了根据预测的中间点处的可观测的驾驶员状态评价值预测的恢复预算(budget)中的恢复时间分布。

在途中继续关于不违反在接管之前逐渐减小的剩余接管时间限制的观测,并且在存在违反风险的情况下,使车辆减速,并且例如生成时间延迟。注意,例如,关于没有“6.小睡的情况”和“5.就座”而从“4.非驾驶姿势不规律旋转就座”开始的恢复时的分布,恢复的过程从掌握初始状况识别开始。因此,在一开始就以“4.非驾驶姿势不规律旋转就座”姿势从状况识别开始的情况下,识别状况的时间长。而即使项目相同,即使作为从“6.在小睡的情况下”开始的途中过程的状态“4.非驾驶姿势不规律旋转就座”姿势相同,思考过程也在恢复意识过程中。

如上所述,用于获得预定恢复成功率的恢复延迟时间根据反映驾驶员的觉醒水平的驾驶员状态(驾驶员信息)而显著变化。本公开的信息处理装置的数据处理单元使用针对每个驾驶员以及针对反映驾驶员的觉醒水平的每个驾驶员状态(驾驶员信息)的学习数据来计算手动驾驶可恢复时间。学习数据例如是图15(b)中所示的从自动驾驶到手动驾驶的恢复延迟时间与恢复成功率之间的对应数据。

注意,当前正在驾驶的驾驶员的可观测评价值与恢复延迟时间之间的关系信息可能没有充分地存储在存储单元中。在那种情况下,例如,基于从相同年龄组的驾驶员群体收集的信息而生成的恢复特性信息被存储在存储单元中,并且可以使用该恢复特性信息作为预先提供的恢复的假设的分布信息来计算恢复延迟时间t1。在恢复信息中,尚未充分学习驾驶员的固有特性。因此,可以基于该信息使用相同的恢复概率,或者可以设置更高的恢复成功率。注意,预期人体工程学上缺乏经验的用户在使用初期较早恢复,因为该用户是慎重的。然后,当驾驶员习惯于系统时,他/她自己适应符合系统的通知的动作。注意,在运营许多车辆的物流业、运营公共汽车、出租车等的车辆运营业或者共享汽车和出租汽车中使用不同车辆的情况下,执行驾驶员的个人认证,在远程服务器等上以集中或分散的方式管理和学习驾驶的可观测信息和恢复特性,并且恢复特性的数据不必存储在各个车辆中,而是可以被远程学习和处理并存储。

此外,因为通知定时是重要的,所以使用统一的直到成功或失败的时间来描述恢复成功率。然而,从自动驾驶到手动驾驶的成功或失败不限于二值化的成功或失败,并且可以进一步进行扩展到恢复接管质量的确定。即,可以将到实际恢复确认的恢复过程过渡的延迟时间、针对通知的恢复开始延迟、途中恢复操作中的停滞等允许时间内的恢复作为恢复质量评价值进一步输入到学习装置。

如以上参考图15描述的,作为通过依照图14中所示的流程图的学习处理生成的数据,可以生成安全性指标值和手动驾驶可恢复时间的对应数据以及恢复延迟时间和恢复成功率的对应数据。

使用通过依照图14中所示的流程图的学习处理生成的恢复延迟时间和恢复成功率的对应数据以及局部动态地图(ldm)中包括的针对每个道路区间的目标恢复成功率(rrr),根据本公开的信息处理装置计算并确定针对自动驾驶车辆的向手动驾驶的恢复请求通知的定时。

将参考图17描述具体示例。

图17(a)是通过依照图14中所示的流程图的学习处理生成的某个驾驶员的恢复延迟时间和恢复成功率的对应数据。

注意,恢复延迟时间和恢复成功率的对应数据对于每个驾驶员而言是不同的数据,并且还取决于自动驾驶中的驾驶员的状态(例如小睡、进行作业、向前看等)。通过依照参考图14描述的序列的学习处理来生成与上述每个状态对应的数据(恢复延迟时间和恢复成功率的对应数据)。

当执行确定针对自动驾驶车辆的向手动驾驶的恢复请求通知的定时的处理时,信息处理装置获取当前驾驶员的识别信息以及表示正在执行自动驾驶的驾驶员的驾驶员状态的驾驶员信息,并且执行应用了与表示识别出的驾驶员的驾驶员状态的驾驶员信息对应的学习数据(恢复延迟时间和恢复成功率的对应数据)的处理。

图17(a)中所示的数据是通过针对某个驾驶员的学习处理而生成的数据,并且是与驾驶员以就座驾驶姿势使用终端并进行作业的情况对应的数据(恢复延迟时间和恢复成功率的对应数据)。

已经获取学习数据的驾驶员当前正在如图17(b)中所示的道路区间中行驶。即,车辆当前正在自动驾驶区间中行驶,并且在行驶自动驾驶区间之后存在设置了目标恢复成功率(rrr)=0.95的手动驾驶区间。区间信息和目标恢复成功率(rrr)是可以从附有rrr信息的ldm获取的信息。

注意,驾驶员以就座驾驶姿势使用终端并进行作业。

在这样的设置中,驾驶员正在驾驶的移动装置(汽车)中的信息处理装置获取表示当前正在执行自动驾驶的驾驶员的驾驶员状态的驾驶员信息,并且还执行应用与表示识别出的驾驶员的驾驶员状态的驾驶员信息对应的学习数据(图17(a)中的恢复延迟时间和恢复成功率的对应数据)并确定针对自动驾驶车辆的向手动驾驶的恢复请求通知的定时的处理。

在图示的示例中,在驾驶员的车辆正在行驶的自动驾驶区间之后,存在设置了目标恢复成功率(rrr)=0.95(95%)的手动驾驶区间。

信息处理装置的数据处理单元获取图17(a)中所示的恢复延迟时间和恢复成功率的对应数据的恢复成功率=0.95(=95%)的情况下的恢复延迟时间。在图示的示例中,在恢复成功率=0.95(=95%)的情况下,恢复延迟时间为16秒。信息处理装置的数据处理单元基于获取的数据(16秒)将汽车进入手动驾驶区间之前16秒的定时确定为向手动驾驶的恢复请求通知的定时,并且在确定的该定时执行恢复请求通知。该通知例如通过参考图3描述的显示数据或警报的输出或者座椅、方向盘等的振动处理来执行。

注意,为了使信息处理装置将汽车进入手动驾驶区间之前16秒的定时确定为向手动驾驶的恢复请求通知的定时,汽车的自动驾驶执行期间的速度信息是必要的。信息处理装置获取自动驾驶期间的速度信息,并且执行确定通知定时的处理。

如图17(b)中所示,通过在汽车进入手动驾驶区间之前16秒发出向手动驾驶的恢复请求通知,驾驶员可以在16秒之后以95%的概率开始安全的手动驾驶。作为结果,在汽车进入设置了目标恢复成功率(rrr)=0.95(=95%)的手动驾驶区间的定时,驾驶员可以以95%的概率开始安全的手动驾驶。

如上所述,本公开的信息处理装置的数据处理单元(例如图11中所示的安全性确定单元210)将直到进入需要手动驾驶的道路区间为止的时间等于或大于手动驾驶可恢复时间的定时确定为手动驾驶恢复请求通知定时,并在确定的该定时执行手动驾驶恢复请求通知。

接下来,将参考图18描述存在具有不同的目标恢复成功率(rrr)的手动驾驶区间的情况下的处理。如图18(b)中所示,该处理是在驾驶员的车辆正在行驶的自动驾驶区间之后存在设置了目标恢复成功率(rrr)=0.50(=50%)的手动驾驶区间的情况下的处理。注意,区间信息和目标恢复成功率(rrr)是可以从附有rrr信息的ldm获取的信息。

注意,驾驶员以就座驾驶姿势使用终端并进行作业。

在这种情况下,信息处理装置的数据处理单元获取图18(a)中所示的恢复延迟时间和恢复成功率的对应数据的恢复成功率=0.50(=50%)的情况下的恢复延迟时间。在图示的示例中,在恢复成功率=0.50(=50%)的情况下,恢复延迟时间为11秒。信息处理装置的数据处理单元基于获取的数据(11秒)将汽车进入手动驾驶区间之前11秒的定时确定为向手动驾驶的恢复请求通知的定时,并且在确定的该定时执行恢复请求通知。该通知例如通过参考图3描述的显示数据或警报的输出或者座椅、方向盘等的振动处理来执行。

如图18(b)中所示,通过在汽车进入手动驾驶区间之前11秒发出向手动驾驶的恢复请求通知,驾驶员可以在11秒之后以50%的概率开始安全的手动驾驶。作为结果,在汽车进入设置了目标恢复成功率(rrr)=0.50(=50%)的手动驾驶区间的定时,驾驶员可以以50%的概率开始安全的手动驾驶。

接下来,将参考图19描述驾驶员的状态不同于参考图17和图18描述的状态(以就座驾驶姿势使用终端并进行作业)的情况下的处理示例。

如上所述,当执行确定针对自动驾驶车辆的向手动驾驶的恢复请求通知的定时的处理时,信息处理装置获取当前驾驶员的识别信息以及表示正在执行自动驾驶的驾驶员的驾驶员状态的驾驶员信息。并且执行应用了与表示识别出的驾驶员的驾驶员状态的驾驶员信息对应的学习数据(恢复延迟时间和恢复成功率的对应数据)的处理。

图19(a)中所示的数据是通过针对某个驾驶员的学习处理而生成的数据,并且是与驾驶员正在小睡的情况对应的数据(恢复延迟时间和恢复成功率的对应数据)。

与图18(a)中所示的图形不同,图19(a)中所示的图形的恢复成功率具有平缓斜率。即,在图19(a)中所示的图形中,用于获得预定的恢复成功率的恢复延迟时间被设置为比图18(a)中所示的图形更长的时间。这意味着在驾驶员正在小睡的情况下,需要在更早的定时发出手动驾驶恢复通知。

成为图19(a)中所示的数据的获取对象的驾驶员当前正在如图19(b)中所示的道路区间中行驶。即,车辆当前在自动驾驶区间中行驶,并且在行驶自动驾驶区间之后存在设置了目标恢复成功率(rrr)=0.50的手动驾驶区间。

区间信息和目标恢复成功率(rrr)是可以从附有rrr信息的ldm获取的信息。

注意,驾驶员正在小睡。

在这种情况下,信息处理装置的数据处理单元获取图19(a)中所示的恢复延迟时间和恢复成功率的对应数据的恢复成功率=0.50(=50%)的情况下的恢复延迟时间。在图示的示例中,在恢复成功率=0.50(=50%)的情况下,恢复延迟时间为37秒。信息处理装置的数据处理单元基于获取的数据(37秒)将汽车进入手动驾驶区间之前37秒的定时确定为向手动驾驶的恢复请求通知的定时,并且在确定的该定时执行恢复请求通知。该通知例如通过参考图3描述的显示数据或警报的输出或者座椅、方向盘等的振动处理来执行。

如图19(b)中所示,通过在汽车进入手动驾驶区域之前37秒发出向手动驾驶的恢复请求通知,驾驶员可以在37秒之后以50%的概率开始安全的手动驾驶。作为结果,在汽车进入设置了目标恢复成功率(rrr)=0.50(=50%)的手动驾驶区间的定时,驾驶员可以以50%的概率开始安全的手动驾驶。

注意,将由信息处理装置(系统)计算出的向手动驾驶的恢复请求通知的定时设置为考虑了驾驶员可以开始手动驾驶的最短时间的定时是一个示例。而且,可以采用计算比该定时更早的定时并且向驾驶员发出手动驾驶恢复通知的配置。例如,在以下状况下,优选的是在更早的定时发出通知。

(a)车辆在需要驾驶员干预的山区的弯路多的危险区间中行驶的情况;

(b)需要理解与车辆附近的复杂行驶车辆的相互关系而执行转向的情况;

(c)大型环岛中的需要接管的情况;以及

(d)在使用毫米波雷达、夜视仪等的车辆驾驶系统中,车辆处于诸如车辆在诸如夜间或浓雾的环境中行驶这样的人驾驶不容易的状况的情况。

例如在这些状况下,优选的是在更早的定时发出通知。

注意,在这种情况下,目标恢复成功率也是用于计算所需的基线通知时间的基本指标。

[8.获取和使用局部动态地图(ldm)和目标恢复成功率(rrr)的处理的序列]

接下来,将参考图20中所示的流程图描述由移动装置的数据处理单元或者安装在移动装置上的信息处理装置的数据处理单元执行的获取和使用局部动态地图(ldm)和目标恢复成功率(rrr)的处理序列。

将顺序地描述图20中所示的流程的每个步骤的处理。

(步骤s101)

首先,在步骤s101中,移动装置的数据处理单元或者安装在移动装置上的信息处理装置的数据处理单元接受基础地图信息。注意,在下文中,将移动装置的数据处理单元或者安装在移动装置上的信息处理装置的数据处理单元简单地描述为数据处理单元。

在步骤s101中,例如在从局部动态地图(ldm)信息提供服务器获取的数据存储在移动装置的本地存储单元中的情况下,数据处理单元从本地存储单元获取数据。在数据没有存储在本地存储单元中的情况下,数据处理单元从ldm信息提供服务器获取数据。

(步骤s102)

接下来,在步骤s102中,数据处理单元检查ldm的更新信息,并且在存在更新信息的情况下执行更新处理。更新信息是从局部动态地图(ldm)信息提供服务器获取的。

通过步骤s101和s102中的处理,完成了包括以上参考图1描述的类型1至类型4的多个层的局部动态地图(ldm)的获取。

(步骤s103)

接下来,在步骤s103中,数据处理单元获取计划行驶的道路区间。这例如是在开始自动驾驶时从预设的行驶路线信息中获取计划行驶的道路区间的处理。

(步骤s104)

接下来,在步骤s104中,数据处理单元请求获取计划行驶的道路区间的目标恢复成功率(rrr)。这是作为在步骤s101和s102中获取的局部动态地图(ldm)的附属信息由ldm信息提供服务器生成的目标恢复成功率(rrr)的获取请求。

(步骤s105)

接下来,在步骤s105中,数据处理单元获取计划行驶的道路区间的目标恢复成功率(rrr),并且执行将目标恢复成功率(rrr)与在步骤s101和s102中获取的局部动态地图(ldm)相关联的数据更新处理。

注意,在本处理示例中,已经描述了单独地获取现有的局部动态地图(ldm)(即,包括参考图1描述的类型1至类型4的数据的ldm)和针对每个道路区间的目标恢复成功率(rrr)的设置。然而,该设置是示例,并且可以采用ldm信息提供服务器生成记录有针对每个道路区间的目标恢复成功率(rrr)信息的附有rrr的ldm并且移动装置获取该附有rrr的ldm的配置。

(步骤s106)

接下来,在步骤s105中,数据处理单元执行基于计划行驶的道路区间的目标恢复成功率(rrr)的处理。

具体地,数据处理单元使用如以上参考图17至图19所述的与驾驶员状况对应的学习数据(恢复延迟时间和恢复成功率的对应数据)以及计划行驶的道路区间的目标恢复成功率(rrr)来确定在进入手动驾驶区间之前要执行的手动驾驶恢复请求通知的通知定时,并且在确定的通知定时执行通知处理。

注意,下面将参考图21中所示的流程图进一步描述步骤s106中的处理的细节。

(步骤s107)

步骤s107是确定附有rrr的ldm使用处理完成的处理。当确定附有rrr的ldm使用处理完成时,处理结束。

此外,当确定附有rrr的ldm使用处理未完成时,处理返回到步骤s103,并且重复执行s103和后续步骤中的处理。

[9.使用目标恢复成功率(rrr)的手动驾驶恢复通知处理的序列]

接下来,将描述由本公开的移动装置和信息处理装置执行的使用目标恢复成功率(rrr)的手动驾驶恢复通知处理的序列。

图21中所示的流程图是用于描述当作为本公开的移动装置的汽车将自动驾驶模式切换为手动驾驶模式时执行的处理的序列的示例的流程图。

将顺序地描述各步骤的处理。

(步骤s201)

首先,在步骤s201中,移动装置的数据处理单元或者安装在移动装置上的信息处理装置的数据处理单元观测将自动驾驶模式切换为手动驾驶模式的请求的发生事件。注意,在下文中,将移动装置的数据处理单元或者安装在移动装置上的信息处理装置的数据处理单元简单地描述为数据处理单元。

在步骤s201中,数据处理单元观测将自动驾驶模式切换为手动驾驶模式的请求的发生事件。该观测信息基于局部动态地图(ldm)信息。

(步骤s202)

接下来,在步骤s202中,获取观测值。例如在图11中所示的驾驶员信息获取单元201、环境信息获取单元202和驾驶员个人识别信息获取单元203中执行观测值获取处理。注意,这些配置与图5中所示的数据获取单元102和检测单元131的配置对应。

如上所述,驾驶员信息获取单元201包括相机和各种传感器,并且例如获取驾驶员信息,诸如用于确定驾驶员的觉醒水平的信息。该信息例如是从包括眼球区域的图像获取的视线方向、眼球行为和瞳孔直径以及从包括面部区域的图像获取的面部表情。驾驶员信息获取单元201还获取驾驶员的操作单元(方向盘、加速器、制动器等)的操作信息。

在观测值获取处理中,获取表示驾驶员状态(例如驾驶员是否正在小睡、驾驶员是否在向前看或者驾驶员是否正在操作平板终端)的驾驶员信息。

此外,环境信息获取单元202获取例如基于安装在移动装置中的成像单元的图像、深度信息、三维结构信息、基于安装在移动体上的诸如lidar的传感器的地形信息、基于gps的位置信息、交通信号灯状态、标志信息、来自安装在诸如道路的基础设施上的通信装置的信息等。

(步骤s203)

接下来,在步骤s203中,获取手动驾驶恢复请求区间的请求恢复成功率(rrr)。从由ldm信息提供服务器提供的附有目标恢复成功率(rrr)的局部动态地图(ldm)获取目标恢复成功率(rrr)。

(步骤s204)

接下来,在步骤s204中,使用在步骤s202中获取的观测值(具体地,表示驾驶员状态的驾驶员信息)和在步骤s203中获取的手动驾驶恢复请求区间的目标恢复成功率(rrr)来计算用于达到目标恢复成功率(rrr)的手动驾驶可恢复时间(=恢复延迟时间)。

该处理与以上参考图17至图19描述的处理对应。

步骤s204中的处理是由图11中所示的安全性确定单元210的安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212执行的处理。

安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212接收由驾驶员信息获取单元201获取的驾驶员信息和由环境信息获取单元202获取的环境信息等作为输入。而且,安全性确定处理执行单元(手动驾驶可恢复时间估计单元)212使用作为学习处理单元211中的学习结果的学习装置或者从学习服务器300获取的学习装置,基于当前驾驶员信息和手动驾驶恢复请求区间的目标恢复成功率(rrr)来估计安全的手动驾驶恢复所需的手动驾驶可恢复时间(=恢复延迟时间)。

在此,要使用的学习数据是对应于与驾驶员对应且表示驾驶员状态的驾驶员信息的数据。具体地,学习数据是参考图17至19描述的对应于与驾驶员对应且表示驾驶员状态的驾驶员信息的恢复延迟时间和恢复成功率的对应数据。

在估计安全的手动驾驶恢复所需的手动驾驶可恢复时间(=恢复延迟时间)的处理中,执行使用当前正在驾驶的驾驶员的个人识别信息和当前正在执行的次要任务的类型的信息作为观测信息的处理(手动驾驶可恢复时间估计处理)。注意,在乘车前的驾驶员历史可用的情况下,不从全面评价确定中排除驾驶员历史的日志信息等,因为例如作为驾驶前的生活信息的休息时间、就寝时间、睡眠时间、诸如运动的活动会造成残余的累积疲劳并大大地影响驾驶员的恢复特性。

(步骤s205)

在步骤s205中,在根据在步骤s204中计算出的恢复延迟时间而确定的通知定时,即,要接管的事件(从自动驾驶到手动驾驶的接管区间或者从自动驾驶开始的注意行驶区间)接近恢复延迟时间的定时,执行用于提示驾驶员恢复驾驶的通知。该通知例如作为以上参考图3描述的显示处理而执行。可替代地,该通知可以作为警报输出或者方向盘或座椅的振动而执行。例如,在驾驶员正在小睡的情况下,选择用于使驾驶员从睡眠状态觉醒的通知方法。

(步骤s206至s209)

接下来,在步骤s206中,监视驾驶员的恢复过渡。然后,在步骤s207中,基于步骤s206中的监视结果,判断驾驶员是否可以在恢复延迟时间内恢复驾驶。在确定驾驶员可以恢复驾驶的情况下,在步骤s208中,驾驶员恢复驾驶。然后,在步骤s209中,更新学习数据。即,与执行上述驾驶恢复时的驾驶员的次要任务的初始类型相关地添加可观测评价值与实际恢复延迟时间之间的关系信息(观测图)的一个样本值。之后,处理结束。注意,在本实施例中,学习限于在每个事件处生成的绘图数据(plotdata)。然而,实际上,学习很大程度上取决于先前状态(历史),直到事件发生为止。因此,通过执行多维学习,可以进一步提高根据驾驶员状态观测值估计恢复延迟所需时间的准确性。

(步骤s211和s212)

此外,当在步骤s207中确定不能恢复驾驶时,在步骤s211中从起始开始到停车为止执行减速缓行疏散序列。接下来,在步骤s212中,发出接管缺陷事件的惩罚的记录,并且结束处理。注意,该惩罚的记录存储在存储单元中。

注意,该惩罚具有促进驾驶员的响应于通知的准确且期望的早期恢复的效果。对于个别事件中的使用,例如,执行操作设置,使得当接管的开始根据系统的自动驾驶而延迟时,使车辆减速和缓行并且将一定的行驶时段中的上限行驶速度降低和抑制得低于驾驶员期望的上限速度,在行程途中将车辆停在服务区等中一段时间,或者将一旦转换成手动驾驶后的自动驾驶模式下的再次使用限制到一定时段或次数。作为对系统中使用的通知或警告的延迟妨碍了用户期望的舒适性的结果,存在对用户的习惯性行为反射有心理影响的大的副效应,再加上驾驶员个人恢复特性的学习效果,导致适合驾驶员的定时处的通知的无意识的生成以及适于该通知的延迟小的无意识恢复过程。即,根据驾驶员以根据行驶环境设置为rrr的目标恢复成功率根据道路状况进行早期恢复的能力,驾驶员的恢复优化根据使用将逐渐变得习惯,许多道路用户将同样能够优化通知,并相应地以一定的低比率减少接管失败,由此,作为道路基础设施,可以抑制负面的社会影响。此外,例如,从用户的角度来看,可以根据状况(通过不要求不必要的早期恢复)使自动驾驶的便利性最大化,并且预期良好的循环效果。即,没有用于惩罚本身的处罚使用的功能,并且主要目的是指导用户优化其行为特性,并且对个别事件的每次使用施加的惩罚都是次要的。

[10.信息处理装置的配置示例]

可以通过应用参考图5描述的移动装置的配置来执行以上处理。然而,处理的一部分可以例如由可附接到移动装置并可从其拆卸的信息处理装置或者服务器来执行。

接下来,将参考图22描述信息处理装置或服务器的硬件配置示例。

图22是图示信息处理装置或服务器的硬件配置示例的图。

中央处理单元(cpu)501用作依照存储在只读存储器(rom)502或存储单元508中的程序来执行各种类型的处理的数据处理单元。例如,cpu501执行依照以上实施例中描述的序列的处理。

随机存取存储器(ram)503存储由cpu501执行的程序、数据等。这些cpu501、rom502和ram503通过总线504相互连接。

cpu501经由总线504连接到输入/输出接口505。包括各种开关、键盘、触摸面板、鼠标、麦克风和状况数据获取单元(诸如传感器、相机和gps)等的输入单元506以及包括显示器、扬声器等的输出单元507连接到输入/输出接口505。

注意,来自传感器521的输入信息也被输入到输入单元506。

此外,输出单元507还输出针对移动装置的驱动单元522的驱动信息。

例如,cpu501接收从输入单元506输入的指令、状况数据等,执行各种类型的处理,并将处理结果输出到例如输出单元507。

连接到输入/输出接口505的存储单元508例如包括硬盘等,并且存储由cpu501执行的程序和各种数据。通信单元509用作经由诸如互联网或局域网的网络进行数据通信的发送/接收单元,并且与外部装置进行通信。

连接到输入/输出接口505的驱动器510驱动诸如磁盘、光盘、磁光盘或者半导体存储器(诸如存储卡)这样的可移动介质511,并且执行数据记录或读取。

[11.本公开的配置的总结]

已经参考具体示例详细描述了本公开的示例。然而,清楚的是,本领域技术人员可以在不脱离本公开的要旨的情况下对示例进行修改和替换。即,已经以示例的形式公开了本发明,并且不应当限制性地解释本发明。为了判断本公开的要旨,应当考虑权利要求的范围。

注意,本说明书中公开的技术可以具有以下配置。

(1)一种信息处理装置,包括:

数据处理单元,被配置为为了达到预定义的从自动驾驶到手动驾驶的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

(2)根据(1)所述的信息处理装置,其中

所述数据处理单元获取作为局部动态地图(ldm)的附属信息而设置的针对每个道路区间的目标恢复成功率(rrr),并且计算针对计划行驶的每个道路区间的手动驾驶可恢复时间。

(3)根据(1)或(2)所述的信息处理装置,其中

所述数据处理单元将直到进入需要手动驾驶的道路区间为止的时间等于或大于手动驾驶可恢复时间的定时确定为手动驾驶恢复请求通知定时。

(4)根据(1)至(3)中的任一项所述的信息处理装置,其中

所述数据处理单元使用针对每个驾驶员的学习数据来计算手动驾驶可恢复时间。

(5)根据(1)至(4)中的任一项所述的信息处理装置,其中

所述数据处理单元使用针对每个驾驶员且针对表示驾驶员状态的每条驾驶员信息的学习数据来计算所述手动驾驶可恢复时间。

(6)根据(1)至(5)中的任一项所述的信息处理装置,其中

所述数据处理单元使用作为针对每个驾驶员且针对每种驾驶员状态的学习数据的从自动驾驶到手动驾驶的恢复延迟时间和恢复成功率之间的对应数据来计算所述手动驾驶可恢复时间。

(7)根据(6)所述的信息处理装置,其中所述驾驶员状态是基于由传感器获取的信息而分析出的驾驶员状态。

(8)根据(6)或(7)所述的信息处理装置,其中所述驾驶员状态是反映驾驶员的觉醒水平的驾驶员信息。

(9)根据(1)至(8)中的任一项所述的信息处理装置,其中

所述数据处理单元获取从自动驾驶切换到手动驾驶之后的驾驶员的操作信息,并且执行学习数据更新处理。

(10)根据(1)至(9)中的任一项所述的信息处理装置,还包括:

通知控制单元,被配置为在基于由所述数据处理单元计算出的所述手动驾驶可恢复时间而确定的定时,经由通知单元执行针对驾驶员的手动驾驶恢复请求通知的通知处理。

(11)根据(10)所述的信息处理装置,其中

所述通知单元由显示单元、声音输出单元或者振动器中的至少一个构成。

(12)一种作为向移动装置提供局部动态地图(ldm)的服务器的信息处理装置,该信息处理装置包括:

附有目标恢复成功率rrr信息的局部动态地图ldm生成和更新单元,被配置为生成和更新针对每个道路区间设置了从自动驾驶到手动驾驶的目标恢复成功率(rrr)的附有目标恢复成功率(rrr)的局部动态地图(ldm)。

(13)根据(12)所述的信息处理装置,其中

所述附有rrr信息的ldm生成和更新单元根据每个道路区间的交通状态来执行更新所述目标恢复成功率(rrr)的处理。

(14)一种移动装置,包括:

驾驶员信息获取单元,被配置为获取移动装置的驾驶员信息;

环境信息获取单元,被配置为获取针对每个道路区间设置了从自动驾驶到手动驾驶的目标恢复成功率(rrr)的附有目标恢复成功率(rrr)的局部动态地图(ldm);以及

数据处理单元,被配置为为了达到所述目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

(15)根据(14)所述的移动装置,其中

所述数据处理单元将直到进入需要手动驾驶的道路区间为止的时间等于或大于手动驾驶可恢复时间的定时确定为手动驾驶恢复请求通知定时。

(16)根据(14)或(15)所述的移动装置,其中

所述数据处理单元使用作为针对每个驾驶员且针对每种驾驶员状态的学习数据的从自动驾驶到手动驾驶的恢复延迟时间和恢复成功率之间的对应数据来计算所述手动驾驶可恢复时间。

(17)根据(14)至(16)中的任一项所述的移动装置,还包括:

通知控制单元,被配置为在基于由所述数据处理单元计算出的所述手动驾驶可恢复时间而确定的定时,经由通知单元执行针对驾驶员的手动驾驶恢复请求通知的通知处理。

(18)一种包括服务器和移动装置的信息处理系统,其中

所述服务器是向所述移动装置提供局部动态地图(ldm)的服务器,并且

所述服务器生成和更新针对每个道路区间设置了从自动驾驶到手动驾驶的目标恢复成功率(rrr)的附有目标恢复成功率(rrr)的局部动态地图(ldm),并且向所述移动装置发送所述附有目标恢复成功率(rrr)的局部动态地图(ldm),并且

所述移动装置

为了达到从所述服务器接收到的附有目标恢复成功率(rrr)的局部动态地图(ldm)中所记录的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

(19)一种在信息处理装置中执行的信息处理方法,该信息处理方法包括

由数据处理单元

为了达到预定义的从自动驾驶到手动驾驶的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

(20)一种用于使信息处理装置执行信息处理的程序,包括

使数据处理单元为了达到预定义的从自动驾驶到手动驾驶的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间来确定手动驾驶恢复请求通知的通知定时。

此外,本说明书中描述的一系列处理可以通过硬件、软件或硬件和软件的组合配置来执行。在通过软件执行处理的情况下,可以将记录有处理序列的程序安装到合并在专用硬件中的计算机的存储器中并由该计算机执行,或者程序可以安装在能够执行各种类型的处理的通用计算机中并由其执行。例如,程序可以预先记录在记录介质中。除了从记录介质安装到计算机以外,还可以经由诸如局域网(lan)或互联网的网络接收程序并将程序安装在诸如内置硬盘的记录介质中。

注意,不仅可以如所描述的那样按照时间顺序执行本说明书中描述的各种类型的处理,而且可以根据执行处理的装置的处理能力或根据需要来并行或单独地执行本说明书中描述的各种类型的处理。此外,本说明书中的系统是多个装置的逻辑集合配置,并且不限于各个装置位于同一壳体内的装置。

工业适用性

如上所述,根据实施例的配置,实现了为了达到针对每个道路区间的目标恢复成功率(rrr)而计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间并且基于计算出的时间发出手动驾驶恢复请求通知的配置。

具体地,例如,包括数据处理单元,该数据处理单元被配置为为了达到预定义的从自动驾驶到手动驾驶的目标恢复成功率(rrr),计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间,并且基于计算出的时间确定手动驾驶恢复请求通知的通知定时。数据处理单元获取作为局部动态地图(ldm)的附属信息而设置的针对每个道路区间的目标恢复成功率(rrr),并且使用针对每个驾驶员的学习数据来计算针对计划行驶的每个道路区间的手动驾驶可恢复时间。

当基于目标恢复成功率进行驾驶恢复的驾驶员动作和该过程中发生的有效过渡出现延迟,驾驶员自然会通过重复使用该系统以及直接惩罚驾驶员的机制来学习早期处理。因此,实施的效果不限于简单抑制针对每个基础设施的接管失败的发生。当驾驶员使用自动驾驶系统时,它在很大程度上影响对系统请求的响应性的提高,以及对次要任务执行期间的系统请求的注意敏感性的维持(或早期响应的必要性感觉的自然发展)。

利用本配置,实现了为了达到针对每个道路区间的目标恢复成功率(rrr)而计算正在执行自动驾驶的驾驶员所需的手动驾驶可恢复时间并且基于计算出的时间发出手动驾驶恢复请求通知的配置。

附图标记列表

10汽车

11数据处理单元

12驾驶员信息获取单元

13环境信息获取单元

14通信单元

15通知单元

20驾驶员

30服务器

100移动装置

101输入单元

102数据获取单元

103通信单元

104车载装置

105输出控制单元

106输出单元

107驱动系统控制单元

108驱动系统

109车身系统控制单元

110车身系统

111存储单元

112自动驾驶控制单元

121通信网络

131检测单元

132自身位置估计单元

133状况分析单元

134计划单元

135操作控制单元

141车辆外部信息检测单元

142车辆内部信息检测单元

143车辆状态检测单元

151地图分析单元

152交通规则识别单元

153状况识别单元

154状况预测单元

155安全性确定单元(学习处理单元)

161路线计划单元

162动作计划单元

163操作计划单元

171紧急情况避免单元

172加速和减速控制单元

173方向控制单元

200移动装置

201驾驶员信息获取单元

202环境信息获取单元

203驾驶员个人识别信息获取单元

210安全性确定单元

211学习处理单元

212安全性确定处理执行单元(手动驾驶可恢复时间估计单元)

213个人认证处理单元

221通知控制单元

222通知单元

230通信单元

240存储单元

300学习服务器

301学习数据获取和生成单元

302学习处理单元

303通信单元

304存储单元

310ldm信息提供服务器

311附有rrr信息的ldm生成和更新单元

312通信单元

320信息收集和存储单元

330现有ldm信息生成和更新单元

340rrr信息生成和更新单元

350rrr信息插入单元

501cpu

502rom

503ram

504总线

505输入/输出接口

506输入单元

507输出单元

508存储单元

509通信单元

510驱动器

511可移动介质

521传感器

522驱动单元

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1