车辆智能控制装置、方法和计算机可读存储介质与流程

文档序号:25600087发布日期:2021-06-22 17:32阅读:195来源:国知局
车辆智能控制装置、方法和计算机可读存储介质与流程

本发明属于车辆控制技术领域,特别是涉及一种车辆智能控制装置、方法和计算机可读存储介质。



背景技术:

国家最新标准《汽车和挂车类型的术语和定义》(gb/t3730.1-2001)中对汽车有如下定义:由动力驱动,具有4个或4个以上车轮的非轨道承载的车辆,主要用于:载运人员和(或)货物;牵引载运人员和(或)货物的车辆;特殊用途。当今社会生产水平不断提升,越来越多的车辆投入使用,包括家用车辆,工程用车,警用车及特种车等等。目前这些车辆的控制系统一直是基于驾驶员的人为控制。也就是,车辆前进、后退,转弯等操作完全取决于人的操作,自动巡航也仅仅是在特定路段进行自动驾驶控制。

驾驶员在汽车驾驶过程中要求注意力集中,长时间精神高度紧张,大脑容易疲劳,突发疾病(如,心梗和急性心衰等)的概率也较大。因此,保障驾驶员安全驾驶至关重要。

然而,驾驶途中突发疾病的事例时有发生,车辆因此失控,往往造成严重的后果。



技术实现要素:

本发明实施例提出一种车辆智能控制装置、方法和计算机可读存储介质。

本发明实施例的技术方案如下:

一种车辆智能控制装置,包括:

摄像头,用于获取驾驶员实时视频;

生命体征检测模块,用于以非接触方式检测驾驶员的生命体征;

语音交互模块,用于当从所述实时视频中检测到驾驶员异常或确定所述生命体征处于异常状态时,向驾驶员发出提示语音,并当在预定时间内不能从驾驶员获取响应时,生成停止驾驶指令;

停车模块,用于基于所述停止驾驶指令停止车辆。

在一个实施方式中,所述摄像头包括可见光摄像头和红外线摄像头;

其中所述可见光摄像头,用于获取驾驶员的可见光实时视频;所述红外线摄像头,用于获取驾驶员的红外线实时视频。

在一个实施方式中,所所述生命体征检测模块包括心跳检测仪和呼吸检测仪;

其中所述心跳检测仪,用于以非接触方式检测驾驶员的心跳体征;所述呼吸检测仪,用于以非接触方式检测驾驶员的呼吸体征。

一种车辆智能控制方法,包括:

获取驾驶员实时视频;

以非接触方式检测驾驶员的生命体征;

当从所述实时视频中检测到驾驶员异常或确定所述生命体征处于异常状态时,向驾驶员发出提示语音,并当在预定时间内不能从驾驶员获取响应时,生成停止驾驶指令;

基于所述停止驾驶指令停止车辆。

在一个实施方式中,所所述从实时视频中检测到驾驶员异常包括下列中的至少一个:

检测到驾驶员不在环的时间超过第一预定值;检测到驾驶员闭眼时间超过第二预定值;检测到驾驶员头部向下俯视时间超过第三预定值;检测到驾驶员头部左视时间超过第四预定值;检测到驾驶员头部右视时间超过第五预定值;检测到驾驶员口腔区域内存在呕吐物特征;检测到驾驶员鼻腔区域内存在血液特征;检测到驾驶员身体歪斜特征;检测到驾驶员身体抖动特征;检测到驾驶员身体僵化特征。

在一个实施方式中,所所述获取驾驶员实时视频包括:获取驾驶员的可见光实时视频和驾驶员的红外线实时视频。

在一个实施方式中,所所述以非接触方式检测驾驶员的生命体征包括:以非接触方式检测驾驶员的心跳体征和以非接触方式检测驾驶员的呼吸体征。

在一个实施方式中,所该方法预先包括:

生成用于从实时视频中检测出驾驶员异常的第一模型和确定生命体征是否处于异常状态的第二模型;

基于历史视频数据对所述第一模型进行训练,基于历史生命体征数据对所述第二模型进行训练;

所述从实时视频中检测到驾驶员异常或确定所述生命体征处于异常状态为:基于训练后的第一模型从所述实时视频中检测到驾驶员异常或基于训练后的第二模型确定所述生命体征处于异常状态。

一种车辆智能控制装置,包括处理器和存储器;

所述存储器中存储有可被所述处理器执行的应用程序,用于使得所述处理器执行如上任一项所述的车辆智能控制方法。

一种计算机可读存储介质,其中存储有计算机可读指令,该计算机可读指令用于执行如上任一项所述的车辆智能控制方法。

从上述技术方案可以看出,在本发明实施方式中,摄像头,用于获取驾驶员实时视频;生命体征检测模块,用于以非接触方式检测驾驶员的生命体征;语音交互模块,用于当从所述实时视频中检测到驾驶员异常或确定所述生命体征处于异常状态时,向驾驶员发出提示语音,并当在预定时间内不能从驾驶员获取响应时,生成停止驾驶指令;停车模块,用于基于所述停止驾驶指令停止车辆。可见,本发明实施方式基于生命体征检测和从视频中识别驾驶员异常的综合检测方式以检查驾驶员异常,可以增加车辆驾驶的保险屏障,降低危险事故的发生。

附图说明

图1为本发明实施方式的车辆智能控制装置的结构图。

图2为本发明实施方式的车辆智能控制方法的流程图。

图3为本发明实施方式的车辆智能控制方法的示范性流程图。

图4为本发明实施方式心跳检测仪的示范性结构图。

图5为本发明实施方式智能语音交互成功的示意图。

图6为本发明实施方式智能语音交互失败的示意图。

图7为根据本发明具有存储器-处理器架构的车辆智能控制装置的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。

为了描述上的简洁和直观,下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显,本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案,一些实施方式没有进行细致地描述,而是仅给出了框架。下文中,“包括”是指“包括但不限于”,“根据……”是指“至少根据……,但不限于仅根据……”。由于汉语的语言习惯,下文中没有特别指出一个成分的数量时,意味着该成分可以是一个也可以是多个,或可理解为至少一个。

针对车辆驾驶人员由于身体原因,车辆突然失控的场景,本发明实施方式提出一种可以安全停车的智能控制装置,可以增加车辆驾驶的保险屏障。

图1为本发明实施方式的车辆智能控制装置的结构图。

如图1所示,该装置包括:

摄像头101,用于获取驾驶员实时视频;

生命体征检测模块102,用于以非接触方式检测驾驶员的生命体征;

语音交互模块103,用于当从所述实时视频中检测到驾驶员异常或确定所述生命体征处于异常状态时,向驾驶员发出提示语音,并当在预定时间内不能从驾驶员获取响应时,生成停止驾驶指令;

停车模块104,用于基于所述停止驾驶指令停止车辆。

在一个实施方式中,摄像头101包括可见光摄像头和红外线摄像头;其中所述可见光摄像头,用于获取驾驶员的可见光实时视频;所述红外线摄像头,用于获取驾驶员的红外线实时视频。

比如,可见光摄像头和红外线摄像头都布置在驾驶室内,且摄像方向朝向驾驶员。优选地,基于光照强度选择由可见光摄像头或红外线摄像头获取驾驶员的实时视频。比如,当光照强度大于预定门限值时,由可见光摄像头获取驾驶员的可见光实时视频,而红外线摄像头不工作;当光照强度小于等于预定门限值时,由红外线摄像头获取驾驶员的红外线实时视频,而可见光摄像头不工作。因此,基于可见光摄像头和红外线摄像头的协同配合,可以实现白天强光、白天弱光、黎明/傍晚时段光照、夜间弱光、夜间瞬间强光(远光灯,路灯,闪电场景)、阴天光照场景或其他复杂光照情形等多种场景下针对驾驶员的实时视频获取。

具体地,红外线摄像头可以实施为普通红外摄像机或点阵红外摄像机。点阵红外摄像机比普通的要好,照射距离远,画质细腻清晰,而且使用寿命比普通红外的长。红外摄像头感光就是红外线,在某个波段范围内,比如800nm-1100nm。如果从光谱来讲,和普通摄像头感可见光原理类似。红外摄像头工作原理是红外灯发出红外线照射物体,红外线漫反射,被监控摄像头接收,形成视频图像。

考虑到有些场景下外观人体动作不能发现异常,但是生命体征已经出现了明显异常,因此本发明实施方式还进一步检测生命体征异常,以增加提前异常预判的可能性。另外,还考虑到采用智能佩戴终端的方法检测生命体征会受到佩戴方式、出汗等影响,容易出现异常测量,而且作为驾驶员日常操作,智能佩戴终端存在诸多不方便,如驾驶员可能已佩戴手表,再佩戴智能佩戴终端的就显得臃肿,带来不好的驾驶体验。另外,考虑到驾驶中间的抖动容易造成智能佩戴终端松动,可能出现异常值,因此佩戴式智能终端不适合长时间监测驾驶员的状态。有鉴于此,本发明实施方式采用非接触式方式驾驶员的生命体征。优选地,本发明实施方式使用激光或者微波测量的方式测量心跳指标或呼吸指标。

在一个实施方式中,生命体征检测模块102包括心跳检测仪和呼吸检测仪;其中所述心跳检测仪,用于以非接触方式检测驾驶员的心跳体征;所述呼吸检测仪,用于以非接触方式检测驾驶员的呼吸体征。

语音交互模块103,分析实时视频以确定是否可以从实时视频中检测到驾驶员异常,而且分析生命体征以确定生命体征是否处于异常状态。

比如,当从实时视频中识别如下异常动作时,可以认定从实时视频中检测到驾驶员异常:(1)长时间的(比如长于2s)驾驶不在环:(2)长时间的闭眼;(3)长时间的头部向下伏视(车舱地面);(4)、长时间的头部左视;(5)、长时间的头部右视;(6)、口腔等有异常呕吐;(7)、鼻腔有血液;(8)、身体趴向方向盘,身体歪斜;(9)、身体剧烈明显抖动;(10)、身体僵化(如不眨眼超过正常时间3倍等,需要针对个人进行训练和矫正时间长度),等等。

以上示范性描述了从实时视频中识别异常动作的典型实例,本领域技术人员可以意识到,这种描述仅是示范性的,并不用于限定本发明实施方式的保护范围。

语音交互模块103,当从实时视频中检测到驾驶员异常或确定生命体征处于异常状态时,向驾驶员发出提示语音,并当在预定时间内不能从驾驶员获取响应时,生成停止驾驶指令。或者,当从实时视频中检测到驾驶员异常和确定生命体征处于异常状态时,向驾驶员发出提示语音,并当在预定时间内不能从驾驶员获取响应时,生成停止驾驶指令。

停车模块104,用于基于停止驾驶指令停止车辆。比如,停车模块104接收到停止驾驶指令后,触发自动紧急制动系统(autonomousemergencybra-kingsystem,aeb)以停止控制车辆。

下面描述示范性的微波方式的心跳检测仪。

图4为本发明实施方式心跳检测仪的示范性结构图。

在图4中,振荡器产生的信号为:s(t)=acosω0t;其中ω0为微波发射角频率,a为振幅。

振荡器发射信号经定向偶合器,一路通过环行器由天线发射出去,另一路发送到混频器。当发射信号碰到人体目标,将产生散射,天线接收散射信号,并通过环行器送入混频器。

从人体散射的回波信号频率已被人体表面的微动所频移,设目标散射的回波信号为:sr(t)=kacos(ω0t+ωdt+φ);其中k为系数,ωd为多普勒角频移。

根据多普勒效应,ωd=2vω0/c,其中v为目标的相对径向运动速度,c为光速,φ为相对于发射信号的初相。

s(t)、sr(t)二路信号经混频解调后产生低频信号:其中为固定目标的杂波成分(直流分量),为与呼吸、心跳直接相关的多普勒频移成分,是检测所需的有用信息,该信号经放大、预处理,通过滤波器在频域上将呼吸、心跳信号分开,然后经a/d转换,送到电脑进行处理和显示。

以上示范性描述了非接触的心跳检测方式,本领域技术人员可以意识到,这种描述仅是示范性的,并不用于限定本发明实施方式的保护范围。

图2为本发明实施方式的车辆智能控制方法的流程图。

如图2所示,该方法包括:

步骤201:获取驾驶员实时视频;

步骤202:以非接触方式检测驾驶员的生命体征;

步骤203:当从所述实时视频中检测到驾驶员异常或确定所述生命体征处于异常状态时,向驾驶员发出提示语音,并当在预定时间内不能从驾驶员获取响应时,生成停止驾驶指令;

步骤204:基于所述停止驾驶指令停止车辆。

在一个实施方式中,所述从实时视频中检测到驾驶员异常包括下列中的至少一个:检测到驾驶员不在环的时间超过第一预定值;检测到驾驶员闭眼时间超过第二预定值;检测到驾驶员头部向下俯视时间超过第三预定值;检测到驾驶员头部左视时间超过第四预定值;检测到驾驶员头部右视时间超过第五预定值;检测到驾驶员口腔区域内存在呕吐物特征;检测到驾驶员鼻腔区域内存在血液特征;检测到驾驶员身体歪斜特征;检测到驾驶员身体抖动特征;检测到驾驶员身体僵化特征。

在一个实施方式中,所述获取驾驶员实时视频包括:获取驾驶员的可见光实时视频和驾驶员的红外线实时视频。

在一个实施方式中,所述以非接触方式检测驾驶员的生命体征包括:以非接触方式检测驾驶员的心跳体征和以非接触方式检测驾驶员的呼吸体征。

在一个实施方式中,该方法预先包括:

生成用于从实时视频中检测出驾驶员异常的第一模型和确定生命体征是否处于异常状态的第二模型;基于历史视频数据对所述第一模型进行训练,基于历史生命体征数据对所述第二模型进行训练;所述从实时视频中检测到驾驶员异常或确定所述生命体征处于异常状态为:基于训练后的第一模型从所述实时视频中检测到驾驶员异常或基于训练后的第二模型确定所述生命体征处于异常状态。

可见,针对驾驶员个体进行预定时间的训练,收集一段正常驾驶的数据以做事训练数据,对第一模型和第二模型中的阈值进行调整并保存,从而还可以将ai技术引入到识别驾驶员异常状态。

图3为本发明实施方式的车辆智能控制方法的示范性流程图。

可见,基于驾驶员的生命体征和驾驶员实时视频进行处理判断,以确定是否启动语音交互和上报指挥中心。可以采用一般的语音交互音箱的处理能力实现智能语音交互,如果司机在预定时间内能完成呼叫回答,即认为完成语音交互,否则认为交互失败。比如,当语音交互模块可以在预定时间内从驾驶员获取语音响应时,认定交互成功,此时语音交互模块不生成停止驾驶指令;当交互失败时,语音交互模块生成停止驾驶指令。图5为本发明实施方式智能语音交互成功的示意图。图6为本发明实施方式智能语音交互失败的示意图。

当交互失败之后,可以触发一键停车功能。一键停车是指,当驾驶员处于失去控制前能意识到自己即将对车辆失去控制,但是采用紧急刹车的力量可能已经不足,所以采用一键停车以紧急停车。一键停车功能可以通过手动唤醒,也可以通过语音交互模块唤醒。

图7为根据本发明具有存储器-处理器架构的车辆智能控制装置的结构图。

如图7所示,车辆智能控制装置包括:处理器701和存储器702;其中存储器702中存储有可被处理器701执行的应用程序,用于使得处理器701执行如上任一项所述的车辆智能控制方法。

其中,存储器702具体可以实施为电可擦可编程只读存储器(eeprom)、快闪存储器(flashmemory)、可编程程序只读存储器(prom)等多种存储介质。处理器701可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列,其中现场可编程门阵列集成一或多个中央处理器核。具体地,中央处理器或中央处理器核可以实施为cpu或mcu。

需要说明的是,上述各流程和各结构图中不是所有的步骤和模块都是必须的,可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的,可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分,实际实现时,一个模块可以分由多个模块实现,多个模块的功能也可以由同一个模块实现,这些模块可以位于同一个设备中,也可以位于不同的设备中。

各实施方式中的硬件模块可以以机械方式或电子方式实现。例如,一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器,如fpga或asic)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式,或是采用专用的永久性电路,或是采用临时配置的电路(如由软件进行配置)来实现硬件模块,可以根据成本和时间上的考虑来决定。

本发明还提供了一种机器可读的存储介质,存储用于使一机器执行如本申请所述方法的指令。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码,且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。此外,还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作,从而实现上述实施方式中任一实施方式的功能。

用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地,可以由通信网络从服务器计算机或云上下载程序代码。

在本文中,“示意性”表示“充当实例、例子或说明”,不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁,各图中的只示意性地表示出了与本发明相关部分,而并不代表其作为产品的实际结构。另外,以使图面简洁便于理解,在有些图中具有相同结构或功能的部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”并不表示将本发明相关部分的数量限制为“仅此一个”,并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中,“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系,而非限定这些相关部分的绝对位置。

以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1