基于头部位姿感知的智能驾驶训练系统及方法与流程

文档序号:12474484阅读:来源:国知局

技术特征:

1.基于头部位姿感知的智能驾驶训练系统,其特征在于,包括车载智能训练子系统、数据处理子系统、运行管控子系统以及系统级数据通信子系统;

所述车载智能训练子系统安装于实际机动车之上,用于对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据;

所述数据处理子系统对基础信息进行管理,用于接收、存储与处理所述车载智能训练子系统采集上报的训练过程数据;

所述运行管控子系统对车辆被操作和运行状态进行实时监控,并根据实际情况对被监控车辆进行系统自动操控或人工远程操控;

所述车载智能训练子系统通过系统级数据通信子系统与数据处理子系统以及运行管控子系统连接并实现双向信息互通;

所述车载智能训练子系统包括驾驶人头部位姿感知模块,所述驾驶人头部位姿感知模块用于通过摄像头获取驾驶人头部图像,通过对驾驶人头部识别标签的图像处理解算出驾驶人的头部位姿。

2.根据权利要求1所述的基于头部位姿感知的智能驾驶训练系统,其特征在于,所述驾驶人头部位姿感知模块包括:

坐标系建立子模块,用于基于摄像头位置建立摄像头坐标系,基于目标物体旋转中心建立目标坐标系;

坐标位置获取子模块,用于根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置;

位置变化获取子模块,用于通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数;

旋转角度获取子模块,用于根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数,进而根据所述目标物体的角度变化参数获得目标物体的旋转角度。

3.根据权利要求2所述的基于头部位姿感知的智能驾驶训练系统,其特征在于,所述驾驶人头部位姿感知模块还包括动作识别子模块,用于根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态。

4.基于头部位姿感知的智能驾驶训练方法,其特征在于,所述方法包括:

对驾驶人进行交互式驾驶训练以及采集上报驾驶人训练过程数据;

处理所述采集上报的驾驶人训练过程数据;

对车辆操作和运行状态进行实时监控,实现对驾驶人驾驶行为的监控、分析、评价、反馈与指导,并根据处理后驾驶人训练过程数据对被监控车辆进行自动操控或人工远程操控。

5.根据权利要求4所述的基于头部位姿感知的智能驾驶训练方法,其特征在于,所述对驾驶人进行交互式驾驶训练包括对驾驶人头部位姿感知的步骤,所述对驾驶人头部位姿感知的步骤包括:

基于摄像头位置建立摄像头坐标系,基于目标物体旋转中心建立目标坐标系;

根据预先设置在目标物体上的识别标签和目标物体的尺寸参数分别获得该识别标签在摄像头坐标系和目标坐标系中的坐标位置;

通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数;

根据所述识别标签在旋转过程中的位置变化参数获得目标物体的角度变化参数,进而根据所述目标物体的角度变化参数获得目标物体的旋转角度。

6.根据权利要求5所述的基于头部位姿感知的智能驾驶训练方法,其特征在于,所述获得识别标签在摄像头坐标系的坐标位置包括:

在目标坐标系中设定位置1、位置2和位置3,所述位置1、位置2和位置3处于同一水平面,其中位置2与目标物体中心的连线与位置1和位置3与目标物体中心的连线所成的夹角均为α;

识别标签分别处于位置1、位置2和位置3时,通过图像识别技术分别得到识别标签在摄像头坐标系中的位置其中,分别为识别标签在摄像头坐标系中位置1、位置2和位置3的齐次坐标变换。

7.根据权利要求6所述的基于头部位姿感知的智能驾驶训练方法,其特征在于,所述获得识别标签在目标坐标系中的坐标位置的计算过程为:

<mrow> <mmultiscripts> <mi>H</mi> <mprescripts/> <mn>1</mn> <mi>r</mi> </mmultiscripts> <mo>=</mo> <mi>T</mi> <mi>r</mi> <mi>a</mi> <mi>n</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>Z</mi> <mo>,</mo> <msub> <mi>r</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>Y</mi> <mo>,</mo> <mo>-</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mrow> <mo>(</mo> <mo>-</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mo>-</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>s</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <mo>-</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mrow> <mo>(</mo> <mo>-</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <msub> <mi>r</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> </mrow>

<mrow> <mmultiscripts> <mi>H</mi> <mprescripts/> <mn>2</mn> <mi>r</mi> </mmultiscripts> <mo>=</mo> <mi>T</mi> <mi>r</mi> <mi>a</mi> <mi>n</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>Z</mi> <mo>,</mo> <msub> <mi>r</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>Y</mi> <mo>,</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <msub> <mi>r</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>

<mrow> <mmultiscripts> <mi>H</mi> <mprescripts/> <mn>3</mn> <mi>r</mi> </mmultiscripts> <mo>=</mo> <mi>T</mi> <mi>r</mi> <mi>a</mi> <mi>n</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>Z</mi> <mo>,</mo> <msub> <mi>r</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>Y</mi> <mo>,</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>sin</mi> <mrow> <mo>(</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>sin</mi> <mrow> <mo>(</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>cos</mi> <mrow> <mo>(</mo> <mi>&alpha;</mi> <mo>)</mo> </mrow> </mrow> </mtd> <mtd> <msub> <mi>r</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>

其中,分别为识别标签在目标坐标系中位置1、位置2和位置3的齐次坐标变换,Z为目标坐标系的Z轴,r0为目标半径,Trans(Z,r0)为识别标签坐标变换时沿着Z轴移动r0,Y为目标坐标系的Y轴,-α为识别标签由位置1移动到位置2时所旋转的角度,α为识别标签由位置3移动到位置2时所旋转的角度,R(Y,-α)为识别标签坐标变换时沿着Y轴旋转-α角度,R(Y,α)为识别标签坐标变换时沿着Y轴旋转α角度。

8.根据权利要求7所述的基于头部位姿感知的智能驾驶训练方法,其特征在于,所述通过所述识别标签在摄像头坐标系和目标坐标系中的坐标位置获得目标物体在旋转过程中的位置变化参数的计算过程为:

<mrow> <msub> <mi>H</mi> <mi>r</mi> </msub> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msub> <mmultiscripts> <mi>H</mi> <mprescripts/> <mi>w</mi> <mi>r</mi> </mmultiscripts> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&prime;</mo> </msup> <mo>&CenterDot;</mo> <mmultiscripts> <mi>H</mi> <mprescripts/> <mi>w</mi> <mi>r</mi> </mmultiscripts> <mo>=</mo> <msup> <mrow> <mo>(</mo> <msub> <mmultiscripts> <mi>H</mi> <mprescripts/> <mi>w</mi> <mi>r</mi> </mmultiscripts> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mo>&prime;</mo> </msup> <mo>&CenterDot;</mo> <mmultiscripts> <mi>H</mi> <mprescripts/> <mi>w</mi> <mi>i</mi> </mmultiscripts> <mo>&CenterDot;</mo> <mmultiscripts> <mi>H</mi> <mprescripts/> <mi>i</mi> <mi>r</mi> </mmultiscripts> </mrow>

其中,为目标物体未移动时目标坐标系原点在摄像头坐标系中的位置,为目标物体移动后目标坐标系原点在摄像头坐标系中的位置,为识别标签在摄像头坐标系下的坐标的齐次变换,为识别标签在目标坐标系下的坐标的齐次变换,i=1,2,3。

9.根据权利要求8所述的基于头部位姿感知的智能驾驶训练方法,其特征在于,所述获得目标物体的角度变化参数的计算过程为:

其中,为目标物体由位置A移动至位置B时的欧拉变换矩阵,ψ为偏航角,θ为俯仰角,为滚转角,R(Z,ψ)为识别标签坐标变换时沿着Z轴旋转ψ角度,R(Y,θ)为识别标签坐标变换时沿着Y轴旋转θ角度,为识别标签坐标变换时沿着X轴旋转角度;

根据所述目标物体的角度变化参数获得目标物体的旋转角度:

10.根据权利要求5至9任一项所述的基于头部位姿感知的智能驾驶训练方法,其特征在于,所述对驾驶人头部位姿感知的步骤还包括:根据目标物体在旋转过程中的位置变化参数以及目标物体的旋转角度识别目标物体的动作状态的步骤。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1