一种基于眼动跟踪的行车环境感知装置的制作方法

本实用新型属于交通安全技术领域，具体涉及一种基于眼动跟踪的行车环境感知装置。

背景技术：

车辆在行驶过程中，驾驶员通过视觉、听觉、触觉等感知器官获取道路交通环境信息，经神经中枢加工处理后对车辆的行驶状态进行操纵调整。研究表明，驾驶员感知的信息有80％来自视觉，良好的视野是行车安全的重要保证。然而，由于汽车构造自身的原因，在车辆行驶过程中，驾驶员的视觉受汽车前后挡风玻璃两侧金属支撑柱体、两侧车窗中间金属支撑柱体的遮挡，使得驾驶员在驾驶过程中在车辆的前后、左右存在不同程度的视觉盲区，为了保障驾驶员的行车安全、防止交通事故的发生，一般通过在车辆上加装倒车影像、两侧广角后视镜、车内广角后视镜等来增加驾驶员的视野范围，在一定程度上减少了车辆行驶过程中驾驶员视觉盲区的范围。

然而，在复杂的道路交通环境下，特别是城市道路交通环境中，驾驶员通过车内后视镜、倒车影像、两侧后视镜等观察车辆周边的道路交通环境，由于需要上、下、左、右转动头部，在复杂的交通环境中，可能存在规避了左侧的交通危险，却遇到了前方的交通险情；规避了前方的交通险情，却忽视了左侧或右侧的潜在交通风险，容易出现“顾此失彼”的情况，即驾驶员对行车环境的感知需要通过频繁转动头部来扩大视野范围，所获得的行车环境信息具有人眼视觉扫描的时空片断性，并非实时的360°视角，在复杂环境下不利于行车安全。

技术实现要素：

本实用新型提出了一种基于眼动跟踪的行车环境感知装置，该装置由行车环境感知单元、眼动跟踪单元、主控单元、显示单元组成，如图1所示。驾驶员在驾驶过程中注视车辆行进方向的道路交通状况，通过眼动跟踪单元判断驾驶员的眼动状态，根据眼动状态主控单元从行车环境感知单元调取车辆左侧、右侧、后侧全景道路交通环境信息，通过显示单元中的高透明显示屏的不同位置实时显示眼动调取的行车环境信息，实现360°全方位无盲点感知车辆周边的道路环境，避免通过转动头部获取行车环境信息的视觉时空片断性，以提高驾驶员行车安全性。

本实用新型的技术解决方案是在车辆的不同部位安装本实用新型提出的一种基于眼动跟踪的行车环境感知装置的不同功能部件，该装置的行车环境感知单元安装在车辆左右后视镜和车辆尾部，对车辆的左侧、右侧、后侧的道路交通环境进行实时的视频图像感知；眼动跟踪单元安装在车内驾驶员驾驶座位的前方，对驾驶员的眼动状态进行视频图像采集；主控单元嵌入在驾驶舱的仪表盘内，主要对环境感知单元、眼动跟踪单元采集到的视频信息进行分析和处理，并将处理结果发送到显示单元；显示单元是一种高透明显示屏，作为汽车前挡风玻璃安装在汽车前挡风玻璃位置，并在前挡风玻璃的不同位置实时、高透明显示车辆不同区域的道路交通环境信息。

本实用新型提出的一种基于眼动跟踪的行车环境感知装置，其特征主要包括：

1)行车环境感知单元

行车环境感知单元由三组视频采集模块和视频传输接口模块组成，视频采集模块和视频传输接口模块通过微缩集成电路板进行连接，视频采集模块由鱼眼镜头、CCD/CMOS传感器、前端SoC(System-on-Chip)微处理器组成，CCD/CMOS传感器对鱼眼镜头投射过来的道路交通环境进行视频图像感知和采集，前端SoC(System-on-Chip)微处理器对CCD/CMOS传感器采集的视频图像进行预处理，对视频图像进行降噪、还原、修正和增强，提高视频图像的质量和可视性；视频传输接口模块由无线通信接口和网络接口组成，行车环境感知单元可通过网线，也可通过无线通信的方式与主控单元进行数据通信和传输。

2)眼动跟踪单元

眼动跟踪单元由眼动采集模块和视频传输接口模块组成，眼动采集模块和视频传输接口模块通过微缩集成电路板进行连接，眼动采集模块由红外光学摄像头、CCD/CMOS传感器、前端SoC(System-on-Chip)微处理器组成，红外摄像头用于投射驾驶员的人眼区域，CCD/CMOS传感器对红外光学摄像头投射过来的人眼区域图像进行感知和采集，前端SoC(System-on-Chip)微处理器对CCD/CMOS传感器采集的视频图像进行预处理，对视频图像进行降噪和增强，提高视频图像的质量和特征提取的敏感性；视频传输接口模块由无线通信接口和网络接口组成，眼动跟踪单元可通过网线，也可通过无线通信的方式与主控单元进行数据通信和传输。

3)主控单元

主控单元由母板总线、多核微处理模块、接口模块组成，母板总线实现多核微处理模块与接口模块之间的信息传输；多核微处理模块实现对行车环境感知单元、眼动跟踪单元传输过来的视频图像进行处理和分析，并根据分析结果，将行车环境感知单元获取和处理的视频图像信息，通过接口模块传输到显示单元；接口模块包括电源视频器、电源输入接口、网络接口、无线传输收起器。

4)显示单元

显示单元由高透明OLED显示屏、屏幕排线组成，屏幕排线与主控单元的接口模块进行连接，负责主控单元与高透明OLED显示屏信息的传输；高透明OLED显示屏根据驾驶员的眼动情况，在不同区域显示车辆周边不同区域的道路交通环境信息。

附图说明

图1：一种基于眼动跟踪的行车环境感知装置功能单元组成图

图2：一种基于眼动跟踪的行车环境感知装置功能单元安装分布图

图3：一种基于眼动跟踪的行车环境感知装置显示单元显示分布图

具体实施方式

本实用新型提出了一种基于眼动跟踪的行车环境感知装置，该装置由行车环境感知单元、眼动跟踪单元、主控单元、显示单元组成，如图1所示，分别安装在车辆的不同位置，如图2所示，其中，行车环境感知单元安装在车辆左右后视镜和车辆尾部；眼动跟踪单元安装在车内驾驶座位前方；主控单元嵌入在驾驶舱的仪表盘内；显示单元作为汽车的前挡风玻璃，安装在前挡风玻璃位置；驾驶员只需注视车辆行进方向的道路交通状况，通过眼动调取车辆左侧、右侧、后侧全景道路交通环境信息，并在前挡风玻璃的高透明显示屏中显示眼动调取的实时道路交通环境信息，从而避免通过转动头部获取行车环境信息的视觉时空片断性，以提高驾驶员行车安全性。

本实用新型提出的一种基于眼动跟踪的行车环境感知装置，其工作的具体流程为：

1)行车环境感知单元

行车环境感知单元由三组视频采集模块和视频传输接口模块组成，视频采集模块由鱼眼镜头、CCD/CMOS传感器、前端SoC(System-on-Chip)微处理器组成，分别安装在左侧后视镜、右侧后视镜、汽车尾部，用于采集车辆左侧区域、右侧区域、后侧区域的道路交通信息；视频传输接口模块由无线通信接口和网络接口组成，行车环境感知单元可通过网线，也可通过无线通信的方式与主控单元进行数据通信和传输。具体工作步骤如下：

Step1：车辆外部的道路交通信息通过鱼眼镜头投射到CCD/CMOS传感器；

Step2：通过鱼眼镜头投射过来的图像是非线性径向畸变，不符合驾驶员观察外部环境的视觉习惯，前端SoC(System-on-Chip)微处理器需要对CCD/CMOS传感器传送过来的图像进行实时的校正；

Step2.1：前端SoC(System-on-Chip)微处理器根据鱼眼镜头的特征参数，构建形成一个与鱼眼镜头相似的抛物曲面fC(XC,YC,ZC)；

Step2.2：前端SoC(System-on-Chip)微处理器将外界环境通过鱼眼镜头投射到CCD/CMOS传感器的图像信息fW(XW,YW,ZW)以像素为单位一一映射到SoC(System-on-Chip)微处理器构建的抛物曲面fC(XC,YC,ZC)上，fC(XC,YC,ZC)＝H·fW(XW,YW,ZW)，H为CCD/CMOS传感器到SoC微处理器的映射矩阵；

Step2.3：前端SoC(System-on-Chip)微处理器构建一个满足驾驶员视觉的二维平面fV(XV,YV)，二维平面fV(XV,YV)是抛物曲面fC(XC,YC,ZC)的拉伸平面，fV(XV,YV)＝M1·M2·M3·fC(XC,YC,ZC)·M4，M1为像素映射矩阵，M2为坐标变换矩阵，M3为左边偏移矩阵，M4为像素修正矩阵；

Step2.4：前端SoC(System-on-Chip)微处理器实时重复Step2.1-Step2.3，将鱼眼镜头传送过来的车辆外部信息转换、修正成符合驾驶员视觉习惯的视频图像信息；

Step3：左侧后视镜、右侧后视镜、汽车尾部中的视频采集模块分别将车辆左侧区域、右侧区域、后侧区域的视频图像信息通过视频传输接口模块实时传送给主控单元。

2)眼动跟踪单元

眼动跟踪单元由眼动采集模块和视频传输接口模块组成，眼动采集模块由红外光学摄像头、CCD/CMOS传感器、前端SoC(System-on-Chip)微处理器组成，安装在驾驶员驾驶座位正前方，用于采集驾驶员的眼动状态；视频传输接口模块由无线通信接口和网络接口组成，眼动跟踪单元可通过网线，也可通过无线通信的方式与主控单元进行数据通信和传输。具体工作步骤如下：

Step1：红外光学摄像头对准驾驶员的眼部区域，通过红外光学反射将驾驶员眼部区域的图像投射到CCD/CMOS传感器；

Step2：CCD/CMOS传感器将红外光学摄像头投射过来的图像信息转换成图像数字信号，传送给前端SoC(System-on-Chip)微处理器；

Step3：前端SoC(System-on-Chip)微处理器为CCD/CMOS传感器传送过来的图像数字信号构建形成一个M×N的二维数字图像矩阵Ρ(Ω)，

其中：Ω表示红外光学摄像头视角下覆盖的驾驶员人眼区域；M表示在二维数字图像矩阵中以像素为单位将Ω划分形成的总行数；N表示在二维数字图像矩阵中以像素为单位将Ω划分形成的总列数；Pij表示Ω中第i行第j列像素点的初始灰度值；

Step4：前端SoC(System-on-Chip)微处理器对二维数字图像进行降噪和信号增强，以提高二维数字图像的质量和特征提取的敏感性；

Step4.1：采用小波变换对二维数字图像Ρ(Ω)进行降噪处理，基本降噪模型为：

P′ij(t)＝Pij(t)-σij(t)e(t)

其中：e(t)为t时刻的噪声；σij(t)为t时刻第i行第j列像素点的噪声强度；Pij(t)为t时刻第i行第j列像素点SoC(System-on-Chip)微处理器获取的灰度值；P′ij(t)为t时刻第i行第j列像素点降噪后的灰度值；

Step4.2：采用ddencmp()函数生成信号的默认阈值，然后利用函数wdencmp()函数进行去噪处理，从而生成新的二维数字图像矩阵Ρ’(Ω)；

Step4.3：采用拉普拉斯算子对二维数字图像矩阵Ρ’(Ω)进行数字图像增强，以增强人眼区域特征部位的图像对比度，增强形成后的二维数字图像矩阵为Ρ‘’(Ω)，Ρ‘’ij表示数字图像增强后Ω中第i行第j列像素点的灰度值；

Step5：前端SoC(System-on-Chip)微处理器将降噪和增强后的二维数字图像矩阵Ρ‘’(Ω)通过视频传输接口模块传送给主控单元。

3)主控单元

主控单元由母板总线、多核微处理模块、接口模块组成，嵌入在驾驶舱的仪表盘内，用于对行车环境感知单元、眼动跟踪单元传送过来的视频图像信息进行处理和分析，并将分析结果发送给显示单元。具体工作步骤如下：

Step1：主控单元中的多核微处理模块通过接口模块接收眼动跟踪单元传送过来的二维数字图像矩阵Ρ‘’(Ω)；

Step2：多核微处理模块创建一个M×N的二维数字图像矩阵I(Ω)，令I(Ω)＝Ρ‘’(Ω)，Iij＝Ρ‘’ij，Iij表示Ω中第i行第j列像素点的灰度值；

Step3：定义A为一个由m×n个像素点组成的方形区域，A∈Ω，

其中：S＝M/m；K＝N/n；Aij为Ω第i行第j列方形区域A的灰度值矩阵；

Step4：计算Ω中各方形区域A的灰度测度值：

其中：为Ω第i行第j列方形区域A的灰度平均值；为二维数字图像的灰度平均值；μij为Ω中第i行第j列方形区域A的灰度测度值；

Step5：计算Ω中各方形区域A的局部奇异性指数λij：

其中：λij为方形区域Aij的局部奇异性指数；为Ω中各方形区域A的平均灰度测度值；μmax为Ω中方形区域A的最大灰度测度值；μmin为Ω中方形区域A的最小灰度测度值；

Step6：定义EYEL、EYER分别为左眼区域和右眼区域，EYEL∈Ω，EYER∈Ω；若λij≤ηeye，且与Aij相邻的方形区域A(i-1)j、A(i+1)j、Ai(j-1)、Ai(j+1)中至少有一个方形区域的局部奇异性指数小于等于ηeye，且则Aij∈EYEL；若λij≤ηeye，且与Aij相邻的方形区域A(i-1)j、A(i+1)j、Ai(j-1)、Ai(j+1)中至少有一个方形区域的局部奇异性指数小于等于ηeye，且则Aij∈EYER；

Step7：分别为EYEL、EYER创建由Z×D个像素点组成的二维数字图像矩阵I(EYEL)和I(EYER)，同时分别定义EL、ER为由z×d个像素点组成的方形区域，EL∈EYEL、ER∈EYER，

其中：U＝Z/z；V＝D/d；Z、D分别为左眼区域和右眼区域EYEL、EYER内像素点的行总数和列总数；U、V为EL、ER内像素点的行总数和列总数；分别为左眼区域EYEL和右眼区域EYER内第i行第j列像素点的灰度值；

Step8：令分别为左眼区域EYEL和右眼区域EYER的灰度平均值；分别为左眼区域EYEL和右眼区域EYER中第i行第j列像素点所在方形区域EL、ER的灰度平均值；分别为左眼区域EYEL和右眼区域EYER中第i行第j列像素点的灰度值，分别计算分别在左眼区域EYEL和右眼区域EYER中的全局奇异性指数：

其中：分别为左眼区域EYEL和右眼区域EYER中第i行第j列像素点的全局奇异性指数；

Step9：计算左眼区域EYEL和右眼区域EYER中所有点的全局奇异性指数后，分别左眼区域EYEL和右眼区域EYER中的最大全局奇异性指数和最小全局奇异性指数并分别将根据分布频次划分成四个区域，即：

其中：和分别为左眼区域EYEL和右眼区域EYER中像素点全局奇异性指数频次分布临界阈值点；

Step10：计算左眼区域EYEL和右眼区域EYER中四个分布频次区域的中心点：

其中：和分布为左眼区域EYEL和右眼区域EYER像素点全局奇异性指数四个分布频次区域的中心点；

Step11：分别通过和计算四个分布频次中心点对应的灰度值和

Step12：根据的区间分布，将其对应像素点的灰度值替换成相应区间中心点对应的灰度值，即：

若则

若则

若则

若则

若则

若则

若则

若则

Step12：更新左眼区域EYEL和右眼区域EYER二维数字图像矩阵I(EYEL)和I(EYER)后，左眼区域EYEL和右眼区域EYER分别形成了四种不同灰度值覆盖区域，根据各覆盖区域在左眼区域EYEL和右眼区域EYER的相对位置，分别确定为左眼区域EYEL的巩膜区域SCLERAL、虹膜区域LRISL、瞳孔区域PUPILL、眼皮区域LIDL和右眼区域EYER的巩膜区域SCLERAR、虹膜区域LRISR、瞳孔区域PUPILR、眼皮区域LIDR；

Step13：分别标定左眼区域EYEL和右眼区域EYER中瞳孔区域的中心点CP_PUPILL、CP_PUPILR和巩膜区域的中心线CL_SCLERAL、CL_SCLERAR，以及眼皮区域的上眼睑UP_LIDL、UP_LIDR和上眼睑DW_LIDL、DW_LIDR；

Step14：分别计算左眼区域EYEL和右眼区域EYER中眼瞳孔区域中心点与巩膜区域的中心线左右端点的距离和眼瞳孔区域中心点与上下眼睑的距离，令DIS_LL(CP_PUPILL，CL_SCLERAL)、DIS_LR(CP_PUPILL，CL_SCLERAL)分别为左眼瞳孔区域中心点与左眼巩膜区域的中心线左端点和右端点的距离；DIS_LU(CP_PUPILL，UP_LIDL)、DIS_LD(CP_PUPILL，DW_LIDL)分别为左眼瞳孔区域中心点与左眼上眼睑和下眼睑的距离；DIS_RL(CP_PUPILR，CL_SCLERAR)、DIS_RR(CP_PUPILR，CL_SCLERAR)分别右眼瞳孔区域中心点与右眼巩膜区域的中心线左端点和右端点的距离；DIS_RU(CP_PUPILR，UP_LIDR)、DIS_RD(CP_PUPILR，DW_LIDR)分别为右眼瞳孔区域中心点与右眼上眼睑和下眼睑的距离；

Step15：判断驾驶员的眼动状态，

Step15.1：若同时满足：

DIS_LL(CP_PUPILL，CL_SCLERAL)≤ζ

DIS_RL(CP_PUPILR，CL_SCLERAR)≤ζ

DIS_LR(CP_PUPILL，CL_SCLERAL)≥ξ

DIS_RR(CP_PUPILR，CL_SCLERAR)≥ξ

则判定驾驶员眼睛看向左侧，将驾驶员眼动信息记录为FACE_LEFT；其中：ζ、ξ分别为驾驶员眼球左右转动的最小临界阈值和最大临界阈值；σ分别为驾驶员眼球上下转动的最小临界阈值和最大临界阈值；

Step15.2：若同时满足：

DIS_LL(CP_PUPILL，CL_SCLERAL)≥ξ

DIS_RL(CP_PUPILR，CL_SCLERAR)≥ξ

DIS_LR(CP_PUPILL，CL_SCLERAL)≤ζ

DIS_RR(CP_PUPILR，CL_SCLERAR)≤ζ

则判定驾驶员眼睛看向右侧，将驾驶员眼动信息记录为FACE_RIGHT；Step15.3：若同时满足：

ζ<DIS_LL(CP_PUPILL，CL_SCLERAL)<ξ

ζ<DIS_RL(CP_PUPILR，CL_SCLERAR)<ξ

ζ<DIS_LR(CP_PUPILL，CL_SCLERAL)<ξ

ζ<DIS_RR(CP_PUPILR，CL_SCLERAR)<ξ

DIS_LD(CP_PUPILL，DW_LIDL)≥σ

DIS_RD(CP_PUPILR，DW_LIDR)≥σ

则判定驾驶员眼睛看向上部，将驾驶员眼动信息记录为FACE_UP；

Step15.4：若同时满足：

ζ<DIS_LL(CP_PUPILL，CL_SCLERAL)<ξ

ζ<DIS_RL(CP_PUPILR，CL_SCLERAR)<ξ

ζ<DIS_LR(CP_PUPILL，CL_SCLERAL)<ξ

ζ<DIS_RR(CP_PUPILR，CL_SCLERAR)<ξ

DIS_LU(CP_PUPILL，UP_LIDL)≥σ

DIS_RU(CP_PUPILR，UP_LIDR)≥σ

则判定驾驶员眼睛看向下部，将驾驶员眼动信息记录为FACE_DOWN；Step15.5：若同时满足

ζ<DIS_LL(CP_PUPILL，CL_SCLERAL)<ξ

ζ<DIS_RL(CP_PUPILR，CL_SCLERAR)<ξ

ζ<DIS_LR(CP_PUPILL，CL_SCLERAL)<ξ

ζ<DIS_RR(CP_PUPILR，CL_SCLERAR)<ξ

则判定驾驶员眼睛看向正前方，将驾驶员眼动信息记录为FACE_FACE；

Step16：主控单元中的中的多核微处理模块根据驾驶员眼动状态的判断结果，通过接口模块提取环境感知单元的视频图像信息，并通过母板总线将视频图像信息传送给显示单元：

Step16.1：若驾驶员眼动记录信息为FACE_LEFT，则提取环境感知单元中左侧后视镜位置感知的车辆左侧的道路交通环境信息；

Step16.2：若驾驶员眼动记录信息为FACE_RIGHT，则提取环境感知单元中右侧后视镜位置感知的车辆右侧的道路交通环境信息；

Step16.3：若驾驶员眼动记录信息为FACE_UP，则提取环境感知单元中车辆尾部位置感知的车辆后侧的道路交通环境信息；

Step16.4：若驾驶员眼动记录信息为FACE_DOWN，如果连续FACE_DOWN的时间超过3秒，则发送一个预警信息WARNING信息，如果连续FACE_DOWN的时间超过5秒，则发送一个警告信息ALARM信息。

4)显示单元

显示单元由高透明OLED显示屏、屏幕排线组成，显示单元作为汽车前挡风玻璃安装在汽车前挡风玻璃位置，用于在不同位置实时、高透明显示车辆不同区域的道路交通环境信息，如图3所示。具体工作步骤如下：

Step1：当显示单元通过屏幕排线接收主控单元传送过来的驾驶员眼动记录信息和视频图像信息后，显示单元根据驾驶员的眼动记录信息，为视频图像信息分配显示区域；

Step2：如果接收到的驾驶员眼动记录信息为FACE_LEFT，则显示单元为视频图像信息分配到左侧显示区域OLED_L，并进行高透明实时显示，直到驾驶员眼动记录信息发生改变；

Step3：如果接收到的驾驶员眼动记录信息为FACE_RIGHT，则显示单元为视频图像信息分配到右侧显示区域OLED_R，并进行高透明实时显示，直到驾驶员眼动记录信息发生改变；

Step4：如果接收到的驾驶员眼动记录信息为FACE_UP，则显示单元为视频图像信息分配到下侧显示区域OLED_D，并进行高透明实时显示，直到驾驶员眼动记录信息发生改变；

Step5：如果接收到的驾驶员眼动记录信息为FACE_DOWN，则显示单元在下侧显示区域OLED_D显示预警信息WARNING信息或警告信息ALARM信息的动态图标，并进行高透明实时显示，直到驾驶员眼动记录信息发生改变。