专利名称：道路驾驶技能考试过程驾驶人视线识别仪及实现方法
技术领域：
本发明涉及一种机动车驾驶人场地驾驶技能考试装置，特别是汽车驾驶人道路驾驶技能考试过程驾驶人视线识别仪及其实现驾驶人视线识别的方法实现汽车驾驶人驾驶技能练习辅导和考试评分的方法。
背景技术：
根据公安部令第111号制定的行业标准GA/T554-2008《机动车驾驶人场地驾驶技能考试系统》的要求，必须考核机动车驾驶人在道路驾驶技能考试过程中，是否按规定正确地观察前、后和左、右，是否违规低头看档位，为此南京多伦科技有限公司在《基于面部图像识别技术的评判实际道路驾驶员考试的方法》的专利(公布号CN 102306293 A)中提出了一种“检测面部特征轮廓矩形尺寸变化”的方法来应对相应的要求。2、在安防、门禁领域上用到的人脸识别技术，可以比对当前捕获到的图像是否与备案保存的那个人一致。主要问题如下
1、上述“多伦公司”提出的矩形尺寸变化方法，是用面积的变化来分析的，文中只确认了是否左右或上下观看，而不容易明确到底是向左、向右或向上、向下观看。特别地，当摄像机正对驾驶人的头像时，向左与向右或向上与向下观看时，相应摆头的角度相近时，它们的变化程度几乎是一致的，因此无法识别具体的观察方向；
2、在安防、门禁领域上用到的人脸识别技术，只对准确率高有要求，对时间没有严格的要求，满足不了驾照考试的快速要求。
发明内容
本发明的目的是提供一种可以自动识别驾驶人视线观看方向的仪器设备一道路驾驶技能考试过程驾驶人视线识别仪，同时提供了利用该识别仪实现自动识别驾驶人视线观看方向的方法；以解决已有技术的上述不足。解决上述技术问题的技术方案是一种道路驾驶技能考试过程驾驶人视线识别仪，包括核心板和接口底板；
所述核心板包括DSP多媒体数字处理器、嵌入式MCU微控制器、程序存储器、数据存储器以及接口连接器插件；
所述的DSP多媒体数字处理器和嵌入式MCU微控制器作为识别仪的中心，即硬件平台，其中DSP多媒体数字处理器负责对数字视频进行处理，从而获取对于坐在正驾驶员位置上的驾驶人视线识别必需的状态数据信息，嵌入式MCU微控制器提供操作系统运行平台，方便应用程序开发，使应用程序能够与硬件设备无关，达到可随意扩展性能或功能的目的；核心板上的程序存储器是用来安装操作系统和应用软件的硬件载体，数据存储器是系统工作时必须使用的临时数据存储空间，其中包括有应用程序的接口缓冲区；
在所述接口底板上除接口连接器插件外，还设置有以下包含了相应的接口电路装置的接口 1到2路视频输入接口，I到4路RS-485总线或RS-232接口，与以太网设备连接的10/100M/1000M自适应以太网接口，CAN总线接口，含操作按键和状态指示灯、语音输入输出的人机界面接口，适应考试车辆电源电压变化大的DC 8—36V宽电压输入的DC-DC电源
变换器接口；
核心板和接口底板之间或是直接相连或者是通过接口连接器插件连接，当核心板和接口底板之间直接相连嵌入到接口底板所在的P CB板上时，连接到接口底板的被采集输入信号与驱动输出信号，经过相应的接口信号处理电路进行处理后，通过接口总线直接传送到核心板上或被驱动的设备；当核心板和接口底板之间是相对独立且需通过接口连接器插件连接时，核心板和接口底板之间通过核心板的接口连接器插件与接口底板的接口连接器插件对应装配在一起；连接到接口底板的被采集输入信号，经过相应的接口信号处理电路进行处理后，分别通过接口底板的接口连接器插件和核心板的接口连接器插件传送到核心板上；从核心板上输出的设备驱动信号，也分别通过核心板的接口连接器插件和接口底板上对应的接口连接器插件而传送到接口底板上，并经接口底板进行处理后输出驱动相应的设备;
所述识别仪通过视频输入接口，利用视频输入设备获取坐在正驾驶员位置上的驾驶人的视频图像，一方面为后面进行身份鉴别和图像识别过程提供原始的视频图像数据；另一方面还提供给远程监控记录设备进行实时监控录像；
所述识别仪通过RS-232或RS-485通讯接口或以太网接口或CAN总线接口与上位机联网，一方面以对外广播的方式适时地向上位机输出驾驶人在考试前进行的身份鉴别视频图像、考试过程中的实时驾驶视频图像、视线落在设定的位置时被抓拍并保留下来的视频图像及对应的视线位置编码，另一方面通过这些接口，还接受上位机下达的多种指挥指令，达到可与上位机进行协同工作的目的。其进一步的技术方案是所述核心板或是由分别封装的DSP多媒体数字处理器、嵌入式MCU微控制器、程序存储器、数据存储器以及核心板的接口连接器插件)构成或是由将上述元器件集成封装在一起构成的厚膜电路或片上系统SoC I构成；或者是由DSP多媒体数字处理器、嵌入式MCU微控制器以及FPGA集成在一起构成的片上系统SoC II构成，还可以是由DSP多媒体数字处理器、嵌入式MCU微控制器合而为一构成的片上系统SoC III、程序存储器、数据存储器以及核心板的接口连接器插件组成。其进一步的技术方案是通过该识别仪接口底板上连接的外部设备包括监视驾驶人驾驶过程的视频摄像机，通过RS-485总线或RS-232通讯接口获取本视线识别仪信号的设备，通过以太网接口获取本视线识别仪信号的设备，通过CAN总线接口获取本视线识别仪信号的设备，对本视线识别仪进行基本操作的输入键盘设备，通过并行输出接口获取本视线识别仪信号的设备，道路驾驶技能考试过程驾驶人视线识别仪的一组状态信号指示灯，向驾驶人提供语音提示信号的扩音设备和采集声音用的拾音器和供视线识别仪工作的外部电源。其更进一步的技术方案是当道路驾驶技能考试过程驾驶人视线识别仪安装在教练车上时，通过含操作按键、状态指示灯和语音输入输出的人机界面接口连接一附加设置的键盘输入设备，在训练时，由坐在副驾驶座上的教练模拟考试过程直接地对学员进行类似身份鉴别操作过程的操作，对于学员在练习过程中视线的方向进行提示。
所述识别仪通过含操作按键、状态指示灯和语音输入输出的人机界面接口和外挂的扩音系统，向驾驶人进行语音提示；还通过该人机界面接口，根据需要实现语音监控记录；随时地与远程联网的PC机进行语音对话。所述识别仪设置一组状态信号指示灯，在利用语音进行视线位置状态提示的同时，通过光信号对驾驶人进行相应的提示。该识别仪利用适应考试车辆电源电压变化大的DC 8—36V宽电压输入的DC-DC电源变换器，在考试车辆启动后可以用汽车发电机的电力来 向车载设备供电和向车载备用电瓶进行充电。其相关的另一技术方案是一种道路驾驶技能考试过程驾驶人视线识别的方法，它是利用本发明所述的道路驾驶技能考试过程驾驶人视线识别仪，通过多媒体数字处理器DSP和CCD摄像机构成的机器视觉并结合数字化开关量采集器，利用驾驶人观看某些规定位置时而获取的面部及五官的特征视频图像作基准，通过对特征部位的比对、分析方法，确定驾驶人在某一时刻视线的实际位置从而对机动车驾驶人道路驾驶技能考试过程中驾驶人视线方向进行识别的方法，它是通过运行嵌入式Linux操作系统或windows CE操作系统的硬件与在嵌入式Linux操作系统或windows CE操作系统上运行的软件的协同工作来共同实现的，所述应用软件包括的模块有数据传输通讯器模块、开关量采集器模块、音视频数据采集器模块、视频图像特征处理器模块、特征图像管理器模块、图像比对分析器模块、操作员人机界面模块、字符语音转换及音视频编/解码器模块、驾驶人特征画面跟踪器模块和通讯协议处理器模块,各模块均装在嵌入式Linux操作系统或windows CE操作系统上；
所述数据传输通讯器模块的作用是与上位机联网并负责通讯收发任务；
所述开关量采集器模块用于采集物理键盘等开关量状态；
所述音视频数据采集器模块通过拾音器和摄像头来采集驾驶室内的声音及驾驶人视频图像；
所述视频图像特征处理器模块用于从视频图像中提取并形成身份鉴别和视线识别所需要的特征图像数据；
所述特征图像管理器模块用于为视线识别服务而对特征图像进行综合管理；
所述图像比对分析器模块通过与特征图像进行比对而确定驾驶人视线观察位置；
所述操作员人机界面模块用于处理键盘、声音输入和形成声光提示信号；
所述字符语音转换及音视频编/解码器模块用于将字符提示转换成语音并把采集到的音视频信号进行压缩编码和把需要对已压缩编码的音视频数据进行解压缩编码；
所述驾驶人特征画面跟踪器模块用于确保获取含有驾驶人特征的视频图像；
所述通讯协议处理器模块用于处理与多种设备进行联接通讯并对需要传输的数据进行打包和解包处理。所述道路驾驶技能考试过程驾驶人视线识别的方法的进一步技术方案是所述道路驾驶技能考试过程驾驶人视线识别的方法的主流程是
5101:系统初始化，对软硬件进行检查，并给需要初值的变量赋予初值；
5102:获取驾驶人视线特征视频图像；
5103:对驾驶人视线跟踪；S104:判断驾驶人视线是否正视行驶方向，若是，则进入S1051，否则进入S1052 ；
51051:清除累计视线离开行驶方向的连续时间为O后进入sl06 ；
51052:累计视线离开行驶方向的连续时间后进入sl06 ；
5106:报告视线离开行驶方向的连续时间；
5107:判断驾驶人视线是否是看行驶方向，若是则 进入S1082，否则则进入S1081 ；
51081:确定驾驶人当前视线方向后进入sl082 ；
51082:报告驾驶人视线离开行驶方向后所处的实际方向
5109:传输并保存实时视频；
5110:判断是否继续跟踪驾驶人视线，若是则返回S103，否则进入Slll ；
5111:判断是否退出，若退出进入S112，否则返回S102 ；
S112:返回到操作系统。所述的道路驾驶技能考试过程驾驶人视线识别的方法的更进一步技术方案是所述S102 :获取驾驶人视线特征图像步骤中，获取驾驶人视线特征视频图像的程序模块流程是
5201:接受获取驾驶人视线特征图像指令；
5202:获取向右看后视镜的的特征视频图像；
5203:获取向上看内后视镜的的特征视频图像；
5204:获取向左看后视镜的特征视频图像；
5205:获取向下看档位的特征视频图像；
5206:获取向前看行驶方向的特征视频图像；
5207:把上述获得的图像作为基准保存备用
5208:获取身份鉴别时所需的正视摄像头的特征视频图像；
5209:判断驾驶人视线特征图像数据是否采集完成，若是则进入S210，否则返回S202 ；
5210:形成对驾驶人做身份鉴别所用图像；
5211:保存并用广播方式向声、光提示设备和上位机以及其它需要接收这些信息的设备报告身份鉴别的最终结果；
5212:获取驾驶人视线特征图像程序模块结束。所述的道路驾驶技能考试过程驾驶人视线识别的方法的更进一步技术方案是所述S102 :获取驾驶人视线特征图像步骤中，获取驾驶人视线特征视频图像的程序模块流程还可以是
5201:接受获取驾驶人视线特征图像指令后通过根据指令通过多分支节点入口S202sw 进入 S202、S203、S204、S205 或 S206 之中任意一个步骤；
5202:获取向右看后视镜的的特征视频图像后进入S207 ；
5203:获取向上看内后视镜的的特征视频图像后进入S207 ；
5204:获取向左看后视镜的特征视频图像后进入S207 ；
5205:获取向下看档位的特征视频图像后进入S207 ；
5206:获取向前看行驶方向的特征视频图像后进入S207 ；
5207:把上述获得的图像作为基准保存备用
5208:获取身份鉴别时所需的正视摄像头的特征视频图像；S209:判断驾驶人视线特征图像数据是否采集完成，若是则进入S 210，否则返回S202sw多分支节点入口 ；
S 210 :形成对驾驶人做身份鉴别所用图像；
S 211 :保存并用广播方式向声、光提示设备和上 位机以及其它需要接收这些信息的设备报告身份鉴别的最终结果；
S 212 :获取驾驶人视线特征图像程序模块结束。所述道路驾驶技能考试过程驾驶人视线识别的方法的主流程中所述S1081 :确定驾驶人当前视线方向的程序模块流程是
5301:提取驾驶人当前特征图像；
5302:分别与基准视线图像进行分析比较；
5303:判断驾驶人当前特征图像与基准视线图像是否相同？若相同则进入S305，否则进入S304 ；
5304:清除视线投射方向的标记后进入S306 ；
5305:标记视线已投射到预定的具体方向；
5306:报告视线投射方向的标记值并保存相应的视频图像；
5307:退出视线方向比对、分析程序模块。所述的道路驾驶技能考试过程驾驶人视线识别的方法的又更进一步技术方案是所述获取驾驶人视线特征图像的程序模块中，所述S208 :获取身份鉴别时所需的正视摄像头的特征视频图像的程序是
5401:采集驾驶人视频图像；
5402:自动捕获考生头像；
5403:截取驾驶人头像并形成大头贴；
5404:输出粘贴有大头贴的身份鉴别视频图像。由于采用上述技术方案，本发明之道路驾驶技能考试过程驾驶人视线识别仪及实现自动识别驾驶人视线观看方向的方法具有以下有益效果
I.提高了对驾驶人视线观看位置识别的准确率因为驾驶人在观看左、右、前、后、上、下规定位置时，其相应的特征图像的相似性很少，也就是说用来作比对、分析的特征图像相差很大，因此误判率会很低。2.提高了对驾驶人视线观看位置的识别速度由于本发明之道路驾驶技能考试过程驾驶人视线识别仪采集的用于作比对的基准特征图像，是来自某个特定的正坐在驾驶位置的驾驶人在观看左、右、前、后、上、下规定的位置时实时采集到的经处理后形成的，任意两者之间相差很大，相似性很少，在比对、分析时，只要发现特征相近，就可以确定驾驶人的实际视线；因此，应用本发明之识别仪实现道路驾驶技能考试过程驾驶人视线识别的方法与在安防、门禁领域上用到的人脸识别技术相比，识别速度大大加快，能够满足驾照考试的快速要求。3.使用范围广本发明之道路驾驶技能考试过程驾驶人视线识别仪不仅可以应用于道路驾驶技能考试过程中对驾驶人视线进行识别，还可以为很多需要快速识别人头像的地方提供理想的解决方案，并可为之节省大量的人力、物力及费用开支。4.降低了车载设备对电源指标和关机过程的要求，提高系统软件的稳定性本发明之道路驾驶技能考试过程驾驶人视线识别仪利用适应考试车辆电源电压变化大的DC 8 — 36V宽电压输入的DC-DC电源变换器39，在考试车辆启动后可以用汽车发电机的电力来向车载设备供电和向车载备用电瓶进行充电，从而延长车载备用电瓶的供电时间；其次由于本发明装置使用了安装于非易失存储器中的嵌入式操作系统，且启动过程使用的初始化参数表固定，动态数据独立且不作异常关机处理，因此即使频繁断电关机也不会导致系统和应用软件的不稳定，从外观上看，每次开机上电的结果都是一样的。下面，结合附图和实施例对本发明之 道路驾驶技能考试过程驾驶人视线识别仪及其用于实现道路驾驶技能考试过程驾驶人视线识别的方法的技术特征作进一步的说明。
图I:核心板I a结构示意 图2-1 :接口底板II a接口结构以及接口底板II a与核心板I a之间通过接口连接器插件连接关系示意 图2-2 :核心板I b直接安装在接口底板II b上的结构示意 图3 :接口底板与外接设备的连接示意 图4 :嵌入式Linux或windows CE操作系统与应用软件的连接示意 图5 :道路驾驶技能考试过程驾驶人视线识别的方法之主流程 图6-1 图6-2 :获取驾驶人视线特征视频图像的子程序模块流程 图7 :确定驾驶人当前视线方向的子程序模块流程 图8 :产生驾驶人身份鉴别图像流程图。图中
I、I a、I b -核心板，I a -带有接口连接器插件的核心板，I b -不带接口连接器插件的核心板；II、IIa、IIb -接口底板，IIa -带有接口连接器插件的接口底板，IIb-不带接口连接器插件的接口底板；III-人机界面设备与接口 ；
101-DSP多媒体数字处理器，102-嵌入式MCU微控制器，103-程序存储器，104-数据存储器，105、106-核心板的接口连接器插件，SoC III是包括了 101和102的多媒体片上系统；
201-1到2路视频输入接口，202-1到4路RS-485总线或RS-232接口，203-10/100/1000M自适应以太网接口，204-CAN总线接口，205、206-接口模块与核心模块连接的接口连接器插件，207-含操作按键、状态指示灯和语音输入输出的人机界面接口，208-适应考试车辆电源电压变化大的DC 8 — 36V宽电压输入的DC-DC电源变换器接口 ；31-监视驾驶人驾驶过程的视频摄像机，32-通过RS-485总线或RS-232通讯接口获取本视线识别仪信号的设备，33-通过以太网接口获取本视线识别仪信号的设备，34-通过CAN总线接口获取本视线识别仪信号的设备，35-对本视线识别仪进行基本操作的输入键盘设备，36-通过并行输出接口获取本视线识别仪信号的设备，37-道路驾驶技能考试过程驾驶人视线识别仪的一组状态信号指示灯，38-能向驾驶人提供语音提示信号的扩音设备和采集声音用的拾音器，39-供视线识别仪工作的外部电源。文中缩略语及其意义
DSP一Digital Signal Processing ，即数字信号处理器；MCU — Micro Control Unit)，即微控制器，也习惯地被称为单片机；
FPGA一Field-Programmable Gate Array,即现场可编程门阵列；
SoC-Systems-on-a-Chip,片上系统SoC包括三种，第一种是指由DSP多媒体数字处理器、嵌入式MCU微控制器以及必须的数据存储器和程序存储器共同封装在一起而构成的一种组合式集成电路芯片或厚膜电路，记作片上系统SoC I ；
第二种是指由DSP多媒体数字处理器、嵌入式MCU微控 制器以及FPGA集成在一起构成的集成电路芯片，记作片上系统SoC II，如TMS320DM6446处理器；
第三种是指由DSP多媒体数字处理器、嵌入式MCU微控制器合而为一构成的片上系统SoC III。
具体实施例方式实施例一
一种道路驾驶技能考试过程驾驶人视线识别仪，包括核心板I和接口底板II ;
所述核心板I是由DSP多媒体数字处理器101、嵌入式MCU微控制器102合而为一构成的片上系统SoC III、程序存储器103、数据存储器104以及核心板的接口连接器插件105、106组成的核心板I a，该核心板I a为单独的一块PCB电路板(参见图I)；
所述的DSP多媒体数字处理器101和嵌入式MCU微控制器102作为识别仪的中心，即硬件平台，其中DSP多媒体数字处理器101负责对数字视频进行处理，从而获取对于坐在正驾驶员位置上的驾驶人视线识别必需的状态数据等信息，嵌入式MCU微控制器102提供操作系统运行平台，方便应用程序开发，使应用程序能够与硬件设备无关，达到可随意扩展性能或功能的目的；
核心板I上的程序存储器103是用来安装操作系统和应用软件的硬件载体，数据存储器104是系统工作时必须使用的临时数据存储空间，其中包括有应用程序的接口缓冲区；所述接口底板II是接口底板II a (参见图2-1)，该接口底板II a也为单独的一块PCB电路板，在所述接口底板II上除接口连接器插件205、206外，还设置有以下包含了相应的接口电路装置的接口 1到2路视频输入接口 201，I到4路RS-485总线或RS-232接口 202，与以太网设备连接的10/100M/1000M自适应以太网接口 203，CAN总线接口 204，含操作按键和状态指示、语音输入输出的人机界面接口 207，适应考试车辆电源电压变化大的DC8 — 36V宽电压输入的DC-DC电源变换器接口 208 ；
核心板I a和接口底板II a之间通过核心板的接口连接器插件105、106与接口底板的接口连接器插件205、206对应装配在一起(参见图2-1);连接到接口底板II a的被采集输入信号与驱动输出信号，经过相应的接口信号处理电路进行处理后，分别通过接口底板的接口连接器插件205、206和核心板的接口连接器插件105、106传送到核心板I a上；连接到接口底板II a的驱动输出信号，分别通过核心板的接口连接器插件105、106和底板上的接口连接器插件205、206传送到接口底板上，经过相应的接口信号处理电路进行处理后，再与被驱动的设备相联。所述的道路驾驶技能考试过程驾驶人视线识别仪通过接口底板II上连接的外部设备(参见图3)包括监视驾驶人驾驶过程的视频摄像机31，通过RS-485总线或RS-232通讯接口获取本视线识别仪信号的设备32，通过以太网接口获取本视线识别仪信号的设备33，通过CAN总线接口获取本视线识别仪信号的设备34，对本视线识别仪进行基本操作的输入键盘设备35，通过并行输出接口获取本视线识别仪信号的设备36，道路驾驶技能考试过程驾驶人视线识别仪的一组状态信号指示灯37，向驾驶人提供语音提示信号的扩音设备和采集声音用的拾音器38和供视线识别仪工作的外部电源39。所述识别仪通过I到2路视频输入接口 201，利用视频输入设备31获取坐在正驾驶员位置上的驾驶人的视频图像，一方面为后面进行身份鉴别和图像识别过程提供原始的视频图像数据；另一方面还可提供给远程监控记录设备进行实时 监控录像；
所述识别仪通过I到4路RS-232或RS-485通讯接口 202或以太网接口 203或CAN总线接口 204与上位机联网，一方面以对外广播的方式适时地向上位机输出驾驶人在考试前进行的身份鉴别视频图像、考试过程中的实时驾驶视频图像、视线落在设定的位置时被抓拍并保留下来的视频图像及对应的视线位置编码，另一方面通过这些接口，还接受上位机下达的多种指挥指令，达到可与上位机进行协同工作的目的。本识别仪与以太网接口 203连接的以太网设备33是指具有以太网接口的以下设备之一种路由器、交换机、ADSL调制解调器、无线收发器或个人电脑。当本发明道路驾驶技能考试过程驾驶人视线识别仪安装在教练车上时，通过含操作按键、状态指示灯和语音输入输出的人机界面接口 207连接一附加设置的键盘输入设备35，在训练时，由坐在副驾驶座上的教练模拟考试过程直接地对学员进行类似身份鉴别操作过程的操作，对于学员在练习过程中视线的方向进行提示，从而可以使驾驶人不正确的视线方向及时地得到纠正，加快提高驾驶技能的速度。本发明道路驾驶技能考试过程驾驶人视线识别仪通过含操作按键、状态指示灯和语音输入输出的人机界面接口 207和外挂的扩音系统38，在必要时可以及时地向驾驶人进行语音提示；通过该人机界面接口 207，还可以根据需要实现语音监控记录；随时地与远程联网的PC机进行语音对话，方便远程PC操作员用语音与现场维护人员或驾驶人进行沟通。本发明道路驾驶技能考试过程驾驶人视线识别仪，还设置有一组状态信号指示灯37，使之在利用语音进行视线位置状态提示的同时，又增加一种通过光信号对驾驶人进行相应的提示，对于考试者而言，在现场又保留了一份对驾驶人视线位置状态提示的资料，具有声光互为备份的作用；对于驾驶人来说，又多了一种提示途径，利于改正不正确姿势，尽快提高驾驶技能的速度。本识别仪利用适应考试车辆电源电压变化大的DC 8—36V宽电压输入的DC-DC电源变换器39,在考试车辆启动后可以用汽车发电机的电力来向车载设备供电和向车载备用电瓶进行充电，从而延长车载备用电瓶的供电时间。作为本发明实施例的一种变换，所述核心板I还可以是由分别封装的DSP多媒体数字处理器101，嵌入式MCU微控制器102，程序存储器103，数据存储器104以及核心板的接口连接器插件105、106构成或是由将上述元器件集成封装在一起构成的厚膜电路或片上系统SoC I构成；或者是由DSP多媒体数字处理器、嵌入式MCU微控制器以及FPGA集成在一起构成的集成电路或厚膜电路一片上系统SoC II构成；核心板I和接口底板II之间的连接也可以省略接口底板的接口连接器插件205、206，而将片上系统SoC I或片上系统SoC II直接装配在接口底板II上；
作为本发明实施例的一种变换，还可以将核心板I上的DSP多媒体数字处理器101、嵌入式MCU微控制器102、程序存储器103、数据存储器104直接焊接到接口底板II上形成单张PCB板；或者是将由DSP多媒体数字处理器101、嵌入式MCU微控制器102合而为I构成的片上系统SoC III、程序存储器103、数据存储器104直接焊接到接口底板II b上形成单张PCB板(参见图2-2)，此时，连接到接口底板II b之接口的输入设备信号，经过相应的接口处理电路进行处理后，分别通过接口底板直接传送到核心板I b上。DSP可以是美国德州仪器公司TI的C6000系列多媒体芯片TMS320DM642，也可以是其它品牌的多媒体DSP，嵌入式微控制器MCU可以是ARM系 列ARM9或ARMll或其它公司的产品，本发明首选的DSP是TMS320DM6446，其已经内嵌了 ARM9微控制器，可以运行嵌入式Linux 或嵌入式 Windows CE。实施例二
一种道路驾驶技能考试过程驾驶人视线识别的方法，它是利用本发明实施例一所述的道路驾驶技能考试过程驾驶人视线识别仪，通过多媒体数字处理器DSP和CXD摄像机构成的机器视觉并结合数字化开关量采集器，利用驾驶人观看某些规定位置时而获取的面部及五官的特征视频图像作基准，通过对特征部位的比对、分析等方法，确定驾驶人在某一时刻视线的实际位置从而对机动车驾驶人道路驾驶技能考试过程中驾驶人视线方向进行识别的方法；它是通过运行嵌入式Linux操作系统或windows CE操作系统的硬件与在嵌入式Linux操作系统或windows CE操作系统上运行的软件的协同工作来共同实现的，所述应用软件包括的模块有(参见图4):数据传输通讯器模块401、开关量采集器模块402、音视频数据采集器模块403、视频图像特征处理器模块404、特征图像管理器405模块、图像比对分析器模块406、操作员人机界面模块407、字符语音转换及音视频编/解码器模块408、驾驶人特征画面跟踪器模块409和通讯协议处理器模块410，各模块均装在嵌入式Linux操作系统或windows CE操作系统上。所述应用软件的作用是1.初始化软件运行环境，采集能够鉴别驾驶人身份的视频特征图像，提取并管理驾驶人视线特征图像；
2.根据需要来对某些音视频信号进行编解码，完成提示字符到语音的转换工作，产生符合要求的声光提不信号；
3.通过对特征图像进行比对、分析，确定驾驶人在某一时刻的视线是否落在规定的位置上；
4.处理多种通讯协议，并负责与它们建立连接，完成相应的通讯任务；
其中
所述数据传输通讯器模块401的作用是与上位机联网并负责通讯收发任务；
所述开关量采集器模块402用于采集物理键盘等开关量状态；
所述音视频数据采集器模块403通过拾音器和摄像头来采集驾驶室内的声音及驾驶人视频图像；
所述视频图像特征处理器模块404用于从视频图像中提取并形成身份鉴别和视线识别所需要的特征图像数据；
所述特征图像管理器模块405用于为视线识别服务而对特征图像进行综合管理；
所述图像比对分析器模块406通过与特征图像进行比对而确定驾驶人视线观察位置； 所述操作员人机界面模块407用于处理键盘、声音输入和形成声光提示信号；所述字符语音转换及音视频编/解码器模块408用于将字符提示转换成语音并把采集到的音视频信号进行压缩编码和/或把需要对已压缩编码的音视频数据进行解压缩编码；所述驾驶人特征画面跟踪器模块409用于确保获取含有驾驶人特征的视频图像；
所述通讯协议处理器模块410用于处理与多种设备进行联接通讯并对需要传输的数据进行打包和解包处理。本发明道路驾驶技能考试过程驾驶人视线识别的方 法的主流程(参见图5)是
5101:系统初始化，对软硬件进行检查，并给需要初值的变量赋予初值；
5102:获取驾驶人视线特征视频图像；
5103:对驾驶人视线跟踪；
5104:判断驾驶人视线是否正视行驶方向，若是，则进入S1051，否则进入S1052 ；
51051:清除累计视线离开行驶方向的连续时间为O后进入sl06 ；
51052:累计视线离开行驶方向的连续时间后进入sl06 ；
5106:报告视线离开行驶方向的连续时间；
5107:判断驾驶人视线是否是看行驶方向，若是则进入S1082，否则进入S1081 ；
51081:确定驾驶人当前视线方向后进入sl082 ；
51082:报告驾驶人视线离开行驶方向后所处的实际方向
5109:传输并保存实时视频；
5110:判断是否继续跟踪驾驶人视线，若是则返回S103，否则进入Slll ；
5111:判断是否退出，若退出进入S112，否则返回S102 ；
S112:返回到操作系统。本发明道路驾驶技能考试过程驾驶人视线识别的方法的主流程之所述S102 :获取驾驶人视线特征图像步骤中，获取驾驶人视线特征视频图像的程序模块流程(参见图6-1)是
5201:接受获取驾驶人视线特征图像指令；
5202:获取向右看后视镜的特征视频图像；
5203:获取向上看内后视镜的特征视频图像；
5204:获取向左看后视镜的特征视频图像；
5205:获取向下看档位的特征视频图像；
5206:获取向前看行驶方向的特征视频图像；
5207:把上述获得的图像作为基准保存备用
5208:获取身份鉴别时所需的正视摄像头的特征视频图像；
5209:判断驾驶人视线特征图像数据是否采集完成，若是则进入S210，否则返回S202 ；
5210:形成对驾驶人做身份鉴别所用图像；
5211:保存并用广播方式向声、光提示设备和上位机以及其它需要接收这些信息的设备报告身份鉴别的最终结果；
5212:获取驾驶人视线特征图像程序模块结束。作为本发明实施例的一种变换，由于S202到S206共五个模块是同等级的，执行时没有严格的时间次序要求，因此，除可以如上所述(参见图6-1)按S202到S206顺序自动依次采集往各个方向看的特征视频图像外；还可以采用安上按钮，由人工控制方式采集往某个方向看的特征视频图像(参见图6-2)，其步骤是
5201:接受获取驾驶人视线特征图像指令后通过根据指令通过多分支节点入口S202sw 进入 S202、S203、S204、S205 或 S206 之中任意一个步骤；
5202:获取向右看后视镜的特征视频图像后进入S207 ；
5203:获取向上看内后视镜的特征视频图像后进 入S207 ；
5204:获取向左看后视镜的特征视频图像后进入S207 ；
5205:获取向下看档位的特征视频图像后进入S207 ；
5206:获取向前看行驶方向的特征视频图像后进入S207 ；
5207:把上述获得的图像作为基准保存备用
5208:获取身份鉴别时所需的正视摄像头的特征视频图像；
5209:判断驾驶人视线特征图像数据是否采集完成，若是则进入s210，否则返回S202sw多分支节点入口 ；
s210 :形成对驾驶人做身份鉴别所用图像；
5211:保存并用广播方式向声、光提示设备和上位机以及其它需要接收这些信息的设备报告身份鉴别的最终结果；
5212:获取驾驶人视线特征图像程序模块结束。本发明道路驾驶技能考试过程驾驶人视线识别的方法的主流程中所述S1081 :确定驾驶人当前视线方向的程序模块流程(参见图7)是
5301:提取驾驶人当前特征图像；
5302:分别与基准视线图像进行分析比较；
5303:判断驾驶人当前特征图像与基准视线图像是否相同？若相同则进入S305，否则进入S304 ；
5304:清除视线投射方向的标记后进入S306 ；
5305:标记视线已投射到预定的具体方向；
5306:报告视线投射方向的标记值并保存相应的视频图像；
5307:退出视线方向比对、分析程序模块。本发明道路驾驶技能考试过程驾驶人视线识别的方法之所述获取驾驶人视线特征图像的程序模块中所述S208 :获取身份鉴别时所需的正视摄像头的特征视频图像的程序(参见图8)是
5401:采集驾驶人视频图像；
5402:自动捕获考生头像；
5403:截取驾驶人头像并形成大头贴；
5404:输出粘贴有大头贴的身份鉴别视频图像。
权利要求
1.一种道路驾驶技能考试过程驾驶人视线识别仪，其特征在于该识别仪包括核心板(I )和接口底板(II ); 所述核心板(I )包括DSP多媒体数字处理器(101)、嵌入式MCU微控制器(102)、程序存储器(103)、数据存储器(104)以及接口连接器插件(105、106)； 所述的DSP多媒体数字处理器(101)和嵌入式MCU微控制器(102)作为识别仪的中心，即硬件平台，其中DSP多媒体数字处理器(101)负责对数字视频进行处理，从而获取对于坐在正驾驶员位置上的驾驶人视线识别必需的状态数据信息，嵌入式MCU微控制器(102)提供操作系统运行平台，方便应用程序开发，使应用程序能够与硬件设备无关，达到可随意扩展性能或功能的目的； 核心板(I )上的程序存储器(103)是用来安装操作系统和应用软件的硬件载体，数据存储器(104)是系统工作时必须使用的临时数据存储空间，其中包括有应用程序的接口缓冲区； 在所述接口底板(II )上除接口连接器插件(205、206)外，还设置有以下包含了相应的接口电路装置的接口 1到2路视频输入接口(201)，1到4路RS-485总线或RS-232接口(202)，与以太网设备连接的10/100M/1000M自适应以太网接口(203)，CAN总线接口 204，含操作按键、状态指示灯和语音输入输出的人机界面接口(207)，适应考试车辆电源电压变化大的DC8 — 36V宽电压输入的DC-DC电源变换器接口(208)； 核心板和接口底板之间或是直接相连或者是通过接口连接器插件连接，当核心板和接口底板之间直接相连嵌入到接口底板所在的PCB板上时，连接到接口底板的被采集输入信号与驱动输出信号，经过相应的接口信号处理电路进行处理后，通过接口总线直接传送到核心板上或被驱动的设备；当核心板和接口底板之间是相对独立且需通过接口连接器插件连接时，核心板和接口底板之间通过核心板的接口连接器插件(105、106)与接口底板的接口连接器插件(205、206)对应装配在一起；连接到接口底板的被采集输入信号，经过相应的接口信号处理电路进行处理后，分别通过接口底板的接口连接器插件(205、206)和核心板的接口连接器插件(105、106)传送到核心板上；从核心板上输出的设备驱动信号，也分别通过核心板的接口连接器插件(105、106)和接口底板上对应的接口连接器插件(205、206)而传送到接口底板上，并经接口底板进行处理后输出驱动相应的设备； 所述识别仪通过视频输入接口( 201)，利用视频输入设备获取坐在正驾驶员位置上的驾驶人的视频图像，一方面为后面进行身份鉴别和图像识别过程提供原始的视频图像数据；另一方面还提供给远程监控记录设备进行实时监控录像； 所述识别仪通过RS-232或RS-485通讯接口(202)或以太网接口(203)或CAN总线接口(204)与上位机联网，一方面以对外广播的方式适时地向上位机输出驾驶人在考试前进行的身份鉴别视频图像、考试过程中的实时驾驶视频图像、视线落在设定的位置时被抓拍并保留下来的视频图像及对应的视线位置编码，另一方面通过这些接口，还接受上位机下达的多种指挥指令，达到可与上位机进行协同工作的目的。
2.根据权利要求I所述的道路驾驶技能考试过程驾驶人视线识别仪，其特征在于所述核心板(I )或是由分别封装的DSP多媒体数字处理器(101)、嵌入式MCU微控制器(102)、程序存储器(103)、数据存储器(104)以及核心板的接口连接器插件(105、106)构成或是由将上述元器件集成封装在一起构成的厚膜电路或片上系统SoC I构成；或者是由DSP多媒体数字处理器、嵌入式MCU微控制器以及FPGA集成在一起构成的片上系统SoC II构成，还可以是由DSP多媒体数字处理器(101)、嵌入式MCU微控制器(102)合而为一构成的片上系统SoC III、程序存储器(103)、数据存储器(104)以及核心板的接口连接器插件(105、106)组成。
3.根据权利要求I所述的道路驾驶技能考试过程驾驶人视线识别仪，其特征在于通过该识别仪接口底板(II )上连接的外部设备包括监视驾驶人驾驶过程的视频摄像机(31)，通过RS-485总线或RS-232通讯接口获取本视线识别仪信号的设备(32 )，通过以太网接口获取本视线识别仪信号的设备(33)，通过CAN总线接口获取本视线识别仪信号的设备(34)，对本视线识别仪进行基本操作的输入键盘设备(35)，通过并行输出接口获取本视线识别仪信号的设备(36)，道路驾驶技能考试过程驾驶人视线识别仪的一组状态信号指示灯(37)，向驾驶人提供语音提示信号的扩音设备和采集声音用的拾音器(38)和供视线识别仪工作的外部电源(39)。
4.根据权利要求3所述的道路驾驶技能考试过程驾驶人视线识别仪，其特征在于当道路驾驶技能考试过程驾驶人视线识别仪安装在教练车上时，通过含操作按键、状态指示灯和语音输入输出的人机界面接口(207)连接一附加设置的键盘输入设备(35)，在训练时，由坐在副驾驶座上的教练模拟考试过程直接地对学员进行类似身份鉴别操作过程的操作，对于学员在练习过程中视线的方向进行提示。
5.根据权利要求3所述的道路驾驶技能考试过程驾驶人视线识别仪，其特征在于所述识别仪通过含操作按键、状态指示灯和语音输入输出的人机界面接口(207)和外挂的扩音系统(38)，向驾驶人进行语音提示；还通过该人机界面接口(207)，根据需要实现语音监控记录；随时地与远程联网的PC机进行语音对话。
6.根据权利要求3所述的道路驾驶技能考试过程驾驶人视线识别仪，其特征在于所述识别仪设置一组状态信号指示灯(37)，在利用语音进行视线位置状态提示的同时，通过光信号对驾驶人进行相应的提示。
7.根据权利要求3所述的道路驾驶技能考试过程驾驶人视线识别仪，其特征在于该识别仪利用适应考试车辆电源电压变化大的DC 8 — 36V宽电压输入的DC-DC电源变换器(39)，在考试车辆启动后可以用汽车发电机的电力来向车载设备供电和向车载备用电瓶进行充电。
8.—种道路驾驶技能考试过程驾驶人视线识别的方法，其特征在于它是利用权利要求I所述的道路驾驶技能考试过程驾驶人视线识别仪，通过多媒体数字处理器DSP和CXD摄像机构成的机器视觉并结合数字化开关量采集器，利用驾驶人观看某些规定位置时而获取的面部及五官的特征视频图像作基准，通过对特征部位的比对、分析方法，确定驾驶人在某一时刻视线的实际位置从而对机动车驾驶人道路驾驶技能考试过程中驾驶人视线方向进行识别的方法，它是通过运行嵌入式Linux操作系统或windows CE操作系统的硬件与在嵌入式Linux操作系统或windows CE操作系统上运行的软件的协同工作来共同实现的，所述应用软件包括的模块有数据传输通讯器模块(401)、开关量采集器模块(402)、音视频数据采集器模块(403)、视频图像特征处理器模块(404)、特征图像管理器模块(405)、图像比对分析器模块(406)、操作员人机界面模块(407)、字符语音转换及音视频编/解码器模块(408)、驾驶人特征画面跟踪器模块(409)和通讯协议处理器模块(410)，各模块均装在嵌入式Linux操作系统或windows CE操作系统上； 所述数据传输通讯器模块(401)的作用是与上位机联网并负责通讯收发任务； 所述开关量采集器模块(402)用于采集物理键盘等开关量状态； 所述音视频数据采集器模块(403 )通过拾音器和摄像头来采集驾驶室内的声音及驾驶人视频图像； 所述视频图像特征处理器模块(404)用于从视频图像中提取并形成身份鉴别和视线识别所需要的特征图像数据； 所述特征图像管理器模块(405)用于为视线识别服务而对特征图像进行综合管理； 所述图像比对分析器模块(406)通过与特征图像进行比对而确定驾驶人视线观察位置； 所述操作员人机界面模块(407)用于处理键盘、声音输入和形成声光提示信号； 所述字符语音转换及音视频编/解码器模块(408)用于将字符提示转换成语音并把采集到的音视频信号进行压缩编码和把需要对已压缩编码的音视频数据进行解压缩编码；所述驾驶人特征画面跟踪器模块(409)用于确保获取含有驾驶人特征的视频图像；所述通讯协议处理器模块(410)用于处理与多种设备进行联接通讯并对需要传输的数据进行打包和解包处理。
9.根据权利要求8所述的道路驾驶技能考试过程驾驶人视线识别的方法，其特征在于所述道路驾驶技能考试过程驾驶人视线识别的方法的主流程是 5101:系统初始化，对软硬件进行检查，并给需要初值的变量赋予初值； 5102:获取驾驶人视线特征视频图像； 5103:对驾驶人视线跟踪； S104:判断驾驶人视线是否正视行驶方向，若是，则进入S1051，否则进入S1052 ； 51051:清除累计视线离开行驶方向的连续时间为O后进入S106 ； 51052:累计视线离开行驶方向的连续时间后进入S106 ； 5106:报告视线离开行驶方向的连续时间； 5107:判断驾驶人视线是否是看行驶方向，若是则进入S1082，否则进入S1081 ； 51081:确定驾驶人当前视线方向后进入sl082 ； 51082:报告驾驶人视线离开行驶方向后所处的实际方向 5109:传输并保存实时视频； 5110:判断是否继续跟踪驾驶人视线，若是则返回S103，否则进入Slll ； 5111:判断是否退出，若退出进入S112，否则返回S102 ； S112:返回到操作系统。
10.根据权利要求9所述的道路驾驶技能考试过程驾驶人视线识别的方法，其特征在于 所述S102 :获取驾驶人视线特征图像步骤中，获取驾驶人视线特征视频图像的程序模块流程是 5201:接受获取驾驶人视线特征图像指令； 5202:获取向右看后视镜的特征视频图像； 5203:获取向上看内后视镜的的特征视频图像；5204:获取向左看后视镜的特征视频图像； 5205:获取向下看档位的特征视频图像； 5206:获取向前看行驶方向的特征视频图像； 5207:把上述获得的图像作为基准保存备用 5208:获取身份鉴别时所需的正视摄像头的特征视频图像； 5209:判断驾驶人视线特征图像数据是否采集完成，若是则进入s210，否则返回S202 ； 5210:形成对驾驶人做身份鉴别所用图像； 5211:保存并用广播方式向声、光提示设备和上位机以及其它需要接收这些信息的设备报告身份鉴别的最终结果； 5212:获取驾驶人视线特征图像程序模块结束。
11.根据权利要求9所述的道路驾驶技能考试过程驾驶人视线识别的方法，其特征在于 所述S102 :获取驾驶人视线特征图像步骤中，获取驾驶人视线特征视频图像的程序模块流程是 5201:接受获取驾驶人视线特征图像指令后通过根据指令通过多分支节点入口S202sw 进入 S202、S203、S204、S205 或 S206 之中任意一个步骤； 5202:获取向右看后视镜的的特征视频图像后进入S207 ； 5203:获取向上看内后视镜的的特征视频图像后进入S207 ； 5204:获取向左看后视镜的特征视频图像后进入S207 ； 5205:获取向下看档位的特征视频图像后进入S207 ； 5206:获取向前看行驶方向的特征视频图像后进入S207 ； 5207:把上述获得的图像作为基准保存备用 5208:获取身份鉴别时所需的正视摄像头的特征视频图像； 5209:判断驾驶人视线特征图像数据是否采集完成，若是则进入S 210，否则返回S202sw多分支节点入口 ； S 210 :形成对驾驶人做身份鉴别所用图像； S 211 :保存并用广播方式向声、光提示设备和上位机以及其它需要接收这些信息的设备报告身份鉴别的最终结果； S 212 :获取驾驶人视线特征图像程序模块结束。
12.根据权利要求9所述的道路驾驶技能考试过程驾驶人视线识别的方法，其特征在于所述道路驾驶技能考试过程驾驶人视线识别的方法的主流程中所述S1081 :确定驾驶人当前视线方向的程序模块流程是 5301:提取驾驶人当前特征图像； 5302:分别与基准视线图像进行分析比较； 5303:判断驾驶人当前特征图像与基准视线图像是否相同？若相同则进入S305，否则进入S304 ； 5304:清除视线投射方向的标记后进入S306 ； 5305:标记视线已投射到预定的具体方向； 5306:报告视线投射方向的标记值并保存相应的视频图像；S307:退出视线方向比对、分析程序模块。
13.根据权利要求10或11所述的道路驾驶技能考试过程驾驶人视线识别的方法，其特征在于所述获取驾驶人视线特征图像的程序模块中所述S208 :获取身份鉴别时所需的正视摄像头的特征视频图像的程序是 5401:采集驾驶人视频图像； 5402:自动捕获考生头像； 5403:截取驾驶人头像并形成大头贴； 5404:输出粘贴有大头贴的身份鉴别视频图像。
全文摘要
一种道路驾驶技能考试过程驾驶人视线识别仪，包括核心板和与之相连接的接口底板；核心板包括DSP多媒体数字处理器、嵌入式MCU微控制器、程序存储器、数据存储器以及接口连接器插件；DSP数字处理器和嵌入式MCU微控制器作为装置的中心，其中DSP数字处理器负责对数字音频和数字视频进行处理，从而获取对于坐在正驾驶员位置上的驾驶人视线识别必需的状态数据信息，嵌入式MCU微控制器提供操作系统运行平台，在所述接口底板上除接口连接器插件外，还设置有包含了相应的接口电路装置的接口，并可以外接视频摄像机等外设；用该识别仪以及实现道路驾驶技能考试过程驾驶人视线识别的方法提高了对驾驶人视线观看位置识别的准确率和识别速度。
文档编号G09B19/16GK102789719SQ20121023566
公开日2012年11月21日 申请日期2012年7月9日 优先权日2012年7月9日
发明者吴金, 康正海, 李海涛, 阳昌珠 申请人:柳州桂通科技有限公司