基于Soli和Tobii的汽车HUD眼动辅助手势交互装置的制作方法

本实用新型涉及汽车人机交互领域。

背景技术：

传统车载人机交互方案的用户体验不良。随着汽车智能化和车联网服务的发展，车内的设备和信息都较以往大幅增加，车载系统越来越复杂化，同时人车交互的需求也随之增加，因此驾驶员的认知负荷较高，传统的人机交互界面(实体按键、旋钮、触控屏)无法解决新形势下的问题，导致车载人机交互用户体验不良。

新兴的车载人机交互方案存在不足：

“新兴的车载人机交互方案”指与本发明相关的两项技术：手势交互和汽车平视现实(HUD)。

1、手势交互：目前市场上有部分厂商(如宝马7系)推出支持手势交互的车载系统，但其方案有三方面的缺点：

(1)一种手势只能支持单一的操作指令，为了不使交互方式过于复杂，手势交互只能进行非常有限的操作；

(2)现有手势识别的技术采用了计算机视觉的方案，通过摄像头捕捉手部动作容易受到遮挡，因此对手势发生的位置有较严格的要求(例如在中控面板正前方)，操作时手部不得不离开方向盘。这样使的驾驶员的认知负荷提升，造成驾驶分心；

(3)计算机视觉的识别方案可靠性较差，容易带来误操作、识别错误、操作延迟等问题，而这些问题十分影响驾驶来安全。

2、汽车HUD：汽车HUD是一种将车载系统信息投影在挡风玻璃上的装置，传统的HUD一般仅具有呈现速度等信息的很有限的功能，少数新出现的HUD产品具备手势或语音操作的功能(如Navdy)，但没有考虑HUD的应用特点，依然沿用了屏幕显示的交互逻辑，容易造成驾驶员的分心，导致交通事故。

技术实现要素：

本实用新型首次公开一种盒式结构的车内交互装置，安装于车内，实现辅助驾驶员在驾驶时对车载电子设备的显示和输入的交互。

本实用新型给出的技术方案：

一种基于Soli和Tobii的汽车HUD眼动辅助手势交互装置，其特征在于，整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括底壳、外壳顶部6、采集和发射面、投影反射面、主板；所述采集和发射面位于盒体外，面向驾驶员；所述投影发射面面向挡风玻璃；所述主板安装于盒体内部，盒内部件以及与主板相连接的外围功能模块有Tobii眼动追踪器1、雷达天线4、Soli微型雷达芯片8、镜面反光板7、图像处理和微型投影单元5、处理器12，

所述Tobii眼动追踪器1位于采集和发射面上，对准驾驶员的眼睛，捕捉驾驶员眼球的运动；

所述雷达天线4位于采集和发射面上，用于发射和接收雷达信号；

所述Soli微型雷达芯片8与雷达天线4连接，用于识别驾驶员手部动作；

所述镜面反光板7安装于盒体的投影反射面上，将HUD图形折射到挡风玻璃上；

所述图像处理和微型投影单元5安装于主板上，生成和渲染HUD界面图像，并经镜面反光板7投影到汽车挡风玻璃上，通过镜面反光板7的折射增加虚像成象距离；

所述处理器12通过主板分别与Tobii眼动追踪器1、Soli微型雷达芯片8、图像处理和微型投影单元5连接集成交互数据，产生交互指令。

本实用新型的有益效果：

实现辅助驾驶员在驾驶时对车载电子设备的显示和输入的交互。通过眼动和手势交互的配合，模仿了人类自然手势交流的方式，使汽车人机交互更直觉化，驾驶员的认知负荷因此降低，用户体验更良好。

附图说明

图1.本实用新型装置的透视图和爆炸图(A)

图2.本实用新型装置的透视图和爆炸图(B)

图3.本实用新型装置的透视图和爆炸图(C)

图4.本实用新型使用场景图

具体实施方式

(一)本实用新型技术方案由以下技术支持产生：

1.Tobii是一款可以嵌入到产品内部的视觉运动追踪器(eye tracker)，可以获取人眼注视位置的数据，并转化为数字信号，供眼动交互系统使用。

2.Soli是一款利用微芯片雷达识别出细微的手指活动的产品，由谷歌公司研发。相比利用计算机视觉技术识别手势的方法，识别动作更准确、及时，对手部动作的位置、幅度具有更大包容性。

3.汽车HUD(heads-up display)是指将车载系统界面通过投影设备，经过镜面折射投影到挡风玻璃或外设的玻璃板上形成虚像的设备。能使驾驶员操作车载系统无需将视线移动到行驶道路视野之外。

4.眼动辅助手势交互是指利用眼动追踪设备，将人眼运动信息作为交互系统的一部分输入数据，结合手势识别设备获取到的手势信息，提升手势交互的准确度、降低复杂度，建立更好的用户体验。

(二)、以下结合附图对本实用新型技术方案做进一步介绍。

本实用新型系统由Tobi眼动追踪器、Soli手势识别雷达输入交互数据，通过CAN总线与车载设备通信，并通过图像处理和微型投影单元输出HUD界面。

如图1、图2、图3所示，本实用新型系统：Soli手势识别雷达和Tobii眼动追踪器的数据传输到交互数据集成处理器中，经处理器处理后生成操作指令，将操作指令经CAN总线发送到各车载设备的电子控制单元。另，将车载设备的状态数据经CAN总线返回到处理器，发送到HUD图像处理和微型投影单元。

利用微型投影仪(5)将HUD界面图像经一块镜面(7)反射投影到汽车挡风玻璃上，虚像显示在挡风玻璃外约2米位置。HUD界面包含代表车内可操控设备的图标.操作过程中HUD界面起到操作效果反馈的作用。

利用Tobii IS4(1)获取驾驶员的视觉注视的位置数据，系统根据驾驶员视 线注视位置判断驾驶员此时的需求和意图。

利用Soli(8)获取驾驶员手部动作，驾驶员通过手势与车载系统交互，以控制车内设备。手势和眼动数据在交互数据集成处理器(12)中生成操作指令，经过CAN总线发送到各车载设备电子控制单元，执行交互指令，同时，车载设备的状态数据经CAN总线返回到处理器，HUD界面产生响应。

本实用新型公开了实施例，整个装置设计成一体式的盒壳体结构，安装于放置于仪表盘上方区域，包括支架体、采集和发射面、投影反射面、主板，所述支架体用于固着整个盒体；所述采集和发射面位于盒体外，面向驾驶员；所述投影发射面面向挡风玻璃；所述主板安装于盒体内部，盒内部件以及与主板相连接的外围功能模块有：

Tobii眼动追踪器1：传感器位于采集和发射面上，对准驾驶员的眼睛，捕捉驾驶员眼球的运动。开机后需按照HUD界面校准。

雷达天线4：为Soli的雷达的组成部分，该Soli的雷达天线位于采集和发射面上，用于发射和接受驾驶员手部动作信号。

Soli微型雷达芯片8：为Soli的雷达的组成部分，与雷达天线4连接，用于识别驾驶员手部动作。

图像处理和微型投影单元5：安装于主板上，生成和渲染HUD界面图像，并经镜面反光板7投影到汽车挡风玻璃上。

镜面反光板7：安装于盒体的投影反射面上，将HUD图形折射到挡风玻璃上，通过折射增加虚像成象距离。

交互数据集成处理器12：通过主板分别与Tobii眼动追踪器1、Soli微型雷达芯片8、图像处理和微型投影单元5连接，用于数据处理和产生交互指令。该交互数据集成处理器12，完成数据的交互以及产生交互指令，采用现有技术，不是本实用新型技术方案的创新点。

开关按钮2：连接于主板上。按钮边缘有环形指示灯，当本设备关闭时，短按一次按钮开启本设备，指示灯亮起3秒；当设备开启时，短按按钮一次指示灯亮起三秒，长按3秒按钮设备关闭。

USB插孔9：连接于主板上，用于设备的开发、维护和拓展。

数据线10：限制布置在主板上，用于实现整个系统的数据传输和供电。

散热电扇11：连接于主板上，获得电源，用于设备降温。

进一步优化，还设有滤光片3：设于采集和发射面外，用于滤光、保护和固定眼动追踪器和雷达天线。

所述的支架13：具体设计为：呈拱型，可通过弯折调节弧度，用于将产品固定在仪表盘上方。

具体的，还可以设置外壳顶部6：用于保护和固定内部部件。

如图4所示，本实用新型装置使用时放置于仪表盘上方，安置时可通过调节支架来调整设备高度，使设备与驾驶员视线之间无遮挡，且HUD投影处于挡风玻璃适宜区域。