一种基于双目拼接和眼动追踪的视野渲染系统及方法

本发明涉及基于双目拼接和眼动追踪的视野渲染系统及方法，具体涉及图像处理。

背景技术：

1、密闭式驾驶舱是汽车智能化革新的一个主流趋势，其目的之一是将传统透明的前挡风玻璃用能够近乎真实呈现车辆前方动态场景的显示屏来代替，使驾驶员感觉如同在透明驾驶舱内驾车一般。在此基础上，由于显示屏的显示内容可以借助数字图像处理技术进行任意地编辑和加工，配备“显示屏+交互设备”的智能座舱还可为驾驶员提供人屏互动、虚拟现实、增强现实等更加强烈的驾车乐趣和安全性。

2、与已经实现量产应用的透明a柱、流媒体后视镜等增量显示部件技术相似，密闭式驾驶舱需要使用车载相机来采集车外场景，然后通过一系列的图像处理手段快速渲染出驾驶员的前视视野画面以展现在显示屏上。然而，面向这种应用的视野渲染技术需要解决诸多难题，主要包括以下三点：首先，车外搭载相机的拍摄视角和车内驾驶员的驾车视角无法重合，特别是车辆行驶期间存在驾驶员头部的自主运动以及车辆颠簸、变速、转弯等导致的无意识人眼移动，而且显示屏相对较大的画面尺寸显著提升了人眼对于模拟视野失真的敏感度，因此场景视图由采集到显示的视角变换结果必须保证前景与背景之间的遮挡关系维持一致，同时能够确保显示屏的画面始终为人眼的即时视野；其次，驾驶员对密闭式座舱的沉浸感需求要求通过利用对多台相机视图的无缝拼接，来增大显示屏模拟视野的视场角；再次，人眼视觉存在景深模糊现象，即人眼能够看清与注视点处于相同深度平面上的物体，而对关注物以外部分的辨认能力基本与到注视点的深度差成反比，但是这种视觉特性在计算机渲染结果中较难体现，全聚焦的显示画面可能会分散驾驶员的驾车注意力。可见，设计和实现具有高度真实感的视野渲染系统，对于提升驾驶员只依靠显示屏驾车时的心理感受和生理感受，进而令密闭式智能座舱真正满足落地与应用需求，具有十分重要的价值。

技术实现思路

1、本发明的目的是为了解决现有车外搭载相机的拍摄视角和车内驾驶员的驾车视角无法重合，人眼视觉存在景深模糊现象，这种视觉特性在计算机渲染结果中较难体现，以及全聚焦的显示画面可能会分散驾驶员的驾车注意力的问题，而提出一种基于双目拼接和眼动追踪的视野渲染系统及方法。

2、一种基于双目拼接和眼动追踪的视野渲染系统包括：

3、左相机、右相机、处理器、电源、眼动追踪仪和显示屏；

4、其中显示屏垂直置于人眼的前方，人眼在显示屏上的投影位于显示屏的中心；

5、眼动追踪仪固接于显示屏的上方；显示屏的显示方向和眼动追踪仪的采集方向都与人眼的观察方向相反；左相机和右相机并排固接于显示屏的后方区域，左相机和右相机的采集方向都与人眼的观察方向相同；

6、左相机的视野和右相机的视野存在部分重叠，并且左相机和右相机的双目视场角大于人眼在显示屏上的前视视场角。

7、一种基于双目拼接和眼动追踪的视野渲染系统的视野渲染方法具体过程为：

8、步骤1、利用张正友棋盘格标定法，分别对左相机和右相机进行标定，得到左相机和右相机的位姿和畸变系数；

9、所述左相机的位姿为相机的旋转矩阵和平移向量；

10、所述右相机的位姿为相机的旋转矩阵和平移向量；

11、步骤2、测量显示屏的参数，包括显示屏的尺寸、显示屏与人眼之间的距离；

12、步骤3、对人眼在显示屏6上的模拟视野进行渲染。

13、本发明的有益效果为：

14、本发明提供的基于双目拼接和眼动追踪的高真实感视野渲染系统和方法，为了解决驾车期间图像视角变换不准确、模拟视野视场角较小以及景深模糊视觉特性缺失等问题，造成驾驶员仅观看显示屏画面无法独立、安全并且舒适地操控车辆的瓶颈，借助双目相机和眼动追踪仪，通过兼顾车外场景深度估计和人眼即时注视信息，实施图像视角变换、宽视角图像拼接和景深现象合成等图像处理步骤，能够渲染出真实感更高的人眼视野，从而明显改善驾驶员在封闭环境下的驾驶体验，为未来密闭式智能座舱的商业化落地提供关键的科学技术支撑。

技术特征：

1.一种基于双目拼接和眼动追踪的视野渲染系统，其特征在于：所述系统包括左相机(1)、右相机(2)、处理器(3)、电源(4)、眼动追踪仪(5)和显示屏(6)；

2.根据权利要求1所述的一种基于双目拼接和眼动追踪的视野渲染系统，其特征在于：所述处理器(3)经导线分别与左相机(1)、右相机(2)、电源(4)、眼动追踪仪(5)和显示屏(6)连接，显示屏(6)经导线还与电源(4)连接。

3.根据权利要求2所述的一种基于双目拼接和眼动追踪的视野渲染系统，其特征在于：所述处理器(3)和显示屏(6)由电源(4)供电。

4.基于权利要求1一种基于双目拼接和眼动追踪的视野渲染系统的视野渲染方法，其特征在于：所述方法具体过程为：

5.根据权利要求4所述的一种基于双目拼接和眼动追踪的视野渲染方法，其特征在于：所述步骤3中对人眼(7)在显示屏(6)上的模拟视野进行渲染；具体过程为：

6.根据权利要求5所述的一种基于双目拼接和眼动追踪的视野渲染方法，其特征在于：所述步骤4.6中视角变换过程为：

7.根据权利要求6所述的一种基于双目拼接和眼动追踪的视野渲染方法，其特征在于：所述步骤4.7中视角变换过程为：

8.根据权利要求7所述的一种基于双目拼接和眼动追踪的视野渲染方法，其特征在于：所述步骤4.8中对变换后左视图il'和变换后右视图ir'进行图像拼接，得到拼接后图像im；图像拼接过程为：

9.根据权利要求8所述的一种基于双目拼接和眼动追踪的视野渲染方法，其特征在于：所述步骤4.9中对变换后左深度图和变换后右深度图进行深度图拼接，得到拼接后深度图dm；深度图拼接过程为：

10.根据权利要求9所述的一种基于双目拼接和眼动追踪的视野渲染方法，其特征在于：所述步骤4.14中根据裁剪后图像、裁剪后深度图和注视点坐标，对裁剪后图像进行景深模糊效果合成，得到合成后图像；具体过程为：

技术总结
一种基于双目拼接和眼动追踪的视野渲染系统及方法，本发明涉及基于双目拼接和眼动追踪的视野渲染系统及方法。本发明的目的是为了解决现有车外搭载相机的拍摄视角和车内驾驶员的驾车视角无法重合，人眼视觉存在景深模糊现象，这种视觉特性在计算机渲染结果中较难体现，以及全聚焦的显示画面可能会分散驾驶员的驾车注意力的问题。系统包括：左相机、右相机、处理器、电源、眼动追踪仪和显示屏；其中显示屏垂直置于人眼的前方，人眼在显示屏上的投影位于显示屏的中心；眼动追踪仪固接于显示屏的上方；显示屏的显示方向和眼动追踪仪的采集方向都与人眼的观察方向相反；左相机和右相机并排固接于显示屏的后方区域。本发明用于图像处理技术领域。

技术研发人员：韦健,郭校源,胡笑含,贾勇,周尧,梁嘉熹,王学军,王世刚
受保护的技术使用者：吉林大学
技术研发日：
技术公布日：2024/1/14