基于双目液体透镜的视线估计方法、设备和存储介质

本发明涉及成像，尤其涉及一种基于双目液体透镜的视线估计方法、设备和存储介质。

背景技术：

1、眼动追踪技术已成为心理学，神经营销学，神经认知，用户体验，基础研究及市场研究等多个领域视觉行为和人类行为的技术手段之一。也是目前公认的对传统视线估计装置进行视线估计的方法中精度和准确度都非常高的技术手段。但是传统视线估计装置根据眼动追踪技术，完成视线估计之后，该装置的参数都是固定值，且该传统视线估计装置的交互距离和工作范围都有一定的限制，目标只能在规定的狭小范围内才能进行有效的视线估计，这大大降低了用户的使用体验。

2、液体透镜是将液体作为透镜通过改变液体的曲率来改变焦距。因此，将液体透镜安装在双目相机的镜头前，可以极大扩展视线估计的距离、范围。但是液体透镜中液体有任何的变化，比如产生移动，倾角的改变等，都会引起安装了液体透镜的双目相机的光心漂移，如果还使用固定参数的方法，无疑会严重影响视线估计的精度，甚至估计失败，导致失去使用液体透镜扩展视线估计距离、范围的意义。

3、因此，如何使得安装液体透镜的双目相机的内参根据液体透镜的变化进行动态调整，保证视线估计的精度，已成为本领域亟待解决的技术问题。

技术实现思路

1、针对现有技术中存在的技术问题，本发明提供一种基于双目液体透镜的视线估计方法、设备和存储介质。

2、第一方面，本发明提供一种基于双目液体透镜的视线估计方法，包括：

3、确定第一距离和第二距离是否在目标双目相机当前的景深范围内；所述第一距离为目标点和所述目标双目相机的左目光心之间的距离；所述第二距离为所述目标点和所述目标双目相机的右目光心之间的距离；所述目标点为基于所述目标双目相机获取的面部图像确定的双眼中心点；

4、若不在所述目标相机当前的景深范围内，则基于联合调整模型，调整双目液体透镜的电流使所述第一距离和所述第二距离在所述目标双目相机调整后的景深范围内，并根据调整后的所述电流调整所述目标双目相机的内参，重新进行视线估计；所述双目液体透镜设置在所述目标双目相机镜头前端；

5、所述联合调整模型，用于表示所述双目液体透镜的电流，与所述第一距离和所述第二距离的关系，以及所述双目液体透镜的电流和所述目标双目相机的内参的关系。

6、可选地，所述确定第一距离和第二距离是否在目标双目相机当前的景深范围内之前，包括：

7、基于深度估计广义模型，以及面部图像的眼部关键点，确定双眼中心点在左目相机坐标系的z轴坐标，作为目标点的z轴坐标；

8、基于左目相机坐标系中三维坐标的转换关系，以及所述目标点的z轴坐标，确定所述目标点在左目相机坐标系的三维坐标；

9、基于所述目标点在左目相机坐标系的三维坐标，目标双目相机的光轴间距离以及光心距离公式，确定所述目标点和所述目标双目相机的左目光心之间的距离，以及所述目标点和所述目标双目相机的右目光心之间的距离，分别作为第一距离和第二距离；

10、所述光心距离公式为：

11、其中，sl表示所述目标点和所述目标双目相机的左目光心之间的距离，sr表示所述目标点和所述目标双目相机的右目光心之间的距离，d'表示所述目标双目相机光轴间的距离，x0、y0、z0表示所述目标点在左目相机坐标系的三维坐标；

12、所述深度估计广义模型用于基于任一点在左目图像像素坐标系的坐标以及所述目标双目相机的内参，确定所述任一点在左目相机坐标系的z轴坐标。

13、可选地，所述若不在所述目标相机当前的景深范围内，则基于联合调整模型，调整双目液体透镜的电流使所述第一距离和所述第二距离在所述目标双目相机调整后的景深范围内，并根据调整后的所述电流调整所述目标双目相机的内参，重新进行视线估计，包括：

14、基于距离电流关系模型，以及所述第一距离和所述第二距离，确定所述双目液体透镜调整后的电流；所述调整后的电流包括所述目标双目相机的左目透镜调整后的电流和所述目标双目相机的右目透镜调整后的电流；

15、基于电流相机内参关系模型，以及所述双目液体透镜调整后的电流，确定所述目标双目相机调整后的内参；

16、基于相机景深模型，以及所述目标双目相机调整后的内参，确定所述目标双目相机调整后的景深范围；

17、所述联合调整模型包括所述距离电流关系模型、所述电流相机内参关系模型和所述相机景深模型；

18、所述电流相机内参关系模型用于表示所述双目液体透镜的电流和所述目标双目相机内参的对应关系。

19、可选地，所述基于距离电流关系模型，以及所述第一距离和所述第二距离，确定所述双目液体透镜调整后的电流，包括：

20、基于所述第一距离和所述距离电流关系模型中的第一关联关系，确定所述双目液体透镜的左目透镜调整后的电流；

21、基于所述第二距离和所述距离电流关系模型中的第二关联关系，确定所述双目液体透镜的右目透镜调整后的电流；

22、所述第一关联关系对应的公式为：

23、所述第二关联关系对应的公式为：

24、其中，il表示左目透镜的电流，ir表示右目透镜的电流，sl表示目标点和所述目标双目相机的左目光心之间的距离，sr表示目标点和所述目标双目相机的右目光心之间的距离，a1、a2、a3、a4表示sl对il的关系系数，b1、b2、b3、b4表示sr对ir的关系系数。

25、可选地，所述电流相机内参关系模型的确定方法包括：

26、建立所述目标双目相机中左目相机内参矩阵、所述左目透镜的电流、标定时左目相机的主点横坐标、左目相机的主点沿竖直方向的偏移量和第一常系数的第三关联关系，以及所述目标双目相机中右目相机内参矩阵、所述右目透镜的电流、标定时右目相机的主点横坐标、右目相机的主点沿竖直方向的偏移量和第二常系数的第四关联关系，作为电流相机内参关系模型；

27、通过标定的方式，确定左目相机的主点横坐标和左目相机的标定电流之间的第一对应关系、右目相机的主点横坐标和右目相机的标定电流之间的第二对应关系、以及所述第一常系数和所述第二常系数。

28、可选地，所述基于电流相机内参关系模型，以及所述双目液体透镜调整后的电流，确定所述目标双目相机调整后的内参，包括：

29、基于线性插值法，以及主点横坐标和标定电流之间的对应关系，确定所述双目液体透镜调整后的电流中左目透镜的电流对应的第一标定电流，以及所述双目液体透镜调整后的电流中右目透镜的电流对应的第二标定电流；

30、基于所述第一标定电流、所述双目液体透镜调整后的电流中左目透镜的电流、以及所述电流相机内参关系模型，确定所述左目相机调整后的内参；

31、基于所述第二标定电流、所述双目液体透镜调整后的电流中右目透镜的电流、以及所述电流相机内参关系模型，确定所述右目相机调整后的内参；

32、所述主点横坐标和标定电流之间的对应关系包括左目相机的主点横坐标和左目相机的标定电流之间的第一对应关系和右目相机的主点横坐标和右目相机的标定电流之间的第二对应关系。

33、可选地，所述左目相机的主点沿竖直方向的偏移量基于左目透镜的输入电流，以及所述左目透镜和竖直方向的夹角确定；所述右目相机的主点沿竖直方向的偏移量基于右目透镜的输入电流，以及所述右目透镜和数值方向的夹角确定。

34、可选地，所述深度估计广义模型还用于基于任一点在右目图像像素坐标系的坐标以及所述目标双目相机的内参，确定所述任一点在左目相机坐标系的z轴坐标，对应的确定方法包括：

35、基于右目相机坐标系相对于左目相机坐标系的旋转矩阵r、平移矩阵t、任一点在右目相机坐标系的坐标以及转换公式，确定所述任一点在左目相机坐标系的坐标；所述任一点在右目相机坐标系的坐标基于所述任一点在右目图像像素坐标系的坐标确定；

36、所述转换公式为c'＝r-1·(c-t)，其中，c表示任一点在右目相机坐标系的坐标；c'表示所述任一点在左目相机坐标系的坐标；r表示右目相机坐标系相对于左目相机坐标系的旋转矩阵；t表示右目相机坐标系相对于左目相机坐标系的平移矩阵。

37、第二方面，本发明还提供一种基于双目液体透镜的视线估计装置，包括：

38、确定模块，用于确定第一距离和第二距离是否在目标双目相机当前的景深范围内；所述第一距离为目标点和所述目标双目相机的左目光心之间的距离；所述第二距离为所述目标点和所述目标双目相机的右目光心之间的距离；所述目标点为基于所述目标双目相机获取的面部图像确定的双眼中心点；

39、调整模块，用于若不在所述目标相机当前的景深范围内，则基于联合调整模型，调整双目液体透镜的电流使所述第一距离和所述第二距离在所述目标双目相机调整后的景深范围内，并根据调整后的所述电流调整所述目标双目相机的内参，重新进行视线估计；所述双目液体透镜设置在所述目标双目相机镜头前端；

40、所述联合调整模型，用于表示所述双目液体透镜的电流，与所述第一距离和所述第二距离的关系，以及所述双目液体透镜的电流和所述目标双目相机的内参的关系。

41、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上第一方面所述的基于双目液体透镜的视线估计方法。

42、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的基于双目液体透镜的视线估计方法。

43、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于双目液体透镜的视线估计方法。

44、本发明提供的基于双目液体透镜的视线估计方法、设备和存储介质，通过建立的联合调整模型，实现根据目标到双目光心的距离，确定双目液体透镜调整后的电流，并利用双目液体透镜的电流和所述目标双目相机的内参的关系，确定目标双目相机的内参，进而根据目标双目相机调整后的内参，确定调整后的景深，即通过建立的联合调整模型，根据目标到双目光心的距离，对双目液体透镜电流以及目标双目相机的内参进行联合动态调整，确保目标点在调整后的景深范围内，保证目标双目相机视线估计的精度。从而实现全景深的眼动追踪，推动液体透镜在视线估计领域的应用与发展。