一种数据处理方法及装置与流程

本技术涉及车辆驾驶领域，尤其涉及一种数据处理方法及装置。

背景技术：

1、随着汽车智能化的发展以及相关政策的推动，针对驾驶员监控系统的要求与门槛在不断提升，其中针对驾驶员的注意力检测就是重要的指标之一。通过眼动系统追踪驾驶员的视线方向，将很好地对驾驶员注意力进行识别，不仅能提升用户驾驶安全性(疲劳检测，分心检测)，还能帮助提升车内交互方式。眼动系统是基于视觉传感器的视线追踪系统，系统通过采集包含驾驶员眼睛的图像，计算驾驶员的视线方向。系统使用的视觉传感器可以是彩色相机、红外相机或深度相机。

2、现在有技术中，使用基于深度学习技术，通过采集用户的面部图像与真实视线方向作为训练集，带入深度神经网络进行训练，输出网络模型。该模型将直接根据车内眼动系统采集驾驶员的面部图像估计驾驶员的视线方向。

3、然而，该技术方案的效果强依赖于训练集的质量，若在实际驾驶过程中所采集的驾驶员的面部图像与训练集的特征不一致，则眼动系统对驾驶员的视线估计精度会出现明显下降。

技术实现思路

1、本技术公开了一种数据处理方法以及相关装置，可以实现在用户无感的情况下完成对眼动系统的标定。

2、第一方面，本技术提供了一种数据处理方法，所述方法包括：在检测到用户在车舱内存在预设类型的交互行为时，获取与所述交互行为对应的交互位置以及所述用户在进行所述交互行为时的眼睛位置，所述交互位置和所述眼睛位置用于确定所述眼睛的第一视线方向；根据采集到的所述眼睛的第一信息，通过眼动模型，识别出所述眼睛的第二视线方向；所述第一信息为用户在进行所述交互行为时对所述眼睛采集的数据；根据采集到的所述眼睛的第二信息，通过所述眼动模型，识别出所述眼睛的第三视线方向；所述第二信息为在所述第一图像之后对所述眼睛采集的数据；根据所述第一视线方向和所述第二视线方向，对所述第三视线方向进行纠偏，得到第四视线方向。

3、由于训练集和真实数据的差异，并且每个人的人眼结构都不尽相同，眼动模型实际在根据对用户采集的图像进行视线方向的确定时会存在一定的误差，本技术实施例中，基于用户和车之间的常规交互操作，由于用户在进行一些常规交互操作时，会明确看向车内的一些位置，也就是可以确认用户在交互过程中的真实注视位置，进而可以基于真实注视位置和用户眼睛所在的位置来确定出用户准确的视线方向，准确的视线方向和基于眼动模型所确定的视线方向可以用于进行后续眼动模型输出的视线方向的纠偏。从而可以实现在用户无感的情况下完成对眼动系统的隐式标定。且，基于用户在车内的常规交互操作，无需增加额外的设备和操作流程，在用户无感的情况下实现了对车载眼动系统的标定流程。

4、在一种可能的实现中，所述预设类型为改变车辆的行驶状态，所述交互位置为后视镜所在的位置、或者档位信息的显示位置；或者，所述预设类型为对车内功能控件的触摸，所述目标位置为所述触摸的触摸点或者触摸所述车内功能控件后对应的功能呈现位置。

5、在一种可能的实现中，所述改变车辆的行驶状态为变道或者倒车；或者，所述车内功能控件为机械按键、或者触摸屏上显示的功能控件。

6、在一种可能的实现中，所述检测到用户在车舱内存在预设类型的交互行为，包括：检测到用户在车舱内存在预设类型的交互行为、且检测到所述第二视线方向和所述交互位置之间的差异小于第一阈值；或者，检测到用户在车舱内存在预设类型的交互行为、且检测到所述第二视线方向的变化速率小于第二阈值。

7、在用户在车舱内进行了预设类型的交互行为之后，可能不会将视线转到对应的交互位置上，本实施例中，可以通过眼动模型输出的视线方向来确定用户是否将视线转到对应的位置上(虽然眼动模型输出的视线方向不准确，但是误差不会很大，因此可以估算出视线是否在交互位置所在的区域)。例如，在用户在车舱内进行了倒车或者换道操作之后，可能并不会将视线转到对应的后视镜上，本实施例中，可以通过眼动模型输出的视线方向来确定用户是否将视线转到对应的后视镜上。

8、也就是说，需要检测到用户在车舱内存在预设类型的交互行为之后，还需要确定用户确实看向了交互行为对应的交互位置，此外，除了视线落到交互位置所在区域之外，还需要检测出用户看向该区域时处于注视状态而不是一扫而过。

9、在一种可能的实现中，所述根据所述第一视线方向和所述第二视线方向，对所述第三视线方向进行纠偏，包括：至少根据所述第一视线方向和所述第二视线方向，确定映射关系；其中，所述映射关系用于拟合所述第一视线方向和所述第二视线方向之间的映射关系；根据所述第三视线方向，通过所述映射关系对所述第三视线方向进行纠偏。

10、在一种可能的实现中，所述至少根据所述第一视线方向和所述第二视线方向，包括：根据多组视线方向；其中，所述第一视线方向和所述第二视线方向为所述多组视线方向中的一组，每组视线方向为在检测到用户在车舱内存在一次预设类型的交互行为时根据交互位置以及眼睛位置所确定的所述眼睛的视线方向。

11、在一种可能的实现中，所述根据所述第一视线方向和所述第二视线方向，对所述第三视线方向进行纠偏，包括：确定所述第一视线方向和所述第二视线方向之间的差异；根据所述第三视线方向，通过所述差异对所述第三视线方向进行纠偏。

12、在一种可能的实现中，所述确定所述第一视线方向和所述第二视线方向之间的差异，包括：确定多组视线方向中每组视线方向包括的视线之间的差异；其中，所述第一视线方向和所述第二视线方向为所述多组视线方向中的一组，每组视线方向为在检测到用户在车舱内存在一次预设类型的交互行为时根据交互位置以及眼睛位置所确定的所述眼睛的视线方向。

13、第二方面，本技术提供了一种数据处理装置，所述装置包括：

14、获取模块，用于在检测到用户在车舱内存在预设类型的交互行为时，获取与所述交互行为对应的交互位置以及所述用户在进行所述交互行为时的眼睛位置，所述交互位置和所述眼睛位置用于确定所述眼睛的第一视线方向；

15、处理模块，用于根据采集到的所述眼睛的第一信息，通过眼动模型，识别出所述眼睛的第二视线方向；所述第一信息为用户在进行所述交互行为时对所述眼睛采集的数据；

16、根据采集到的所述眼睛的第二信息，通过所述眼动模型，识别出所述眼睛的第三视线方向；所述第二信息为在所述第一图像之后对所述眼睛采集的数据；

17、纠偏模块，用于根据所述第一视线方向和所述第二视线方向，对所述第三视线方向进行纠偏，得到第四视线方向。

18、在一种可能的实现中，

19、所述预设类型为改变车辆的行驶状态，所述交互位置为后视镜所在的位置、或者档位信息的显示位置；或者，

20、所述预设类型为对车内功能控件的触摸，所述目标位置为所述触摸的触摸点或者触摸所述车内功能控件后对应的功能呈现位置。

21、在一种可能的实现中，

22、所述改变车辆的行驶状态为变道或者倒车；或者，

23、所述车内功能控件为机械按键、或者触摸屏上显示的功能控件。

24、在一种可能的实现中，所述检测到用户在车舱内存在预设类型的交互行为，包括：

25、检测到用户在车舱内存在预设类型的交互行为、且检测到所述第二视线方向和所述交互位置之间的差异小于第一阈值；或者，

26、检测到用户在车舱内存在预设类型的交互行为、且检测到所述第二视线方向的变化速率小于第二阈值。

27、在一种可能的实现中，所述纠偏模块，具体用于：

28、至少根据所述第一视线方向和所述第二视线方向，确定映射关系；其中，所述映射关系用于拟合所述第一视线方向和所述第二视线方向之间的映射关系；

29、根据所述第三视线方向，通过所述映射关系对所述第三视线方向进行纠偏。

30、在一种可能的实现中，所述至少根据所述第一视线方向和所述第二视线方向，包括：

31、根据多组视线方向；其中，所述第一视线方向和所述第二视线方向为所述多组视线方向中的一组，每组视线方向为在检测到用户在车舱内存在一次预设类型的交互行为时根据交互位置以及眼睛位置所确定的所述眼睛的视线方向。

32、在一种可能的实现中，所述纠偏模块，具体用于：

33、确定所述第一视线方向和所述第二视线方向之间的差异；

34、根据所述第三视线方向，通过所述差异对所述第三视线方向进行纠偏。

35、在一种可能的实现中，所述确定所述第一视线方向和所述第二视线方向之间的差异，包括：

36、确定多组视线方向中每组视线方向包括的视线之间的差异；其中，所述第一视线方向和所述第二视线方向为所述多组视线方向中的一组，每组视线方向为在检测到用户在车舱内存在一次预设类型的交互行为时根据交互位置以及眼睛位置所确定的所述眼睛的视线方向。

37、第三方面，本技术实施例提供了一种数据处理装置，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，以执行如上述第一方面任一可选的方法。

38、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面任一可选的方法。

39、第五方面，本技术实施例提供了一种计算机程序产品，包括代码，当代码被执行时，用于实现上述第一方面任一可选的方法。

40、第六方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持设备实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据；或，信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存执行设备或数据处理装置必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。