一种基于人眼追踪的平视随动控制系统和控制方法与流程

本发明涉及平视显示技术领域，特别是涉及一种基于人眼追踪的平视随动控制系统和控制方法。

背景技术：

在现代汽车发展过程中，利用车载端的多功能化辅助用户提高驾车稳定性的同时，提高用户在驾驶过程中的座驾体验程度已成为衡量汽车优越性能的重要标准。如汽车的车载端广播电台可帮助用户获取最新资讯，音乐播放有助于缓解用户紧张情绪；车载导航系统可帮助用户外出时获取最新的路况信息，最优的导航路线等。

而随着车载端的多功能化也意味着用户在使用过程中操作多步骤化，而这一定程度上分散了用户驾车时的注意力，造成潜在的安全隐患。语音识别系统采用语音识别、语音编解码等智能语音技术，实现车内语音声控操作，改变用户驾车途中的人机信息交流方式。如，车载导航系统由传统的“图像导航”逐渐向“语音导航”演变；车载端广播电台也可采用语音选台、切换等方式实现电台播放。针对上述车载端的多功能化增加的操作多步骤，语音识别系统可很大程度上解放出驾驶者的双手和双眼，从而提高用户的驾驶专注度，提高驾驶安全性。

通过平视显示(headupdisplay，hud)系统在不用低头就可以极其方便的知道整车的状态，但是由于整个平视显示系统的光路是固定的，导致人眼视窗也是固定的，因此，在人眼注视中心偏离视窗或行车过程中发生颠簸，而导致驾驶员不能观看平视显示系统所呈现的信息时，便限制了平视显示系统本身的便捷性。

而如果驾驶员发生无意识的视线转移或其它有意识的行为动作，而导致注视中心偏离视窗时，将会使平视显示随动系统产生不必要的操作控制，因此，有效的而合理的行为抑制策略将是十分必要的。

技术实现要素：

为了解决上述问题至少之一，本发明第一方面提供一种基于人眼追踪的平视随动控制系统，包括人眼追踪单元、平视显示单元和随动控制单元，其中

所述人眼追踪单元，用于追踪观看者的人眼在所述平视显示单元对应的显示区域上的注视点；

所述随动控制单元，用于根据所述注视点与预置的中心点的距离生成调整指令；

所述平视显示单元，用于根据所述调整指令调整所述平视显示单元的显示区域的位置。

进一步的，所述平视显示单元包括光源、凹面反射镜和控制单元，所述控制单元根据所述调整指令调整所述凹面反射镜的俯仰角和滚转角，将所述光源发射的显示影像投射到对应的显示区域。

进一步的，还包括语音控制单元，包括语音识别单元和语音合成单元，其中

所述语音识别单元，用于识别接收的语音指令并发送至所述随动控制单元，使得所述随动控制单元根据所述语音指令调整所述调整指令；

所述语音合成单元，用于合成并发送语音信息。

进一步的，还包括习惯分析单元，包括采集单元、习惯模型和处理器单元，其中

所述采集单元，用于采集所述观看者的行为习惯并发送至所述处理器单元；

所述处理器单元，用于根据所述行为习惯训练所述习惯模型，并根据所述习惯模型的输出结果向所述随动控制单元和语音控制单元发送提示信息。

进一步的，还包括云服务器，用于存储、训练和/或更新所述习惯模型。

本发明第二方面提供一种利用第一方面所述的控制系统的控制方法，包括：

追踪观看者的人眼在所述平视显示单元对应的显示区域上的注视点；

根据所述注视点与预置的中心点的距离生成调整指令；

根据所述调整指令调整所述平视显示单元的显示区域的位置。

进一步的，

所述根据所述注视点与预置中心点的距离生成调整指令包括：

以所述中心点为中点、以预设长度为半径设置中心显示区域；

计算所述注视点与中心点的距离；

判断所述距离是否大于预设置的第一距离且小于预设置的第二距离，若是则生成调整距离为所述距离的调整指令；

和/或：

所述平视显示单元包括光源、凹面反射镜和控制单元，所述根据所述调整指令调整所述平视显示单元的显示区域的位置包括：

所述控制单元根据所述调整指令的调整距离获取预期显示区域的调整中点；

所述控制单元根据所述调整中点调整所述凹面反射镜的俯仰角和滚转角；

将所述光源发射的显示影像投射到所述预期显示区域。

进一步的，所述控制系统还包括用于识别接收语音指令的语音识别单元和用于合成并发送语音信息的语音合成单元；

在所述追踪观看者的人眼在所述平视显示单元对应的显示区域上的注视点之前，所述控制方法还包括：

通过语音合成单元发送语音信息以提示所述观看者进行注视点校准，并标校所述追踪观看者的人眼的人眼追踪单元；

和/或

在所述追踪观看者的人眼在所述平视显示单元对应的显示区域上的注视点之前，所述控制方法还包括：

根据所述语音合成单元和语音识别单元对所述观看者进行身份验证；

和/或

在所述根据所述注视点与预置的中心点的距离生成调整指令之后，所述控制方法还包括：

根据所述语音合成单元和语音识别单元对所述观看者进行调整确认，并根据确认结果调整所述调整指令。

进一步的，所述控制系统还包括习惯分析单元；

在所述追踪观看者的人眼在所述平视显示单元对应的显示区域上的注视点之前，所述控制方法还包括：

通过所述习惯分析单元采集所述观看者的行为习惯并根据所述行为习惯训练习惯模型；

在所述根据所述注视点与预置的中心点的距离生成调整指令之后，所述控制方法还包括：

根据所述习惯模型的输出结果生成提示信息，根据所述提示信息调整所述调整指令和/或发送语音信息。

进一步的，所述控制系统还包括云服务器，所述控制方法还包括：

存储、训练和/或更新所述习惯模型。

本发明的有益效果如下：

本发明针对目前现有的问题，制定一种基于人眼追踪的平视随动控制系统和控制方法，并通过人眼追踪单元实时获取观看者的注视点并通过随动控制单元根据注视点调整平视显示的显示区域，再通过习惯分析单元对所述观看者的行为进行行为抑制从而有效避免因频繁调整显示区域导致的显示抖动，具有广泛的应用前景。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1示出本发明的一个实施例所述平视随动控制系统的结构框图；

图2示出本发明的一个实施例所述平视随动控制系统的场景示意图；

图3示出本发明的一个实施例所述显示区域的示意图；

图4示出本发明的一个实施例所述平视随动控制方法的流程图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1所示，本发明的一个实施例提供了一种基于人眼追踪的平视随动控制系统，包括人眼追踪单元、平视显示单元和随动控制单元，其中所述人眼追踪单元，用于追踪观看者的人眼在所述平视显示单元对应的显示区域上的注视点；所述随动控制单元，用于根据所述注视点与预置的中心点的距离生成调整指令；所述平视显示单元，用于根据所述调整指令调整所述平视显示单元的显示区域的位置。

如图2所示，所述平视随动控制系统包括人眼追踪单元、平视显示单元和随动控制单元50。

所述人眼追踪单元包括采集观看者的人眼20位置变化的采集设备10，能够根据人眼的位置变化追踪观看者的人眼在平视显示单元对应的显示区域的注视点并传输至所述随动控制单元50，所述采集设备10为例如摄像头、红外摄像头或具有图片、视频采集功能的其他设备。

所述随动控制单元50接收所述注视点的位置信息，例如所述注视点对应在投影玻璃上的位置坐标，同时根据投影玻璃上的显示区域中预设置的中心点计算所述注视点到中心点的距离，并根据所述距离判断是否需要调整投影到投影玻璃上的显示区域，若需要调整则生成包括调整参数的调整指令。

在本实施例中，所述平视显示单元包括光源30、凹面反射镜40和控制单元(图中未视出)，所述控制单元根据所述调整指令调整所述凹面反射镜40的俯仰角和滚转角，将所述光源30发射的显示影像投射到对应的显示区域。即根据所述注视点与中心点的距离判断当前投影的显示区域是否偏离观看者的注视区域，若偏离则通过调整凹面反射镜40的俯仰角和滚转角对当前显示区域进行位置调整，从而实现根据实时获取的观看者的注视点调整投影在投影玻璃上的显示区域，以便于满足观看者的观看需求。

考虑到仅通过人眼追踪单元获取注视点，容易导致频繁调整所述显示区域的问题，在一个可选的实施例中，所述控制系统还包括语音控制单元，包括语音识别单元和语音合成单元，其中所述语音识别单元，用于识别接收的语音指令并发送至所述随动控制单元，使得所述随动控制单元根据所述语音指令调整所述调整指令；所述语音合成单元，用于合成并发送语音信息。即通过语音控制单元实现控制系统与观看者的人机交互，例如观看者发出语音指令，所述语音控制单元通过语音识别单元识别所述语音指令的内容，根据所述内容进行相关操作：包括但不限于启动注视点标校、将所述内容传输至所述随动控制单元以调整所述调整指令、启动包括身份确认和指令确认等确认信息等；再例如所述控制系统根据所述语音合成单元向观看者发出语音信息，包括但不限于提示观看者进行注视点标校、进行调整确认、进行包括确认身份和确认指令等确认提示等。通过语音控制单元实现的人机交互，能够避免对显示区域的频繁调整，从而降低显示影像的抖动问题，确保显示影像清晰稳定，有效提高观看者的使用体验。

考虑到频繁的语音交互容易引起观看者的反感情绪并导致驾驶安全的隐患，在一个可选的实施例中，所述控制系统还包括习惯分析单元，包括采集单元、习惯模型和处理器单元，其中所述采集单元，用于采集所述观看者的行为习惯并发送至所述处理器单元；所述处理器单元，用于根据所述行为习惯训练所述习惯模型，并根据所述习惯模型的输出结果向所述随动控制单元和语音控制单元发送提示信息。即通过采集观看者的行为习惯，建立习惯模型，训练习惯模型并利用习惯模型识别观看者在驾驶过程中的习惯行为，从而避免因用户的习惯行为导致的注视点变化而引起的显示区调整的问题。

在另一个可选的实施例中，所述控制系统还包括云服务器，用于存储、训练、更新所述习惯模型。考虑到本地处理器单元的存储容量，本实施例还包括云服务器，云服务器可以是通过任意服务器配置实现的本地或远程服务器，能够接收来自控制系统的各种数据和习惯模型，并对所述数据和习惯模型进行计算、存储和训练等操作。例如根据接收的观看者的视频或图片对存储在云服务器上的习惯模型进行训练和存储，并利用训练后的云服务器的习惯模型更新控制系统存储的习惯模型。云服务器与控制系统之间的无线通信可以通过蜂窝通信(如2g、3g、4g或5g移动通信技术)、wifi、卫星通信等各种方式来实现，云服务器与控制系统可以为直接通信，也可以为间接通信。

在一个具体的示例中：

当观看者进入车辆后，启动平视随动控制系统，考虑到车辆使用的安全性，语音控制单元对平视随动控制系统的观看者进行身份验证，例如通过语音合成单元输出确认身份的语音信息，并通过语音识别单元获取所述观看者答复的身份确认的语音指令，当观看者的答复符合预存储的确认口令、或者观看者的答复声音与预存储的声音相匹配的时，身份确认成功；否则通过语音控制单元再次进行身份确认，若连续三次身份确认失败，则判断所述观看者为非法用户，关闭平视随动控制系统，并且车辆熄火不启动。

考虑到在驾驶过程中通过人眼追踪单元获取观看者的人眼注视平视随动控制系统在投影玻璃上的注视点需要经过多次坐标转换：例如在投影玻璃上的视窗坐标系与人眼坐标系的转换、人眼坐标系与世界坐标系的转换、世界坐标系与相机坐标系的转换，并且还需要通过复杂的测量方法进行测量。为简化上述过程并快速准确实现对观看者的人眼追踪，在平视随动控制系统启动后，通过语音合成单元发送语音信息以提示所述观看者进行注视点校准，并根据该注视点标校用于追踪观看者的人眼的人眼追踪单元。

同时考虑到当前观看者不同于前一次观看者，通过语音控制单元对预设置的显示区域进行初始化调整，例如通过语音合成单元输出调整显示区域的语音信息，并通过语音识别单元获取所述观看者答复的调整确认的语音指令。即针对当前观看者的身体情况和具体位置初始化显示区域，例如当前观看者的身高高于前次观看者、且座椅位置较前次观看者的位置靠后，均影响观看者的注视区域，因此根据当前观看者的具体情况调整显示区域的位置，以便于当前观看者的观看，能够有效提高观看者的用户体验。

如图3所示，平视随动控制系统在投影玻璃上设置有默认的投影区域，例如图中的中心显示区域100和最大可调整的投影区域101-108，在对所述观看者进行注视点校准时，通过语音合成单元提示所述观看者分别注视图3中的o点、a点、b点、c点和d点，从而实现人眼追踪单元对所述观看者的人眼的注视点的校准，并标校所述人眼追踪单元。

当对人眼追踪单元进行校准后，在车辆行驶前，还可以通过语音控制系统对平视随动控制系统的显示区域进行调整：

首先，通过人眼追踪单元追踪观看者的人眼在所述平视显示单元对应的显示区域上的注视点。

具体的，获取所述观看者观看显示区域时的面部图像，并进行人脸检测得到人脸模型；根据所述人脸模型确定所述观看者的两眼瞳孔的中心位置；根据所述观看者观看显示区域的标定点(o点、a点、b点、c点和d点)时的标定面部图像获取两眼视线参数；根据所述两眼视线参数和两眼瞳孔中心位置计算两眼视线注视点位置；对所述两眼视线注视点位置进行融合获得两眼在显示区域上的注视点。

然后，根据所述注视点与预置的中心点的距离生成调整指令。

具体的，以平视随动控制系统在投影玻璃上的中心显示区域的中心点o点为中点，以预设长度为半径设置中心显示区域。值得说明的是，所述中心显示区域可以为矩形、圆形或多边形中的一种，本领域技术人员应当根据实际应用场景设置中心显示区域的尺寸，例如矩形的长度和宽度、圆形的半径、多边形的边长等，在此不再赘述。

计算所述注视点与中心点的距离，例如所述注视点在oa向量(包含oa的延长线)上，则计算注视点与中心点的距离，所述距离包括方向和长度，所述方向为以oa向量为水平基准的旋转角度。例如所述注视点在oe向量上，则所述方向为135度，所述距离为o点到注视点的距离。

判断所述距离是否大于预设置的第一距离且小于预设置的第二距离，若是则生成调整距离为所述距离的调整指令。

具体的，所述第一距离为调整显示区域的最小调整阈值，在本实施例中，所述第一距离为o点到a点的距离，考虑到显示区域的显示影像与边缘设置有留白区域，当所述距离大于第一距离时，即当注视点位于显示区域100以外的区域时判定需要调整所述显示区域，否则不动作。根据所述平视显示单元在投影玻璃上的最大可调整的投影区域101-108设置第二距离，所述第二距离为调整显示区域的最大调整阈值，在本实施例中，当所述注视点大于第二距离则判断所述观看者没有观看所述平视显示单元的投影内容，不调整所述显示区域。如图3所示，所述第二距离可以为中心点o点到投影区域101-108的中心点的距离，即所述显示区域的最大移动范围为与投影区域101-108重合。

当观看者的注视点偏离所述中心点，并且在第一距离和第二距离之间时，生成调整距离为所述距离的调整指令，并根据所述调整指令调整所述平视显示单元的显示区域的位置。值得说明的是，所述第一距离和第二距离为根据所述中心显示区域预先设置的阈值，用于评估是否需要调整所述显示区域，本领域技术人员应当根据实际应用场景和实际显示区域的具体形状进行设置，以满足显示区域的调整评估功能为设计准则，在此不再赘述。

具体的，所述平视显示单元包括光源、凹面反射镜和控制单元，所述随动控制单元根据所述调整指令的调整距离获取预期显示区域的调整中点，即以所述观看者的注视点作为显示区域的中点，所述控制单元根据所述调整中点调整所述凹面反射镜的俯仰角和滚转角，从而将所述光源发射的显示影像投射到所述预期显示区域，即完成对显示区域的调整。

通过在车辆行驶前对观看者的注视点进行校准，以及对显示区域进行调整能够根据观看者的注视点调整显示区域，以实现针对观看者的个人特点的定制服务，例如当观看者的身高不同时、座椅距离方向盘的位置不同时，都会在不同程度上影响注视点的位置，因此根据观看者的注视点调整平视随动控制系统的显示区域，有利于提高用户的驾驶专注度、并能够提高驾驶安全性以及用户的使用体验。

在行驶过程中，随着观看者的注视点的变化利用上述步骤对显示区域进行调整。但考虑到在行驶过程中，观看者的注视点不可能一直停留在显示区域内，仅通过注视点的变化调整显示区域可能引起误操作、误调整。考虑到上述情况，当随动控制单元根据所述注视点与预置的中心点的距离生成调整指令后，根据所述语音合成单元和语音识别单元通过语音形式对所述观看者进行调整确认，并根据确认结果调整所述调整指令。即当随动控制系统生成调整指令后，为避免误调整，通过语音控制单元与所述观看者进行交互以实现调整确认，通过语音合成单元输出调整显示区域的调整确认，并且当语音识别单元识别出所述观看者的确认指令后再对显示区域进行调整，否则不进行调整，从而有效避免错误调整。

考虑到频繁的语音交互容易引起观看者的反感情绪并导致驾驶安全的隐患，通过习惯分析单元的采集单元采集观看者的行为习惯的数据，例如观看者喝水、看手机、看左侧或右侧的后视镜或窗外、操作中控等动作，以及这些行为习惯动作产生的时间，通过习惯分析单元的处理器单元对习惯模型进行训练，并根据所述习惯模型向所述随动控制单元和语音控制单元发送提示信息。当语音控制单元接收习惯模型输出的结果时通过语音进行行为确认或提示，当随动控制单元接收习惯模型输出的结果时，确定观看者的行为为习惯行为则不因该行为导致的注视点移动而调整显示区域，从而降低调整显示区域的频率，有效缓解平视显示单元的频繁晃动的问题。在本实施例中，所述观看者的习惯行为识别采用基于双流法的深度架构实现，首先采集观看者在车载环境下喝水、看手机、看左侧或右侧后视窗或窗外、操作中控等动作视频，将视频分类采样，再提取光流后分别训练双流法的时间流与空间流分支，最后将双流按比例融合以识别习惯行为。

值得说明的是，所述显示区域的调整还应该综合车辆行驶状况，例如当车辆行驶在比较颠簸的路段时，观看者的注视点会发生相应的变化，此时不应调整显示区域也不使用语音控制单元进行语音提示，待行驶平稳后再根据观看者的注视点进行追踪，本领域技术人员应当根据实际情况设置具体调整参数，以满足上述功能为设计准则，在此不再赘述。

考虑到本地处理器单元的存储容量，本实施例还将观看者的视频或图片、以及习惯模型上传至云服务器进行存储，并且在云端训练习惯分析模型，待一定周期后，更新本地的习惯分析模型，从而实现对习惯分析模型的云端存储、训练、更新等操作中的一个或多个。

与上述实施例提供的平视随动控制系统相对应，本申请的一个实施例还提供一种利用上述平视随动控制系统的平视随动控制方法，由于本申请实施例提供的平视随动控制方法与上述几种实施例提供的平视随动控制系统相对应，因此在前述实施方式也适用于本实施例提供的平视随动控制方法，在本实施例中不再详细描述。

如图4所示，本申请的一个实施例还提供一种利用上述平视随动控制系统的平视随动控制方法，包括追踪观看者的人眼在平视显示单元对应的显示区域上的注视点；根据所述注视点与预置的中心点的距离生成调整指令；根据所述调整指令调整所述平视显示单元的显示区域的位置。

在一个可选的实施例中，所述根据所述注视点与预置中心点的距离生成调整指令包括：以所述中心点为中点、以预设长度为半径设置中心显示区域，计算所述注视点与中心点的距离，判断所述距离是否大于预设置的第一距离且小于预设置的第二距离，若是则生成调整距离为所述距离的调整指令；和/或：所述平视显示单元包括光源、凹面反射镜和控制单元，所述根据所述调整指令调整所述平视显示单元的显示区域的位置包括：所述控制单元根据所述调整指令的调整距离获取预期显示区域的调整中点；所述控制单元根据所述调整中点调整所述凹面反射镜的俯仰角和滚转角；将所述光源发射的显示影像投射到所述预期显示区域。

在一个可选的实施例中，所述控制系统还包括用于识别接收语音指令的语音识别单元和用于合成并发送语音信息的语音合成单元；在所述追踪观看者的人眼在平视显示单元对应的显示区域上的注视点之前，所述控制方法还包括：通过语音合成单元发送语音信息以提示所述观看者进行注视点校准，并标校所述追踪观看者的人眼的人眼追踪单元；和/或在所述追踪观看者的人眼在平视显示单元对应的显示区域上的注视点之前，所述控制方法还包括：根据所述语音合成单元和语音识别单元对所述观看者进行身份验证；和/或在所述根据所述注视点与预置的中心点的距离生成调整指令之后，所述控制方法还包括：根据所述语音合成单元和语音识别单元对所述观看者进行调整确认，并根据确认结果调整所述调整指令。

在另一个可选的实施例中，所述控制系统还包括习惯分析单元；在所述追踪观看者的人眼在平视显示单元对应的显示区域上的注视点之前，所述控制方法还包括：通过所述习惯分析单元采集所述观看者的行为习惯并根据所述行为习惯训练习惯模型；在所述根据所述注视点与预置的中心点的距离生成调整指令之后，所述控制方法还包括：根据所述习惯模型的输出结果生成提示信息，根据所述提示信息调整所述调整指令和/或发送语音信息。进一步的，所述控制系统还包括云服务器，所述控制方法还包括：存储、训练和/或更新所述习惯模型。

本发明针对目前现有的问题，制定一种基于人眼追踪的平视随动控制系统和控制方法，并通过人眼追踪单元实时获取观看者的注视点并通过随动控制单元根据注视点调整平视显示的显示区域，再通过习惯分析单元对所述观看者的行为进行行为抑制从而有效避免因频繁调整显示区域导致的显示抖动，具有广泛的应用前景。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。