调整后视镜的方法、装置、介质以及电子设备与流程

本公开涉及计算机视觉技术，尤其涉及一种调整后视镜的方法、调整后视镜的装置、存储介质以及电子设备。

背景技术：

车辆后视镜的角度是否适合当前驾驶员，关乎到车辆的行驶安全。手动调整后视镜，有时会给驾驶员带来不便。

如何便捷准确的调整后视镜的角度，是一个值得关注的技术问题。

技术实现要素：

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种调整后视镜的方法、装置、存储介质以及电子设备。

根据本公开实施例的一个方面，提供了一种调整后视镜的方法，包括：检测目标对象的视线方向；根据待调整后视镜对应的预定后视角度以及所述视线方向，确定所述待调整后视镜的目标位置；根据所述待调整后视镜的当前位置以及所述目标位置，产生用于驱动所述待调整后视镜由所述当前位置移动到所述目标位置的电机控制命令，并输出所述电机控制命令。

根据本公开实施例的再一方面，提供一种调整后视镜的装置，包括：检测视线方向模块，用于检测目标对象的视线方向；确定目标位置模块，用于根据待调整后视镜对应的预定后视角度以及所述检测视线方向模块检测到的视线方向，确定所述待调整后视镜的目标位置；控制模块，用于根据所述待调整后视镜的当前位置以及所述确定目标位置模块确定出的目标位置，产生用于驱动所述待调整后视镜由所述当前位置移动到所述目标位置的电机控制命令，并输出所述电机控制命令。

根据本公开实施例的再一方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于实现上述方法。

根据本公开实施例的又一方面，提供了一种电子设备，该电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。

基于本公开上述实施例提供的一种调整后视镜的方法和装置，通过检测目标对象的视线方向，并利用视线方向产生电机控制命令，从而可以基于该命令驱动电机调整后视镜的位置，因此，本公开可以在不必在车辆内部安装眼球定位器等额外设备的情况下，使目标对象注视预定位置，以检测目标对象的视线方向，即可实现后视镜的自动调整。另外，随着视线方向检测准确性的提高，本公开的后视镜调整的准确性也会随之提高。由此可知，本公开提供的技术方案有利于降低调整后视镜的实现成本，且有利于提高后视镜调整的便捷性和准确性。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。

附图说明

通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征以及优势将变得更加明显。附图用来提供对本公开实施例的进一步的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本公开所适用的场景示意图；

图2为本公开的调整后视镜的方法一个实施例的流程图；

图3为本公开的获得目标对象的视线方向一个实施例的流程图；

图4为本公开的多任务学习的神经网络一个实施例的示意图；

图5为本公开的第一预定坐标系的xoy平面一个实施例的示意图；

图6为本公开的第一预定坐标系的xoz平面一个实施例的示意图；

图7为本公开的计算第一目标夹角一个实施例的示意图；

图8为本公开的调整后视镜的装置一个实施例的结构示意图；

图9是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

另外，本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可以存在三种关系，如a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本公开的实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与终端设备、计算机系统或者服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施。在分布式云计算环境中，任务可以是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

本公开概述

在实现本公开的过程中，发明人发现，在更换驾驶员、车辆的后视镜由被收起位置变换到展开位置以及车辆的后视镜被碰撞等情况下，往往需要调整后视镜的角度。由于手动调整后视镜的角度，通常会给驾驶员带来不便，因此，出现了一种自动调整后视镜的实现方案，具体的，在车辆上安装眼球探测器等专业传感器，以探测驾驶员的眼球位置，并根据驾驶员的眼球位置来调整后视镜的角度。

然而，在车辆上安装额外的传感器，不但占用了车辆有限的空间，而且会增加一定的成本。如果能够利用车辆的现有设施来实现后视镜的调整，则可以在不安装额外设备、且充分利用车辆的现有设施的基础上，给驾驶员带来较好的驾驶体验。

示例性概述

本公开提供的调整后视镜的技术方案可以适用于多种场景中。一个例子如图1所示。

图1中，车辆100具有位于车辆左右两侧的两个后视镜，即左后视镜(也可以称为左侧后视镜)和右后视镜(也可以称为右侧后视镜)。车辆100配置有dms(drivermonitorsystem，驾驶员监控系统)，车辆100中安装的摄像头101拍摄的照片或者视频，可以实时地提供给dms。

在驾驶员处于车辆100的驾驶位置时，如果驾驶员发现车辆100的左后视镜或右后视镜的位置需要调整，则可以随时开启dms中的后视镜调整功能，并通过基于触摸屏的交互或者语音交互的方式，使dms获知当前待调整后视镜是车辆100的左后视镜还是右后视镜。

在dms获知当前待调整后视镜后，dms可以通过语音或者文字方式提示驾驶员直视当前待调整后视镜一定时间(如直视当前待调整后视镜2秒)，以便于检测出驾驶员当前的视线角度，dms在检测到驾驶员当前的视线角度后，可以基于其预先存储的后视镜对应的预定后视角度以及当前检测到的驾驶员当前的视线角度，确定出当前待调整后视镜的目标位置，进一步的，dms可以基于当前待调整后视镜的当前位置和其目标位置，针对当前待调整后视镜对应的电机生成相应的电机控制命令，当前待调整后视镜对应的电机在该电机控制命令的驱动下，带动当前待调整后视镜在相应的方向上旋转，从而使当前待调整后视镜由当前位置移动到上述确定出的目标位置。

dms可以通过语音或者文字询问驾驶员：当前待调整后视镜的位置是否已调整到合适位置。如果dms接收到当前待调整后视镜的位置已调整到合适位置的反馈信息，则可以结束本次后视镜调整过程；如果dms接收到当前待调整后视镜的位置并未调整到合适位置的反馈信息，则dms可以再次执行调整后视镜的过程。

示例性方法

图2为本公开的调整后视镜的方法一个实施例的流程图。如图2所示的方法包括：s200、s201以及s202。下面对各步骤分别进行说明。

s200、检测目标对象的视线方向。

本公开中的目标对象通常为利用后视镜观测车辆后方情况的对象。例如，目标对象可以为车辆的驾驶员等。本公开中的目标对象的视线方向可以具体为目标对象在注视预定位置时的视线方向，例如，目标对象在注视待调整后视镜时的视线方向。本公开中的视线方向可以是基于第一预定坐标系的视线方向。这里的第一预定坐标系可以为三维坐标系，且第一预定坐标系可以为待调整后视镜所在车辆的坐标系，也可以为待调整后视镜所在车辆中安装的摄像装置的坐标系。在一个例子中，待调整后视镜所在车辆的坐标系可以与待调整后视镜所在车辆中安装的摄像装置的坐标系为同一个坐标系。在另一个例子中，待调整后视镜所在车辆的坐标系可以与待调整后视镜所在车辆中安装的摄像装置的坐标系为不同的坐标系。

本公开中的目标对象的视线方向可以包括：基于第一预定坐标系的x坐标轴和y坐标轴形成的xoy平面的第一视线方向、基于第一预定坐标系的y坐标轴和z坐标轴形成的yoz平面的第二视线方向以及基于第一预定坐标系的x坐标轴和z坐标轴形成的xoz平面的第三视线方向中的至少一个。

本公开可以对摄像装置拍摄的平面图像(即2d图像)进行视线方向检测处理，从而获得目标对象的视线方向，且本公开可以利用神经网络等方式检测目标对象的视线方向。在一个例子中，在车辆中的dms具有视线方向检测功能的情况下，本公开可以基于dms提供的视线方向检测功能获得目标对象的视线方向。

s201、根据待调整后视镜对应的预定后视角度以及上述视线方向，确定待调整后视镜的目标位置。

本公开的待调整后视镜可以为车辆的左后视镜或者右后视镜或者位于车辆内部的中央后视镜。本公开中的预定后视角度可以是指基于后视镜为目标对象呈现的后方情况的视野范围中的一视角，如最大视角等。预定后视角度也可以称为标准后视角度或者理想后视角度或者目标后视角度等。另外，本公开中的预定后视角度可以为基于第二预定坐标系的预定后视角度，这里的第二预定坐标系可以为三维坐标系，且第二预定坐标系可以为待调整后视镜所在车辆的坐标系，也可以为待调整后视镜所在车辆中安装的摄像装置的坐标系等。在一个例子中，第二预定坐标系与第一预定坐标系为同一个坐标系。在另一例子中，第二预定坐标系与第一预定坐标系为不同的坐标系。在第二预定坐标系与第一预定坐标系为不同坐标系的情况下，本公开可以先将待调整后视镜对应的预定后视角度和目标对象的视线方向调整到同一个坐标系中，然后，再利用位于同一个坐标系中的预定后视角度和目标对象的视线方向确定待调整后视镜的目标位置。

本公开中的预定后视角度可以包括：基于第二预定坐标系的x坐标轴和y坐标轴形成的xoy平面的第一预定后视角度、基于第二预定坐标系的y坐标轴和z坐标轴形成的yoz平面的第二预定后视角度以及基于第二预定坐标系的x坐标轴和z坐标轴形成的xoz平面的第三预定后视角度中的至少一个。

在第一预定坐标系和第二预定坐标系为同一个坐标系时，如果目标对象的视线方向包括第一视线方向时，则预定后视角度应包括第一预定后视角度。如果在目标对象的视线方向包括第二视线方向，则预定后视角度应包括第二预定后视角度。如果在目标对象的视线方向包括第三视线方向，则预定后视角度应包括第三预定后视角度。

本公开中的待调整后视镜对应的预定后视角度通常不会随着目标对象的不同而发生变化。也就是说，对于一车辆而言，该车辆中的每一个后视镜对应的预定后视角度通常是固定不变的。

本公开中的待调整后视镜的目标位置可以是指：待调整后视镜能够为目标对象提供预定后视角度的位置。例如，在目标对象从待调整后视镜中观测后方情况时，假设待调整后视镜当前能够为目标对象呈现出的后方情况的最大宽度视角为一预定后视角度，那么，此时待调整后视镜的当前位置即为待调整后视镜的目标位置。本公开可以基于光线的反射原理等，对待调整后视镜对应的预定后视角度和目标对象的视线方向进行计算，从而获得待调整后视镜的目标位置。

需要说明的是，由于本公开的不同目标对象的高矮、胖瘦以及坐姿等往往存在差异，因此，不同目标对象的视线方向往往不相同，从而尽管同一待调整后视镜对应的预定后视角度是相同的，但是，基于不同视线方向确定出的待调整后视镜的目标位置往往不相同。

s202、根据待调整后视镜的当前位置以及上述目标位置，产生用于驱动待调整后视镜由当前位置移动到目标位置的电机控制命令，并输出该电机控制命令。

本公开中的电机控制命令可以是指用于驱动电机转动的命令，且该命令可以控制电机的转动幅度，从而达到促使待调整后视镜由当前位置移动到目标位置的目的。本公开中的电机控制命令可以包含有用于控制电机转动幅度的参数，且该参数的取值通常是由待调整后视镜的当前位置和待调整后视镜的目标位置决定的。

在一个例子中，本公开的一车辆中的多个后视镜可以对应同一个电机，即一个电机与车辆中的多个后视镜均连接，利用一个电机可以实现分别调整车辆中的多个后视镜的位置的目的。在另一个例子中，本公开的一车辆中的多个后视镜可以对应多个电机，例如，一个后视镜对应一个电机(即一个电机与车辆中的一个后视镜连接)，且不同后视镜对应不同电机(即不同后视镜连接不同电机)，在该情况下，本公开的电机控制命令是针对待调整后视镜对应的电机的命令，即电机控制命令应向相应的电机下发。电机可以通过其转轴的转动使与其连接的后视镜的位置发生改变。本公开对电机与后视镜的连接关系不作限定。

本公开中的电机控制命令可以直接传输给待调整后视镜对应的电机，即本公开中的电机控制命令是能够被电机控制元件正确识别的命令。本公开也可以在对该电机控制命令进行命令转换后，传输给待调整后视镜对应的电机。对电机控制命令进行命令转换的目的包括：使电机控制命令转换为能够被电机控制元件正确识别的命令。

本公开通过检测目标对象的视线方向，并利用检测到的视线方向产生电机控制命令，可以驱动电机调整后视镜的位置，因此，本公开可以在不必在车辆内部安装眼球定位器等额外设备的情况下，在目标对象注视预定位置，以获得目标对象的视线方向，即可实现后视镜的自动调整。另外，随着视线方向检测准确性的提高，本公开的后视镜调整的准确性也会随之提高。由此可知，本公开提供的技术方案有利于降低调整后视镜的实现成本，且有利于提高后视镜调整的便捷性和准确性。

在一个可选示例中，本公开检测目标对象的视线方向的一实施例可以包括如下两个步骤：

步骤a、输出提示驾驶员注视待调整后视镜的信息，并通过车载摄像装置获取至少一张图像。

可选的，本公开可以采用语音方式，提示驾驶员注视待调整后视镜一定时长(如至少2秒等)，本公开也可以采用屏幕显示文字方式，提示驾驶员注视待调整后视镜一定时长。使驾驶员注视待调整后视镜一定时长的目的包括：在驾驶员注视待调整后视镜的过程中，利用车载摄像装置进行拍摄，以便于获得至少一张包含有正在注视待调整后视镜的驾驶员面部的图像。本公开中的车载摄像装置可以为单目摄像装置，且本公开中的图像可以为2d图像。

步骤b、对上述获得的至少一张图像进行视线方向检测处理，获得目标对象的视线方向。

可选的，本公开可以先对上述获取到的所有图像进行筛选，并对筛选出的图像进行视线方向检测处理。例如，本公开可以筛选出图像清晰度满足要求的一张或者多张图像，再例如，本公开可以筛选出驾驶员的眼睛张合度满足要求的一张或者多张图像。本公开可以利用神经网络对每一张图像分别进行视线方向检测处理，从而获得每一张图像各自对应的视线方向检测处理结果。在获得多个视线方向检测处理结果时，本公开可以从中选取一个视线方向检测处理结果，并将选取出的视线方向检测处理结果作为目标对象的视线方向，本公开也可以对多个视线方向检测处理结果进行均值计算等处理，并将均值计算等处理结果作为目标对象的视线方向。

本公开通过输出提示驾驶员注视待调整后视镜的信息，可以在驾驶员注视待调整后视镜的情况下，利用车载摄像装置进行拍摄，有利于保证拍摄获得的图像中的驾驶员的头部姿态为注视待调整后视镜的姿态；利用这样的图像进行视线方向检测处理，所获得的视线方向为驾驶员注视待调整后视镜的视线方向；在利用驾驶员注视待调整后视镜的视线方向和待调整后视镜对应的预定后视角度，确定待调整后视镜的目标位置时，有利于简化确定待调整后视镜的目标位置的计算过程，并有利于提高目标位置的准确性。

在一个可选示例中，本公开通过对至少一张图像进行视线方向检测处理，获得目标对象的视线方向的一个例子，如图3所示。

图3中，s300、获取图像中的目标对象的头部图像块和眼部图像块。

可选的，本公开可以利用头部/脸部区域定位技术，对图像中的目标对象的头部区域进行定位处理，从而可以从图像中剪切出目标对象的头部图像块。本公开可以利用眼部区域定位技术，对图像中的目标对象的眼部区域进行定位处理，从而可以从图像中剪切出目标对象的眼部图像块。另外，本公开也可以从目标对象的头部图像块中获得目标对象的眼部图像块。例如，本公开可以根据头部和眼部的预定位置关系，确定头部图像块中的眼部区域，并从头部图像块中剪切出目标对象的眼部图像块。其中的预定位置关系可以包括：眼部的最高位置与头部图像块整个高度的位置关系、眼部的最低位置与头部图像块整个高度的位置关系、以及眼部的高度与头部图像块整个高度的位置关系等。

可选的，本公开中的眼部图像块可以为包含有双眼的图像块。本公开中的眼部图像块也可以为包含有单眼的图像块。例如，包含有左眼的图像块或者包含有右眼的图像块。

可选的，本公开中的头部图像块的空间分辨率和眼部图像块的空间分辨率可以相同，例如，本公开可以将剪切出的头部区域的空间分辨率和眼部区域的空间分辨率分别调整为预定空间分辨率，从而获得具有相同空间分辨率的头部图像块和眼部图像块。

s301、提取头部图像块和眼部图像块的特征，获得头部图像块的第一特征图和眼部图像块的第二特征图。

可选的，本公开可以将头部图像块和眼部图像块分别作为输入，提供给用于提取图像特征的神经网络，并基于神经网络的输出，获得头部图像块的第一特征图和眼部图像块的第二特征图。在一个例子中，用于提取图像特征的神经网络可以为多任务学习的神经网络，即本公开可以利用基于多任务学习的神经网络的特征提取操作，获得头部图像块的第一特征图和眼部图像块的第二特征图。

可选的，本公开中的多任务学习的神经网络通常包括主干部分(即主干单元)和多个分支部分(即多个分支单元)，主干部分与所有分支部分组合在一起可以同时完成多个任务。例如，同时完成头部姿态检测任务以及视线方向检测任务等。

可选的，本公开中的多任务学习的神经网络的一个例子如图4所示。图4中的多任务学习的神经网络包括：主干单元400以及至少两个分支单元。图4中示意性的示出了分支单元401和分支单元402。

可选的，本公开可以将头部图像块和眼部图像块分别作为多任务学习的神经网络的主干单元400的输入，提供给该神经网络，从而可以基于神经网络的主干单元400的特征提取操作，对头部图像块以及眼部图像块分别进行特征提取操作处理，进而本公开可以根据主干单元400的输出，获得头部图像块的第一特征图和眼部图像块的第二特征图。本公开中的主干单元400可以采用cnn(convolutionalneuralnetworks，卷积神经网络)等结构。在一例子中，主干单元400可以包括：多层卷积层以及多层激活层等。在另一例子中，主干单元400可以包括：多层卷积层、多层激活层、至少一池化层以及至少一归一化层等。本公开不限制主干单元400的具体结构。

可选的，本公开可以将头部图像块和眼部图像块拼接在一起，作为主干单元400的输入，提供给神经网络。本公开可以对主干单元400的输出进行切分操作处理，从而获得头部图像块的第一特征图和眼部图像块的第二特征图。

由于在对多任务学习的神经网络的训练过程中，不同分支各自对应的损失均会被反向传播到多任务学习的主干单元中，因此，有利于使成功训练后的主干单元提取出的特征更准确，从而本公开利用神经网络的主干单元的特征提取操作有利于获得更为准确的第一特征图和第二特征图。

s302、根据第一特征图，获取目标对象的头部姿态。

可选的，本公开可以对第一特征图进行头部姿态检测处理，并根据头部姿态检测处理的结果，获得目标对象的头部姿态(headpose)。本公开中的目标对象的头部姿态可以是指用于描述目标对象的头部在x、y和z坐标轴中的至少一个坐标轴上的旋转情况的信息。头部姿态也可以称为头部的姿态角。例如，本公开的头部姿态可以包括三个欧拉角，即头部的俯仰角、偏航角和滚转角。俯仰角即围绕目标对象头部坐标系的x坐标轴的旋转角pitch，俯仰角可以表示出目标对象的抬头情况。偏航角即围绕目标对象头部坐标系的y坐标轴的旋转角yaw，偏航角可以表示出目标对象的摇头情况。滚转角即围绕目标对象头部坐标系的z坐标轴的旋转角roll，滚转角可以表示出目标对象的转头情况。

可选的，本公开可以将第一特征图作为输入，提供给用于检测头部姿态的神经网络，并基于该神经网络的输出，获得目标对象的头部姿态，例如，pitch(俯仰角)、yaw(偏航角)和roll(滚转角)。在一个例子中，用于检测头部姿态的神经网络可以为多任务学习的神经网络，即本公开可以利用基于多任务学习的神经网络的头部姿态检测操作，获得目标对象的头部姿态。更具体的例子，本公开可以利用多任务学习的神经网络的其中一个分支单元，完成头部姿态检测操作。例如，本公开可以将主干单元400输出的第一特征图，作为多任务学习的神经网络的第一分支单元(如图4中的分支单元401)的输入，从而可以基于第一分支单元的头部姿态检测操作，对第一特征图进行头部姿态检测处理，进而本公开可以根据第一分支单元的输出，获得目标对象的头部姿态。本公开中的第一分支单元可以采用cnn等结构。在一个例子中，第一分支单元可以包括：至少一卷积层以及至少一激活层等。本公开不限制第一分支单元的具体结构。

本公开通过利用多任务学习的神经网络的其中一个分支单元，完成头部姿态检测操作，由于该多任务学习的神经网络的主干单元提取出的第一特征图更准确，因此，在对多任务学习的神经网络的训练过程中，更准确的第一特征图有利于优化第一分支单元的网络参数，从而有利于提高获得头部姿态的准确性。

s303、根据第二特征图和上述头部姿态，获取图像中的目标对象的视线方向。

可选的，本公开可以对第二特征图和头部姿态进行视线方向检测处理，并根据视线方向检测处理的结果获得目标对象的视线方向。本公开可以将第二特征图和头部姿态作为输入，提供给用于检测视线方向的神经网络，并基于该神经网络的输出，获得目标对象的视线方向。在一个例子中，用于检测视线方向的神经网络可以为多任务学习的神经网络，即本公开可以利用基于多任务学习的神经网络的视线方向检测操作，获得目标对象的视线。更具体的，本公开可以利用多任务学习的神经网络的其中一个分支单元，完成视线方向检测操作。例如，本公开可以将主干单元输出的第二特征图和上述第一分支单元(如图4中的分支单元401)输出的头部姿态，作为多任务学习的神经网络的第二分支单元(如图4中的分支单元402)的输入，从而可以基于第二分支单元的视线方向检测操作，对第二特征图和头部姿态进行视线方向检测处理，进而本公开可以根据第二分支单元的输出，获得目标对象的视线方向。本公开中的第二分支单元可以采用cnn等网络结构。在一个例子中，第二分支单元可以包括：至少一卷积层以及至少一激活层等。本公开不限制第二分支单元的具体结构。

可选的，在眼部图像块为包含有双眼的图像块的情况下，本公开为第二分支单元提供的第二特征图为基于双眼的第二特征图，第二分支单元所执行的视线方向检测操作可以为基于左眼的眼球视线方向检测操作和基于右眼的眼球视线方向检测操作，本公开可以根据第二分支单元的输出，分别获得左眼眼球视线方向和右眼眼球视线方向，本公开可以对左眼眼球视线方向和右眼眼球视线方向进行加权计算，从而获得加权平均值，本公开可以将该加权平均值作为目标对象的视线方向。

需要特别说明的是，本公开在进行加权计算时，左眼眼球视线方向和右眼眼球视线方向各自对应的权值可以相同，也可以不相同。在左眼眼球视线方向和右眼眼球视线方向各自对应的权值不相同时，可以根据待调整后视镜所在的方位确定左眼眼球视线方向和右眼眼球视线方向各自对应的权值大小，例如，在待调整后视镜为左侧后视镜时，左眼眼球视线方向对应的权值可以大于右眼眼球视线方向对应的权值。再例如，在待调整后视镜为右侧后视镜时，右眼眼球视线方向对应的权值可以大于左眼眼球视线方向对应的权值。

可选的，在眼部图像块为包含有单眼的图像块的情况下，本公开为第二分支单元提供的第二特征图为基于单眼的第二特征图，第二分支单元所执行的视线方向检测操作可以为基于单眼的眼球视线方向检测操作，例如，基于左眼的眼球视线方向检测操作或者基于右眼的眼球视线方向检测操作。本公开可以根据第二分支单元的输出，获得左眼眼球视线方向或者右眼眼球视线方向，本公开可以直接将左眼眼球视线方向或者右眼眼球视线方向作为目标对象的视线方向。

本公开通过利用多任务学习的神经网络的其中一个分支单元，完成视线方向检测操作，由于该多任务学习的神经网络的主干单元提取出的第二特征图更准确，且头部姿态与视线方向存在一定程度的关联，因此，在对多任务学习的神经网络的训练过程中，更准确的第二特征图以及头部姿态有利于优化第二分支单元的网络参数，从而利用神经网络的第二分支单元实现视线方向检测操作，有利于提高视线方向的准确性。另外，本公开可以利用目标对象的左眼视线方向和/或右眼视线方向，获得目标对象的视线方向，有利于提高技术方案的灵活性。

本公开通过利用眼部图像块的第二特征图和目标对象的头部姿态，来获取目标对象的视线方向，有利于降低确定出的视线方向的误差，从而有利于提高视线方向的准确性。

在一个可选示例中，本公开根据待调整后视镜对应的预定后视角度和视线方向，确定待调整后视镜的目标位置的一个例子可以为：根据待调整后视镜对应的基于视野宽度的第一预定后视角度以及目标对象的视线方向，确定待调整后视镜与车辆宽度方向的第一目标夹角。即本公开可以通过对待调整后视镜对应的基于视野宽度的第一预定后视角度和目标对象的视线方向进行计算，获得第一目标夹角，例如，本公开可以基于平面镜反射成像原理以及三角形内角和原理等，对第一预定后视角度和目标对象的视线方向进行计算。待调整后视镜在基于该第一目标夹角进行相应的旋转后，即可位于待调整后视镜的目标位置。

本公开通过获得第一目标夹角，可以实现在待调整后视镜基于第一目标夹角而移动到目标位置时，为目标对象提供较佳的视野宽度，即在呈现映像宽度方向上，为目标对象提供较好的视野范围。

可选的，本公开中的视野宽度可以是指后视镜所能呈现给目标对象的在车辆宽度方向上的视野范围。本公开中的基于视野宽度的第一预定后视角度可以是指后视镜能够提供给目标对象的在车辆宽度方向上的视野范围中的一视野角度。本公开中的车辆宽度方向可以是指车辆的左侧后视镜和右侧后视镜的连线方向。车辆宽度方向也可以称为车辆左右方向。

可选的，如图5所示，假定第一预定坐标系的x坐标轴和y坐标轴形成的xoy平面为：车辆的俯视平面；xoy平面也可以认为是与地面或者车辆底盘平行的平面，则本公开中的车辆宽度方向为与图5中的x坐标轴方向平行的方向。

在一个可选示例中，本公开根据待调整后视镜对应的预定后视角度和视线方向，确定待调整后视镜的目标位置的另一个例子可以为：根据待调整后视镜对应的基于视野高度的第二预定后视角度以及目标对象的视线方向，确定待调整后视镜与车辆高度方向的第二目标夹角。即本公开可以通过对待调整后视镜对应的基于视野高度的第二预定后视角度和目标对象的视线方向进行计算，获得第二目标夹角，例如，本公开可以基于平面镜反射成像原理以及三角形内角和原理等，对第二预定后视角度和目标对象的视线方向进行计算。待调整后视镜在基于该第二目标夹角进行相应的旋转后，即可位于待调整后视镜的目标位置。本公开中的第二目标夹角可以决定待调整后视镜在俯仰方向上的位置。

本公开通过获得第二目标夹角，可以实现在待调整后视镜基于第二目标夹角而移动到目标位置时，为目标对象提供较佳的视野高度，即在呈现映像高度方向上，为目标对象提供较好的视野范围。

可选的，本公开中的视野高度可以是指后视镜所能呈现给目标对象的在车辆高度方向上的视野范围。本公开中的基于视野高度的第二预定后视角度可以是指后视镜能够提供给目标对象的在车辆高度方向上的视野范围中的一视野角度。本公开中的车辆高度方向可以是指车辆的任一车轮的最低位置与该车轮的最高位置的连线方向。车辆高度方向也可以称为车辆的上下方向。

可选的，如图6所示，假定第一预定坐标系的x坐标轴和z坐标轴形成的xoz平面为：车辆的后视平面；xoz平面也可以认为是与地面的垂直面平行的平面，则本公开中的车辆宽度方向为与图6中的z坐标轴方向平行的方向。

在一个可选示例中，本公开根据待调整后视镜对应的基于视野宽度的第一预定后视角度以及目标对象的视线方向，确定待调整后视镜与车辆宽度方向的第一目标夹角的一个例子为：根据第一角平分线与车辆长度方向的夹角以及目标对象的视线与车辆长度方向的夹角，确定待调整后视镜与车辆宽度方向的第一目标夹角。其中的第一角平分线为：待调整后视镜对应的基于视野宽度的最大视野边界线与车辆长度方向的夹角的角平分线。

可选的，如图7所示，假设目标对象的视线与车辆长度方向700(即直线700)之间的夹角为g(图7中的两条虚线平行，其中一条虚线为直线700)，假设车辆的待调整后视镜701对应的基于视野宽度的最大视野边界线与车辆长度方向形成的夹角的角平分线(即第一角平分线)为直线702，假设车辆的待调整后视镜701对应的第一角平分线(即直线702)与车辆长度方向(即与车身平行方向，即直线700)的夹角为r，假设待调整后视镜701与车辆宽度方向的第一目标夹角为m，假设直线700和直线702形成待调整后视镜701对应的预定后视角度。

在上述假设情况下，根据平面镜反射成像原理可知下述公式(1)成立：

g+r+2θ1＝π公式(1)

根据三角形内角之和为π这一原理可知，下述公式(2)和公式(3)成立：

g+θ1+θ2＝π公式(2)

m+θ2＝π/2公式(3)

由上述公式(1)至公式(3)可知，下述公式(4)成立：

m＝(g-r)/2公式(4)

由于g和r均为已知值，因此，本公开可以利用公式(4)计算获得第一目标夹角m。

在将待调整后视镜701呈现给目标对象的视野认为是一个锥形视野的情况下，锥形的锥角的角平分线所形成的位置区域呈现给目标对象的视野，往往是目标对象观测较为舒适的视野范围，因此，夹角r可以反映出待调整后视镜701在移动到目标位置时，所能呈现给目标对象的较为舒适的视野宽度，本公开通过利用夹角r以及夹角g来确定第一目标夹角，有利于使待调整后视镜701在基于第一目标夹角进行位置调整后，为目标对象呈现的较佳视野宽度符合预先设定的视野宽度标准。

在一个可选示例中，本公开根据待调整后视镜对应的基于视野高度的第二预定后视角度以及目标对象的视线方向，确定待调整后视镜与车辆高度方向的第二目标夹角的一个例子为：根据第二角平分线与车辆高度方向的夹角以及目标对象的视线与车辆高度方向的夹角，确定待调整后视镜与车辆高度方向的第二目标夹角。其中的第二角平分线为：待调整后视镜对应的基于视野高度的最大视野边界线与车辆高度方向的夹角的角平分线。计算第二目标夹角的一个具体例子与上述图7所示的例子相似，在此不再详细说明。

同样的，在将待调整后视镜701呈现给目标对象的视野认为是一个锥形视野的情况下，锥形的锥角的角平分线所形成的位置区域呈现给目标对象的视野，往往是目标对象观测较为舒适的视野范围，因此，第二角平分线与车辆高度方向的夹角可以反映出待调整后视镜701在移动到目标位置时，所能呈现给目标对象的较为舒适的视野高度，本公开通过利用第二角平分线与车辆高度方向的夹角以及目标对象的视线与车辆高度方向的夹角来确定第二目标夹角，有利于使待调整后视镜701在基于第二目标夹角进行位置调整后，为目标对象呈现的较佳视野宽度符合预先设定的视野高度标准。

示例性装置

图8为本公开的服务发现装置一个实施例的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例。如图8所示的装置包括：检测视线方向模块800、确定目标位置模块801以及控制模块802。

检测视线方向模块800用于检测目标对象的视线方向。

确定目标位置模块801用于根据待调整后视镜对应的预定后视角度以及检测视线方向模块800检测到的视线方向，确定待调整后视镜的目标位置。

控制模块802用于根据待调整后视镜的当前位置以及确定目标位置模块801确定出的目标位置，产生用于驱动待调整后视镜由当前位置移动到上述目标位置的电机控制命令，并输出该电机控制命令。

可选的，检测视线方向模块800可以进一步用于输出提示驾驶员注视待调整后视镜的信息，并通过车载摄像装置获取至少一张图像，之后，检测视线方向模块800对其获得的至少一张图像进行视线方向检测处理，获得目标对象的视线方向。

可选的，检测视线方向模块800对至少一张图像进行视线方向检测处理，获得目标对象的视线方向的一个例子可以为：检测视线方向模块800获取图像中的目标对象的头部图像块和眼部图像块，之后，检测视线方向模块800提取头部图像块和眼部图像块的特征，获得头部图像块的第一特征图和眼部图像块的第二特征图；再之后，检测视线方向模块800根据第一特征图，获取目标对象的头部姿态；最后，检测视线方向模块800根据第二特征图和头部姿态，获取图像中的目标对象的视线方向。

可选的，检测视线方向模块800提取头部图像块和眼部图像块的特征，获得头部图像块的第一特征图和眼部图像块的第二特征图的一个例子可以为：检测视线方向模块800将头部图像块和眼部图像块分别作为神经网络的主干单元的输入，基于主干单元的特征提取操作，对头部图像块和眼部图像块分别进行特征提取处理，检测视线方向模块800根据主干单元的输出，获得头部图像块的第一特征图和眼部图像块的第二特征图。

可选的，检测视线方向模块800根据第一特征图，获取目标对象的头部姿态的一个例子可以为：检测视线方向模块800将第一特征图作为神经网络的第一分支单元的输入，基于第一分支单元的头部姿态检测操作，对第一特征图进行头部姿态检测处理，检测视线方向模块800基于第一分支单元的输出获得目标对象的头部姿态。

可选的，检测视线方向模块800根据第二特征图和头部姿态，获取图像中的目标对象的视线方向的一个例子可以为：检测视线方向模块800将第二特征图和头部姿态作为神经网络的第二分支单元的输入，基于第二分支单元的视线方向检测操作，对第二特征图和头部姿态进行视线方向检测处理，检测视线方向模块800可以根据第二分支单元的输出获得图像中的目标对象的视线方向。

可选的，检测视线方向模块800根据第二分支单元的输出获得图像中的目标对象的视线方向的一个例子可以为：基于第二分支单元的视线方向检测操作，对第二特征图和头部姿态进行眼球视线方向检测处理，检测视线方向模块800根据第二分支单元的输出获得图像中的目标对象的眼球视线方向。其中，图像中的目标对象的视线方向包括：图像中的目标对象的眼球视线方向、或者图像中的目标对象的双眼各自的视线方向的加权平均值。

可选的，本公开中的确定目标位置模块801根据待调整后视镜对应的预定后视角度以及目标对象的视线方向，确定待调整后视镜的目标位置的一个例子可以为：确定目标位置模块801根据待调整后视镜对应的基于视野宽度的第一预定后视角度以及目标对象的视线方向，确定待调整后视镜与车辆宽度方向的第一目标夹角。

可选的，本公开中的确定目标位置模块801根据待调整后视镜对应的预定后视角度以及目标对象的视线方向，确定待调整后视镜的目标位置的另一个例子可以为：确定目标位置模块801根据待调整后视镜对应的基于视野高度的第二预定后视角度以及所述视线方向，确定待调整后视镜与车辆高度方向的第二目标夹角。

可选的，确定目标位置模块801根据待调整后视镜对应的基于视野宽度的第一预定后视角度以及目标对象的视线方向，确定待调整后视镜与车辆宽度方向的第一目标夹角可以具体为：确定目标位置模块801根据第一角平分线与车辆长度方向的夹角以及目标对象的视线与车辆长度方向的夹角，确定待调整后视镜与车辆宽度方向的第一目标夹角。其中的第一角平分线为：待调整后视镜对应的基于视野宽度的最大视野边界线与车辆长度方向的夹角的角平分线。

可选的，确定目标位置模块801根据待调整后视镜对应的基于视野高度的第二预定后视角度以及目标对象的视线方向，确定待调整后视镜与车辆高度方向的第二目标夹角可以具体为：确定目标位置模块801根据第二角平分线与车辆高度方向的夹角以及目标对象的视线与车辆高度方向的夹角，确定待调整后视镜与车辆高度方向的第二目标夹角。其中的第二角平分线为：待调整后视镜对应的基于视野高度的最大视野边界线与车辆高度方向的夹角的角平分线。

示例性电子设备

下面参考图9来描述根据本公开实施例的电子设备。图9示出了根据本公开实施例的电子设备的框图。如图9所示，电子设备91包括一个或多个处理器911和存储器912。

处理器911可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备91中的其他组件以执行期望的功能。

存储器912可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器，例如，可以包括：随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器，例如，可以包括：只读存储器(rom)、硬盘以及闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器911可以运行所述程序指令，以实现上文所述的本公开的各个实施例的调整后视镜的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备91还可以包括：输入装置913以及输出装置914等，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。此外，该输入设备913还可以包括例如键盘、鼠标等等。该输出装置914可以向外部输出各种信息。该输出设备914可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备91中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备91还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的调整后视镜的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的调整后视镜的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列举)可以包括：具有一个或者多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势以及效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备以及系统。诸如“包括”、“包含、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。

提供所公开的方面的以上描述，以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改等对于本领域技术人员而言，是非常显而易见的，并且在此定义的一般原理可以应用于其他方面，而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式中。尽管以上已经讨论了多个示例方面以及实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。