一种车辆告警方法以及相关设备与流程

1.本技术涉及自动驾驶领域，尤其涉及一种车辆告警方法以及相关设备。


背景技术：

2.在车辆的行驶过程中，车辆中的智能驾驶系统需要了解驾驶员的状态以及时向驾驶员输出告警信息，告警信息用于提醒驾驶员接管车辆。告警信息的触发场景主要包括：周期性触发和事件性触发；例如，前述事件性触发可以包括：疲劳驾驶、接打电话或驾驶员的其他异常行为等。
3.但是，在上述告警信息的触发场景中，均仅考虑了位于车辆内部的驾驶员的信息，而没有考虑车辆外部的信息，导致“是否输出告警信息”的确定过程不够准确。


技术实现要素：

4.本技术提供了一种车辆告警方法以及相关设备，本方案提供的告警信息的触发场景中不仅考虑了车辆内部的驾驶员的视线，还考虑了车辆周围的环境信息，有利于更精准的输出告警信息。
5.为解决上述技术问题，本技术提供以下技术方案：
6.第一方面，本技术提供一种车辆告警方法，可用于人工智能领域的自动驾驶领域中，方法可以包括：车辆获取驾驶员的视线和车辆周围的环境信息；在根据驾驶员的视线确定满足第一条件的情况下，输出告警信息。其中，第一条件包括驾驶员的视线与车辆的行驶意图不匹配，车辆的行驶意图基于车辆周围的环境信息确定；车辆的行驶意图可以包括如下任一项或多项的组合：驾驶员在行驶过程中需要关注的一个或多个物体、车辆的行驶方向或其他类型的驾驶意图等。前述车辆可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车和高尔夫球车等。
7.本技术中，提供了告警信息的另一种触发场景，在确定驾驶员的视线与车辆的行驶意图不匹配的情况下，也即在确定驾驶员关注的物体与车辆的智能驾驶系统确定的行驶意图不匹配的情况下，向驾驶员输出告警信息；此外，在“是否输出告警信息”的确定过程中，不仅考虑了车辆内部的驾驶员的视线，还考虑了车辆周围的环境信息，有利于更精准的输出告警信息。
8.可选地，方法还包括：车辆根据车辆周围的环境信息，确定驾驶员在行驶过程中需要关注的一个或多个物体；其中，车辆的行驶意图包括驾驶员在行驶过程中需要关注的物体，驾驶员的视线与车辆的行驶意图不匹配的情况包括：驾驶员的视线位于所有需要关注的物体之外。本技术中，在车辆行驶的过程中需要根据周围的物体来确定驾驶行为，也即智能驾驶系统和驾驶员在车辆行驶过程中均需要实时观察周围的物体，将驾驶员的视线位于需要关注的物体之外确定为驾驶员的视线与车辆的行驶意图不匹配的一种情况，符合人工驾驶的逻辑，也即本方案与实际应用场景的贴合度较高，有利于准确的确定驾驶员的视线是否与车辆的行驶意图匹配。
9.可选地，驾驶员的视线位于需要关注的物体之外的情况可以包括：在第一时刻，驾驶员的视线位于所有需要关注的物体之外。或者，驾驶员的视线位于需要关注的物体之外的情况可以包括：驾驶员在第一时刻的视线位于需要关注的物体之内，且驾驶员的视线在第一时间段内的第二移动参数与第一移动参数不匹配，第一时间段位于第一时刻之后。或者，驾驶员的视线位于需要关注的物体之外的情况可以包括：在第一时刻以及第一时刻之后的连续的多个时刻，驾驶员的视线均位于需要关注的物体之外。
10.可选地，方法还可以包括：车辆根据车辆周围的环境信息，确定需要关注的物体在第一时间段内的第一移动参数。驾驶员的视线位于需要关注的物体之外还包括：驾驶员在第一时刻的视线位于需要关注的物体之内，且驾驶员的视线在第一时间段内的第二移动参数与第一移动参数不匹配，第一时间段位于第一时刻之后。其中，第一移动参数可以包括需要关注的物体在第一时间段内的第一移动方向；或者，第一移动参数还可以包括如下任一种或多种信息：需要关注的物体在第一时间段内的第一移动距离、第一移动速度或其他移动信息等等。对应的，第二移动参数可以包括驾驶员的视线在第一时间段内的第二移动方向；或者，第二移动参数还可以包括如下任一种或多种信息：驾驶员的视线在第一时间段内的第二移动距离、第二移动速度或其他移动信息等等。
11.本技术中，在考量驾驶员的视线是否位于需要关注的物体之外时，不仅考虑单个第一时刻中，驾驶员的视线是否位于需要关注的物体之外，还会考虑第一时刻之后的一个第一时间段内，驾驶员的视线的移动参数是否与需要关注的物体的移动参数一致，有利于提高“驾驶员的视线是否位于需要关注的物体之外”这一判断过程的准确度，也有利于提高车辆行驶过程的安全度。
12.可选地，第一移动参数包括需要关注的物体在第一时间段内的第一移动方向，第二移动参数包括驾驶员的视线在第一时间段内的第二移动方向；每个需要关注的物体可以表现为一个区域，驾驶员的视线的观察范围也可以表现为一个区域，则第一移动方向可以为需要关注的物体中任意一个点在第一时间段内的移动方向，第二移动方向可以为驾驶员的视线的观察范围内的任意一个点在第一时间段内的移动方向。第二移动参数与第一移动参数不匹配的情况包括：第一移动方向和第二移动方向之间的差异满足第二条件；例如，第二条件可以包括第一移动方向和第二移动方向之间的夹角小于第一角度阈值。本技术中，将第一移动参数和第二移动参数均确定为移动方向，也即提供了一种易于实现且准确度较高的实现方案。
13.可选地，车辆的行驶意图包括车辆的行驶方向，驾驶员的视线与车辆的行驶意图不匹配的情况包括：驾驶员的视线与车辆的行驶方向不匹配。方法还可以包括：在根据车辆周围的环境信息，确定当前时刻不存在需要关注的某个物体的情况下，可以判断驾驶员的视线的方向是否与车辆的行驶方向匹配；其中，驾驶员的视线的方向与车辆的行驶方向不匹配的情况可以包括驾驶员的视线方向与车辆的行驶方向之间的夹角大于或等于第二角度阈值。
14.可选地，方法还可以包括：车辆向驾驶员展示需要关注的物体。例如，车辆可以通过抬头显示系统hud向驾驶员突出显示车辆确定的需要关注的物体；可选地，车辆可以在通过hud向驾驶员显示导航路线时，突出显示需要关注的物体。突出显示的方式包括如下任一种或多种：在需要关注的物体旁边增设提示文本、将需要关注的物体框起来或其他突出显
示需要关注的物体的方式等等。本技术中，还可以向驾驶员展示需要关注的物体，从而可以协助驾驶员学习智能驾驶系统的驾驶思路，有利于提高驾驶员的驾驶行为的安全度。
15.可选地，车辆在根据驾驶员的视线确定满足第一条件的情况下，输出告警信息，包括：当驾驶员的视线与车辆的行驶意图不匹配的时长达到第一时长时，车辆输出告警信息，第一时长的取值与驾驶员的驾驶行为的安全度具有关联关系。其中，驾驶员的驾驶行为的安全度的确定因素可以包括如下任意一项或多项：前向预警累计次数fcw、急加速次数、急减速次数、跟车时与前车的距离、打方向盘的缓急程度、车辆的智能驾驶系统接管用户驾驶的平均次数或其他能够反映驾驶员的驾驶行为的安全度的信息等。例如，驾驶员的驾驶行为的安全度越高，第一时长的取值可以越长，驾驶员的驾驶行为的安全度越低，第一时长的取值可以越短。
16.本技术中，驾驶员的视线与车辆的行驶意图不匹配的时长达到第一时长时，向驾驶员输出告警信息，也即第一时长的取值可以影响输出告警信息的频率，而驾驶员的驾驶行为的安全度会影响第一时长的取值，有利于降低向安全度高的驾驶员输出告警信息的频率，从而避免打扰到用户；也有利于提高向安全度低的驾驶员输出告警信息的频率，以提高驾驶过程的安全度。
17.第二方面，本技术提供一种车辆告警装置，可用于人工智能领域的自动驾驶领域中，车辆告警装置可以包括：获取模块，用于获取驾驶员的视线和车辆周围的环境信息；告警模块，用于在根据驾驶员的视线确定满足第一条件的情况下，输出告警信息，其中，第一条件包括驾驶员的视线与车辆的行驶意图不匹配，车辆的行驶意图基于车辆周围的环境信息确定。
18.本技术第二方面中，车辆告警装置还可以执行第一方面以及第一方面的各个可能实现方式中车辆执行的步骤，对于本技术第二方面以及第二方面的各种可能实现方式的具体实现步骤，以及每种可能实现方式所带来的有益效果，均可以参考第一方面中各种可能的实现方式中的描述，此处不再一一赘述。
19.第三方面，本技术提供了一种车辆，可以包括存储器、处理器以及总线系统，其中，存储器用于存储程序，处理器用于执行存储器中的程序，包括如下步骤：总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。处理器可以用于执行第一方面的各个可能实现方式中车辆执行的步骤，具体均可以参阅第一方面，此处不再赘述。
20.第四方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面所述的车辆告警方法。
21.第五方面，本技术提供了一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行上述第一方面所述的车辆告警方法。
22.第六方面，本技术提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述第一方面所述的车辆告警方法。
23.第七方面，本技术提供了一种芯片系统，该芯片系统包括处理器，用于支持服务器或车辆行驶速度生成装置实现上述方面中所涉及的功能，例如，发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存服务器或通信设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包
括芯片和其他分立器件。
附图说明
24.图1为本技术实施例提供的车辆的一种结构示意图；
25.图2为本技术实施例提供的车辆告警方法的一种流程示意图；
26.图3为本技术实施例提供的车辆告警方法的另一种流程示意图；
27.图4为本技术实施例提供的驾驶员需要关注的物体的一种示意图；
28.图5为本技术实施例提供的驾驶员需要关注的物体的另一种示意图；
29.图6为本技术实施例提供的驾驶员需要关注的物体的又一种示意图；
30.图7a为本技术实施例提供的驾驶员的视线位于需要关注的物体之内和驾驶员的视线位于需要关注的物体之外的一种示意图；
31.图7b为本技术实施例提供的将需要关注的物体在第二坐标系映射至虚拟相机所对应的坐标系中的一种示意图；
32.图7c为本技术实施例提供的将需要关注的物体在第二坐标系映射至虚拟相机所对应的坐标系中的另一种示意图；
33.图8为本技术实施例提供的第一移动参数和第二移动参数的一种示意图；
34.图9为本技术实施例提供的车辆行驶速度生成装置的一种结构示意图；
35.图10为本技术实施例提供的车辆行驶速度生成装置的另一种结构示意图；
36.图11为本技术实施例提供的车辆的另一种结构示意图；
37.图12为本技术实施例提供的芯片的一种结构示意图。
具体实施方式
38.本技术的说明书和权利要求书及上述附图中的术语“第一”、第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本技术的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
39.下面结合附图，对本技术的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
40.本技术实施例可以应用于车辆中，具体可以应用于判断是否需要对驾驶员发出告警信息的场景中。其中，前述车辆可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车和高尔夫球车等，本技术实施例不做特别的限定。例如，当车辆采用自动驾驶模式时，车辆可以周期性地获取驾驶员的信息，以确定是否需要向驾驶员输出告警信息。又例如，当车辆采用人工驾驶模式时，车辆可以周期性地获取驾驶员的信息，以确定是否需要向驾驶员输出告警信息等，应当理解，此处举例仅为方便理解本技术实施例的应用场景，不对本技术实施例的应用场景进行穷举。
41.为了便于理解本方案，本技术实施例中首先结合图1对车辆的结构进行介绍，请先参阅图1，图1为本技术实施例提供的车辆的一种结构示意图，车辆100配置为完全或部分地
自动驾驶模式，例如，车辆100可以在处于自动驾驶模式中的同时控制自身，并且可通过人为操作来确定车辆及其周边环境的当前状态，确定周边环境中的至少一个其他车辆的可能行为，并确定其他车辆执行可能行为的可能性相对应的置信水平，基于所确定的信息来控制车辆100。在车辆100处于自动驾驶模式中时，也可以将车辆100置为在没有和人交互的情况下操作。
42.车辆100可包括各种子系统，例如行进系统102、传感器系统104、控制系统106、一个或多个外围设备108以及电源110、计算机系统112和用户接口116。可选地，车辆100可包括更多或更少的子系统，并且每个子系统可包括多个部件。另外，车辆100的每个子系统和部件可以通过有线或者无线互连。
43.行进系统102可包括为车辆100提供动力运动的组件。在一个实施例中，行进系统102可包括引擎118、能量源119、传动装置120和车轮/轮胎121。
44.其中，引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合，例如，汽油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为车辆100的其他系统提供能量。传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置120还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。
45.传感器系统104可包括感测关于车辆100周边的环境的信息的若干个传感器。例如，传感器系统104可包括定位系统122(定位系统可以是全球定位gps系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，imu)124、雷达126、激光测距仪128以及相机130。传感器系统104还可包括获取车辆100的内部系统的传感器(例如，用于获取车内空气质量的传感器器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主车辆100的安全操作的关键功能。
46.其中，定位系统122可用于估计车辆100的地理位置。imu 124用于基于惯性加速度来感知车辆100的位置和朝向变化。在一个实施例中，imu 124可以是加速度计和陀螺仪的组合。雷达126可利用无线电信号来感知车辆100的周边环境内的物体，具体可以表现为毫米波雷达或激光雷达。在一些实施例中，除了感知物体以外，雷达126还可用于感知物体的速度和/或前进方向。激光测距仪128可利用激光来感知车辆100所位于的环境中的物体。在一些实施例中，激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。相机130可用于捕捉车辆100的周边环境的多个图像。相机130可以是静态相机或视频相机。
47.控制系统106为控制车辆100及其组件的操作。控制系统106可包括各种部件，其中包括转向系统132、油门134、制动单元136、计算机视觉系统140、线路控制系统142以及障碍避免系统144。
48.其中，转向系统132可操作来调整车辆100的前进方向。例如在一个实施例中可以为方向盘系统。油门134用于控制引擎118的操作速度并进而控制车辆100的速度。制动单元
136用于控制车辆100减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中，制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制车辆100的速度。计算机视觉系统140可以操作来处理和分析由相机130捕捉的图像以便识别车辆100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍体。计算机视觉系统140可使用物体识别算法、运动中恢复结构(structure from motion，sfm)算法、视频跟踪和其他计算机视觉技术。在一些实施例中，计算机视觉系统140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。线路控制系统142用于确定车辆100的行驶路线以及行驶速度。在一些实施例中，线路控制系统142可以包括横向规划模块1421和纵向规划模块1422，横向规划模块1421和纵向规划模块1422分别用于结合来自障碍避免系统144、gps 122和一个或多个预定地图的数据为车辆100确定行驶路线和行驶速度。障碍避免系统144用于识别、评估和避免或者以其他方式越过车辆100的环境中的障碍体，前述障碍体具体可以表现为实际障碍体和可能与车辆100发生碰撞的虚拟移动体。在一个实例中，控制系统106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
49.车辆100通过外围设备108与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备108可包括无线通信系统146、车载电脑148、麦克风150和/或扬声器152。在一些实施例中，外围设备108为车辆100的用户提供与用户接口116交互的手段。例如，车载电脑148可向车辆100的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中，外围设备108可提供用于车辆100与位于车内的其它设备通信的手段。例如，麦克风150可从车辆100的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器152可向车辆100的用户输出音频。无线通信系统146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统146可使用3g蜂窝通信，例如cdma、evd0、gsm/gprs，或者4g蜂窝通信，例如lte。或者5g蜂窝通信。无线通信系统146可利用无线局域网(wireless localarea network，wlan)通信。在一些实施例中，无线通信系统146可利用红外链路、蓝牙或zigbee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统146可包括一个或多个专用短程通信(dedicated short range communications，dsrc)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
50.电源110可向车辆100的各种组件提供电力。在一个实施例中，电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为车辆100的各种组件提供电力。在一些实施例中，电源110和能量源119可一起实现，例如一些全电动车中那样。
51.车辆100的部分或所有功能受计算机系统112控制。计算机系统112可包括至少一个处理器113，处理器113执行存储在例如存储器114这样的非暂态计算机可读介质中的指令115。计算机系统112还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。处理器113可以是任何常规的处理器，诸如商业可获得的中央处理器(central processing unit，cpu)。可选地，处理器113可以是诸如专用集成电路(application specific integrated circuit，asic)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机系统112的其它部件，但是本领域的普
通技术人员应该理解该处理器、或存储器实际上可以包括不存储在相同的物理外壳内的多个处理器、或存储器。例如，存储器114可以是硬盘驱动器或位于不同于计算机系统112的外壳内的其它存储介质。因此，对处理器113或存储器114的引用将被理解为包括可以并行操作或者可以不并行操作的处理器或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤，诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器，所述处理器只执行与特定于组件的功能相关的计算。
52.在此处所描述的各个方面中，处理器113可以位于远离车辆100并且与车辆100进行无线通信。在其它方面中，此处所描述的过程中的一些在布置于车辆100内的处理器113上执行而其它则由远程处理器113执行，包括采取执行单一操纵的必要步骤。
53.在一些实施例中，存储器114可包含指令115(例如，程序逻辑)，指令115可被处理器113执行来执行车辆100的各种功能，包括以上描述的那些功能。存储器114也可包含额外的指令，包括向行进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。除了指令115以外，存储器114还可存储数据，例如道路地图、路线信息，车辆的位置、方向、速度以及其它这样的车辆数据，以及其他信息。这种信息可在车辆100在自主、半自主和/或手动模式中操作期间被车辆100和计算机系统112使用。用户接口116，用于向车辆100的用户提供信息或从其接收信息。可选地，用户接口116可包括在外围设备108的集合内的一个或多个输入/输出设备，例如无线通信系统146、车载电脑148、麦克风150和扬声器152。
54.计算机系统112可基于从各种子系统(例如，行进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制车辆100的功能。例如，计算机系统112可利用来自控制系统106的输入以便控制转向系统132来避免由传感器系统104和障碍避免系统144检测到的障碍体。在一些实施例中，计算机系统112可操作来对车辆100及其子系统的许多方面提供控制。
55.可选地，上述这些组件中的一个或多个可与车辆100分开安装或关联。例如，存储器114可以部分或完全地与车辆100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
56.可选地，上述组件只是一个示例，实际应用中，上述各个模块中的组件有可能根据实际需要增添或者删除，图1不应理解为对本技术实施例的限制。在道路行进的车辆，如上面的车辆100，可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中，可以独立地考虑每个识别的物体，并且基于物体的各自的特性，诸如它的当前速度、加速度、与车辆的间距等，可以用来确定车辆所要调整的速度。
57.可选地，车辆100或者与车辆100相关联的计算设备如图1的计算机系统112、计算机视觉系统140、存储器114可以基于所识别的物体的特性和周围环境的状态(例如，交通、雨、道路上的冰、等等)来预测所识别的物体的行为。可选地，每一个所识别的物体都依赖于彼此的行为，因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。车辆100能够基于预测的所识别的物体的行为来调整它的速度。换句话说，车辆100能够基于所预测的物体的行为来确定车辆将需要调整到(例如，加速、减速、或者停止)什么稳定状态。在这个过程中，也可以考虑其它因素来确定车辆100的速度，诸如，车辆100在行驶的
道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。除了提供调整车辆的速度的指令之外，计算设备还可以提供修改车辆100的转向角的指令，以使得车辆100遵循给定的轨迹和/或维持与车辆100附近的物体(例如，道路上的相邻车道中的轿车)的安全横向和纵向距离。
58.结合上述描述，本技术实施例提供了一种车辆告警方法，可应用于图1中示出的车辆100中，请参阅图2，图2为本技术实施例提供的车辆告警方法的一种流程示意图，本技术实施例提供的车辆告警方法可以包括：a1、获取驾驶员的视线和车辆周围的环境信息。a2、在根据驾驶员的视线确定满足第一条件的情况下，输出告警信息，其中，第一条件包括驾驶员的视线与车辆的行驶意图不匹配，车辆的行驶意图基于车辆周围的环境信息确定。例如，当驾驶员的视线与车辆的行驶方向不一致时，可以视为驾驶员的视线与车辆的行驶意图不匹配；又例如，当驾驶员的视线的视野范围位于车辆确定的需要关注的物体之外时，可以视为驾驶员的视线与车辆的行驶意图不匹配等，还可以存在其他“驾驶员的视线与车辆的行驶意图不匹配”的场景，此处不做穷举。
59.本技术实施例中，提供了告警信息的另一种触发场景，在确定驾驶员的视线与车辆的行驶意图不匹配的情况下，也即在确定驾驶员关注的物体与车辆的智能驾驶系统确定的行驶意图不匹配的情况下，向驾驶员输出告警信息；此外，在“是否输出告警信息”的确定过程中，不仅考虑了车辆内部的驾驶员的视线，还考虑了车辆周围的环境信息，有利于更精准的输出告警信息。
60.以下对本技术实施例提供的车辆告警方法的具体实现方式进行详细描述。具体的，请参阅图3，图3为本技术实施例提供的车辆告警方法的另一种流程示意图，本技术实施例提供的车辆告警方法可以包括：
61.301、获取驾驶员的视线。
62.本技术实施例中，为了能够获取到驾驶员的视线，车辆内部可以部署一个或多个第一传感器，前述一个或多个第一传感器的视野范围(field of view，fov)至少要覆盖驾驶员的头部。其中，第一传感器具体可以表现为摄像头、雷达或其他能够采集驾驶员的视频信息的传感器等；例如，摄像头可以为红外摄像头或其他类型的摄像头。示例性地，任意一个第一传感器的安装位置可以为如下任一种位置：车辆的方向盘上、车辆内部的后视镜上、车辆的a柱(a-pillar)上或车辆内部的其它位置上等等，车辆的a柱指的是分别位于左前方和右前方的两个柱子，两个a柱连接了车辆的顶部和车辆的前舱，需要说明的是，第一传感器的安装位置可以根据实际应用产品灵活设定，此处举例仅为方便理解本方案，不用于限定本方案。
63.车辆可以通过内部的一个或多个第一传感器采集驾驶员在至少一个时刻的信息，驾驶员在至少一个时刻的信息可以为驾驶员在一个时刻的图像；或者，可以为驾驶员在多个时刻的视频；或者，可以为与至少一个时刻一一对应的至少一组点云数据，每组点云数据反映驾驶员在一个时刻的行为。驾驶员在至少一个时刻的信息包括驾驶员头部在至少一个时刻的信息。根据采集到的驾驶员的视频信息，至少可以对驾驶员进行视线追踪，得到驾驶员的视线。例如，车辆可以将采集到的驾驶员的至少一个视频信息输入第一神经网络中，通过第一神经网络对驾驶员进行视线追踪，得到第一神经网络输出的第一信息，第一信息指示驾驶员在至少一个时刻的视线。
64.其中，驾驶员在某个时刻的视线可以包括驾驶员的视线的观察范围在第一坐标系下的位置信息；第一坐标系可以为以第一传感器为原点建立的坐标系，也可以为以车辆的中心为原点建立的坐标系，还可以为以车辆内部的后视镜的中心为原点建立的坐标系等等；第一坐标系可以为二维坐标系、三维坐标系或其他类型的坐标系等等，具体可以结合实际应用场景确定具体采用什么样的第一坐标系，此处不做限定。
65.可选地，车辆根据采集到的驾驶员的至少一个视频信息还可以得到驾驶员的如下任一种或多种信息：驾驶员的疲劳程度、驾驶员是否存在异常行为、驾驶员的用户身份标识号(identity，id)或其他信息等，具体可以结合实际应用场景灵活确定，此处不做穷举。其中，驾驶员的异常行为可以包括：驾驶员接打电话、驾驶员手部离开方向盘、或驾驶员的其他异常行为等等，此处不做限定。
66.302、获取车辆周围的环境信息。
67.本技术实施例中，车辆的外部可以部署一个或多个第二传感器，前述一个或多个第二传感器用于采集车辆周围的环境信息，第二传感器具体可以表现为摄像头、雷达或其他能够采集车辆周围的环境信息的传感器等，每个第二传感器的位置可以结合实际产品形态灵活设定，此处不做限定。其中，车辆周围的环境信息可以表现为车辆周围环境的视频信息，或者，车辆周围的环境信息可以表现为与至少一个时刻一一对应的至少一组点云数据，每组点云数据指示在一个时刻车辆周围的环境，或者，车辆周围的环境信息还可以表现为其他类型的数据，此处不做穷举。
68.303、根据车辆周围的环境信息，确定车辆的行驶意图。
69.本技术的一些实施例中，车辆可以根据车辆周围的环境信息，确定车辆的行驶意图，车辆的行驶意图可以包括车辆的行驶方向和/或驾驶员在行驶过程中需要关注的一个或多个物体。其中，驾驶员在行驶过程中需要关注的一个或多个物体包括车辆外部的物体，例如自车周围的其他车辆、行人、交通指挥灯、交通指挥牌或自车周围的其他物体等；驾驶员在行驶过程汇总需要关注的物体还包括自车上的物体，例如自车内部的后视镜、自车左前方的后视镜、自车右前方的后视镜或自车上的其他物体等等，具体可以结合实际应用场景确定，此处不做限定。
70.示例性地，车辆的行驶意图可以包括自车以50km/h的速度直行，右前方的车辆正准备汇入自车所在车道，在自车直行的过程中需要注意右前方的车辆。又例如，车辆的行驶意图可以包括自车以30km/h的速度在十字路口左转，在自车左转的过程中需要注意位于自车左侧、从十字路口对面驶来的直行的车辆。又例如，车辆的行驶意图可以包括在路口等待红绿灯变为绿色之后执行，需要关注的目标是红绿灯等等，需要说明的是，此处对“车辆的行驶意图”的举例仅为方便理解本方案，不用于限定本方案。
71.步骤303可以包括：车辆根据周围的环境信息，确定车辆的驾驶行为，并确定车辆在行驶过程中需要关注的一个或多个物体。具体的，车辆在根据车辆周围的环境信息，确定了自车周围的至少一个物体之后，可以根据车辆规划的驾驶行为，确定驾驶员在当前时刻最需要关注的一个或多个物体。为更直观地理解本方案，请参阅图4至图6，图4至图6为本技术实施例提供的驾驶员需要关注的物体的三种示意图。先参阅图4，自车规划的驾驶行为为直行，自车根据周围的环境信息，确定自车前方存在一个车辆，自车左侧的车辆准备加塞，则驾驶员在当前时刻最需要关注的物体是自车左侧的车辆。
72.请再参阅图5，自车规划的驾驶行为为左转，自车根据周围的环境信息，确定自车周围没有行人和非机动车辆，则驾驶员在当前时刻最需要关注的物体是交通信号灯和右侧的车辆。
73.请再参阅图6，自车根据周围的环境信息，确定自车周围存在横穿马路的行人，则驾驶员在当前时刻最需要关注的物体是横穿马路的行人，应理解，图4至图6中的示例仅为方便理解“车辆在行驶过程中需要关注的一个或多个物体”这一概念，不用于限定本方案。
74.可选地，步骤303还可以包括：在根据车辆周围的环境信息，确定当前时刻不存在需要关注的某个物体的情况下，车辆还可以将车辆的行驶方向确定为驾驶员的视线的期望方向。例如，当自车在高速上直行时，自车周围不存在其他物体，则可以视为不存在需要关注的某个物体，则可以将车辆的行驶方向确定为驾驶员的视线的期望方向，应理解，此处举例仅为证明本方案具有可实现性，不用于限定本方案。
75.需要说明的是，本技术实施例中不限定步骤301和步骤302至303的执行顺序，可以先执行步骤301，再执行步骤302至303；也可以先执行步骤302至303，再执行步骤301；也可以同时执行步骤301和步骤302至303。
76.304、判断驾驶员的视线是否满足第一条件，若判断结果为是，则进入步骤305；若判断结果为否，则可以确定不需要对驾驶员输出告警信息，第一条件包括驾驶员的视线与车辆的行驶意图不匹配。
77.本技术实施例中，车辆在获取到驾驶员的视线之后，可以判断驾驶员的视线是否满足第一条件，若判断结果为是，则可以进入步骤305；若判断结果为否，则可以确定不需要对驾驶员输出告警信息。可选地，车辆可以周期性地触发判断是否需要对驾驶员输出告警信息，也即每隔第二时间段触发开始执行步骤301，则若判断结果为否，可以确定当前周期内不需要对驾驶员输出告警信息。
78.在一种实现方式中，第二时间段的长度可以为预先设定的固定值，例如，第二时间段的长度可以为2分钟、5分钟、10分钟或其他时间长度等。在另一种实现方式中，第二时间段为可变的，第二时间段的长度的取值因素可以包括如下任一种或多种：车辆的当前行驶速度、车辆规划的驾驶行为的复杂程度、车辆周围的环境的安全程度、驾驶员的驾驶行为的安全度或其他因素等等，例如，车辆的当前行驶速度越慢，第二时间段的长度的取值可以越大；车辆的当前行驶速度越快，第二时间段的取值可以越小。车辆规划的驾驶行为越复杂，第二时间段的取值可以越小，车辆规划的驾驶行为越简单，第二时间段的取值可以越大。车辆周围的环境的安全程度越高，第二时间段的取值可以越大，车辆周围的环境的安全程度越低，第二时间段的取值可以越小。驾驶员的驾驶行为的安全度越高，第二时间段的取值可以越大，驾驶员的驾驶行为的安全度越低，第二时间段的取值可以越小。具体可以结合实际应用场景灵活设定，此处不做限定。
79.其中，第一条件包括驾驶员的视线与车辆的行驶意图不匹配；驾驶员的视线与车辆的行驶意图不匹配的情况可以包括：驾驶员的视线位于需要关注的物体之外。在一种实现方式中，驾驶员的视线位于需要关注的物体之外的情况可以包括：在第一时刻，驾驶员的视线位于需要关注的物体之外；由于在一个第一时刻，需要关注的物体可以为一个或多个，则只要驾驶员的视线位于一个或多个需要关注的物体中的任意一个物体之内，就可以视为驾驶员的视线位于需要关注的物体之内；若驾驶员的视线位于所有需要关注的物体之外，
则可以视为驾驶员的视线位于需要关注的物体之外。具体的，在一种情况中，步骤303为可选步骤，若不执行步骤303，则步骤304可以包括：车辆可以从第一信息中获取第二信息；第二信息指示驾驶员在第一时刻的视线，第二信息可以包括在第一时刻，驾驶员的视线的观察范围在第一坐标系下的位置信息。车辆上部署有第二神经网络，将第二信息和该第一时刻车辆周围的环境信息输入第二神经网络，由第二神经网络输出第一预测信息，第一预测信息指示在该第一时刻，驾驶员的视线是否位于需要关注的物体之外。其中，第二神经网络可以表现为卷积神经网络、残差神经网络或其他类型的神经网络等等。
80.在另一种情况中，若执行步骤303，且步骤303中车辆根据周围的环境信息，确定了驾驶员在行驶过程中的第一时刻需要关注的物体，则步骤304可以包括：车辆可以获取第二信息和第三信息，第二信息可以包括驾驶员在第一时刻的视线的观察范围在第一坐标系下的位置信息，第三信息可以包括驾驶员在第一时刻每个需要关注的物体在第二坐标系下的位置信息，第二坐标系和第一坐标系可以为不同的坐标系，也可以为相同的坐标系。例如，第一坐标系和第二坐标系均为以车辆的中心为原点建立的坐标系；又例如，第一坐标系为以第一摄像头为原点建立的坐标系，第二坐标系为以第二摄像头为原点建立的坐标系，需要说明的是，第一坐标系和第二坐标系具体采用什么样的坐标系可以结合实际应用场景灵活确定，此处不做限定。
81.车辆可以根据第二信息和第三信息，确定驾驶员在第一时刻的视线是否位于需要关注的物体之外。具体的，若第一坐标系和第二坐标系为不同的坐标系，则在一种实现方式中，车辆可以将第二信息和第三信息输入第三神经网络，由第三神经网络输出第二预测信息，第二预测信息指示驾驶员在第一时刻的视线是否位于需要关注的物体之外。
82.在另一种实现方式中，车辆可以根据第二信息和/或第三信息执行映射操作，以将驾驶员在第一时刻的视线的观察范围和第一时刻需要关注的物体映射至同一目标坐标系下。车辆可以根据该目标坐标系下，驾驶员在第一时刻的视线的观察范围和第一时刻需要关注的物体，判断驾驶员的视线是否位于需要关注的物体之外。
83.其中，上述映射操作可以为将驾驶员在第一时刻的视线的观察范围在第一坐标系下的位置信息映射至驾驶员在第一时刻的视线的观察范围在第二坐标系下的位置信息，也即目标坐标系为第二坐标系；或者，将驾驶员在第一时刻需要关注的物体在第二坐标系下的位置信息映射至驾驶员在第一时刻需要关注的物体在第一坐标系下的位置信息，也即目标坐标系为第一坐标系；或者，将驾驶员在第一时刻的视线的观察范围在第一坐标系下的位置信息和驾驶员在第一时刻需要关注的物体在第二坐标系下的位置信息均映射至同样的第三坐标系下，也即目标坐标系为第三坐标系等等，具体采用哪种映射操作可以结合实际情况灵活设定，此处不做限定。
84.具体的，在一种实现方式中，车辆可以获取驾驶员在第一时刻的视线的观察范围的面积(或体积)和第一时刻需要关注的物体的面积(或体积)之间的交集的面积(或体积)，判断前述交集的面积(或体积)是否大于或等于面积(或体积)阈值，若判断结果为是，则确定驾驶员在第一时刻的视线位于需要关注的物体之内；若判断结果为否，则确定驾驶员在第一时刻的视线位于需要关注的物体之外。
85.在另一种实现方式中，车辆可以获取驾驶员在第一时刻的视线的观察范围的面积(或体积)和第一时刻需要关注的物体的面积(或体积)之间的交集的面积(或体积)，与，第
一时刻的视线的观察范围的面积(或体积)之间的第一比值，若前述第一比值大于或等于第一阈值，则确定驾驶员在第一时刻的视线位于需要关注的物体之内；若第一比值小于第一阈值，则确定驾驶员在第一时刻的视线位于需要关注的物体之外。
86.在另一种实现方式中，车辆可以获取驾驶员在第一时刻的视线的观察范围的中心，和，第一时刻需要关注的物体的t个顶点，车辆可以计算由上述中心、原点和每个顶点构成的夹角的角度，重复执行前述操作，直至得到与t个顶点对应的t个角度，若前述多个角度均小于第一角度阈值，则确定驾驶员在第一时刻的视线位于需要关注的物体之内；若前述多个角度中存在至少一个角度大于第一角度阈值，则确定驾驶员在第一时刻的视线位于需要关注的物体之外。
87.需要说明的是，车辆在将驾驶员在第一时刻的视线的观察范围和第一时刻需要关注的物体映射至同一坐标系后，可以采用多种方式来确定驾驶员在第一时刻的视线是否位于需要关注的物体之外，此处举例仅为证明本方案的可实现性，不用于限定本方案。若第一坐标系和第二坐标系为相同的坐标系，车辆可以根据前述同一坐标系下，驾驶员在第一时刻的视线的观察范围和第一时刻需要关注的物体，判断驾驶员的视线是否位于需要关注的物体之外，前述步骤的具体实现方式可以参阅上述描述，此处不再进行赘述。
88.为更直观地理解本方案，请参阅图7a，图7a为本技术实施例提供的驾驶员的视线位于需要关注的物体之内和驾驶员的视线位于需要关注的物体之外的一种示意图。图7a包括上和下两个子示意图，图7a中的灰色椭圆区域代表驾驶员的视线的视野范围，虚线框的区域代表需要关注的物体，图7a中的上子示意图代表驾驶员的视线位于需要关注的物体之内，图7a的下子示意图代表驾驶员的视线位于需要关注的物体之外，应理解，图7a中的示例仅为方便理解本方案，不用于限定本方案。
89.在另一种实现方式中，车辆在获取到第三信息之后，也即获取到驾驶员在第一时刻每个需要关注的物体在第二坐标系下的位置信息之后，可以将驾驶员的眼睛作为虚拟相机所在位置，将前述每个需要关注的物体在第二坐标系下的位置信息映射至与该虚拟相机对应的坐标系下，得到需要关注的物体在与该虚拟相机对应的坐标系下的位置信息。可选地，第二坐标系可以为三维坐标系，该虚拟相机对应的坐标系可以为二维坐标系。为进一步了解本方案，上述映射操作采用的公式可以如下：
[0090][0091]
其中，xw、yw和zw代表需要关注的物体中的任意一个点(为方便描述，后续称为“目标点”)在第二坐标系下的坐标，u和v代表将目标点映射至与该虚拟相机对应的坐标系下的坐标，代表相机的内参矩阵，代表相机的外参矩阵，r代表旋转矩阵，t代表平移矩阵，应理解，此处举例仅为方便理解本方案，不用于限定本方案。
[0092]
为更直观地理解本方案，请参阅图7b和图7c，图7b和图7c为本技术实施例提供的将需要关注的物体在第二坐标系映射至虚拟相机所对应的坐标系中的两种示意图。在图7b中自车周围环境中需要关注的物体(也即图7b中的车辆)在第二坐标系下为三维的车辆，图
7b中以第二坐标系的原点为车辆的前视传感器为例；将前述车辆映射至虚拟相机所对应的坐标系下，虚拟相机是基于驾驶员的眼镜的位置确定的，每个需要关注的物体在虚拟相机所对应的坐标系下的位置为驾驶员的视线范围的期望位置。进而车辆可以根据每个需要关注的物体在该虚拟相机所对应的坐标系下的位置信息，确定驾驶员的视线是否位于需要关注的物体之外，
[0093]
再参阅7c，图7c包括上和下两个子示意图，图7c的上子示意图示出的是车辆的顶部的前视传感器采集到的自车周围的环境信息，也即图7c中车辆周围的物体在第二坐标系中的位置；图7c的下子示意图示出的是将自车周围需要关注的物体映射至人眼所对应的坐标系(也即基于驾驶员的眼睛确定的虚拟相机所对应的坐标系)中的位置。需要说明的是，图7b和图7c仅为方便理解“将驾驶员的眼睛作为虚拟相机所在位置，将每个需要关注的物体在第二坐标系下的位置信息映射至与该虚拟相机对应的坐标系下”这一概念所做的示例，不用于限定本方案。
[0094]
车辆可以根据上述每个需要关注的物体在该虚拟相机所对应的坐标系下的位置信息和驾驶员的视线的观察范围在第一坐标系下的位置信息(也即第二信息)，判断驾驶员在第一时刻的视线是否位于需要关注的物体之外。
[0095]
可选地，驾驶员的视线位于需要关注的物体之外还可以包括：驾驶员在第一时刻的视线位于需要关注的物体之内，且驾驶员的视线在第一时间段内的第二移动参数与第一移动参数不匹配，第一时间段位于第一时刻之后。具体的，车辆在确定驾驶员在第一时刻的视线位于需要关注的物体之内的情况下，还可以根据车辆周围的环境信息，确定需要关注的物体在第一时间段内的第一移动参数；获取驾驶员的视线在第一时间段内的第二移动参数；判断第一移动参数和第二移动参数是否匹配，若判断结果为是，则确定驾驶员的视线位于需要关注的物体之内；若判断结果为否，则确定驾驶员的视线位于需要关注的物体之外。
[0096]
其中，第一移动参数可以包括需要关注的物体在第一时间段内的第一移动方向；对应的，第二移动参数可以包括驾驶员的视线在第一时间段内的第二移动方向。例如，第一移动方向可以为需要关注的物体的中心在第一时间段内的移动方向，第二移动方向可以为驾驶员的视线的观察范围的中心在第一时间段内的移动方向，或者，第一移动方向可以为需要关注的物体中任意一个点在第一时间段内的移动方向，第二移动方向可以为驾驶员的视线的观察范围内的任意一个点在第一时间段内的移动方向。
[0097]
车辆判断第一移动参数和第二移动参数是否匹配的具体实现方式可以包括：判断第一移动方向和第二移动方向之间的夹角是否小于或等于第一角度阈值，若判断结果为是，则可以确定第一移动参数和第二移动参数匹配；若判断结果为否，则可以确定第一移动参数和第二移动参数不匹配。例如，第一角度阈值的取值小于90度，例如，第一角度阈值的取值可以为30度、45度、60度或其他取值等等，此处举例仅为方便理解本方案，不用于限定本方案。
[0098]
为更直观地理解本方案，请参阅图8，图8为本技术实施例提供的第一移动参数和第二移动参数的一种示意图。图8中以第一移动参数和第二移动参数均为移动方向为例，图8中需要关注的物体在第一时间段内的移动方向为向左移动，驾驶员的视线在第一时间段内的移动方向为向右上方移动，则第一移动参数和第二移动参数不匹配，应理解，图8中的示例仅为方便理解本方案，不用于限定本方案。
[0099]
可选地，第一移动参数还可以包括如下任一种或多种信息：需要关注的物体在第一时间段内的第一移动距离、第一移动速度或其他移动信息等等，此处不做穷举。对应的，第二移动参数还可以包括如下任一种或多种信息：驾驶员的视线在第一时间段内的第二移动距离、第二移动速度或其他移动信息等等，此处不做穷举。
[0100]
则车辆判断第一移动参数和第二移动参数是否匹配的具体实现方式可以包括：车辆判断第一移动方向和第二移动方向之间的夹角是否小于或等于第一角度阈值，还可以包括：车辆判断第一移动距离和第二移动距离之间的差值是否小于或等于距离阈值，和/或，判断第一移动速度和第二移动速度之间的差值是否小于或等于速度阈值，和/或，判断需要关注的物体和驾驶员的视线在第一时间段内的其他移动参数之间的差值是否小于第二阈值。若前述判断操作的判断结果均为是，则可以确定第一移动参数和第二移动参数匹配；若任一个判断操作的判断结果为否，则可以确定第一移动参数和第二移动参数不匹配。
[0101]
本技术实施例中，在考量驾驶员的视线是否位于需要关注的物体之外时，不仅考虑单个第一时刻中，驾驶员的视线是否位于需要关注的物体之外，还会考虑第一时刻之后的一个第一时间段内，驾驶员的视线的移动参数是否与需要关注的物体的移动参数一致，有利于提高“驾驶员的视线是否位于需要关注的物体之外”这一判断过程的准确度，也有利于提高车辆行驶过程的安全度。此外，将第一移动参数和第二移动参数均确定为移动方向，也即提供了一种易于实现且准确度较高的实现方案。
[0102]
在另一种实现方式中，驾驶员的视线位于需要关注的物体之外包括：在第一时刻以及第一时刻之后的连续的多个时刻，驾驶员的视线均位于需要关注的物体之外。具体的，在一种实现方式中，车辆可以针对第一时刻以及第一时刻之后的连续的多个时刻中的每个时刻，均判断驾驶员的视线是否位于需要关注的物体之外，若第一时刻以及第一时刻之后的连续的多个时刻中任意一个时刻驾驶员的视线位于需要关注的物体之外，则确定驾驶员的视线位于需要关注的物体之外；若第一时刻以及第一时刻之后的连续的多个时刻中的每个时刻驾驶员的视线均位于需要关注的物体之内，则确定驾驶员的视线位于需要关注的物体之内。车辆判断任意一个时刻驾驶员的视线是否位于需要关注的物体之外的具体实现方式，可以参阅上述描述，此处不做赘述。
[0103]
在另一种实现方式中，车辆从第一信息中获取第三信息，第三信息包括在第一时刻以及第一时刻之后的连续的多个时刻，驾驶员的视线的观察范围在第一坐标系下的位置信息；车辆上可以部署第三神经网络，将第一时刻以及第一时刻之后的连续的多个时刻的车辆周围的环境信息和第三信息输入第三神经网络，由第三神经网络输出第三预测信息，第三预测信息指示第一时刻以及第一时刻之后的连续的多个时刻中是否存在任意一个时刻驾驶员的视线位于需要关注的物体之外，从而确定驾驶员的视线是否位于需要关注的物体之外。
[0104]
本技术实施例中，在车辆行驶的过程中需要根据周围的物体来确定驾驶行为，也即智能驾驶系统和驾驶员在车辆行驶过程中均需要实时观察周围的物体，将驾驶员的视线位于需要关注的物体之外确定为驾驶员的视线与车辆的行驶意图不匹配的一种情况，符合人工驾驶的逻辑，也即本方案与实际应用场景的贴合度较高，有利于准确的确定驾驶员的视线是否与车辆的行驶意图匹配。
[0105]
可选地，若执行步骤303，且在步骤303中车辆根据周围的环境信息，确定驾驶员在
行驶过程中的第一时刻不存在需要关注的某个物体的情况下，车辆规划的行驶方向确定为驾驶员的视线的期望方向；则步骤304可以包括：判断驾驶员的视线的方向是否与车辆的行驶方向匹配；若判断结果为否，则可以确定驾驶员的视线满足第一条件，若判断结果为是，则可以确定驾驶员的视线不满足第一条件。可选地，驾驶员的视线的方向与车辆的行驶方向不匹配的情况可以包括驾驶员的视线方向与车辆的行驶方向之间的夹角大于或等于第二角度阈值。例如，第二角度阈值的取值可以为45度、50度或其他取值等。示例性地，车辆行驶的方向是向前，若驾驶员的视线的方向是向左，则车辆可以确定驾驶员的视线的方向与车辆的行驶意图不匹配，也即确定满足第一条件；若驾驶员的视线的方式是向前，则车辆可以确定驾驶员的视线的方向与车辆的行驶意图匹配，也即确定不满足第一条件，应理解，此处举例仅为方便理解本方案，不用于限定本方案。
[0106]
可选地，第一条件还可以包括驾驶员存在异常行为，则步骤304中，车辆还可以根据步骤301中获取的驾驶员在至少一个时刻的信息，确定驾驶员是否存在异常行为，若确定驾驶员存在异常行为，也可以触发进入步骤305，也即向驾驶员输出告警信息。例如，异常行为可以包括：疲劳驾驶、接打电话或驾驶员的其他异常行为等，此处不做穷举。
[0107]
305、输出告警信息。
[0108]
本技术实施例中，在一种实现方式中，车辆在确定驾驶员的视线与车辆的行驶意图不匹配的情况下，可以直接触发进入步骤305，也即触发对驾驶员输出告警信息；在另一种实现方式中，车辆在确定驾驶员的视线与车辆的行驶意图不匹配的时长达到第一时长时，确定触发进入步骤305。其中，第一时长可以为预先设定在车辆中的，例如，第一时长的长度可以为15秒、20秒、25秒或其他时长等等，此处不做穷举。
[0109]
可选地，车辆中输出告警信息的方式可以包括至少两种，车辆可以根据驾驶员的视线与车辆的行驶意图不匹配的累计时长，确定具体采用哪种告警方式。例如，当车辆确定驾驶员的视线与车辆的行驶意图不匹配的累计时长达到第一时长时，可以确定采用第一类型的告警方式；当车辆确定驾驶员的视线与车辆的行驶意图不匹配的累计时长达到第二时长时，可以确定采用第二类型的告警方式；第二时长的取值可以大于第一时长。
[0110]
可选地，车辆输出告警信息的至少两种方式可以包括：第一类型的告警方式、第二类型的告警方式和第三类型的告警方式，对应的，当车辆确定驾驶员的视线与车辆的行驶意图不匹配的累计时长达到第一时长时，可以确定采用第一类型的告警方式；当车辆确定驾驶员的视线与车辆的行驶意图不匹配的累计时长达到第二时长时，可以确定采用第二类型的告警方式；当车辆确定驾驶员的视线与车辆的行驶意图不匹配的累计时长达到第三时长时，可以确定采用第三类型的告警方式。第一类型的告警方式可以包括视觉类型的告警信息，第二类型的告警方式可以包括视觉类型的告警信息和声觉类型的告警信息，第三类型的告警方式均可以包括视觉类型的告警信息、声觉类型的告警信息和触觉类型的告警信息。
[0111]
例如，视觉类型的告警信息可以包括：通过车辆的仪表盘上的提示灯向驾驶员输出告警信息，或者，可以通过抬头显示系统(head up display，hud)向驾驶员输出告警信息，或者，还可以通过其他方式输出视觉类型的告警信息等等，此处不做穷举。触觉类型的告警信息可以包括：拉紧安全带、方向盘发出振动或其他方式的触觉类型的告警信息等等，此处举例仅为方便理解本方案，不用于限定本方案。
[0112]
可选地，第一时长的取值可以与驾驶员的驾驶行为的安全度具有关联关系，第二时长和/或第三时长的取值也可以与驾驶员的驾驶行为的安全度具有关联关系。例如，驾驶员的驾驶行为的安全度越高，第一时长的取值可以越长，驾驶员的驾驶行为的安全度越低，第一时长的取值可以越短。对应的，驾驶员的驾驶行为的安全度越高，第二时长和/或第三时长的取值可以越长，驾驶员的驾驶行为的安全度越低，第二时长和/或第三时长的取值可以越短。
[0113]
具体的，车辆可以根据驾驶员的如下任一种或多种驾驶行为信息，确定驾驶员的驾驶行为的安全度：前向预警累计次数(forward collision warning，fcw)、急加速次数、急减速次数、跟车时与前车的距离、打方向盘的缓急程度、车辆的智能驾驶系统接管用户驾驶的平均次数或其他能够反映驾驶员的驾驶行为的安全度的信息等，此处不进行穷举。
[0114]
更具体的，车辆可以对驾驶员的至少一种驾驶行为信息中每种驾驶行为信息进行无量纲化处理后进行加权求和，得到驾驶员的驾驶行为的安全指数，该安全指数指示了驾驶员的驾驶行为的安全度；可选地，安全指数越高，驾驶员的驾驶行为的安全度可以越低。为更直观地理解本方案，如下通过表1展示驾驶员的驾驶行为的安全指数和第一时长、第二时长以及第三时长的关联关系。
[0115]
安全指数第一时长第二时长第三时长k1204060k2204065k3153050
[0116]
表1
[0117]
其中，表1中的k1、k2和k3分别代表不同的安全指数，对于表1中的第一行，当安全指数为k1时，驾驶员的视线与车辆的行驶意图不匹配的累计时长达到20秒，触发车辆输出第一类型的警示信息，驾驶员的视线与车辆的行驶意图不匹配的累计时长达到40秒，触发车辆输出第二类型的警示信息，驾驶员的视线与车辆的行驶意图不匹配的累计时长达到60秒，触发车辆输出第三类型的警示信息。对于表1中的第二行和第三行的理解，可以参阅上述对表1的第一行的解释，此处不再赘述，应理解，表1中的示例仅为方便理解本方案，不用于限定本方案。
[0118]
本技术实施例中，驾驶员的视线与车辆的行驶意图不匹配的时长达到第一时长时，向驾驶员输出告警信息，也即第一时长的取值可以影响输出告警信息的频率，而驾驶员的驾驶行为的安全度会影响第一时长的取值，有利于降低向安全度高的驾驶员输出告警信息的频率，从而避免打扰到用户；也有利于提高向安全度低的驾驶员输出告警信息的频率，以提高驾驶过程的安全度。
[0119]
306、向驾驶员显示需要关注的物体。
[0120]
本技术的一些实施例中，车辆还可以向驾驶员展示需要关注的物体，例如，车辆可以通过hud向驾驶员突出显示车辆确定的需要关注的物体；可选地，车辆可以在通过hud向驾驶员显示导航路线时，突出显示需要关注的物体。突出显示的方式包括如下任一种或多种：在需要关注的物体旁边增设提示文本、将需要关注的物体框起来或其他突出显示需要关注的物体的方式等等，此处不做穷举。又例如，车辆可以通过语音播放的形式向用户提示需要关注的物体等等，车辆也可以采用其他方式向用户展示需要关注的物体，此处不做穷
举。本技术实施例中，还可以向驾驶员展示需要关注的物体，从而可以协助驾驶员学习智能驾驶系统的驾驶思路，有利于提高驾驶员的驾驶行为的安全度。
[0121]
本技术实施例中，提供了告警信息的另一种触发场景，在确定驾驶员的视线与车辆的行驶意图不匹配的情况下，也即在确定驾驶员关注的物体与车辆的智能驾驶系统确定的行驶意图不匹配的情况下，向驾驶员输出告警信息；此外，在“是否输出告警信息”的确定过程中，不仅考虑了车辆内部的驾驶员的视线，还考虑了车辆周围的环境信息，有利于更精准的输出告警信息。
[0122]
在图1至图8所对应的实施例的基础上，为了更好的实施本技术实施例的上述方案，下面还提供用于实施上述方案的相关设备。具体参阅图9，图9为本技术实施例提供的车辆行驶速度生成装置的一种结构示意图。车辆告警装置900包括可以包括获取模块901和告警模块902，其中，获取模块901，用于获取驾驶员的视线和车辆周围的环境信息；告警模块902，用于在根据驾驶员的视线确定满足第一条件的情况下，输出告警信息，其中，第一条件包括驾驶员的视线与车辆的行驶意图不匹配，车辆的行驶意图基于车辆周围的环境信息确定。
[0123]
可选地，请参阅图10，图10为本技术实施例提供的车辆行驶速度生成装置的另一种结构示意图。车辆告警装置900还包括：处理模块903，用于根据车辆周围的环境信息，确定驾驶员在行驶过程中需要关注的物体，其中，车辆的行驶意图包括驾驶员在行驶过程中需要关注的物体，驾驶员的视线与车辆的行驶意图不匹配的情况包括：驾驶员的视线位于需要关注的物体之外。
[0124]
可选地，请参阅图10，处理模块903，还用于根据车辆周围的环境信息，确定需要关注的物体在第一时间段内的第一移动参数，其中，驾驶员的视线位于需要关注的物体之外还包括：驾驶员在第一时刻的视线位于需要关注的物体之内，且驾驶员的视线在第一时间段内的第二移动参数与第一移动参数不匹配，第一时间段位于第一时刻之后。
[0125]
可选地，第一移动参数包括需要关注的物体在第一时间段内的第一移动方向，第二移动参数包括驾驶员的视线在第一时间段内的第二移动方向，第二移动参数与第一移动参数不匹配的情况包括：第一移动方向和第二移动方向之间的差异满足第二条件。
[0126]
可选地，请参阅图10，车辆告警装置900还包括：展示模块904，用于向驾驶员展示需要关注的物体。
[0127]
可选地，告警模块902，具体用于当驾驶员的视线与车辆的行驶意图不匹配的时长达到第一时长时，输出告警信息，第一时长的取值与驾驶员的驾驶行为的安全度具有关联关系。
[0128]
需要说明的是，车辆告警装置900中各模块/单元之间的信息交互、执行过程等内容，与本技术中图2至图8对应的各个方法实施例基于同一构思，具体内容可参见本技术前述所示的方法实施例中的叙述，此处不再赘述。
[0129]
本技术实施例还提供了一种车辆，结合上述对图1的描述，请参阅图11，图11为本技术实施例提供的车辆的另一种结构示意图，其中，车辆100上可以部署有图9和图10对应实施例中所描述的车辆告警装置900，用于实现图2至图8对应实施例中车辆的功能。由于在部分实施例中，车辆100还可以包括通信功能，则车辆100除了包括图1中所示的组件，还可以包括：接收器1101和发射器1102，其中，处理器113可以包括应用处理器1131和通信处理
器1132。在本技术的一些实施例中，接收器1101、发射器1102、处理器113和存储器114可通过总线或其它方式连接。
[0130]
处理器113控制车辆的操作。具体的应用中，车辆100的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
[0131]
接收器1101可用于接收输入的数字或字符信息，以及产生与车辆的相关设置以及功能控制有关的信号输入。发射器1102可用于通过第一接口输出数字或字符信息；发射器1102还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1102还可以包括显示屏等显示设备。
[0132]
本技术实施例中，应用处理器1131，用于执行图2对应实施例中的车辆执行的车辆告警方法。具体的，应用处理器1131用于执行如下步骤：获取驾驶员的视线和车辆周围的环境信息；在根据驾驶员的视线确定满足第一条件的情况下，输出告警信息，其中，第一条件包括驾驶员的视线与车辆的行驶意图不匹配，车辆的行驶意图基于车辆周围的环境信息确定。需要说明的是，对于应用处理器1131执行车辆告警方法的具体实现方式以及带来的有益效果，均可以参考图2至图8对应的各个方法实施例中的叙述，此处不再一一赘述。
[0133]
本技术实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于生成车辆行驶速度的程序，当其在计算机上运行时，使得计算机执行如前述图2至图8所示实施例描述的方法中车辆所执行的步骤。
[0134]
本技术实施例中还提供一种包括计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图2至图8所示实施例描述的方法中车辆所执行的步骤。
[0135]
本技术实施例中还提供一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行如前述图2至图8所示实施例描述的方法中车辆所执行的步骤。
[0136]
本技术实施例提供的车辆行驶速度生成装置或车辆具体可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使服务器内的芯片执行上述图2至图8所示实施例描述的车辆告警方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)等。
[0137]
具体的，请参阅图12，图12为本技术实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器npu 120，npu 120作为协处理器挂载到主cpu(host cpu)上，由host cpu分配任务。npu的核心部分为运算电路120，通过控制器1205控制运算电路1203提取存储器中的矩阵数据并进行乘法运算。
[0138]
在一些实现中，运算电路1203内部包括多个处理单元(process engine,pe)。在一些实现中，运算电路1203是二维脉动阵列。运算电路1203还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1203是通用的矩阵处理器。
[0139]
举例来说，假设有输入矩阵a，权重矩阵b，输出矩阵c。运算电路从权重存储器1202中取矩阵b相应的数据，并缓存在运算电路中每一个pe上。运算电路从输入存储器1201中取
矩阵a数据与矩阵b进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1208中。
[0140]
统一存储器1206用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller，dmac)1205，dmac被搬运到权重存储器1202中。输入数据也通过dmac被搬运到统一存储器1206中。
[0141]
biu为bus interface unit即，总线接口单元1210，用于axi总线与dmac和取指存储器(instruction fetch buffer，ifb)1209的交互。
[0142]
总线接口单元1210(bus interface unit，简称biu)，用于取指存储器1209从外部存储器获取指令，还用于存储单元访问控制器1205从外部存储器获取输入矩阵a或者权重矩阵b的原数据。
[0143]
dmac主要用于将外部存储器ddr中的输入数据搬运到统一存储器1206或将权重数据搬运到权重存储器1202中或将输入数据数据搬运到输入存储器1201中。
[0144]
向量计算单元1207包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如batch normalization(批归一化)，像素级求和，对特征平面进行上采样等。
[0145]
在一些实现中，向量计算单元1207能将经处理的输出的向量存储到统一存储器1206。例如，向量计算单元1207可以将线性函数和/或非线性函数应用到运算电路1203的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1207生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1203的激活输入，例如用于在神经网络中的后续层中的使用。
[0146]
控制器1205连接的取指存储器(instruction fetch buffer)1209，用于存储控制器1205使用的指令；
[0147]
统一存储器1206，输入存储器1201，权重存储器1202以及取指存储器1209均为on-chip存储器。外部存储器私有于该npu硬件架构。
[0148]
其中，图2至图8示出的各个方法实施例中提及的神经网络中各层的运算可以由运算电路1203或向量计算单元1207执行。
[0149]
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，asic，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
[0150]
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本技术提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
[0151]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用clu、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以
很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本技术而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、u盘、移动硬盘、rom、ram、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0152]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0153]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。