驾驶辅助系统和方法与流程

[0001]
本公开涉及一种驾驶支持系统和方法。


背景技术：

[0002]
自主或自动驾驶车辆或者半自主或辅助驾驶车辆越来越多地用于实现驾驶效率和驾驶便捷性以及减少交通事故。为了实现这样的自主/自驾驶或者半自主/辅助驾驶操作，在从下述的各种实现方式中存在与这种车辆的控制相关的正在解决的各种问题：简单地向驾驶员提供关于驾驶体验的信息、提供驾驶辅助功能(其中，可选择性地控制制动、加速和/或转向中的一个或更多个)同时要求驾驶员监督驾驶辅助功能(其中，这种驾驶辅助功能可包括车道偏离警告或避免、碰撞避免或自动紧急制动或者盲点警告)，同时还有其他实现方式使车辆额外地或替代地执行车辆的驾驶，而乘客仅需要根据车辆的请求进行驾驶，或者还有更全自动的实施方式(其中，车辆将不需要乘客执行任何驾驶功能，或者甚至车辆不包括方向盘以及加速踏板和制动踏板)。这样的车辆实现方式可通过车辆中的各个驾驶程序提供这样的信息服务、驾驶辅助、半自主、自主和完全自主驾驶的各种能力，以实现这种不同级别的信息、辅助和/或自主。因此，许多汽车制造公司、非汽车制造公司以及非制造公司和机构已通过高级驾驶员辅助系统(adas)分别开发了用于这种不同级别的信息、辅助和/或自主的各种驾驶程序。
[0003]
此外，虽然车辆制造商已经制造或表示他们将制造具有工程配置的汽车(其具有提供信息或其他反馈并完全基于电子控制信号来控制加速、制动、转向等的设计能力)，但是这些制造商已使得由车辆通过这些各种驾驶程序来实现这些能力变得过于缓慢(例如，没有制造商生产出在车辆中具有车载自主驾驶程序以实现完全自主驾驶的市售车辆)。因此，当这些车辆在没有这种自主驾驶程序或者没有各种辅助或信息程序的情况下被发布(release)时，尽管这种车辆可通过各种控制信号而具有用于这种自动化和辅助/信息实现的物理能力，但是用户在使用这种车辆时尚不能够体验完全自主驾驶和/或体验各种辅助和/或信息服务，或者可能受限于汽车制造商的封闭系统或专有驾驶程序(其仅能够实现关于车辆的有限的自主和/或辅助/信息服务)，例如，虽然车辆具有基于例如各个控制信令而提供这种辅助和/或信息服务以及对所有驾驶组件的控制的工程或制造能力，但是当车辆可通过替代编程提供许多其他信息/辅助功能以及车辆驾驶的一些、更多或完全自主控制时，制造商的车辆自主驾驶程序仅能够向驾驶员提供有限的驾驶状况信息。另外，这样的制造商可能在车辆制造之后通常不提供对这样的驾驶程序的更新，例如当附加的或替代的基于信息、辅助和/或自主的功能变得可用时。


技术实现要素：

[0004]
提供本发明内容是为了按照简化的形式介绍在下面的具体实施方式中进一步描述的构思的选择。本发明内容既不意在限定所要求保护的主题的关键特征或必要特征，也不意在用作帮助确定所要求保护的主题的范围。
[0005]
在一个总体方面，一种用于与单独的车辆进行交互的驾驶支持系统，所述车辆包括生成所述车辆的周边的图像信息的相机系统、生成所述车辆的驾驶信息的车辆控制器以及通信端口，所述驾驶支持系统包括：驾驶支持终端，所述驾驶支持终端包括一个或更多个处理器，所述一个或更多个处理器被配置为：与所述通信端口连接、使用所述通信端口获得所述图像信息和/或所述驾驶信息、基于所述图像和/或所述驾驶信息执行所述驾驶支持终端的驾驶程序的至少一部分，以针对所述车辆的一个或更多个辅助驾驶和/或自主操作通过由所述驾驶支持终端生成并提供给所述车辆的控制信令来控制所述车辆。
[0006]
所述驾驶支持终端的所述驾驶程序可包括驾驶辅助程序和/或自主驾驶程序。
[0007]
所述车辆控制器可被配置为执行存储在所述车辆的存储器中的车辆驾驶程序以控制所述车辆，所述车辆驾驶程序包括车辆驾驶辅助程序和/或车辆自主驾驶程序。
[0008]
所述驾驶支持终端的所述一个或更多个处理器还可被配置为：确定所述驾驶支持终端的所述驾驶程序的所述驾驶辅助程序与所述车辆驾驶程序的所述车辆驾驶辅助程序中的哪一个是adas最高级别的驾驶辅助程序，和/或确定所述驾驶支持终端的所述驾驶程序的所述自主驾驶程序与所述车辆驾驶程序的所述车辆自主驾驶程序中的哪一个是adas最高级别的自主驾驶程序，并且所述一个或更多个处理器被配置为执行adas最高级别的驾驶辅助程序和/或adas最高级别的自主驾驶程序，以针对所述车辆的所述一个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0009]
所述驾驶支持终端的所述一个或更多个处理器还可被配置为：执行第一确定以确定所述驾驶支持终端的所述驾驶程序的哪些功能具有比所述车辆驾驶程序的相应功能更高的功能级别，执行第二确定以确定所述驾驶支持终端的所述驾驶程序的哪些功能不由所述车辆驾驶程序提供，和/或执行第三确定以确定所述车辆驾驶程序的哪些功能不由所述驾驶支持终端的所述驾驶程序提供，并且所述一个或更多个处理器被配置为通过基于所述第一确定、所述第二确定和所述第三确定中的任何一个或任何组合在所述驾驶支持终端的控制下选择性地实现所述驾驶支持终端的所述驾驶程序和所述车辆驾驶程序来控制所述车辆所实现的驾驶程序功能，以针对所述车辆的所述一个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0010]
所述驾驶支持系统还可包括具有一个或更多个处理器的移动装置，所述移动装置的所述一个或更多个处理器被配置为基于所述图像信息和/或所述驾驶信息执行移动装置驾驶程序(包括移动装置驾驶辅助程序和/或移动装置自主驾驶程序)的至少一部分，以针对所述车辆的一个或更多个辅助驾驶和/或自主操作来控制所述车辆，并且所述移动装置的所述一个或更多个处理器或者所述驾驶支持终端的所述一个或更多个处理器还可被配置为确定所述驾驶支持终端的所述驾驶程序的所述驾驶辅助程序、所述移动装置驾驶辅助程序和所述车辆驾驶程序的所述车辆驾驶辅助程序中的哪一个是adas最高级别的驾驶辅助程序，和/或确定所述驾驶支持终端的所述驾驶程序的所述自主驾驶程序、所述移动装置自主驾驶程序和所述车辆驾驶程序的所述自主驾驶程序中的哪一个是adas最高级别的自主驾驶程序，并且被配置为执行adas最高级别的驾驶辅助程序和/或adas最高级别的自主驾驶程序，以针对所述车辆的一个或多个辅助驾驶和/或自主操作来控制所述车辆。
[0011]
所述驾驶支持系统还可包括具有一个或更多个处理器的移动装置，所述移动装置的所述一个或更多个处理器被配置为基于所述图像信息和/或所述驾驶信息执行移动装置
驾驶程序(包括移动装置驾驶辅助程序和/或移动装置自主驾驶程序)的至少一部分，以针对所述车辆的一个或更多个辅助驾驶和/或自主操作来控制所述车辆，并且所述移动装置的所述一个或更多个处理器或者所述驾驶支持终端的所述一个或更多个处理器还可被配置为执行第一确定以确定所述驾驶支持终端的所述驾驶程序的哪些功能和所述移动装置驾驶程序的哪些功能具有比所述车辆驾驶程序的对应功能更高的功能级别，执行第二确定以确定所述驾驶支持终端的所述驾驶程序的哪些功能和所述移动装置驾驶程序的哪些功能不由所述车辆驾驶程序提供，和/或执行第三确定以确定所述驾驶支持终端的所述驾驶程序和所述移动装置驾驶程序不提供所述车辆驾驶程序的哪些功能，并且被配置为通过基于所述第一确定、所述第二确定和所述第三确定中的任何一个或任何组合在所述驾驶支持终端或所述移动装置的控制下通过选择性地实现所述驾驶支持终端的所述驾驶程序、所述移动装置驾驶程序和所述车辆驾驶程序，来控制所述车辆实现的驾驶程序功能。
[0012]
当基于所述第一确定、所述第二确定和所述第三确定中的任何一个或任何组合选择性地实现所述驾驶支持终端的所述驾驶程序、所述移动装置驾驶程序和所述车辆驾驶程序时，可包括在所述驾驶支持终端的所述驾驶程序和所述移动装置驾驶程序的相应功能之间进行选择，其中所述移动装置的所述一个或更多个处理器或所述驾驶支持终端的所述一个或更多个处理器可被配置为从这些相应功能中选择具有预定的较大功能性的功能。
[0013]
所述驾驶支持终端的所述一个或更多个处理器还可被配置为：执行第一确定以确定所述驾驶支持终端的所述驾驶程序的哪些功能和与所述驾驶支持终端通信的移动装置的移动装置驾驶程序的哪些功能具有比所述车辆驾驶程序的相应功能更高的功能级别，执行第二确定以确定所述驾驶支持终端的所述驾驶程序的哪些功能和所述移动装置驾驶程序的哪些功能不由所述车辆驾驶程序提供，和/或第三确定以确定执行所述驾驶支持终端的所述驾驶程序和所述移动装置驾驶程序不提供所述车辆驾驶程序的哪些功能，并且被配置为通过基于所述第一确定、所述第二确定和第三确定中的任何一个或任何组合在所述驾驶支持终端的所述驾驶程序的控制下通过选择性地实现所述驾驶支持终端的所述驾驶程序、所述移动装置驾驶程序和所述车辆驾驶程序，来控制所述车辆实现的驾驶程序功能，以针对车辆的一个或更多个辅助驾驶和/或自主操作来控制车辆。
[0014]
所述驾驶支持系统还可包括移动装置，所述移动装置具有一个或更多个处理器和存储移动装置驾驶程序的存储器，所述移动装置驾驶程序包括移动装置驾驶辅助程序和/或移动装置自主驾驶程序。
[0015]
当基于所述第一确定、所述第二确定和所述第三确定中的任何一个或任何组合选择性地实现所述驾驶支持终端的驾驶程序、所述移动装置驾驶程序和所述车辆驾驶程序时，可包括在所述驾驶支持终端的驾驶程序和所述移动装置驾驶程序的相应功能之间进行选择，其中所述驾驶支持终端的一个或更多个处理器可被配置为从这些相应功能中选择具有预定的较大功能的功能。
[0016]
所述驾驶支持终端的一个或更多个处理器还可被配置为确定所述驾驶支持终端的驾驶程序的驾驶辅助程序、与所述驾驶支持终端通信的移动装置的驾驶程序的移动装置驾驶辅助程序和所述车辆驾驶程序的车辆驾驶辅助程序中的哪一个是adas最高级别的驾驶辅助程序，和/或确定所述驾驶支持终端的驾驶程序的自主驾驶程序、所述移动装置的所述驾驶程序中的移动装置自主驾驶程序和所述车辆驾驶程序中的所述自主驾驶程序中的
哪一个是adas最高级自主驾驶程序，并且被配置为执行adas最高级驾驶辅助程序和/或adas最高级自主驾驶程序，以针对所述车辆的所述一个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0017]
所述驾驶支持系统还可包括移动装置，所述移动装置具有一个或更多个处理器和存储移动装置驾驶程序的存储器，所述移动装置驾驶程序包括移动装置驾驶辅助程序和移动装置自主驾驶程序。
[0018]
为了生成所述控制信令，所述驾驶辅助程序可被配置为生成驾驶支持控制信令和驾驶支持信息，其中，所述驾驶支持控制信令是用于辅助控制所述车辆的辅助驾驶操作以显示所述驾驶支持信息的信令。
[0019]
所述车辆的所述驾驶支持信息可包括指示驾驶员控制所述车辆的转向操作、制动操作和加速操作中的至少一个的信息。
[0020]
所述指示所述驾驶员的操作可包括由所述驾驶程序确定的：障碍物检测警告和/或指示所述驾驶员执行相应的避障转向和/或制动；提供后方碰撞警告和/或指示所述驾驶员执行相应的后方碰撞避免制动；提供车道偏离警告、指示所述驾驶员执行相应的车道偏离补救或维持转向、和/或指示所述驾驶员建议车道改变。
[0021]
为了生成所述控制信令，所述驾驶辅助程序可被配置为生成驾驶支持控制信令，其中，所述驾驶支持控制信令可以是用于控制所述车辆的辅助驾驶操作以辅助控制所述车辆的转向操作、制动操作和加速操作中的至少一个的信令。
[0022]
所述用于控制所述车辆的辅助驾驶操作以辅助控制所述车辆的转向操作、制动操作和加速操作中的至少一个的所述信令可包括：控制所述车辆的转向操作、制动操作和加速操作中的至少一个，以用于由所述驾驶程序确定的检测到的障碍物辅助避免、检测到的后方碰撞辅助避免、预测到的和/或检测到的车道偏离辅助预防或补救、和/或辅助车道改变。
[0023]
所述驾驶支持控制信令可以是用于控制所述车辆的所述辅助驾驶操作以显示由所述驾驶辅助程序生成的驾驶支持信息的信令，所述驾驶支持信息指示关于所述车辆的辅助控制的转向操作、制动操作和加速操作中的至少一个的信息。
[0024]
所述自主驾驶程序可被配置为生成驾驶控制信令，其中，所述驾驶控制信令可以是用于控制所述车辆的自主驾驶操作的信令，以在没有驾驶员的辅助控制的情况下控制所述车辆的转向操作、制动操作和加速操作中的至少一个。
[0025]
生成所述驾驶控制信令的操作可包括：执行被遮挡对象预测、车道改变确定、行人识别、道路改变识别和道路标志识别中的任何一个或者两个或更多个的任何组合；以及基于所述执行的结果生成所述驾驶控制信令。
[0026]
所述驾驶支持终端的所述一个或更多个处理器可包括一个或更多个人工智能处理器，所述一个或更多个人工智能处理器被配置为：从所述驾驶支持系统的存储器加载一个或更多个人工智能模型并且实现所述一个或更多个人工智能模型以执行所述被遮挡对象预测、所述车道改变确定、所述行人识别、所述道路改变识别和所述道路标志识别中的任何一个或者两个或更多个的任何组合，以及基于所述执行的结果生成所述驾驶控制信令。
[0027]
所述一个或更多个人工智能处理器可包括一个或更多个神经形态处理器，并且所述一个或更多个人工智能模型可以是各自的神经网络模型。
[0028]
所述一个或更多个处理器可被配置为对所获得的图像信息和/或通过所述驾驶支持终端模型获得的其他图像信息执行后处理，并且所述一个或更多个处理器可包括一个或更多个人工智能处理器，其中，所述执行所述驾驶程序的至少一部分可包括执行用于提供后处理的所获得的图像信息和/或后处理的其他图像信息的一个或更多个神经网络模型。
[0029]
所述一个或更多个处理器可被配置为对所获得的图像信息和/或通过所述驾驶支持终端模型获得的其他图像信息执行后处理，并且所述一个或更多个处理器可包括一个或更多个人工智能处理器，其中，所述一个或更多个处理器可被配置为通过执行一个或更多个神经网络模型使用后处理的所获得的图像信息和/或后处理的其他图像信息来实现导航程序，其中，使用提供后处理的所获得的图像信息和/或后处理的其他图像信息的所述一个或更多个人工智能处理器来执行所述一个或更多个神经网络模型。
[0030]
所述一个或更多个处理器可被配置为与所述通信端口连接以获得所述驾驶信息，并且被配置为从与所述车辆分离的、与所述驾驶支持终端通信的另一相机获得其他图像信息，并且可基于获得的所述驾驶信息和所述其他图像信息来执行所述驾驶程序的至少一部分。
[0031]
所述一个或更多个处理器可被配置为从所述其他图像信息生成所述车辆的周边的图像，并且被配置为将所述车辆的周边的图像提供给所述车辆以供所述车辆显示。
[0032]
所述驾驶支持终端可包括obd型连接端子，并且所述驾驶支持终端使用所述obd型连接端子连接到所述通信端口。
[0033]
所述图像信息可从所述车辆获得，和/或其他图像信息可从与所述车辆分离的相机获得，并且所述一个或更多个处理器还可被配置为使用所述图像信息和/或所述其他图像信息以及所述驾驶信息来实现导航程序中的至少一个。
[0034]
所述驾驶支持终端可使用c型usb端子连接连接到所述通信端口。
[0035]
所述驾驶支持终端可包括：存储器，存储所述驾驶辅助程序和所述自主驾驶程序；以及所述一个或更多个处理器可包括神经处理单元，所述神经处理单元通过执行所述驾驶程序的所述至少一部分来生成所述驾驶支持信息。
[0036]
所述神经处理单元可包括：图像输入接收器，从所述相机系统获得的图像被输入到所述图像输入接收器；图像预处理器，被配置为从输入到所述图像接收器的图像中提取兴趣图像的区域；目标识别神经网络模型，被实现为识别所述兴趣图像中的目标；以及驾驶支持信息生成器，被配置为针对识别的所述目标执行所述驾驶辅助程序和/或所述自主驾驶程序的至少一部分。
[0037]
所述驾驶支持系统还可包括具有一个或更多个处理器的移动装置，所述一个或更多个处理器被配置为基于所述图像信息和/或所述驾驶信息执行移动装置驾驶程序(包括移动装置驾驶辅助程序和/或移动装置自主驾驶程序)的至少一部分，以针对所述车辆的一个或更多个辅助驾驶和/或自主操作来控制所述车辆，其中所述移动装置的所述一个或更多个处理器或者所述驾驶支持终端的所述一个或更多个处理器还可被配置为确定所述驾驶支持终端的驾驶程序和所述移动装置驾驶辅助程序中的哪一个驾驶辅助程序是adas最高级别的驾驶辅助程序，和/或确定所述驾驶支持终端的驾驶程序和所述移动装置自主驾驶程序中的哪一个自主驾驶程序是adas最高级别的自主驾驶程序，并且被配置为执行adas最高级别的驾驶辅助程序和/或adas最高级别的自主驾驶程序，以针对所述车辆的所述一
个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0038]
所述驾驶支持系统还可包括具有一个或更多个处理器的移动装置，所述一个或更多个处理器被配置为基于所述图像信息和/或所述驾驶信息执行移动装置驾驶程序(包括移动装置驾驶辅助程序和/或移动装置自主驾驶程序)的至少一部分，以针对所述车辆的一个或更多个辅助驾驶和/或自主操作来控制所述车辆，并且所述移动装置的所述一个或更多个处理器或者所述驾驶支持终端的所述一个或更多个处理器还可被配置为执行第一确定以确定所述驾驶支持终端的驾驶程序的功能和所述移动装置驾驶程序的功能中的哪些功能具有较高的功能级别，执行第二确定以确定所述驾驶支持终端的驾驶程序的哪些功能不由所述移动装置驾驶程序提供，和/或执行第三确定以确定所述移动装置驾驶程序的哪些功能不由所述驾驶支持终端的驾驶程序提供，并且被配置为通过在由所述移动装置或所述驾驶支持终端控制的情况下基于所述第一确定、所述第二确定和所述第三确定中的任何一个或任何组合选择性地实现所述驾驶支持终端的驾驶程序和所述移动装置驾驶程序来控制所实现的所述车辆的驾驶程序功能，以针对所述车辆的所述一个或多个辅助驾驶和/或自主操作来控制所述车辆。
[0039]
在一个总体方面，一种用于与车辆进行交互的驾驶支持方法，所述车辆包括生成所述车辆的周边的图像信息的相机系统、生成所述车辆的驾驶信息的车辆控制器以及通信端口，所述驾驶支持方法包括：通过与所述车辆分离的装置与所述通信端口连接，以使用所述通信端口获得所述图像信息和/或所述驾驶信息；由所述装置基于所述图像信息和/或所述驾驶信息执行装置驾驶程序的至少一部分，所述装置驾驶程序包括分别用作所述装置的驾驶支持终端或移动装置的驾驶辅助程序和/或自主驾驶程序，并且通过由所述驾驶支持终端或所述移动装置生成的控制信令，针对所述车辆的一个或更多个辅助驾驶和/或自主操作来控制所述车辆；以及将生成的控制信令提供给所述车辆，以针对所述车辆的一个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0040]
所述方法还可包括：在由所述驾驶支持终端或所述移动装置生成所述控制信令时确定实现所述装置驾驶程序的所述驾驶辅助程序和被配置为由所述车辆实现的驾驶程序的任何车辆驾驶辅助程序中的哪一个，和/或在由所述驾驶支持终端或所述移动装置生成所述控制信令时确定实现所述装置驾驶程序的所述自主驾驶程序和被配置为由所述车辆实现的驾驶程序的任何车辆自主驾驶程序中的哪一个。
[0041]
所述方法还可包括：确定实现所述装置驾驶程序和被配置为由所述车辆实现的任何车辆驾驶程序的哪些相应功能，以用于由所述驾驶支持终端或所述移动装置生成所述控制信令。
[0042]
在一个总体方面，一种用于与单独的车辆进行交互的驾驶支持系统，包括生成所述车辆的周边的图像信息的相机系统、生成所述车辆的驾驶信息的车辆控制器、以及通信端口，所述驾驶支持系统包括：智能电话，所述智能电话包括一个或更多个处理器，所述一个或更多个处理器被配置为基于所述图像信息和/或所述驾驶信息执行移动装置驾驶程序的至少一部分，所述移动装置驾驶程序包括移动装置驾驶辅助程序和/或移动装置自主驾驶程序并存储在所述智能电话的所包括的存储器中，并且通过由所述智能电话生成并提供给所述车辆的控制信令，针对所述车辆的一个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0043]
所述车辆控制器可被配置为执行车辆驾驶程序以用于控制所述车辆，所述车辆驾驶程序包括存储在所述车辆的存储器中的车辆驾驶辅助程序和/或车辆自主驾驶程序。
[0044]
所述智能电话的所述一个或更多个处理器还可被配置为确定所述移动装置驾驶辅助程序和所述车辆驾驶辅助程序中的哪一个是adas最高级别的驾驶辅助程序，和/或确定所述移动装置自主驾驶程序和所述车辆自主驾驶程序中的哪一个是adas最高级别的自主驾驶程序，并且所述一个或更多个处理器被配置为执行所确定的adas最高级别的驾驶辅助程序和/或所确定的adas最高级别的自主驾驶程序，以针对所述车辆的所述一个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0045]
所述智能电话的所述一个或更多个处理器还可被配置为：执行第一确定以确定所述移动装置驾驶程序的哪些功能具有比所述车辆驾驶程序的相应功能更高的功能级别；执行第二确定以确定所述移动装置驾驶程序的哪些功能不由所述车辆驾驶程序提供；和/或执行第三确定以确定所述车辆驾驶程序的哪些功能不由所述移动装置驾驶程序提供，并且所述一个或更多个处理器被配置为通过基于所述第一确定、所述第二确定和所述第三确定中的任何一个或任何组合在由所述智能电话控制的情况下选择性地实现所述移动装置驾驶程序和/或所述车辆驾驶程序来控制由所述车辆实现的驾驶程序功能，以针对所述车辆的所述一个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0046]
为了生成所述控制信令，所述移动装置驾驶辅助程序可被配置为生成驾驶支持信息以控制所述车辆的辅助驾驶操作以显示所述驾驶支持信息。
[0047]
所述车辆的所述驾驶支持信息可包括指示驾驶员控制所述车辆的转向操作、制动操作和加速操作中的至少一个的信息。
[0048]
所述指示所述驾驶员的操作可包括由所述移动装置驾驶程序确定的：障碍物检测警告和/或指示所述驾驶员执行相应的避障转向和/或制动；提供后方碰撞警告、指示所述驾驶员执行相应的后方碰撞避免制动；提供车道偏离警告、指示所述驾驶员执行相应的车道偏离补救或维持转向；和/或指示所述驾驶员建议车道改变。
[0049]
为了由所述智能电话生成所述控制信令，所述移动装置驾驶辅助程序可被配置为生成驾驶支持控制信令，其中，所述驾驶支持控制信令是用于控制所述车辆的辅助驾驶操作以辅助控制所述车辆的转向操作、制动操作和加速操作中的至少一个的信令。
[0050]
用于控制所述车辆的辅助驾驶操作以控制所述车辆的转向操作、制动操作和加速操作中的至少一个的信令可包括：辅助控制所述车辆的转向操作、制动操作和加速操作中的至少一个，以用于由所述移动装置驾驶程序确定的检测到的障碍物辅助避免、检测到的后方碰撞辅助避免、预测到的和/或检测到的车道偏离辅助预防或补救和/或辅助车道改变。
[0051]
所述驾驶支持控制信令可以是用于控制所述车辆的辅助驾驶操作以显示由所述移动装置驾驶辅助程序生成的驾驶支持信息的信令，所述驾驶支持信息指示关于所述车辆的辅助控制的转向操作、制动操作和加速操作中的至少一个的信息。
[0052]
为了由所述智能电话生成所述控制信令，所述移动装置自主驾驶程序可被配置为生成驾驶控制信令，其中，所述驾驶控制信令可以是用于控制所述车辆的自主驾驶操作的信令，以在没有驾驶员的辅助控制的情况下控制所述车辆的转向操作、制动操作和加速操作中的至少一个。
[0053]
生成所述驾驶控制信令的操作可包括执行被遮挡对象预测、车道改变确定、行人识别、道路改变识别和道路标志识别中的任何一个或者两个或更多个的任何组合，并且基于所述执行的结果生成所述驾驶控制信令。
[0054]
所述智能电话的所述一个或更多个处理器可包括一个或更多个人工智能处理器，所述一个或更多个人工智能处理器被配置为从所述智能电话的所述存储器加载一个或更多个人工智能模型并实现所述一个或更多个人工智能模型，以执行所述被遮挡对象预测、所述车道改变确定、所述行人识别、所述道路改变识别、所述道路标志识别中的任何一个或者两个或更多个的任何组合，并且基于所述执行的结果生成所述驾驶控制信令。
[0055]
所述一个或更多个人工智能处理器可包括一个或更多个神经形态处理器，并且所述一个或更多个人工智能模型可以是各自的神经网络模型。
[0056]
所述一个或更多个处理器可被配置为与所述通信端口连接以获得所述驾驶信息，并且从与所述车辆分离并与所述智能电话通信的至少一个相机获得其他图像信息，并且所述一个或更多个处理器被配置为至少基于获得的所述驾驶信息和所述其他图像信息来执行所述移动装置驾驶程序的所述至少一部分。
[0057]
所述至少一个相机可包括包含在所述智能电话中的相机。
[0058]
所述一个或更多个处理器可被配置为从所述其他图像信息生成所述车辆的周边的图像，并且被配置为将所生成的图像提供给所述车辆以供所述车辆显示。
[0059]
在一个总体方面，一种用于与单独的车辆进行交互的驾驶支持系统，所述车辆包括生成车辆周边的图像信息的相机系统、生成车辆的驾驶信息的车辆控制器以及通信端口，所述驾驶支持系统包括：移动装置，具有一个或更多个处理器，所述一个或更多个处理器被配置为基于所述图像信息和/或所述驾驶信息执行移动装置驾驶程序(包括移动装置驾驶辅助程序和/或移动装置自主驾驶程序并存储在移动装置的存储器中)的至少一部分，以通过由所述移动装置生成的控制信令针对所述车辆的一个或更多个辅助驾驶和/或自动驾驶操作；以及驾驶支持终端，被配置为与所述通信端口连接，并且包括通信硬件，所述通信硬件被配置为利用所述通信端口获得所述图像信息和/或所述驾驶信息，将所获得的图像信息和/或所述驾驶信息传送到所述移动装置以及将所生成的控制信令传送到所述车辆，其中，所述移动装置远程连接到所述驾驶支持终端并且与所述驾驶支持终端分离，并且包括与提供驾驶支持不同的计算功能。
[0060]
车辆控制器可被配置为执行存储在车辆的存储器中的用于控制车辆的车辆驾驶程序，所述车辆驾驶程序包括车辆驾驶辅助程序和/或车辆自主驾驶程序。
[0061]
所述移动装置的一个或更多个处理器还可被配置为确定所述移动装置驾驶辅助程序和所述车辆驾驶辅助程序中的哪一个是adas最高级别的驾驶辅助程序，和/或确定所述移动装置自主驾驶程序和所述车辆自主驾驶程序中的哪一个是adas最高级别的自主驾驶程序，并且被配置为执行确定的adas最高级别的驾驶辅助程序和/或确定的adas最高级别的自主驾驶程序，以针对所述车辆的所述一个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0062]
所述移动装置的一个或更多个处理器还可被配置为执行第一确定以确定所述移动装置驱动程序的哪些功能具有比所述车辆驱动程序的对应功能更高的功能级别，执行第二确定以确定所述车辆驱动程序不提供所述移动装置驱动程序的哪些功能，和/或执行第
三确定以确定所述移动装置驱动程序不提供所述车辆驱动程序的哪些功能，并且被配置为通过基于所述第一确定、所述第二确定和所述第三确定中的任何一个或任何组合通过选择性地实现所述移动装置驾驶程序和所述车辆驾驶程序，来控制(通过所述移动装置的控制)实现所述车辆的驾驶程序功能，以针对车辆的一个或更多个辅助驾驶和/或自主操作来控制车辆。
[0063]
所述移动装置可以是智能电话。
[0064]
所述驾驶支持终端还可包括无线电力传输模块和物理支撑件，其中无线电力传输模块可被配置在物理支撑件内以向移动装置提供无线电力传输，所述移动装置还可具有被配置用于至少接收无线传输的电力的移动无线电力传输模块。
[0065]
所述驾驶支持终端可包括一个或更多个处理器，所述一个或更多个处理器被配置为基于图像和/或驾驶信息执行驾驶支持终端驾驶程序的至少一部分，以针对车辆的一个或多个辅助驾驶和/或自主操作来控制车辆，其中，所述驾驶支持终端驾驶程序包括驾驶支持终端驾驶辅助程序和/或驾驶支持终端自主驾驶程序。
[0066]
所述驾驶支持终端还可被配置为从所述移动装置接收控制信令，并且通过车辆的控制器局域网(can)将所述控制信令提供给所述通信端口以提供给所述车辆控制器，以用于针对所述车辆的一个或更多个辅助驾驶和/或自主操作来控制所述车辆。
[0067]
为了生成控制信令，所述移动装置驾驶辅助程序可被配置为生成驾驶支持信息以辅助控制车辆的辅助驾驶操作以显示驾驶支持信息。
[0068]
所述车辆的驾驶支持信息可包括指示驾驶员控制车辆的转向、制动和加速操作中的至少一个的信息。
[0069]
所述指示驾驶员可包括由驾驶程序确定的：障碍物检测警告和/或指示驾驶员执行相应的避障转向和/或制动、提供后方碰撞警告、指示驾驶员执行相应的后方避障制动、提供车道偏离警告、指示驾驶员执行相应的车道偏离补救或维持转向、和/或指示驾驶员建议车道改变。
[0070]
为了由移动装置生成控制信令，移动装置驾驶辅助程序可被配置为生成驾驶支持控制信令，其中驾驶支持控制信令可以是控制车辆的辅助驾驶操作的信令，以辅助地控制车辆的转向、制动和加速操作中的至少一个。
[0071]
用于控制车辆的辅助驾驶操作以控制车辆的转向、制动和加速操作中的至少一个的信令可包括由驾驶程序确定的：辅助控制车辆的转向、制动和加速操作中的至少一个，以用于检测到的障碍物辅助避障、检测到的后方碰撞辅助避障、预测和/或检测到的车道偏离辅助预防或补救、和/或辅助车道改变。
[0072]
所述驾驶支持控制信令可以是控制车辆的辅助驾驶操作以显示由移动装置驾驶辅助程序生成的驾驶支持信息的信令，所述驾驶支持信息指示关于车辆的辅助控制的转向、制动和加速操作中的至少一个的信息。
[0073]
为了由移动装置生成控制信令，所述移动装置自主驾驶程序可被配置为生成驾驶控制信令，其中驾驶控制信令是用于控制车辆的自主驾驶操作的信令，以在没有驾驶员的辅助控制的情况下控制车辆的转向、制动和加速操作中的至少一个。
[0074]
所述驾驶控制信令的生成可包括执行被遮挡对象预测、车道改变确定、行人识别、道路改变识别和道路标志识别中的任何一个或者两个或更多个的任何组合，并且基于执行
的结果生成驾驶控制信令。
[0075]
所述移动装置的一个或更多个处理器可包括一个或更多个人工智能处理器，其被配置为从移动装置的存储器加载一个或更多个人工智能模型，并且实现一个或更多个人工智能模型，以执行被遮挡对象预测、车道改变确定、行人识别、道路改变识别、道路标志识别中的任何一个或者两个或更多个任何组合，并且基于执行的结果来生成驾驶控制信令。
[0076]
一个或更多个人工智能处理器可包括一个或更多个神经形态处理器，并且一个或更多个人工智能模型可以是相应的神经网络模型。
[0077]
一个或更多个处理器可被配置为基于由移动装置获得的图像信息或其他图像信息来生成包括车辆周边的图像的移动装置图像信息，并且基于所生成的移动装置图像信息来执行移动装置驾驶程序的至少一部分和/或基于所生成的移动装置图像信息来执行导航程序。
[0078]
可从包括在移动装置中的相机获得其他信息。
附图说明
[0079]
图1是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0080]
图2是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0081]
图3是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0082]
图4和图5是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0083]
图6是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0084]
图7是示出根据一个或更多个实施例的驾驶支持终端的框图。
[0085]
图8是示出根据一个或更多个实施例的驾驶支持终端的框图。
[0086]
图9是示出根据一个或更多个实施例的驾驶支持终端与车辆的控制器之间的连接关系的示图。
[0087]
图10是示出根据一个或更多个实施例的驾驶支持终端的透视图。
[0088]
图11是示出根据一个或更多个实施例的使用npu的驾驶程序的实现的框图。
[0089]
图12a和图12b分别是示出根据一个或更多个实施例的驾驶支持终端的截面图和平面图。
[0090]
图13是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0091]
图14和图15是示出由本公开的图像处理器执行的校准操作的示图。
[0092]
图16和图17是示出由本公开的人工智能处理器执行的控制相机单元的操作的示图。
[0093]
在整个附图和详细描述中，相同的附图标记表示相同的元件。为了清楚、说明和方便，附图可不必按比例绘制，并且可夸大附图中的元件的相对尺寸、比例和描绘。
具体实施方式
[0094]
提供以下详细描述以帮助读者获得对本文描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开内容之后，本文描述的方法、设备和/或系统的各种改变、变型和等同物将是显而易见的。例如，除了必须以特定顺序发生的操作之外，本文描述的操作顺序仅仅是示例，并且不限于本文阐述的操作顺序，而是可在理解本申请的公开内容之后
做出显而易见地改变。此外，为了增加清楚性和简洁性，可省略本领域已知的特征的描述。
[0095]
本文描述的特征可以以不同的形式实现，并且将不被解释为限于本文描述的示例。更确切地，已经提供本文描述的示例仅仅是为了说明在理解本申请的公开内容之后将是显而易见的实现本文描述的方法、设备和/或系统的许多可行方式中的一些方式。此外，将理解，尽管通过不同的示图描述了本文的各种示例，但本文的各种示例并不相互排斥。例如，在不脱离本公开的精神和范围的情况下，关于这些示例描述的结构、形状和尺寸可在任何其他示例中实现。此外，在不脱离本公开的精神和范围的情况下，示例包括对元件的位置或布置进行各种变型的示例。
[0096]
此外，尽管可使用“第一”或“第二”的术语来说明各种组件，但是组件不限于所述术语。这些术语应当仅用来将一个组件与另一组件区分开。例如，在根据本公开的构思的权利范围内，“第一”组件可被称为“第二”组件，或类似地，“第二”组件可被称为“第一”组件。
[0097]
如本文所使用的，除非上下文另外清楚地指出，否则单数形式也意在包括复数形式。例如，如本文所使用的，除非上下文另外清楚地指出，否则单数形式也意在包括复数形式。还应当理解，除非上下文和本公开的理解另有说明，否则当术语“包含”、“包括”和/或“具有”用在本说明书中时，列举在示例实施例中存在所陈述的特征、整数、操作、元件、组件和/或它们的组合/分组，但是不排除在替代实施例中存在或添加一个或更多个其他特征、整数、操作、元件、组件和/或它们的组合/分组，也不排除在其他替代实施例中缺少这些所陈述特征、整数、操作、元件、组件和/或它们的组合/分组。此外，本文关于示例或实施例的术语“可”的使用(例如，关于示例或实施例可包括什么或实现什么)意味着存在包括或实现这样的特征的至少一个示例或实施例，但所有示例和实施例不限于此。
[0098]
除非本文另有定义，否则本文使用的所有术语(包括技术术语或科学术语)具有与本领域的普通技术人员在理解本公开之后通常理解的含义相同的含义。除非本文另外定义，否则通常使用的词典中定义的术语应被解释为具有与本领域和本公开中的上下文含义相匹配的含义，而不应按照理想化或过于形式化的含义来解释。
[0099]
图1是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0100]
参照图1，驾驶支持系统可包括相机单元110、车辆控制单元120、远程信息处理控制单元130、通信端口140和驾驶支持终端200。
[0101]
相机单元110、车辆控制单元120、远程信息处理控制单元130和通信端口140可以是车辆100中的组件(诸如，在车辆100的制造期间安装的组件)。驾驶支持终端200可以是例如之后选择性地连接到车辆的硬件组件，例如，驾驶支持终端200可提供针对附加装置的连接或者连接和物理支持(诸如，下面讨论的移动装置300的示例的连接和/或物理支持)，从而使附加装置可与驾驶支持终端200和/或车辆控制单元120通信。这里，车辆控制单元120、远程信息处理控制单元130、通信端口140和驾驶支持终端200都是硬件装置或组件，例如，其中每个装置或组件可实现为仅硬件、通过执行基于计算的指令被配置的硬件(例如，一个或更多个处理器)或者硬件与通过执行基于计算的指令被配置的这样的硬件的组合，例如，如下面进一步解释的，其中这样的指令可以是当被这样的一个或更多个处理器执行时将一个或更多个处理器配置为实现本文描述的各个装置或组件的操作或方法中的任何一个、任何组合或者全部的指令。另外，尽管装置或组件被单独标识，但是存在其中它们各自的功能由单个装置或组件共同实现的示例，或者其中各自的功能以任何组合被不同地组合在两个
或更多个替代装置或组件中的示例。
[0102]
相机单元110可安装在车辆上，并且可对车辆周围的外部区域成像。例如，相机单元110可包括一个或更多个相机，并且可生成车辆周边的图像。例如，相机单元110可包括四个相机，并且可对车辆的前方区域、侧方区域和后方区域进行成像并且可生成车辆周边的图像。相机单元110可将生成的图像提供给通信端口140。另外，相机单元110还可表示为一个或更多个相机以及一个或更多个处理器，其可被配置为对捕获的图像执行预处理以诸如减少噪声、使捕获的图像标准化，或者以其他方式对捕获的图像或图像信息执行图像处理，以便可供例如通信端口140或车辆控制单元120使用或者可传输到通信端口140或车辆控制单元120，并且例如在用于将捕获的图像或图像信息图像处理成用于输入到驾驶支持终端200(和/或图4至图6的移动装置300)的一个或更多个人工智能(ai)组件或处理器实现的模型的形式或格式的示例中，例如包括在驾驶支持终端200(和/或移动装置300)中的诸如神经形态处理单元/处理器或者由驾驶支持终端200表示的一个或更多个处理器(例如，cpu和/或gpu)(或由移动装置300表示的处理器)被配置为实现这样的人工智能模型，诸如训练的神经网络系统，作为非限制性示例，该训练的神经网络系统可诸如通过跟随一系列前馈层的一系列卷积层而被训练为从提供的图像信息中提取特征或识别对象或目标，并且可进一步被配置为基于该提取特征例如通过进一步训练的神经网络系统的层而生成控制信号输出。在其他示例中，诸如下面针对图2至图3所讨论的，这样的图像预处理操作中的一个或更多个还可或替代地由数据处理模块150执行。
[0103]
因此，车辆控制单元120可包括电子控制单元121和车身控制模块122，并且可控制车辆的整体操作。
[0104]
电子控制单元121可生成驾驶信息(包括车辆的行驶信息和操作信息)，并且可根据生成的行驶信息和操作信息来控制车辆的发动机。
[0105]
车辆可包括感测车辆的行驶状态和操作状态的一个或更多个传感器，诸如速度传感器、转向传感器、制动传感器、加速度传感器、侧倾传感器、各种驱动组件位置或值指示传感器以及温度传感器(其可生成由电子控制单元121考虑的温度信息以在接近或低于冰点条件下调节加速度和/或制动)或者水分或湿度传感器(其生成由电子控制单元121考虑的相应信息以在确定的潮湿或湿滑的道路环境下类似地调节加速度和/或制动)。电子控制单元121可通过一个或更多个传感器的这些示例感测值输出而生成车辆的行驶信息和操作信息。电子控制单元121可包括多个管理模块(即，处理器或其他计算硬件)，并且可通过示例的单个管理模块来管理从相同类型的传感器输出的感测值。例如，相机单元110的多个相机可以是对车辆周边进行成像的传感器，在这种情况下，电子控制单元121可通过第一管理模块管理相机单元110的多个相机的图像，而来自环境传感器(诸如温度传感器或湿度传感器)的信息或信号可由第二管理模块管理，其中，每个管理模块被配置为处理各自接收的传感器信息以及如上所述地对传感器数据执行各种处理，以提供给车辆的各种其他组件(诸如，提供给仪表组以仅向驾驶员提供信息通知)和/或提供给由例如电子控制单元121实现的上述人工智能组件和/或模型。
[0106]
电子控制单元121可向通信端口140提供生成的行驶信息和操作信息以及关于控制信令(电子控制单元121可能正在执行或电子控制单元121被配置为执行以控制车辆的控制信令)的其他信息，作为非限制性示例，包括(用于)信息、驾驶辅助信息和控制和/或其他
自主驾驶控制的任何对应的控制信令。因此，电子控制单元121可使得可用到或提供(和/或被驾驶支持终端200和/或移动装置300请求)包括在车辆100中的驾驶程序的当前的信息的、辅助的和/或自主的特征或功能的信息(例如，在制造时最初嵌入在电子控制单元121中的信息)，用于诸如通过驾驶支持终端200和/或移动装置300与包括在车辆100中的驾驶程序的信息的、辅助的和/或自主的特征或功能的信息进行比较，并且驾驶支持终端200和/或移动装置300中的任一者或两者可确定是否例如利用由驾驶支持终端200和/或移动装置300实现的驾驶程序或其选择功能来补充或替代电子控制单元121的现有的驾驶程序。
[0107]
例如，由于不同的车辆在车辆制造期间安装的相机具有不同的相对位置、高度和视场(fov)，出于使驾驶支持终端200和/或移动装置300的驾驶程序适当记录接收到的图像信息以用于信息的、辅助的和自主的驾驶功能的考虑，程序信息或其他信息可类似地使得通信端口140可用到或向通信端口140提供用于报告相机单元110的相机或相机系统的各个位置的定位或对准记录信息和/或相机单元110的相机或相机系统的配置或性能、和/或它们各自的视场(fov)。驾驶支持终端200和/或移动装置300还可被配置为与远程服务器通信，以获得这样的各种车辆特定信息，从而适当地预期和使用由车辆100的相机单元110的各个相机提供的信息。例如，驾驶支持终端200和/或移动装置300还可考虑附加变量，诸如感测的胎压或用户指示的非oem轮胎品牌及型号和尺寸，或者其他制造后悬架修改或由用户输入的或由驾驶支持终端200和/或移动装置300使用来自相机单元110的信息而可检测的其他变化信息。在包括移动装置300和驾驶支持终端200的示例中，例如基于驾驶支持终端200的物理支持配置以及移动装置300的与驾驶支持终端200接触的定位，驾驶支持终端200和/或移动装置300也可具有预定的相对位置关系。这里，用户可在驾驶支持终端200和/或移动装置300的用户界面中输入移动装置300的制造商和型号，或者驾驶支持终端200可仅向移动装置300请求制造商和型号，或者移动装置300可类似地自我识别制造商和型号，以将移动装置300的一个或更多个相机的位置记录为附加相机，以供驾驶支持终端200和/或移动装置300的驾驶程序考虑。移动装置300的任何壳体或外壳的信息也可被确定或类似地由用户输入。在这样的示例中，作为非限制性示例，驾驶支持终端200可基于从移动装置300的一个或更多个相机接收的信息和来自相机单元110的信息来确定其相对于车辆100的位置，和/或用户可将这样的定位信息输入到驾驶支持终端200和/或移动装置300的用户界面，以用于记录移动装置300的相机(或任何替代或附加的补充相机)相对于车辆100的位置以及相机单元110的其他相机的位置。
[0108]
通信端口140可包括车载诊断(obd)端口。obd端口可布置在车辆的控制台中或附近，并且可由乘客或驾驶员访问以连接到外部装置(例如，由机械师使用的典型代码读取器，以诊断车辆的各种组件中的机械或电气故障或问题)。通信端口140可通过控制器局域网(can)通信而与连接到通信端口140的该外部装置以及车辆的组件进行通信，或者可在连接到通信端口140的该外部装置与所示的连接车辆的组件的相应can网络之间提供网络接口，因此外部装置可使用can网络直接从这些组件接收信息和/或将信息发送到这些组件。在示例中，can网络可使用同一通信信道提供多个串行通信，使得车辆中的组件之间先前需要的用于提供或传输不同信息的多个线路或通信信道可能不再是必要的，因为可使用示例的同一通信信道提供不同的信息。作为示例，通信端口140可通过can网络与相机单元110、电子控制单元121和远程信息处理控制单元130中的全部连接。
[0109]
车身控制模块122可控制包括在车辆的车身中的元件。例如，车身控制模块122可控制雨刮器、灯、电动座椅、天窗、空调系统等。
[0110]
远程信息处理控制单元130可包括无线通信模块，并且可与存在于车辆外部的一个或更多个外部装置执行无线通信。例如，作为非限制性示例，远程信息处理控制单元130可被配置为执行蜂窝通信、wi-fi通信、蓝牙通信或其他本地、近场或远场通信中的至少一种。远程信息处理控制单元130可通过蜂窝通信接收车辆的外部环境信息，并且可通过wi-fi通信将接收到的外部环境信息提供给驾驶支持终端200，或者驾驶支持终端200(或示例中的移动装置300)可请求和接收该接收到的外部环境信息。远程信息处理控制单元130还可被配置为提供与通信端口140的替代通信信道(例如，替代obd端口)，因此驾驶支持终端200(和/或移动装置300)可通过can网络与电子控制单元121或车辆的其他组件进行交互。
[0111]
相应地，驾驶支持终端200可连接到通信端口140，并且可获得在电子控制单元121中生成的车辆的行驶信息和操作信息以及由相机单元110捕获的图像或上述对这些捕获图像的预处理的图像信息结果。驾驶支持终端200还可充当上述移动装置300与通信端口140之间的通信中介或翻译/转换。
[0112]
驾驶支持终端200可包括被配置为与通信端口140配对的第一连接端子(type_obd)。作为示例，第一连接端子(type_obd)可包括obd型连接端子。
[0113]
驾驶支持终端200还可或替代地从远程信息处理控制单元130接收外部环境信息，以及通过远程信息处理控制单元130与通信端口140之间的通信信道访问can网络。例如，驾驶支持终端200和远程信息处理控制单元130可通过各自的wi-fi通信模块从彼此接收数据和向彼此发送数据。另外，驾驶支持终端200还可包括例如提供蜂窝或其他广域网无线电通信的通信模块，并且向远程服务器请求外部环境信息，或者在以下示例中向示例的移动装置300请求外部环境信息，其中，移动装置300包括这样的通信模块。在本文中，术语模块是指硬件组件。作为又一示例，远程信息处理控制单元130的功能可由通信端口140的相应硬件实现，并且驾驶支持终端200可通过这种wifi通信直接与通信端口140连接。
[0114]
在本文的示例中，驾驶支持终端200可连接到通信端口140，并且可获得车辆的行驶信息和操作信息，和/或可获得在相机单元110中产生的图像信息或相应的预处理图像信息，注意，示例不限于此。在本文的各种示例中的任意示例中，可在相机单元110中(例如，在相应的管理模块中或在每个相机内)和通信端口140中设置wi-fi通信模块，在这种情况下，驾驶支持终端200可与相机单元110和通信端口140执行无线通信，并且可获得车辆的行驶信息和操作信息以及这样的各种图像信息。如上所述，相机单元110表示为一个或更多个相机和/或相机系统，注意，作为非限制性示例，驾驶支持系统在一些示例中还可包括上述示例的移动装置300的一个或更多个相机，该一个或更多个相机可另外由车辆100支持、选择性地安装到车辆100或以其他方式安装在车辆100中或车辆100上并且有线连接到驾驶支持终端200或移动装置300或者无线连接到驾驶支持终端200和/或移动装置300。例如，作为非限制性示例，这种附加相机可使用驾驶支持终端200或移动装置300的usb线和连接器或者通过移动装置300的专有连接器连接到驾驶支持终端200或移动装置300。
[0115]
驾驶支持终端200被配置为存储至少一个驾驶程序，在各种示例中，驾驶支持终端200包括分别提供不同级别的信息、驾驶辅助和/或自主性的驾驶程序，和/或提供在相同级别的自主性内的不同信息、辅助和/或自主功能的程序，并且驾驶支持终端200可不同地考
4和5级别下，自动驾驶特征将不需要驾驶员接管驾驶。作为非限制性示例，从sae 0级别开始，可使用的示例驾驶员支持特征包括自动紧急制动、盲点警告和车道偏离警告，并且这些特征限于提供警告和瞬时辅助。在sae 1级别的情况下，可使用的驾驶员支持特征还可包括车道对中或自适应巡航控制，其中，这些特征向驾驶员提供转向或制动/加速支持，相比之下，在sae 2级别下，自动驾驶特征还同时包括车道对中和自适应巡航控制两者，并且这些特征向驾驶员提供转向和制动/加速支持。因此，在sae 0-2级别的情况下，车辆提供驾驶员支持特征，相比之下，sae 3-5级别下车辆被考虑提供自动驾驶特征。例如，在sae 3级别的情况下，作为非限制性示例，示例自动驾驶特征可包括拥堵辅助司机，并且再次作为非限制性示例，sae 4级别的自动驾驶特征包括本地无人驾驶出租车以及甚至可安装或可不安装踏板/方向盘的示例车辆。在sae 3和4级别的情况下，自动驾驶特征可在有限的条件下驾驶车辆，除非满足所有要求的条件，否则将不运行自动驾驶特征。sae 5级别的自动驾驶特征可包括sae 4级别的所有自动驾驶特征，但是自动驾驶特征可在所有条件下随处驾驶。描绘这样的sae级别的另一种方式是利用级别的各自的名称，诸如sae 0级别被称为“无自动化”，sae 1级别被称为“驾驶员辅助”，sae 2级别被称为“部分自动化”，sae 3级别被称为“有条件自动化”，sae 4级别被称为“高自动化”，并且sae 5级别被称为“完全自动化”。虽然上述示例adas标准示例是来自sae的sae j3016，但是示例不限于此。然而，为了简化下面的解释，这些各种可用的adas标准将简单地统称为adas标准或adas标准。
[0118]
因此，驾驶支持终端200可被配置为根据存储在驾驶支持终端200(或图4至图6的示例中的移动装置300)中的驾驶程序来提供高级驾驶支持功能。
[0119]
另外，在不同的示例中，驾驶支持终端200(和/或移动装置300)可具有不同的存储能力和处理能力，其中，一个这样的示例是驾驶支持终端200被预先限制为实现或执行提供与adas第二级别或更低级别相对应的高级驾驶支持功能的驾驶程序，其中，驾驶支持终端200的处理模块可包括8gb/512位的高带宽存储器(hbm)，并且可具有65
×
65mm的尺寸、每秒10peta浮点运算(10tflops)的处理速度以及4瓦或更低的功耗水平。如上所述，该示例驾驶支持终端200(和/或移动装置300)可被预先限制为用于提供2级别及以下级别(即，不大于2级别)的高级驾驶支持功能的驾驶程序，作为非限制性示例，其可包括前方碰撞警告(fcw)功能、车道偏离警告(ldw)功能、车道保持辅助(lka)功能、盲点警告(bsw)功能、自适应巡航控制(acc)功能、行驶道路识别功能、交通信号识别功能等。
[0120]
在另一示例中，驾驶支持终端200(和/或移动装置300)可具有与驾驶支持终端200(和/或移动装置300)的预先限制相对应的存储能力和处理能力，以实现或执行提供第三级别或更高级别的高级驾驶支持功能的驾驶程序，其中，驾驶支持终端200的处理模块可包括32gb/1024位的高带宽存储器(hbm)，并且可具有180
×
120mm的尺寸、每秒100peta浮点运算(10tflops)的处理速度以及6.6瓦或更低的功耗水平。如上所述，该示例驾驶支持终端200(和/或移动装置300)可被预先限制为提供adas标准中规定的第三级别或更高级别的高级驾驶支持功能的驾驶程序，其可包括被遮挡对象预测功能、车道变换功能、行人识别功能、道路变换识别功能、道路标志识别功能等。可选地，在示例中，在该示例性存储和处理配置的情况下，或者在具有更大存储能力和处理能力的示例性存储和处理配置的情况下，驾驶支持终端200(和/或移动装置300)可不被预先限制为能够执行或实现哪个驾驶程序，因此可实现与adas标准的零至第五级别中的任何一个相对应的任何驾驶程序。
[0121]
相应地，驾驶支持终端200可包括驾驶程序，驾驶程序可包括驾驶辅助程序和/或自主驾驶程序。作为示例，在驾驶支持终端200(或移动装置300)例如由于上述示例的较低的存储能力和处理能力而被预先限制为提供adas标准的第二级别或更低级别的高级驾驶支持功能的情况下，驾驶支持终端200(和/或移动装置300)可仅包括驾驶辅助程序。
[0122]
可选地，在驾驶支持终端200具有较大存储能力和处理能力而被预先限制为提供adas标准的第三级别或更高级别的高级驾驶支持功能的情况下，或者在驾驶支持终端200(和/或移动装置300)不被预先限制为adas标准的任何特定级别的情况下，驾驶支持终端200可实现的驾驶程序可包括驾驶辅助程序和自主驾驶程序中的一者或两者。在下面的描述中，为了便于描述，将描述驾驶支持终端200具有这种较大的存储能力和处理能力并且能够实现驾驶辅助程序和自主驾驶程序两者的功能的示例。
[0123]
在示例中，电子控制单元121可包括具有示例的较小存储能力和处理能力以用于提供adas标准的第二级别或更低级别的高级驾驶支持功能的这样的存储器和处理器配置，而驾驶支持终端200(和/或移动装置300)具有adas标准的至少第三级别或更高级别的较大的存储能力和处理能力，并且可包括驾驶辅助程序和自主驾驶程序中的任一者或两者。驾驶支持终端200(和/或移动装置300)可请求或以其他方式获得电子控制单元121的驾驶信息能力、辅助能力和控制能力的信息，并且可基于驾驶支持终端200(或移动装置300)的驾驶程序的功能与电子控制单元121的驾驶程序的功能的比较，而选择性地(例如，基于用户控制)或自动地替代或补充电子控制单元121的信息功能、辅助功能和/或控制功能，并且如果驾驶支持终端200(或移动装置300)的驾驶程序的任何功能具有较高的adas级别或者提供比电子控制单元121的驾驶程序的相应功能或特征更额外或更多的功能或特征，则电子控制单元121的那些功能可被驾驶支持终端200(或移动装置300)的信息和/或控制信令取代。可选地，如果电子控制单元121的驾驶程序提供与驾驶支持终端200(和/或移动装置300)的驾驶程序相同的信息或辅助功能，但不提供自主驾驶程序并且驾驶支持终端200(和/或移动装置300)的驾驶程序包括自主驾驶程序，则可利用驾驶支持终端200(或移动装置300)的驾驶程序的自主驾驶程序来补充电子控制单元121的驾驶程序。
[0124]
因此，驾驶支持终端200(和/或移动装置300)可应用包括驾驶辅助程序和自主驾驶程序的驾驶程序并且可生成各种驾驶支持信息和/或驾驶控制信令，其中，驾驶辅助程序和自主驾驶程序分别考虑由相机单元110提供的图像信息(或诸如来自相应的管理模块的上述预处理图像信息)、从通信端口140获得的车辆的行驶信息和操作信息以及从远程信息处理控制单元130获得的外部环境信息。如下面进一步讨论的，驾驶辅助程序和自主驾驶程序中的任一者或两者个可包括诸如通过神经网络实现或通过其他机器学习实现的一个或更多个ai模型。另外，在示例中，驾驶辅助程序和自主驾驶程序可共享人工智能处理或模型，诸如，其中使用示例训练的神经网络对象检测模型(其被训练为输出由驾驶辅助程序和自主驾驶程序两者针对不同的各自功能而考虑的信息，或者被训练为输出两个不同程序分别考虑的各自不同的信息)针对考虑的图像信息执行对象检测，诸如，其中可基于图像中的对象的第一特征或相应的合成方面(resultant aspect)、概率、分类等来执行由驾驶辅助程序提供的功能，并且可基于图像中的对象的第二特征或相应的合成方面、概率、分类等来执行自主驾驶程序。在所述示例训练的神经网络对象检测模型中，取决于模型训练期间神经网络模型的目的目标以及根据这样的神经网络模型的结果执行的功能，图像信息可被输
入到神经网络的第一层，然后被输入到用于特征提取的一系列卷积神经网络层，其后跟随多个前馈神经网络层或其他循环、双向循环、长短期记忆(lstm)层等。这样的神经网络模型也可用于多个功能，并且多个这样的神经网络模型共同用于单个功能。尽管上面针对具有各种神经网络配置的人工智能模型讨论了示例，但是其他神经网络配置和其他机器学习模型也是可用的，注意，示例不限于本文的示例。
[0125]
例如，驾驶支持终端200(或移动装置300)可通过实现相应的人工智能模型来感测外围障碍物，作为非限制性示例，人工智能模型可识别距感测到的周边障碍物的距离)。当识别出的距离小于基于人工智能模型的指示的参考距离时，驾驶支持终端200可提供碰撞警告，在另一示例中，还可训练人工智能模型以在这种情况下生成控制信号以自动实施紧急制动，或者，可基于用于发出碰撞警告的确定而生成这样的信令。在另一示例中，当识别出的距离小于较短的参考距离时和/或基于其他考虑因素，人工智能模型可替代地被训练为生成用于这种紧急制动的控制信号。驾驶支持终端200可例如使用相同或另一人工智能模型来感测车辆是否已经偏离车道，并且当车辆已经偏离车道时，驾驶支持终端200可确定提供偏离警告，或者可通过人工智能模型的确定自动发出偏离警告，类似地，人工智能模型也可同时发出辅助驾驶控制信令或被训练以在确定更大的车道偏离时发出辅助驾驶控制信令。驾驶支持终端200可通过这样的上述对象检测人工智能模型或另一人工智能模型来识别车辆周围的行人，上述对象检测人工智能模型或另一人工智能模型可被训练为诸如通过循环或双向连接的层或lstm层或者人工智能模型的类似功能组件来预测检测到的行人的未来移动路线，以支持用户的驾驶，并且与上述类似，人工智能模型可被训练用于避障(即，以避开预测的未来行人)并且相应地发出控制信令以控制转向、加速和/或制动以避开预测的未来行人，或者所述避开可以以其他方式由驾驶支持终端200的驾驶程序控制。驾驶支持终端200还可类似地通过相同或相应的人工智能模型支持保持车道和改变车道的功能，并且可通过向电子控制单元121发出驾驶控制信令来控制电子控制单元121相应地控制车辆的适当驾驶组件，或者通过将该驾驶控制信令直接发送到车辆的受控驾驶组件，来支持在没有车道的十字路口、普通道路、越野道路等上的驾驶。
[0126]
驾驶支持终端200(和/或移动装置300)可使用车辆的操作信息来确定车辆的故障指示，并且可向用户建议故障的原因和解决方案。此外，驾驶支持终端200(和/或移动装置300)可根据外部环境信息来控制车身控制模块122，例如其中车身控制模块122可基于内部温度大于第一阈值而外部温度大于第二阈值来控制车辆100的空调系统的操作的示例。
[0127]
除了所述包括的处理器和存储器之外，驾驶支持终端200(和/或移动装置300)利用显示器和用户界面表示，显示器和用户界面可被控制以根据预定的用户信息显示车辆的当前行驶路线上的偏好地点，并且可向车辆100的信息显示系统提供对偏好地点的价格和预订服务的分析和/或控制显示所述对偏好地点的价格和预订服务的分析。以上，针对可存储在驾驶支持终端200和移动装置300中的驾驶程序，讨论了关于驾驶支持终端200和移动装置300的能力和操作的各种示例。类似于电子控制单元121的驾驶程序的补充和/或替代的讨论，当驾驶支持终端200物理支持移动装置300并且例如通过无线充电通信、蓝牙、wi-fi或usb布线的usb标准或它们之间的其他专有连接而与移动装置300通信时，可例如通过用户或自动地选择电子控制单元121、驾驶支持终端200和移动装置300中的驾驶辅助程序和/或自主驾驶程序之间的最高adas级别功能和/或额外的或更多的特征设置，并且例如可
最终提供任何选择和/或以其他方式自动选择的最高/最大信息的和辅助的功能和/或自主驾驶控制功能，并且不提供未选择的信息的和辅助的功能和/或自主驾驶控制功能。例如，可预先确定驾驶程序中的功能的各个评分，使得一个驾驶程序中的具有高于另一驾驶程序中的相应功能的评分的功能可被认为具有最高或最大的功能。另外，如上所述，虽然驾驶支持终端200可具有被预先限制为adas零至第二级别的示例的较小存储能力和处理能力的处理器配置，但是移动装置300可具有较大存储能力和处理能力的处理器配置并且可被预先限制为adas第三级别至第五级别，使得不同的存储/处理配置可与其各自的驾驶程序并行或同时执行，因此可例如利用实现辅助驾驶程序的驾驶支持终端200以及实现自主驾驶程序的移动装置300来提供所有级别的驾驶辅助和自主控制，其中从驾驶支持终端200(或直接从移动装置300或者通过驾驶支持终端200从移动装置300)将相应的信息和控制信令提供给通信端口140，然后通过can网络直接提供给相应的组件或者直接提供给电子控制单元121，以通过驾驶支持终端200和移动装置300供应所提供的信息以及辅助和自主驾驶控制。作为另一示例，在驾驶支持终端200仅充当中介和翻译器例如以接收上述编码控制信息并将其转换为与can网络兼容的形式和格式以用于与电子控制单元121通信或用于直接控制车辆的组件的情况下，或者在驾驶支持终端200仅充当中介以从移动装置300接收已经以can网络的形式和格式的这种控制信令并将其传递到通信端口140以用于与电子控制单元121通信或用于直接控制车辆的组件的情况下，当驾驶支持终端200未存储驾驶程序或仅存储具有低信息的或辅助的功能的驾驶程序时，则可仅实现移动装置300的驾驶程序的较高或较大功能的驾驶辅助程序和自主驾驶程序。类似地，在示例中，驾驶支持终端200可不包括用于实现任何驾驶程序的处理能力，并且可仅执行中介功能以及例如通过无线充电与移动装置300的充电功能。
[0128]
图2是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0129]
图2中的驾驶支持系统可类似于图1中所示的驾驶支持系统，因此，将不再重复重叠的描述，并且将描述不同之处。
[0130]
参照图2，驾驶支持系统还可包括数据处理模块150。在图2中，数据处理模块150可以是包括在车辆100中的硬件组件。
[0131]
相机单元110可将获得的图像提供给数据处理模块150。作为示例，相机单元110可通过低电压差分信令(lvds)接口向数据处理模块150提供所生成的图像信号。
[0132]
数据处理模块150可连接到通信端口140，并且可获得行驶信息和操作信息。作为示例，通信端口140和数据处理模块150可通过can网络彼此连接，注意，虽然本文的示例讨论了通过利用can通信协议的该can网络提供的车辆中的组件之间的这样的连接，但是示例不限于此。例如，数据处理模块150可使用行驶信息和操作信息来处理从相机单元110提供的图像。
[0133]
例如，当数据处理模块150被实现作为在车辆中使用的导航装置时，数据处理模块150可包括导航程序，并且数据处理模块150可将导航程序应用于从相机单元110提供的图像以及从电子控制单元121提供的行驶信息，以生成后处理数据。数据处理模块150可经由车辆的显示器和扬声器输出后处理数据。
[0134]
作为另一示例，当数据处理模块150包括驾驶辅助程序时，数据处理模块150可将驾驶辅助程序应用于从相机单元110提供的图像以及从电子控制单元121提供的行驶信息，
并且可生成后处理数据。
[0135]
数据处理模块150可使得生成的后处理数据可用于通信端口140或者将生成的后处理数据提供给通信端口140，并且使得从相机单元110提供的图像可用于通信端口140或者将从相机单元110提供的图像提供给通信端口140。
[0136]
驾驶支持终端200可因此经由通信端口140获得或接收图像和/或后处理数据。
[0137]
驾驶支持终端200可例如根据在数据处理模块150中生成的后处理数据来确定是否应用存储在驾驶支持终端200中的驾驶程序。
[0138]
例如，当车辆100仅有导航程序被应用于在数据处理模块150中生成的后处理数据而没有应用驾驶辅助程序时，驾驶支持终端200可将驾驶支持终端200的驾驶程序(例如，驾驶程序的相应驾驶辅助程序和自主驾驶程序)应用于接收到的数据。
[0139]
然而，当车辆(例如通过电子控制单元121)将驾驶辅助程序应用于从数据处理模块150提供的后处理数据时，驾驶支持终端200可仅将驾驶支持终端200的驾驶程序中的自主驾驶程序应用于接收到的数据。换句话说，当车辆将驾驶辅助程序应用于后处理数据时，示例中的驾驶支持终端200可仅将自主驾驶程序应用于接收到的数据而不应用驾驶辅助程序，使得可有效地使用系统资源。
[0140]
即使当驾驶辅助程序被应用于后处理数据时，驾驶支持终端200也可将数据处理模块150的驾驶辅助程序与驾驶支持终端200的驾驶辅助程序进行比较，并且当改善了驾驶支持终端200的驾驶辅助程序的功能或者在数据处理模块150的驾驶辅助程序基础上提供了额外功能时，驾驶支持终端200可将驾驶辅助程序应用于接收到的数据(例如，接收到的图像或处理的图像数据，其独立于应用了数据处理模块150的驾驶辅助程序的图像数据)。在这样的示例中，驾驶支持终端200还可预先确定这种功能上的差异，并且向数据处理模块150提供指令或控制信令，以不实现数据处理模块150的驾驶辅助程序，而仅转发由数据处理模块150以其他方式处理的图像和/或图像数据。
[0141]
图3是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0142]
图3中的驾驶支持系统可类似于图2中所示的驾驶支持系统，因此，将不再重复重叠的描述，并且将描述不同之处。
[0143]
图2示出了驾驶支持终端200直接连接到通信端口140的示例。然而，参照图3，驾驶支持终端200可直接连接到数据处理模块150，并且可获得在相机单元110中获得的图像、在电子控制单元121中生成的车辆的行驶信息和操作信息以及在数据处理模块150中生成的后处理数据。
[0144]
驾驶支持终端200和数据处理模块150可经由第二连接端子(type_c)彼此互连。驾驶支持终端200和数据处理模块150可均包括第二连接端子(type_obd)。作为示例，驾驶支持终端200和数据处理模块150可经由c型usb连接端子彼此互连。
[0145]
这里，虽然尚未讨论关于图2和图3的上述移动装置300，但该讨论类似地适用于移动装置300的驾驶程序，并且也适用于连接到移动装置300的驾驶支持终端200的协作考虑的上述的(和下面的)示例，其中驾驶支持终端200和移动装置300中的任一个或两个可存储并分别被配置为实现它们各自的驾驶程序或其选择性组件和功能。
[0146]
图4和图5是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0147]
图4和图5中的驾驶支撑系统可类似于图1至图3中所示的驾驶支撑系统，因此，将
不再重复重复的描述，并且将描述不同之处。
[0148]
参照图4，在不同示例中，图1中的示例中的相机单元110或图2和图3中的示例中的相机单元110和数据处理模块150可另外或替代地由移动装置300(包括智能电话或平板计算机)实现。例如，移动装置300和通信端口140可通过诸如wi-fi通信的无线通信彼此互连，注意，示例不限于此。在本文的任何示例中，移动装置300和通信端口140也可类似地通过上述示例控制器局域网(can)通信而彼此无线连接。因此，相机单元110或者相机单元110和数据处理模块150的功能也可或另外由移动装置300中采用的相机和处理器执行。
[0149]
参照图4，驾驶支持终端200可经由第二连接端子(type_c)直接连接到移动装置300。参照图5，驾驶支持终端200可经由第一连接端子(type_obd)直接连接到通信端口140。
[0150]
图6是示出根据一个或更多个实施例的驾驶支持系统的框图。
[0151]
图6中的驾驶支持系统可类似于图4和图5中所示的驾驶支持系统，因此，将不再重复重叠的描述，并且将描述不同之处。另外，关于图1至图3的针对移动装置300和驾驶支持终端200的驾驶程序的讨论也适用于图6的驾驶支持系统。
[0152]
参照图6，图6中的示例中的移动装置300可因此包括图4和图5中所示的驾驶支持终端200的功能和功能性。因此，图4和图5中所示的驾驶支持终端200的功能和功能性(诸如驾驶支持终端200或移动装置300的驾驶程序的实现)可通过移动装置300中采用的一个或更多个处理器执行。例如，在不同的示例中，一个或更多个处理器可分别具有各自的adas零至第二级别的上述不同的较小存储和处理能力配置或者各自的adas第三级别至第五级别的上述不同的较高存储和处理能力配置，或者一个或更多个处理器可具有比这些讨论更大的存储和处理能力配置，并且不限于adas级别的特定驾驶辅助或自动驾驶功能分组。另外，在本文中，驾驶程序功能和功能性可通过移动装置300的cpu、npu、gpu和/或其他处理器来实现，诸如以下示例：这样的处理器中的任何一个或任何组合加载相应的指令和/或人工智能模型(例如作为一个或更多个神经网络存储的参数)，并且诸如利用移动装置300的特定处理器和移动装置300的操作系统，使用使得示例人工智能模型能够在移动装置300上运行的软件开发工具包(sdk)和/或应用编程接口(api)。例如，可将人工智能模型输入到模型转换工具以将人工智能模型转换为深度学习容器(dlc)格式，然后使用优化工具进行优化，该优化工具生成例如人工智能应用能够执行的深度学习容器格式文件。作为更具体的示例，模型转换工具可以是神经处理引擎(npe)sdk(例如，snapdragon神经处理引擎(snpe))的一部分，其在利用移动装置300的一个或更多个处理器的加速运行时间操作的情况下，可例如通过snpe示例中的一个或更多个高通(qualcomm)snapdragon处理器而将这样的人工智能模型转换成移动装置300的npe能够执行的形式和文件格式。这种转换可由移动装置300执行，或者由远程装置或服务器执行，并且以转换的格式存储在移动装置300中，以根据由移动装置300存储和执行的驾驶程序指令选择性执行。作为另一示例，在本文中，示例人工智能模型可以以各种格式(诸如caffeemit、cntk、coreml、keras、mxnet、onnx、pytorch、tensorflow和ios格式)中的任何一种生成、存储为各种格式中的任何一种或者转换为各种格式中的任何一种/从各种格式中的任何一种进行转换，以供移动装置300的所述处理器执行。在另一或另外的示例中，装置驱动程序级别可由移动装置300的操作系统实现，其中，人工智能模型由这样的处理器中的任何一个或任何组合通过控制装置驱动程序级别而选择性地执行，诸如在实现华为hiai引擎或异质计算系统(hihcs)的示例中。例如，在示例中，移
动装置300可通过无线通信(诸如wi-fi通信)与远程信息处理控制单元130和通信端口140两者互连，并且可获得车辆100的信息。这里针对图6讨论的移动装置300的所讨论的可用配置和能力也适用于本文在关于任何或所有其他附图讨论的各种示例中对这样的移动装置300的所有引用，并且关于这样的任何或所有其他附图讨论的可用配置和能力的这样的进一步或替代讨论也适用于图6的移动装置300。
[0153]
图7是示出根据一个或更多个实施例的驾驶支持终端的框图。
[0154]
图7中的示例中的驾驶支持终端200是可提供例如adas第二级别或更低级别的高级驾驶支持功能的终端，并且驾驶支持终端200的驾驶程序可包括驾驶辅助程序，例如，可从而提供或支持前方碰撞警告(fcw)功能、车道偏离警告(ldw)功能、车道保持辅助(lka)功能、盲点警告(bsw)功能、自适应巡航控制(acc)功能、行驶道路识别功能、交通信号识别功能等。
[0155]
参照图7，作为非限制性示例，本文的驾驶支持终端200的示例可包括人工智能处理器210、存储单元220、通信模块230和通信终端240，并且还可包括电力终端250。
[0156]
人工智能处理器210可包括中央处理单元(cpu)211、神经处理单元(npu)212和接口213。例如，npu 212可以是神经形态处理器。cpu 211、npu 212和接口213可彼此电连接。人工智能处理器210的cpu 211和npu 212可通过接口213连接到通信模块230、通信终端240和电力终端250。
[0157]
存储单元220可存储包括驾驶辅助程序的驾驶程序。存储单元220可包括存储驾驶辅助程序的多个存储器221和222。cpu 211和npu 212可分别连接到多个不同的存储器221和222。因此，在执行存储在存储器221和222中的驾驶辅助程序时，cpu 211和npu 212可例如生成驾驶支持信息。在示例中，多个存储器221和222可都实现为高带宽存储器(hbm)。
[0158]
通信模块230可包括wi-fi通信模块，并且可执行与一个或更多个外部装置的无线通信。例如，通信模块230可执行与车辆的远程信息处理控制单元130以及与本文的任何示例中的移动装置300的无线通信。在本文的各种示例中的任何一个中，wi-fi通信模块也可被包括在相机单元110和通信端口140中，并且在这种情况下，通信模块230可执行与相机单元110和通信端口140的无线通信。
[0159]
通信终端240可用作用于诸如从车辆和从移动装置300接收数据以及向车辆和移动装置300发送数据的路径。例如，通信终端240可具有c型usb连接端子和obd型连接端子的形状。类似于上文，在示例中，移动装置可包括类似的人工智能处理器210、存储单元220、通信模块230和通信终端。
[0160]
电力终端250可例如通过obd连接或以其他方式连接到车辆的电池，并且可将从车辆的电池提供的电力提供给驾驶支持终端200的每个元件。在不同的示例中，驾驶支持终端200还可包括调节从车辆提供的电力的电压的电力管理模块(pmic)260。驾驶支持终端200还可包括发送线圈270，发送线圈270将从车辆的电池提供的电力以无线方式提供给外部装置。在这种情况下，驾驶支持终端200可被实现为包括直立形式或支架形式(例如，如图10中所示)，以支撑图4和图5中所示的移动装置300并且例如通过电感或谐振耦合向移动装置300无线传输电力，移动装置300被类似地配置用于通过互补的电感或谐振耦合来接收无线传输的电力。
[0161]
在示例中，驾驶支持终端200可包括电力终端250，使得驾驶支持终端200从车辆的
电池接收电力，但示例不限于此。在本文的各种示例中的任何一个中，驾驶支持终端200还可包括接收线圈并且还可无线地接收电力。
[0162]
图8是示出根据一个或更多个实施例的驾驶支持终端的框图。
[0163]
图8的示例中的驾驶支持终端200可以是提供adas标准中规定的第三级别或更高级别的高级驾驶支持功能的驾驶支持终端，并且驾驶支持终端200的驾驶程序可包括驾驶辅助程序和自主驾驶程序，或者可仅包括自主驾驶程序，在示例中，可从而提供或支持被遮挡对象预测功能、车道变换功能、行人识别功能、道路变换识别功能、道路标识别功能等。图8中的驾驶支持终端200可类似于图7中所示的驾驶支持终端200，因此，将不再重复重叠的描述，并且将描述不同之处。
[0164]
参照图8，图8中的存储单元220可包括比图7中所示的存储单元220中提供的存储器的数量更多数量的存储器。例如，在图7中的存储单元220包括两个存储器的情况下，图8中所示的存储单元220可包括四个存储器。在存储单元220中，cpu 211和npu 212可对应于彼此不同的多个存储器，并且可引导驾驶辅助程序和自主驾驶程序。
[0165]
参照图8，图7中的驾驶支持终端200可包括单个通信终端240，而图8中的驾驶支持终端200可包括多个通信终端240a、240b、240c和240d。
[0166]
第一通信终端240a可以是c型usb连接端子和obd型连接端子。第二通信终端240b可以是can网络的连接终端，第三通信终端240c可以是千兆比特多媒体串行链路(gmsl)的连接终端，并且第四通信终端250d可以是以太网的通信终端。类似于上文，在示例中，移动装置300可包括类似的人工智能处理器210、存储单元220、通信模块230和通信终端。
[0167]
比较图7和图8中的驾驶支持终端200，关于图7描述的驾驶支持终端200可提供adas标准中规定的第二级别或更低级别的高级驾驶支持功能，而图8中的示例中的驾驶支持终端200可提供adas标准中规定的第三级别或更高级别的高级驾驶支持功能。因此，图7和图8中所示的驾驶支持终端200可彼此不同，或者是具有存储和处理配置的相同终端或用于提供各自的功能的两个分别的驾驶支持存储和处理配置的相同终端。
[0168]
在图7中的驾驶支持终端200的示例中，cpu可具有arm cortex a72x2和a53x4@1.5ghz的规范，并且npu可具有每秒10peta浮点运算(tflops)的处理速度。在这样的示例中，存储单元220可包括8gb/512位的高带宽存储器，作为另一示例，存储单元220可包括32gb的nand闪存存储器。例如，通信模块230的wi-fi通信模块可提供至少2.2gbps的速度。例如，通信模块230可具有ieee 802.11ac/ax标准、4
×
4mu-mimo和1024qam的规范。在这样的示例中，驾驶支持终端200可具有4瓦或更小的功耗水平，并且可具有65
×
65mm的尺寸。
[0169]
在图8中的驾驶支持终端200的示例中，cpu可具有arm cortexa72x2和a53x4@3ghz的规范，并且npu可具有每秒100peta浮点运算(tflops)的处理速度。在这样的示例中，存储单元220可包括32gb/1024位的高带宽存储器(hbm)。作为另一示例，存储单元220可包括64gb的nand闪存存储器。例如，通信模块230的wi-fi通信模块可提供至少1gbps的速度。通信模块230可具有ieee 802.11ac/ax标准、4
×
4mu-mimo和1024qam的规范。示例驾驶支持终端200可具有6.6瓦的功耗水平，并且可具有180
×
120mm的尺寸。
[0170]
图9是示出根据一个或更多个实施例的驾驶支持终端与车辆的控制器之间的示例连接关系的示图。
[0171]
参照图9，驾驶支持终端200可经由第三通信终端240c连接到车辆的控制器(例如，
电子控制单元121)。驾驶支持终端200可经由第三通信终端240c连接到电子控制单元121，并且可接收相机单元110对车辆的前方区域、侧方区域和后方区域进行成像的图像。在这种情况下，电子控制单元121可包括提供驾驶支持终端200的高级驾驶支持功能的驾驶程序。
[0172]
例如，为了使驾驶支持终端200无延迟地提供adas标准中规定的第三级别或更高级别的高级驾驶支持功能，根据adas标准，可能期望或要求高性能数据处理速度以及高性能数据接收和发送速度，因此可布置用于收集各种数据的多个端口。然而，根据示例性处理、存储和通信规范，小型驾驶支持终端200的示例可能无法完全满足上述高性能方面，因此作为非限制性示例，这种小型驾驶支持终端可主要实现上述示例的adas零至第二级别功能。
[0173]
在示例中，驾驶程序可嵌入在电子控制单元121中，车辆可不包括驾驶程序，或者驾驶程序可包括驾驶辅助程序和自主驾驶程序中的任一者或两者。
[0174]
在示例中，用于辅助驾驶支持终端200和/或移动装置300与电子控制单元121的交互的指令可上传、安装或嵌入在电子控制单元121中。例如，这样的指令可辅助电子控制单元121接收和理解从驾驶支持终端200和/或移动装置300通过通信端口140提供的或通过can网络以其他方式提供的信息和/或控制信令，其中，对该信息或控制信令的这种理解可包括驾驶支持终端200将该信息或控制信令转发到适当的被控车辆组件，或者电子控制单元121将其复制并转发到适当的车辆组件(就像电子控制单元121已经实现了其自己的驾驶程序一样)，例如，从而例如可听地和/或可视地控制来自驾驶支持终端200和/或移动装置300的信息的提供或显示，和/或从而控制从驾驶支持终端200和/或移动装置300提供其他驾驶辅助或不同级别的自主驾驶控制。指令还可包括添加编码或控制、修改或删除电子控制单元121的当前编码，以用于电子控制单元121对该信息或控制信令的这种接收和理解，或者用于电子控制单元121的受控被动性以仅将相同的信息或控制信令转发到车辆的相应组件，或者用于控制电子控制单元121以不中断或干扰由驾驶支持终端200或移动装置300直接提供给该相应组件的相同控制或控制信令，例如，通过不根据电子控制单元121的驾驶程序发出信息或控制信令(除了来自驾驶支持终端200和/或移动装置300的信息或控制信令之外)，或者以其他方式防止该信息或控制信令向用户/驾驶员显示(或可听地再现)所接收的信息或者利用控制信令控制相应组件。如上所述，该指令还可包括添加编码或控制、修改或删除电子控制单元121的当前编码，以控制当前辅助驾驶程序或自主驾驶程序的协作，或者控制电子控制单元121的驾驶程序的这种程序与辅助驾驶程序和/或自主驾驶程序的选择功能的协作，或者控制驾驶支持终端200和/或移动装置300的协作。这种上传、安装或嵌入可通过在驾驶支持终端200和/或移动装置300初始连接到通信端口140或执行驾驶支持终端200或移动装置300的相应应用或程序时自动处理以开始或继续提供该驾驶辅助/控制功能，或者通过用户选择或授权以将指令上传、安装或嵌入到电子控制单元121(例如通过驾驶支持终端200或移动装置300的示例用户界面)。附加地或替代地，可将单独的控制模块插入车辆中，以在电子控制单元121与来自驾驶支持终端200或移动装置300的该信息和控制信令之间执行转换或切换操作。上传、安装或嵌入在电子控制单元121中的该指令或者通过单独的控制模块提供转换或切换操作的该指令还可提供类似的接口功能，以将车辆和感测到的环境信息提供给驾驶支持终端200和/或移动装置300，以由驾驶支持终端200和移动装置300生成这样的控制。此外，在示例中，电子控制单元121可用已经包括上述指令的相
同或兼容的电子控制单元121替换，因此不需要上传、安装或嵌入上述指令。
[0175]
图11是示出根据一个或更多个实施例的使用npu的驾驶程序的实现的框图。
[0176]
npu 212可实现图像接收器212a、图像预处理器212b、目标识别模型212c和驾驶支持信息生成器212d，因此，可识别在相机单元110中获得的图像中的目标并且生成特定于所识别的目标的驾驶支持信息。
[0177]
在相机单元110中获得的图像可被输入到图像接收器212a。
[0178]
图像预处理器212b可执行图像处理以在输入图像内指定兴趣区域(roi)，并且可从其生成兴趣图像。作为示例，图像预处理器212b可诸如通过高频滤波来提取输入图像的边缘分量，以检测不同的兴趣区域并且可生成相应的兴趣图像。例如，图像预处理器212b可对所生成的兴趣图像执行标准化以例如具有预定大小(诸如，一个或更多个后续人工智能模型已经被训练的大小)。图像预处理器212b还可进一步对标准化的兴趣图像的亮度执行校准。作为示例，可使用零中心方法来校准标准化的兴趣图像的亮度值。图像预处理器212b可将标准化的且校准的兴趣图像提供给目标识别模型212c，例如，目标识别模型212c可表示为具有多个卷积层、其后跟随示例前馈、rnn或其他分类训练的层的示例训练的神经网络系统。
[0179]
目标识别模型212c可通过深度学习(诸如基于损失的反向传播)使用神经网络系统的各个层的存储的参数(例如先前已训练的参数)针对示例目标的特定目的的图像进行训练来实现神经网络系统，因此，在从存储器加载参数时，nru 212的处理元件通过多个神经网络层分析预处理的兴趣图像，nru 212可识别输入图像中的目标。作为示例，目标识别模型212c可重复地实现神经网络系统以识别每个接收到的帧中的目标和/或针对输入图像的多个检测到的roi而识别目标，并且可以以非常高的准确度识别目标。可并行地执行多个这样的神经网络系统(其中每个系统被训练用于识别各自的目标)，或者神经网络系统可被配置为执行输入图像的分类并识别各种训练的目标。例如，目标可包括交通信号、车道、人行横道、道路标志等，使得使用各种训练图像来训练神经网络系统或各个神经网络系统，直到神经网络系统或各个神经网络系统在预定准确度或预定不准确度内识别出正确的目标。
[0180]
驾驶支持信息生成器212d可实现驾驶程序或驾驶程序的部分(component)。例如，驾驶支持信息生成器212d可实现驾驶程序的驾驶辅助程序和自主驾驶程序中的至少一个，从存储器读取关于目标识别模型212c中识别的目标，并且可生成特定于识别的目标的驾驶支持信息(例如，特定于识别的目标的位置以及识别的目标与其他对象的关系等)。这里，对于每个相应的讨论，所描述的车辆是指具有工程化能力来实现至少对应的所描述的驾驶辅助功能的车辆，并且在讨论实现特定级别的自主驾驶程序或特定驾驶辅助功能的示例中，则对应的车辆是具有针对这种对应功能的工程化能力的车辆。可选地，虽然车辆是具有至少一种工程化能力以实现至少一种驾驶辅助功能的车辆，但是示例包括驾驶支持终端200和/或移动装置300确定车辆的功能并且不启用车辆不能执行的驾驶支持终端200和/或移动装置300的驾驶程序的功能，或者可禁用或不实现车辆不能执行的驾驶支持终端200和/或移动装置300的驾驶程序的相应功能。
[0181]
图12a和图12b分别是示出根据一个或更多个实施例的驾驶支持终端的截面图和平面图。
[0182]
参照图12，作为非限制性示例，示例中的驾驶支持终端200可包括基板280、人工智
能处理器210、存储单元220、通信模块230、通信终端240和电力管理模块260以及壳体290。
[0183]
人工智能处理器210、通信模块230、通信终端240和电力管理模块260可布置在基板280上。通信模块230和电力管理模块260可布置在基板280的一个表面上，并且人工智能处理器210可布置在基板280的另一表面上。通信终端240可布置在人工智能处理器210上。作为非限制性示例，驾驶支持终端200的外部可由壳体290形成，并且通信终端240可在一个方向上延伸且突出以连接到外部装置。
[0184]
人工智能处理器210可包括驾驶程序或者可从存储器加载驾驶程序，驾驶程序可包括辅助程序和/或自主驾驶程序，并且驾驶程序可包括加载由各个程序实现的相应人工智能模型的训练参数或者根据需要选择性地加载这些参数，并且可使用例如从车辆的通信端口和/或从(诸如移动装置的)额外相机以及(诸如通过移动装置300的usb连接器)从连接到移动装置300的其他相机通过通信终端提供的数据来生成驾驶支持信息以及驾驶辅助和自主驾驶控制。作为非限制性示例，人工智能处理器210可包括中央处理单元(cpu)和神经处理单元(npu)，并且可与存储单元220集成。
[0185]
通信模块230可包括wi-fi通信模块，并且可被配置为执行与外部装置的无线通信。作为示例，通信模块230可与图2中所示的远程信息处理控制单元130以及一个或更多个相机和移动装置300执行无线通信。当电力管理模块260连接到车辆时，电力管理模块260可调节从车辆的电池提供的电压。通信终端240可直接连接到外部装置，并且可用作用于发送和接收数据的路径，例如，直接连接到车辆的通信端口和/或连接到移动装置300。
[0186]
在图12中，通信终端240可具有c型usb连接端子的形状，但是如上所述，通信终端240可具有obd型连接端子的形状。
[0187]
图13是示出根据示例实施例的驾驶支持系统的框图，图14和图15是示出由本公开的图像处理器执行的校准操作的示图，并且图16和图17是示出由本公开的人工智能处理器执行的控制相机单元的操作的示图。
[0188]
由于图13中的驾驶支持系统类似于图1至图12中的驾驶支持系统，因此将不再重复重复描述，并且将主要描述不同之处。
[0189]
参照图13，图1中所示的示例实施例中的相机单元110或者图2和图3中所示的示例实施例中的相机单元110和数据处理模块150可以替代地由包括智能手机或平板电脑的移动装置300实现。因此，相机单元110或者相机单元110和数据处理模块150的功能可由移动装置300中采用的相机单元和控制器执行。
[0190]
参照图13，移动装置300可包括控制器310、通信单元320、相机单元330、显示单元340、电力供应单元350和电力开关360。
[0191]
控制器310可电连接或功能连接到移动装置300的其他块，并且可控制移动装置300的整体操作和移动装置300的内部块之间的信号流，并且可处理数据。控制器310可包括中央处理单元(cpu)、应用处理器、图形处理单元(gpu)等。
[0192]
通信单元320可通过网络与外部云400互连。网络可指使用预定通信方法形成的通信网络。预定通信方法可包括所有通信方法，诸如通过预定通信标准、预定频带、预定协议或预定信道的通信。例如，通信方法可包括通过蓝牙、ble、wi-fi、zigbee、3g、4g、5g和超声波的通信方法，并且可包括近场通信、长距离通信、无线通信和有线通信。
[0193]
同时，车辆100可通过无线通信与移动装置300互连。例如，车辆100的通信端口140
(参见图1至图3)可通过诸如wi-fi通信的无线通信与移动装置300的通信单元320互连。作为另一示例，通信端口140(参见图1至图3)可通过控制器局域网(can)通信无线地连接到移动装置300的通信单元320。
[0194]
相机单元330可安装在移动装置300的前表面或后表面上，并且可对移动装置300的外部区域进行成像。相机单元330可将生成的图像提供给控制器310。
[0195]
显示单元340可设置在移动装置300的前表面上，并且可根据屏幕上的用户输入来输出信息。例如，显示单元340可与用于接收用户触摸输入的触摸屏装置集成。
[0196]
电力供应单元350可电连接到移动装置300的其他块，并且可供应驱动其他块所需的电力。例如，电力供应单元350可包括非可再充电的一次电池、可再充电的二次电池或燃料电池。电力供应单元350可一体地设置在移动装置300中，或者可与移动装置300可拆卸地设置。
[0197]
电力开关360可将从电力供应单元350提供的电力提供给驾驶支持终端200。控制器310可检测驾驶支持终端200是否连接到移动装置300，并且可控制电力开关360的供电操作。例如，当驾驶支持终端200连接到移动装置300时，控制器310可控制电力开关360接通并且可向驾驶支持终端200供电，例如，当驾驶支持终端200未连接到移动装置300时，控制器310可控制电力开关360断开并且可阻止向驾驶支持终端200供电。
[0198]
参照图13，作为非限制性示例，驾驶支持终端200可包括人工智能处理器210、图像处理器205、模型存储单元215、学习处理器225和电力管理模块260。驾驶支持终端200可通过第二连接端子type_c直接连接到移动装置300。
[0199]
电力管理模块(pmic)260可调节从移动装置300供应的电力的电压。电力管理模块260可电连接到驾驶支持终端200的其他块，并且可供应驱动其他块所需的电力。
[0200]
图像处理器235可对从移动装置300的相机单元330提供的图像进行预处理。当驾驶支持终端200通过第二连接端子(type_c)与移动装置300互连时，图像处理器235可从移动装置300的相机单元330接收图像。
[0201]
根据示例实施例，移动装置300的控制器310可主要对从相机单元330提供的图像进行预处理，并且图像处理器235可对进行了主要预处理的图像进行二次预处理。为此，移动装置300的控制器310可包括单独的图像处理器。图像处理器235可对应于图11中所示的图像预处理器212b。
[0202]
作为示例，图像处理器235可执行图像处理以在从相机单元330提供的图像内指定兴趣区域(roi)，并且可从其生成兴趣图像。作为示例，图像处理器235可利用高频滤波通过提取输入图像的边缘分量来检测不同的兴趣区域，并且可生成与不同的兴趣区域相对应的兴趣图像。例如，图像处理器235可对生成的兴趣区域执行标准化，使得一个或更多个后续人工智能模型具有等于训练大小的预定大小。图像处理器235还可针对标准化的兴趣图像的亮度执行额外校准。当图像处理器235校准标准化的兴趣图像的亮度时，可适当地减小图14(a)中所示的兴趣图像的亮度值，使得对象可见性可改善为如图14(b)中所示的兴趣图像。作为示例，可使用零中心方法来校准标准化的兴趣图像的亮度值。
[0203]
同时，图像处理器235可通过旋转标准化的兴趣图像来执行附加校准。当图像处理器235通过沿顺时针或逆时针方向旋转图15(a)中所示的兴趣图像来执行校准时，图15(b)中所示的兴趣图像的水平侧和垂直侧可被改变为沿水平方向和垂直方向设置。
[0204]
图像处理器235可将标准化的和校准的兴趣图像提供给人工智能处理器210。人工智能处理器210可使用从图像处理器235提供的兴趣图像作为输入数据。
[0205]
人工智能处理器210可电连接或功能连接到驾驶支持终端200的其他块，并且可控制驾驶支持终端200的整体操作和驾驶支持终端200的内部块之间的信号流，并且可处理数据。
[0206]
人工智能处理器210可包括人工神经网络处理单元。
[0207]
人工神经网络是对生物神经元的操作原则和神经元之间的关系进行建模，并且是信息处理系统，在信息处理系统中，称为节点或处理元件的多个神经元以层结构的形式连接。人工神经网络是用于机器学习的模型，由机器学习和认知科学中的生物神经网络(动物的中枢神经系统，特别是大脑)启发的统计学习算法。
[0208]
具体地，人工神经网络是指由通过组合突触形成网络的人工神经元(节点)通过学习来改变突触结合的强度而具有问题解决能力的整体模型。神经网络可包括多个层，并且每层可包括多个神经元。此外，人工神经网络可包括连接神经元的突触。
[0209]
一般而言，人工神经网络可由激活函数来定义，激活函数从以下三个因素生成输出值，这三个因素是不同层的神经元之间的连接模式、更新连接的权重的学习过程以及从前一层接收到的输入的加权和。
[0210]
人工神经网络可包括诸如深度神经网络(dnn)、循环神经网络(rnn)、双向循环深度神经网络(brdnn)、多层感知器(mlp)和卷积神经网络(cnn)的网络模型，但不限于此。
[0211]
人工神经网络根据层数分为单层神经网络和多层神经网络。
[0212]
可使用训练数据来训练人工神经网络。这里，学习是指使用训练数据确定人工神经网络的参数以便实现对输入数据进行分类、回归或聚类的目的的处理。作为人工神经网络的参数的代表性示例，可存在应用于突触的权重或应用于神经元的偏置(bias)。
[0213]
人工智能处理器210可接收用于模型训练的输入数据和训练数据。
[0214]
人工智能处理器210可将从图像处理器205提供的输入数据应用于存储在模型存储单元215中的训练模型，并且可推断输出数据。
[0215]
同时，人工智能处理器210可根据与从图像处理器205提供的兴趣图像相对应的输入数据来控制移动装置300中提供的至少一个块。
[0216]
作为示例，如图16(a)中所示，当兴趣图像中包括闪烁现象时，可通过控制器310改变相机单元330的快门速度，从而如图16(b)中所示消除兴趣图像中包括的闪烁现象。
[0217]
作为另一示例，如图17(a)中所示，当兴趣图像的屏幕亮度暗时，可通过控制器310改变相机单元330的光圈值，从而如图17(b)所示适当地改变兴趣图像的屏幕亮度。
[0218]
学习处理器225可使用从人工智能处理器210提供的训练数据来训练(或学习)存储在模型存储单元215中的人工神经网络。
[0219]
人工智能处理器210可将从移动装置300的通信单元320提供的训练数据发送到学习处理器225。通信单元320可从云400下载训练数据。当驾驶支持终端200通过第二连接端子(type_c)与移动装置300互连时，人工智能处理器210可通过移动装置300的通信单元320下载训练数据。也就是说，当驾驶支持终端200通过第二连接端子type_c与移动装置300互连时，可更新训练数据。
[0220]
驾驶支持终端200可通过第二连接端子(type_c)直接连接到移动装置300。
[0221]
人工智能处理器210可对输入数据和训练数据进行预处理，并且可生成预处理的输入数据和预处理的训练数据。例如，由人工智能处理器210执行的输入数据的预处理可指从输入数据提取输入特征。
[0222]
模型存储单元215可存储人工神经网络。存储在模型存储单元215中的人工神经网络可包括多个隐藏层。然而，示例实施例中的人工神经网络不限于此。人工神经网络可由硬件、软件或者硬件和软件的组合来实现。当人工神经网络的一部分或全部由软件实现时，配置人工神经网络的一个或更多个命令字可存储在存储器中。
[0223]
可通过学习处理器225学习存储在模型存储单元215中的人工神经网络。模型存储单元215可存储由学习处理器225训练的或学习的模型。当通过学习更新模型时，模型存储单元215可存储更新的模型。模型存储单元215可根据学习时间点或学习进度将学习模型分类为多个版本，并且可在必要时存储模型。
[0224]
作为示例，模型存储单元215可包括图11中所示的目标识别模型212c。
[0225]
目标识别模型212c可通过深度学习(诸如基于损失的反向传播)使用神经网络系统的各个层的存储的参数(诸如先前训练的参数)针对示例目标的特定目的对图像进行训练来实现神经网络系统。因此，目标识别模型212c可通过从存储器上传参数来处理nru 212的组件，以通过多个神经网络层分析预处理的兴趣图像，使得nru 212可识别输入图像中的目标。作为示例，目标识别模型212c可重复地实现神经网络系统以针对每个接收到的帧和/或针对输入图像的多个检测到的roi而识别目标，并且可以以非常高的准确度识别目标。可针对每个系统训练该多个神经网络系统以识别相应的目标，并且可并行地执行该多个神经网络系统，或者神经网络系统可被配置为对输入图像进行分类并且可识别各种训练的目标。例如，目标可包括交通信号、车道、人行横道、道路标志等，使得可使用各种训练图像来训练神经网络系统或每个神经网络系统，直到神经网络系统或每个神经网络系统在预定准确度或预定不准确度内识别出准确的目标。
[0226]
同时，图11中的驾驶支持信息生成器212d可由人工智能处理器210实现。
[0227]
驾驶支持信息生成器212d可实现驾驶程序或驾驶程序的组件。例如，驾驶支持信息生成器212d可针对在目标识别模型212c中识别的目标实现从存储器读取的驾驶程序的驾驶辅助程序和自主驾驶程序中的至少一个，并且可生成针对识别的目标而指定的驾驶支持信息，例如，针对识别的目标的位置以及识别的目标与其他对象之间的关系而指定的驾驶支持信息。
[0228]
学习处理器225可使用训练数据来训练(或学习)存储在模型存储单元215中的人工神经网络。
[0229]
学习处理器225可获取从人工智能处理器210提供的训练数据，并且可学习存储在模型存储单元215中的人工神经网络。例如，学习处理器225可通过使用各种众所周知的学习技术重复训练人工神经网络来确定人工神经网络的优化模型参数。通过使用训练数据进行训练，可将其参数被确定的人工神经网络称为训练模型或经训练的模型。
[0230]
本文针对图1至图12b描述的相机、相机单元、相机单元110、电子控制单元、车辆控制单元120、电子控制单元121、车身控制模块122、控制器、通信端口、通信端口140、远程信息处理控制单元130、数据处理模块、预处理器、数据处理模块150、模块、终端、管理模块、驾驶支持终端、驾驶支持终端200、移动装置、移动装置300、移动电话、通信模块、通信模块
230、通信终端240、通信终端240a-240d、电力终端250、发送线圈270、pmic 260、存储单元220、存储器、存储器221和222、连接器、神经形态处理器、处理器、npu、npu 212、cpu、cpu 211、接口、接口213、人工智能处理器、人工智能处理器210以及其他设备、终端、模块、单元、装置和其他组件是硬件组件并且通过硬件组件实现。可用于执行本申请中描述的操作的合适的硬件组件的示例包括：被配置为执行本申请中描述的操作的控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及任何其它电子组件。在其他示例中，执行本申请中描述的操作的硬件组件中的一个或更多个可通过计算硬件实现，例如通过一个或更多个处理器或计算机实现。处理器或计算机可通过一个或更多个处理元件(诸如，被配置为以限定的方式响应和执行指令以实现期望的结果的逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或任何其它装置或装置的组合)实现。在一个示例中，处理器或计算机包括或者连接到存储通过处理器或计算机执行的指令或软件的一个或更多个存储器。由处理器或计算机实现的硬件组件可执行指令或软件(诸如，操作系统(os)和在os上运行的一个或更多个软件应用)，以执行本申请中描述的操作。硬件组件也可响应于指令或软件的执行而访问、操纵、处理、创建和存储数据。为简单起见，可在本申请中所描述的示例的描述中使用单数术语“处理器”或“计算机”，但是在其他示例中，可使用多个处理器或计算机，或者处理器或计算机可包括多个处理元件或多种类型的处理元件，或者两者。例如，单个硬件组件或者两个或更多个硬件组件可由单个处理器、或者两个或更多个处理器、或者处理器和控制器实现。一个或更多个硬件组件可由一个或更多个处理器、或者处理器和控制器实现，并且一个或更多个其它硬件组件可由一个或更多个其它处理器、或者另一处理器和另一控制器实现。一个或更多个处理器、或者处理器和控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理构造的任何一种或更多种，其示例包括单个处理器、独立处理器、并行处理器、单指令单数据(sisd)多处理、单指令多数据(simd)多处理、多指令单数据(misd)多处理以及多指令多数据(mimd)多处理。
[0231]
关于图1至图11示出和讨论的并且执行本申请中描述的操作的方法由计算硬件(例如，由如上所述实现的一个或多个处理器或计算机)执行，计算硬件执行指令或软件以执行本申请中描述的由方法执行的操作。例如，单个操作或两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或更多个操作可由一个或更多个处理器或者处理器和控制器执行，并且一个或更多个其他操作可由一个或更多个其他处理器或者另一处理器和另一控制器执行。一个或更多个处理器或者处理器和控制器可执行单个操作或者两个或更多个操作。
[0232]
用于控制计算硬件(例如，一个或更多个处理器或计算机)以实现硬件组件并执行如以上描述的方法的指令或软件可被写作用于单独地或共同地指示或配置一个或更多个处理器或计算机以操作为机器或专用计算机以执行由硬件组件和如上所述的方法执行的操作的计算机程序、代码段、指令或其任意组合。在一个示例中，指令或软件包括由一个或更多个处理器或计算机直接执行的机器代码(诸如，由编译器生成的机器代码)。在另一示例中，指令或软件包括由一个或更多个处理器或计算机使用解释器执行的更高级代码。可基于附图中示出的框图和流程图以及说明书中的公开了用于执行由硬件组件和如以上描述的方法执行的操作的算法的相应描述使用任何编程语言来编写指令或软件。
[0233]
用于控制计算硬件(例如，一个或更多个处理器或计算机)以实施硬件组件并执行如上文所描述的方法和任何相关联的数据、数据文件及数据结构的指令或软件可被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质中或被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态驱动器(ssd)、闪存、卡型存储器(诸如多媒体卡微型或卡(例如，安全数字(sd)或极端数字(xd))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其它装置，上述装置被配置成以非暂态方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且向一个或更多个处理器或计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得一个或更多个处理器或计算机可执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构由一个或更多个处理器或计算机以分布式方式存储、访问和执行。
[0234]
虽然本公开包括具体示例，但在理解本申请的公开内容之后将明显的是，在不脱离权利要求及其等同物的精神及范围的情况下，可在这些示例中做出形式和细节上的各种改变。这里所描述的示例将仅被理解为描述性意义，而非出于限制的目的。在每个示例中的特征或方面的描述将被理解为可适用于其他示例中的类似的特征或方面。如果按照不同的顺序执行描述的技术，和/或如果按照不同的方式组合和/或通过其他组件或它们的等同物替换或增添描述的系统、架构、装置或电路中的组件，则可获得合适的结果。因此，本公开的范围不是通过具体实施方式限定，而是通过权利要求及其等同物限定，并且在权利要求及其等同物的范围之内的全部变型将被解释为包括在本公开中。