检测多模式图像的特征的制作方法

本发明大体涉及用于检测图像特征的系统和方法，并且更具体地说，涉及用于检测用于控制车辆的物体和/或道路特征的系统和方法。

自主和半自主车辆能够感测其环境，并且基于所感测的环境进行导航。这种车辆使用例如雷达、激光雷达、图像传感器等的传感装置来感测它们的环境。该车辆系统进一步使用来自全球定位系统(gps)技术、导航系统、车辆到车辆通信、车辆到基础设施技术和/或线控驾驶系统的信息来导航车辆。

车辆自动化被分类为若干数字级别，范围从零(对应于没有自动化，完全人工控制)到五(对应于完全自动化而无人工控制)。各种自主驾驶辅助系统，例如巡航控制、自适应巡航控制和停车辅助系统，对应于较低的自动化级别，而真正的“无人驾驶”车辆对应于较高的自动化级别。包含自主车辆特征的一些车辆包含多个光学摄像头以对车辆周围的环境进行成像。基于从摄像头获得的图像，一些自主车辆系统检测车道特征和/或检测车辆周围的物体以用于控制车辆，例如通过避开从图像中提取的障碍物并遵守从图像中提取的道路信息所指示的驾驶规则。

因此，需要提供以计算有效的方式检测图像特征的系统和方法。进一步需要提供使用功率有效且处理有效的人工神经网络来检测图像特征的方法和系统。此外，本发明的其它所需特征和特性将从随后的详细描述和所附权利要求结合附图和前述技术领域和背景而变得显而易见。

技术实现要素：

提供了用于检测图像特征的系统和方法。一种用于检测图像特征的系统包含：小波变换器，该小波变换器被配置成经由处理器接收图像数据并对该图像数据进行小波变换，从而提供被分成频率子带的分解图像数据；以及人工神经网络，该人工神经网络被配置成接收并处理该分解图像数据的子带以基于其检测图像特征，该人工神经网络被配置成输出检测到的图像特征。

在实施例中，该小波变换器执行二维离散小波变换功能。在实施例中，该小波变换器执行多级二维离散小波变换功能以获得分解图像特征的多级子带。在实施例中，该离散小波变换包含子带译码。

在实施例中，该小波变换器包含具有高通滤波器和低通滤波器的至少一个分解级别，并且该分解图像数据包含至少四个子带，包含llk、hlk、lhk和hhk，其中k表示分解级别，l表示已通过低通滤波器的图像数据，并且h表示已通过高通滤波器的图像数据。各级的滤波器限定小波变换功能。

在实施例中，该人工神经网络被配置成接收并处理该分解图像数据的该频率子带中的仅一个、一些或全部。

在实施例中，该系统包含滤波器，该滤波器被配置成去除该分解图像数据的低于阈值的系数或将其设置为零，从而提供经滤波的分解图像数据，其中该人工神经网络被配置成接收并处理该经滤波的分解图像数据的一组子带，以基于其检测图像特征。在实施例中，基于该分解图像数据来自适应地设置阈值(例如，最小的75％的系数设置为零)，或使用静态阈值。

在实施例中，该人工神经网络被配置成执行基于刺激的漏失，从而当分解图像的输入系数全部基本为零时，神经元的输出被设置为零，而不执行常规计算。在实施例中，基于刺激的漏失是在人工神经网络的训练和/或应用期间执行的。

在实施例中，该人工神经网络包含并行计算管线，该并行计算管线被配置成接收并处理该分解图像数据的相应子带并输出相应的特征图。

在实施例中，该人工神经网络被配置成级联该输出的特征图以形成级联特征图且基于该级联特征图检测图像特征。

在实施例中，该人工神经网络包含禁用器，该禁用器被配置成选择性地禁用该计算管线中的一个或多个。

在实施例中，该并行计算管线中的每一个包含一个或多个卷积层。

在实施例中，该人工神经网络被配置成级联该输出的特征图以形成级联特征图，其中该人工神经网络包含一个或多个完全连接层，该完全连接层被配置成基于该级联特征图检测图像特征。

在实施例中，已经从车辆摄像头接收该图像数据，其中该人工神经网络被配置成检测该图像数据中的道路特征，并且其中该系统包括驾驶系统，该驾驶系统被配置成接收检测到的道路特征并且部分地基于检测到的道路特征自动控制车辆特征。在实施例中，该道路特征包含物体(包含移动物体)、车道标记、车道和道路边界、道路标志以及与车辆周围环境中的道路相关联的其它特征。

在实施例中，提供了一种用于检测图像特征的方法。该方法包含：经由处理器接收图像数据；经由该处理器对该图像数据进行小波变换，从而提供分成频率子带的分解图像数据；经由人工神经网络处理该分解图像数据的一个或多个子带，以基于其检测图像特征；以及经由该人工神经网络输出检测到的图像特征。

在实施例中，该人工神经网络处理该分解图像数据的该频率子带中的仅一个、仅一些或全部。

在实施例中，该人工神经网络包含并行计算管线，该并行计算管线处理该分解图像数据的相应子带并输出相应的特征图。

在实施例中，该人工神经网络级联该输出的特征图以形成级联特征图，并且基于该级联特征图检测图像特征。

在实施例中，该方法包含选择性地禁用该计算管线中的一个。

在实施例中，该并行计算管线中的每一个包含卷积层和池层，并且其中该人工神经网络包含基于该级联特征图检测图像特征的完全连接层。

在实施例中，该方法包含：从车辆摄像头或多个车辆摄像头接收该图像数据；经由该人工神经网络检测该图像数据中的道路特征；以及部分地基于检测到的道路特征自动控制车辆特征。

在另一实施例中，提供了一种车辆。该车辆包含：车辆摄像头，该车辆摄像头被配置成捕获车辆环境的图像并提供对应图像数据；处理器，该处理器被配置成接收该图像数据并对该图像数据进行小波变换，从而提供被分成频率子带的分解图像数据。人工神经网络被配置成接收并处理该分解图像数据的一个或多个子带以基于其检测道路特征，该人工神经网络被配置成输出检测到的道路特征。驾驶系统被配置成接收检测到的道路特征且部分地基于检测到的道路特征自动控制车辆特征。

在实施例中，该人工神经网络包含多个计算管线，该计算管线被配置成接收分解图像数据的相应子带并输出相应的特征图，每个计算管线包含卷积层和池层，其中该人工神经网络被配置成级联所输出的相应特征图以提供级联特征图，并且其中该人工神经网络包含完全连接层，该完全连接层被配置成基于级联特征图检测道路特征。

在实施例中，该人工神经网络被配置成处理该分解图像数据的该子带中的仅一个、仅一些或全部。

附图说明

在下文中将结合以下附图描述示例性实施例，其中相同的数字表示相同的元件，并且其中：

图1是说明根据各种实施例的具有图像特征检测系统的车辆的功能方框图；

图2是说明根据各种实施例的具有一个或多个自主车辆的运输系统的功能方框图；

图3是说明根据各种实施例的包含自主车辆中的图像特征检测系统的自主驾驶系统的数据流图；

图4是说明根据各种实施例的图像特征检测系统的数据流图；

图5说明根据各种实施例的二维小波变换器：

图6说明根据各种实施例的各种级别的分解图像数据；

图7是根据各种实施例的人工神经网络架构；以及

图8是说明根据各种实施例的用于控制自主车辆的控制方法的流程图。

具体实施方式

以下详细描述本质上仅是示例性的，并不旨在限制应用和用途。此外，无意受前述技术领域、

背景技术：
、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。如本文中所使用，术语模块单独地或以任何组合指代任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包含但不限于：专用集成电路(asic)、电子电路、处理器(共享的、专用的或组)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所描述功能的其它合适的部件。

可在功能和/或逻辑块部件和各种处理步骤方面描述本发明的实施例。应了解，此种块部件可由被配置成执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本发明的实施例可使用各种集成电路部件，例如存储器元件、数字信号处理元件、逻辑元件、查找表等，其可在一个或多个微处理器或其它控制装置的控制下执行各种功能。另外，本领域技术人员将了解，本发明的实施例可结合任何数量的系统来加以实践，并且本文描述的系统仅仅是本发明的示例性实施例。

为简洁起见，本文中可能不详细描述与信号处理、数据传输、信令、控制和系统的其它功能方面(以及系统的单独操作部件)有关的常规技术。此外，本文中含有的各种图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理联接。应注意，在本发明的实施例中可存在许多替代或附加的功能关系或物理连接。

参考图1，根据各种实施例，大体上以100示出的车辆系统与车辆10相关联。通常，车辆系统100包含图像特征检测系统200，该图像特征检测系统被配置成接收输入图像数据208，将所接收的图像数据分解成多个子带，并且操作用于基于子带分割图像数据检测图像特征的人工神经网络。在各种实施例中，人工神经网络被配置成使用小波参数(系数)作为其输入并且在执行图像特征检测时处理此输入。

本描述主要在检测用于汽车应用的图像特征的背景下描述图像特征检测系统200的使用。然而，应理解，图像特征检测系统200可用于检测多种应用中的图像特征。

如图1所描绘，车辆10通常包含底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上，并且基本上包围车辆10的部件。车身14和底盘12可共同形成框架。车轮16到18各自在车身14的相应拐角附近可旋转地联接到底盘12。

在一些实施例中，车辆10是自主车辆，并且图像特征检测系统200并入到车辆10(下文中称为自主车辆10)中。本描述集中于自主车辆应用中的示例性应用。然而，应理解，本文描述的图像特征检测系统200被设想用于半自主机动车辆，包含利用车道感知信息的驾驶员辅助系统，例如车道偏离警告系统和车道保持辅助系统。

自主车辆10例如是自动控制以将乘客从一个位置运送到另一位置的车辆。在所说明的实施例中，车辆10被描绘为乘用车，但应了解，也可使用包含摩托车、卡车、运动型多功能车(suv)、休闲车(rv)、船舶、飞机等的任何其它车辆。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统指示“高度自动化”，指的是动态驾驶任务的所有方面的自主驾驶系统的驾驶模式特定性能，即使人类驾驶员没有对干预请求做出适当响应。五级系统指示“完全自动化”，指的是自主驾驶系统在可由人类驾驶员管理的所有道路和环境条件下的动态驾驶任务的所有方面的全时性能。

如图所示，自主车辆10通常包含推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34和通信系统36。在各种实施例中，推进系统20可包含内燃发动机、例如牵引电动机的电机，和/或燃料电池推进系统。变速器系统22被配置成根据可选择的速度比将动力从推进系统20传动到车轮16到18。根据各种实施例，变速器系统22可包含步进比自动变速器、无级变速器或其它适当的变速器。制动系统26被配置成向车轮16到18提供制动扭矩。在各种实施例中，制动系统26可包含摩擦制动器、线控制动器、再生制动系统(例如电机)，和/或其它适当的制动系统。转向系统24影响车轮16到18的位置。尽管出于说明目的被描绘为包含方向盘，但在本发明的范围内预期的一些实施例中，转向系统24可不包含方向盘。

传感器系统28包含一个或多个感测装置40a至40n，其感测自主车辆10的外部环境和/或内部环境的可观察状况。感测装置40a至40n可包含但不限于雷达、激光雷达、全球定位系统、光学摄像头140a至140n、热摄像头、超声波传感器和/或其它传感器。在实施例中，感测装置40a至40n包含用于以特定帧率获得图像的一个或多个摄像头。尽管在本实施例中针对摄像头图像进行了描述，但本文使用的图像不限于来自典型摄像头的信号，还包含来自各种其它传感器的信号，这些信号可被表示或转换为类似图像的网格状结构。一个或多个摄像头安装在车辆10上，并且被布置用于捕获车辆10的外部环境的图像(例如，视频形式的一系列图像)。在实施例中，一个或多个摄像头捕获图像并产生基于像素的图像表示作为输入图像数据208的一部分(如图4所示)。通常，基于像素的图像包含很多冗余信息，并且图像包含在检测图像特征时感兴趣的相对稀疏的图像数据。本发明提出了一种图像特征检测系统200，其中人工神经网络202的各方面对较低分辨率的子带译码的图像数据进行操作，而不会丢失用于检测图像特征的所关注细节。

致动器系统30包含一个或多个致动器装置42a至42n，其控制一个或多个车辆特征，例如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，车辆特征可进一步包含内部和/或外部车辆特征，例如但不限于车门、行李箱和例如空气、音乐、照明等的舱室特征(未标号)。

数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储设备32存储可导航环境的所限定地图。在各种实施例中，所限定地图可由远程系统预定义并从远程系统获得(关于图2进一步详细描述)。例如，所限定地图可由远程系统组装且以无线方式和/或以有线方式传达到自主车辆10并存储在数据存储装置32中。如可了解，数据存储装置32可是控制器34的一部分，与控制器34分开，或者控制器34的一部分和单独系统的一部分。

控制器34包含至少一个处理器44和计算机可读存储装置或介质46。处理器44可是任何定制的或市售的处理器、中央处理单元(cpu)、图形处理单元(gpu)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片组形式)、宏处理器，其任何组合，或通常用于执行指令的任何装置。计算机可读存储装置或介质46可包含例如只读存储器(rom)、随机存取存储器(ram)和保活存储器(kam)中的易失性和非易失性存储装置。kam是持久性或非易失性存储器，其可用于在处理器44断电时存储各种操作变量。计算机可读存储装置或介质46可使用许多已知存储器装置中的任何一种来实施，例如prom(可编程只读存储器)、eprom(电prom)、eeprom(电可擦除prom)、闪存或能够存储数据的任何其它电、磁、光或组合存储器装置，其中一些表示由控制器34用于控制自主车辆10的可执行指令。

指令可包含一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。当由处理器44执行时，指令接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并生成到致动器系统30的控制信号以基于该逻辑、计算、方法和/或算法自动控制自主车辆10的部件。尽管图1中仅示出了一个控制器34，但自主车辆10的实施例可包含任何数量的控制器34，其通过任何合适的通信介质或通信介质的组合进行通信，并且协作以处理传感器信号，执行逻辑、计算、方法和/或算法，并且生成控制信号以自动控制自主车辆10的特征。

在各种实施例中，并且参考图4，控制器34的一个或多个指令具体实施在图像特征检测系统200中，并且当由处理器44执行时，被配置成对输入图像数据208进行小波变换以产生包含多个分割子带的分解图像数据212且使用人工神经网络202检测图像特征，该人工神经网络将分解图像数据212作为输入。人工神经网络202输出检测到的图像特征数据210以供车辆10的自动化特征使用。

通信系统36被配置成与其它实体48无线地传达信息，例如但不限于其它车辆(“v2v”通信)、基础设施(“v2i”通信)、远程系统和/或个人装置(关于图2更详细地描述)。在示例性实施例中，通信系统36是无线通信系统，被配置成使用ieee802.11标准或通过使用蜂窝数据通信经由无线局域网(wlan)进行通信。然而，例如专用短程通信(dsrc)信道的附加或替代通信方法也被认为在本发明的范围内。dsrc信道是指专为汽车应用而设计的单向或双向短距离到中距离无线通信信道以及对应的协议和标准集。

现在参考图2，在各种实施例中，关于图1描述的自主车辆10可适用于特定地理区域(例如，城市、学校或商业园区、购物中心、游乐园、活动中心等)中的出租车或运输系统的背景，或者可能只需由远程系统管理。例如，自主车辆10可与基于自主车辆的远程运输系统相关联。图2说明总体上以50示出的操作环境的示例性实施例，其包含基于自主车辆的远程运输系统52，其与如关于图1所描述的一个或多个自主车辆10a至10n相关联。在各种实施例中，操作环境50进一步包含一个或多个用户装置54，其经由通信网络56与自主车辆10和/或远程运输系统52通信。

通信网络56根据需要支持由操作环境50支持的装置、系统和部件之间的通信(例如，经由有形通信链路和/或无线通信链路)。例如，通信网络56可包含无线载波系统60，例如蜂窝电话系统，其包含多个蜂窝塔(未示出)、一个或多个移动交换中心(msc)(未示出)，以及将无线载波系统60与陆地通信系统连接所需的任何其它网络部件。每个蜂窝塔包含发送和接收天线以及基站，其中来自不同蜂窝塔的基站直接或通过例如基站控制器的中间设备连接到msc。无线载波系统60可实施任何合适的通信技术，包含例如数字技术，例如cdma(例如，cdma2000)、lte(例如，4glte或5glte)、gsm/gprs或其它当前或新兴的无线技术。其它蜂窝塔/基站/msc布置是可能的，并且可与无线载波系统60一起使用。例如，基站和蜂窝塔可共同位于同一站点，或其可彼此远程定位，每个基站可负责单个蜂窝塔，或者单个基站可服务于各个蜂窝塔，或者各种基站可联接到单个msc(仅举几个可能的布置)。

除了包含无线载波系统60之外，还可包含卫星通信系统64形式的第二无线载波系统，以提供与自主车辆10a至10n的单向或双向通信。这可使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来完成。单向通信可包含例如卫星无线电服务，其中节目内容(新闻、音乐等)由发射站接收，打包以便上载，然后发送到卫星，卫星将节目广播给订户。双向通信可包含例如使用卫星在车辆10与站之间中继电话通信的卫星电话服务。除了无线载波系统60之外或代替无线载波系统，可利用卫星电话。

可进一步包含陆地通信系统62，其是连接到一个或多个陆线电话并将无线载波系统60连接到远程传输系统52的常规陆基电信网络。例如，陆地通信系统62可包含公共交换电话网(pstn)，例如用于提供硬连线电话、分组交换数据通信和因特网基础设施的公共交换电话网。陆地通信系统62的一个或多个段可通过使用标准有线网络、光纤或其它光网络、有线网络、电力线、例如无线局域网(wlan)的其它无线网络或者提供宽带无线接入(bwa)或其任何组合的网络来实施。此外，远程传输系统52不需要经由陆地通信系统62连接，而是可包含无线电话设备，使得其可直接与无线网络(例如无线载波系统60)通信。

尽管图2中仅示出了一个用户装置54，但操作环境50的实施例可支持任何数量的用户装置54，包含由一个人拥有、操作或以其它方式使用的多个用户装置54。可使用任何合适的硬件平台来实施由操作环境50支持的每个用户装置54。在这方面，用户装置54可以任何常见的形状因子实现，包含但不限于：台式计算机；移动计算机(例如平板电脑、笔记本电脑或上网本电脑)；智能电话；视频游戏装置；数字媒体播放器；一件家庭娱乐设备；数码摄像头或摄像机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户装置54被实现为计算机实施的或基于计算机的装置，其具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑。例如，用户装置54包含可编程装置形式的微处理器，其包括存储在内部存储器结构中并应用于接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包含能够接收gps卫星信号并基于那些信号生成gps坐标的gps模块。在其它实施例中，用户装置54包含蜂窝通信功能，使得装置使用一个或多个蜂窝通信协议在通信网络56上执行语音和/或数据通信，如本文所论述。在各种实施例中，用户装置54包含视觉显示器，例如触摸屏图形显示器或其它显示器。

远程运输系统52包含一个或多个后端服务器系统，其可是基于云的、基于网络的，或驻留在由远程运输系统52服务的特定园区或地理位置。远程运输系统52可由现场顾问或自动顾问或两者的组合来管理。远程运输系统52可与用户装置54和自主车辆10a至10n通信以调度乘坐、分派自主车辆10a至10n等。在各种实施例中，远程运输系统52存储商店账户信息，例如订户认证信息、车辆标识符、简档记录、行为模式和其它相关订户信息。

根据典型的用例工作流程，远程运输系统52的注册用户可经由用户装置54创建乘坐请求。乘坐请求通常将指示乘客希望的接载地点(或当前gps位置)、希望的目的地位置(其可识别预定义的车辆停靠点和/或用户指定的乘客目的地)以及接载时间。远程运输系统52接收乘车请求、处理该请求，并且分派所选择的一个自主驾驶车辆10a至10n(当一个可用时)以在指定的接载地点和适当的时间接载乘客。运输系统52还可生成适当配置的确认消息或通知给用户装置54，以使乘客知道车辆在路上。

如可了解，本文公开的主题为可被视为标准或基线自主车辆10和/或基于自主车辆的远程运输系统52提供某些增强的特征和功能。为此，可修改、增强或补充基于自主车辆和自主车辆的远程运输系统，以提供下文更详细描述的附加特征。本文描述的关于图像特征检测系统200的主题不仅适用于自主驾驶应用，而且还适用于具有利用车道计算机感知能力的一个或多个自动特征的其它驾驶系统。另外，图像特征检测系统200可在除汽车范围之外的其它应用中操作以检测图像特征。

根据示例性自主驾驶应用，控制器34实施如图3所示的自主驾驶系统(ads)70。即，控制器34的合适的软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)用于提供与车辆10结合使用的自主驾驶系统70。

在各种实施例中，自主驾驶系统70的指令可由功能、模块或系统组织。例如，如图3所示，自主驾驶系统70可包含计算机视觉系统74、定位系统76、引导系统78和车辆控制系统80。如可了解，在各种实施例中，指令可被组织成任何数量的系统(例如，组合、进一步分割等)，因为本发明不限于本示例。

在各种实施例中，计算机视觉系统74合成并处理传感器数据并预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中，计算机视觉系统74可并有来自多个传感器的信息，包含但不限于摄像头、激光雷达、雷达和/或任何数量的其它类型的传感器。

定位系统76处理传感器数据以及其它数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路的车道的精确位置、车辆方向、速度等)。引导系统78处理传感器数据以及其它数据以确定车辆10遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。

在各种实施例中，控制器34实施机器学习技术以辅助控制器34的功能，例如特征检测/分类、障碍物减轻、路线遍历、地图绘制、传感器集成、地面实况确定等。

如上面简要提到的，图1(和图4)的图像特征检测系统200在自主驾驶应用中包含在ads70内，例如，作为计算机视觉系统200的一部分。图像特征检测系统200被配置成输出检测到的图像特征数据210，以用于依赖于例如图像特征分类和定位的图像特征检测的各种可能的自动控制模块。在一些实施例中，检测到的图像特征数据210包含道路特征数据(例如道路边界和道路标记，包含道路侧标志和交通灯)，包含车道特征数据(例如车道边界和车道标记)和周围物体数据(包含行人、其它车辆、建筑物等)。这种检测到的图像特征数据210可由引导系统78使用以确定车辆10的轨迹。车辆控制系统80与致动器系统80一起工作以穿过此种轨透。

例如，如关于图4更详细地示出，并继续参考图1至3，图像特征检测系统200包含小波变换器204，该小波变换器从一个或多个图像捕获装置(例如，光学摄像头)40a至40n，或者从将从各种其它传感器捕获的其它数据模式转换为网格状图像格式的转换器接收输入图像数据208，并将输入图像数据208分解为包含频率子带的分解图像数据212。可选滤波器206被配置成去除分解图像数据212中系数基本为零或系数低于阈值的数据(表示关于检测图像特征的目的具有很少信息内容的像素)或将其设置为零。人工神经网络202被配置成处理分解图像数据212或经滤波的分解图像数据214中包含的一个或多个频率子带，并提供检测到的图像特征数据210。在一些实施例中，检测到的图像特征数据210由例如关于图3描述的驾驶辅助系统或自主驾驶系统200的驾驶系统使用，或由使用自动特征感知作为输入的另一应用使用。

更详细地，图5中说明小波变换器204的示例性配置。应了解，图5说明输入图像数据的子带译码的一种技术。在替代实施例中使用其它离散小波变换技术，其提供分成多个频率子带的分解图像数据212。

在图5的示例性实施例中，小波变换器204接收表示输入图像数据208且包含m行和n列的二维数字图像阵列x[m，n]。小波变换器204包含多个滤波器组220、224、226，每个滤波器组包含低通滤波器216和高通滤波器218。低通滤波器216和高通滤波器218包含具体实施小波的离散小波变换功能，例如beylkin、bnc小波、coiflet、cohen-daubechies-feauveau小波、daubechies小波、binomial-qmf(也称为daubechies小波)、haar小波、mathieu小波、legendre小波、villasenor小波、symlet等。在每个滤波器216、218之后是降频取样器221，用于将滤波器216的输出抽取一半。小波变换器204包含至少一个级232、234，其包含第一滤波器组220、第二滤波器组224和第三滤波器组226。

在小波变换器204所应用的离散小波变换处理中，输入图像数据208由第一滤波器组220接收，并且在由相应降频取样器221进行降频取样之后，被分成低频分量或系数228和高频分量或系数230。低频系数228从输入图像数据208提取粗略或近似信息，并且高频率系数230从输入图像数据208提取详细信息。低频系数228被输入到第二滤波器组224，并且高频系数230被输入到第三滤波器组226。第一滤波器组220对输入图像数据208的行执行一维离散小波变换，以产生低频和高频系数228、230。第二滤波器组224对低频系数228执行逐列一维离散小波变换，并且第三滤波器组226对高频系数230执行逐列一维离散小波变换。以此方式，小波变换器204的第一级232执行二维离散小波变换以产生第一级离散小波变换系数ll1、lh1、hl1、hh1。

在实施例中，小波变换器204的级232的最低频率子带由另一级234分解。这种逐级分解的过程可在多级分解过程中连续重复到所需数量的级。在所说明实施例中，说明两级分解过程，其包含滤波器组220、224、226的第一级232和抽取滤波器组220、224、226的第二级234。第二级234从第一级232接收ll1系数，并执行两个一维离散小波变换。第一一维离散小波变换包含第一滤波器组220沿着该行执行滤波处理，然后通过降频取样器221抽取一半。第二一维离散小波变换包含第二和第三滤波器组224、226，其逐列地对来自第一滤波器组220的高频和低频子带进行滤波，并且通过降频取样器221将结果抽取一半。结果，第二级234的操作将输入数据ll1分成另外四个子带ll2、lh2、hl2和hh2。

在实施例中，小波变换器204包含滤波器组220、224、226的k个级232、234，以将输入图像数据208分解成构成分解图像数据212的系数的k个级(其中k＝1，2，3或更大整数)，包含来自小波变换器204的第k级232、234的llk、lhk、hlk和hhk。ll表示已经通过小波变换器204的级232、234的两个低通滤波器216的图像数据。lh表示已经通过低通滤波器216，随后通过小波变换器204的级232、234的高通滤波器218的图像数据。hl表示已经通过高通滤波器218，随后通过小波变换器204的级232、234的低通滤波器216的图像数据。hh表示已经通过小波变换器204的级232、234的两个高通滤波器218的图像数据。

图6说明经由小波变换器204将输入图像数据208分解为分解图像数据212的示例小波变换。第一级分解由附图标记2121示出，其包含最低频率子带ll1和其它子带hl1、lh1和hh1。第一级分解图像数据2121由仅包含第一级232的小波变换器204产生。还说明第二级分解图像数据2122，其包含最低频率子带ll2和其它子带hl2、lh2、hh2、ll1、hl1、lh1和hh1。在实施例中，第二级分解图像数据2122由小波变换器204产生，如图5所示。还说明第三级分解图像数据2123，其包含最低频率子带ll3和其它子带hl3、lh3、hh3、hl2、lh2、hh2、ll1、hl1、lh1和hh1。第三级分解图像数据2123由小波变换器204产生，其类似于图4所示的小波变换器但包含对由第二级234产生的ll2分解图像数据212进行操作的第三级滤波器组220、224、226。

回到图4，但继续参考图1到图3、图5和图6，在一些实施例中，图像特征检测系统200包含滤波器206。分解图像数据212包含用于小波变换后的图像数据的每个子带的系数。通过将具有最小系数的图像数据的一部分去除或设置为零，可显著压缩分解图像数据212。例如，可从分解图像数据212去除系数的最小的x％(例如，其中x为50％或更大)或将其设为零。在另一示例中，所有基本为零的系数被去除或设置为零，或者低于静态或自适应阈值的系数被去除或设置为零。在基于系数值对分解图像数据212进行滤波之后，与分解图像数据212相比，滤波器206输出经过显著数据压缩的经滤波的分解图像数据214。

如图4的示例性实施例中所示，人工神经网络202被配置成接收经滤波的分解图像数据214并基于其执行图像特征检测。在不包含滤波器206的其它实施例中，人工神经网络202被配置成基于分解图像数据212来检测图像特征。

图7说明人工神经网络202的示例性架构。人工神经网络接收分解图像数据212、214，其被分成数据的相应子带llk、hlk、lhk...hh1，其中分解图像数据212、214的每个子带包含离散小波变换系数的阵列。由此，人工神经网络202被配置成以其频率分解形式对图像数据进行操作。关于图像特征检测的目的，大多数信息集中在llk子带中。由此，人工神经网络202被配置成允许禁用对分解图像数据212的一个或多个其它子带的操作的可能性，如下文将进一步详细描述的。在一些实施例中，人工神经网络202被配置成禁用除最低频率子带llk之外的所有子带。

人工神经网络202包含多个计算管线246a至246n，每个计算管线接收分解图像数据208的相应子带。在一些实施例中，针对分解图像数据208的每个子带存在计算管线246a至246n。即，存在4k-k+1个计算管线246a至246n，其中k是如上所述的图像数据的分解级。在其它实施例中，分解图像数据208中包含的仅一个或一些子带由人工神经网络202处理，并且提供对应数量的计算管线246a至246n。计算管线246a至246n使得能够同时进行多尺度图像推断。

在实施例中，每个计算管线包含卷积层240和池层242。每个计算管线246a至246n进一步包含空间金字塔形池化层248，用于针对每个计算管线246a至246n输出固定长度的特征图250。从空间金字塔形池化层248输出的特征图250由人工神经网络202的级联模块252级联，以提供级联特征图254。

人工神经网络202包含完全连接层256和softmax函数258(或其它分类器布置)，其被配置成基于级联的特征映射254输出检测到的图像特征数据210。在实施例中，检测到的图像特征数据210包含图像特征分类和/或定位。在汽车实施例中，检测到的图像特征数据210对道路特征进行分类和定位，例如车道标记、道路边界、道路标记、道路标志、例如行人和其它车辆的移动物体以及例如交通指示灯和建筑物的静止物体中的一个或多个。在汽车应用中，所输出的所检测图像特征数据210由自主车辆控制功能或自主车辆实施例中的计算机视觉系统78利用，以依赖于环境感知作为输入来控制一个或多个自主车辆特征。在其它实施例中，一种应用基于检测到的图像特征数据210实施基于感知的控制。

在一些实施例中，人工神经网络200被配置成在训练期间且可选地还在人工神经网络202的运行期间操作基于刺激的漏失方案。对于人工神经网络202的每个神经元，确定某些输入是否为零或基本为零。如果任何输入为零或基本为零，则其不参与每个神经元的计算(突触冻结)。如果所有输入都为零或基本为零，则神经元的输出被设置为零，从而绕过每个神经元中的常规计算(神经元冻结)。这种被冻结的突触和神经元对输入图像的训练或推理过程没有贡献。在实施例中，基于刺激的漏失被人工神经网络200应用于卷积层240和完全连接层256中的一个或多个。除了llk子带之外，所有其它子带都表现出大量的近零系数。在各种实施例中，由人工神经网络202操作的滤波器206和/或刺激漏失方案被配置成在训练和推断阶段漏失数据，从而允许人工神经网络202减少操作的数量(且因此降低功率要求)、减少过度拟合、改善训练期间的收敛并实现更快的推理。基于刺激的漏失方案可与主要仅应用于完全连接层的常规随机漏失方案结合使用。

参考图4，图像特征检测系统200包含禁用器260，该禁用器被配置成输出管线禁用数据260，用于确定是否应禁用计算管线246a至246n以及应禁用多少计算管线。在实施例中，当一个或多个其它较低频率子带计算管线246a至246n足以用于特定感知任务时，禁用较高频率子带管线246a至246n，从而减少计算和功耗要求。在一个实施例中，禁用器260被配置成基于人工神经网络202在检测图像特征中的成功的指示符来确定管线禁用数据260，使得当认为实现高成功时(例如经由多轮回归)，人工神经网络202能够减少计算管线246a至246n的数量。在一些实施例中，系统资源的评估被用作确定是否应禁用计算管线246a至246n的参数，由此可通过禁用一个或多个计算管线246a至246n来减轻较大的系统负载。在一些实施例中，禁用器260使用图像特征检测系统200的系统模式，例如训练模式或特定感知任务模式，以切断计算管线246a至246n中的至少一个。

如上所述，本发明提供了一种深度神经网络架构形式的人工神经网络202，其通过仅处理一个子带(例如，llk)或分解图像数据212、214的仅一些子带来利用图像稀疏性，同时仍然能够有效地识别图像特征。在一些实施例中，人工神经网络202包含用于每个频率子带的多个并行计算管线246a至246n，由此能够选择性地禁用计算管线246a至246n中的一个或多个。此外，在一些实施例中，人工神经网络202被配置成仅在存在显著的局部刺激时才激活神经元和突触。此外，当仅运行一个或一些子带时和/或当系数通过基于刺激的漏失和/或通过滤波器216设置为零时，通过人工神经网络202的更快的训练和推理是可能的。在一些实施例中，人工神经网络202能够通过仅集中计算小波域中的重要刺激来减少前向推断阶段的功率消耗和发热。人工神经网络202支持低功率、高效率的硬件实施，例如基于asic/fpga的硬件平台。在自主应用中，人工神经网络为各种车辆感知特征和依赖于车辆感知作为其输入的相关联自主车辆控制特征提供了通用的基础效用。

现在参考图8，并且继续参考图1到图7，流程图说明根据本发明的可由图4的图像特征检测系统200执行的控制方法300。如根据本发明可了解，该方法内的操作次序不限于如图8所说明的顺序执行，而是可在适用时并根据本发明以一个或多个变化的次序执行。在各种实施例中，方法300可被调度为基于一个或多个预定事件运行，和/或可在半资助或自主车辆10的操作期间或在一些其它应用的操作期间连续运行。

在302处，由图像特征检测系统200接收输入图像数据208。从包含在传感器系统28中的一个或多个图像捕获装置(例如光学摄像头)接收输入图像数据208。在实施例中，输入图像数据208包含像素值阵列。包含在输入图像数据208中的大部分数据在图像特征的检测方面的稀疏度高。

在304处，经由小波变换器204对输入图像数据208执行小波变换处理，以将图像分为多个子带，作为分解图像数据212的一部分。在一个实施例中，小波变换过程包含子带译码过程。在前文参考图5详细描述了示例性小波变换器204。在一些实施例中，小波变换过程产生最低频率子带(例如，llk)和多个其它带(例如，hlk、lhk、hhk等)作为分解图像数据208的一部分。

在306处，经由滤波器206执行可选的基于系数的滤波过程。对分解图像数据212的每个子带进行滤波以去除相对低的系数或将其设置为零。即，最低系数的特定阈值百分比被去除或设置为零，或者低于特定阈值的所有系数被去除或设置为零(以及其它可能的基于系数的滤波方法)。因此，步骤306压缩分解图像数据212并输出经滤波的分解图像数据214。通过对相对压缩的经滤波的分解图像数据212进行操作，人工神经网络202能够更有效地运行。

在308处，激活一个或多个计算管线246a至246n以在分解图像数据212、214的相应输入子带上运行。在一些实施例中，动态地设置计算管线246a至246n的数量，并且因此动态地设置由人工神经网络利用的分解图像数据212、214的子带的数量。在实施例中，禁用器260提供管线禁用数据260以设置哪些计算管线将是活动的以及哪些将被禁用。禁用器260基于系统负载、感知任务、给定计算管线246a至246n检测到的特征的稀疏性等生成禁用数据260。人工神经网络202被配置成以至少一种模式操作，由此一个、一些或全部计算管线246a至246n被操作，并且因此人工神经网络202使用分解图像数据246a至246n的子带中的仅一个、一些或全部。在实施例中，至少分解图像数据212、214中最低频率子带(例如，llk)由人工神经网络202的计算管线246a运行。通过禁用一个或多个计算管线246a至246n，能够提高人工神经网络的效率。

在310处，每个激活的计算管线246a至246n对分解图像数据212、214的相应子带进行操作。即，在一些实施例中，分解图像数据212、214的每个子带包含通过卷积层240、池层242和空间金字塔形池化层248的频率系数阵列，以生成固定长度的特征图250。

在312处，针对每个计算管线246a至246n中的至少一个卷积层240执行基于刺激的漏失，由此当到神经元的所有输入为零或基本为零时，将神经元的输出设置为零。对于卷积层240中的第一个，当来自分解图像数据214、214a的所有输入系数为零或接近零(例如，低于接近零的阈值)时，神经元的输出被设置为零。基于刺激的漏失允许进一步提高人工神经网络202的效率。

在314处，经由人工神经网络202级联特征地图250，以提供级联特征地图254。级联是将来自相应计算管线246a至246n的多于一个的特征映射250串联链接在一起的过程。特征图250可以逐列、逐行或按两者链接。

在316处，级联特征图254由包含softmax函数258的完全连接层256处理，以提供检测到的图像特征数据210。在实施例中，检测到的图像特征数据210包含根据完全连接层256的类别的图像特征的分类。在实施例中，检测到的图像特征数据210包含每个分类图像特征的定位。在汽车实施例中，图像特征包含如上所述的道路特征。

在318处，并且在汽车实施例中，基于检测到的图像特征数据210来控制自主车辆控制特征。例如，基于作为图像特征数据210的一部分而检测到的道路特征来控制驾驶辅助系统。在另一示例中，车辆控制系统80基于作为图像特征数据210的一部分而检测到的道路特征来控制自主车辆10。尽管本发明在诸实施例中涉及汽车应用，但涵盖其它应用，由此通过将利用检测到的图像特征数据210的感知来执行控制。

虽然在前文的详细描述中已经呈现了至少一个示例性实施例，但应了解，存在大量的变型。还应了解，一个或多个示例性实施例仅是示例，并不旨在以任何方式限制本发明的范围、适用性或配置。实际上，前文的详细描述将为本领域技术人员提供用于实施该一个或多个示例性实施例的便利路线图。应理解，在不脱离所附权利要求及其合法等同物所阐述的本发明的范围的情况下，可对元件的功能和布置进行各种改变。