使用位置数据和图像数据的缩放空间表示进行物件检测的制作方法

相关申请案的交叉参考

本申请案要求来自2015年1月16日申请的共同拥有的美国非临时专利申请案第14/598,892号的优先权，所述申请案的内容明确地被以引用的方式全部并入本文中。

本发明大体来说涉及物件检测。更特定来说，本发明涉及响应于图像数据和位置数据的物件检测。

背景技术：

装置可使用基于图像的技术执行物件检测操作。举例来说，可将摄影机安装在运载工具上或并入于电子装置中，且摄影机可将图像数据供应到处理器。处理器可执行计算机视觉应用程序来分析(或“扫描”)图像数据以检测物件，例如在运载工具或移动装置的行进视野内或附近的障碍(例如，行人、树木、家畜、猎物和/或另一物件)。

在一些情况中，基于图像的物件检测可缓慢且无效的。举例来说，用于辨识图像中的物件的图像“搜索”可涉及多个耗时操作，例如图像分段和视窗化操作。此外，基于图像的物件检测可与大范围的不确定性(或大误差容限)相关联，这可导致所检测物件位置不可靠。这些问题可使物件检测的既定用途落空。作为实例，在运载工具应用中，基于图像的物件检测可过于缓慢而无法使得运载工具能够和时减速、停止或以其它方式改变路线以避免障碍。

一些装置可使用基于位置的信息(例如，雷达信息)来检测物件。然而，基于位置的信息可经受大范围的不确定性(例如，这些装置可具有大误差容限)。

技术实现要素：

可使用位置数据和图像数据的缩放空间表示来执行物件检测。缩放空间表示中的每一个可为图像数据的不同分辨率版本。为了说明，装置(例如，运载工具或电子装置)可包含经配置以产生图像数据的图像传感器(例如，摄影机)。所述装置可还包含或接收与待检测的物件相关联和/或指示物件可存在于其中的场景中的一或多个区域的位置数据。举例来说，可从经配置以产生位置数据的位置传感器(例如，雷达装置、全球定位系统(gps)装置等等)接收位置数据。位置传感器可耦合到图像传感装置或与图像传感装置分离。在另一实例中，位置数据可对应于指示所关注物件(例如，待检测的物件)可存在于何处的三维(3d)地图的一或多个区域，例如场景或图像的高出路面或地面的区域。在一些情况下，场景的一个以上区域可由3d地图识别且经接收作为位置数据。举例来说，可期望检测行车道的左侧和右侧两者上的物件。在这些装置中，替代搜索所有图像数据以检测物件(例如，行人、树木、家畜、猎物和/或另一物件)，装置(例如，处理器)可搜索位置数据与图像数据的缩放空间表示的重叠、相交或会聚处以检测物件。装置可经配置以搜索一或多个缩放空间表示来检测物件，且可搜索不同缩放空间表示以检测不同物件。较之其它技术(例如，对所有图像数据的“蛮力”或澈底搜索)，搜索位置数据与图像数据的一或多个缩放空间表示的重叠或相交处可在计算上较不复杂，且因此比不考量位置数据的其它物件检测技术更高效。

作为说明性非限制性实例，运载工具可执行行人检测。为检测行人，运载工具可利用基于模型的物件检测，其中模型假设所关注物件在由摄影机提供的图像数据中的高度将小于或等于特定数目个像素(例如，高度小于或等于100个像素)。当行人接近运载工具时，行人的高度可超过100个像素，且因此，所述模型可不能够成功检测到行人。为检测行人，可对图像数据的经减少采样的缩放空间表示重新执行基于模型的物件检测。举例来说，如果行人的高度在原始(例如，全分辨率)图像中为180个像素，那么行人的高度在以因数2进行减少采样的缩放空间表示中将为90个像素，且基于模型的物件检测可在经减少采样的图像中成功检测到行人。因此，为了在不同距离处成功检测物件(例如，行人)，运载工具可对由摄影机检索的图像数据的多个缩放空间表示执行物件检测(例如，“高”或“全”分辨率表示、“中”分辨率表示、“低”分辨率表示，等等)。应注意，本发明并不限于运载工具的物件检测。在各种实施例中，作为说明性非限制性实例，可以在电子装置、移动装置、个人佩戴式摄影机、头戴式显示器或航天器处和/或基于由电子装置、移动装置、个人佩戴式摄影机、头戴式显示器或航天器的图像传感器检索的图像执行物件检测。

反复地全面搜索多个缩放空间表示中的每一个可为耗时的。根据所描述技术，物件检测器可不搜索与物件(例如，行人)的可能位置不相交或重叠的缩放空间表示。此外，当缩放空间表示与物件的可能位置重叠时，搜索可限制于对应于重叠的所关注区域。物件的可能位置可由位置传感器提供，所述位置传感器是运载工具的一部分或与运载工具分离。另外，物件的可能位置可至少部分地基于物件可存在于其中的3d地图的一或多个区域。应理解，如本文中所使用，检测物件可包含：检测物件在图像数据中(或在图像数据的缩放空间表示中)的表示，检测实际物理物件(例如，基于超声波、雷达，等等)，或两者。

在特定方面中，一种设备包含经配置以接收位置数据和来自图像传感器的场景的图像数据的物件检测器。所述场景是从运载工具观看到且包含物件。所述图像数据与所述场景的多个缩放空间表示相关联(例如，可用于产生所述多个缩放空间表示)。所述物件检测器经配置以响应于所述位置数据和所述多个缩放空间表示中的第一缩放空间表示而检测所述物件。

在另一特定方面中，一种方法包含：在处理器处，从图像传感器接收场景的图像数据，所述场景是从设备观看到且包含物件。所述图像数据与所述场景的多个缩放空间表示相关联。所述方法也包含：在所述处理器处，接收与所述物件相关联或指示所述物件可存在于其中的区域的位置数据。所述方法进一步包含：在所述处理器处，基于所述多个缩放空间表示中的第一缩放空间表示与所述位置数据之间的重叠而识别所述第一缩放空间表示的搜索区域。所述方法包含：在所述处理器处，在所述第一缩放空间表示的搜索区域中执行物件检测。

在另一特定方面中，一种设备包含用于接收场景的图像数据的装置，所述场景是从所述设备观看到且包含物件，其中所述图像数据与所述场景的多个缩放空间表示相关联。所述设备进一步包含用于处理的装置。用于处理的所述装置经配置以基于所述多个缩放空间表示中的第一缩放空间表示和与所述物件相关联或指示所述物件可存在于其中的区域的位置数据之间的重叠而识别所述第一缩放空间表示的搜索区域。用于处理的所述装置也经配置以在所述第一缩放空间表示的所述搜索区域中执行物件检测。

在另一特定方面中，一种计算机可读存储装置存储指令，所述指令可由处理器执行以致使处理器从图像传感器接收场景的图像数据，所述场景是从设备观看到且包含物件。所述图像数据与所述场景的多个缩放空间表示相关联。所述指令也可执行以接收与所述物件相关联或指示所述物件可存在于其中的区域的位置数据，和基于所述多个缩放空间表示中的第一缩放空间表示与所述位置数据之间的重叠而识别所述第一缩放空间表示的搜索区域。所述指令可进一步执行以在所述第一缩放空间表示的所述搜索区域中执行物件检测。

由所揭示实施例中的至少一者提供的一个特定优点是可通过使用与所述物件相关联或指示所述物件可存在于其中的区域的位置数据使对图像数据执行的物件检测的时间减少。举例来说，可不对不与位置数据相交或重叠的缩放空间表示执行物件检测，且对与位置数据相交或重叠的缩放空间表示的物件检测可限制于所关注的重叠或相交区域。在检阅包含以下部分：“附图说明”、“具体实施方式”和“权利要求书”的整个申请案之后，本发明的其它方面、优点和特征将变得明了。

附图说明

图1是描绘可操作以使用位置数据和图像数据的缩放空间表示执行物件检测的说明性系统的图；

图2a、2b、2c和2d是描绘图1的系统的操作的说明性实例的图；

图3是描绘可操作以使用位置数据和图像数据的缩放空间表示执行物件检测的系统的另一说明性实例的图；

图4是描绘可操作以使用位置数据和图像数据的缩放空间表示执行物件检测的系统的另一说明性实施例的图；

图5a描绘使用三维(3d)地图数据来执行物件检测的说明性实例；

图5b描绘可在物件检测期间使用的掩模的说明性实例；

图6是说明基于3d地图数据而识别所关注区域的方法的说明性实例的流程图；

图7是描绘使用位置数据和图像数据的缩放空间表示进行物件检测的方法的说明性实例的流程图；并且

图8是电子装置的说明性实例的框图。

具体实施方式

图1描绘经配置以执行物件检测的系统的特定说明性实施例。在图1的实例中，物件检测是在运载工具102处执行。然而，应注意，本发明并不限于如此。本文中所揭示的物件检测装置、方法、系统等等可在替代环境中实施以检测在车流、视野等等中的物件。举例来说，本文中所描述的一或多个功能可以以下各项实施：电子装置、移动装置、游戏主机、汽车系统控制台(例如，adas)、可穿戴式装置(例如，个人佩戴式摄影机)、头戴式显示器，等等。额外实例包含但不限于机器人或机器人装置、无人航天器(uav)和遥控飞机。在图1的实例中，运载工具102可为机动车辆(例如，汽车、卡车、机车、巴士或火车)、船舶(例如，船或艇)、航空器(例如，飞机或直升飞机)、太空船(例如，航天飞机)、自行车或另一运载工具。作为说明性实例，运载工具102可为轮式运载工具、履带式运载工具、轨式运载工具、空中运载工具或滑撬式运载工具。在一些情形中，运载工具102可由一或多个驾驶者操作。举例来说，运载工具102可包含经配置以为运载工具102的驾驶者提供辅助的先进驾驶辅助系统(adas)。在其它情形中，运载工具102可为计算机控制运载工具。此外，尽管图1的实例系统中的物件检测是在运载工具102处执行，但应理解，在其它实例中，本文中所揭示的物件检测可在“云端”或在运载工具102外部执行。举例来说，运载工具或其它电子装置可将位置数据和/或图像数据提供到另一装置以执行物件检测。

运载工具102(例如，运载工具102的adas)可包含一或多个图像传感器，例如，说明性图像传感器104。图像传感器104可包含摄影机，例如基于电荷耦合装置(ccd)的摄影机和/或基于互补式金属氧化物半导体(cmos)的摄影机。在替代实施例中，图像传感器104可包含不同类型的传感器(例如，红外线)。

在图1的实例中，运载工具102进一步包含一或多个位置传感器，例如，说明性位置传感器106。作为说明性实例，位置传感器106可包含雷达装置、光检测与测距(光达)装置、全球定位系统(gps)装置、超声波装置和/或通信装置(例如，运载工具通信网络中所使用的专用短程通信(dsrc)装置)。

在图1的实例中，展示图像传感器104的三角形视野。应注意，图像传感器104的视野可以各种方式确定。作为说明性非限制性实例，图像传感器104(或包含图像传感器104的设备)可包含gps收发器，且可基于图像传感器104(或设备)的两个gps位置之间的时间差异而确定视野。两个gps位置之间的差异可对应于三角形视野的中心线或图像传感器104的行进方向。作为另一说明性非限制性实例，图像传感器104的方向可基于耦合到图像传感器104或包含于包含图像传感器104的设备(例如，运载工具、计算装置或其它设备)中的运动传感器(例如，加速度计)而确定。因此，即使并非事先知道，仍可确定图像传感器104的视野和方向。

运载工具102可进一步包含处理器108和存储器110。存储器110可存储可由处理器108存取的指令和数据。处理器108可包含中央处理器单元(cpu)、数字信号处理器(dsp)、专用集成电路(asic)、电子控制单元(ecu)、另一处理装置或其组合。处理器108可包含物件检测器128，例如，基于位置数据和基于缩放空间的物件检测器。物件检测器128可对应于运载工具102的硬件组件、可由处理器108执行的软件(例如，指令)或其组合。

在操作期间，位置传感器106可将位置数据116提供到处理器108。在一些实施方案中，位置数据116可包含与一或多个物件(例如，说明性物件112)相关联的雷达数据、光达数据、gps数据等等。物件112可为静止的或可处于运动中。举例来说，作为说明性非限制性实例，物件112可对应于行人、另一运载工具、交通信号灯、道路障碍(例如，倒塌的交通信号灯、树枝或瓦砾)、家畜(例如，牛、野牛、马、绵羊或山羊)、猎物(例如，麋鹿、驼鹿、熊或鹿)，或路边物件(例如，标志、广告牌或路侧单元(rsu))。物件112可接近于运载工具102或安置在距运载工具显著距离处(例如，不接近于运载工具)。举例来说，物件112可在运载工具102的特定范围内、在运载工具102的行进视野或方向内，在图像传感器104的视野内，等等。在一些实施方案中，位置传感器106包含一或多个传感器，所述一或多个传感器经配置以对运载工具102的行进视野进行扫描以发现物件(例如，物件112)。举例来说，位置传感器106可包含经配置以使用从物件112反射的信号产生位置数据116的雷达装置、超声波装置和/或光达装置。在一些实施方案中，位置传感器106经配置以接收与一或多个物件相关联的位置数据。举例来说，位置传感器106可包含专用短程通信装置、rfid装置、个人网络装置或另一通信装置。

图像传感器104可产生包含物件112的场景的图像数据114(例如，通过检索一或多个图像)。图像传感器104可将图像数据114提供到处理器108。在一些实施方案中，图像传感器104可响应于来自位置传感器106的命令而产生图像数据114。在特定说明性实例中，如果位置传感器106检测到物件112(例如，使用雷达、超声波或光达技术，或通过从另一装置接收gps和/或dsrc信息)，那么位置传感器106可在连接图像传感器104与位置传感器106的总线处确证控制信号。替代地或另外，图像传感器104的操作可由处理器108控制。举例来说，处理器108可响应于从位置传感器106接收到位置数据116而致使图像传感器104产生图像数据114。在其它情形中，图像传感器104可独立于位置传感器106操作。举例来说，图像传感器104可持续地、周期性地或偶尔地检索图像且可将图像的图像数据(例如，图像数据114)载入到缓冲器、高速缓存存储器或其它存储器(例如，存储器110)。在此实例中，响应于从位置传感器106接收到位置数据116，处理器108可从缓冲器、高速缓存存储器或其它存储器检索图像数据114。为了说明，存储器110或其部分可充当经配置以存储从图像传感器104接收的图像数据的循环式缓冲器。

举例来说，图像数据114可与场景的多个缩放空间表示(例如，第一缩放空间表示120、第二缩放空间表示122和第三缩放空间表示124)相关联。缩放空间表示120、122和124中的每一个可与相应图像分辨率相关联。举例来说，第一缩放空间表示120可与第一图像分辨率相关联，第二缩放空间表示122可与低于第一图像分辨率的第二图像分辨率相关联，且第三缩放空间表示124可与低于第二图像分辨率的第三图像分辨率相关联。在图1的实例中，第一缩放空间表示120可对应于投影到图像传感器104的视野中由线段111表示的“高”、“全”和/或“完全”分辨率图像平面上的场景。第二缩放空间表示122可对应于投影到由线段113表示的“中”分辨率图像平面上的场景，且第三缩放空间表示124可对应于投影到由线段115表示的“低”分辨率图像平面上的场景。因此，如图1中所展示，线段111、113和115(和对应相应“高”、“中”和“低”分辨率图像平面)距图像传感器104不同距离。

尽管图1说明三个缩放空间表示，但应了解，本发明也适用于不同数目个缩放空间表示(例如，两个缩放空间表示、四个缩放空间表示，或另一数目个缩放空间表示)。在说明性实例中，第一缩放空间表示120对应于处于图像传感器104的全或完全分辨率的图像数据114，第二缩放空间表示122对应于以第一因数(例如，2)进行减少采样的图像数据114，且第三缩放空间表示124对应于以大于第一因数的第二因数(例如，5)进行减少采样的图像数据114。处理器108可经配置以使用筛选、抽取、次采样、内插和/或其它图像处理技术来对较高分辨率缩放空间表示进行减少采样以产生一或多个较低分辨率缩放空间表示。举例来说，处理器108可对第一缩放空间表示120进行减少采样以产生第二缩放空间表示122，且可对第二缩放空间表示122进行减少采样以产生第三缩放空间表示124。在另一说明性实施方案中，运载工具102包含多个图像传感器，其中每一图像传感器产生场景的不同分辨率图像或缩放空间表示。

物件检测器128可对位置数据116和缩放空间表示120到124中的一或多者作出响应。举例来说，物件检测器128可基于位置数据116选择缩放空间表示且可对所选择缩放空间表示执行物件检测以检测物件112。为了说明，物件检测器128可使用位置数据116来确定物件112定位于其中的估计区118。鉴于与位置数据116相关联的误差容限(例如，由于噪声、传感器延迟、物件112和/或运载工具102的运动的速度/方向等等所致)，估计区118可对应于物件112的可能位置。物件检测器128可确定对应于缩放空间表示120到124的图像平面中的任一者是否与估计区118重叠或相交。在图1的实例中，第一缩放空间表示120(对应于线段111)和第三缩放空间表示124(对应于线段115)不与估计区118重叠。响应于检测到不存在重叠，物件检测器128可不对第一缩放空间表示120和第三缩放空间表示124执行物件检测(例如，以更快速地执行物件检测和/或节省计算资源)。

在图1的实例中，物件检测器128可确定，第二缩放空间表示122(对应于线段113)与估计区118重叠。举例来说，物件检测器128可基于第二缩放空间122的分辨率图像平面与所接收位置数据116的距离而确定第二缩放空间表示122与估计区118重叠。作为响应，物件检测器128可进一步处理第二缩放空间表示122。举例来说，物件检测器128可识别第二缩放空间表示122内的搜索区域，其中搜索区域对应于与缩放空间表示122相关联的一组位置或区域和与位置数据116相关联的一组位置或区域之间的重叠、相交或会聚处。为了说明，图1展示从上而下视图，其中图像传感器104具有由视野线117和119定界的水平视野。因此，第二缩放空间表示122的水平边界在图1中由点l0和l1标示，且估计区118与第二缩放空间表示122之间的重叠由点c0与点c1之间的线段(其可替代地标示为“线段c0c1”)表示。物件检测器128可在c0与c1之间的搜索区域中执行计算机视觉操作(例如，图像分段操作)，而非在l0与l1之间的较大区域中执行，以“精确定位”物件112的位置。举例来说，物件检测器128可确定行人位置或辨识物件112(例如，辨识标志上的文字)。搜索c0与c1之间的区域可包含：搜索图像的延伸超出c0和c1的部分。举例来说，c0和c1可界定由不同物件检测搜索窗使用的中心点。如果由物件检测器128用于识别物件112的搜索窗具有宽度w，那么介于c0与c1“之间”的搜索区域的范围可为c0-0.5w(当搜索窗以c0为中心时)到c1+0.5w(当搜索窗以c1为中心)。搜索区域可在其它维度中以类似方式延伸(例如，在垂直维度中超过搜索窗的高度)。搜索窗可对应于物件模型、定界框，等等。因此，尽管本文中可用线段或点集合来描述搜索区域，但应理解所搜索的图像的实际区域可延伸超过线段或点集合。

尽管图1说明二维(2d)视图，但本文中所描述的物件检测操作可应用于三维(3d)情景中。为了说明，点c0、c1、l0和l1可全部在3d空间中且可具有(x,y,z)坐标。在图1中，在x-y平面中沿着x轴水平地执行物件检测和缩减(reduction)。替代地，或另外(例如，与水平操作并行)，通过选择适当垂直缩放空间表示，可在x-z平面中沿着z轴垂直地执行物件检测和缩减。将了解，与仅使用一个方向相比，通过在水平缩放空间和垂直缩放空间两者中执行操作，可更准确地确定物件112的位置。

在其它实例中，物件检测器128可确定和与位置数据116相关联的估计区118重叠的多个缩放空间表示。为了说明，在图1中，如果第三缩放空间表示124对应于线段115'而非线段115，那么物件检测器128将确定第二缩放空间表示122和第三缩放空间表示124两者皆与估计区118重叠。在此情景中，物件检测器128可选择对哪一重叠缩放空间表示执行物件检测。为了说明，在一些情况中，例如当行人极其接近且由于缩放比例而显得非常高时，较小(例如，较低分辨率)缩放空间表示对于物件检测来说可为优选的。在此情况中，可搜索较低分辨率缩放空间表示，而非较高分辨率缩放空间表示。替代地，如果搜索较高分辨率缩放空间表示且未找到物件(例如，由于行人由于缩放比例而“过高”)，那么也可搜索较低分辨率缩放空间表示。作为另一实例，当所检测的物件相对小或具有复杂形状时，较大(例如，较高分辨率)缩放空间表示可为优选的。

出于说明目的而参考图2a、图2b、图2c和图2d描述由物件检测器128执行的实例过程。过程可包含：向图像传感器104指派特定位置，例如，坐标空间中的点(x0,y0)。物件112的所测量或报告位置可经指派位置(x1,y1)，所述经指派位置可位于估计区118的中心处。应理解，图像传感器104和估计区118的中心可在3d空间中分别具有坐标(x0,y0,z0)和(x1,y1,z1)，但为便于阐释，仅描述x和y坐标。

线段l0l1可与距图像传感器104的特定距离(d)相关联(例如，基于摄影机几何形状、分辨率和搜索区域大小)。基于图像传感器104的d值和位置(x0,y0)，可将线段l0l1映射、拟合或转置到与点(x0,y0)和(x1,y1)共享相同坐标系统的位置。可确定视野线117、119与估计区118之间的相交点(即，点c0和c1)。为了允许实现图像数据中的位置之间的距离的计算，图像数据可与位置数据的坐标系统“融合”。在一些实施例中，可基于装置(例如，运载工具、移动装置，等等)的已知位置、视野和图像传感器104的姿势而离线地执行图像数据的3d世界空间的投影。然后，投影可与位置数据融合以识别在物件检测期间待扫描的点。

应了解，在距图像传感器104的距离d处，物件112(例如，行人)的位置将介于c0与c1之间。线段i0i1可表示物件112的搜索区域的中心点，且可经定义为线段l0l1与线段c0c1的相交点。应注意，在图2a的实例中，i0＝c0且i1＝c1，且因此线段i0i1与线段c0c1完全相同。然而，当物件的估计区并非完全位于图像传感器的视野内时，i0可不等于c0和/或i1可不等于c1。举例来说，在图2c中，i0＝l0且i1＝c1。

物件检测器128可执行线性映射以将i0和i1映射到图像坐标。在图2a的实例中，l0对应于图像的左边界(具有x坐标0，即，x＝＝0)，且l1对应于图像的右侧(具有等于图像的宽度的x坐标，即，x＝＝image_width)。因此，映射函数m可定义为：

物件的搜索区域可限制于图像中具有介于x＝＝m(i0)和x＝＝m(i1)之间的x坐标的位置(例如，搜索窗的中心)。为了说明，假设图像传感器104的水平视野是54°，如图2a中所展示，且假设图像传感器104的垂直视野是34°，如图2b中所展示。应理解，水平和垂直视野在替代实施例中可更大或更小。也假设，线段l0l1对应于1080p分辨率(1920×1080个像素)，且将一般行人的高度假设成六英尺(约2米)，此对应于高度为80个像素的搜索区域。进一步假定，正被搜索的距图像传感器104的距离为p英尺，且在彼距离处图像的上半部对应于q英尺，如图2b中所展示。鉴于前述假设，可确立以下方程式：

对方程式3和4进行求解以获得p：

如果将图像传感器104假设成(0,0)，那么行人的所报告位置(即，对应于物件112的圆圈的中心)为(x1,y1)＝＝(-5,120)，且所报告位置的可能误差在30英尺内(即，估计区118的半径为30)：

((x-(-5))×(x-(-5)))+((y-120)×(y-120))＝30×30(方程式5)

l0位于点处

l1位于点处

由于l0、l1、c0和c1共线，因此所有四个点具有相同y坐标，即，在当前实例中为132。将y＝＝132代入到方程式5中得出解(x+5)＝27.5和(x+5)＝-27.5。因此，c0位于点(-32.5,132)处且c1位于点(22.5,132)处。使用先前所定义的映射m：

因此，针对物件112，搜索区域可在左侧由x＝＝496定界且在右侧由x＝＝1281定界，此与从x＝＝0到x＝＝1920的搜索相比提供大约60％的节省。此外，应理解，尽管前述实例说明水平方向上的计算和节省，但也可通过以类似方式基于位置数据116限制垂直方向上的搜索区域来达成计算节省。

图2c和2d说明操作的额外实例。在图2c的实例中，物件的估计区与图像传感器的视野部分地相交。在图2d的实例中，执行两个物件检测操作：对第一缩放空间表示(对应于线段202)执行第一物件检测操作以检测右侧的物件，且对第二缩放空间表示(对应于线段204)执行第二物件检测操作以检测左侧的物件。

因此，图1到2说明系统的实施例，所述系统经配置以改进将基于与待检测的物件相关联的位置数据而对图像数据或由其产生的缩放空间表示执行的物件检测操作。举例来说，位置数据可用于将物件的搜索区域缩小成小于整个场景，此可使得能够更快速地检测物件。为了说明，可足够快速地检测到行人以使运载工具(或运载工具的驾驶者)(例如)通过以下操作来对行人作出反应：使运载工具减速、使运载工具重新定向，和/或如果(例如)在结冰天气应用刹车将导致运载工具滑向行人，那么在使运载工具重新定向远离行人时使运载工具加速。作为另一说明性实例，可足够快速地执行物件检测以使运载工具的adas改变运载工具的速度和/或使运载工具重新定向以避免与移动或静止物件碰撞。

图3说明运载工具102的替代实施例。图3与图1不同之处在于：产生位置数据116的位置传感器在运载工具102的外部。举例来说，在图3中，物件112包含位置传感器306或与其相关联。在一些实施方案中，位置传感器306可由行人穿戴，附接或耦合到另一运载工具，或集成于另一运载工具内。如上文所论述，在一些实施方案中，位置传感器306可与物件112和运载工具102分离。举例来说，位置传感器306可固定到路侧单元(rsu)、固定到街道标志，或固定到与运载工具102分离的另一运载工具或与另一运载工具相关联。在一些实例中，静止路侧传感器可与rsu和/或运载工具进行通信。因此，尽管图3说明位置传感器306与运载工具102之间的直接通信，但替代地，来自位置传感器306的数据可在到达运载工具102之前经由一或多个中间装置发射。为了说明，来自由行人携载的位置传感器的数据可从位置传感器行进到rsu到第一运载工具(例如，最接近于所述行人的运载工具)到第二运载工具(例如，跟随在第一运载工具之后的运载工具)。

运载工具102可包含经配置以经由连接350(例如，无线网络连接)接收位置数据116的接收器340。在说明性实例中，位置传感器306和接收器340经由以下各项进行通信：蜂窝式连接、广域网、电机电子工程师协会(ieee)802.11连接、特用网络连接、专用短程通信(dsrc)网络连接，或另一类型的连接。

在说明性实例中，从位置传感器306接收的位置数据116包含位置坐标，例如，gps坐标。当物件112是另一运载工具(例如，位置传感器306是其它运载工具内或耦合到其它运载工具的装置的一部分)时，可使用运载工具到运载工具(v2v)通信从其它运载工具(例如，经由drsc网络)接收位置数据116。作为另一实例，路侧单元(rsu)可将交通信息发射到运载工具。为了说明，物件112可包含在运载工具102的行进视野内的卷入事故中的运载工具，且位置数据116可包含卷入事故中的运载工具的位置坐标。在此情形中，接收器340可使用运载工具到基础设施(v2i)通信从rsu接收位置数据116。应理解，在其它实例中，可从多个来源接收位置数据。举例来说，可从一个以上运载工具、rsu或位置传感器接收与共同物件相关联的位置数据。当使用多个位置数据来源时，所述来源(和/或来自其的数据)可经汇总、优先化或用于改进彼此。举例来说，图1到2的估计区118可囊括由多个来源提供的所有位置数据，可对应于来自最可靠来源的位置数据，可基于来自多个来源中的每一个(或子集)的位置数据的交集，或可基于来自多个来源中的一些或全部来源的位置数据而以其它方式加以确定。

应注意，尽管前述实施例描述基于位置数据改进图像数据中的物件检测，但本发明并不限于此。根据本发明，来自第一传感器的数据可用于改进第二传感器的操作。作为说明性非限制性实例，可基于位置数据而调整图像传感器的性质(例如，分辨率、检索频率、所关注区域、视野(在可移动摄影机的情形中)，等等)。作为另一实例，图像数据可用于加速由位置传感器进行的位置确定，例如，通过基于图像数据而确定物件的“粗略”位置。因此，本发明使得不同类型的传感器能够彼此进行通信以改进其相应操作。

在特定实施例中，处理器108可使用来自三维(3d)地图应用程序130的位置数据执行物件检测操作。为了说明，3d地图应用程序130可指示或提供可由物件检测器128存取的3d地图的部分或区域以基于所搜索的“已知”物件类别(例如，行人、运载工具、交通标志，等等)而缩小搜索区域。尽管图1将位置数据116说明为由位置传感器106确定，但在替代实施例中，替代位置传感器106(或外部位置传感器，例如，图3的位置传感器306)或除位置传感器106外，也可基于3d地图应用程序130而确定位置数据116。因此，本文中所描述的物件检测技术可结合在物件检测期间使用3d地图数据、在物件检测期间使用位置传感器或在物件检测期间使用3d地图数据和位置传感器两者的实施例一起使用。

图4说明其中物件检测器128从3d地图应用程序130接收位置数据116且不从位置传感器接收任何额外位置数据的系统的实例。由3d地图应用程序130提供的位置数据116可指示物件类别可存在于图像数据114内何处。举例来说，图4中所展示的系统可使得运载工具能够基于从3d地图应用程序130接收且指示行人、树枝、其它运载工具等等可存在于图像数据114内何处的位置数据116而执行对这些物件的检测。

举例来说，如果物件检测器128经配置以在场景的缩放空间表示内检测行人，那么3d地图应用程序130可指示行人可能存在于其中的场景的一或多个区域(例如，高出路面或地面0公尺到3公尺)，且物件检测器128可起始对所指示区域的搜索而无需从单独位置传感器接收数据。在另一实例中，3d地图应用程序130可指示场景的对应于路面的一或多个区域，使得物件检测器128可高效地检测在路上的物件。在一些实施方案中，物件类别可由处理器108基于图像数据114和/或位置数据116来加以确定。替代地，物件类别可由物件112指示(例如，如参考图3所描述，由物件112发射到接收器)。

在操作期间，3d地图可在运载工具102处动态地产生，经下载或经预先下载到运载工具102，等等。在确定路面的位置和接收位置数据116之后，物件检测器128可基于3d地图而将搜索区域集中到路面(例如，可将非路面区域从图像搜索区域排除)。作为说明性实例，如果图1的线段l0l1的部分(或图1的线段c0c1)对应于非路面区域，那么物件检测器128可将所述部分从搜索区域排除。非路面区域的实例包含高于或低于路面的区和在路面左侧或右侧的区。然而，应理解，当图像传感器104作为运载工具或其它装置的一部分处于运动中时，所关注区域可基于运载工具或装置相对于3d地图的位置而在帧间不同。举例来说，当发生地形改变(例如，运载工具接近道路中的上坡或下坡)时，所关注的搜索区域可改变。由3d地图应用程序130提供的位置数据116可为动态的且可取决于运载工具或装置的已知位置而改变。

在一些实施方案中，物件检测器128经配置以基于由3d地图应用程序130指示的3d地图而产生搜索区域掩模。掩模图像可使用3d地图离线或线上产生(例如，基于存储与计算负担之间的折衷)。参考图6进一步描述实例过程。

图5a描绘其中行人位于运载工具的视野内的两种情景，其中行人位于由运载工具可获得的3d地图数据表示的地形上。在第一情景中，在510处，行人较接近于运载工具，且因此，运载工具使用较小缩放空间表示来执行物件检测。在第二情景中，在520处，行人距运载工具较远，且因此，运载工具使用较大缩放空间表示来执行物件检测。当多个缩放空间表示与物件的可能位置重叠时，可处理一些缩放空间表示而将其它缩放空间表示从进一步处理排除。作为说明性非限制性实例，较小(例如，较低分辨率)缩放空间表示可较宜于检测接近运载工具的行人，这是因为较大缩放空间表示中的行人的高度和/或宽度可过大而无法使用行人物件类别或模型进行检测。在执行物件检测之前，可基于由3d地图应用程序提供的位置数据而遮蔽所搜索的缩放空间表示。掩模的说明性实例展示于图5b中530处。可通过用零或非零(例如，“1”或非零分数值)标记缩放空间表示的不同区来产生掩模。在物件检测期间，可搜索用非零标记的区域，且可忽略用零标记的区域。当使用非零分数值时，非零分数值越高，可表示物件定位于对应区域中的概率越大。举例来说，如图5b中所展示，可在搜索标记为“0.3”的区域之前，搜索用“0.5”标记的区域。

在特定实施例中，可基于一组训练样本而产生掩模的区域的概率(例如，图5b的掩模中的0.5和0.3)。所述组训练样本可含有行人可出现于其中的地点的3d位置。所述组训练样本也可包含已由专家标记为“危险”的位置。举例来说，这些“危险”位置可为其中行人有较高可能性被遮挡、难以被驾驶者注意到、被卷入事故中等等的位置。在一些实施例中，所述组训练样本的3d位置可与概率相关联。在产生掩模图像时，可将3d位置投影到图像平面上，且可基于对应于图像平面的基础像素的3d位置而向掩模的不同部分指派不同概率。

在特定实施例中，替代3d地图数据或除3d地图数据外，也可对于传感器数据使用概率模型和掩模。举例来说，图1到2的估计区118可对应于掩模，其中不同子区具有介于零与一之间的不同概率值。作为说明性非限制性实例，概率值可基于来自位置传感器(例如，位置传感器106)的位置数据、来自3d地图应用程序(例如，3d地图应用程序130)的位置数据、3d地图数据、传感器或应用程序误差容限、传感器校准，和/或传感器敏感性。

因此，处理器108可基于3d地图数据和物件的物件类别而确定一或多个搜索区域。物件检测器可在搜索区域中执行物件检测，如参考图1所描述。应注意，当使用3d地图数据来执行物件检测时，可鉴于定位结果的可能不准确度而执行投影。即，可由于定位不准确度而列举摄影机位置的范围。也应注意，在特定实施例中，掩模/搜索区域可为离线构建的且用于从摄影机(例如，图像传感器104)接收的实时(或几乎实时)流式传输中(例如，跳过对被遮蔽区域的搜索)。此外，替代动态构建3d地图，可用平面/表面估计器大致估计3d条件，所述平面/表面估计器可提供大致实时(或几乎实时)平面。举例来说，在其中大部分道路是在平坦表面上的区域中，可通过使用具有某一斜率变化的平面来估计3d地图以估计所投影掩模。在特定实施例中，前述方法也可用于寻找特定区域中的所关注物件。举例来说，物件检测器128可寻找包含或接近于运载工具102的“当前”行车道的区域中的行人(或其它物件)，但可忽略人行道区域中的行人。作为另一实例，物件检测器128可为物件追踪框架的一部分，在所述物件追踪框架中基于掩模限制追踪区域。

尽管图1到3描述使用来自位置传感器的位置数据来执行物件检测，且图4说明使用由3d地图应用程序而非位置传感器提供的位置数据执行物件检测，但应注意，上述实施例并非相互排斥。在一些实例中，3d地图数据可连同来自位置传感器的数据一起使用，且可允许实现较快速物件检测和扫描区域的进一步减少。

参考图6，展示基于3d地图数据而识别所关注区域的方法的特定实施例且通常将所述方法指定为600。方法600包含：在块602处，接收3d地图数据。举例来说，3d地图应用程序130可接收3d地图数据，(例如)从外部数据源、本地存储装置，等等。方法600还包含：在块604处，确定3d地图的位置是否可能包含所关注物件。如果包含所关注物件，那么方法600包含：在块606处，将所述位置识别为待提供到物件检测器的位置数据。如果位置不可能包含所关注物件，或在识别位置数据之后，方法600包含：在块608处，确定是否应检查额外位置。如果应检查额外位置，那么方法600返回到块604。为了说明，参考图4到图5，位置数据116可指示地形的可能包含行人(例如，在510处，接近于运载工具的行人，或在520处，远离运载工具的行人)的一或多个区域。

继续块610，方法600包含：将所关注物件投影于具有基于所关注物件的物件类别的大小的位置数据中。在图5a的实例中，可将行人投影于对应于运载工具正行进于的道路的所识别位置数据中。方法600进一步包含：在块612处，确定与经投影的所关注物件重叠的缩放空间表示，和在块614处，用非零值标记缩放空间表示的重叠区域。为了说明，针对较接近于运载工具的行人(图5a中510处)，可用非零值遮蔽小缩放空间表示中的区域。针对远离运载工具的行人(图5a中520处)，可用非零值遮蔽大缩放空间表示中的区域。在说明性实例中，缩放空间表示可经遮蔽，如图5b中530处所展示。

在实例中，3d地图数据可用于更改图像传感器的定向或视野，和/或3d地图数据可用于选择由多个图像传感器产生的图像数据的部分。作为另一实例，当运载工具向左或向右转时，运载工具的图像传感器可自动向左或向右致动，以使得图像传感器继续检索在运载工具“前方”的图像数据。作为另一实例，运载工具的图像传感器可被自动致动以左右“张望”以识别行人、其它接近的运载工具、道路危险，等等。为了说明，可产生运载工具周围的360°拼接视图，且可在行人正横穿驾驶者可稍后转向的街道的情况下提前通知运载工具的驾驶者。在特定实施例中，当驾驶者正使用逐向导航提示(例如，由运载工具或运载工具内的移动装置的导航应用程序提供)时，导航提示可用于预见运载工具将进行的转弯、将进行的车道改变等等，以便优先化搜索区域，确定搜索掩模的概率值等等。

方法600包含：在块616处，以递减次序搜索用非零值标记的缩放空间表示的区域以识别所关注物件。举例来说，参考图5b中所展示的掩模，可在搜索标记为“0.3”的区域之前，搜索标记为“0.5”的区域。方法600在块618处结束。

因此，图6的方法600说明基于3d地图数据而对一或多个缩放空间表示执行物件检测的实例。3d地图数据可替代由位置传感器提供的位置数据，或除由位置传感器提供的位置数据外，也使用3d地图数据。

参考图7，展示物件检测的说明性方法且通常将所述方法指定为700。方法700包含：在块702处，从图像传感器接收包含物件的场景的图像数据。图像数据与场景的多个缩放空间表示相关联。举例来说，处理器108可从图像传感器104接收图像数据114，其中图像数据114与缩放空间表示120到124相关联(例如，可用于产生所述缩放空间表示)。

方法700也包含：在块704处，接收与所述物件相关联或指示所述物件可存在于其中的区域的位置数据。举例来说，处理器108可从运载工具102中的机载位置传感器106接收位置数据116，如参考图1所描述。作为另一实例，处理器108可经由接收器340从位置传感器306接收位置数据116，所述位置传感器在运载工具102外部，如参考图3所描述。在另一实例中，物件检测器128可从3d地图应用程序130接收位置数据116，其中位置数据指示物件可存在于其中的区域(例如，在路上、在车道中，等等)，如参考图4所描述。在又另一实例中，可从多个来源(例如从多个位置传感器、位置传感器与3d地图应用程序，等等)接收位置数据。

方法700进一步包含：在块706处，确定第一缩放空间表示是否与位置数据重叠。当第一缩放空间表示与位置数据重叠时，在块710处，识别第一缩放空间表示中的搜索区域。前进到块712，在搜索区域中执行物件检测。为了说明，在图1的实例中，物件检测器128可确定缩放空间表示122与对应于位置数据116的估计区118重叠。作为响应，物件检测器128可确定缩放空间表示122的搜索区域(如参考方程式1到5所描述)，且可在搜索区域中执行物件检测。

替代地，当第一缩放空间表示不与位置数据重叠时，方法700包含：在块708处，避免对缩放空间表示执行物件检测。为了说明，在图1的实例中，物件检测器可由于估计区118与缩放空间表示120和124之间不存在重叠而避免对缩放空间表示120和124执行物件检测。继续到块714，方法700包含：确定是否应检查额外缩放空间表示(例如，当多个缩放空间表示与位置数据重叠时)。如果应检查额外缩放空间表示，那么方法700返回到块706。如果不应检查额外缩放空间表示，或在执行物件检测(在块712处)之后，方法700包含：在块716处，确定是否应检测额外物件。如果应检测额外物件，那么方法700返回到块704以处理额外物件的位置数据。如果不应检测额外物件，那么方法700在块718处结束。

当发现多个缩放空间表示与位置数据重叠时，可对一个、一些或全部重叠缩放空间表示执行物件检测(例如，直到检测到所关注物件为止)。举例来说，如参考图5a所描述，可首先检查最低分辨率缩放空间表示以检测接近于运载工具的行人。

方法600和/或700的一或多个操作可通过硬件装置(例如，处理单元)来起始、控制或执行。举例来说，取决于特定实施方案，处理单元可包含现场可编程门阵列(fpga)装置、专用集成电路(asic)、处理单元(例如，中央处理单元(cpu))、数字信号处理器(dsp)、控制器、另一硬件装置、固件装置或其组合。

参考图8，描绘电子装置的特定说明性实施例的框图且通常将其指定为800。在特定实施例中，电子装置800或其组件可由行人穿戴或携带(例如，作为移动电话、平板计算机、智能型手表等等的一部分)。在另一特定实施例中，电子装置800或其组件可包含在运载工具中或可附接/耦合到运载工具。在另一特定实施例中，电子装置800或其组件可包含于以下各项中或可附接/耦合到以下各项：路侧单元(rsu)、街道标志、交通灯或另一路侧物件或装置。在进一步实施例中，电子装置800可对应于计算机(例如，膝上型计算机、平板计算机或台式计算机)、机顶盒、娱乐单元、导航装置、个人数字助理(pda)、电视、调谐器、收音机(例如，卫星收音机)、音乐播放器(例如，数字音乐播放器和/或便携式音乐播放器)、视频播放器(例如，数字视频播放器，例如，数字视频光盘(dvd)播放器和/或便携式数字视频播放器)、另一电子装置或其组合。

作为说明性实例，电子装置800包含存储器832和处理器810，例如，数字信号处理器(dsp)、中央处理单元(cpu)，和/或图形处理单元(gpu)。处理器810可执行指令868。在说明性实例中，指令868可由处理器810执行以执行本文中所描述的一或多个功能或方法，包含但不限于图6的方法600和/或图7的方法700。处理器810也可包含对应于以下各项的硬件和/或执行对应于以下各项的软件指令：物件检测器869(例如，图1、3和4的物件检测器128)和3d地图应用程序870(例如，图1和4的3d地图应用程序130)。

图8还展示耦合到处理器810和显示器828的显示控制器826。译码器/解码器(codec)834(例如，模拟音频处理前端)也可耦合到处理器810。扬声器836和麦克风838可耦合到codec834。图8也指示，无线接口840(例如，无线控制器和/或收发器)可耦合到处理器810和天线842。在特定实施例中，电子装置800可包含多个无线接口和天线。每一无线接口和/或天线可对应于不同通信技术或网络(例如，蜂窝式、ieee802.11、dsrc，等等)。

在特定实施例中，处理器810进一步耦合到图像传感器880(例如，图1、3和4的图像传感器104)。处理器810也可耦合到位置传感器890(例如，图1的位置传感器106)。替代地，处理器810可经由接收器(例如，无线接口840和/或天线842)从外部位置传感器接收位置数据，和/或处理器810可从3d地图应用程序870接收位置数据。

在特定实施例中，处理器810、显示控制器826、codec834、无线接口840、图像传感器880和位置传感器890(当存在时)被包含在系统级封装或系统单芯片装置822中。此外，输入装置830和电力供应器844可耦合到系统单芯片装置822。此外，在特定实施例中，如在图8中所说明，显示器828、输入装置830、扬声器836、麦克风838、天线842和电力供应器844位于系统单芯片装置822外部。然而，显示器828、输入装置830、扬声器836、麦克风838、天线842和电力供应器844中的每一个可耦合到系统单芯片装置822的组件，例如，耦合到接口或耦合到控制器。

结合所描述实施例，设备包含用于接收从所述设备观看到且包含物件的场景的图像数据的装置，所述图像数据与所述场景的多个缩放空间表示相关联。举例来说，用于接收的装置可包含图像传感器104、图像传感器880、耦合到图像传感器的处理器或控制器(例如，处理器108或处理器810)、经配置以接收图像数据的另一装置，或其任一组合。所述设备也包含用于处理的装置。用于处理的所述装置经配置以基于所述多个缩放空间表示中的第一缩放空间表示和与所述物件相关联或指示所述物件可存在于其中的区域的位置数据之间的重叠而识别所述第一缩放空间表示的搜索区域。用于处理的所述装置也经配置以在所述第一缩放空间表示的所述搜索区域中执行物件检测。举例来说，用于处理的装置可包含处理器108、物件检测器128、处理器810、物件检测器869、3d地图应用程序130、3d地图应用程序870、经配置以处理数据的另一装置，或其任一组合。在特定实施例中，设备包含用于产生位置数据的装置。举例来说，用于产生位置数据的装置可包含位置传感器106、位置传感器306、位置传感器890、3d地图应用程序130、经配置以产生位置数据的另一装置，或其任一组合。在特定实施例中，设备包含用于从外部位置传感器接收位置数据的装置。举例来说，用于接收的装置可包含接收器340、无线接口840、天线842、经配置以从外部传感器接收数据的另一装置，或其任一组合。

可使用计算机文件(例如，rtl、gdsii、gerber，等等)设计和表示前述所揭示装置和功能性。计算机文件可存储在计算机可读媒体上。一些或所有这些文件可经提供到基于这些文件制作装置的制作处置器。所得产品包含晶片，然后将晶片切割成裸片且封装成集成电路(或“芯片”)。然后，将芯片用于电子装置中，例如，运载工具102的组件、电子装置800，等等。

尽管图1到8中的一或多者可说明根据本发明的教示的系统、设备和/或方法，但本发明并不限于这些所说明系统、设备和/或方法。如本文中所说明或所描述的图1到8中的任一者的一或多个功能或组件可与图1到8中的另一者的一或多个其它部分组合。因此，任何单个实例不应解释为具有限制性，且本发明的实施例可以适合方式组合，而不背离本发明的教示。

所属领域的技术人员将进一步了解，结合本文中所揭示的实施例所描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、由处理器执行的计算机软件，或两者的组合。上文已对各种说明性组件、块、配置、模块、电路和步骤大体就其功能性方面进行描述。将此功能性实施为硬件还是处理器可执行指令取决于特定应用和强加于整体系统的设计约束。所属领域的技术人员可针对每一特定应用以各种方式实施所描述功能性，但不应将这些实施决策解释为导致对本发明的范围的背离。

结合本文中所揭示的实施例所描述的方法或算法的步骤可直接以硬件、以由处理器执行的软件模块或以两者的组合体现。软件模块可驻存于以下各项中：随机存取存储器(ram)、快闪存储器、只读存储器(rom)、可编程只读存储器(prom)、可抹除可编程只读存储器(eprom)、电可抹除可编程只读存储器(eeprom)、寄存器、硬盘、可抽换式磁盘、光盘只读存储器(cd-rom)，或此项技术中已知的任一其它形式的非暂时性计算机可读或处理器可读存储媒体或存储装置。示范性存储媒体或装置耦合到处理器，使得处理器可从存储媒体读取信息，和将信息写入到存储媒体。在替代方案中，存储媒体或装置可与处理器成整体。处理器和存储媒体或装置可驻留于专用集成电路(asic)中。asic可驻留于计算装置或用户终端机中。在替代方案中，处理器和存储媒体或装置可作为离散组件驻留在计算装置或用户终端机中。计算机可读或处理器可读存储媒体或存储装置并非信号。

提供所揭示实施例的先前描述使得所属领域的技术人员能够制成或使用所揭示实施例。所属领域的技术人员将容易明了这些实施例的各种修改，且本文中所定义的原理可应用于其它实施例而不背离本发明的范围。因此，本发明并不希望限制于本文中所展示的实施例，而欲赋予其与如由所附权利要求书所定义的原理和新颖特征相一致的最广可能范围。