基于交通工具的雷达上采样的制作方法

本申请要求于2016年1月11日提交的题目为“VEHICLE BASED RADAR UPSAMPLING”的序列号为No.62/277,186的美国临时专利申请的优先权和权益，其全部内容通过引用结合于此。

技术领域

本发明的一个或多个实施例总体上涉及交通工具控制设备，并且更具体地涉及例如交通工具对象检测设备。

背景技术：

需要交通工具快速且准确地确定交通工具周围环境或向交通工具操作者显示环境表示的能力。随着自主交通工具技术变得更加普遍，这种能力可能是特别期望的。用于确定交通工具周围环境的传统系统可能是昂贵且不准确的。

技术实现要素：

本文公开了用于提供基于交通工具的雷达上采样的系统和方法。在某些实施例中，可以提供一种装置。该装置可包括对象检测设备和逻辑设备。对象检测设备可以包括：第一距离传感器，被配置为检测第一距离区域内的对象并输出第一距离数据；第一热传感器，被配置为检测第一热区域内的热特征(signature)并输出第一热数据。第一距离区域和第一热区域可以至少部分地重叠。逻辑设备可以被配置为接收第一距离数据，接收第一热数据，并且至少部分地基于第一距离数据和第一热数据来生成第一重叠区域的三维表示，该第一重叠区域包括第一距离区域和第一热区域的重叠。

在另一是实施例中，提供了一种方法。该方法可以包括：从对象检测设备的第一距离传感器接收第一距离数据，其中第一距离传感器被配置为检测第一距离区域内的对象；从对象检测设备的第一热传感器接收第一热数据，其中第一热数据被配置为检测第一热区域内的热特征；以及至少部分地基于第一距离数据和第一热数据生成第一重叠区域的三维表示，该第一重叠区域包括第一距离区域和第一个热区域的重叠。

本发明的范围由权利要求限定，该权利要求通过引用结合到这部分中。通过考虑一个或多个实施例的以下详细描述，本领域技术人员将更加全面地理解本发明的实施例以及对其附加优点的实现。将参考将首先简要描述的附图。

附图说明

图1示出了根据本公开的实施例的对象检测系统的框图。

图2示出了根据本公开实施例的配备有对象检测装置阵列的交通工具。

图3示出了根据本公开实施例的利用对象检测系统执行的对象分类技术的流程图。

图4A示出了根据本公开实施例的具有由对象检测设备捕获的对象的图像。

图4B示出了根据本公开实施例的具有由对象检测设备分类的对象的图像。

通过参考下面的详细描述，可以最好地理解本发明的实施例及其优点。应理解的是，相同的参考数字用于标识一个或多个附图中示出的相同元件。

根据一个或多个实施例提供了技术和机制，以对交通工具周围的环境成像、检测交通工具周围的一个或多个对象、和/或识别和/或分类交通工具周围的对象。交通工具可以是任何交通工具，例如，飞机、汽车、机车或火车、船只、摩托车、气垫船、航天器、或其他类型的交通工具。

某些实施例可包括一个或多个对象检测设备。对象检测设备可以包括至少一个距离传感器和至少一个热传感器。对象检测设备的距离传感器和热传感器可以包括重叠的视野。可以通过距离和热传感器对区域或体积进行成像。来自距离和/或热传感器的数据可用于检测至少视野内的一个或多个对象。然后可以利用来自热传感器的数据对检测到的一个或多个对象进行分类。

图1示出了根据本公开的实施例的对象检测系统的框图。图1中的对象检测系统100可用于根据本文所描述的各种技术来捕获和处理环境的数据和图像。图1示出了对象检测系统100，其中对象检测设备102通信地连接到控制设备108。对象检测设备102包括距离传感器106和热传感器104。距离传感器106和热传感器104可以通过安装件(mount)192耦合。安装件192可以以固定的空间关系来连接距离传感器106和热传感器104。安装件192可以是刚性结构，并且可以用于控制距离传感器106和热传感器104之间的距离。距离传感器106可以是例如雷达、激光雷达、测距仪、或可以提供空间感知的其他传感器(例如，检测位于距离传感器106一定距离处的一个或多个对象和/或确定一个或多个对象相对于距离传感器106所处的距离)。热传感器104可以是例如热成像相机，例如基于辐射热测量计的相机或任何其他合适的相机。对象检测设备102的其他实施例可以包括传感器的其他组合，例如，两个或更多个距离传感器和/或两个或更多个热传感器。

在某些实施例中，距离传感器106和热传感器104可以是同步的。也就是说，距离传感器106和热传感器104可以被校准以获取场景170的图像和/或与场景170相关联的数据。因此，由距离传感器106成像的场景170的至少一部分也可以由热传感器104成像。热传感器104和距离传感器106可以同时或基本上同时(例如，在同一时段期间)获取数据(例如，图像、视频、距离数据、和/或其他数据)。然后可以将来自距离传感器106和热传感器104的数据分别经由例如接口116和114输出到控制设备108以进行处理。

对象检测系统100可以包括分布在多个设备上的组件。特别地，对象检测设备102可以与控制设备108通信。其他实施例可以以其他方式将组件分发到设备，并且可以另外将组件分发到三个或更多个设备。一些这样的实施例可以在云上分发对象检测系统100的一个、一些、或全部组件。在图1的实施例中，接口116和114可以分别将距离传感器106和热传感器104通信地连接到控制设备108的通信组件152。在各种实施例中，接口116和114可以是蓝牙链路、WiFi链路、NFC链路、有线连接、或传感器106和104与控制设备108之间的另一类型的链路。

在某些实施例中，控制设备108可以包括处理组件110、存储器组件120、显示组件140、第二通信组件152、和控制组件150。处理组件110可以包括例如微处理器、单核处理器、多核处理器、微控制器、逻辑器件(例如，被配置为执行处理操作的可编程逻辑器件)、数字信号处理(DSP)设备、用于存储可执行指令(例如，软件、固件、或其他指令)的一个或多个存储器、和/或处理设备和/或存储器的任何其他适当组合，以用于执行指令以执行本文所描述的任何各种操作。处理组件110可以适于与组件120、140、150和152接口和通信。

处理组件110(经由接口116和114)可以适用于来自对象检测设备102的数据，处理这样的数据，将信号或数据存储在存储器组件120中，和/或从存储器组件120中获取所存储的信号或数据。处理组件110可以适于将数据输出到显示组件140以供用户查看。

在一个实施例中，显示组件140可以包括图像显示设备(例如，液晶显示器(LCD))或各种其他类型的通常已知的视频显示器或监视器。处理组件110可以适于在显示组件140上显示数据和信息。

在各个方面，显示组件140可以远程地放置(例如，容纳在单独的外壳中)，并且处理组件110可以适于经由与显示组件140的有线或无线通信来在显示组件140上远程地显示数据和信息，如本文所述。

在一个实施例中，控制组件150包括用户输入和/或接口设备，其具有适于生成一个或多个用户致动的输入控制信号的一个或多个用户致动组件，例如，一个或多个按钮、滑杆、可旋转旋钮或键盘。控制组件150可以适于集成为显示组件140的一部分，以作为用户输入设备和显示设备两者进行操作，例如，适于从触摸显示屏的不同部分的用户接收输入信号的触摸屏设备。处理组件110可以适于感测来自控制组件150的控制输入信号，并对从其接收的任何感测的控制输入信号进行响应。

在一个实施例中，控制组件150可以包括控制面板单元(例如，有线或无线手持控制单元)，其具有适于与用户接口并接收用户输入控制信号的一个或多个用户激活机构(例如，按钮、旋钮、滑块、或其他)。

在另一实施例中，控制组件150可以包括图形用户界面(GUI)，其可以被集成为显示组件140的一部分(例如，用户致动的触摸屏)，具有适于与用户接口并经由显示组件140接收用户输入控制信号的用户激活机构(例如，按钮、旋钮、滑块、或其他)的一个或多个图像。作为如本文进一步讨论的一个或多个实施例的示例，显示组件140和控制组件图150可以表示交通工具内的集成显示器的适当部分(例如，LED或LCD显示器、多功能显示器、智能电话、平板电脑、个人数字助理(例如，无线、移动设备)、膝上型计算机、台式计算机、或其他类型的设备)。

在各种实施例中，可以根据需要或根据应用要求来组合和/或实现或不实现对象检测系统100的各种组件。例如，处理组件110可以与存储器组件120、控制组件150、显示组件140、和/或通信组件152组合。

图2示出了配备有根据本发明的实施例的对象检测设备阵列的交通工具。图2包括交通工具230，其具有设置在交通工具230的各个位置处的多个对象检测设备102-1-10。交通工具230可以是任何交通工具，例如，飞机、汽车、机车或火车、船只、摩托车、气垫船、航天器、或其他类型的交通工具。

对象检测设备102-1-10可以设置在交通工具230的外部，但是其他实施例可以将对象检测设备设置在交通工具230内或交通工具230上的某些壳体内。在对象检测设备被安装在汽车上的某些实施例中，对象检测设备可以例如设置在交通工具230的前部、后部、侧面、车顶、发动机罩、行李箱、车窗、后视镜、和其他部分上。对象检测设备102-1-10可以以允许交通工具周围区域的完全360度覆盖的方式布置。在某些其他实施例中，对象检测设备可以布置成覆盖交通工具230周围的感兴趣区域(例如，交通工具230前方的区域、交通工具230后方的区域、交通工具230的盲点、和/或交通工具230的侧面的区域)。这样，对象检测设备可以检测交通工具230周围的对象的存在并对这些对象进行分类。对对象的检测和分类可以辅助操作者或(例如，交通工具230的自主或部分自主控制系统(例如，自适应巡航控制、自动驾驶、或全自主驾驶)的)导航系统进行交通工具230的操作。对象检测设备102-1-10可以将数据输出到位于交通工具230内、在交通工具230外部、或分布在交通工具230的内部和外部两者的控制设备108。

图3示出了根据本公开实施例的利用对象检测系统执行的对象分类技术的流程图。在框302中，一个或多个距离传感器可以成像或感测区域。在某些实施例中，例如其中一个或多个距离传感器是雷达传感器的实施例，距离传感器数据可以是二维(2D)或三维(3D)雷达数据。在框304中，一个或多个热传感器可以检测该区域内的热特征。然后可以将来自一个或多个距离传感器和一个或多个热传感器的数据输出到控制设备。

在框306中，可以检测该区域内的对象。可以根据例如距离传感器数据和/或热传感器数据来检测对象。在某些实施例中，例如其中一个或多个距离传感器可以是雷达传感器的实施例，控制设备可以根据由一个或多个距离传感器输出的数据来检测该区域内的对象(例如，可以通过来自雷达传感器的雷达信号的反射来检测对象)。另外，控制设备还可以确定对象处于某距离处和/或位于某距离所在的某平面内。在某些这样的实施例中，当在交通工具正在移动时确定距离时，控制设备可以补偿多普勒效应。

在某些其他实施例中，控制设备可以用至少来自一个或多个热传感器的数据来检测对象(例如，通过经由热特征检测来对象)。例如，某些对象(例如，人类、动物、或交通工具)可能比周围环境温暖得多，因此可以发出比环境温暖得多的热特征。控制设备可以检测这种热特征并根据该特征来确定对象的存在。

在检测到对象之后，可以在框308中对其进行分类。可以使用例如距离传感器数据和/或热传感器数据来执行分类。距离传感器数据可以用于例如确定对象的形状并且至少部分地由于对象的大小和/或形状而对对象进行分类。附加地或替代地，热传感器数据可以用于例如确定对象的温度并且至少部分地由于对象的温度而对对象进行分类。例如，已知某种动物的体温可能为X，而已知另一种动物的体温可能为Y。因此，如果(关于两种动物的大小的)检测到的对象具有体温为Y，则将其分类为对象Y。可以将这些技术另外组合，使得如果对象是一定大小，则可以仅参考这种大小的对象的已知温度来确定对象的分类。

在框310中，可以生成环境的表示，该环境的表示可以包括检测到的对象。在某些实施例中，该表示可以被交通工具用于驾驶(例如，自动驾驶、自适应巡航控制、和/或自主驾驶)目的。其他实施例可以将表示输出到例如显示组件上以便与交通工具的操作者进行通信。

可以根据来自一个或多个距离传感器的数据和/或来自一个或多个热传感器的数据来生成表示。在某些实施例中，可以在表示内显示和/或突出显示在框306和308中检测到的和经分类的对象。另外，在某些实施例中，来自一个或多个距离传感器和/或一个或多个热传感器的数据可以用作内插、扭曲、和/或上采样过程的一部分。可以执行这样的过程以例如对地形、对象、和表示内的其他特征进行锐化。函数可以用于这样的过程，以便对来自距离传感器、热传感器、或来自诸如视觉传感器之类的另一传感器的数据进行内插、扭曲和/或上采样。在某些实施例中，这些函数可以至少部分地响应于来自一个或多个距离传感器的数据或来自一个或多个热传感器的数据来确定。在这样的实施例中，距离传感器或热传感器的较高分辨率信号可用于改进对距离传感器或热传感器的较低分辨率信号的重采样和/或上采样，以用于任何二维或三维表示。

例如，在这样的实施例中，距离传感器数据可以是比热传感器数据更低的分辨率(反之亦然)。具有较低分辨率的数据(例如，上述示例中的距离传感器数据)可以被重采样(例如，上采样)以匹配具有较高分辨率的数据的分辨率。在这样的实施例中，较高分辨率数据可用于引导对较低分辨率数据的重采样，以更准确地描绘地形、对象、和/或表示中的其他特征。这样，较高分辨率数据可以引导对这种用于重采样的函数的确定。这种内插、封装、上采样、和/或重采样可以通过例如在题为“Systems and Methods for Image Resolution Enhancement”的序列号为No.62/276,800的美国临时申请中描述的系统和技术来执行，该临时申请通过引用整体结合于此。

在某些实施例中，图3中示出的技术可以以不同的顺序执行。另外，该技术可以用更少或额外的步骤来执行。例如，某些实施例可以省略框306和308，或者框310可以在框306和308之前执行。

图4A示出了根据本公开的实施例的具有由对象检测设备捕获的对象的图像。图4A示出了由热传感器捕获的区域的热表示400A和距离传感器的稀疏平面400B。距离传感器可以是例如雷达传感器，并且稀疏平面可以表示例如距离传感器的各种检测平面。

热表示400A可以是单个平面视图(例如，二维表示)的区域的表示。热表示400A可以包括人482和484以及交通工具486的表示(例如，热读数或图像)。

稀疏平面400B可以是由距离传感器检测的区域的表示。距离传感器可以检测位于不同距离的对象，并且还可以确定对象所处的距离。这样，距离传感器可以经由例如稀疏平面400B生成该区域的三维表示(并且在一些情况下，由于对任何多普勒效应的补偿而生成“四维”表示)。在诸如其中距离传感器可以是雷达传感器的某些实施例中，距离传感器可以成像、扫描、和/或发射指向该区域内的线或平面的信号。例如，在3D雷达实施例中，距离传感器可以成像、扫描、和/或发射指向一个或多个稀疏平面的信号并且可以通过成像、扫描、和/或发射指向多个稀疏平面的信号来进行循环，其中稀疏平面位于距距离传感器不同的距离处。因此，稀疏平面400B可以表示由距离传感器经由所发射的信号而成像、扫描、和/或检测到的多个不同的稀疏平面。稀疏平面400B中的一个或一些可以包括检测稀疏平面400B内的人482和/或人484和/或交通工具486的数据。

图4B示出了根据本公开的实施例的具有由对象检测设备分类的对象的图像。在图4B中，稀疏平面400B可以包括第一稀疏平面490A、第二稀疏平面490B、第三稀疏平面490C、第四稀疏平面490D、和其他稀疏平面。交通工具的控制设备可以至少部分地基于来自距离传感器的数据对热表示400A内的对象进行分类。例如，控制设备可以确定距离传感器已经检测到第一稀疏平面490A内的第一对象、第三稀疏平面490C内的第二对象、以及第四稀疏平面490D内的第三对象。然后，控制设备可以确定可以在第四稀疏平面490D内检测到人482，可以在第三稀疏平面490C内检测到人484，并且可以在第一稀疏平面490A内检测到交通工具486。因此，控制设备然后可以确定人482和484以及交通工具486相对于对象检测设备和/或对象检测设备所耦合至的交通工具的距离。

控制设备可以通过例如将热读数和/或热图像的大小与在稀疏平面内检测到的对象的大小进行匹配和/或将对象在二维热表示400A内的位置与对象在稀疏平面内的位置进行匹配来确定对象(例如，人482和/或人484和/或交通工具486)位于哪个稀疏平面。这样，在某些实施例中，可以生成具有距离数据的增强热表示和/或三维热表示。

在某些实施例中，可以根据一定排序来执行对对象的分类和/或匹配。例如，在一个实施例中，距离传感器检测到的最近和/或最接近的对象可以与热传感器检测到的以与稀疏平面内检测到的对象的锥角度相同的锥角度的热读数或热图像匹配(例如，如果从对象检测设备向对象绘制直线，则该直线的角度在距离传感器和热传感器内相同或基本相似)。然后，检测到的第二最近和/或最接近的对象可以与以相对应的与第二对象相同的锥角度的第二热读数或热图像匹配。可以针对检测到的每个对象重复这样的过程，直到所有对象都已匹配为止。

在各种实施例中，网络可以被实现为单个网络或多个网络的组合。例如，在各种实施例中，网络可以包括互联网和/或一个或多个内联网、陆线(landline)网络、无线网络和/或其他适当类型的通信网络。在另一示例中，网络可以包括适于与诸如互联网之类的其他通信网络通信的无线电信网络(例如，蜂窝电话网络)。这样，在各种实施例中，成像系统100A可以与特定网络链路(例如，URL(统一资源定位符)、IP(互联网协议)地址、和/或移动电话号码)相关联。

在适用的情况下，可以通过使用硬件、软件、或硬件与软件的组合来实现本公开所提供的各种实施例。同样在适用的情况下，在不脱离本公开的精神的情况下，本文所阐述的各种硬件组件和/或软件组件可以被组合成包括软件、硬件、和/或两者的复合组件。在适用的情况下，在不脱离本公开的精神的情况下，本文所阐述的各种硬件组件和/或软件组件可以被分成包括软件、硬件、和/或两者的子组件。另外，在适用的情况下，预期软件组件可以被实现为硬件组件，反之亦然。

根据本公开的诸如非暂态指令、程序代码、和/或数据之类的软件可以被存储在一个或多个非暂态机器可读介质上。还预期本文中识别的软件可以通过使用一个或多个通用或专用计算机和/或计算机系统、联网和/或以其他方式来实现。在适用的情况下，本文所描述的各种步骤的顺序可以被改变、被组合成复合步骤、和/或被分成子步骤以提供本文所描述的特征。

上述实施例说明但不限制本发明。还应理解的是，可以根据本发明的原理进行许多修改和变化。因此，本发明的范围仅由以下权利要求限定。