位置估计装置和方法与流程

本申请要求2017年10月16日在韩国知识产权局递交的韩国专利申请no.10-2017-0133955的权益，其全部公开内容通过引用合并于此以用于所有目的。

以下描述涉及位置估计技术。

背景技术：

车辆导航装置接收来自属于多个全球导航卫星系统(gnss)的卫星的无线电波，以验证移动车辆的当前位置和速度。这样，车辆导航装置可以基于在gnss接收机中接收到的信息来三维地计算包括纬度、经度和姿势信息在内的车辆的当前位置。在一些情况下，gnss信号包括大约10至100米(m)范围内的gnss位置误差。这种误差可以通过其他传感器纠正。

技术实现要素：

提供了本发明内容以介绍下面在具体实施方式中进一步描述的对简化形式的理念的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。

在一个总体方面，提供了一种由处理器执行的位置估计方法，所述方法包括：基于从主传感器获取的主感测数据来估计目标的位置；验证从辅助传感器获取的辅助感测数据的可靠性；以及响应于所述辅助感测数据可靠，基于所述主感测数据和所述辅助感测数据确定所述目标的位置。

估计所述目标的位置可以包括对所述主感测数据应用非线性滤波以补偿定位误差。

所述位置估计方法可以包括获取全球定位系统(gps)信号以及指示目标的加速度和角速度的惯性测量单元(imu)信号，作为所述主感测数据。

所述位置估计方法可以包括响应于所述辅助感测数据不可靠，将基于所述主感测数据估计的所述目标的位置确定为所述目标的位置。

验证所述辅助感测数据的可靠性可以包括：从所述辅助传感器获取所述目标前方的图像数据；以及确定所述图像数据的可靠性。

所述位置估计方法可以包括响应于在当前时间间隔期间收集的所述辅助感测数据不可靠，在所述当前时间间隔期间排除所述辅助感测数据。

验证所述辅助感测数据的可靠性可以包括：计算所述辅助感测数据的可靠性分数；响应于所计算的所述可靠性分数大于阈值分数，确定所述辅助感测数据可靠；以及响应于所计算的所述可靠性分数小于或等于所述阈值分数，确定所述辅助感测数据不可靠。

验证所述辅助感测数据的可靠性可以包括：基于所述主感测数据确定所述辅助感测数据的可靠性。

验证所述辅助感测数据的可靠性可以包括计算以下中的任何一个或任何组合：从主感测数据获得的位置信息和从辅助感测数据获得的位置信息之间的差异、从主感测数据获得的速度信息和从辅助感测数据获得的速度信息之间的差异、以及从主感测数据获得的姿势信息和从辅助感测数据获得的姿势信息之间的差异；并且基于所述差异中的任何一个或任何组合来确定所述辅助感测数据的可靠性。

所述位置估计方法可以包括：从多个辅助传感器收集其他辅助感测数据；其中验证所述辅助感测数据的可靠性可以包括：计算所述辅助感测数据和每个所述其他辅助感测数据的可靠性分数；以及确定所述目标的位置包括：基于所述主感测数据以及在所述辅助感测数据和每个所述其他辅助感测数据当中具有最高可靠性分数的感测数据，来确定所述目标的位置。

所述位置估计方法可以包括：验证从附加传感器获取的附加感测数据的可靠性；以及响应于所述附加感测数据可靠，基于所述附加感测数据、所述辅助感测数据和所述主感测数据确定所述目标的位置。

所述位置估计方法可以包括基于所述辅助感测数据的可靠性来选择所述目标的位置的输出模式，其中选择所述输出模式可以包括：响应于所述辅助传感器表现出小于或等于阈值分数的可靠性分数，输出基于所述主感测数据所估计的位置；以及响应于所述辅助传感器表现出大于所述阈值分数的可靠性分数，输出基于所述主感测数据和所述辅助感测数据所确定的位置。

在另一个总体方面，提供了一种位置估计装置，包括：传感器，被配置为产生主感测数据和辅助感测数据；以及处理器，被配置为基于所述主感测数据来估计目标的位置；验证所述辅助感测数据的可靠性；以及响应于所述辅助感测数据可靠，基于所述主感测数据和所述辅助感测数据确定所述目标的位置。

所述处理器可以被配置为对所述主感测数据应用非线性滤波以补偿定位误差。

所述传感器可以包括：主传感器，被配置为获取全球定位系统(gps)信号以及指示目标的加速度和角速度的惯性测量单元(imu)信号，作为所述主感测数据。

所述处理器可以被配置为响应于所述辅助感测数据不可靠，将基于所述主感测数据估计的所述目标的位置确定为所述目标的位置。

所述传感器可以包括：辅助传感器，被配置为获取所述目标前方的图像数据。

所述处理器可以被配置为响应于在当前时间间隔期间收集的所述辅助感测数据不可靠，在所述当前时间间隔期间排除所收集的所述辅助感测数据。

所述处理器可以被配置为计算所述辅助感测数据的可靠性分数，响应于所计算的所述可靠性分数大于阈值分数，确定所述辅助感测数据可靠，以及响应于所计算的所述可靠性分数小于或等于所述阈值分数，确定所述辅助感测数据不可靠。

所述主感测数据和所述辅助感测数据可以是从多个传感器生成的，并且所述处理器还被配置为使用卡尔曼滤波，基于所述多个传感器中每一个的性能以优化的比率对感测数据进行融合，来确定所述目标的位置。

所述处理器可以被配置为通过选择性地使用与所述主感测数据相比具有更低可靠性和更高准确度的所述辅助感测数据，来确定所述目标的位置。

所述传感器可以包括：主传感器，包括全球定位系统(gps)传感器或惯性测量单元(imu)传感器中的至少一个；辅助传感器，至少包括照相机；以及附加传感器，包括里程计、速度计、光检测和测距(lidar)传感器、或无线电检测和测距(radar)传感器中的至少一个。

在另一个总体方面，提供了一种位置估计装置，包括：传感器，被配置为产生主感测数据和辅助感测数据；触敏显示器；存储器，被配置为存储指令；处理器，被配置为执行所述指令，以接收所述主感测数据和所述辅助感测数据，基于所述主感测数据估计目标的位置，验证所述辅助感测数据的可靠性，响应于所述辅助感测数据可靠，基于所述主感测数据和所述辅助感测数据确定所述目标的位置，以及向所述显示器输出所述目标的位置。

其他特征和方面将通过以下详细描述、附图和权利要求变得清楚明白。

附图说明

图1至图3示出了位置估计装置的示例。

图4示出了位置估计方法的示例。

图5至图6b示出用于位置估计的装置和过程的示例。

图7至图9示出了位置估计方法的示例。

贯穿附图和详细描述，除非另外描述或提供，否则相同的附图标记将被理解为指代相同的元件、特征和结构。附图不必按比例绘制，并且为了清楚、示出和方便，可以扩大附图中的元件的相对尺寸、比例和描绘。

具体实施方式

提供以下详细描述以帮助读者获得对本文描述的方法、装置和/或系统的全面理解。然而，在理解了本申请的公开之后，本文描述的方法、装置和/或系统的各种改变、修改和等同物将是显而易见的。例如，本文描述的操作的顺序仅仅是示例，并且不限于在此阐述的那些，而是可以在理解本申请的公开内容后明显改变(除了必须以一定的顺序出现的操作以外)。此外，为了更加清楚和简洁，可以省略本领域已知的特征的描述。

本文描述的特征可以以不同的形式来实施，并且不应该被解释为限于本文阐述的示例。相反，提供本文描述的示例仅仅是为了说明实施本文描述的方法、装置和/或系统的许多可能方式中的一些，这些方法、装置和/或系统在理解了本申请的公开内容后将会显而易见。

本文所用的术语仅是为了描述各种示例，而不用于限制本公开。“一”、“一个”和“所述”意在还包括复数形式，除非上下文明确地给出相反的指示。术语“包含”、“包括”和“具有”表示所述特征、数量、操作、组件、元件或其组合的存在，但是不排除一个或多个其它特征、数量、操作、组件、元件或其组合的存在或添加。

关于分配给附图中的元件的附图标记，应该注意的是，尽管相同的元件在不同的附图中示出，但在可能的情况下将由相同的附图标记表示相同的元件。而且，在实施例的描述中，当认为对公知的相关结构或功能的详细描述将导致本公开的模糊解释时，可以省略这样的详细描述。

图1至图3示出了位置估计装置的示例。

图1示出了位置估计装置100。位置估计装置100包括传感器110和处理器120。

传感器110产生主感测数据和辅助感测数据。例如，传感器110通过主传感器获取主感测数据，并通过辅助传感器获取辅助感测数据。

处理器120基于辅助感测数据的可靠性，确定除了主感测数据之外是否还使用辅助感测数据来确定目标的位置。在一个示例中，处理器120基于主感测数据来估计目标的位置，并且处理器120确定辅助感测数据的可靠性。当辅助感测数据可靠时，处理器120基于辅助感测数据和主感测数据二次重新估计目标的位置。

在一个示例中，目标是包括位置估计装置100在内的装置。当位置估计装置100安装在交通工具上时，目标可以是交通工具。在一个示例中，本文所述的交通工具指的是任何交通、运输或传送模式，例如汽车、卡车、拖拉机、滑板车、摩托车、自行车、水陆两用车辆、雪地摩托车、船、公共交通车辆、巴士、单轨电车、火车、电车、自主或自动驾驶车辆、智能车辆、无人驾驶车辆、飞机、无人驾驶飞行器、无人驾驶飞机或移动设备。在一个示例中，位置估计装置可应用于需要定位操作的机器人。

本文描述的装置和方法可以用于在智能交通工具的导航系统中估计目标的位置，生成位置信息以辅助自主或自动驾驶交通工具的转向，用于针对完全自主或自动驾驶的交通工具内辅助驾驶，从而实现更安全和更舒适的驾驶。

图2示出了包括在位置估计装置200中的传感器210。

传感器210包括主传感器211和辅助传感器212。

主传感器211生成主感测数据。主传感器211包括惯性测量单元(imu)201和全球定位系统(gps)模块202。主传感器211获取gps信号以及指示目标的加速度和角速度的imu信号，作为主感测数据。

imu201也被称为惯性测量器。imu201测量姿势变化、位置移动的速度变化、以及位移。在一个示例中，imu201包括感测平移运动(例如加速度)的3轴加速度计和感测旋转运动(例如角速度)的3轴陀螺仪。由于imu201不依赖于外部信息，因此imu201可稳定地收集加速度信号和角速度信号。计算出的位置可能随着imu201的感测时间的累积而发散。因此，处理器220可以将imu信号融合到gps信号和图像数据以稳定地估计位置。

在一个示例中，gps模块202接收从三个或更多个人造卫星发送的信号，并且计算卫星和位置估计装置200的位置。在一个示例中，人造卫星的数量可以改变，而不脱离所描述的说明性示例的精神和范围。gps模块202也被称为例如全球导航卫星系统(gnss)。

辅助传感器212生成辅助感测数据。在一个示例中，辅助传感器212包括照相机203。照相机203捕获位置估计装置200的外部视野以生成图像数据。辅助传感器212的类型不限于上述示例。与主传感器211相比具有更低可靠性和更高精确度的感测模块也可以实现为辅助传感器212。

处理器220可以与参考图1所描述的方式类似地操作。处理器220从imu201接收imu信号并从gps模块202接收gps信号，以估计目标的位置。

在一个示例中，当辅助感测数据具有相对高的准确度和可靠性时，处理器220将辅助感测数据应用于位置估计。在一个示例中，处理器220基于图像数据的状态确定是否将图像数据应用于位置估计。当辅助感测数据是图像数据并且具有高可靠性时，处理器220基于图像数据收集关于目标周围环境的视觉信息。处理器220使用所收集的视觉信息与地图比对来校正估计的位置，从而估计误差在1米(m)内的精确位置。

当从照相机203获取的图像数据可靠时，处理器220使用imu信号、gps信号和图像数据来重新估计目标的位置。例如，处理器220对所获取的感测数据执行卡尔曼滤波或非线性滤波，例如粒子滤波。可以使用其他传感器融合技术，而不脱离所描述的说明性示例的精神和范围。卡尔曼滤波是一种传感器融合技术，并且是一种滤波技术，其使要估计的状态变量的误差的均方根误差(rmse)最小化。当处理器220处理测量值(例如，从诸如照相机等辅助传感器获取的具有非线性的图像数据)以估计目标的位置时，由于非线性，可能产生误差。处理器220使用非线性传感器来处理图像数据，从而使由于非线性而产生的误差最小化。

处理器220通过卡尔曼滤波或非线性滤波，基于每个传感器的性能以优化的比率对感测数据进行融合，来估计目标的位置。当任何传感器易受外部环境变化的影响时，处理器220中可能收集不正确的感测数据。当对不正确的感测数据执行卡尔曼滤波时，可能出现与错误测量值相对应的误差，因此，位置估计的精度可能降低。为了提高精度并保持位置估计的可靠性，在一个示例中，位置估计装置200选择性地使用与主传感器211相比具有较低可靠性和较高精度的辅助传感器212。

在一个示例中，处理器220使用至少两种滤波技术，而不是使用一种卡尔曼滤波。在一个示例中，处理器220独立地将不同的滤波技术应用于不同的等级。因此，处理器220使故障辅助传感器212对基于主传感器211执行的位置估计产生的影响最小化。在一个示例中，当辅助传感器212不可靠时，处理器220在当前时间间隔和随后的时间间隔期间基于主感测数据来估计位置，而从位置估计中排除不可靠的辅助感测数据。在一个示例中，当辅助传感器212可靠时，处理器220基于主感测数据和辅助感测数据重新估计位置。

在一个示例中，处理器220将位置输出给显示器230。在一个示例中，位置估计装置200通过平视显示器(hud)在交通工具的挡风玻璃上显示交通工具的位置。然而，位置的显示不限于前述的示例，任何其他仪表组、交通工具信息娱乐系统、使用增强现实技术的交通工具中的屏幕、或交通工具中的显示面板都可以执行显示功能。可以使用可操作地连接到位置估计装置200的其他显示器，例如智能电话和眼镜显示器(egd)，而不脱离所描述的说明性示例的精神和范围。在另一示例中，处理器220通过音频信号输出位置。

图3是示出位置估计装置300的示例的图。位置估计装置300可以包括传感器310、处理器320和存储器330。

传感器310包括主传感器311、辅助传感器312和附加传感器313。

主传感器311生成主感测数据。主传感器311例如包括imu和gps模块。gps模块以1赫兹(hz)测量绝对位置，并因其噪音低而稳定操作。imu以100hz测量相对位置，并可以高速测量。

辅助传感器312生成辅助感测数据。辅助传感器312例如包括照相机。照相机以1hz至10hz的频率测量相对路径，或者通过地图匹配测量绝对位置。在照相机中，与imu相比，可能会产生较低的漂移。

附加传感器313生成附加感测数据。在一个示例中，附加传感器313包括里程计、光检测和测距(lidar)模块以及无线电检测和测距(radar)模块。

在一个示例中，处理器320基于从主传感器311获取的主感测数据来估计目标的位置。处理器320基于辅助感测数据和附加感测数据的可靠性，确定是否将从辅助传感器312获取的辅助感测数据和从附加传感器313获取的附加感测数据应用于位置估计。例如，包括gps模块的主传感器311可以在不存在阻碍gps信号的障碍物的区域中有效地操作。在一个示例中，包括照相机的辅助传感器312可能被环境亮度和物体的特性所干扰。在一个示例中，为了防止由于传感器故障导致的误差，处理器320分级地将感测数据应用于位置估计。下面描述基于辅助感测数据和附加感测数据执行的位置估计的进一步描述。

存储器330暂时或永久地存储位置估计所需的数据。在一个示例中，存储器330按时间顺序存储从主传感器311获取的主感测数据、从辅助传感器312获取的辅助感测数据以及从附加传感器313获取的附加感测数据。在一个示例中，存储器330存储包括目标所处区域的地图和场景图像，例如，在地图上的每个点处捕获的360度全景图像。

通过融合主感测数据和辅助感测数据，位置估计装置300在车道单位内精确估计交通工具的位置。

图4示出了位置估计方法的示例。可以按照所示的顺序和方式执行图4的操作，然而在不脱离所描述的说明性示例的精神和范围的情况下可以改变一些操作的顺序或省略一些操作。图4中所示的许多操作可以并行或同时执行。图4的一个或多个框以及框的组合可以由执行指定功能的基于专用硬件的计算机来实现，或者由专用硬件和计算机指令的组合来实现。除了下面对图4的描述之外，对图1-图3的描述也适用于图4，并在此引入作为参考。因此，以上描述在此不再重复。

在操作410中，位置估计装置的处理器根据从主传感器获取的主感测数据来估计目标的位置。处理器通过对主感测数据执行例如非线性滤波来估计目标的位置。

在操作420中，处理器确定从辅助传感器获取的辅助感测数据的可靠性。在一个示例中，处理器从辅助传感器获取与目标的前方视野对应的图像数据。处理器确定图像数据的可靠性。处理器计算辅助感测数据的可靠性分数并且基于计算的可靠性分数确定辅助感测数据的可靠性。

在操作430中，当辅助感测数据可靠时，处理器基于辅助感测数据和主感测数据重新估计目标的位置。在一个示例中，处理器排除在操作410中估计的位置，并且通过对辅助感测数据和主感测数据执行非线性滤波来重新估计新位置。

此外，当辅助感测数据被确定为不可靠时，处理器将基于主感测数据估计的目标的位置确定为目标的位置。在该示例中，处理器不执行基于辅助感测数据和主感测数据执行的位置重新估计操作。

图5、图6a和图6b示出估计位置的装置和过程的示例。

图5示出了位置估计装置的处理器中基于主感测数据和辅助感测数据来确定目标位置的过程。位置估计装置执行例如两级定位。如图5所示，位置估计装置500包括第一传感器511、第二传感器512、第三传感器520、位置估计器530、图像处理器541、可靠性确定器542、位置重新估计器550和模式选择器560。

第一传感器511获取第一感测数据，例如gps信号。第二传感器512获取第二感测数据，例如imu信号。位置估计器530基于第一感测数据和第二感测数据来估计位置。位置估计器530通过对主感测数据(例如gps信号和imu信号)应用卡尔曼滤波或非线性滤波(例如扩展卡尔曼滤波)来估计目标的位置。但是，主感测数据不限于gps信号和imu信号。可以使用其它类型的感测数据，例如交通工具速度计信息，而不脱离所描述的说明性示例的精神和范围。gps信号中的误差可能约为10米，并且在市区或隧道中，误差可能会增加。因此，基于gps信号和imu信号估计的位置可以是粗略的定位结果。

在一个示例中，图像处理器541从第三传感器520(例如，照相机)获取第三感测数据(例如图像数据)以执行图像处理。第三传感器520获取作为目标周围的视觉信息的图像数据。图像处理器541对图像数据执行图像处理以将图像数据转换成用于定位的信息。

可靠性确定器542基于图像处理的结果来确定图像数据的可靠性。第三传感器520可能由于环境亮度和放置在目标附近的物体而获取错误数据。通过确定图像数据的可靠性，防止可靠性确定器542使用错误的图像数据。

可靠性确定器542基于主感测数据来确定辅助感测数据的可靠性。在一个示例中，可靠性确定器542计算从主感测数据获得的速度信息与从辅助感测数据获得的速度信息之间的差异。可靠性确定器542基于与主感测数据相对应的交通工具速度计信息、gps信号和imu信号中的任何一个或任何组合来计算目标的第一速度。可靠性确定器542基于视觉里程计法，根据与辅助感测数据相对应的图像数据来计算目标的第二速度。当第一速度和第二速度之间的差异大于阈值时，可靠性确定器542确定辅助感测数据不可靠。当第一速度和第二速度之间的差异小于或等于阈值时，可靠性确定器542确定辅助感测数据是可靠的。

本示例不应被视为局限于此。在另一示例中，可靠性确定器542基于全部数据确定辅助感测数据的可靠性。可靠性确定器542计算以下中的任何一个或任何组合：从主感测数据获得的位置信息和从辅助感测数据获得的位置信息之间的差异、从主感测数据获得的速度信息和从辅助感测数据获得的速度信息之间的差异、以及从主感测数据获得的姿势信息和从辅助感测数据获得的姿势信息之间的差异。可靠性确定器542基于前述差异中的任何一个或任何组合来确定辅助感测数据的可靠性。

在一个示例中，可靠性确定器542确定位置信息之间的差异是否大于第一阈值，速度信息之间的差异是否大于第二阈值，以及姿势信息之间的差异是否大于第三阈值。在一个示例中，当位置信息之间的差异、速度信息之间的差异以及姿势信息之间的差异中的任何一个或任何组合小于相应的阈值时，可靠性确定器542确定辅助感测数据是可靠的。当每个差异均大于或等于对应阈值时，可靠性确定器542确定辅助感测数据不可靠。

在一个示例中，可靠性确定器542基于位置信息之间的差异、速度信息之间的差异以及姿势信息之间的差异中的任何一个或任何组合来计算可靠性分数。当可靠性分数大于阈值分数时，可靠性确定器542确定辅助感测数据是可靠的。当可靠性分数小于或等于阈值分数时，可靠性确定器542确定辅助感测数据不可靠。

当可靠性确定器542确定辅助感测数据可靠时，位置重新估计器550计算精确的定位结果。位置重新估计器550基于粗略定位结果和辅助感测数据来重新估计目标的位置。位置重新估计器550精确地确定目标的位置，误差在车道单位内，例如1m。

模式选择器560基于辅助感测数据的可靠性来选择目标的位置的输出模式。当辅助感测数据被确定为不可靠时，模式选择器560选择粗略定位模式。当辅助传感器表现出小于或等于阈值分数的可靠性分数时，模式选择器560选择粗略定位模式。当辅助感测数据被确定为可靠时，模式选择器560选择精细定位模式。当辅助传感器表现出大于阈值分数的可靠性分数时，模式选择器560选择精细定位模式。

当选择粗略定位模式时，模式选择器560输出基于主感测数据估计的位置作为粗略定位结果。

当当前时间间隔期间收集的辅助感测数据不可靠时，位置估计装置在当前时间间隔期间排除辅助感测数据。例如，位置估计装置从当前时间间隔期间执行的定位中排除不可靠的辅助感测数据，以确保定位的稳定性。

当选择精细定位模式时，模式选择器560输出基于主感测数据和辅助感测数据重新估计的位置作为精确定位结果。例如，模式选择器560将基于主感测数据和辅助感测数据重新估计的位置作为精确定位结果输出，以确保在当前时间间隔期间执行的定位的精度。

位置估计装置实时计算精确定位结果的可靠性。当持续保持至少高可靠性级别时，位置估计装置将精确定位结果应用于随后时间间隔的位置估计。例如，当辅助传感器在阈值时间段上表现出大于阈值分数的可靠性分数时，位置估计装置基于在先前时间间隔中计算的位置和主感测数据来估计目标的位置。这里，时间间隔表示基于用于更新目标位置的周期而设置的间隔。

如上所述，仅当辅助感测数据至少在阈值时间段上具有高可靠性分数时，位置估计装置才将当前时间间隔的精确定位结果应用于后续时间间隔的定位。由此，位置估计装置提高后续时间间隔中的粗略定位结果的精度。

当未长期保持高可靠性分数时，位置估计装置不将当前时间间隔的精确定位结果作为反馈提供给后续时间间隔的定位。因此，位置估计装置防止照相机故障影响后续时间间隔的粗略定位结果。

图6a示出了除主传感器和辅助传感器之外还包括附加传感器的位置估计装置中的位置确定过程。

参考图6a，位置估计装置600包括第一传感器611、第二传感器612、第三传感器613、第四传感器614、位置估计器630、第一感测处理器641、第一可靠性确定器642、第二感测处理器643、第二可靠性确定器644、第一位置重新估计器651、第二位置重新估计器652、第三位置重新估计器661和模式选择器660。在一个示例中，第一传感器611和第二传感器612对应于主传感器，并且第三传感器613和第四传感器614对应于辅助传感器。位置估计装置600可以执行两级定位。

位置估计器630基于第一传感器611和第二传感器612来估计目标的粗略位置。第一感测处理器641从第三传感器613获取感测数据，并将感测数据转换为用于定位的信息。第二感测处理器643从第四传感器614获取感测数据，并将感测数据转换成用于定位的信息。

位置估计装置确定第三传感器613的感测数据的可靠性和第四传感器614的感测数据的可靠性。例如，第一可靠性确定器642确定从第三传感器613获取的感测数据的可靠性，并且第二可靠性确定器644确定从第四传感器614获取的感测数据的可靠性。

当第三传感器613的感测数据可靠时，第一位置重新估计器651基于粗略位置和第三传感器613的感测数据重新估计目标的精确位置，例如精确结果1。

当第四传感器614的感测数据可靠时，第二位置重新估计器652基于粗略位置和第四传感器614的感测数据重新估计目标的精确位置，例如精确结果2。

在一个示例中，第三位置重新估计器661通过对由第一位置重新估计器651重新估计的精确位置和由第二位置重新估计器652重新估计的精确位置进行融合来确定目标的精确位置。例如，第三位置重新估计器661通过对由第一位置重新估计器651重新估计的精确位置和由第二位置重新估计器652重新估计的精确位置应用卡尔曼滤波来确定目标的精确位置。

模式选择器660基于可靠性的确定结果来确定模式。例如，当第三传感器613的感测数据和第四传感器614的感测数据被确定为可靠时，模式选择器660选择精细定位模式，并输出由第三位置重新估计器661确定的精确位置。当第三传感器613的感测数据和第四传感器614的感测数据都不可靠时，模式选择器660选择粗略定位模式，并选择基于第一传感器611的感测数据和第二传感器612的感测数据估计的位置作为粗略定位结果。模式选择器660输出与所选模式相对应的定位结果，作为位置确定结果。

本示例不应被视为局限于此。位置估计装置还可以按照主感测数据、辅助感测数据和附加感测数据的顺序执行三级定位。将参考图6b描述关于三级定位的更多细节。

图6b示出了基于与图6a的位置估计装置600的结构类似的结构执行三级定位的位置估计装置601。

在如图6b所示的例子中，第一传感器611、第二传感器612、第三传感器613、第四传感器614、位置估计器630、第一感测处理器641、第一可靠性确定器642、第二感测处理器643、第二可靠性确定器644、以及第一位置重新估计器651可以与参考图6a所描述的方式类似或相同地操作。

在图6b的示例中，当从第四传感器614获取的感测数据可靠时，第二位置重新估计器652基于从第四传感器614获取的感测数据和由第一位置重新估计器651重新估计的位置来重新估计目标的位置。

模式选择器640基于可靠性的确定结果来确定模式。当从第三传感器613获取的感测数据不可靠时，模式选择器640选择第一级定位模式并输出粗略定位结果。当从第三传感器613获取的感测数据可靠并且从第四传感器614获取的感测数据不可靠时，模式选择器640选择第二级定位模式并输出第一精确定位结果，例如精确结果1。当从第三传感器613获取的感测数据和从第四传感器614获取的感测数据可靠时，模式选择器640选择第三级定位模式并输出第二精确定位结果，例如精确结果2。模式选择器660输出与所选模式相对应的定位结果，作为位置确定结果。

图6b示出了三级定位作为示例，但不限于此。位置估计装置可以向传感器分配n级优先级以执行n级定位，n是大于或等于2的整数。

图7至图9示出了位置估计方法的示例。

图7是示出使用主传感器和辅助传感器进行定位的示例的图。可以按照所示的顺序和方式执行图7的操作，尽管在不脱离所描述的说明性示例的精神和范围的情况下可以改变一些操作的顺序或省略一些操作。图7中所示的许多操作可以并行或同时执行。图7的一个或多个框以及框的组合可以由执行指定功能的基于专用硬件的计算机来实现，或者由专用硬件和计算机指令的组合来实现。除了下面对图7的描述之外，对图1-6b的描述也适用于图7，并在此引入作为参考。因此，以上描述在此不再重复。

参考图7，位置估计装置在第一估计710中粗略地估计位置，并且在第二估计720中基于辅助感测数据的可靠性精确地重新估计位置。在一个示例中，独立地执行第一估计710，使得它不受第二估计720的结果的影响。在一个示例中，与第二估计720相比，处理器为第一估计710分配更高的优先级。

在操作711中，位置估计装置获取imu数据。imu数据是从imu获取的数据，例如加速度和角速度信号。在操作712中，位置估计装置将惯性导航应用于加速度和角速度信号以计算目标的位置。惯性导航可以是例如如下定位方案，该定位方案使用从imu获得的加速度和角速度信号，基于在前时间的位置、速度和姿势来更新一时间的位置、速度和姿势。

在操作713中，位置估计装置获取gps数据。gps数据是从gps模块获取的数据，并且例如是gps信号。在操作714中，位置估计装置验证(例如检查)gps信号的完整性。在操作715中，当gps位置估计结果的性能相对高时，位置估计装置将高权重分配给gps信号。在操作716中，当gps位置估计结果的性能相对低时，位置估计装置将低权重分配给gps信号。gps位置估计结果的性能例如指示gps位置估计为真的概率。

在操作717中，位置估计装置基于被应用了惯性导航的imu信号和被分配了权重的gps信号来估计目标的位置。位置估计装置通过对imu信号和gps信号执行非线性滤波来估计目标的位置。

在操作721中，位置估计装置获取来自照相机的数据(例如图像)。位置估计装置的处理器接收来自照相机的图像数据。

在操作722中，位置估计装置对图像数据执行图像处理以将图像数据转换为适合定位的形式。

在操作723中，位置估计装置确定图像数据的可靠性。位置估计装置计算图像数据的可靠性分数，并且基于计算的可靠性分数确定图像数据的可靠性。在一个示例中，从主感测数据获得的速度信息和从辅助感测数据获得的速度信息之间的差异被用作可靠性分数，该可靠性分数与用于确定可靠性的基准相对应。

在操作724中，当图像数据的可靠性分数大于阈值时，位置估计装置确定辅助感测数据(例如图像数据)是可靠的。当辅助感测数据的可靠性分数小于或等于阈值时，位置估计装置确定辅助感测数据不可靠。

在操作725中，当图像数据不可靠时，位置估计装置输出在操作717中估计的位置。照相机可能由于环境亮度或物体放置而获取不正确的数据，即使在这种情况下，位置估计装置也可以输出粗略定位结果以保持定位的稳定性。如果照相机故障检测延迟进行或不可能进行，由于位置估计装置不在当前时间间隔中反馈精确重新估计的结果，所以位置估计装置可以输出鲁棒的定位结果。

例如，gps模块可能难以在诸如市区或隧道等障碍区域中接收信号。在该示例中，在操作716中，位置估计装置为gps信号分配低权重。因此，在操作717中，位置估计装置主要基于由imu获取的imu信号而不是gps信号来估计粗略位置。在基于imu信号的惯性导航中，由于误差漂移特性可能产生误差。当图像数据可靠时，在操作726中，位置估计装置基于图像数据和imu信号重新估计目标的位置，由此增强定位的精确度。而且，当图像数据不可靠时，为了维持定位的稳定性，在操作725中，位置估计装置输出基于imu信号估计的目标位置。

图8是示出位置估计装置中基于第一感测数据、第二感测数据和第三感测数据来确定目标位置的方法的图。可以按照所示的顺序和方式执行图8的操作，尽管在不脱离所描述的说明性示例的精神和范围的情况下可以改变一些操作的顺序或省略一些操作。图8中所示的许多操作可以并行或同时执行。图8的一个或多个框以及框的组合可以由执行指定功能的基于专用硬件的计算机来实现，或者由专用硬件和计算机指令的组合来实现。除了下面对图8的描述之外，对图1-7的描述也适用于图8，并在此引入作为参考。因此，以上描述在此不再重复。

第一感测数据对应于从主传感器获取的主感测数据。第二感测数据和第三感测数据对应于从辅助传感器获取的辅助感测数据。

位置估计装置在第一估计810中粗略地估计位置。位置估计装置分别在第二估计820和第三估计830中基于第二感测数据和第三感测数据的可靠性来精确地重新估计粗略估计的位置。

位置估计装置计算辅助感测数据(例如，从多个辅助传感器中的每一个获取的第二感测数据和第三感测数据)的可靠性分数。位置估计装置基于主感测数据和从多个辅助传感器当中与最高可靠性分数相关联的辅助传感器获取的辅助感测数据来重新估计目标的位置。下面进一步描述基于主感测数据和从多个辅助传感器当中与最高可靠性分数相关联的辅助传感器获取的辅助感测数据来估计目标位置的过程。

在操作811中，位置估计装置获取第一感测数据。位置估计装置接收gps信号和imu信号作为第一感测数据。在操作812中，位置估计装置基于第一感测数据估计目标的位置。

在操作821中，位置估计装置获取第二感测数据。在一个示例中，位置估计装置接收图像数据作为第二感测数据。在操作822中，位置估计装置确定第二感测数据的可靠性。在操作823中，当第二感测数据被确定为可靠时，位置估计装置基于第一感测数据和第二感测数据来重新估计目标的位置。

在操作831中，位置估计装置获取第三感测数据。在一个示例中，位置估计装置接收lidar信号作为第三感测数据。在操作832中，位置估计装置确定第三感测数据的可靠性。在操作833中，当第三感测数据被确定为可靠时，位置估计装置基于第一感测数据和第三感测数据来重新估计目标的位置。

在操作842中，位置估计装置选择重新估计的位置中的一个。位置估计装置计算第二感测数据和第三感测数据的可靠性分数。位置估计装置选择与第二感测数据与第三感测数据之中具有较高可靠性分数的感测数据相关联地重新估计的位置。虽然图8将第二感测数据和第三感测数据示出为辅助感测数据，但是辅助感测数据的数量不限于此。位置估计装置可以获取多于或少于两项的辅助感测数据。

在操作841中，当第二感测数据和第三感测数据都不可靠时，位置估计装置输出在操作812中估计的位置。

当第二感测数据或第三感测数据可靠时，位置估计装置输出基于可靠的感测数据重新估计的位置。

虽然图8示出了第一感测数据到第三感测数据被用于定位，但位置估计装置可以使用第一感测数据到第n感测数据。在该示例中，位置估计装置可以向第一感测数据分配最高优先级，并且向第二感测数据到第n感测数据分配比分配给第一感测数据的优先级低的优先级。在一个示例中，分配给第二感测数据到第n感测数据的优先级可以相同。

图9是示出位置估计装置中基于第一感测数据、第二感测数据和第三感测数据来确定目标位置的方法的示例的图。可以按照所示的顺序和方式执行图9的操作，尽管在不脱离所描述的说明性示例的精神和范围的情况下可以改变一些操作的顺序或省略一些操作。图9中所示的许多操作可以并行或同时执行。图9的一个或多个框以及框的组合可以由执行指定功能的基于专用硬件的计算机来实现，或者由专用硬件和计算机指令的组合来实现。除了下面对图9的描述之外，对图1-8的描述也适用于图9，并在此引入作为参考。因此，以上描述在此不再重复。

在一个示例中，第一感测数据对应于从主传感器获取的主感测数据，第二感测数据对应于从辅助传感器获取的辅助感测数据，并且第三感测数据对应于从附加传感器获取的附加感测数据。

位置估计装置在第一估计910中粗略地估计位置。位置估计装置在第二估计920中基于第二感测数据的可靠性精确地重新估计粗略估计的位置。位置估计装置在第三估计930中基于第三感测数据的可靠性更精确地重新估计位置。在一个示例中，位置估计装置为第一估计910分配最高优先级。在一个示例中，位置估计装置向第二估计920分配比第一估计910的优先级低的优先级。在一个示例中，位置估计装置向第三估计930分配比第二估计920的优先级低的优先级。因此，位置估计装置防止第二估计920和第三估计930中的误差被传播到第一估计910。

在操作911中，位置估计装置获取第一感测数据。在操作912中，位置估计装置基于第一感测数据估计目标的位置。

在操作921中，位置估计装置获取第二感测数据。在操作922中，位置估计装置确定第二感测数据的可靠性。在操作941中，当第二感测数据不可靠时，位置估计装置输出在操作912中估计的位置。在操作923中，当第二感测数据可靠时，位置估计装置基于第一感测数据和第二感测数据来重新估计目标的位置。

在操作931中，位置估计装置获取第三感测数据。在操作932中，当第二感测数据可靠时，位置估计装置确定第三感测数据的可靠性，第三感测数据例如是从附加传感器获取的附加感测数据。在操作942中，当第三感测数据不可靠时，位置估计装置输出在操作923中重新估计的位置。在操作933中，当第三感测数据(例如，附加感测数据)被确定为可靠时，位置估计装置基于第三感测数据、对应于辅助感测数据的第二感测数据以及对应于主感测数据的第一感测数据来重新估计目标的位置。

在操作943中，位置估计装置输出在操作933中重新估计的位置。

虽然图9示出了第一感测数据到第三感测数据被用于定位，但位置估计装置可以使用第一感测数据到第n感测数据。在该示例中，位置估计装置可以向第一感测数据分配最高优先级，并且按照从第二感测数据到第n感测数据的顺序分配逐渐降低的优先级。

即使当辅助传感器或附加传感器由于缺陷而收集到错误感测数据时，位置估计装置也输出基于主感测数据获得的初始估计结果，由此防止位置估计的精度和可靠性降低。

根据一个方面，公开了用于传感器融合的方法和装置，其根据传感器的特性来补偿不同传感器的弱点。

位置估计装置500、位置估计器530、图像处理器541、可靠性确定器542、位置重新估计器550、模式选择器560、位置估计装置600、位置估计器630、第一感测处理器641、第一可靠性确定器642、第二感测处理器643、第二可靠度确定器644、第一位置重新估计器651、第二位置重新估计器652、第三位置重新估计器661、模式选择器660、位置估计装置601、模式选择器640以及其他装置、单元、模块、设备以及本文描述的其他组件由硬件组件来实现。在适当情况下可用于执行本申请中描述的操作的硬件组件的示例包括控制器、传感器、发生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，执行本申请中描述的操作的一个或多个硬件组件由计算硬件来实现，例如由一个或多个处理器或计算机来实现。处理器或计算机可以由一个或多个处理元件来实现，诸如逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以定义的方式响应并执行指令以实现期望结果的任何其他设备或设备的组合。在一个示例中，处理器或计算机包括或连接到存储由该处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件(诸如操作系统(os)和在os上运行的一个或多个软件应用)以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操作、处理、创建和存储数据。硬件组件还响应于指令或软件的执行来访问、操作、处理、创建和存储数据。为了简单起见，在本申请中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其他示例中可以使用多个处理器或计算机，或者处理器或计算机包括多个处理元件、或者多种类型的处理元件或两者。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或者处理器和控制器来实现，并且一个或多个其他硬件组件可以由一个或多个其他处理器、或者另一个处理器和另一个控制器来实现。一个或多个处理器、或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件具有任何一种或多种不同的处理配置，其示例包括单处理器、独立处理器、并行处理器、单指令单数据(sisd)多处理、单指令多数据(simd)多处理、多指令单数据(misd)多处理和多指令多数据(mimd)多处理。

执行本申请中描述的操作的图4至9所示的方法由以如上所述方式实现的计算硬件(例如一个或多个处理器或计算机)来执行，该计算硬件执行指令或软件以执行由所述方法执行的本申请中描述的操作。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可以由一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可以由一个或多个其他处理器、或者另一个处理器和另一个控制器来执行。一个或多个处理器、或者处理器和控制器可以执行单个操作、或者两个或更多个操作。

用于控制处理器或计算机实现硬件组件并执行如上所述的方法的指令或软件被编写为计算机程序、代码段、指令或其任何组合，用于单独地或共同地指示或配置处理器或计算机作为机器或专用计算机进行操作，以执行由硬件组件和上述方法执行的操作。在一个示例中，指令或软件包括存储防止碰撞的方法的小应用程序、动态链接库(dll)、中间件、固件、设备驱动程序、应用程序中的至少一个。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一个示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的更高级代码。可以基于附图中所示的框图和流程图以及说明书中的对应描述使用任何编程语言来编写指令或软件，其中公开了用于执行由硬件组件和如上所述的方法执行的操作的算法。

用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或其上。非暂时性计算机可读存储介质的示例包括只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-rlth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态驱动器(ssd)、闪存、诸如多媒体卡或微型卡(例如，安全数字(sd)或极限数字(xd))之类的卡型存储器、磁带、软盘、磁光数据存储设备、光学数据存储设备、硬盘、固态盘、以及被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并且提供指令或软件以及任何相关联的数据、数据文件和数据结构给处理器或计算机，使得处理器或计算机可以执行指令的任何其他设备。在一个示例中，指令或软件以及任何关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何关联的数据、数据文件和数据结构由一个或多个处理器或计算机以分布式方式存储、访问并且执行。

虽然本公开内容包括具体示例，但在获得对本申请的公开的全面理解之后，显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例中进行形式和细节上的各种改变。本文所描述的示例应当被认为仅是描述性的，而不是为了限制目的。对每个示例中的特征或方面的描述应当被看作可用于其他示例中的类似特征或方面。如果所描述的技术以不同的顺序执行，和/或如果所描述的系统、体系结构、设备或电路中的组件以不同的方式组合，和/或被其他组件或其等价物替换或补充，可以实现合适的结果。因此，本公开的范围不是由详细描述来限定，而是由所附权利要求及其等同物来限定，并且权利要求及其等同物的范围内的所有变形将解释为包括在本公开中。