位置姿势推定装置以及位置姿势推定方法与流程

位置姿势推定装置以及位置姿势推定方法
[0001]
本申请享受以日本专利申请2019－144616号(申请日：2019年8月6日)为基础申请的优先权。本申请通过参照该基础申请而包含基础申请的全部内容。
技术领域
[0002]
本发明的实施方式涉及位置姿势推定装置以及位置姿势推定方法。


背景技术：

[0003]
为了进行车辆的自动驾驶，车辆自身的位置姿势推定是非常重要的。通过使用了搭载于车辆周边的摄像头的visual slam(simultaneous localization and mapping(同时定位与地图创建))实现的自身位置推定技术被广泛地进行了研究。在基于1台摄像头的visual slam(视觉slam)中，由于不知道实际标度(scale)，因此，有时要取得速度传感器的信息来算出标度。然而，在车辆为低速度、例如为时速1km这样的速度的情况下，存在速度传感器的精度降低、位置姿势推定的精度降低这样的问题。另外，不限于使用图像的情况，在通过需要推定标度的其他方法进行的位置姿势推定中也可举出同样的问题。


技术实现要素：

[0004]
本发明的实施方式提供实现精度高的推定的位置姿势推定装置以及位置姿势推定方法。
[0005]
一实施方式的位置姿势推定装置具备副传感器输入部、速度传感器状态判定部、标度推定部以及位置姿势信息修正部。副传感器输入部受理副传感器的输出，该副传感器基于速度传感器的输出值以外的信息来取得与移动量有关的信息。速度传感器状态判定部判定能否信赖所述速度传感器的输出值。标度推定部基于所述速度传感器的输出值和所述副传感器的输出值中的至少一个，推定移动量的大小。位置姿势信息修正部基于所述标度推定部推定出的移动量的大小，对位置姿势信息进行修正。
附图说明
[0006]
图1是表示一实施方式涉及的位置姿势推定装置的功能的框图。
[0007]
图2是表示一实施方式涉及的位置姿势推定装置的处理的流程图。
[0008]
图3是表示一实施方式涉及的副传感器的例子的图。
[0009]
图4是表示一实施方式涉及的副传感器的例子的图。
[0010]
图5是表示一实施方式涉及的位置姿势推定装置的硬件构成的一个例子的图。
具体实施方式
[0011]
参照附图对实施方式进行说明。
[0012]
图1是表示本实施方式涉及的位置姿势推定装置的功能的框图。位置姿势推定装置1具备速度传感器输入部10、副传感器输入部12、速度传感器状态判定部14、副传感器选
择部16、标度(scale)推定部18、位置姿势信息推定部20、位置姿势信息修正部22。也可以还具有图像输入部24。位置姿势推定装置1例如对所搭载的车辆的位置和姿势进行推定。在以下的说明中，位置姿势推定装置1设为搭载于汽车，但不限于此，在车辆之外，也可以搭载于机器人等。
[0013]
速度传感器输入部10从汽车的速度传感器受理速度信息。速度传感器是一般的传感器，例如也可以是在发光设备与受光设备之间具备与车轮的运动同步的缝隙的传感器。这样的速度传感器决定了能够检测的最小旋转角度，因此，当低速、例如速度为每小时1km以下等时会难以取得准确的速度。因此，根据其他传感器推定速度，使用更准确的标度推定结果来进行位置以及姿势的推定。
[0014]
副传感器输入部12受理作为速度传感器以外的传感器的副传感器的输入。在此，副传感器意味着能够取得能为了计测速度而使用的信息、例如图像信息等的传感器。副传感器例如是超声波声呐、取得车轮的旋转量以及偏航率的传感器、或者搭载于车辆的摄像头等传感器，取得与车辆的移动量有关的信息。
[0015]
与移动量有关的信息意味着能够从该信息取得车辆的移动量的信息。车辆的移动是包括车辆的前后方的移动、当然也包括左右方向的移动的概念。例如，当能够取得车轮的旋转量和偏航率时，能够使用轮胎大小等信息来算出车辆的移动量。通过相对于障碍物等而在适当的定时取得超声波或者脉冲光等的tof(time of flight，飞行时间)，能够算出车辆相对于障碍物等移动了何种程度。这样，与车辆的移动量有关的信息是指通过取得该信息能够直接或者间接地算出车辆的移动量的量。
[0016]
另外，既可以基于副传感器自身取得的移动量来求出速度，也可以取得速度信息本身，或者，还可以是副传感器输入部12基于副传感器的输出值(例如移动量)求出速度。
[0017]
副传感器输入部12例如既可以按每种副传感器而具备一个，也可以每个副传感器而具备一个。另外，也可以一个副传感器输入部12受理对于多个副传感器的输入。如图1所示，例如，多个副传感器输入部12设置于位置姿势推定装置1。
[0018]
速度传感器状态判定部14判定速度传感器输出的速度值是否为预定值(例如每小时1km)以下。将速度传感器的输出值的精度会降低的值作为预定值，速度传感器状态判定部14在速度传感器输出的值为该预定值以下的情况下，判定为来自速度传感器的输出的可靠度低。
[0019]
如上所述，速度传感器状态判定部14基于速度的值变为了预定值以下的情况来进行可靠度的判定，但不限于此。例如，也可以与速度一起来使用其他参数来进行判定。该判定既可以由规则库决定，也可以使用通过机器学习进行了训练的神经网络模型等。对于该模型的训练，例如在各种各样的条件下存储各参数的值，当输入所存储的参数的值时，进行工作以输出可靠度。该训练既可以通过有教师学习来执行，也可以通过无教师学习来执行。
[0020]
副传感器选择部16在判定为速度传感器的输出的可靠度低的情况下，选择来自搭载于车辆的任一个副传感器的输出值。即，选择副传感器输入部12中的至少一个，从与该副传感器输入部12连接的副传感器取得速度的值，将其作为速度值来进行输出。
[0021]
标度推定部18根据基于从各种传感器取得的信息而得到的速度的信息来推定标度。在此，标度例如表示在使用图像来进行位置姿势推定的情况下用于将图像内的距离与实际的距离相关联的参数(倍率)。标度推定部18例如基于从速度传感器输入部10等输入的
速度的值来算出标度。对于从速度信息算出标度，也可以使用通常进行的方法。
[0022]
在速度传感器状态判定部14判定为不能信赖速度传感器的值的情况下，标度推定部18基于副传感器选择部16选择出的副传感器的输出来推定标度。标度推定部18在无法信赖速度传感器的值、且具备多个副传感器的情况下，基于多个副传感器中的至少一个副传感器的输出来推定标度。在使用副传感器的输出的情况，也分别针对副传感器的输出而使用一般被利用的算法等来推定标度。
[0023]
如关于副传感器选择部16以及标度推定部18说明的那样，在速度传感器的可靠度低的情况下，选择副传感器中的至少一个来推定标度。即，在具备多个副传感器的情况下，也可以基于来自两个以上副传感器的输出来推定标度。
[0024]
位置姿势信息推定部20例如根据为了推定位置姿势信息而取得的图像的信息，推定位置姿势信息。位置姿势信息例如是包括车辆位置的信息以及车辆姿势的信息的信息。在本实施方式中，车辆位置是还包含相对于某定时的位置的相对位置、相对于道路上/行驶面/停车面的位置、或者地图上的位置等的概念。车辆姿势是在一般的车辆姿势(与路面的倾斜度等)之外还包含相对于某定时的车辆方向的相对车辆方向等的概念。
[0025]
对于位置姿势信息的推定，是由副传感器以外的传感器取得的。例如，根据通过visual slam从由摄像头取得的图像信息取得的和/或从gps(global positioning system，全球定位系统)、imu(inertial measurement unit，惯性测量单元)等取得的信息，推定车辆的位置以及姿势信息。这些推定不限于上述，也可以通过其他一般使用的方法来进行。
[0026]
位置姿势信息修正部22基于标度推定部18所推定的标度的值，对位置姿势信息推定部20所推定的车辆的位置、姿势的信息进行修正。更详细而言，位置姿势信息修正部22基于精度比标度推定部18进行了推定的速度传感器高的标度的值，对车辆的位置信息和姿势信息进行修正。
[0027]
图像输入部24是作为实际安装的一个例子表示的，受理取得在推定位置姿势信息时所使用的信息的传感器的输入。例如，在将visual slam用于位置姿势信息的推定的情况下，图像输入部24受理图像传感器所取得的图像信息的输入。基于该输入值，位置姿势信息推定部20推定车辆的位置、姿势。也可以是，在速度传感器的输出的可靠度高的情况下，通过使用速度传感器的输出值，能够推定车辆的位置等的信息。
[0028]
此外，上述的说明以及附图是作为一个例子表示出的，但并不一定限于该构成。例如，速度传感器状态判定部14也可以不需要对标度推定部18直接输出可靠度，而是决定经由速度传感器输入部10或者副传感器选择部16进行标度选择的传感器。例如，也可以设为在速度传感器的可靠度低的情况下，速度传感器输入部10不对标度推定部18输出速度值。另外，也可以在同样的情况下，副传感器选择部16向标度推定部18通知速度传感器的可靠度低之意以及所选择的副传感器的输出值。
[0029]
另外，不限于副传感器选择部16向标度推定部18输出来自副传感器输入部12的输出值。即，副传感器选择部16也可以是实现开关的作用、将标度推定部18与所选择的副传感器输入部12连接的单元。换言之，也可以是标度推定部18直接地被从副传感器输入部12输入其输出值。
[0030]
图2是表示本实施方式涉及的位置姿势推定装置1中的使用了副传感器的标度推
定处理的流程的流程图。使用本流程图，对标度推定处理进行说明。
[0031]
首先，经由速度传感器输入部10，取得速度传感器输出的速度值(s100)。该速度值被输出给速度传感器状态判定部14。
[0032]
接收到速度值的速度传感器状态判定部14判定速度传感器的可靠度(s102)。可靠度例如在速度传感器的输出值变为了预定的速度以下的情况下被判定为低。另外，如上所述，也可以对通过机器学习进行了训练的神经网络输入包含其他参数的数值等，输出可靠度。可靠度的判定例如被输出到副传感器选择部16。此外，既可以对速度传感器输入部10进行反馈，也可以被输出至副传感器选择部16和标度推定部18。可靠度既可以是低、高的两值，也可以是包含中间值的例如比较低、普通、比较高等的多值、或者一定范围的实数值。
[0033]
接着，根据可靠度是为低、还是为高，对处理进行分支(s104)。在可靠度低的情况下(s104：是)，副传感器选择部16选择使用从哪个副传感器输入部12输入的值来执行标度推定(s106)。副传感器选择部16例如向标度推定部18发送来自所选择的副传感器输入部12的输入。另外，副传感器选择部16也可以基于经由can(controller area network，控制器局域网)等接收到的转向角等各种参数，执行副传感器输入部12的选择。作为其他例子，副传感器选择部16也可以在可靠度取多值的情况下基于该可靠度选择副传感器中的用于标度推定的传感器。
[0034]
接着，标度推定部18基于来自所选择的副传感器的输出值来推定标度(s108)。关于该标度的推定，基于各副传感器的特性来执行。关于副传感器的种类以及与该副传感器对应的标度的推定，将在后面进行描述。
[0035]
另一方面，在可靠度高的情况下(s104：否)，标度推定部18使用被输入到速度传感器输入部10的速度传感器的输出值来推定标度(s110)。例如，基于所取得的图像和速度，算出移动量等，取得标度。
[0036]
接着，位置姿势信息修正部22针对所取得的位置姿势信息的推定值，使用标度推定部18基于各传感器的输出值而推定的标度，对位置姿势信息进行修正(s112)。
[0037]
如上所述，根据本实施方式，在速度传感器输出的速度值的可靠度低、例如为比预定速度慢的速度的情况下，不是基于速度传感器输出的速度，而是通过基于来自可靠度高的传感器的输出来推定标度，由此能够进行可靠度以及精度高的位置姿势信息的修正。由此，例如即使是在进行基于单眼摄像头的slam的位置推定的情况下，在慢行驾驶期间、停车的定时等也能够取得精度高的车辆的位置、姿势的信息。
[0038]
接着，对副传感器进行说明。副传感器是所谓速度传感器以外的传感器，例如是超声波传感器、取得四个车轮各自的旋转角的旋转角传感器、搭载于车辆的摄像头等的图像传感器等。副传感器输入部12受理来自这些传感器中的至少一个传感器的输入。
[0039]
首先，对选择超声波传感器的情况进行说明。图3是表示车辆中的超声波传感器的设置例的图。车辆2例如具备向车辆的外侧振荡超声波、接收振荡的超声波的反射的超声波传感器200、202、204、206、208、210、212、214。各超声波传感器例如向由虚线表示的范围振荡超声波、在该范围内存在物体的情况下，感知来自该物体的反射波，基于从振荡到感知的时间，测定从传感器到物体的距离。
[0040]
超声波传感器200、202、204、206设置为向车辆2的前方振荡超声波，超声波传感器208、210、212、214设置为向车辆2的后方振荡超声波。另外，超声波传感器202、204、210、212
设置在车辆2的短边侧的偏中央处，设置为检测相对于车辆的正面、后面的障碍物等，超声波传感器200、206、208、214设置在比上述的传感器靠外侧的靠近车辆2侧面的部位。
[0041]
这些超声波传感器经由副传感器输入部12向控制车辆的计算机输入其感知信息。既可以全部超声波传感器经由同一副传感器输入部12进行通信，也可以经由不同的副传感器输入部12进行通信。
[0042]
超声波传感器能够计测到反射超声波的物体为止的距离。即，在物体相对于道路不动的情况下，能够代替速度，使用到该物体为止的距离的变化来作为车辆运动了的距离，进行标度推定。
[0043]
对于使用具有多个超声波传感器中的哪个传感器的选择，例如基于车辆运动的方向来决定。以下，关于在车辆运动时使用的传感器，记载一个例子。
[0044]
在车辆2正在向前方正面移动的情况下，选择超声波传感器202、204中的至少一个。在车辆2正在向后方正面移动的情况下，选择超声波传感器210、212中的至少一个。在车辆2正在向前方左转的情况下，选择超声波传感器200。在车辆2正在向前方右转的情况下，选择超声波传感器206。在车辆2正在向后方左转的情况下，选择超声波传感器208。在车辆2正在向后方右转的情况下，选择超声波传感器212。
[0045]
这样，在选择超声波传感器的情况下，选择向接近车辆2的行进方向的方向发出超声波的超声波传感器。通过选择接近车辆2移动的方向的传感器，能够高精度地接收从物体反射的超声波，因此，能够更高精度地取得车辆2的移动距离。对于前方、后方、右转、左转，例如可以通过经由can等取得传动装置的状态、转向装置的旋转角度、加速器的踏下状况等来进行判断。
[0046]
接着，对选择车轮的旋转量等的情况进行说明。有时在汽车搭载有取得各个轮胎相对于车轴的旋转量、表示车辆的转弯量的偏航率的传感器。旋转量传感器例如在车轮上使用编码器来测定旋转量。也可以选择该旋转量传感器和偏航率传感器的输出值来进行标度的推定。
[0047]
通过从这些传感器取得车轮的旋转量以及车辆2的转弯角，能够推定车辆2的速度。根据该速度取得车辆2的移动量，执行标度推定。在对于四轮搭载有这些传感器的情况下，例如选择四个传感器的组合中的输出值大的旋转量的传感器。即，例如选择在车轮的旋转量比其他车轮的旋转量多的车轮所安装的传感器。
[0048]
计测越多旋转量的编码器，量化误差就越小，因此，通过这样选择旋转量的值大的传感器，能够高精度地取得速度以及移动量。
[0049]
接着，对选择摄像头的情况进行说明。图4是表示车辆中的摄像头的设置例的图。车辆2例如具备摄像头220、222、224、226。摄像头220搭载为对车辆前方进行拍摄，摄像头222搭载为对车辆后方进行拍摄，摄像头224搭载为对车辆左侧进行拍摄，摄像头226搭载为对车辆右侧进行拍摄。此外，在图4中，对一个方向搭载有一个摄像头，但不限于此，也可以在一个方向上具备多个摄像头。另外，也可以设置有取得斜方向的状况的摄像头。
[0050]
如图所示，各摄像头取得关于在由斜线表示的范围中延伸的区域的图像。在选择了摄像头的情况下，基于由所选择的摄像头取得的图像来执行标度的推定。例如，从通过不同的定时取得的图像取得光流，算出移动量。
[0051]
具体而言，在各摄像头中取得速度快、能够充分地确保可靠度的状态下的光流，将
光流的大小和此时的车辆的移动量保存于未图示的存储部。并且，在选择了摄像头来作为副传感器的情况下，基于该所保存的光流和当前的光流的大小之比以及所保存的车辆的移动量，推定车辆速度的可靠度低时的移动量。
[0052]
对于摄像头，例如选择设置为对接近垂直于移动方向的垂直方向的方向进行拍摄的摄像头。在车辆2正在向前方或者后方移动的情况下，选择摄像头224、226中的至少一方。在车辆2正在转弯的情况下，也可以选择摄像头220、222中的至少一方、或者设置在与转弯方向相反的侧面的摄像头。另外，也可以在存储部中按照各个状况例如直行、转弯等状况来保存各摄像头中的光流和移动量的关系。
[0053]
在这样选择摄像头的情况下，通过选择能够相对于车辆2的行进方向而取得大的光流的摄像头，能够执行精度更高的移动量的推定。此外，例如也可以在侧方未搭载摄像头的情况下，在正在前进的定时选择后方的摄像头222，在正在后退的定时选择前方的摄像头220。这样，通过使用对与行进方向相反的方向进行拍摄的摄像头，能够利用更多的光流。
[0054]
此外，对于所谓的在上述中选择传感器，也可以是使所选择的传感器启动来感知信息、使与所选择的传感器同种的传感器启动并使用从其中选择的传感器的感知信息、以及使用已启动的任意的传感器中的所选择的传感器的感知信息中的某一状态。即，选择状态和其他传感器的启动状态没有依存性，至少所选择的传感器启动而能够取得其感知信息的状态即可。
[0055]
副传感器选择部16选择上述副传感器中的用于标度推定的副传感器。在具备多个种类的副传感器的情况下，例如基于上述状况，选择使用一种传感器中的设置哪个位置的传感器。另外，也可以使用多个种类的传感器，基于上述的状况，选择多个种类的传感器各自中的设置在预定位置的传感器。具体而言，也可以在搭载有超声波传感器和摄像头、并正在前进的情况下，选择车辆中央前方附近的超声波传感器和车辆侧方的摄像头，进行标度的推定。
[0056]
这样，副传感器选择部16基于进行标度推定的定时的状况，选择副传感器的种类以及在各种类的副传感器中使用处于哪个位置的传感器。关于副传感器的种类，例如如上所述既可以基于可靠度来决定，也可以选择能够利用的全部传感器，还可以优先从预定的传感器中进行选择。另外，也可以基于转向装置、加速器、传动装置等的状态，选择副传感器的种类以及位置。
[0057]
在前述中，对利用副传感器的情况进行了说明，但不限于此。例如，也可以在不利用副传感器而速度传感器的输出值的可靠度低的情况下，将速度设为预定值来推定移动量的大小。通过这样进行处理，可减少计算量，并且，例如将移动速度设为比原本高的预定的低速值，因此，能够在能更安全地进行驾驶的状况下执行标度的推定。
[0058]
图5是表示各实施方式中的位置姿势推定装置1的硬件实际安装的例子的框图。位置姿势推定装置1具备处理器71、主存储装置72、辅助存储装置73、网络接口74以及设备接口75，能够作为这些部件经由总线76连接的设备7来实现。设备7既可以是其自身能够独立地启动的计算机装置，也可以是组入在独立地启动的计算机装置中或者与该计算机装置连接的加速器(accelerator)。
[0059]
此外，图5的设备7具备一个各构成要素，但也可以具备多个相同的构成要素。另外，示出了1台设备7，但也可以在多个计算机装置中安装有软件，该多个计算机装置分别执
行软件的不同的一部分处理。
[0060]
处理器71是作为包括设备的控制装置以及运算装置的处理电路来工作的电子电路。处理器71基于从设备7的内部结构的各装置等输入的数据和/或程序进行运算处理，向各装置等输出运算结果和/或控制信号。具体而言，处理器71通过执行设备7的os(operating system，操作系统)、应用等，对构成设备7的各构成要素进行控制。对于处理器71，只要能够进行上述的处理，则并不被特别地限定。位置姿势推定装置1及其各构成要素也可以由处理器71来实现。
[0061]
主存储装置72是存储处理器71执行的命令以及各种数据等的存储装置，存储于主存储装置72的信息由处理器71直接读出。辅助存储装置73是主存储装置72以外的存储装置。此外，这些存储装置为意味着能够保存电子信息的任意的电子部件，既可以是存储器(memory)，也可以储存器(storage)。另外，存储器包括易失性存储器和非易失性存储器，但哪个都可以。用于在位置姿势推定装置1内保存各种数据的存储器也可以由主存储装置72或者辅助存储装置73来实现。例如，存储部也可以实际装于该主存储装置72或者辅助存储装置73。作为其他例子，在设备7还具备加速器的情况下，存储部也可以实际装于设置在该加速器的存储器内。
[0062]
网络接口74是用于通过无线方式或者有线方式与通信网络8连接的接口。网络接口74使用符合已有的通信标准的接口即可。也可以通过网络接口74与经由通信网络8通信连接的外部装置9a进行信息的交换。
[0063]
外部装置9a例如包括立体摄像头、动作捕捉器、输出目标设备、外部的传感器、输入源设备等。另外，外部装置9a也可以是具有位置姿势推定装置1的构成要素的一部分功能的装置。并且，设备7也可以如云服务那样经由通信网络8收发位置姿势推定装置1的处理结果的一部分。
[0064]
设备接口75是与外部装置9b直接连接的usb(universal serial bus，通用串行总线)等接口。外部装置9b既可以是外部存储介质，也可以是储存装置。存储部也可以由外部装置9b来实现。
[0065]
外部装置9b也可以是输出装置。输出装置例如既可以是用于显示图像的显示装置，也可以是输出语音等的装置等。例如，包括lcd(liquid crystal display，液晶显示器)、crt(cathode ray tube，阴极射线管)、pdp(plasma display panel，等离子显示面板)、扬声器等，但并不限于这些。另外，也可以是经由can而被控制的汽车的构成要素。
[0066]
此外，外部装置9b也可以是输入装置。输入装置包括键盘、鼠标、触摸面板等设备，将通过这些设备输入的信息提供给设备7。来自输入装置的信号被输出到处理器71。
[0067]
这样，在上述的全部记载中，位置姿势推定装置1的至少一部分既可以由硬件构成，也可以由软件构成，通过软件的信息处理，cpu等进行实施。在由软件构成的情况下，也可以是在软盘、cd－rom等存储介质中容纳实现位置姿势推定装置1及其至少一部分功能的程序，使计算机读入该程序来进行执行。存储介质不限定于磁盘、光盘等能够装卸的介质，也可以是硬盘装置、存储器等的固定型存储介质。即，也可以是使用硬件资源来具体地实际安装基于软件的信息处理。进一步，基于软件的处理也可以是实际装于fpga等电路、硬件进行执行的处理。
[0068]
例如，通过计算机读出在计算机能够读取的存储介质中存储的专用软件，能够将
计算机作为上述的实施方式的装置。存储介质的种类并不被特别地限定。另外，通过计算机执行经由通信网络下载的专用软件，能够将计算机作为上述的实施方式的装置。这样，使用硬件资源而具体地实际安装基于软件的信息处理。
[0069]
以上对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而例示的，并不意图限定发明的范围。这些新的实施方式可以通过其他各种各样的方式来实施，能够在不脱离发明的宗旨的范围内进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、宗旨中，并且，包含在权利要求书所记载的发明及其等同的范围内。
[0070]
例如，在说明书中的记载中，以下、以上、更小、更大等记载也可以分别改写为更小、更大、以下、以上等。