本发明涉及视觉导航领域，尤其涉及一种基于云端的视觉地图比例尺检测方法及装置。
背景技术：
相机在运动过程中连续两帧之间会存在交叉重叠现象，即两帧会同时观测到三维世界中的共同的某些场景以及特征点。而这些场景特征点会投射到2d图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特点或patch的对应关系。利用相机的成像几何模块(包括相机参数)以及约束，可以求出两帧之间的运动信息(旋转矩阵r和平移t)。这样我们就可以得到一系列的相机相对变化矩阵，从而可以推出相机的姿态信息。
在单目视觉里程计中，如果仅仅只知道物体在x/y方向上移动了一个单位，由于缺乏尺度信息，无法获取其具体移动距离，所以估计出来的物体运动都是存在尺度缺失的，极大的限制了应用范围。
技术实现要素：
本发明实施例提供了一种基于云端的视觉地图比例尺检测方法及装置，其目的在于解决目前单目相机进行视觉建图过程中，由于缺乏尺度信息，容易出现地图比例尺计算错误的问题。
本发明实施例第一方面提供了一种基于云端的视觉地图比例尺检测方法，所述方法包括：
获取图像信号，根据所述图像信号获取每一步中每一帧的移动位置信息；
获取加速度信号，根据所述加速度信号获取每一步的步长信息；
根据所述移动位置信息和所述步长信息获得所需建立视觉地图所对应的比例尺信息。
本发明实施例第二方面提供了一种基于云端的视觉地图比例尺检测装置，所述装置包括：相机模块、imu模块、视觉里程计模块和处理器；
所述相机模块，用于采集图像信号，将所述图像信号发送至视觉里程计模块；
所述imu模块，用于采集加速度信号，将所述加速度信号发送至处理器；
所述视觉里程计模块，用于接收相机模块发送的图像信号，并根据所述图像信号获取每一步中每一帧的移动位置信息；
所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
根据所述加速度信号获取每一步的步长信息；
根据所述移动位置信息和所述步长信息获得所需建立视觉地图所对应的比例尺信息。
本发明实施例第三方面提供了一种电子设备，所述电子设备包括：显示器，存储器，一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行第一方面所述基于云端的视觉地图比例尺检测方法中各个步骤的指令。
本发明实施例第四方面提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如第一方面所述的基于云端的视觉地图比例尺检测方法中各个步骤。
本发明在传统的采集图像信号的同时，结合加速度信号来获取每一步的步长信息，通过加入能够提供尺度信息的方案对视觉建图过程中比例尺出现的误差进行矫正，以提供更为合适准确的比例尺信息。本发明可应用于室内外视觉建图过程，为视觉导航及定位提供精确地图信息。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的基于云端的视觉地图比例尺检测方法流程图；
图2为本发明实施例所述的根据所述移动位置信息和所述步长信息获得所需建立视觉地图所对应的比例尺信息的流程图；
图3为本发明实施例所述的基于云端的视觉地图比例尺检测装置原理图；
图4为本发明实施例所述的电子设备的原理图。
具体实施方式
为了使本发明实施例中的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本发明实施例可应用于室内外视觉建图过程，为视觉导航及定位提供精确地图信息。
实施例1
如图1所述，本实施例提出了一种基于云端的视觉地图比例尺检测方法，所述方法包括：
s101，获取图像信号，根据所述图像信号获取每一步中每一帧的移动位置信息。
具体的，本实施例所述方法中获取的图像信号即为现有的单目相机所获取的图像信号，通过图像信号获取每一步中每一帧的位置信息。该位置信息可通过视觉里程计获取。
s102，获取加速度信号，根据所述加速度信号获取每一步的步长信息。
具体的，本实施例所述的方法旨在引入能够提供尺度信息的方案以克服目前单目相机在视觉建图中容易出现地图比例尺计算错误的问题。因此，本实施例所述方法提供了步长信息以获得尺度信息。而获取所述步长信息的依据则来源于加速度信号。
在本实施例所述的方法中所述的加速度信号来源于设置在移动物体上的惯性测量模块，即imu模块。imu模块通过获取移动物体移动时产生的加速度信息，可进行步长估算，从而得到尺度信息。
值得说明的是，本实施例所述方法中的步骤s101和步骤s102在进行信号采集时并不存在严格意义上的先后顺序，也可同步执行。
s103，根据所述移动位置信息和所述步长信息获得所需建立视觉地图所对应的比例尺信息。
本实施例所述的方法根据每步前后两点视觉里程计输出坐标(xi-1，yi-1)、(xi，yi)及步长di进行坐标点的映射。根据每步对应的比例尺及里程计信息，进行比例尺的归一化，从而为绘制准确地图提供比例尺信息。
具体的，如图2所示，所述根据所述移动位置信息和所述步长信息获得所需建立视觉地图所对应的比例尺信息的过程为：
s1031，根据所述移动位置信息和所述步长信息获得比例系数；
s1032，根据所述比例系数对所述移动位置信息进行重投影生成重投影位置信息；
s1033，根据所述重投影位置信息计算获得所需建立视觉地图所对应的比例尺信息。
下面就上述步骤进行详细的描述。
首先，获取每一步所对应的实际尺度因子，获取合适的比例系数用于坐标归一化处理。
对于第i步，步长为di，该步前后里程计输出分别为(xi-1,yi-1)、(xi,yi)；则可获取该步期间对应的实际尺度因子si；
则可获取建图过程中，左右尺度比例因子集合s＝{s1，s2s3…sn-1，sn}。查找集合s最大值，记为smax。
smax=max{s1，s2s3…sn-1，sn}
对于第i步比例实际尺度因子si，其对于最大值smax的比例系数n为：
其次，从第1步开始，一次对每一步视觉输出进行重映射，即重投影，以实现尺度归一化。
对于第i步，其对应的比例系数为ni，且该步过程中视觉里程计所有输出为{p′1，p′2，p′3…p′k}，则从p′1开始一次对p′2，p′3…p′k进行重投影。
其中，(x′i-1，y′i-1)、(x′i，y′i)分别代表一步内相邻两帧里程计输出；θ′i代表相邻两帧的方向信息；d′i代表相邻两帧距离信息。
可根据相邻两帧数据距离、比例系数及方向角进行里程计输出的重投影。
d″i＝ni*d′i
x″i＝x″i-1+d″i*cosθ′i
y"i＝y"i-1+d"i*sinθ′i
其中，d″i代表重投影距离；，(x″i-1，y″i-1)、(x″i，y″i)分别代表相邻两帧里程计输出重投影结果。
最后，根据重投影结果绘制视觉地图，并获取比例尺信息。
查找重投影里程计输出p＝{p″1，p″2…p″n}最大值与最小值。
其中，(x″i，y″i)代表重投影p″i对应的坐标，x″min、x″max、y″min、y″max代表里程计输出重投影p中所有点x轴、y轴输出最大值与最小值。根据图像大小计算地图比例尺信息。
x″dif＝x″max-x″min
y″dif＝y″max-y″min
其中，x″dif、y″dif分别代表重投影坐标在x轴、y轴的最大距离；s代表地图比例尺；w代表需要创建的视觉地图尺寸。
综上，本实施例所述方法通过加入提供尺寸的imu模块可以恢复尺度，有尺度信息的测程法可以应用在机器人导航及其控制上，同时，上述方法在具体实现过程中可在云端上进行，能够提高上述方法实现的效率。
实施例2
如图3所示，本实施例提出了一种基于云端的视觉地图比例尺检测装置，所述装置包括：相机模块、imu模块、视觉里程计模块和处理器；
所述相机模块，用于采集图像信号，将所述图像信号发送至视觉里程计模块；
所述imu模块，用于采集加速度信号，将所述加速度信号发送至处理器；
所述视觉里程计模块，用于接收相机模块发送的图像信号，并根据所述图像信号获取每一步中每一帧的移动位置信息；
所述处理器，其被配置有处理器可执行的操作指令，以执行如下操作：
根据所述加速度信号获取每一步的步长信息；
根据所述移动位置信息和所述步长信息获得所需建立视觉地图所对应的比例尺信息。
具体的，本实施例所述装置所述的相机模块可以为单目相机，通过单目相机采集图像信号，视觉里程计模块通过对图像信号进行解析获取每一步中每一帧的位置信息。imu模块通过获取移动物体移动时产生的加速度信息，可进行步长估算，从而得到目前单目相机在视觉建图中所欠缺的尺度信息。处理器设置在云端服务器中，即云端接收imu模块和视觉里程计模块分别发送的加速度信号以及移动位置信息，并根据加速度信号获取每一步的步长信息。最后根据所述移动位置信息和所述步长信息获得所需建立视觉地图所对应的比例尺信息。
本实施例所述装置能够根据每步前后两点视觉里程计输出坐标(xi-1，yi-1)、(xi，yi)及步长di进行坐标点的映射。根据每步对应的比例尺及里程计信息，进行比例尺的归一化，从而为绘制准确地图提供比例尺信息。具体过程为：根据所述移动位置信息和所述步长信息获得比例系数；根据所述比例系数对所述移动位置信息进行重投影生成重投影位置信息；根据所述重投影位置信息计算获得所需建立视觉地图所对应的比例尺信息。具体的：
首先，获取每一步所对应的实际尺度因子，获取合适的比例系数用于坐标归一化处理。
对于第i步，步长为di，该步前后里程计输出分别为(xi-1，yi-1)、(xi，yi)；则可获取该步期间对应的实际尺度因子si；
则可获取建图过程中，左右尺度比例因子集合s＝{s1，s2s3…sn-1，sn}。查找集合s最大值，记为smax。
smax＝max{s1，s2s3…sn-1，sn}
对于第i步比例实际尺度因子si，其对于最大值smax的比例系数n为：
其次，从第1步开始，一次对每一步视觉输出进行重映射，即重投影，以实现尺度归一化。
对于第i步，其对应的比例系数为ni，且该步过程中视觉里程计所有输出为{p′1，p′2，p′3…p′k}，则从p′1开始一次对p′2，p′3…p′k进行重投影。
其中，(x′i-1，y′i-1)、(x′i，y′i)分别代表一步内相邻两帧里程计输出；θ′i代表相邻两帧的方向信息；d′i代表相邻两帧距离信息。
可根据相邻两帧数据距离、比例系数及方向角进行里程计输出的重投影。
d″i＝ni*d′i
x″i＝x″i-1+d″i*cosθ′i
y″i＝y″i-1+d″i*sinθ′i
其中，d″i代表重投影距离；，(x″i-1，y″i-1)、(x″i，y″i)分别代表相邻两帧里程计输出重投影结果。
最后，根据重投影结果绘制视觉地图，并获取比例尺信息。
查找重投影里程计输出p＝{p″1，p″2…p″n}最大值与最小值。
其中，(x″i，y″i)代表重投影p″i对应的坐标，x″min、x″max、y″min、y″max代表里程计输出重投影p中所有点x轴、y轴输出最大值与最小值。根据图像大小计算地图比例尺信息。
x″dif＝x″max-x″min
y″dif＝y″max-y″min
其中，x″dif、y″dif分别代表重投影坐标在x轴、y轴的最大距离；s代表地图比例尺；w代表需要创建的视觉地图尺寸。
综上，本实施例所述装置通过加入提供尺寸的imu模块可以恢复尺度，有尺度信息的测程法可以应用在机器人导航及其控制上。另外，本实施例所述的处理器可设置在云端，以云端服务器的形式对图像信号以及加速度信号进行处理生成比例尺信息。
实施例3
如图4所示，本实施例提出了一种电子设备所述电子设备包括：显示器，存储器，一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行实施例1所述基于云端的视觉地图比例尺检测方法中各个步骤的指令。
实施例4
本实施例提出了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如实施例1所述的基于云端的视觉地图比例尺检测方法中各个步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。