一种定位方法、装置及设备与流程
本发明涉及定位导航技术领域，特别是涉及一种定位方法、装置及设备。
背景技术：
自主定位是机器人自主导航系统的核心组成部分，机器人能够在自主定位的基础上实现障碍物规避、自主导航等功能。
现有技术中，机器人可以利用视觉里程计来进行自主定位，具体包括：利用安装在机器人上的相机实时拍摄图像通过视觉里程计(包括直接法里程计和特征点法里程计)来估计自身的位姿，也就是得到自身的位置和姿态，从而完成自主定位。
虽然，现有技术中机器人能够利用视觉里程计来进行自主定位，但是，由于相机在拍摄图像时容易受到光照变化、运动物体、相机遮挡和少纹理场景等因素的影响，使得通过视觉里程计估计自身的位姿时出现偏差甚至完全丢失。也就是说机器人应用上述方式进行自主定位时，定位结果受上述环境中的各种极端因素的影响，鲁棒性差。
技术实现要素：
本发明实施例的目的在于提供一种定位方法、装置及设备，以实现提高定位结果的鲁棒性。具体技术方案如下：
本发明实施的一方面，提供了一种定位方法，应用于电子设备，其中，所述电子设备上设置有图像采集器和用于检测所述电子设备惯性运动信息的惯性传感器，所述方法包括：
获取所述图像采集器采集的当前帧；
获取所述惯性传感器在所述图像采集器采集所述当前帧时检测到的所述电子设备的当前帧位姿；
获取所述惯性传感器在所述图像采集器采集参考帧时检测到的所述电子设各的参考帧位姿；
确定使得所述参考帧和当前帧之间第一光度误差与相对运动误差之和最小的相对位姿，其中，所述第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，所述相对位姿表示第一位姿与第二位姿之间的变化量，所述第一位姿为所述图像采集器采集当前帧时检测到的所述电子设备的位姿，所述第二位姿为所述图像采集器采集参考帧时检测到的位姿，所述相对运动误差为根据所述当前帧位姿、参考帧位姿和相对位姿计算得到的误差；
根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位。
可选的，在所述确定使得所述参考帧和当前帧之间第一光度误差与相对运动误差之和最小的相对位姿的步骤之前，还包括：
获得所述当前帧的图像质量因子，其中，所述图像质量因子用于表示所述参考帧中各个像素点灰度值的梯度变化；
根据所述图像质量因子的值越大为所述相对运动误差分配的权值越小的分配原则，为所述相对运动误差分配权值λef；
相应地，所述确定使得所述参考帧和当前帧之间光度误差与相对运动误差之和最小的相对位姿的步骤，包括：
确定使得l_e+λef*mv_e的结果最小的相对位姿，其中，mv_e表示当前帧与参考帧之间相对运动误差，l_e表示当前帧与参考帧之间光度误差。
可选的，所述根据所述图像质量因子的值越大为所述相对运动误差分配的权值越小的分配原则，为所述相对运动误差分配权值λef的步骤，包括：
根据所述当前帧位姿表征的运动参数和所述图像质量因子，确定所述相对运动误差的权值λef。
可选的，所述根据所述当前帧位姿表征的运动参数和所述图像质量因子，确定所述相对运动误差的权值λef的步骤，包括：
根据所述当前帧位姿表征的运动参数，计算第一权值；
根据所述图像质量因子，计算第二权值；
根据所述第一权值和所述第二权值，确定所述相对运动误差的权值λef。
可选的，所述根据所述当前帧位姿表征的运动参数，计算第一权值的步骤，包括：
获得所述图像采集器采集所述当前帧时所述电子设备的线加速度、向心加速度以及速度；
利用所获得的线加速度、向心加速度以及速度计算第一权值。
可选的，所述利用所获得的线加速度、向心加速度以及速度计算第一权值，包括：
利用以下表达式计算第一权值：
λe＝α*exp(-ω*(β1*al+β2*ar+β3*v))
其中，λe表示所述第一权值，al表示所述图像采集器采集所述当前帧时所述电子设备的线加速度，ar表示所述图像采集器采集所述当前帧时所述电子设备的向心加速度，v表示所述图像采集器采集所述当前帧时所述电子设备的速度，α、w、β1、β2、β3为预设的系数。
可选的，所述根据所述图像质量因子，计算第二权值的步骤，包括：
获得利用滑动窗口选择出的目标像素点的质量因子，其中，所述目标像素点为：所述当前帧中与相邻像素点的灰度差值大于预设数值的像素点；
确定利用滑动窗口选择出所述目标像素点后滑动窗口中剩余成熟点的比例，其中，所述成熟点为：已知深度信息的像素点；
根据所获得的质量因子和所确定的比例，计算第二权值。
可选的，所述根据所获得的质量因子和所确定的比例，计算第二权值，包括：
利用以下表达式计算第二权值：
λc＝f1(qimage_quality)，
其中，λc表示所述第二权值，f1()表示以所述质量因子为自变量、预设数值为底数的指数函数，qimage_quality表示所述图像质量因子，ppix_quality表示所述质量因子，pph_ratio表示所述比例，σg表示利用滑动窗口选择所述目标像素点时格栅梯度阈值的标准差，
可选的，所述根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位的步骤之后，还包括：
获得所述当前帧的光流；
在所述光流大于预设阈值的情况下，将所述当前帧作为新关键帧；
将预先保存的预设数量帧关键帧对应的各个位姿和所述新关键帧对应的位姿，分别作为一个初始位姿；
对各个初始位姿进行调整，确定使第一残差能量、第二残差能量与第三残差能量之和最小的调整后的各个初始位姿，其中，所述第一残差能量表示：与调整后的各个初始位姿对应的、各个相邻两帧关键帧之间第二光度误差的和，所述第二光度误差因变于与调整后的各个初始位姿、且为相邻两帧关键帧之间灰度值的差值，所述第二残差能量表示：所述图像采集器采集每一关键帧时检测到的所述电子设备的位姿转化至平面坐标系后的位姿所表征的运动信息的和，所述第三残差能量表示：各个相对运动约束的和值，所述相对运动约束表示：针对相邻两帧关键帧，根据所述图像采集器采集该相邻两帧关键帧时所述电子设备的位姿与惯性传感器分别检测到的该相邻两帧关键帧对应的所述电子设备的位姿计算得到的约束；
将新关键帧作为新的参考帧。
可选的，利用以下步骤获得所述第二残差能量：
确定图像采集器在世界坐标系下的位姿；
根据所确定的位姿计算平面运动约束的误差；
根据所计算的平面运动约束的误差计算第二残差能量。
可选的，利用以下表达式分别计算平面运动约束的误差和第二残差能量：
其中，eg表示第二残差能量，ωg表示权重矩阵，n表示关键帧数量，eg_i表示平面运动约束的误差，x-1表示平面运动的观测，tec表示图像采集器的位姿与惯性传感器的位姿之间的转换关系，
可选的，利用以下步骤获得所述第三残差：
针对相邻两帧关键帧，根据在该相邻两帧关键帧时惯性传感器和图像采集器分别在世界坐标系下的位姿，计算该相邻两帧关键帧之间的相对运动约束；
利用各个相邻两帧关键帧之间的相对运动约束计算所述第三残差。
可选的，利用以下表达式分别计算相邻两帧关键帧之间的相对运动约束和所述第三残差能量：
其中，ee表示第三残差能量，n表示关键帧数量，λth表示权值，ωe表示权重矩阵，ee_th表示第t帧关键帧与第h帧关键帧之间的相对运动误差，te2w’_t表示第t帧关键帧时惯性传感器在世界坐标系下的位姿，
本发明实施的又一方面，还提供了一种定位装置，应用于电子设备，其中，所述电子设备上设置有图像采集器和用于检测所述电子设备运动信息的惯性传感器，所述装置包括：
第一获取模块，用于获取所述图像采集器采集的当前帧；
第二获取模块，用于获取所述惯性传感器在所述图像采集器采集所述当前帧时检测到的所述电子设备的当前帧位姿；
第三获取模块，用于获取所述惯性传感器在所述图像采集器采集参考帧时检测到的所述电子设备的参考帧位姿；
第一确定模块，用于确定使得所述参考帧和当前帧之间第一光度误差与相对运动误差之和最小的相对位姿，其中，所述第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，所述相对位姿表示第一位姿与第二位姿之间的变化量，所述第一位姿为所述图像采集器采集当前帧时检测到的所述电子设备的位姿，所述第二位姿为所述图像采集器采集参考帧时检测到的所述电子设备的位姿，所述相对运动误差为根据所述当前帧位姿、参考帧位姿和相对位姿计算得到的误差；
计算模块，用于根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位。
可选的，所述装置还包括：
第一获得模块，用于获得所述当前帧的图像质量因子，其中，所述图像质量因子用于表示所述参考帧中各个像素点灰度值的梯度变化；
分配模块，用于根据所述图像质量因子的值越大为所述相对运动误差分配的权值越小的分配原则，为所述相对运动误差分配权值λef；
相应地，所述第一确定模块，用于确定使得l_e+λef*mv_e的结果最小的相对位姿，其中，mv_e表示当前帧与参考帧之间相对运动误差，l_e表示当前帧与参考帧之间光度误差。
可选的，所述分配模块，包括：
确定子模块，用于根据所述当前帧位姿表征的运动信息和所述图像质量因子，确定所述相对运动误差的权值λef。
可选的，所述确定子模块，包括：
第一计算单元，用于根据所述当前帧位姿表征的运动参数，计算第一权值；
第二计算单元，用于根据所述图像质量因子，计算第二权值；
确定单元，用于根据所述第一权值和所述第二权值，确定所述相对运动误差的权值λef。
可选的，所述第一计算单元，包括：
第一获得子单元，获得所述图像采集器采集所述当前帧时所述电子设备的线加速度、向心加速度以及速度；
第一计算子单元，利用所获得的线加速度、向心加速度以及速度计算第一权值。
可选的，所述第一计算子单元，具体用于利用以下表达式计算第一权值：
λe＝α*exp(-ω*(β1*al+β2*ar+β3*v))
其中，λe表示所述第一权值，al表示所述图像采集器采集所述当前帧时所述电子设备的线加速度，ar表示所述图像采集器采集所述当前帧时所述电子设备的向心加速度，v表示所述图像采集器采集所述当前帧时所述电子设备的速度，α、w、β1、β2、β3为预设的系数。
可选的，所述第二计算单元，包括：
第二获得子单元，用于获得利用滑动窗口选择出的目标像素点的质量因子，其中，所述目标像素点为：所述当前帧中与相邻像素点的灰度差值大于预设数值的像素点；
确定子单元，用于确定利用滑动窗口选择出所述目标像素点后滑动窗口中剩余成熟点的比例，其中，所述成熟点为：已知深度信息的像素点；
第二计算子单元，用于根据所获得的质量因子和所确定的比例，计算第二权值。
所述第二计算子单元，具体用于，利用以下表达式计算第二权值：
λc＝f1(qimage_quality)
其中，λc表示所述第二权值，f1()表示以所述质量因子为自变量、预设数值为底数的指数函数，qimage_quality表示所述图像质量因子，ppix_quality表示所述质量因子，pph_ratio表示所述比例，σg表示利用滑动窗口选择所述目标像素点时格栅梯度阈值的标准差，
可选的，所述装置还包括：
第二获得模块，用于获得所述当前帧的光流；
第一作为模块，用于在所述光流大于预设阈值的情况下，将所述当前帧作为新关键帧；
第二作为模块，用于将预先保存的预设数量帧关键帧对应的各个位姿和所述新关键帧对应的位姿，分别作为一个初始位姿；
第二确定模块，用于对各个初始位姿进行调整确定使第一残差能量、第二残差能量与第三残差能量之和最小的调整后的各个初始位姿，其中，所述第一残差能量表示：与调整后的各个初始位姿对应的、各个相邻两帧关键帧之间第二光度误差的和，所述第二光度误差因变于调整后的各个初始位姿、且为相邻两帧关键帧之间灰度值的差值，所述第二残差能量表示：所述图像采集器采集每一关键帧时检测到的所述电子设备的位姿转化至平面坐标系后的位姿所表征的所述电子设备的运动信息的和，所述第三残差能量表示：各个相对运动约束的和值，所述相对运动约束表示：针对相邻两帧关键帧，根据所述图像采集器采集该相邻两帧关键帧时所述电子设备的位姿与惯性传感器分别检测到的该相邻两帧关键帧对应的所述电子设备的位姿计算得到的约束；
第三作为模块，用于将新关键帧作为新的参考帧。
可选的，所述第二确定模块，用于：
确定图像采集器在世界坐标系下的位姿；
根据所确定的位姿计算平面运动约束的误差；
根据所计算的平面运动约束的误差计算第二残差能量。
可选的，利用以下表达式分别表示平面运动约束的误差和第二残差能量：
其中，eg表示第二残差能量，ωg表示权重矩阵，n表示关键帧数量，eg_i表示平面运动约束的误差，x-1表示平面运动的观测，tec表示图像采集器的位姿与惯性传感器的位姿之间的转换关系，
可选的，所述第二确定模块，用于：
针对相邻两帧关键帧，根据在该相邻两帧关键帧时惯性传感器和图像采集器分别在世界坐标系下的位姿，计算该相邻两帧关键帧之间的相对运动约束；
利用各个相邻两帧关键帧之间的相对运动约束计算所述第三残差。
可选的，利用以下表达式分别表示相邻两帧关键帧之间的相对运动约束和所述第三残差能量：
其中，ee表示第三残差能量，n表示关键帧数量，λth表示权值，ωe表示权重矩阵，ee_th表示第t帧关键帧与第h帧关键帧之间的相对运动误差，te2w’_t表示第t帧关键帧时惯性传感器在世界坐标系下的位姿，
本发明实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的定位方法。
本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的定位方法。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运动时，使得计算机执行上述任一所述的定位方法。
本发明实施例提供的定位方法、装置及设备，可以获取所述图像采集器采集的当前帧；获取惯性传感器在图像采集器采集当前帧与参考帧时检测到的电子设备的相对运动信息；确定使得光度误差与相对运动误差之和最小的相对位姿；根据所确定的相对位姿和图像采集器采集参考帧时的位姿，计算得到图像采集器采集当前帧时电子设备的位姿，实现对电子设备的定位。
由于本发明实施例提供的方案在定位过程中，综合考虑用于检测电子设备运动信息的惯性传感器所检测到的运动信息，利用惯性传感器检测到的相对运动信息来约束图像采集器检测到的相对位姿，也就是图像采集器在拍摄图像时受到光照影响后，可以利用惯性传感器所检测到的运动信息来保证定位结果的准确性，因而，能够提高在极端环境下定位结果的鲁棒性。并且在实现对电子设备进行定位之后，获得当前帧的光流，在光流大于预设阈值的情况下，将当前帧作为新关键帧，将预先保存的预设数量帧关键帧对应的各个位姿和所述新关键帧对应的位姿，分别作为一个初始位姿，通过对各个初始位姿进行调整最小化任意两帧关键帧之间光度误差与相对运动约束之和的方式，来对各个关键帧对应的位姿进行优化，并将位姿优化后的新关键帧作为新参考帧。在融合相对运动误差的过程中，依据图像的状态和惯性传感器的状态会对相对运动误差赋予不同的权重，从而进一步提高定位的准确性和鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种简单定位方法的流程示意图；
图2为本发明实施例提供的一种安装位置关系图；
图3为本发明实施例提供的一种位姿转化关系示意图；
图4为本发明实施例提供的一种详细定位方法的流程示意图；
图5为本发明实施例提供的一种优化因子关系示意图；
图6为本发明实施例提供的一种定位装置的结构示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，为本发明实施例提供的一种简单定位方法，应用于电子设备，其中，电子设备上设置有图像采集器和用于检测电子设备运动信息的惯性传感器，如图2所示为本发明实施例提供的一种电子设备上图像采集器和惯性传感器安装位置关系图，图中，惯性传感器可以安装在电子设备的两侧，图像采集器则可以固定在电子设备的前端，以前视的形式进行固定。
具体的，上述定位方法包括：
s100，获取图像采集器采集的当前帧。
电子设备运行过程中，安装在电子设备上的图像采集器会实时采集周围环境的图像，相应地，电子设备也就能够获取图像采集器采集的图像帧。
s110，获取惯性传感器在图像采集器采集当前帧时检测到的电子设备的当前帧位姿。
s120，获取惯性传感器在图像采集器采集参考帧时检测到的电子设备的参考帧位姿。
由于惯性传感器是实时检测电子设备的位姿的，也就是惯性传感器在图像采集器采集参考帧的同时已经检测到电子设备的参考帧位姿，那么，当需要使用参考帧位姿时，直接使用即可。
一种实现方式中，上述惯性传感器可以为轮式编码器。
实际应用中，通常把第一帧图像作为第一帧参考帧，后续确定参考帧时，首先需要确定与之前最近一帧参考帧的运动信息差别大于阈值的图像，将确定的图像作为最新的关键帧，并对最新的关键帧的位置进行优化后，将优化后的关键帧作为新的参考帧。
s130，确定使得参考帧和当前帧之间第一光度误差与相对运动误差之和最小的相对位姿。
其中，第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，相对位姿表示第一位姿与第二位姿之间的变化量，第一位姿为图像采集器采集当前帧时检测到的电子设备的位姿，第二位姿为图像采集器参考帧时检测到的电子设备的位姿，相对运动误差为根据当前帧位姿、参考帧位姿和相对位姿计算得到的误差。电子设备的位姿也就是电子设备在平面坐标系中的位置和电子设各的姿态。
上述相对运动误差也就是图像采集器估计得到的帧间相对运动和惯性传感器估计得到的帧间相对运动之间的差值。
一种实现方式中，在s130之前可以根据当前帧的图像质量因子为相对运动误差分配权值λef；
图像质量因子用于表示参考帧中各个像素点灰度值的梯度变化，参考帧中各个像素点的灰度值的梯度变化情况越丰富相应的图像质量因子越大。比如，当参考帧为图像采集器采集一面白墙得到的图像帧，由于参考帧中各个像素点的像素值均相同，因此此时参考帧对应的图像质量因子最小。
图像质量因子越小时表明参考帧的参考性差，相应地通过图像采集器检测到的运动信息的准确性越差。因此，可以根据图像质量因子的值越大为相对运动误差分配的权值越小的分配原则，为相对运动误差分配权值λef，也就是图像采集器检测到的运动信息不准确时，可以增大为相对运动误差分配的权值来增大惯性传感器检测到的运动信息的话语权。
一种实现方式中，在为相对运动误差分配权值λef之后，还可以根据相对运动误差的大小调整λef，具体的，当相对运动误差较大时，则表明惯性传感器检测到的运动信息与图像采集器检测到的运动信息相差较大，此时，则可能是由于图像采集器检测到的运动信息不准确导致的，因而，可以增大λef来增大惯性传感器检测到的运动信息的话语权；相应地，当相对运动误差较小时，则表明惯性传感器检测到的运动信息与图像采集器检测到的运动信息相差较小，此时，则表明图像采集器检测到的运动信息是准确的，因而，可以减小λef来降低惯性传感器检测到的运动信息的话语权。
确定了相对运动误差的权值λef之后，即可确定使得l_e+λef*mv_e的结果最小的相对位姿，进而根据所确定的相对位姿和第二位姿，实现对所述电子设备的定位。其中，mv_e表示当前帧与参考帧之间相对运动误差，l_e表示当前帧与参考帧之间光度误差。
s140，根据所确定的相对位姿和第二位姿，计算得到第一位姿，实现对电子设备的定位。
在图像采集器采集参考帧时电子设备的第二位姿的基础上结合所确定的相对位姿，来得到了图像采集器采集当前帧时电子设备的第一位姿，从而得到电子设备的位置和姿态，实现对电子设备进行定位。
本发明实施例一种实现方式中，在根据图像质量因子的值越大为相对运动误差分配的权值越小的分配原则，为相对运动误差分配权值λef的过程中，可以根据当前帧位姿表征的运动参数和图像质量因子，来确定相对运动误差的权值λef。
具体的，首先可以获得图像采集器采集当前帧时电子设备的线加速度、向心加速度以及速度，利用所获得的线加速度、向心加速度以及速度计算第一权值。
比如，可以利用以下表达式计算第一权值：
λe＝α*exp(-ω*(β1*al+β2*ar+β3*v))
其中，λe表示第一权值，al表示图像采集器采集当前帧时电子设备的线加速度，ar表示图像采集器采集当前帧时电子设备的向心加速度，v表示图像采集器采集当前帧时电子设备的速度，α、w、β1、β2、β3为预设的系数。
然后，可以获得利用滑动窗口选择出的目标像素点的质量因子和确定利用滑动窗口选择出所述目标像素点后滑动窗口中剩余成熟点的比例，根据所获得的质量因子和所确定的比例，计算第二权值。
比如，可以利用以下表达式计算第二权值：
λc＝f1(qimage_quality)，
其中，λc表示所述第二权值，f1()表示以所述质量因子为自变量、预设数值为底数的指数函数，qimage_quality表示图像质量因子，ppix_quality表示利用滑动窗口选择出的目标像素点的质量因子，目标像素点为：当前帧中与相邻像素点的灰度差值大于预设数值的像素点，pph_ratio表示利用滑动窗口选择出目标像素点后滑动窗口中剩余成熟点的比例，σg表示利用滑动窗口选择目标像素点时格栅梯度阈值的标准差，
滑动窗口内每一个预设大小的图像区域均可称之为一个格栅，格栅内相邻两个像素点灰度值的差值称之为格栅梯度，格栅梯度的中位数与预先设定的数值的和值即为格栅梯度阈值。
最后，根据第一权值和第二权值，确定相对运动误差的权值λef，比如，利用计算得到的第一权值与第二权值的乘积作为权值λef。
随着电子设备的移动，空间中同一个点在图像采集器采集的各个图像帧中对应的像素点的坐标会发生变化，而在图像采集器采集的各个图像帧中对应的像素点的灰度值则基本保持不变，基于此，针对两个图像帧，在同一坐标系中保持一帧图像帧中包含的像素点的坐标不改变，随着另一帧图像帧中包含的像素点的坐标的改变，相应地两帧图像帧包含的同一坐标像素点之间灰度值的差值大小会发生变化，因而可以通过改变其中一帧图像帧中包含的像素点的坐标，使得两帧图像帧包含的同一坐标像素点之间灰度值的差值最小时，此时坐标改变的图像帧中像素点的坐标变化量，也表征了电子设备在图像采集器采集两个图像帧时的位姿变化。
针对两个图像帧，在通过改变其中一帧图像帧中包含的像素点的坐标，使得两帧图像帧包含的同一坐标像素点之间灰度值的差值最小，来得到图像采集器采集两个图像帧时电子设备的位姿变化量的过程中，具体的，可以针对整个图像帧中包含的所有像素点来计算灰度差，也可以针对图像帧中某一特定区域内的部分像素点来计算灰度差。
一种实现方式中，光度误差l_e可以通过以下关系式表示：
其中，p表示pi中的一个像素点坐标，pi表示第i帧中的所有像素点坐标的集合，obs(p)表示像素点p所有观测的集合，wp表示权重，ii和ij分别表示第i帧和第j帧，p′表示第i帧中的p点重投影到第j帧上的坐标，ai和bi表示第i帧的光度参数，aj和bj表示第j帧的光度参数，ti和tj分别表示第i帧和第j帧的曝光时间；
而第i帧中的p点重投影到第j帧上的坐标p′为：
其中，πc表示预设的成像模型，dp表示点p的逆深度，r表示电子设备在图像采集器采集当前帧时相对于在图像采集器采集参考帧时的旋转变化，t表示电子设备在图像采集器采集当前帧时相对于在图像采集器采集参考帧时的位移变化，r和t也就是上述所说的图像采集器检测到的当前帧对应的位姿与参考帧对应的位姿之间的相对位姿。
而相对运动误差也就是表示惯性传感器检测到的当前帧位姿和参考帧位姿以及利用获取的当前帧和参考帧得到的电子设备的相对位姿的关系。
一种实现方式中，相对运动误差mv_e可以通过以下关系式表示：
其中，ωf表示权重，ef表示为误差。
其中，te2w′_r表示参考帧位姿，te2w′_c表示当前帧位姿，tec表示惯性传感器检测到的电子设备的位姿与利用图像采集器采集的图像帧得到的电子设备的位姿之间的转换关系，tr2c表示相对位姿。
电子设备上安装的图像采集器和惯性传感器的位置是固定的，相应地惯性传感器检测到的电子设备的位姿与利用图像采集器采集的图像帧得到的电子设备的位姿之间会存在一个固定的转化关系。
如图3所示，为本发明实施例提供的一种惯性传感器检测到的电子设备的位姿与利用图像采集器采集的图像帧得到的电子设备的位姿之间的转化关系示意图；
图中，w’为惯性传感器的坐标系oe为该坐标系的坐标原点，w为图像采集器的坐标系oc为该坐标系的坐标原点，两者之间有一个转换关系tec。对于利用图像采集器采集的图像帧得到的位姿tw2c_t和惯性传感器检测到的位姿tw′2e_t存在如下转换关系：
tw′2e_t＝tectw2c_ttce
利用图像采集器采集的图像帧得到的位姿tc_t2h和惯性传感器检测到的位姿te_t2h存在如下转换关系：
te_t2h＝tectc_t2htce
本发明实施例提供的定位方法，由于综合考虑了用于检测电子设备运动信息的惯性传感器所检测到的运动信息，也就是图像采集器在拍摄图像时受到光照影响后，可以利用惯性传感器所检测到的运动信息来保证定位结果的准确性，因而，能够提高定位结果的鲁棒性。
参见图4，为本发明实施例提供的一种详细定位方法的流程示意图，图中s400-s404与上述s100-s140相同，在此不再赘述。在实现对电子设备的定位之后，可以执行：
s405，获得当前帧的光流；
s406，在光流大于预设阈值的情况下，将当前帧作为新关键帧。相应地，在光流小于预设阈值的情况下，返回执行s400；
光流越大则表示当前帧中包含的图像信息与参考帧包含的图像信息之间的差别越大，也就是当前帧的中包含的图像信息的参考价值越大。因此，可以在当前帧的光流大于预设阈值的情况下，将当前帧作为新的关键帧。
s407，将预先保存的预设数量帧关键帧对应的各个位姿和新关键帧对应的位姿，分别作为一个初始位姿；
s408，对各个初始位姿进行调整，确定使得第一残差能量、第二残差能量与第三残差能量之和最小的调整后的各个初始位姿。
其中，第一残差能量表示：与调整后的各个初始位姿对应的、各个相邻两帧关键帧之间第二光度误差的和，第二光度误差因变于调整后的各个初始位姿、且为相邻两帧关键帧之间灰度值的差值，第二残差能量表示：图像采集器采集每一关键帧时检测到的电子设备的位姿转化至平面坐标系后的位姿所表征的运动信息的和，第三残差能量表示：各个相对运动约束的和值，相对运动约束表示：针对相邻两帧关键帧，根据图像采集器采集该相邻两帧关键帧时电子设备的位姿与惯性传感器分别检测到的该相邻两帧关键帧对应的电子设备的位姿计算得到的约束。
将当前帧作为新的关键帧之后，由于采集当前帧时电子设备的位姿也就是第一位姿已经得到，可以将第一位姿作为采集当前帧时电子设备的初始位姿，通过最小化第一残差能量、第二残差能量与第三残差能量之和的方式，来进一步对采集当前帧时电子设备的位姿进行优化，从而实现对关键帧的位姿进行优化以及关键帧中的成熟点的深度进行优化。
一种实现方式中，在图像采集器为双目图像采集器的情况下，由于双目采集器通常是利用左、右两侧两个镜头同时采集图像帧，因此，在计算第一残差能量时，可以针对一组图像采集器采集每一关键帧时电子设备的位姿、计算某一侧镜头采集的任意两帧关键帧之间灰度值的差值的第一和值，并分别计算左、右两侧两个镜头同时采集的图像帧之间灰度值的差值的第二和值，将第一和值与第二和值的和作为第一残差能量。
一种实现方式中，可以确定图像采集器在世界坐标系下的位姿；根据所确定的位姿计算平面运动约束的误差；根据所计算的平面运动约束的误差计算第二残差能量。
具体的，可以利用以下表达式表示第二残差能量：
其中，eg表示第二残差能量，ωg表示信息矩阵，n表示关键帧数量eg_i表示平面运动约束的误差，x-1表示平面运动的观测，tec表示图像采集器与惯性传感器之间的相对位姿关系，
一种实现方式中，针对相邻两帧关键帧，根据在该相邻两帧关键帧时惯性传感器和图像采集器分别在世界坐标系下的位姿，计算该相邻两帧关键帧之间的相对运动约束；利用各个相邻两帧关键帧之间的相对运动约束计算第三残差。
具体的，可以利用以下表达式表示第三残差能量：
其中，ee表示第三残差能量，n表示关键帧数量，λth表示权值，ωe表示权重矩阵，ee_th表示第t帧关键帧与第h帧关键帧之间的相对运动约束，te2w’_t表示第t帧关键帧时惯性传感器在世界坐标系下的位姿，
一种实现方式中，在计算第三残差的过程中，可以为计算得到的每一相对运动约束分配一个权值，通过加权计算得到第三残差。具体的，分配的权值可以为相邻两帧关键帧分别对应的λef的乘积。
s409，将新关键帧作为新的参考帧。并返回执行s400
将关键帧对应的位姿作为位姿初始值，通过调整各个位姿初始值使得最小化第一残差能量、第二残差能量与第三残差能量之和方式实现对关键帧的位姿进行优化，以及关键帧中的成熟点的深度进行优化。
参见图5为本发明实施例提供的一种优化因子关系示意图，图中，单目光度约束为ep；双目光度约束为elr；平面运动的误差为eg；惯性传感器运动约束的误差为ee。相对原本的直接法视觉里程计，本发明技术方案中融合惯性传感器数据的视觉惯性里程计增加了更多的约束，可以得到更加鲁棒的定位结果。
参见图6，为本发明实施例提供的一种定位装置的结构示意图，应用于电子设备，其中，所述电子设备上设置有图像采集器和用于检测所述电子设备运动信息的惯性传感器，所述装置包括：
第一获取模块600，用于获取所述图像采集器采集的当前帧；
第二获取模块610，用于获取所述惯性传感器在所述图像采集器采集所述当前帧时检测到的所述电子设备的当前帧位姿；
第三获取模块620，用于获取所述惯性传感器在所述图像采集器采集所述参考帧时检测到的所述电子设备的参考帧位姿；
第一确定模块630，用于确定使得所述参考帧和当前帧之间第一光度误差与所述惯性传感器检测的相对运动误差之和最小的相对位姿，其中，所述第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，所述相对位姿表示第一位姿与第二位姿之间的变化量，所述第一位姿为所述图像采集器采集当前帧时检测到的所述电子设备的位姿，所述第二位姿为所述图像采集器采集参考帧时检测到的所述电子设备的位姿，所述相对运动误差为根据所述当前帧位姿、参考帧位姿和相对位姿计算得到的误差；
计算模块640，用于根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位。
本发明实施例一种实现方式中，所述装置还包括：
第一获得模块，用于获得所述当前帧的图像质量因子，其中，所述图像质量因子用于表示所述参考帧中各个像素点灰度值的梯度变化；
分配模块，用于根据所述图像质量因子的值越大为所述相对运动误差分配的权值越小的分配原则，为所述相对运动误差分配权值λef；
相应地，所述第一确定模块630，用于确定使得l_e+λef*mv_e的结果最小的相对位姿，其中，mv_e表示当前帧与参考帧之间相对运动误差，l_e表示当前帧与参考帧之间光度误差。
本发明实施例一种实现方式中，所述分配模块，包括：
确定子模块，用于根据所述当前帧位姿表征的运动参数和所述图像质量因子，确定所述相对运动误差的权值λef。
本发明实施例一种实现方式中，所述确定子模块，包括：
第一计算单元，用于根据所述当前帧位姿表征的运动参数，计算第一权值；
第二计算单元，用于根据所述图像质量因子，计算第二权值；
确定单元，用于根据所述第一权值和所述第二权值，确定所述相对运动误差的权值λef。
本发明实施例一种实现方式中，所述第一计算单元，包括：
第一获得子单元，获得所述图像采集器采集所述当前帧时所述电子设备的线加速度、向心加速度以及速度；
第一计算子单元，利用所获得的线加速度、向心加速度以及速度计算第一权值。
本发明实施例一种实现方式中，所述第一计算子单元，具体用于，
利用以下表达式计算第一权值：
λe＝α*exp(-ω*(β1*al+β2*ar+β3*v))
其中，λe表示所述第一权值，al表示所述图像采集器采集所述当前帧时所述电子设备的线加速度，ar表示所述图像采集器采集所述当前帧时所述电子设备的向心加速度，v表示所述图像采集器采集所述当前帧时所述电子设备的速度，α、w、β1、β2、β3为预设的系数。
本发明实施例一种实现方式中，所述第二计算单元，包括：
第二获得子单元，用于获得利用滑动窗口选择出的目标像素点的质量因子，其中，所述目标像素点为：所述当前帧中与相邻像素点的灰度差值大于预设数值的像素点；
确定子单元，用于确定利用滑动窗口选择出所述目标像素点后滑动窗口中剩余成熟点的比例，其中，所述成熟点为：已知深度信息的像素点；
第二计算子单元，用于根据所获得的质量因子和所确定的比例，计算第二权值。
本发明实施例一种实现方式中，所述第二计算子单元，具体用于，
利用以下表达式计算第二权值：
λc＝f1(qimage_quality)
其中，λc表示所述第二权值，f1()表示以所述质量因子为自变量、预设数值为底数的指数函数，qimage_quality表示所述图像质量因子，ppix_quality表示利用滑动窗口选择出的目标像素点的质量因子，所述目标像素点为：所述参考帧中与相邻像素点的灰度差值大于预设数值的像素点，pph_ratio表示利用滑动窗口选择出所述目标像素点后滑动窗口中剩余成熟点的比例，σg表示利用滑动窗口选择所述目标像素点时格栅梯度阈值的标准差，
本发明实施例一种实现方式中，所述装置还包括：
第二获得模块，用于获得所述当前帧的光流；
第一作为模块，用于在所述光流大于预设阈值的情况下，将所述当前帧作为新关键帧；
第二作为模块，用于将预先保存的预设数量帧关键帧对应的各个位姿和所述新关键帧对应的位姿，分别作为一个初始位姿；
第二确定模块，用于对各个初始位姿进行调整确定使第一残差能量、第二残差能量与第三残差能量之和最小调整后的各个初始位姿，其中，所述第一残差能量表示：与调整后的各个初始位姿对应的、各个相邻两帧关键帧之间第二光度误差的和，所述第二光度误差因变于调整后的各个初始位姿、且为相邻两帧关键帧之间灰度值的差值，所述第二残差能量表示：所述图像采集器采集每一关键帧时检测到的所述电子设备的位姿转化至平面坐标系后的位姿所表征的运动信息的和，所述第三残差能量表示：各个相对运动约束的和值，所述相对运动约束表示：针对相邻两帧关键帧，所述图像采集器采集该相邻两帧关键帧时所述电子设备的位姿与惯性传感器分别检测到的该相邻两帧关键帧对应的所述电子设备的位姿计算得到的约束；
第三作为模块，用于将新关键帧作为新的参考帧。
本发明实施例一种实现方式中，所述第二确定模块，用于：
确定图像采集器在世界坐标系下的位姿；
根据所确定的位姿计算平面运动约束的误差；
根据所计算的平面运动约束的误差计算第二残差能量。
一种实现方式中，利用以下表达式分别表示平面运动约束的误差和第二残差能量：
其中，eg表示第二残差能量，ωg表示权重矩阵，n表示关键帧数量，eg_i表示平面运动约束的误差，x-1表示平面运动的观测，tec表示图像采集器的位姿与惯性传感器的位姿之间的转换关系，
本发明实施例一种实现方式中，可选的，所述第二确定模块，用于：
针对相邻两帧关键帧，根据在该相邻两帧关键帧时惯性传感器和图像采集器分别在世界坐标系下的位姿，计算该相邻两帧关键帧之间的相对运动约束；
利用各个相邻两帧关键帧之间的相对运动约束计算所述第三残差。
一种实现方式中，利用以下表达式分别表示相邻两帧关键帧之间的相对运动约束和所述第三残差能量：
其中，ee表示第三残差能量，n表示关键帧数量，λth表示权值，ωe表示权重矩阵，ee_th表示第t帧关键帧与第h帧关键帧之间的相对运动误差，te2w’_t表示第t帧关键帧时惯性传感器在世界坐标系下的位姿，
本发明实施例还提供了一种电子设备，如图7所示，包括处理器001、通信接口002、存储器003和通信总线004，其中，处理器001，通信接口002，存储器003通过通信总线004完成相互间的通信，
存储器003，用于存放计算机程序；
处理器001，用于执行存储器003上所存放的程序时，实现本发明实施例提供的定位方法。
具体的，上述定位方法应用于电子设备，其中，所述电子设备上设置有图像采集器和用于检测所述电子设备运动信息的惯性传感器，所述方法包括：
获取所述图像采集器采集的当前帧；
获取所述惯性传感器在所述图像采集器采集所述当前帧时检测到的所述电子设备的当前帧位姿；
获取所述惯性传感器在所述图像采集器采集所述参考帧时检测到的所述电子设备的参考帧位姿；
确定使得所述参考帧和当前帧之间第一光度误差与所述惯性传感器检测的相对运动误差之和最小的相对位姿，其中，所述第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，所述相对位姿表示第一位姿与第二位姿之间的变化量，所述第一位姿为所述图像采集器采集当前帧时检测到的所述电子设备的位姿，所述第二位姿为所述图像采集器采集参考帧时检测到的所述电子设备的位姿，所述相对运动误差为根据所述当前帧位姿、参考帧位姿和相对位姿计算得到的误差；
根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位。
需要说明的是，上述处理器001执行存储器003上所存放的程序实现应用于视频信号发送端的设备检测方法的其他实施例，与前述方法实施例部分提供的实施例相同，这里不再赘述。
本发明实施例提供的各个方案中，由于在定位过程中，综合考虑用于检测电子设备运动信息的惯性传感器所检测到的运动信息，也就是图像采集器在拍摄图像时受到光照影响后，可以利用惯性传感器所检测到的运动信息来保证定位结果的准确性，因而，能够提高定位结果的鲁棒性。
上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(randomaccessmemory，ram)，也可以包括非易失性存储器(non-volatilememory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行本发明实施例提供的定位方法。
具体的，上述定位方法应用于电子设备，其中，所述电子设备上设置有图像采集器和用于检测所述电子设备运动信息的惯性传感器，所述方法包括：
获取所述图像采集器采集的当前帧；
获取所述惯性传感器在所述图像采集器采集所述当前帧时检测到的所述电子设备的当前帧位姿；
获取所述惯性传感器在所述图像采集器采集所述参考帧时检测到的所述电子设备的参考帧位姿；
确定使得所述参考帧和当前帧之间第一光度误差与所述惯性传感器检测的相对运动误差之和最小的相对位姿，其中，所述第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，所述相对位姿表示第一位姿与第二位姿之间的变化量，所述第一位姿为所述图像采集器采集当前帧时检测到的所述电子设备的位姿，所述第二位姿为所述图像采集器采集参考帧时检测到的所述电子设备的位姿，所述相对运动误差为根据所述当前帧位姿、参考帧位姿和相对位姿计算得到的误差；
根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位。
需要说明的是，通过上述计算机可读存储介质实现定位方法的其他实施例，与前述方法实施例部分提供的实施例相同，这里不再赘述。
本发明实施例提供的各个方案中，由于在定位过程中，综合考虑用于检测电子设备运动信息的惯性传感器所检测到的运动信息，也就是图像采集器在拍摄图像时受到光照影响后，可以利用惯性传感器所检测到的运动信息来保证定位结果的准确性，因而，能够提高定位结果的鲁棒性。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运动时，使得计算机执行本发明实施例提供的定位方法。
具体的，上述定位方法应用于电子设备，其中，所述电子设备上设置有图像采集器和用于检测所述电子设备运动信息的惯性传感器，所述方法包括：
获取所述图像采集器采集的当前帧；
获取所述惯性传感器在所述图像采集器采集所述当前帧时检测到的所述电子设备的当前帧位姿；
获取所述惯性传感器在所述图像采集器采集所述参考帧时检测到的所述电子设备的参考帧位姿；
确定使得所述参考帧和当前帧之间第一光度误差与所述惯性传感器检测的相对运动误差之和最小的相对位姿，其中，所述第一光度误差因变于相对位姿、且为当前帧与参考帧之间灰度值的差值，所述相对位姿表示第一位姿与第二位姿之间的相对运动，所述第一位姿为所述图像采集器采集当前帧时检测到的所述电子设备的位姿，所述第二位姿为所述图像采集器采集参考帧时检测到的所述电子设备的位姿，所述相对运动误差为根据所述当前帧位姿、参考帧位姿和相对位姿计算得到的误差；
根据所确定的相对位姿和所述第二位姿，计算得到所述第一位姿，实现对所述电子设备的定位。
需要说明的是，通过上述计算机程序产品实现定位方法的其他实施例，与前述方法实施例部提供的实施例相同，这里不再赘述。
本发明实施例提供的各个方案中，由于在定位过程中，综合考虑用于检测电子设备运动信息的惯性传感器所检测到的运动信息，也就是图像采集器在拍摄图像时受到光照影响后，可以利用惯性传感器所检测到的运动信息来保证定位结果的准确性，因而，能够提高定位结果的鲁棒性，适应各种极端环境。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
- 还没有人留言评论。精彩留言会获得点赞！