技术特征：
1.一种基于孪生网络特征与几何验证的回环检测方法，其特征在于：包括以下步骤：步骤(1)、获取机器人摄像机采集的rgb-d图像；步骤(2)、根据所述rgb-d图像获得如下多维特征信息；将rgb图像转化为灰度图，获取图像的强度特征；根据深度图获取图像的深度特征；基于灰度图像计算边缘特征，获得图像的边缘特征信息；步骤(3)、根据所述多维特征信息通过孪生网络提取图像全局特征；步骤(4)、计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距离，并定义成对帧的相似度得分，将相似度得分大于阈值的图像作为回环候选图像；步骤(5)、采用几何验证的方法判断当前图像及其对应的回环候选图像是否构成真正的回环，首先对输入图像与得到的回环候选图像分别提取orb关键点和局部差分二进制描述符，然后对两幅图像的描述符进行匹配；步骤(6)、采用随机采样一致性算法求解基本矩阵以剔除误匹配，如果基本矩阵计算成功，则选择内点数最多的作为回环候选；步骤(7)、进行时间一致性检验，若当前输入图像之后的连续三帧图像均满足步骤(6)的阈值条件，则认为当前输入图像与回环候选图像构成回环。2.根据权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法，其特征在于，所述步骤(2)具体包括以下步骤：步骤(2-1)、图像强度：表示单通道图像像素的强度，在灰度图像中，它是图像的灰度，rgb图像的强度特征通过将原始彩色图像转换为灰度图像获得；步骤(2-2)、图像的深度信息根据深度图获得，tum数据集的原始深度图像存在噪声和许多孔洞，提供一些点的深度信息，对其进行填充获得完整且可用的深度图像，使用交叉双边滤波方法，对原始深度图像进行深度信息填充；步骤(2-3)、对于边缘特征，在灰度图像的基础上通过sobel边缘检测算子计算，获取图像的边缘轮廓信息，图像的边缘特征在光照变化时是不变的。3.如权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法，其特征在于：所述步骤(3)具体包括如下步骤：步骤(3-1)、每个分支结构是基于alexnet设计的，alexnet具有八层网络结构体系，包括五个卷积层和三个全连接层，由于全连接层的计算量大，且在位置识别中的性能不如卷积层，提取第一个能够减少特征位置对分类问题影响的全连层输出作为输出特征，提取并表征语义信息，增强特征对视点变化的鲁棒性；步骤(3-2)、根据步骤(2)得到的图像相应特征信息，选取两帧图像的特征信息，根据每帧图像的特征信息构造一个h
×
w
×
3的数组用于存储相应的特征描述符，即强度、深度和梯度；其中，h和w分别表示图像的高度和宽度，3表示相应特征信息的维度；将该特征向量调整为224*224*3大小，并传入到孪生网络，经过卷积池化得到图像的特征图，再将两个通道特征进行一次全连接，得到图像的全局特征；步骤(3-3)、将特征向量传入到孪生网络获取全局特征，对于第k个输入样本对，假设全连接层输出的特征向量为f
k
＝{f
k1
,f
k2
}，所述孪生网络的损失函数为：
其中，n为样本对的数量,m表示阈值是要在损失函数中学习的参数，y
k
是第k对样本的标签，d
k
＝‖f
k1-f
k2
‖2表示特征向量之间的欧式距，y
i
＝1为正样本，表示f
k1
和f
k2
来自同一类即两张图片相似；y
i
＝0表示负样本，f
k1
和f
k2
来自不同类，两张图片相似度较小，对比损失函数表示两张图像之间的匹配程度，将其用于模型的训练。4.如权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法，其特征在于,所述步骤(4)具体包括以下步骤：步骤(4-1)、计算当前输入图像全局特征与所有已输入的图像全局特征之间的欧式距离，计算公式如下：其中，d(i
i
,i
j
)是图像i
i
和i
j
之间的距离，f
i
和f
j
分别表示图像i
i
和i
j
提取的全局特征向量；||f
i
||2表示向量f
i
的l2范数，图像i
i
和i
j
之间的相似度定义为：其中s(i
i
,i
j
)表示两个全局特征向量之间的相似度，使用归一化距离获得相似度得分；步骤(4-2)、遍历所有已输入的图像，得到当前图像全局特征与所有已输入图像全局特征之间的欧式距离和匹配相似度得分，如果图像间的相似度等于或者超过指定阈值，将其作为回环候选图像。5.如权利要求4所述的一种基于孪生网络特征与几何验证的回环检测方法，其特征在于，所述骤(4-1)具体包括以下步骤：在机器人执行环路闭合检测任务时，由于机器人捕获的图像为连续图像，相邻图像间有较高的相似性，导致环路闭合检测错误；将摄像机当前捕获的图像视为查询图像，将先前捕获的图像视为数据库图像，为了避免相邻图像成为环路闭合候选帧，引入了一个约束来限制查询图像匹配范围，在查询图像的匹配范围内具体为：r＝n-f
·
t其中，r表示查询图像的匹配范围；n表示在查询图像之前的所有图像的集合；f为相机的帧率；t为预定义参数；f
·
t为在当前图像之前的f
·
t帧图像的集合，通过加入这个约束，避免环路闭合检测假阳性问题；若数据库图像在查询图像的匹配范围r内，根据这两张图像分别对应的全局特征计算这两张图像之间的相似度。6.如权利要求1所述的一种基于孪生网络特征与几何验证的回环检测方法，其特征在于,所述骤(5)具体包括以下内容：对于ldb描述符的提取，首先提取查询图像i
i
与回环候选图像i
n
的orb特征点，并以每个特征点为中心裁剪出大小为s
×
s的图像块，将图像块分割为c
×
c个大小相等的网格单元，分别计算每个网格单元的平均强度i
avg
和梯度d
x
,d
y
；对于每个图像块中的任意两个网格单
元m和n执行二进制测试，得到的二进制编码为orb特征点的ldb描述符。7.根据权利要求6所述的一种基于孪生网络特征和几何验证的回环检测方法，其特征在于，对于每个图像块中的任意两个网格单元m和n按如下公式执行二进制编码：式中，f(m)和f(n)分别表示网格单元m和n的平均强度i
avg
和梯度d
x
和d
y
的值，将图像块划分为c
×
c个网格单元，并将所有分区产生的二进制字符串连接起来，形成256比特的ldb描述符，对回环候选图像i
n
采用上述相同的方法提取图像orb特征点及ldb描述符。8.根据权利要求7所述的一种基于孪生网络特征和几何验证的回环检测方法，其特征在于，所述骤(6)具体内容为：采用二进制比率测试匹配ldb局部描述符i
i
和i
n
，二进制比率测试阈值ε定义如下：其中，f
ia
是查询图像i
i
的ldb描述符，和是基于快速近似最近邻(flann)算法在候选图像i
n
中找到的两个与f
ia
距离最接近的描述符；h(
·
)表示汉明距离，ε是距离的比率，比ε低的描述符匹配将被视为好的特征匹配，并被送入ransac计算基本矩阵t以剔除误匹配，如果基本矩阵t计算成功，则选择内点数最多的作为回环候选图像。9.根据权利要求8所述的一种基于孪生网络特征和几何验证的回环检测方法，其特征在于，采用汉明距离对输入图像i
i
与回环候选图像i
n
的ldb描述符进行匹配具体为：其中，f1,f2表示两个ldb描述符，f
i1
表述描述符f1的第i位，f
i2
表述描述符f2的第i位。
技术总结
本发明公开了一种基于孪生网络特征与几何验证的回环检测方法，属于计算机视觉图像技术领域，解决了传统方法在光照和视点变化下准确率较低的技术问题。其技术方案为：包括以下步骤：步骤1、获取输入的RGB-D图像；步骤2、获取多维特征信息；步骤3、提取图像全局特征；步骤4、计算图像间的相似度得分，根据相似度得分得到回环候图像；步骤5、采用几何一致性检验对两幅图像的描述符进行匹配；步骤6、采用随机采样一致性算法消除误匹配；步骤7、采用时间一致性检验进一步进行误匹配的剔除。本发明的有益效果为：本发明的孪生网络特征具有光照不变性，几何验证又能获得图像间的几何拓扑信息，提高了回环检测的精确率和召回率。了回环检测的精确率和召回率。了回环检测的精确率和召回率。
技术研发人员：张晓峰 陈哲 欧垚君 王梅 丁红 陶秦 施正阳 魏东
受保护的技术使用者：南通大学
技术研发日：2022.04.06
技术公布日：2022/8/5