一种结合点云和语义识别的双目摄像头标定方法与流程

本发明涉及双目标定技术领域，更具体地说，它涉及一种结合点云和语义识别的双目摄像头标定方法。

背景技术：

双目摄像头因其双目视觉的slam(即时定位与地图构建)稳定性好，功能强大，广泛应用于各种机器人上。

但是，目前双目摄像头定位方法存在双目点云存在可能畸变的情况，标定方法复杂，精准度较差，并且目前其他双目标定方法都涉及复杂数据计算，视觉定位应用的门槛高。

基于上述问题，需要提出一种方法简单，可靠性强，大大降低视觉定位应用门槛的结合点云和语义识别的双目摄像头定位方法。

技术实现要素：

针对实际运用中这一问题，本发明目的在于提出一种结合点云和语义识别的双目摄像头标定方法，具体方案如下：

一种结合点云和语义识别的双目摄像头标定方法，包括如下步骤：

1)选择标识物，训练像素级别图像语义识别机器学习模型(m)，通过对所述模型(m)的转移学习，以使得所述语义识别机器学习模型(m)识别标识物；

2)双目摄像头输出点云和图片，所述语义识别机器学习模型(m)识别所述图片中的标识物，并从所述双目摄像头像素中找到所述对应像素在点云中的位置，对所述标识物进行定位，记录所述标识物在所述双目摄像头坐标系下的坐标(x)，同时记录所述标识物在世界坐标系下的坐标(y)，得到坐标组合(x，y)；

3)改变所述双目摄像头与所述标识物的相对位置；

4)重复多次所述步骤2)和所述步骤3)，得到多组所述坐标组合(x，y)；

5)将多组所述坐标组合(x，y)输入统计模型f，得到f(x)->y的方法。

进一步的，所述步骤5)中统计模型为多个模型组合而成的混合模型；

所述步骤5)中统计模型f包括转换矩阵、线性回归或多项式回归模型。

进一步的，所述步骤3)中相对位置改变的方式包括改变所述标识物位置和改变所述双目摄像头位置。

进一步的，所述步骤5中所述统计模型f用于实现所述标识物在所述双目摄像头坐标系下的坐标到所述标识物在所述世界坐标系下的坐标的转换。

与现有技术相比，本发明的有益效果如下：本发明中，通过结合双目摄像头点云和机器学习图像语义识别，并通过改变标识物与双目摄像头的相对位置，记录多组标识物在双目摄像头坐标系下的坐标和在世界坐标系下的坐标，并通过统计模型计算得出标定的方法，本发明中方法适用两种双目摄像头部署方式，方法简单，可靠性强，能同时纠正双目摄像头点云的可能畸变，相较于其他涉及复杂数据计算的双目标定方法来说，本发明中标定方法大大降低了视觉定位应用门槛。

附图说明

图1为本发明的中双目摄像头标定方法流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步的详细说明，但本发明的实施方式不仅限于此。

如图1所示，一种结合点云和语义识别的双目摄像头标定方法，包括如下步骤：

1)选择标识物，训练像素级别图像语义识别机器学习模型(m)，通过对模型(m)的转移学习，以使得语义识别机器学习模型(m)识别标识物；

2)双目摄像头输出点云和图片，语义识别机器学习模型(m)识别图片中的标识物，并从双目摄像头像素中找到对应像素在点云中的位置，对标识物进行定位，记录标识物在双目摄像头坐标系下的坐标(x)，同时记录标识物在世界坐标系下的坐标(y)，得到坐标组合(x，y)；

3)改变双目摄像头与标识物的相对位置；

4)重复多次步骤2)和步骤3)，得到多组坐标组合(x，y)；

5)将多组坐标组合(x，y)输入统计模型f，得到f(x)->y的方法。

步骤5)中统计模型为多个模型组合而成的混合模型；

步骤5)中统计模型f包括转换矩阵、线性回归或多项式回归模型。

步骤3)中相对位置改变的方式包括改变标识物位置和改变双目摄像头位置。

步骤5中统计模型f用于实现标识物在双目摄像头坐标系下的坐标到标识物在世界坐标系下的坐标的转换。

本发明的具体实施原理为：通过结合双目摄像头点云和机器学习图像语义识别，并通过改变标识物与双目摄像头的相对位置，记录多组标识物在双目摄像头坐标系下的坐标和在世界坐标系下的坐标，并通过统计模型计算得出标定的方法，本发明中方法适用两种双目摄像头部署方式，方法简单，可靠性强，能同时纠正双目摄像头点云的可能畸变，相较于其他涉及复杂数据计算的双目标定方法来说，本发明中标定方法大大降低了视觉定位应用门槛。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：

1.一种结合点云和语义识别的双目摄像头标定方法，其特征在于，包括如下步骤：

1)选择标识物，训练像素级别图像语义识别机器学习模型(m)，通过对所述模型(m)的转移学习，以使得所述语义识别机器学习模型(m)识别标识物；

2)双目摄像头输出点云和图片，所述语义识别机器学习模型(m)识别所述图片中的标识物，并从所述双目摄像头像素中找到所述对应像素在点云中的位置，对所述标识物进行定位，记录所述标识物在所述双目摄像头坐标系下的坐标(x)，同时记录所述标识物在世界坐标系下的坐标(y)，得到坐标组合(x，y)；

3)改变所述双目摄像头与所述标识物的相对位置；

4)重复多次所述步骤2)和所述步骤3)，得到多组所述坐标组合(x，y)；

5)将多组所述坐标组合(x，y)输入统计模型f，得到f(x)->y的方法。

2.根据权利要求1所述的结合点云和语义识别的双目摄像头标定方法，其特征在于，所述步骤5)中统计模型为多个模型组合而成的混合模型；

所述步骤5)中统计模型f包括转换矩阵、线性回归或多项式回归模型。

3.根据权利要求1所述的结合点云和语义识别的双目摄像头标定方法，其特征在于，所述步骤3)中相对位置改变的方式包括改变所述标识物位置和改变所述双目摄像头位置。

4.根据权利要求2所述的结合点云和语义识别的双目摄像头标定方法，其特征在于，所述步骤5中所述统计模型f用于实现所述标识物在所述双目摄像头坐标系下的坐标到所述标识物在所述世界坐标系下的坐标的转换。

技术总结
本发明公开了一种结合点云和语义识别的双目摄像头标定方法，涉及双目标定技术领域，包括如下步骤：选择标识物，训练图像识别机器学习模型；双目摄像头输出点云和图片，图像识别机器识别图片中的标识物，从双目摄像头像素中找到对应点云，对标识物进行定位，记录标识物在双目摄像头坐标系下的坐标，同时记录标识物在世界坐标系下的坐标，得到坐标组合；改变双目摄像头与标识物的相对位置；重复多次，得到多组坐标组合；将多组坐标组合输入统计模型，得到标识物在世界坐标系下的准确位置。本发明通过结合双目摄像头点云和机器学习图像语义识别实现标定，方法简单，可靠性强，能同时纠正双目摄像头点云的可能畸变，大大降低了视觉定位应用门槛。

技术研发人员：李维钧;陈柯;袁标;王金悦
受保护的技术使用者：上海点甜农业专业合作社
技术研发日：2019.12.20
技术公布日：2020.05.19