一种基于棋盘格标定板的物体3D位姿标签获取方法与流程

一种基于棋盘格标定板的物体3d位姿标签获取方法
技术领域
1.本发明涉及物体位姿获取技术领域，尤其涉及一种基于棋盘格标定板的物体位姿标签获取方法。


背景技术：

2.随着深度学习的发展，越来越多的网络关注物体空间位姿估计。空间位姿估计网络需要大量的具有位姿标签的训练数据，同时需要真实场景中的物体的位姿标签作为网络回归精度的计算依据。因此，物体真实位姿的获取在数据集构建和位姿估计准确性的评价方面具有非常重要的意义。
3.现有物体位姿信息主要通过两种形式获取，其一是通过物理仿真引擎得到仿真数据集及其标签，其二是通过间接的方式获取真实场景中的位姿信息。kilian kleeberger等人在文章“large-scale 6d object pose estimation dataset for industrial bin-picking”中使用最近点迭代算法获取真实场景的物体标签。romain bregier等人在文章“symmetry aware evaluation of 3d object detection and pose estimation in scenes of many parts in bulk”中使用在贴在物体上的标记物获取物体的位姿信息。在验证位姿估计准确性时，chien-ming lin等人在文章“visual object recognition and pose estimation based on a deep semantic segmentation network”中使用两自由度转台提供物体在真实场景中的相对位姿的标签。
4.间接算法获取位姿的方式，依赖完整可靠的场景三维信息和高鲁棒的模板匹配算法。在一些复杂场景下还需要手工去除干扰信息。使用物理引擎生成的数据，在泛化到真实场景的过程中会引起不可避免的精度损失。物体在相机坐标系下的绝对位姿的估计精度是影响物体抓取成功率的直接因素，因此使用相对位姿的评价不能够反映位姿估计在物体抓取任务中的表现。
5.因此，本领域的技术人员致力于开发一种基于棋盘格标定板的物体位姿标签获取方法，不依赖三维点云信息，不要求高鲁棒性匹配算法。


技术实现要素：

6.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是为真实场景中物体的位姿获取提供一种低成本高精度的方法，为物体位姿估计方法提供了真实的验证标签。
7.为实现上述目的，本发明提供了一种基于棋盘格标定板的物体3d位姿标签获取方法，其特征在于，包括如下步骤：
8.步骤1、建立物体的cad模型；
9.步骤2、将cad模型等比例投影得到物体轮廓模板；
10.步骤3、将所述物体轮廓模板和棋盘格标定板原点对齐；
11.步骤4、计算物体坐标系到棋盘格坐标系的变换矩阵，得到第一变换矩阵；
12.步骤5、将物体和棋盘格放置在模板上，标定相机外参、相机内参和径向畸变参数；
13.步骤6、移动相机使物体与棋盘格同时在相机视野内，获取单幅图片；
14.步骤7、使用所述径向畸变参数修正所述单幅图片，计算棋盘格坐标系到相机坐标系的变换矩阵，得到第二变换矩阵；
15.步骤8、根据所述第一变换矩阵和所述第二变换矩阵，计算物体坐标系到相机坐标系的变换矩阵，得到第三变换矩阵；
16.步骤9、采样所述cad模型，得到采样点在物体坐标系下的坐标值，为采样物体坐标值，使用所述第三变换矩阵，计算采样点在相机坐标系下的坐标值，得到采样相机坐标值；
17.步骤10、利用物体位姿估计方法得到物体在相机坐标系下的位姿估计值，计算所述采样点在相机坐标系下的坐标值，得到采样估计坐标值，与所述采样相机坐标值对比，得到位姿估计精度指标。
18.进一步地，所述步骤3包括：在所述物体轮廓模板中选取模板特征点，将所述模板特征点与棋盘格标定板原点对齐，计算所述模板特征点的偏移量。
19.进一步地，所述第一变换矩阵为：
[0020][0021]
式中x
f
、y
f
、z
f
为所述模板特征点在物体坐标系下的坐标值，δx、δy是所述模板特征点到棋盘格标定板原点的偏移量，δh是高精度棋盘格标定板的厚度，在不使用高精度标定板时其值为0。
[0022]
进一步地，相机外参是利用棋盘格角点和其实际坐标拟合得到，相机内参由张正友标定方法计算得到。
[0023]
进一步地，所述相机内参和所述径向畸变参数分别为：
[0024][0025]
式中f是工业相机焦距，dx是像素横向比例，dy是像素纵向比例，u0、v0是图像的主点坐标。
[0026]
进一步地，所述第二变换矩阵为：
[0027][0028]
式中r是棋盘格坐标系到相机坐标系的旋转变换，t是棋盘格坐标系到相机坐标系的平移矢量。
[0029]
进一步地，所述第三变换矩阵为：
[0030]
t
obj2camera
＝t
board2camera
·
t
board2obj-1
[0031]
进一步地，所述采样点物体坐标值为：
[0032][0033]
式中是第i个采样点在物体坐标系的坐标值。
[0034]
进一步地，所述采样相机坐标值为：
[0035][0036]
式中是使用所述第三变换矩阵得到的第i个采样点在相机坐标系的坐标值。
[0037]
进一步地，所述采样估计坐标值为：
[0038][0039]
式中是使用位姿估计方法所得的变换矩阵计算的第i个采样点在相机坐标系的坐标值。
[0040]
进一步地，所述位姿估计精度指标的计算公式为：
[0041][0042]
式中p
cami
分别是第i个采样点的采样估计坐标值和采样相机坐标值。
[0043]
与现有技术相比，本发明至少具有如下有益技术效果：
[0044]
1、可以在低成本条件下获取物体在相机坐标系下的姿态信息；
[0045]
2、在计算物体的位姿过程中直接使用棋盘格到相机的坐标变换，避免了机器人运动误差和其他现有方法中的其他误差；
[0046]
3、本发明为物体位姿估计提供了真实场景下的标签，为物体位姿估计的真实数据集的建立和位姿估计的评价提供基础。
[0047]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0048]
图1是本发明的一个较佳实施例的流程图；
[0049]
图2是本发明的一个较佳实施例的cad模型示意图；
[0050]
图3是本发明的一个较佳实施例的物体轮廓模板示意图；
[0051]
图4是本发明的一个较佳实施例的物体轮廓模板和棋盘格标定板的对齐示意图；
[0052]
图5是本发明的一个较佳实施例的物体坐标系到棋盘格坐标系的关系示意图；
[0053]
图6是本发明的一个较佳实施例的眼在手标定模型示意图；
[0054]
图7是本发明的一个较佳实施例的cad模型采样示意图；
[0055]
图8是本发明的一个较佳实施例的采样点误差分布图。
[0056]
其中，1-连杆工件cad模型，2-棋盘格标定板，3-工业相机，4-工业机器人。
具体实施方式
[0057]
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
[0058]
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
[0059]
本实施例的物体是工业场景中常见连杆工件，如图1所示，为本实施例的流程图，包括如下步骤：
[0060]
步骤1、建立连杆工件cad模型1，该模型由产品设计阶段得到，也可以使用重建系统或者测绘得到，cad模型1如图2所示。
[0061]
步骤2、将连杆工件cad模型1等比例投影得到连杆工件的轮廓模板，轮廓模板如图3所示。
[0062]
步骤3、将步骤2中得到的轮廓模板和棋盘格标定板2原点对齐。本实施例中选取小轴孔中心作为轮廓模板的模板特征点，并固定特征点与棋盘格原点的距离δx＝0mm、δy＝-90mm，轮廓模板与棋盘格标定板2对齐示意图如图4所示。
[0063]
步骤4、根据模板特征点在物体坐标系下的坐标值，以及模板特征点到棋盘格坐标原点的偏差，计算得到物体坐标系到棋盘格坐标系的变换矩阵。
[0064]
连杆工件的物体坐标系到棋盘格坐标系的关系如图5所示。连杆工件的物体坐标系{o1}建在工件的尺寸中心，即坐标原点在工件的尺寸中心。x轴从尺寸中心指向小轴圆孔中心、y轴从尺寸中心指向工件正面上方，且坐标系符合右手定则。根据张正友标定法中的定义，棋盘格标定的坐标系{o2}中心位于图5所示的右下角点上，x轴由该角点指向棋格较多的方向，y轴则由该角点指向棋格较少的方向，坐标系符合右手定则。
[0065]
由连杆工件cad模型1获得小轴中心的投影点在物体坐标系下的坐标为x
f
＝50.5mm、y
f
＝-12.5mm、z
f
＝0mm,则物体坐标系到棋盘格坐标系的变换矩阵为：
[0066][0067]
其中δx与物体坐标系的x轴方向同向时为正，δy与物体坐标系z轴反向时为正；
[0068]
将连杆工件外轮廓和其轮廓模板对齐，如使用高精度棋盘格标定板2，则将高精度棋盘格标定板2与棋盘格模板对齐。若高精度棋盘格标定板2的厚度为δh＝3mm，此时物体坐标系到棋盘格坐标系的变换矩阵为：
[0069][0070]
其中δh与物体坐标系y轴同向时为正。
[0071]
步骤5、将连杆工件cad模型1、标定板置于搭建的眼在手标定系统下，如图6所示，按照张正友相机标定流程，保持棋盘格标定板2不动，改变工业机器人4位形采集10～20副棋盘格图像。
[0072]
根据张正友相机标定方法，计算得到工业相机3的内部参数：
[0073][0074]
其中f是工业相机3焦距，dx是像素横向比例，dy是像素纵向比例，u0、v0是图像的主点坐标；
[0075]
工业相机3的径向畸变参数：
[0076][0077]
步骤6、完成了工业相机3的内部参数和畸变参数的标定后，移动工业机器人4使连杆和标定板同时在相机的视野中，采集此时工业相机3呈像。为了获取连杆在相机坐标系下不同距离和姿态下的图像和标签，保持工件和棋盘格标定板2不动。改变工业机器人4位形，保证工件和棋盘格标定板2在相机视野内，使工件在相机坐标系下的姿态发生变化。
[0078]
步骤7、使用步骤5中获得的径向畸变参数k矫正步骤6中采集到的图像，矫正后图像像素坐标与原始图像像素坐标关系为：
[0079][0080][0081]
其中是工业相机3产生径向畸变后的图像像素坐标，u、v是工业相机3在理
想情况下呈像所得的图像像素坐标，u0、v0是图像主点坐标值，k1、k2是径向畸变参数，r是像素点与主点的实际距离；
[0082]
使用张正友标定方法，利用去畸变后的图像获得棋盘格坐标系到相机坐标系的变换矩阵：
[0083][0084]
步骤8、根据步骤4和步骤7计算所得，获取图像中工件在图像坐标系下的位姿，即连杆的物体坐标系到相机坐标系的齐次变换矩阵为:
[0085]
t
obj2camera
＝t
board2camera
·
t
board2obj-1
[0086]
计算得到：
[0087][0088]
步骤9、随机采样连杆工件cad模型1，得到采样点在物体坐标系下的坐标值p
obj
，采样点如图7所示，并计算采样点在相机坐标系下坐标值p
cam
。
[0089]
步骤10、为了评价现有的物体位姿估计网络的精度，使用该网络所估计的物体位姿结果计算步骤9中采样点在相机坐标下坐标值以与p
cam
的平均距离作为该网络位姿估计的精度指标。本实施例中平均距离为4.337mm，采样各点误差如图8所示。该平均距离描述了网络所得的物体位姿结果与本文给出的位姿标签的误差，平均距离越大说明该网络预测的物体位姿误差大，精度低。
[0090]
本实施例的基于棋盘格标定板2的物体位姿标签获取方法，为真实场景中物体的标签提供了一种低成本、高精度的获取方法。通过该标签计算的平均距离可以为网络训练提供损失定义，同时能够给出网络结果的精度指标。
[0091]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。