一种立体视觉定位方法与流程

1.本发明属于机器视觉领域，具体涉及一种立体视觉定位方法。


背景技术：

2.随着机器视觉技术的发展，越来越多的领域开始将立体视觉技术应用在物流、生产等环节，以提升该领域的工业自动化程度。例如利用机械手抓取工件时，首先需要利用立体视觉技术确定工件的位置坐标，然后控制机械手根据该工件位置坐标进行定位和抓取。
3.现有的立体视觉定位方法是先利用激光结构光或者双目相机对目标物体进行三维重建，获得三维点云，然后在三维点云数据中将目标物体从复杂的背景里分割提取出来并确定位置。该方法有如下缺点：1、采集点云数据的传感器精度高但速度慢，或者速度快但精度低，均不能很好地满足实际需求；2、点云数据量大，处理速度不及时；3、点云数据的分割、目标物体的识别均涉及到难度较大的算法，并且成功率很低。
4.如何提升立体视觉定位的精准度并降低数据处理量，对于提高定位速度、简化硬件开销和降低成本均具有重要意义，也有助于后续工序的顺利开展。


技术实现要素：

5.本发明的目的是提供一种立体视觉定位方法，该方法利用二维图像和激光测距成功获取了目标物体关键点的位置坐标，实现了快速精准定位，避免采集和处理三维点云，定位精准度高，处理速度快，既简化了硬件开销，又提升了定位效果。
6.为实现上述目的，本发明采取以下技术方案：一种立体视觉定位方法，包括如下步骤：s1：利用2d相机采集目标物体和周围环境景象，得到二维图像；s2：对二维图像进行识别，分割出目标物体，并确定目标物体关键点在图像坐标系中的坐标；s3：利用激光测距传感器发出激光，通过调整激光的发射角度使激光光斑落在目标物体关键点上，并由此获取激光距离数据；s4：根据所述激光的发射角度和所述激光距离数据，确定所述目标物体关键点的球坐标，并由所述球坐标得到目标物体关键点在绝对坐标系中的三维坐标。
7.优选的，在s3中，利用激光振镜调整激光的发射角度使激光光斑落在所述目标物体关键点上。
8.或者优选的，在s3中，利用伺服电机带动所述激光测距传感器运动从而调整激光的发射角度使激光光斑落在所述目标物体关键点上。
9.进一步的，在s3中，利用所述2d相机采集所述激光光斑的图像并获取激光光斑在图像坐标系中的坐标，然后根据激光光斑坐标和所述目标物体关键点的坐标并通过pid控制算法调整激光的发射角度并使激光光斑落在所述目标物体关键点上。
10.优选的，通过前端运算采集卡执行pid控制算法并调整激光的发射角度从而使激
光光斑落在所述目标物体关键点上。
11.本发明方法在构思上不需要采集和处理目标物体的三维点云，而是仅获取目标物体的关键点坐标，通过关键点坐标实现目标物体的定位。具体则是首先获取目标物体的二维图像，并取得关键点在图像坐标系中的坐标，然后将激光打在目标物体上并获取激光光斑在图像坐标系中的坐标，然后根据pid反馈控制算法使光斑坐标与关键点坐标相匹配，由此实现工作场景中激光光斑与目标物体关键点的重合，从而测定目标物体关键点的激光距离，并可以结合激光发射角度建立起目标物体关键点在球坐标系中的坐标，进而将球坐标转换成绝对坐标系中的三维坐标，最终实现目标物体关键点定位。整个过程需要采集和处理的数据量小，运算速度快，处理精度高，避免了算法的复杂度，使立体视觉的定位效率和质量得到了极大提升。
附图说明
12.图1为球坐标与直角坐标的对应关系，其中原点o对应发射激光的激光振镜的位置，点p为目标物体关键点（如箱子上表面中性点）的位置。
具体实施方式
13.本发明目的在于通过立体视觉为目标物体定位，现实场景中目标物体多种多样，例如机械手抓取箱子时，需要为箱子确定位置，在机械手抓取钢材进行装卸时，需要为钢材确定位置，等等。应该明确，在一般应用场景下，确定了目标物体关键点的位置坐标，实际上就确定了目标物体的位置，例如确定了箱子中心点的位置、钢材中心点的位置等，实际上就确定了箱子、钢材的位置，该位置坐标即可以作为机械手抓取的目标位置使用。下面以箱子的立体视觉定位为例来详细说明本发明，但是应该明确，该方法同样适用于其他目标物体的定位，如为小型工件、大型物料定位等等。
14.第一步：利用2d工业相机对箱子和周围环境场景进行拍照，得到箱子和环境的二维图像；第二步：对箱子和环境的二维图像进行识别，从中分割出箱子，并确定箱子表面的中心点（作为关键点）在图像坐标系中的坐标，具体做法如下：首先，在识别定位工作开展之前，需要提前拍摄部分箱子的样本图像，人工标注出箱子的轮廓特征，这些特征样本图像将作为二维识别算法的输入参数。二维物体识别可采用最常用，且高效的支持向量机（svm）分类器算法，针对复杂环境和目标，也可采用卷积神经网络（cnn），对目标样本图像进行训练。
15.然后，将svm算法或者cnn算法提取出来的样本图像特征，与现场二维相机拍摄的箱子及周边环境的特征作比较，即可由计算机自动在新的图像上标注出箱子的轮廓。
16.当提取出图像中的箱子轮廓后，可利用图像处理工具，提取箱子表面的轮廓线，再计算出表面的中心点图像坐标。
17.第三步：利用激光测距传感器发出激光，通过调整激光的发射角度使激光光斑落在目标物体关键点上，并由此获取激光距离数据，具体包括如下环节：1、设定激光传感器位置，并实现激光发射角度可调，包括1.1 采用激光振镜来调整激光发射角度，当激光光斑与箱子关键点重合后，该激
光线长度表示箱子关键点p到激光振镜为原点o的球坐标的距离r，并且在以激光振镜为原点的直角坐标系中，可知线段op与z轴的夹角θ，线段op在xy平面的投影与x轴的夹角为φ，则球坐标(r，θ，φ)即对应直角坐标（x，y，z）（图1所示），得到直角坐标即可通过标定关系换算出该直角坐标相对于任一绝对直角坐标系的坐标，如可以换算出在以机械手底座为原点的绝对直角坐标系内的坐标，从而为机械手抓取提供箱子的位置坐标。针对激光振镜的情况，夹角θ，φ由激光振镜的偏转角度得出。
18.1.2或者，采用两个伺服电机使激光测距传感器在水平面内相对于横轴转动（确定夹角φ），在竖直面内相对于纵轴转动（确定夹角θ），由此确定关键点的球坐标，并进而确定直角坐标。
19.2、通过调整激光的发射角度，使激光光斑与箱子中心点重合，并由此获取激光距离数据，包括：利用前述2d工业相机拍摄箱子、激光光斑和环境的图像，并从中抽取出激光光斑的图像，同时确定激光光斑在图像坐标系中的坐标。抽取激光光斑的图像时，既可以根据激光光斑的高亮度（该点rgb值明显异于其他像素点）获取激光光斑的图像，也可以通过带有激光光斑的图像与原来没有激光光斑的图像进行对比做图像减法而获得激光光斑的图像。
20.根据箱子关键点坐标与激光光斑图像的坐标差值，利用pid反馈控制算法调整激光振镜或伺服电机的动作，使激光光斑不断接近箱子关键点，并最终重合，此时即可通过激光测距传感器获得线段op的距离r。
21.第四步：根据所述激光的发射角度和所述激光距离数据，确定所述目标物体关键点的球坐标，并由所述球坐标得到目标物体关键点在绝对坐标系中的三维坐标。具体的：激光光斑与箱子关键点重合，即表示球坐标系中线段op的方位确定，此时线段op与z轴夹角θ，线段op在xy平面上的投影与x轴的夹角φ即确定，结合已经确定的距离r，得到箱子关键点的球坐标 (r，θ，φ)，进而得到相应直角坐标系的坐标，通过标定，即可获得在任一给定的绝对直角坐标系中的坐标，从而完成定位任务。
22.在一个优选实施例中，通过前端运算采集卡执行pid控制算法，并根据运算结果反馈输出控制激光振镜转动或伺服电机转动，从而实现调整激光的发射角度并最终使激光光斑落在所述目标物体关键点上。前端运算采集卡作为单片机使用，体积小，安装灵活，成本低，省去了以往三维点云处理所用的工业电脑，突出体现了本发明的优势。
23.实际应用中，如何选取目标物体的关键点需要根据具体问题确定，在选定关键点后，可使用本方法进行快速精准定位。
24.本实施例只是对发明构思和实现的说明，并非对其进行限制，在本发明构思下，未经实质变换的技术方案仍然在保护范围内。