一种基于机器视觉的三维坐标测量的实现方法

本发明涉及机器视觉领域,特别涉及一种基于机器视觉系统的三维坐标测量的实现方法。

背景技术：

1、随着工业技术的不断发展，人工智能理论和相关技术研究得到了迅猛的发展，“智能制造2025”的提出，标志着工业生产正逐步迈向智能化，而且人工智能在各领域中的应用占比逐年提高，机器视觉是人工智能的重要分支之一,因此机器视觉也是当下研究的热点。

2、随着机器人技术领域的不断研究,作为机器人的“眼睛”，机器视觉广泛应用在物体识别、分类等领域。并且据统计，人类从外界获取的信息有80％都是通过视觉，通过视觉可获得到物体的颜色、大小、形状和位置，为了使机器人通过视觉进行自主避障，深度信息是其中研究的重中之重。

3、因此，需要一种基于机器视觉系统的三维坐标测量方法来实现上述功能，并能在设定好的环境下自主识别物体并测量物体的三维坐标信息，为无人驾驶和机器人自主避障技术提供保障。

技术实现思路

1、本发明的目的是提出一种基于机器视觉系统的三维坐标测量的实现方法，该方法首先对双目相机拍摄到的实时画面使用改进高斯算法进行图像降噪处理，我们对高斯函数中的σ参数进行改进，当目标像素点与邻域内某像素点的值相差较大时，该方向上赋予的权重矩阵就越大，以此提高图像质量。再对处理好的图像进行匹配代价计算，我们在原基础上加入灰度图像通道，计算出来的汉明距离由原来的红、绿和蓝三通道平均值变为现在的红、绿、蓝和灰四通道平均值，在匹配代价聚合工作中也引入灰度图像，计算目标像素点邻域内的梯度值，根据设定好的规则生成自适应窗口，然后经过视差优化和后处理得到深度图，把深度图与左目图像进行位置映射，对yolov5算法中neck部分里面的csp2_x结构进行改进，把csp2_x结构中每一个cbl层的输出都经过conv层处理，处理结果一并送入concat层中，通过对yolov5算法的改进提高了物体识别的精度，最后将识别出的物体位置映射到深度图中，经过三角原理解算出该物体中心点的三维坐标信息。相信本发明可以应用在许多领域，为无人驾驶技术、机器人避障提供可能。

技术特征：

1.一种基于机器视觉的三维坐标测量的实现方法，其特征在于，该方法包括以下内容：

2.根据权利要求1所描述的基于机器视觉的三维坐标测量的实现方法，其中所述内容(1)中，我们对yolov5算法中neck部分里面的csp2_x结构进行改进，把csp2_x结构中每一个cbl层的输出都经过conv层处理，处理结果一并送入concat层中，以此来提高对被抓取物品的识别精度。经过上述步骤后，我们对被抓取的物品进行目标检测训练，得到训练过程中最优权重，然后部署模型进行实时识别。

3.根据权利要求1所描述的基于机器视觉的三维坐标测量的实现方法，其所述内容(2)中，本发明设计在jetson nano的开发板上实现部署，该算法首先获取双目相机采集到的实时画面，再对图像逐帧使用改进的高斯滤波算法进行图像降噪处理。我们对高斯函数中的σ参数进行改进，当目标像素点与邻域内某像素点的值相差较大时，该方向上赋予的权重矩阵就越大，以此来对相机拍摄时产生的椒盐噪声进行滤波处理。

4.根据权利要求1所描述的基于机器视觉的三维坐标测量的实现方法，其所述内容(3)中，对处理好的图像依次进行匹配代价计算、匹配代价聚合、视差优化和后处理步骤，我们在匹配代价计算中，加入灰度图像通道，计算出来的汉明距离由原来的红、绿和蓝三通道平均值变为现在的红、绿、蓝和灰四通道平均值。在匹配代价聚合中同样加入灰度图像，计算目标像素点邻域内的梯度值，梯度值越小，自适应窗口的范围就越大但不超过最大设定值。经过该算法即可生成相机拍摄到的深度图。

5.根据权利要求1所描述的基于机器视觉的三维坐标测量的实现方法，其所述内容(4)中，根据改进的yolov5算法识别出被测物体所在图像中的位置，把生成的深度图与左目相机拍摄到的原始图像进行映射，即可得到相对应的位置，选取被识别物体的中点作为测量三维坐标的目标点，由该点对应在左右图像中的像素位置坐标，根据三角原理即可计算出三维坐标信息。

技术总结
本发明设计一种基于机器视觉的三维坐标测量的实现方法，包括：由改进的yolov5模型实现对被测物体实时检测识别的算法；对双目相机实时画面进行预处理的算法；对处理过的图像使用改进AD‑Census进行立体匹配的算法；根据深度图生成被识别物体的三维坐标的算法。本发明解决了对被识别物体的三维坐标的测量，使用改进的yolov5算法生成被识别物体在图像中的位置，再映射到立体匹配得到的深度图中，即可获取被识别物体的三维坐标。该方法提高了测量三维坐标的精度，为无人驾驶、自动避障技术以及使用机器臂对的物品抓取奠定了基础。

技术研发人员：曹珍贯,李卓钦,李金标,方燎,杨逊,李锐
受保护的技术使用者：安徽理工大学
技术研发日：
技术公布日：2024/1/13