一种基于双目视觉的工件识别和定位方法与流程

1.本发明涉及工件定位技术领域，具体为一种基于双目视觉的工件识别和定位方法。


背景技术：

2.双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
3.现今双目视觉识别工件的时候，使用之前需要对双目相机进行调整，调整起来比较麻烦，光照角度变化、光照强度变化等环境因素对双目相机的影响也比较大，光照较强和较暗的情况下对处理算法造成压力，容易影响处理的精准度。


技术实现要素：

4.本发明的目的在于提供一种基于双目视觉的工件识别和定位方法，包括以下步骤：
5.s1：对双目相机的参数进行标定，得到单应矩阵，根据标定结果对原始图像校正；
6.s2：拿出一个工件，打开相机进行拍照侧视调整相机角度，并备份到处理终端保存为副本；
7.s3：处理拍摄的图像，将图像的光线做出补正；
8.s4：将拍摄出的两张图像通过三维模型处理，模拟出工件的三维空间模型；
9.s5：分析工件的特征点，通过与放置平台上的定位点对比计算工件的位置，进行定位。
10.可选的，所述对双目相机进行标定之后，通过得到的参数对双目相机做出调整，校正后双目相机两个摄像头成像位于同一平面且互相平行。
11.可选的，所述调整好双目相机之后，在放置平台中放置一个工件，开始测试双目相机的成像，并对双目相机做二次调整，调整之后将调整完成的数据发送数据处理终端。
12.可选的，所述双目相机进行第二次调整之后，通过调整数据传输单元将调整之后数据发送到数据处理终端，在数据终端将数据通过数据备份单元备份副本，将数据发送到数据整合分析单元，最后将数据存储在云端。
13.可选的，所述双目相机调整完成之后，开始工作时，双目相机对放置平台上的工件开始摄像扫描，双目相机拍摄的图像通过图像传输单元传输到图形处理单元，通过图像单元中的图像渲染模块，对图像进行自然光渲染。
14.可选的，所述图像进行自然光渲染之后，将渲染之后的图像传输到分析定位单元，在分析定位单元中，将两张图像进行处理，将图像中平面坐标系转化为三维坐标系，将图像转化为三维模型。
15.可选的，所述将图像转化为三维模型之后，通过分析定位单元在三维成像的工件
中添加特征点，工件的放置平台上设置有辅助定位的定位点，分析定位单元通过定位点和特征点进行计算，对工件进行识别定位。
16.可选的，所述对工件的识别和定位完成之后，将分析的数据传输到传感控制单元，通过传感数据单对设备的处理装置发出命令，开始处理工件。
17.与现有技术相比，本发明的有益效果是：
18.本发明通过将对双目相机的调整数据上传到数据整合分析单元进行整合处理，并统一上传到云端保存，方便后续使用时查询，可以加快双目相机的调整，节省时间，通过渲染自然光，从而对图像中的采光进行补正，避免光照太强或者太弱会增加算法处理的压力，导致计算结果不精准。
附图说明
19.图1为本发明数据整合图；
20.图2为本发明图像处理图。
21.附图标号说明：
22.1、调整数据传输单元；2、数据处理终端；3、数据备份单元；4、数据整合分析单元；5、图像传输单元；6、图像处理单元；7、图像渲染模块；8、分析定位单元；9、传感控制单元。
23.本发明目的的实现、功能特点及优点将结合实施例，参照附图作进一步说明。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.本发明提供一种基于双目视觉的工件识别和定位方法；
26.s1：对双目相机的参数进行标定，得到单应矩阵，根据标定结果对原始图像校正；
27.对双目相机进行标定之后，通过得到的参数对双目相机做出调整，校正后双目相机两个摄像头成像位于同一平面且互相平行；对双目相机进行调整确保后期定位的准确。
28.单应矩阵通过以下公式计算，设平面π在第一个相机坐标系下的单位法向量为n，其到第一个相机中心坐标原点的距离为d，则平面π可表示为：
29.ntx1＝d
30.即
31.1/dntx1＝1,x1∈π
32.其中，x1是三维点p在第一相机坐标系下的坐标，其在第二个相机坐标系下的坐标为x2，则
33.x2＝rx1+t
34.将上面式子结合起来，
35.x2＝rx1+t1/dntx1＝(r+t1/dnt)x1＝h
′
x1
36.所以就得到了同一平面两个不同相机坐标系的单应矩阵
37.h
′
＝r+t1/dnt
38.上面提到单应表示的是两个平面之间的映射，这里为何得到了同一平面两个不同相机坐标系的单应矩阵，虽然平面是通过，但是在不同坐标系中会有不同的表示，单应也是将平面从一个位置映射到另一个位置，并保持其某些性质不变，例如保线性，
39.上面得到的单应矩阵第一个相机坐标系取得，还需要将其变换到成像平面坐标系中，取得两图像间的单应矩阵。设x1,x2为p在两图像的像点坐标，x1＝kx1,x2＝kx2
40.k是相机的内参数，代入上面求得单应变换公式
[0041][0042]
所以，同一平面得到的两个图像间的单应矩阵h为
[0043]
h＝k(r+t1/dnt)k
‑1[0044]
s2：拿出一个工件，打开相机进行拍照侧视调整相机角度，并备份到处理终端保存为副本；
[0045]
调整好双目相机之后，在放置平台中放置一个工件，开始测试双目相机的成像，并对双目相机做二次调整，调整之后将调整完成的数据发送数据处理终端2，通过数据处理终端2对调整双目相机的数据进行接受记录，方便使用时的再次调整。
[0046]
双目相机进行第二次调整之后，通过调整数据传输单元1将调整之后数据发送到数据处理终端2，在数据终端2将数据通过数据备份单元3备份副本，将数据发送到数据整合分析单元4。最后将数据存储在云端，数据整合分析单元4对双目相机的调整数据进行整合处理，并统一上传到云端保存，以方便后续使用时查询。
[0047]
s3：处理拍摄的图像，将图像的光线做出补正；
[0048]
双目相机调整完成之后，开始工作时，双目相机对放置平台上的工件开始摄像扫描，双目相机拍摄的图像通过图像传输单元5传输到图形处理单元，通过图像单元5中的图像渲染模块7，对图像进行自然光渲染，通过屏幕空间环境光遮蔽对图像进行简单的空间划分，然后进行计算，通过采样象素周围的信息，进行简单的深度值对比来计算物体身上环境光照无法到达的范围，从而对图像中的采光进行补正，避免光照太强或者太弱会增加算法处理的压力，导致计算结果不精准。
[0049]
s4：将拍摄出的两张图像通过三维模型处理，模拟出工件的三维空间模型；
[0050]
图像进行自然光渲染之后，将渲染之后的图像传输到分析定位单元8，在分析定位单元8中，将两张图像进行处理，将图像中平面坐标系转化为三维坐标系，将图像转化为三维模型，提取图像的特征点，进行视差估计，然后通过信息重建三维空间场景，可获得稀疏视差图，通过插值可获得稠密视差图，算法速度快，能使运算加快，提高处理效率。
[0051]
s5：分析工件的特征点，通过与放置平台上的定位点对比计算工件的位置，进行定位；
[0052]
将图像转化为三维模型之后，通过分析定位单元8在三维成像的工件中添加特征点，工件的放置平台上设置有辅助定位的定位点，分析定位单元8通过定位点和特征点进行计算，对工件进行识别定位，通过设置定位点，可辅助计算工件的位置，以定位点为参照点，可以使计算出的结果更加准确，避免计算不准确影响设备的运行。
[0053]
icp算法核心是最小化一个目标函数：
[0054][0055]
首先固定r跟t利用最邻近算法找到最优的点对，然后固定最优的点对来优化r和t，依次反复迭代进行，这两个步骤都使得目标函数值下降，所以icp算法总是收敛的，这也就是原文中收敛性的证明过程，这种优化思想与k均值聚类的优化思想非常相似，固定类中心优化每个点的类别，固定每个点的类别优化类中心。
[0056]
对工件的识别和定位完成之后，将分析的数据传输到传感控制单元9，通过传感数据单9对设备的处理装置发出命令，开始处理工件。
[0057]
以上内容是结合具体实施方式对本发明作进一步详细说明，不能认定本发明具体实施只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明所提交的权利要求书确定的保护范围。