一种基于光纤连接器端面检测仪的机械臂自动插入方法

1.本发明涉及自动上料的技术领域，具体而言，涉及一种在光纤连接器端面检测仪上的机械臂自动插入方法。


背景技术：

2.光纤连接器，是光纤与光纤之间进行可拆卸连接的器件，它把光纤的两个端面精密对接起来，以使发射光纤输出的光能量能最大限度地耦合到接收光纤中去，并使由于其介入光链路而对系统造成的影响减到最小，这是光纤连接器的基本要求。在一定程度上，光纤连接器影响了光传输系统的可靠性和各项性能。
3.本发明涉及的光纤连接器端面检测仪主要基于白光干涉原理，融合温控、光控、像素判别、噪声检测、滤波、合格性检测等多个技术模块，能计算并输出mpo光纤连接器的4种无参考评价指标并根据iec标准评估其是否合格，从而增加检测结果的可靠性、正确性。本光纤连接器端面检测仪分为多参数的mpo连接器检测硬件设备和mpo连接器检测软件平台两部分。
4.硬件设备采用白光干涉技术，通过整合压电陶瓷控制平台、ccd摄像头等配件，并搭载自主研发的单光子光强检测电路和高精度温敏控制电路，能够捕获更加准确的干涉图片，实现快速检测的应用标准。
5.软件平台基于干涉图像，采用神经网络学习图像中环境噪声的特征，并应用集成学习优化判别算法，对于噪声像素点进行识别。对于区分出来的噪声位置，应用多种滤波算法进行降噪处理，最后将复原结果展示在可视化软件平台上，进行参数测量和显示。
6.随着日益增长的科学技术，社会上对产品的功能以及工作效率的要求越来越高，而人工插拔光纤连接器方式的插拔效率不高，检测员容易疲劳，造成插拔不稳定而导致检测时出现对连接器好坏的误判，影响检测准确率，且人工插入光纤连接器时容易发生倾斜以致损坏连接器以及光纤插槽，此外，当检测员不方便使用检测仪时，本发明设计的基于光纤连接器端面检测仪的机械臂自动插入方法也正可以解决该问题，所以做自动化设备进行自动插入和判断势在必行。


技术实现要素：

7.本发明的目的在于：解决利用机器视觉识别引导机械臂抓取光纤连接器进行检测仪上料过程中存在的至少一个技术问题，即对于目标对象(光纤连接器)的准确识别，并分析出其位置信息，以及对于可拆卸机械臂和图象采集装置的设计，以提高检测仪自动插入系统的通用性和效率。
8.本发明的技术方案是：提出了一种基于光纤连接器端面检测仪的机械臂自动插入方法，该自动插入系统设置于光纤连接器端面检测仪的上方，自动插入系统用于对检测仪进行上料，自动插入系统包括：图像采集装置，识别定位系统，机械臂以及机械夹；图像采集装置的固定端通过可拆卸底座设置于光纤连接器端面检测仪的上方左侧，图像采集装置用
于获取光纤连接器端面检测仪旁光纤连接器的图像；识别定位系统被配置为利用基于yolov5算法的目标对象识别神经网络识别并定位图像中的光纤连接器；机械臂的固定端通过可拆卸底座设置于光纤连接器端面检测仪的上方右侧，机械臂的自由端安装有机械夹，机械臂用于带动机械夹移动至坐标位置，以夹取坐标位置上的光纤连接器，机械臂还用于移动至检测仪的上料区域，并插入光纤连接器。
9.上述技术方案中，图像采集装置进一步地包括相机、支架、可拆卸底座。相机通过支架与可拆卸底座相连接固定，相机在固定机位拍摄长宽都为640的3通道rgb彩色图像。
10.上述技术方案中，识别定位系统还被进一步地配置为：利用基于yolov5算法的目标对象识别神经网络识别并定位图像中的光纤连接器，首先将包含光纤连接器的rgb彩色图像输入yolov5神经网络，由yolov5神经网络对图像进行处理，识别出图像中的光纤连接器和光纤连接器一侧的两个角点，图像中的光纤连接器和光纤连接器一侧的两个角点分别属于两个对象，依据目标对象得到光纤连接器的边界框和光纤连接器一侧的两个角点的边界框和边界框的相关参数x、y、w、h，边界框置信度to和第i类别的置信度tci，以及目标网格对应的类别分数pr(class1)，由此分析出目标对象(即光纤连接器)的目标位置信息。
11.上述技术方案中，在基于yolov5算法的目标对象识别神经网络识别定位之前，需要对目标对象识别神经网络进行训练，将包含光纤连接器类别对象的多个数据组成的数据集和包含光纤连接器一侧的两个角点类别对象的多个数据组成的数据集分别进行分类，即把数据集按照7：2：1的比例分成训练集、验证集以及测试集，训练800个迭代终止保存参数模型得到训练好的目标对象识别神经网络。
12.上述技术方案中，机械臂进一步地被配置为：判断第二个待夹取光纤连接器的边界框是否与第一个待夹取光纤连接器的边界框存在交集。若第二个待夹取光纤连接器的边界框与第一个待夹取光纤连接器的边界框不存在交集，依次抓取第一个待夹取光纤连接器和第二个待夹取光纤连接器，若第二个待夹取光纤连接器的边界框与第一个待夹取光纤连接器的边界框存在交集，判断下一个光纤连接器作为第二待夹取光纤连接器，重新判断边界框是否存在交集，直至确定第一个待夹取光纤连接器和第二个待夹取光纤连接器。
13.上述技术方案中，目标对象的目标位置信息进一步地包括光纤连接器坐标及光纤连接器角度，其中，光纤连接器坐标为光纤连接器边界框的中心点坐标，光纤连接器角度由光纤连接器一侧的两个角点的边界框的中心点坐标通过三角函数确定。
[0014][0015]
上述技术方案中，图像采集装置和机械臂的可拆卸底座进一步地被配置为通过可拆卸底座上的螺丝与光纤连接器端面检测仪固定，达到运输携带方便且安装牢固的目的。
[0016]
本发明中的技术方案与一般光纤连接器端面检测仪相比，考虑到人工插拔光纤连接器方式的插拔效率不高，且人工插入光纤连接器时容易发生倾斜以致损坏连接器以及光纤插槽，从而影响了检测准确率。进而实现了基于光纤连接器端面检测仪的机械臂自动插入方法。与现有技术相比，本发明中的自动插入系统省去了人工插拔光纤的工序，提高了效率，且排除了光纤在插拔过程中容易发生倾斜一直损坏连接器以及光纤插槽的情况，稳定性更高，通用性更好，进而也提高了检测准确率。
附图说明
[0017]
图1为本发明实施例提供的基于光纤连接器端面检测仪的机械臂自动插入方法包括的各步骤的流程示意图。
[0018]
图2为本发明实施例提供的第一模型m1_yolo和第二模型m2_yolo构建过程示意图。
[0019]
图3为本发明实施例提供的基于光纤连接器端面检测仪的机械臂的结构示意图。
[0020]
图4为本发明实施例提供的图像采集装置可拆卸底座的结构示意图。
[0021]
图5为本发明实施例提供的机械臂可拆卸底座的结构示意图。
[0022]
附图标记说明：1光纤连接器端面检测仪、2机械臂、3机械夹、4支架、5相机、6可拆卸底座、7螺丝。
具体实施方式
[0023]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0024]
应当明确，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0025]
参照图3所示的内容，本发明实施例提供了一种基于光纤连接器端面检测仪的机械臂自动插入方法，该自动插入系统设置于光纤连接器端面检测仪1的上方，自动插入系统用于对检测仪进行上料，自动插入系统包括：图像采集装置，识别定位系统，机械臂2以及机械夹3；图像采集装置的固定端通过可拆卸底座6设置于光纤连接器端面检测仪的上方左侧，图像采集装置用于获取光纤连接器端面检测仪1旁光纤连接器的图像；识别定位系统被配置为利用基于yolov5算法的目标对象识别神经网络识别并定位图像中的光纤连接器；机械臂2的固定端通过可拆卸底座6设置于光纤连接器端面检测仪1的上方右侧，机械臂2的自由端安装有机械夹3，机械臂2用于带动机械夹3移动至坐标位置，以夹取坐标位置上的光纤连接器，机械臂2还用于移动至检测仪的上料区域，并插入光纤连接器。
[0026]
具体的，该自动插入系统主要包括图像采集装置、识别定位系统以及机械臂2以及机械夹3。该图像采集装置主要由相机5、支架4、可拆卸底座6组成，而相机则通过支架与可拆卸底座相连接固定。
[0027]
该图像采集装置在获取到长宽都为640的3通道rgb彩色图像后，为了能够识别出一个完整的光纤连接器，引入了识别定位系统，该识别定位系统利用基于yolov5算法的目标对象识别神经网络识别并定位图像中的光纤连接器。
[0028]
具体的，在识别定位系统识别之前，先根据相机5的拍摄区域，调动机械臂2划取夹取区域，作为目标对象识别区域，并把光纤连接器按顺序有间隔的排列摆放在目标对象识别区域中。
[0029]
具体的，在识别定位系统应用之前，要先对目标对象识别神经网络进行训练，使其能够准确识别并定位出光纤连接器，具体步骤如下：
[0030]
步骤一：通过图像采集装置获取海量包含光纤连接器的图像，用目标检测标注工
具labelimg逐张标注图像中的光纤连接器，由此得到数据集d1，保存为txt格式，txt中存放标签数据，每一行数字分别表示：目标类别，x，y，w，h。
[0031]
步骤二：将步骤一中得到的带有光纤连接器标注的数据集d1分为一个训练数据集d1_train、一个验证数据集d1_val和一个测试数据集d1_test，将训练数据集d1_train输入yolov5算法中得到一个目标检测模型m1_train，进一步将验证数据集d1_val输入该目标检测模型中验证，得到符合验证精度要求的第一模型m1_yolo，再将测试数据集d1_test输入符合验证精度要求的第一模型m1_yolo进行测试，最终确认模型m1_yolo即为符合验证精度要求的第一模型。
[0032]
具体的，对于目标对象的目标位置信息中光纤连接器角度的确认模型也将利用上述方法进行训练，具体步骤如下：
[0033]
步骤一：通过图像采集装置获取海量包含光纤连接器的图像，用目标检测标注工具labelimg逐张标注图像中的光纤连接器一侧的两个角点，由此得到数据集d2和d3(d2和d3分别代表两个角点的数据集)，保存为txt格式，txt中存放标签数据，每一行数字分别表示：目标类别，x，y，w，h。
[0034]
步骤二：将步骤一中得到的带有光纤连接器一侧的两个角点标注的数据集d2分为一个训练数据集d2_train、一个验证数据集d2_val和一个测试数据集d2_test，d3分为一个训练数据集d3_train、一个验证数据集d3_val和一个测试数据集d3_test，将训练数据集d2_train和d3_train输入yolov5算法中得到一个目标检测模型m2_train，进一步将验证数据集d2_val和d3_val输入该目标检测模型中验证，得到符合验证精度要求的第二模型m2_yolo，再将测试数据集d2_test和d3_test输入符合验证精度要求的第二模型m2_yolo进行测试，最终确认模型m2_yolo即为符合验证精度要求的第二模型。
[0035]
以及，结合图1和图2，并按照实际的模型构建及图像检测识别的顺序详细提供以下一实施例：
[0036]
如图1所示流程示意图，
[0037]
s1、如图4和图5所示，将图像采集装置和机械臂2通过可拆卸底座6安装固定在光纤连接器端面检测仪1上方。
[0038]
s2、根据相机5的拍摄区域，调动机械臂2划取夹取区域，作为目标对象识别区域，并把光纤连接器按顺序有间隔的排列摆放在目标对象识别区域中。
[0039]
s3、使用图像采集装置搭载的相机5获取海量长宽都为640的3通道rgb彩色图像，通过初步筛选，选取其中包含光纤连接器的图像。
[0040]
s4、对图像进行人工框选标注处理，由检测员使用目标检测标注工具labelimg逐张拉框选取出光纤连接器以及光纤连接器一侧的两个角点的矩形框。
[0041]
s5、对步骤4的图像进行增强操作，包括旋转、缩放、模糊等，使得样本质量增强，得到样本数据集d1、d2、d3(d1代表光纤连接器的数据集，d2和d3分别代表两个角点的数据集)。其中，该增强操作主要目的为增强图像的辨识度，尤其提高矩形框处的辨识度，当然也可对获得图像进行增强操作后再进行步骤4的标注处理，获得更多更清晰的样本图像。
[0042]
s6、按照7：2：1的比例将步骤5生成的样本数据集d1随机分成一个训练数据集d1_train、一个验证数据集d1_val和一个测试数据集d1_test，d2随机分成一个训练数据集d2_train、一个验证数据集d2_val和一个测试数据集d2_test，d3随机分成一个训练数据集d3_
train、一个验证数据集d3_val和一个测试数据集d3_test。
[0043]
s7、将训练数据集d1_train、d2_train和d3_train数据(d1_train属于光纤连接器类别对象，d2_train和d3_train属于光纤连接器一侧的两个角点类别对象)输入yolov5算法进行模型训练，调整算法参数，通过多轮的迭代，每次迭代将对模型参数进行更新，并计算损失值，直到损失值达到可以接受，得到光纤连接器和光纤连接器一侧的两个角点的目标检测模型。
[0044]
s8、使用步骤7生成的最优目标检测模型对验证数据集d1_val、d2_val和d3_val进行预测和模型精度验证，调整参数，重复进行步骤7，至模型满足精度要求，如平均精度map》95％，得到第一模型m1_yolo和第二模型m2_yolo。
[0045]
s9、将测试数据集d1_test输入符合验证精度要求的第一模型m1_yolo进行测试，测试数据集d2_test和d3_test输入符合验证精度要求的第二模型m2_yolo进行测试，最终确认模型m1_yolo即为符合验证精度要求的第一模型，模型m2_yolo即为符合验证精度要求的第二模型。
[0046]
s10、对于待识别定位的图像，首先使用第一模型m1_yolo对图像中的光纤连接器进行目标对象识别，依据目标对象得到光纤连接器的边界框和边界框的相关参数x1、y1、w1、h1，边界框置信度to1和第i类别的置信度tci1，以及目标网格对应的类别分数pr(class1)，并通过sigmoid函数预测偏移量(tx1，ty1，tw1，th1)，其中(tw1，th1)要进行2倍的sigmoid处理。
[0047]047]047]047][0048]
s11、将以上光纤连接器边界框的偏移量(tx1，ty1，tw1，th1)解码得到最终的光纤连接器预测框以及预测框的相关参数bx1、by1、bw1、bh1，分别为光纤连接器预测框的中心点坐标和宽高尺寸。score1为置信度得分，cx1、cy1是该光纤连接器边界框中心所占据网格(grid)与左上角的网格距离。由此得到目标位置信息中的光纤连接器坐标。
[0049]
bx1＝2σ(tx1)-0.5+cx1by1＝2σ(ty1)-0.5+cy1bw1＝pw1(2σ(tw1))2bh1＝ph1(2σ(th1))2score1＝confidence
×
pr(class1)-σ(to1)
×
σ(tci1)
[0050]
其中，confidence有两种情况分别是iou和0，当网格中确实存在目标时，那么pr(object)就等于1，所以预测的confidence就直接等于iou，如果网格中没有目标落在里面，那么pr(object)就等于0，所以confidence就直接等于0。这里的iou是预测的bounding box与真实的bounding box的交并比。
[0051]
coafidence＝pr(object)
×
iou
[0052]
s12、待识别定位的图像再次经过第二模型m2_yolo的处理，对图像中的光纤连接器一侧的两个角点进行目标对象识别，依据目标对象得到光纤连接器一侧的两个角点的边
界框以及边界框的相关参数x2、y2和x3、y3，并通过sigmoid函数预测偏移量(tx2，ty2)和(tx3，ty3)。
[0053][0053][0054][0054][0055]
s13、将以上光纤连接器一侧的两个角点边界框的偏移量(tx2，ty2)和(tx3，ty3)解码得到最终的光纤连接器一侧的两个角点预测框以及预测框的相关参数bx2、by2和bx3、by3，分别为光纤连接器一侧的两个角点预测框的中心点坐标。cx2、cy2和cx3、cy3分别是该光纤连接器一侧的两个角点边界框中心所占据网格(grid)与左上角的网格距离。
[0056]
bx2＝2σ(tx2)-0.5+cx2by2＝2σ(ty2)-0.5+cy2bx3＝2σ(tx3)-0.5+cy3by3＝2σ(ty3)-0.5+cy3
[0057]
s14、由步骤13得到的光纤连接器一侧的两个角点预测框的中心点坐标，。
[0058][0059]
s15、识别定位系统将包含光纤连接器坐标和光纤连接器角度的目标位置信息传输到机械臂2，机械臂2带动机械夹3移动至坐标位置，夹取坐标位置上的光纤连接器，并移动至光纤连接器端面检测仪1的上料区域，插入光纤连接器。
[0060]
以上结合附图详细说明了本发明的技术方案，本发明提出了一种基于光纤连接器端面检测仪的机械臂自动插入方法，该自动插入系统设置于光纤连接器端面检测仪的上方，自动插入系统用于对检测仪进行上料，自动插入系统包括：图像采集装置，识别定位系统，机械臂以及机械夹；图像采集装置的固定端通过可拆卸底座设置于光纤连接器端面检测仪的上方左侧，图像采集装置用于获取光纤连接器端面检测仪旁光纤连接器的图像；识别定位系统被配置为利用基于yolov5算法的目标对象识别神经网络识别并定位图像中的光纤连接器；机械臂的固定端通过可拆卸底座设置于光纤连接器端面检测仪的上方右侧，机械臂的自由端安装有机械夹，机械臂用于带动机械夹移动至坐标位置，以夹取坐标位置上的光纤连接器，机械臂还用于移动至检测仪的上料区域，并插入光纤连接器。通过本发明中的技术方案，实现了利用目标对象识别神经网络引导机械臂夹取光纤连接器进行检测仪自动插入操作，提高了光纤连接器端面检测仪的通用性和效率。