微特电机生产线上复杂光照环境下的导线抓取系统及方法与流程

本发明涉及微特电机生产及应用领域，特别涉及微特电机生产线上复杂光照环境下的导线抓取系统及方法。

背景技术

随着我国经济的快速发展，微特电机的使用越来越广泛，微特电机产品的需求也日益增多，在现有的微特电机生产线上，微特电机定子线圈漆包线和各类导线的装配均需采用人工手动装配的方式，这种装配方式会导致微特电机的生产速率低，严重制约微特电机产品的产量，难以满足微特电机的需求，并且采用人工抓取的方式无法解决在复杂光照环境下导线姿态定位不准确的问题，进而会对微特电机产业的发展产生影响。因此，如何实现对微特电机生产线上导线的自动抓取和在复杂光照环境下的准确姿态定位显得尤为重要。

由此可见，如何克服利用传统的人工手动抓取微特电机生产线上的导线时，由于无法实现在复杂光照环境下导线姿态的准确定位，进而导致的微特电机的生产速率和产量低的问题是本领域技术人员亟待解决的问题。

技术实现要素：

本申请实施例提供了微特电机生产线上复杂光照环境下的导线抓取系统及方法，以解决现有技术中利用传统的人工手动抓取微特电机生产线上的导线时，由于无法实现在复杂光照环境下导线姿态的准确定位，进而导致的微特电机的生产速率和产量低的问题。

为解决上述技术问题，本发明提供了一种微特电机生产线上复杂光照环境下的导线抓取系统，包括：

用于获取微特电机生产线上的导线及周围区域的图像信息的图像采集装置；

与所述图像采集装置通信连接，用于对所述图像信息进行分析处理以得出所述导线在所述微特电机生产线上的位置以及姿态信息的工控机；

与所述工控机连接，用于当接收到所述工控机发送的控制指令时，移动至所述位置处以对所述导线进行抓取的机器人。

优选地，所述工控机包括控制器、图像处理模块以及存储模块，所述控制器分别与所述图像处理模块和所述存储模块连接。

优选地，还包括：

与所述控制器连接的显示装置，所述显示装置用于显示所述位置、所述姿态信息、抓取时间以及抓取的速度。

优选地，还包括：

与所述控制器连接的报警装置，所述报警装置用于对抓取所述导线过程中出现的故障进行报警提示。

优选地，还包括：

与所述控制器连接的信息反馈装置，所述信息反馈装置用于当所述机器人移动至所述位置处时，将抓取信息和到位信息传输至打扣机以将所述导线装配至微特电机。

优选地，所述工控机还用于当导线抓取系统暂停时，依据所述机器人前一时刻的抓取信息、到位信息以及所述打扣机前一时刻的装配信息对所述机器人的当前抓取信息、当前到位信息以及所述打扣机的当前装配信息进行重置。

优选地，所述图像采集装置具体为ccd面阵相机和图像采集卡。

为解决上述技术问题，本发明还提供了一种与微特电机生产线上复杂光照环境下的导线抓取系统对应的导线抓取方法，基于上述任意一种微特电机生产线上复杂光照环境下的导线抓取系统，包括：

通过图像采集装置获取微特电机生产线上的导线及周围区域的图像信息；

对所述图像信息进行分析处理以得出所述导线在所述微特电机生产线上的位置以及姿态信息；

控制机器人移动至所述位置处以对所述导线进行抓取。

优选地，所述对所述图像信息进行分析处理具体包括：

对所述图像信息进行预处理以得出所述导线在所述微特电机生产线上的位置范围；

获取所述预处理后的图像信息的像素灰度值以确定所述导线所处的光照环境；

对所述预处理后的图像信息进行多特征提取以确定所述导线在所述微特电机生产线上的位置以及姿态信息。

优选地，所述对所述图像信息进行预处理具体为：

对所述图像信息进行高斯滤波和中值滤波处理。

相比于现有技术，本发明所提供的一种微微特电机生产线上复杂光照环境下的导线抓取系统，包括图像采集装置，工控机以及机器人，工控机分别与图像采集装置和机器人连接，工控机可以对图像采集装置获取到的微特电机生产线上的导线及周围区域的图像信息进行分析处理，目的是得出导线在微特电机生产线上的位置以及姿态信息；当机器人接收到工控机发送的控制指令时，就移动至相应的位置处以对此处的导线进行抓取，由此可见，应用该抓取系统，不仅可以实现对微特电机生产线上的导线的自动抓取，而且可以实现在复杂光照环境下对导线姿态的准确定位，与现有技术中利用人工手动抓取微特电机生产线上的导线相比，可以提高微特电机的生产速率和产量。另外，本发明还提供了一种微特电机生产线上复杂光照环境下的导线抓取方法，效果如上。

附图说明

图1为本发明实施例所提供的一种微特电机生产线上复杂光照环境下的导线抓取系统结构示意图；

图2为本发明实施例所提供的一种工控机的结构示意图；

图3为本发明实施例所提供的一种图像处理流程图；

图4为本发明实施例所提供的另一种微特电机生产线上复杂光照环境下的导线抓取系统结构示意图；

图5为本发明实施例所提供的一种打扣装配系统结构示意图；

图6为本发明实施例所提供的另一种微特电机生产线上复杂光照环境下的导线抓取系统结构示意图；

图7为本发明实施例所提供的一种微特电机生产线上复杂光照环境下的导线抓取方法流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明的核心是提供微特电机生产线上复杂光照环境下的导线抓取系统及方法，可以解决现有技术中利用传统的人工手动抓取微特电机生产线上的导线时，由于无法实现在复杂光照环境下导线姿态的准确定位，进而导致的微特电机的生产速率和产量低的问题。

为了使本技术领域的人员更好地理解本发明的方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本发明实施例所提供的一种微特电机生产线上复杂光照环境下的导线抓取系统结构示意图，如图1所示，该抓取系统包括：

用于获取微特电机生产线上的导线及周围区域的图像信息的图像采集装置10；

与图像采集装置10通信连接，用于对图像信息进行分析处理以得出导线在微特电机生产线上的位置以及姿态信息的工控机11；

与工控机11连接，用于当接收到工控机11发送的控制指令时，移动至位置处以对导线进行抓取的机器人12。

本申请实施例提供的抓取系统包括图像采集装置10，工控机11以及机器人12，图像采集装置10和机器人12均通过工控机11上的通讯借口与工控机11连接，利用图像采集装置10可以获取微特电机生产线上的导线及导线周围区域的图像信息，工控机11可以对图像采集装置获取的图像信息进行分析处理得出导线在微特电机生产线上的位置以及姿态信息，即导线当前在微特电机生产线的什么位置以及目前导线处于什么状态，当工控机11确定出导线当前在微特电机生产线上的位置以及姿态信息后就将该相关信息发送至机器人12，并向机器人12发送控制指令，机器人12接收到工控机11发送的控制指令时移动至导线当前所在的位置处，以实现对微特电机生产线上的导线的抓取。在本申请实施例中作为优选地实施方式，图像采集装置10选用ccd面阵相机和图像采集卡，可以扩大图像采集的范围，并且采集的图像信息需发送至工控机11进行存储处理。

在实际应用中，本申请实施例提供的抓取系统除了图1中画出的几个装置之外，还包括微特电机定子和导线元件传送装置，将机器人12抓取的导线装配至微特电机上的打扣机以及为整个抓取系统提供供电的电源装置，在图1中未画出以上几个装置，但是并不代表没有，微特电机定子和导线元件传送装置以及打扣机均通过工控机11上的通讯接口与工控机11连接，可以根据工控机11的控制进行工作。图2为本发明实施例所提供的一种工控机的结构示意图，如图2所示，作为优选地实施方式，工控机11包括控制器110、图像处理模块111以及存储模块112，控制器110通过其上的数据传输通讯接口与图像处理模块111和存储模块112连接以控制图像处理模块111和存储模块112工作；图像处理模块111可以对图像采集装置10采集的图像信息进行处理，存储模块112可以存储导线识别、分类以及定位后的相关数据。

本申请实施例中提到的机器人12自身也包括数据存储模块，导线抓取器件(机器人手)以及控制器等模块，数据存储模块可以存储工控机11发送的导线当前的位置以及姿态信息等，导线抓取器件可以根据机器人12中的控制器的控制指令以及控制器获取的数据存储模块中存储的导线位置以及姿态信息等对导线进行抓取，并且在抓取导线到达指定的装配位置后，机器人12会将此时的到位信息发送至会将此时的到位信息发送至打扣机以实现对微特电机的导线打扣装配工作。

工控机11可以对图像采集装置10采集到的图像信息进行实时在线处理，实时在线图像处理可以实时解决复杂光照环境下多导线的识别与定位问题，实现对复杂光照环境下多导线精准的识别与定位，在复杂光照环境下，针对机器人12抓取导线准确率不高的问题，通过图像预处理，对图像的亮暗进行判断，在亮图像中，对各类导线边缘区域的梯度进行计算，确定光照强度的方向，同时生成各导线的区域序列，导线抓取参考点序列，最后求得导线的抓取位置并进行位姿误差矫正；在亮图像中，通过图像预处理和形态学处理获取各类导线的区域，通过抓取参考点确定导线的抓取区域，从而确定了在复杂光照下各类导线的位置，解决机器人12在复杂光照情况下各类导线元件抓取准确率不高的问题。图3为本发明实施例所提供的一种图像处理流程图，如图3所示，具体包括以下步骤：

s30：获取图像信息；具体获取图像采集装置10采集到的图像信息，并对其进行预处理，因为在图像采集时受噪声影响较大，在实际应用时，可以对采集到的图像信息进行高斯滤波和中值滤波处理，对滤波后的图像进行canny边缘检测，确定各导线的大致位置区域，即确定出导线大致的位置范围。

s31：图像预处理并计算图像平均灰度值；获取预处理后的图像信息中各像素灰度值来确定导线所处的光照环境，通过设定一定的阈值tm来判别导线图片的明暗；

计算m行n列的导线图像平均灰度值im，计算公式如下：

s32：判断平均灰度值im是否小于明暗区别阈值tm(im＜tm)，如果是，则进入步骤s33，如果否，则进入步骤s34。设定图像的明暗区别阈值为tm＝128。

s33：im＜tm，则判定图像为暗图像，接着再对区别阈值(图像阈值)分割并进行形态学处理。

具体为获取光照环境下多导线的轮廓并确定光强强度大的方向，光照强度方向可以通过以下步骤获取：

第一步，通过自适应阈值处理获取导线的大致区域，然后对该区域进行形态学处理(膨胀腐蚀)；

第二步，对形态学处理后的区域进行连通域计算，通过区域的特征选取(面积、高度以及宽度)来确定不同导线的区域regiona、regionb，regionc，分别对其进行从左到右的排序处理，得到不同的导线区域序列的集合ra，rb，rc，其中：

ra＝{regiona1，regiona2，regiona3，regiona4......regionan}

rb＝{regionb1，regionb2，regionb3，regionb4......regionbn}

rc＝{regionc1，regionc2，regionc3，regionc4......regioncn}

该步骤之后进入步骤s330。

s34：im>tm，则判定图像为亮图像，接着再确定各导线的轮廓区域并生成各导线图像的子序列，该步骤之后进入步骤s340。

s330：导线特征选取并生成各导线序列。

s331：选取抓取参考点位置la，lb，lc，确定导线抓取位置。

s332：各导线抓取点位置计算，该步骤之后直接进入步骤s344。

s340：计算导线图像子列ia，ib，ic左右梯度。

具体为对于不同导线区域序列的集合，对预处理后的图像进行该集合区域的裁剪，得到不同导线边缘的图像，裁剪后的图像生成图像序列ia，ib，ic，其中：

ia＝{imagea1，imagea2，imagea3，imagea4......imagean}

ib＝{imageb1，imageb2，imageb3，imageb4......imagebn}

ic＝{imagec1，imagec2，imagec3，imagec4......imagecn}

对生成的不同图像序列分别进行左右水平梯度计算，得到各序列图像的左右水平梯度序列ga，gb，gc，对各序列中的左右梯度进行幅值和计算，得到左右梯度幅值和gal，gar，gbl，gbr，gcl，gcr，其中：

ga＝{grada1l，grada1r，grada2l，grada2r，......gradanl，gradanr}

gb＝{gradb1l，gradb1r，gradb2l，gradb2r，......gradbnl，gradbnr}

gc＝{gradc1l，gradc1r，gradc2l，gradc2r，......gradcnl，gradcnr}

s341：通过各序列梯度幅值进行光照方向的判断，即判断gal>gar或gbl>gbr或gcl>gcr。如果是，则进入步骤s342，如果否，则进入步骤s343。若gal＞gar或gbl＞gbr或gcl＞gcr，则光照强度左侧大于右侧，反之，左侧的光照强度小于右侧。

对明暗图像中导线进行多特征的提取，特征融合后进行导线的识别与定位；

首先，对亮图像中的各导线的识别与位姿计算，具体步骤如下：

第一步，对亮图像进行阈值处理，选择出各类导线的图像区域，然后对其进行形态学开闭运算的处理，获得各类导线图像的准确边缘。

第二步，对提取出的各类导线的区域进行连通域的计算，获得导线区域的数量，然后对各区域像素的统计，确定各区域的特征(区域面积、宽度以及高度)。

第三步，通过对区域特征进行多条件性选择，确定各导线的类别，然后对各类导线进行排序处理，生成各类导向的类别序列sa，sb，sc。

第四步，选取各类导线的抓取位置的参考点la，lb，lc，通过参考点膨胀后的区域与导线序列区域的交集来确定抓取点位置。

第五步，计算膨胀后区域与导线序列区域交集的面积，并对交集区域求取带方向的最大外接矩形，求取该外接矩形的中心坐标点(u0，v0)，宽度w以及方向角度θ。

其次，对暗图像中各导线的识别与位姿计算，具体步骤如下：

第一步，对暗图像进行预处理，利用高斯滤波和中值滤波对图像进行处理，滤除图像中的椒盐噪声。

第二步，对图像进行自适应阈值处理，选择出图像中导线所在的区域，并进行连通域的计算。

第三步，对计算的连通域进行特征选取(特征为区域面积、宽度和高度)，并对选取出的连通域进行形态学处理，修正各导线边缘的投影。

第四步，重新对形态学处理后的区域进行特征选取(特征为面积、高度和外接矩形长)，并对选取后的各导线进行分类为导线a，导线b，导线c。

第五步，对分类后的导线a，导线b，导线c进行排序处理，生成各类导线的排序序列sa，sb，sc。

第六步，选取各类导线抓取位置参考点la，lb，lc，通过参考点膨胀后的区域与导线序列区域的交集ta，tb，tc来确定抓取点的位置。

第七步，计算参考点膨胀区域与导线序列区域交集的面积，并求取交集与的带方向的最小外接矩形，求取矩形的中心坐标点(u0，v0)，宽度w以及方向角度θ。

s342：各导线特征选取并选取导线抓取位置参考点，确定各导线的抓取区域，确定各导线抓取点并计算导线位姿，并对各类导线左侧位姿矫正。

s343：各导线特征选取并选取导线抓取位置参考点，确定各导线的抓取区域，确定各导线抓取点并计算导线位姿，并对各类导线右侧位姿矫正。

s344：生成各导线抓取点序列。

首先，对亮图像各类导线进行误差矫正，并生成抓取点序列，具体步骤如下：

第一步，获取待抓取导线a、b、c在图像中标准的成像宽度，记录为wta，wtb，wtc。

第二步，通过亮图像中光照强度方向和导线的角度大小来对各类导线的抓取位置进行修正，修正后的位置为(u,v,θ)，即为该类导线抓取点的位姿。

对左侧光强大于右侧光强的导线位姿进行矫正：

gl＞gr且θ＞0,

gl＞gr且θ＜0,

对右侧光强大于左侧光强的导线位姿进行矫正：

gl＜gr且θ＞0,

gl＜gr且θ＜0,

其次，对暗图像各类导线抓取序列的生成，其抓取位姿为暗图像处理后的结果(u0,v0,θ)，通过上述算法，计算出的(u0,v0,θ)即为微特电机机器人12装配中导线抓取的位姿。

最后，把导线识别定位的位姿(u0,v0,θ)通过通讯的方式传送给机器人12，机器人12根据识别定位的结果进行抓取。

本申请实施例提供的抓取系统可以实时在线对传送带上传送的导线进行识别与定位，通过机器人抓取导线到指定的装配位置与定子传输装置进行协同打扣装配，实现定子产品的在线打扣装配，改善现有的微特电机定子漆包线和导线的装配水平，同时提高产品的生产速度和降低产品的生产成本，提升了产品在市场中的竞争力。可以提升微特电机的定子装配速度，减少了传统利用人工手动通过机械手抓取导线元件过程中的错抓、误抓以及空抓等情况，同时可以提高微特电机定子装配的质量。能有效适应环境光照的变化，解决了复杂光照环境下的导线识别与定位，能有效对采集图像中的导线进行识别与定位，满足生产线上复杂环境的要求。

本发明所提供的一种微微特电机生产线上复杂光照环境下的导线抓取系统，包括图像采集装置，工控机以及机器人，工控机分别与图像采集装置和机器人连接，工控机可以对图像采集装置获取到的微特电机生产线上的导线及周围区域的图像信息进行分析处理，目的是得出导线在微特电机生产线上的位置以及姿态信息；当机器人接收到控制器发送的控制指令时，就移动至相应的位置处以对此处的导线进行抓取。由此可见，应用该抓取系统，不仅可以实现对微特电机生产线上的导线的自动抓取，而且可以实现在复杂光照环境下对导线姿态的准确定位，与现有技术中利用人工手动抓取微特电机生产线上的导线相比，可以提高微特电机的生产速率和产量。

为了使本申请实施例提供的抓取系统更加智能化，在上述实施例的基础上，作为优选地实施方式，还包括：

与控制器110连接的显示装置，显示装置用于显示位置、姿态信息、抓取时间以及抓取的速度。方便有关人员及时查看抓取系统的运行状态。

为了避免出现抓取系统出现故障时，无人知晓的情况，在上述实施例的基础上，作为优选地实施方式，还包括：

与控制器110连接的报警装置，报警装置用于对抓取导线过程中出现的故障进行报警提示。例如，当抓取系统出现断电停止工作的情况时可以通过报警模块报警提示有关人员以便及时对其维修，优选地，报警装置可以选用蜂鸣器和/或指示灯，当然，报警装置的类型并不会影响本申请实施例的实现。

为了对机器人12的运行状况进行及时反馈，在上述实施例的基础上，作为优选地实施方式，还包括：

与控制器110连接的信息反馈装置，信息反馈装置用于当机器人移动至位置处时，将抓取信息和到位信息传输至打扣机以将导线装配至微特电机。

具体就是在机器人12到达导线当前的所在位置处，并成功抓取导线时，通过信息反馈装置将导线的抓取信息以及机器人12的到位信息发送至打扣机以便打扣机提前做好准备，在机器人12到达装配位置时可以快速将抓取的导线装配至微特电机。

在上述实施例的基础上，作为优选地实施方式，工控机11还用于当导线抓取系统暂停时，依据机器人12前一时刻的抓取信息、到位信息以及打扣机前一时刻的装配信息对机器人12的当前抓取信息、到位信息以及打扣机的当前装配信息进行重置。

具体就是当抓取系统突然由于某种原因停止运行，在再次启动时可以继续完成暂停之前的相关动作，以防再次启动时，整个抓取系统重新开始工作，进而影响效率。该过程可以通过在工控机11的相关模块中导入程序实现，具体实现过程可参见现有技术，本发明在此不再赘述。

图4为本发明实施例所提供的另一种微特电机生产线上复杂光照环境下的导线抓取系统结构示意图，如图4所示，包括图像采集装置10，工控机11，工控机11上设有通讯接口113，微特电机定子和导线元件传送装置30，报警装置31，信息反馈装置32以及打扣装配系统33；图像采集装置10、微特电机定子和导线元件传送装置30、报警装置31、信息反馈装置32以及打扣机33均通过通讯接口113与工控机11连接。图5为本发明实施例所提供的一种打扣装配系统结构示意图，如图5所示，包括定位数据储存器41，用于储存导线识别分类的结果；机器人12通过自带的抓取设备42(机械手)通过通讯接口113对识别定位的导线进行抓取，然后运动到待抓取的位置，通过信息反馈装置32将抓取信号和到位信号传输给打扣装配系统中的控制模块43，同时微特电机定子和导线元件传送装置30也会将导线传输的信号发送至控制模块43，控制模块43通过对接收到的信号的判断来对plc模块44进行控制，由plc模块44的控制信号对微特电机打扣装配执行机构45进行控制是否进行打扣装配。图6为本发明实施例所提供的另一种微特电机生产线上复杂光照环境下的导线抓取系统结构示意图，如图6所示，暂停控制模块51、信号查询模块52、信号重置模块53、复位模块54以及通讯接口113均是工控机11中的硬件模块，暂停控制模块51主要针对在微特电机的定子生产装配过程中需要暂停现有装配的情况，信号查询模块52通过通讯接口113对打扣装配系统中的控制模块43中各信号状态进行查询，根据查询的信号对机器人12抓取和到位信号以及微特电机定子和导线元件传送装置30的传输信号进行比较，然后通过信号重置模块53对机器人12和微特电机定子和导线元件传送装置30中的信号进行重置，恢复其暂停前的信号状态，同时通过复位模块54对暂停控制信号进行复位处理。

上文中对于一种微特电机生产线上复杂光照环境下的导线抓取系统的实施例进行了详细描述，基于上述实施例描述的微特电机生产线上复杂光照环境下的导线抓取系统，本发明实施例还提供了一种与该系统对应的微特电机生产线上复杂光照环境下的导线抓取方法。由于方法部分的实施例与系统部分的实施例相互对应，因此方法部分的实施例请参照系统部分的实施例描述，这里不再赘述。

图7为本发明实施例所提供的一种微特电机生产线上复杂光照环境下的导线抓取方法流程图，如图7所示，基于上述任意一个实施例所提供的微特电机生产线上复杂光照环境下的导线抓取系统，该抓取方法包括：

s601：通过图像采集装置获取微特电机生产线上的导线及周围区域的图像信息。

s602：对图像信息进行分析处理以得出导线在微特电机生产线上的位置以及姿态信息。

s603：控制机器人移动至位置处以对导线进行抓取。

本发明所提供的一种微特电机生产线上复杂光照环境下的导线抓取方法，首先通过图像采集装置获取微特电机生产线上的导线及周围区域的图像信息；然后对图像信息进行分析处理，目的是得出导线在微特电机生产线上的位置以及姿态信息；最后控制机器人移动至位置处以对导线进行抓取。由此可见，应用该抓取方法，不仅可以实现对微特电机生产线上的导线的自动抓取，而且可以实现在复杂光照环境下对导线姿态的准确定位，与现有技术中利用人工手动抓取微特电机生产线上的导线相比，可以提高微特电机的生产速率和产量。

在上述实施例的基础上，作为优选地实施方式，对图像信息进行分析处理具体包括：

对图像信息进行预处理以得出导线在微特电机生产线上的位置范围；

获取预处理后的图像信息的像素灰度值以确定导线所处的光照环境；

对预处理后的图像信息进行多特征提取以确定导线在微特电机生产线上的位置以及姿态信息。

在上述实施例的基础上，作为优选地实施方式，对图像信息进行预处理具体为：

对图像信息进行高斯滤波和中值滤波处理。

以上对本发明所提供的微特电机生产线上复杂光照环境下的导线抓取系统及方法进行了详细介绍。本文中运用几个实例对本发明的原理及实施方式进行了阐述，以上实施例的说明，只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本领域技术人员，在没有创造性劳动的前提下，对本发明所做出的修改、等同替换、改进等，均应包含在本申请中。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个操作与另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”等类似词，使得包括一系列要素的单元、设备或系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种单元、设备或系统所固有的要素。