一种基于机器视觉检测与分流机器人的控制系统及方法

1.本发明属于汽车线束制造加工技术领域，具体涉及一种基于机器视觉检测与分流机器人的控制系统及方法。


背景技术：

2.线束作为汽车重要组成部分之一，相当于汽车的传输神经，直接影响一台汽车的质量和性能。因此线束设计除了要满足汽车基本性能要求之外，对线束本身的质量要求也极高。而汽车线束连接器是线束的重要组成部分，充当汽车线束的中继站，因此线束连接器的质量是不容忽视的；再者，汽车线束种类繁多，需要多种连接器，这会增加线束连接器的质量风险以及质量检测难度。在线束连接器生产中，线束连接器通过注塑机注塑成型，然后冷却，通过运输装置运输到检测区。在注塑的环节中，需要用到特定的连接器模型进行注塑。对于种类繁多的连接器，同一个注塑机会更换不同的模型。
3.在生产中，复杂工况下，有很多注塑机，对于不同类型的连接器，如果都装配一套运输与检测装置会使得工厂异常庞大，并且浪费资源，且没有可以实现检测和分流一体化的智能检测控制系统，进而造成工作效率低，成本高。


技术实现要素：

4.因此，本发明要解决的技术问题在于提供，能够解决现有的生成中都是装配一套运输与检测装置会使得工厂异常庞大，并且浪费资源，且没有可以实现检测和分流一体化的智能检测控制系统，进而造成工作效率低，成本高的问题。
5.为了解决上述问题，本发明提供了一种基于机器视觉检测与分流机器人的控制系统，该控制系统包括机械臂控制系统和分流装置控制系统，机械臂控制系统与分流装置控制系统之间通信连接，以使机械臂控制系统根据视觉检测结果控制分流装置控制系统进行分流动作；
6.机械臂控制系统和分流装置控制系统均是包括stm32单片机最小系统控制单元、复位电路、开关电路、pwm振荡器模块和电机控制模块，stm32单片机最小系统控制单元与pwm振荡器模块相连接，各路电机控制模块分别与stm32单片机最小系统控制单元的io引脚相连，复位电路的复位端口与stm32单片机最小系统控制单元的复位接收端口相连；开关电路与stm32单片机最小系统控制单元的开关引脚相连；
7.其中，机械臂控制系统还包括cmos传感模块，cmos传感模块和机械臂控制系统中的stm32单片机最小系统控制单元相连接；
8.机械臂控制系统中的stm32单片机最小系统控制单元与分流装置控制系统中的stm32单片机最小系统控制单元之间通过3个引脚通信连接。
9.可选的，电机控制模块包括光耦隔离模块、施密特反相器模块和电机接口模块，stm32单片机最小系统控制单元与光耦隔离模块相连接，光耦隔离模块与施密特反相器模块相连接，施密特反相器模块与电机接口模块相连接。
10.可选的，施密特反相器采用采用cd40106施密特反相器。
11.可选的，电机采用tbs2701舵机。
12.一种基于机器视觉检测与分流机器人的控制方法，用于控制上述的控制系统，控制系统包括机械臂控制系统和分流装置控制系统机械臂控制系统和分流装置控制系统均是包括stm32单片机最小系统控制单元、复位电路、开关电路、pwm振荡器模块和电机控制模块，机械臂控制系统还包括cmos传感模块，电机控制模块包括光耦隔离模块、施密特反相器模块和电机接口模块；
13.控制方法包括以下步骤：
14.第一步，线束连接器从注塑机产出并放置在运输装置上；
15.第二步，线束连接器经过传输装置到达分流装置区域；
16.第三步，视觉检测器采集到线束连接器的位置，并控制机械臂精准夹取；
17.第四步，机械臂将线束连接器放置在最佳的视觉检测区域，并控制机械臂在合理范围内调整线束连接器的检测位置，从而完成对目标区域进行多次采样；
18.第五步，对每个目标区域的多次检测结果进行数学统计分析，以减少检测误差，完成线束连接器质量检测；
19.第六步，完成线束连接器质量检测后，单片机根据检测结果控制分流转盘对线束连接器进行分流动作；
20.第七步，单片机对每个种类对应的送料装置中的线束连接器进行计数，当其数量达到10个时，控制电机将送料装置中的线束连接器释放到相应的产品收纳盒中；
21.以上的步骤是由机械臂控制系统与分流装置控制系统联合完成，其中，机械臂控制系统还包括机械臂控制步骤、摄像头图像采集程序步骤、线束连接器表面缺陷检测程序步骤，分流装置控制系统包括分流程序步骤和舵机驱动程序步骤
22.可选的，机械臂控制步骤是首先机械臂控制系统通过cmos传感模块检测到运输在运输装置上的线束连接器到达分流装置区域，然后检测计算出该线束连接器的空间坐标，通过该坐标控制机械臂各部分电机的运转，从而夹取目标连接器；夹取目标连接器后将连接器放在视觉检测区域，同时进行检测位置调整，以获得目标区域的多次检测样本。
23.可选的，视觉检测区域处的摄像头图像采集程序步骤首先是摄像头初始化，ov7670摄像头通过ov_scl和ov_sda进行寄存器配置，然后配置对应的io口状态，先设置ov_pwdn＝0，退出掉电模式，复位ov7670，之后再设置ov_reset为1，结束复位，然后对ov7670的寄存器进行配置，配置成uxga输出；ov7670配置好之后，使能io和dcmi时钟，然后设置相关io口为复用功能模式；之后再配置dcmi相关设置，将第一个参数设置为捕获模式，第二个参数选择同步方式，通过第三个参数设置像素时钟极性，通过第四个参数设置垂直同步极性vsync，通过第五个参数设置水平同步极性，通过第六个参数设置帧捕获率，通过第七个参数设置扩展数据模式；然后再配置dma；之后再设置ov7670的图像输出大小，使能dcmi捕获；捕获到线束连接器模板图片，然后调整摄像头亮度寻找目标区域，拟合目标出现的区域，寻找到目标区域并对目标进行边缘提取，之后计算目标的坐标并反馈。
24.可选的，线束连接器表面缺陷检测程序步骤首先是ov7670摄像头初始化，使能io和dcmi时钟，设置捕获模式，选择同步方式，设置像素时钟极性，设置垂直同步极性vsync，设置水平同步极性，设置帧捕获率，设置扩展数据模式，配置dma，设置ov7670的图像输出大
小，使能dcmi捕获，获取线束表面图片，对图片进行灰度化，然后对图片进行中值滤波，进行极坐标变换将获取的曲面变换成平面，再对图片进行均值滤波，然后二值化，开运算、膨胀运算，判断是否存在缺陷，同时对合格品进行分类，将不合格品与不同种类合格品进行标记并反馈给分流装置控制系统，分流装置控制系统根据这些标记信息控制分流圆盘接收相应的线束连接器。
25.可选的，分流装置控制步骤是分流装置控制系统获取到机械臂控制系统传输过来的线束连接器的分类标记数据，根据标记数据控制分流转盘将指定种类接收口转动到目标线束连接器所在方位，机械臂松开机械爪，将线束连接器放置在相应种类的送料装置中；根据每个送料装置容纳线束连接器的数量，分流装置会对各个送料装置中的线束连接器进行计数，当连接器数量达到容纳数量后控制分流转盘将送料装置转动到相应的产品收纳盒位置处，并启动送料装置电机，完成送料动作。
26.可选的，舵机电机驱动步骤是首先给舵机一个信号让其工作，之后开启tim13时钟，设置arr和psc两个寄存器的值来控制输出pwm的周期，然后设置tim13_ch1为pwm模式，使能tim13，修改tim13_ccr1来控制占空比控制舵机转向与转速。
27.有益效果
28.本发明的实施例中所提供的一种基于机器视觉检测与分流机器人的控制系统及方法，即在机械臂控制系统中，通过cmos传感模块采集并计算到达分流装置区域的线束连接器的空间坐标，根据该空间坐标控制机械臂对目标连接器进行精确夹取；机械臂将目标连接器夹取到视觉检测区域，cmos传感模块对目标连接器表面进行表面缺陷检测，并将检测结果通信到分流装置控制系统中，分流装置控制系统根据该检测结果控制分流装置进行精准转动，将对应种类的接受口对准该机械臂工位，然后机械臂松开机械爪，将目标连接器放到对应种类的送料装置中，当送料装置中的连接器数量达到最大容量值时，分流装置控制系统控制分流圆盘转动以及控制送料装置的舵机运转，将该送料装置中的线束连接器放置到相应种类的产品收纳盒中，完成分流动作。
29.该控制系统能够很好地解决检测与分流机器人在控制方面容易出现的问题。并且，本发明是在多路控制下，各部件自动协调，降低耦合度，提高系统整体稳定性与健壮性；通过对每个目标区域的多次检测结果进行数学统计分析，提高检测效率和精度；通过送料装置充当系统的缓冲装置，提高整体系统的工作效率。
附图说明
30.图1为本发明实施例的基于机器视觉的检测与分流机器人整体控制系统示意图；
31.图2为本发明实施例的基于机器视觉的检测与分流机器人整体机械结构示意图；
32.图3为本发明实施例的机器人机械臂装置结构示意图；
33.图4为本发明实施例的机器人送料装置结构示意图；
34.图5为本发明实施例的机器人整体程序框图；
35.图6为本发明实施例的机械臂控制系统获取线束连接器坐标程序框图；
36.图7为本发明实施例的线束连接器质量检测程序框图；
37.图8为本发明实施例的机械臂控制系统分类标记程序框图；
38.图9为本发明实施例的分流装置控制系统分流程序框图；
39.图10为本发明实施例的舵机驱动程序框图。
40.附图标记表示为：
41.1、视觉检测器；2、分流转盘；3、运输装置；4、送料装置；5、产品收纳盒；6、机械臂装置。
具体实施方式
42.结合参见图1至图10所示，根据本发明的实施例，本发明提供一种针对于机器视觉的检测与分流机器人完成的控制系统，该机器人机械结构如图2所示。该机器人由视觉检测器1、分流转盘2、运输装置3、送料装置4、产品收纳盒5、机械臂装置6等部分构成，其有4个独立的视觉检测工位，并把数据传输给中间的分流控制系统。
43.如图1所示，一种基于机器视觉的检测与分流机器人整体控制系统，该控制系统包括机械臂控制系统与分流装置控制系统。
44.机械臂控制系统包括stm32单片机最小系统控制单元、cmos传感模块、复位电路、开关电路、光耦隔离模块、pwm振荡器模块、施密特反相器模块、电机接口模块；cmos传感模块的8个引脚分别与stm32单片机最小系统控制单元的8个io引脚相连，从而确保工业相机采集的图片信息能够准时传输到单片机；stm32单片机通过dma方式对图像数据进行分析处理，并根据分析结果控制各路电机的运转；pwm振荡器模块为stm32单片机最小系统控制单元提供标准的pwm信号，从而确保单片机发出的电机控制信号能够有效被电机接收；各路电机控制模块分别与stm32单片机最小系统控制单元的io引脚相连，从而确保单片机根据分析结果控制各路电机的运转；具体的，cmos模块的d0～d7引脚先后连接机械臂控制单片机的pa0～pa7引脚；机械臂上7个电机需要相应的7个电机接口，每个电机接口与一个cd40106施密特反相器串联，再串联一个光耦隔离模块，最后与机械臂控制单片机的单个引脚相连接，与之对应的，7个电机接口与机械臂控制单片机的pb8～pb14引脚相连接。
45.电机控制模块包括光耦隔离模块、施密特反相器模块、电机接口模块；其中单片机发出的电机控制信号需要经过光耦隔离模块，从而保证电路的安全性与稳定性，电机控制信号经过光耦隔离模块传输后，前沿和后沿会发生畸变，因此采用cd40106施密特反相器对光耦隔离模块传输过来的信号进行整形，产生标准的pwm方波信号；复位电路的复位端口与stm32单片机最小系统控制单元的复位接收端口相连；开关电路与与stm32单片机最小系统控制单元的开关引脚相连。
46.分流装置控制系统比机械臂控制系统少了cmos传感模块，其他组成部分与机械臂控制系统一致，机械臂控制系统与分流装置控制系统通过3个引脚进行通信，以确保机械臂控制系统根据视觉检测结果控制分流装置分流动作。具体的，分流装置控制单片机的pa1～pa3引脚先后连接机械臂控制单片机的pa13～pa11引脚连接；分流装置上13个电机需要相应的13个电机接口，每个电机接口与一个cd40106施密特反相器串联，再串联一个光耦隔离模块，最后与分流装置控制单片机的单个引脚相连接，与之对应的，13个电机接口与分流装置控制单片机的pa8～pa13引脚、pb8～pb14相连接。
47.如图5所示，一种基于机器视觉检测与分流机器人的控制方法，机器人运作的整体过程分为7个步骤，控制方法步骤如下：
48.第一步，线束连接器从注塑机产出并放置在运输装置上；
49.第二步，线束连接器经过传输装置到达分流装置区域；
50.第三步，视觉检测器采集到线束连接器的位置，并控制机械臂精准夹取；
51.第四步，机械臂将线束连接器放置在最佳的视觉检测区域，并控制机械臂在合理范围内调整线束连接器的检测位置，从而完成对目标区域进行多次采样；
52.第五步，对每个目标区域的多次检测结果进行数学统计分析，以减少检测误差，完成线束连接器质量检测；
53.第六步，完成线束连接器质量检测后，单片机根据检测结果控制分流转盘对线束连接器进行分流动作；
54.第七步，单片机对每个种类对应的送料装置中的线束连接器进行计数，当其数量达到10个时，控制电机将送料装置中的线束连接器释放到相应的产品收纳盒中。
55.以上的步骤是由机械臂控制系统与分流装置控制系统联合完成。
56.机械臂控制步骤是首先机械臂控制系统通过cmos传感模块检测到运输在运输装置上的线束连接器到达分流装置区域，然后检测计算出该线束连接器的空间坐标，通过该坐标控制机械臂各部分电机的精准运转，从而精确夹取目标连接器；夹取目标连接器后将连接器放在最佳视觉检测区域，同时以合适的范围进行检测位置调整，以获得目标区域的多次检测样本。
57.如图6所示，机械臂控制系统获取线束连接器坐标程序由18个步骤组成：
58.第一步，摄像头初始化，ov7670摄像头通过ov_scl和ov_sda进行寄存器配置，然后配置对应的io口状态，先设置ov_pwdn＝0，退出掉电模式，然后拉低ov_reset复位ov7670，之后再设置ov_reset为1，结束复位，然后对ov7670的寄存器进行配置，配置成uxga输出；
59.第二步，使能io和dcmi时钟，然后设置相关io口为复用功能模式；
60.第三步到第十一步，配置dcmi相关设置，将第一个参数设置为捕获模式，通过第二个参数选择同步方式，通过第三个参数设置像素时钟极性，通过第四个参数设置垂直同步极性vsync，通过第五个参数设置水平同步极性，通过第六个参数设置帧捕获率，通过第七个参数设置扩展数据模式；然后再配置dma；之后再设置ov7670的图像输出大小，使能dcmi捕获；
61.第十二步到第十八步，捕获到线束连接器模板图片，然后调整摄像头亮度寻找目标区域，拟合目标可能出现的区域，寻找到最佳目标区域并对目标进行边缘提取，之后计算目标的坐标。
62.如图7所示，线束连接器表面缺陷检测程序即为线束连接器质量检测程序，线束连接器质量检测程序由24个步骤组成：
63.第一步，摄像头初始化，ov7670摄像头通过ov_scl和ov_sda进行寄存器配置，然后配置对应的io口状态，先设置ov_pwdn＝0，退出掉电模式，然后拉低ov_reset复位ov7670，之后再设置ov_reset为1，结束复位，然后对ov7670的寄存器进行配置，配置成uxga输出；
64.第二步，使能io和dcmi时钟，然后设置相关io口为复用功能模式；
65.第三步到第十一步，配置dcmi相关设置，将第一个参数设置为捕获模式，通过第二个参数选择同步方式，通过第三个参数设置像素时钟极性，通过第四个参数设置垂直同步极性vsync，通过第五个参数设置水平同步极性，通过第六个参数设置帧捕获率，通过第七个参数设置扩展数据模式；然后再配置dma；之后再设置ov7670的图像输出大小，使能dcmi
捕获；
66.第十二步，设置多少帧采集一次图片；
67.第十三步到二十一步为图像处理部分，对图片灰度化是为了后面降低图片噪声做预处理，中值滤波和均值滤波目的是去除光照不均等噪声，极坐标变化将线束连接器曲面变换成平面，提高检测精度，二值化通过设置的rgb阈值，将光滑表面用黑色显示，缺陷用白色显示，开运算，膨胀运算进一步对二值化的图片进行处理，降低外界的干扰，最后计算连通域进行边缘提取，寻找缺陷；
68.第十五步，对线束连接器端口进行边缘提取，获取端口尺寸与端口计数；
69.第二十二步，判断是否存在缺陷，如果结果为是，则进行不合格标记，进入下一步，如果结果为否，进行下一步的合格品分类标记；
70.第二十三步，通过之前步骤中端口边缘提取所获得的端口尺寸、端口计数数据对合格品进行分类标记；
71.第二十四步，将不合格品标记或合格品分类标记数据传输给分流装置控制系统，分流装置进行分流动作。
72.其中，分类标准根据实际厂商的线束种类样本输入为准，比如根据线束连接器端口尺寸、数量进行分类，则需要对线束连接器的端口进行计数、边缘提取、尺寸计算，根据不同结果完成分类。
73.如图8所示，合格品的分类标记程序由4个步骤组成：
74.第一步，输入边缘提取数据；
75.第二步，计算线束连接器端口尺寸；
76.第三步，对线束连接器端口计数；
77.第四步，根据端口尺寸及端口数量对合格品进行分类标记。
78.如图9所示，分流装置控制系统分流程序由3个步骤组成：
79.第一步，输入分类标记数据；
80.第二步，根据标记数据控制分流转盘将指定种类接收口转动到目标线束连接器所在方位，机械臂松开机械爪，将线束连接器放置在相应种类的送料装置；
81.第三步，分流装置会对各个送料装置中的线束连接器进行计数，当连接器数量达到最大可容纳数后进行下一步；
82.第四步，控制分流转盘将相应种类的送料装置转动到相应种类的产品收纳盒位置处，并启动送料装置电机，完成送料动作。
83.分流装置控制系统获取到机械臂控制系统传输过来的线束连接器的分类标记数据，根据标记数据控制分流转盘将指定种类接收口转动到目标线束连接器所在方位，机械臂松开机械爪，将线束连接器放置在相应种类的送料装置中。每个送料装置最多可容纳10个线束连接器，分流装置会对各个送料装置中的线束连接器进行计数，当连接器数量达到最大可容纳数后控制分流转盘将送料装置转动到相应的产品收纳盒位置处，并启动送料装置电机，完成送料动作。
84.进一步的，检测与分流机器人设计有多个机械臂与视觉检测装置，因此需要多个机械臂控制系统，这些控制系统相互独立，并将数据传输给中间的分流装置控制系统，分流装置控制系统根据各个机械臂控制系统所提供数据的时间先后进行依次处理；考虑到分流
装置动作消耗较长时间，会影响整体系统的工作效率，因此设计送料装置的最大可容纳线束连接器数属性，提供系统的缓冲能力，从而提高整体系统的工作效率。
85.如图10所示，舵机驱动程序由9个步骤组成：
86.第一步，舵机驱动程序首先给舵机一个信号让其工作；
87.第二步，开启tim13时钟与gpio时钟；
88.第三步，开启相应引脚作为pwm输出引脚；
89.第四步到第六步，初始化tim13；设置自动重装载值；设置预分频值；
90.第七步到第九步，设置arr和psc两个寄存器的值来控制输出pwm的周期；然后设置tim13_ch1为pwm模式；使能tim14；修改tim13_ccr1来控制占空比控制舵机转速与转向。
91.基于机器视觉的检测与分流机器人提供一种最佳的控制方法与硬件控制系统，解决繁多种类的汽车线束连接器统一运输与统一检测并分流的全自动化问题。
92.本领域的技术人员容易理解的是，在不冲突的前提下，上述各有利方式可以自由地组合、叠加。