基于计算机视觉的超薄均热板检测定位装置及方法与流程

1.本发明涉及超薄均热板的检测和定位，具体是涉及一种基于计算机视觉的超薄均热板检测定位装置及方法。


背景技术：

2.随着电子产品朝着高性能化、微型化发展，超薄均热板被广泛应用到各种轻薄便携型电子产品中，并且随着手机、平板电脑等电子产品数量的增加，对于超薄均热板的需求量也大幅提升。在超薄均热板的注液与一除工艺中，定位是决定这两道工艺能否顺利进行的关键性技术。在这两道工艺中，定位分为定位点的确定以及旋转角度的求解与修正。定位点的确定保证了超薄均热板的注液管与注液工艺中的注液针、一除工艺中的真空腔体对心共线；旋转角度的求解与修正保证了超薄均热板的注液管始终保持竖直向上，不会出现倒置的情况。没有进行定位会导致注液针无法进入到超薄均热板中进行注液工艺，从而导致注液过程失败，并且没有进行定位会导致超薄均热板的注液管无法顺利进入真空腔体中，从而导致一除工艺无法进行。而目前超薄均热板注液与一除工艺中的定位过程多以人工手动操作为主，这种重复性的高强度工作会导致人工进行注液时出现漏注、重注，一除时出现重除的概率提升，同时随着劳动力人口的减少，劳动力成本也在日益增加，因此急需一种能够实现在超薄均热板的注液与一除工艺中对其进行自动化检测与定位的装置及方法。将计算机视觉应用于超薄均热板的注液与一除工艺中，能够实现高效、准确地进行检测和定位过程。


技术实现要素：

3.本发明的目的是针对上述问题，提供一种基于计算机视觉的超薄均热板检测定位装置及方法，实现超薄均热板在注液与一除工艺中自动化进行检测与定位过程，从而代替人工提高产品的生产效率和效益。
4.为实现上述目的，本发明采用如下技术方案：
5.基于计算机视觉的超薄均热板检测定位装置，包括视觉装置和计算机系统；
6.所述视觉装置包括送料模块、超薄均热板视觉检测定位机构、工作台以及工业机器人模块；工作台通过地脚螺栓固定在地面上，超薄均热板视觉检测定位机构安装在工作台的工作面板上。
7.送料模组用于放置料盒并通过电机丝杠输送料盒中的超薄均热板，保证超薄均热板视觉检测定位机构够竖直采集到完整的超薄均热板图像信息，并传递给计算机系统。
8.所述计算机系统包括工控机，工控机通过网线与超薄均热板视觉检测定位机构进行通讯连接；工控机包括目标检测模块、图像处理模块以及定位点求取与角度修正模块。
9.所述的超薄均热板视觉检测定位机构包括图像采集系统与视觉仪器装置；图像采集系统安装在视觉仪器装置上；
10.图像采集系统包括相机、镜头、光源和光源控制器；
11.视觉仪器装置包括内置双轴心导轨、滑块、光源支架、z型手拧螺栓、横梁、侧板、旋钮、丝杆、光轴、丝杆螺母、相机夹板、微调滑台、侧板固定板、硅胶垫；
12.视觉仪器装置通过内置双轴心导轨光轨下方的螺纹孔安装在工作面板上，横梁与微调滑台分别安装在两块滑块上，从而可以通过滑块在导轨上的滑动来调节拍摄高度和光源高度；光源支架通过z型手拧螺栓安装在横梁上，并且利用z型手拧螺栓来调节两光源支架之间的宽度，从而实现对光源的定位，定位完成后通过螺钉固定在光源支架上；侧板固定板与滑块进行连接，侧板安装在侧板固定板上，两块相机夹板安装在两根光轴与丝杆之间，通过旋钮使丝杆带动丝杆螺母转动从而调节两相机夹板之间的距离，使得硅胶垫夹紧相机，通过调节微调滑台来保证相机的水平。
13.送料模块包括电机、定位板、夹紧气缸、物料盒、超薄均热板、定位销、导轨和滑台；导轨通过螺纹孔安装在工作面板上，电机与导轨通过联轴器连接并利用螺栓固定，定位板安装在滑台上，从而能够通过滑台沿着导轨输送超薄均热板，物料盒通过安装在定位板上的定位销进行定位并且通过两侧的夹紧气缸进行夹紧，物料盒中开设的凹槽用于摆放超薄均热板；
14.工作台包括工作面板和支架；支架通过地脚螺栓固定在地面上，工作面板通过螺栓孔安装在支架上。
15.工业机器人模块包括机械臂底座、机械臂、真空吸盘安装板和真空吸盘；机械臂底座通过地脚螺栓固定在地面上，机械臂通过螺栓与底座连接，真空吸盘安装板安装在机械臂的第六轴上，真空吸盘固定在安装板上。
16.基于计算机视觉的超薄均热板检测定位方法，其具体步骤如下：
17.步骤一：目标检测与分类模块包括特征识别、物料检测和象限分类；将超薄均热板视觉定位机构中的相机所采集到的图像传入计算机系统中，运用yolov5网络识别出超薄均热板的注液口特征，根据是否识别到特征来检测料盒中是否存放超薄均热板，检测到存在超薄均热板后，根据注液口的朝向进行象限分类；
18.步骤二：图像处理模块包括二值化、连通域分割、图像填充、轮廓提取和最小外接矩形；利用二值化将图像所需的部分提取出来，并通过连通域分割将图像分割成注液口特征区域和盖板区域，并对分割的各个区域进行图像填充、轮廓提取和求解最小外接矩形；
19.步骤三：定位点求取与角度修正模块包括中垂线方程求解、底部轮廓线方程求解、定位点求解和旋转角度求解与修正部分；根据步骤二所述，针对分割的各个区域分别进行最小外接矩形求解后，利用最小外接矩形分别计算出注液口特征区域的中点以及中垂线方程和盖板区域的底部轮廓线方程并求解出两条直线方程的交点，对交点与注液口特征区域中点进行中点求解，最终求解出的中点坐标就是超薄均热板的定位点；再根据盖板区域的最小外接矩形求出的偏转角度结合之前通过yolov5网络的分类结果，对偏转角度进行修正，得到将超薄均热板转正的旋转角度。根据得到的定位点与旋转角度，引导工业机器人到达定位点，根据旋转角度旋转第六轴，最后利用安装在连接件上的真空吸盘进行超薄均热板的搬运。
20.步骤四：搬运完这一片超薄均热板后，会驱动送料模组的电机转动，从而带动滑台向前移动，使得相机能够拍摄到下一片超薄均热板的图像，并再根据步骤一到三进行往复循环，直至滑台逐渐移动到终点，即完成该料盒中所有超薄均热板的抓取。
21.所述步骤一中，相机采用单通道的工业相机，镜头采用远心镜头来减少相机畸变，光源使用白色面光源，相机所采集的图片传入计算机系统中，由软件对图像进行处理。
22.所述步骤一中，对采集到的超薄均热板图像放入yolov5网络中进行模型推理和预测，得到的输出图像上会将识别到的特征(超薄均热板的注液口)利用框线标出，根据输出图像中是否存在框线判断所拍摄的图像中是否存在超薄均热板，以达到特征识别和物料检测的目的；
23.根据识别出来的注液口特征，yolov5网络还会根据注液口特征的朝向进行象限分类，按照常规的象限划分方法分为一、二、三、四象限，判断当前图像中注液口的朝向，将其划分到对应的象限类别中。
24.所述步骤二中，对采集到的超薄均热板图像进行全局二值化阈值分割处理，得到仅有超薄均热板区域的二值化图像，再对得到的二值化图像采用连通域划分，将注液口特征划分为区域1，盖板区域划分为区域2。
25.所述步骤二中，分别对注液口特征区域和盖板区域进行图像填充，确保两个区域的图像上不存在孔洞或间隙等缺陷，避免在进行轮廓提取时出现多个轮廓的情况，完成图像填充后分别对两个区域进行轮廓提取，提取出注液口特征和盖板的外轮廓，再分别对两个外轮廓进行最小外接矩形求解，分别求解出两个最小外接矩形。
26.所述步骤三中，针对注液口特征所求解出的最小外接矩形，利用求解得到的矩形左上角坐标和矩形的宽、高参数，可以计算出矩形的中心点坐标和顶部轮廓线的中点坐标，根据两点坐标可以求解出竖直方向上的中垂线方程。
27.所述步骤三中，针对盖板区域所求接触的最小外接矩形，同样利用求解得到的矩形左上角坐标和矩形的宽、高系数，可以求解出矩形左下角和右下角坐标，根据这两个点的坐标可以计算出矩形的底部轮廓线方程。
28.所述步骤三中，根据注液口特征得到的竖直方向上的中垂线方程和盖板区域得到的底部轮廓线方程，可以求解出两条直线的交点坐标，并利用注液口特征得到的中点坐标与该交点坐标进行中点求解，得到定位点坐标；同时根据盖板区域最小外接矩形求解出的偏转角度结合yolov5网络的分类结果，对偏转角度进行修正，得到将超薄均热板转正的旋转角度。
29.所述步骤三中，根据得到的定位点与旋转角度，引导工业机器人到达定位点，根据旋转角度旋转第六轴，最后利用安装在连接件上的真空吸盘完成超薄均热板的搬运。
30.所述步骤四中，当机械臂抓取到定位点处的超薄均热板后会发出一个电信号，控制器接收到电信号后，会向电机驱动器发出信号，使得电机开始转动，从而带动滑台移动，料盒也在导轨上向前移动，当yolov5网络再次检测到相机拍摄的图像中存在超薄均热板时，电机停转，料盒也停止向前移动，同时工控机开始重复步骤一到步骤三，求解出该片超薄均热板的定位点与旋转角度，再引导机械臂进行抓取，不断循环直至滑台移动到终点位置，即完成该料盒中所有超薄均热板的抓取。
31.相对于现有技术，本发明具有如下优点：
32.1)本发明方法将yolov5网络与传统机器视觉相结合，来解决传统视觉算法在工业环境中因噪声、环境光源等因素造成其稳定性较差的问题，并且通过引入卷积神经网络能够提高本发明方法的鲁棒性和普适性，使其能够应用于绝大多数超薄均热板注液和一除工
艺的自动化检测与定位过程。
33.2)本发明方法采用yolov5网络对超薄均热板注液口特征的朝向进行分类，根据得到的分类结果对盖板区域应用最小外接矩形算法求得的旋转角度进行修正，达到通过yolov5网络来弥补传统视觉算法缺陷的目的。
34.3)本发明方法针对超薄均热板的结构，采用了自设计的超薄均热板定位点求解算法，能够保证工业机器人在后续抓取超薄均热板进行注液与一除工艺过程中始终保证注液管与注液工艺中的注液针、一除工艺中的真空腔体对心共线。
35.4)本发明方法通过结合工业机器人，实现了自动化进行超薄均热板的注液与一除工艺，代替了传统的人工手动操作，提高了产品的生产效率，节约了生产成本。
附图说明
36.图1为本发明实施超薄均热板检测与定位方法的流程图；
37.图2为本发明的超薄均热板检测定位装置整体结构图；
38.图3为本发明的送料模块的结构图；
39.图4为本发明的超薄均热板视觉检测定位机构的结构图；
40.图5为本发明的工作台结构图；
41.图6为本发明的工业机器人模块的结构图。
42.图2、图3、图4、图5和图6中示出：1为送料模块，2为超薄均热板视觉检测定位机构，3为工作台，4为工业机器人模块；1-1为电机、1-2为定位板、1-3为夹紧气缸、1-4为物料盒、1-5为超薄均热板、1-6为定位销、1-7为导轨，1-8为滑台，2-1为内置双轴心导轨，2-2为滑块，2-3为光源支架，2-4为z型手拧螺栓，2-5为横梁，2-6为侧板，2-7为旋钮，2-8丝杆，2-9为光轴，2-10为丝杆螺母，2-11为相机夹板，2-12为微调滑台，2-13为侧板固定板，2-14为相机，2-15为硅胶垫，2-16为镜头，2-17为光源，3-1为工作面板，3-2为支架，4-1为机械臂底座，4-2为机械臂，4-3为真空吸盘安装板，4-4为真空吸盘。
具体实施方式
43.为更好地理解本发明，下面结合附图对本发明作进一步的说明，但本发明的实施方式不限如此。另外，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
44.基于计算机视觉的超薄均热板检测定位装置，由视觉装置和计算机系统两部分组成。
45.如图2所示，本发明实施例提供了一种基于计算机视觉的超薄均热板检测定位装置，包括图3所示的送料模块、图4所示的超薄均热板视觉检测定位机构、图5所示的工作台以及图6所示的工业机器人模块和计算机系统，用于实现所述的一种基于计算机视觉的超薄均热板检测定位方法。
46.具体结构如下：
47.如图3所示，送料模块1包括电机1-1、定位板1-2、夹紧气缸1-3、物料盒1-4、超薄均热板1-5、定位销1-6、导轨1-7和滑台1-8；导轨1-7通过螺纹孔安装在工作面板3-2上，电机1-1与导轨1-7通过联轴器连接并利用螺栓固定，定位板1-2安装在滑台1-8上，从而能够通
过滑台1-8沿着导轨1-7输送超薄均热板1-5，物料盒1-4通过安装在定位板1-2上的定位销1-6进行定位并且通过两侧的夹紧气缸1-3进行夹紧，物料盒1-4中开设的凹槽用于摆放超薄均热板1-5；
48.如图4所示，超薄均热板视觉检测定位机构2包括图像采集系统与视觉仪器装置；图像采集系统安装在视觉仪器装置上；图像采集系统包括相机2-14、镜头2-16、光源2-17和光源控制器；视觉仪器装置包括内置双轴心导轨2-1、滑块2-2、光源支架2-3、z型手拧螺栓2-4、横梁2-5、侧板2-6、旋钮2-7、丝杆2-8、光轴2-9、丝杆螺母2-10、相机夹板2-11、微调滑台2-12、侧板固定板2-13、硅胶垫2-15；视觉仪器装置通过内置双轴心导轨光轨2-1下方的螺纹孔安装在工作面板3-2上，横梁2-5与微调滑台2-12分别安装在两块滑块2-2上，从而可以通过滑块2-2在导轨2-1上的滑动来调节拍摄高度和光源高度；光源支架2-3通过z型手拧螺栓2-4安装在横梁2-5上，并且利用z型手拧螺栓2-4来调节两光源支架2-3之间的宽度，从而实现对光源2-17的定位，定位完成后通过螺钉固定在光源支架2-3上；侧板固定板2-13与滑块2-2进行连接，侧板2-6安装在侧板固定板2-13上，两块相机夹板2-11安装在两根光轴2-9与丝杆2-8之间，通过旋钮2-7使丝杆2-8带动丝杆螺母2-10转动从而调节两相机夹板2-11之间的距离，使得硅胶垫2-15夹紧相机2-14，通过调节微调滑台2-12来保证相机2-14的水平。
49.如图5所示，工作台3包括工作面板3-1和支架3-2；支架3-2通过地脚螺栓固定在地面上，工作面板3-1通过螺栓孔安装在支架3-2上。
50.如图6所示，工业机器人模块4包括机械臂底座4-1、机械臂4-2、真空吸盘安装板4-3和真空吸盘4-4；机械臂底座4-1通过地脚螺栓固定在地面上，机械臂4-2通过螺栓与底座4-1连接，真空吸盘安装板4-3安装在机械臂4-1的第六轴上，真空吸盘4-4固定在安装板4-3上。
51.计算机系统主要是指工业控制计算机，工控机通过网线与相机进行通讯连接，通过工控机执行所述的一种基于计算机视觉的超薄均热板检测定位方法，包括目标检测模块、图像处理模块以及定位点求取与角度修正模块。如图1所示，检测定位方法包括以下步骤：
52.step1：相机采用单通道的工业相机，镜头采用远心镜头来减少相机畸变，光源使用白色面光源，相机所采集的图片传入计算机系统中，由软件对图像进行处理。
53.step2：将采集到的超薄均热板图像放入yolov5网络中进行模型推理和预测，得到的输出图像上会将识别到的特征(超薄均热板的注液口)利用框线标出，根据输出图像中是否存在框线判断所拍摄的图像中是否存在超薄均热板，以达到特征识别和物料检测的目的。
54.step3：根据识别出来的注液口特征，yolov5网络还会根据注液口特征的朝向进行象限分割，按照常规的象限划分方法分为一、二、三、四象限，判断当前图像中注液口的朝向，将其划分到对应的象限类别中。
55.step4：保存检测和分类结果后，对采集到的超薄均热板图像f(x，y)进行全局二值化阈值分割处理，得到仅有超薄均热板区域的二值化图像g(x，y)，t
grag
为设定的分割阈值：
56.其次，对二值化图像采用连通域划分，将注液口特征划分为区域1，盖板区域划分为区域2。
57.step5：分别对注液口特征区域和盖板区域进行图像填充，确保两个区域的图像上不存在孔洞或间隙等缺陷，避免在进行轮廓提取时出现多个轮廓的情况，完成图像填充后分别对两个区域进行轮廓提取，提取出注液口特征和盖板的外轮廓，再分别对两个外轮廓进行最小外接矩形求解，分别求解出两个最小外接矩形。
58.step6：针对注液口特征所求解出的最小外接矩形，利用求解得到的矩形左上角坐标(x0，y0)和矩形的宽w1、高h1系数，可以计算出矩形的中心点坐标(x
c1
，y
c1
)和顶部轮廓线的中点坐标(x1，y1)，根据两点坐标可以求解出竖直方向上的中垂线方程l1：k1x+b1＝y。
59.中心点坐标顶部轮廓线中点坐标中垂线方程参数
60.step7：针对盖板区域所求接触的最小外接矩形，同样利用求解得到的矩形左上角坐标(x2，y2)和矩形的宽w2、高h2系数，可以求解出矩形左下角(x3，y3)和右下角坐标(x4，y4)，根据这两个点的坐标可以计算出矩形的底部轮廓线方程l2：k2x+b2＝y。
61.底部轮廓线方程参数
62.step8：根据注液口特征得到的竖直方向上的中垂线方程l1和盖板区域得到的底部轮廓线方程l2，可以求解出两条直线的交点坐标(xi，yi)，并利用注液口特征得到的中点坐标(x
c1
，y
c1
)与该交点坐标(xi，yi)进行中点求解，得到定位点坐标(xa，ya)；同时根据盖板区域最小外接矩形求解出的偏转角度结合yolov5网络的分类结果，对偏转角度进行修正，得到将超薄均热板转正的旋转角度。
63.交点坐标定位点坐标
64.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。