基于双目视觉的插件元件针脚视觉定位装置的制造方法
【专利摘要】本实用新型提供了基于双目视觉的插件元件针脚视觉定位装置。该定位装置配合直线运动装置和旋转运动装置，通过两个相机分别获取元件其中两个针脚的图像，把两个相机采集的针脚投影图像传到计算机分析，然后通过坐标转换计算确定针脚在垂直于针脚平面的位置，即水平平面中针脚的位置。本实用新型所涉及的基于双目视觉的插件元件针脚视觉定位装置，其中包括两个方向不同的相机、一个光源、气缸夹持装置、运动装置。通过两个方向的相机和一个光源组成的图像采集装置，配合直线运动装置，采集元件针脚的图像，通过两个相机采集的针脚图像对针脚进行定位，以及确定针脚姿态。
【专利说明】
基于双目视觉的插件元件针脚视觉定位装置
技术领域
[0001 ]本实用新型设及利用双目视觉的非接触方法对插件元件的针脚进行定位，从而对 插件元件进行定位，具体是一种基于双目视觉的插件元件针脚视觉定位装置。
【背景技术】
[0002] 随着电子产品的市场不断发展，电子产品的生产效率需要不断提高，生产的自动 化程度需要不断提高。目前市场上的一部分电子产品，因为对体积的要求没那么严格，为了 控制成本，广泛应用插件元件。随着电子产品需求量的不断提高，人工插件的效率和质量已 经无法满足目前的生产需要，需要通过自动化插件设备代替人工插件的过程，自动化插件 设备的核屯、技术是一种准确和快速的元件定位方法。
[0003] 目前利用机器视觉定位插件电子元件，有通过侧面激光给针脚打光，利用底部相 机100采集针脚端部对光线的折射来定位针脚，如图1所示。运种方法机械手101夹持待检测 元件102,激光线光源103从待检测元件的侧面打光，线光源的光照到针脚底端部，经过针脚 底端部倒角反射光线进入镜头，在底部相机中成像。但是如果待检测元件本体是白色，本体 反光和透光严重干扰针脚的定位，受本体颜色W及环境光线的限制较大；除此之外由于针 脚端部倒角工艺的不一致性，运些倒角的质量差异会影响定位的准确性。
[0004] 目前利用机器视觉定位电子元件，还有通过侧面平行光103打光利用另一侧的相 机100采集元件本体各方向的投影来确定元件的位置和姿态，如图2、3所示。运种方法是用 吸盘101吸住电子元件102,经过元件侧面平行光103打光，待检测元件本体遮挡住一部分光 线，其他部位的光线进入在待检测元件的另一侧的镜头，在相机形成元件本体的投影图像。 但是该方法只能通过吸盘吸取元件，因为需要通过元件本体的投影确定元件的位置和姿 态，所W不能通过机械手夹持待定位元件，所W无法应用于一些上表面不光滑的电子元件； 而且需要配合旋转运动采集元件本体多个方向的投影图像，不但计算量大，而且该定位方 法需要待检测元件在检测位停顿一定的时间配合旋转运动采集多个方向的投影图像，如果 使用到自动化插件设备，运种定位方法会使插件效率大大降低。对于一部分本体形状不规 则或其针脚相对本体位置精度不高的插件元件，运种通过本体的定位方法，针脚定位的误 差比较大，可能造成针脚无法插入电路板。
【发明内容】
[0005] 本实用新型的目的在于克服上述现有技术的缺点，提供基于双目视觉的插件元件 针脚视觉定位装置，通过采集元件针脚的投影图像，可W有效稳定地检测所有针脚，不受待 检测元件本体颜色和针脚端部倒角质量的影响；而通过对针脚直接进行定位，克服了本体 投影定位的精度缺点，W及需要通过旋转元件采集不同方向图像的效率低的缺点。
[0006] 为实现上述目的，本实用新型采用如下技术方案：
[0007] 基于双目视觉的插件元件针脚视觉定位装置，该装置包括两个相机，一个光源，一 个直线运动装置，一个夹持待定位元件的气缸夹持机构;其中：
[0008] 两个相机位于待定位元件的针脚的一侧，光源位于待定位元件的另一侧，光线通 过待定位元件的针脚区域，目标针脚的轮廓投影在相机成像，两个相机采集的针脚投影图 像可W确定针脚在两个相机光轴所在平面的位置；
[0009] 气缸夹持机构夹持待定位元件，由直线运动装置控制待定位元件通过两个相机和 光源之间的区域，通过控制直线运动装置的速度使两个相机都可W采集到目标针脚投影图 像，由直线运动装置的位移传感器确定待定位元件的位置，返回信号给控制电脑控制相机 拍照和光源开关。
[0010] 上述方案进一步是:所述气缸夹持机构与直线运动装置通过旋转运动机构桥接。
[0011] 上述方案进一步是:所述直线运动装置为电机-丝杆直线运动机构，包括有伺服电 机、丝杆、丝杆螺母，丝杆螺母套装在丝杆上，伺服电机驱动丝杆旋转，丝杆螺母沿丝杆轴向 往复移动，丝杆螺母连接旋转运动机构，旋转运动机构再连接气缸夹持机构。
[0012] 上述方案进一步是:所述电脑通过总线进行通信连接运动控制器、图像采集卡、摄 像控制器、光源控制器，电脑设有图像处理模块、CPU、存储器、人机接口，
[0013] 所述的运动控制器与所述直线运动装置相连接;所述两个相机与所述摄像控制器 连接，光源与光源控制器连接，所述摄像控制器用于实现所述两个相机的图像采集，所述光 源控制器用于实现所述光源的开关控制，用于配合相机采集图像;所述两个相机的信号输 出端与所述图像采集卡分别连接，所述图像采集卡用于将相机采集的数字图像信号送给所 述CPU处理或到所述存储器保存;所述直线运动装置的位移传感器与I/O 口连接，反馈待检 测元件的位置给CPU,用于控制相机和光源工作。
[0014] 本实用新型与现有技术相比，具有W下优点和有益效果：
[0015] (1)本视觉定位方法通过两个光轴与针脚垂直的相机可W检测出待检测元件针脚 在水平面中的位置W及元件的姿态。
[0016] (2)本视觉定位方法结合直线运动机构，使得相机可W在机械手抓取电子元件运 动的过程中采集元件针脚的投影图像，不需要通过旋转获得各个角度的图像信息，可W大 大节省插件元件的定位检测时间。
[0017] (3)本视觉定位方法通过背光打光的方式，利用针脚的投影图像对待检测元件的 针脚进行定位，避免了待检测元件本体透光和反光W及针脚端部倒角质量对针脚定位效果 的影响。
[0018] (4)本视觉定位方法通过直接采集元件针脚的图像来定位元件，有效消除了通过 元件本体的图像来定位元件位置的误差，大大提高了元件定位的精准度。
[0019] 巧)本实用新型可用于插件技术行业的高速高精度自动光学检测。
【附图说明】 [0020] ：
[0021] 下面结合附图及实施案例对本实用新型作进一步描述：
[0022] 图1为现有侧面激光打光针脚定位装置简图；
[0023] 图2为现有电子元件本体定位装置简图；
[0024] 图3为图2的仰视简图；
[0025] 图4为本实用新型元件定位装置正视图；
[0026] 图5为本实用新型元件定位装置上视图；
[0027] 图6为普通镜头针孔成像模型；
[00%]图7为双普通镜头相机坐标系；
[00巧]图8为双相机坐标系W及垂直坐标系；
[0030]图9为垂直坐标系W及世界坐标系；
[0031 ]图10为两个针脚定位示意图；
[0032] 图11为双远屯、镜头相机坐标系；
[0033] 图12本实用新型检测系统构框图。
【具体实施方式】 [0034] ：
[0035] 下面结合实施例及附图对本实用新型作进一步详细的描述，但本实用新型的实施 方式不限于此。
[0036] 参阅图4~12所示，本实用新型针对上述方法提供的基于双目视觉的插件元件针脚 视觉定位装置包括两个相机6、7，一个光源8，一个直线运动装置，一个夹持待定位元件的气 缸夹持机构4;其中：
[0037] 两个相机6、7位于待定位元件5的针脚的一侧，光源8位于待定位元件5的另一侧， 光线通过待定位元件的针脚区域，目标针脚51的轮廓投影在相机成像，两个相机采集的针 脚投影图像可W确定针脚在两个相机光轴所在平面的位置；
[0038] 气缸夹持机构4夹持待定位元件，由直线运动装置控制待定位元件通过两个相机 和光源之间的区域，通过控制直线运动装置的速度使两个相机都可W采集到目标针脚51投 影图像，由直线运动装置的位移传感器确定待定位元件的位置，返回信号给控制电脑控制 相机拍照和光源开关。
[0039] 实施例1:
[0040] 如图4、5所示，本装置包括相机6、相机7,光源8,气缸夹持机构4及直线运动装置。 气缸夹持机构4与直线运动装置通过旋转运动机构3桥接。所述直线运动装置为电机-丝杆 直线运动机构，包括有伺服电机11、丝杆9、丝杆螺母2,丝杆9通过滚动轴承10安装在支架1 上，丝杆螺母2套装在丝杆9上，伺服电机U驱动丝杆9旋转，丝杆螺母2沿丝杆轴向往复移 动，丝杆螺母2连接旋转运动机构3,旋转运动机构3再连接气缸夹持机构4。如图12所示，所 述电脑通过总线进行通信连接运动控制器、图像采集卡、摄像控制器、光源控制器，电脑设 有图像处理模块、CPU、存储器、人机接口，所述的运动控制器与所述直线运动装置相连接； 所述两个相机与所述摄像控制器连接，光源与光源控制器连接，所述摄像控制器用于实现 所述两个方向相机的图像采集，所述光源控制器用于实现所述光源的开关控制，用于配合 相机采集图像;所述两个方向相机的信号输出端与所述图像采集卡分别连接，所述图像采 集卡用于将相机采集的数字图像信号送给所述CPU处理或到所述存储器保存;所述直线运 动装置上的伺服电机11的位移传感器与I/O口连接，反馈待检测元件的位置给CPU,用于控 制相机和光源工作。
[0041] 相机和光源分别位于待定位元件的两侧，光线垂直于待检测元件的运动方向，相 机6和相机7成一定角度分布。相机6和相机7的镜头的光轴都垂直于待定位元件针脚的方 向，且相机6和相机7的镜头的光轴位于同一水平面，如图7所示的s-0-t平面。
[0042] 气缸夹持机构4夹持待检测元件，先控制旋转运动机构3旋转一定角度，使得相机6 和相机7采集的目标针脚无其他针脚的重叠。然后由电机-丝杆直线运动机构驱动待检测元 件直线通过相机和光源之间的区域。由伺服电机的位移传感器获取直线运动机构的位置， 将该位置信号反馈给工控电脑，用该位置信号控制相机6和相机巧白照，W及作为光源8开关 的信号源，即当待定位原件运动到指定位置时，光源8打开，相机6和相机7拍照，然后电机- 丝杆直线运动机构继续向前运动，运动一定距离后，待定位元件的第二个目标针脚到达两 个相机的拍照区域后，由伺服电机的位移传感器的信号反馈给工控电脑控制相机6和相机7 拍照，然后关闭光源8。
[0043] 本图像采集装置采集图像的原理:光线从待检测元件的一侧穿过针脚区域，针脚 遮挡住一部分光线，在相机上成黑色投影区域，其余透光部位在相机上成白色区域，结合相 机6和相机7中针脚的投影图像可W对元件针脚进行定位。
[0044] 如图12所示，采用上述基于双目视觉的插件元件针脚视觉定位装置。电脑通过总 线进行通信连接运动控制器、图像采集卡、摄像控制器、光源控制器，其中：摄像控制器分别 与相机6和相机7连接，控制相机6和相机7图像采集;光源控制器与光源8连接，控制光源8。 图像采集卡与相机6和相机7的信号输出连接，将相机采集的数字图像信号送给CPU处理或 保存到存储器。运动控制器与所述直线运动装置相连接，用于控制直线运动。直线运动装置 的伺服电机位移传感器与I/O 口连接，反馈待检测元件的位置给CPU,相机6、相机7和光源8 根据传感器的信号采集图像，图像采集过程由程序自动控制完成，采集的图像和处理结果 保存在存储器内，用于确定两个针脚的位置关系。
[0045] 电脑对采集的图像进行二值化，然后对二值图像进行分析，找出需要定位的针脚， 然后对坐标系进行转换，最终得到元件针脚在世界坐标系中的位置W及元件的姿态。
[0046] 实施例2:
[0047] 基于实施例1，本双目视觉元件定位系统还包括针脚定位和坐标转换方法，W及元 件姿态的确定方法：
[0048] 因为每个相机和镜头的参数都不一样，所W在定位针脚前需要标定相机的内和外 参数，本实用新型的元件针脚定位方法需要标定的内参数包括镜头相机焦距W及相机的忍 片单位像素的尺寸。除了相机内参数的标定，还需要标定相机的外参数，确定两个相机光轴 的夹角，W及通过标定确定镜头光学中屯、在世界坐标系中的位置，然后再确定两个相机的 光学中屯、距离双相机坐标系s-0-t的原点0的距离。
[0049] 如图6所示，普通镜头是小孔成像模型，结合相机6的镜头和相机7的镜头两个小孔 成像模型，确定针脚的投影在图像中的位置，即针脚投影图像在图像坐标系中的位置。通过 小孔成像模型可W换算出待定位针脚在两个相机构成的相机坐标系中的位置坐标P(s，t)。
[0050] 然后将针脚位置转换到如图8所示坐标轴相互垂直的坐标系x-0-y中，假设该坐标 系的X轴与相机坐标系的S轴平行，原点与s-0-t坐标系重合。由相机坐标系（s，t)转换到X- 0-y坐标系的公式为：
[0化1 ]
[0052]假设世界坐标系k-O'-w的k轴与元件运动方向平行，然后将P点在x-0-y坐标系转 换到的坐标系k-O'-w中，如图9所示，转换后得到针脚P在k-O'-w坐标系中的表示P(k，w)，转 换公式天
[0053]目前为止，只确定了一个针脚在世界坐标系中的位置，记第一个定位的针脚在世 界坐标系下的位置坐标为化l，wl)，下一步要通过两个针脚的位置确定元件几何中屯、的位 置和元件的姿态。机械手继续夹持待定位元件运动，记录该距离为d，第一个针脚运动到位 置P'化l-d，wl)，如图10所示，然后再对第二个针脚进行拍照，然后再通过前面的方法确定 第二个针脚的位置Q化2，w2)。然后通过运两个针脚的位置计算出元件几何中屯、的位置W及 元件的姿态。
[0化4] 实施例3:
[0055] 图11所示基于实施例1的远屯、镜头双目视觉插件元件定位方法：
[0056] 普通镜头成像原理是基于图6的小孔成像模型，需要通过相机的内外参数用小孔 成像模型经过较复杂的计算才可W得到针脚在双相机坐标s-0-t中的坐标。如果在该双目 视觉插件元件定位系统中使用两个远屯、镜头，远屯、镜头是一种平行光的成像模型，通过远 屯、镜头获得针脚的投影图像，远屯、镜头成像模型的计算更加简单，可W进一步简化图像坐 标系转换到双相机坐标系s-0-t的过程。而且远屯、镜头可W有效减少镜头成像的崎变，可W 进一步简化计算过程W及提高双目视觉插件元件定位系统的定位精度。
[0化7] 实施例4:
[005引基于实施例1，本图像采集装置需要保证两个针脚都可W检测到：
[0059] 在机械手抓取待定位元件后需要旋转一定的角度，使得两个相机获取的元件两个 目标针脚的投影图像没有其他针脚重叠，具体角度需要根据待定位元件的针脚分布和针脚 宽度确定。旋转运动机构就是为了保证两个目标针脚没有其他针脚重叠，从而保证定位精 度。
[0060] 气缸夹持机构夹持元件旋转一定角度后，接着做直线运动，目标针脚运动至可检 测区域，即两个相机都可W拍到的区域，如图5中的绿色阴影区域所示，然后光源打开，两个 相机给第一个目标针脚拍照。接着电机-丝杆直线运动机构控制机械手继续做直线运动，直 到待定位元件的第二个目标针脚到达可检测区域，两个相机分别给第二个目标针脚拍照， 保证两个目标针脚都可W检测得到。
【主权项】
1. 基于双目视觉的插件元件针脚视觉定位装置，其特征在于:该装置包括两个相机，一 个光源，一个直线运动装置，一个夹持待定位元件的气缸夹持机构;其中： 两个相机位于待定位元件的针脚的一侧，光源位于待定位元件的另一侧，光线通过待 定位元件的针脚区域，目标针脚的轮廓投影在相机成像，两个相机采集的针脚投影图像可 以确定针脚在两个相机光轴所在平面的位置； 气缸夹持机构夹持待定位元件，由直线运动装置控制待定位元件通过两个相机和光源 之间的区域，通过控制直线运动装置的速度使两个相机都可以采集到目标针脚投影图像， 由直线运动装置的位移传感器确定待定位元件的位置，返回信号给控制电脑控制相机拍照 和光源开关。2. 根据权利要求1所述的基于双目视觉的插件元件针脚视觉定位装置，其特征在于:所 述气缸夹持机构与直线运动装置通过旋转运动机构桥接。3. 根据权利要求2所述的基于双目视觉的插件元件针脚视觉定位装置，其特征在于:所 述直线运动装置为电机-丝杆直线运动机构，包括有伺服电机、丝杆、丝杆螺母，丝杆螺母套 装在丝杆上，伺服电机驱动丝杆旋转，丝杆螺母沿丝杆轴向往复移动，丝杆螺母连接旋转运 动机构，旋转运动机构再连接气缸夹持机构。4. 根据权利要求1所述的基于双目视觉的插件元件针脚视觉定位装置，其特征在于:所 述电脑分别通过总线进行通信连接运动控制器、图像采集卡、摄像控制器、光源控制器，电 脑设有图像处理模块、CPU、存储器、人机接口； 所述的运动控制器与所述直线运动装置相连接;所述两个相机与所述摄像控制器连 接，光源与光源控制器连接，所述摄像控制器用于实现所述两个相机的图像采集，所述光源 控制器用于实现所述光源的开关控制，用于配合相机采集图像;所述两个相机的信号输出 端与所述图像采集卡连接，所述图像采集卡用于将相机采集的数字图像信号送给所述CPU 处理或到所述存储器保存;所述直线运动装置的位移传感器与I/O 口连接，反馈待检测元件 的位置给CPU，用于控制相机和光源工作。
【文档编号】G01B11/00GK205482791SQ201620048726
【公开日】2016年8月17日
【申请日】2016年1月19日
【发明人】屠国权, 邝泳聪, 欧阳高飞, 梁经伦, 李家裕
【申请人】东莞市德速达精密设备有限公司, 华南理工大学, 东莞理工学院