基于机器视觉内存对位接插方法与系统、设备、存储介质与流程

本发明涉及图像处理技术领域，特别涉及一种基于机器视觉内存对位接插方法。本发明还涉及一种基于机器视觉内存对位接插系统、一种设备和一种存储介质。

背景技术：

随着中国电子技术的发展，越来越多的电子设备已得到广泛使用。

服务器是电子设备中的重要组成部分，是提供计算服务的设备。由于服务器需要响应服务请求，并进行处理，因此一般来说服务器应具备承担服务并且保障服务的能力。根据服务器提供的服务类型不同，分为文件服务器、数据库服务器、应用程序服务器、web服务器等。

在大数据时代，大量的it设备会集中放置在数据中心。这些数据中心包含各类型的服务器、存储、交换机及大量的机柜及其它基础设施。每种it设备都是有各种硬件板卡组成，如计算模块、内存模块、存储模块、机箱等。内存模块是计算机中重要的部件之一，它是存储模块与cpu进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的，因此内存的性能对计算机的影响非常大。在服务器架构中内存也是必不可少的元器件，且数量较多。

目前，在产线大批量生产作业中，内存条需要插入内存插槽完成内存插装作业。在现有技术中，一般通过人工借助内存安装治具手动完成内存条与内存插槽的插装。然而，由于主板安装密度大，内存条安装数量较多且一般满配运行，因此人工作业效率较低，插拔操作费时费力，工人劳动强度较大且易伤手。并且，在内存条插装数量较多时，容易在装配时因为外界环境影响，比如振动等而导致内存条与内存插槽间的对位不准确，进而导致内存条在插装时碰撞到内存插槽的槽壁上，造成内存条的金手指损坏或断裂，以及内存插槽的损坏。

因此，如何提高内存插装的作业效率，保证内存条与内存插槽对位准确，防止在插装作业过程中出现碰撞事故，是本领域技术人员面临的技术问题。

技术实现要素：

本发明的目的是提供一种基于机器视觉内存对位接插方法，能够提高内存插装的作业效率，保证内存条与内存插槽对位准确，防止在插装作业过程中出现碰撞事故。本发明的另一目的是提供一种基于机器视觉内存对位接插系统。

为解决上述技术问题，本发明提供一种基于机器视觉内存对位接插方法，包括：

通过机械臂带动移动相机运动至初始位置，并使所述移动相机通过图像处理技术获取内存条的初始位态；

根据所述内存条的初始位态与抓取基准位态的偏差值计算所述机械臂的偏移量，并根据所述偏移量移动所述机械臂至抓取位置抓取所述内存条；

移动所述机械臂至固定相机的拍照位置，并通过图像处理技术计算所述内存条的抓后位态，再根据所述抓后位态与装配基准位态的偏差值将所述机械臂移动至待装配位置；

通过所述移动相机对内存插槽进行图像获取并通过图像处理技术计算所述内存插槽的当前位态，再根据所述当前位态与所述内存插槽的插装基准位态计算补偿位态；

根据所述待装配位置与所述补偿位态计算当前插装位态，并将所述机械臂移动至当前插装位置进行内存条插装作业。

优选地，在通过机械臂带动移动相机同步运动至初始位置之前，还包括：

对所述移动相机及所述固定相机的拍照图像坐标与所述机械臂的位置坐标进行标定，以获得所述移动相机的图像与所述机械臂之间的坐标转换关系以及所述固定相机的图像与所述机械臂之间的坐标转换关系。

优选地，使移动相机通过图像处理技术获取内存条的初始位态，具体包括：

使所述移动相机通过连通域分析方法在预设roi区域内获取所述内存条的轮廓，并通过直线拟合出所述内存条的边缘轮廓线，再根据所述边缘轮廓线计算所述内存条的初始位态。

优选地，在获取内存条的初始位态之前，还包括：

获取所述机械臂的抓取基准位态、所述内存条的装配基准位态与所述内存插槽的插装基准位态。

优选地，获取所述机械臂的抓取基准位态，具体包括：

通过所述机械臂带动所述移动相机运动至可获取所述内存条图像的拍照基准位态；

通过所述移动相机获取所述内存条的图像并计算所述内存条的第一坐标基准位态；

通过所述机械臂抓取所述内存条并垂直上升预设距离至抓取基准位态。

优选地，获取所述内存条的装配基准位态，具体包括：

通过所述机械臂对所述内存条保持抓取并移动至所述固定相机的拍照位置；

通过所述固定相机获取所述内存条的图像并计算所述内存条的装配基准位态。

优选地，获取所述内存插槽的插装基准位态，具体包括：

通过所述机械臂带动所述移动相机运动至可获取所述内存插槽图像的识别基准位态；

通过所述移动相机获取所述内存插槽的图像并计算所述内存插槽的第二坐标基准位态；

通过所述机械臂带动所述移动相机运动至所述内存插槽上方预设距离的插装基准位态。

本发明还提供一种基于机器视觉内存对位接插系统，包括：

初始获取模块，用于通过机械臂带动移动相机运动至初始位置，并使所述移动相机通过图像处理技术获取内存条的初始位态；

内存抓取模块，用于根据所述内存条的初始位态与抓取基准位态的偏差值计算所述机械臂的偏移量，并根据所述偏移量移动所述机械臂至抓取位置抓取所述内存条；

姿态调整模块，用于移动所述机械臂至固定相机的拍照位置，并通过图像处理技术计算所述内存条的抓后位态，再根据所述抓后位态与装配基准位态的偏差值将所述机械臂移动至待装配位置；

插槽定位模块，用于通过所述移动相机对内存插槽进行图像获取并通过图像处理技术计算所述内存插槽的当前位态，再根据所述当前位态与所述内存插槽的插装基准位态计算补偿位态；

对位插装模块，用于根据所述待装配位置与所述补偿位态计算当前插装位态，并将所述机械臂移动至当前插装位置进行内存条插装作业。

本发明还提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述任一项所述基于机器视觉内存对位接插方法的步骤。

本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述基于机器视觉内存对位接插方法的步骤。

本发明所提供的基于机器视觉内存对位接插方法，主要包括五个步骤。其中，在第一步中，首先通过机械臂的运动带动移动相机运动到初始位置处，然后使移动相机通过图像处理技术获取内存条的初始位态（位态包括位置和姿态）。在第二步中，根据计算出的内存条的初始位态与预先设定的抓取基准位态进行偏差值计算，得出机械臂的偏移量，然后根据该偏移量移动机械臂至抓取位置处，再抓取内存条。在第三步中，抓取内存条之后还需要移动到内存插槽处，而内存插槽位于固定相机所在区域，如此移动机械臂到固定相机的拍照位置处，然后通过固定相机利用图像处理技术计算内存条的抓后位态，再根据内存条的抓后位态与预先设定的装配基准位态进行偏差值计算，再根据该偏差值将机械臂移动到待装配位置。在第四步中，为明确当前内存插槽的位态，首先通过移动相机对内存插槽进行图像获取，然后利用图像处理技术计算内存插槽的当前位态，再根据其当前位态与预先设定的插装基准位态的偏差值计算补偿位态。在第五步中，即可根据待装配位置与补偿位态计算出最终的插装位态，然后将机械臂移动到插装位置即可进行内存条插装作业。如此，本发明所提供的基于机器视觉内存对位接插方法，通过移动相机和固定相机对机械臂、内存条和内存插槽进行图像获取，利用图像处理技术计算机械臂、内存条和内存插槽的坐标位态，再在内存条的插装作业过程中利用其实时位态与预先设定好的基准位态之间的偏差值修正、引导机械臂进行运动，最后引入内存插槽的位态补偿，使得内存条在进行插装前与内存插槽保持对齐。因此，本发明能够提高内存插装的作业效率，保证内存条与内存插槽对位准确，防止在插装作业过程中出现碰撞事故。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明所提供的一种具体实施方式的方法流程图。

图2为本发明所提供的一种具体实施方式的系统结构图。

其中，图2中：

初始获取模块—1，内存抓取模块—2，姿态调整模块—3，插槽定位模块—4，对位插装模块—5。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明所提供的一种具体实施方式的整体结构示意图。

在本发明所提供的一种具体实施方式中，基于机器视觉内存对位接插方法，主要包括五个步骤，分别为：

s1、通过机械臂带动移动相机运动至初始位置，并使移动相机通过图像处理技术获取内存条的初始位态；

s2、根据内存条的初始位态与抓取基准位态的偏差值计算机械臂的偏移量，并根据偏移量移动机械臂至抓取位置抓取内存条；

s3、移动机械臂至固定相机的拍照位置，并通过图像处理技术计算内存条的抓后位态，再根据抓后位态与装配基准位态的偏差值将机械臂移动至待装配位置；

s4、通过移动相机对内存插槽进行图像获取并通过图像处理技术计算内存插槽的当前位态，再根据当前位态与内存插槽的插装基准位态计算补偿位态；

s5、根据待装配位置与补偿位态计算当前插装位态，并将机械臂移动至当前插装位置进行内存条插装作业。

其中，在步骤s1中，由于移动相机设置在机械臂上，因此可通过机械臂的运动带动移动相机运动到初始位置处，然后使移动相机通过图像处理技术获取内存条的初始位态（位态包括位置和姿态）。

在步骤s2中，根据计算出的内存条的初始位态与预先设定的抓取基准位态进行偏差值计算，得出机械臂的偏移量，然后根据该偏移量移动机械臂至抓取位置处，再抓取内存条。

在步骤s3中，抓取内存条之后还需要移动到内存插槽处，而内存插槽位于固定相机（固定不动）所在区域，如此移动机械臂到固定相机的拍照位置处，然后通过固定相机利用图像处理技术计算内存条的抓后位态，再根据内存条的抓后位态与预先设定的装配基准位态进行偏差值计算，再根据该偏差值将机械臂移动到待装配位置。

在步骤s4中，为明确当前内存插槽的位态，首先通过移动相机对内存插槽进行图像获取，然后利用图像处理技术计算内存插槽的当前位态，再根据其当前位态与预先设定的插装基准位态的偏差值计算补偿位态。

在步骤s5中，即可根据待装配位置与补偿位态计算出最终的插装位态，然后将机械臂移动到插装位置即可进行内存条插装作业。

如此，本实施例所提供的基于机器视觉内存对位接插方法，通过移动相机和固定相机对机械臂、内存条和内存插槽进行图像获取，利用图像处理技术计算机械臂、内存条和内存插槽的坐标位态，再在内存条的插装作业过程中利用其实时位态与预先设定好的基准位态之间的偏差值修正、引导机械臂进行运动，最后引入内存插槽的位态补偿，使得内存条在进行插装前与内存插槽保持对齐。因此，本实施例能够提高内存插装的作业效率，保证内存条与内存插槽对位准确，防止在插装作业过程中出现碰撞事故。

此外，考虑到机械臂的坐标可根据其驱动机构构建的空间坐标系进行精确定位，而移动相机和固定相机对于内存条的坐标定位方式仅能通过拍照并进行图像处理技术进行计算获得，如此，为方便移动相机和固定相机通过图像获取方式确定内存条的坐标位态，本实施例中在对内存条进行插装作业之前首先进行了标定流程。该标定流程主要用于根据实际设备和环境确定机械臂的坐标与移动相机和固定相机所拍摄的图像坐标之间的转换关系。

具体的，标定流程中移动相机可采用眼在手上“eye-in-hand”的手眼标定方法，而固定相机由于固定在机械臂外，不随着机械臂的运动而运动，因此采用眼在手外的“eye-on-hand”手眼标定方法，两者只是相机的安装方式不同，在本文中的标定的原理同样都是用到的九点标定的方式。九点标定原理是首先移动机械臂使移动相机和固定相机的图像视野中存在一个mark点，然后使用模板匹配或连通域分析方法找到mark点的位置，之后移动机械手九次，使得每次mark点在图像中位于不同的位置且都能在图像视野中找到mark点，分别保存九次的机械臂坐标和图像坐标。设机械臂的坐标为（x，y，z），因为机械臂在进行移动时可保持z轴不变，因此只需标定x、y即可。即图像坐标和机械手坐标之间的关系为：

其中，旋转矩阵t为：

平移矩阵m为：

如此可得方程组：

由方程组可知有六个未知数，需要至少三组点才能解出来这六组数，然而为了保证数值的精度，一般会选择更多的点使用最小二乘法求解出来一个精度较高的解，参考机械臂精度和像素精度，九组点的时候就可以保证得出的矩阵精度达到要求，所以一般使用九组点去求解旋转和平移矩阵。为方便区分移动相机与固定相机，可设移动相机的坐标转换关系矩阵为hs，固定相机的坐标转换关系矩阵为hx。

在步骤s1中，使移动相机通过图像处理技术获取内存条的初始位态，具体包括：

首先可用机械臂上的移动相机先进行内存条有无的判断，然后确认内存条存在时，使用连通域分析的方法在特定的roi区域中找到内存条的轮廓，之后可roi区域中根据内存条的轮廓分割为多个子区域，然后分别得到这些子区域的x（长度尺寸）和y（宽度尺寸）的值，再根据x的值去判断各个子区域在roi区域中的位置；之后选择最左边或者最右边的位置为当前所需的内存条位置，并找到对应子区域的最小外接矩形，再把该最小外界矩形的中心点右移分割成为多个小的子矩形，并在每个小子矩形内使用图像处理的canny算子得到梯度变化较大的点，最后根据计算出的多个点进行直线的拟合，拟合出来的直线即为内存条的边缘轮廓线。接下来只需根据内存条的边缘轮廓线，由直线的点斜式方程可以求出内存条的角度，再找到内存条最小外接矩形的中心点，沿着中心点以内存条的角度方向两边扩散可以求出内存条在图像中的最边缘的中心点位置，最后根据边缘轮廓线的位置、长度和角度即可算出内存条的初始位态。

另外，为提高机械臂的抓取基准位态、内存条的装配基准位态和内存插槽的插装基准位态的精确性，本实施例在获取内存条的初始位态之前，还可事先根据实际设备和环境对各个基准位态进行作业前修正和确定。

具体的，获取机械臂的抓取基准位态和内存条的装配基准位态的方法具体包括：

首先带动机械臂带动移动相机运动到预设的第一个拍照位置处进行拍照，此时保存机械臂的坐标p6（x6，y6，q6）和在图像中内存条的坐标p7（x7，y7，q7），然后手动移动机械臂带动移动相机抓取内存条，抓取到内存条之后，只改变z坐标到拍照高度，记录此时的机械臂坐标p8（x8，y8，q8）为机械臂需要抓取的基准位置。然后手动移动机械臂抓取内存条移动至固定相机的拍照位置处进行拍照处理，确定内存条的坐标p9（x9，y9，q9），该坐标为机械臂抓取内存条之后要放进内存插槽的基准位置。如此，即可分别确定机械臂的拍照基准位态p6、内存条的第一坐标基准位态p7、机械臂的抓取基准位态p8、内存条的装配基准位态p9。其中，q为姿态角度。

获取内存插槽的插装基准位态的方法具体包括：

使用机械臂引导移动相机运动内存插槽的上方预设距离位置处，缓缓引导机械臂把内存条插入内存插槽，插入内存插槽之后，再抬高到移动相机的拍照高度，保证此时机械臂的x，y坐标值不变，并记录此时的机械臂坐标为p1（x1，y1，q1），之后移动机械臂到移动相机视野中可以清楚拍摄内存插槽的位置，找到此时内存插槽的位置进行图像处理和识别，计算出内存插槽的坐标，分别保存此时机械臂的坐标p2（x2，y2，q2）和内存插槽的坐标p3（x3，y3，q3）。其中，点p1即为插装内存条时的插装基准位态、点p2即为识别内存插槽的识别基准位态、p3即为识别内存插槽时的第二坐标基准位态。

在步骤s4中，首先通过移动相机计算出内存插槽的当前位态为p4（x4，y4，q4），然后与前述第二坐标基准位态p3进行差值计算，再根据该差值计算得到较基准的补偿位态p5（x5，y5，q5）：

，

同理，在步骤s2中，再计算机械臂的偏移量（xp、yp、qp）时，可根据内存条的初始位态依次与拍照基准位态、第一坐标基准位态和抓取基准位态之间的差值计算总的偏移量，然后对机械臂的抓取位置进行修正，抓取位置的坐标为p10（x10、y10、q10）：

此外，在步骤s3中，通过固定相机计算内存条的抓后位态为p11（x11，y11，q11），之后将其与装配基准位态p9（x9，y9，q9）进行差值计算，即可获得内存条的待装配位置的坐标为p12（x12，y12，q12）：

在步骤s4中，补偿位态的计算方法为将内存条的待装配位置的坐标p12与补偿位态p5的坐标相结合，即p13（x13，y13，q13）=p13（x12+x5，y12+y5，q12+q5）。

如图2所示，图2为本发明所提供的一种具体实施方式的系统结构图。

本实施例还提供一种基于机器视觉内存对位接插系统，主要包括初始获取模块1、内存抓取模块2、姿态调整模块3、插槽定位模块4和对位插装模块5。

其中，初始获取模块1主要用于通过机械臂带动移动相机运动至初始位置，并使移动相机通过图像处理技术获取内存条的初始位态。内存抓取模块2主要用于根据内存条的初始位态与抓取基准位态的偏差值计算机械臂的偏移量，并根据偏移量移动机械臂至抓取位置抓取内存条。姿态调整模块3主要用于移动机械臂至固定相机的拍照位置，并通过图像处理技术计算内存条的抓后位态，再根据抓后位态与装配基准位态的偏差值将机械臂移动至待装配位置。插槽定位模块4主要用于通过移动相机对内存插槽进行图像获取并通过图像处理技术计算内存插槽的当前位态，再根据当前位态与内存插槽的插装基准位态计算补偿位态。对位插装模块5主要用于根据待装配位置与补偿位态计算当前插装位态，并将机械臂移动至当前插装位置进行内存条插装作业。

本实施例还提供一种设备，主要包括存储器和处理器。其中，存储器主要用于存储计算机程序，而处理器主要用于执行该计算机程序，以在执行计算机程序的过程中实现如前所述的基于机器视觉内存对位接插方法。

在本实施例中，设备可以是服务器，也可以是智能手机、平板电脑、掌上电脑、便携计算机等终端设备。

本实施例还提供一种存储介质，该存储介质上存储有前述计算机程序，以便该计算机程序被处理器执行时实现如前所述的基于机器视觉内存对位接插方法。

在本实施例中，该存储介质可以为u盘、移动硬盘、只读存储器（read-onlymemory，rom）、随机存取存储器（randomaccessmemory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。