一种基于机械手的设备自动组装控制方法及装置与流程

本发明涉及自动控制技术领域，尤其涉及一种基于机械手的设备自动组装控制方法及装置。

背景技术：

现在的自动组装一般都是以生产线的形式，自动组装生产线设备一般都是结构体积较大，并且在安装时都需要较大的占地面积，需要占用较大的空间，并且若是少量的组装产品，而启动整条生产线，会造成资源的浪费；又或者，在对于少量的设备产品需要组装时，一般使用人工的方式，需要花费大量的人力资源，并且组装效率不高。

技术实现要素：

本发明的目的在于克服现有技术的不足，本发明提供了一种基于机械手的设备自动组装控制方法及装置，可以实现根据待安装设备的设备零部件在工作台上的摆放情况，形成设备组装策略，实现高效率的准确组装。

为了解决上述技术问题，本发明实施例提供了一种基于机械手的设备自动组装控制方法，所述方法包括：

获得待安装设备的设备安装说明书；

基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；

对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；

基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；

基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；

基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装。

可选的，所述设备安装说明书中包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图。

可选的，所述获得待安装设备的设备安装说明书，包括：

基于待安装设备的型号数据在说明书数据库中匹配获得待安装设备的设备安装说明书；或，

在所述说明书数据库中不能匹配出待安装设备的设备安装说明书时，基于用户输入获得待安装设备的设备安装说明书。

可选的，所述基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态，包括：

以所述视觉识别摄像头在所述工作台平面上采集的工作台图像像素构建工作台平面坐标系；

在所述工作台基于重力感应传感器设备感应到其上放置有待安装设备的设备零部件时，启动所述视觉识别摄像头采集所述工作台上的设备零部件图像；

将采集到的设备零部件图像进行图像前景背景分离，获得前景图像；

对所述前景图像中的每个设备零部件进行目标分割处理，获得每个设备零部件目标图像；

基于每个设备零部件目标图像与所述设备安装说明书中的设备零部件进行相似度目标匹配，获得设备零部件识别结果；

获得所述每个设备零部件目标图像在所述工作台平面坐标系的坐标位置，并基于所述每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态。

可选的，所述待安装设备的设备零部件放置在所述工作台时，相邻的两个设备零部件之间互不遮挡。

可选的，所述对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置，包括：

获得所述待安装设备的设备零部件在所述工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，获得每个设备零部件在所述工作台上的坐标位置。

可选的，所述基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件，包括：

获得安装顺序示意图中的每个示意图涉及到的安装部件示意图；

根据安装顺序示意图中的每个示意图涉及到的安装部件示意图对视觉识别后的设备零部件进行标号，获得标号后的设备零部件。

可选的，所述基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略，包括：

获得所述机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图；

根据所述机械手相对工作台平面坐标系的位置利用所述安装顺序示意图、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略。

可选的，所述基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装，包括：

在所述机械手上设置有目标跟踪摄像头；

基于所述设备组装策略获得组装时所述设备零部件的被组装的当前目标零部件，基于目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。

另外，本发明实施例还提供了一种基于机械手的设备自动组装控制装置，所述装置包括：

获得模块：用于获得待安装设备的设备安装说明书；

视觉识别模块：用于基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；

坐标位置定位模块：用于对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；

标号模块：用于基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；

组装策略形成模块：用于基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；

自动组装模块：用于基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装。

在本发明实施例中，可以实现根据待安装设备的设备零部件在工作台上的摆放情况，形成设备组装策略，实现高效率的准确组装；同时，该工作台具有小型化，其上只有一组机械手，并且所有的组装均由一组机械手完成；适合小批量的设备自动组装生产，降低人力成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于机械手的设备自动组装控制方法的流程示意图；

图2是本发明实施例中的基于机械手的设备自动组装控制装置的结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

请参阅图1，图1是本发明实施例中的基于机械手的设备自动组装控制方法的流程示意图。

如图1所示，一种基于机械手的设备自动组装控制方法，所述方法包括：

s11：获得待安装设备的设备安装说明书；

在本发明具体实施过程中，所述设备安装说明书中包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图。

进一步的，所述获得待安装设备的设备安装说明书，包括：

基于待安装设备的型号数据在说明书数据库中匹配获得待安装设备的设备安装说明书；或，在所述说明书数据库中不能匹配出待安装设备的设备安装说明书时，基于用户输入获得待安装设备的设备安装说明书。

具体的，在该设备安装说明书中至少包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图；并且均以图像的形式形成，方便后续的处理和识别；一般情况下，在说明书数据库中存有一定数量的设备型号的设备安装说明书；在得到待安装设备时，用户需要获得待安装设备的设备型号数据，利用待安装设备的设备型号数据在该说明书数据库中进行匹配，从而获得待安装设备的设备安装说明书；在说明书数据库中不能匹配出待安装设备的设备安装说明书时，需要用户手动输入设备安装说明书，同时需要输入待安装设备的设备型号数据，在用户手动输入之后，获得待安装设备的设备安装说明书，同时将用户输入的待安装设备的设备安装说明书及其对应的设备型号数据存储在说明书数据库中。

s12：基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；

在本发明具体实施过程中，所述基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态，包括：以所述视觉识别摄像头在所述工作台平面上采集的工作台图像像素构建工作台平面坐标系；在所述工作台基于重力感应传感器设备感应到其上放置有待安装设备的设备零部件时，启动所述视觉识别摄像头采集所述工作台上的设备零部件图像；将采集到的设备零部件图像进行图像前景背景分离，获得前景图像；对所述前景图像中的每个设备零部件进行目标分割处理，获得每个设备零部件目标图像；基于每个设备零部件目标图像与所述设备安装说明书中的设备零部件进行相似度目标匹配，获得设备零部件识别结果；获得所述每个设备零部件目标图像在所述工作台平面坐标系的坐标位置，并基于所述每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态。

进一步的，所述待安装设备的设备零部件放置在所述工作台时，相邻的两个设备零部件之间互不遮挡。

具体的，这些待安装设备的设备零部件放置在工作台时，相邻的两个设备零部件之间互不遮挡；在进行视觉识别处理之前，首先通过实践识别摄像头识别相邻的两个设备零部件之间是否互不遮挡；在存在遮挡时，可以控制机械手将相互遮挡的设备零部件进行移动，使之不存在相互遮挡，也可以发出警报给用户，让用户移动遮挡的设备零部件；这样方便后续设备零部件的视觉识别等操作。

一般情况下需要建立工作台图像的平面坐标系，在本实施例中，通过该视觉识别摄像头在该工作台平面上采集该工作台的图像信息，并根据该工作台的图像信息的像素结构来构建工作台平面坐标系；同时在工作台上设置有重力传感器设备，通过该重力传感器设备来感应工作台上是否放置有待安装设备的设备零部件，在重力传感器设备感应到工作台的重力发生变化时，考虑可能在工作台上放置有待安装设备的设备零部件，需要启动视觉识别摄像头采集所述工作台上的设备零部件图像；并且确定工作台上放置有待安装设备的设备零部件之后，将采集到的设备零部件图像进行图像前景背景分离，从而获得前景图像；然后在对前景图像中的每个设备零部件进行目标分割处理，以便得到每个设备零部件目标图像；在得到每个设备零部件目标图像之后，通过相似度算法计算每个设备零部件目标图像与设备安装说明书中的设备零部件的相似度，取相似度最高的计算结果为设备零部件识别结果；然后获得每个设备零部件目标图像在工作台平面坐标系的坐标位置，并根据每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态；具体是通过每个设备零部件在该坐标系中占用的坐标位置来估计对应的设备零部件在工作台上的放置姿态。

s13：对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；

在本发明具体实施过程中，所述对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置，包括：根据所述待安装设备的设备零部件在所述工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，获得每个设备零部件在所述工作台上的坐标位置。

具体的，需要获得待安装设备的设备零部件在工作台构建的工作台平面坐标系的坐标，然后根据该待安装设备的设备零部件在工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，从而得到每个设备零部件在所述工作台上的坐标位置。

s14：基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；

在本发明具体实施过程中，所述基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件，包括：获得安装顺序示意图中的每个示意图涉及到的安装部件示意图；根据安装顺序示意图中的每个示意图涉及到的安装部件示意图对视觉识别后的设备零部件进行标号，获得标号后的设备零部件。

具体的，需要在设备安装说明书中提取到安装顺序示意图中的每个示意图涉及到的安装部件示意图；然后并已经先后顺序对每个示意图涉及到的安装部件示意图的安装部件提取处理，形成有序目标安装部件，然后根据有序目标安装部件视觉识别后的设备零部件进行对应标号，获得标号后的设备零部件。

s15：基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；

在本发明具体实施过程中，所述基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略，包括：获得所述机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图；根据所述机械手相对工作台平面坐标系的位置利用所述安装顺序示意图、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略。

具体的，通过获得机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图，即通过机械手首先获得机械手的位置信息，通过该位置信息耦合在工作台平面坐标系来确定机械手相对工作台平面坐标系的位置，通过提取设备安装说明书中的内容得到安装顺序示意图；然后机械手相对工作台平面坐标系的位置利用安装顺序示意图、每个设备零部件在工作台上的放置姿态及标号后的设备零部件形成设备组装策略，该设备组装策略为机械手组装是规划的组装路径最优策略。

s16：基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装。

在本发明具体实施过程中，所述基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装，包括：在所述机械手上设置有目标跟踪摄像头；基于所述设备组装策略获得组装时所述设备零部件的被组装的当前目标零部件，基于目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。

具体的，在机械手上设置有目标跟踪摄像头，该目标跟踪摄像头用户实时对目标的跟踪，因为机械手实时移动的，机械手相对目标之间的关系是实时变化的，在变化的过程中，可能产生误差，导致机械手在进行设备安装时精度变差，导致安装效率较低，可能导致产品损坏或者无法完成自动安装，因此需要进行目标的实时跟踪，并及时对机械手的运动路径进行修正；然后根据设备组装策略获得组装时设备零部件的被组装的当前目标零部件，根据目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。

在本发明实施例中，可以实现根据待安装设备的设备零部件在工作台上的摆放情况，形成设备组装策略，实现高效率的准确组装；同时，该工作台具有小型化，其上只有一组机械手，并且所有的组装均由一组机械手完成；适合小批量的设备自动组装生产，降低人力成本。

实施例二

请参阅图2，图2是本发明实施例中的基于机械手的设备自动组装控制装置的结构组成示意图。

如图2所示，一种基于机械手的设备自动组装控制装置，所述装置包括：

获得模块21：用于获得待安装设备的设备安装说明书；

在本发明具体实施过程中，所述设备安装说明书中包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图。

进一步的，所述获得待安装设备的设备安装说明书，包括：

基于待安装设备的型号数据在说明书数据库中匹配获得待安装设备的设备安装说明书；或，在所述说明书数据库中不能匹配出待安装设备的设备安装说明书时，基于用户输入获得待安装设备的设备安装说明书。

具体的，在该设备安装说明书中至少包括安装顺序示意图、安装顺序示意图中每个示意图涉及到的安装部件示意图；并且均以图像的形式形成，方便后续的处理和识别；一般情况下，在说明书数据库中存有一定数量的设备型号的设备安装说明书；在得到待安装设备时，用户需要获得待安装设备的设备型号数据，利用待安装设备的设备型号数据在该说明书数据库中进行匹配，从而获得待安装设备的设备安装说明书；在说明书数据库中不能匹配出待安装设备的设备安装说明书时，需要用户手动输入设备安装说明书，同时需要输入待安装设备的设备型号数据，在用户手动输入之后，获得待安装设备的设备安装说明书，同时将用户输入的待安装设备的设备安装说明书及其对应的设备型号数据存储在说明书数据库中。

视觉识别模块22：用于基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态；

在本发明具体实施过程中，所述基于设置在工作台上方的视觉识别摄像头对工作台上的待安装设备的设备零部件进行视觉识别处理，获得设备零部件识别结果及每个设备零部件在工作台上的放置姿态，包括：以所述视觉识别摄像头在所述工作台平面上采集的工作台图像像素构建工作台平面坐标系；在所述工作台基于重力感应传感器设备感应到其上放置有待安装设备的设备零部件时，启动所述视觉识别摄像头采集所述工作台上的设备零部件图像；将采集到的设备零部件图像进行图像前景背景分离，获得前景图像；对所述前景图像中的每个设备零部件进行目标分割处理，获得每个设备零部件目标图像；基于每个设备零部件目标图像与所述设备安装说明书中的设备零部件进行相似度目标匹配，获得设备零部件识别结果；获得所述每个设备零部件目标图像在所述工作台平面坐标系的坐标位置，并基于所述每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态。

进一步的，所述待安装设备的设备零部件放置在所述工作台时，相邻的两个设备零部件之间互不遮挡。

具体的，这些待安装设备的设备零部件放置在工作台时，相邻的两个设备零部件之间互不遮挡；在进行视觉识别处理之前，首先通过实践识别摄像头识别相邻的两个设备零部件之间是否互不遮挡；在存在遮挡时，可以控制机械手将相互遮挡的设备零部件进行移动，使之不存在相互遮挡，也可以发出警报给用户，让用户移动遮挡的设备零部件；这样方便后续设备零部件的视觉识别等操作。

一般情况下需要建立工作台图像的平面坐标系，在本实施例中，通过该视觉识别摄像头在该工作台平面上采集该工作台的图像信息，并根据该工作台的图像信息的像素结构来构建工作台平面坐标系；同时在工作台上设置有重力传感器设备，通过该重力传感器设备来感应工作台上是否放置有待安装设备的设备零部件，在重力传感器设备感应到工作台的重力发生变化时，考虑可能在工作台上放置有待安装设备的设备零部件，需要启动视觉识别摄像头采集所述工作台上的设备零部件图像；并且确定工作台上放置有待安装设备的设备零部件之后，将采集到的设备零部件图像进行图像前景背景分离，从而获得前景图像；然后在对前景图像中的每个设备零部件进行目标分割处理，以便得到每个设备零部件目标图像；在得到每个设备零部件目标图像之后，通过相似度算法计算每个设备零部件目标图像与设备安装说明书中的设备零部件的相似度，取相似度最高的计算结果为设备零部件识别结果；然后获得每个设备零部件目标图像在工作台平面坐标系的坐标位置，并根据每个设备零部件的坐标位置获得每个设备零部件在工作台上的放置姿态；具体是通过每个设备零部件在该坐标系中占用的坐标位置来估计对应的设备零部件在工作台上的放置姿态。

坐标位置定位模块23：用于对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置；

在本发明具体实施过程中，所述对工作台上的待安装设备的设备零部件进行坐标定位处理，获得每个设备零部件在所述工作台上的坐标位置，包括：根据所述待安装设备的设备零部件在所述工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，获得每个设备零部件在所述工作台上的坐标位置。

具体的，需要获得待安装设备的设备零部件在工作台构建的工作台平面坐标系的坐标，然后根据该待安装设备的设备零部件在工作台构建的工作台平面坐标系的坐标进行坐标位置定位处理，从而得到每个设备零部件在所述工作台上的坐标位置。

标号模块24：用于基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件；

在本发明具体实施过程中，所述基于所述设备安装说明书对视觉识别后的设备零部件进行标号，获得标号后的设备零部件，包括：获得安装顺序示意图中的每个示意图涉及到的安装部件示意图；根据安装顺序示意图中的每个示意图涉及到的安装部件示意图对视觉识别后的设备零部件进行标号，获得标号后的设备零部件。

具体的，需要在设备安装说明书中提取到安装顺序示意图中的每个示意图涉及到的安装部件示意图；然后并已经先后顺序对每个示意图涉及到的安装部件示意图的安装部件提取处理，形成有序目标安装部件，然后根据有序目标安装部件视觉识别后的设备零部件进行对应标号，获得标号后的设备零部件。

组装策略形成模块25：用于基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略；

在本发明具体实施过程中，所述基于所述设备安装说明书、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略，包括：获得所述机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图；根据所述机械手相对工作台平面坐标系的位置利用所述安装顺序示意图、所述每个设备零部件在工作台上的放置姿态及所述标号后的设备零部件形成设备组装策略。

具体的，通过获得机械手相对工作台平面坐标系的位置及获得设备安装说明书中的安装顺序示意图，即通过机械手首先获得机械手的位置信息，通过该位置信息耦合在工作台平面坐标系来确定机械手相对工作台平面坐标系的位置，通过提取设备安装说明书中的内容得到安装顺序示意图；然后机械手相对工作台平面坐标系的位置利用安装顺序示意图、每个设备零部件在工作台上的放置姿态及标号后的设备零部件形成设备组装策略，该设备组装策略为机械手组装是规划的组装路径最优策略。

自动组装模块26：用于基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装。

在本发明具体实施过程中，所述基于所述设备组装策略控制机械手在工作台上利用所述待安装设备的设备零部件进行自动组装，包括：在所述机械手上设置有目标跟踪摄像头；基于所述设备组装策略获得组装时所述设备零部件的被组装的当前目标零部件，基于目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。

具体的，在机械手上设置有目标跟踪摄像头，该目标跟踪摄像头用户实时对目标的跟踪，因为机械手实时移动的，机械手相对目标之间的关系是实时变化的，在变化的过程中，可能产生误差，导致机械手在进行设备安装时精度变差，导致安装效率较低，可能导致产品损坏或者无法完成自动安装，因此需要进行目标的实时跟踪，并及时对机械手的运动路径进行修正；然后根据设备组装策略获得组装时设备零部件的被组装的当前目标零部件，根据目标跟踪摄像头对被组装的当前目标零部件按照设备组装策略实时对机械手在工作台上的姿态控制进行自动组装。

在本发明实施例中，可以实现根据待安装设备的设备零部件在工作台上的摆放情况，形成设备组装策略，实现高效率的准确组装；同时，该工作台具有小型化，其上只有一组机械手，并且所有的组装均由一组机械手完成；适合小批量的设备自动组装生产，降低人力成本。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器（rom，readonlymemory）、随机存取存储器（ram，randomaccessmemory）、磁盘或光盘等。

另外，以上对本发明实施例所提供的一种基于机械手的设备自动组装控制方法及装置进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。