一种基于机器视觉技术的智能桌面式机械臂系统的制作方法

本发明涉及自动机械技术领域，尤其是涉及一种基于机器视觉技术的智能桌面式机械臂系统。

背景技术：

机器人技术得到了快速的发展，各行各业都有其广泛应用，如：工业制造、生物医疗、紧急救灾等。音乐可以让人消除工作紧张、减轻生活压力、避免各类慢性疾病，所以聆听音乐、鉴赏音乐，是现代人极为普遍的生活调剂。积木玩具的搭建，充满了乐趣，是现代儿童普遍流行的一种儿童游戏。

如果有一种可以自主弹奏电子琴并且可以自主搭建积木玩具的桌面式机械臂系统，对于音乐爱好者，该系统将提供一种现代化的享受生活、评鉴音乐方式，甚至可以帮助歌手在演出时进行电子琴的弹奏，节省人力又不失高端、华丽；对于儿童，该机械臂系统可以完成积木玩具的搭建，给好玩的小朋友们带来无穷乐趣。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种组件简单、成本低廉的基于机器视觉技术的智能桌面式机械臂系统。

本发明的目的可以通过以下技术方案来实现：

一种基于机器视觉技术的智能桌面式机械臂系统，用于对桌面上应用模块进行识别并操控应用模块，所述的智能桌面式机械臂系统包括上位机、下位机、机械臂与摄像头，所述的摄像头与上位机连接，所述的上位机还与下位机连接，所述的下位机与机械臂连接；所述的摄像头拍摄桌面上应用模块的实时图像并传送给上位机，所述的上位机包括相互联系的图像处理模块、动作指令模块与计算模块，所述的上位机图像处理模块识别桌面上应用模块的图像，动作指令模块根据桌面上应用模块的实时图像信息生成动作指令，计算模块根据动作指令自动生成机械臂末端每一时刻的位置坐标，并且计算模块将机械臂末端每一时刻的位置坐标信息传递给下位机，下位机根据机械臂末端每一时刻的位置坐标信息控制机械臂移动到每一时刻的指定位置坐标，实现对桌面上应用模块的操控。

进一步的，本发明的智能桌面式机械臂系统尤其适用于应用模块具体为已打开应用程序页面的智能终端的情形。

所述的桌面上应用模块具体为已打开应用程序页面的智能终端，所述的上位机的图像处理模块识别智能终端上应用程序页面的图像，动作指令模块根据桌面上智能终端上应用程序页面的实时图像信息生成动作指令，计算模块根据动作指令自动生成机械臂末端每一时刻的位置坐标，并且计算模块将机械臂末端每一时刻的位置坐标信息传递给下位机，下位机根据机械臂末端每一时刻的位置坐标信息控制机械臂移动到每一时刻的指定位置坐标，实现对智能终端上应用程序页面的操控。

更近一步地，所述的桌面上应用模块具体为已打开电子琴操作界面的智能手机，所述的摄像头拍摄桌面上智能手机上电子琴操作界面的实时图像并传送给上位机，所述的上位机的图像处理模块识别智能手机上电子琴操作界面上的按键位置，动作指令模块根据智能手机上电子琴操作界面的实时图像信息生成每一时刻的按键顺序指令，计算模块基于运动学逆解程序根据电子琴操作界面上的按键位置解算出机械臂对应的关节转角，并且计算模块将机械臂对应的关节转角信息传递给下位机，下位机控制机械臂关节运动到关节对应角度，从而实现对电子琴进行弹奏。

进一步的，本发明的智能桌面式机械臂系统尤其适用于应用模块具体为积木玩具的情形。

所述的桌面上应用模块具体为桌面上的积木玩具，所述的摄像头拍摄桌面上积木玩具的实时图像并传送给上位机，所述的上位机的图像处理模块识别桌面上积木玩具形状和位置，动作指令模块根据桌面上积木玩具形状和位置信息自动生成每一时刻的机械臂末端吸盘位置，计算模块基于运动学逆解程序根据位置坐标解算出机械臂对应的关节转角，并且计算模块将机械臂对应的关节转角信息传递给下位机，下位机控制机械臂关节运动到关节对应角度，从而使机械臂末端吸盘吸取积木进行积木搭建。

所述的摄像头与上位机之间通过数据线进行连接。

所述的上位机与下位机之间通过数据线进行连接。

进一步地，所述的上位机上设有两个USB接口，分别与下位机和摄像头连接。

所述的上位机为可以直接发出操控命令的计算机。

所述的下位机为直接控制设备获取设备状况的计算机。

所述的机械臂为自动机器人领域常用机械臂。

与现有技术相比，本发明具有以下优点及有益效果：摄像头拍摄桌面上的物体，图像处理程序识别桌面物体，结合图像处理程序识别的结果，上位机自动生成机械臂末端每一时刻的位置坐标，计算模块基于运动学逆解计算方法根据位置坐标解算出对应的关节转角，下位机控制关节运动到关节所对应的角度，从而使机械臂末端到达目标位置，执行相关任务。

附图说明

图1为本发明智能桌面式机械臂系统硬件结构示意图；

图2为本发明智能桌面式机械臂系统控制框图；

图3为电子琴弹奏时系统硬件结构示意图；

图4为电子琴弹奏时系统控制框图；

图5为积木搭建时系统硬件结构示意图；

图6为积木搭建时系统控制框图。

图中标号：1、摄像头，2、机械臂，3、下位机，4、上位机，5、桌面，6、应用模块，7、智能手机，8、积木模块。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例1

一种基于机器视觉技术的智能桌面式机械臂系统，如图1、图2所示，用于对桌面5上应用模块6进行识别并操控应用模块6，智能桌面式机械臂系统包括上位机4、下位机3、机械臂2与摄像头1，上位机4上设有两个USB接口，分别与下位机3和摄像头1通过数据线连接。上位机4为可以直接发出操控命令的计算机。下位机3为直接控制设备获取设备状况的计算机。机械臂2为自动机器人领域常用机械臂。下位机3与机械臂2连接。

摄像头1拍摄桌面上应用模块6的实时图像并传送给上位机4，上位机4包括相互联系的图像处理模块、动作指令模块与计算模块，上位机图像处理模块识别桌面上应用模块的图像，动作指令模块根据桌面上应用模块的实时图像信息生成动作指令，计算模块根据动作指令自动生成机械臂末端每一时刻的位置坐标，并且计算模块将机械臂末端每一时刻的位置坐标信息传递给下位机，下位机根据机械臂末端每一时刻的位置坐标信息控制机械臂移动到每一时刻的指定位置坐标，实现对桌面上应用模块的操控。

在图像处理模块含有图像处理程序，动作指令模块含有具体针对应用模块进行操作的指令程序，计算模块含有运动学逆解程序。

实施例2

一种基于机器视觉技术的智能桌面式机械臂系统，如图3、图4所示，用于对桌面5上智能手机7进行识别并操控智能手机7的电子琴操作界面，智能桌面式机械臂系统包括上位机4、下位机3、机械臂2与摄像头1，上位机4上设有两个USB接口，分别与下位机3和摄像头1通过数据线连接。上位机4为可以直接发出操控命令的计算机。下位机3为直接控制设备获取设备状况的计算机。机械臂2为自动机器人领域常用机械臂。下位机3与机械臂2连接。在图像处理模块含有图像处理程序，动作指令模块含有具体针对应用模块进行操作的指令程序，计算模块含有运动学逆解程序。

本实施例中，桌面上应用模块具体为已打开电子琴操作界面的智能手机，在电子琴弹奏时，从图4中可知，上位机4由图像处理程序、音乐生成模块、运动学逆解、数据传输四个部分组成，上位机4是整个智能桌面式机械臂系统的核心，用来完成整个过程的数据控制。上位机4一方面对摄像头1采集的图像进行处理，另一方面，产生正确的关节角度数据并传输给下位机3进行机械臂2的运动控制。从图4中可知，摄像头实时采集智能手机7上电子琴图像；上位机4分别用USB接口1、USB接口2与摄像头1、下位机3进行连接，完成数据传输；机械臂2由下位机控制，末端用来点奏电子琴。

实施例3

一种基于机器视觉技术的智能桌面式机械臂系统，如图5、图6所示，用于对桌面5上积木模块8进行识别并操控积木模块8，智能桌面式机械臂系统包括上位机4、下位机3、机械臂2与摄像头1，上位机4上设有两个USB接口，分别与下位机3和摄像头1通过数据线连接。上位机4为可以直接发出操控命令的计算机。下位机3为直接控制设备获取设备状况的计算机。机械臂2为自动机器人领域常用机械臂。下位机3与机械臂2连接。

本实施例中，桌面上应用模块具体为桌面上的积木模块，摄像头拍摄桌面上积木玩具的实时图像并传送给上位机，上位机的图像处理模块识别桌面上积木玩具形状和位置，动作指令模块根据桌面上积木玩具形状和位置信息自动生成每一时刻的机械臂末端吸盘位置，计算模块基于运动学逆解程序根据位置坐标解算出机械臂对应的关节转角，并且计算模块将机械臂对应的关节转角信息传递给下位机，下位机控制机械臂关节运动到关节对应角度，从而使机械臂末端吸盘吸取积木进行积木搭建。

摄像头1实时采集积木堆和已搭建好城堡图像，通过USB接口1将图像实时传输给上位机图像处理程序，积木搭建模块结合图像处理程序处理结果给出本次机械臂2末端吸盘位置坐标，运动学逆解模块将位置坐标反解出关节转角，并通过USB接口2传输给下位机3，下位机3控制机械臂2的运动，使末端吸盘吸取积木进行本步积木搭建，整个过程不断循环，直至城堡搭建完毕，图6给定的是积木搭建时系统图。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。