一种新型的拆垛方法和系统的制作方法
【技术领域】
[0001] 本发明涉及机器人拆垛技术，特别涉及基于双目立体视觉的机器人拆垛方法，以 及一种基于该方法的机器人拆垛系统。
【背景技术】
[0002] 拆垛属于工厂生产、物流运输必不可少的一个步骤，目前还是主要以人工拆垛为 主。而人工拆垛劳动强度大，效率低下，特别是有毒、有害环境下，同时劳动力成本的上升和 市场竞争等，都要求企业必须提高生产效率，由人工转向自动化。拆垛机器人能为企业生产 提供更广的生产空间和更多的生产时间，把可控生产落实到工业生产的每一步，为企业带 来更宏观的经济效益。这属于全智能工厂的发展方向和未来企业的生产模式。尽管机器人 码拆垛技术得到了较大发展，但机器人拆垛技术应用却没有码垛技术应用广泛，这主要是 由于拆垛系统需要首先对目标进行定位。
[0003] 随着机器视觉技术的发展，机器视觉可以为拆垛机器人提供视觉定位。这使得 基于视觉定位的机器人拆垛系统具有很好的市场前景。目前视觉定位大多基于单目视觉 或者激光扫描方式，如专利CN104669281A采用激光扫描和相机结合的方式获得深度信 息从而进行目标定位。激光扫描的方式具有扫描速度慢和工作寿命限制等不足。专利 CN104331894A采用了双目视觉获得深度信息并进行目标定位。但这几种方法所使用的相机 或者扫描装置都是固定在堆垛上方。这限制了拆垛机器人的工作空间范围，并且限制了堆 垛的大小。
[0004] 有鉴于此，本发明提出了一种基于双目立体视觉的拆垛方法，以及一种基于该方 法的拆垛系统，采用把双目相机安装在机器人机械臂上，随着机械臂移动，利用机械臂的移 动扩大拆垛范围，实现可靠准确地视觉定位。这样可以有效地解决拆垛机器人所面临的定 位问题，从而完成机器人的自动化拆垛。
【发明内容】
[0005] 本发明解决的问题是提供一种基于双目视觉的拆垛方法及其系统，能够解决工作 空间限制和拆垛范围限制等问题，从而完成机器人的自动化拆垛。
[0006] 为了解决上述问题，本发明提出了一种基于双目视觉的拆垛方法，包括以下步 骤：
[0007] 目标方位计算，根据机械臂前端的双目相机同步采集的左右图像，进行目标识别 定位；
[0008] 目标方位转换，将相机坐标系的目标方位转换为机器人坐标系中的方位（方向角 和位置）；
[0009] 机器人拆垛操作，机器人根据计算的目标方位对堆垛进行目标抓取，实现逐层分 区拆垛。
[0010] 相应地，本发明还提供了一种基于上述方法的拆垛系统，包括：
[0011] 双目相机模块，固定双目相机在机械臂前端；
[0012]目标方位计算模块，同步采集左右图像，进行目标识别定位；
[0013] 目标方位转换模块，将相机坐标系的目标方位转换为机器人坐标系中的方位；
[0014] 拆垛机器人，根据获得的目标方位对目标进行抓取，实现逐层分区拆垛。
[0015] 因此，本发明通过安装在机器人机械臂前端的双目相机，实现了拆垛系统的目标 方位的计算，从而实现了智能拆垛系统。该系统能够有效解决人工拆垛的劳动强度大和效 率低下问题，实现自动化拆垛，降低企业生产成本，提高企业的生产效率和经济效益。
【附图说明】
[0016] 图1显示为本发明的基于双目视觉的拆垛系统的一个实施例。
[0017] 图2显示为本发明的目标方位计算单元的一个实施装置。
[0018] 图3显示为本发明的拆垛方法的流程图。
[0019] 图4显示为本发明的逐层分区拆垛方式的示意图。
[0020] 图5显示为本发明的步骤Sl处理的详细步骤的流程图。
[0021] 图6显示为本发明的拆垛系统示意图。
【具体实施方式】
[0022] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书 所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实 施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离 本发明的精神下进行各种修饰或改变。
[0023] 请参阅图1至图6。需要说明的是，本实施例中所提供的图示仅以示意方式说明 本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数 目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其 组件布局型态也可能更为复杂。
[0024] 图1示出了本发明的基于双目视觉的拆垛系统的一个实施例。一种基于双目视觉 的拆垛系统的实施例10,包括：
[0025] 双目相机单元101 :同步采集左右图像，作为待处理双目图像；
[0026] 方位计算单元102 :计算深度信息，进行目标识别定位；
[0027] 方位转换单元103 :将相机坐标系的目标方位转换为机器人坐标系的方位；
[0028] 拆垛机器人104 :拆垛机器人抓取堆垛上的目标；
[0029] 待拆堆垛105 :需要分层拆掉的堆垛。
[0030] 根据本发明的方法，其方位计算处理主要是通过处理单元102来完成。其中，该处 理单元设备包括但不限于：1)用户设备；2)网络设备。所述用户设备包括但不限于计算机、 智能手机、PDA等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服 务器组或基于云计算（Cloud Computing)的由大量计算机或网络服务器构成的云，其中，云 计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。拆垛 系统移动拆垛机器人104的机械臂前端到堆垛105的上方，方位计算单元102控制双目相 机单元101同步采集左右目图像；方位计算单元102对采集的双目图像进行分析处理，识别 其中的目标并进行目标定位；方位转换单元103将单元102得到相机坐标系的目标方位转 换为机器人坐标系的目标方位；方位转换单元103将目标方位通过通信接口传输给拆垛机 器人104,拆垛机器人104根据目标方位抓取堆垛105最上层的目标，直到该层的目标拆垛 完毕；如果双目相机单元101无法完全覆盖整个堆垛105最上层的区域，则移动机器人机械 臂，对堆垛105最上层的目标进行分区域拆垛，直到最上层的所有目标拆垛完毕。
[0031] 如图2所示，给出了上述实施例10所述的拆垛系统实施例的处理单元102的一个 实施装置，值得注意的是，方位计算单元102和方位转换单元103可以由相同的实施装置实 现。在这个实施装置中，装置系统102包括处理器201和图像输入接口 207。在该实施系统 中，也包括了处理器201可访问的存储设备202和203。这些存储设备可以是随机存储单元 RAM，也可以是程序存储器等，例如硬盘。处理器201从程序存储器加载程序并运行，从而能 够输入和处理图像。此外，处理器201也可以连接到显示设备204,以及一些输入输出人机 交互设备205,如鼠标、键盘等。一些其他接口设备208也可以与处理器201相连接，实现一 些其他处理功能。接口 206可以实现一些图像或者视频的输出，而电源209为装置系统提 供电源。
[0032] 图3示出了本发明的拆垛方法的流程图。所述的拆垛系统按照逐层分区进行拆 垛，如果双目相机的视野范围完全包含了堆垛的最上层，则对当前层不需要进行分区域，否 则需要根据双目相机的视野范围，对当前层进行分区域拆垛。不失一般性，图4给出了分区 域的一个实施例。该实施例中，双目相机无法完全包含最上层的目标，需要分区域进行拆 垛，相邻区域具有一定的重叠部分，使视野中的待拆目标尽可能完整。当位置A时，视野中 的最上层目标拆除完毕，机械臂平移到位置B，同步采集双目图像，根据双目图像进行目标 定位，然后进行目标方位转换，拆垛机器人根据转换后的目标方位进行抓取目标，从而对位 置B视野中的目标进行拆垛。
[0033] 在步骤Sl中，所述的拆垛系统首先根据分区情况移动机械臂前端到合适的位置， 然后同步采集双目图像，识别定位目标。步骤S2根据拆垛机器人的姿态，将相机坐标系下 的目标方位转化为机器人坐标系下的目标方位。步骤S3中，拆垛机器人根据目标方位进行 抓取。这样拆垛系统按照逐层分区的方式进行拆垛。
[0034] 图5是表示步骤Sl处理的详细步骤的流程图。首先步骤301同步获取双目左右图 像，步骤302分别对双目图像进行降噪处理，例如高斯滤波，这样可以减少噪声的影响。根 据离线双目标定306得到的标定数据，对降噪后的双目图像进行重映射（re-map)，消除镜 头畸变等。步骤303分别对双目图像检测SIFT特征点，并对左右图像的SIFT特征点进行 匹配，从而得到SIFT点的匹配对集。步骤304根据离线双目标定306得到的标定数据，计 算每个匹配对的视差，从而进一步根据三角测量原理计算得到特征点在相机坐标系中的空 间坐标。步骤305根据离线获得的目标特征307进行目标识别（特征匹配），从而定位目 标。不失一般性，这里采用的特征点为SIFT特征点。
[0035] 所述的步骤304的特征点的三维坐标（X，y，z)，根据三角测量原理计算：
[0037] 其中，（u，V)为特征点在左图中的像素坐标，f为双目相机的焦距，由于双目相机 经过了立体标定，因此左右相机的焦距相同；T为双目相机的光心距离，f和T通过相机的立 体标定获得；d为特征点在左右图中的视差，由于双目图像进行了重映射（re-map)，故视差 d = U-Up这里w为特征点在右图中的像素横坐标。
[0038] 优选地，所述的步骤305目标的检测通过SIFT特征匹配来实现。由于图像中可能 存在多个目标，因此用扫描的方法定位各个目标。定义一个直径Rm的圆形模板M，直径Rm可 略小于目标的最大尺寸。对左图进行从左到右、自上而下的扫描。如果以一个点P为中心的 圆形模板M内的特征点与样本目标的所有特征点307中特征点匹配的数量大于阈