运输机器人自主式进入电梯的控制方法
【专利摘要】本发明公开了一种运输机器人自主式进入电梯的控制方法，利用机器人自带的导航装置将机器人导航至电梯门口，在机器人进入电梯前，利用具有深度信息采集的机器人车载视觉模块获取电梯呼叫按钮位置，依据电梯呼叫按钮位置信息触发电梯呼叫按钮，进行电梯呼叫；利用退避让传感器模块获取电梯门状态信息，控制机器人进入电梯；本发明通过结合Kinect传感器、退避让传感器模块获得的信号，彻底改变了以往由远程控制中心发送指令至电梯控制器的方式；改变为由远程控制中心发送指令至机器人，由机器人车载控制器发送指令到PLC控制器，通过机器人手臂触发电梯的方式，并结合电梯内满载状态判断模块的冗余式设计，提升了电梯控制的安全性能。
【专利说明】
运输机器人自主式进入电梯的控制方法
技术领域
[0001] 本发明属于机器人控制领域，特别涉及一种运输机器人自主式进入电梯的控制方 法。
【背景技术】
[0002] 近年来，移动机器人被大量地应用于各类室内环境用于实现室内运输任务，比如 各种制造工厂、现代实验室等。用于运输任务的移动机器人可统称为运输机器人。早期的室 内运输环境通常是单楼层的，所以运输机器人不需要自己去控制电梯。但随着现代机器人 运输任务的智能化与复杂化，运输机器人需要实现自动控制各类电梯实现多楼层的自动化 运输。因此，运输机器人如何实现对电梯的自动操控已经成为现代多楼层移动机器人运输 系统研发的重点技术瓶颈之一。
[0003] 国家发明专利《一种基于无线网络的机器人搬运控制系统》（申请号： 201210593439.0)提出了一种运用无线网络和RFID技术实现机器人室内简单搬运的控制系 统。虽然该专利里面涉及到电梯模块，提到在室内搬运需要的时候机器人可以发指令到上 位机控制系统驱动电梯模块，但并没有提出或涉及到机器人究竟采用何种技术手段实现自 主式呼叫电梯并打开电梯门的核心内容。此外，该专利（申请号:201210593439.0)对电梯的 操控不是由机器人自身来完成，而是通过机器人呼叫上位机系统去控制电梯来实现。
[0004] 此外，该专利（申请号：201210593439.0)所提出的机器人搬运控制系统要求事先 安装大量的RFID片才能实现机器人的室内定位，该方法成本高、适应性范围小，无法在没有 安装RFID的室内环境使用。
[0005] 学术论文〈〈Charlie Rides the Elevator-Integrating Vision Navigation and Manipulation Towards Multi-Floor Robot Locomotion》中开发了一种名为Charlie的移 动机器人并开展了运用SLAM技术识别电梯按钮的研究。但正如该文作者在文章中所说，由 于电梯按钮形状的不确定性和电梯按钮没有颜色，运用SLAM常规机器视觉技术无法实现对 各种电梯按钮的高精度识别。这些技术局限都极大地限制了该论文所提出的方法在实际工 程现场中的运用可能性。
[0006] 综上所述，现有技术中的搬运或运输机器人进出电梯的控制过程易受到干扰，弓丨 发安全事故，且使用要求较高。
【发明内容】
[0007] 本发明提出了一种运输机器人自主式进入电梯的控制方法，其目的在于，通过机 器人车载视觉模块识别电梯按钮，利用机器人触发电梯按钮，完成对电梯的控制，克服现有 技术中大多通过对电梯控制器进行控制，控制过程易受干扰从而导致的电梯控制的安全性 能较低的问题。
[0008] -种运输机器人自主式进入电梯的控制方法，利用机器人自带的导航装置将机器 人导航至电梯门口，在机器人进入电梯前，利用具有深度信息采集的机器人车载视觉模块 获取电梯呼叫按钮位置，依据电梯呼叫按钮位置信息触发电梯呼叫按钮，进行电梯呼叫；利 用退避让传感器模块获取电梯门状态信息，控制机器人进入电梯。
[0009] 在获取电梯门状态信息后，利用退避让传感器模块或者具有深度信息采集的机器 人车载视觉模块识别电梯内满载状态：
[0010] 若电梯内满载，则等待设定的间隔时间后，重新出发电梯呼叫按钮；
[0011] 若电梯内非满载，则控制机器人进入电梯。
[0012] 电梯内满载状态判断模块的冗余式设计，确保了判断精度，升了电梯控制的安全 性能。
[0013] 当机器人到达电梯门口时，首先开启退避让传感器模块获取电梯门状态信息，若 电梯门开启，则控制机器人进入电梯;若电梯门关闭，则再启动具有深度信息采集的机器人 车载视觉模获取电梯呼叫按钮位置。
[0014] 所述具有深度信息采集的机器人车载视觉模块为Kinect传感器。
[0015] Kinect传感器基于自身所携带的红外硬件模块所拥有的深度测量的功能识别判 断电梯是否处于满载状态；
[0016] 在电梯呼叫按钮四周至少安装一个彩色方形识别定位片，利用Kinect传感器获得 识别定位片的深度尺寸信息，并结合识别定位片的RG B模型获取识别定位片在K i n e c t三维 视野内的坐标值;依据识别定位片的中心坐标值获取电梯呼叫按钮的中心坐标值。
[0017] 电梯呼叫按钮不具有彩色信息，通过添加彩色识别定位片获取电梯呼叫按钮与机 器人之间的深度参数信息。
[0018] 电梯呼叫按钮四周对称安装有四个大小相同的彩色方形识别定位片。
[0019] 通过对电梯按钮四周按照定位片的新策略，属于一种按照辅助识别定位片的方 法，让机器人更快更准确地识别到电梯呼叫按钮，成功实现了对电梯按钮的快速、高精度、 高成功率的识别。
[0020] 如果具有深度信息采集的机器人车载视觉模块无法获取电梯呼叫按钮位置，则控 制机器人旋转，使得车载视觉模块重新获取新的视野，寻找电梯呼叫按钮。
[0021] 驱动机器人旋转本质上是为了驱动车载视觉模块，改变车载视觉模块的视野范 围。
[0022]所述具有深度信息采集的机器人车载视觉模块为Kinect VI或Kinect V2。
[0023]所述退避让传感器模块为Sick超声波传感器模块。
[0024] 所述Sick超声波传感器模块至少包括五个Sick超声波传感器，间隔30°依次排列 在机器人底部。
[0025]有益效果
[0026]本发明提供了一种运输机器人自主式进入电梯的控制方法，利用机器人自带的导 航装置将机器人导航至电梯门口，在机器人进入电梯前，利用具有深度信息采集的机器人 车载视觉模块获取电梯呼叫按钮位置，依据电梯呼叫按钮位置信息触发电梯呼叫按钮，进 行电梯呼叫；利用退避让传感器模块获取电梯门状态信息，控制机器人进入电梯;本发明通 过结合Kinect传感器、退避让传感器模块获得的信号，彻底改变了以往由远程控制中心发 送指令至电梯控制器的方式;改变为由远程控制中心发送指令至机器人，由机器人车载控 制器发送指令到PLC控制器，通过机器人手臂触发电梯的方式，并结合电梯内满载状态判断 模块的冗余式设计，提升了电梯控制的安全性能;直接解决了机器人自身如何实现对任何 电梯的呼叫控制并如何通过图像处理技术自动打开电梯门；所设计的识别定位片辅助进行 电梯呼叫按钮识别，大大的提高识别速度和精度；四个定位片的智能冗余设计策略保证了 识别的成功率。
【附图说明】
[0027]图1为本发明所述方法的具体实例的流程示意图；
[0028]图2为机器人的车载Kinect单个电梯呼叫按钮的识别原理示意图；
[0029] 图3为基于识别定位片的单个电梯呼叫按钮快速识别示意图；
[0030] 图4为机器人的车载Kinect两个电梯呼叫按钮的识别原理示意图；
[0031] 图5为基于识别定位片的两个电梯呼叫按钮快速识别示意图；
[0032] 图6为机器人通过旋转寻找电梯呼叫按钮的示意图；
[0033] 标号说明：1_电梯呼叫按钮，2-电梯门，3-电梯外部控制面板，4-识别定位片，5-定 位片A，6-定位片B，7-定位片C，8-定位片D，9-电梯上行呼叫按钮，10-电梯下行呼叫按钮， 11-Kinect 传感器。
【具体实施方式】
[0034]下面将结合附图和实施例对本发明做进一步的说明。
[0035] 如图1所示，为本发明所述的一种运输机器人自主式进入电梯的控制方法，包括以 下步骤：
[0036] 步骤1:当移动机器人运行到电梯门2前，机器人利用自身车载的室内退避传感器 模块中的超声波传感器判断电梯门的开关状态；
[0037]步骤2:如果电梯门已处于"开启"状态，机器人则利用手臂控制模块驱动对应的机 器人手臂挡住电梯门防止其自动关闭，同时机器人控制走行运动模块中的走行电机进入电 梯；
[0038] 在进入电梯的过程中，机器人已举起的某个手臂始终保持举起状态以触发电梯的 红外线感应使得电梯门始终处于"开启"状态；
[0039] 如果当时电梯门处于"关闭"状态，则进入步骤4,通过机器人手臂按下该楼层的电 梯外部呼叫按钮，实现控制电梯使其到达目前所在的楼层并打开电梯门；
[0040] 步骤3:当机器人成功进入电梯后，手臂控制模块将控制机器人放下举起的手臂， 使得电梯门能自动关闭。
[0041] 步骤4:机器人采用下列步骤将电梯招至所在楼层并将电梯门打开：
[0042]步骤4.1:机器人通过车载视觉模型中的Kinect传感器11搜索机器人前方的电梯 呼叫按钮，当电梯外呼叫按钮为单个按钮时，如图2所示；当电梯外呼叫按钮为两个按钮时， 如图4所示，包括电梯上行呼叫按钮9和电梯下行呼叫按钮10。
[0043] 为了让机器人更快更准确地识别到电梯呼叫按钮，提出一种按照辅助识别定位片 的电梯按钮图像分割与识别方法。
[0044] 如图3所示，基于定位片的单个电梯呼叫按钮分割方法的具体内容为：
[0045] (1)在电梯外部控制面板3上的电梯呼叫按钮1的四个角安装四个识别定位片4。定 位片的颜色可以是绿色、红色或蓝色或任意彩色。
[0046] 单个定位片为边长为2cm的四方形。四个定位片成四方形结构安装位于呼叫按钮 的四个角，四个定位片之间的距离可以根据不同呼叫按钮的大小灵活设置，依次为定位片A (5)、定位片B(6)、定位片C(7)以及定位片D(8)，。在本实例中，两个定位片之间的边长设定 为8cm。
[0047] (2)-旦机器人装有的Kinect在大视野范围内检测到电梯呼叫按钮四周所设置的 某一个定位片后，Kinect将自动快速聚焦到区域A4B3C2D1，并忽略区域A4B3C2D1以外的 Kinect所能见到的图像区域。
[0048] (3)当机器人的Kinect聚焦到区域A4B3C2D1后，通过Kinect的深度尺寸和RGB模型 计算出所安装的四个定位片中某个定位片在Kinect三维视野内的坐标值；
[0049] (4)根据所获得的某个定位片中心的坐标值计算出电梯呼叫按钮中心点的在 Kinect三维视野内的坐标值。例如，已知定位片A中心的坐标值(XI，yi，zi )，贝lj电梯呼叫按钮 的坐标值(10,70,20)根据下列公式计算获得：
[0051] 如图4所示，基于识别定位片的两个电梯呼叫按钮分割方法的具体步骤如下：
[0052] (1)在电梯呼叫按钮的四个角安装四个识别定位片。定位片的颜色可以是绿色、红 色或蓝色。单个定位片为边长为2cm的四方形。四个定位片成四方形结构安装位于两个呼叫 按钮的四个角，四个定位片之间的距离可以根据不同呼叫按钮的大小灵活设置。在本实例 中，两个定位片之间的边长设定为8cm。
[0053] (2)-旦机器人装有的Kinect在大视野范围内检测到电梯呼叫按钮四周所设置的 某一个定位片后，Kinect将自动快速聚焦到区域A4B3C2D1，并忽略区域A4B3C2D1以外的 Kinect所能见到的图像区域。
[0054] (3)如图5所示，在按照识别定位片的时候要可以巧妙地让两个电梯呼叫按钮位于 定位片所形成的的聚焦区域A4B3C2D1的中部位置，这样便于后期对两个电梯呼叫按钮的准 确识别。
[0056] (4)当机器人的Kinect聚焦到区域A4B3C2D1后，通过Kinect的深度尺寸和RGB模型 计算出所安装的四个定位片中某个定位片在Kinect三维视野内的坐标值；
[0057] (4)根据所获得的某个定位片中心的坐标值计算出电梯两个呼叫按钮的中心点在 Kinect三维视野内的坐标值。
[0058]例如，已知定位片A中心的坐标值(X1，yi，Z1)，则根据下列公式可以快速计算出电 梯上行呼叫按钮(XQ，y〇，ZQ)的中心坐标值和电梯下行呼叫按钮的中心坐标值(X5，y5，Z5):
[0059]
[0062]运用四个定位片识别电梯呼叫按钮优点如下：
[0063]首先，四个定位片的安装降低了 Kinect的图像处理工作量。如果没有这四个定位 片，按照传统的图像目标识别原理，机器人需要对Kinect所采集到的整张电梯图像进行边 缘检测以找到电梯呼叫按钮。特别是在电梯外形结构比较复杂和电梯呼叫按钮比较小的时 候，对这个整个视野内的图像进行精确的边缘检测将花费较长的时间。
[0064] 其次，四个定位片的安装提高了机器人对呼叫按钮的识别精度。在大多数厂家生 成的电梯中，呼叫按钮通常是没有颜色的，因此机器人的Kinect只能通过采用边缘检测算 法才能从采集到的整个图像中识别到电梯的呼叫按钮。虽然近年来图像边缘检测技术发展 非常迅速，但要在任何光线条件下对不定规则的电梯呼叫按钮实现非常高的识别准确率还 是非常困难。通过四个定位片的安装，把对呼叫按钮实现的复杂边缘检测转化成对四个定 位片的简单RGB色彩模型识别，提高了机器人对电梯呼叫按钮的识别精度。
[0065] 最后，由于四个定位片之间严格按照尺寸标准设置，因此只要计算出它们中任何 的一个的中心点坐标，其他三个及区域中间的电梯呼叫按钮的坐标值都能方便地算出。四 个定位片的智能冗余设计策略无形中保证了识别的成功率。
[0066] 步骤4.2:当机器人发现电梯呼叫按钮并计算获得电梯呼叫按钮相对于Kinect的 三维坐标值后，机器人的手臂控制模块驱动机器人手臂去按下电梯呼叫按钮。如果机器人 在当时视野内没有发现前面电梯呼叫按钮，则进入步骤5。
[0067] 步骤4.3:当电梯呼叫被机器人按下后，电梯将自动达到机器人所在的楼层。在机 器人等待电梯达到其所在楼层的期间，机器人仍然运用车载的超声波传感器来判断电梯门 的"开/关"状态。当机器人发现前面电梯被成功呼叫并电梯门已打开时，机器人将重复步骤 2中所描述的方式，通过手臂控制模块驱动对应的手臂挡住电梯门，同时通过走行运动模块 驱动走行电机进入电梯。
[0068]反之，如果机器人经过预设的等待时间后（本实例中设为60秒），超声波传感器发 现电梯仍然没有达到或是电梯门没有打开，机器人将重复步骤4.2,即通过手臂再去按下电 梯呼叫按钮。
[0069] 考虑到系统的实时性，机器人手臂按呼叫按钮的重复次数是有限的，本实例中机 器人手臂操控重复次数设定为5次。
[0070] 步骤5:如果机器人的Kinect始终没有通过四个定位片成功识别到电梯呼叫按钮， 那么意味着电梯呼叫按钮或是四个定位片都没有在机器人车载Kinect的视野内。此时，机 器人将通过走行运动模块实现机器人身体朝左或右边旋转一定的角度，寻找四个定位片或 是它们中间的单个或几个，实现对电梯呼叫按钮的定位。
[0071] 该旋转的目的是为了避免由于呼叫按钮没有在机器人Kinect的视野内所造成的 按钮搜索遗漏。如图5所示，当机器人正面对电梯时，机器人的Kinect没有检测到前面的电 梯呼叫按钮或装有的四个定位片(见图6中所示的机器人旋转前的视野）。
[0072]由于Kinect本身无法在水平方向旋转一定的角度α去搜索按钮，所以机器人将驱 动走行电机先左或右旋转一定的角度α加以实现。
[0073]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技 术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修 改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种运输机器人自主式进入电梯的控制方法，其特征在于，利用机器人自带的导航 装置将机器人导航至电梯门口，在机器人进入电梯前，利用具有深度信息采集的机器人车 载视觉模块获取电梯呼叫按钮位置，依据电梯呼叫按钮位置信息触发电梯呼叫按钮，进行 电梯呼叫;利用退避让传感器模块获取电梯门状态信息，控制机器人进入电梯。2. 根据权利要求1所述的方法，其特征在于，在获取电梯门状态信息后，利用退避让传 感器模块或者具有深度信息采集的机器人车载视觉模块识别电梯内满载状态： 若电梯内满载，则等待设定的间隔时间后，重新出发电梯呼叫按钮； 若电梯内非满载，则控制机器人进入电梯。3. 根据权利要求1所述的方法，其特征在于，当机器人到达电梯门口时，首先开启退避 让传感器模块获取电梯门状态信息，若电梯门开启，则控制机器人进入电梯;若电梯门关 闭，则再启动具有深度信息采集的机器人车载视觉模获取电梯呼叫按钮位置。4. 根据权利要求1所述的方法，其特征在于，所述具有深度信息采集的机器人车载视觉 模块为Kinect传感器。5. 根据权利要求4所述的方法，其特征在于，在电梯呼叫按钮四周至少安装一个彩色方 形识别定位片，利用Kinect传感器获得识别定位片的深度尺寸信息，并结合识别定位片的 RGB模型获取识别定位片在Kinect三维视野内的坐标值；依据识别定位片的中心坐标值获 取电梯呼叫按钮的中心坐标值。6. 根据权利要求5所述的方法，其特征在于，电梯呼叫按钮四周对称安装有四个大小相 同的彩色方形识别定位片。7. 根据权利要求1-6任一项所述的方法，其特征在于，如果具有深度信息采集的机器人 车载视觉模块无法获取电梯呼叫按钮位置，则控制机器人旋转，使得车载视觉模块重新获 取新的视野，寻找电梯呼叫按钮。8. 根据权利要求7所述的方法，其特征在于，所述具有深度信息采集的机器人车载视觉 模块为Kinect VI或Kinect V2。9. 根据权利要求1所述的方法，其特征在于，所述退避让传感器模块为Sick超声波传感 器模块。10. 根据权利要求9所述的方法，其特征在于，所述Sick超声波传感器模块至少包括五 个Sick超声波传感器，间隔30°依次排列在机器人底部。
【文档编号】B66B1/14GK105867390SQ201610427616
【公开日】2016年8月17日
【申请日】2016年6月16日
【发明人】刘辉, 李燕飞
【申请人】中南大学