一种未知环境下机器人避障方法
【专利摘要】一种未知环境下机器人避障方法，涉及一种机器人控制方法，包括Q学习避障算法、仿真程序流程两部分，Q学习避障算法采用BP神经网络实现Q学习算法，该网络共分为输入层、隐含层和输出层，分别有N、H和M个单元。Q值用前向传播发产生；网络的误差信号，根据公式：确定；然后根据梯度下降的思想，得到应用BP神经网络实现Q学习时的权值调整规律；仿真程序流程包括仿真需求分析、仿真说明、程序过程。本发明通过仿真实验验证了Q学习实现机器人在未知环境下的行为选择控制是可行的、有效的，并验证机器人在未知环境下具有良好的越障性能。
【专利说明】一种未知环境下机器人避障方法
【技术领域】
[0001] 本发明涉及一种机器人控制方法，特别是涉及一种未知环境下机器人避障方法。
【背景技术】
[0002] 随着社会信息技术的发展，工业、农业、国防等各个领域越来越需要高性能的自动 化系统，机器人技术得到了深入的研究和发展，研究重点已经转向在复杂、未知、不可预测 环境中独立工作的自主式智能机器人。Q学习，这个词是指该机器人通过实验，观察和推断， 更新知识的能力。该机器人只有通过不断的学习，以提高自身的适应能力，并最终可以学习 到未知的环境中行为战略。近年来，机器人具有自学习能力已成为新的研究热点，在这种情 况下，采用强化学习的方法实现自主机器人的行为选择控制。通过仿真验证了所设计基于 强化学习的机器人避障算法的可行性。
【发明内容】
[0003] 本发明的目的在于提供一种未知环境下机器人避障方法，该方法构建了仿真实验 平台，模拟了移动机器人在未知环境下自主地、安全地从起始点到达目标点的过程。通过仿 真实验验证了Q学习实现机器人在未知环境下的行为选择控制是可行的、有效的，并验证 机器人在未知环境下具有良好的越障性能。
[0004] 本发明的目的是通过以下技术方案实现的： 一种未知环境下机器人避障方法，所述方法包括Q学习避障算法、仿真程序流 程两部分，Q学习避障算法采用BP神经网络实现Q学习算法，该网络共分为输入层、 隐含层和输出层，分别有N、H和M个单元。Q值用前向传播发产生；网络的误差信号 Δβ,根据公式：G+ZmfIxO..*5)+! -r，）-P丨:鳥，iV)确定；然后根据梯 aeA 度下降的思想，得到应用BP神经网络实现Q学习时的权值调整规律；仿真程序流程包括仿 真需求分析、仿真说明、程序过程。
[0005] 所述的一种未知环境下机器人避障方法，所述仿真需求分析包括对该环境采用二 维建模、对机器人目标点和出发点的位置进行设置、进行相对应的二维图像运动仿真。
[0006] 所述的一种未知环境下机器人避障方法，所述仿真说明包括建立坐标系、环境建 模、障碍物表不。
[0007] 所述的一种未知环境下机器人避障方法，所述程序过程包括机器人程序模块设， 包括主程序框架模块设计、数据处理模块设计和移动机器人仿真模块设计。
[0008] 所述的一种未知环境下机器人避障方法，所述主程序框架模块，通过构建应用程 序的人机交互界面，然后再构成整个应用程序的主框架，通过对应用程序模块进行有机连 接，对用户事件实现响应，及内部结构化参数设计的传递。
[0009] 所述的一种未知环境下机器人避障方法，所述数据处理模块通过对主程序框架所 传递环境参数的设定，直接对移动机器人运动的环境认知模式进行判断，并且输出相应的 参数。
[0010] 所述的一种未知环境下机器人避障方法，所述机器人仿真模块由数据处理模块给 定位置参数，再通过matlab软件进行仿真分析，绘出移动机器人的运动轨迹。
[0011] 本发明的优点与效果是： 1.本发明构建了仿真实验平台，模拟了移动机器人在未知环境下自主地、安全地从起 始点到达目标点的过程。通过仿真实验验证了Q学习实现机器人在未知环境下的行为选择 控制是可行的、有效的，并验证机器人在未知环境下具有良好的越障性能。
[0012] 2.本发明仿真实验平台，模拟了移动机器人在未知环境下自主地、安全地从起始 点到达目标点的过程。
[0013] 3.本发明通过仿真实验验证了Q学习实现机器人在未知环境下的行为选择控制 是可行的、有效的，并验证机器人在未知环境下具有良好的越障性能。
【专利附图】
【附图说明】
[0014] 图IBP神经网络实现Q学习示意图； 图2机器人开始学习的情况轨迹示意图； 图3机器人学习不久后的情况轨迹示意图； 图4机器人学习后期的情况轨迹示意图。
【具体实施方式】
[0015] 下面结合附图所示实施例，对本发明作进一步详述。
[0016] 本发明介绍了机器人Q学习避障算法的实现方法，并构建了仿真实验平台，模拟 了移动机器人在未知环境下自主地、安全地从起始点到达目标点的过程。通过仿真实验验 证了Q学习实现机器人在未知环境下的行为选择控制是可行的、有效的，并验证机器人在 未知环境下具有良好的越障性能。
[0017] 随着社会信息技术的发展，工业、农业、国防等各个领域越来越需要高性能的自动 化系统，机器人技术得到了深入的研究和发展，研究重点已经转向在复杂、未知、不可预测 环境中独立工作的自主式智能机器人。Q学习，这个词是指该机器人通过实验，观察和推断， 更新知识的能力。该机器人只有通过不断的学习，以提高自身的适应能力，并最终可以学习 到未知的环境中行为战略。近年来，机器人具有自学习能力已成为新的研究热点，在这种情 况下，采用强化学习的方法实现自主机器人的行为选择控制。通过仿真验证了所设计基于 强化学习的机器人避障算法的可行性。
[0018] 实施例： I.Q学习避障算法： 采用BP神经网络实现Q学习算法，BP神经网络实现Q学习的过程见图1，采用BP神经 网络的方法来实现Q学习。该网络共分为以下三层：输入层、隐含层和输出层，分别有N、H 和M个单元。Q值用前向传播发产生。网络的误差信号Δβ,根据公式：
【权利要求】
1. 一种未知环境下机器人避障方法，其特征在于，所述方法包括Q学习避障算法、仿 真程序流程两部分，Q学习避障算法采用BP神经网络实现Q学习算法，该网络共分为输 入层、隐含层和输出层，分别有N、H和M个单元；Q值用前向传播发产生；网络的误差信号 Δβ,根据公式：ΔΡ=G+ ,Λ) - 巧+)确定；然后根据梯 aeA 度下降的思想，得到应用BP神经网络实现Q学习时的权值调整规律；仿真程序流程包括仿 真需求分析、仿真说明、程序过程。
2. 根据权利要求1所述的一种未知环境下机器人避障方法，其特征在于，所述仿真需 求分析包括对该环境采用二维建模、对机器人目标点和出发点的位置进行设置、进行相对 应的二维图像运动仿真。
3. 根据权利要求1所述的一种未知环境下机器人避障方法，其特征在于，所述仿真说 明包括建立坐标系、环境建模、障碍物表示。
4. 根据权利要求1所述的一种未知环境下机器人避障方法，其特征在于，所述程序过 程包括机器人程序模块设，包括主程序框架模块设计、数据处理模块设计和移动机器人仿 真模块设计。
5. 根据权利要求4所述的一种未知环境下机器人避障方法，其特征在于，所述主程序 框架模块，通过构建应用程序的人机交互界面，然后再构成整个应用程序的主框架，通过对 应用程序模块进行有机连接，对用户事件实现响应，及内部结构化参数设计的传递。
6. 根据权利要求4所述的一种未知环境下机器人避障方法，其特征在于，所述数据处 理模块通过对主程序框架所传递环境参数的设定，直接对移动机器人运动的环境认知模式 进行判断，并且输出相应的参数。
7. 根据权利要求4所述的一种未知环境下机器人避障方法，其特征在于，所述机器人 仿真模块由数据处理模块给定位置参数，再通过matlab软件进行仿真分析，绘出移动机器 人的运动轨迹。
【文档编号】G05D1/02GK104317297SQ201410595228
【公开日】2015年1月28日 申请日期:2014年10月30日 优先权日:2014年10月30日
【发明者】刘欢, 王健, 王庆辉, 李金凤, 郭烁, 张琳琳 申请人:沈阳化工大学