本发明涉及机械臂，特别涉及一种基于强化学习的空间机械臂路径规划系统。
背景技术：
1、在机器人中涉及空间机械臂以及空间机械臂路径规划问题，空间机械臂在执行空间操作的过程中，如何保证其安全性是空间机械臂技术发展面临的一个重要问题。当空间机械臂进行空间操作时，由于空间机械臂、以及目标物的附近通常安装有其他产品，因此运动过程中需要考虑与障碍物之间的碰撞问题。
2、现有技术中，基于初始的环境，直接确定机械臂的移动路径，在初始的环境中包括动态障碍物和静态障碍物，会导致确定的移动路径的不准确，同时也造成了大量的数据运算，降低了系统的响应速率。
技术实现思路
1、本发明旨在至少一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于强化学习的空间机械臂路径规划系统，避免在初期进行大量的数据运算，提高了系统的响应速率，也提高了确定的移动路径的准确性。
2、为达到上述目的，本发明实施例提出了一种基于强化学习的空间机械臂路径规划系统，包括：
3、第一确定模块，用于建立空间静态障碍物环境模型以及机械臂模型，根据空间静态障碍物环境模型、机械臂模型的起始点和目标点，确定第一移动路径；
4、第二确定模块，用于在机械臂模型执行第一移动路径过程中，获取空间动态障碍物信息，建立空间动态障碍物环境模型；
5、判断模块，用于根据空间动态障碍物环境模型及机械臂模型判断在执行第一移动路径时，是否会发生碰撞；
6、提取模块，用于在判断模块确定会发生碰撞时，对第一移动路径中通过动态障碍物的部分路径进行提取，作为待处理路径；
7、优化模块，用于：
8、对所述待处理路径基于预先训练好的强化学习模型进行避障优化，得到修正路径；
9、根据修正路径对第一移动路径进行优化，得到第二移动路径;
10、还包括：
11、动作规划模块，用于：
12、获取第二移动路径的各个转折点；
13、在第二移动路径的初始端点设置机械臂模型的初始运动动作；
14、在各个转折点基于机械臂模型的当前运动动作随机生成下一运动动作，得到若干种动作组合序列；
15、将每种动作组合序列打包输入预先训练好的动作评分模型中，输出动作评分，确定动作评分最高的动作组合序列为目标动作序列；
16、数据处理模块，用于：
17、在机械臂执行目标动作序列时，基于设置在机械臂的监测点上的传感器获取监测数据；
18、基于监测数据的时间戳，合并不同采样频率的传感器的数据，得到合并数据；
19、对合并数据进行分析，确定偏离正态分布程度，在确定大于预设阈值时，确定为异常值并进行删除，得到筛选数据；
20、基于极大似然法和贝叶斯方法，对筛选数据进行处理，调整筛选数据的分布趋于正态分布，得到有效数据；
21、状态监测模块，用于根据有效数据确定各个监测点的移动方向、速度以及机械臂的姿态，根据各个监测点的移动方向、速度以及机械臂的姿态，确定机械臂的状态信息；在确定状态信息与预设状态信息不一致时，发出报警提示。
22、根据本发明的一些实施例，所述第一确定模块，包括：
23、建立子模块，用于：
24、获取空间静态障碍物信息，根据空间静态障碍物信息建立空间静态障碍物环境模型；
25、获取机械臂的部件信息及部件连接信息，根据部件信息及部件连接信息建立机械臂模型；
26、第一确定子模块，用于根据空间静态障碍物环境模型、机械臂模型的起始点和目标点基于预设算法，确定第一移动路径。
27、根据本发明的一些实施例，所述判断模块，包括：
28、判断子模块，用于判断机械臂模型在执行经过空间动态障碍物环境模型所在区域的第一移动路径时，空间动态障碍物环境模型的移动方向是否朝向机械臂模型；
29、第二确定子模块，用于在确定空间动态障碍物环境模型的移动方向朝向机械臂模型时，评估空间动态障碍物环境模型的移动轨迹与机械臂模型的移动轨迹是否存在交点，在确定存在交点时，
30、表示会发生碰撞。
31、根据本发明的一些实施例，所述优化模块，包括：
32、第三确定子模块，用于确定待处理路径对应的起点、终点及动态障碍物的类型及参数，在预设路径规划库中确定若干条初步路径；
33、筛选子模块，用于在若干条初步路径中基于预先训练好的强化学习模型，筛选出最优的初步路径进行避障优化，作为修正路径；
34、替换子模块，用于基于修正路径对第一移动路径中的相应部分进行替换，得到第二移动路径。
35、根据本发明的一些实施例，还包括：
36、获取模块，用于在机械臂执行第二移动路径时，获取机械臂的实际移动路径；
37、报警模块，用于判断所述实际移动路径与所述第二移动路径是否一致，在确定不一致时，发出报警提示。
38、根据本发明的一些实施例，所述获取模块，包括：
39、分帧处理子模块，用于在预设监控区域内拍摄机器臂的监控视频，基于所述监控视频进行分帧处理，读取监控视频中的图像信息；
40、识别子模块，用于对所述图像信息进行目标识别，确定机械臂的移动点，并进行连接，确定机械臂的实际移动路径。
41、根据本发明的一些实施例，所述预设算法包括空间关节路径规划方法、笛卡尔路径规划方法、曲线路径规划方法中的至少一种。
42、根据本发明的一些实施例，第三确定子模块确定动态障碍物的类型的方法，包括：
43、获取动态障碍物的图像，去除背景噪声后，进行特征提取，提取动态障碍物对应的颜色直方图；
44、设置目标像素值；
45、确定目标像素值对应的像素点的数量，根据所述数量计算在颜色直方图中的占比信息；
46、根据所述占比信息查询预设的占比信息-类型数据表，确定对应的类型，作为动态障碍物的类型。
47、本发明提出了一种基于强化学习的空间机械臂路径规划系统，首先基于空间静态障碍物环境模型、机械臂模型的起始点和目标点，确定第一移动路径；在机械臂模型执行第一移动路径过程中，获取空间动态障碍物信息，建立空间动态障碍物环境模型；根据空间动态障碍物环境模型及机械臂模型判断在执行第一移动路径时，是否会发生碰撞；在判断模块确定会发生碰撞时，对第一移动路径中通过动态障碍物的部分路径进行提取，作为待处理路径；确定对所述待处理路径基于预先训练好的强化学习模型进行避障优化，得到修正路径；根据修正路径对第一移动路径进行优化，得到第二移动路径。避免在初期进行大量的数据运算，提高了系统的响应速率，后期在执行第一移动路径的过程中，在通过动态障碍物时，进行动态调整，提高了确定的第二移动路径的准确性。便于准确确定机械臂的目标动作序列，在机械臂执行目标动作序列时，基于设置在机械臂的监测点上的传感器获取监测数据；对监测数据进行处理，提高监测数据的准确性，进而准确确定机械臂的状态信息，提高判断状态信息与预设状态信息是否一致的准确性，便于机械臂能够安全可靠的运行。
48、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
49、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。