1.本发明涉及汽车车架焊接领域，更具体地说，涉及到一种应用强化学习技术来进行汽车车架自动焊接的系统。
背景技术：
2.随着工业化自动化的发展，在汽车焊接领域，开始出现机器人操作汽车焊枪进行焊接。焊接的过程中，对焊接件的质量没有实时监控，并且机械臂并没有进行根据工件细微差异进行调整再焊接，从而无法保证工件焊接的一致性。
3.因此，亟需提供一种可以实现自适应焊接、根据工件差异可以自动调节焊接机械臂的汽车车架焊接系统。
技术实现要素：
4.本发明要解决的技术问题是提供一种可实时监控焊接质量、可实现自动化焊接的移动式焊接机器人。
5.为了解决上述问题，本发明实施例提出了一种移动式焊接机器人，包括机器人本体和主控制系统，所述机器人本体包括移动底盘和焊接机械臂，所述主控制中加载有基于强化学习的模型训练方法和推理方法，所述强化学习算法采用改进的深度确定性策略梯度算法，其中主控制系统根据可见光摄像机和超声波探伤仪的反馈数据，控制第一电机组和第二电机组的运行，进一步控制工件a和工件b之间的相对位置和姿态，其中主控制系统还可以控制焊接机械臂的位置和姿态。
6.其中所述移动底盘包含移动轮，所述移动底盘上方设置有焊接机械臂，焊接机械臂通过焊接机械臂旋转轴铰接于移动底盘，所述焊接机械臂还设置有焊接机械臂大臂和焊接机械臂小臂，所述焊接机械臂大臂通过焊接机械臂俯仰轴铰接于焊接机械臂旋转轴，所述焊接机械臂小臂通过焊接机械臂连接轴铰接于焊接机械臂大臂，所述焊接机械臂小臂一端设置有焊接头。
7.其中，所述移动轮设置成便于移动的麦克纳姆轮。
8.其中，所述改进的深度确定性策略梯度算法过程如下：
9.step1.模型启动，主控制系统取当前环境状态s，将s进行特征预处理一，输入到神经网络，然后根据动作预测网络得到动作a，、通过动作a评分计算系统和环境模块得到评分r和下一步的环境状态s_，
10.step2.将特征化处置之前的环境状态s、动作a、评分r和下一步的环境状态s_存放至主控制系统；
11.step3.判定是否满足训练条件，如是则执行下一步，否则返回执行step1；
12.step4.将存储单元中的环境状态s、动作a、评分r、下一步环境状态s_进行特征预处理；
13.step5.根据step4中得到的动作a，将动作a和环境状态s输入到评分预测网络，计
算评分预测网络输出的期望q；
14.step6.最大化期望值q，反向更新动作预测网络的参数；
15.step7.更新后的动作预测网络的层数，经过动作预测网络参数修整，得到目标动作网络的参数；
16.step8.根据step4特征预处理后的s_，输入到动作目标网络得到a_；
17.step9.根据step8得到的a_和step4特征预处理后的s_，输入到评分目标网络，得到期望q_；
18.step10.根据期望q、期望q_和step4特征预处理后的评分r，最小化期望方差，反向更新评分预测网络参数；
19.step11.更新后评分预测网络的参数，根据评分预测网络参数修整，得到评分目标网络的参数。
20.step12.依次循环不断更新动作预测网络、动作目标网络、评分预测网络和评分目标网络的参数，直至结束。
21.其中，所述环境s包含工件a的位置和姿态，工件b的位置和姿态，焊接机械臂末端的位置和姿态；
22.其中，动作a包括第一电机组，第二电机组和焊接机械臂；
23.其中，评分r根据工件a和工件b的变形量和焊接质量得到；
24.其中，所述工件a和工件b的变形量可通过可见光摄像机获取，所述工件a和工件b的焊接质量可通过超声波探伤仪获得。
25.其中，所述工件a的位置和姿态通过第一夹持装置控制。
26.其中，所述工件b的位置和姿态通过第二夹持装置控制。
27.其中，所述改进的深度确定性策略梯度算法的动作预测网络参数修整，根据保存近20次动作预测网络的所有参数值和q值，然后求期望q的平均值q_mean，选取距离平均值q_mean最近的两组q对应的参数args，求args均值作为动作目标网络的参数值。
28.其中，所述评分预测网络参数修整与动作预测网络参数修整采用的方法相同。
29.其中，所述改进的深度确定性策略梯度算法的动作预测网络和动作目标网络的结构层次相同。
30.其中，所述改进的深度确定性策略梯度算法的评分预测网络和评分目标网络的结构层次相同。
31.其中，所述移动式焊接机器人的训练过程，包括如下步骤：
32.step1.模型开始训练，从主控制系统得到初始化环境状态s[焊接类型编码，工件a位置，工件a姿态，工件b位置，工件b姿态，焊接机械臂末端位置，焊接机械臂末端姿态]；
[0033]
step2.对s进行特征处理，得到s，将s输入到动作预测网络得到动作a；
[0034]
step3.与评分计算系统交互，得到得分r，并更新环境状态得到新的s_和状态标识，将生成的动作a、评分r和下一环境状态s_暂存于主控制系统；
[0035]
step4.如存储单元达到训练条件，则进行step5，否则进行step6；
[0036]
step5.满足训练条件后，则进行特征工程对s、a、r和s_进行特征处理，然后进行模型训练，开始更新网络参数；
[0037]
step6.判定是否达到训练步数或满足状态done的条件，若满足则终止训练，若不
满足，则更新环境状态s＝s_，返回step2。
[0038]
其中，所述移动式焊接机器人的推理过程，包括如下步骤：
[0039]
step1.从主控制系统得到初始化环境s；
[0040]
step2.对s进行特征处理，得到s，将s输入到动作评估网络得到动作a；
[0041]
step3.将动作a传输到界面显示系统，与评分计算系统交互，得到得分r，更新环境状态得到新的s_和状态标识；
[0042]
step4.判定是否达到训练步数或满足状态done的条件，若满足则终止训练，若不满足，则更新环境状态s＝s_，返回step2。
[0043]
移动底盘的控制流程如下：
[0044]
step1.通过主控制系统初始化移动底盘；
[0045]
step2.检测主控制系统内是否含有现有环境的地图；
[0046]
step3.如无地图则控制移动底盘相机进行重新建图，如有地图则执行step4；
[0047]
step4.根据移动底盘相机确定移动底盘现在位置；
[0048]
step5.根据移动底盘相机确定要焊接工件a和工件b位置；
[0049]
step6.通过主控制系统控制移动底盘到指定位置，如没有移动到指定位置，则持续控制底盘移动，如到达指定位置则执行step7；
[0050]
step7.控制焊接机械臂进行焊接；
[0051]
step8.小车移动结束。
[0052]
与现有技术相比，本发明实施例的上述方案的有益效果如下所述：
[0053]
1、该移动式焊接机器人，设置有多个相机，可实时检测工件a、工件b和焊接机械臂末端的位置和姿态；
[0054]
2、该移动式焊接机器人防止汽车车架在焊接过程中变形，可以进行及时校正；
[0055]
3、该移动式焊接机器人设置有超声波探伤仪，可以对焊接质量进行实时监测；
[0056]
4、该移动式焊接机器人可以进行在线学习，可以根据工件a和工件b的轻微变化以及评分r自动调整焊接机械臂末端的位置和姿态，以保证焊接的一致性。
附图说明
[0057]
图1为本发明实施例移动式焊接机器人机械本体示意图；
[0058]
图2为本发明实施例移动式焊接机器人机系统控制示意图；
[0059]
图3为本发明实施例移动式焊接机器人机改进的深度确定性策略梯度算法流程图；
[0060]
图4为本发明实施例移动式焊接机器人机改进的模型训练流程图；
[0061]
图5为本发明实移动式焊接机器人机改进的推理流程图；
[0062]
图6为本发明实移动式焊接机器人机移动底盘控制流程图；
[0063]
附图标记说明：
[0064]
1、主控制系统；
[0065]
2、第一电机组；
[0066]
3、第一夹持装置；
[0067]
4、可见光摄像机；
[0068]
5、工件a；
[0069]
6、工件b；
[0070]
7、第二夹持装置；
[0071]
8、超声波探伤仪；
[0072]
9、第二电机组；
[0073]
10、焊接机械臂；
[0074]
11、移动轮；
[0075]
12、移动底盘；
[0076]
101、焊接机械臂旋转轴；
[0077]
102、焊接机械臂俯仰轴；
[0078]
103、移动底盘相机；
[0079]
104、焊接机械臂大臂；
[0080]
105、焊接机械臂连接轴；
[0081]
106、焊接头；
[0082]
107、焊接机械臂小臂。
具体实施方式
[0083]
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
[0084]
如图1至图6所示的，本发明公开了一种移动式焊接机器人，
[0085]
一种移动式焊接机器人，包括机器人本体和主控制系统1，所述机器人本体包括移动底盘12和焊接机械臂10，所述主控制系统1中加载有基于强化学习的模型训练方法和推理方法，所述强化学习算法采用改进的深度确定性策略梯度算法，其中主控制系统1根据可见光摄像机4和超声波探伤仪8的反馈数据，控制第一电机组2和第二电机组9的运行，进一步控制工件a5和工件b6之间的相对位置和姿态，其中主控制系统1还可以控制焊接机械臂10的位置和姿态。
[0086]
其中所述移动底盘12包含移动轮11，所述移动底盘12上方设置有焊接机械臂10，焊接机械臂10通过焊接机械臂旋转轴101铰接于移动底盘12，所述焊接机械臂10还设置有焊接机械臂大臂104和焊接机械臂小臂107，所述焊接机械臂大臂104通过焊接机械臂俯仰轴102铰接于焊接机械臂旋转轴101，所述焊接机械臂小臂107通过焊接机械臂连接轴105铰接于焊接机械臂大臂104，所述焊接机械臂小臂107一端设置有焊接头106。
[0087]
其中，所述移动轮11设置成便于移动的麦克纳姆轮。
[0088]
其中，所述改进的深度确定性策略梯度算法过程如下：
[0089]
step1.模型启动，主控制系统1取当前环境状态s，将s进行特征预处理一，输入到神经网络，然后根据动作预测网络得到动作a，、通过动作a评分计算系统和环境模块得到评分r和下一步的环境状态s_，
[0090]
step2.将特征化处置之前的环境状态s、动作a、评分r和下一步的环境状态s_存放至主控制系统1；
[0091]
step3.判定是否满足训练条件，如是则执行下一步，否则返回执行step1；
[0092]
step4.将存储单元中的环境状态s、动作a、评分r、下一步环境状态s_进行特征预处理；
[0093]
step5.根据step4中得到的动作a，将动作a和环境状态s输入到评分预测网络，计算评分预测网络输出的期望q；
[0094]
step6.最大化期望值q，反向更新动作预测网络的参数；
[0095]
step7.更新后的动作预测网络的层数，经过动作预测网络参数修整，得到目标动作网络的参数；
[0096]
step8.根据step4特征预处理后的s_，输入到动作目标网络得到a_；
[0097]
step9.根据step8得到的a_和step4特征预处理后的s_，输入到评分目标网络，得到期望q_；
[0098]
step10.根据期望q、期望q_和step4特征预处理后的评分r，最小化期望方差，反向更新评分预测网络参数；
[0099]
step11.更新后评分预测网络的参数，根据评分预测网络参数修整，得到评分目标网络的参数。
[0100]
step12.依次循环不断更新动作预测网络、动作目标网络、评分预测网络和评分目标网络的参数，直至结束。
[0101]
其中，所述环境s包含工件a5的位置和姿态，工件b6的位置和姿态，焊接机械臂10末端的位置和姿态；
[0102]
其中，动作a包括第一电机组2，第二电机组9和焊接机械臂10；
[0103]
其中，评分r根据工件a5和工件b6的变形量和焊接质量得到；
[0104]
其中，所述工件a5和工件b6的变形量可通过可见光摄像机4获取，所述工件a5和工件b6的焊接质量可通过超声波探伤仪8获得。
[0105]
其中，所述工件a5的位置和姿态通过第一夹持装置3控制。
[0106]
其中，所述工件b6的位置和姿态通过第二夹持装置7控制。
[0107]
其中，所述改进的深度确定性策略梯度算法的动作预测网络参数修整，根据保存近20次动作预测网络的所有参数值和q值，然后求期望q的平均值q_mean，选取距离平均值q_mean最近的两组q对应的参数args，求args均值作为动作目标网络的参数值。
[0108]
其中，所述评分预测网络参数修整与动作预测网络参数修整采用的方法相同。
[0109]
其中，所述改进的深度确定性策略梯度算法的动作预测网络和动作目标网络的结构层次相同。
[0110]
其中，所述改进的深度确定性策略梯度算法的评分预测网络和评分目标网络的结构层次相同。
[0111]
其中，所述移动式焊接机器人的训练过程，如图3所示，包括如下步骤：
[0112]
step1.模型开始训练，从主控制系统1得到初始化环境状态s[焊接类型编码，工件a5位置，工件a5姿态，工件b6位置，工件b6姿态，焊接机械臂10末端位置，焊接机械臂10末端姿态；
[0113]
所述焊接机械臂10末端即焊接头106；
[0114]
step2.对s进行特征处理，得到s，将s输入到动作预测网络得到动作a；
[0115]
step3.与评分计算系统交互，得到得分r，并更新环境状态得到新的s_和状态标
识，将生成的动作a、评分r和下一环境状态s_暂存于主控制系统；
[0116]
step4.如存储单元达到训练条件，则进行step5，否则进行step6；
[0117]
step5.满足训练条件后，则进行特征工程对s、a、r和s_进行特征处理，然后进行模型训练，开始更新网络参数；
[0118]
step6.判定是否达到训练步数或满足状态done的条件，若满足则终止训练，若不满足，则更新环境状态s＝s_，返回step2。
[0119]
其中，所述移动式焊接机器人的推理过程，包括如下步骤：
[0120]
step1.从主控制系统1得到初始化环境s；
[0121]
step2.对s进行特征处理，得到s，将s输入到动作评估网络得到动作a；
[0122]
step3.将动作a传输到界面显示系统，与评分计算系统交互，得到得分r，更新环境状态得到新的s_和状态标识；
[0123]
step4.判定是否达到训练步数或满足状态done的条件，若满足则终止训练，若不满足，则更新环境状态s＝s_，返回step2。
[0124]
其中，移动底盘12的控制流程如下：
[0125]
step1.通过主控制系统1初始化移动底盘12；
[0126]
step2.检测主控制系统1内是否含有现有环境的地图；
[0127]
step3.如无地图则通过移动底盘相机103进行重新建图，如有地图则执行step4；
[0128]
step4.根据移动底盘相机103确定移动底盘12现在位置；
[0129]
step5.根据移动底盘相机103确定要焊接工件a5和工件b6位置；
[0130]
step6.通过主控制系统1控制移动底盘12到指定位置，如没有移动到指定位置，则持续控制底盘12移动，如到达指定位置则执行step7；
[0131]
step7.控制焊接机械臂10进行焊接；
[0132]
step8.小车移动结束。
[0133]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。