一种路面注浆自动修复机器人控制系统

本发明涉及机器人设备自动化控制，特别涉及一种基于智慧道路的路面注浆自动修复机器人控制系统。

背景技术：

1、当今路面修复领域研究主要目标是提高修复效率、降低人力成本，并改善道路质量，目前传统的道路修复作业往往依赖人工操作，效率有限且可能存在不准确的情况，目前智慧道路技术逐渐广泛应用于路面修复领域中。

2、但对于病害图像识别技术，需要大量标注的训练数据才能建立准确的模型，且标注数据的获取和处理可能是耗时且繁琐的过程。同时，路面修复的工作环境通常是复杂多变的，包括不同类型的路面、交通状况和天气条件等，机器人在这样复杂环境下的感知和决策能力仍然面临挑战，自动化控制能力不够理想。

技术实现思路

1、本发明提供了一种路面注浆自动修复机器人控制系统，以解决传统的采用人工方式进行道路修复作业的方案效率有限，以及现有的采用机器人进行道路修复作业的方案在复杂环境下的机器人的感知和决策能力有限的技术问题。

2、为解决上述技术问题，本发明提供了如下技术方案：

3、一方面，本发明提供了一种路面注浆自动修复机器人控制系统，包括：路径规划模块、作业区定位模块、裂缝识别模块以及注浆机械臂控制模块；

4、所述路径规划模块用于根据道路修复作业场景和作业要求，基于人工势场法对路面注浆自动修复机器人进行路径规划，并引入随机快速搜索树算法对人工势场法的引力常数和斥力常数进行调整，完成对路径规划进行启发式搜索；

5、所述作业区定位模块用于基于fastslam算法建立作业区定位模型，基于所述路径规划模块的路径规划结果，通过路面注浆自动修复机器人内置摄像头所实时采集的工作空间视频流进行空间识别，并用后验概率分布估计路面注浆自动修复机器人的运动轨迹，完成机器人至作业目标的自动移动；

6、所述裂缝识别模块用于基于深度学习图像算法识别出作业目标的裂缝信息；

7、所述注浆机械臂控制模块用于基于所述裂缝识别模块的识别结果，控制路面注浆自动修复机器人的注浆机械臂移动并完成对作业目标的注浆作业。

8、进一步地，路面注浆自动修复机器人控制系统还包括异常情况处理模块；

9、所述异常情况处理模块用于在修复异常时，进行报警并转入人工控制。

10、进一步地，所述路面注浆自动修复机器人控制系统还包括反馈模块；

11、所述反馈模块用于在注浆作业完成后，判断修复后效果等级，并根据复后效果等级的判断结果对路面注浆自动修复机器人进行反馈控制。

12、进一步地，所述路面注浆自动修复机器人控制系统还包括后处理模块；

13、所述后处理模块用于在修复工作结束后，控制机器人自动进行碎石粉尘清理，并将修复过程数据存入修复工作数据库，以记录修复过程和继续优化模型。

14、进一步地，所述根据道路修复作业场景和作业要求，基于人工势场法对路面注浆自动修复机器人进行路径规划，并引入随机快速搜索树算法对人工势场法的引力常数和斥力常数进行调整，完成对路径规划进行启发式搜索，包括：

15、基于人工势场法对路面注浆自动修复机器人进行路径规划时，采用的引力势能函数uatt的计算公式为：

16、

17、其中，ε为引力常数；p为机器人的当前位置点；pgoal为机器人的目标点；ρ(p,pgoal)为一个机器人位置指向目标点的矢量，其大小为机器人位置与目标点之间的欧几里德距离；

18、引力函数fatt的计算公式为：

19、fatt＝-ερ(p,pgoal)

20、斥力势能函数urep的计算公式为：

21、

22、其中，γ为斥力常数；为斥力势场的半径，表示障碍物对机器人产生作用的最大距离；pbar为障碍物位置点；ρ(p,pbar)为一个障碍物位置指向机器人位置的矢量，其大小为机器人位置与障碍物之间的欧几里德距离；

23、斥力函数frep计算公式为：

24、

25、其中，表示从障碍物指向机器人的单位向量；表示从机器人指向目标点的单位向量；

26、采用的机器人的总势能ut和总合力ft的计算公式如下：

27、ut＝uatt+urep

28、ft＝fatt+frep

29、引入随机快速搜索树算法，对人工势场法的引力常数ε和斥力常数γ进行调整，进行启发式搜索，此时的合力ft′otal为：

30、

31、其中，n为障碍物数量；为第i个障碍物所阐述的斥力；通过更改引力常数ε和斥力常数γ，调整引力值和斥力值的权重，斥力常数γ越大，生成的路径会离障碍物越远，此时人工势场法的主要作用是让机器人避开障碍物；引力常数ε越大，生成的路径使机器人更快靠近目标点，此时人工势场法的主要作用是让机器人朝着目标点搜索，从而完成对路径规划进行启发式搜索；算法的实现过程如下：

32、步骤1，初始化算法，设置起始点xinit，目标点xgoal以及步长s，从环境中随机采样状态点xrand；

33、步骤2，开始随机树的生长过程，首先将作业区域进行分割，在分割后的区域引入人工势场法的引力常数ε和斥力常数γ，对引力常数ε和斥力常数γ进行调整，使随机树生长路径离障碍物更远，更快靠近目标点，以xinit和xrand的连接方向作为树的生长方向，在此方向设置一个步长s，作为树一次生长的步长，在生长的末端产生一个新的结点xnew，判断从xinit到xrand是否穿过障碍物，如果没有穿过障碍物，则将xrand结点加入到树中，如果穿过，则放弃当前新的结点重新选择方向进行生长；

34、步骤3，重复树的生长过程，直到树新生成的结点到目标点的距离小于一个步长s，则终止树的生长，直接将当前新结点与目标点相连，算法结束。

35、进一步地，所述基于fastslam算法建立作业区定位模型，基于所述路径规划模块的路径规划结果，通过路面注浆自动修复机器人内置摄像头所实时采集的工作空间视频流进行空间识别，并用后验概率分布估计路面注浆自动修复机器人的运动轨迹，完成机器人至作业目标的自动移动，包括：

36、将fastslam算法运动模型和观测模型表示为：

37、p(xr(k)|u(k),xr(k-1))＝f(u(k),xr(k-1)+ω(k)

38、p(z(k)|xr(k),xn(k),n(k))＝h(xr(k),xn(k))+v(k)

39、其中，xr(k)为k时刻机器人位姿；xr(k-1)为k-1时刻器人位姿；z(k)为k时刻机器人位置的观测值；u(k)为k时刻机器人的运动值；n(k)为路标标记；xn(k)为n(k)的陆标的信息；f和h为非线性函数；ω(k)为运动模型gaussian白噪声；v(k)为观测模型gaussian白噪声；p(.|.)为后验概率分布估计表示的机器人轨迹模型；

40、基于fastslam算法将机器人的运动轨迹和环境建模xn(k)使用后验概率表示为：

41、

42、其中，nk＝n(1),…,n(k)为路标标记；zk＝z(1),…,z(k)为机器人位置的观测值；uk＝u(1),…,u(k)为机器人位置的运动值；n为障碍物数量；

43、建立环境信息过程分为以下步骤：

44、步骤1，通过机器人的运动学模型采样得到一个描述机器人先验位姿的粒子集，机器人运动学模型由笛卡尔坐标表示，将frenet坐标系与笛卡尔坐标系进行转换，在frenet坐标系下，车辆状态表示为：

45、

46、其中，s为纵向位移；为纵向速度；为纵向加速度；d为横向位移；为横向速度；为横向加速度；d′为d对弧长的一阶导；d″为d对弧长的二阶导；

47、移动机器人横向位移由笛卡尔坐标系表示为：

48、

49、其中，为修复机器人轨迹曲线；为机器人当前位置参考线方向上的位置向量；为机器人当前位置参考线方向上的正交单位法向量；

50、横向移动速度为：

51、

52、其中，为机器人当前位置参考线方向上正交单位法向量；为机器人当前位置参考线方向上的正交单位切向量；vx为笛卡尔坐标系下移动机器人速度；δθ为笛卡尔坐标系下机器人当前位置与参考线方向的夹角；

53、机器人速度在frenet坐标系下表示为：

54、

55、其中，τr为移动机器人当前位置的曲率；为对求时间的导数；由此得：

56、

57、

58、则机器人速度和加速度为：

59、

60、

61、其中，为对求时间的导数；

62、步骤2，对描述机器人先验位姿的粒子集粒子进行权值修正，计算粒子权值后根据权值及其对应状态，计算机器人状态的后验概率分布，粒子权值表示为：

63、

64、其中，为k-1状态机器人的运动轨迹；zk-1为k-1状态机器人位置的观测值；uk-1为k-1状态机器人位置的运动值；nk-1为k-1状态路标标记；

65、步骤3，对粒子集进行重采样，使用分层重采样算法，即将采样区域分成连续的互不重合的区间，对每个子区间进行独立同分布采样，从中获取机器人位置偏差数据，进行纠偏控制。

66、进一步地，所述基于深度学习图像算法识别出作业目标的裂缝信息，包括：

67、采集工作场景中的裂缝图片并对采集的裂缝图片进行数据化，基于深度神经网络框架将数据化的图片分为训练集和测试集，为了避免产生过拟合的现象，增加单位时间采集的图片数量，进行多次迭代计算；

68、将训练好的网络模型加载至路面注浆自动修复机器人携带的摄像头处理系统，将其所采集的裂缝图片进行数据化处理，识别出裂缝信息。

69、进一步地，对裂缝图片进行数据化的方式为：

70、将所有裂缝图片进行归一化处理，获得尺寸和像素大小一致的图片信息库，将所有图片信息网格化处理，得到256*256的方框像素，即横向256个像素格，竖向256个像素格，以每一个像素格作为图片训练的数据基础。

71、进一步地，所述深度神经网络框架为卷积神经网络；

72、所述基于深度学习图像算法识别出作业目标的裂缝信息，包括：

73、使用基于空间特征的图像识别算法，空间特征提取以resnext网络为基础架构，使用改进的resnext网络，将特征图组进行二次划分，特征组总数为：

74、g＝kr

75、其中，k表示第一次划分基数超参数；r表示特征图组内进一步划分的基数超参数；

76、跨多个分量按元素求和，将若干基数组构成一个组合表示：

77、

78、其中，h、w、c为块输出特征图的形状，rk为第一次划分后的第k个分量；uj为第j个基数组；通过跨空间维度sk∈rc/k的全局平均池化来集合具有嵌入通道统计数据的全局上下文信息，第k个基数组的第c个分量计算如下：

79、

80、其中，为第c个分量基数组集合；

81、按通道注意力进行加权聚合，其中每个特征图通道由加权组合产生，第c个通道的加权融合表示如下：

82、

83、其中，为特征图组划分后基数组集合；表示分配权重：

84、

85、其中，表示sk确定第c个通道每个分量的权值；

86、所述改进的resnext网络是指将resnext网络中3×3标准卷积替换为内卷积，改进的resnext网络内卷积运算中，内卷核形状由输入数据的特征图形状生成，并在空间上与特征图大小对齐，内卷核生成过程表示为：

87、

88、

89、其中，φi,j为坐标(i,j)邻域的像素点集合；为特征图中坐标(i,j)的单个像素；ξ为处理层非线性激活函数和为线性变换矩阵，本发明采用3×3标准卷积，r取3；

90、使用mixup数据增强策略，从训练数据中生成随机图像进行加权组合。

91、进一步地，所述注浆机械臂为六自由度的机械臂；

92、所述控制路面注浆自动修复机器人的注浆机械臂移动，包括：

93、使用六自由度的机械臂模型，在机械臂作业过程中，预设有m个路径点，给定六自由度机械臂执行器末端的路径点序列，再经过逆运动学运算，得到六个旋转关节的角位移序列q＝[q1,q2,…,qm]t，其中，第i个路径点的关节角位移矢量qi＝[qi1,qi2,qi3,qi4,qi5,qi6]，i＝1,…,m，j＝1,2,…,6，qij为第j个自由度上第i个路径点的关节角位移矢量，该矢量的六个维度表示机器人的六个旋转关节，最终预期得到起止路径点处关节角速度、关节角加速度均为零的各关节运动轨迹，并且能够确保各路径点处的关节角加加速度曲线连续，各关节运动轨迹参数转化为只与时间t有关的变量，六自由度机械臂的各个关节角位移表示为：

94、q(t)＝[q1(t),q2(t),q3(t),q4(t),q5(t),q6(t)]t

95、其中，qj(t)为第j个自由度上关节角位移；

96、六自由度机械臂的各个关节角速度表示为：

97、

98、其中，ωj(t)为第j个自由度上关节角速度；

99、六自由度机械臂的各个关节角加速度表示为：

100、

101、其中，aj(t)为第j个自由度上关节角加速度；

102、六自由度机械臂的各个关节角脉动特性表示为：

103、

104、其中，jert(t)定义为机械臂运动关节的脉动函数，数学上定义为关节角加加速度，用来衡量机械臂轨迹平滑性，其值越小表示机械臂关节轨迹越平滑，机械臂越稳定；jertj(t)表示第j个自由度上关节角脉动特性；

105、将机械臂脉动特性定义为：

106、

107、式中，s为机械臂关节平均脉动，为关节数；t为机械臂运行总时；t为时间；

108、在机械臂运行轨迹规划中，将机械臂运动过程分为三段，第一阶段为机械臂由折叠状态到展开状态，此阶段机械臂轨迹采用5次多项式来表示，第二阶段为机械臂展开后至作业目标起始点，此阶段机械臂轨迹采用7次多项式来表示，第三阶段为机械臂从作业目标起始点开始作业至作业结束到达作业目标结束点，此阶段机械臂轨迹采用7次多项式来表示，具体形式如下：

109、机械臂运动第一阶段的五次多项式与时间的通用函数关系式为：

110、q(t)＝a0+a1t+a2t2+a3t3+a4t4+a5t5

111、设置关节起始角位置、关节终止角位置、关节起始角速度、关节终止角速度、关节起始角加速度和关节终止角加速度为约束条件：

112、

113、其中，t0为起始时刻，tm为终止时刻；

114、根据多项式与时间函数关系将机械臂关节角速度表达如下：

115、

116、将机械臂关节角加速度表达如下：

117、

118、由此可得到：

119、

120、机械臂运动的第二阶段和第三阶段的七次多项式与时间的通用函数关系式为：

121、q(t)＝a0+a1t+a2t2+a3t3+a4t4+a5t5+a6t6+a7t7

122、设置关节起始角位置、关节终止角位置、关节起始角速度、关节终止角速度、关节起始角加速度、关节终止角加速度、关节起始角加加速度和关节终止角加加速度为约束条件：

123、

124、根据多项式与时间函数关系将机械臂关节角速度表达如下：

125、

126、将机械臂运动关节角加速度表达如下：

127、

128、机械臂运动关节角脉动特性变化函数为：

129、

130、使用参数化方程对曲线进行拟合的平滑方法解决第一阶段五次多项式与第二阶段七次多项式之间切换点不连续的问题，将路径定义为多项式螺旋参数曲线，使用弧长的五次多项式函数表示螺旋线上点的切线方向，曲线上有n个点将曲线分成n-1段，参数化公式如下：

131、θ(s)＝a+bs+cs2+ds3+es4+fs5

132、其中，θ(s)表示螺旋线上点的切线方向，s表示沿螺旋线弧长，a、b、c、d、e、f为五次多项式系数；曲线上坐标表示为：

133、

134、其中，xi、yi、zi为曲线上第i个点pi的坐标值；

135、以起点方向、起点曲率、起点曲率导数、终点方向、终点曲率、终点曲率导数以及两点之间曲线长度作为每段五次多项式螺旋线的约束条件：

136、

137、其中，θi为起点方向，为起点曲率，为起点曲率导数，为终点方向，为终点曲率，为终点曲率导数，δsi为两点之间曲线长度；θi(0)为曲线起点位置处方向；为曲线起点位置处曲率；为曲线起点位置处曲率导数；θi(δsi)为距曲线起点距离δsi位置处方向；为距曲线起点距离δsi位置处曲率；为距曲线起点距离δsi位置处曲率导数；

138、以两段曲线连接处位置、方向、曲率以及曲率导数的连续性作为约束条件：

139、

140、其中，xi+1、yi+1、zi+1为曲线上第i+1个点pi+1的坐标值；

141、对曲线上的点pi(xi,yi,zi)进行位置平移约束：

142、

143、其中，i＝1,…,n；为原始参考点的位置坐标，ri为原始参考点可以平移的距离。

144、再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述路面注浆自动修复机器人控制系统中所涉及的各种模型和算法。

145、又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述路面注浆自动修复机器人控制系统中所涉及的各种模型和算法。

146、本发明提供的技术方案带来的有益效果至少包括：

147、1、本发明提高了路面注浆自动修复机器人系统在路径规划问题中的自适应性，通过引入随机快速搜索树进行启发式搜索，调整人工势场法的引力常数和斥力常数，有效提升了路面注浆自动修复机器人在路径规划过程中的适应性，使其能够更好地适应不同的作业场景和要求；实现了在条件受限的路径规划过程中的拓展，通过基于fastslam算法建立作业区定位模型，结合视觉传感器进行定位，使用后验概率分布估计机器人的运动轨迹，使得路面注浆自动修复机器人可自动移动至作业目标和动态地规划路径，同时寻求最优路径降低能耗；

148、2、本发明提高了图像识别的准确性和效率，通过采用深度学习图像算法进行裂缝特征的识别，对需要修复的目标区域进行扫描和数据化处理，从而实现精准的注浆作业，通过将注浆仪器搭载至动力机械臂上，建立注浆量、裂缝尺寸和修复目标的对应关系，使得机器人能够通过图像识别系统提供的指令进行精准的注浆工作，本发明根据路面修复作业场景的特点，收集训练图像，根据训练图像数据库运用深度学习算法卷积神经网络算法对图像信息进行模型训练，通过训练好的模型，使得路面注浆自动修复机器人可以对路面修复目标，尤其是复杂情况作业目标进行精准自动修复。

149、3、本发明的路面注浆自动修复机器人控制系统应用层面广，经济成本低，可以推广至社会应用，带来良好的社会和经济效益，具有重大应用前景。