室外无人运输车与机器人医疗物资运输路径规划方法与流程

本发明涉及运输车与机器人医疗物资运输领域，具体为室外无人运输车与机器人医疗物资运输路径规划方法。

背景技术：

1、传统的医疗物资运输方式通常依赖于有限数量的人工驾驶车辆和人工搬运机器人，这些车辆和机器人的运行效率和安全性受到人力资源和环境因素的制约，难以满足大规模和高效的医疗物资运输需求。这导致了运输速度的缓慢，容易出现物资损耗和延误。由于车辆和机器人的数量有限，无法实现对医疗物资的实时调度和优化，这意味着物资的分配可能不合理，医疗资源的利用率低下。其次，传统的医疗物资运输方式在协同控制方面存在问题。由于缺乏有效的信息共享和协调机制，传统技术往往难以实现多车辆和多机器人的协同运输。这使得运输系统的稳定性和鲁棒性降低，容易出现拥堵和碰撞等问题。此外，传统的医疗物资运输方式的数据处理和决策存在滞后，无法满足实时性要求。医疗物资的运输需要及时响应和适应不断变化的需求和环境，而传统方法的滞后可能导致运输策略的失效，进一步影响运输效果。综上所述，传统的医疗物资运输方式在运输效率、协同控制和运输策略等方面存在明显不足，无法满足当今医疗物流领域的需求。因此，需要一种创新的技术来克服这些问题，提高运输效率、医疗物资的满足率和运输风险的最小化。

技术实现思路

1、为解决上述技术问题，本发明提出了室外无人运输车与机器人医疗物资运输路径规划方法，提高运输效率、医疗物资的满足率和运输风险的最小化。

2、为实现上述目的，本发明采取的技术方案是：

3、室外无人运输车与机器人医疗物资运输路径规划方法，具体步骤如下；

4、1)进行室外无人运输车和机器人的部署和配置，实现运输车与机器人的状态检测和数据传输：

5、2)进行路径规划与协调控制，通过分层聚类算法，将运输车和机器人划分为不同的子群，减少通信开销和计算复杂度：

6、3)进行无人运输车与机器人医疗物资运输优化策略学习，最大化系统的运输效率和医疗物资的满足率，同时最小化系统的运行成本和运输风险；

7、4)进行qcrl框架及coma算法的网络架构设计，采用qcrl框架和coma算法，利用集中式评价函数和分布式执行函数，学习无人运输车与机器人医疗物资运输的优化策略。

8、作为本发明进一步改进，所述步骤1)具体内容如下，通过将无人运输车与机器人部署到各个区域，并安装传感器和通信模块，实现运输车与机器人的状态监测和数据传输。

9、作为本发明进一步改进，所述步骤2)具体内容如下，通过分层聚类算法，将运输车与机器人划分不同的子群，提出全局奖励函数作为表征运输效率和安全性的表达量之一，同时引入反事实基线函数，来解决多智能体信用分配问题，即如何评价每个运输车或机器人的策略对全局奖励的贡献，当该算法训练完成后，其对于每个运输车或机器人的策略梯度给定为该运输车或机器人的策略更新方向。

10、作为本发明进一步改进，所述步骤2)全局奖励函数表示为：

11、

12、ri＝betai(1-min(di，di))-ai*ci   (2)

13、其中，n为运输车和机器人的总数，xi表示输入特征值，lami为第i个运输车或机器人的权重系数，ri为第i个运输车或机器人的局部奖励，di为第i个运输车或机器人的运输距离，di为第i个运输车或机器人的运输距离上限，betai为第i个运输车或机器人的运输效率系数，ai为第i个运输车或机器人的运输成本系数，ci为第i个运输车或机器人的运输成本。

14、作为本发明进一步改进，述步骤3)具体内容如下，

15、通过强化学习qcrl框架及coma算法来学习无人运输车与机器人医疗物资运输的优化策咯，最大化系统的运输效率和医疗物资的满足率，同时最小化系统的运行成本和运输风险，使用coma算法来解决多智能体信用分配，同时利用集中式训练和分布式执行的框架来设计算法，并采用crit算子更新公式来进行策略网络的更新。

16、作为本发明进一步改进，所述步骤3)中crit算子更新公式表示为：

17、

18、

19、利用上述公式即可完成策略网络的更新，其中ri表示全局奖励，为coma算法中神经网络，依赖下一刻的状态，先利用公式(3)算出每一个智能体的反事实基线，再利用公式(4)即可实现每个智能体策略网络的更新。

20、作为本发明进一步改进，所述步骤4)具体内容如下，通过网络架构的输入特征项以及输出项，用联合动作去优化总体目标函数，使得总体目标函数最大化的联合动作，损失值即为预测联合动作与最优联合动作之间的差异，采用目标函数和损失函数给定，同时采用qcrl框架及coma算法来优化无人运输车与机器人的联合策略，将无人运输车与机器人的特征信息输入到算法网络架构中，对其输出联合动作进行评估。

21、作为本发明进一步改进，所述步骤4)中目标函数表示为：

22、

23、其中，j(bsp)为总体目标函数，bsp为无人运输车与机器人的联合策略，at为折扣因子，rt(st，bsput)为在状态st下执行联合动作bsput所获得的立即奖励，t为任务的终止时刻；所述步骤4)中损失函数表示为：

24、l(bsy)＝-math bebsyleft[sumalatlogpi(ua|taua)aa(st，bsyut)]   (6)

25、其中，l(bsy)为损失函数，bsy为无人运输车与机器人的联合策略参数，a为无人运输车与机器人的索引，pi(ua|taua)为智能体a的策略函数，taua为智能体a的历史观测-动作序列，aa(st，bsyut)为智能体a的优势函数，用于评估智能体a的动作对整体目标函数的贡献。

26、与现有技术相比较，具有如下的有益效果：

27、1)本技术通过部署和配置无人运输车与机器人，并安装传感器和通信模块，实现了高效的医疗物资运输能力。这使得医疗物流部门可以及时获得各个区域的医疗物资需求和供应情况，并能够实时调度和优化运输策略，从而更好地满足医疗物资的需求和保障人们的健康和生命安全。

28、2)本技术通过设计和实施分层聚类算法，将运输车与机器人划分为不同的子群，减少通信开销和计算复杂度，实现了多车辆和多机器人的协同运输能力。这对于提高运输系统的稳定性和鲁棒性至关重要，有助于避免拥堵和碰撞等问题。

29、3)本技术通过构建全局奖励函数、局部策略函数和反事实基线函数，表征运输效率、医疗物资的满足率和运输风险等指标，实现了运输策略的优化学习能力。这对于实现系统的运输效率和医疗物资的满足率的最大化，以及系统的运行成本和运输风险的最小化至关重要，有助于提高运输效果和质量。

30、4)本技术提供的引入一种创新的运输策略学习网络架构，采用qcrl框架和coma算法，利用集中式评价函数和分布式执行函数，学习无人运输车与机器人医疗物资运输的优化策略。这一架构允许将实时收集到的运输状态和医疗物资需求数据输入到算法网络中，通过策略函数和反事实准则来更新运输车与机器人的行为选择。这一架构进一步提高了学习的效率和准确性，有助于快速且可靠地适应不断变化的需求和环境。