基于加权协同算法的Robocup救援协作方法
【专利摘要】本发明提供一种基于加权协同算法的Robocup救援协作方法，通过定义基于角色的加权协同图，并对单个智能体能力和多个智能体协作能力建模；建立智能体协作团队，对智能体交互性进行有效地建模；使用加权协同图学习算法估算执行任务的最优角色分配。学习算法从平时仿真中角色任务分配的例子、比赛中得到的观测值以及一个接近最优的角色任务分配策略算法中获得一个加权协同图学习算法。该方法用于Robocup救援比赛平台，大量的实验仿真测试结果表明，加权协同图的方法能够形成一个近似最优的智能体协作团队。
【专利说明】基于加权协同算法的Robocup救援协作方法
【技术领域】
[0001]本发明涉及一种基于加权协同算法的Robocup救援协作方法。
【背景技术】
[0002]在很多动态情况下，由于任务的要求和环境条件的限制，拥有着不同功能和职责的异构智能体会集中起来一起合作完成复杂的任务。作为Robocup的一个新领域，RobocupRescue仿真比赛提供了一系列标准任务,来促进分布式人工智能、智能机器人技术及其相关领域的研究和发展。
[0003]Robocup救援仿真系统(RCRSS)的主要目的是通过建立多智能体搜救和协作体系，在发生灾难的时候，在仿真平台上通过集成灾难信息，火势预测、行为规划等方法来提供对灾难情况下的决策支持。RCRSS中具有六类可控制智能体，分别为医院(AmbulanceCentre 简称:AC),医疗队(Ambulance Team 简称:AT)、警察局(Police Office 简称:P0)、警察(Police Force 简称:PF)、消防局(Fire Stat1n 简称:FS)、消防队(Fire Bridge 简称:FB)，另外系统中存在市民智能体(Civilian)，它是需要救助的对象。其多智能体系统仿真环境如图1所示。
[0004]目前赛场中针对协作救援，有以下几种方法:
[0005]智能体对任务投标，效益最高的投标者将获得任务的任务拍卖技术；
[0006]ASyMTRe算法,对智能体功能和模式进行建模,任务被定义成一组输出函数的同时，形成了一组为完成任务的多智能体团队，其中可行的队伍根据效用函数进行优先级排序;
[0007]多机器人任务分配(MTRA)方法，它利用任务分配后的完成情况估算协作的价值来给角色间分配多种任务；
[0008]基于拍卖的MRTA技术同样应用广泛，机器人的能力被建模成一组服务资源后进行角色分配；
[0009]最近提出了如何将具有一定自主性的智能体通过学习从而和一个未知的队友协作的问题，它的任务角色的分配和通过观察某特定智能体后学习效果有关；卡耐基梅隆大学的Somchaya Liemhetcharat曾提出过利用图的模型并智能体协作中的训练数据制定一种基于图模型的学习方法。
[0010]上述这些方法都没有对智能体团队的协作效果进行建模。而在RCRSS仿真中，更需要关心的是如何在Robocup rescue救援仿真动态环境下如何形成一个有效的智能体救援队策略，而不是只是只专注于单个智能体的行为和动作。
[0011]由于在RCRSS中，智能体遇到问题是随机的并且在初始时刻，单个智能体的能力、多个智能体之间的合作均是未知的，为了找到一种能够完成单个任务并且获得最大的收益的任务分配策略，因此，在动态的环境下，应当专注于两个问题:1、如何单个智能体如何通过学习来适应一个未知的队友2、如何在动态环境中，形成一个高效的智能体团队。因此观测协同图中智能体和智能体团队之间的相互作用，获得基于智能体功能的协作和任务分配加权协同图。
【发明内容】
[0012]本发明的目的是提供一种基于加权协同算法的Robocup救援协作方法，解决在动态救援仿真环境下，机器人智能体团队在初始情况下的个人能力和团队协作能力是未知的，如何快速地形成一个高效的多智能体团队，从而为智能体找到最优的角色任务分配策略的问题。
[0013]本发明的技术解决方案是:
[0014]一种基于加权协同算法的Robocup救援协作方法，
[0015]定义基于角色的加权协同图，并对单个智能体能力和多个智能体协作能力建模；
[0016]建立智能体协作团队，对智能体交互性进行建模；
[0017]使用加权协同图学习算法估算执行任务的最优角色分配。
[0018]进一步地，对智能体在救援初始时刻的处理单个任务能力进行建模，将智能体协作执行某一任务的效果进行量化:F (A)，若F ({PF，FB}) >F ({PF, AT})，选择(PF，FB)组合完成任务。
[0019]进一步地，对智能体协同状态建模，引入兼容函数Φ，定义Φ:o: E' —K，其中Φ是单调递减函数，输入距离参数，输出兼容性，距离越短代表兼容性越高，兼容性越高表示协同效果越好。
[0020]进一步地，加权协同图模型S是一个多元数组{G，C}，其中:
[0021]G = {V, E}是一个加权连通图；
[0022]每个ai e A都会用一个顶点Vi e V表示，ai代表一个智能体；
[0023]e = (Vi, V」，Wi,」)e E是顶点Vi, Vj之间带有权重Wi,」e Z+的边；
[0024]V1- € V.—(nw;i)<:￡￡，每个顶点都有一个绕回自己的圈；
[0025]ViJi € Λ e C 使得 Ci = {Cia，...，Ci,M，其中，?—' Nijilii JJ2tt,)::是 ai 在角色&中的能力。
[0026]进一步地，利用加权协同图模型，把PF，FB, AT三种智能体在动态变化的灾难模型中的能力用正态分布表示；
[0027]智能体团队协同函数:一个角色策略π:R — A分配的智能体团队协同关系为:
【权利要求】
1.一种基于加权协同算法的Robocup救援协作方法，其特征在于: 定义基于角色的加权协同图，并对单个智能体能力和多个智能体协作能力建模； 建立智能体协作团队，对智能体交互性进行建模； 使用加权协同图学习算法估算执行任务的最优角色分配。
2.利用要求I所述的基于加权协同算法的Robocup救援协作方法，其特征在于，对智能体在救援初始时刻的处理单个任务能力进行建模，将智能体协作执行某一任务的效果进行量化:F (A)，若 F ({PF，FB}) >F ({PF，AT})，选择(PF，FB)组合完成任务。
3.如权利要求2所述的基于加权协同算法的Robocup救援协作方法，其特征在于，对智能体协同状态建模，引入兼容函数Φ，定义Φ: φ ?:￡'...,ft+，其中Φ是单调递减函数，输入距离参数，输出兼容性，距离越短代表兼容性越高，兼容性越高表示协同效果越好。
4.如权利要求3所述的基于加权协同算法的Robocup救援协作方法，其特征在于:加权协同图模型S是一个多元数组{G，C}，其中: G = {V, E}是一个加权连通图； 每个ai e A都会用一个顶点Vi e V表示，ai代表一个智能体； e = (Vi, V」，Wi,」)e E是顶点Vi, Vj之间带有权重wUj e Z+的边； e v- —，每个顶点都有一个绕回自己的圈；
Ve, € A,:q ε C 使得 Ci = {Cia,, Ci,M，其中，Clii ~Nipifi ^2ut ):是 ai 在角色 ra中的能力。
5.如权利要求4所述的基于加权协同算法的Robocup救援协作方法，其特征在于:利用加权协同图模型，把PF，FB, AT三种智能体在动态变化的灾难模型中的能力用正态分布表不; 智能体团队协同函数:一个角色策略π:R —A分配的智能体团队协同关系为:
协同函数返回一个正态分布，代表智能体团队在角色分配策略下的表现。
6.如权利要求5所述的基于加权协同算法的Robocup救援协作方法，其特征在于，在加权协同图基础上利用逼近算法获得最佳的救援团队:利用分区的思想假设一个任务需要智能体的个数是固定的，且该任务的子任务所需智能体个数也是固定的，假如队伍的人数η是未知的，利用逼近算法不断将递增的η迭代运算，返回所有适合的η值，然后选择最优的个数。
7.如权利要求6所述的基于加权协同算法的Robocup救援协作方法，其特征在于，在加权协同图中，将代表智能体能力的正态分布转化为它们的均值，来选择最优的队伍。
8.如权利要求1-7任一项所述的基于加权协同算法的Robocup救援协作方法，其特征在于，由加权协同图的学习算法得到最优加权协同图: 随机生成初始加权协同图,用实例T来估计智能体的处理任务的能力； 智能体团队执行救援策略，基于实例的对数似然估计函数得到最优的加权协同图。
9.如权利要求8所述的基于加权协同算法的Robocup救援协作方法，其特征在于，加权协同图的学习算法具体为: 随机生成初始加权协同图，生成顶点，并在图中随机加了任意权重的边,让协作图连通，每个顶点都有自循环的边； 在智能体进行消防灭火的时候，探索加权协作图的空间，通过以下四种情况生成一个相邻的图结构: 在小于最大权值时，随机对一个边的权值增加I ; 在大于最小权值时，随机对一个边的权值减小I ; 在两个顶点间增加一条新边； 把一个不影响图连通的边消除； 若相邻空间解劝协同图有更好的消防表现，则取代现有加权协同图；最后得到最优的加权协同图。
【文档编号】G06F17/50GK104166750SQ201410274653
【公开日】2014年11月26日 申请日期:2014年6月18日 优先权日:2014年6月18日
【发明者】高翔, 梁志伟, 汪伟亚 申请人:南京邮电大学