一种操作信息预测的方法、模型训练的方法及相关装置与流程

文档序号：17945472发布日期：2019-06-18 23:34阅读：134来源：国知局

本申请涉及人工智能技术领域，尤其涉及一种操作信息预测的方法、模型训练的方法及相关装置。

背景技术：

人工智能(artificialintelligence,ai)程序已经在规则明确的棋类游戏里战胜了顶级职业选手。相比之下，多人在线战术竞技(multiplayeronlinebattlearena，moba)游戏的操作更加复杂，更接近真实世界的场景。攻克moba游戏中的ai问题，有助于我们探索和解决真实世界的复杂问题。

目前，针对moba游戏多人合作问题，通常采用多智能体强化学习方法，通过自我对战的方式学习合作。请参阅图1，图1为现有方案中多智能体强化学习的一个模型结构示意图，如图所示，模型的输入为属性信息(比如英雄、野怪以及兵线等)、地图信息(比如障碍物等)、全局信息(比如时间等)以及小地图信息。经过一系列的处理后，可以输出与对象关联的微操作信息。

然而，对于moba游戏而言，多人之间的合作不仅需要体现在对象的微操作上，在实际应用中，不同对象之间的配合和互动也是非常重要的，因此，采用上述介绍的多智能体强化学习模型进行操作信息的预测是不全面的，不利于信息预测合理性。

技术实现要素：

本申请实施例提供了一种操作信息预测的方法、模型训练的方法及相关装置，利用目标联合模型先预测角色集合的大局观操作信息，再基于大局观操作信息预测得到该角色集合的微操作信息，即可同时获得微操作和大局观操作这两个层次的合作能力，由此加强模型的预测能力，从而提升信息预测的合理性。

有鉴于此，本申请第一方面提供一种操作信息预测的方法，包括：

获取待预测图像数据，其中，所述待预测图像数据包括第一角色集合的数据以及第二角色集合的数据，所述第一角色集合与所述第二角色集合为不同的两个角色集合；

根据所述待预测图像数据确定所述第一角色集合中的待预测角色；

获取所述待预测图像数据中每个待预测角色的待预测特征集合，其中，所述待预测特征集合包括向量特征以及图像特征，所述向量特征包括公有向量特征以及私有向量特征，所述公有向量特征包括所述第一角色集合对应的属性特征、所述第二角色集合对应的属性特征、交互对象特征以及全局特征，所述私有向量特征包括待预测角色对应的操作特征，所述图像特征包括所述所述待预测角色对应的局部视野特征；

通过目标联合模型获取所述每个待预测角色所对应的第一操作信息，其中，所述目标联合模型用于根据所述待预测特征集合生成第二操作信息，所述目标联合模型还用于根据所述第二操作信息生成所述第一操作信息，所述第一操作信息表示与操作内容相关的信息，所述第二操作信息表示与操作意图相关的信息。

本申请第二方面提供一种模型训练的方法，包括：

获取待训练图像数据集合，其中，所述待训练图像数据集合包括至少一个待训练图像数据，所述待训练图像数据集合包括第一角色集合的数据以及第二角色集合的数据，所述第一角色集合与所述第二角色集合为不同的两个角色集合；

根据所述待训练图像数据集合确定所述第一角色集合所对应的待训练角色集合，其中，所述待训练角色集合中包括多个待训练角色，不同的待训练角色对应不同的角色类型；

获取所述待训练角色集合中每个待训练角色所对应的操作标签，其中，所述操作标签包括第一操作标签以及第二操作标签，所述第一操作标签表示与操作内容相关的标签，所述第二操作标签表示与操作意图相关的标签；

获取所述待训练图像数据集合中所述每个待训练角色所对应的待训练特征集合，其中，所述待训练特征集合包括公有向量特征、私有向量特征以及图像特征，所述公有向量特征包括所述第一角色集合对应的属性特征、所述第二角色集合对应的属性特征、交互对象特征以及全局特征，所述私有向量特征包括所述待训练角色的操作特征，所述图像特征包括所述待训练角色对应的局部视野特征；

根据所述每个待训练角色所对应的操作标签，以及所述每个待训练角色所对应的待训练特征集合，训练得到目标联合模型。

本申请第三方面提供一种操作信息预测装置，包括：

获取模块，用于获取待预测图像数据，其中，所述待预测图像数据包括第一角色集合的数据以及第二角色集合的数据，所述第一角色集合与所述第二角色集合为不同的两个角色集合；

确定模块，用于根据所述获取模块获取的所述待预测图像数据确定所述第一角色集合中的待预测角色；

所述获取模块，还用于获取所述待预测图像数据中所述确定模块确定的每个待预测角色的待预测特征集合，其中，所述待预测特征集合包括向量特征以及图像特征，所述向量特征包括公有向量特征以及私有向量特征，所述公有向量特征包括所述第一角色集合对应的属性特征、所述第二角色集合对应的属性特征、交互对象特征以及全局特征，所述私有向量特征包括待预测角色对应的操作特征，所述图像特征包括所述所述待预测角色对应的局部视野特征；

所述获取模块，还用于通过目标联合模型获取所述确定模块确定的所述每个待预测角色所对应的第一操作信息，其中，所述目标联合模型用于根据所述待预测特征集合生成第二操作信息，所述目标联合模型还用于根据所述第二操作信息生成所述第一操作信息，所述第一操作信息表示与操作内容相关的信息，所述第二操作信息表示与操作意图相关的信息。

本申请第四方面提供一种模型训练装置，包括：

获取模块，用于获取待训练图像数据集合，其中，所述待训练图像数据集合包括至少一个待训练图像数据，所述待训练图像数据集合包括第一角色集合的数据以及第二角色集合的数据，所述第一角色集合与所述第二角色集合为不同的两个角色集合；

确定模块，用于根据所述获取模块获取的所述待训练图像数据集合确定所述第一角色集合所对应的待训练角色集合，其中，所述待训练角色集合中包括多个待训练角色，不同的待训练角色对应不同的角色类型；

所述获取模块，还用于获取所述确定模块确定的所述待训练角色集合中每个待训练角色所对应的操作标签，其中，所述操作标签包括第一操作标签以及第二操作标签，所述第一操作标签表示与操作内容相关的标签，所述第二操作标签表示与操作意图相关的标签；

所述获取模块，还用于获取所述待训练图像数据集合中所述每个待训练角色所对应的待训练特征集合，其中，所述待训练特征集合包括公有向量特征、私有向量特征以及图像特征，所述公有向量特征包括所述第一角色集合对应的属性特征、所述第二角色集合对应的属性特征、交互对象特征以及全局特征，所述私有向量特征包括所述待训练角色的操作特征，所述图像特征包括所述待训练角色对应的局部视野特征；

训练模块，用于根据所述获取模块获取的所述每个待训练角色所对应的操作标签，以及所述每个待训练角色所对应的待训练特征集合，训练得到目标联合模型。

在一种可能的设计中，在本申请实施例的第四方面的第一种实现方式中，

所述确定模块，具体用于根据所述待训练图像数据集合获取所述第一角色集合中的操作对象集合，其中，所述操作对象集合中包括多个操作对象；

根据预设匹配规则确定所述操作对象集合中每个操作对象所对应的可匹配角色集合，其中，所述可匹配角色集合包括至少一个可匹配角色；

根据所述每个操作对象所对应的可匹配角色集合，判断是否满足预设角色匹配条件；

若满足所述预设角色匹配条件，则确定所述待训练角色集合，其中，所述待训练角色集合中的待训练角色与所述操作对象集合中的操作对象具有一一对应关系。

在一种可能的设计中，在本申请实施例的第四方面的第二种实现方式中，

所述确定模块，具体用于根据所述待训练图像数据集合获取所述第一角色集合中的操作对象集合，其中，所述操作对象集合中包括多个操作对象；

获取所述操作对象集合中每个操作对象所对应的位置分布特征；

将所述每个操作对象所对应的位置分布特征与预设角色匹配模板进行比对，得到所述待训练角色集合，其中，所述预设角色匹配模板为预先根据不同角色的位置分布特征聚类后生成的模板。

在一种可能的设计中，在本申请实施例的第四方面的第三种实现方式中，

所述获取模块，具体用于根据所述待训练图像数据集合，获取所述每个待训练角色的按键类型信息和按键参数信息，其中，所述按键参数信息包括方向型参数、位置型参数以及目标型参数中的至少一项，所述方向型参数用于表示角色的移动方向，所述位置型参数用于表示角色所在的位置，所述目标型参数用于表示角色的待输出对象；

根据所述每个待训练角色的按键类型信息和按键参数信息，生成所述待训练角色集合中所述每个待训练角色的所述第一操作标签。

在一种可能的设计中，在本申请实施例的第四方面的第四种实现方式中，

所述获取模块，具体用于根据所述待训练图像数据集合，获取所述每个待训练角色在预设区域集合内的停留时间，其中，所述预设区域集合包括多个预设区域；

若所述待训练角色在目标预设区域内的停留时间大于时间阈值，则根据所述目标预设区域以及所述停留时间，确定所述待训练角色的操作意图信息，其中，所述操作意图信息表示角色具有的交互目的；

根据所述每个待训练角色的操作意图信息，生成所述待训练角色集合中所述每个待训练角色的所述第二操作标签。

在一种可能的设计中，在本申请实施例的第四方面的第五种实现方式中，

所述获取模块，具体用于根据所述待训练图像数据集合中的每个待训练图像，获取所述每个待训练角色所对应的所述公有向量特征、所述私有向量特征以及所述图像特征；

根据所述公有向量特征、所述私有向量特征以及所述图像特征，生成所述每个待训练角色所对应的所述待训练特征集合。

在一种可能的设计中，在本申请实施例的第四方面的第六种实现方式中，

所述训练模块，具体用于通过卷积神经网络对所述每个待训练角色所对应的所述待训练特征集合中的所述图像特征进行编码，得到第一编码信息；

通过全连接神经网络对所述每个待训练角色所对应的所述待训练特征集合中的向量特征进行编码，得到第二编码信息，其中，所述向量特征包括所述所述公有向量特征以及所述私有向量特征；

根据每个待训练角色所对应的操作标签、所述第一编码信息以及所述第二编码信息，训练得到所述每个待训练角色所对应的联合模型；

根据所述每个待训练角色所对应的联合模型，生成所述目标联合模型。

在一种可能的设计中，在本申请实施例的第四方面的第七种实现方式中，

所述训练模块，具体用于对所述每个待训练角色的所述第一编码信息和所述第二编码信息进行拼接，得到目标编码信息；

通过待训练联合模型获取所述目标编码信息所对应的第一预测标签，其中，所述第一预测标签表示预测得到的与操作意图相关的标签；

通过待训练联合模型获取所述第一预测标签与所述目标编码信息所对应的第二预测标签，其中，所述第二预测标签预测得到的与操作内容相关的标签；

采用损失函数对所述第一操作标签以及所述第二预测标签进行计算，得到联合模型参数，其中，所述第一操作标签属于真实值，所述第二预测标签属于预测值；

采用所述联合模型参数对所述待训练联合模型进行训练，得到所述每个待训练角色所对应的联合模型。

在一种可能的设计中，在本申请实施例的第四方面的第八种实现方式中，

所述训练模块，具体用于按照预设角色训练顺序，依次从所述待训练角色集合中确定所述每个待训练角色的训练顺序；

根据所述每个待训练角色的训练顺序，对所述每个待训练角色所对应的联合模型进行拼接，得到待训练目标联合模型；

采用损失函数对每个联合模型输出的所述第一操作标签以及所述第二预测标签，以及所述每个待训练对象的所述第一操作标签以及所述第二操作标签进行计算，得到目标联合模型参数；

采用所述目标联合模型参数对所述待训练目标联合模型进行训练，得到所述目标联合模型。

本申请第五方面提供一种服务器，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

根据所述待预测图像数据确定所述第一角色集合中的n个待预测角色；

通过目标联合模型获取所述每个待预测角色所对应的第一操作信息，其中，所述目标联合模型用于根据所述待预测特征集合生成第二操作信息，所述目标联合模型还用于根据所述第二操作信息生成所述第一操作信息，所述第一操作信息表示与操作内容相关的信息，所述第二操作信息表示与操作意图相关的信息；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本申请第六方面提供一种服务器，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

根据所述每个待训练角色所对应的操作标签，以及所述每个待训练角色所对应的待训练特征集合，训练得到目标联合模型；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本申请的第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例中，提供了一种操作信息预测的方法，首先获取待预测图像数据，其中，待预测图像数据包括第一角色集合的数据以及第二角色集合的数据，然后根据待预测图像数据确定第一角色集合中的n个待预测角色，接下来获取待预测图像数据中每个待预测角色的待预测特征集合，待预测特征集合包括向量特征以及图像特征，向量特征包括公有向量特征以及私有向量特征，公有向量特征包括第一角色集合对应的属性特征、第二角色集合对应的属性特征、交互对象特征以及全局特征，而私有向量特征包括待预测角色对应的操作特征，图像特征包括待预测角色对应的局部视野特征，最后，可以通过目标联合模型获取每个待预测角色所对应的第一操作信息，其中，目标联合模型用于根据所述待预测特征集合生成第二操作信息，目标联合模型还用于根据第二操作信息生成第一操作信息，第一操作信息表示与操作内容相关的信息，第二操作信息表示与操作意图相关的信息。由于第一操作信息属于微操作信息，第二操作信息属于大局观操作信息，因此，通过上述方式，对于moba游戏而言，利用目标联合模型先预测角色集合的大局观操作信息，再基于大局观操作信息预测得到该角色集合的微操作信息，即可同时获得微操作和大局观操作这两个层次的合作能力，由此加强模型的预测能力，从而提升信息预测的合理性。

附图说明

图1为现有方案中多智能体强化学习的一个模型结构示意图；

图2为本申请实施例中操作指令预测系统的一个架构示意图；

图3为本申请实施例中操作指令预测方法的一个框架流程示意图；

图4为本申请实施例中操作信息预测的方法一个实施例示意图；

图5为本申请实施例中模型训练的方法一个实施例示意图；

图6为本申请实施例中moba游戏的一个地形示意图；

图7为本申请实施例中英雄与角色对应关系的一个匹配示意图；

图8为本申请实施例中下路英雄的的一个位置分布密度示意图；

图9为本申请实施例中中路英雄的的一个位置分布密度示意图；

图10为本申请实施例中玩家按键的一个示意图；

图11为本申请实施例中微操标签的一个示意图；

图12为本申请实施例中大局观标签的一个示意图；

图13为本申请实施例中单个英雄的一个特征表达示意图；

图14为本申请实施例中全部英雄的一个特征表达示意图；

图15为本申请实施例中基于单个角色的一个联合模型结构示意图；

图16为本申请实施例中基于整队角色的一个目标联合模型结构示意图；

图17为本申请实施例中操作信息预测装置一个实施例示意图；

图18为本申请实施例中模型训练装置一个实施例示意图；

图19为本申请实施例中服务器一个实施例示意图；

图20为本申请实施例中终端设备一个实施例示意图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应理解，本申请所涉及的模型和预测方法都可以应用于人工智能(artificialintelligence,ai)领域，其应用范围包含但不仅限于机器翻译、智能控制、专家系统、机器人、语言和图像理解、自动程序设计、航天应用以及庞大的信息处理、储存与管理等。为了便于介绍，本申请将以网络游戏场景为例进行介绍，具体可以是moba类型的游戏场景。针对moba游戏，本申请实施例设计了一种ai模型，能够更好地模拟人类玩家的行为，在人机对战，模拟掉线玩家，玩家练习游戏角色等情形中均取得更好的效果。其中，moba游戏的典型玩法是多人对战多人的模式，即两支(或多支)分别由相同玩家人数组成的角色集合之间进行对抗，每个玩家控制一个英雄角色，优先推掉对方“水晶”基地的一方即为获胜方。

一种moba游戏的典型玩法是5v5对战，即两支角色集合之间进行对抗，且每支角色集合分别由5名玩家组成。每个玩家控制一个英雄，先推掉对方水晶基地的一方为获胜方。在moba游戏中，需要5个英雄以合作的方式进行游戏。无论是在地图上的资源分配，还是团战中的操作，都需要5个英雄之间良好的配合。比如，上路、中路和下路的英雄需要在各自线路上发育，打野英雄则在野区发育，输出英雄需要在后排进行输出，辅助英雄需要在前排承受伤害，刺客英雄需要最后入场收割。

综合以上分析，研究和开发能够利用人类数据通过模仿学习快速学习高水平多人合作型ai模型，对于科学研究和应用都至关重要。本申请针对moba游戏的多人合作型模型的设计问题，提供一种基于模仿学习的多智能体联合模型方法，旨在快速实现在大局观操作和微操作两个层面的合作能力。

为了便于理解，本申请提出了一种操作指令预测的方法，该方法应用于图2所示的操作指令预测系统，请参阅图2，图2为本申请实施例中操作指令预测系统的一个架构示意图，如图所示，客户端上进行多局游戏，生成大量的游戏画面数据(即待训练图像数据)，然后游戏画面数据发送至服务器。其中，这些游戏画面数据的过程可以是人类玩家在实际游戏过程中生成的数据，也可以是由机器模拟人类玩家操作后得到的数据，本申请主要是以人类玩家提供的数据为主。以一局游戏平均30分钟，且每秒15帧来计算，每局游戏平局有27000帧图像。为了降低数据的复杂度，本申请主要选择与大局观任务和微操任务相关的数据进行训练，其中，大局观任务是以操作意图来划分的，包含但不仅限于“打野”、“清兵”、“团战”以及“推塔”，每局游戏只有平均100个左右的大局观任务，而每个大局观任务中的微操决策步数约为200个，因此，大局观的决策步数和微操的决策步数都在可以接受的范围内。

需要说明的是，客户端部署于终端设备上，其中，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机以及个人电脑(personalcomputer，pc)，此处不做限定。

服务器采用客户端上报的游戏画面数据对模型进行离线训练，模型训练完成后，即可执行在线应用流程，为了便于理解，请参阅图3，图3为本申请实施例中操作指令预测方法的一个框架流程示意图，如图所示，本申请的整体技术框架包括两大流程，分别为离线训练流程以及在线应用流程，其中，离线训练流程指的是根据大量人类玩家的对战数据，通过监督学习训练得到目标联合模型的过程。在线应用流程指的是根据离线训练得到的目标联合模型，在线提取特征并输出预测结果的过程。离线训练流程包括如下步骤：

步骤s1中，获取人类玩家的对局数据，将人类玩家数据输入至多智能体角色自动识别模块。

步骤s2中，通过多智能体角色自动识别模块对人类玩家数据进行识别，具体地，在moba游戏中，每个英雄具有自己的角色定位，并且每个英雄在不同的对战局中担任的角色也不相同，因此，多智能体角色自动识别模块的作用为，根据人类玩家数据自动识别每个英雄在该对局中所担任的橘色，从而用于模型的训练。

步骤s3中，根据步骤s2中的角色识别结果，可以知道每个英雄在该局游戏中的角色，于是，多智能体标签提取模块根据角色识别结果，输出每个角色的标签(label)，该标签可以分为大局观标签以及微操标签两种，标签主要用于监督学习的训练。

步骤s4中，在moba游戏中，每个英雄所看到的视野是不一样的，即视野是私有的，但是同时也有很多特征信息对于我方队友是公有的，多智能体特征提取模块从人类玩家数据中提取每个英雄的公有特征和私有特征，用于进行后续的模型训练。

步骤s5中，根据步骤s2提取的标签以及步骤s3提取的特征，采用监督学习训练目标联合模型，获得目标联合模型的模型参数。

在线应用流程包括如下步骤：

步骤s6中，在一局moba游戏中，游戏引擎接口提供了描述当前一帧所有的信息，其中，游戏引擎接口具体可以是一个应用程序编程接口(applicationprogramminginterface，api)。

步骤s7中，通过游戏引擎接口获取当前对战局中的在线数据。

步骤s8中，在线特征提取模块根据游戏引擎接口提供的在线数据，提取与步骤s4中相同的特征，即包括公有特征和私有特征，不同的是，在步骤s8中仅仅提取当前一帧的图像数据即可。

步骤s9中，模型预测模块将步骤s9中的特征输入至目标联合模型中，由该目标联合模型的输出预测指令，然后将预测指令输入到游戏引擎中，通过游戏引擎执行该预测指令。重复步骤s8至s9，直至一局游戏对战结束。

结合上述介绍，下面将对本申请中操作信息预测的方法进行介绍，请参阅图4，本申请实施例中操作信息预测的方法一个实施例包括：

101、获取待预测图像数据，其中，待预测图像数据包括第一角色集合的数据以及第二角色集合的数据，第一角色集合与第二角色集合为不同的两个角色集合；

本实施例中，在一局moba游戏对战中，操作信息预测装置通过游戏引擎接口获取当前需要被预测的一帧图像数据，该帧数据即为待预测图像数据。其中，待预测图像数据包括至少两支角色集合的数据，在“排位赛”的对局中，第一角色集合有5名玩家，第二角色集合有5名玩家。在“五军对决”对局中，第一角色集合有2名玩家，第二角色集合有2名玩家，第三角色集合有2名玩家，第四角色集合有2名玩家，第五角色集合有2名玩家。本申请以两个角色集合为例进行介绍，然而这不应理解为对本申请的限定。

由于预测操作信息需要较强的性能，因此，操作信息预测装置通常部署在服务器中，具体可以部署在服务器的中央处理器中。在服务器输出第一操作信息之后，将该第一操作信息发送至终端设备上的客户端，再由客户端根据第一操作信息执行相应的操作。可以理解的是，在实际应用中，操作信息预测装置也可以部署在终端设备中，该终端设备也需要具有较强的性能。

102、根据待预测图像数据确定第一角色集合中的待预测角色；

本实施例中，操作信息预测装置根据待预测图像数据，采用模糊匹配规则或者聚类学习的方法，确定第一角色集合中的n个待预测角色。假设第一角色集合中有1名玩家掉线了，则第一角色集合中有1个待预测角色，该待预测角色即为掉线玩家控制的的角色。假设需要模拟第一角色集合中所有的角色，则第一角色集合中的所有角色都是待预测角色。因此，在一个待预测角色的数量取决于具体的需求，在一个角色集合中，各个待预测角色之间的定位是不同的，比如，角色a是负责辅助其他角色的，角色b是负责远程消耗对手血量的。

103、获取待预测图像数据中每个待预测角色的待预测特征集合，其中，待预测特征集合包括向量特征以及图像特征，向量特征包括公有向量特征以及私有向量特征，公有向量特征包括第一角色集合对应的属性特征、第二角色集合对应的属性特征、交互对象特征以及全局特征，私有向量特征包括待预测角色对应的操作特征，图像特征包括待预测角色对应的局部视野特征；

本实施例中，操作信息预测装置根据待预测图像数据，获取每个待预测角色所对应的待预测特征集合。其中，待预测特征集合中包括两大类特征，即向量特征以及图像特征。向量特征又包括了公有向量特征和私有向量特征。

公有向量特征包括第一角色集合中每个角色的属性特征，具体可以是第一角色集合中每个角色的血量，每个角色的攻击力以及每个角色的防御力等特征，第二角色集合中每个角色的属性特征，具体可以是第二角色集合中每个角色的血量，每个角色的攻击力以及每个角色的防御力等特征，交互对象特征具体可以是兵线、野怪以及防御塔等特征。全局特征具体可以是对局时间以及对局比分等特征。私有向量特征包括待预测角色对应的操作特征，即每个待预测角色的技能冷却时间以及技能可用情况等特征，可以理解的是，私有向量特征也可以包括第一角色集合中每个角色的操作特征。图像特征包括待预测角色对应的局部视野特征，即每个待预测角色的局部视野里看到的图像信息特征，可以理解的是，图像特征也可以包括第一角色集合中每个角色的图像信息特征。

104、通过目标联合模型获取每个待预测角色所对应的第一操作信息，其中，目标联合模型用于根据所述待预测特征集合生成第二操作信息，目标联合模型还用于根据第二操作信息生成第一操作信息，第一操作信息表示与操作内容相关的信息，第二操作信息表示与操作意图相关的信息。

本实施例中，操作信息预测装置将每个待预测角色的待预测特征集合输入至目标联合模型，由目标联合模型先输出每个待预测角色的第二操作信息，该第二操作信息表示与操作意图相关的信息，即大局观操作信息。将第二操作信息以级联的形式输入到目标联合模型的微操编码层中，进而得到每个待预测角色的第一操作信息，该第一操作信息表示与操作内容相关的信息，即微操信息。

应理解，采用离线训练得到的目标联合模型可以用于预测每个角色的操作指令，具体地，可以应用于如下几类场景：

场景一，对于moba游戏中连败的用户，可以提供“温暖局”来提高用户体验，即一方是需要鼓励的人类玩家，一方是目标联合模型，该目标联合模型可以提供类似人类水平的操作和合作能力，让用户不易察觉是ai模型，从而获得更好的体验。

场景二，当在moba游戏对局过程中有玩家掉线时，可以用目标联合模型去接管，该目标联合模型可以更好的理解其他人类队友的操作，从而更好的配合人类玩家，防止因为用户掉线产生的不公平行为。

场景三，提高人机对战模式，帮助玩家训练提高和操作能力，并可以设定ai的难度等级，让不同等级的人类玩家匹配相应难度等级的目标联合模型。

结合上述介绍，下面将对本申请中模型训练的方法进行介绍，请参阅图5，本申请实施例中模型训练的方法一个实施例包括：

201、获取待训练图像数据集合，其中，待训练图像数据集合包括至少一个待训练图像数据，待训练图像数据集合包括第一角色集合的数据以及第二角色集合的数据，第一角色集合与第二角色集合为不同的两个角色集合；

本实施例中，模型训练装置首先获取大量的人类玩家对战数据，包括多局游戏对战的玩家数据，其中，人类玩家对战数据包括多帧游戏图像，这些游戏图像即为待训练图像数据集合，每帧游戏图像即为待训练图像数据，待预测图像数据集合包括至少两支角色集合的数据，比如在“排位赛”的对局中，第一角色集合有5名玩家，第二角色集合有5名玩家。又比如在“五军对决”对局中，第一角色集合有2名玩家，第二角色集合有2名玩家，第三角色集合有2名玩家，第四角色集合有2名玩家，第五角色集合有2名玩家。本申请以两个角色集合为例进行介绍，然而这不应理解为对本申请的限定。

模型训练装置部署于服务器中，具体可以部署在服务器的中央处理器中。

202、根据待训练图像数据集合确定第一角色集合所对应的待训练角色集合，其中，待训练角色集合中包括多个待训练角色，不同的待训练角色对应不同的角色类型；

本实施例中，模型训练装置根据待训练图像数据集合确定第一角色集合所对应的待训练角色集合，在第一角色集合中每个玩家控制一个英雄，每个英雄在一局对战中通常对应不同的角色，待训练角色集合中所包括的待训练角色具有不同的角色类型。

为了便于介绍，请参阅图6，图6为本申请实施例中moba游戏的一个地形示意图，如图所示，在moba游戏中的角色可以分为上单、下路、中单、辅助和打野五类，即待训练角色集合可以包括这五类待训练角色。其中，r1所示的区域为上单角色活动的区域，r2所示的区域为中单角色活动的区域，r3所示的区域为打野角色活动的区域，r4所示的区域为辅助角色活动的区域，r5所示的区域为下路角色活动的区域。不同的角色分配体现了同一个角色集合的策略合作关系，在多个合作型ai设计中，需要考虑每个英雄在当前游戏对局中所担任的角色。然而，在实际情况下，一个英雄可以对应多个角色，比如在第一角色集合中，英雄“宫本武藏”既可以作为上单角色，又可用作为打野角色，英雄“李元芳”既可以作为下路角色，又可用作为打野角色，那么就需要根据待训练图像数据集合，确定在第一角色集合中的角色分配情况，当五个英雄刚好能对应上五个角色时，即得到待训练角色集合。

203、获取待训练角色集合中每个待训练角色所对应的操作标签，其中，操作标签包括第一操作标签以及第二操作标签，第一操作标签表示与操作内容相关的标签，第二操作标签表示与操作意图相关的标签；

本实施例中，模型训练装置在获取到待训练角色集合之后，进而提取每个待训练角色所对应的操作标签，操作标签主要用于模型的训练。由于人类玩家在moba游戏中有大局观操作和微操作两层操作，因此，所提取的操作标签也包括第一操作标签以及第二操作标签，第一操作标签即为微操标签，表示与操作内容相关的标签。第二操作标签即为大局观标签，第二操作标签表示与操作意图相关的标签。

204、获取待训练图像数据集合中每个待训练角色所对应的待训练特征集合，其中，待训练特征集合包括公有向量特征、私有向量特征以及图像特征，公有向量特征包括第一角色集合对应的属性特征、第二角色集合对应的属性特征、交互对象特征以及全局特征，私有向量特征包括待训练角色集合的操作特征，图像特征包括待训练角色对应的局部视野特征；

本实施例中，模型训练装置根据待训练图像数据集合，可以提取每个待训练角色所对应的待训练特征集合。其中，待训练特征集合包括公有向量特征、私有向量特征以及图像特征。公有向量特征包括第一角色集合中每个角色的属性特征，具体可以是第一角色集合中每个角色的血量，每个角色的攻击力以及每个角色的防御力等特征，第二角色集合中每个角色的属性特征，具体可以是第二角色集合中每个角色的血量，每个角色的攻击力以及每个角色的防御力等特征，交互对象特征具体可以是兵线、野怪以及防御塔等特征。全局特征具体可以是对局时间以及对局比分等特征。私有向量特征包括每个待训练角色对应的操作特征，即每个待训练角色的技能冷却时间以及技能可用情况等特征，图像特征包括每个待训练角色对应的局部视野特征，即每个待训练角色的局部视野里看到的图像信息特征。

205、根据每个待训练角色所对应的操作标签，以及每个待训练角色所对应的待训练特征集合，训练得到目标联合模型。

本实施例中，模型训练装置采用损失函数，对每个待训练角色所对应的操作标签，以及每个待训练角色所对应的待训练特征集合进行学习，从而训练得到目标联合模型。

本申请实施例中，提供了一种模型训练的方法，首先获取待训练图像数据集合，然后根据待训练图像数据集合确定第一角色集合所对应的待训练角色集合，再获取待训练角色集合中每个待训练角色所对应的操作标签，并且获取待训练图像数据集合中每个待训练角色所对应的待训练特征集合，最后根据每个待训练角色所对应的操作标签，以及每个待训练角色所对应的待训练特征集合，训练得到目标联合模型。通过上述方式，设计出一种适用于moba游戏中多人合作的目标联合模型，从人类玩家数据中通过监督学习同时训练大局观任务和微操任务，并且同时预测我方所有英雄的操作，通过建立多种通信连接同时获得微操和大局观两个层次的合作能力，经过监督学习后可以使得整个过程收敛更快。

可选地，在上述图5对应的实施例的基础上，本申请实施例提供的模型训练的方法第一个可选实施例中，根据待训练图像数据集合确定第一角色集合所对应的待训练角色集合，包括：

根据待训练图像数据集合获取第一角色集合中的操作对象集合，其中，操作对象集合中包括多个操作对象；

根据预设匹配规则确定操作对象集合中每个操作对象所对应的可匹配角色集合，其中，可匹配角色集合包括至少一个可匹配角色；

根据每个操作对象所对应的可匹配角色集合，判断是否满足预设角色匹配条件；

若满足预设角色匹配条件，则确定待训练角色集合，其中，待训练角色集合中的待训练角色与操作对象集合中的操作对象具有一一对应关系。

本实施例中，介绍一种确定角色集合中待训练角色集合的方法。首先，模型训练装置根据待训练图像数据集合获取第一角色集合中的操作对象集合，基于待训练图像数据集合可以了解同一个角色集合中的各个操作对象。其中，操作对象具体可以是玩家在游戏对局中选择的英雄，比如“虞姬”、“夏侯惇”、“李白”、“诸葛亮”以及“白起”等。以5v5的对局为例，则操作对象集合包括5个操作对象。

在获取到操作对象集合后，可以根据预设匹配规则确定每个操作对象的可匹配角色集合，可匹配角色集合包括至少一个可匹配角色。其中，预设匹配规则即为根据专家给出的先验知识设定的匹配规则。比如，英雄“李元芳”的可匹配角色集合包括两个可匹配角色，分别为“打野”和“下路”。为了便于理解，请参阅图7，图7为本申请实施例中英雄与角色对应关系的一个匹配示意图，如图所示，英雄1的可匹配角色集合为“上单”和“中单”，英雄2的可匹配角色集合为“上单”，英雄3的可匹配角色集合为“上单”和“下路”，英雄4的可匹配角色集合为“打野”和“中单”，英雄5的可匹配角色集合为“辅助”。由此，建立如图7所示的映射关系。

接下来，根据每个操作对象所对应的可匹配角色集合，判断是否满足预设角色匹配条件，具体地，先判断是否存在没有任何英雄与角色对应的情况(比如，没有任何一个英雄对应“打野”角色)，以及判断是否存在同时有两个以上的对应完全相同的角色(比如，同时存在两个英雄都是只能作为“辅助”角色)，如果存在上述情况，则认为这一场游戏数据不符合要求，于是可以从待训练图像数据集合中获取下一局的对战数据进行角色识别。反之，如果不存在上述情况，则选择与角色有唯一匹配关系的英雄，并建立对应的映射关系，然后删除该英雄的其他角色对应关系。在英雄和角色之间建立一一对应的关系后，输出相应的结果，即得到待训练角色集合。

以图7为例，“辅助”这个角色只有英雄5对应。“下路”这个角色只有英雄3，则将确定这两个角色的对应关系，基于英雄3已经为“下路”角色，则删除英雄3与“上单”角色的对应关系。“打野”这个角色只有英雄4，则将确定这两个角色的对应关系，基于英雄4已经为“打野”角色，则删除英雄4与“中单”角色的对应关系。由此可见，“中单”角色只能对应“英雄1”，最后，“上单”角色对应于英雄1。至此，完成匹配工作。即英雄1对应中单，英雄2对应上单，英雄3对应下路，英雄4对应打野，英雄5对应辅助。

可以理解的是，当存在2个或者多个英雄对应的角色完全相同时，也可以通过一些补充信息(比如局内道具配置或者铭文装配情况)进行进一步确定。

其次，本申请实施例中，提供了一种基于模糊规则匹配确定待训练角色集合的方法，即先获取第一角色集合中的操作对象集合，然后根据预设匹配规则确定操作对象集合中每个操作对象所对应的可匹配角色集合，再根据每个操作对象所对应的可匹配角色集合，判断是否满足预设角色匹配条件，若满足，则确定待训练角色集合。通过上述方式，能够建立操作对象与角色之间的对应关系，在模型训练的过程以及在信息预测的过程中，均可以实现自动识别角色集合中的各个角色的目的，从而提升方案的可行性和可操作性，可以有效识别英雄在游戏中所担任的角色。

可选地，在上述图5对应的实施例的基础上，本申请实施例提供的模型训练的方法第二个可选实施例中，根据待训练图像数据集合确定第一角色集合所对应的待训练角色集合，可以包括：

根据待训练图像数据集合获取第一角色集合中的操作对象集合，其中，操作对象集合中包括多个操作对象；

获取操作对象集合中每个操作对象所对应的位置分布特征；

将每个操作对象所对应的位置分布特征与预设角色匹配模板进行比对，得到待训练角色集合，其中，预设角色匹配模板为预先根据不同角色的位置分布特征聚类后生成的模板。

本实施例中，介绍另一种确定角色集合中待训练角色集合的方法。首先，模型训练装置根据待训练图像数据集合获取第一角色集合中的操作对象集合，基于待训练图像数据集合可以了解同一个角色集合中的各个操作对象。其中，操作对象具体可以是玩家在游戏对局中选择的英雄，比如“虞姬”、“夏侯惇”、“李白”、“诸葛亮”以及“白起”等。以5v5的对局为例，则操作对象集合包括5个操作对象。

在获取到操作对象集合后，分别提取每个操作对象所对应的位置分布特征，即根据待训练图像数据集合中的一局对战数据，提取每个英雄在同一个地图上的分布密度图。假设有5个英雄，即可以生成5个位置分布特征。分别将每个位置分布特征与预设角色匹配模板进行比对，根据匹配相似度确定该英雄所对应的角色，得到待训练角色集合。

每个英雄所担任的角色体现在宏观位置的分工上，即如图6所示的一种角色分工，通常情况下，“上单”角色在地图的上半区活动比较多，“下路”角色在地图的下半区活动比较多，其他的角色也有自己的活动区域。因此，可以采用基于位置分布特征聚类算法，通过学习的方式自动识别已一局对战游戏中每个英雄的角色。为了便于理解，请参阅图8和图9，图8为本申请实施例中下路英雄的的一个位置分布密度示意图，图9为本申请实施例中中路英雄的的一个位置分布密度示意图，如图所示，我们将地图离散化成24*24的格子，在实际应用中，也可以设定为其他任意参数。每个格子的密度为英雄在该格子停留的帧数除以该局游戏的总帧数，格子颜色越深，表示停留时间越多。由此可见，不同的角色在地图上分布的位置有明显区别。

其中，预设角色匹配模板是预先根据各个角色的位置分布特征聚类后所生成的模板。具体地，可以提取每局对战游戏中一方角色集合中各个角色的位置分布特征，通过聚类算法，比如k均值聚类算法将数据划分成n类，其中，如果是5v5的对战模式，则n为5，3v3的对战模式，则n为3，此处以5v5为例进行介绍，也就是将数据划分成5类，接下来计算每个类别的中心，作为每个角色的匹配模板，即得到预设角色匹配模板，预设角色匹配模板中的各个匹配模板表现为特征向量的形式。在实际匹配过程中，输入任意一局对战数据中英雄的位置分布特征，与预设角色匹配模板中的各个匹配模板进行匹配，找出距离(比如2的范数)最小的一个匹配模板，从而输出该匹配模板所对应的角色。当所有角色匹配完毕，得到得到待训练角色集合。

需要说明的是，k均值聚类算法仅为一个示意，还可以采用其他的聚类算法进行计算，比如均值漂移聚类、基于密度的聚类方法或者图团体检测方法等，此处不做限定。

其次，本申请实施例中，提供了一种基于聚类学习确定待训练角色集合的方法，即首先根据待训练图像数据集合获取第一角色集合中的操作对象集合，然后获取操作对象集合中每个操作对象所对应的位置分布特征，最后将每个操作对象所对应的位置分布特征与预设角色匹配模板进行比对，得到待训练角色集合。通过上述方式，能够根据每个角色在地图中的位置分布情况确定其定位，在模型训练的过程以及在信息预测的过程中，均可以实现自动识别角色集合中的各个角色的目的，从而提升方案的可行性和可操作性。

可选地，在上述图5对应的实施例的基础上，本申请实施例提供的模型训练的方法第三个可选实施例中，获取待训练角色集合中每个待训练角色所对应的操作标签，可以包括：

根据待训练图像数据集合，获取每个待训练角色的按键类型信息和按键参数信息，其中，按键参数信息包括方向型参数、位置型参数以及目标型参数中的至少一项，方向型参数用于表示角色的移动方向，位置型参数用于表示角色所在的位置，目标型参数用于表示角色的待输出对象；

根据每个待训练角色的按键类型信息和按键参数信息，生成待训练角色集合中每个待训练角色的第一操作标签。

本实施例中，将介绍一种生成第一操作标签的方式，第一操作标签为微操标签。基于待训练图像数据集合可以获取每个待训练角色的按键类型信息和按键参数信息。为了便于介绍，请参阅图10，图10为本申请实施例中玩家按键的一个示意图，如图所示，人类玩家在操作时，通常先决定使用哪个按键，即先确定按键类型信息，然后再决定按键的操作参数，即确定按键参数信息。图10中a1所指示的按键类型信息为移动，a2所指示的按键类型信息为普通攻击(即普攻)，a3所指示的按键类型信息为技能1，a4所指示的按键类型信息为技能2，a5所指示的按键类型信息为技能3。

在moba游戏中，按键参数信息分为方向型参数、位置型参数以及目标型参数，在实际应用中，不同操作对象(即英雄)的操作空间是不同的，也就是说，英雄是异质的。因此，在训练过程中所采用的待训练角色也会对应一个英雄，例如，英雄a的技能1是方向型，技能2是方向型，技能3是位置型。而英雄b的技能1是位置型，技能2是目标型，技能3是位置型。那么，这些异质的英雄之间的合作建模变得更困难。因此，本申请设计了一种通用的标签，可以将所有英雄的操作在同一个标签体系下表达。

基于上述介绍，本申请采用分层的标签设计，即先预测当前时刻的按键类型信息，然后预测按键参数信息。请参阅图11，图11为本申请实施例中微操标签的一个示意图，如图所示，可以将“移动”的标签离散化成20个方向，“普攻”的标签离散化成8个目标，“方向型技能”的标签离散化成60个方向，“位置型技能”的标签离散化成30*30个位置，“目标型技能”的标签表示成候选的8个攻击目标。可以理解的是，上述参数仅为一个示意，不应理解为对本申请的限定。标签编号从1开始，例如，英雄a的技能1和技能2都放在方向型技能标签中，技能3放在位置型技能标签中，而英雄b的技能1和技能3都放在位置型技能标签中，技能2放在目标型技能中。不属于某种类型技能的标签标成0。这样，所有英雄都可以用相同的标签空间来表达，也就得到每个待训练角色的第一操作标签。

基于上述介绍，一种可行的操作流程为：

步骤一，从待训练图像数据集合中读取一局人类对战数据到计算机内存中，该数据包括了所有游戏信息，并且按帧存储。

步骤二，从游戏的第一帧数据开始，从前往后依次读取每帧数据，由此获得每个玩家的操作指令。

步骤三，根据步骤二读取的操作指令，按照上述介绍的标签设计方法，提取每个玩家的第一操作标签，即微操标签，并以分层数据格式(hierarchicaldataformat，hdf)5的格式存储。因为每个玩家在同一帧有多个标签，因此每个玩家的每个标签均单独存储为一个数据集(dataset)，需要提取第一角色集合中每个待训练角色的微操标签。

重复执行步骤一至步骤三，可以提取所有人类对战数据中的第一操作标签。

其次，本申请实施例中，提供了一种获取第一操作标签的方式，即根据待训练图像数据集合，获取每个待训练角色的按键类型信息和按键参数信息，根据按键类型信息和按键参数信息生成第一操作标签。通过上述方式，能够对异质的操作对象变成同质的操作，实现规范化的标签提取，即所有操作对象都可以采用相同的标签空间来表达，从而降低了建模的复杂性。

可选地，在上述图5对应的实施例的基础上，本申请实施例提供的模型训练的方法第四个可选实施例中，获取待训练角色集合中每个待训练角色所对应的操作标签，可以包括：

根据待训练图像数据集合，获取每个待训练角色在预设区域集合内的停留时间，其中，预设区域集合包括多个预设区域；

若待训练角色在目标预设区域内的停留时间大于时间阈值，则根据目标预设区域以及停留时间，确定待训练角色的操作意图信息，其中，操作意图信息表示角色具有的交互目的；

根据每个待训练角色的操作意图信息，生成待训练角色集合中每个待训练角色的第二操作标签。

本实施例中，将介绍一种生成第二操作标签的方式，第二操作标签为大局观标签。基于待训练图像数据集合可以获取每个待训练角色的在预设区域集合内的停留时间，根据待训练角色在目标预设区域内的停留时间确定操作意图信息，该目标预设区域属于预设区域集合中的任意一个预设区域。操作意图信息表示人类进行的大局观决策，具体可以是决定去地图的什么位置。要去的位置反映了玩家的宏观意图。moba游戏中的大局观合作主要体现在每个队友的宏观意图要有合作性，例如，所有队友去同一个位置集合。

为了便于介绍，请参阅图12，图12为本申请实施例中大局观标签的一个示意图，如图所示，首先将游戏中的地图离散化成24*24个格子，即得到预设区域集合，每个格子为一个预设区域。如果某个待训练角色所对应的英雄在某个格子停留的时间超过时间阈值，则认为这个格子所在的位置是一个宏观意图，该格子即为目标预设区域。图12中的格子a、格子b、格子c以及格子d四个预设区域满足宏观意图的定义，因此，从预设区域a到预设区域b中间的操作意图信息为b(比如操作意图信息为“守塔”)，预设区域b为目标预设区域。从预设区域b到预设区域c中间的操作意图信息为c(比如操作意图信息为“蹲人”)，预设区域c为目标预设区域。依次类推。

需要说明的是，也可以用攻击时所在的位置作为大局观标签。

基于上述介绍，一种可行的操作流程为：

步骤一，从待训练图像数据集合中读取一局人类对战数据到计算机内存中，该数据包括了所有游戏信息，并且按帧存储。

步骤二，从游戏的最后一帧数据开始，从后往前依次读取每帧数据，如果某个待训练角色对应的英雄在某个预设区域停留的时间超过时间阈值，则认为该预设区域是一个操作意图信息。

步骤三，根据步骤二的操作意图信息输出第二操作标签，即得到大局观标签，并以hdf5的格式存储，由此，需要提取第一角色集合中每个待训练角色的大局观标签。

重复执行步骤一至步骤三，可以提取所有人类对战数据中的第二操作标签。

其次，本申请实施例中，提供了一种获取第二操作标签的方式，即根据待训练图像数据集合，获取每个待训练角色在预设区域集合内的停留时间，若待训练角色在目标预设区域内的停留时间大于时间阈值，则根据目标预设区域以及停留时间，确定待训练角色的操作意图信息，最后可以根据每个待训练角色的操作意图信息，生成待训练角色集合中每个待训练角色的第二操作标签。通过上述方式，能够对宏观意图设计标签，通常情况下，宏观意图是没有明确标签的，因此，本申请采用弱监督学习的方法来设计大局观标签。其中，弱监督的含义是，因为成本等原因无法以人工标注的方式给每个样本都确定标签，因此，只能通过程序自动去给样本确定标签，从而提升方案的可操作性。

可选地，在上述图5以及图5对应的第一个至第四个实施例中任一项的基础上，本申请实施例提供的模型训练的方法第五个可选实施例中，获取待训练图像数据集合中每个待训练角色所对应的待训练特征集合，可以包括：

根据待训练图像数据集合中的每个待训练图像，获取每个待训练角色所对应的公有向量特征、私有向量特征以及图像特征；

根据公有向量特征、私有向量特征以及图像特征，生成每个待训练角色所对应的待训练特征集合。

本实施例中，将介绍如何提取每个待训练角色所对应的待训练特征集合。每个玩家在操作时会以自己控制的英雄视角获得的信息进行决策，例如，每个英雄自己的技能状态。然而游戏中也存在对于每个玩家都一样的信息，例如比赛时间以及角色集合经济等。在训练模型时，需要以每个待训练角色的英雄视角来组织特征。

在模型训练前需要对每个待训练图像进行特征的提取，即提取每个待训练角色所对应的公有向量特征、私有向量特征以及图像特征，然后重新将这些特征拼接在一起，形成每个待训练角色所需的特征形式。为了便于介绍，请参阅图13，图13为本申请实施例中单个英雄的一个特征表达示意图，如图所示，假设待训练角色为英雄1，英雄1的待训练特征集合包括公有向量特征、私有向量特征以及图像特征，其中，公有向量特征包括第一角色集合中每个英雄的属性特征，第二角色集合中每个英雄的属性特征，兵线、野怪以及防御塔特征，全局特征。私有向量特征包括英雄1的操作特征，比如英雄1的技能冷却时间以及技能可用状态等。图像特征包括英雄1看到的局部视野特征。

基于每个待训练角色所对应的英雄，可以分别得到相应的待训练特征集合，由此得到整个角色集合的待训练特征集合，请参阅图14，图14为本申请实施例中全部英雄的一个特征表达示意图，如图所示，对于一个完整角色集合而言，假设一个角色集合共有5名待训练角色，每个待训练角色对应一个英雄，公有向量特征包括我方5名英雄的特征，例如血量、攻击力以及防御力等，5名敌方英雄的特征，兵线、野怪以及防御塔的特征，全局信息如时间以及比分等。私有向量特征包括我方5名英雄的特征，例如技能冷却时间以及技能是否可用等。私有图像特征是我方5名英雄的局部视野看到的图像信息。

基于上述介绍，一种可行的操作流程为：

步骤一，从待训练图像数据集合中读取一局人类对战数据到计算机内存中，该数据包括了所有游戏信息，并且按帧存储。

步骤二，从游戏的第一帧数据开始，从前往后依次读取第一操作标签以及第二操作标签所在帧的图像数据，根据特征设计方式，提取该帧图像数据的公有向量特征、私有向量特征以及图像特征，并以hdf5方式存储。

重复执行步骤一至步骤二，可以提取所有人类对战数据中已提取的标签的特征。

再次，本申请实施例中，提供了一种获取待训练特征集合的方法，即先获取每个待训练角色所对应的公有向量特征、私有向量特征以及图像特征，然后根据公有向量特征、私有向量特征以及图像特征，生成每个待训练角色所对应的待训练特征集合。通过上述方式，可以对任意一帧待训练图像数据提取特征，在模型训练前，特征会重新拼成每个待训练角色需要的特征形式，从而有效降低提取特征的耗时，节约存储空间。

可选地，在上述图5对应的实施例的基础上，本申请实施例提供的模型训练的方法第六个可选实施例中，根据每个待训练角色所对应的操作标签，以及每个待训练角色所对应的待训练特征集合，训练得到目标联合模型，可以包括：

通过卷积神经网络对每个待训练角色所对应的待训练特征集合中的图像特征进行编码，得到第一编码信息；

通过全连接神经网络对每个待训练角色所对应的待训练特征集合中的向量特征进行编码，得到第二编码信息，其中，向量特征包括公有向量特征以及私有向量特征；

根据每个待训练角色所对应的操作标签、第一编码信息以及第二编码信息，训练得到每个待训练角色所对应的联合模型；

根据每个待训练角色所对应的联合模型，生成目标联合模型。

本实施例中，介绍了一种生成目标联合模型的方法。模型训练装置将每个待训练角色所对应的待训练特征集合中的图像特征输入至卷积神经网络(convolutionalneuralnetworks,cnn)，通过卷积层对图像特征进行编码，得到第一编码信息。此外，还需要将每个待训练角色所对应的待训练特征集合中的向量特征输入至全连接(fullconnection，fc)神经网络，通过fc层对向量特征进行编码，得到第二编码信息。其中，卷积层可以模拟局部感知野，相当于能够提取特征，并且能够实现权值共享。fc层可以将抽象化的特征进行整合，然后进行归一化，对各种分类情况都输出一个概率。

模型训练装置采用损失函数对每个待训练角色所对应的操作标签、第一编码信息以及第二编码信息进行计算，从而训练得到每个待训练角色所对应的联合模型。最后将各个待训练角色所对应的联合模型进行整合，生成目标联合模型。

需要说明的是，损失函数是用来估量模型的预测值与真实值之间不一致的程度，它是一个非负实值函数。损失函数越小，标识模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。常用损失函数包含但不仅限于铰链损失(hingeloss)、互熵损失(crossentropyloss)、平方损失(squareloss)以及指数损失(exponentialloss)。

其次，本申请实施例中，提供了训练得到目标联合模型的具体过程，主要包括先通过卷积神经网络对每个待训练角色所对应的待训练特征集合中的图像特征进行编码，得到第一编码信息，然后通过全连接神经网络对每个待训练角色所对应的待训练特征集合中的向量特征进行编码，得到第二编码信息，接着根据每个待训练角色所对应的操作标签、第一编码信息以及第二编码信息，训练得到每个待训练角色所对应的联合模型，最后根据每个待训练角色所对应的联合模型，生成目标联合模型。通过上述方式，由于人类玩家在游戏中的决策包括大局观操作和微操作两个部分，因此，首先给出同时学习大局观任务和微操任务的单英雄联合模型，然后再给出基于该联合模型的目标合作模型，由此加强模型的预测能力，从而提升信息预测的合理性。

可选地，在上述图5对应的第六个实施例的基础上，本申请实施例提供的模型训练的方法第七个可选实施例中，根据每个待训练角色所对应的操作标签、第一编码信息以及第二编码信息，训练得到每个待训练角色所对应的联合模型，可以包括：

对每个待训练角色的第一编码信息和第二编码信息进行拼接，得到目标编码信息；

通过待训练联合模型获取目标编码信息所对应的第一预测标签，其中，第一预测标签表示预测得到的与操作意图相关的标签；

通过待训练联合模型获取第一预测标签与目标编码信息所对应的第二预测标签，其中，第二预测标签预测得到的与操作内容相关的标签；

采用损失函数对第一操作标签以及第二预测标签进行计算，得到联合模型参数，其中，第一操作标签属于真实值，第二预测标签属于预测值；

采用联合模型参数对待训练联合模型进行训练，得到每个待训练角色所对应的联合模型。

本实施例中，将介绍如何训练得到一个待训练角色所对应的联合模型。为了便于介绍，请参阅图15，图15为本申请实施例中基于单个角色的一个联合模型结构示意图，如图所示，将当前帧该待训练角色对应的英雄视角下的向量特征和图像特征输入至联合模型，图像特征经过cnn的卷积层编码后得到第一编码信息，向量特征经过fc神经网络的fc层编码后得到第二编码信息，然后将第一编码信息和第二编码信息拼接成公用的目标编码信息，经过拉平操作后将2维矩阵拉平成1维向量。联合模型包含一个预测大局观位置的任务，在模型训练的过程中，需要通过待训练联合模型获取目标编码信息所对应的第一预测标签，其中，第一预测标签表示预测得到的与操作意图相关的标签。将预测大局观位置任务的输出以级联的形式输入到微操的编码层中。也就是通过待训练联合模型获取第一预测标签与目标编码信息所对应的第二预测标签。第二预测标签表示最终输出的微操标签，包括按键、移动、普攻、方向型技能、位置型技能以及目标型技能的参数。基于微操标签的真实值、微操标签的预测值、大局观标签的真实值以及大局观标签的预测值，采用损失函数计算得到联合模型参数。

最后，采用联合模型参数对待训练联合模型进行训练，得到每个待训练角色所对应的联合模型。

再次，本申请实施例中，提供了一种训练得到联合模型的方法。即对每个待训练角色的第一编码信息和第二编码信息进行拼接，得到目标编码信息，然后通过待训练联合模型获取目标编码信息所对应的第一预测标签，通过待训练联合模型获取第一预测标签与目标编码信息所对应的第二预测标签，采用损失函数对第一操作标签以及第二预测标签进行计算，得到联合模型参数，最后采用联合模型参数对待训练联合模型进行训练，得到每个待训练角色所对应的联合模型。通过上述方式，为单个联合模型的训练提供了具体的依据，同时将大局观操作和微操作两个任务合并到一个联合模型中，从而提升模型预测的精度。

可选地，在上述图5对应的第七个实施例的基础上，本申请实施例提供的模型训练的方法第八个可选实施例中，根据每个待训练角色所对应的联合模型，生成目标联合模型，可以包括：

按照预设角色训练顺序，依次从待训练角色集合中确定每个待训练角色的训练顺序；

根据每个待训练角色的训练顺序，对每个待训练角色所对应的联合模型进行拼接，得到待训练目标联合模型；

采用损失函数对每个联合模型输出的第一操作标签以及第二预测标签，以及每个待训练对象的第一操作标签以及第二操作标签进行计算，得到目标联合模型参数；

采用目标联合模型参数对待训练目标联合模型进行训练，得到目标联合模型。

本实施例中，将介绍如何训练得到目标联合模型。为了便于介绍，请参阅图16，图16为本申请实施例中基于整队角色的一个目标联合模型结构示意图，如图所示，首先确定预设角色训练顺序，按照该预设角色训练顺序进行目标联合模型的训练。预设角色训练顺序可以是上单、中单、下路、打野以及辅助，根据每个待训练角色的训练顺序，对每个待训练角色所对应的联合模型进行拼接，得到待训练目标联合模型。其中，待训练目标联合模型的输入为每个待训练角色对应的英雄视角下的向量特征和图像特征，

编码层结构与单个英雄的联合模型相同，每个英雄均同时预测大局观任务和微操任务。合作的机制体现在3个拼接层，即多个英雄编码层的拼接，大局观任务预测结果的拼接，以及微操fc层输出结果的拼接。整个待训练目标联合模型采用基于监督学习的模仿学习算法进行训练，整个网络的损失结果为所有英雄的所有任务的损失结果之和。采用损失函数对每个联合模型输出的第一操作标签以及第二预测标签，以及每个待训练对象的第一操作标签以及第二操作标签进行计算，得到目标联合模型参数，最后采用目标联合模型参数对待训练目标联合模型进行训练，得到目标联合模型。

基于上述介绍，一种可行的操作流程为：

步骤一，将所有提取的图像特征、向量特征和标签存放在图形处理器(graphicsprocessingunit，gpu)服务器上，可以按10:1的比例拆分成互斥的训练集和测试集。

步骤二，从训练集中随机读取一小批数据(mini-batch)到内存中，并将特征组合成我方5个英雄的视角特征。

步骤三，根据监督学习训练模型，所用的误差函数为所有英雄的所有操作的损失之和，以一个角色集合包括5名玩家为例，即：

总体损失＝大局观损失1+微操损失1+大局观损失2+微操损失2+大局观损失3+微操损失3+大局观损失4+微操损失4+大局观损失5+微操损失5

步骤四：如果总体损失小于阈值，则输出模型参数和结果，停止训练，否则跳到步骤二，继续训练。

可以理解的是，目标联合模型还可以加入其它更复杂的网络设计，如残差网络或者长短期记忆网络(longshort-termmemory，lstm)等。

进一步地，本申请实施例中，提供了一种训练得到目标联合模型的方法。即按照预设角色训练顺序，依次从待训练角色集合中确定每个待训练角色的训练顺序，然后对每个待训练角色所对应的联合模型进行拼接，得到待训练目标联合模型，再采用损失函数得到目标联合模型参数，最后采用目标联合模型参数对待训练目标联合模型进行训练，得到目标联合模型。通过上述方式，为目标联合模型的训练提供了具体的依据，将每个角色对应的大局观操作和微操作两个任务合并到一个目标联合模型中，从而提升模型预测的精度。

下面对本申请中的操作信息预测装置进行详细描述，请参阅图17，图17为本申请实施例中操作信息预测装置一个实施例示意图，操作信息预测装置30包括：

获取模块301，用于获取待预测图像数据，其中，所述待预测图像数据包括第一角色集合的数据以及第二角色集合的数据，所述第一角色集合与所述第二角色集合为不同的两个角色集合；

确定模块302，用于根据所述获取模块301获取的所述待预测图像数据确定所述第一角色集合中的n个待预测角色；

所述获取模块301，还用于获取所述待预测图像数据中所述确定模块302确定的每个待预测角色的待预测特征集合，其中，所述待预测特征集合包括向量特征以及图像特征，所述向量特征包括公有向量特征以及私有向量特征，所述公有向量特征包括所述第一角色集合对应的属性特征、所述第二角色集合对应的属性特征、交互对象特征以及全局特征，所述私有向量特征包括待预测角色对应的操作特征，所述图像特征包括所述所述待预测角色对应的局部视野特征；

所述获取模块301，还用于通过目标联合模型获取所述确定模块302确定的所述每个待预测角色所对应的第一操作信息，其中，所述目标联合模型用于根据所述获取模块301获取的待预测特征集合生成第二操作信息，所述目标联合模型还用于根据所述第二操作信息生成所述第一操作信息，所述第一操作信息表示与操作内容相关的信息，所述第二操作信息表示与操作意图相关的信息。

本实施例中，获取模块301用于获取待预测图像数据，其中，所述待预测图像数据包括第一角色集合的数据以及第二角色集合的数据，所述第一角色集合与所述第二角色集合为不同的两个角色集合，确定模块302根据所述获取模块301获取的所述待预测图像数据确定所述第一角色集合中的n个待预测角色，所述获取模块301获取所述待预测图像数据中所述确定模块302确定的每个待预测角色的待预测特征集合，其中，所述待预测特征集合包括向量特征以及图像特征，所述向量特征包括公有向量特征以及私有向量特征，所述公有向量特征包括所述第一角色集合对应的属性特征、所述第二角色集合对应的属性特征、交互对象特征以及全局特征，所述私有向量特征包括待预测角色对应的操作特征，所述图像特征包括所述所述待预测角色对应的局部视野特征，所述获取模块301通过目标联合模型获取所述确定模块302确定的所述每个待预测角色所对应的第一操作信息，其中，所述目标联合模型用于根据所述获取模块301获取的待预测特征集合生成第二操作信息，所述目标联合模型还用于根据所述第二操作信息生成所述第一操作信息，所述第一操作信息表示与操作内容相关的信息，所述第二操作信息表示与操作意图相关的信息。

本申请实施例中，提供了一种操作信息预测装置，基于上述装置，对于moba游戏而言，利用目标联合模型先预测角色集合的大局观操作信息，再基于大局观操作信息预测得到该角色集合的微操作信息，即可同时获得微操作和大局观操作这两个层次的合作能力，由此加强模型的预测能力，从而提升信息预测的合理性。

下面对本申请中的模型训练装置进行详细描述，请参阅图18，图18为本申请实施例中模型训练装置一个实施例示意图，模型训练装置40包括：

获取模块401，用于获取待训练图像数据集合，其中，所述待训练图像数据集合包括至少一个待训练图像数据，所述待训练图像数据集合包括第一角色集合的数据以及第二角色集合的数据，所述第一角色集合与所述第二角色集合为不同的两个角色集合；

确定模块402，用于根据所述获取模块401获取的所述待训练图像数据集合确定所述第一角色集合所对应的待训练角色集合，其中，所述待训练角色集合中包括多个待训练角色，不同的待训练角色对应不同的角色类型；

所述获取模块401，还用于获取所述确定模块402确定的所述待训练角色集合中每个待训练角色所对应的操作标签，其中，所述操作标签包括第一操作标签以及第二操作标签，所述第一操作标签表示与操作内容相关的标签，所述第二操作标签表示与操作意图相关的标签；

所述获取模块401，还用于获取所述待训练图像数据集合中所述每个待训练角色所对应的待训练特征集合，其中，所述待训练特征集合包括公有向量特征、私有向量特征以及图像特征，所述公有向量特征包括所述第一角色集合对应的属性特征、所述第二角色集合对应的属性特征、交互对象特征以及全局特征，所述私有向量特征包括所述待训练角色的操作特征，所述图像特征包括所述待训练角色对应的局部视野特征；

训练模块403，用于根据所述获取模块401获取的所述每个待训练角色所对应的操作标签，以及所述每个待训练角色所对应的待训练特征集合，训练得到目标联合模型。

本实施例中，获取模块401于获取待训练图像数据集合，其中，所述待训练图像数据集合包括至少一个待训练图像数据，所述待训练图像数据集合包括第一角色集合的数据以及第二角色集合的数据，所述第一角色集合与所述第二角色集合为不同的两个角色集合，确定模块402根据所述获取模块401获取的所述待训练图像数据集合确定所述第一角色集合所对应的待训练角色集合，其中，所述待训练角色集合中包括多个待训练角色，不同的待训练角色对应不同的角色类型，所述获取模块401获取所述确定模块402确定的所述待训练角色集合中每个待训练角色所对应的操作标签，其中，所述操作标签包括第一操作标签以及第二操作标签，所述第一操作标签表示与操作内容相关的标签，所述第二操作标签表示与操作意图相关的标签，所述获取模块401获取所述待训练图像数据集合中所述每个待训练角色所对应的待训练特征集合，其中，所述待训练特征集合包括公有向量特征、私有向量特征以及图像特征，所述公有向量特征包括所述第一角色集合对应的属性特征、所述第二角色集合对应的属性特征、交互对象特征以及全局特征，所述私有向量特征包括所述待训练角色的操作特征，所述图像特征包括所述待训练角色对应的局部视野特征，训练模块403根据所述获取模块401获取的所述每个待训练角色所对应的操作标签，以及所述每个待训练角色所对应的待训练特征集合，训练得到目标联合模型。

本申请实施例中，提供了一种模型训练装置，基于上述装置，设计出一种适用于moba游戏中多人合作的目标联合模型，从人类玩家数据中通过监督学习同时训练大局观任务和微操任务，并且同时预测我方所有英雄的操作，通过建立多种通信连接同时获得微操和大局观两个层次的合作能力，经过监督学习后可以使得整个过程收敛更快。