一种基于自学习的智能体生成方法及系统与流程

[0001]
本发明涉及自学习技术领域，更具体的，涉及一种基于自学习的智能体生成方法及系统。


背景技术：

[0002]
近年来，在大数据、云计算、机器视觉等技术突飞猛进的基础上，人工智能的应用前景得到了空前的发展，这种数据驱动技术正逐渐展露其不可替代的巨大作用，gartner认为，到2020年，至少40％的新研发项目会在团队中配备人工智能专业人员和技术手段辅助开展工作。
[0003]
随着计算机性能的综合提升，数据驱动技术正快速迭代演化出自主学习的特性，在应对复杂产品/系统的设计效用迅速提升，进而逐渐在应对多维度的复杂设计问题上实现了颠覆性的突破，甚至在一些领域上超越了人类的顶级专家，如红领集团变批量/定制化的服装设计、围棋/中国象棋/国际象棋等对弈系统设计、dota2/星际争霸ii等即时策略游戏智能体的设计等已经能够完美战胜人类专家。
[0004]
然而，在自主学习技术不断扩展至各个领域的过程中，一些工程性质的实际问题正持续发酵。具体而言，由于人不擅长进行多维信息之间的精确量化分析，系统越复杂则人抽象和认知的速度越慢，通过自主学习的方法可以加速知识的产生和方案的生成，但由于数据驱动技术的成熟应用与否取决于数据资源的体量/可靠性、计算框架的时效、虚实映射的成熟度等因素，特别是在处理复杂设计任务时，面临数据获取难、机理建模复杂、模型迁移等具体问题，采用传统方法构建的设计模型将很难实现短时间收敛。


技术实现要素：

[0005]
为了解决上述问题中的至少一个，本发明第一方面提供一种基于自学习的智能体生成方法，包括：
[0006]
构建虚拟空间模型和智能算法模型；
[0007]
获取智能算法模型数据，构建虚拟空间中的智能算法模型；
[0008]
对智能算法模型进行训练，并构建智能算法模型演化库；
[0009]
基于构建智能算法模型演化库，对智能算法模型进行校验，得到智能体。
[0010]
在可选的实施方式中，所述构建虚拟空间模型和智能算法模型，包括：
[0011]
依据系统的设计指标、参数、约束以及系统需要完成的任务目标，构建虚拟空间模型；
[0012]
基于虚拟空间模型和智能方法，构建智能算法模型；
[0013]
在可选的实施方式中，获取智能算法模型数据，构建虚拟空间中的智能算法模型，包括：
[0014]
针对不同的设计目标、设计变量以及设计参数，构建训练场景；
[0015]
基于训练场景，形成统一的调用架构模型，将调用架构模型与智能算法模型进行
集成；
[0016]
将具体的智能算法模型与分布式计算方法相结合，使智能算法模型收敛。
[0017]
在可选的实施方式中，对智能算法模型进行训练，并构建智能算法模型演化库，包括：
[0018]
基于任务目标和设计指标，对智能算法模型的决策行为进行奖惩评判，进而调整智能算法模型的演进方向；
[0019]
基于构建虚拟空间模型和智能算法模型，构建智能算法模型演化库。
[0020]
在可选的实施方式中，基于构建智能算法模型演化库，对智能算法模型进行校验和调整，得到智能体，包括：
[0021]
根据智能算法模型演化库中的评价分数，选取智能算法模型进行物理校验；
[0022]
依据校验的结果对模型库的智能算法模型评价分数进行调整，直至智能算法模型演化库的评价分数保持不变，进而得到智能体。
[0023]
本发明第二方面提供一种基于自学习的智能体生成系统，包括：
[0024]
构建模块，构建虚拟空间模型和智能算法模型；
[0025]
获取模块，获取智能算法模型数据，构建虚拟空间中的智能算法模型；
[0026]
训练模块，对智能算法模型进行训练，并构建智能算法模型演化库；
[0027]
校验模块，基于构建智能算法模型演化库，对智能算法模型进行校验和调整，得到智能体。
[0028]
在可选的实施方式中，所述构建模块包括：
[0029]
虚拟空间模型，依据系统的设计指标、参数、约束以及系统需要完成的任务目标，构建虚拟空间模型；
[0030]
智能算法模型，基于虚拟空间模型和智能方法，构建智能算法模型；
[0031]
在可选的实施方式中，所述获取模块包括：
[0032]
训练场景单元，针对不同的设计目标、设计变量、设计参数，构建训练场景；
[0033]
模型集成单元，基于训练场景，形成统一的调用架构模型，将调用架构模型与智能算法模型进行集成；
[0034]
收敛单元，将具体的智能算法模型与分布式计算方法相结合，使智能算法模型收敛。
[0035]
在可选的实施方式中，所述训练模块包括：
[0036]
智能算法模型调整单元，基于任务目标和设计指标，对智能算法模型的决策行为进行奖惩评判，进而调整智能算法模型的演进方向；
[0037]
智能算法模型演化库单元，基于构建虚拟空间模型和智能算法模型，构建智能算法模型演化库。
[0038]
在可选的实施方式中，所述校验模块包括：
[0039]
校验单元，根据智能算法模型演化库中的评价分数，选取智能算法模型进行物理校验；
[0040]
调整单元，依据校验的结果对模型库的智能算法模型评价分数进行调整，直至智能算法模型演化库的评价分数保持不变，进而得到智能体。
[0041]
本发明的有益效果
[0042]
本发明提供一种基于自学习的智能体生成方法及系统，所述方法具体实施方式包括：构建虚拟空间模型和智能算法模型；获取智能算法模型数据，构建虚拟空间中的智能算法模型；对智能算法模型进行训练，并构建智能算法模型演化库；基于构建智能算法模型演化库，对智能算法模型进行校验，得到智能体；该方法简化数据驱动技术的使用过程，降低数据驱动技术的使用门槛，加速智能体的迭代与演化，实现智能设计的过程，使数据驱动技术的应用领域进一步扩展。
附图说明
[0043]
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]
图1为本发明实施方式中一种基于自学习的智能体生成方法示意图。
具体实施方式
[0045]
下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0046]
目前，自主学习技术不断扩展至各个领域的过程中，一些工程性质的实际问题正持续发酵。具体而言，由于人不擅长进行多维信息之间的精确量化分析，系统越复杂则人抽象和认知的速度越慢，通过自主学习的方法可以加速知识的产生和方案的生成，但由于自主学习技术的成熟应用与否取决于数据资源的体量/可靠性、计算框架的时效、虚实映射的成熟度等因素，特别是在处理复杂设计任务时，面临数据获取难、机理建模复杂、模型迁移等具体问题，因此，采用传统方法构建的设计模型将很难实现短时间收敛。
[0047]
基于此，本发明第一方面提供一种基于自学习的智能体生成方法，包括：
[0048]
构建虚拟空间模型和智能算法模型；
[0049]
获取智能算法模型数据，构建虚拟空间中的智能算法模型；
[0050]
对智能算法模型进行训练，并构建智能算法模型演化库；
[0051]
基于构建智能算法模型演化库，对智能算法模型进行校验，得到智能体。
[0052]
该方法简化数据驱动技术的使用过程，降低数据驱动技术的使用门槛，加速智能体的迭代与演化，实现智能设计的过程，使数据驱动技术的应用领域进一步扩展。
[0053]
在本发明的实施方式中，所述构建虚拟空间模型和智能算法模型，包括：
[0054]
依据系统的设计指标、参数、约束以及系统需要完成的任务目标，构建虚拟空间模型；
[0055]
基于虚拟空间模型和智能方法，构建智能算法模型；
[0056]
在本发明的实施方式中，获取智能算法模型数据，构建虚拟空间中的智能算法模型，包括：
[0057]
针对不同的设计目标、设计变量以及设计参数，构建训练场景；
[0058]
基于训练场景，形成统一的调用架构模型，将调用架构模型与智能算法模型进行集成；
[0059]
将具体的智能算法模型与分布式计算方法相结合，使智能算法模型收敛。
[0060]
在本发明的实施方式中，对智能算法模型进行训练，并构建智能算法模型演化库，包括：
[0061]
基于任务目标和设计指标，对智能算法模型的决策行为进行奖惩评判，进而调整智能算法模型的演进方向；
[0062]
基于构建虚拟空间模型和智能算法模型，构建智能算法模型演化库。
[0063]
在本发明的实施方式中，基于构建智能算法模型演化库，对智能算法模型进行校验和调整，得到智能体，包括：
[0064]
根据智能算法模型演化库中的评价分数，选取智能算法模型进行物理校验；
[0065]
依据校验的结果对模型库的智能算法模型评价分数进行调整，直至智能算法模型演化库的评价分数保持不变，进而得到智能体。
[0066]
请参阅图1，下面结合具体实施方式对本发明第一方面提供的智能体生成方法进行说明，
[0067]
第一步、问题定义及模型构建
[0068]
该步骤主要包括设计场景定义、智能技术定义等两个方面的框架统筹建设、集成构建的过程，在设计场景定义方面，依据系统的设计指标、参数、约束以及系统需要完成的任务目标，构建一个能将具体系统设计场景描述清楚的虚拟空间，需要使虚拟空间中各系统的机理模型之间的数据交互通畅，且有具备完善的保护机制，在数据传输遇阻时，确保虚拟空间中的各系统能够具备时间回滚的功能，从而实现各系统的正常运转，为智能算法的数据获取提供稳定、快速的框架基础；在智能技术定义方面，主要对监督/半监督学习、深度学习、深度强化学习等方法实现框架性集成，方便具体算法模块的快速、简单调用，加快对智能算法模型的搭建过程。
[0069]
第二步、数据准备
[0070]
该步骤主要包括为充分运用第一步提出的相应框架，为虚拟空间中的智能算法模型提供数据、算力、算法等基础支撑，分三个子步骤实现数据准备：(1)为确保单位时间内能够产生足够多的数据、能够应对更多的设计任务，那么针对不同的设计目标、设计变量、设计参数，快速构建平行训练场景，实现数据快速、大量获取的目的；(2)针对平行训练场景，形成统一的调用架构，与智能算法开展并行集成的工作，使得同一个智能算法能够使用多种设计场景，强化智能算法模型的适应能力，同时结合智能算法的使用架构，快速定义智能算法模型的数据流向，加速智能算法模型的构建过程；(3)对具体的智能技术构建的算法模型，形成一套规范化的计算能力支撑框架，结合分布式计算的优势，促进智能算法模型的快速收敛，实现对物理系统的快速智能设计。
[0071]
第三步、计算调度与模型训练
[0072]
该步骤主要包括构建面向奖惩机制的智能体训练评估方法。在第二个步骤的支撑下，分两个子步骤实现面向奖惩机制的智能体训练评估方法：(1)依据任务目标的可达性、设计指标的成熟度等，对智能算法模型的决策行为实现奖惩评判，若智能算法模型的行为越过了给定的设计约束，或偏离任务目标的约束，则认为智能体的行为较差，给一些惩罚。
若智能算法模型的行为在给定的约束之下，或向着任务目标、设计最优的方向前行，则认为智能算法模型的行为较好，给一些奖励值。通过这样的方式调整智能算法模型的演进方向；(2)根据子步骤一的支撑，依据评估系统的评价机制，针对智能算法模型训练并收敛得到的具体模型，就可以构建一个具备唯一标示的智能算法模型演化库。进而辅助物理系统在应对不同任务目标时都能快速响应、快速适应，并能快速形成最优的决策集
[0073]
第四步、模型验证
[0074]
该步骤主要包括智能算法模型校验，为智能算法模型的可用性提供支撑，分两个步骤实现智能算法模型“虚”结合“实”的演进：(1)根据具备唯一标识的模型演化库开展模型校验的工作，既根据模型库里的标识及评价分数，选取最优的智能算法模型开展物理校验，(2)依据校验的结果对模型库的智能算法模型评分做作进一步的更迭，优化评分层级，实现对智能算法模型的微调整，再重复(1)的校验过程，直至模型演化库的最优智能体的评分不在变动，最终形成适应性强、高可用的智能体。
[0075]
本发明第二方面提供一种基于自学习的智能体生成系统，包括：
[0076]
构建模块，构建虚拟空间模型和智能算法模型；
[0077]
获取模块，获取智能算法模型数据，构建虚拟空间中的智能算法模型；
[0078]
训练模块，对智能算法模型进行训练，并构建智能算法模型演化库；
[0079]
校验模块，基于构建智能算法模型演化库，对智能算法模型进行校验和调整，得到智能体。
[0080]
在本发明的实施方式中，所述构建模块包括：
[0081]
虚拟空间模型，依据系统的设计指标、参数、约束以及系统需要完成的任务目标，构建虚拟空间模型；
[0082]
智能算法模型，基于虚拟空间模型和智能方法，构建智能算法模型；
[0083]
在本发明的实施方式中，所述获取模块包括：
[0084]
训练场景单元，针对不同的设计目标、设计变量、设计参数，构建训练场景；
[0085]
模型集成单元，基于训练场景，形成统一的调用架构模型，将调用架构模型与智能算法模型进行集成；
[0086]
收敛单元，将具体的智能算法模型与分布式计算方法相结合，使智能算法模型收敛。
[0087]
在本发明的实施方式中，所述训练模块包括：
[0088]
智能算法模型调整单元，基于任务目标和设计指标，对智能算法模型的决策行为进行奖惩评判，进而调整智能算法模型的演进方向；
[0089]
智能算法模型演化库单元，基于构建虚拟空间模型和智能算法模型，构建智能算法模型演化库。
[0090]
在本发明的实施方式中，所述校验模块包括：
[0091]
校验单元，根据智能算法模型演化库中的评价分数，选取智能算法模型进行物理校验；
[0092]
调整单元，依据校验的结果对模型库的智能算法模型评价分数进行调整，直至智能算法模型演化库的评价分数保持不变，进而得到智能体。
[0093]
本发明第二方面是基于第一方面进行的，效果与本发明第一方面相同，在此不再
赘述。
[0094]
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本说明书实施方式的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施方式或示例。
[0095]
此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。以上所述仅为本说明书实施方式的实施方式而已，并不用于限制本说明书实施方式。对于本领域技术人员来说，本说明书实施方式可以有各种更改和变化。凡在本说明书实施方式的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书实施方式的权利要求范围之内。