基于成长模型的宠物医疗数据库构建方法及相关产品与流程

1.本技术涉及人工智能技术领域，具体涉及一种基于成长模型的宠物医疗数据库构建方法及相关产品。


背景技术：

2.目前，随着宠物市场的火爆，很多人都想去饲养宠物，但是宠物饲养又会存在一些其他问题，比如，对宠物的照顾不够仔细认真，宠物会患有疾病。而且，有些宠物的疾病还会传染给人类，给人类带来疾病危险。故对宠物疾病的预防和宣传日益重要。为了更好的宣传和防治宠物疾病，目前会基于宠物医疗数据对不同的地区进行宠物疾病的预测，从而提前部署相应的防疫措施。
3.但是，由于目前宠物医疗系统发展比较缓慢，导致现实环境获取到的宠物医疗数据相对来说比较稀缺，且带有很多噪声，使用这样的宠物医疗数据进行宠物疾病的预测，导致宠物疾病的预测精度也相对比较低。因此，如何获取到高质量的宠物医疗数据是目前亟待解决的问题。


技术实现要素：

4.本技术实施例提供了一种基于成长模型的宠物医疗数据库构建方法及相关产品，通过虚拟宠物在虚拟生活环境中的成长构建宠物医疗数据库，使构造出的宠物医疗数据比较干净，且丰富，使用这样的医疗数据进行宠物疾病的防治精度比较高。
5.第一方面，本技术实施例提供一种基于成长模型的宠物医疗数据库构建方法，包括：
6.获取待构建宠物医疗数据库的目标种类；
7.根据所述目标种类，生成预设初始状态下的初始虚拟宠物，其中，所述虚拟宠物的种类为所述目标种类；
8.获取所述初始虚拟宠物的成长任务以及初始成长资源；
9.根据所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物，其中，所述成长模型是基于多个实体宠物在现实生活环境中的多个成长数据进行强化学习得到的，所述多个实体宠物的种类均为所述目标种类；
10.根据所述多个成长状态下的目标虚拟宠物的属性数据，构建与所述目标种类对应的实体宠物的宠物医疗数据库。
11.第二方面，本技术实施例提供一种宠物医疗数据库构建装置，包括：获取单元和处理单元；
12.所述获取单元，用于获取待构建宠物医疗数据库的目标种类；
13.所述处理单元，用于根据所述目标种类，生成预设初始状态下的初始虚拟宠物，其中，所述虚拟宠物的种类为所述目标种类；
14.获取所述初始虚拟宠物的成长任务以及初始成长资源；
15.根据所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物，其中，所述成长模型是基于多个实体宠物在现实生活环境中的多个成长数据进行强化学习得到的，所述多个实体宠物的种类均为所述目标种类；
16.根据所述多个成长状态下的目标虚拟宠物的属性数据，构建与所述目标种类对应的实体宠物的宠物医疗数据库。
17.第三方面，本技术实施例提供一种电子设备，包括：处理器，所述处理器与存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述电子设备执行如第一方面所述的方法。
18.第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
19.第五方面，本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。
20.实施本技术实施例，具有如下有益效果：
21.可以看出，在本技术实施例中，在需要构建宠物医疗数据库时，首先构造出预设状态下的基础虚拟宠物，然后基于预先训练好的成长模型以及成长任务，控制基础虚拟宠物在虚拟生活环境中进行成长，从而成长出各个成长状态的目标虚拟宠物，最后可以基于各个成长状态下的目标虚拟宠物的属性数据(即生理参数)构建出宠物医疗数据库。可以看出，本技术是控制虚拟宠物在虚拟生活环境中进行生长，不容易受外界环境的干扰，使获得的宠物医疗数据比较干净，不包含噪声；另外，可以获取虚拟宠物在各个时刻下的医疗数据，从而使获得的宠物医疗数据比较丰富。这样使用干净和丰富的医疗数据进行宠物疾病的防治，可提高宠物疾病的防治精度。
附图说明
22.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1为本技术实施例提供的一种宠物医疗数据库构建系统的示意图；
24.图2为本技术实施例提供的一种基于成长模型的宠物医疗数据库构建方法的流程示意图；
25.图3为本技术实施例提供一种通过基础贴图生成基础虚拟宠物的示意图；
26.图4为本技术实施例提供一种通过基础矩阵生成基础虚拟宠物的示意图；
27.图5为本技术实施例提供的一种调整基础矩阵的示意图；
28.图6为本技术实施例提供的一种成长模型训练方法的流程示意图；
29.图7为本技术实施例提供的一种状态转移的示意图；
30.图8为本技术实施例提供的一种宠物医疗数据库构建装置的功能单元组成框图；
31.图9为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
33.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
35.为了便于理解本技术，首先对本技术涉及到的相关技术进行解释和说明。
36.机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
37.强化学习是机器学习的分支，属于人工智能的范畴。其核心为智能体依据一定的控制策略采取行动与环境交互以获取最大的期望回报。强化学习可以建模为马尔可夫决策过程(markov decision process，mdp)。mdp是一个通过调用模型，即智能体(agent)采取行动(action)与环境(environment)发生交互从而改变自己的状态(state)获得奖励(reward)的过程。mdp的基本假设是当给予现在状态时，未来状态与历史状态条件独立。mdp可以表示为m＝{s,a,p,r,γ}，其中s为状态空间，a为动作空间，p表述状态转移方程，其表示在当前状态s
t
下采取动作a
t
之后下一时刻状态转移为s
t+1
的概率。r表示奖励，表示在当前状态下采取动作a之后获取的即时奖励。γ表述折扣率，折扣率越小表示当前反馈比历史反馈重要性越高。其中，智能体在每个采样时刻观测到状态s
t
，根据状态执行动作a
t
，环境接收到动作后转移到下一个状态s
t+1
并反馈奖励r
t
。强化学习的目的是训练模型使得其在一定的策略π(a
t
|s
t
)下获取最大的期望累积奖励。
38.参阅图1，图1为本技术实施例提供的一种宠物医疗数据库构建系统的示意图。宠物医疗数据库构建系统包括宠物医疗数据库构建装置10和网络设备20。其中，宠物医疗数据库构建装置10包括输入-输出设备，且维护有宠物医疗数据库30和宠物贴图库40，宠物贴图库40中存储有与各个种类的宠物对应的基础贴图。网络设备20可以为疾控中心的设备。
39.示例性的，宠物医疗数据库构建装置10获取待构建宠物医疗数据库的目标种类，
例如，用户可以通过宠物医疗数据库构建装置10的输入-输出设备输入该目标种类；根据目标种类，生成预设初始状态下的初始虚拟宠物，其中，该虚拟宠物的种类为所述目标种类，即宠物医疗数据库构建装置10基于宠物贴图库40中存储的与目标种类对应的基础贴图，生成上述初始虚拟宠物。宠物医疗数据库构建装置10获取初始虚拟宠物的成长任务以及初始成长资源，同样的，用户可以通过上述的输入-输出设备输入成长任务以及初始成长资源；然后根据该所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物，其中，所述成长模型是基于多个实体宠物在现实生活环境中的多个成长数据进行强化学习得到的，所述多个实体宠物的种类均为所述目标种类；根据所述多个成长状态下的目标虚拟宠物的属性数据，构建与所述目标种类对应的实体宠物的宠物医疗数据库，即将多个成长状态下的目标虚拟宠物的属性数据存储到宠物医疗数据库30中，从而构建出与目标种类对应的宠物医疗数据库。
40.可选地，宠物医疗数据库构建装置10可以将目标种类对应的宠物医疗数据库中的宠物医疗数据发送给网络设备20，以便疾控中心基于该宠物医疗数据进行宠物疾病的预测、宣传和治疗，等等。
41.在本技术实施例中，在需要构建宠物医疗数据库时，首先构造出预设状态下的基础虚拟宠物，然后基于预先训练好的成长模型以及成长任务，控制基础虚拟宠物在虚拟生活环境中进行成长，从而成长出各个成长状态的目标虚拟宠物，最后可以基于各个成长状态下的目标虚拟宠物的属性数据(即生理参数)构建出宠物医疗数据库。可以看出，本技术是控制虚拟宠物在虚拟生活环境中进行生长，不容易受外界环境的干扰，使获得的宠物医疗数据比较干净，不包含噪声；另外，可以获取虚拟宠物在各个时刻下的医疗数据，从而使获得的宠物医疗数据比较丰富。这样使用干净和丰富的医疗数据进行宠物疾病的防治，可提高宠物疾病的防治精度。
42.参阅图2，图2为本技术实施例提供的一种基于成长模型的宠物医疗数据库构建方法的流程示意图。该方法应用于上述宠物医疗数据库构建装置10。该方法包括但不限于以下步骤内容：
43.201：获取待构建宠物医疗数据库的目标种类。
44.示例性的，用户可以通过宠物医疗数据库构建装置10的输入-输出设备(比如，键盘、显示屏，等等)。
45.其中，本技术的目标种类可以为现实世界中的任意一种宠物，比如，猫、狗、猪。更具体的，目标种类可以为加菲猫、英短、美短，等等。因此，本技术不对目标种类的类型进行限定，仅以目标种类为猫进行举例说明。
46.202：根据所述目标种类，生成预设初始状态下的初始虚拟宠物，其中，所述虚拟宠物的种类为所述目标种类。
47.示例性的，宠物医疗数据库构建装置10维护有宠物贴图库，该宠物贴图库中预先存储有各种宠物对应的基础贴图，其中，每种宠物对应的基础贴图用于生成每种宠物的基础虚拟宠物。应说明，本技术的基础虚拟宠物均为幼年时期的宠物。如图3所示，猫的基础贴图可以生成一个头部为灰色的基础宠物猫。因此，可以从该贴图库中获取与该目标种类对应的基础贴图。然后，根据预设初始状态和基础虚拟宠物，确定基础虚拟宠物的各个身体部位对应的调整参数；根据各个身体部位对应的调整参数，对基础贴图进行调整，得到目标贴
图；最后，根据目标贴图，得预设初始状态下的初始虚拟宠物，比如，对目标贴图进行渲染，得到该初始虚拟宠物。
48.具体地，上述预设初始状态可以为宠物的成长时长，该成长时长可以为一个具体的时长，比如，六个月，一年，两年，等等，也可以为泛指的时长，比如，幼年期、中年期、老年期，等等。本技术主要以具体的成长时长为例进行举例说明。应说明，针对每种具体的宠物来说，在具体的成长时刻，其各个身体部位的尺寸一般来说是固定的，即使各个身体部位的尺寸不固定，其相对于整个身体的占比也是固定的。因此，可预先设定好每种宠物的各个身体部位相对于整个身体的占比，与成长时刻之间的对应关。因此，基于该对应关系，以及预设初始状态，确定出各个身体部位的目标占比；然后，获取各个身体部位在基础虚拟宠物中的初始占比；根据各个身体部位的初始占比和目标占比，确定各个身体部位的调整参数。
49.更具体地，每种宠物的基础贴图通过一个基础矩阵表征。示例性的，如图4所示，构造一个与每种虚拟宠物对应的基础矩阵，该基础矩阵中的部分元素用于生成虚拟宠物的一个身体部位。如图4所示，左上角的区域用于生成虚拟宠物的一个耳朵。故对每种宠物的基础矩阵进行渲染，可得到与每种宠物对应的基础虚拟宠物。因此，针对每个身体部位，根据每个身体部位的初始占比和目标占比，确定每个身体部位对应的调整参数，就是确定出基础矩阵中属于每个身体部位的目标元素，并将该目标元素设置为与该身体部位对应的取值，得到与该身体部位对应的特征矩阵。如图5所示，当身体部位为头部，且目标比例小于初始比例时，则可以基于该目标比例和初始比例，确定出基础矩阵中属于头部的目标元素从中心区域进行缩小，并确定出如图5的右图中所示出的灰色区域，并将区域的目标元素的取值设置为头部对应的取值，得到与头部对应的特征矩阵。针对每个身体部位，均可按照上述的方式进行调整，得到与每个身体部位对应的特征矩阵。进一步地，将每个身体部位对应的特征矩阵进行合并，得到目标特征矩阵。最后，对目标特征矩阵进行渲染，生成该目标贴图。
50.在本技术的一个实施方式中，上述每种宠物的基础虚拟宠物的外观形象是预先确定的。示例性的，获取针对每种宠物，获取每种宠物下各个形象的宠物在预设时间段内的销量，将销量最高的外观形象作为该种宠物的基础虚拟宠物。
51.203：获取所述初始虚拟宠物的成长任务以及初始成长资源。
52.示例性的，成长任务和初始成长资源是用户预先输入的。
53.例如，用户可以通过宠物医疗数据库构建装置10的输入-输出设备输入该成长任务和初始成长资源。
54.示例性的，本技术的成长任务可以为宠物的成长条件，比如，成长条件为患疾病成长、正常成长、亚健康成长、在食物短缺情况下成长，等等。因此后续提到的各个成长方向，本质上就是此处的多个成长方向，后续不再重复描述。本技术不对成长任务进行限定，但是本技术主要目的是获取宠物的医疗数据，因此本技术的成长任务为患有第一宠物疾病进行成长，该第一宠物疾病可以为目标种类的宠物所患有的任意一种疾病。应说明，本技术主要获取宠物正常生活下的医疗数据，因此本技术的初始成长资源可以为目标种类的宠物在整个成长过程所需的资源，比如，食物、饮用水、疫苗、护具、服装、玩具，等等，且设定每种资源在宠物整个成长过程中是充足的，不会存在短缺的情况，以避免因为资源短缺带来的成长不良的问题。
55.204：根据所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟
宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物，其中，所述成长模型是基于多个实体宠物在现实生活环境中的多个成长数据进行强化学习得到的，所述多个实体宠物的种类均为所述目标种类。
56.首先说明，该成长模型为基于多个实体宠物在现实生活环境中的多个成长数据进行强化学习得到的，即对基础模型进行预先训练得到。后面叙述对基础模型进行训练的过程，在此不做过多的描述。
57.示例性的，在对基础虚拟宠物进行成长之前，先对目标种类的实体宠物所居住的现实生活环境进行仿真，得到基础虚拟宠物的虚拟生活环境。示例性的，可以通过3d仿真器对目标种类下的实体宠物的现实生活环境进行仿真，得到虚拟生活环境，其中，该现实生活环境为实体宠物的理想生活环境，即实体宠物的成长只会受到第一宠物疾病的负面影响，不会受其他环境因素的影响。
58.应说明，本技术的多个成长状态可以为多个成长时刻，即从预设状态依次成长到多个时长之后所达到的状态，称为多个成长状态。
59.示例性的，根据第i个成长状态对应的成长资源i和所述成长任务输入到所述成长模型，控制所述第i个成长状态的初始虚拟宠物在所述虚拟生活环境中进行成长，得到各个成长方向上的奖励值，其中，所述第i个成长状态的目标虚拟宠物为第i-1个成长状态下的目标虚拟宠物i-1，所述成长资源i为所述初始成长资源中用来成长前i-1成长状态下的目标虚拟宠物资源之后剩余的成长资源，i为大于或者等于n的整数，且当i＝1时，所述目标虚拟宠物i-1为所述初始虚拟宠物，n为所述多个成长状态的数量；根据各个成长方向上的奖励值，控制所述第i-1个成长状态下的目标虚拟宠物向着目标成长方向进行成长，得到所述i个成长状态下的目标虚拟宠物，其中，所述目标成长方向为各个成长方向中奖励值最大的成长方向；将所述第i个成长状态下的目标虚拟宠物作为第i+1个成长状态的初始虚拟宠物，进行宠物成长，即将第i个成长状态下的成长结果作为第i+1个成长状态下的输入数据，循环往下继续进行基础宠物的成长，直至得到所述多个成长状态下的目标虚拟宠物。
60.具体地，获取与所述成长任务对应的奖励参数。应说明，针对不同的成长任务，可预先设置不同的奖励参数。例如，针对成长任务为携带疾病成长时，其对应的奖励参数包括但不限于：患有疾病的程度的增加量、健康程度的增加量以及资源的消耗情况；又如，针对成长任务为健康成长时，其对应的奖励参数包括但不限于：健康程度的增加量、体重增加量以及资源的消耗情况。然后，获取各个成长方向在所述第i个成长状态下的执行动作。示例性的，首先设置动作空间，动作空间中的执行动作包括但不限于：成长体重、成长心跳数、成长身高，等等。并且为动作空间中的每个执行动作配置相应的成长状态(即成长时长)，因此可以根据第i个成长状态，获取与第i个成长状态对应的执行动作。执行动作，控制所述第i个成长状态的初始虚拟宠物在所述虚拟生活环境中，以及在各个成长方向上进行下一个状态的转移，得到各个成长方向在第i+1个成长状态下对应的状态转移结果，即基于强化学习，将第i个成长状态下的状态s
t
成长为第i+1个成长状态下的状态s
t+1
。最后，根据各个成长方向在第i+1个成长状态对应的状态转移结果，以及与上述成长任务对应的奖励参数，以及所述第i个成长状态的初始虚拟宠物，确定各个成长方向上的奖励值。
61.更具体地，所述成长任务为基础虚拟宠物携带第一宠物疾病进行成长；所述激励参数包括：健康程度的增加量、资源消耗情况以及患有所述第一宠物疾病的程度的增加量。
62.应说明，本技术的健康程度可以通过健康指数进行表征，其计算方式与人体的健康指数bmi类似，不再叙述。患有第一宠物疾病的程度可以通过患有第一宠物疾病的严重等级进行表征，同样第一宠物疾病的严重等级，也可以通过指数进行保证，不再叙述。因此，可根据各个成长方向在第i+1个成长状态对应的状态转移结果和所述第i个成长状态的初始虚拟宠物，确定所述虚拟宠物从所述第i个成长状态转移到第i+1个成长状态时的健康程度的增加量i以及患有所述第一宠物疾病的程度的增加量i。
63.具体地，可以基于第i个成长状态的初始虚拟宠物的生理参数，确定第i个成长状态对应的第一健康指数，根据第i+1个成长状态对应的状态转移结果，确定第i+1个成长状态对应的第二健康指数，则将第二健康指数与第一健康指数之间的差值作为健康程度的增加量i。同样的可以基于第i个成长状态的初始虚拟宠物的生理参数，确定第i个成长状态对应的虚拟宠物患有第一宠物疾病的第一严重登记，以及根据第i+1个成长状态对应的状态转移结果，确定第i+1个成长状态对应的虚拟宠物患有第一宠物疾病的第二严重等级，将第二严重等级与第一严重等级之间的差值作为第一宠物疾病的程度的增加量i。进一步地，将第i+1个成长状态对应的成长资源i+1与第i个成长状态对应的成长资源i之间的差值，作为第i个成长状态对应的资源消耗情况。其中，将第i+1个成长状态对应的成长资源i+1为成长了第i个成长状态之后的剩余资源。
64.进一步地，根据各个成长方向的健康程度的增加量i、患有所述第一宠物疾病的程度的增加量i，以及从所述第i个成长状态转移到第i+1个成长状态的资源消耗量，确定各个成长方向上的奖励值。
65.示例性的，可设置激励函数，基于激励函数，确定各个成长方向上的奖励值。示例性的，各个成长方向上的奖励值可以通过公式(1)表示：
[0066][0067]
其中，rj为第j个成长方向上的奖励值，δt
→
t+1为从第i个成长状态到到第i+1个成长状态的成长时长，δx
j，h
为增加量i，δx
j，d
为患有所述第一宠物疾病的程度的增加量i，δx
j，r
为资源消耗情况，ch、cd以及cr均为超参数。
[0068]
205：根据所述多个成长状态下的目标虚拟宠物的属性数据，构建与所述目标种类对应的实体宠物的宠物医疗数据库。
[0069]
示例性的，获取上述多个成长状态中各个成长状态下的目标虚拟宠物的属性数据，即各个成长状态下的虚拟宠物的生理参数，例如，虚拟宠物的身高、体重、血压、进食情况，等等。然后，将多个成长状态下的目标虚拟宠物的属性数据，作为目标种类的实体宠物在相应的成长时长下的医疗数据，从而构建出与目标种类对应的实体宠物的宠物医疗数据库。
[0070]
可以看出，在本技术实施例中，在需要构建宠物医疗数据库时，首先构造出预设状态下的基础虚拟宠物，然后基于预先训练好的成长模型以及成长任务，控制基础虚拟宠物在虚拟生活环境中进行成长，从而成长出各个成长状态的目标虚拟宠物，最后可以基于各个成长状态下的目标虚拟宠物的属性数据(即生理参数)构建出宠物医疗数据库。可以看出，本技术是控制虚拟宠物在虚拟生活环境中进行生长，不容易受外界环境的干扰，使获得的宠物医疗数据比较干净，不包含噪声；另外，可以获取虚拟宠物在各个时刻下的医疗数
据，从而使获得的宠物医疗数据比较丰富。这样使用干净和丰富的医疗数据进行宠物疾病的防治，可提高宠物疾病的防治精度。
[0071]
参阅图6，图6为本技术的一种成长模型训练方法的流程示意图。该方法包括但不限于以下步骤内容：
[0072]
601：从基础数据库中多个实体宠物的成长轨迹数据。
[0073]
应说明，上述每个实体宠物为患有上述第一宠物疾病的实体宠物，且每个实体宠物的成长轨迹数据为每个实体宠物从出生到死亡的整个成长轨迹数据，即连续的数据。
[0074]
602：对每个实体宠物的成长轨迹数据进行采样，得到至少一个训练数据。
[0075]
示例性的，可以通过随机采样的方式对每个实体宠物的成长轨迹数据进行采样，得到至少一个训练数据。
[0076]
603：根据至少一个训练数据，采用强化学习算法对基础模型进行训练，得到成长模型。
[0077]
应理解的是，任意一个训练数据都是成长转变数据，因此，训练数据包括三个变量，如图7所示，训练数据的三个变量分别为(s,a,s’)，s与s’分别表示前后两次不同时间下的成长状态，即s表示该第一训练数据对应的当前状态，s’表示该训练数据对应的当前状态的下一状态，即下一时刻状态，a表示在s的状态下采取的动作。
[0078]
示例性的，将每个训练数据对应的当前状态和在训练数据对应的当前状态下对实体宠物采取的动作输入至基础模型，以得到目标函数，目标函数是根据价值函数和动作分布的熵确定的，价值函数是在每个训练数据对应的当前状态下对植物采取的动作之后获取的奖励之和，动作分布的熵是在每个训练数据对应的当前状态下的动作分布的熵。
[0079]
示例性的，将每个训练数据对应的当前状态和在第一训练数据对应的当前状态下对植物采取的动作输入至控制器，以得到目标函数，目标函数是根据价值函数和动作分布的熵确定的，价值函数是在每个第一训练数据对应的当前状态下对植物采取的动作之后获取的奖励之和，动作分布的熵是在每个第一训练数据对应的当前状态下的动作分布的熵。
[0080]
最后，根据目标函数对基础模型进行训练，得到目标模型，即基于该目标函数进行梯度下降，从而使该基础模型收敛，得到目标模型。
[0081]
参阅图8，图8本技术实施例提供的一种宠物医疗数据库构建装置的功能单元组成框图。宠物医疗数据库构建装置800包括：获取单元801和处理单元802。
[0082]
其中：
[0083]
获取单元801，用于获取待构建宠物医疗数据库的目标种类；
[0084]
处理单元802，用于根据所述目标种类，生成预设初始状态下的初始虚拟宠物，其中，所述虚拟宠物的种类为所述目标种类；
[0085]
获取所述初始虚拟宠物的成长任务以及初始成长资源；
[0086]
根据所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物，其中，所述成长模型是基于多个实体宠物在现实生活环境中的多个成长数据进行强化学习得到的，所述多个实体宠物的种类均为所述目标种类；
[0087]
根据所述多个成长状态下的目标虚拟宠物的属性数据，构建与所述目标种类对应的实体宠物的宠物医疗数据库。
[0088]
在一些可能的实施方式中，在根据所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物方面，处理单元802，具体用于：
[0089]
根据第i个成长状态对应的成长资源i和所述成长任务输入到所述成长模型，控制所述第i个成长状态的初始虚拟宠物在所述虚拟生活环境中进行成长，得到各个成长方向上的奖励值，其中，所述第i个成长状态的目标虚拟宠物为第i-1个成长状态下的目标虚拟宠物i-1，所述成长资源i为所述初始成长资源中用来成长前i-1成长状态下的目标虚拟宠物资源之后剩余的成长资源，i为大于或者等于n的整数，且当i＝1时，所述目标虚拟宠物i-1为所述初始虚拟宠物，n为所述多个成长状态的数量；
[0090]
根据各个成长方向上的奖励值，控制所述第i-1个成长状态下的目标虚拟宠物向着目标成长方向进行成长，得到所述i个成长状态下的目标虚拟宠物，其中，所述目标成长方向为各个成长方向中奖励值最大的成长方向；
[0091]
将所述第i个成长状态下的目标虚拟宠物作为第i+1个成长状态的初始虚拟宠物，进行宠物成长，直至得到所述多个成长状态下的目标虚拟宠物。
[0092]
在一些可能的实施方式中，在根据第i个成长状态对应的成长资源i和所述成长任务输入到所述成长模型，控制所述第i个成长状态的初始虚拟宠物在所述虚拟生活环境中进行成长，得到各个成长方向上的奖励值方面，处理单元802，具体用于：
[0093]
获取所述第i个成长状态下的执行动作；
[0094]
根据所述执行动作，控制所述第i个成长状态的初始虚拟宠物在所述虚拟生活环境中，以及在各个成长方向上进行下一个状态的转移，得到各个成长方向在第i+1个成长状态下对应的状态转移结果；
[0095]
根据各个成长方向在第i+1个成长状态对应的状态转移结果，以及所述奖励参数，以及所述第i个成长状态的初始虚拟宠物，确定各个成长方向上的奖励值。
[0096]
在一些可能的实施方式中，所述成长任务为携带第一宠物疾病进行成长；所述激励参数包括：健康程度的增加量、资源消耗情况以及患有所述第一宠物疾病的程度的增加量；在根据各个成长方向在第i+1个成长状态对应的状态转移结果，以及所述奖励参数，以及所述第i个成长状态的初始虚拟宠物，确定各个成长方向上的奖励值方面，处理单元802，具体用于：
[0097]
根据各个成长方向在第i+1个成长状态对应的状态转移结果和所述第i个成长状态的初始虚拟宠物，确定所述虚拟宠物从所述第i个成长状态转移到第i+1个成长状态时的健康程度的增加量i以及患有所述第一宠物疾病的程度的增加量i；
[0098]
根据各个成长方向的健康程度的增加量i、患有所述第一宠物疾病的程度的增加量i，以及从所述第i个成长状态转移到第i+1个成长状态的资源消耗量，确定各个成长方向上的奖励值；
[0099]
其中，各个成长方向上的奖励值满足以下公式：
[0100][0101]
其中，rj为第j个成长方向上的奖励值，δt
→
t+1为从第i个成长状态到到第i+1个成长状态的成长时长，δx
j，h
为所述增加量i，δx
j，d
为患有所述第一宠物疾病的程度的增加
量i，δx
j，r
为资源消耗情况，ch、cd以及cr均为超参数。
[0102]
在一些可能的实施方式中，在根据所述目标种类，生成预设初始状态下的初始虚拟宠物方面，处理单元802，具体用于：
[0103]
从宠物贴图库中获取与所述目标种类对应的基础贴图，其中，所述基础贴图用于生成种类为所述目标种类的基础虚拟宠物；
[0104]
根据所述预设初始状态和所述基础虚拟宠物，确定所述基础虚拟宠物的各个身体部位对应的调整参数；
[0105]
根据各个身体部位对应的调整参数，对所述基础贴图进行调整，得到目标贴图；
[0106]
将所述目标贴图进行叠加，得到所述预设初始状态下的初始虚拟宠物。
[0107]
在一些可能的实施方式中，在根据所述预设初始状态以及所述基础虚拟宠物，确定所述基础虚拟宠物的各个身体部位对应的调整参数方面，处理单元802，具体用于：
[0108]
获取各个身体部位在所述基础虚拟宠物中的初始占比；
[0109]
根据所述预设初始状态，确定各个身体部位的目标占比；
[0110]
根据各个身体部位的初始占比和目标占比，确定各个身体部位的调整参数。
[0111]
在一些可能的实施方式中，根据所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物之前，处理单元802，还用于：
[0112]
过3d仿真器对所述现实生活环境进行仿真，得到所述虚拟生活环境。
[0113]
参阅图9，图9为本技术实施例提供的一种电子设备的结构示意图。如图9所示，电子设备900包括收发器901、处理器902和存储器903。它们之间通过总线904连接。存储器903用于存储计算机程序和数据，并可以将存储器903存储的数据传输给处理器902。
[0114]
处理器902用于读取存储器903中的计算机程序执行以下操作：
[0115]
获取待构建宠物医疗数据库的目标种类；
[0116]
根据所述目标种类，生成预设初始状态下的初始虚拟宠物，其中，所述虚拟宠物的种类为所述目标种类；
[0117]
获取所述初始虚拟宠物的成长任务以及初始成长资源；
[0118]
根据所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物，其中，所述成长模型是基于多个实体宠物在现实生活环境中的多个成长数据进行强化学习得到的，所述多个实体宠物的种类均为所述目标种类；
[0119]
根据所述多个成长状态下的目标虚拟宠物的属性数据，构建与所述目标种类对应的实体宠物的宠物医疗数据库。
[0120]
在一些可能的实施方式中，在根据所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物方面，处理器902具体用于执行以下操作：
[0121]
根据第i个成长状态对应的成长资源i和所述成长任务输入到所述成长模型，控制所述第i个成长状态的初始虚拟宠物在所述虚拟生活环境中进行成长，得到各个成长方向上的奖励值，其中，所述第i个成长状态的目标虚拟宠物为第i-1个成长状态下的目标虚拟宠物i-1，所述成长资源i为所述初始成长资源中用来成长前i-1成长状态下的目标虚拟宠
物资源之后剩余的成长资源，i为大于或者等于n的整数，且当i＝1时，所述目标虚拟宠物i-1为所述初始虚拟宠物，n为所述多个成长状态的数量；
[0122]
根据各个成长方向上的奖励值，控制所述第i-1个成长状态下的目标虚拟宠物向着目标成长方向进行成长，得到所述i个成长状态下的目标虚拟宠物，其中，所述目标成长方向为各个成长方向中奖励值最大的成长方向；
[0123]
将所述第i个成长状态下的目标虚拟宠物作为第i+1个成长状态的初始虚拟宠物，进行宠物成长，直至得到所述多个成长状态下的目标虚拟宠物。
[0124]
在一些可能的实施方式中，在根据第i个成长状态对应的成长资源i和所述成长任务输入到所述成长模型，控制所述第i个成长状态的初始虚拟宠物在所述虚拟生活环境中进行成长，得到各个成长方向上的奖励值方面，处理器902具体用于执行以下操作：
[0125]
获取与所述成长任务对应的奖励参数；
[0126]
获取所述第i个成长状态下的执行动作；
[0127]
根据所述执行动作，控制所述第i个成长状态的初始虚拟宠物在所述虚拟生活环境中，以及在各个成长方向上进行下一个状态的转移，得到各个成长方向在第i+1个成长状态下对应的状态转移结果；
[0128]
根据各个成长方向在第i+1个成长状态对应的状态转移结果，以及所述奖励参数，以及所述第i个成长状态的初始虚拟宠物，确定各个成长方向上的奖励值。
[0129]
在一些可能的实施方式中，所述成长任务为携带第一宠物疾病进行成长；所述激励参数包括：健康程度的增加量、资源消耗情况以及患有所述第一宠物疾病的程度的增加量；在根据各个成长方向在第i+1个成长状态对应的状态转移结果，以及所述奖励参数，以及所述第i个成长状态的初始虚拟宠物，确定各个成长方向上的奖励值方面，处理器902具体用于执行以下操作：
[0130]
根据各个成长方向在第i+1个成长状态对应的状态转移结果和所述第i个成长状态的初始虚拟宠物，确定所述虚拟宠物从所述第i个成长状态转移到第i+1个成长状态时的健康程度的增加量i以及患有所述第一宠物疾病的程度的增加量i；
[0131]
根据各个成长方向的健康程度的增加量i、患有所述第一宠物疾病的程度的增加量i，以及从所述第i个成长状态转移到第i+1个成长状态的资源消耗量，确定各个成长方向上的奖励值；
[0132]
其中，各个成长方向上的奖励值满足以下公式：
[0133][0134]
其中，rj为第j个成长方向上的奖励值，δt
→
t+1为从第i个成长状态到到第i+1个成长状态的成长时长，δx
j，h
为所述增加量i，δx
j，d
为患有所述第一宠物疾病的程度的增加量i，δx
j，r
为资源消耗情况，ch、cd以及cr均为超参数。
[0135]
在一些可能的实施方式中，在根据所述目标种类，生成预设初始状态下的初始虚拟宠物方面，处理器902具体用于执行以下操作：
[0136]
从宠物贴图库中获取与所述目标种类对应的基础贴图，其中，所述基础贴图用于生成种类为所述目标种类的基础虚拟宠物；
[0137]
根据所述预设初始状态和所述基础虚拟宠物，确定所述基础虚拟宠物的各个身体
部位对应的调整参数；
[0138]
根据各个身体部位对应的调整参数，对所述基础贴图进行调整，得到目标贴图；
[0139]
将所述目标贴图进行叠加，得到所述预设初始状态下的初始虚拟宠物。
[0140]
在一些可能的实施方式中，在根据所述预设初始状态以及所述基础虚拟宠物，确定所述基础虚拟宠物的各个身体部位对应的调整参数方面，处理器902具体用于执行以下操作：
[0141]
获取各个身体部位在所述基础虚拟宠物中的初始占比；
[0142]
根据所述预设初始状态，确定各个身体部位的目标占比；
[0143]
根据各个身体部位的初始占比和目标占比，确定各个身体部位的调整参数。
[0144]
在一些可能的实施方式中，根据所述成长任务、所述初始成长资源以及所述成长模型控制所述初始虚拟宠物在虚拟生活环境中进行成长，得到多个成长状态下的目标虚拟宠物之前，处理器902还用于执行以下操作：
[0145]
过3d仿真器对所述现实生活环境进行仿真，得到所述虚拟生活环境。
[0146]
具体地，上述处理器902可以为图8所述的实施例的宠物医疗数据库构建装置800的处理单元802。
[0147]
应理解，本技术中的电子设备可以包括平板电脑、掌上电脑、笔记本电脑、移动互联网设备mid(mobile internet devices，简称：mid)、服务器、服务器集群、云节点，云服务器等。上述电子设备仅是举例，而非穷举，包含但不限于上述电子设备。
[0148]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种基于成长模型的宠物医疗数据库构建方法的部分或全部步骤。
[0149]
本技术实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种基于成长模型的宠物医疗数据库构建方法的部分或全部步骤。
[0150]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0151]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0152]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0153]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0154]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
[0155]
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0156]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器(英文：random access memory，简称：ram)、磁盘或光盘等。
[0157]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。