图像信息预测方法、装置、计算机设备和存储介质与流程
本申请涉及计算机技术领域，特别是涉及一种图像信息预测方法、装置、计算机设备和存储介质。
背景技术：
视频预测可以应用于很多场景，如自动驾驶中的行人、汽车等移动轨迹预测，气象要素(温度、湿度、风速等)的未来场预测以及雷达回波的临近预测等。
传统技术中是直接根据历史数据中的历史关键点预测未来数据中的未来关键点，由于关键点中包含的信息有限，使得在预测过程中可利用的信息较少，造成预测的准确度低下。
技术实现要素：
基于此，有必要针对上述技术问题，提供一种能够预测准确度的图像信息预测方法、装置、计算机设备和存储介质。
一种图像信息预测方法，方法包括：
从历史视频流中提取多帧的历史图像；
提取各历史图像中的历史关键点；
获取各历史关键点对应的历史关键点位置；
根据各历史关键点位置预测未来帧图像的预测关键点位置，其中未来帧图像是视频流中的历史图像的下一帧图像；
计算各预测关键点位置对应的预测位置热力图；
根据各预测位置热力图以及历史图像进行模型训练得到预测模型；
从目标视频流中提取目标历史图像，将目标历史图像输入至预测模型中，以根据预测模型得到包含图像信息预测的目标未来帧图像。
在其中一个实施例中，计算各预测关键点位置对应的预测位置热力图，包括：
利用高斯函数将各预测关键点位置转换为预测位置热力图。
在其中一个实施例中，根据各预测位置热力图以及历史图像进行模型训练得到预测模型，包括：
获取各预测关键点位置对应的预缓存图像；
将各预测关键点位置对应的预测位置热力图存储至对应的预缓存图像中；
将存储有预测位置热力图的各预缓存图像进行拼接融合得到综合的预测位置热力图；
根据综合的预测位置热力图以及历史图像进行模型训练得到预测模型。
在其中一个实施例中，根据综合的预测位置热力图以及历史图像进行模型训练得到预测模型，包括：
从多帧的历史图像中选取与当前时间最接近的最新历史帧图像；
获取最新历史帧图像对应的未来帧图像，以及未来帧图像对应的综合的最新预测位置热力图；
将综合的最新预测位置热力图以及最新历史帧图像输入至机器学习模型，以对机器学习模型进行训练得到预测参数，根据预测参数得到初始预测模型；
利用初始预测模型对目标历史图像进行预测得到预测目标未来帧图像，计算预测目标未来帧图像与实际目标未来帧图像的偏差值，当偏差值大于预设阈值时，继续对预测参数进行调整得到调整预测模型，直至根据调整预测模型预测得到的预测目标未来帧图像与实际预测目标未来帧图像之间的偏差值不大于预设阈值时，停止对预测参数的停止，并将最新的调整预测模型作为最终的预测模型。
在其中一个实施例中，目标未来帧图像中包含至少一帧目标未来图像；以根据预测模型得到包含图像信息预测的目标未来帧图像之后，还包括：
获取目标未来帧图像中包含的实际图像帧数量，以及目标未来帧图像的预设图像帧数量；
将实际图像帧数量与预设图像帧数量进行比对；
当实际图像帧数量小于预设图像帧数量时，将目标未来帧图像中的最后一帧图像作为目标历史图像，并继续将目标历史图像输入至预测模型中得到新的目标未来帧图像，直至实际图像帧数量不小于预设图像帧数量时，停止根据目标历史图像获取未来帧图像。
在其中一个实施例中，以根据预测模型得到包含图像信息预测的目标未来帧图像，包括：
将目标历史图像输入至预测模型中得到与预设数量一致的目标未来帧图像，各目标未来帧图像中包含图像信息预测。
在其中一个实施例中，根据各历史关键点位置预测未来帧图像的预测关键点位置，包括：
将各历史关键点位置输入至时序网络模型中，得到未来帧图像对应的预测关键点位置。
一种图像信息预测装置，装置包括：
历史图像提取模块，用于从历史视频流中提取多帧的历史图像；
历史关键点提取模块，用于提取各历史图像中的历史关键点；
历史位置获取模块，用于获取各历史关键点对应的历史关键点位置；
未来位置预测模块，用于根据各历史关键点位置预测未来帧图像的预测关键点位置，其中未来帧图像是视频流中的历史图像的下一帧图像；
热力图计算模块，用于计算各预测关键点位置对应的预测位置热力图；
训练模块，用于根据各预测位置热力图以及历史图像进行模型训练得到预测模型；
预测模块，用于从目标视频流中提取目标历史图像，将目标历史图像输入至预测模型中，以根据预测模型得到包含关键点信息的目标未来帧图像。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。
上述图像信息预测方法、装置、计算机设备和存储介质，方法包括：从历史视频流中提取多帧的历史图像；提取各历史图像中的历史关键点；获取各历史关键点对应的历史关键点位置；根据各历史关键点位置预测未来帧图像的预测关键点位置，其中未来帧图像是视频流中的历史图像的下一帧图像；计算各预测关键点位置对应的预测位置热力图；根据各预测位置热力图以及历史图像进行模型训练得到预测模型；从目标视频流中提取目标历史图像，将目标历史图像输入至预测模型中，以根据预测模型得到包含关键点信息的目标未来帧图像。在训练预测模型的过程中利用热力图进行训练，引入了更多的训练信息，使得训练得到的预测模型具有较高的预测精度，以及根据预测模型预测得到的图像信息更加精准。
附图说明
图1为一个实施例中图像信息预测方法的应用环境图；
图2为一个实施例中图像信息预测方法的流程示意图；
图3为另一个实施例中提供的图像信息预测方法的流程示意图；
图4为一个实施例中图像信息预测装置的结构框图；
图5为一个实施例中计算机设的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像信息预测方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。服务器104从历史视频流中提取多帧的历史图像；提取各历史图像中的历史关键点；获取各历史关键点对应的历史关键点位置；根据各历史关键点位置预测未来帧图像的预测关键点位置，其中未来帧图像是视频流中的历史图像的下一帧图像；计算各预测关键点位置对应的预测位置热力图；根据各预测位置热力图以及历史图像进行模型训练得到预测模型；从目标视频流中提取目标历史图像，将目标历史图像输入至预测模型中，以根据预测模型得到包含关键点信息的目标未来帧图像。进一步地服务器104可以将目标未来帧图像发送至终端102。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种图像信息预测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤210，从历史视频流中提取多帧的历史图像。
历史视频流是用于获取训练网络模型的视频流数据。具体地，服务器获取历史视频流，如获取自动驾驶移动场景摄像头采集的视频流数据，然后服务器按照预设频率从视频流中提取多帧的历史图像，并将多帧的历史图像作为历史图像序列。在另外的实施例中，服务器获取到的历史图像也可以是在气象领域气象要素按照空间位置分布的图像等。进一步地，服务器将获取到的历史图像划分为训练集、测试集以及验证集。
步骤220，提取各历史图像中的历史关键点。
关键点是图像中特征点，如可以是表征图像运动特性的数据点，也可以是表征图像有效信息的数据点。在自动驾驶领域，关键点可以是车辆的拐角位置点或者是行人的骨骼位置点等，在气象领域，关键点可以是雷达云图中的最强位置点、边缘变化最大的位置点、中心点位置等。
在具体实施中，可以利用预先训练的特征提取网络从历史图像中提取历史关键点，其中特征提取网络可以是任何具有特征提取功能的网络，如可以是跳跃链接的cnn(convolutionalneuralnetwork,cnn)网络、参差网络等。
步骤230，获取各历史关键点对应的历史关键点位置。
在一个实施例中，使用多层跳跃链接的cnn网络对历史图像进行特征提取得到关键点之后，还包括计算各历史关键点在对应图像中的历史关键位置信息，其中位置信息可以为坐标值。
步骤240，根据各历史关键点位置预测未来帧图像的预测关键点位置，其中未来帧图像是视频流中的历史图像的下一帧图像。
进一步地，将提取得到的各历史图像对应的历史关键点位置信息输入至预先训练的位置预测神经网络中，以根据位置预测神经网络对未来帧图像中的预测关键点以及预测关键点位置进行预测，如可以预测得到未来帧图像中的预测关键点位置坐标信息。
在其中一个实施例中，根据各历史关键点位置预测未来帧图像的预测关键点位置，包括：将各历史关键点位置输入至时序网络模型中，得到未来帧图像对应的预测关键点位置。
具体地，得到历史图片的历史关键点位置之后，将历史关键点位置依次输入时序网络模型如lstm(longshort-termmemory)网络模型中，预测得到未来帧图像中的预测关键点位置。并且需要说明的是lstm是一种时序网络，在其他实施例中还可以为其他具有时序预测能力的网络，在此不做限定。
需要说明的是，未来帧图像是视频流中的历史图像的下一帧图像，并且未来帧图像的数量可包含一个或者多个，如未来帧图像可以为视频流中与历史图像的时间最接近的下一帧图像，也可以是视频流中与历史图像的时间差在预设范围内的多帧的未来帧图像。也就是说利用时序网络如lstm预测得到的未来帧图像的数量可以为一个或者多个，在此不做限制。
步骤250，计算各预测关键点位置对应的预测位置热力图。
具体地，服务器将未来帧图像的预测关键点位置信息输入到高斯化模块，高斯化模块将预测关键点位置转换为带有高斯化后关键点的预测位置热力图。具体地，高斯化模块中集成的计算机程序可以将预测关键点位置进行基于位置的高斯扩展，然后得到对应位置的预测位置热力图。其中，可以将热力图理解为一种概率图，即利用高斯公式实现了将关键点转换为关键区域，在关键区域中的不同位置对应不同的概率，概率表征不同位置处的重要度，如概率表征不同位置处为关键位置的概率。
步骤260，根据各预测位置热力图以及历史图像进行模型训练得到预测模型。
将在以上步骤中获取得到的历史图像以及预测位置热力图作为训练集，并根据训练集训练网络模型得到预测模型，以使得训练好的预测模型可以根据任何输入的历史图像预测得到包含热力图信息的未来图像。
并且，在训练预测模型的过程中包括利用步骤210中得到的验证集对预测模型的精度进行验证，只有将精度通过验证的模型才提取为合格的预测模型。
步骤270，从目标视频流中提取目标历史图像，将目标历史图像输入至预测模型中，以根据预测模型得到包含关键点信息的目标未来帧图像。
目标视频流是需要预测未来帧图像的视频流。具体地，服务器从目标视频流中提取一帧或者多帧目标历史图像，然后将目标历史图像输入至预先训练得到的预测模型中，以使得预测模型根据预训练的预测参数对目标历史图像进行分析识别得到对应的目标未来帧图像中的关键点信息。
视频预测可以应用于很多场景，如自动驾驶中的行人、汽车等移动轨迹预测；气象要素(温度，湿度，风速等)的未来场预测；雷达回波的临近预测等。本实施例提出的基于关键点预测的视频预测方法，在训练预测模型的过程中利用热力图进行训练，使得预测模型能够获知更多的先验知识，极大地提高了模型获取的精度，并且利用精度较高的模型可以预测得到更加精确的预测图像，特别是相比于其他传统方法，本申请提高了图像预测的准确度。
在其中一个实施例中，计算各预测关键点位置对应的预测位置热力图，包括：利用高斯函数将各预测关键点位置转换为预测位置热力图。
具体地，高斯化模块中预先嵌入高斯函数，以根据高斯函数将预测关键点位置转换为区域化的预测位置热力图。在其他实施例中，高斯化模块中还可以预先嵌入预先训练的高斯网络模型，以根据高斯网络模型实现对预测关键点位置的高斯化。
在本实施例中，利用高斯函数将预测关键点位置转换为预测位置热力图，使得将点信息转换为区域信息，实现了对信息的扩展，利用扩展后的信息进行模型训练可以提高模型的精度。
在其中一个实施例中，根据各预测位置热力图以及历史图像进行模型训练得到预测模型，包括：获取各预测关键点位置对应的预缓存图像；将各预测关键点位置对应的预测位置热力图存储至对应的预缓存图像中；将存储有预测位置热力图的各预缓存图像进行拼接融合得到综合的预测位置热力图；根据综合的预测位置热力图以及历史图像进行模型训练得到预测模型。
具体地，分别将每个预测关键点位置应用高斯公式，转换为对应坐标点的预测位置热力图。以及在服务器中初始化与关键点数量相同的预缓存图像，然后将各关键点对应的预测位置热力图存储至对应的预缓存图像中，其中预缓存图像可以是预定义的空白图像，并且用于存储预测位置热力图。然后将多个存储有预测位置热力图的预缓存图像进行拼接融合生成一个综合的预测位置热力图，并将该综合的预测位置热力图作为本模块的热力图输出。
在本实施例中，通过将每个预测位置热力图分别存储至对应的预缓存图像中，然后再将各预缓存图像进行拼接融合作为一个总的输出文件，可以使得在生成各预测位置热力图的过程中不需要考虑各图像的大小、图像的位置等信息，提高了对热力图的适应性，并且在拼合成总的预测位置热力图的过程中可以对各预测位置热力图的大小、位置进行调整以使得适合生成总的预测位置热力图，并且生成的综合的预测位置热力图中包含多个关键点信息，也增加了热力图像中包含的信息量，进一步地提高了利用综合的预测位置热力图进行预测模型训练的准确度。
在其中一个实施例中，根据综合的预测位置热力图以及历史图像进行模型训练得到预测模型，包括：从多帧的历史图像中选取与当前时间最接近的最新历史帧图像；获取最新历史帧图像对应的未来帧图像，以及未来帧图像对应的综合的最新预测位置热力图；将综合的最新预测位置热力图以及最新历史帧图像输入至机器学习模型，以对机器学习模型进行训练得到预测参数，根据预测参数得到初始预测模型。
具体地，按照时间顺序从多帧的历史图像中选取与当前时间最接近的一帧历史图像，并将该历史图像作为最新历史图像，并且获取根据历史图像预测得到的未来帧图像的综合的最新预测位置热力图，然后将最新历史图像以及最新预测位置热力图作为训练数据对机器学习模型进行训练得到初始预测模型，进一步地，利用验证集对初始训练模型进行调整得到最终的预测模型。其中需要说明的是，还可以随机从多帧的历史图像中选取其中一张历史图像，以及将随机选取的历史图像与最新预测位置热力图作为训练数据进行模型训练。
进一步地，对初始预测模型的预测参数进行调整得到预测精度较高的预测模型的过程还包括：利用初始预测模型对目标历史图像进行预测得到预测目标未来帧图像，计算预测目标未来帧图像与实际目标未来帧图像的偏差值，当偏差值大于预设阈值时，继续对预测参数进行调整得到调整预测模型，直至根据调整预测模型预测得到的预测目标未来帧图像与实际预测目标未来帧图像之间的偏差值不大于预设阈值时，停止对预测参数的停止，并将最新的调整预测模型作为最终的预测模型。
在本实施例中，根据训练得到的初始预测模型得到预测目标未来帧图像，然后将预测未来目标帧图像与实际目标未来帧图像进行求偏差，当偏差大于预设阈值时，说明初始预测模型的精度不够，需要对初始预测模型的预测参数继续调整以得到预测精度更高的预测模型，直至根据调整后的预测模型预测得到的预测目标未来帧图像与实际预测目标未来帧图像之间的偏差值不大于预设阈值时，停止对预测参数的停止，并将最新的调整预测模型作为最终的预测模型。
在具体实施中，预测模块将高斯化模块输出的综合的图片(综合的预测位置热力图)与包含内容的图片如历史图像序列的最后一张图片作为输入，以训练得到预测模型。其中预测模块本身是一个神经网络，在本申请中对网络本身不做特别要求，该网络主要作用是用于生成对应的预测图像，具体地网络可以跳跃链接的cnn、vae或者gan网络等。具体地以自编码器(vae)为例说明。
将输入的综合的预测位置热力图与包含内容的最新历史图像进行拼接得到输入数据，并输入至编码器(基于cnn的encoder)部分。编码器输出一先验分布(可以为高斯)。将编码器的输出输入解码器部分，重新构造出预测图像，其中预测图像中包含关键点信息。并且在训练网络过程中还将网络输出的预测结果图与真实图像进行loss计算并进行反向传播，从而训练预测网络参数，其中预测模型对损失函数不做特别要求，可以使用如公式(1)所示的损失函数：
其中，在公式(1)中，mse用于计算均方误差损失函数，t为真实图像，
在本实施例中，在获取最终预测模型的过程中不断地对预测参数进行调整，以保证最终得到的预测模型的精度在预设范围内，进而保证根据预测模型预测得到的目标未来帧图像的精度，提高图像信息预测的准确率。
在其中一个实施例中，目标未来帧图像中包含至少一帧目标未来图像；以根据预测模型得到包含关键点信息的目标未来帧图像之后，还包括：获取目标未来帧图像中包含的实际图像帧数量，以及目标未来帧图像的预设图像帧数量；将实际图像帧数量与预设图像帧数量进行比对；当实际图像帧数量小于预设图像帧数量时，将目标未来帧图像中的最后一帧图像作为目标历史图像，并继续将目标历史图像输入至预测模型中得到新的目标未来帧图像，直至实际图像帧数量不小于预设图像帧数量时，停止根据目标历史图像获取未来帧图像。
具体地，利用预测模型得到的未来帧图像可以为一个或者多个图像，具体地，服务器可以获取目标未来帧图像中包含的实际图像帧数量，以及欲获取的目标未来帧图像的预设图像帧数量；将实际图像帧数量与预设图像帧数量进行比对；当实际图像帧数量小于预设图像帧数量时，说明通过一次的模型预测得到的目标未来帧图像不满足数量的需求，故而需要继续利用预测模型预测得到目标未来帧图像。具体地，再次利用预测模型得到目标未来帧图像的过程还包括：当目标未来帧图像中只包含一张图像时，将该唯一的一张图像作为目标历史图像，继续输入至预测模型中进行预测，并继续得到目标未来帧图像，然后再继续比对根据预测模型得到的总的目标未来帧图像的数量与预设图像数量的大小关系，当不小于预设数量时，停止利用预测模型继续预测图像的步骤，否则继续将与当前时间最接近的目标未来帧图像作为历史图像输入至预测模型中，继续预测图像。在另外的实施例中，当利用预测模型得到的目标未来帧图像中包含多张图像时，此时可以将与当前时间最接近的最后一帧图像作为目标历史图像，并继续将目标历史图像输入至预测模型中得到新的目标未来帧图像，直至实际图像帧数量不小于预设图像帧数量时，停止根据目标历史图像获取未来帧图像。
在本实施例中，使用训练好的预测模型对未来的图像进行预测，得到未来一帧图像的预测结果，并且当预测得到的图像的数量不满足要求时还可以将预测图像继续作为目标历史图像即真实值作为预测模型的输入继续进行预测，即将原输入的第一帧目标历史图像去除，然后重新使用预测模型进行预测，最终得到所有未来帧的预测结果。在本事实施例中可以根据需要获取预设数量的未来帧目标图像，提高了模型的适用性。
在另外一个实施例中，以根据预测模型得到包含关键点信息的目标未来帧图像，包括：将目标历史图像输入至预测模型中得到与预设数量一致的目标未来帧图像，各目标未来帧图像中包含关键点信息。
在本实施例中，还可以预先设置欲获取的图像数量，以使得根据预测模型可以直接获取与预设数量一致的目标未来帧图像，通过一次图像预测就可以得到预设数量的图像，提高了图像信息获取的效率。
在其中一个实施例中，如图3所示提供了另一个实施例中预测图像信息的流程示意图，具体地，包括：
步骤310，输入图像序列模块。具体地，服务器从视频流中提取预设帧的历史图像作为输入图像序列，并输入至图像序列模块。
步骤320，关键点生成模块。具体地，服务器将预设帧的历史图像输入至预训练的cnn网络中，以提取各历史帧图像中的关键点，以及各历史关键点的历史位置坐标；以将将各历史关键点的位置坐标输入至lstm时序网络模型中，用于预测未来图像中的关键点的位置坐标信息；
步骤330，高斯化模块。将各未来关键点位置坐标输入至高斯模块进行高斯处理得到各未来关键点的热力图；并将各关键点的热力图进行拼接处理得到一张总热力图。
步骤340，预测模块。将未来的总热力图以及最后一帧历史图像作为输入数据对预测模型进行训练；具体地将预测的总热力图以及最后一帧历史图进行拼接得到拼接图，输入至基于cnn模型的编码器；对编码器进行训练得到预测模型。
步骤350，输出图片模块。具体地，在具体应用时，使用训练好的预测模型对未来的图像进行预测，得到未来一帧图像的预测结果。
在本实施例中提供一种基于ai的视频预测方法，相比于传统方法有预测效果准确且计算复杂度低，实时性好的特点。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种图像信息预测装置，包括：
历史图像提取模块410，用于从历史视频流中提取多帧的历史图像。
历史关键点提取模块420，用于提取各历史图像中的历史关键点。
历史位置获取模块430，用于获取各历史关键点对应的历史关键点位置。
未来位置预测模块440，用于根据各历史关键点位置预测未来帧图像的预测关键点位置，其中未来帧图像是视频流中的历史图像的下一帧图像。
热力图计算模块450，用于计算各预测关键点位置对应的预测位置热力图。
训练模块460，用于根据各预测位置热力图以及历史图像进行模型训练得到预测模型。
预测模块470，用于从目标视频流中提取目标历史图像，将目标历史图像输入至预测模型中，以根据预测模型得到包含关键点信息的目标未来帧图像。
在其中一个实施例中，热力图计算模块450，包括：
转换单元，用于利用高斯函数将各预测关键点位置转换为预测位置热力图。
在其中一个实施例中，训练模块460，包括：
缓存图像获取单元，用于获取各预测关键点位置对应的预缓存图像；
存储单元，用于将各预测关键点位置对应的预测位置热力图存储至对应的预缓存图像中；
融合单元，用于将存储有预测位置热力图的各预缓存图像进行拼接融合得到综合的预测位置热力图；
训练单元，用于根据综合的预测位置热力图以及历史图像进行模型训练得到预测模型。
在其中一个实施例中，训练单元，包括：
最新图像选取子单元，用于从多帧的历史图像中选取与当前时间最接近的最新历史帧图像；
最新热力图获取子单元，用于获取最新历史帧图像对应的未来帧图像，以及未来帧图像对应的综合的最新预测位置热力图；
训练子单元，用于将综合的最新预测位置热力图以及最新历史帧图像输入至机器学习模型，以对机器学习模型进行训练得到预测参数，根据预测参数得到初始预测模型；
调整子单元，用于利用初始预测模型对目标历史图像进行预测得到预测目标未来帧图像，计算预测目标未来帧图像与实际目标未来帧图像的偏差值，当偏差值大于预设阈值时，继续对预测参数进行调整得到调整预测模型，直至根据调整预测模型预测得到的预测目标未来帧图像与实际预测目标未来帧图像之间的偏差值不大于预设阈值时，停止对预测参数的停止，并将最新的调整预测模型作为最终的预测模型。
在其中一个实施例中，图像信息预测装置还包括：
数量获取模块，用于获取目标未来帧图像中包含的实际图像帧数量，以及目标未来帧图像的预设图像帧数量；
比对模块，用于将实际图像帧数量与预设图像帧数量进行比对；
再训练模块，用于当实际图像帧数量小于预设图像帧数量时，将目标未来帧图像中的最后一帧图像作为目标历史图像，并继续将目标历史图像输入至预测模型中得到新的目标未来帧图像，直至实际图像帧数量不小于预设图像帧数量时，停止根据目标历史图像获取未来帧图像。
在其中一个实施例中，预测模块470，包括：
一次性预测单元，用于将目标历史图像输入至预测模型中得到与预设数量一致的目标未来帧图像，各目标未来帧图像中包含图像信息预测。
在其中一个实施例中，未来位置预测模块440，包括：
未来位置预测单元，用于将各历史关键点位置输入至时序网络模型中，得到未来帧图像对应的预测关键点位置。
关于图像信息预测装置的具体限定可以参见上文中对于图像信息预测方法的限定，在此不再赘述。上述图像信息预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像信息预测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像信息预测方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：从历史视频流中提取多帧的历史图像；提取各历史图像中的历史关键点；获取各历史关键点对应的历史关键点位置；根据各历史关键点位置预测未来帧图像的预测关键点位置，其中未来帧图像是视频流中的历史图像的下一帧图像；计算各预测关键点位置对应的预测位置热力图；根据各预测位置热力图以及历史图像进行模型训练得到预测模型；从目标视频流中提取目标历史图像，将目标历史图像输入至预测模型中，以根据预测模型得到包含图像信息预测的目标未来帧图像。
在其中一个实施例中，处理器执行计算机程序时实现计算各预测关键点位置对应的预测位置热力图的步骤时还用于：利用高斯函数将各预测关键点位置转换为预测位置热力图。
在其中一个实施例中，处理器执行计算机程序时实现根据各预测位置热力图以及历史图像进行模型训练得到预测模型的步骤时还用于：获取各预测关键点位置对应的预缓存图像；将各预测关键点位置对应的预测位置热力图存储至对应的预缓存图像中；将存储有预测位置热力图的各预缓存图像进行拼接融合得到综合的预测位置热力图；根据综合的预测位置热力图以及历史图像进行模型训练得到预测模型。
在其中一个实施例中，处理器执行计算机程序时实现根据综合的预测位置热力图以及历史图像进行模型训练得到预测模型的步骤时还用于：从多帧的历史图像中选取与当前时间最接近的最新历史帧图像；获取最新历史帧图像对应的未来帧图像，以及未来帧图像对应的综合的最新预测位置热力图；将综合的最新预测位置热力图以及最新历史帧图像输入至机器学习模型，以对机器学习模型进行训练得到预测参数，根据预测参数得到初始预测模型；利用初始预测模型对目标历史图像进行预测得到预测目标未来帧图像，计算预测目标未来帧图像与实际目标未来帧图像的偏差值，当偏差值大于预设阈值时，继续对预测参数进行调整得到调整预测模型，直至根据调整预测模型预测得到的预测目标未来帧图像与实际预测目标未来帧图像之间的偏差值不大于预设阈值时，停止对预测参数的停止，并将最新的调整预测模型作为最终的预测模型。
在其中一个实施例中，目标未来帧图像中包含至少一帧目标未来图像；处理器执行计算机程序时实现以根据预测模型得到包含图像信息预测的目标未来帧图像之后的步骤时还用于：获取目标未来帧图像中包含的实际图像帧数量，以及目标未来帧图像的预设图像帧数量；将实际图像帧数量与预设图像帧数量进行比对；当实际图像帧数量小于预设图像帧数量时，将目标未来帧图像中的最后一帧图像作为目标历史图像，并继续将目标历史图像输入至预测模型中得到新的目标未来帧图像，直至实际图像帧数量不小于预设图像帧数量时，停止根据目标历史图像获取未来帧图像。
在其中一个实施例中，处理器执行计算机程序时实现以根据预测模型得到包含图像信息预测的目标未来帧图像的步骤时还用于：将目标历史图像输入至预测模型中得到与预设数量一致的目标未来帧图像，各目标未来帧图像中包含图像信息预测。
在其中一个实施例中，处理器执行计算机程序时实现根据各历史关键点位置预测未来帧图像的预测关键点位置的步骤时还用于：将各历史关键点位置输入至时序网络模型中，得到未来帧图像对应的预测关键点位置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：从历史视频流中提取多帧的历史图像；提取各历史图像中的历史关键点；获取各历史关键点对应的历史关键点位置；根据各历史关键点位置预测未来帧图像的预测关键点位置，其中未来帧图像是视频流中的历史图像的下一帧图像；计算各预测关键点位置对应的预测位置热力图；根据各预测位置热力图以及历史图像进行模型训练得到预测模型；从目标视频流中提取目标历史图像，将目标历史图像输入至预测模型中，以根据预测模型得到包含图像信息预测的目标未来帧图像。
在其中一个实施例中，计算机程序被处理器执行时实现计算各预测关键点位置对应的预测位置热力图的步骤时还用于：利用高斯函数将各预测关键点位置转换为预测位置热力图。
在其中一个实施例中，计算机程序被处理器执行时实现根据各预测位置热力图以及历史图像进行模型训练得到预测模型的步骤时还用于：获取各预测关键点位置对应的预缓存图像；将各预测关键点位置对应的预测位置热力图存储至对应的预缓存图像中；将存储有预测位置热力图的各预缓存图像进行拼接融合得到综合的预测位置热力图；根据综合的预测位置热力图以及历史图像进行模型训练得到预测模型。
在其中一个实施例中，计算机程序被处理器执行时实现根据综合的预测位置热力图以及历史图像进行模型训练得到预测模型的步骤时还用于：从多帧的历史图像中选取与当前时间最接近的最新历史帧图像；获取最新历史帧图像对应的未来帧图像，以及未来帧图像对应的综合的最新预测位置热力图；将综合的最新预测位置热力图以及最新历史帧图像输入至机器学习模型，以对机器学习模型进行训练得到预测参数，根据预测参数得到初始预测模型；利用初始预测模型对目标历史图像进行预测得到预测目标未来帧图像，计算预测目标未来帧图像与实际目标未来帧图像的偏差值，当偏差值大于预设阈值时，继续对预测参数进行调整得到调整预测模型，直至根据调整预测模型预测得到的预测目标未来帧图像与实际预测目标未来帧图像之间的偏差值不大于预设阈值时，停止对预测参数的停止，并将最新的调整预测模型作为最终的预测模型。
在其中一个实施例中，目标未来帧图像中包含至少一帧目标未来图像；计算机程序被处理器执行时实现以根据预测模型得到包含图像信息预测的目标未来帧图像之后的步骤时还用于：获取目标未来帧图像中包含的实际图像帧数量，以及目标未来帧图像的预设图像帧数量；将实际图像帧数量与预设图像帧数量进行比对；当实际图像帧数量小于预设图像帧数量时，将目标未来帧图像中的最后一帧图像作为目标历史图像，并继续将目标历史图像输入至预测模型中得到新的目标未来帧图像，直至实际图像帧数量不小于预设图像帧数量时，停止根据目标历史图像获取未来帧图像。
在其中一个实施例中，计算机程序被处理器执行时实现以根据预测模型得到包含图像信息预测的目标未来帧图像的步骤时还用于：将目标历史图像输入至预测模型中得到与预设数量一致的目标未来帧图像，各目标未来帧图像中包含图像信息预测。
在其中一个实施例中，计算机程序被处理器执行时实现根据各历史关键点位置预测未来帧图像的预测关键点位置的步骤时还用于：将各历史关键点位置输入至时序网络模型中，得到未来帧图像对应的预测关键点位置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccessmemory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(staticrandomaccessmemory，sram)或动态随机存取存储器(dynamicrandomaccessmemory，dram)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
- 还没有人留言评论。精彩留言会获得点赞！