本发明涉及图像处理技术领域，具体涉及一种视频关键点实时处理方法、装置、计算设备及计算机存储介质。
背景技术：
随着科技的发展，图像采集设备的技术也日益提高。使用图像采集设备录制的视频也更加清晰、分辨率、显示效果也大幅提高。为了便于为特定对象添加萌颜特效等，需要预测视频帧图像中的关键点的坐标信息，但由于环境光线的变化和预测算法的不稳定性，往往导致预测出来的关键点在连续的视频帧中发生不规律的抖动，这样，就会使得萌颜特效所添加的位置不合适，例如，本应该添加至眉毛处的特效却添加至两眉之间，用户体验差。
因此，需要一种视频关键点实时处理方法，以修正视频帧图像中关键点的坐标信息。
技术实现要素：
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频关键点实时处理方法、装置、计算设备及计算机存储介质。
根据本发明的一个方面，提供了一种视频关键点实时处理方法，其包括：
实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1；
将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；
利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理；
显示处理后的第t帧图像。
可选地，根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
判断关键点的移动速度是否大于预设阈值，若是，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；否则，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
可选地，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；
针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；
根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，选取动态模型对第t帧图像的关键点的坐标信息进行修正处理进一步包括：
根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；
计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；
根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
可选地，根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息进一步包括：
依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系；
根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
可选地，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理进一步包括：
根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
可选地，关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
可选地，方法还包括：将处理后的视频数据上传至云服务器。
可选地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
可选地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
可选地，将处理后的视频数据上传至云服务器进一步包括：
将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
根据本发明的另一个方面，提供了一种视频关键点实时处理装置，其包括：
获取模块，适于实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1；
输入模块，适于将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；
修正处理模块，适于根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；
图像处理模块，适于利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理；
显示模块，适于显示处理后的第t帧图像。
可选地，修正处理模块进一步包括：判断单元，适于判断关键点的移动速度是否大于预设阈值；
修正处理单元，适于若关键点的移动速度大于预设阈值，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；若关键点的移动速度小于或等于预设阈值，则选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
可选地，修正处理单元进一步适于：获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；
针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；
根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，修正处理单元进一步适于：根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；
计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；
根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
可选地，修正处理单元进一步适于：依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系；
根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
可选地，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
可选地，图像处理模块进一步适于：根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
可选地，关键点为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
可选地，装置还包括：上传模块，适于将处理后的视频数据上传至云服务器。
可选地，上传模块进一步适于：将处理后的视频数据上传至云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。
可选地，上传模块进一步适于：将处理后的视频数据上传至云直播服务器，以供云直播服务器将视频数据实时推送给观看用户客户端。
可选地，上传模块进一步适于：将处理后的视频数据上传至云公众号服务器，以供云公众号服务器将视频数据推送给公众号关注客户端。
根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行上述视频关键点实时处理方法对应的操作。
根据本发明的再一方面，提供了一种计算机存储介质，存储介质中存储有至少一可执行指令，可执行指令使处理器执行如上述视频关键点实时处理方法对应的操作。
根据本发明提供的方案，实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1；将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息；根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理；利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理；显示处理后的第t帧图像。基于本发明实施例提供的方案，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本发明一个实施例的视频关键点实时处理方法的流程示意图；
图2示出了根据本发明另一个实施例的视频关键点实时处理方法的流程示意图；
图3示出了根据本发明一个实施例的视频关键点实时处理装置的结构示意图；
图4示出了根据本发明一个实施例的视频关键点实时处理装置的结构示意图；
图5示出了根据本发明一个实施例的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的视频关键点实时处理方法的流程示意图。如图1所示，该方法包括以下步骤：
步骤s100，实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1。
本实施例中图像采集设备以移动终端为例进行说明，其中，移动终端具体可以为手机、ipad等，这里仅是举例说明，不具有任何限定作用。
具体地，本发明实施例提供的视频关键点实时处理方法可以对第2帧图像之后的视频帧图像(这里包括第2帧图像)的关键点进行修正处理，可以根据处理需求实时地获取移动终端摄像头所录制的视频中的第t帧图像或者所拍摄视频的第t帧图像，其中，t大于1。
步骤s101，将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
关键点的坐标信息是关键点在图像坐标系中的坐标位置，本实施例中的神经网络是经过大量训练得到的，该神经网络的输入为图像，输出为图像的关键点的坐标信息，具体地，在获取到第t帧图像之后，可以将第t帧图像输入至神经网络中，利用神经网络来预测得到第t帧图像的关键点的坐标信息，但是，在利用神经网络预测第t帧图像的关键点的坐标信息时并未考虑前后两帧图像的相关性，也就是说，利用神经网络预测得到的第t帧图像的关键点的坐标信息存在误差，会导致所拍摄的视频出现随机抖动的现象，为了克服抖动问题，就需要对第t帧图像的关键点的坐标信息进行修正处理，具体地，可以采用步骤s102中的方法进行修正处理。
步骤s102，根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理。
通过跟踪图像的关键点可以计算得到关键点的移动速度，在得到关键点的移动速度之后，可以根据关键点的移动速度，选取用于对第t帧图像的关键点的坐标信息进行修正处理的相应模型，其中，模型可以为静态模型或动态模型，这里，静态模型主要依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型主要依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理，通过对关键点的坐标信息进行修正处理，可以克服拍摄视频过程中出现的抖动问题。
步骤s103，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理。
在利用静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理之后，可以利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理。
步骤s104，显示处理后的第t帧图像。
得到处理后的第t帧图像后，可以将其实时的进行显示，用户所看到的第t帧图像并不存在拖尾现象，克服了视频抖动问题。
根据本发明上述实施例提供的方法，根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
图2示出了根据本发明另一个实施例的视频关键点实时处理方法的流程示意图。如图2所示，该方法包括以下步骤：
步骤s200，实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1。
步骤s201，将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
本发明实施例中的关键点可以为特定对象的轮廓线中的点，其中，特定对象包括：人物、动植物、车辆、建筑物、家居物品、艺术品，例如，关键点可以是人脸的轮廓线中的点、人脸五官(例如，眉、眼、耳、鼻、口)的轮廓线中的点、人体轮廓线中的点、还可以是车辆边缘的点、xx大厦边缘的点，这里仅是简单列举，不具有任何限定作用。
神经网络是基于大量的图像训练得到的，通过有监督的机器学习训练得到的，利用该神经网络可以预测得到第t帧图像的关键点的坐标信息。
以上步骤参考图1实施例中的步骤s100-s101的描述，在此不再赘述。
步骤s202，判断关键点的移动速度是否大于预设阈值，若是，执行步骤s203；若否，则执行步骤s206。
通过跟踪图像的关键点可以计算得到关键点的移动速度，例如，通过跟踪计算图像中关键点a的移动速度来确定图像中各关键点的移动速度，针对图像中的关键点a，可以根据关键点a在第t-1帧图像、第t-2帧图像、第t-3帧图像中的坐标信息，以及对应的时间计算关键点的移动速度，在计算得到关键点的移动速度之后，还需要将关键点的移动速度与预设阈值进行比较，以确定关键点的移动速度是否大于预设阈值，若是，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；否则，选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。通过对关键点的坐标信息进行修正处理，可以克服拍摄视频过程中出现的抖动问题。
若选取动态模型对第t帧图像的关键点的坐标信息进行修正处理，则可以利用步骤s203-步骤s205中的方法对第t帧图像的关键点的坐标信息进行修正处理；若选取静态模型对第t帧图像的关键点的坐标信息进行修正处理，则可以利用步骤s206-步骤s208中的方法对第t帧图像的关键点的坐标信息进行修正处理。
步骤s203，根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息。
在根据步骤s202判断出关键点的移动速度大于预设阈值的情况下，可以确定出特定对象处于运动状态，如此，我们希望在特定对象运动时，关键点能够平滑移动，而没有拖影现象，为了实现上述技术效果，可以根据第t-1帧图像的关键点的坐标信息以及第t-2帧图像的关键点的坐标信息确定出第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度，在得到关键点的移动速度之后，可以根据关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息。
假设相邻两帧图像的关键点匀速运动，则可以利用如下公式(1)粗略地确定第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度，
vt-1＝x′t-1-x′t-2公式(1)
由于相邻两帧图像的关键点匀速运动，则可以认定vt＝vt-1，由此可以利用如下公式(2)预测得到第t帧图像的关键点的坐标信息，
其中，
步骤s204，计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离。
在步骤s201中利用神经网络得到了第t帧图像的关键点的坐标信息，在步骤s203中又预测得到了第t帧图像的关键点的坐标信息，为了能够得到较为准确的第t帧图像的关键点的坐标信息，这里需要计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离，以根据所计算得到的距离进行后续处理。
步骤s205，根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
具体地，可以依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系，即距离越大，第一权重越大，而第二权重越小，距离越小，第一权重越小，第二权重越大。
根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，若利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离较大，则利用神经网络得到的第t帧图像的关键点的坐标信息作为主要的计算参数，若距离较小，则预测得到的第t帧图像的关键点的坐标信息作为主要的计算参数，具体可以采用公式(3)计算修正处理后的第t帧图像的关键点的坐标信息，
其中，x′t为修正处理后的第t帧图像的关键点的坐标信息，xt为利用神经网络得到的第t帧图像的关键点的坐标信息，
步骤s206，获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值。
在本实施例中，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息可以是经过修正处理后的坐标信息，即，利用本发明实施例提供的方法对利用神经网络得到的第t-n+1帧图像至第t-1帧图像的关键点的坐标信息进行了修正处理，在本发明实施例中，利用修正处理后的第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，可以进一步提升第t帧图像的关键点的坐标信息的准确性。
步骤s207，针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重。
现有技术中采用对第t-n+1帧图像至第t帧图像的关键点的坐标信息求平均的方式计算第t帧图像的关键点的坐标信息，例如，利用如下公式(4)计算得到修正处理后的第t帧图像的关键点的坐标信息，
这里每帧图像的权重是相同的，通过该方法计算第t帧图像的关键点的坐标信息时很容易出现以下情况：若第t-n+1帧图像至第t帧图像中某一帧图像的关键点的坐标信息与其他帧图像的关键点的坐标信息相差较大，就会导致修正处理的第t帧图像的关键点的坐标信息不准确，而本发明实施例针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重，使得在对第t帧图像的关键点的坐标信息进行修正处理时，第t-n+1帧图像至第t帧图像的关键点的坐标信息所占比重不同。
其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系，即该帧图像与第t帧图像之间的帧距越小，权重越大，帧距越大，权重越小；该帧图像的关键点与第t帧图像的关键点之间的距离越小，权重越大，距离越大，权重越小。
步骤s208，根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
具体地，可以采用如下公式(5)来计算得到修正处理后第t帧图像的关键点的坐标信息，
其中，x′t为修正处理后的第t帧图像的关键点的坐标信息，xi为第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，xt为利用神经网络中得到的第t帧图像的关键点的坐标信息，w(xi)为第t-n+1帧图像至第t-1帧图像对应的权重，w(xt)为第t帧图像的权重。
举例说明，利用本发明实施例提供的方法对t＝100时，即对第100帧图像的关键点的坐标信息进行修正处理，通过跟踪关键点确定出关键点的移动速度小于预设阈值，则可以采用静态模型对第100帧图像的关键点的坐标信息进行修正处理，获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，其中，n的取值可以根据实际需要进行设定，例如可以设定n为1或2或3或10或30等任意数值，这里将以n＝30为例进行说明，获取第71帧图像至第99帧图像的关键点的坐标信息，针对第71帧图像至第100帧图像中的任一帧图像，根据该帧图像与第100帧图像之间的帧距以及该帧图像的关键点与第100帧图像的关键点之间的距离确定该帧图像的权重，在得到权重之后，可以将t＝100，n＝30，以及对应的权重代入公式(5)来计算得到修正处理后第100帧图像的关键点的坐标信息x′100，其中，x′100具体可以表示为：
步骤s209，根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
在得到修正处理后的第t帧图像的关键点的坐标信息之后，可以根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，例如，在人的眼睛、嘴、鼻子等部位添加萌颜特效，举例说明，如人体的嘴部，可以在嘴巴张开时，在嘴巴部分绘制喷出的火焰。本领域技术人员可以根据实际需求设置添加静态或动态效果贴图的具体区域此处不做限定。
步骤s210，显示处理后的第t帧图像。
步骤s211，将处理后的视频数据上传至云服务器。
将处理后的视频数据可以直接上传至云服务器，具体的，可以将处理后的视频数据上传至一个或多个的云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。或者还可以将处理后的视频数据上传至云直播服务器，当有直播观看端的用户进入云直播服务器进行观看时，可以由云直播服务器将视频数据实时推送给观看用户客户端。或者还可以将处理后的视频数据上传至云公众号服务器，当有用户关注该公众号时，由云公众号服务器将视频数据推送给公众号关注客户端；进一步，云公众号服务器还可以根据关注公众号的用户的观看习惯，推送符合用户习惯的视频数据给公众号关注客户端。
根据本发明上述实施例提供的方法，根据关键点的移动速度，选取静态模型或动态模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，克服了由于环境光线的变化或者预测算法不稳定性，而导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，而且还能够精准地为图像添加静态或动态效果贴图，克服了由于关键点的坐标信息不准确而导致的添加的效果贴图的位置不合理的问题，有效地改善了视频展示效果。
图3示出了根据本发明一个实施例的视频关键点实时处理装置的结构示意图。如图3所示，该装置包括：获取模块300、输入模块310、修正处理模块320、图像处理模块330、显示模块340。
获取模块300，适于实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1。
输入模块310，适于将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
修正处理模块320，适于根据关键点的移动速度，选取静态模型或动态模型对第t帧图像的关键点的坐标信息进行修正处理，其中，静态模型依据第t-n+1帧图像至第t-1帧图像的关键点的坐标信息对第t帧图像的关键点的坐标信息进行修正处理，n为预设值，动态模型依据关键点的移动速度对第t帧图像的关键点的坐标信息进行修正处理。
图像处理模块330，适于利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理。
显示模块340，适于显示处理后的第t帧图像。
根据本发明上述实施例提供的装置，根据关键点的移动速度，选取相应的模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，利用修正处理后的第t帧图像的关键点的坐标信息，对第t帧图像进行处理，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，有效地改善了视频展示效果。
图4示出了根据本发明一个实施例的视频关键点实时处理装置的结构示意图。如图4所示，该装置包括：获取模块400、输入模块410、修正处理模块420、图像处理模块430、显示模块440、上传模块450。
获取模块400，适于实时获取图像采集设备所拍摄和/或所录制的视频中第t帧图像，其中t大于1。
输入模块410，适于将第t帧图像输入至神经网络中得到第t帧图像的关键点的坐标信息。
其中，关键点为特定对象的轮廓线中的点，特定对象可以包括：人物、动植物、车辆、建筑物、家居物品、艺术品。
修正处理模块420进一步包括：判断单元421，适于判断关键点的移动速度是否大于预设阈值；
修正处理单元422，适于若关键点的移动速度大于预设阈值，则选取动态模型对第t帧图像的关键点的坐标信息进行修正处理；若关键点的移动速度小于或等于预设阈值，则选取静态模型对第t帧图像的关键点的坐标信息进行修正处理。
若选取静态模型对第t帧图像的关键点的坐标信息进行修正处理，该修正处理单元422进一步适于：获取第t-n+1帧图像至第t-1帧图像的关键点的坐标信息，n为预设值；针对第t-n+1帧图像至第t帧图像中的任一帧图像，根据该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离确定该帧图像的权重；根据第t-n+1帧图像至第t帧图像的权重，将第t-n+1帧图像至第t帧图像的关键点的坐标信息进行加权平均，得到修正处理后的第t帧图像的关键点的坐标信息。
其中，针对第t-n+1帧图像至第t帧图像中的任一帧图像，该帧图像的权重与该帧图像与第t帧图像之间的帧距以及该帧图像的关键点与第t帧图像的关键点之间的距离成反比关系。
其中，第t-n+1帧图像至第t-1帧图像的关键点的坐标信息为经过修正处理后的坐标信息。
若选取动态模型对第t帧图像的关键点的坐标信息进行修正处理，该修正处理单元422进一步适于：根据第t-1帧图像的关键点相对于第t-2帧图像的关键点的移动速度以及第t-1帧图像的关键点的坐标信息，预测得到第t帧图像的关键点的坐标信息；计算利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息之间的距离；根据距离，对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
在本发明一种可选实施方式中，修正处理单元422进一步适于：依据距离确定融合计算处理时利用神经网络得到的第t帧图像的关键点的坐标信息对应的第一权重，以及确定预测得到的第t帧图像的关键点的坐标信息对应的第二权重，其中，第一权重与第二权重之和等于1，第一权重与距离成正比关系，第二权重与距离成反比关系；根据第一权重、第二权重对利用神经网络得到的第t帧图像的关键点的坐标信息与预测得到的第t帧图像的关键点的坐标信息进行融合计算处理，得到修正处理后的第t帧图像的关键点的坐标信息。
图像处理模块430进一步适于：根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图。
显示模块440，适于显示处理后的第t帧图像。
上传模块450，适于将处理后的视频数据上传至云服务器。
上传模块450将处理后的视频数据可以直接上传至云服务器，具体的，上传模块450可以将处理后的视频数据上传至一个或多个的云视频平台服务器，如爱奇艺、优酷、快视频等云视频平台服务器，以供云视频平台服务器在云视频平台进行展示视频数据。或者上传模块450还可以将处理后的视频数据上传至云直播服务器，当有直播观看端的用户进入云直播服务器进行观看时，可以由云直播服务器将视频数据实时推送给观看用户客户端。或者上传模块450还可以将处理后的视频数据上传至云公众号服务器，当有用户关注该公众号时，由云公众号服务器将视频数据推送给公众号关注客户端；进一步，云公众号服务器还可以根据关注公众号的用户的观看习惯，推送符合用户习惯的视频数据给公众号关注客户端。
根据本发明上述实施例提供的装置，根据关键点的移动速度，选取静态模型或动态模型对利用神经网络预测得到的第t帧图像的关键点的坐标信息进行修正处理，根据修正处理后的第t帧图像的关键点的坐标信息在第t帧图像的部分区域中添加静态或动态效果贴图，克服了由于环境光线的变化或者预测算法不稳定性，导致预测出来的关键点在连续的视频帧图像中发生不规律的抖动的问题，而且还能够精准地为图像添加静态或动态效果贴图，克服了由于关键点的坐标信息不准确而导致的添加的效果贴图的位置不合理的问题，有效地改善了视频展示效果。
本申请还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的视频关键点实时处理方法。
图5示出了根据本发明一个实施例的一种计算设备的结构示意图，本发明具体实施例并不对计算设备的具体实现做限定。
如图5所示，该计算设备可以包括：处理器(processor)502、通信接口(communicationsinterface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述视频关键点实时处理方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述任意方法实施例中的视频关键点实时处理方法。程序510中各步骤的具体实现可以参见上述视频关键点实时处理实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的视频关键点实时处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。