全景视频插帧方法、装置及对应的存储介质与流程
本发明涉及图像处理技术领域，特别是涉及一种全景视频插帧方法、装置及对应的存储介质。
背景技术：
随着科技的发展，人们对视频图像的要求越来越高，因此一些公司研发出了各种全景视频处理方法以满足人们对高品质视频画面的要求。
其中用户制作慢动作全景视频时，为了提供慢动作全景视频的流畅性，需要提升全景视频的视频帧率，即需要对原始的全景视频进行插帧操作。现有的全景视频插帧方法直接通过经典的flownet-s，flownet-c或lite-flownet等基于神经网络的算法对插帧视频帧进行估算，占用系统内存较大且插帧视频帧的估算准确性较低。
故，有必要提供一种全景视频插帧方法及全景视频插帧装置，以解决现有技术所存在的问题。
技术实现要素：
本发明实施例提供一种占用系统内存少且插帧视频帧估算准确性较高的全景视频插帧方法及全景视频插帧装置；以解决现有的全景视频插帧方法及全景视频插帧装置的进行插帧视频帧估算时系统内容占用较大且插帧视频帧的估算准确性较低的技术问题。
本发明实施例提供一种全景视频插帧方法，其包括：
对全景视频前帧图像进行降采样处理，获取降采样前帧图像；对全景视频后帧图像进行降采样处理，获取降采样后帧图像；
将所述降采样前帧图像和所述降采样后帧图像输入至预设光流估计神经网络，以输出前后帧图像光流图以及后前帧图像光流图；
基于插帧位置、所述前后帧图像光流图以及所述后前帧图像光流图，计算出插帧前图像光流图以及插帧后图像光流图；
使用所述前后帧图像光流图对所述降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像；使用所述后前帧图像光流图对所述降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像；
将所述降采样前帧图像、所述降采样后帧图像、所述前后帧图像光流图、所述后前帧图像光流图、所述插帧前图像光流图、所述插帧后图像光流图、所述变换后降采样前帧图像、以及所述变换后降采样后帧图像输入到预设光流修正神经网络，以输出前后帧图像修正光流图，后前帧图像修正光流图以及图像遮挡关系图；
使用所述前后帧图像修正光流图对所述降采样前帧图像进行修正，以得到修正后降采样前帧图像；使用所述后前帧图像修正光流图对所述降采样后帧图像进行修正，以得到修正后降采样后帧图像；
对所述插帧前图像光流图进行上采样处理，得到上采样插帧前图像光流图；对所述插帧后图像光流图进行上采样处理，得到上采样插帧后图像光流图；
使用所述修正后降采样前帧图像、所述修正后降采样后帧图像、所述图像遮挡关系图、上采样插帧前图像光流图以及上采样插帧后图像光流图，计算所述插帧位置对应的插帧图像。
在本发明所述的全景视频插帧方法中，所述使用所述前后帧图像光流图对所述降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像步骤包括：
使用所述降采样后帧图像的第一端画面对所述降采样后帧图像的第二端画面进行连续拼接，使用所述降采样后帧图像的第二端画面对所述降采样后帧图像的第一端画面进行连续拼接，使用所述降采样后帧图像的第一侧画面对所述降采样后帧图像的第一侧画面进行镜像拼接，使用所述降采样后帧图像的第二侧图像对所述降采样后帧图像的第二侧图像进行镜像拼接，得到拼接降采样后帧图像；
使用所述前后帧图像光流图对所述拼接降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像；
所述使用所述后前帧图像光流图对所述降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像的步骤包括：
使用所述降采样前帧图像的第一端画面对所述降采样前帧图像的第二端画面进行连续拼接，使用所述降采样前帧图像的第二端画面对所述降采样前帧图像的第一端画面进行连续拼接，使用所述降采样前帧图像的第一侧画面对所述降采样前帧图像的第一侧画面进行镜像拼接，使用所述降采样前帧图像的第二侧图像对所述降采样前帧图像的第二侧图像进行镜像拼接，得到拼接降采样前帧图像；
使用所述后前帧图像光流图对所述拼接降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像。
在本发明所述的全景视频插帧方法中，所述基于插帧位置、所述前后帧图像光流图以及所述后前帧图像光流图，计算出插帧前图像光流图以及插帧后图像光流图的步骤包括：
获取所述插帧位置与所述降采样前帧图像的图像帧位置的第一帧数差、以及所述插帧位置与所述降采样后帧图像的图像帧位置的第二帧数差；
通过以下公式计算出插帧前图像光流图以及插帧后图像光流图：
其中
在本发明所述的全景视频插帧方法中，通过以下公式计算插帧位置对应的插帧图像：
其中iout为插帧图像，t1为第一帧数差，t2为第二帧数差，i1为修正后降采样前帧图像，i2为修正后降采样后帧图像，
在本发明所述的全景视频插帧方法中，所述对所述插帧前图像光流图进行上采样处理，得到上采样插帧前图像光流图的步骤包括：
获取所述插帧前图像光流图的两端的端像素；
以所述插帧前图像光流图的端像素的光流参数的光流参数临界值，均匀设置对应的上采样插帧前图像中的每个像素的光流参数，以得到所述上采样插帧前图像光流图；
所述对所述插帧后图像光流图进行上采样处理，得到上采样插帧后图像光流图的步骤包括：
获取所述插帧后图像光流图的两端的端像素；
以所述插帧后图像光流图的端像素的光流参数的光流参数临界值，均匀设置对应的上采样插帧后图像中的每个像素的光流参数，以得到所述上采样插帧后图像光流图。
本发明实施例还提供一种全景视频插帧装置，其包括：
降采样处理模块，用于对全景视频前帧图像进行降采样处理，获取降采样前帧图像；对全景视频后帧图像进行降采样处理，获取降采样后帧图像；
光流图输出模块，用于将所述降采样前帧图像和所述降采样后帧图像输入至预设光流估计神经网络，以输出前后帧图像光流图以及后前帧图像光流图；
插帧光流图计算模块，用于基于插帧位置、所述前后帧图像光流图以及所述后前帧图像光流图，计算出插帧前图像光流图以及插帧后图像光流图；
逆变换模块，用于使用所述前后帧图像光流图对所述降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像；使用所述后前帧图像光流图对所述降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像；
光流修正模块，用于将所述降采样前帧图像、所述降采样后帧图像、所述前后帧图像光流图、所述后前帧图像光流图、所述插帧前图像光流图、所述插帧后图像光流图、所述变换后降采样前帧图像、以及所述变换后降采样后帧图像输入到预设光流修正神经网络，以输出前后帧图像修正光流图，后前帧图像修正光流图以及图像遮挡关系图；
图像修正模块，用于使用所述前后帧图像修正光流图对所述降采样前帧图像进行修正，以得到修正后降采样前帧图像；使用所述后前帧图像修正光流图对所述降采样后帧图像进行修正，以得到修正后降采样后帧图像；
上采样处理模块，用于对所述插帧前图像光流图进行上采样处理，得到上采样插帧前图像光流图；对所述插帧后图像光流图进行上采样处理，得到上采样插帧后图像光流图；
插帧图像生成模块，用于使用所述修正后降采样前帧图像、所述修正后降采样后帧图像、所述图像遮挡关系图、上采样插帧前图像光流图以及上采样插帧后图像光流图，计算所述插帧位置对应的插帧图像。
在本发明所述的全景视频插帧装置中，所述逆变换模块包括：
第一拼接单元，用于使用所述降采样后帧图像的第一端画面对所述降采样后帧图像的第二端画面进行连续拼接，使用所述降采样后帧图像的第二端画面对所述降采样后帧图像的第一端画面进行连续拼接，使用所述降采样后帧图像的第一侧画面对所述降采样后帧图像的第一侧画面进行镜像拼接，使用所述降采样后帧图像的第二侧图像对所述降采样后帧图像的第二侧图像进行镜像拼接，得到拼接降采样后帧图像；
第一逆变换单元，用于使用所述前后帧图像光流图对所述拼接降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像；
第二拼接单元，用于使用所述降采样前帧图像的第一端画面对所述降采样前帧图像的第二端画面进行连续拼接，使用所述降采样前帧图像的第二端画面对所述降采样前帧图像的第一端画面进行连续拼接，使用所述降采样前帧图像的第一侧画面对所述降采样前帧图像的第一侧画面进行镜像拼接，使用所述降采样前帧图像的第二侧图像对所述降采样前帧图像的第二侧图像进行镜像拼接，得到拼接降采样前帧图像；
第二逆变换单元，用于使用所述后前帧图像光流图对所述拼接降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像。
在本发明所述的全景视频插帧装置中，所述插帧光流图计算模块包括：
帧数差获取单元，用于获取所述插帧位置与所述降采样前帧图像的图像帧位置的第一帧数差、以及所述插帧位置与所述降采样后帧图像的图像帧位置的第二帧数差；
插帧光流图计算单元，用于通过以下公式计算出插帧前图像光流图以及插帧后图像光流图：
其中
在本发明所述的全景视频插帧装置中，所述上采样处理模块包括：
第一端像素获取单元，用于获取所述插帧前图像光流图的两端的端像素；
第一上采样处理单元，用于以所述插帧前图像光流图的端像素的光流参数的光流参数临界值，均匀设置对应的上采样插帧前图像中的每个像素的光流参数，以得到所述上采样插帧前图像光流图；
第二端像素获取单元，用于获取所述插帧后图像光流图的两端的端像素；
第二上采样处理单元，用于以所述插帧后图像光流图的端像素的光流参数的光流参数临界值，均匀设置对应的上采样插帧后图像中的每个像素的光流参数，以得到所述上采样插帧后图像光流图。
本发明实施例还提供一种计算机可读存储介质，其内存储有处理器可执行指令，所述指令由一个或一个以上处理器加载，以执行上述任一全景视频插帧方法。
相较于现有技术的全景视频插帧方法及全景视频插帧装置，本发明的全景视频插帧方法及全景视频插帧装置基于全景视频前帧图像以及全景视频后帧图像的光流图进行插帧操作，可有效的降低系统内存的占用量且插帧视频帧的估算准确性较高，有效解决了现有的全景视频插帧方法及全景视频插帧装置的进行插帧视频帧估算时系统内容占用较大且插帧视频帧的估算准确性较低的技术问题。
附图说明
图1为本发明的全景视频插帧方法的一实施例的插帧操作流程；
图2为本发明的全景视频插帧方法的一实施例的步骤s103的流程图；
图3a为前帧图像变换到后帧图像的变换操作示意图；
图3b为后帧图像基于前后帧图像的光流图进行逆变换操作得到变换后的前帧图像的示意图；
图4a为本发明的全景视频插帧方法的一实施例的步骤s104的流程图；
图4b为本发明的全景视频插帧方法的一实施例的步骤s104中连续拼接以及镜像拼接的示意图；
图5为本发明的全景视频插帧方法的一实施例的步骤s107的流程图；
图6为插帧前图像光流图进行上采样处理的示意图；
图7为本发明的全景视频插帧装置的一实施例的结构示意图；
图8为本发明的全景视频插帧装置的一实施例的插帧光流图计算模块的结构示意图；
图9为本发明的全景视频插帧装置的一实施例的逆变换模块的结构示意图；
图10为本发明的全景视频插帧装置的一实施例的上采样处理模块的结构示意图；
图11为本发明的全景视频插帧装置所在的电子设备的工作环境结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中，本发明的具体实施例将参考由一部或多部计算机所执行之作业的步骤及符号来说明，除非另有述明。因此，其将可了解到这些步骤及操作，其中有数次提到为由计算机执行，包括了由代表了以一结构化型式中的数据之电子信号的计算机处理单元所操纵。此操纵转换该数据或将其维持在该计算机之内存系统中的位置处，其可重新配置或另外以本领域技术人员所熟知的方式来改变该计算机之运作。该数据所维持的数据结构为该内存之实体位置，其具有由该数据格式所定义的特定特性。但是，本发明原理以上述文字来说明，其并不代表为一种限制，本领域技术人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本发明的全景视频插帧方法及全景视频插帧装置可设置在任何的电子设备中，用于对全景视频图像进行插帧操作，以形成高帧率流畅的全景视频。该电子设备包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(pda)、媒体播放器等等）、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。该全景视频插帧装置优选为对全景视频图像进行插帧操作的图像处理终端或图像处理服务器，其基于全景视频前帧图像以及全景视频后帧图像的光流图进行插帧操作，可有效的降低系统内存的占用量且插帧视频帧的估算准确性较高。
请参照图1，图1为本发明的全景视频插帧方法的一实施例的插帧操作流程。本实施例的全景视频插帧方法可使用上述的电子设备进行实施，本实施例的全景视频插帧方法包括：
步骤s101，对全景视频前帧图像进行降采样处理，获取降采样前帧图像；对全景视频后帧图像进行降采样处理，获取降采样后帧图像；
步骤s102，将降采样前帧图像和降采样后帧图像输入至预设光流估计神经网络，以输出前后帧图像光流图以及后前帧图像光流图；
步骤s103，基于插帧位置、前后帧图像光流图以及后前帧图像光流图，计算出插帧前图像光流图和插帧后图像光流图；
步骤s104，使用前后帧图像光流图对降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像；使用后前帧图像光流图对降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像；
步骤s105，将降采样前帧图像、降采样后帧图像、前后帧图像光流图、后前帧图像光流图、插帧前图像光流图、插帧后图像光流图、变换后降采样前帧图像、以及变换后降采样后帧图像输入到预设光流修正神经网络，以输出前后帧图像修正光流图、后前帧图像修正光流图以及图像遮挡关系图；
步骤s106，使用前后帧图像修正光流图对降采样前帧图像进行修正，以得到修正后降采样前帧图像；使用后前帧图像修正光流图对降采样后帧图像进行修正，以得到修正后降采样后帧图像；
步骤s107，对插帧图像光流图进行上采样处理，得到上采样插帧前图像光流图；对插帧后图像光流图进行上采样处理，得到上采样插帧后图像光流图；
步骤s108，使用修正后降采样前帧图像、修正后降采样后帧图像、图像遮挡关系图、上采样插帧前图像光流图以及上采样插帧后图像光流图，计算插帧位置对应的插帧图像。
下面详细说明本实施例的全景视频插帧方法的全景视频插帧流程。
在步骤s101中，全景视频插帧装置（如图像处理终端）获取全景视频前帧图像以及全景视频后帧图像，后续需要对全景视频前帧图像以及全景视频后帧图像进行插帧操作。
随后全景视频插帧装置对全景视频前帧图像进行降采样处理，获取降采样前帧图像；如沿全景视频前帧图像的水平中心线降全景视频前帧画面分割为两部分，每一部分均为一降采样前帧图像。由于降采样前帧图像的分辨率较低，从而可以加快图像处理速度，节省内存。
同时全景视频插帧装置对全景视频后帧图像进行降采样处理，获取降采样后帧图像。
在步骤s102中，全景视频插帧装置将降采样前帧图像和降采样后帧图像输入值预设光流估计神经网络中，以使得预设光流估计神经网络输出前后帧图像光流图以及后前帧图像光流图。
光流是指空间运动物体在成像平面上的像素运动的瞬时速度。通过光流可利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一图像帧与当前图像帧之间存在的对应关系，从而计算出相邻图像帧之间物体的运动信息。
光流图是指图像中所有像素点构成的一种二维瞬时速度场，其中的二维速度矢量是图像中可见点的三维速度矢量在成像平面上的投影，因此光流图可包括被观察物体的运动信息以及被观察物体的三维结构信息。
这里通过预设光流估计神经网络，全景视频插帧装置可计算出由降采样前帧图像的像素点到降采样后帧图像的对应像素点的前后帧图像光流图、以及由降采样后帧图像的像素点到降采样前帧图像的对应像素点的后前帧图像光流图，
在步骤s103中，全景视频插帧装置基于插帧位置、前后帧图像光流图以及后前帧图像光流图，计算出插帧前图像光流图以及插帧后图像光流图。
由于在全景视频前帧图像以及全景视频后帧图像之间会均匀设置多个插帧图像。因此可通过插帧图像与全景视频前帧图像以及全景视频后帧图像之间的帧数差来确定该插帧图像的插帧位置。
因此请参照图2，图2为本发明的全景视频插帧方法的一实施例的步骤s103的流程图。该步骤s103包括：
步骤s201，全景视频插帧装置获取插帧位置与降采样前帧图像的图像帧位置的第一帧数差、以及插帧位置与降采样后帧图像的图像帧位置的第二帧数差。
如降采样前帧图像和降采样后帧图像之间将设置三个插帧图像（四倍插帧操作），则第一个插帧图像与降采样前帧图像的第一帧数差为一，第一个插帧图像与降采样后帧图像的第二帧数差为三；第二个插帧图像与降采样前帧图像的第一帧数差为二，第二个插帧图像与降采样后帧图像的第二帧数差为二；第三个插帧图像与降采样前帧图像的第一帧数差为三，第三个插帧图像与降采样后帧图像的第二帧数差为一。
步骤s202，全景视频插帧装置通过以下公式计算出插帧前图像光流图以及插帧后图像光流图。
其中
在步骤s104中，全景视频插帧装置使用步骤s102获取的前后帧图像光流图对降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像；并使用步骤s102获取的后前帧图像光流图对降采样前帧图像进行逆变换操作，得到变化后降采样后帧图像。
这里的逆变换操作是指图像处理领域的warp操作，即扭曲变换操作。请参照图3a，图3a为前帧图像变换到后帧图像的变换操作示意图，其中前帧图像中的像素点a（4,2）通过变换操作转到了后帧图像中的像素点a（4,3），前帧图像中的像素点b（1,3）通过变换操作转到了后帧图像中的像素点b（1,2），因此前帧图像中像素点a（4,2）对应的光流为（0,1），前帧图像中像素点b（1,3）对应的光流为（0，-1），随后对前帧图像的各个像素进行变换操作，即可得到前后帧图像的光流图。
请参照图3b，图3b为后帧图像基于前后帧图像的光流图进行逆变换操作得到变换后的前帧图像的示意图。其中后帧图像中的像素点b’（1,2）通过逆变化操作转到了前帧图像的像素点b’（1,3），后帧图像的中的像素点a’（4,3）通过逆变化操作转到了前帧图像的像素点a’（4,2），这样可基于前后帧图像的光流图配合线性插值以及最邻近操作，通过逆变换可以得到一变换后的前帧图像，如图3b所示。
由图3a和图3b中的像素点可知，对图像进行逆变换操作时，前后帧图像光流图以及后前帧图像光流图往往会超出图像边缘，这样导致部分图像边缘像素的逆变换操作无法进行，因此在本步骤中需要对降采样后帧图像以及将降采样前帧图像进行边缘填充操作。
具体请参照图4a，图4a为本发明的全景视频插帧方法的一实施例的步骤s104的流程图。该步骤s104包括：
步骤s401，由于降采样后帧图像的第一端画面41（水平端画面）和第二端画面42（水平端画面）是连续的（360度全景），因此全景视频插帧装置使用降采样后帧图像的第一端画面41对降采样后帧图像的第二端画面42进行连续拼接，同时使用降采样后帧图像的第二端画面42对降采样后帧图像的第一端画面41进行连续拼接。
这里的连续拼接是指将第二端画面42按全景展示角度连续的拼接到第一端画面41的外侧，同时将第一端画面41按全景展示角度连续的拼接到第二端画面42的外侧，这样可以保证第一端画面41和第二端画面42中图像的连续性，具体如图4b所示。
由于降采样后帧图像的第一侧画面43（垂直端画面）和第二侧画面44（垂直端画面）不是连续的，因此全景视频插帧装置使用降采样后帧图像的第一侧画面43对降采样后帧图像的第一侧画面43进行镜像拼接，同时使用降采样后帧图像的第二侧画面44对降采样后帧图像的第二侧画面44进行镜像拼接。
这里的镜像拼接是指将第一侧画面43按第一侧边为中心轴进行镜像处理后，拼接到第一侧画面43的外侧，即第一侧画面43外侧的图像与第一侧画面43内侧的图像相对第一侧边为镜像图像；同理将第二侧画面44按第二侧边为中心轴进行镜像处理后，拼接到第二侧画面44的外侧。这样可以保证第一侧画面43和第二侧画面44中图像的连续性，具体如图4b所示。
降采样后帧图像的第一端、第二端、第一侧、第二侧均拼接完毕，则得到拼接降采样后帧图像。
步骤s402，全景视频插帧装置使用前后帧图像光流图对步骤s401得到的拼接降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像。
步骤s403，全景视频插帧装置使用降采样前帧图像的第一端画面对降采样前帧图像的第二端画面进行连续拼接，同时使用降采样前帧图像的第二端画面对降采样前帧图像的第一端画面进行连续拼接。
全景视频插帧装置使用降采样前帧图像的第一侧画面对降采样前帧图像的第一侧画面进行镜像拼接，同时使用降采样前帧图像的第二侧画面对降采样前帧图像的第二侧画面进行镜像拼接。
降采样前帧图像的第一端、第二端、第一侧、第二侧均拼接完毕，则得到拼接降采样前帧图像。
步骤s404，全景视频插帧装置使用后前帧图像光流图对步骤s403得到的拼接降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像。
该变换后降采样前帧图像可用于对降采样前帧图像进行修正，该变换后降采样后帧图像可用于对降采样后帧图像进行修正。
在步骤s105中，全景视频插帧装置将步骤s101获取的降采样前帧图像、降采样后帧图像，步骤s102获取的前后帧图像光流图、后前帧图像光流图，步骤s103获取的插帧前图像光流图、插帧后图像光流图，以及步骤s104获取的变换后降采样前帧图像、变换后降采样后帧图像输入到预设光流修正神经网络中。
该预设光流修正神经网络通过全景视频插帧画面的正负样本训练得出，其通过输入上述参数可输出修正光流图以及前后帧图像的遮挡关系图。这里的遮挡关系图是指生成插帧图像时，前后帧画面的那些像素点可以显示出来，那些像素点需要被消隐掉，即处理运动视频的中像素遮挡。
随后预设光流修正神经网络输出前后帧图像修正光流图、后前帧图像修正光流图以及图像遮挡关系图。
在步骤s106中，全景视频插帧装置使用步骤s105获取的前后帧图像修正光流图对降采样前帧图像进行修正，得到修正后降采样前帧图像。同时全景视频插帧装置使用步骤s105获取的后前帧图像修正光流图对降采样后帧图像进行修正，得到修正后降采样后帧图像。
该修正后降采样前帧图像以及修正后降采样后帧图像可有效的避免插帧操作中像素点的丢失，以及可与对应的光流图进行匹配。
在步骤s107中，全景视频插帧装置对插帧前图像光流图进行上采样处理，得到上采样插帧前图像光流图；同时全景视频插帧装置对插帧后图像光流图进行上采样处理，得到上采样插帧后图像光流图。
该光流图的上采样过程请参照图5，图5为本发明的全景视频插帧方法的一实施例的步骤s107的流程图。该步骤s107包括：
步骤s501，全景视频插帧装置获取插帧前图像光流图的两端的端像素。
步骤s502，全景视频插帧装置以插帧前图像光流图的端像素的光流参数的光流参数临界值，均匀设置对应的上采样插帧前图像中的每个像素的光流参数，以得到上采样插帧前图像光流图。
请参照图6，图6为插帧前图像光流图进行上采样处理的示意图。如需要进行在插帧前图像光流图中每行的四个像素上采样为八个像素，插帧前图像光流图的像素排列示意图如图6中b行所示，现有技术的上采样过程则如图6中a行所示，本实施例的上采样过程如图6中c行所示，先将插帧前图像光流图中每行的两个端像素的光流参数设置为两个光流参数临界值，该两个光流参数临界值构成了光流参数临界范围。然后在光流参数临界范围内均匀设置上采样插帧前图像的每行像素的光流参数。由于上采样插帧前图像的每行像素均是基于光流参数临界值生成，且位于光流参数临界范围内，可有效的避免对上采样插帧前图像的边缘像素进行光流参数的估算，从而避免了插帧图像的像素点发生偏移。
步骤s503，全景视频插帧装置获取插帧后图像光流图的两端的端像素。
步骤s504，全景视频插帧装置以插帧后图像光流图的端像素的光流参数的光流参数临界值，均匀设置对应的上采样插帧后图像中的每个像素的光流参数，以得到上采样插帧后图像光流图。具体操作流程请详见步骤s502。
在步骤s108中，全景视频插帧装置使用步骤s106获取的修正后降采样前帧图像、修正后降采样后帧图像，步骤s105获取的图像遮挡关系图，步骤s107获取的上采样插帧前图像光流图以及上采样插帧后图像光流图，计算插帧位置对应的插帧图像。
具体的，可通过以下公式计算插帧位置对应的插帧图像：
其中iout为插帧图像，t1为第一帧数差，t2为第二帧数差，i1为修正后降采样前帧图像，i2为修正后降采样后帧图像，
随后返回到步骤s103变换插帧位置继续计算其他插帧位置的插帧图像。
这样即完成了在全景视频前帧图像和全景视频后帧图像之间设置插帧图像的操作。
本实施例的全景视频插帧方法基于全景视频前帧图像以及全景视频后帧图像的光流图进行插帧操作，可有效的降低系统内存的占用量且插帧视频帧的估算准确性较高。
本发明还提供一种全景视频插帧装置，请参照图7，图7为本发明的全景视频插帧装置的一实施例的结构示意图。本实施例的全景视频插帧装置可使用上述的全景视频插帧方法进行实施，该全景视频插帧装置70包括降采样处理模块71、光流图输出模块72、插帧光流图计算模块73、逆变换模块74、光流修正模块75、图像修正模块76、上采样处理模块77以及插帧图像生成模块78。
降采样处理模块71用于对全景视频前帧图像进行降采样处理，获取降采样前帧图像；对全景视频后帧图像进行降采样处理，获取降采样后帧图像；光流图输出模块72用于将降采样前帧图像和降采样后帧图像输入至预设光流估计神经网络，以输出前后帧图像光流图以及后前帧图像光流图；插帧光流图计算模块73用于基于插帧位置、前后帧图像光流图以及后前帧图像光流图，计算出插帧前图像光流图以及插帧后图像光流图；逆变换模块74用于使用前后帧图像光流图对降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像；使用后前帧图像光流图对降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像；光流修正模块75用于将降采样前帧图像、降采样后帧图像、前后帧图像光流图、后前帧图像光流图、插帧前图像光流图、插帧后图像光流图、变换后降采样前帧图像、以及变换后降采样后帧图像输入到预设光流修正神经网络，以输出前后帧图像修正光流图，后前帧图像修正光流图以及图像遮挡关系图；图像修正模块76用于使用前后帧图像修正光流图对降采样前帧图像进行修正，以得到修正后降采样前帧图像；使用后前帧图像修正光流图对降采样后帧图像进行修正，以得到修正后降采样后帧图像；上采样处理模块77用于对插帧前图像光流图进行上采样处理，得到上采样插帧前图像光流图；对插帧后图像光流图进行上采样处理，得到上采样插帧后图像光流图；插帧图像生成模块78用于使用修正后降采样前帧图像、修正后降采样后帧图像、图像遮挡关系图、上采样插帧前图像光流图以及上采样插帧后图像光流图，计算插帧位置对应的插帧图像。
请参照图8，图8为本发明的全景视频插帧装置的一实施例的插帧光流图计算模块的结构示意图。该插帧光流图计算模块73包括帧数差获取单元81以及插帧光流图计算单元82。
帧数差获取单元81用于获取插帧位置与降采样前帧图像的图像帧位置的第一帧数差、以及插帧位置与降采样后帧图像的图像帧位置的第二帧数差；插帧光流图计算单元82用于计算出插帧前图像光流图以及插帧后图像光流图。
请参照图9，图9为本发明的全景视频插帧装置的一实施例的逆变换模块的结构示意图。逆变换模块74包括第一拼接单元91、第一逆变换单元92、第二拼接单元93以及第二逆变换单元94。
第一拼接单元91用于使用降采样后帧图像的第一端画面对降采样后帧图像的第二端画面进行连续拼接，使用降采样后帧图像的第二端画面对降采样后帧图像的第一端画面进行连续拼接，使用降采样后帧图像的第一侧画面对降采样后帧图像的第一侧画面进行镜像拼接，使用降采样后帧图像的第二侧图像对降采样后帧图像的第二侧图像进行镜像拼接，得到拼接降采样后帧图像；第一逆变换单元92用于使用前后帧图像光流图对拼接降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像；第二拼接单元93用于使用降采样前帧图像的第一端画面对降采样前帧图像的第二端画面进行连续拼接，使用降采样前帧图像的第二端画面对降采样前帧图像的第一端画面进行连续拼接，使用降采样前帧图像的第一侧画面对降采样前帧图像的第一侧画面进行镜像拼接，使用降采样前帧图像的第二侧图像对降采样前帧图像的第二侧图像进行镜像拼接，得到拼接降采样前帧图像；第二逆变换单元94用于使用后前帧图像光流图对拼接降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像。
请参照图10，图10为本发明的全景视频插帧装置的一实施例的上采样处理模块的结构示意图。该上采样处理模块77包括第一端像素获取单元101、第一上采样处理单元102、第二端像素获取单元103以及第二上采样处理单元104。
第一端像素获取单元101用于获取插帧前图像光流图的两端的端像素；第一上采样处理单元102用于以插帧前图像光流图的端像素的光流参数为光流参数临界值，均匀设置对应的上采样插帧前图像中的每个像素的光流参数，以得到上采样插帧前图像光流图；第二端像素获取单元103用于获取插帧后图像光流图的两端的端像素；第二上采样处理单元104用于以插帧后图像光流图的端像素的光流参数为光流参数临界值，均匀设置对应的上采样插帧后图像中的每个像素的光流参数，以得到上采样插帧后图像光流图。
本实施例的全景视频插帧装置70进行插帧图像操作时，降采样处理模块71获取全景视频前帧图像以及全景视频后帧图像，后续需要对全景视频前帧图像以及全景视频后帧图像进行插帧操作。
随后降采样处理模块71对全景视频前帧图像进行降采样处理，获取降采样前帧图像；如沿全景视频前帧图像的水平中心线降全景视频前帧画面分割为两部分，每一部分均为一降采样前帧图像。由于降采样前帧图像的分辨率较低，从而可以加快图像处理速度，节省内存。
同时降采样处理模块71对全景视频后帧图像进行降采样处理，获取降采样后帧图像。
随后光流图输出模块72将降采样前帧图像和降采样后帧图像输入值预设光流估计神经网络中，以使得预设光流估计神经网络输出前后帧图像光流图以及后前帧图像光流图。
然后插帧光流图计算模块73基于插帧位置、前后帧图像光流图以及后前帧图像光流图，计算出插帧前图像光流图以及插帧后图像光流图。
具体流程包括：
插帧光流图计算模块73的帧数差获取单元81获取插帧位置与降采样前帧图像的图像帧位置的第一帧数差、以及插帧位置与降采样后帧图像的图像帧位置的第二帧数差。
插帧光流图计算模块73的插帧光流图计算单元82通过以下公式计算出插帧前图像光流图以及插帧后图像光流图。
其中
随后逆变换模块74使用前后帧图像光流图对降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像；并使用后前帧图像光流图对降采样前帧图像进行逆变换操作，得到变化后降采样后帧图像。
由图3a和图3b中的像素点可知，对图像进行逆变换操作时，前后帧图像光流图以及后前帧图像光流图往往会超出图像边缘，这样导致部分图像边缘像素的逆变换操作无法进行，因此需要对降采样后帧图像以及将降采样前帧图像进行边缘填充操作。
该边缘填充操作的流程包括：
逆变换模块74的第一拼接单元91使用降采样后帧图像的第一端画面对降采样后帧图像的第二端画面进行连续拼接，同时使用降采样后帧图像的第二端画面对降采样后帧图像的第一端画面进行连续拼接。
第一拼接单元91使用降采样后帧图像的第一侧画面对降采样后帧图像的第一侧画面进行镜像拼接，同时使用降采样后帧图像的第二侧画面对降采样后帧图像的第二侧画面进行镜像拼接。
降采样后帧图像的第一端、第二端、第一侧、第二侧均拼接完毕，则得到拼接降采样后帧图像。
逆变换模块74的第一逆变换单元92使用前后帧图像光流图对拼接降采样后帧图像进行逆变换操作，得到变换后降采样前帧图像。
逆变换模块74的第二拼接单元93使用降采样前帧图像的第一端画面对降采样前帧图像的第二端画面进行连续拼接，同时使用降采样前帧图像的第二端画面对降采样前帧图像的第一端画面进行连续拼接。
第二拼接单元93使用降采样前帧图像的第一侧画面对降采样前帧图像的第一侧画面进行镜像拼接，同时使用降采样前帧图像的第二侧画面对降采样前帧图像的第二侧画面进行镜像拼接。
降采样前帧图像的第一端、第二端、第一侧、第二侧均拼接完毕，则得到拼接降采样前帧图像。
逆变换模块74的第二逆变换单元94使用后前帧图像光流图对拼接降采样前帧图像进行逆变换操作，得到变换后降采样后帧图像。
该变换后降采样前帧图像可用于对降采样前帧图像进行修正，该变换后降采样后帧图像可用于对降采样后帧图像进行修正。
然后光流修正模块75将降采样前帧图像、降采样后帧图像、前后帧图像光流图、后前帧图像光流图、插帧前图像光流图、插帧后图像光流图，变换后降采样前帧图像、以及变换后降采样后帧图像输入到预设光流修正神经网络中。
该预设光流修正神经网络通过全景视频插帧画面的正负样本训练得出，其通过输入上述参数可输出修正光流图以及前后帧图像的遮挡关系图。这里的遮挡关系图是指生成插帧图像时，前后帧画面的那些像素点可以显示出来，那些像素点需要被消隐掉，即处理运动视频的中像素遮挡。
随后预设光流修正神经网络输出前后帧图像修正光流图、后前帧图像修正光流图以及图像遮挡关系图。
然后图像修正模块76使用前后帧图像修正光流图对降采样前帧图像进行修正，得到修正后降采样前帧图像。同时使用后前帧图像修正光流图对降采样后帧图像进行修正，得到修正后降采样后帧图像。
该修正后降采样前帧图像以及修正后降采样后帧图像可有效的避免插帧操作中像素点的丢失，以及可与对应的光流图进行匹配。
随后上采样处理模块77对插帧前图像光流图进行上采样处理，得到上采样插帧前图像光流图；同时全景视频插帧装置对插帧后图像光流图进行上采样处理，得到上采样插帧后图像光流图。
该上采样操作的流程包括：
上采样处理模块77的第一端像素获取单元101获取插帧前图像光流图的两端的端像素。
上采样处理模块77的第一上采样处理单元102以插帧前图像光流图的端像素的光流参数的光流参数临界值，均匀设置对应的上采样插帧前图像中的每个像素的光流参数，以得到上采样插帧前图像光流图。
上采样处理模块77的第二端像素获取单元103获取插帧后图像光流图的两端的端像素。
上采样处理模块77的第二上采样处理单元104以插帧后图像光流图的端像素的光流参数的光流参数临界值，均匀设置对应的上采样插帧后图像中的每个像素的光流参数，以得到上采样插帧后图像光流图。
然后插帧图像生成模块78使用修正后降采样前帧图像、修正后降采样后帧图像、图像遮挡关系图、上采样插帧前图像光流图以及上采样插帧后图像光流图，计算插帧位置对应的插帧图像。
具体的，可通过以下公式计算插帧位置对应的插帧图像：
其中iout为插帧图像，t1为第一帧数差，t2为第二帧数差，i1为修正后降采样前帧图像，i2为修正后降采样后帧图像，
随后返回到插帧光流图计算模块73，变换插帧位置继续计算其他插帧位置的插帧图像。
这样即完成了本实施例的全景视频插帧装置在全景视频前帧图像和全景视频后帧图像之间设置插帧图像的操作。
本实施例的全景视频插帧装置的具体工作原理与上述的全景视频插帧方法的实施例中的描述相同或相似，具体请参见上述全景视频插帧方法的实施例中的相关描述。
本实施例的全景视频插帧装置基于全景视频前帧图像以及全景视频后帧图像的光流图进行插帧操作，可有效的降低系统内存的占用量且插帧视频帧的估算准确性较高。
本发明的全景视频插帧方法及全景视频插帧装置基于低分辨率光流图进行插帧以及重构操作，其输入全景视频前帧图像以及全景视频后帧图像的光流图，并依据该光流图在原始图像分辨率下进行插帧。这样可保证获取的插帧图像的高分辨率，且降低了内存使用率、减少了插帧操作的运算量。
本发明的全景视频插帧方法及全景视频插帧装置基于全景视频前帧图像以及全景视频后帧图像的光流图进行插帧操作，可有效的降低系统内存的占用量且插帧视频帧的估算准确性较高，有效解决了现有的全景视频插帧方法及全景视频插帧装置的进行插帧视频帧估算时系统内容占用较大且插帧视频帧的估算准确性较低的技术问题。
如本申请所使用的术语“组件”、“模块”、“系统”、“接口”、“进程”等等一般地旨在指计算机相关实体：硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是运行在处理器上的进程、处理器、对象、可执行应用、执行的线程、程序和／或计算机。通过图示，运行在控制器上的应用和该控制器二者都可以是组件。一个或多个组件可以有在于执行的进程和／或线程内，并且组件可以位于一个计算机上和／或分布在两个或更多计算机之间。
图11和随后的讨论提供了对实现本发明所述的全景视频插帧装置所在的电子设备的工作环境的简短、概括的描述。图11的工作环境仅仅是适当的工作环境的一个实例并且不旨在建议关于工作环境的用途或功能的范围的任何限制。实例电子设备1112包括但不限于可穿戴设备、头戴设备、医疗健康平台、个人计算机、服务器计算机、手持式或膝上型设备、移动设备(比如移动电话、个人数字助理(pda)、媒体播放器等等）、多处理器系统、消费型电子设备、小型计算机、大型计算机、包括上述任意系统或设备的分布式计算环境，等等。
尽管没有要求，但是在“计算机可读指令”被一个或多个电子设备执行的通用背景下描述实施例。计算机可读指令可以经由计算机可读介质来分布（下文讨论）。计算机可读指令可以实现为程序模块，比如执行特定任务或实现特定抽象数据类型的功能、对象、应用编程接口(api)、数据结构等等。典型地，该计算机可读指令的功能可以在各种环境中随意组合或分布。
图11图示了包括本发明的全景视频插帧装置中的一个或多个实施例的电子设备1112的实例。在一种配置中，电子设备1112包括至少一个处理单元1116和存储器1118。根据电子设备的确切配置和类型，存储器1118可以是易失性的(比如ram)、非易失性的（比如rom、闪存等）或二者的某种组合。该配置在图11中由虚线1114图示。
在其他实施例中，电子设备1112可以包括附加特征和／或功能。例如，设备1112还可以包括附加的存储装置（例如可移除和／或不可移除的），其包括但不限于磁存储装置、光存储装置等等。这种附加存储装置在图11中由存储装置1120图示。在一个实施例中，用于实现本文所提供的一个或多个实施例的计算机可读指令可以在存储装置1120中。存储装置1120还可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以载入存储器1118中由例如处理单元1116执行。
本文所使用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括以用于存储诸如计算机可读指令或其他数据之类的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。存储器1118和存储装置1120是计算机存储介质的实例。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字通用盘(dvd)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储设备、或可以用于存储期望信息并可以被电子设备1112访问的任何其他介质。任意这样的计算机存储介质可以是电子设备1112的一部分。
电子设备1112还可以包括允许电子设备1112与其他设备通信的通信连接1126。通信连接1126可以包括但不限于调制解调器、网络接口卡(nic)、集成网络接口、射频发射器／接收器、红外端口、usb连接或用于将电子设备1112连接到其他电子设备的其他接口。通信连接1126可以包括有线连接或无线连接。通信连接1126可以发射和／或接收通信媒体。
术语“计算机可读介质”可以包括通信介质。通信介质典型地包含计算机可读指令或诸如载波或其他传输机构之类的“己调制数据信号”中的其他数据，并且包括任何信息递送介质。术语“己调制数据信号”可以包括这样的信号：该信号特性中的一个或多个按照将信息编码到信号中的方式来设置或改变。
电子设备1112可以包括输入设备1124，比如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外相机、视频输入设备和／或任何其他输入设备。设备1112中也可以包括输出设备1122，比如一个或多个显示器、扬声器、打印机和／或任意其他输出设备。输入设备1124和输出设备1122可以经由有线连接、无线连接或其任意组合连接到电子设备1112。在一个实施例中，来自另一个电子设备的输入设备或输出设备可以被用作电子设备1112的输入设备1124或输出设备1122。
电子设备1112的组件可以通过各种互连（比如总线）连接。这样的互连可以包括外围组件互连(pci)(比如快速pci)、通用串行总线(usb)、火线(ieee1394)、光学总线结构等等。在另一个实施例中，电子设备1112的组件可以通过网络互连。例如，存储器1118可以由位于不同物理位置中的、通过网络互连的多个物理存储器单元构成。
本领域技术人员将认识到，用于存储计算机可读指令的存储设备可以跨越网络分布。例如，可经由网络1128访问的电子设备1130可以存储用于实现本发明所提供的一个或多个实施例的计算机可读指令。电子设备1112可以访问电子设备1130并且下载计算机可读指令的一部分或所有以供执行。可替代地，电子设备1112可以按需要下载多条计算机可读指令，或者一些指令可以在电子设备1112处执行并且一些指令可以在电子设备1130处执行。
本文提供了实施例的各种操作。在一个实施例中，所述的一个或多个操作可以构成一个或多个计算机可读介质上存储的计算机可读指令，其在被电子设备执行时将使得计算设备执行所述操作。描述一些或所有操作的顺序不应当被解释为暗示这些操作必需是顺序相关的。本领域技术人员将理解具有本说明书的益处的可替代的排序。而且，应当理解，不是所有操作必需在本文所提供的每个实施例中存在。
而且，尽管已经相对于一个或多个实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件（例如元件、资源等）执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能（例如其在功能上是等价的）的任意组件（除非另外指示），即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或多个其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的方法。
综上所述，虽然本发明已以实施例揭露如上，实施例前的序号仅为描述方便而使用，对本发明各实施例的顺序不造成限制。并且，上述实施例并非用以限制本发明，本领域的普通技术人员，在不脱离本发明的精神和范围内，均可作各种更动与润饰，因此本发明的保护范围以权利要求界定的范围为准。
- 还没有人留言评论。精彩留言会获得点赞！