图像处理方法、设备及存储介质与流程

本申请涉及图像处理技术，具体涉及一种图像处理方法、设备及计算机存储介质。

背景技术：

增强现实(ar，augmentedreality)技术可将真实环境中的实体信息(如视觉信息、声音信息等)进行系统模拟和仿真后得到虚拟环境，并将虚拟环境和真实环境进行叠加，显示在同一画面或空间中。虚拟现实(vr，virtualreality)现实技术可模拟出虚拟环境，使用户沉浸到该环境中。用户可通过佩戴ar或vr设备，在虚拟环境中体验身临其境的感受。在部分应用场景中如游戏场景，ar或vr设备会利用异步时间扭曲技术(atw，asynchronoustimewarp)来避免游戏画面产生的抖动。atw技术的原理是：在第一时刻下采集某应用场景下如游戏场景下的一张图像，并利用该张图像进行中间图像的生成，合成生成的中间图像和采集的图像，作为在第二时刻下ar或ar设备的输出图像并输出。其中，由于所采集的采集图像所体现的对应用场景的采集视角较为有限，获取到的应用场景的场景真实情况有限，所以会使得ar或ar设备在第二时刻下的输出图像存在伪影现象和黑边现象。

技术实现要素：

为解决现有存在的技术问题，本申请实施例提供一种图像处理方法、设备及计算机存储介质。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像处理方法，包括：

在设备处于第一时刻的情况下，获得至少四张现实场景图像，所述四张现实场景图像是针对同一现实场景的不同拍摄角度而得到；

对所述至少四张现实场景图像进行渲染，得到目标图像；

获得所述设备在第二时刻的位姿信息；

依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像。

上述方案中，所述获得所述设备在第二时刻的位姿信息，包括：

对所述设备在第二时刻的位姿信息进行预测。

上述方案中，所述依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像，包括：

依据所述设备在第二时刻的位姿信息，确定所述输出图像在目标图像上的裁剪或截取位置；

按照所述裁剪或截取位置，对目标图像进行裁剪或截取，得到所述输出图像。

上述方案中，所述依据所述设备在第二时刻的位姿信息，确定所述输出图像在目标图像上的裁剪或截取位置，包括：

获得所述设备在第一时刻下的输出图像及该图像在所述目标图像上的裁剪或截取位置；

获得所述设备在第一时刻的位姿信息；

依据所述设备在第一时刻和第二时刻的位姿信息，获得所述设备在第二时刻相对于第一时刻的位姿偏移信息；

依据所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置以及位姿偏移信息，确定所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。

上述方案中，所述依据所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置以及位姿偏移信息，确定所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置，包括：

依据所述位姿偏移信息，确定图像偏移信息；

在目标图像上按照图像偏移信息沿着所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置进行偏移，得到所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。

上述方案中，所述图像偏移信息包括图像偏移方向和图像像素偏移数量；所述依据所述位姿偏移信息，确定图像偏移信息，包括：

获得所述设备的输出分辨率信息以及视角信息；

确定所述设备从第一位姿变化至第二位姿产生的偏移方向和偏移角度；

依据所述偏移角度、输出分辨率信息以及视角信息，确定所述图像像素偏移数量；

依据所述偏移方向，确定所述图像偏移方向。

上述方案中，所述设备包括有至少四个虚拟摄像装置，各虚拟摄像装置设置在所述设备的不同位置处，通过位于不同位置处的所述至少四个虚拟摄像装置对现实场景进行图像采集而得到所述至少四张现实场景图像。

本申请实施例提供一种图像处理设备，包括：

第一获得单元，用于在设备处于第一时刻的情况下，获得至少四张现实场景图像，所述四张现实场景图像是针对同一现实场景的不同拍摄角度而得到；

渲染单元，用于对所述至少四张现实场景图像进行渲染，得到目标图像；

第二获得单元，用于获得所述设备在第二时刻的位姿信息；

第三获得单元，用于依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的图像处理方法的步骤。

本申请实施例提供一种图像处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前述的图像处理方法的步骤。

本申请实施例提供了一种图像处理方法、设备及计算机存储介质，在设备处于第一时刻的情况下，可获得针对同一现实场景的不同拍摄角度而得到的多张现实场景图像，通过对这些现实场景图像的渲染得到能够从更广视觉体现该同一现实场景的大视角图像，依据大视角图像以及设备在第二时刻的位姿信息，获得在第二时刻下设备的输出图像。与相关技术中的atw技术采集的采集图像所体现的对应用场景的采集视角较为有限的方案相比，本申请实施例中能够体现应用场景的更多场景真实情况，可使用具有更广视角的目标图像和设备在第二时刻的位姿信息得到的设备在第二时刻下的输出图像，不会出现伪影和黑边，为用户带来全新的视觉体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的图像处理方法的第一实现流程示意图；

图2为本申请实施例提供的图像处理方法的第二实现流程示意图；

图3为本申请实施例提供的图像处理方法的第三实现流程示意图；

图4为本申请实施例提供的虚拟摄像装置的拍摄视角示意图；

图5(a)、(b)及图5(c)为本申请实施例提供的应用场景示意图；

图6为本申请实施例提供的图像处理设备的组成结构示意图；

图7为本申请实施例提供的图像处理设备的硬件构成示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

相关技术中的atw技术会使得ar或vr设备输出的画面或图像存在伪影现象。从用户角度来看，伪影现象就是ar或vr设备输出的图像是抖动的画面、或是叠加错位的画面，带来了不好的视觉体验。atw技术会使得ar或vr设备输出的画面或图像存在黑边现象。从用户角度来看，黑边现象就是ar或vr设备输出图像的边缘是黑色的。本申请实施例提供的图像处理方法和设备至少能够避免ar或vr设备的输出画面出现伪影和黑边现象。

本申请实施例所说的设备可以是任何能够进行图像输出的设备，如ar设备、vr设备、手机、平板电脑、笔记本电脑、可穿戴式电子设备如智能手表或手环等。如果将前述的几种设备视为可移动的设备，那么本申请实施例的设备还可以是固定设备，如台式机、一体机、服务器等。本申请实施例优选的设备为ar或vr设备。

本申请提供一种图像处理方法的第一实施例，可应用于设备中，优选为应用于ar或vr设备中。如图1所示，所述方法包括：

s101：在设备处于第一时刻的情况下，获得至少四张现实场景图像，所述四张现实场景图像是针对同一现实场景的不同拍摄角度而得到；

为方便描述，本申请实施例中涉及到两个不同的时刻：第一时刻和第二时刻。对设备在第一时刻所处的现实场景进行图像拍摄，拍摄到至少四张现实场景图像。本步骤中拍摄的是多张图像如至少四张图像，且至少四张现实场景图像中的各张图像是从同一现实场景的不同拍摄角度进行拍摄而得到的。在实际应用中，从同一现实场景的不同拍摄角度拍摄出的各张图像，相当于用户站在不同的拍摄视角对现实场景进行相应角度的观看，可以从更多的角度看到现实场景中的更多信息，能够更全面的反映出现实场景中的真实情况。

s102：对所述至少四张现实场景图像进行渲染，得到目标图像；

本步骤中，渲染的过程可看成基于至少四张现实场景图像对这些图像所拍摄的现实场景进行还原的过程。如此，目标图像可看成基于至少四张现实场景图像对现实场景进行还原而得到的图像。可以理解，在s101中，针对同一现实场景，同一拍摄角度下可拍摄一张、两张或三张及以上的现实场景图像，假定一个拍摄角度下仅需要拍摄一张现实场景图像，那么对现实场景进行图像拍摄采用的拍摄角度越多，即拍摄的现实场景图像的数量越多，被还原出的现实场景图像将会更真实，更加贴近真实的现实场景。基于此，可将目标图像视为一个大视角图像，该图像可体现现实场景的多个视角。但是，考虑到拍摄的现实场景图像的数量越多，拍摄以及渲染的工作量越多，不利于设备的快速运算，且在拍摄的现实场景图像的数量达到一定程度的情况下所得到的大视角图像并无明显差异，则需要预先设置一个合理数量的拍摄角度和/或在每个拍摄角度下设置对现实场景图像的合理拍摄数量。

在具体实现上，所述设备包括有至少四个虚拟摄像装置如虚拟摄像头，各虚拟摄像装置设置在所述设备的不同位置处，通过位于不同位置处的所述至少四个虚拟摄像装置对现实场景进行图像采集而得到所述至少四张现实场景图像。示例性地，以虚拟摄像头的数量为四个为例，四个虚拟摄像头设置在设备的不同位置处，位于不同位置处的四个虚拟摄像头在各自所处的位置上、也即从不同的拍摄角度对同一现实场景进行图像拍摄，得到四张现实场景图像。相当于，预先将四个虚拟摄像头设置在四个拍摄角度，在每个拍摄角度拍摄一张现实场景图像，即可得到四张现实场景图像。当然，还可以预先设置其它合理数量的拍摄角度，设置在每个拍摄角度可拍摄两张或多张现实场景图像。对此不做具体限定。

s103：获得所述设备在第二时刻的位姿信息；

本步骤中，位姿信息包括设备在现实场景中所处的位置和姿态。

s104：依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像。

本步骤中，依据设备在第二时刻的位姿信息和基于对第一时刻拍摄到的至少四张现实场景图像的渲染而得到的目标图像，获得在第二时刻下所述设备的输出图像。

前述s101～s104中，在设备处于第一时刻的情况下，可获得针对同一现实场景的不同拍摄角度而得到的多张现实场景图像，通过对这些现实场景图像的渲染得到能够从更广视觉体现该同一现实场景的大视角图像，依据大视角图像以及设备在第二时刻的位姿信息，获得在第二时刻下设备的输出图像。其中，由于在第二时刻下设备的输出图像至少基于大视角图像而得到，与相关技术中的atw技术采集的采集图像所体现的对应用场景的采集视角较为有限的方案相比，本申请实施例中大视角图像可体现同一现实场景的更广视角，能够体现应用场景的更多场景真实情况，atw技术可使用具有更广视角的目标图像和设备在第二时刻的位姿信息得到的设备在第二时刻下的输出图像，与相关技术的有限视角相比，将会避免伪影和黑边的出现，为用户带来全新的视觉体验。此外，由于大视角图像可体现更广视角，设备在第二时刻下的输出图像依据大视角图像而得到，所以可提高设备在第二时刻下的输出图像的准确性。在一定程度上，本申请实施例的方案也可以看成依据(基于设备在第一时刻下拍摄到的现实场景图像而得到的)大视角图像和设备在第二时刻下的位姿信息，实现对设备在第二时刻下的图像的更准确输出。

在本方案中，如果没有特殊说明，本申请实施例中的设备均可视为ar或vr设备。其中，设备在现实场景中所处的位置即可视为在世界坐标系下所处的位置。用户的头部可佩戴ar或vr设备，ar或vr设备的姿态即为头部的姿态，如头部上扬，头部下低等，头部向左或向右转动等。

在一个可选的方案中，s103获得所述设备在第二时刻的位姿信息的方案可以下通过以下方式来实现：对ar或vr设备在第二时刻的位姿信息进行预测。

在设备为ar或vr的情况下，用户的头部佩戴ar或vr设备，ar或vr设备的位姿信息是由于用户的头部的运动而产生的，头部的位姿信息如头部所处的位置和姿态即可视为ar或vr设备的位姿信息。本申请实施例中，预先对用户可能的头部位姿信息进行获取，分析用户的头部运动特点，在使用时结合用户在第一时刻的头部位姿信息和分析出的头部运动特点，对设备在第二时刻的位置和姿态进行预测。在具体实现上，可根据分析出的头部运动特点预先建立用于预测位姿信息的神经网络模型，简称其为预测模型。在使用时，将用户在第一时刻佩戴ar或vr设备产生的头部位姿信息检测或感知出，并将检测或感知出的信息作为模型的输入，通过预测模型预测出用户的头部在第二时刻的运动信息。其中，用于预测位姿信息的神经网络模型可基于卷积神经网络-长短期记忆网络(cnn-lstm)算法而实现、或基于卡尔曼(kalman)滤波算法而实现，具体实现过程不做具体赘述。从前述方案可知，本申请实施例可基于对设备在第二时刻下的位姿进行预测，基于预测的位姿对第二设备在第二时刻下的输出图像进行预测并输出。相当于是一种预测第二时刻的输出图像的方案或是对第二时刻的输出图像进行预测的方案，可实现对图像的预测输出。且由于图像是基于大视角图像而预测出的，大视角图像体现了现实场景的更多视角，可在一定程度上提高图像的预测准确率，保证设备的图像输出准确性。

本申请提供的图像处理方法的另一实施例中，如图2所示，前述的s104依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像可通过如下方案来实现：

s1041：依据设备在第二时刻的位姿信息，确定所述输出图像在目标图像上的裁剪或截取位置；

s1042：按照所述裁剪或截取位置，对目标图像进行裁剪或截取，得到所述输出图像。

前述s1041～s1042方案中，目标图像为大视角图像，ar或vr设备在第二时刻下的输出图像可以对大视角图像进行裁剪或截取而得到。在裁剪或截取之前，还需要依据预测出的ar或vr设备在第二时刻的位姿信息，来确定在目标图像上的裁剪或截取位置，按照裁剪或截取位置对目标图像进行裁剪或截取。这种在大视角图像上直接进行输出图像的裁剪或截取的方案，在工程上易于实现，可行性高。

在一些方案中，s1041依据所述设备在第二时刻的位姿信息，确定所述输出图像在目标图像上的裁剪或截取位置的方案的具体实现过程可参见如图3所示：

s10411：获得所述设备在第一时刻下的输出图像及该图像在所述目标图像上的裁剪或截取位置；

可以理解，ar或vr设备在每个时刻均进行图像输出。在vr或ar设备进行第一时刻的图像的输出时，计算该输出图像在大视角图像在的裁剪或截取位置，也即确定该输出图像是在大视角图像的哪个位置进行裁剪或截取而得到的。

s10412：获得所述设备在第一时刻的位姿信息；

本步骤中，vr或ar设备在不同时刻所处的位姿可能相同，也可能不同，视为佩戴vr或ar设备的用户的头部的运动频率而定。ar或vr设备在第一时刻的位姿信息，也即在第一时刻下用户的头部运动信息可以是实时检测或感知到的，还可以是基于前述的用于预测位姿信息的神经网络模型进行预测而得到的。在预测的方案中，还需要获知在第一时刻之前的某个时刻下用户头部的位姿信息，将这个时刻下的头部位姿信息输入至预测模型即可得到在第一时刻下的头部位姿信息。在实时检测或感知到的方案中，ar或vr设备可以配置有用于检测位置的定位部件和用于检测姿态信息的姿态传感器。其中，定位部件可以是全球定位系统(gps)、全球导航卫星系统(glonass)等，可以用于检测在第一时刻下设备所处的位置。姿态传感器用于感知设备在第一时刻下所处的姿态信息。当然还可通过其它传感器或定位部件实现对位姿信息的检测或感知，对此不做具体限定。

s10411和s10412无严格的先后顺序，还可以同时进行。

s10413：依据所述设备在第一时刻和第二时刻的位姿信息，获得所述设备在第二时刻相对于第一时刻的位姿偏移信息；

本步骤中，依据ar或vr设备在两个时刻(第一时刻和第二时刻)的位姿信息，计算在后一时刻相对于前一时刻产生的位姿偏移。其中，在两个时刻中，将第一时刻视为第二时刻的前一时刻，将第二时刻视为第一时刻的后一时刻。

s10414：依据所述设备在第一时刻下的输出图像在目标图像上的裁剪或截取位置以及位姿偏移信息，确定所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。

本步骤中，结合ar或vr设备在第一时刻下的输出图像在目标图像上的裁剪或截取位置结合在两个时刻下产生的位姿偏移信息，对ar或vr设备在第二时刻下的输出图像在目标图像上的裁剪或截取位置进行计算。将ar或vr设备在第一时刻下的输出图像在目标图像上的裁剪或截取位置和在两个时刻下产生的位姿偏移信息进行结合，可保证第二时刻下的输出图像在目标图像上的裁剪或截取位置的计算准确性。

在一些实施例中，前述的s10414依据所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置以及位姿偏移信息，确定所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置，包括：

s10414a：依据所述位姿偏移信息，确定图像偏移信息；

s10414b：在目标图像上按照图像偏移信息沿着所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置进行偏移，得到所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。

前述方案中ar或vr设备在第二时刻的输出图像是在目标图像上截取或裁剪得到的，可依据设备在两个时刻产生的位姿偏移信息，确定在图像上第二时刻相对于第一时刻的输出图像产生何种方向和/或何种大小的偏移。相当于，在已知ar或vr设备在第一时刻下的输出图像在目标图像上的裁剪或截取位置和第二时刻在图像上需要偏移的信息，在目标图像上按照图像偏移信息沿着设备在第一时刻下的输出图像在目标图像上的裁剪或截取位置进行偏移，即可得到设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。这种在目标图像上按照图像偏移信息沿着设备在第一时刻下的输出图像在目标图像上的裁剪或截取位置进行偏移，得到设备在第二时刻的输出图像的裁剪或截取位置的方案，可保证设备在第二时刻输出的图像的准确性。

在一些实施例中，前述的图像偏移信息包括图像偏移方向和图像像素偏移数量，如此，依据位姿偏移信息既要确定图像偏移方向还要确定图像像素偏移数量。在具体实现上，前述的s10414a依据位姿偏移信息确定图像偏移信息可以通过如下技术方案来实现：获得设备的输出分辨率信息以及视角信息；确定设备从第一位姿变化至第二位姿产生的偏移方向和偏移角度；依据所述偏移角度、输出分辨率信息以及视角信息，确定所述图像像素偏移数量；依据所述偏移方向，确定所述图像偏移方向。本实施例中，在已经ar或vr设备在两个时刻下的位姿、具体是头部姿态的情况下，计算头部从在第一时刻下所处的位姿变化至在第二时刻下所处的位姿产生的偏移方向和偏移角度。可以理解，在两种时刻下，多数情况下，头部会产生转动，在产生转动的情况下，偏移方向和偏移角度是由于头部产生的转动而导致的方向和角度上的偏移。这里，如果将△w视为由于头部在两个时刻下的转动而产生的角度的偏移，fov为设备的视角信息，该视角信息可视为所有虚拟摄像装置的拍摄视角之和。r为ar或vr设备的显示装置的输出分辨率。通常ar或vr在出厂的情况下，fov和r就为已知值。在同时已知△w的情况下，可根据如下公式(1)即可计算出第二时刻下的图像像素偏移数量△f：

△f＝(△w/fov)×r(1)

对于图像的偏移方向，其与头部从在第一时刻下变化至在第二时刻下产生的偏移方向相反。例如，相对于第一时刻，如果在第二时刻头部是向着右手边的方向转动的即向右偏移，则需要在目标图像上沿着设备在第一时刻下的输出图像在目标图像上的裁剪或截取位置向左进行偏移。由此可依据头部从在第一时刻下所处的位姿变化至在第二时刻下所处的位姿产生的偏移方向和偏移角度，计算出在图像上的偏移方向和偏移像素的个数，并在目标图像上按照计算出的偏移方向和像素个数沿着设备在第一时刻下的输出图像在目标图像上的裁剪或截取位置进行偏移，即可得到设备在第二时刻的输出图像在目标图像上的裁剪或截取位置，实现了对裁剪或截取位置的准确计算，进而可保证第二时刻下的输出图像的准确性。

下面结合附图4和图5及以下应用场景对本申请实施例作进一步详细的说明。

本应用场景中，以ar设备具有四个虚拟摄像头为例，ar设备佩戴在用户的头部，四个虚拟摄像头中的其中两个可处在佩戴用户的眼部位置进行现实场景的图像的拍摄，也即这两个摄像头用于模拟人眼，拍摄人眼所看到的现实场景。此外，如果将两眼之间的距离视为单位1，四个虚拟摄像头中的另外两个摄像头可视为处在距离左眼、右眼的1/3处进行现实场景的拍摄。如图4所示，本应用场景中，由于头部转动的有限性，设置处在眼部位置进行现实场景拍摄的两个虚拟摄像头的拍摄范围为-57°～+57°，-57°～+57°中的正负表示以用户佩戴ar设备时眼睛所看正前方为参考基准轴，向左或向右可拍摄到的视觉范围。如果不考虑到正负，则这两个虚拟摄像头可拍摄的视觉范围之和最大是114°。如果在距离左眼、右眼的1/3处增加设置两个虚拟摄像头，则这两个增设的虚拟摄像头可将拍摄的视觉范围扩大，如图4所示，可将拍摄的视觉范围扩大到220°，对于前述公式(1)中的fov来说此时可取值为220°。相对于参考基准轴，不仅能够拍摄到视觉区域1，还能够拍摄到视角更广的场景，如图4中的视觉区域2。虚拟摄像头可拍摄的现实场景的视角更广，相当于采集到的现实场景信息更多，那么基于拍摄或采集的能够体现更多现实场景信息的图像进行第二时刻的输出图像的预测，可在一定程度上提高预测准确性。

可以理解，本应用场景下的四个摄像头为虚拟摄像头，其各自所处的位置可视为虚拟位置。本申请实施例中启用一应用，通过该应用的启动，来实现这四个虚拟摄像头的启用。在时刻1(第一时刻)到来时，启用的四个虚拟摄像头处在各自所处的虚拟位置上对当前的现实场景进行图像的采集。可以理解，由于四个虚拟摄像头在各自的虚拟位置上进行各自图像的采集，相当于站在不同的拍摄角度对同一现实场景图像进行拍摄。每个虚拟摄像头在各自的拍摄位置处可以拍摄一张图像，还可以拍摄两张或两张及以上的图像。ar设备利用多视图渲染(mvr，multi-viewrendering)技术将四个虚拟摄像头拍摄到的图像进行渲染，得到一个能够体现现实场景的更广视角的大视角图像，即前述的目标图像。以每个虚拟摄像头拍摄一张图像为例，ar设备调用mvr中的图形编程接口命令来调用图形处理器(gpu)进行图像渲染，将这四张图像渲染成一张能够更真实体现现实场景的大视角图像。如果将每个虚拟摄像头拍摄的图像视为一张独立图像，利用mvr技术可通过对4个独立图像的渲染，得到更真实体现现实场景的大视角图像。如图5(a)所示的图像即可视为被渲染出的目标图像。其中，渲染的过程可看成基于四张独立图像对现实场景进行还原的过程。由于目标图像可体现出现实场景的更广视觉，基于更广视角的目标图像，对ar设备在第二时刻下的输出图像进行预测并输出，与相关技术的ar仅能采集到有限视角的图像相比，将会避免伪影和黑边的出现。此外，由于大视角图像可体现更广视角，设备在第二时刻下的输出图像依据大视角图像而得到，所以可提高设备在第二时刻下图像的输出准确性。

前述方案为ar设备利用mvr技术对四个独立图像进行渲染得到的目标图像。在设备处于时刻1的情况下，ar设备可利用配置的定位部件定位出所处的位置、以及利用姿态传感器感知或检测出ar设备的姿态，得到ar设备在时刻1时所处的位姿。针对ar设备在时刻1的输出图像，存储该输出图像。

在ar设备利用mvr技术对四个独立图像进行渲染得到的目标图像之后，ar设备利用atw技术对目标图像进行处理，以得到在时刻2(第二时刻)的输出图像。具体的，ar设备利用时刻1的输出图像，确定出在目标图像上时刻1的输出图像所在的位置，这个位置可视为ar设备在时刻1下的输出图像在目标图像上的裁剪或截取位置。此外，ar设备利用前述的预测模型对用户头部在时刻2时所处的位姿进行预测，也即预测出在时刻2时头部所处的位置和姿态。假定计算出时刻1下的头部相对于参考基准轴产生的转动角度是w1，预测出时刻2下的头部相对于参考基准轴产生的转动角度是w2，则头部从在时刻1下所处的位姿变化至在时刻2下所处的位姿产生的偏移角度△w是△w＝w2-w1。在已知△w、fov和r的情况下，代入至前述公式(1)，得出图像像素偏移数量△f。如果头部从在时刻1下所处的位姿变化至在时刻2下所处的位姿产生的是头部向左偏移，则在目标图像上应该向右进行图像偏移。示例性地，假定△f＝2，则在目标图像上沿着ar设备在时刻1下的输出图像在目标图像上的裁剪或截取位置向右偏移2个像素点，向右偏移2个像素点后时刻1下的输出图像在目标图像上的裁剪或截取位置就可视为ar设备在时刻2的输出图像在目标图像上的裁剪或截取位置，从这个裁剪或截取位置(如图5(b)所示的黑框所在位置)对目标图像中的图像进行裁剪或截取，裁剪或截取出的图像即为ar设备在时刻2的输出图像，如图5(c)所示的图像。ar设备输出该图像。其中，按照计算出的偏移方向和像素个数进行偏移，实现了对裁剪或截取位置的准确计算，可保证时刻2下的输出图像的准确性。

由前述方案可知，本应用场景中的ar设备在利用atw技术的过程中，使用具有更广视角的目标图像进行ar设备时刻2下的输出图像的预测并输出，与相关技术的仅能采集到有限视角的图像相比，不会出现伪影和黑边。本应用场景所示的技术方案可视为利用具有更广视角的目标图像，对相关技术中的atw技术出现的图像的黑边或伪影进行改进的方案。应用本申请实施例中的技术方案，不仅能够避免ar设备输出图像的抖动，还能够避免输出图像的黑边或伪影的出现，为用户带来全新的视觉体验。本申请实施例不仅适合应用在静态的现实场景，更适合应用于动态的现实场景如ar游戏的场景。此外，由于目标图像可体现更广的视角，设备在第二时刻下的输出图像依据大视角图像而得到，所以可提高设备在第二时刻下的输出图像的预测与输出准确性。如此，只要佩戴ar设备的用户所处的现实环境未变，即可依据在前一时刻四个虚拟摄像头拍摄到的图像得到更广视角的目标图像，并依据目标图像和预测出的下一时刻ar设备在该现实场景中所处的位姿信息，准确预测出下一时刻ar设备输出的图像。

本申请实施例提供一种图像处理设备，如图6所示，所述设备包括：第一获得单元1001、渲染单元1002、第二获得单元1003、第三获得单元1004；其中，

第一获得单元1001，用于在设备处于第一时刻的情况下，获得至少四张现实场景图像，所述四张现实场景图像是针对同一现实场景的不同拍摄角度而得到；

渲染单元1002，用于对所述至少四张现实场景图像进行渲染，得到目标图像；

第二获得单元1003，用于获得所述设备在第二时刻的位姿信息；

第三获得单元1004，用于依据所述设备在第二时刻的位姿信息和目标图像，获得在第二时刻下所述设备的输出图像。

在一个可选的方案中，所述第二获得单元1003，用于对所述设备在第二时刻的位姿信息进行预测。

在一个可选的方案中，所述第三获得单元1004，用于依据所述设备在第二时刻的位姿信息，确定所述输出图像在目标图像上的裁剪或截取位置；

按照所述裁剪或截取位置，对目标图像进行裁剪或截取，得到所述输出图像。

在一个可选的方案中，所述第三获得单元1004，用于：

获得所述设备在第一时刻下的输出图像及该图像在所述目标图像上的裁剪或截取位置；

获得所述设备在第一时刻的位姿信息；

依据所述设备在第一时刻和第二时刻的位姿信息，获得所述设备在第二时刻相对于第一时刻的位姿偏移信息；

依据所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置以及位姿偏移信息，确定所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。

在一个可选的方案中，所述第三获得单元1004，用于：依据所述位姿偏移信息，确定图像偏移信息；

在目标图像上按照图像偏移信息沿着所述设备在第一时刻下的输出图像在所述目标图像上的裁剪或截取位置进行偏移，得到所述设备在第二时刻的输出图像在目标图像上的裁剪或截取位置。

在一个可选的方案中，所述第三获得单元1004，用于：

获得所述设备的输出分辨率信息以及视角信息；

确定所述设备从第一位姿变化至第二位姿产生的转动偏移方向和转动偏移角度；

依据所述转动偏移角度、输出分辨率信息以及视角信息，确定所述图像像素偏移数量；

依据所述转动偏移方向，确定所述图像偏移方向。

在一个可选的方案中，所述设备包括有至少四个虚拟摄像装置，各虚拟摄像装置设置在所述设备的不同位置处，第一获得单元1001通过利用位于不同位置处的所述至少四个虚拟摄像装置对现实场景进行图像采集而得到所述至少四张现实场景图像。

可以理解，所述图像处理设备中的第一获得单元1001、渲染单元1002、第二获得单元1003、第三获得单元1004在实际应用中均可由图像处理设备的中央处理器(cpu，centralprocessingunit)、数字信号处理器(dsp，digitalsignalprocessor)、微控制单元(mcu，microcontrollerunit)或可编程门阵列(fpga，field－programmablegatearray)实现。

需要说明的是，本申请实施例的图像处理设备，由于该图像处理设备解决问题的原理与前述的图像处理方法相似，因此，图像处理设备的实施过程及实施原理均可以参见前述图像处理方法的实施过程及实施原理描述，重复之处不再赘述。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时至少用于执行图1至图5任一所示方法的步骤。所述计算机可读存储介质具体可以为存储器。所述存储器可以为如图7所示的存储器62。

图7为本申请实施例的图像处理设备的硬件结构示意图，如图7所示，图像处理设备包括：用于进行数据传输的通信组件63、至少一个处理器61和用于存储能够在处理器61上运行的计算机程序的存储器62。终端中的各个组件通过总线系统64耦合在一起。可理解，总线系统64用于实现这些组件之间的连接通信。总线系统64除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统64。

其中，所述处理器61执行所述计算机程序时至少执行图1至图5任一所示方法的步骤。

可以理解，存储器62可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmableread-onlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom，electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram，ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom，compactdiscread-onlymemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，randomaccessmemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，staticrandomaccessmemory)、同步静态随机存取存储器(ssram，synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram，dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram，synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram，doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram，enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram，synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram，directrambusrandomaccessmemory)。本申请实施例描述的存储器62旨在包括但不限于这些和任意其它适合类型的存储器。

上述本申请实施例揭示的方法可以应用于处理器61中，或者由处理器61实现。处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器61可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器62，处理器61读取存储器62中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，图像处理设备可以被一个或多个应用专用集成电路(asic，applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld，programmablelogicdevice)、复杂可编程逻辑器件(cpld，complexprogrammablelogicdevice)、fpga、通用处理器、控制器、mcu、微处理器(microprocessor)、或其他电子元件实现，用于执行前述的图像处理方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。