全景视频图像处理方法、装置、电子设备及介质与流程

1.本公开涉及图像处理技术领域，具体涉及一种全景视频图像处理方法、装置、电子设备及介质。


背景技术：

2.随着全景相机技术的不断发展，全景相机的应用也越来越广泛。例如，在旅游业、安防领域等部署全景相机，通过全景相机向用户实时传送全景视频流，就能实现全景视频直播。
3.相关技术中，全景相机设置有4个拍摄摄像头，每个镜头对应的传感器分别获取图像帧，全景相机通过无线通信模块将采集的图像帧发送至云端服务器，云端服务器将采集的图像帧拼接后通过通信模块发送至用户设备。如此，在处于直播模式的场景下，全景相机可以持续采集连续的图像帧，并通过云端服务器拼接后再发送给用户设备，以实现全景视频的实时输出。
4.针对上述拼接全景视频的过程，需要进行图像配准和图像拼接，但在直播系统中持续的图像配准计算将带来巨大的延迟效应。目前，可以通过使用半静态更新的拼接参数以降低全景视频的拼接延迟，即直接沿用前一图像帧的拼接参数到当前图像帧的拼接过程，但在图像内容发生改变，尤其是在图像的边界区域内发生较大改变时，旧的拼接参数可能不再适用，而沿用旧的拼接参数将出现严重的拼接错误，从而会导致出现拼接后的图像质量较差的问题。
5.如此，在保证降低全景视频的延迟的前提下，如何提高拼接后的图像质量成为亟待解决的问题。


技术实现要素：

6.为了解决相关技术中的问题，本公开实施例提供一种全景视频图像处理方法、装置、电子设备及介质。
7.第一方面，本公开实施例中提供了一种全景视频图像处理方法。
8.具体地，所述方法包括：
9.获取目标预测拼接参数，所述目标预测拼接参数为第一时刻之后的目标时刻对应的拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的n个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像；
10.获取n个目标图像帧，所述n个目标图像帧为通过所述n个摄像头在所述目标时刻分别采集的图像；
11.根据所述目标预测拼接参数，对所述n个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。
12.在本公开实施例一实施方式中，所述获取目标预测拼接参数，包括：
13.获取n个第一边缘图像帧和n个第二边缘图像帧，所述n个第一边缘图像帧中在相邻拍摄位置采集的任意两个第一边缘图像帧存在第一重叠图像区域，所述n个第二边缘图像帧中在相邻拍摄位置采集的任意两个第二边缘图像帧存在第二重叠图像区域，所述n个第一边缘图像帧为通过所述n个摄像头在所述第一时刻采集的图像，所述第二边缘图像帧中的每个第二边缘图像帧为所述n个第一边缘图像帧中与其对应的一个第一边缘图像帧的前一帧图像；
14.针对每个所述第一边缘图像帧，基于光流估计网络，对所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧进行光流估计，以获取在所述目标时刻的n个光流估计帧；
15.根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先训练的拼接参数变化预测网络，获取拼接参数变化预测结果信息；
16.根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数。
17.在本公开实施例一实施方式中，所述根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数，包括：
18.在所述拼接参数变化预测结果信息指示拼接参数未发生变化的情况下，将在所述第一时刻的第二全景视频图像对应的拼接参数确定为所述目标预测拼接参数。
19.在本公开实施例一实施方式中，所述根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数，包括：
20.在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，获取所述目标预测拼接参数。
21.在本公开实施例一实施方式中，在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，获取所述目标预测拼接参数，包括：
22.在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，针对每个所述第一边缘图像帧，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先获取的图像生成网络，得到n个所述第一边缘图像帧分别对应的预测图像帧；
23.采用图像配准算法和图像拼接算法，对n个所述预测图像帧进行处理，得到预测拼接图像；
24.根据所述预测拼接图像，得到所述目标预测拼接参数。
25.在本公开实施例一实施方式中，所述获取n个第一边缘图像帧和n个第二边缘图像帧之前，所述方法还包括：
26.获取n个第一图像帧和n个第二图像帧，所述n个第一图像帧中的每个第一图像帧为所述n个摄像头中的一个摄像头在所述第一时刻采集的全尺寸图像，所述n个第二图像帧中的每个第二图像帧为所述n个摄像头中的一个摄像头在第二时刻采集的全尺寸图像，所述第二时刻为与所述第一时刻相邻的前一时刻；
27.所述获取n个第一边缘图像帧和n个第二边缘图像帧，包括：
28.根据所述第一重叠图像区域，分别对所述n个第一图像帧裁剪，得到所述n个第一边缘图像帧；
29.根据所述第二重叠图像区域，分别对所述n个第二图像帧裁剪，得到所述n个第二边缘图像帧。
30.第二方面，本公开实施例中提供了一种全景视频图像处理装置。
31.具体地，所述装置包括：
32.第一获取模块，被配置为获取目标预测拼接参数，所述目标预测拼接参数为第一时刻之后的目标时刻对应的拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的n个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像；
33.第二获取模块，被配置为获取n个目标图像帧，所述n个目标图像帧为通过所述n个摄像头在所述目标时刻分别采集的图像；
34.处理模块，被配置为根据所述目标预测拼接参数，对所述n个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。
35.在本公开实施例一实施方式中，所述第一获取模块，具体被配置为：
36.获取n个第一边缘图像帧和n个第二边缘图像帧，所述n个第一边缘图像帧中在相邻拍摄位置采集的任意两个第一边缘图像帧存在第一重叠图像区域，所述n个第二边缘图像帧中在相邻拍摄位置采集的任意两个第二边缘图像帧存在第二重叠图像区域，所述n个第一边缘图像帧为通过所述n个摄像头在所述第一时刻采集的图像，所述第二边缘图像帧中的每个第二边缘图像帧为所述n个第一边缘图像帧中与其对应的一个第一边缘图像帧的前一帧图像；
37.针对每个所述第一边缘图像帧，基于光流估计网络，对所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧进行光流估计，以获取在所述目标时刻的n个光流估计帧；
38.根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先训练的拼接参数变化预测网络，获取拼接参数变化预测结果信息；
39.根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数。
40.在本公开实施例一实施方式中，所述第一获取模块，具体被配置为：
41.在所述拼接参数变化预测结果信息指示拼接参数未发生变化的情况下，将在所述第一时刻的第二全景视频图像对应的拼接参数确定为所述目标预测拼接参数。
42.在本公开实施例一实施方式中，所述第一获取模块，具体被配置为：
43.在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，获取所述目标预测拼接参数。
44.在本公开实施例一实施方式中，所述第一获取模块，具体被配置为：
45.在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，针对每一所述第一边缘图像帧，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先获取的图像生成网络，得到n个所述第一
边缘图像帧分别对应的预测图像帧；
46.采用图像配准算法和图像拼接算法，对n个所述预测图像帧进行处理，得到预测拼接图像；
47.根据所述预测拼接图像，得到所述目标预测拼接参数。
48.在本公开实施例一实施方式中，所述装置还包括：
49.第三获取模块，被配置为获取n个第一图像帧和n个第二图像帧，所述n个第一图像帧中的每个第一图像帧为所述n个摄像头中的一个摄像头在所述第一时刻采集的全尺寸图像，所述n个第二图像帧中的每个第二图像帧为所述n个摄像头中的一个摄像头在第二时刻采集的全尺寸图像，所述第二时刻为与所述第一时刻相邻的前一时刻；
50.所述第一获取模块，具体被配置为根据所述第一重叠图像区域，分别对所述n个第一图像帧裁剪，得到所述n个第一边缘图像帧；根据所述第二重叠图像区域，分别对所述n个第二图像帧裁剪，得到所述n个第二边缘图像帧。
51.第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如第一方面和第一方面的可能实现方式中任一项所述的方法。
52.第四方面，本公开实施例中提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令被处理器执行时实现如第一方面和第一方面的可能实现方式中任一项所述的方法。
53.根据本公开实施例提供的技术方案，获取目标预测拼接参数，所述目标预测拼接参数为第一时刻之后的目标时刻对应的拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的n个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像；获取n个目标图像帧，所述n个目标图像帧为通过所述n个摄像头在所述目标时刻分别采集的图像；根据所述目标预测拼接参数，对所述n个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。通过该方案，可以根据历史图像的拼接参数的变化情况精准预测未来时刻的拼接参数，从而可以使用精准预测的拼接参数拼接未来时刻获取的多个图像。如此，与相关技术中相比，在保证降低全景视频图像的延迟的前提下，提高了拼接后的图像质量。
54.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
55.结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
56.图1示出根据本公开实施例的全景视频图像处理方法的流程图；
57.图2示出根据本公开实施例的获取光流估计帧的过程示意图；
58.图3示出根据本公开实施例的获取拼接参数变化预测结果信息的过程示意图；
59.图4示出根据本公开实施例的获取目标预测拼接参数的过程示意图；
60.图5示出根据本公开实施例的全景视频图像处理装置的结构框图；
61.图6示出根据本公开的实施例的电子设备的结构框图；
62.图7示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
具体实施方式
63.下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
64.在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
65.另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
66.在本公开中，如涉及对用户信息或用户数据的获取操作或向他人展示用户信息或用户数据的操作，则所述操作均为经用户授权、确认，或由用户主动选择的操作。
67.上文中提及，随着全景相机技术的不断发展，全景相机的应用也越来越广泛。例如，在旅游业、安防领域等部署全景相机，通过全景相机向用户实时传送全景视频流，就能实现全景视频直播。
68.相关技术中，全景相机设置有4个拍摄摄像头，每个镜头对应的传感器分别获取图像帧，全景相机通过无线通信模块将采集的图像帧发送至云端服务器，云端服务器将采集的图像帧拼接后通过通信模块发送至用户设备。如此，在处于直播模式的场景下，全景相机可以持续采集连续的图像帧，并通过云端服务器拼接后再发送给用户设备，以实现全景视频的实时输出。
69.针对上述拼接全景视频的过程，需要进行图像配准和图像拼接，但在直播系统中持续的图像配准计算将带来巨大的延迟效应。目前，可以通过使用半静态更新的拼接参数以降低全景视频的拼接延迟，即直接沿用前一图像帧的拼接参数到当前图像帧的拼接过程，但在图像内容发生改变，尤其是在图像的边界区域内发生较大改变时，旧的拼接参数可能不再适用，而沿用旧的拼接参数将出现严重的拼接错误，从而会导致出现拼接后的图像质量较差的问题。
70.如此，在保证降低全景视频的延迟的前提下，如何提高拼接后的图像质量成为亟待解决的问题。
71.基于上述技术缺陷，本公开实施例提供了一种全景视频图像处理方法，可以获取目标预测拼接参数，所述目标预测拼接参数为第一时刻之后的目标时刻对应的拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的n个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像；并获取n个目标图像帧，所述n个目标图像帧为通过所述n个摄像头在所述目标时刻分别采集的图像；以及根据所述目标预测拼接参数，对所述n个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。通过该方案，可以根据历史图像的拼接参数的变化情况精准预测未来时刻的拼接参数，从而可以使用精准预测的拼接参数拼接未来时刻获取的多个图像。如此，与相关技术中相比，在保证降低全景视频图像的延迟的前提下，提高了拼接后的图像质量。
72.图1示出根据本公开的实施例的全景视频图像处理方法的流程图。如图1所示，所
述全景视频图像处理方法包括以下s101-s103：
73.在s101中，获取目标预测拼接参数。
74.其中，所述目标预测拼接参数为第一时刻之后的目标时刻对应的拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的n个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像。
75.在s102中，获取n个目标图像帧。
76.其中，所述n个目标图像帧为通过所述n个摄像头在所述目标时刻分别采集的图像；
77.在s103中，根据所述目标预测拼接参数，对所述n个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。
78.在本公开一实施方式中，所述全景视频图像处理方法可适用于进行全景视频图像处理的全景相机、或全景相机对应的云服务器等。
79.在本公开一实施方式中，所述全景相机包括底部立柱和顶部全景相机。底部立柱内部包括电池模块、控制模块、通信模块；顶部包括多个透镜组以及对应的图像传感器和图像信号处理器(image signal processor，isp)。其中，控制模块用于控制相机的启动、拍摄以及图像处理。当然，控制模块可以单独或同时控制每个透镜组及对应的图像传感器和图像信号处理器。
80.在本公开一实施方式中，本公开实施例中所涉及的全景相机可以理解为是360度全景相机。
81.在本公开一实施方式中，所述目标时刻可以为与所述第一时刻相邻的下一时刻，或者，为与所述第一时刻间隔预设时长的时刻。
82.进一步地，由于所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，因此可以通过历史图像预测全景相机在未来某个时刻获取的图像对应的拼接参数。
83.需要说明的是，在公开实施例中，通过设置目标时刻、以及与所述第一时刻相邻的下一时刻之间的时差，来确保在获取到n个目标图像帧之后，已预先获取到与其对应的拼接参数。
84.另外，对于所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，可以参照下述实施例中的具体描述，本公开实施例在此不予赘述。
85.在本公开实施例中，所述获取n个目标图像帧具体可以如下两种的实施情况：
86.(情况1)通过全景相机设置在不同方向的n个摄像头在所述目标时刻分别采集图像，并通过所述n个摄像头中每个摄像头对应的图像传感器获取所采集的图像，即获取n个目标图像帧。
87.需要说明的是，上述情况是针对于本公开实施例提供的全景视频图像处理方法应用于全景相机。
88.(情况2)接收全景相机发送的n个目标图像帧。
89.需要说明的是，上述情况是针对于本公开实施例提供的全景视频图像处理方法应用于全景相机对应的云服务器。
90.在本公开一实施方式中，所述目标预测拼接参数的数量可以为一个或多个。当所述目标预测拼接参数的数量为一个时，采用同一目标预测拼接参数对所述n个目标图像帧进行图像拼接；当所述目标预测拼接参数的数量为多个时，分别采用多个拼接参数，对所述n个目标图像帧中的对应图像帧进行图像拼接。
91.在本公开一实施方式中，通过不同图像传感器获取的所述n个目标图像帧存在重叠区域图像。图像拼接是指将所述n个目标图像帧的重叠区域图像融合以拼成一幅无缝的全景图像，即得到第一全景视频图像。
92.在本公开一实施方式中，在s103之后，本公开实施例提供的全景视频图像处理方法还可以包括：将所述第一全景视频图像发送至全景相机的云服务器。如此，通过云服务器可以将第一全景视频图像发送给用户设备，以实现全景视频直播。
93.本公开实施例提供一种全景视频图像处理方法，获取目标预测拼接参数，所述目标预测拼接参数为第一时刻之后的目标时刻对应的拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的n个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像；获取n个目标图像帧，所述n个目标图像帧为通过所述n个摄像头在所述目标时刻分别采集的图像；根据所述目标预测拼接参数，对所述n个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。通过该方案，可以根据历史图像的拼接参数的变化情况精准预测未来时刻的拼接参数，从而可以使用精准预测的拼接参数拼接未来时刻获取的多个图像。如此，与相关技术中相比，在保证降低全景视频图像的延迟的前提下，提高了拼接后的图像质量。
94.可选地，在本公开一种可能的实现方式中，所述s101，具体可以包括如下在s101a至s101d：
95.在s101a中，获取n个第一边缘图像帧和n个第二边缘图像帧。
96.其中，所述n个第一边缘图像帧中在相邻拍摄位置采集的任意两个第一边缘图像帧存在第一重叠图像区域，所述n个第二边缘图像帧中在相邻拍摄位置采集的任意两个第二边缘图像帧存在第二重叠图像区域，所述n个第一边缘图像帧为通过所述n个摄像头在所述第一时刻采集的图像，所述第二边缘图像帧中的每个第二边缘图像帧为所述n个第一边缘图像帧中与其对应的一个第一边缘图像帧的前一帧图像。
97.在s101b中，针对每个所述第一边缘图像帧，基于光流估计网络，对所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧进行光流估计，以获取在所述目标时刻的n个光流估计帧。
98.在s101c中，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先训练的拼接参数变化预测网络，获取拼接参数变化预测结果信息。
99.在s101d中，根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数。
100.在本公开一实施方式中，所述光流估计网络可以理解为是深度光流估计网络。例如，所述光流估计网络为flownet2.0。
101.在本公开一实施方式中，所述拼接参数变化预测网络用于指示根据采集的历史图像和所述历史图像对应的光流估计帧得到的拼接参数变化情况。
102.在本公开一实施方式中，所述拼接参数变化预测网络可以理解为是u-net。
103.在本公开一实施方式中，根据在第一时刻和第二时刻采集的历史图像作为输入，并根据光流估计网络获得历史图像对应的光流估计信息，并构成一个训练网络的输入，计作x；进一步，计算目标时刻的拼接参数以及第一时刻的拼接参数，如果拼接参数相同，则记录一个输出数据y＝1，如果拼接参数不同，则记录一个输出数据y＝0。这样就构建了一组训练数据(x,y)。如此，借助现有的处理模块获得大量的训练数据，用于训练所述拼接参数变化预测网络。
104.在本公开一实施方式中，一种可能的情况，所述所述拼接参数变化预测结果信息指示拼接参数未发生变化；另一种可能的情况，所述所述拼接参数变化预测结果信息指示拼接参数发生变化。
105.可以理解的是，针对上述两种可能的情况，获取的所述目标预测拼接参数不同。如此，可以根据拼接参数变化预测网络预测的拼接参数变化情况，精准获取相应的所述目标预测拼接参数。
106.在本公开一实施方式中，当所述光流估计帧的像素值为0时，这意味着图像保持相对静止，则所述拼接参数变化预测结果信息指示拼接参数未发生变化。
107.在本公开一实施方式中，所述拼接参数变化预测网络可以理解为是用于预测拼接参数是否需要重制时，即拼接参数变化预测网络作为一个分类器，获取的所述拼接参数变化预测结果信息不同取值指示拼接参数是否发生变化。
108.示例性地，假设获取的所述拼接参数变化预测结果信息为y1，y1的不同取值指示拼接参数是否发生变化。当y1＝0时，表示拼接参数发生变化。
109.进一步地，如果在图像的每个像素点设置一个值y
ab
，因此当获取所述拼接参数变化预测结果信息为y
ab
时，y
ab
用于指示第(a，b)个像素的拼接参数是否发生变化；如果在图像的每行像素设置一个值ya，因此当获取所述拼接参数变化预测结果信息为ya时，ya用于指示第a行像素的拼接参数是否发生改变。
110.在该实施方式中，可以获取n个第一边缘图像帧和n个第二边缘图像帧；并针对每个所述第一边缘图像帧，基于光流估计网络，对所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧进行光流估计，以获取在所述目标时刻的n个光流估计帧；且根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先训练的拼接参数变化预测网络，获取拼接参数变化预测结果信息；以及根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数。如此，可以根据拼接参数变化预测网络预测的拼接参数变化情况，精准获取相应的所述目标预测拼接参数。
111.可选地，在本公开一种可能的实现方式中，在上述s101a之前，本公开实施例提供的全景视频图像处理方法还可以包括s104；相应地，上述s101a具体可以通过下述步骤(1)和步骤(2)实现：
112.在s104中，获取n个第一图像帧和n个第二图像帧，所述n个第一图像帧中的每个第一图像帧为所述n个摄像头中的一个摄像头在所述第一时刻采集的全尺寸图像，所述n个第二图像帧中的每个第二图像帧为所述n个摄像头中的一个摄像头在第二时刻采集的全尺寸图像，所述第二时刻为与所述第一时刻相邻的前一时刻；
113.步骤(1)根据所述第一重叠图像区域，分别对所述n个第一图像帧裁剪，得到所述n
个第一边缘图像帧；
114.步骤(2)根据所述第二重叠图像区域，分别对所述n个第二图像帧裁剪，得到所述n个第二边缘图像帧。
115.在本公开实施例中，所述获取n个第一图像帧和n个第二图像帧具体可以如下两种的实施情况：
116.(情况1)通过全景相机设置在不同方向的n个摄像头分别在第一时刻和第二时刻采集图像，并通过所述n个摄像头中每个摄像头对应的图像传感器获取所采集的图像，即获取n个第一图像帧和n个第二图像帧。
117.需要说明的是，上述情况是针对于本公开实施例提供的全景视频图像处理方法应用于全景相机。
118.(情况2)接收全景相机发送的n个第一图像帧和n个第二图像帧。
119.需要说明的是，上述情况是针对于本公开实施例提供的全景视频图像处理方法应用于全景相机对应的云服务器。
120.需要说明的是，由于图像拼接的基础是通过对重叠区域进行图像配准运算，因此计算目标拼接参数并不需要对完整的图像帧进行预测，从而需要对通过所述n个摄像头分别采集的图像进行裁剪。
121.在本公开一实施方式中，所述第一重叠图像区域为所述n个第一图像帧中通过相邻位置摄像头采集的任意两个第一图像帧的重叠图像区域。
122.进一步地，所述第一重叠图像区域可以包括一个或多个重叠图像区域。在所述第一重叠图像区域包括多个重叠图像区域的情况下，该多个重叠图像区域的尺寸和内容可能相同或不同。具体根据实际使用情况确定，本公开实施例对此不作限定。
123.对所述第二重叠图像区域的说明，可以参照上述实施例对所述第一重叠图像区域的相关描述，本公开实施例对此不再赘述。
124.在该实施方式中，可以获取n个第一图像帧和n个第二图像帧，并根据所述第一重叠图像区域，分别对所述n个第一图像帧裁剪，得到所述n个第一边缘图像帧，以及根据所述第二重叠图像区域，分别对所述n个第二图像帧裁剪，得到所述n个第二边缘图像帧。如此，可以根据重叠图像区域，对n个摄像头在不同时刻采集的图像进行裁剪，以得到裁剪后图像以便于预测未来某时刻的拼接参数。
125.示例一，以n＝2、目标时刻为tp时刻为例。如图2所示为获取光流估计帧的过程示意图。在第一时刻t1，通过传感器1获取图像帧a1且通过传感器2获取图像帧b1，即获取2个第一图像帧；在第二时刻t0，通过传感器1获取图像帧an且通过传感器2获取图像帧bn，即获取2个第二图像帧。根据a1和b1的第一重叠图像区域，分别对a1和b1裁剪，得到ac-1、bc-1，即得到2个第一边缘图像帧；根据an和bn的第二重叠图像区域，分别对an和bn裁剪，得到ac-n、bc-n，即得到2个第二边缘图像帧。
126.进一步地，使用光流估计网络flownet2.0，对ac-1、ac-n、bc-1和bc-n进行光流估计，以获得在tp时刻的光流估计帧ap、bp。
127.再进一步地，如图3所示为获取拼接参数变化预测结果信息的过程示意图。将传感器1的两个图像帧ac-1、ac-n和光流估计帧ap，以及传感器2的两个图像帧bc-1、bc-n和光流估计帧bp组织成一个输入图像矩阵，输入预先训练的拼接参数变化预测网络u-net，以获取
所述拼接参数变化预测结果信息。
128.如此，可以根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数。
129.进一步地，在本公开实施例中，上述s101d可以两种可能的实现方式，具体如下：
130.一种可能的实现方式：
131.在s101d1中，在拼接参数变化预测结果信息指示拼接参数未发生变化的情况下，将在所述第一时刻的第二全景视频图像对应的拼接参数确定为所述目标预测拼接参数。
132.在本公开一实施方式中，可以通过全景相机的n个摄像头在第一时刻分别采集图像，以得到n个图像帧；通过在所述第一时刻之前的时刻获取的历史图像得到的拼接参数的变化情况确定拼接参数，根据所述拼接参数对所述n个图像帧进行图像拼接，以得到所述第二全景视频图像。
133.可以理解的是，将在所述第一时刻的第二全景视频图像对应的拼接参数确定为所述目标预测拼接参数，即意味着目标时刻的图像和第一时刻的图像保持相对静止。
134.在该实施方式，在拼接参数变化预测结果信息指示拼接参数未发生变化的情况下，将在所述第一时刻的第二全景视频图像对应的拼接参数确定为所述目标预测拼接参数，即通过直接沿用前一帧图像的拼接参数对未来时刻获取的多个图像进行图像拼接，从而能够大幅度降低全景视频的拼接延迟，给全景视频直播带来较好的体验。
135.另一种可能的实现方式：
136.在s101d2中，在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，获取所述目标预测拼接参数。
137.在本公开一实施方式中，所述拼接参数变化预测结果信息指示拼接参数发生变化，可以具体包括如下可能的场景：
138.(1)第(a，b)个像素的拼接参数发生变化。
139.(2)第a行像素的拼接参数发生改变。
140.在该实施方式中，在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，获取所述目标预测拼接参数，从而通过提前获取未来时刻用于图像拼接的拼接参数以降低全景视频图像生成的时延，也保证了图像拼接的质量。
141.可选地，在本公开实施例中，上述s101d2，具体可以包括如下步骤(a)至步骤(c)：
142.步骤(a)在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，针对每个所述第一边缘图像帧，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先获取的图像生成网络，得到n个所述第一边缘图像帧分别对应的预测图像帧。
143.步骤(b)采用图像配准算法和图像拼接算法，对n个所述预测图像帧进行处理，得到预测拼接图像。
144.步骤(c)根据所述预测拼接图像，得到所述目标预测拼接参数。
145.可选地，本公开实施例中的所述图像生成网络可以理解为是一个自编码机，例如，所述图像生成网络为u-net。
146.在本公开一实施方式中，所述图像配准算法是指对每幅图像进行特征点识别，并
利用重叠区域的图像进行特征点匹配，并完成配准过程的。具体可以参照相关技术中的描述，本公开实施例对此不作限定。
147.示例二，结合上述实施例中的示例一。如图4所示为获取目标预测拼接参数的过程示意图。在获取到在所述拼接参数变化预测结果信息之后，在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，根据ac-1、ac-n、以及对应的所述光流估计帧ap，基于预先获取的图像生成网络u-net，得到预测图像帧apf，并根据bc-1、bc-n、以及对应的所述光流估计帧bp，基于预先获取的图像生成网络u-net，得到预测图像帧bpf。采用图像配准算法和图像拼接算法，对apf和bpf进行处理，得到预测拼接图像；根据所述预测拼接图像，得到所述目标预测拼接参数sp。
148.如此，可以使用sp对在目标时刻获取的n个n个目标图像帧进行图像拼接，得到第一全景视频图像。
149.需要说明的是，所述目标预测拼接参数是从n个预测图像帧内提取了特征点后进行配准和拼接计算得到的。
150.在该实施方式中，在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，针对每个所述第一边缘图像帧，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先获取的图像生成网络，得到n个所述第一边缘图像帧分别对应的预测图像帧，并采用图像配准算法和图像拼接算法，对n个所述预测图像帧进行处理，得到预测拼接图像，以及根据所述预测拼接图像，得到所述目标预测拼接参数，即通过预测的图像得到预测拼接参数以用于真实的图像进行拼接，从而既降低了全景视频图像生成的时延，也保证了图像拼接的质量。
151.需要说明的是，上述实施例均是对通过预测拼接参数以对未来时刻获取的多个图像进行拼接为例进行说明的，本公开实施例还可以提供另一种可能的全景视频图像处理方法：获取n个目标图像帧；对所述n个目标图像帧进行图像拼接。如此，可以直接对获取的多个图像进行拼接。
152.图5示出根据本公开的实施例的全景视频图像处理装置的结构框图。其中，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
153.如图5所示，所述全景视频图像处理装置200可以包括第一获取模块201、第二获取模块202和处理模块203。第一获取模块，可以被配置为获取目标预测拼接参数，所述目标预测拼接参数为第一时刻之后的目标时刻对应的拼接参数，所述目标预测拼接参数为通过历史图像得到的拼接参数的变化情况确定，所述历史图像为全景相机设置在不同方向的n个摄像头在所述第一时刻、与所述第一时刻相邻的前一时刻分别采集的图像。第二获取模块202，可以被配置为获取n个目标图像帧，所述n个目标图像帧为通过所述n个摄像头在所述目标时刻分别采集的图像。处理模块203，可以被配置为根据所述目标预测拼接参数，对所述n个目标图像帧进行图像拼接，得到在所述目标时刻的第一全景视频图像。
154.在本公开实施例一实施方式中，所述第一获取模块201，可以具体被配置为：
155.获取n个第一边缘图像帧和n个第二边缘图像帧，所述n个第一边缘图像帧中在相邻拍摄位置采集的任意两个第一边缘图像帧存在第一重叠图像区域，所述n个第二边缘图像帧中在相邻拍摄位置采集的任意两个第二边缘图像帧存在第二重叠图像区域，所述n个第一边缘图像帧为通过所述n个摄像头在所述第一时刻采集的图像，所述第二边缘图像帧
中的每个第二边缘图像帧为所述n个第一边缘图像帧中与其对应的一个第一边缘图像帧的前一帧图像；
156.针对每个所述第一边缘图像帧，基于光流估计网络，对所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧进行光流估计，以获取在所述目标时刻的n个光流估计帧；
157.根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先训练的拼接参数变化预测网络，获取拼接参数变化预测结果信息；
158.根据所述拼接参数变化预测结果信息，获取所述目标预测拼接参数。
159.在本公开实施例一实施方式中，所述第一获取模块201，可以具体被配置为：
160.在所述拼接参数变化预测结果信息指示拼接参数未发生变化的情况下，将在所述第一时刻的第二全景视频图像对应的拼接参数确定为所述目标预测拼接参数。
161.在本公开实施例一实施方式中，所述第一获取模块201，可以具体被配置为：
162.在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，获取所述目标预测拼接参数。
163.在本公开实施例一实施方式中，所述第一获取模块201，可以具体被配置为：
164.在所述拼接参数变化预测结果信息指示拼接参数发生变化的情况下，针对每一所述第一边缘图像帧，根据所述第一边缘图像帧、与所述第一边缘图像帧对应的所述第二边缘图像帧、以及对应的所述光流估计帧，基于预先获取的图像生成网络，得到n个所述第一边缘图像帧分别对应的预测图像帧；
165.采用图像配准算法和图像拼接算法，对n个所述预测图像帧进行处理，得到预测拼接图像；
166.根据所述预测拼接图像，得到所述目标预测拼接参数。
167.在本公开实施例一实施方式中，所述装置200还可以包括：
168.第三获取模块，可以被配置为获取n个第一图像帧和n个第二图像帧，所述n个第一图像帧中的每个第一图像帧为所述n个摄像头中的一个摄像头在所述第一时刻采集的全尺寸图像，所述n个第二图像帧中的每个第二图像帧为所述n个摄像头中的一个摄像头在第二时刻采集的全尺寸图像，所述第二时刻为与所述第一时刻相邻的前一时刻；
169.所述第一获取模块，可以具体被配置为根据所述第一重叠图像区域，分别对所述n个第一图像帧裁剪，得到所述n个第一边缘图像帧；根据所述第二重叠图像区域，分别对所述n个第二图像帧裁剪，得到所述n个第二边缘图像帧。
170.本公开实施例提供了一种全景视频图像处理装置，可以根据历史图像的拼接参数的变化情况精准预测未来时刻的拼接参数，从而可以使用精准预测的拼接参数拼接未来时刻获取的多个图像。如此，在保证降低全景视频图像的延迟的前提下，提高了拼接后的图像质量。
171.本公开还公开了一种电子设备，图6示出根据本公开的实施例的电子设备的结构框图。
172.如图6所示，所述电子设备包括存储器和处理器，其中，存储器用于存储一条或多
条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现根据本公开的实施例的方法。
173.图7示出适于用来实现根据本公开实施例的方法的计算机系统的结构示意图。
174.如图7所示，计算机系统包括处理单元，其可以根据存储在只读存储器(rom)中的程序或者从存储部分加载到随机访问存储器(ram)中的程序而执行上述实施例中的各种方法。在ram中，还存储有计算机系统操作所需的各种程序和数据。处理单元、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
175.以下部件连接至i/o接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信过程。驱动器也根据需要连接至i/o接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。其中，所述处理单元可实现为cpu、gpu、tpu、fpga、npu等处理单元。
176.特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。
177.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
178.描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
179.作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
180.以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。