全景图像处理与生成方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种全景图像处理与生成方法、装置、电子设备及存储介质。


背景技术：

2.随着vr技术的发展，在线看房、看车等应用越来越流行。无论是在线看房还是在线看车，用户需要对房屋或车辆的全貌、内部情况，及整体空间结构、所处环境等进行充分了解，以便挑选出符合自己需求的房屋或车辆。为了满足用户的需求，相关人员通常会实地拍摄房屋或车辆的多张实景图片并自动拼接，生成房屋或车辆的全景图像，给到用户进行参考。
3.目前，全景图像的拼接过程包括：检测图像中的关键点和特征；基于关键点和特征进行图像匹配，找到重叠的图像区域，基于重叠的图像区域对所有图像进行连接即可得到全景图像。在全景图像拼接的边界处会产生重叠虚影，这种图像区域称为伪影区域。为了提高全景图像的图像质量，有必要识别出全景图像中存在的伪影区域并对其进行修复。但现有技术中，很难识别出伪影区域。


技术实现要素：

4.本技术的多个方面提供一种全景图像处理与生成方法、装置、电子设备及存储介质，用以快速识别出伪影区域，并对为一个区域进行修正，进而提高全景图的图像质量。
5.本技术实施例提供一种全景图像的处理方法，该方法包括：
6.获取针对同一目标对象进行全景拍摄得到的多张图像，确定多张图像中相邻的至少一组图像对；
7.针对任一组图像对，根据图像对中两张图像中的特征点，生成图像对中两张图像进行拼接时所需的目标配准矩阵；
8.根据各组图像对中两张图像之间的目标配准矩阵，将各组图像对中两张图像进行拼接，得到包括伪影区域的第一全景图像；
9.将第一全景图像输入伪影处理模型中，定位第一全景图像中的伪影区域并对伪影区域进行修正，以得到不包含伪影区域的第二全景图像。
10.本技术实施例还提供一种全景图像生成方法，该方法包括：
11.获取不包含伪影区域的第一全景图像，并基于实例分割模型获取第一全景图像中存在的目标实例区域；
12.在指定的像素偏移范围内对目标实例区域进行随机偏移，得到偏移后的实例区域；
13.对偏移后的实例区域与第一全景图中的目标实例区域进行加权叠加，得到包含伪影区域的第二全景图像。
14.本技术实施例还提供一种全景图像处理装置，该装置包括：
15.获取模块，用于获取针对同一目标对象进行全景拍摄得到的多张图像；
16.确定模块，用于确定多张图像中相邻的至少一组图像对；
17.生成模块，用于针对任一组图像对，根据图像对中两张图像中的特征点，生成图像对中两张图像进行拼接时所需的目标配准矩阵；
18.拼接模块，用于根据各组图像对中两张图像之间的目标配准矩阵，将各组图像对中两张图像进行拼接，得到包括伪影区域的第一全景图像；
19.修正模块，用于将第一全景图像输入伪影处理模型中，定位第一全景图像中的伪影区域并对伪影区域进行修正，以得到不包含伪影区域的第二全景图像。
20.本技术实施例还提供一种全景图像生成装置，该装置包括：
21.获取模块，用于获取不包含伪影区域的第一全景图像，并基于实例分割模型获取第一全景图像中存在的目标实例区域；
22.偏移模块，用于在指定的像素偏移范围内对目标实例区域进行随机偏移，得到偏移后的实例区域；
23.叠加模块，用于对偏移后的实例区域与第一全景图中的目标实例区域进行加权叠加，得到包含伪影区域的第二全景图像。
24.本技术实施例还提供一种电子设备，该电子设备包括存储器和处理器，存储器用于存储计算机程序，处理器与存储器耦合，用于执行计算机程序，以实现以上所述的全景图像处理方法中的步骤或者实现全景图像生成方法中的步骤。
25.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现以上所述的全景图像处理方法中的步骤或者实现全景图像生成方法中的步骤。
26.本技术实施例提供的技术方案，首先结合实例分割模型，模拟全景图像自动拼接时产生的伪影现象，提供一种生成包含伪影区域的全景图像的方案，该方案能够为研发自动伪影修复技术提供数据支持。具体地，借助于该全景图像生成方案生成包含伪影区域的全景图像，并以包含伪影区域的全景图像和不包含伪影区域的全景图像作为训练样本，预先训练出用于伪影处理的伪影处理模型；这样，在全景图像拼接过程中，首先拼接得到包括伪影区域的全景图像，之后将包括伪影区域的全景图像输入至伪影处理模型中，定位出该全景图像中的伪影区域并对该伪影区域进行修正，最终得到不包含伪影区域的全景图像，实现了对拼接图像中出现的伪影区域的自动修复，提高了图像的拼接质量。
附图说明
27.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
28.图1为本技术一示例性实施例提供的全景图像处理方法的流程示意图；
29.图2为本技术另一示例性实施例提供的全景图像生成方法的流程示意图；
30.图3为本技术一示例性实施例提供的全景图像处理装置的结构示意图；
31.图4为本技术另一示例性实施例提供的全景图像生成装置的结构示意图；
32.图5为本技术一示例性实施例提供的电子设备的结构示意图；
33.图6为本技术另一示例性实施例提供的电子设备的结构示意图。
具体实施方式
34.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.针对现有技术中全景拼接图像的伪影区域难以识别的技术问题，在本技术实施例中，首先结合实例分割模型，模拟全景图像自动拼接时产生的伪影现象，提供一种生成包含伪影区域的全景图像的方案，该方案能够为研发自动伪影修复技术提供数据支持。具体地，借助于该全景图像生成方案生成包含伪影区域的全景图像，并以包含伪影区域的全景图像和不包含伪影区域的全景图像作为训练样本，预先训练出用于伪影处理的伪影处理模型；这样，在全景图像拼接过程中，首先拼接得到包括伪影区域的全景图像，之后将包括伪影区域的全景图像输入至伪影处理模型中，定位出该全景图像中的伪影区域并对该伪影区域进行修正，最终得到不包含伪影区域的全景图像，实现了对拼接图像中出现的伪影区域的自动修复，提高了图像的拼接质量。
36.以下结合附图，详细说明本技术各实施例提供的技术方案。
37.图1为本技术一示例性实施例提供的全景图像处理方法的流程示意图。如图1所示，该方法包括：
38.101、获取针对同一目标对象进行全景拍摄得到的多张图像，确定多张图像中相邻的至少一组图像对；
39.102、针对任一组图像对，根据图像对中两张图像中的特征点，生成图像对中两张图像进行拼接时所需的目标配准矩阵；
40.103、根据各组图像对中两张图像之间的目标配准矩阵，将各组图像对中两张图像进行拼接，得到包括伪影区域的第一全景图像；
41.104、将第一全景图像输入伪影处理模型中，定位第一全景图像中的伪影区域并对伪影区域进行修正，以得到不包含伪影区域的第二全景图像。
42.随着vr技术的发展，在线查看各种目标对象(例如可以是房屋、展厅、车辆等)的应用越来越流行。无论是在线查看什么类型的目标对象，用户都需要对目标对象的全貌、内部情况，及整体空间结构、所处环境等进行充分了解，以便挑选出符合自己需求的目标对象。为此，有必要提供目标对象对应的全景图像，以便于用户能够在线上实时、方便地了解目标对象的全貌、内部情况，及整体空间结构、所处环境等信息。
43.于是，本技术实施例提供一种全景图像处理方法，用于针对目标对象提供高质量的全景图像。本实施例提供的全景图像处理方法可以应用于具有图像处理功能的装置或设备，本实施例对上述装置或设备不作限定，例如可以是全景图像处理装置，也可以是包含全景图像处理装置的电子设备。为了满足用户的需求，相关人员通常会实地拍摄同一目标对象的多张实景图片并通过全景图像处理装置进行拼接，生成目标对象的全景图像，给到用户进行参考。其中，目标对象可以是物理房屋空间或者物理车辆空间，本实施例对此不作限定。全景图像是根据拍摄的多张实景图片自动拼接成的目标对象的完整图像。
44.在本实施例中，以全景图像处理装置为例，全景图像处理装置获取针对同一目标对象进行全景拍摄得到的多张图像，其中，目标对象可以是物理房屋空间，对该物理房屋空
间进行拍摄得到的图像中可以体现该物理房屋空间的内部的整体结构、房间、家具、内饰，甚至还可以体现该物理房屋空间外部的部分环境特征等；或者，目标对象还可以是物理车辆，对该物理车辆进行拍摄得到的图像中可以体现该物理车辆内部的整体结构、座位、内饰，甚至还可以体现物理车辆外部的部分环境特征，本实施例对此不作限定。
45.在获取到针对目标对象进行全景拍摄得到的多张图像后，本实施例可以基于该目标对象的多张图像，确定多张图像中相邻的至少一组图像对。每一组图像对包括两张图像，这两张图像是指拍摄终端在相邻时间点拍摄的图像，且这两张图像至少包含部分相同的特征。具体地，可以根据多张图像中的特征点和/或拍摄终端在拍摄每张图像时的位姿数据，确定多张图像中相邻的至少一组图像对。
46.在一可选实施例中，可以单独根据多张图像中的特征点，确定多张图像中相邻的至少一组图像对。具体地，可以提取每张图像中的特征点，将两两图像中位于边缘区域内的特征点进行比对，若两张图像的边缘区域中具有相同的特征点且特征点的数量大于设定的数量阈值，则确定这两张图像是相邻的，将这两张图像作为一组图像对，用来参与后续的图像拼接。需要说明的是，本实施例中的边缘区域是指图像在横向方向上的边缘区域，即靠近图像横向边缘的部分区域。
47.在另一可选实施例中，可以单独根据拍摄终端在拍摄每张图像时的位姿数据，确定多张图像中相邻的至少一组图像对。具体地，拍摄终端具有陀螺仪等惯性传感器，这些惯性传感器可以在拍摄终端拍摄每张图像时采集其位姿数据，拍摄终端除了将拍摄到的图像提供给全景图像处理装置之外，还可以将其在拍摄每张图像时的位姿数据一并提供给全景图像处理装置；基于此，全景图像处理装置可以根据拍摄终端在拍摄每张图像时的位姿数据，判断两张图像是否是在相邻时间点拍摄的，具体可将相邻位姿数据对应的图像作为一组图像对，用来参与后续的图像拼接。
48.在又一可选实施例中，可以同时根据多张图像中的特征点和拍摄终端在拍摄每张图像时的位姿数据，确定多张图像中相邻的至少一组图像对。具体地，同时根据多张图像中的特征点和拍摄终端在拍摄每张图像时的位姿数据，确定多张图像中相邻的至少一组图像对可以通过以下方式实现：根据多张图像中的特征点，对多张图像进行特征点匹配；根据特征点匹配结果，确定多张图像中特征匹配的候选图像对；对于任一组候选图像对中的两张图像，获取拍摄终端上传的其在拍摄每张图像时的位姿数据，结合拍摄终端在拍摄相邻图像时对应的旋转间隔，判断拍摄终端在拍摄候选图像对中每张图像时的位姿数据对应的拍摄时刻是否相邻；若拍摄终端在拍摄候选图像对中每张图像时的位姿数据对应相邻的拍摄时刻，则将候选图像对作为多张图像中相邻的至少一组图像对。进一步可选地，上述确定多张图像中特征匹配的候选图像对，可以通过以下具体方式实现：将多张图像中的特征点作为入参输入至算法模型中，通过算法模型计算各特征点之间的匹配度，在各特征点之间的匹配度大于第一阈值时，将两特征点确定为特征点匹配对，其中，算法模型可以是任一具有特征点匹配及计算能力的模型，例如神经网络模型；进一步地，在两图片的特征点匹配对数大于第二阈值时，确定两图片为候选图像对。在该可选实施例中，通过每张图片之间的特征点匹配与拍摄每张图像时的位姿数据对应相邻的拍摄时刻的双重标准的比较，确定多张图像中相邻的至少一组图像对，提高了图像对中的两张图像是相邻图像的准确度，为后续图像的准确拼接奠定了基础。
49.在确定多张图像中相邻的至少一组图像对后，可以针对任一组图像对，根据图像对中两张图像中的特征点，生成图像对中两张图像进行拼接时所需的目标配准矩阵。在一可选实施例中，根据图像对中两张图像中的特征点，生成图像对中两张图像进行拼接时所需的目标配准矩阵，可以通过以下方式实现：对图像对中两张图像中的特征点进行匹配，得到图像对中两张图像之间存在的多个初始配准矩阵；其中，初始配准矩阵可体现两张图像之间的相对旋转和位移关系，两张图像之间可以有多个初始配准矩阵；在一可选实施例中，初始配准矩阵可以实现为两张图像之间的单应性矩阵，基于单应性矩阵，调用射影变换函数，可以将一张图像变换到另一张图像的视角中；之后，采用随机采样一致性(random sample consensus，ransac)算法，从多个初始配准矩阵中选择至少一个候选配准矩阵；其中，可以采用ransac算法优化初始配准矩阵中的内点数，即针对每个初始配准矩阵，计算在假设基于初始配准矩阵进行图像拼接的条件，两张图像中能匹配上的特征点数量即为内点数，内点数越多匹配效果越好，故可根据内点数判断初始配准矩阵的优劣，可以选择内点数大于设定数量阈值的初始配准矩阵作为候选配准矩阵；接着，基于束调整(bundle adjustment，ba)优化算法，计算至少一个候选配准矩阵对应的重投影误差(reprojection error)，并基于重投影误差从至少一个候选配准矩阵中选择出目标配准矩阵。其中，重投影误差越小，说明候选配准矩阵表达的两张图像之间的配准关系越准确，优化效果越好。关于重投影误差的计算过程可以是，针对任一候选配准矩阵，从其对应图像对中的两张图像的特征点中随机选择多个特征点，对任一特征点，将该特征点分别投影至图像对中的两张图像上，计算投影到两张图像上的两个像素点的误差作为该特征点对应的重投影误差，基于多个特征点不断进行ba迭代直至迭代终止，每次ba迭代都会得到一个特征点的重投影误差，最后计算多个特征点对应的重投影误差的均值，选择误差均值最小或小于阈值的候选配准矩阵作为目标配准关系。
50.在得到各组图像对中两张图像进行拼接时所需的目标配准矩阵后，可以根据各组图像对中两张图像之间的目标配准矩阵，将各组图像对中两张图像进行拼接，得到包括伪影区域的第一全景图像。
51.在本实施例中，预先训练得到了伪影处理模型，该模型具有定位图像中的伪影区域并对伪影区域进行修复的功能。基于此，在得到包括伪影区域的第一全景图像后，将第一全景图像输入伪影处理模型中，定位出该第一全景图像中的伪影区域并对该伪影区域进行修复，最终得到不包含伪影区域的第二全景图像，实现了对拼接图像中出现的伪影区域的自动修复，提高了图像的拼接质量。
52.进一步，在使用伪影处理模型之前，还包括训练伪影处理模型的过程。本技术实施例是基于包含伪影区域的全景图像和不包含伪影区域的全景图像作为训练样本进行模型训练，得到伪影处理模型。
53.进一步，为了提供模型训练所需的训练样本，需要能够生成包含伪影区域的全景图像，在本技术实施例中，可以基于不包括伪影区域的第一样本全景图像，采用基于实例分割模型的实例分割和图像叠加等技术得到包含伪影区域的第二样本全景图像。可选地，在使用伪影处理模型之前，训练伪影处理模型的过程，可以通过以下方式实现：获取不包含伪影区域的第一样本全景图像，并基于实例分割模型获取第一样本全景图像中存在的目标实例区域；在指定的像素偏移范围内对目标实例区域进行像素偏移，得到偏移后的实例区域，
其中，指定的像素偏移范围一般是0～10像素，具体数值可根据实际需求而定，本实施例对此不作限定；另外，像素偏移方向也不做限定，可以是在360度范围内向任一方向上进行像素偏移，例如向上偏移、向下偏移、向左偏移或向右偏移等；然后对偏移后的实例区域与第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像；进而，根据第一样本全景图像和第二样本全景图像进行模型训练，以得到能够定位全景图像中的伪影区域并对其进行修复的伪影处理模型。在本技术实施例中，实例分割模型用于对第一样本全景图进行实例分割，实例分割不仅分割图像中包含的目标的类型，同时还需要分割同类型的目标是否为同一个实例。相应地，目标实例区域是指包含目标实例的图像区域，目标实例可以是第一样本全景图中包含的全部实例，也可以是第一样本全景图中包含的指定类型的实例，或者也可以是第一样本全景图中包含的比较明显的实例等，具体可根据应用需求灵活设定，对此不做限定。举例说明，第一样本全景图像中包含例如床、桌子和椅子等实例，则目标实例可以是桌子或床，或者也可以同时包含桌子、床和椅子，还可以是特定的桌子(例如红颜色的桌子)等。
54.在一可选实施例中，基于实例分割模型获取第一样本全景图像中存在的目标实例区域，可以通过以下方式实现：基于实例分割模型预测第一样本全景图像中存在的至少一个实例区域；从至少一个实例区域中选择目标实例区域，并从第一样本全景图中截取目标实例区域。其中，在从至少一个实例区域中选择目标实例区域时，可以根据至少一个实例区域的面积，选择面积最大的n个实例区域作为目标实例区域，n是正整数。当然，也可以采用其它方式来选择目标实例区域，例如根据实例的类型、实例的颜色等，选择所包含的实例的类型或实例的颜色符合设定条件的实例区域作为目标实例区域。
55.在获取到第一样本全景图像中存在的目标实例区域后，对目标实例区域进行像素偏移，得到偏移后的实例区域，然后对偏移后的实例区域与第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像。示例性地，对目标实例区域进行像素偏移，得到偏移后的实例区域可以是：生成目标实例区域的副本实例区域，副本实例区域与目标实例完全相同，然后在将该副本实例区域与目标实例区域进行叠加时，将该副本实例区域在指定的像素偏移范围内进行像素偏移，以得到偏移后的实例区域，将便偏移的实例区域与目标实例区域进行加权叠加。当然，也可以直接以目标实例区域为基准在指定的像素偏移范围内进行像素偏移，得到偏移后的实例区域。
56.示例性地，假设目标实例区域为包含m行n列个像素点的方形区域，m是大于等于1的自然数，n是大于等于6的自然数；将目标实例区域或其副本实例区域向右偏移5个像素点，得到偏移后的实例区域；其中，目标实例区域中第0行第0列的像素点，会出现在偏移后的实例区域中的第0行第5列，以此类推，目标实例区域中第0行第n-6行的像素点，会出现在偏移后的实例区域中的第0行第n-1列，得到偏移后的实例区域。当然，在目标实例区域或其副本实例区域向其它方向偏移一定数量个像素点，得到偏移后的实例区域的实施方式与前面示例相同，在此不做过多描述。
57.在一可选实施例中，对偏移后的实例区域与第一样本全景图中对应的目标实例区域进行加权叠加，是指针对同时出现在偏移后的实例区域中和其对应的目标实例区域或副本实例区域中的像素点，按照这些像素点在偏移后的实例区域中的像素位置，将这些像素点与对应目标实例区域中在同样像素位置上的像素点进行加权叠加。其中，同时出现在偏
移后的实例区域中和其对应的目标实例区域或副本实例区域中的像素点是需要进行叠加的像素点。接续于上述示例，偏移后的实例区域中第0行第5列至第0行第n-1列的像素点属于需要进行叠加的像素点，同理，目标实例区域中第0行第5列至第0行第n-1列的像素点也属于需要进行叠加的像素点，于是，将偏移后的实例区域中第0行第5列的像素点，与对应的目标实例区域中第0行第5列的像素点进行加权叠加，依次类推，直至将偏移后的实例区域中第0行第n-1列的像素点，与将对应的目标实例区域中第0行第n-1列的像素点进行加权叠加，最终得到包含伪影区域的第二样本全景图像。为便于描述和区分，在本技术实施例中，将偏移后的实例区域中和第一样本全景图中对应的目标实例区域中在像素位置上重合且需要叠加的像素点称为叠加像素点。需要说明的是，对于第一样本全景图包括叠加像素点和非叠加像素点(例如第0行第0-4列的像素点)，对于非叠加像素点，直接保留该非叠加像素点在第一样本全景图中的原始像素值，即直接将该非叠加像素点在第一样本全景图中的原始像素值作为其在第二样本全景图中的像素值；对于第一样本全景图中的叠加像素点a(例如第0行第5列的像素点)，将该叠加像素点a在第一样本全景图像中的像素值与偏移后的实例区域中相同像素位置上的叠加像素点b的像素值进行加权求和，将该加权求和的结果作为叠加像素点a在第二样本全景图中的像素值。在上述示例中，均以第0行的像素点为例进行了详细说明，其它行的像素点的偏移和叠加过程与第0行像素点的偏移和叠加过程相同，故不再详述。
58.其中，对目标实例区域进行像素偏移以及对偏移后的实例区域与第一样本全景图中对应的目标实例区域进行加权叠加的过程可以在一定程度上实现对图像拼接的模拟，因此叠加后可以得到伪影区域。在一可选实施例中，对偏移后的实例区域与第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像，可以通过以下方式实现：以偏移后的实例区域为参照，确定偏移后的实例区域中各叠加像素点的权重和第一样本全景图中对应的目标实例区域中各叠加像素点的权重，其中，偏移后的实例区域中各叠加像素点的权重自偏移后的实例区域的边缘向中心逐渐增大，第一样本全景图中对应的目标实例区域中各叠加像素点的权重自偏移后的实例区域的边缘向中心逐渐减小；根据偏移后的实例区域中各叠加像素点的权重和第一样本全景图中对应的目标实例区域中各叠加像素点的权重，将偏移后的实例区域叠加到第一样本全景图中对应的目标实例区域之上，得到包含伪影区域的第二样本全景图像。其中，加权叠加的过程主要是指针对偏移后的实例区域和目标实例区域中待叠加的任一像素位置，根据该像素位置在两个实例区域中对应叠加像素点的权重，对该像素位置在偏移后的实例区域和目标实例区域中对应的叠加像素点的像素值进行加权计算，得到该像素位置对应的叠加后的像素值(也就是伪影区域中对应该像素位置的像素值)的过程。接续于上述示例，以第0行第5列这个像素位置为例，则获取偏移后的实例区域中位于第0行第5列的像素点的像素值，例如80，以及其权重，例如0.1，并获取目标实例区域中位于第0行第5列的像素点的像素值，例如100，以及其权重，例如0.9，之后，根据公式80*0.1+100*0.9＝98，作为第二样本全景图中第0行第5列这个像素位置上的像素点的像素值。
59.其中，在一可选实施例中，确定偏移后的实例区域中各叠加像素点的权重和第一样本全景图中对应的目标实例区域中各叠加像素点的权重，可以通过以下方式实现：以偏移后的实例区域中各叠加像素点的权重自偏移后的实例区域的边缘向中心逐渐增大，第一
样本全景图中对应的目标实例区域中各叠加像素点的权重自偏移后的实例区域的边缘向中心逐渐减小为依据，可以采用高斯分布函数，确定偏移后的实例区域中各叠加像素点的权重和第一样本全景图中对应的目标实例区域中各叠加像素点的权重。
60.进一步地，在一可选实施例中，在目标实例区域为多个的情况下，偏移后的实例区域为多个，且每个目标实例区域对应一个偏移后的实例区域，则对偏移后的实例区域与第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像，可以通过以下方式实现：将多个偏移后的实例区域中的每个实例区域单独与第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像；和/或，将多个偏移后的实例区域中任意两个或两个以上的实例区域同时与第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像。
61.在得到第二样本全景图像之后，可以根据第一样本全景图像和第二样本全景图像进行模型训练，以得到能够定位全景图像中的伪影区域并对其进行修复的伪影处理模型。在本实施例中，并不限定伪影处理模型的模型结构，例如该伪影处理模型可以包括多个卷积层、池化层等。在得到伪影处理模型后，可以将第一全景图像输入伪影处理模型中，定位第一全景图像中的伪影区域并对伪影区域进行修正，以得到不包含伪影区域的第二全景图像。
62.在本实施例中，在得到第一全景图像和第二全景图像后，还可以对第一全景图像或第二全景图像的拼接质量进行分析，具体可以通过以下方式实现：获取在得到第一全景图像或第二全景图像过程中产生的至少一种中间态数据；根据至少一种中间态数据，获取第一全景图像或第二全景图像的拼接质量。在一可选实施例中，根据至少一种中间态数据，获取第一全景图像或第二全景图像的拼接质量，可以通过以下方式实现：将至少一种中间态数据输入质量评估模型中，确定至少一种中间态数据对应的权重分数，并根据至少一种中间态数据的权重分数，生成第一全景图像或第二全景图像的拼接质量。其中，中间态数据包括：至少一组图像对的数量、至少一个候选配准矩阵的数量、目标配准矩阵的重投影误差以及图像连通数中的至少一种；图像连通数是指至少一组图像对中成功拼接的图像对数量。假设至少一组图像对的数量为a1、至少一个候选配准矩阵的数量为b1、目标配准矩阵的重投影误差为c1以及图像连通数为d1，将a1、b1、c1、d1输入至质量评估模型中，确定至少一组图像对、至少一个候选配准矩阵、目标配准矩阵的重投影以及图像连通的权重分别为a2、b2、c2、d2，那么拼接质量可表示为：a1*a2+b1*b2+c1*c2+d1*d2。
63.在一可选实施例中，在拼接得到第一全景图像的过程中，可以产生上文提到的至少一种中间态数据，并将这些中间态数据写入日志文件中进行离线保存，以便于对图像拼接质量进行评估。
64.需要说明的是，上述至少一种中间态数据的数值并不是越高或越多，对应的图像拼接效果就越好，也就是说，不同的中间态数据与图像拼接质量之间的关系是不同的，有些可能是正比关系，有些可能是反比关系。因此，并不能简单地通过对中间态数据进行打分评估图像拼接质量的高低。在本技术实施例中，预先在一些图像拼接过程中采集一定数量的中间态数据作为训练样本，并预先标定好这些中间态数据对应的图像拼接效果评分，然后利用这些标注好的训练样本进行模型训练，得到质量评估模型，使用质量评估模型评估图像拼接质量，实现对图像拼接效果自动化评分，且该评分更为准确和高效。另外，随着实际
应用过程的进行，还可以不断收集新的图像拼接过程中产生的中间态数据，利用新的中间态数据继续对质量评估模型进行更新和优化。
65.本技术实施例提供的技术方案，首先结合实例分割模型，模拟全景图像自动拼接时产生的伪影现象，提供一种生成包含伪影区域的全景图像的方案，该方案能够为研发自动伪影修复技术提供数据支持。具体地，借助于该全景图像生成方案生成包含伪影区域的全景图像，并以包含伪影区域的全景图像和不包含伪影区域的全景图像作为训练样本，预先训练出用于伪影处理的伪影处理模型；这样，在全景图像拼接过程中，首先拼接得到包括伪影区域的全景图像，之后将包括伪影区域的全景图像输入至伪影处理模型中，定位出该全景图像中的伪影区域并对该伪影区域进行修正，最终得到不包含伪影区域的全景图像，实现了对拼接图像中出现的伪影区域的自动修复，提高了图像的拼接质量。
66.在本技术实施例中，除了提供一种在图像拼接过程中对拼接后的全景图像进行伪影修复的全景图像处理方法之外，还提供一种生成包含伪影区域的全景图像的方法，具体可参见图2所示实施例的描述。
67.图2为本技术一示例性实施例提供的全景图像生成方法的流程示意图。如图2所示，该方法包括：
68.201、获取不包含伪影区域的第一全景图像，并基于实例分割模型获取第一全景图像中存在的目标实例区域；
69.202、在指定的像素偏移范围内对目标实例区域进行随机偏移，得到偏移后的实例区域；
70.203、对偏移后的实例区域与第一全景图中的目标实例区域进行加权叠加，得到包含伪影区域的第二全景图像。
71.在本实施例中，首先，获取不包含伪影区域的第一全景图像；之后，基于实例分割模型对不包含伪影区域的第一全景图像进行实例分割，得到第一全景图像中存在的目标实例区域；然后在指定的像素偏移范围内对上述目标实例区域进行随机偏移，得到偏移后的实例区域；最后对偏移后的实例区域与第一全景图像中的实例区域进行加权叠加，得到包含伪影区域的第二全景图像。该实施例提供了一种生成包含伪影区域的全景图像的方案，能够为研发自动伪影修复技术提供数据支持。
72.上述各步骤的详细实施方式，可参见前述实施例中对应步骤的描述，此处不再赘述。
73.图3为本技术一示例性实施例提供的全景图像处理装置的结构示意图。如图3所示，该装置包括：
74.获取模块31，用于获取针对同一目标对象进行全景拍摄得到的多张图像；
75.确定模块32，用于确定多张图像中相邻的至少一组图像对；
76.生成模块33，用于针对任一组图像对，根据图像对中两张图像中的特征点，生成图像对中两张图像进行拼接时所需的目标配准矩阵；
77.拼接模块34，用于根据各组图像对中两张图像之间的目标配准矩阵，将各组图像对中两张图像进行拼接，得到包括伪影区域的第一全景图像；
78.修正模块35，用于将第一全景图像输入伪影处理模型中，定位第一全景图像中的伪影区域并对伪影区域进行修正，以得到不包含伪影区域的第二全景图像。
79.进一步地，在修正模块35将所述第一全景图像输入伪影处理模型中之前，获取模块31还用于：获取不包含伪影区域的第一样本全景图像，并基于实例分割模型获取所述第一样本全景图像中存在的目标实例区域；相应地，全景图像处理装置，还包括像素偏移模块、叠加模块及训练模块，像素偏移模块用于在指定的像素偏移范围内对所述目标实例区域进行像素偏移，得到偏移后的实例区域；叠加模块用于对所述偏移后的实例区域与所述第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像；训练模块用于根据所述第一样本全景图像和所述第二样本全景图像进行模型训练，以得到能够定位全景图像中的伪影区域并对其进行修复的伪影处理模型。
80.进一步地，获取模块31在用于基于实例分割模型获取所述第一样本全景图像中存在的目标实例区域时，具体用于：基于实例分割模型预测所述第一样本全景图像中存在的至少一个实例区域；从所述至少一个实例区域中选择目标实例区域，并从所述第一样本全景图中截取所述目标实例区域。
81.进一步地，获取模块31在用于从所述至少一个实例区域中选择目标实例区域时，具体用于：根据所述至少一个实例区域的面积，选择面积最大的n个实例区域作为所述目标实例区域，n是正整数。
82.进一步地，叠加模块在用于对所述偏移后的实例区域与所述第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像时，具体用于：确定所述偏移后的实例区域中各叠加像素点的权重和所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重，其中，所述偏移后的实例区域中各叠加像素点的权重自所述偏移后的实例区域的边缘向中心逐渐增大，所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重自所述偏移后的实例区域的边缘向中心逐渐减小；所述叠加像素点是指所述偏移后的实例区域中和所述第一样本全景图中对应的目标实例区域中在像素位置上重合且需要进行叠加的像素点；根据所述偏移后的实例区域中各叠加像素点的权重和所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重，将所述偏移后的实例区域叠加到所述第一样本全景图中对应的目标实例区域之上，得到包含伪影区域的第二样本全景图像。
83.进一步地，叠加模块在用于确定所述偏移后的实例区域中各叠加像素点的权重和所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重时，具体用于：以所述偏移后的实例区域中各叠加像素点的权重自所述偏移后的实例区域的边缘向中心逐渐增大，所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重自所述偏移后的实例区域的边缘向中心逐渐减小为依据，采用高斯分布函数，确定所述偏移后的实例区域中各叠加像素点的权重和所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重。
84.进一步地，在所述目标实例区域为多个的情况下，所述偏移后的实例区域为多个，则叠加模块在用于对所述偏移后的实例区域与所述第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像时，具体用于：将所述多个偏移后的实例区域中的每个实例区域单独与所述第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像；和/或将所述多个偏移后的实例区域中任意两个或两个以上的实例区域同时与所述第一样本全景图中对应的目标实例区域进行加
权叠加，得到包含伪影区域的第二样本全景图像。
85.进一步地，获取模块31，还用于获取在得到所述第一全景图像或所述第二全景图像过程中产生的至少一种中间态数据；相应地，获取模块31还用于根据所述至少一种中间态数据，获取所述第一全景图像或所述第二全景图像的拼接质量。
86.进一步地，获取模块31在用于根据所述至少一种中间态数据，获取所述第一全景图像或所述第二全景图像的拼接质量时，具体用于：将所述至少一种中间态数据输入质量评估模型中，确定所述至少一种中间态数据对应的权重分数，并根据所述至少一种中间态数据的权重分数，生成所述第一全景图像或所述第二全景图像的拼接质量。
87.进一步地，生成模块33，在用于根据所述图像对中两张图像中的特征点，生成所述图像对中两张图像进行拼接时所需的目标配准矩阵时，具体用于：对所述图像对中两张图像中的特征点进行匹配，得到所述图像对中两张图像之间存在的多个初始配准矩阵；采用随机采样一致性算法，从所述多个初始配准矩阵中选择至少一个候选配准矩阵；计算所述至少一个候选配准矩阵对应的重投影误差，并基于所述重投影误差从所述至少一个候选配准矩阵中选择出目标配准矩阵。
88.进一步地，所述中间态数据包括：所述至少一组图像对的数量、所述至少一个候选配准矩阵的数量、所述目标配准矩阵的重投影误差以及图像连通数中的至少一种；所述图像连通数是指所述至少一组图像对中成功拼接的图像对数量。
89.进一步地，确定模块32，在用于确定所述多张图像中相邻的至少一组图像对时，具体用于：根据所述多张图像中的特征点和/或拍摄终端在拍摄每张图像时的位姿数据，确定所述多张图像中相邻的至少一组图像对。
90.进一步地，确定模块32，在用于根据所述多张图像中的特征点和拍摄终端在拍摄每张图像时的位姿数据，确定所述多张图像中相邻的至少一组图像对时，具体用于：根据所述多张图像中的特征点，对所述多张图像进行特征点匹配；根据特征点匹配结果，确定所述多张图像中特征匹配的候选图像对；若拍摄终端在拍摄所述候选图像对中每张图像时的位姿数据对应相邻的拍摄时刻，则将所述候选图像对作为所述多张图像中相邻的至少一组图像对。
91.这里需要说明的是：上述实施例提供的全景图像处理装置可实现上述全景图像处理方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
92.图4为本技术一示例性实施例提供的全景图像生成装置的结构示意图。如图4所示，该装置包括：
93.获取模块41，用于获取不包含伪影区域的第一全景图像，并基于实例分割模型获取第一全景图像中存在的目标实例区域；
94.偏移模块42，用于在指定的像素偏移范围内对目标实例区域进行随机偏移，得到偏移后的实例区域；
95.叠加模块43，用于对偏移后的实例区域与第一全景图中的目标实例区域进行加权叠加，得到包含伪影区域的第二全景图像。
96.这里需要说明的是：上述实施例提供的全景图像生成装置可实现上述全景图像生成方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实
施例中的相应内容，此处不再赘述。
97.图5为本技术一示例性实施例提供的电子设备的结构示意图。如图5所示，该电子设备包括存储器50a和处理器50b，存储器50a用于存储计算机程序，处理器50a与存储器50b耦合，用于执行计算机程序，以实现以下操作：
98.获取针对同一目标对象进行全景拍摄得到的多张图像，确定所述多张图像中相邻的至少一组图像对；
99.针对任一组图像对，根据所述图像对中两张图像中的特征点，生成所述图像对中两张图像进行拼接时所需的目标配准矩阵；
100.根据各组图像对中两张图像之间的目标配准矩阵，将各组图像对中两张图像进行拼接，得到包括伪影区域的第一全景图像；
101.将所述第一全景图像输入伪影处理模型中，定位所述第一全景图像中的伪影区域并对所述伪影区域进行修正，以得到不包含伪影区域的第二全景图像。
102.进一步地，处理器在用于将所述第一全景图像输入伪影处理模型中之前，还用于：获取不包含伪影区域的第一样本全景图像，并基于实例分割模型获取所述第一样本全景图像中存在的目标实例区域；在指定的像素偏移范围内对所述目标实例区域进行像素偏移，得到偏移后的实例区域；对所述偏移后的实例区域与所述第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像；根据所述第一样本全景图像和所述第二样本全景图像进行模型训练，以得到能够定位全景图像中的伪影区域并对其进行修复的伪影处理模型。
103.进一步地，处理器在用于基于实例分割模型获取所述第一样本全景图像中存在的目标实例区域时，具体用于：基于实例分割模型预测所述第一样本全景图像中存在的至少一个实例区域；从所述至少一个实例区域中选择目标实例区域，并从所述第一样本全景图中截取所述目标实例区域。
104.进一步地，处理器在用于从所述至少一个实例区域中选择目标实例区域时，具体用于：根据所述至少一个实例区域的面积，选择面积最大的n个实例区域作为所述目标实例区域，n是正整数。
105.进一步地，处理器在用于对所述偏移后的实例区域与所述第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像时，具体用于：确定所述偏移后的实例区域中各叠加像素点的权重和所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重，其中，所述偏移后的实例区域中各叠加像素点的权重自所述偏移后的实例区域的边缘向中心逐渐增大，所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重自所述偏移后的实例区域的边缘向中心的逐渐减小；所述叠加像素点是指所述偏移后的实例区域中和所述第一样本全景图中对应的目标实例区域中在像素位置上重合且需要进行叠加的像素点；根据所述偏移后的实例区域中各叠加像素点的权重和所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重，将所述偏移后的实例区域叠加到所述第一样本全景图中对应的目标实例区域之上，得到包含伪影区域的第二样本全景图像。
106.进一步地，处理器在用于确定所述偏移后的实例区域中各叠加像素点和所述第一样本全景图中对应的目标实例区域中各叠加像素点时，具体用于：以所述偏移后的实例区
域中各叠加像素点的权重自所述偏移后的实例区域的边缘向中心逐渐增大，所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重自所述偏移后的实例区域的边缘向中心逐渐减小为依据，采用高斯分布函数，确定所述偏移后的实例区域中各叠加像素点的权重和所述第一样本全景图中对应的目标实例区域中各叠加像素点的权重。
107.进一步地，在所述目标实例区域为多个的情况下，所述偏移后的实例区域为多个，则处理器在用于对所述偏移后的实例区域与所述第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像时，具体用于：将所述多个偏移后的实例区域中的每个实例区域单独与所述第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像；和/或将所述多个偏移后的实例区域中任意两个或两个以上的实例区域同时与所述第一样本全景图中对应的目标实例区域进行加权叠加，得到包含伪影区域的第二样本全景图像。
108.进一步地，处理器还用于：获取在得到所述第一全景图像或所述第二全景图像过程中产生的至少一种中间态数据；根据所述至少一种中间态数据，获取第一全景图像或所述第二全景图像的拼接质量。
109.进一步地，处理器在用于根据所述至少一种中间态数据，获取所述第一全景图像或所述第二全景图像的拼接质量时，具体用于：将所述至少一种中间态数据输入质量评估模型中，确定所述至少一种中间态数据对应的权重分数，并根据所述至少一种中间态数据的权重分数，生成所述第一全景图像或所述第二全景图像的拼接质量。
110.进一步地，处理器在用于根据所述图像对中两张图像中的特征点，生成所述图像对中两张图像进行拼接时所需的目标配准矩阵时，具体用于：对所述图像对中两张图像中的特征点进行匹配，得到所述图像对中两张图像之间存在的多个初始配准矩阵；采用随机采样一致性算法，从所述多个初始配准矩阵中选择至少一个候选配准矩阵；计算所述至少一个候选配准矩阵对应的重投影误差，并基于所述重投影误差从所述至少一个候选配准矩阵中选择出目标配准矩阵。
111.进一步地，所述中间态数据包括：所述至少一组图像对的数量、所述至少一个候选配准矩阵的数量、所述目标配准矩阵的重投影误差以及图像连通数中的至少一种；所述图像连通数是指所述至少一组图像对中成功拼接的图像对数量。
112.进一步地，处理器在用于确定所述多张图像中相邻的至少一组图像对时，具体用于：根据所述多张图像中的特征点和/或拍摄终端在拍摄每张图像时的位姿数据，确定所述多张图像中相邻的至少一组图像对。
113.进一步地，处理器在用于根据所述多张图像中的特征点和拍摄终端在拍摄每张图像时的位姿数据，确定所述多张图像中相邻的至少一组图像对时，具体用于：根据所述多张图像中的特征点，对所述多张图像进行特征点匹配；根据特征点匹配结果，确定所述多张图像中特征匹配的候选图像对；若拍摄终端在拍摄所述候选图像对中每张图像时的位姿数据对应相邻的拍摄时刻，则将所述候选图像对作为所述多张图像中相邻的至少一组图像对。
114.进一步地，如图5所示，该电子设备还包括：通信组件50c、显示器50d、电源组件50e、音频组件50f等其它组件。图5中仅示意性给出部分组件，并不意味着电子设备只包括图5所示组件。本实施例的电子设备可以实现为台式电脑、笔记本电脑、智能手机或iot设备等终端设备。
115.这里需要说明的是：上述实施例提供的电子装置可实现上述全景图像处理方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
116.图6为本技术一示例性实施例提供的电子设备的结构示意图。如图6所示，该电子设备包括存储器60a和处理器60b，存储器60a用于存储计算机程序，处理器60a与存储器60b耦合，用于执行计算机程序，以实现以下操作：
117.获取不包含伪影区域的第一全景图像，并基于实例分割模型获取第一全景图像中存在的目标实例区域；
118.在指定的像素偏移范围内对目标实例区域进行随机偏移，得到偏移后的实例区域；
119.对偏移后的实例区域与第一全景图中的目标实例区域进行加权叠加，得到包含伪影区域的第二全景图像。
120.进一步地，如图6所示，该电子设备还包括：通信组件60c、显示器60d、电源组件60e、音频组件60f等其它组件。图6中仅示意性给出部分组件，并不意味着电子设备只包括图6所示组件。本实施例的电子设备可以实现为台式电脑、笔记本电脑、智能手机或iot设备等终端设备。
121.这里需要说明的是：上述实施例提供的全景图像生成装置可实现上述全景图像生成方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容，此处不再赘述。
122.本技术一示例性实施例提供存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现上述全景图像处理方法和/或全景图像生成方法中的步骤，此处不再赘述。
123.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
124.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
125.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
126.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
127.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
128.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
129.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
130.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
131.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。