天空背景的替换方法、装置、计算机设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种天空背景的替换方法、装置、计算机设备及存储介质。


背景技术：

2.天空作为图像或者视频中的一个重要组成部分，往往由于天气的不可控性，让我们拍摄的时候往往很难获得期待的天空。因此，基于算法便于用户以更便捷的方式，将视频或者图像中不满意的天空替换成任意想要的样子，不管是万里星空、皓月千里，还是电闪雷鸣，各种天气特效，都能通过算法一键生成。
3.现有的天空背景替换方法是先对图像或者视频帧进行语义分割，得到掩膜图，其标注了每个像素点为天空的置信度，然后根据掩膜图用新的天空背景图替换原始天空完成换天的功能。由于新的天空背景与需要替换的天空背景的边界难以精准识别，并且前后帧图像场景发生变化时，现有方法无法精准捕捉到天空背景的变化，使得现有方法天空背景替换精度较差。现亟需一种能够提高天空背景替换精准度的方法。


技术实现要素：

4.本技术实施例的目的在于提供一种天空背景的替换方法、装置、计算机设备及存储介质，以提高天空背景替换的精准度。
5.为了解决上述技术问题，本技术实施例提供一种天空背景的替换方法，包括：
6.获取用户所选择的目标背景和待处理样本，并判断所述待处理样本的类型；
7.若所述待处理样本的类型为视频类型，则对所述待处理样本进行分帧处理，得到待处理视频帧集；
8.从所述待处理视频帧集中获取当前帧以及所述当前帧对应的相邻帧；
9.对所述当前帧中的天空背景进行分割处理，得到天空掩膜图；
10.基于所述天空掩膜图以及所述相邻帧，构建变换矩阵，并基于所述变换矩阵对所述目标背景进行仿射变换处理，得到初始天空背景图；
11.基于所述目标背景，对所述初始天空背景图进行色彩和谐处理，得到所述当前帧的目标天空背景图；
12.判断所述当前帧是否为所述待处理视频帧集中最后一帧视频帧，若否，则返回执行从所述待处理视频帧集中获取当前帧以及所述当前帧对应的相邻帧的步骤，直至所有视频帧处理完成，得到多个所述当前帧的目标天空背景图，并基于多个所述当前帧的目标天空背景图生成目标天空背景视频。
13.为了解决上述技术问题，本技术实施例提供一种天空背景的替换装置，包括：
14.待处理样本获取模块，用于获取用户所选择的目标背景和待处理样本，并判断所述待处理样本的类型；
15.视频帧集生成模块，用于若所述待处理样本的类型为视频类型，则对所述待处理
样本进行分帧处理，得到待处理视频帧集；
16.待处理图像获取模块，用于从所述待处理视频帧集中获取当前帧以及所述当前帧对应的相邻帧；
17.天空掩膜图生成模块，用于对所述当前帧中的天空背景进行分割处理，得到天空掩膜图；
18.初始天空背景图生成模块，用于基于所述天空掩膜图以及所述相邻帧，构建变换矩阵，并基于所述变换矩阵对所述目标背景进行仿射变换处理，得到初始天空背景图；
19.色彩和谐处理模块，用于基于所述目标背景，对所述初始天空背景图进行色彩和谐处理，得到所述当前帧的目标天空背景图；
20.目标天空背景视频生成模块，用于判断所述当前帧是否为所述待处理视频帧集中最后一帧视频帧，若否，则返回执行从所述待处理视频帧集中获取当前帧以及所述当前帧对应的相邻帧的步骤，直至所有视频帧处理完成，得到多个所述当前帧的目标天空背景图，并基于多个所述当前帧的目标天空背景图生成目标天空背景视频。
21.为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的天空背景的替换方法。
22.为解决上述技术问题，本发明采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的天空背景的替换方法。
23.本发明实施例提供了一种天空背景的替换方法、装置、计算机设备及存储介质。其中，方法包括：获取用户所选择的目标背景和待处理样本，并判断待处理样本的类型；若待处理样本的类型为视频类型，则对待处理样本进行分帧处理，得到待处理视频帧集；从待处理视频帧集中获取当前帧以及当前帧对应的相邻帧；对当前帧中的天空背景进行分割处理，得到天空掩膜图；基于天空掩膜图以及相邻帧，构建变换矩阵，并基于变换矩阵对目标背景进行仿射变换处理，得到初始天空背景图；基于目标背景，对初始天空背景图进行色彩和谐处理，得到当前帧的目标天空背景图；判断当前帧是否为待处理视频帧集中最后一帧视频帧，若否，则返回执行从待处理视频帧集中获取当前帧以及当前帧对应的相邻帧的步骤，直至所有视频帧处理完成，得到多个当前帧的目标天空背景图，并基于多个当前帧的目标天空背景图生成目标天空背景视频。本发明实施例通过对待处理样本进行分帧，并获取当前帧和相邻帧，并对当前帧进行天空分割处理，实现将图像中的前景与天空背景进行分割，便于后续对天空背景的替换；再基于相邻帧，构建变换矩阵，并基于变换矩阵对目标背景进行仿射变换处理，从而实现对当前帧天空背景的替换；当视频帧集中所有视频帧处理完成后，生成目标天空背景视频，实现了对视频中的天空背景进行替换，同时结合相邻帧的信息对当前帧的天空背景进行替换，有利于提高天空背景替换的精准度。
附图说明
24.为了更清楚地说明本技术中的方案，下面将对本技术实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
25.图1是本技术实施例提供的天空背景的替换方法流程的一实现流程图；
26.图2是本技术实施例提供的天空背景的替换方法中子流程的又一实现流程图；
27.图3是本技术实施例提供的天空背景的替换方法中子流程的又一实现流程图；
28.图4是本技术实施例提供的天空背景的替换方法中子流程的又一实现流程图；
29.图5是本技术实施例提供的天空背景的替换方法中子流程的又一实现流程图；
30.图6是本技术实施例提供的第一帧视频帧的天空背景替换对比示意图；
31.图7是本技术实施例提供的中间帧视频帧的天空背景替换对比示意图；
32.图8是本技术实施例提供的天空背景的替换方法中子流程的又一实现流程图；
33.图9是本技术实施例提供的第一帧图像的天空背景替换对比示意图；
34.图10是本技术实施例提供的中间帧图像的天空背景替换对比示意图；
35.图11是本技术实施例提供的天空背景的替换装置示意图；
36.图12是本技术实施例提供的计算机设备的示意图。
具体实施方式
37.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术；本技术的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本技术的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
38.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
39.为了使本技术领域的人员更好地理解本技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
40.下面结合附图和实施方式对本发明进行详细说明。
41.需要说明的是，本技术实施例所提供的天空背景的替换方法一般由服务器执行，相应地，天空背景的替换装置一般配置于服务器中。
42.请参阅图1，图1示出了天空背景的替换方法的一种具体实施方式。
43.需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限，该方法包括如下步骤：
44.s1：获取用户所选择的目标背景和待处理样本，并判断待处理样本的类型。
45.具体的，在用户需要对某一图像或视频中的天空背景进行替换时，用户选择想要替换的最终天空背景，也即选择目标背景。在服务器接收到用户所选的目标背景和待处理样本后，由于待处理样本的类型包括图像类型和视频类型，而对应不同的类型，服务器采用的替换方法有所不同，所以需要判断待处理样本的类型。
46.s2：若待处理样本的类型为视频类型，则对待处理样本进行分帧处理，得到待处理视频帧集。
47.具体的，若待处理样本的类型为视频类型，则对待处理样本进行分帧处理，得到每一帧视频帧，再将每一帧视频帧进行存储于数据库中，得到处理视频帧集。进一步的，按照视频帧的先后顺序进行标记，便于从第一帧视频帧开始进行进行天空背景的替换，同时便于后续判断所获取的当前帧是属于多少帧视频帧，便于依次将视频帧逐帧进行天空背景替换，同时有利于将后续所替换成功的视频帧进行叠加成视频。
48.s3：从待处理视频帧集中获取当前帧以及当前帧对应的相邻帧。
49.具体的，相邻帧是指当前帧的前一帧，若当前帧为待处理视频帧集中的第一帧，则将此时的当前帧作为相邻帧。
50.s4：对当前帧中的天空背景进行分割处理，得到天空掩膜图。
51.具体的，通过识别当前帧中天空背景和前景，将天空背景进行分割处理，得到对应的掩膜图mask，也即得到天空掩膜图。进一步的，在步骤s4之前，判断当前帧是否是待处理视频帧集中的最后一帧，若是最后一帧，则处理完该帧视频帧之后，所有视频帧将处理完成。
52.进一步的，步骤s4包括：
53.将当前帧压缩至预设尺寸，得到当前帧目标图像；
54.将当前帧目标图像输入预先训练好的分割模型中，通过预先训练好的分割模型识别出当前帧目标图像中的天空背景，并将天空背景分割处理，得到天空掩膜图。
55.具体的，将当前帧压缩至预设尺寸，得到当前帧目标图像，其中，预设尺寸根据实际情况进行设定，此处不作限定。在一具体实施例中，将当前帧压缩至256
×
256
×
3的尺寸大小。然后将当前帧目标图像输入预先训练好的分割模型中进行编码处理，也即该预先训练好的分割模型通过卷积操作，识别出当前帧目标图像中的天空背景，并将天空背景分割处理。若当前帧目标图像为256
×
256
×
3的尺寸大小，则经过编码处理后，得到16
×
16
×
112大小的特征图；再通过预先训练好的分割模型编码后的特征图进行解码操作，其通过卷积和上采样处理后，再与之前的特征图进行级联操作等，从而得到天空掩膜图。若当前帧目标图像为256
×
256
×
3的尺寸大小，则经过解码处理后，得到256
×
256
×
1大小的天空掩膜图。进一步的，预先训练好的分割模型使用的分割网络为efficientnet-b0。
56.进一步的，在步骤s4之前，会对分割网络efficientnet-b0进行训练，从而得到预先训练好的分割模型。训练过程为输入标注好的天空背景图和目标替换背景图，通过分割网络efficientnet-b0对标注好的天空背景图进行分割处理，将得到的结果与目标替换背景图进行对比，得到损失值。基于损失值调整分割网络efficientnet-b0的参数，再对标注好的天空背景图进行分割处理，直至损失值达到预设阈值时，得到预先训练好的分割模型。其中，预设阈值根据实际情况进行设定，此处不作限定。
57.s5：基于天空掩膜图以及相邻帧，构建变换矩阵，并基于变换矩阵对目标背景进行仿射变换处理，得到初始天空背景图。
58.具体的，根据对比天空掩膜图和相邻帧的信息，构建出当前帧的变换矩阵，然后基于变换矩阵对目标背景进行仿射变换处理，实现将目标背景中的天空背景对天空掩膜图的天空背景的替换，得到初始天空背景图。
59.请参阅图2，图2示出了步骤s5的一种具体实施方式，详叙如下：
60.s51：对天空掩膜图进行角点检测处理，得到角点特征图。
61.请参阅图3，图3示出了步骤s51的一种具体实施方式，详叙如下：
62.s511：采用shitomasi算法对天空掩膜图进行角点检测处理，得到初始角点。
63.s512：将相邻两个初始角点作为角点组合，并计算角点组合中角点间距离，得到角点距离。
64.s513：获取角点距离大于预设距离的角点组合，作为目标角点组合，并基于目标角点组合，生成角点特征图。
65.具体的，shitomasi算法是harris算法的改进。harris算法最原始的定义是将矩阵m的行列式值与m的迹相减，再将差值同预先给定的阈值进行比较。后来shi和tomasi提出改进的方法(也即shitomasi算法)，若两个特征值中较小的一个大于最小阈值，则会得到强角点。在本技术实施例中，采用shitomasi算法对天空掩膜图进行角点检测处理，得到初始角点，并将相邻两个初始角点作为角点组合，并计算角点组合中角点间距离，得到角点距离，然后获取角点距离大于预设距离的角点组合，作为目标角点组合，将目标角点组合进行保留，将其它角点组合删除，从而生成角点特征图。其中，预设距离根据实际情况进行设定，此处不作限定。在一具体实施例中，预设距离为30个像素点间距离。
66.s52：基于角点特征图，对相邻帧角点追踪处理，得到相邻帧与角点特征图相同的角点，作为基础角点。
67.具体的，基于lucas-kanade算法跟踪对角点特征图中的角点进行跟踪。lucas-kanade算法输入相邻帧和当前帧，以及上一步检测到的角点，返回跟踪到的角点在前一帧的坐标和当前帧的坐标，也即返回基础角点。该基础角点包括在当前帧的位置信息(坐标)和在相邻帧的位置信息(坐标)。其中，lucas
–
kanade算法是一种两帧差分的光流估计算法，它由bruced.lucas和takeokanade于1981年提出。由于算法易于应用在输入图像中的一组点上，后来成为求稀疏光流的一种重要方法。
68.s53：从基础角点中获取预设数量的目标角点，并基于目标角点，构建变换矩阵。
69.请参阅图4，图4示出了步骤s53的一种具体实施方式，详叙如下：
70.s531：采用ransac随机采样的方式，从基础角点中获取预设数量的目标角点。
71.s532：分别获取目标角点在当前帧以及相邻帧中的位置，得到当前位置信息和相邻位置信息。
72.s533：获取预设参数，并基于当前位置信息和相邻位置信息，通过预设的公式计算预设参数对应值，得到目标参数值。
73.具体的，采用ransac随机采样的方式，从基础角点中获取预设数量的目标角点，再分别获取目标角点在当前帧以及相邻帧中的位置，得到当前位置信息和相邻位置信息。然后获取预设参数，并基于当前位置信息和相邻位置信息，通过预设的公式计算预设参数对应值，得到目标参数值。例如，预设参数为a1,a2,a3,a4,b1,b2，其中a1＝s*cosθ，a2＝s*(-sinθ)，a3＝s*sinθ，a4＝s*cosθ，其中s表示缩放比例，θ表示旋转角度，再采用如下的预设的公式进行计算；
[0074][0075]
其中x，y代表相邻位置信息，x’,y’代表当前位置信息。
[0076]
其中，预设数量根据实际情况进行设定，此处不作限定。在一具体实施例中，获取3个目标角点。其中，ransac随机采样可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。
[0077]
s534：基于目标参数值，构建变换矩阵。
[0078]
具体的，通过步骤s533得到目标参数值，也即得到a1、a2、a3、a4、b1以及b2对应的值，然后通过该目标参数值，构建变换矩阵。其变换矩阵表示为t：
[0079][0080]
s54：基于变换矩阵对目标背景进行仿射变换处理，得到初始天空背景图。
[0081]
具体的，通过变换矩阵对目标背景进行仿射变换处理，以使得将目标背景的天空背景对当前帧的天空背景进行替换，得到初始天空背景图。
[0082]
s6：基于目标背景，对初始天空背景图进行色彩和谐处理，得到当前帧的目标天空背景图。
[0083]
请参阅图5，图5示出了步骤s6的一种具体实施方式，详叙如下：
[0084]
s61：分别计算初始天空背景图以及目标背景的色彩采样均值，得到初始色彩采样均值以及目标色彩采样均值。
[0085]
s62：计算初始色彩采样均值与目标色彩采样均值的差值。
[0086]
s63：基于差值，对初始天空背景图进行色彩和谐处理，得到当前帧的目标天空背景图。
[0087]
具体的，由于将目标背景的天空背景对当前帧的天空背景进行替换，得到初始天空背景图，而目标背景和当前帧中可能存在较大的色彩差异，所以需要对初始天空背景图进行色彩和谐处理。具体过程为：分别计算初始天空背景图以及目标背景的色彩采样均值，得到初始色彩采样均值以及目标色彩采样均值，再计算初始色彩采样均值与目标色彩采样均值的差值；基于差值，采用预设的权重系数对初始天空背景图进行色彩和谐处理，得到当前帧的目标天空背景图。其中，预设的权重根据实际情况进行设定，此处不作限定。
[0088]
s7：判断当前帧是否为待处理视频帧集中最后一帧视频帧，若否，则返回执行从待处理视频帧集中获取当前帧以及当前帧对应的相邻帧的步骤，直至所有视频帧处理完成，得到多个当前帧的目标天空背景图，并基于多个当前帧的目标天空背景图生成目标天空背景视频。
[0089]
具体的，判断当前帧是否为待处理视频帧集中最后一帧视频帧，若是，则说明待处理视频帧集中的所有视频帧都替换完成，则可以生成目标天空背景视频；若否，则返回执行从待处理视频帧集中获取当前帧以及当前帧对应的相邻帧的步骤，也即返回步骤s3进行天
空背景的替换，直至所有视频帧处理完成，从而得到多个当前帧的目标天空背景图。然后根据天空掩膜图和视频帧的先后顺序，叠加多个当前帧的目标天空背景图，从而生成目标天空背景视频。请参阅图6和图7，图6是本技术实施例提供的第一帧视频帧的天空背景替换对比示意图；图7是本技术实施例提供的中间帧视频帧的天空背景替换对比示意图。在图6和图7中，图像左边为当前帧天空背景替换前的图像，右边为当前帧天空背景替换后的图像。
[0090]
本实施例中，获取用户所选择的目标背景和待处理样本，并判断待处理样本的类型；若待处理样本的类型为视频类型，则对待处理样本进行分帧处理，得到待处理视频帧集；从待处理视频帧集中获取当前帧以及当前帧对应的相邻帧；对当前帧中的天空背景进行分割处理，得到天空掩膜图；基于天空掩膜图以及相邻帧，构建变换矩阵，并基于变换矩阵对目标背景进行仿射变换处理，得到初始天空背景图；基于目标背景，对初始天空背景图进行色彩和谐处理，得到当前帧的目标天空背景图；判断当前帧是否为待处理视频帧集中最后一帧视频帧，若否，则返回执行从待处理视频帧集中获取当前帧以及当前帧对应的相邻帧的步骤，直至所有视频帧处理完成，得到多个当前帧的目标天空背景图，并基于多个当前帧的目标天空背景图生成目标天空背景视频。本发明实施例通过对待处理样本进行分帧，并获取当前帧和相邻帧，并对当前帧进行天空分割处理，实现将图像中的前景与天空背景进行分割，便于后续对天空背景的替换；再基于相邻帧，构建变换矩阵，并基于变换矩阵对目标背景进行仿射变换处理，从而实现对当前帧天空背景的替换；当视频帧集中所有视频帧处理完成后，生成目标天空背景视频，实现了对视频中的天空背景进行替换，同时结合相邻帧的信息对当前帧的天空背景进行替换，有利于提高天空背景替换的精准度。
[0091]
请参阅图8至10，图8示出了天空背景的替换方法的一种具体实施方式，图9是本技术实施例提供的第一帧图像的天空背景替换对比示意图；图10是本技术实施例提供的中间帧图像的天空背景替换对比示意图。
[0092]
s1：获取用户所选择的目标背景和待处理样本，并判断待处理样本的类型。
[0093]
s1a：若待处理样本的类型为图像类型，则对待处理样本中的待处理图像进行天空背景分割处理，得到图像天空背景掩膜图。
[0094]
s1b：将天空背景掩膜图的前景与目标背景进行叠加，得到初始图像天空背景图。
[0095]
s1c：基于目标背景，对初始图像天空背景图进行色彩和谐处理，得到目标图像天空背景图。
[0096]
s1d：判断待处理样本中是否还存在待处理图像，若存在，则返回执行若待处理样本的类型为图像类型，则对待处理样本中的待处理图像进行天空背景分割处理，得到图像天空背景掩膜的步骤，直至待处理样本中所有的待处理图像处理完成，得到多个目标图像天空背景图。
[0097]
s1e：将多个目标图像天空背景图进行拼接，得到天空背景视频。
[0098]
具体的，若待处理样本的类型为图像类型，则对待处理样本中的待处理图像进行天空背景分割处理，得到图像天空背景掩膜，其分割处理过程与步骤s4相同，为避免重复，此处不再赘述。然后将天空背景掩膜图的前景与目标背景进行叠加，得到初始图像天空背景图，再基于目标背景，对初始图像天空背景图进行色彩和谐处理，得到目标图像天空背景图。其色彩和谐处理与步骤s6相同，为避免重复，此处不再赘述。再判断待处理样本中是否还存在待处理图像，若存在，则返回执行s1a，直至待处理样本中所有的待处理图像处理完
成，得到多个目标图像天空背景图。最后将多个目标图像天空背景图依次进行拼接，从而得到天空背景视频。
[0099]
s1e：将多个目标图像天空背景图进行拼接，得到天空背景视频
[0100]
请参考图11，作为对上述图1所示方法的实现，本技术提供了一种天空背景的替换装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0101]
如图11所示，本实施例的天空背景的替换装置包括：待处理样本获取模块81、视频帧集生成模块82、待处理图像获取模块83、天空掩膜图生成模块84、初始天空背景图生成模块85、色彩和谐处理模块86及目标天空背景视频生成模块87，其中：
[0102]
待处理样本获取模块81，用于获取用户所选择的目标背景和待处理样本，并判断待处理样本的类型；
[0103]
视频帧集生成模块82，用于若待处理样本的类型为视频类型，则对待处理样本进行分帧处理，得到待处理视频帧集；
[0104]
待处理图像获取模块83，用于从待处理视频帧集中获取当前帧以及当前帧对应的相邻帧；
[0105]
天空掩膜图生成模块84，用于对当前帧中的天空背景进行分割处理，得到天空掩膜图；
[0106]
初始天空背景图生成模块85，用于基于天空掩膜图以及相邻帧，构建变换矩阵，并基于变换矩阵对目标背景进行仿射变换处理，得到初始天空背景图；
[0107]
色彩和谐处理模块86，用于基于目标背景，对初始天空背景图进行色彩和谐处理，得到当前帧的目标天空背景图；
[0108]
目标天空背景视频生成模块87，用于判断当前帧是否为待处理视频帧集中最后一帧视频帧，若否，则返回执行从待处理视频帧集中获取当前帧以及当前帧对应的相邻帧的步骤，直至所有视频帧处理完成，得到多个当前帧的目标天空背景图，并基于多个当前帧的目标天空背景图生成目标天空背景视频。
[0109]
进一步的，初始天空背景图生成模块85包括：
[0110]
角点检测处理单元，用于对天空掩膜图进行角点检测处理，得到角点特征图；
[0111]
角点追踪处理单元，用于基于角点特征图，对相邻帧角点追踪处理，得到相邻帧与角点特征图相同的角点，作为基础角点；
[0112]
目标角点获取单元，用于从基础角点中获取预设数量的目标角点，并基于目标角点，构建变换矩阵；
[0113]
仿射变换单元，用于基于变换矩阵对目标背景进行仿射变换处理，得到初始天空背景图。
[0114]
进一步的，角点检测处理单元包括：
[0115]
初始角点获取子单元，用于采用shitomasi算法对天空掩膜图进行角点检测处理，得到初始角点；
[0116]
角点距离计算子单元，用于将相邻两个初始角点作为角点组合，并计算角点组合中角点间距离，得到角点距离；
[0117]
角点特征图生成子单元，用于获取角点距离大于预设距离的角点组合，作为目标
角点组合，并基于目标角点组合，生成角点特征图。
[0118]
进一步的，目标角点获取单元包括：
[0119]
角点采样子单元，用于采用ransac随机采样的方式，从基础角点中获取预设数量的目标角点；
[0120]
位置信息获取子单元，用于分别获取目标角点在当前帧以及相邻帧中的位置，得到当前位置信息和相邻位置信息；
[0121]
目标参数值计算子单元，用于获取预设参数，并基于当前位置信息和相邻位置信息，通过预设的公式计算预设参数对应值，得到目标参数值；
[0122]
变换矩阵构建子单元，用于基于目标参数值，构建变换矩阵。
[0123]
进一步的，色彩和谐处理模块86包括：
[0124]
色彩采样均值计算单元，用于分别计算初始天空背景图以及目标背景的色彩采样均值，得到初始色彩采样均值以及目标色彩采样均值；
[0125]
差值计算单元，用于计算初始色彩采样均值与目标色彩采样均值的差值；
[0126]
目标天空背景图生成单元，用于基于差值，对初始天空背景图进行色彩和谐处理，得到当前帧的目标天空背景图。
[0127]
待处理样本获取模块81之后还包括：
[0128]
图像天空背景分割模块，用于若待处理样本的类型为图像类型，则对待处理样本中的待处理图像进行天空背景分割处理，得到图像天空背景掩膜图；
[0129]
初始图像天空背景图生成模块，用于将天空背景掩膜图的前景与目标背景进行叠加，得到初始图像天空背景图；
[0130]
目标图像天空背景图生成模块，用于基于目标背景，对初始图像天空背景图进行色彩和谐处理，得到目标图像天空背景图；
[0131]
目标图像天空背景图生成模块，用于判断待处理样本中是否还存在待处理图像，若存在，则返回执行若待处理样本的类型为图像类型，则对待处理样本中的待处理图像进行天空背景分割处理，得到图像天空背景掩膜的步骤，直至待处理样本中所有的待处理图像处理完成，得到多个目标图像天空背景图；
[0132]
天空背景视频生成模块，用于将多个目标图像天空背景图进行拼接，得到天空背景视频。
[0133]
进一步的，天空掩膜图生成模块84包括：
[0134]
当前帧目标图像生成单元，用于将当前帧压缩至预设尺寸，得到当前帧目标图像；
[0135]
模型分割单元，用于将当前帧目标图像输入预先训练好的分割模型中，通过预先训练好的分割模型识别出当前帧目标图像中的天空背景，并将天空背景分割处理，得到天空掩膜图。
[0136]
为解决上述技术问题，本技术实施例还提供计算机设备。具体请参阅图12，图12为本实施例计算机设备基本结构框图。
[0137]
计算机设备9包括通过系统总线相互通信连接存储器91、处理器92、网络接口93。需要指出的是，图中仅示出了具有三种组件存储器91、处理器92、网络接口93的计算机设备9，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储
的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、可编程门阵列(field －programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。
[0138]
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
[0139]
存储器91至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器91可以是计算机设备9的内部存储单元，例如该计算机设备9的硬盘或内存。在另一些实施例中，存储器91也可以是计算机设备9的外部存储设备，例如该计算机设备9上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。当然，存储器91还可以既包括计算机设备9的内部存储单元也包括其外部存储设备。本实施例中，存储器91通常用于存储安装于计算机设备9的操作系统和各类应用软件，例如天空背景的替换方法的程序代码等。此外，存储器91还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0140]
处理器92在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器92通常用于控制计算机设备9的总体操作。本实施例中，处理器92用于运行存储器91中存储的程序代码或者处理数据，例如运行上述天空背景的替换方法的程序代码，以实现天空背景的替换方法的各种实施例。
[0141]
网络接口93可包括无线网络接口或有线网络接口，该网络接口93通常用于在计算机设备9与其他电子设备之间建立通信连接。
[0142]
本技术还提供了另一种实施方式，即提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序可被至少一个处理器执行，以使至少一个处理器执行如上述的一种天空背景的替换方法的步骤。
[0143]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例的方法。
[0144]
显然，以上所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例，附图中给出了本技术的较佳实施例，但并不限制本技术的专利范围。本技术可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本技术的公开内容的理解更加透彻全面。尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本技术说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本技术专利保护范围之内。