图像调整方法、存储介质和电子设备与流程

1.本发明涉及计算机领域，具体而言，涉及一种图像调整方法、存储介质和电子设备。


背景技术：

2.图像调整的应用越发广泛，如在直播领域图像调整可对主播所关联的图像进行美化调整。但相关技术通常是先识别出图像所在区域内的轮廓点，然后通过图像形变技术对该轮廓点进行拉伸或收缩等调整。但这种图像调整方式针对性较差，容易扭曲区域外周围的背景图像，进而导致图像调整的准确性较低的问题出现。因此，存在图像调整的准确性较低的问题。
3.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种图像调整方法、存储介质和电子设备，以至少解决图像调整的准确性较低的技术问题。
5.根据本发明实施例的一个方面，提供了一种图像调整方法，包括：获取待调整的第一目标图像；响应于对上述第一目标图像的图像调整请求，从上述第一目标图像中分离出前景子图像以及背景子图像，其中，上述图像调整请求用于请求对上述第一目标图像中的目标对象进行调整，上述前景子图像为上述第一目标图像中包含有上述目标对象的前景图像，上述背景子图像为上述第一目标图像不包含上述目标对象的背景图像；对上述前景子图像中的上述目标对象进行调整，得到目标前景图像；对上述背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，上述缺失图像内容为上述前景子图像被分离后上述第一目标图像中缺失的图像区域；对上述目标前景图像以及上述背景子图像进行融合，得到第二目标图像。
6.根据本发明实施例的另一方面，还提供了一种图像调整装置，包括：获取单元，用于获取待调整的第一目标图像；分离单元，用于响应于对上述第一目标图像的图像调整请求，从上述第一目标图像中分离出前景子图像以及背景子图像，其中，上述图像调整请求用于请求对上述第一目标图像中的目标对象进行调整，上述前景子图像为上述第一目标图像中包含有上述目标对象的前景图像，上述背景子图像为上述第一目标图像不包含上述目标对象的背景图像；调整单元，用于对上述前景子图像中的上述目标对象进行调整，得到目标前景图像；修复单元，用于对上述背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，上述缺失图像内容为上述前景子图像被分离后上述第一目标图像中缺失的图像区域；融合单元，用于对上述目标前景图像以及上述背景子图像进行融合，得到第二目标图像。
7.作为一种可选的方案，上述调整单元，包括：第一获取模块，用于获取上述图像调整请求中携带的目标调整标识，其中，上述目标调整标识为上述目标对象中响应于上述图
像调整请求被请求调整的对象元素的标识；第一确定模块，用于根据上述目标调整标识确定上述前景子图像中的候选区域图像，其中，上述候选区域图像内包含有上述目标对象中与上述目标调整标识所匹配的目标元素；调整模块，用于对上述候选区域图像进行调整，得到目标区域图像；第二获取模块，用于根据上述目标区域图像得到上述目标前景图像。
8.作为一种可选的方案，上述装置包括：第三获取模块，用于在上述根据上述目标调整标识确定上述前景子图像中的候选区域图像之前，获取上述前景子图像中的多个图像区域点，其中，上述图像区域点为上述目标对象在上述前景子图像中的轮廓点；基于上述多个图像区域点构建多个图像子区域；上述第一确定模块，包括：确定子模块，用于根据上述目标调整标识从上述多个图像子区域中确定出目标图像子区域，其中，上述候选区域图像包括上述目标图像子区域。
9.作为一种可选的方案，上述修复单元，包括：第四获取模块，用于根据上述前景子图像以及上述背景子图像得到目标边缘信息，其中，上述目标边缘信息为上述目标对象在上述第一目标图像中所关联的图像区域的边缘信息；修复模块，用于根据上述目标边缘信息对上述背景子图像中的缺失图像区域进行修复，得到上述目标背景图像。
10.作为一种可选的方案，上述第四获取模块，包括：第一输入子模块，用于将上述前景子图像的前景掩膜、上述背景子图像的背景边缘信息以及上述背景子图像的图像内容输入至边缘生成结构，得到上述边缘生成结构输出的上述目标边缘信息，其中，上述边缘生成结构为利用多个图像样本训练得到的用于估计被前景图像所遮挡住的图像区域的边缘信息的结构。
11.作为一种可选的方案，上述修复模块，包括：第二输入子模块，用于将上述目标边缘信息以及上述背景子图像的图像内容输入至整图生成结构，得到上述整图生成结构输出的上述目标背景图像，其中，上述整图生成结构为利用多个图像样本训练得到的用于估计被前景图像所遮挡住的图像区域内的图像内容的结构。
12.作为一种可选的方案，上述分离单元，包括：输入模块，用于将上述第一目标图像输入语义分割模型，其中，上述语义分割模型为利用多个图像样本进行训练得到的用于分割前景图像以及背景图像的结构；第五获取模块，用于获取上述语义分割模型输出的上述目标对象的多个掩膜图像，其中，上述多个掩膜图像中的每个掩膜图像各自关联对应的前景数值，上述前景数值用于表示上述掩膜图像为上述目标对象的前景图像的概率；第二确定模块，用于根据上述前景数值从上述多个掩膜图像中确定出目标掩膜图像，其中，上述目标掩膜图像的前景数值为上述多个掩膜图像对应的多个前景数值的最大值；第三确定模块，用于将上述目标掩膜图像确定为上述前景子图像，以及将上述第一目标图像中除上述目标掩膜图像外的图像确定为上述背景子图像。
13.根据本技术实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上图像调整方法。
14.根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图像调整方法。
15.在本发明实施例中，获取待调整的第一目标图像；响应于对上述第一目标图像的图像调整请求，从上述第一目标图像中分离出前景子图像以及背景子图像，其中，上述图像调整请求用于请求对上述第一目标图像中的目标对象进行调整，上述前景子图像为上述第一目标图像中包含有上述目标对象的前景图像，上述背景子图像为上述第一目标图像不包含上述目标对象的背景图像；对上述前景子图像中的上述目标对象进行调整，得到目标前景图像；对上述背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，上述缺失图像内容为上述前景子图像被分离后上述第一目标图像中缺失的图像区域；对上述目标前景图像以及上述背景子图像进行融合，得到第二目标图像，利用先将图像分割为前景图像和背景图像，再对前景图像进行针对性调整的方式，进而达到了提高对图像的调整针对性的目的，从而实现了提高图像调整的准确性的效果，进而解决了图像调整的准确性较低的技术问题。
附图说明
16.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
17.图1是根据本发明实施例的一种可选的图像调整方法的应用环境的示意图；
18.图2是根据本发明实施例的一种可选的图像调整方法的流程的示意图；
19.图3是根据本发明实施例的一种可选的图像调整方法的示意图；
20.图4是根据本发明实施例的另一种可选的图像调整方法的示意图；
21.图5是根据本发明实施例的另一种可选的图像调整方法的示意图；
22.图6是根据本发明实施例的另一种可选的图像调整方法的示意图；
23.图7是根据本发明实施例的另一种可选的图像调整方法的示意图；
24.图8是根据本发明实施例的一种可选的图像调整装置的示意图；
25.图9是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
26.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
27.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
28.根据本发明实施例的一个方面，提供了一种图像调整方法，可选地，作为一种可选
的实施方式，上述图像调整方法可以但不限于应用于如图1所示的环境中。其中，可以但不限于包括用户设备102、网络110及服务器112，其中，该用户设备102上可以但不限于包括显示器108、处理器106及存储器104。
29.具体过程可如下步骤：
30.步骤s102，用户设备102获取对第一目标图像1022触发的图像调整请求；
31.步骤s104-s106，用户设备102通过网络110将图像调整请求发送给服务器112；
32.步骤s108，服务器112通过处理引擎116将第一目标图像1022分割为前景子图像以及背景子图像，并对前景子图像进行调整，并基于调整后的前景子图像和背景子图像，生成第二目标图像1024；
33.步骤s110-s112，服务器112通过网络110将第二目标图像1024发送给用户设备102，用户设备102中的处理器106将第二目标图像1024显示在显示器108中，并将第二目标图像1024存储在存储器104中。
34.除图1示出的示例之外，上述步骤可以由用户设备102独立完成，即由用户设备102执行前景子图像以及背景子图像的获取、前景子图像的调整、或第二目标图像1024的生成等步骤，从而减轻服务器的处理压力。该用户设备102包括但不限于手持设备(如手机)、笔记本电脑、台式电脑、车载设备等，本发明并不限制用户设备102的具体实现方式。
35.可选地，作为一种可选的实施方式，如图2所示，图像调整方法包括：
36.s202，获取待调整的第一目标图像；
37.s204，响应于对第一目标图像的图像调整请求，从第一目标图像中分离出前景子图像以及背景子图像，其中，图像调整请求用于请求对第一目标图像中的目标对象进行调整，前景子图像为第一目标图像中包含有目标对象的前景图像，背景子图像为第一目标图像不包含目标对象的背景图像；
38.s206，对前景子图像中的目标对象进行调整，得到目标前景图像；
39.s208，对背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，缺失图像内容为前景子图像被分离后第一目标图像中缺失的图像区域；
40.s210，对目标前景图像以及背景子图像进行融合，得到第二目标图像。
41.可选地，在本实施例中，上述图像调整方法可以但不限于应用在人像美体整形的场景中，人像美体整形是指对图像、视频中人物的形体(包括脸部、肢体等)进行美化修饰的技术，例如将人物的腿型变得更加纤细，脸型更加符合瓜子脸等。与相关技术的图像调整方式不同的是，在本实施例中先确定图像、视频中人物所在的前景图像，再对该前景图像进行针对性处理，从而降低图像调整对人物所在区域外的区域图像所造成的影响。
42.可选地，在本实施例中，可以通过图像分割技术对第一目标图像进行分割，得到前景子图像以及背景子图像，其中，前景图像可以但不限于理解为第一目标图像中用户最感兴趣的目标图像，背景图像则可以但不限于理解为第一目标图像中除前景图像外的其他图像；例如第一目标图像为目标虚拟角色在虚拟舞台上进行表演的图像，则目标虚拟角色对应的图像为前景图像，而虚拟舞台对应的图像则为背景图像。
43.可选地，在本实施例中，对前景子图像中的目标对象进行调整的方式可以但不限于包括对前景子图像中的目标对象的图像像素点进行单独或批量的调整，其中，单独调整的方式效率较低，但精准度较高；批量调整的方式效率较高，但精准度不如该单独调整的方
式，具体的，批量调整的方式可以但不限于将目标对象按照结构、部位等元素划分为至少两个区域，进而在调整过程中，调整每个区域中的每个图像像素点。
44.可选地，在本实施例中，背景修复可以但不限于对背景子图像进行处理的一种方式，用于修复背景子图像在第一目标图像被前景图像遮盖后所造成的损失；通过对背景子图像进行背景修复，得到目标背景图像，并进一步整合目标前景图像以及目标背景图像，得到第二目标图像，实现了提高图像的调整准确性的效果。
45.可选地，在本实施例中，根据目标前景图像以及背景子图像得到第二目标图像可以但不限于将调整后的前景子图像(目标前景图像)以及背景子图像进行融合，融合方法可以但不限于包括泊松融合等，其中，采用泊松融合目的是使得融合后的图像在边缘处过渡逼真自然。
46.需要说明的是，获取待调整的第一目标图像；响应于对第一目标图像的图像调整请求，从第一目标图像中分离出前景子图像以及背景子图像，其中，图像调整请求用于请求对第一目标图像中的目标对象进行调整，前景子图像为第一目标图像中包含有目标对象的前景图像，背景子图像为第一目标图像不包含目标对象的背景图像；对前景子图像中的目标对象进行调整，得到目标前景图像；对背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，缺失图像内容为前景子图像被分离后第一目标图像中缺失的图像区域；对目标前景图像以及背景子图像进行融合，得到第二目标图像。
47.进一步举例说明，可选的例如图3所示，获取待调整的第一目标图像302；响应于对第一目标图像302的图像调整请求，获取第一目标图像302的前景子图像304以及背景子图像306，其中，图像调整请求用于请求对第一目标图像302中的目标对象308进行调整，前景子图像304为第一目标图像302中包含有目标对象308的前景图像，背景子图像306为第一目标图像302不包含目标对象308的背景图像；对前景子图像304中的目标对象308进行调整，得到目标前景图像310；根据目标前景图像310以及背景子图像306得到第二目标图像312。
48.通过本技术提供的实施例，获取待调整的第一目标图像；响应于对第一目标图像的图像调整请求，从第一目标图像中分离出前景子图像以及背景子图像，其中，图像调整请求用于请求对第一目标图像中的目标对象进行调整，前景子图像为第一目标图像中包含有目标对象的前景图像，背景子图像为第一目标图像不包含目标对象的背景图像；对前景子图像中的目标对象进行调整，得到目标前景图像；对背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，缺失图像内容为前景子图像被分离后第一目标图像中缺失的图像区域；对目标前景图像以及背景子图像进行融合，得到第二目标图像，利用先将图像分割为前景图像和背景图像，再对前景图像进行针对性调整的方式，进而达到了提高对图像的调整针对性的目的，从而实现了提高图像调整的准确性的效果。
49.作为一种可选的方案，对前景子图像中的目标对象进行调整，得到目标前景图像，包括：
50.s1，获取图像调整请求中携带的目标调整标识，其中，目标调整标识为目标对象中响应于图像调整请求被请求调整的对象元素的标识；
51.s2，根据目标调整标识确定前景子图像中的候选区域图像，其中，候选区域图像内包含有目标对象中与目标调整标识所匹配的目标元素；
52.s3，对候选区域图像进行调整，得到目标区域图像；
53.s4，根据目标区域图像得到目标前景图像。
54.可选地，在本实施例中，对象元素可以但不限于理解为目标对象包含的各部分元素，例如目标对象为图4中所示的目标对象402对应的人脸，进而在该目标对象402中包含多个对象元素，如第一对象元素404(嘴部)、第二对象元素406(眼部)等；
55.进一步获取图像调整请求中携带的目标调整标识，其中，目标调整标识为目标对象402中响应于图像调整请求被请求调整的第一对象元素404的标识；再根据目标调整标识确定前景子图像中的候选区域图像，其中，候选区域图像内包含有目标对象中与目标调整标识所匹配的第一对象元素404；对候选区域图像进行调整，得到目标区域图像；根据目标区域图像得到目标前景图像。
56.通过本技术提供的实施例，获取图像调整请求中携带的目标调整标识，其中，目标调整标识为目标对象中响应于图像调整请求被请求调整的对象元素的标识；根据目标调整标识确定前景子图像中的候选区域图像，其中，候选区域图像内包含有目标对象中与目标调整标识所匹配的目标元素；对候选区域图像进行调整，得到目标区域图像；根据目标区域图像得到目标前景图像，达到了利用标识高效调整图像的目的，实现了提高图像调整的效率的效果。
57.作为一种可选的方案，在根据目标调整标识确定前景子图像中的候选区域图像之前，包括：获取前景子图像中的多个图像区域点，其中，图像区域点为目标对象在前景子图像中的轮廓点；基于多个图像区域点构建多个图像子区域；
58.作为一种可选的方案，根据目标调整标识确定前景子图像中的候选区域图像，包括：根据目标调整标识从多个图像子区域中确定出目标图像子区域，其中，候选区域图像包括目标图像子区域。
59.可选地，在本实施例中，对前景子图像中的目标对象进行调整，得到目标前景图像可以但不限于为前景形变的一种方式，具体的前景形变可以但不限于包括三部分，分别是识别前景区域的关键点(图像区域点)、构建三角面片(图像子区域)、对图形进行拉伸收缩变形。
60.进一步举例说明，可选的假设目标对象为人脸对象，则已有的人脸或人体关键点技术可识别出人脸或人体的轮廓点位置。由于人脸和人体的几何形状相对复杂，为了精准地对不同区域进行调整，可以构建多个三角面片然后分别精细化地处理。基于识别到的轮廓点位置，可以使用德劳内三角化技术将前景区域划分为多个较小的三角面片。这些三角面片两两互不重复，并且共同组成前景区域。最后，根据所需对特定区域进行调整。比如识别到腿部轮廓点，并找到对应的三角面片，便可对这些三角面片做仿射变换等形变操作。
61.通过本技术提供的实施例，获取前景子图像中的多个图像区域点，其中，图像区域点为目标对象在前景子图像中的轮廓点；基于多个图像区域点构建多个图像子区域；根据目标调整标识从多个图像子区域中确定出目标图像子区域，其中，候选区域图像包括目标图像子区域，实现了提高图像的调整准确性的效果。
62.作为一种可选的方案，对背景子图像中的缺失图像区域进行修复，得到目标背景图像，包括：
63.s1，根据前景子图像以及背景子图像得到目标边缘信息，其中，目标边缘信息为目标对象在第一目标图像中所关联的图像区域的边缘信息；
64.s2，根据目标边缘信息对背景子图像中的缺失图像区域进行修复，得到目标背景图像。
65.可选地，在本实施例中，观察到大量的图像具有语义强相关性，进而可以但不限于采用该语义强相关性的方式以根据前景子图像以及背景子图像得到目标边缘信息，其中，语义强相关性是指目标区域的边缘、结构、纹理、色彩等信息与周围区域的边缘、结构、纹理、色彩具有较高相关性。例如，目标边缘附近是桌子某一部分，那么目标背后大概率是桌子的另一部分。而不同部位的桌子边缘大概率是相似的。
66.作为一种可选的方案，根据前景子图像以及背景子图像得到目标边缘信息，包括：
67.将前景子图像的前景掩膜、背景子图像的背景边缘信息以及背景子图像的图像内容输入至边缘生成结构，得到边缘生成结构输出的目标边缘信息，其中，边缘生成结构为利用多个图像样本训练得到的用于估计被前景图像所遮挡住的图像区域的边缘信息的结构。
68.可选地，在本实施例中，可以但不限于设计模型学习到前景图像背后的边缘信息。
69.可选的，在本实施例中，前景掩膜可以但不限于通过语义分割模型获得；背景边缘信息可以但不限于通过边缘算子(比如canny边缘检测)对背景进行提取；图像内容可以但不限于为通过前、背景分离后的图像内容。
70.可选的，在本实施例中，边缘生成结构可以但不限于被设计为编码器和解码器两部分。首先，前景掩膜、背景边缘信息和图像内容输入到编码器进行编码，然后编码特征输入到解码器中解码为修复后的边缘信息。其中，编码器由多个卷积、下采样算子和残差块等构成。解码器由多个卷积、上采样算子和残差块等构成。
71.需要说明的是，将前景子图像的前景掩膜、背景子图像的背景边缘信息以及背景子图像的图像内容输入至边缘生成结构，得到边缘生成结构输出的目标边缘信息，其中，边缘生成结构为利用多个图像样本训练得到的用于估计被前景图像所遮挡住的图像区域的边缘信息的结构。
72.进一步举例说明，假设目标边缘附近是桌子某一部分，那么目标背后大概率是桌子的另一部分。而不同部位的桌子边缘大概率是相似的，因此可以但不限于设计模型学习到目标背后的边缘。可选的如图5所示，边缘生成结构508的输入为前景子图像的前景掩膜502、背景子图像的背景边缘信息504以及背景子图像的图像内容506；进而得到边缘生成结构508的输出为目标边缘信息510。换言之，边缘生成结构508用于估计前景后面区域的边缘信息；
73.通过对抗生成学习的方法求解边缘生成器的参数。具体而言，训练过程中增加一个鉴别器。鉴别器用于甄别生成样本来自真实分布还是生成分布。训练过程设置为交替调优边缘生成器和鉴别器，直至满足某种条件。最终，生成器的生成能力变得足够好，以至于鉴别器也无法分清真实样本和生成样本。
74.作为一种可选的方案，根据目标边缘信息对背景子图像中的缺失图像区域进行修复，得到目标背景图像，包括：
75.将目标边缘信息以及背景子图像的图像内容输入至整图生成结构，得到整图生成结构输出的目标背景图像，其中，整图生成结构为利用多个图像样本训练得到的用于估计被前景图像所遮挡住的图像区域内的图像内容的结构。
76.可选地，在本实施例中，整图生成结构可以但不限于由编码器和解码器组成。首
先，目标边缘信息以及背景子图像的图像内容输入到编码器进行编码，然后编码特征输入到解码器中解码为修复后的图像内容。其中，编码器由多个卷积、下采样算子和残差块等构成。解码器由多个卷积、上采样算子和残差块等构成。
77.可选地，在本实施例中，整图生成结构在训练阶段时，可以构建对抗损失、感知损失等多种目标函数。对抗损失类似于边缘生成器。感知损失定义为约束生成特征和真实特征的距离尽可能小。其中，采用预训练大模型抽取生成样本和真实样本的特征。训练过程设置为更新整图生成结构的参数，使得目标函数符合既定条件。
78.需要说明的是，将目标边缘信息以及背景子图像的图像内容输入至整图生成结构，得到整图生成结构输出的目标背景图像，其中，整图生成结构为利用多个图像样本训练得到的用于估计被前景图像所遮挡住的图像区域内的图像内容的结构。
79.进一步举例说明，可选的基于图5所示场景，继续例如图6所示，整图生成结构602的输入包括边缘生成结构508的输出目标边缘信息510和图像内容506，进而得到整图生成结构602输出的目标背景图像604。
80.作为一种可选的方案，从第一目标图像中分离出前景子图像以及背景子图像，包括：
81.s1，将第一目标图像输入语义分割模型，其中，语义分割模型为利用多个图像样本进行训练得到的用于分割前景图像以及背景图像的结构；
82.s2，获取语义分割模型输出的目标对象的多个掩膜图像，其中，多个掩膜图像中的每个掩膜图像各自关联对应的前景数值，前景数值用于表示掩膜图像为目标对象的前景图像的概率；
83.s3，根据前景数值从多个掩膜图像中确定出目标掩膜图像，其中，目标掩膜图像的前景数值为多个掩膜图像对应的多个前景数值的最大值；
84.s4，将目标掩膜图像确定为前景子图像，以及将第一目标图像中除目标掩膜图像外的图像确定为背景子图像。
85.可选地，在本实施例中，采用语义分割模型对前景图像和背景图像进行分离。采用语义分割模型进行推理时，其输入可以但不限于为单帧图像，输出可以但不限于为目标的掩膜图像，掩膜图像中数值越高的区域，代表属于前景的概率越大。
86.再者，在本实施例中，语义分割模型的参数可以但不限于通过随机梯度下降优化方法求解得到。具体来说，先定义模型的误差函数。可以采用交叉熵的形式，交叉熵衡量真实分布和预测分布的相似性，相似性越大，误差函数数值越小，反之相似性越小，误差数值越大。优化目标是通过更新模型的参数，使得误差函数值变小。整个优化过程分为前向和反向两部分。前向用于计算误差函数数值。反向用于计算误差对参数的梯度，梯度反映误差下降最快的方向。原参数沿着梯度方向移动若干个步长，即可得到新参数。前向和反向两个步骤多次交替地执行，直至满足既定条件。
87.作为一种可选的方案，为方便理解，将上述图像调整方法应用在人像美体整形场景中，进一步举例说明，可选的例如图7所示，具体步骤如下：
88.步骤s702，分离前景图像和背景图像；
89.可选的，在本实施例中，采用语义分割模型对前景和背景进行分离。模型推理时，输入为单帧图像，输出为目标的掩膜图像，掩膜图像中数值越高的区域，代表属于前景的概
率越大。
90.语义分割模型的参数通过随机梯度下降优化方法求解得到。具体来说，先定义模型的误差函数。可以采用交叉熵的形式，交叉熵衡量真实分布和预测分布的相似性，相似性越大，误差函数数值越小，反之相似性越小，误差数值越大。优化目标是通过更新模型的参数，使得误差函数值变小。整个优化过程分为前向和反向两部分。前向用于计算误差函数数值。反向用于计算误差对参数的梯度，梯度反映误差下降最快的方向。原参数沿着梯度方向移动若干个步长，即可得到新参数。前向和反向两个步骤多次交替地执行，直至满足既定条件。
91.步骤s704，形变前景图像；
92.可选的，在本实施例中，前景形变主要包含三部分，分别是识别前景区域的关键点、构建三角面片、对图形进行拉伸收缩变形。
93.已有的人脸或人体关键点技术可识别出人脸或人体的轮廓点位置。由于人脸和人体的几何形状相对复杂，为了精准地对不同区域进行调整，可以构建多个三角面片然后分别精细化地处理。基于识别到的轮廓点位置，可以使用德劳内三角化技术将前景区域划分为多个较小的三角面片。这些三角面片两两互不重复，并且共同组成前景区域。最后，根据所需对特定区域进行调整。比如识别到腿部轮廓点，并找到对应的三角面片，便可对这些三角面片做仿射变换等形变操作。
94.步骤s706，修复背景图像；
95.可选的，在本实施例中，背景修复由两部分组成，分别为边缘生成器和整图生成器。首先将前景掩膜、背景边缘和背景图作为边缘生成器的输入，输出为整图边缘。接着通过整图边缘作为条件，引导整图生成器生成全图。
96.观察到大量的图像具有语义强相关性。语义强相关性是指目标区域的边缘、结构、纹理、色彩等信息与周围区域的边缘、结构、纹理、色彩具有较高相关性。比方，目标边缘附近是桌子某一部分，那么目标背后大概率是桌子的另一部分。而不同部位的桌子边缘大概率是相似的，因此可以设计模型学习到目标背后的边缘。
97.边缘生成器的输入为前景掩膜、背景边缘和背景。前景掩膜通过语义分割模型(见2.1小节)获得；背景边缘通过边缘算子(比如canny边缘检测)对背景进行提取；背景图为通过前背景分离后的图像。输出为整图边缘，换言之，生成器估计前景后面区域的边缘信息。通常边缘生成器设计为编码器和解码器两部分。首先，前景掩膜、背景边缘和背景图输入到编码器进行编码，然后编码特征输入到解码器中解码为修复后的边缘。其中，编码器由多个卷积、下采样算子和残差块等构成。解码器由多个卷积、上采样算子和残差块等构成。
98.通过对抗生成学习的方法求解边缘生成器的参数。具体而言，训练过程中增加一个鉴别器。鉴别器用于甄别生成样本来自真实分布还是生成分布。训练过程设置为交替调优边缘生成器和鉴别器，直至满足某种条件。最终，生成器的生成能力变得足够好，以至于鉴别器也无法分清真实样本和生成样本。
99.整图生成器的输入包括整图边缘和背景图。整图边缘由边缘生成器提供。背景图是通过前背景分离后的背景图像。输出为整图，也就是去估计被前景遮挡的内容。类似于边缘生成器，整图生成器也由编码器和解码器组成。首先，整图边缘和背景图输入到编码器进行编码，然后编码特征输入到解码器中解码为修复后的图像。其中，编码器由多个卷积、下
采样算子和残差块等构成。解码器由多个卷积、上采样算子和残差块等构成。
100.训练阶段时，可以构建对抗损失、感知损失等多种目标函数。对抗损失类似于边缘生成器。感知损失定义为约束生成特征和真实特征的距离尽可能小。其中，采用预训练大模型抽取生成样本和真实样本的特征。训练过程设置为更新整图生成器的参数，使得目标函数符合既定条件。
101.步骤s708，融合前景图像和背景图像；
102.可选的，在本实施例中，将形变后的前景和修复后的背景进行融合，融合方法包括泊松融合等。采用泊松融合目的是使得融合后的图像在边缘处过渡逼真自然。
103.通过本实施例，融合前景图像和背景图像；美体修复模型对背景图像和前景位置进行编码，然后将编码特征解码为修复后的图像；利用图像空间语义约束引导美体修复模型学习结构、纹理和色彩的强相关性。
104.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
105.根据本发明实施例的另一个方面，还提供了一种用于实施上述图像调整方法的图像调整装置。如图8所示，该装置包括：
106.获取单元802，用于获取待调整的第一目标图像；
107.分离单元804，用于响应于对第一目标图像的图像调整请求，从第一目标图像中分离出前景子图像以及背景子图像，其中，图像调整请求用于请求对第一目标图像中的目标对象进行调整，前景子图像为第一目标图像中包含有目标对象的前景图像，背景子图像为第一目标图像不包含目标对象的背景图像；
108.调整单元806，用于对前景子图像中的目标对象进行调整，得到目标前景图像；
109.调整单元808，用于对背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，缺失图像内容为前景子图像被分离后第一目标图像中缺失的图像区域；
110.融合单元810，用于对目标前景图像以及背景子图像进行融合，得到第二目标图像。
111.可选地，在本实施例中，上述图像调整方法可以但不限于应用在人像美体整形的场景中，人像美体整形是指对图像、视频中人物的形体(包括脸部、肢体等)进行美化修饰的技术，例如将人物的腿型变得更加纤细，脸型更加符合瓜子脸等。与相关技术的图像调整方式不同的是，在本实施例中先确定图像、视频中人物所在的前景图像，再对该前景图像进行针对性处理，从而降低图像调整对人物所在区域外的区域图像所造成的影响。
112.可选地，在本实施例中，可以通过图像分割技术对第一目标图像进行分割，得到前景子图像以及背景子图像，其中，前景图像可以但不限于理解为第一目标图像中用户最感兴趣的目标图像，背景图像则可以但不限于理解为第一目标图像中除前景图像外的其他图像；例如第一目标图像为目标虚拟角色在虚拟舞台上进行表演的图像，则目标虚拟角色对应的图像为前景图像，而虚拟舞台对应的图像则为背景图像。
113.可选地，在本实施例中，对前景子图像中的目标对象进行调整的方式可以但不限
于包括对前景子图像中的目标对象的图像像素点进行单独或批量的调整，其中，单独调整的方式效率较低，但精准度较高；批量调整的方式效率较高，但精准度不如该单独调整的方式，具体的，批量调整的方式可以但不限于将目标对象按照结构、部位等元素划分为至少两个区域，进而在调整过程中，调整每个区域中的每个图像像素点。
114.可选地，在本实施例中，背景修复可以但不限于对背景子图像进行处理的一种方式，用于修复背景子图像在第一目标图像被前景图像遮盖后所造成的损失；通过对背景子图像进行背景修复，得到目标背景图像，并进一步整合目标前景图像以及目标背景图像，得到第二目标图像，实现了提高图像的调整准确性的效果。
115.可选地，在本实施例中，根据目标前景图像以及背景子图像得到第二目标图像可以但不限于将调整后的前景子图像(目标前景图像)以及背景子图像进行融合，融合方法可以但不限于包括泊松融合等，其中，采用泊松融合目的是使得融合后的图像在边缘处过渡逼真自然。
116.需要说明的是，获取待调整的第一目标图像；响应于对第一目标图像的图像调整请求，从第一目标图像中分离出前景子图像以及背景子图像，其中，图像调整请求用于请求对第一目标图像中的目标对象进行调整，前景子图像为第一目标图像中包含有目标对象的前景图像，背景子图像为第一目标图像不包含目标对象的背景图像；对前景子图像中的目标对象进行调整，得到目标前景图像；对背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，缺失图像内容为前景子图像被分离后第一目标图像中缺失的图像区域；对目标前景图像以及背景子图像进行融合，得到第二目标图像。
117.具体实施例可以参考上述图像调整方法中所示示例，本示例中在此不再赘述。
118.通过本技术提供的实施例，获取待调整的第一目标图像；响应于对第一目标图像的图像调整请求，从第一目标图像中分离出前景子图像以及背景子图像，其中，图像调整请求用于请求对第一目标图像中的目标对象进行调整，前景子图像为第一目标图像中包含有目标对象的前景图像，背景子图像为第一目标图像不包含目标对象的背景图像；对前景子图像中的目标对象进行调整，得到目标前景图像；对背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，缺失图像内容为前景子图像被分离后第一目标图像中缺失的图像区域；对目标前景图像以及背景子图像进行融合，得到第二目标图像，利用先将图像分割为前景图像和背景图像，再对前景图像进行针对性调整的方式，进而达到了提高对图像的调整针对性的目的，从而实现了提高图像调整的准确性的效果。
119.作为一种可选的方案，调整单元806，包括：
120.第一获取模块，用于获取图像调整请求中携带的目标调整标识，其中，目标调整标识为目标对象中响应于图像调整请求被请求调整的对象元素的标识；
121.第一确定模块，用于根据目标调整标识确定前景子图像中的候选区域图像，其中，候选区域图像内包含有目标对象中与目标调整标识所匹配的目标元素；
122.调整模块，用于对候选区域图像进行调整，得到目标区域图像；
123.第二获取模块，用于根据目标区域图像得到目标前景图像。
124.具体实施例可以参考上述图像调整方法中所示示例，本示例中在此不再赘述。
125.作为一种可选的方案，装置包括：第三获取模块，用于在根据目标调整标识确定前景子图像中的候选区域图像之前，获取前景子图像中的多个图像区域点，其中，图像区域点
为目标对象在前景子图像中的轮廓点；基于多个图像区域点构建多个图像子区域；
126.第一确定模块，包括：确定子模块，用于根据目标调整标识从多个图像子区域中确定出目标图像子区域，其中，候选区域图像包括目标图像子区域。
127.具体实施例可以参考上述图像调整方法中所示示例，本示例中在此不再赘述。
128.作为一种可选的方案，调整单元808，包括：
129.第四获取模块，用于根据前景子图像以及背景子图像得到目标边缘信息，其中，目标边缘信息为目标对象在第一目标图像中所关联的图像区域的边缘信息；
130.修复模块，用于根据目标边缘信息对背景子图像中的缺失图像区域进行修复，得到目标背景图像。
131.具体实施例可以参考上述图像调整方法中所示示例，本示例中在此不再赘述。
132.作为一种可选的方案，第四获取模块，包括：
133.第一输入子模块，用于将前景子图像的前景掩膜、背景子图像的背景边缘信息以及背景子图像的图像内容输入至边缘生成结构，得到边缘生成结构输出的目标边缘信息，其中，边缘生成结构为利用多个图像样本训练得到的用于估计被前景图像所遮挡住的图像区域的边缘信息的结构。
134.具体实施例可以参考上述图像调整方法中所示示例，本示例中在此不再赘述。
135.作为一种可选的方案，修复模块，包括：
136.第二输入子模块，用于将目标边缘信息以及背景子图像的图像内容输入至整图生成结构，得到整图生成结构输出的目标背景图像，其中，整图生成结构为利用多个图像样本训练得到的用于估计被前景图像所遮挡住的图像区域内的图像内容的结构。
137.具体实施例可以参考上述图像调整方法中所示示例，本示例中在此不再赘述。
138.作为一种可选的方案，分离单元804，包括：
139.输入模块，用于将第一目标图像输入语义分割模型，其中，语义分割模型为利用多个图像样本进行训练得到的用于分割前景图像以及背景图像的结构；
140.第五获取模块，用于获取语义分割模型输出的目标对象的多个掩膜图像，其中，多个掩膜图像中的每个掩膜图像各自关联对应的前景数值，前景数值用于表示掩膜图像为目标对象的前景图像的概率；
141.第二确定模块，用于根据前景数值从多个掩膜图像中确定出目标掩膜图像，其中，目标掩膜图像的前景数值为多个掩膜图像对应的多个前景数值的最大值；
142.第三确定模块，用于将目标掩膜图像确定为前景子图像，以及将第一目标图像中除目标掩膜图像外的图像确定为背景子图像。
143.具体实施例可以参考上述图像调整方法中所示示例，本示例中在此不再赘述。
144.根据本发明实施例的又一个方面，还提供了一种用于实施上述图像调整方法的电子设备，如图9所示，该电子设备包括存储器902和处理器904，该存储器902中存储有计算机程序，该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
145.可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
146.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
147.s1，获取待调整的第一目标图像；
148.s2，响应于对第一目标图像的图像调整请求，从第一目标图像中分离出前景子图像以及背景子图像，其中，图像调整请求用于请求对第一目标图像中的目标对象进行调整，前景子图像为第一目标图像中包含有目标对象的前景图像，背景子图像为第一目标图像不包含目标对象的背景图像；
149.s3，对前景子图像中的目标对象进行调整，得到目标前景图像；
150.s4，对背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，缺失图像内容为前景子图像被分离后第一目标图像中缺失的图像区域；
151.s5，对目标前景图像以及背景子图像进行融合，得到第二目标图像。
152.可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子设备也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图9其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图9中所示更多或者更少的组件(如网络接口等)，或者具有与图9所示不同的配置。
153.其中，存储器902可用于存储软件程序以及模块，如本发明实施例中的图像调整方法和装置对应的程序指令/模块，处理器904通过运行存储在存储器902内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像调整方法。存储器902可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器902可进一步包括相对于处理器904远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器902具体可以但不限于用于存储第一目标图像、目标前景图像以及第二目标图像等信息。作为一种示例，如图9所示，上述存储器902中可以但不限于包括上述图像调整装置中的获取单元802、分离单元804、调整单元806、调整单元808及融合单元810。此外，还可以包括但不限于上述图像调整装置中的其他模块单元，本示例中不再赘述。
154.可选地，上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置906包括一个网络适配器(network interface controller，nic)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置906为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
155.此外，上述电子设备还包括：显示器908，用于显示上述第一目标图像、目标前景图像以及第二目标图像等信息；和连接总线910，用于连接上述电子设备中的各个模块部件。
156.在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(peer to peer，简称p2p)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
157.根据本技术的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序/指令，该计算机程序/指令包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质
被安装。在该计算机程序被中央处理器执行时，执行本技术实施例提供的各种功能。
158.根据本技术的一个方面，提供了一种计算机可读存储介质，计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像调整方法。
159.可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
160.s1，获取待调整的第一目标图像；
161.s2，响应于对第一目标图像的图像调整请求，从第一目标图像中分离出前景子图像以及背景子图像，其中，图像调整请求用于请求对第一目标图像中的目标对象进行调整，前景子图像为第一目标图像中包含有目标对象的前景图像，背景子图像为第一目标图像不包含目标对象的背景图像；
162.s3，对前景子图像中的目标对象进行调整，得到目标前景图像；
163.s4，对背景子图像中的缺失图像区域进行修复，得到目标背景图像，其中，缺失图像内容为前景子图像被分离后第一目标图像中缺失的图像区域；
164.s5，对目标前景图像以及背景子图像进行融合，得到第二目标图像。
165.可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
166.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
167.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
168.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
169.在本技术所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
170.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
171.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
172.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。