图像处理方法和相关产品与流程

1.本技术涉及图像处理领域，尤其涉及一种图像处理方法和相关产品。


背景技术：

2.目前，手机的拍照功能被广泛使用。当前在拍照过程中，可能存在以下问题：1、当前由于外在光线(例如暗光、逆光、弱光、夜景等)，外在环境(例如烟、雾等)，手机物理因素(例如拍摄手抖等)导致拍摄的图像的清晰度较差，影响用户拍照体验；2、利用美颜算法对人像做美颜处理后，人像的面部细节纹理丢失较多，真实感，自然感较差。用户或者专业人员通过其他图像采集装置(例如相机、摄像机、监控设备)采集的图像也可能存在清晰度较低的问题。因此需要研究如何提高图像的清晰度的方案。


技术实现要素：

3.本技术实施例公开了一种图像处理方法和相关产品。
4.第一方面，本技术实施例提供一种图像处理方法，该方法包括：接收图像修复指令；所述图像修复指令用于修复第一图像中的第一人脸；响应于所述图像修复指令，根据第二图像对所述第一图像做图像修复处理，得到第三图像；所述第二图像包含第二人脸，所述第二人脸为所述第一人脸或者标准人脸，所述第三图像中的所述第一人脸的清晰度高于所述第一图像中的所述第一人脸的清晰度。本技术中，修复可替换为增强，例如图像修复指令可称为图像增强指令。
5.本技术实施例中，根据第二图像对第一图像做图像修复处理，即该第二图像作为修复该第一图像的参考图像；可以有效提升人脸的清晰度。
6.在一种可能的实现方式中，所述根据第二图像对所述第一图像做图像修复处理，得到第三图像包括：对所述第一图像做人脸关键点检测，得到所述第一人脸的多个第一关键点信息，以及对所述第二图像做人脸关键点检测，得到所述第二人脸的多个第二关键点信息；根据多个所述第一关键点信息、多个所述第二关键点信息以及所述第二图像对所述第一图像做图像修复处理，得到所述第三图像。
7.在该实现方式中，根据第一关键点信息、第二关键点信息以及第二图像对第一图像做图像修复处理，得到第三图像；可以独立修复人脸五官的清晰度。
8.在一种可能的实现方式中，所述根据多个所述第一关键点信息、多个所述第二关键点信息对所述第一图像做图像修复处理，得到所述第三图像包括：从所述第一图像中获取包含所述第一人脸的第一人脸区域，得到第一子图像，从所述第二图像中获取包含所述第二人脸的第二人脸区域，得到第二子图像；利用所述多个第一人脸关键点和所述多个第二人脸关键点处理得到流场信息；所述流场信息表征所述多个第一人脸关键点和所述多个第二人脸关键点之间的对应关系；将所述流场信息、所述第一子图像以及所述第二子图像输入至人脸修复模型做图像修复处理，得到所述第三图像；所述人脸修复模型用于做人脸修复的网络模型。
9.在该实现方式中，将流场信息、第一图像以及第二图像输入至人脸修复模型做图像修复处理，得到第三图像；可以得到清晰度更高、人像面部细节纹理更丰富的图像。
10.在一种可能的实现方式中，所述根据多个所述第一关键点信息、多个所述第二关键点信息对所述第一图像做图像修复处理，得到所述第三图像包括：利用所述多个第一人脸关键点和所述多个第二人脸关键点处理得到流场信息；所述流场信息表征所述多个第一人脸关键点和所述多个第二人脸关键点之间的对应关系；将所述流场信息、所述第一图像以及所述第二图像输入至人脸修复模型做图像修复处理，得到所述第三图像；所述人脸修复模型为用于做人脸修复的网络模型。
11.在该实现方式中，将流场信息、第一图像以及第二图像输入至人脸修复模型做图像修复处理，得到第三图像；可以得到清晰度更高、人像面部细节纹理更丰富的图像。
12.在一种可能的实现方式中，所述人脸修复模型由一个基于unet的网络进行生成对抗学习得到。该网络的生成器可以通过学习实现修复人脸。
13.在该实现方式中，利用通过生成对抗学习得到的人脸修复模型做图像修复处理，通过从大数据中自动学习特征，可以提升图像修复处理的效果。
14.在一种可能的实现方式中，在从所述第一图像中获取包含所述第一人脸的第一人脸区域，得到第一子图像之后，所述方法还包括：对所述第一子图像做人像分割处理，得到人像分割掩码；利用所述人像分割掩码对所述第三图像和所述第一图像做融合处理，得到第四图像；所述第四图像中的所述第一人脸的清晰度高于所述第一图像中的所述第一人脸的清晰度。
15.在该实现方式中，利用人像分割掩码对第三图像和第一图像做融合处理，可以准确地将该第三图像中与该第一图像中相匹配的特征做融合，从而得到人像清晰度更好的图像。
16.在一种可能的实现方式中，所述利用所述人像分割掩码对所述第三图像和所述第一图像做融合处理，得到第四图像包括：利用所述人像分割掩码对所述第三图像和所述第一图像进行相加融合，得到所述第四图像。
17.在该实现方式中，利用人像分割掩码对第三图像和第一图像进行相加融合，得到第四图像；可以快速实现该第三图像和该第一图像的融合。
18.在一种可能的实现方式中，在将所述流场信息、所述第一子图像以及所述第二子图像输入至人脸修复模型做图像修复处理，得到所述第三图像之后，所述方法还包括：对所述第三图像做人脸亮度矫正和/或人脸锐化调整，得到第五图像；利用人像分割掩码对所述第五图像和所述第一图像做融合处理，得到第六图像；所述第六图像中的所述第一人脸的清晰度高于所述第一图像中的所述第一人脸的清晰度，所述人像分割掩码由对所述第一子图像做人像分割处理得到。
19.在该实现方式中，对第三图像做人脸亮度矫正可以修正人脸的皮肤颜色，使得修复的人像更加自然、逼真。对第三图像做人脸锐化调整，可以突出人脸的轮廓，以便提升人脸的清晰度。
20.在一种可能的实现方式中，所述对所述第三图像做人脸亮度矫正和/或人脸锐化调整，得到第五图像包括：根据所述第三图像中的多个区域分别在所述第一图像中对应的区域的亮度，调整所述第三图像中的所述多个区域的亮度，得到第七图像；对所述第七图像
做人脸锐化调整，得到所述第五图像。
21.在该实现方式中，根据第三图像中的多个区域分别在第一图像中对应的区域的亮度，调整第三图像中的所述多个区域的亮度。也就是说，将第三图像进行分区域处理，每个区域的亮度与其在第一图像对应的区域的亮度进行对齐，以矫正人脸修复模型带来的亮度改变的问题。可以理解，对第三图像中的不同区域分别做亮度调整，可使得第七图像中的各区域的亮度与第一图像中的亮度基本一致。
22.在一种可能的实现方式中，所述对所述第七图像做人脸锐化调整，得到所述第五图像包括：通过带通滤波器识别所述第七图像中的多个区域的锐化程度，将得到的各锐化程度数值归一化并取反，得到所述第七图像中的多个区域对应的锐化系数；根据所述第七图像中的多个区域对应的锐化系数，对所述第七图像做锐化处理，得到第八图像；通过拉普拉斯算子滤波器对所述第八图像做锐化处理，得到所述第五图像。
23.在该实现方式中，根据第七图像中的多个区域对应的锐化系数，对该第七图像做锐化处理。也就是说，根据第七图像中各区域本身的锐化程度进行相应的锐化调整，能够提升锐化效果。
24.在一种可能的实现方式中，所述第七图像中的第一区域的亮度与所述第一图像中的第一区域的亮度相同，所述第七图像中的第一区域对应于所述第一图像中的第一区域，所述第七图像中的第二区域的亮度与所述第一图像中的第二区域的亮度相同，所述第七图像中的第二区域对应于所述第一图像中的第二区域。
25.在该实现方式中，第三图像中的第一区域的亮度与第一图像中的第一区域的亮度相同，可以使得第三图像中的人脸的亮度与第一图像中的人脸的亮度相同。
26.在一种可能的实现方式中，所述对所述第三图像做人脸亮度矫正和/或人脸锐化调整，得到第五图像包括：根据所述第三图像中的多个区域分别在所述第一图像中对应的区域的亮度，调整所述第三图像中的所述多个区域的亮度，得到所述第五图像；或者，通过带通滤波器识别所述第三图像中的多个区域的锐化程度，将得到的各锐化程度数值归一化并取反，得到所述第三图像中的多个区域对应的锐化系数；根据所述第三图像中的多个区域对应的锐化系数，对所述第三图像做锐化处理，得到第九图像；通过拉普拉斯算子滤波器对所述第九图像做锐化处理，得到所述第五图像。
27.在该实现方式中，对第三图像做人脸亮度矫正可以修正人脸的皮肤颜色，使得修复的人像更加自然、逼真。对第三图像做人脸锐化调整，可以突出人脸的轮廓，以便提升人脸的清晰度。
28.在一种可能的实现方式中，在对第一图像做人脸关键点检测，得到所述第一人脸的多个第一关键点信息之前，所述方法还包括：检测所述第一图像中的所述第一人脸的清晰度；所述对第一图像做人脸关键点检测，得到所述第一人脸的多个第一关键点信息包括：在所述第一图像中的所述第一人脸的清晰度大于或等于第一阈值且小于或等于第二阈值的情况下，对所述第一图像做人脸关键点检测，得到多个所述第一关键点信息。清晰度低于所述第一阈值的图像可视为模糊无法识别的图像(即不可修复的图像)，清晰度高于第二阈值的图像可视为清晰度无需修复的图像(即不可修复的图像)。可理解，若一个图像的清晰度大于或等于第一阈值且小于或等于第二阈值，则该图像可修复；否则，该图像不可修复。
29.在该实现方式中，在第一图像中的第一人脸的清晰度大于或等于第一阈值且小于
或等于第二阈值的情况下，对该第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息；以便在可修复该第一图像时，执行图像修复处理的流程，可避免执行不必要的修复处理流程。
30.在一种可能的实现方式中，所述方法还包括：在所述第一图像中的所述第一人脸的清晰度小于所述第一阈值或大于所述第二阈值的情况下，结束对所述第一图像做图像修复处理的流程。
31.在该实现方式中，在第一图像中的第一人脸的清晰度小于第一阈值或大于第二阈值的情况下，结束对第一图像做图像修复处理的流程，可避免执行不必要的修复处理流程。
32.在一种可能的实现方式中，在接收图像修复指令之前，所述方法还包括：接收图像选择指令；响应于所述图像选择指令，将所述第二图像作为修复所述第一图像的参考图像。
33.在该实现方式中，响应于图像选择指令，将第二图像作为修复第一图像的参考图像；用户可根据实际需求选择所需的图像作为修复第一图像的参考图像。
34.在一种可能的实现方式中，所述第二图像包含所述第一人脸，所述第二图像中的所述第一人脸的清晰度高于所述第一图像中的所述第一人脸的清晰度；或者，所述第二图像为标准脸高清图像。
35.在该实现方式中，第二图像中的第一人脸的清晰度高于第一图像中的第一人脸的清晰度，这样该第二图像作为修复该第一图像的参考图像，可有效该第一图像的清晰度。
36.第二方面，本技术实施例提供了一种图像处理装置，包括：指令接收模块，用于接收图像修复指令；所述图像修复指令用于修复第一图像中的第一人脸；图像处理模块，用于响应于所述图像修复指令，根据第二图像对所述第一图像做图像修复处理，得到第三图像；所述第二图像包含第二人脸，所述第二人脸为所述第一人脸或者标准人脸，所述第三图像中的所述第一人脸的清晰度高于所述第一图像中的所述第一人脸的清晰度。
37.在一种可能的实现方式中，所述图像处理模块，具体用于对所述第一图像做人脸关键点检测，得到所述第一人脸的多个第一关键点信息，以及对所述第二图像做人脸关键点检测，得到所述第二人脸的多个第二关键点信息；根据多个所述第一关键点信息、多个所述第二关键点信息以及所述第二图像对所述第一图像做图像修复处理，得到所述第三图像。
38.在一种可能的实现方式中，所述图像处理模块，具体用于从所述第一图像中获取包含所述第一人脸的第一人脸区域，得到第一子图像，从所述第二图像中获取包含所述第二人脸的第二人脸区域，得到第二子图像；利用所述多个第一人脸关键点和所述多个第二人脸关键点处理得到流场信息；所述流场信息表征所述多个第一人脸关键点和所述多个第二人脸关键点之间的对应关系；将所述流场信息、所述第一子图像以及所述第二子图像输入至人脸修复模型做图像修复处理，得到所述第三图像；所述人脸修复模型用于做人脸修复的网络模型。
39.在一种可能的实现方式中，所述图像处理模块，具体用于利用所述多个第一人脸关键点和所述多个第二人脸关键点处理得到流场信息；所述流场信息表征所述多个第一人脸关键点和所述多个第二人脸关键点之间的对应关系；将所述流场信息、所述第一图像以及所述第二图像输入至人脸修复模型做图像修复处理，得到所述第三图像；所述人脸修复模型为用于做人脸修复的网络模型。
40.在一种可能的实现方式中，所述图像处理模块，还用于对所述第一子图像做人像分割处理，得到人像分割掩码；利用所述人像分割掩码对所述第三图像和所述第一图像做融合处理，得到第四图像；所述第四图像中的所述第一人脸的清晰度高于所述第一图像中的所述第一人脸的清晰度。
41.在一种可能的实现方式中，所述图像处理模块，具体用于利用所述人像分割掩码对所述第三图像和所述第一图像进行相加融合，得到所述第四图像。
42.在一种可能的实现方式中，所述图像处理模块，还用于对所述第三图像做人脸亮度矫正和/或人脸锐化调整，得到第五图像；利用人像分割掩码对所述第五图像和所述第一图像做融合处理，得到第六图像；所述第六图像中的所述第一人脸的清晰度高于所述第一图像中的所述第一人脸的清晰度，所述人像分割掩码由对所述第一子图像做人像分割处理得到。
43.在一种可能的实现方式中，所述图像处理模块，具体用于根据所述第三图像中的多个区域分别在所述第一图像中对应的区域的亮度，调整所述第三图像中的所述多个区域的亮度，得到第七图像；对所述第七图像做人脸锐化调整，得到所述第五图像。
44.在一种可能的实现方式中，所述图像处理模块，具体用于通过带通滤波器识别所述第七图像中的多个区域的锐化程度，将得到的各锐化程度数值归一化并取反，得到所述第七图像中的多个区域对应的锐化系数；根据所述第七图像中的多个区域对应的锐化系数，对所述第七图像做锐化处理，得到第八图像；通过拉普拉斯算子滤波器对所述第八图像做锐化处理，得到所述第五图像。
45.在一种可能的实现方式中，所述第七图像中的第一区域的亮度与所述第一图像中的第一区域的亮度相同，所述第七图像中的第一区域对应于所述第一图像中的第一区域，所述第七图像中的第二区域的亮度与所述第一图像中的第二区域的亮度相同，所述第七图像中的第二区域对应于所述第一图像中的第二区域。
46.在一种可能的实现方式中，所述图像处理模块，具体用于根据所述第三图像中的多个区域分别在所述第一图像中对应的区域的亮度，调整所述第三图像中的所述多个区域的亮度，得到所述第五图像；或者，通过带通滤波器识别所述第三图像中的多个区域的锐化程度，将得到的各锐化程度数值归一化并取反，得到所述第三图像中的多个区域对应的锐化系数；根据所述第三图像中的多个区域对应的锐化系数，对所述第三图像做锐化处理，得到第九图像；通过拉普拉斯算子滤波器对所述第九图像做锐化处理，得到所述第五图像。
47.在一种可能的实现方式中，所述图像处理装置还包括：清晰度检测模块，用于检测所述第一图像中的所述第一人脸的清晰度；所述图像处理模块，具体用于在所述第一图像中的所述第一人脸的清晰度大于或等于第一阈值且小于或等于第二阈值的情况下，对所述第一图像做人脸关键点检测，得到多个所述第一关键点信息。
48.在一种可能的实现方式中，所述图像处理模块，还用于在所述第一图像中的所述第一人脸的清晰度小于所述第一阈值或大于所述第二阈值的情况下，结束对所述第一图像做图像修复处理的流程。
49.在一种可能的实现方式中，所述指令接收模块，还用于接收图像选择指令；所述图像处理模块，还用于响应于所述图像选择指令，将所述第二图像作为修复所述第一图像的参考图像。
50.在一种可能的实现方式中，所述第二图像中的所述第一人脸的清晰度高于所述第一图像中的所述第一人脸的清晰度。
51.在一种可能的实现方式中，所述第二图像包含所述第一人脸，所述第二图像中的所述第一人脸的清晰度高于所述第一图像中的所述第一人脸的清晰度；或者，所述第二图像为标准脸高清图像。
52.关于第二方面或各种可能的实施方式所带来的技术效果，可参考对于第一方面或相应的实现方式的技术效果的介绍。
53.第三方面，本技术实施例提供了另一种电子设备，该电子设备包括：存储器，用于存储程序；处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如上述第一方面以及任一种可能的实现方式的方法。
54.第四方面，本技术实施例提供了一种芯片，该芯片包括处理器与数据接口，该处理器通过该数据接口读取存储器上存储的指令，执行如上述第一方面以及任一种可能的实现方式的方法。
55.第五方面，本技术实施例提供了一种计算机可读存储介质，该计算机存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述第一方面以及任一种可能的实现方式的方法。
56.第六方面，本技术实施例提供了一种计算机程序产品，该计算机程序产品包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面以及任一种可能的实现方式的方法。
附图说明
57.为了更清楚地说明本技术实施例或背景技术中的技术方案，下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
58.图1为本技术实施例提供的一种图像处理方法流程图；
59.图2为本技术实施例提供的另一种图像处理方法流程图；
60.图3为本技术实施例提供的另一种图像处理方法流程图；
61.图4为本技术实施例提供的另一种图像处理方法流程图；
62.图5为本技术实施例提供的另一种图像处理方法流程图；
63.图6为本技术实施例提供的另一种图像处理方法流程图；
64.图7为本技术实施例提供的另一种图像处理方法流程图；
65.图8为本技术实施例提供的一种图像处理装置的结构示意图；
66.图9为本技术实施例提供的一种终端设备的结构示意图；
67.图10是本技术实施例提供的一种服务器的结构示意图。
具体实施方式
68.本技术的说明书、权利要求书及附图中的术语“第一”和“第二”等仅用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还
包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。
69.在本文中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
70.本技术以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本技术中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。本技术中使用的术语“多个”是指两个或两个以上。
71.如背景技术所述，目前需要研究如何提高图像的清晰度的方案。本技术提供了可提升图像中的人脸清晰度的图像处理方法。下面分别对申请实施例提供的图像处理方法适用的场景进行简单的介绍。
72.场景1：用户通过终端设备(例如个人电脑)上运行的图像处理软件对待修复图像(对应于第一图像)做图像修复处理，以便提升该待修复图像中的人脸的清晰度。举例来说，用户通过指令或操作将待修复图像上传至终端设备(例如个人电脑)上运行的图像处理软件，以及通过指令或操作上传或选择修复该待修复图像待使用的参考图像(对应于第二图像)；该图像处理软件根据修复该待修复图像待使用的参考图像对该待修复图像做图像修复处理，输出人脸清晰度更高的图像。
73.场景2：用户通过终端设备(例如个人电脑)将待修复图像通过网络发送至服务器，服务器上运行的图像处理软件对待修复图像(对应于第一图像)做图像修复处理，并将修复后的图像(对应于第三图像)发送给终端设备。举例来说，用户通过终端设备将待修复图像发送至服务器，以及通过终端设备选择或向服务器发送修复该待修复图像待使用的参考图像(对应于第二图像)；服务器上运行的图像处理软件根据修复该待修复图像待使用的参考图像对该待修复图像做图像修复处理，输出人脸清晰度更高的图像。
74.在上述场景中，通过实施本技术实施例提供的图像处理方法，可以有效提升人脸的清晰度。
75.下面结合附图来介绍本技术实施例提供的图像处理方法。
76.图1为本技术实施例提供的一种图像处理方法流程图。如图1所示，该方法包括：
77.101、图像处理装置接收图像修复指令。
78.上述图像修复指令用于修复第一图像中的第一人脸。可选的，图像修复指令指示图像处理装置将第二图像作为第一图像的参考图像来提升第一图像中的第一人脸的清晰度。上述第二图像包含第二人脸，上述第二人脸为上述第一人脸或者标准人脸。标准人脸可以是清晰度高于第三阈值的任意人脸。第三阈值可以是0.8、0.85、0.9等。例如，用户可指定任意一个清晰度高于第三阈值的人脸作为标准人脸。标准人脸也可以是图像处理领域中通用的标准人脸。
79.上述图像处理装置可以是手机、平板电脑、可穿戴设备、笔记本电脑、台式电脑等
终端设备。在一些实施例中，图像处理装置为笔记本电脑等终端设备；步骤101一种可能的实现方式如下：图像处理装置接收用户通过输入设备，例如鼠标、键盘等，输入的图像修复指令。在一些实施例中，图像处理装置为笔记本电脑等终端设备，该图像处理装置运行的图像处理软件执行图1的方法流程。
80.上述图像处理装置可以是服务器，例如云服务器、应用服务器等。在一些实施例中，图像处理装置为云服务器；步骤101一种可能的实现方式如下：图像处理装置接收来自终端设备(例如台式电脑)的图像修复指令。
81.图像处理装置在执行步骤101之前，可执行如下操作：获取第一图像和第二图像。第一图像为待提升清晰度的图像(或者说待修复图像)。第二图像作为第一图像的参考图像来提升该第一图像中的第一人脸的清晰度。第二图像为包含第二人脸的高清图像。例如，第一图像为包含用户1的人脸的图像，第二图像为包含用户1的人脸的图像，该第二图像中的用户1的人脸的清晰度高于该第一图像中的用户1的人脸的清晰度。又例如，第一图像为包含用户1的人脸的图像，第二图像为包含标准人脸的高清图像，即未包含用户1的人脸的高清图像。图像处理装置获取第一图像和第二图像可能的方式如下：用户通过输入设备将第一图像上传至图像处理装置运行的图像处理软件，或者上述图像处理软件基于用户的指示从网络或特定存储区域获取第一图像；用户通过输入设备将第二图像上传至图像处理装置运行的图像处理软件，或者上述图像处理软件基于用户的指示从网络或特定存储区域获取第二图像。举例来说，用户先上传或指定待修复的第一图像，再上传或指定第二图像。应理解，用户可采用多种方式来指示待修复的第一图像以及作为修复该第一图像的参考图像的第二图像，本技术不作限定。
82.102、响应于图像修复指令，图像处理装置根据第二图像对第一图像做图像修复处理，得到第三图像。
83.第二图像为为包含第二人脸的高清图像。高清图像是指清晰度高于第三阈值的图像。上述第三图像中的上述第一人脸的清晰度高于上述第一图像中的上述第一人脸的清晰度。
84.图像处理装置根据第二图像对第一图像做图像修复处理，得到第三图像可能的方式如下：对上述第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息，以及对上述第二图像做人脸关键点检测，得到第二人脸的多个第二关键点信息；上述第一关键点信息包含上述第一人脸的多个第一人脸关键点，上述第二关键点信息包含上述第二人脸的多个第二人脸关键点；根据上述第一关键点信息、上述第二关键点信息以及上述第二图像对上述第一图像做图像修复处理，得到上述第三图像。多个第一人脸关键点是指从第一图像中提取出的多个不同的人脸关键点。多个第二人脸关键点是指从第二图像中提取出的多个不同的人脸关键点。图像处理装置根据第一关键点信息、第二关键点信息以及第二图像对第一图像做图像修复处理，得到第三图像；可以独立修复人脸五官的清晰度。
85.图像处理装置根据上述第一关键点信息、上述第二关键点信息以及上述第二图像对上述第一图像做图像修复处理一种可能的方式如下：从上述第一图像中获取包含上述第一人脸的第一人脸区域，得到第一子图像，从上述第二图像中获取包含上述第二人脸的第二人脸区域，得到第二子图像；利用上述多个第一人脸关键点和上述多个第二人脸关键点处理得到流场信息；上述流场信息表征上述多个第一人脸关键点和上述多个第二人脸关键
点之间的对应关系；将上述流场信息、上述第一子图像以及上述第二子图像输入至人脸修复模型做图像修复处理，得到上述第三图像；上述人脸修复模型用于做人脸修复的网络模型。利用上述多个第一人脸关键点和上述多个第二人脸关键点处理得到流场信息可是将上述多个第一人脸关键点和上述多个第二人脸关键点进行扭曲对齐，例如通过人脸关键点通过网络扭曲对齐。一个人脸的关键点和另一个人脸关键点之间的转换关系叫流场。人脸修复模型可以是训练得到的任意一种用于实现人脸修复的网络模型。例如，人脸修复模型基于一个编码解码(encoder-decoder)模型训练得到。又例如，人脸修复模型由一个基于unet的网络进行生成对抗学习得到，该网络的生成器可以通过学习实现修复人脸，通过人脸修复模型输出清晰人脸，即修复后的人脸。
86.图像处理装置根据上述第一关键点信息、上述第二关键点信息以及上述第二图像对上述第一图像做图像修复处理一种可能的方式如下：利用上述多个第一人脸关键点和上述多个第二人脸关键点处理得到流场信息；上述流场信息表征上述多个第一人脸关键点和上述多个第二人脸关键点之间的对应关系；将上述流场信息、上述第一图像以及上述第二图像输入至人脸修复模型做图像修复处理，得到上述第三图像；上述人脸修复模型为用于做人脸修复的网络模型。将流场信息、第一图像以及第二图像输入至人脸修复模型做图像修复处理，得到第三图像；可以得到清晰度更高、人像面部细节纹理更丰富的图像。
87.本技术实施例中，根据第二图像对第一图像做图像修复处理，即该第二图像作为修复该第一图像的参考图像；可以有效提升人脸的清晰度。
88.图2为本技术实施例提供的另一种图像处理方法流程图。图2中的方法流程为图1中描述的方法的一种可能的实现方式。如图2所示，该方法流程包括：
89.201、图像处理装置接收图像修复指令。
90.步骤201可参阅步骤101。图像修复指令用于提升第一图像中的第一人脸的清晰度。
91.在一种可能的实现方式中，图像处理装置在接收图像修复指令之前，执行如下操作：接收图像选择指令；响应于图像选择指令，将第二图像作为修复第一图像的参考图像。在该实现方式中，响应于图像选择指令，将第二图像作为修复第一图像的参考图像；用户可根据实际需求选择所需的图像作为修复第一图像的参考图像。
92.202、图像处理装置对第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息，以及对第二图像做人脸关键点检测，得到第二人脸的多个第二关键点信息。
93.上述第二图像包含第二人脸，上述第二人脸为上述第一人脸或者标准人脸。上述第一关键点信息包含上述第一人脸的多个第一人脸关键点，上述第二关键点信息包含上述第二人脸的多个第二人脸关键点。由于对图像做人脸关键点是本领域常用的技术手段，故这里不再详述。
94.203、图像处理装置利用多个第一人脸关键点和多个第二人脸关键点处理得到流场信息。
95.上述流场信息表征多个第一人脸关键点和多个第二人脸关键点之间的对应关系。
96.204、图像处理装置从第一图像中获取包含第一人脸的第一人脸区域，得到第一子图像，从第二图像中获取包含第二人脸的第二人脸区域，得到第二子图像。
97.步骤204一种可能的实现方式如下：图像处理装置对第一图像做人脸检测，得到第
一人脸区域的坐标信息；对第二图像做人脸检测，得到第二人脸区域的坐标信息；根据该第一人脸区域的坐标信息，从该第一图像中提取出第一人脸区域；根据该第二人脸区域的坐标信息，从该第二图像中提取出第二人脸区域。
98.在一些实施例中，第一图像中仅包含第一人脸，第二图像中仅包含第二人脸。在一些实施例中，第一图像中包含第一人脸和其他人脸，第二图像仅包含第二人脸，图像处理装置可先根据用户输入的指令确定该第一图像中待修复的第一人脸，再获取包含第一人脸的第一人脸区域。在一些实施例中，第一图像中包含第一人脸和其他人脸，第二图像包含第二人脸和其他人脸，图像处理装置可先根据用户输入的指令1确定该第一图像中待修复的第一人脸，再获取包含第一人脸的第一人脸区域；图像处理装置可先根据用户输入的指令2确定该第二图像中作为第一人脸的参考人脸的第二人脸，再获取包含第二人脸的第二人脸区域。在一些实施例中，第一图像中包含第一人脸和其他人脸，第二图像包含第二人脸和其他人脸，图像处理装置可先根据用户输入的指令1确定该第一图像中待修复的第一人脸，再获取包含第一人脸的第一人脸区域；图像处理装置可自动从该第二图像包含的多个人脸中选择作为第一人脸的参考人脸的第二人脸，再获取包含第二人脸的第二人脸区域。
99.205、图像处理装置将流场信息、第一子图像以及第二子图像输入至人脸修复模型做图像修复处理，得到第三图像。
100.人脸修复模型用于做人脸修复的网络模型。在一种可能的实现方式中，上述人脸修复模型由一个基于unet的网络进行生成对抗学习得到。该网络的生成器可以通过学习实现修复人脸。
101.在一种可能的实现方式中，图像处理装置在得到第三图像之后，还可执行如下操作：对上述第三图像做人脸亮度矫正和/或人脸锐化调整，得到第五图像。在该实现方式中，对第三图像做人脸亮度矫正可以修正人脸的皮肤颜色，使得修复的人像更加自然、逼真。对第三图像做人脸锐化调整，可以突出人脸的轮廓，以便提升人脸的清晰度。
102.在一种可能的实现方式中，图像处理装置在执行步骤203之后，还可以执行如下操作：对上述第一子图像做人像分割处理，得到人像分割掩码；利用上述人像分割掩码对上述第三图像和上述第一图像做融合处理，得到第四图像；上述第四图像中的上述第一人脸的清晰度高于上述第一图像中的上述第一人脸的清晰度。在该实现方式中，利用人像分割掩码对第三图像和第一图像做融合处理，可以准确地将该第三图像中与该第一图像中相匹配的特征做融合，从而得到人像清晰度更好的图像。
103.本技术实施例中，将流场信息、第一图像以及第二图像输入至人脸修复模型做图像修复处理，得到第三图像；可以得到清晰度更高、人像面部细节纹理更丰富的图像。
104.图3为本技术实施例提供的另一种图像处理方法流程图。图3中的方法流程为图1中描述的方法的一种可能的实现方式。如图3所示，该方法流程包括：
105.301、图像处理装置接收图像修复指令。
106.步骤301可参阅步骤101。
107.302、图像处理装置响应于图像修复指令，检测第一图像中的第一人脸的清晰度。
108.步骤302可替换为：图像处理装置响应于图像修复指令，对第一图像做人脸检测，得到第一人脸；检测第一图像中的第一人脸的清晰度。
109.303、在第一图像中的第一人脸的清晰度大于或等于第一阈值且小于或等于第二
阈值的情况下，图像处理装置对第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息，以及对第二图像做人脸关键点检测，得到第二人脸的多个第二关键点信息。
110.图像清晰度，是指图像上各细部影纹及其边界的清晰程度。图像处理装置可采用任意方式检测第一图像中的第一人脸的清晰度，本技术不作限定。在一些实施例中，图像清晰度的范围为0-1，第一阈值可以是0.4，第二阈值可以是0.8。清晰度低于上述第一阈值的图像可视为模糊无法识别的图像(即不可修复的图像)，清晰度高于第二阈值的图像可视为清晰度无需修复的图像(即不可修复的图像)。清晰度低于上述第一阈值的图像可视为模糊无法识别的图像的原因在于，无法从该图像提取出清晰的人脸关键点。清晰度高于第二阈值的图像可视为清晰度无需修复的图像在于，基本上无法进一步提升该图像的清晰度。可理解，若一个图像的清晰度大于或等于第一阈值且小于或等于第二阈值，则该图像可修复；否则，该图像不可修复。第一阈值和第二阈值可根据实际需求自行设置，本技术不作限定。
111.304、图像处理装置利用多个第一人脸关键点和多个第二人脸关键点处理得到流场信息。
112.步骤304可参阅步骤203。
113.305、图像处理装置从第一图像中获取包含第一人脸的第一人脸区域，得到第一子图像，从第二图像中获取包含第二人脸的第二人脸区域，得到第二子图像。
114.步骤305可参阅步骤204。
115.306、图像处理装置将流场信息、第一子图像以及第二子图像输入至人脸修复模型做图像修复处理，得到第三图像。
116.步骤306可参阅步骤205。
117.307、在第一图像中的第一人脸的清晰度大于或等于第一阈值且小于或等于第二阈值的情况下，结束对第一图像做图像修复处理的流程。
118.本技术实施例中，在第一图像中的第一人脸的清晰度大于或等于第一阈值且小于或等于第二阈值的情况下，对该第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息；以便在可修复该第一图像时，执行图像修复处理的流程，可避免执行不必要的修复处理流程。另外，将流场信息、第一图像以及第二图像输入至人脸修复模型做图像修复处理，得到第三图像；可以得到清晰度更高、人像面部细节纹理更丰富的图像。
119.图4为本技术实施例提供的另一种图像处理方法流程图。图4中的方法流程为图1中描述的方法的一种可能的实现方式。如图4所示，该方法流程包括：
120.401、图像处理装置接收图像修复指令。
121.步骤401可参阅步骤101。
122.402、图像处理装置对第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息，以及对第二图像做人脸关键点检测，得到第二人脸的多个第二关键点信息。
123.步骤402可参阅步骤202。
124.403、图像处理装置利用多个第一人脸关键点和多个第二人脸关键点处理得到流场信息。
125.步骤403可参阅步骤203。
126.404、图像处理装置从第一图像中获取包含第一人脸的第一人脸区域，得到第一子图像，从第二图像中获取包含第二人脸的第二人脸区域，得到第二子图像。
127.步骤404可参阅步骤204。
128.405、图像处理装置将流场信息、第一子图像以及第二子图像输入至人脸修复模型做图像修复处理，得到第三图像。
129.步骤405可参阅步骤205。
130.406、图像处理装置对第一子图像做人像分割处理，得到人像分割掩码。
131.步骤405和步骤406的先后顺序不做限定。图像处理装置可先执行步骤405再执行步骤406，也可先执行步骤406再执行步骤405，还可并行执行步骤405和步骤406。人像分割掩码可以是一个二值蒙版，即一个二值图。人像分割掩码用于区分第一子图像中的人像区域和非人像区域。例如，人像分割掩码中的各像素点的像素值为第一值或第二值，像素值为第一值的像素点所处的区域为人像区域，像素值为第二值的像素点所处的区域为非人像区域；第一值为0和1中的一个，第二值为0和1中的另一个。
132.由于对图像做人像分割处理是本领域常用的技术手段，故这里不作赘述。
133.407、利用人像分割掩码对第三图像和第一图像做融合处理，得到第四图像。
134.上述第四图像中的上述第一人脸的清晰度高于上述第一图像中的上述第一人脸的清晰度。第三图像为修复调整后的人像，第一图像为待修复的原始图像。步骤407可理解为：利用人像分割掩码将修复调整后的人像与待修复的原始图像进行相加融合。步骤407一种可能的实现方式如下：根据人像分割掩码，将第三图像中的人像区域和第一图像中的人像区域进行相加融合，得到第四图像。或者说，在第一图像的基础上，将第三图像中的人像区域和第一图像中的人像区域进行相加融合，得到第四图像。
135.在一些实施例中，图像处理装置在执行步骤405之后，可执行如下步骤：对上述第三图像做人脸亮度矫正和/或人脸锐化调整，得到第五图像。后续再描述对上述第三图像做人脸亮度矫正和/或人脸锐化调整的实现方式。在这些实施例中，步骤407可替换为：利用人像分割掩码对上述第五图像和上述第一图像做融合处理，得到第六图像；上述第六图像中的上述第一人脸的清晰度高于上述第一图像中的上述第一人脸的清晰度。
136.本技术实施例中，利用人像分割掩码对第三图像和第一图像做融合处理，可以准确地将该第三图像中与该第一图像中相匹配的特征做融合，从而得到人像清晰度更好的图像。
137.图5为本技术实施例提供的另一种图像处理方法流程图。图5中的方法流程为图1中描述的方法的一种可能的实现方式。如图5所示，该方法流程包括：
138.501、图像处理装置接收图像修复指令。
139.步骤501可参阅步骤101。
140.502、图像处理装置对第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息，以及对第二图像做人脸关键点检测，得到第二人脸的多个第二关键点信息。
141.步骤502可参阅步骤202。
142.503、图像处理装置利用多个第一人脸关键点和多个第二人脸关键点处理得到流场信息。
143.步骤503可参阅步骤203。
144.504、图像处理装置从第一图像中获取包含第一人脸的第一人脸区域，得到第一子图像，从第二图像中获取包含第二人脸的第二人脸区域，得到第二子图像。
145.步骤504可参阅步骤204。
146.505、图像处理装置将流场信息、第一子图像以及第二子图像输入至人脸修复模型做图像修复处理，得到第三图像。
147.步骤505可参阅步骤205。
148.506、图像处理装置对第一子图像做人像分割处理，得到人像分割掩码。
149.步骤506可参阅步骤406。
150.507、图像处理装置根据第三图像中的多个区域分别在第一图像中对应的区域的亮度，调整第三图像中的多个区域的亮度，得到第七图像。
151.上述第七图像中的第一区域的亮度与上述第一图像中的第一区域的亮度相同，上述第七图像中的第一区域对应于上述第一图像中的第一区域，上述第七图像中的第二区域的亮度与上述第一图像中的第二区域的亮度相同，上述第七图像中的第二区域对应于上述第一图像中的第二区域。图像处理装置可将第三图像进行分区域处理，每个区域的亮度与其在第一图像对应的区域的亮度进行对齐，以矫正人脸修复模型带来的亮度改变的问题。可以理解，对第三图像中的不同区域分别做亮度调整，可使得第七图像中的各区域的亮度与第一图像中的亮度基本一致。举例来说，图像处理装置将第三图像分为k个大小相同的矩形区域，将每个矩形区域的亮度与其在第一图像对应的区域的亮度进行对齐，k为大于1的整数。
152.508、图像处理装置对第七图像做人脸锐化调整，得到第五图像。
153.步骤508一种可能的实现方式如下：通过带通滤波器识别上述第七图像中的多个区域的锐化程度，将得到的各锐化程度数值归一化并取反，得到上述第七图像中的多个区域对应的锐化系数；根据上述第七图像中的多个区域对应的锐化系数，对上述第七图像做锐化处理，得到第八图像；通过拉普拉斯算子滤波器对上述第八图像做锐化处理，得到上述第五图像。图像处理装置根据第七图像中的多个区域对应的锐化系数，对该第七图像做锐化处理。也就是说，根据第七图像中各区域本身的锐化程度进行相应的锐化调整，能够提升锐化效果。
154.509、图像处理装置利用人像分割掩码对第五图像和第一图像做融合处理，得到第六图像。
155.步骤509可参阅步骤407。
156.本技术实施例中，对第三图像做人脸亮度矫正可以修正人脸的皮肤颜色，使得修复的人像更加自然、逼真。对第七图像做人脸锐化调整，可以突出人脸的轮廓，以便提升人脸的清晰度。图像处理装置利用人像分割掩码对第五图像和第一图像做融合处理，得到第六图像，可以准确地将该第五图像中与该第一图像中相匹配的特征做融合，从而得到人像清晰度更好的图像。
157.图6为本技术实施例提供的另一种图像处理方法流程图。图6中的方法流程为图1中描述的方法的一种可能的实现方式。如图6所示，该方法流程包括：
158.601、图像处理装置接收图像修复指令。
159.602、图像处理装置响应于图像修复指令，检测第一图像中的第一人脸的清晰度。
160.步骤602可参阅步骤302。
161.603、图像处理装置判断第一图像中的第一人脸的清晰度大于或等于第一阈值且
小于或等于第二阈值。
162.若是，执行步骤604；若否，执行步骤612。
163.604、图像处理装置对第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息，以及对第二图像做人脸关键点检测，得到第二人脸的多个第二关键点信息。
164.605、图像处理装置利用多个第一人脸关键点和多个第二人脸关键点处理得到流场信息。
165.步骤605可参阅步骤203。
166.606、图像处理装置从第一图像中获取包含第一人脸的第一人脸区域，得到第一子图像，从第二图像中获取包含第二人脸的第二人脸区域，得到第二子图像。
167.步骤606可参阅步骤204。
168.607、图像处理装置将流场信息、第一子图像以及第二子图像输入至人脸修复模型做图像修复处理，得到第三图像。
169.步骤607可参阅步骤205。
170.608、图像处理装置对第一子图像做人像分割处理，得到人像分割掩码。
171.步骤608可参阅步骤406。
172.609、图像处理装置根据第三图像中的多个区域分别在第一图像中对应的区域的亮度，调整第三图像中的多个区域的亮度，得到第七图像。
173.步骤609可参阅步骤507。
174.610、图像处理装置对第七图像做人脸锐化调整，得到第五图像。
175.步骤610可参阅步骤508。
176.611、图像处理装置利用人像分割掩码对第五图像和第一图像做融合处理，得到第六图像。
177.612、图像处理装置结束对第一图像做图像修复处理的流程。
178.本技术实施例中，在第一图像中的第一人脸的清晰度大于或等于第一阈值且小于或等于第二阈值的情况下，对该第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息；以便在可修复该第一图像时，执行图像修复处理的流程，可避免执行不必要的修复处理流程。对第三图像做人脸亮度矫正可以修正人脸的皮肤颜色，使得修复的人像更加自然、逼真。对第七图像做人脸锐化调整，可以突出人脸的轮廓，以便提升人脸的清晰度。图像处理装置利用人像分割掩码对第五图像和第一图像做融合处理，得到第六图像，可以准确地将该第五图像中与该第一图像中相匹配的特征做融合，从而得到人像清晰度更好的图像。
179.前述描述了本技术实施例提供的根据第二图像对第一图像中的第一人脸做图像修复处理的方法流程。应理解，当第一图像中仅包含第一人脸时，可采用图1至图6中的任一方法流程来对第一图像中的第一人脸做图像修复处理。当第一图像包含多个人脸，第二图像仅包含一个人脸(例如标准人脸)时；图像处理装置可通过多次执行图1至图6中的任一方法流程来分别对第一图像中的各人脸做图像修复处理。例如，第一图像包含人脸1和人脸2，图像处理装置先通过执行图1至图6中的任一方法流程对第一图像的人脸1做图像修复处理，再通过执行图1至图6中的任一方法流程对第一图像的人脸2做图像修复处理。当第一图像包含多个人脸，第二图像包含多个人脸时；图像处理装置可确定第一图像中的每个人脸
在第二图像中的参考人脸；图像处理装置可通过多次执行图2至图6中的任一方法流程来分别对第一图像中的各人脸做图像修复处理。例如，第一图像包含人脸1和人脸2，第二图像包含人脸3和人脸4；图像处理装置确定人脸1的参考人脸为人脸3，人脸2的参考人脸为人脸4；图像处理装置通过执行图2至图6中的任一方法流程对第一图像的人脸1做图像修复处理，其中，人脸1对应于第一子图像，人脸3对应于第二子图像；通过执行图2至图6中的任一方法流程对第一图像的人脸2做图像修复处理，其中，人脸2对应于第一子图像，人脸4对应于第二子图像。
180.图7为本技术实施例提供的另一种图像处理方法流程图。图7中的方法流程为图1中描述的方法的一种可能的实现方式。如图6所示，该方法流程包括：
181.701、终端设备向图像处理装置上传第一图像和第二图像。
182.终端设备可以是手机、平板电脑、可穿戴设备、笔记本电脑、台式电脑等。图像处理装置可以是服务器。上述第二图像包含第二人脸，上述第二人脸为上述第一人脸或者标准人脸。
183.702、终端设备向图像处理装置发送图像修复指令。
184.图像修复指令用于提升第一图像中的第一人脸的清晰度。图像修复指令指示图像处理装置将第二图像作为第一图像的参考图像来提升第一图像中的第一人脸的清晰度。
185.703、响应于图像修复指令，图像处理装置根据第二图像对第一图像做图像修复处理，得到第三图像。
186.应理解，图像处理装置可采用图2至图4中的任意方法流程中的方式根据第二图像对第一图像做图像修复处理。
187.704、图像处理装置向终端设备发送第三图像。
188.本技术实施例中，根据第二图像对第一图像做图像修复处理，即该第二图像作为修复该第一图像的参考图像；可以有效提升人脸的清晰度。
189.下面介绍实现本技术提供的图像处理方法的图像处理装置的结构。
190.图8为本技术实施例提供的一种图像处理装置的结构示意图。如图8所示，图像处理装置80包括：
191.指令接收模块801，用于接收图像修复指令；上述图像修复指令用于提升第一图像中的第一人脸的清晰度；
192.图像处理模块802，用于响应于上述图像修复指令，根据第二图像对上述第一图像做图像修复处理，得到第三图像；上述第二图像包含第二人脸，上述第二人脸为上述第一人脸或者标准人脸，上述第三图像中的上述第一人脸的清晰度高于上述第一图像中的上述第一人脸的清晰度。
193.在一种可能的实现方式中，图像处理模块802，具体用于对上述第一图像做人脸关键点检测，得到第一人脸的多个第一关键点信息，以及对上述第二图像做人脸关键点检测，得到第二人脸的多个第二关键点信息；上述第一关键点信息包含上述第一人脸的多个第一人脸关键点，上述第二关键点信息包含上述第二人脸的多个第二人脸关键点；根据上述第一关键点信息、上述第二关键点信息以及上述第二图像对上述第一图像做图像修复处理，得到上述第三图像。
194.在一种可能的实现方式中，图像处理模块802，具体用于从上述第一图像中获取包
含上述第一人脸的第一人脸区域，得到第一子图像，从上述第二图像中获取包含上述第二人脸的第二人脸区域，得到第二子图像；利用上述多个第一人脸关键点和上述多个第二人脸关键点处理得到流场信息；上述流场信息表征上述多个第一人脸关键点和上述多个第二人脸关键点之间的对应关系；将上述流场信息、上述第一子图像以及上述第二子图像输入至人脸修复模型做图像修复处理，得到上述第三图像；上述人脸修复模型用于做人脸修复的网络模型。
195.在一种可能的实现方式中，图像处理模块802，具体用于利用上述多个第一人脸关键点和上述多个第二人脸关键点处理得到流场信息；上述流场信息表征上述多个第一人脸关键点和上述多个第二人脸关键点之间的对应关系；将上述流场信息、上述第一图像以及上述第二图像输入至人脸修复模型做图像修复处理，得到上述第三图像；上述人脸修复模型为用于做人脸修复的网络模型。
196.在一种可能的实现方式中，图像处理模块802，还用于对上述第一子图像做人像分割处理，得到人像分割掩码；利用上述人像分割掩码对上述第三图像和上述第一图像做融合处理，得到第四图像；上述第四图像中的上述第一人脸的清晰度高于上述第一图像中的上述第一人脸的清晰度。
197.在一种可能的实现方式中，图像处理模块802，具体用于利用上述人像分割掩码对上述第三图像和上述第一图像进行相加融合，得到上述第四图像。
198.在一种可能的实现方式中，图像处理模块802，还用于对上述第三图像做人脸亮度矫正和/或人脸锐化调整，得到第五图像；利用人像分割掩码对上述第五图像和上述第一图像做融合处理，得到第六图像；上述第六图像中的上述第一人脸的清晰度高于上述第一图像中的上述第一人脸的清晰度，上述人像分割掩码由对上述第一子图像做人像分割处理得到。
199.在一种可能的实现方式中，图像处理模块802，具体用于根据上述第三图像中的多个区域分别在上述第一图像中对应的区域的亮度，调整上述第三图像中的上述多个区域的亮度，得到第七图像；对上述第七图像做人脸锐化调整，得到上述第五图像。
200.在一种可能的实现方式中，图像处理模块802，具体用于通过带通滤波器识别上述第七图像中的多个区域的锐化程度，将得到的各锐化程度数值归一化并取反，得到上述第七图像中的多个区域对应的锐化系数；根据上述第七图像中的多个区域对应的锐化系数，对上述第七图像做锐化处理，得到第八图像；通过拉普拉斯算子滤波器对上述第八图像做锐化处理，得到上述第五图像。
201.在一种可能的实现方式中，图像处理模块802，具体用于根据上述第三图像中的多个区域分别在上述第一图像中对应的区域的亮度，调整上述第三图像中的上述多个区域的亮度，得到上述第五图像；或者，通过带通滤波器识别上述第三图像中的多个区域的锐化程度，将得到的各锐化程度数值归一化并取反，得到上述第三图像中的多个区域对应的锐化系数；根据上述第三图像中的多个区域对应的锐化系数，对上述第三图像做锐化处理，得到第九图像；通过拉普拉斯算子滤波器对上述第九图像做锐化处理，得到上述第五图像。
202.在一种可能的实现方式中，上述图像处理装置还包括：清晰度检测模块803，用于检测上述第一图像中的上述第一人脸的清晰度；上述图像处理模块，具体用于在上述第一图像中的上述第一人脸的清晰度大于或等于第一阈值且小于或等于第二阈值的情况下，对
上述第一图像做人脸关键点检测，得到上述第一人脸的多个第一关键点信息。
203.在一种可能的实现方式中，清晰度检测模块803，还用于检测第三图像中的第二人脸的清晰度；上述第三图像为待修复图像；上述图像处理模块，还用于在上述第三图像中的上述第二人脸的清晰度小于上述第一阈值或大于上述第二阈值的情况下，结束对上述第三图像做图像修复处理的流程。
204.在一种可能的实现方式中，指令接收模块801，还用于接收图像选择指令；上述图像处理模块，还用于响应于上述图像选择指令，将上述第二图像作为修复上述第一图像的参考图像。
205.应理解，以上图像处理装置的各个单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个单元可以为单独设立的处理元件，也可以集成在同一个芯片中实现。此外，也可以以程序代码的形式存储于控制器的存储元件中，由处理器的某一个处理元件调用并执行以上各个单元的功能。此外各个单元可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：central processing unit，简称：cpu)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specific integrated circuit，简称：asic)，或，一个或多个微处理器(英文：digital signal processor，简称：dsp)，或，一个或者多个现场可编程门阵列(英文：field-programmable gate array，简称：fpga)等。
206.图9为本技术实施例提供的一种终端设备的结构示意图。如图9所示，该终端设备90包括处理器901、存储器902、输入输出设备903。该处理器901、存储器902和输入输出设备903通过总线相互连接。图9中的终端设备可以为前述实施例中的图像处理装置。
207.存储器902包括但不限于是随机存储记忆体(random access memory，ram)、只读存储器(read-only memory，rom)、可擦除可编程只读存储器(erasable programmableread only memory，eprom)、或便携式只读存储器(compact disc read-only memory，cdrom)，该存储器902用于相关指令及数据。输入输出设备903用于输入和输出数据。处理器901可以是一个或多个中央处理器(central processing unit，cpu)，在处理器901是一个cpu的情况下，该cpu可以是单核cpu，也可以是多核cpu。上述实施例中由图像处理装置所执行的步骤可以基于该图9所示的终端设备的结构。处理器901可实现图像处理模块802和清晰度检测模块803的功能；输入输出设备903可实现指令接收模块801的功能。
208.图10是本技术实施例提供的一种服务器的结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1022(例如，一个或一个以上处理器)和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1030通信，在服务器1000上执行存储介质1030中的一系列指令操作。服务器1000可以上述温度检测装置。
209.服务器1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058，和/或，一个或一个以上操作系统1041，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm等等。
210.上述实施例中由图像处理装置所执行的步骤可以基于该图10所示的服务器结构。当服务器1000为图像处理装置时，中央处理器1022可实现图8中的图像处理模块802和清晰度检测模块803的功能，输入输出接口1058可实现图8中的指令接收模块801的功能。具体的，输入输出接口1058可用于接收图像修复指令，以及向终端设备发送第三图像。
211.在本技术的实施例中提供一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现前述实施例所提供的图像处理方法。
212.本技术实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述实施例所提供的图像处理方法。
213.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。