图像复原方法、系统、存储介质及计算机设备与流程

文档序号:32834487发布日期:2023-01-06 17:30阅读:38来源:国知局
图像复原方法、系统、存储介质及计算机设备与流程

1.本发明涉及图像处理技术领域,尤其涉及一种图像复原方法、系统、存储介质及计算机设备。


背景技术:

2.超分辨率主要是将现有的低质量欠清晰的lr(低质量图像)图像进行处理,得到边缘锐利,噪声锐减的hr(高质量图像)高清图片。
3.目前,单帧图像超分(sisr:single image super resolution)的退化过程主要是由简单滤波,降采样及噪声线性组合而成,这种退化过程与真实图片存在巨大差异,虽然现有技术将包括高斯滤波在内等的因素考虑进退化过程,但始终不能模拟真实图像数据的退化过程,这就导致算法虽然在合成数据上表现优异但在真实数据上效果较差。
4.为了在真实图片上取得更逼真的盲超分(blind sr)效果,退化过程需模拟出更切近高质量图片与低质量图片之间的映射关系。
5.人脸复原属于单帧图像超分的子集,但又包含了去噪,去模糊等功能,是一个较为综合的问题,人脸由于受低分辨率,噪声,模糊,压缩等因素导致清晰度不高,目前人脸复原一般采用类似sisr的方式进行处理,并没有考虑到人脸特有的属性作为先验特征来增强效果,所以不能高质量的复原人脸图像,特别是在真实场景下的人脸图像在经过现有算法处理后会出现严重的失真,伪影等现象;更甚者,较为清晰的人脸图像经过处理后可能会引入不可控的伪影效果,其效果适得其反。
6.综上可知,现有的方法在实际使用上,存在着较多的问题,所以有必要加以改进。


技术实现要素:

7.针对上述的缺陷,本发明的目的在于提供一种图像复原方法,系统、存储介质及其计算机设备,能够应用于各种超分复原任务,能够有效模拟真实应用场景,提升了图像复原的效果。
8.为了实现上述目的,本发明提供一种图像复原方法,包括步骤:
9.获取待复原图像;
10.检测确定出所述待复原图像中的复原目标;
11.提取所述复原目标基于关键点对齐处理的目标区域;
12.对输入复原网络的所述目标区域进行复原处理;其中,所述复原网络由若干个通过随机退化处理的样本数据训练而成;
13.将所述复原网络输出的复原区域回帖至所述待复原图像,以生成复原图像。
14.可选的,所述随机退化处理包括随机模糊核处理、随机尺度降采样处理、随机噪声处理的任意一种或多种处理组合。
15.可选的,所述复原目标包括人脸或文字。
16.可选的,所述提取所述复原目标基于关键点对齐处理的目标区域的步骤具体包
括:
17.提取所述人脸或所述文字基于关键点对齐处理的人脸区域或文字区域。
18.可选的,所述对输入复原网络的所述目标区域进行复原处理的步骤之前还包括:
19.通过人脸解析将所述人脸区域分割成若干个人脸解析掩膜;
20.根据所述人脸解析掩膜与所述人脸区域的交集,去除所述人脸区域的背景。
21.可选的,所述通过人脸解析将所述人脸区域分割成若干个人脸解析掩膜的步骤具体包括:
22.对输入bisenet(一种人像分割网络)分割网络的所述人脸区域进行人脸解析处理,获得若干个所述人脸解析掩膜;
23.所述根据所述人脸解析掩膜与所述人脸区域的交集,去除所述人脸区域的背景的步骤具体包括:
24.将若干个所述人脸解析掩膜合并为掩膜图,并保留所述人脸区域与所述掩膜图之间的交集,以实现对所述人脸区域的背景去除。
25.可选的,所述对输入复原网络的所述目标区域进行复原处理的步骤具体包括:
26.将所述人脸解析掩膜和去除背景的所述人脸区域输入至所述复原网络,得到对应的所述复原区域。
27.还提供了一种图像复原系统,包括有:
28.获取单元,用于获取待复原图像;
29.目标检测单元,用于检测确定出所述待复原图像中的复原目标;
30.区域提取单元,用于提取所述复原目标基于关键点对齐处理的目标区域;
31.复原处理单元,用于对输入复原网络的所述目标区域进行复原处理;其中,所述复原网络由若干个通过随机退化处理的样本数据训练而成;
32.生成单元,用于将所述复原网络输出的复原区域回帖至所述待复原图像,以生成复原图像。
33.另外,还提供了一种存储介质和计算机设备,所述存储介质用于存储一种用于执行上述图像复原方法的计算机程序。
34.所述计算机设备包括存储介质、处理器以及存储在所述存储介质上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的图像复原方法。
35.本发明所述的图像复原方法及其系统,通过检测待复原图像中的复原目标,并提取所述复原目标基于关键点对齐处理的目标区域;将所述目标区域输入至由若干个通过随机退化处理的样本数据训练而成的复原网络,以获得所述复原网络输出的复原图像,并将所述复原区域回帖至所述待复原图像,以生成复原图像。借此,本发明能够极大改进现有技术中只用固定模糊,线性缩放,随机噪声顺序组合所构造的退化的技术问题,可应用于各种超分复原任务,有效模拟真实应用场景;对真实场景下的人脸低质量图像有着出色的复原能力,鲁棒性较高;能够在真实场景下对低质量人脸图像进行有效复原,这些低质量图片不限于老照片,低分辨率照片,传输压缩后损失的照片,远距离变焦等照片,且算法能够部署到手机等边缘设备上离线运行。
附图说明
36.图1为本发明实施例一提供的图像复原方法的步骤流程图;
37.图2为本发明实施例二提供的图像复原方法的步骤流程图;
38.图3为本发明一实施例提供的图像复原系统的结构示意框图;
39.图4为本发明另一实施例提供的图像复原系统的结构示意框图。
具体实施方式
40.为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
41.需要说明的,本说明书中针对“一个实施例”、“实施例”、“示例实施例”等的引用,指的是描述的该实施例可包括特定的特征、结构或特性,但是不是每个实施例必须包含这些特定特征、结构或特性。此外,这样的表述并非指的是同一个实施例。进一步,在结合实施例描述特定的特征、结构或特性时,不管有没有明确的描述,已经表明将这样的特征、结构或特性结合到其它实施例中是在本领域技术人员的知识范围内的。
42.此外,在说明书及后续的权利要求当中使用了某些词汇来指称特定组件或部件,所属领域中具有通常知识者应可理解,制造商可以用不同的名词或术语来称呼同一个组件或部件。本说明书及后续的权利要求并不以名称的差异来作为区分组件或部件的方式,而是以组件或部件在功能上的差异来作为区分的准则。在通篇说明书及后续的权利要求书中所提及的“包括”和“包含”为一开放式的用语,故应解释成“包含但不限定于”。以外,“连接”一词在此系包含任何直接及间接的电性连接手段。间接的电性连接手段包括通过其它装置进行连接。
43.图1示出本发明实施例一提供的图像复原方法,包括步骤:
44.s101:获取待复原图像。
45.s102:检测确定出所述待复原图像中的复原目标。所述复原目标为需要复原的对象,不同的实施例的复原目标不尽相同,例如所述复原目标为人脸或文字等;具体实施时,检测所述待复原图像是否存在复原目标,若不存在所述复原目标则结束后续流程。
46.s103:提取所述复原目标基于关键点对齐处理的目标区域。若步骤s102检测到所述复原目标,则提取复原目标基于关键点对齐处理后的目标区域;其中,所述目标区域基于所述复原目标的边缘所确定,例如所述复原目标为人脸,则所述目标区域即为所述人脸基于关键点对齐处理后的人脸区域;在实际应用中,所述人脸区域呈矩形框结构。
47.在具体应用中,根据所述复原目标为人脸或文字,所述步骤s103包括:提取所述人脸或所述文字基于关键点对齐处理的人脸区域或文字区域。
48.s104:对输入复原网络的所述目标区域进行复原处理;其中,所述复原网络由若干个通过随机退化处理的样本数据训练而成。本实施例的所述复原网络为基于深度学习的图像复原算法,随机退化处理是指将一高质量图像经随机退化生成多张低质量图像,即通过随机退化处理的样本数据为一对多的高质量-低质量映射的训练数据;因此,本实施例的一张训练集中的高质量图像可退化模拟出多个低质量配对数据,这一操作主要为了更真实的模拟实际场景下的低质量图像与高质量图像之间的关联。
49.可选的,所述随机退化处理包括随机模糊核处理、随机尺度降采样处理、随机噪声处理的任意一种或多种处理组合。所述随机退化处理的具体操作是先读取一张高质量图片,再通过以下退化操作处理:a、采用不同模糊核;b、不同尺度降采样;c、不同类型的噪声;上述的退化操作的处理顺序可随机打乱并且各个操作的参数随机使用;由此可构造出多种组合,即一张高质量样本图像可随机退化出多张配对的低质量样本图像。因此,本实施例的复原网络的训练数据更具有真实性,从而可提升复原网络对图像的复原能力;本实施例采用的退化训练过程可极大改进现有只用固定模糊、线性缩放,随机噪声顺序组合所构造的退化的技术问题。
50.s105:将所述复原网络输出的复原区域回帖至所述待复原图像,以生成复原图像。所述复原区域即为对应于目标区域经复原处理后的区域,相较于待复原图像中的目标区域,所述复原区域为边缘锐利,噪声锐减的高质量图像;将复原后的复原区域回帖至待复原图像中,即通过所述复原区域替换掉待复原图像中的目标区域以生成复原图像,实现对待复原图像的复原处理。
51.图2示出本发明实施例二提供的图像复原方法,本实施例提供一种针对于人脸图像的复原方法,包括步骤:
52.s111:获取待复原图像。
53.s112:检测确定出所述待复原图像中的人脸。
54.s113:提取所述人脸基于关键点对齐处理的人脸区域。
55.s114:通过人脸解析将所述人脸区域分割成若干个人脸解析掩膜。掩模是由0和1组成的一个二进制图像。当在某一功能中应用掩模时,1值区域被处理,被屏蔽的0值区域不被包括在计算中。通过指定的数据值、数据范围、有限或无限值、感兴趣区和注释文件来定义图像掩模,也可以应用上述选项的任意组合作为输入来建立掩模。
56.本实施例具体将所述人脸区域经人脸解析处理,以分割成19类的人脸解析掩膜;其19类掩膜是根据人脸19个特征点确定,例如眼睛、鼻子、嘴巴等特征。在具体实施时,将所述人脸区域输入至预设的人脸解析算法中,以获取人脸解析算法输出的19类人脸解析掩膜。
57.s115:根据所述人脸解析掩膜与所述人脸区域的交集,去除所述人脸区域的背景。即根据所述人脸解析掩膜对应的特征点来确定除人脸区域以外的背景区域,进而去除其人脸区域的背景,以获得去除背景后的人脸区域。
58.s116:对输入复原网络的所述目标区域进行复原处理;其中,所述复原网络由若干个通过随机退化处理的样本数据训练而成。本实施例的所述随机退化处理包括随机模糊核处理、随机尺度降采样处理、随机噪声处理的任意一种或多种处理组合。可选的,在上述复杂退化过程的基础上,将高质量样本图像进行人脸解析,分割成19类的人脸解析掩膜作为先验特征。
59.所述步骤s106具体包括:将所述人脸解析掩膜和去除背景的所述人脸区域输入至所述复原网络,得到对应的所述复原区域。将退化后的低质量图与人脸解析掩膜一一对应并作为复原网络的输入,通过复原网络对所述人脸解析掩膜进行先验分类处理,并结合对人脸区域的复原处理以获得最真实的复原效果。目前人脸复原多数采用单帧图像超分(sisr)类似的方式对人脸图进行复原,而忽略了人脸作为一种特殊的场景具有丰富的信
息,如人脸身份信息,人脸热度图,人脸关键点,人脸解析图等。本实施例采用人脸解析图作为人脸部位的分割图,可以详细的将每个人脸的像素进行分类,相较其他,信息更丰富。将人脸解析掩膜作为先验信息与低质量图像进行匹配,能够获取更细节的效果。
60.s117:将所述复原网络输出的复原区域回帖至所述待复原图像,以生成复原图像。本实施例的复原网络采用带有人脸解析先验特征的深度学习级联方式,并引用对纹理细节复原有帮助的损失函数;具体实施时,整个训练网络采用了多种损失函数,将去除背景的对齐人脸和对应的人脸解析掩膜输入到人脸复原网路,就会输出相应的人脸复原图。
61.一种实施方式中,步骤s114具体包括:对输入bisenet分割网络的所述人脸区域进行人脸解析处理,获得若干个所述人脸解析掩膜;步骤s115具体包括:将若干个所述人脸解析掩膜合并为掩膜图,并保留所述人脸区域与所述掩膜图之间的交集,以实现对所述人脸区域的背景去除。具体实施时,本实施例将对齐后的人脸区域输入到人脸解析网络中,根据预置参数以获得19类人脸解析掩膜;其中,预置参数为分割人脸特征的配置参数,本实施例的预置参数即为将人脸区域分割为19类的配置参数;人脸解析网络使用了轻型的分割网络bisenet,得到19类人脸解析掩膜后,将19类人脸解析掩膜合成1类,再与对齐后的人脸区域取交集,使得掩膜为正样本的那部分保留,背景去除,这样就构造好了复原网络的输入图。bisenet旨在同时提升实时语义分割的速度与精度,它包含两路网络:spatial path和context path。spatial path被设计用来保留原图像的空间信息,context path则利用轻量级模型和全局平均池化快速获取大感受野;由此,采用轻型的分割网络bisenet,可获得高精度的分割数据。
62.一种实施方式中,步骤s112包括:
63.将所述待复原图像输入至预置的分离卷积中,并经通道剪枝处理以检测所述待复原图像中是否存在所述复原目标。为了使人脸检测能够更快速,用于人脸检测基础网络采用了高效的可分离卷积,并对其进行了通道剪枝,使得整个人脸检测能够在手机端以10ms左右的速度检测一张图片。
64.可选的,上述实施例一的步骤s103或实施例二的步骤s113包括具体:
65.对所述复原目标进行关键点对齐处理,并裁剪出所述复原目标对齐后的目标区域。具体实施时,以人脸图像复原为例,可在检测到人脸之后对人脸框进行95点的关键点检测,例如选取左眼,右眼,鼻尖,左嘴角,右嘴角五个点为基准对人脸框进行对齐,这样可以使得一些角度不正的人脸做一定程度的矫正,再将对齐后的人脸图片输入到人脸解析网络中。
66.可选地,所述对所述复原目标进行关键点对齐处理,并裁剪出所述复原目标对齐后的目标区域的步骤包括:对所述待复原图像中的人脸进行关键点对齐处理,裁剪出所述人脸对齐后的人脸区域;或者
67.对所述待复原图像中的文字进行关键点对齐处理,裁剪出所述文字对齐后的文字区域。
68.现有针对人脸复原采用的神经网络有巨大的参数量,这限制了其只能在大型的gpu服务器上运行,而不能离散部署在手机等边缘设备上。为此,对人脸复原所使用的卷积神经网络(即分离卷积)进行了剪枝和量化,并对前处理的人脸检测,人脸关键点对齐和人脸解析的模型进行了类似的操作,这些操作会将模型的参数和计算量大大降低并尽可能保
留原有的精度,从而使得本复原方法可离散部署手机等设备。
69.一种可选的实施方式中,所述步骤s105或步骤s117包括:根据所述目标区域的对齐关键点信息,将所述复原区域逆对齐后回帖至所述待复原图像,以生成所述复原图像。所述复原区域的尺寸与所述目标区域相适配,从而便于将所述复原区域经逆对齐后回帖至所述待复原图像中。
70.图3示出本发明一实施例提供的图像复原系统100,所述系统100可应用于智能终端,如智能手机或平板电脑等;所述系统100包括有获取单元10、目标检测单元20、区域提取单元30、复原处理单元40以及生成单元50,其中:
71.获取单元10用于获取待复原图像;目标检测单元20用于检测确定出所述待复原图像中的复原目标;区域提取单元30用于提取所述复原目标基于关键点对齐处理的目标区域;复原处理单元40用于对输入复原网络的所述目标区域进行复原处理;其中,所述复原网络由若干个通过随机退化处理的样本数据训练而成;生成单元50用于将所述复原网络输出的复原区域回帖至所述待复原图像,以生成复原图像。所述复原目标包括人脸或文字。
72.可选的,所述随机退化处理包括随机模糊核处理、随机尺度降采样处理、随机噪声处理的任意一种或多种处理组合。
73.可选的,区域提取单元30用于提取所述人脸或所述文字基于关键点对齐处理的人脸区域或文字区域。
74.图4示出本发明另一实施例提供的图像复原系统200,所述系统200具体应用于人脸图像复原;其包括有获取单元11、目标检测单元12、区域提取单元13、人脸解析单元14、背景去除单元15、复原处理单元16以及生成单元17,其中:
75.获取单元11用于获取待复原图像;目标检测单元12用于检测确定出所述待复原图像中的复原目标;区域提取单元13用于提取所述复原目标基于关键点对齐处理的人脸区域;人脸解析单元14用于通过人脸解析将所述人脸区域分割成若干个人脸解析掩膜;背景去除单元15用于根据所述人脸解析掩膜与所述人脸区域的交集,去除所述人脸区域的背景;复原处理单元16用于对输入复原网络的所述目标区域进行复原处理;其中,所述复原网络由若干个通过随机退化处理的样本数据训练而成;生成单元17用于将所述复原网络输出的复原区域回帖至所述待复原图像,以生成复原图像。
76.其中,所述随机退化处理包括随机模糊核处理、随机尺度降采样处理、随机噪声处理的任意一种或多种处理组合。
77.可选的,所述人脸解析单元14具体用于:对输入bisenet分割网络的所述人脸区域进行人脸解析处理,获得若干个所述人脸解析掩膜;所述背景去除单元15具体用于:将若干个所述人脸解析掩膜合并为掩膜图,并保留所述人脸区域与所述掩膜图之间的交集,以实现对所述人脸区域的背景去除。
78.可选的,所述复原处理单元16具体用于:将所述人脸解析掩膜和去除背景的所述人脸区域输入至所述复原网络,得到对应的所述复原区域。
79.一种实施方式中,上述所述目标检测单元20或目标检测单元12用于:将所述待复原图像输入至预置的分离卷积中,并经通道剪枝处理以检测所述待复原图像中是否存在所述复原目标。
80.一种实施方式中,上述所述区域提取单元30或区域提取单元13具体用于:对所述
复原目标进行关键点对齐处理,并裁剪出所述复原目标对齐后的目标区域。
81.进一步的,所述区域提取单元30或区域提取单元13具体用于:
82.对所述待复原图像中的人脸进行关键点对齐处理,裁剪出所述人脸对齐后的人脸区域;或者
83.对所述待复原图像中的文字进行关键点对齐处理,裁剪出所述文字对齐后的文字区域。
84.可选的,上述的生成单元50和生成单元17具体用于:根据所述目标区域的对齐关键点信息,将所述复原区域逆对齐后回帖至所述待复原图像,以生成所述复原图像。
85.本发明还提供一种存储介质,用于存储如图1~图2所述图像复原方法的计算机程序。例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本技术的方法和/或技术方案。而调用本技术的方法的程序指令,可能被存储在固定的或可移动的存储介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输和/或被存储在根据程序指令运行的计算机设备的存储介质中。在此,根据本技术的一个实施例包括如图3或4所示图像复原系统的计算机设备,所述计算机设备优选包括用于存储计算机程序的存储介质和用于执行计算机程序的处理器,其中,当该计算机程序被该处理器执行时,触发该计算机设备执行基于前述多个实施例中的方法和/或技术方案。
86.需要注意的是,本技术可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本技术的软件程序可以通过处理器执行以实现上文步骤或功能。同样地,本技术的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,ram存储器,磁或光驱动器或软磁盘及类似设备。另外,本技术的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
87.根据本发明的方法可以作为计算机实现方法在计算机上实现、或者在专用硬件中实现、或以两者的组合的方式实现。用于根据本发明的方法的可执行代码或其部分可以存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。优选地,计算机程序产品包括存储在计算机可读介质上以便当所述程序产品在计算机上执行时执行根据本发明的方法的非临时程序代码部件。
88.在优选实施例中,计算机程序包括适合于当计算机程序在计算机上运行时执行根据本发明的方法的所有步骤的计算机程序代码部件。优选地,在计算机可读介质上体现计算机程序。
89.综上所述,本发明所述的图像复原方法及其系统,通过检测待复原图像中的复原目标,并提取所述复原目标基于关键点对齐处理的目标区域;将所述目标区域输入至由若干个通过随机退化处理的样本数据训练而成的复原网络,以获得所述复原网络输出的复原图像,并将所述复原区域回帖至所述待复原图像,以生成复原图像。借此,本发明能够极大改进现有技术中只用固定模糊,线性缩放,随机噪声顺序组合所构造的退化的技术问题,可应用于各种超分复原任务,有效模拟真实应用场景;对真实场景下的人脸低质量图像有着出色的复原能力,鲁棒性较高;能够在真实场景下对低质量人脸图像进行有效复原,这些低质量图片不限于老照片,低分辨率照片,传输压缩后损失的照片,远距离变焦等照片,且算法能够部署到手机等边缘设备上离线运行。
90.当然,本发明还可有其它多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
91.还提供了a1、一种图像复原方法,包括步骤:
92.获取待复原图像;
93.检测确定出所述待复原图像中的复原目标;
94.提取所述复原目标基于关键点对齐处理的目标区域;
95.对输入复原网络的所述目标区域进行复原处理;其中,所述复原网络由若干个通过随机退化处理的样本数据训练而成;
96.将所述复原网络输出的复原区域回帖至所述待复原图像,以生成复原图像。
97.a2、根据a1所述的图像复原方法,所述随机退化处理包括随机模糊核处理、随机尺度降采样处理、随机噪声处理的任意一种或多种处理组合。
98.a3、根据a1或a2所述的图像复原方法,所述复原目标包括人脸或文字。
99.a4、根据a3所述的图像复原方法,所述提取所述复原目标基于关键点对齐处理的目标区域的步骤具体包括:
100.提取所述人脸或所述文字基于关键点对齐处理的人脸区域或文字区域。
101.a5、根据a4所述的图像复原方法,所述对输入复原网络的所述目标区域进行复原处理的步骤之前还包括:
102.通过人脸解析将所述人脸区域分割成若干个人脸解析掩膜;
103.根据所述人脸解析掩膜与所述人脸区域的交集,去除所述人脸区域的背景。
104.a6、根据a5所述的图像复原方法,所述通过人脸解析将所述人脸区域分割成若干个人脸解析掩膜的步骤具体包括:
105.对输入bisenet分割网络的所述人脸区域进行人脸解析处理,获得若干个所述人脸解析掩膜;
106.所述根据所述人脸解析掩膜与所述人脸区域的交集,去除所述人脸区域的背景的步骤具体包括:
107.将若干个所述人脸解析掩膜合并为掩膜图,并保留所述人脸区域与所述掩膜图之间的交集,以实现对所述人脸区域的背景去除。
108.a7、根据a5所述的图像复原方法,所述对输入复原网络的所述目标区域进行复原处理的步骤具体包括:
109.将所述人脸解析掩膜和去除背景的所述人脸区域输入至所述复原网络,得到对应的所述复原区域。
110.a8、根据a1所述的图像复原方法,所述检测确定出所述待复原图像中的复原目标的步骤包括:
111.将所述待复原图像输入至预置的分离卷积中,并经通道剪枝处理以检测所述待复原图像中是否存在所述复原目标。
112.a9、根据a1所述的图像复原方法,所述提取所述复原目标基于关键点对齐处理的目标区域的步骤具体包括:
113.对所述复原目标进行关键点对齐处理,并裁剪出所述复原目标对齐后的目标区
域。
114.a10、根据a9所述的图像复原方法,所述对所述复原目标进行关键点对齐处理,并裁剪出所述复原目标对齐后的目标区域的步骤包括:
115.对所述待复原图像中的人脸进行关键点对齐处理,裁剪出所述人脸对齐后的人脸区域;或者
116.对所述待复原图像中的文字进行关键点对齐处理,裁剪出所述文字对齐后的文字区域。
117.a11、根据a10所述的图像复原方法,所述将所述复原网络输出的复原区域回帖至所述待复原图像,以生成复原图像的步骤具体包括:
118.根据所述目标区域的对齐关键点信息,将所述复原区域逆对齐后回帖至所述待复原图像,以生成所述复原图像。
119.还提供了b12、一种图像复原系统,包括有:
120.获取单元,用于获取待复原图像;
121.目标检测单元,用于检测确定出所述待复原图像中的复原目标;
122.区域提取单元,用于提取所述复原目标基于关键点对齐处理的目标区域;
123.复原处理单元,用于对输入复原网络的所述目标区域进行复原处理;其中,所述复原网络由若干个通过随机退化处理的样本数据训练而成;
124.生成单元,用于将所述复原网络输出的复原区域回帖至所述待复原图像,以生成复原图像。
125.b13、根据b12所述的图像复原系统,所述随机退化处理包括随机模糊核处理、随机尺度降采样处理、随机噪声处理的任意一种或多种处理组合。
126.b14、根据b12或b13所述的图像复原系统,所述复原目标包括人脸或文字。
127.b15、根据b14所述的图像复原系统,所述区域提取单元具体用于:
128.提取所述人脸或所述文字基于关键点对齐处理的人脸区域或文字区域。
129.b16、根据b15所述的图像复原系统,还包括:
130.人脸解析单元,用于通过人脸解析将所述人脸区域分割成若干个人脸解析掩膜;
131.背景去除单元,用于根据所述人脸解析掩膜与所述人脸区域的交集,去除所述人脸区域的背景。
132.b17、根据b16所述的图像复原系统,所述人脸解析单元具体用于:
133.对输入bisenet分割网络的所述人脸区域进行人脸解析处理,获得若干个所述人脸解析掩膜;
134.所述背景去除单元具体用于:
135.将若干个所述人脸解析掩膜合并为掩膜图,并保留所述人脸区域与所述掩膜图之间的交集,以实现对所述人脸区域的背景去除。
136.b18、根据b16所述的图像复原系统,所述复原处理单元具体用于:
137.将所述人脸解析掩膜和去除背景的所述人脸区域输入至所述复原网络,得到对应的所述复原区域。
138.b19、根据b12所述的图像复原系统,所述目标检测单元用于:
139.将所述待复原图像输入至预置的分离卷积中,并经通道剪枝处理以检测所述待复
原图像中是否存在所述复原目标。
140.b20、根据b12所述的图像复原系统,所述区域提取单元具体用于:
141.对所述复原目标进行关键点对齐处理,并裁剪出所述复原目标对齐后的目标区域。
142.b21、根据b20所述的图像复原系统,所述区域提取单元用于:
143.对所述待复原图像中的人脸进行关键点对齐处理,裁剪出所述人脸对齐后的人脸区域;或者
144.对所述待复原图像中的文字进行关键点对齐处理,裁剪出所述文字对齐后的文字区域。
145.b22、根据b21所述的图像复原系统,所述生成单元具体用于:
146.根据所述目标区域的对齐关键点信息,将所述复原区域逆对齐后回帖至所述待复原图像,以生成所述复原图像。
147.还提供了c23、一种存储介质,用于存储一种用于执行a1~a11中任意一种所述图像复原方法的计算机程序。
148.还提供了d24、一种计算机设备,包括存储介质、处理器以及存储在所述存储介质上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现a1~a11任一项所述的图像复原方法。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1