一种基于深度学习的图像非线性插值获取方法及获取系统与流程

[0001]
本发明属于图像处理技术领域，特别是涉及一种基于深度学习的图像非线性插值获取方法及获取系统。


背景技术：

[0002]
众所周知，图像处理(image processing)又称为影像处理，是用计算机对图像进行达到所需结果的技术。起源于20世纪20年代，一般为数字图像处理。图像处理技术主要内容包括图像压缩、增强复原、匹配描述识别3个部分，常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理是利用计算机对图像信息进行加工以满足人的视觉心理或者应用需求的行为，应用广泛，多用于测绘学、大气科学、天文学、美图、使图像提高辨识等。
[0003]
在图像处理过程中，图像插值法是经常使用到的一个技术手段，传统图像插值通常使用最近邻插值、双线性插值和双三次插值等方法进行，由于这些方法没有考虑背景和应用场景，因此通常或多或少会导致会图像变得模糊、失真、扭曲，出现锯齿等众多不良现象，插值结果在很多场合不可用(如内容审查、文字识别等)。


技术实现要素：

[0004]
本发明为解决公知技术中存在的技术问题，提供一种基于深度学习的图像非线性插值获取方法及获取系统，主要解决目前图像预处理领域的一项关键问题：用户输入图像大小不等，清晰度不等，可能有的是高清照片，有的是像素图；为了获得较好的算法检测效果，需要把用户输入的各种各样图片进行统一的几何变换整理成尺寸相同、清晰度相近的图像，再输入算法模块进行识别；拟采用本专利提出的插值方法，对用户输入图像进行插值处理，使得模糊图像变得清晰，避免出现块状图像、马赛克图像。
[0005]
本发明的第一目的是提供一种基于深度学习的图像非线性插值获取方法，包括：
[0006]
s1、建立数据集，具体为：
[0007]
s101、通过最近邻插值和/或双线性插值和/或双三次插值对原始图像进行插值，得到插值后图像并进行记录；
[0008]
s102、对插值后图像进行人工检视，标注出不合格目标并进行记录；
[0009]
s103、结合所述原始图像、不合格目标，人工进行插值获得人工插值后图像，并对插值结果进行记录；
[0010]
s104、结合所述原始图像、人工插值后图像，再人工对原始图像中与人工插值后图像相关的原位置及原位置附近背景像素进行标注并进行记录；
[0011]
s105、组合s1-s4的记录，形成数据集中的一条数据；
[0012]
s106、对不同的原始图像重复s1-s4的步骤，形成完整数据集；
[0013]
s2、使用深度学习的目标检测方法来检测插值后图像中的不合格目标，获得第一目标检测深度神经网络；
[0014]
s3、使用深度学习的目标检测方法检测不合格目标在原始图像中位置及其附近像素；获得第二目标检测深度神经网络；
[0015]
s4、以所述数据集、第一目标检测深度神经网络、第二目标检测深度神经网络为基础，训练得到深度神经网络，通过深度神经网络输出正确插值。
[0016]
优选地，在所述s2中：将插值后图像作为第一目标检测深度神经网络输入，通过人工标注不合格目标数据计算损失。
[0017]
优选地，在所述s3中：将原始图像和插值后图像中的不合格目标作为第二目标检测深度神经网络输入，按照人工标注不合格目标及其在原始图像中位置、附近背景像素示例的隐含逻辑，输出不合格目标在原始图像的位置及此位置附近背景像素。
[0018]
优选地，在所述s4中：所述深度神经网络的输入为人工标注不合格目标原位置及其附近背景像素、人工标注不合格目标、传统方法插值后图像，并在训练过程中使用人工插值来计算损失。
[0019]
本发明的第二目的是提供一种基于深度学习的图像非线性插值系统；至少包括：
[0020]
数据集建立模块，所述数据集建立模块的建立过程为：
[0021]
s101、通过最近邻插值和/或双线性插值和/或双三次插值对原始图像进行插值，得到插值后图像并进行记录；
[0022]
s102、对插值后图像进行人工检视，标注出不合格目标并进行记录；
[0023]
s103、结合所述原始图像、不合格目标，人工进行插值获得人工插值后图像，并对插值结果进行记录；
[0024]
s104、结合所述原始图像、人工插值后图像，再人工对原始图像中与人工插值后图像相关的原位置及原位置附近背景像素进行标注并进行记录；
[0025]
s105、组合s1-s4的记录，形成数据集中的一条数据；
[0026]
s106、对不同的原始图像重复s1-s4的步骤，形成完整数据集；
[0027]
第一目标检测深度神经网络获取模块，使用深度学习的目标检测方法来检测插值后图像中的不合格目标，获得第一目标检测深度神经网络；
[0028]
第二目标检测深度神经网络获取模块，使用深度学习的目标检测方法检测不合格目标在原始图像中位置及其附近像素；获得第二目标检测深度神经网络；
[0029]
正确插值获取模块，以所述数据集、第一目标检测深度神经网络、第二目标检测深度神经网络为基础，训练得到深度神经网络，通过深度神经网络输出正确插值。
[0030]
优选地，在所述第一目标检测深度神经网络获取模块中：将插值后图像作为第一目标检测深度神经网络输入，通过人工标注不合格目标数据计算损失。
[0031]
优选地，在所述第二目标检测深度神经网络获取模块中：将原始图像和插值后图像中的不合格目标作为第二目标检测深度神经网络输入，按照人工标注不合格目标及人工标注不合格目标在原始图像位置、附近背景像素示例的隐含逻辑，输出不合格目标在原始图像中的位置及该位置附近背景像素。
[0032]
优选地，在所述正确插值获取模块中：所述深度神经网络的输入为人工标注不合格目标原位置及其附近背景像素、人工标注不合格目标、传统方法插值后图像，并在训练过程中使用人工插值来计算损失。
[0033]
本发明的第三目的是提供一种实现上述基于深度学习的图像非线性插值获取方
法的信息数据处理终端。
[0034]
本发明的第四目的是提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述的基于深度学习的图像非线性插值获取方法。
[0035]
本发明具有的优点和积极效果是：
[0036]
本发明使用深度学习目标检测技术，通过构建人工插值修正的数据集，结合图像背景，识别传统插值算法中的不合格目标及与之相关的附近相关像素，并结合人工插值的示例，最后输出正确插值。插值结果更细致，更切合场景需要。
附图说明
[0037]
图1是本发明优选实施例中数据集构建流程图；
[0038]
图2是本发明优选实施例中插值后图像中不合格目标识别模型的训练流程图；
[0039]
图3是本发明优选实施例中插值后图像中不合格目标识别模型的推理使用流程图；
[0040]
图4是本发明优选实施例中不合格目标原位置及其附近背景像素目标识别模型的训练流程图；
[0041]
图5是本发明优选实施例中不合格目标原位置及其附近背景像素目标识别模型的推理使用流程图；
[0042]
图6是本发明优选实施例中正确插值的训练流程图；
[0043]
图7是本发明优选实施例中正确插值的应用流程图；
[0044]
图8是本发明优选实施例的应用流程图。
具体实施方式
[0045]
为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下：
[0046]
本发明主要解决目前图像预处理领域的一项关键问题：用户输入图像大小不等，清晰度不等，可能有的是高清照片，有的是像素图；为了获得较好的算法检测效果，需要把用户输入的各种各样图片进行统一的几何变换整理成尺寸相同、清晰度相近的图像，再输入算法模块进行识别；拟采用本专利提出的插值方法，对用户输入图像进行插值处理，使得模糊图像变得清晰，避免出现块状图像、马赛克图像。
[0047]
该发明主要涉及一个数据集构建方法，三个深度学习模型构建方法。
[0048]
请查阅图1至图8：
[0049]
一种基于深度学习的图像非线性插值获取方法，包括：
[0050]
s1、建立数据集，具体为：
[0051]
1)首先通过若干种传统插值方法对原始图像进行插值，得到插值后图像并记录。传统插值方法包括：
[0052]
2)对插值后图像进行人工检视，标注出不合格的目标并记录。
[0053]
3)结合原始图像、插值后图像中的不合格目标，人工进行插值，并对插值结果记录。
[0054]
4)结合原始图像、人工插值后图像，再人工对原始图像中与之相关的原位置及其
附近背景像素进行标注并进行记录。
[0055]
5)组合1)2)3)4)的记录，形成数据集中的一条数据。
[0056]
6)对不同的原始图像重复1)－5)的步骤，形成完整数据集。
[0057]
s2、在s1中建立了数据集的基础上，本发明使用当前流行的深度学习的目标检测方法来检测插值后图像中的不合格目标。其目标是形成一个目标检测深度神经网络(记为目标检测深度神经网络1,即第一目标检测深度神经网络)，其训练结构如图2所示，输入为数据集中的插值后图像，人工标注不合格目标数据用于计算损失。应用时，该网络能将任何插值后的图像作为输入，而输出按照1)中人工打标示例学习中隐含的逻辑形成的不合格目标，以期在后续应用中能够自动对传统插值后图像找出不合格目标，应用结构如图3所示。
[0058]
s3、在s1中建立了数据集和s2中已建立并充分训练了目标检测深度神经网络1的基础上，本发明使用当前流行的深度学习的目标检测方法来检测不合格目标在原始图像中位置及其附近像素。其目标是成一个另一个目标检测深度神经网络(记为目标检测深度神经网2,即第二目标检测深度神经网络)，其训练结构如图4所示。应用时，该网络能将任意原始图像和插值后图像中的不合格目标(通过s2中建立的目标检测深度神经网络1获得)作为输入，而按照人工标注不合格目标及其在原图中位置、附近背景像素的示例的隐含逻辑，输出不合格目标在原图中的位置及其附近背景像素，应用结构如图5所示。
[0059]
s4、在s1中建立了数据集和s2、s3中已建立并充分训练了目标检测深度神经网络1、目标检测深度神经网络2的基础上，本发明训练一个深度神经网络来输出正确插值，其训练结构如图6所示，其输入为人工标注不合格目标原位置及其附近背景像素、人工标注不合格目标、传统方法插值后图像，并在训练过程中使用人工插值来计算损失。应用时，该网络能将任意原始图像及其通过s2中建立的目标检测深度神经网络1输出的不合格目标、通过s3中建立的目标检测深度神经网络2输出的不合格目标原位置及其附近背景像素作为输入，输出正确插值，应用结构如图7所示。
[0060]
s5、整体应用实施方案如图8所示，原始图像经过前述3个深度神经网络，就能得到适配于建立数据集时的示例内在逻辑的正确插值。
[0061]
一种基于深度学习的图像非线性插值系统；包括：
[0062]
数据集建立模块，所述数据集建立模块的建立过程为：
[0063]
1)首先通过若干种传统插值方法对原始图像进行插值，得到插值后图像并记录。传统插值方法包括：
[0064]
2)对插值后图像进行人工检视，标注出不合格的目标并记录。
[0065]
3)结合原始图像、插值后图像中的不合格目标，人工进行插值，并对插值结果记录。
[0066]
4)结合原始图像、人工插值后图像，再人工对原始图像中与之相关的原位置及其附近背景像素进行标注并进行记录。
[0067]
5)组合1)2)3)4)的记录，形成数据集中的一条数据。
[0068]
6)对不同的原始图像重复1)－5)的步骤，形成完整数据集。
[0069]
第一目标检测深度神经网络获取模块，使用深度学习的目标检测方法来检测插值后图像中的不合格目标，获得第一目标检测深度神经网络；在上述数据集的基础上，本发明使用当前流行的深度学习的目标检测方法来检测插值后图像中的不合格目标。其目标是形
成一个目标检测深度神经网络(记为目标检测深度神经网络1,即第一目标检测深度神经网络)，其训练结构如图2所示，输入为数据集中的插值后图像，人工标注不合格目标数据用于计算损失。应用时，该网络能将任何插值后的图像作为输入，而输出按照1)中人工打标示例学习中隐含的逻辑形成的不合格目标，以期在后续应用中能够自动对传统插值后图像找出不合格目标，应用结构如图3所示。
[0070]
第二目标检测深度神经网络获取模块，使用深度学习的目标检测方法检测不合格目标在原始图像中位置及其附近像素；获得第二目标检测深度神经网络；在上述数据集和上述目标检测深度神经网络1的基础上，本发明使用当前流行的深度学习的目标检测方法来检测不合格目标在原始图像中位置及其附近像素。其目标是成一个另一个目标检测深度神经网络(记为目标检测深度神经网2,即第二目标检测深度神经网络)，其训练结构如图4所示。应用时，该网络能将任意原始图像和插值后图像中的不合格目标(通过上述目标检测深度神经网络1获得)作为输入，而按照人工标注不合格目标及其在原图中位置、附近背景像素的示例的隐含逻辑，输出不合格目标在原图中的位置及其附近背景像素，应用结构如图5所示；
[0071]
正确插值获取模块，以所述数据集、第一目标检测深度神经网络、第二目标检测深度神经网络为基础，训练得到深度神经网络，通过深度神经网络输出正确插值；在上述数据集和目标检测深度神经网络1、目标检测深度神经网络2的基础上，本发明训练一个深度神经网络来输出正确插值，其训练结构如图6所示，其输入为人工标注不合格目标原位置及其附近背景像素、人工标注不合格目标、传统方法插值后图像，并在训练过程中使用人工插值来计算损失。应用时，该网络能将任意原始图像及其通过s2中建立的目标检测深度神经网络1输出的不合格目标、通过s3中建立的目标检测深度神经网络2输出的不合格目标原位置及其附近背景像素作为输入，输出正确插值，应用结构如图7所示。
[0072]
一种实现基于深度学习的图像非线性插值获取方法的信息数据处理终端，上述基于深度学习的图像非线性插值获取方法包括：
[0073]
s1、建立数据集，具体为：
[0074]
1)首先通过若干种传统插值方法对原始图像进行插值，得到插值后图像并记录。传统插值方法包括：
[0075]
2)对插值后图像进行人工检视，标注出不合格的目标并记录。
[0076]
3)结合原始图像、插值后图像中的不合格目标，人工进行插值，并对插值结果记录。
[0077]
4)结合原始图像、人工插值后图像，再人工对原始图像中与之相关的原位置及其附近背景像素进行标注并进行记录。
[0078]
5)组合1)2)3)4)的记录，形成数据集中的一条数据。
[0079]
6)对不同的原始图像重复1)－5)的步骤，形成完整数据集。
[0080]
s2、在s1中建立了数据集的基础上，本发明使用当前流行的深度学习的目标检测方法来检测插值后图像中的不合格目标。其目标是形成一个目标检测深度神经网络(记为目标检测深度神经网络1,即第一目标检测深度神经网络)，其训练结构如图2所示，输入为数据集中的插值后图像，人工标注不合格目标数据用于计算损失。应用时，该网络能将任何插值后的图像作为输入，而输出按照1)中人工打标示例学习中隐含的逻辑形成的不合格目
标，以期在后续应用中能够自动对传统插值后图像找出不合格目标，应用结构如图3所示。
[0081]
s3、在s1中建立了数据集和s2中已建立并充分训练了目标检测深度神经网络1的基础上，本发明使用当前流行的深度学习的目标检测方法来检测不合格目标在原始图像中位置及其附近像素。其目标是成一个另一个目标检测深度神经网络(记为目标检测深度神经网2,即第二目标检测深度神经网络)，其训练结构如图4所示。应用时，该网络能将任意原始图像和插值后图像中的不合格目标(通过s2中建立的目标检测深度神经网络1获得)作为输入，而按照人工标注不合格目标及其在原图中位置、附近背景像素的示例的隐含逻辑，输出不合格目标在原图中的位置及其附近背景像素，应用结构如图5所示。
[0082]
s4、在s1中建立了数据集和s2、s3中已建立并充分训练了目标检测深度神经网络1、目标检测深度神经网络2的基础上，本发明训练一个深度神经网络来输出正确插值，其训练结构如图6所示，其输入为人工标注不合格目标原位置及其附近背景像素、人工标注不合格目标、传统方法插值后图像，并在训练过程中使用人工插值来计算损失。应用时，该网络能将任意原始图像及其通过s2中建立的目标检测深度神经网络1输出的不合格目标、通过s3中建立的目标检测深度神经网络2输出的不合格目标原位置及其附近背景像素作为输入，输出正确插值，应用结构如图7所示。
[0083]
s5、整体应用实施方案如图8所示，原始图像经过前述3个深度神经网络，就能得到适配于建立数据集时的示例内在逻辑的正确插值。
[0084]
一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行基于深度学习的图像非线性插值获取方法，该基于深度学习的图像非线性插值获取方法包括：
[0085]
s1、建立数据集，具体为：
[0086]
1)首先通过若干种传统插值方法对原始图像进行插值，得到插值后图像并记录。传统插值方法包括：
[0087]
2)对插值后图像进行人工检视，标注出不合格的目标并记录。
[0088]
3)结合原始图像、插值后图像中的不合格目标，人工进行插值，并对插值结果记录。
[0089]
4)结合原始图像、人工插值后图像，再人工对原始图像中与之相关的原位置及其附近背景像素进行标注并进行记录。
[0090]
5)组合1)2)3)4)的记录，形成数据集中的一条数据。
[0091]
6)对不同的原始图像重复1)－5)的步骤，形成完整数据集。
[0092]
s2、在s1中建立了数据集的基础上，本发明使用当前流行的深度学习的目标检测方法来检测插值后图像中的不合格目标。其目标是形成一个目标检测深度神经网络(记为目标检测深度神经网络1,即第一目标检测深度神经网络)，其训练结构如图2所示，输入为数据集中的插值后图像，人工标注不合格目标数据用于计算损失。应用时，该网络能将任何插值后的图像作为输入，而输出按照1)中人工打标示例学习中隐含的逻辑形成的不合格目标，以期在后续应用中能够自动对传统插值后图像找出不合格目标，应用结构如图3所示。
[0093]
s3、在s1中建立了数据集和s2中已建立并充分训练了目标检测深度神经网络1的基础上，本发明使用当前流行的深度学习的目标检测方法来检测不合格目标在原始图像中位置及其附近像素。其目标是成一个另一个目标检测深度神经网络(记为目标检测深度神
经网2,即第二目标检测深度神经网络)，其训练结构如图4所示。应用时，该网络能将任意原始图像和插值后图像中的不合格目标(通过s2中建立的目标检测深度神经网络1获得)作为输入，而按照人工标注不合格目标及其在原图中位置、附近背景像素的示例的隐含逻辑，输出不合格目标在原图中的位置及其附近背景像素，应用结构如图5所示。
[0094]
s4、在s1中建立了数据集和s2、s3中已建立并充分训练了目标检测深度神经网络1、目标检测深度神经网络2的基础上，本发明训练一个深度神经网络来输出正确插值，其训练结构如图6所示，其输入为人工标注不合格目标原位置及其附近背景像素、人工标注不合格目标、传统方法插值后图像，并在训练过程中使用人工插值来计算损失。应用时，该网络能将任意原始图像及其通过s2中建立的目标检测深度神经网络1输出的不合格目标、通过s3中建立的目标检测深度神经网络2输出的不合格目标原位置及其附近背景像素作为输入，输出正确插值，应用结构如图7所示。
[0095]
s5、整体应用实施方案如图8所示，原始图像经过前述3个深度神经网络，就能得到适配于建立数据集时的示例内在逻辑的正确插值。
[0096]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0097]
以上所述的实施例仅用于说明本发明的技术思想及特点，其目的在于使本领域内的技术人员能够理解本发明的内容并据以实施，不能仅以本实施例来限定本发明的专利范围，即凡本发明所揭示的精神所作的同等变化或修饰，仍落在本发明的专利范围内。