无人机图传视频近景远景切换技术的制作方法

本发明涉及近景远景切换技术领域，具体为无人机图传视频近景远景切换技术。

背景技术：

无人机航拍摄影技术以低速无人驾驶飞机为空中遥感平台，用彩色、黑白、红外、摄像技术拍摄空中影像数据；并用计算机对图像信息加工处理，全系统在设计和最优化组合方面具有突出的特点，是集成了遥感、遥控、遥测技术与计算机技术的新型应用技术。

无人机航拍摄影技术可广泛应用于国家生态环境保护、矿产资源勘探、海洋环境监测、土地利用调查、水资源开发、农作物长势监测与估产、农业作业、自然灾害监测与评估、城市规划与市政管理、森林病虫害防护与监测、公共安全、国防事业、数字地球以及广告摄影等领域，有着广阔的市场需求。

无人机端挂载的摄像头采集到的视频图像通过无线传输到手机端，用户出于观察图像局部细节的需要，会进行远景到近景的切换，将图像放大以观察目标区域的细节，一定分辨率的图像，通过传统的插值技术放大到更高分辨率的图像时会出现细节丢失、图像模糊的情况，无法满足用户观看图像局部细节的需求，为此我们提出了一种无人机图传视频近景远景切换技术。

技术实现要素：

本发明要解决的技术问题是克服现有的缺陷，提供无人机图传视频近景远景切换技术，可以有效解决背景技术中提出的用户出于观察无人机传输至手机端图像局部细节的需要，会进行远景到近景的切换，将图像放大以观察目标区域的细节，一定分辨率的图像，通过传统的插值技术放大到更高分辨率的图像时会出现细节丢失、图像模糊的情况，无法满足用户观看图像局部细节的需求的问题。

为实现上述目的，本发明提供如下技术方案：无人机图传视频近景远景切换技术，包括如下步骤：

s1、cnn超分辨率重建图像，包括如下子步骤：

a、选取一张低分辨率图像，将该低分辨率图像使用双三次差值算法放大至目标尺寸，此时任然称放大后的图像为低分辨率图像；

b、将上述得到的低分辨率图像输入三层卷集神经网络，第一层卷积：卷积核尺寸为9x9，卷积核数目64，输出64张特征图；第二层卷积：卷积核尺寸1x1，卷积核数目32，输出32张特征图；第三层卷积：卷积核尺寸5x5，卷积核数目1，输出1张特征图，该张特征图即为最终重建高分辨率图像；

s2、建立训练模型：包括如下子步骤：

c、建立训练数据集：采用若干张自然图像作为训练数据集，对训练集中的图像先使用双三次差值缩小到低分辨率尺寸，再将其放大到目标放大尺寸，最后切割成诸多33x33图像块作为训练数据，作为标签数据的则为图像中心的21x21图像块；

d、构建损失函数：采用mse函数作为卷积神经网络损失函数；

e、对卷积层进行细节设置：第一层卷积核9x9，得到特征图的尺寸为(33-9)/1+1＝25，第二层卷积核1x1，得到特征图尺寸不变，第三层卷积核5x5，得到特征图尺寸为(25-5)/1+1＝21，训练时得到的尺寸为21x21，该图像中心的21x21图像块作为标签数据；

s3、验证模型：包括如下子步骤：

f、全卷积网络：所用网络为全卷积网络，该网络作为实际测试时，直接输入完整图像；

g、对上述完整图像进行padding处理：将上述完整图像在测试时，对每一层卷积都进行padding处理，保证插值放大后输入与输出尺寸的一致性；

s4、得到model，该model即为最终的训练目的，用户查看图像某处细节时用此model将低分辨率的图像重建放大为高分辨率的图像，达到模拟近景远景切换而图像基本不模糊的目的。

作为本发明的一种优选技术方案，所述步骤s1的子步骤a中，使用双三次差值算法放大的倍数为2倍、3倍以及4倍中的一种。

作为本发明的一种优选技术方案，所述步骤s2的子步骤c中，自然图像的张数为100张，且子步骤c中，标签数据21x21图像块与子步骤e的卷积层细节设置相关，子步骤d中的mse函数的公式为：其中y表示为该图像的真值，y′表示为该图像的预测值。

作为本发明的一种优选技术方案，所述步骤s3的子步骤g中的padding处理，无需对卷积核尺寸为1x1的进行padding处理。

与现有技术相比，本发明的有益效果是：能够满足用户想将无人机视频图像局部放大以达到近景远景切换的目的，并且放大后的图像可以达到基本不会变模糊的要求，方便用户查看图像的局部细节。

附图说明

图1为本发明的结构流程示意框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：无人机图传视频近景远景切换技术，包括如下步骤：

s1、cnn超分辨率重建图像，包括如下子步骤：

a、选取一张低分辨率图像，将该低分辨率图像使用双三次差值算法放大至目标尺寸，此时任然称放大后的图像为低分辨率图像；

b、将上述得到的低分辨率图像输入三层卷集神经网络，第一层卷积：卷积核尺寸为9x9，卷积核数目64，输出64张特征图；第二层卷积：卷积核尺寸1x1，卷积核数目32，输出32张特征图；第三层卷积：卷积核尺寸5x5，卷积核数目1，输出1张特征图，该张特征图即为最终重建高分辨率图像；

s2、建立训练模型：包括如下子步骤：

c、建立训练数据集：采用若干张自然图像作为训练数据集，对训练集中的图像先使用双三次差值缩小到低分辨率尺寸，再将其放大到目标放大尺寸，最后切割成诸多33x33图像块作为训练数据，作为标签数据的则为图像中心的21x21图像块；

d、构建损失函数：采用mse函数作为卷积神经网络损失函数；

e、对卷积层进行细节设置：第一层卷积核9x9，得到特征图的尺寸为(33-9)/1+1＝25，第二层卷积核1x1，得到特征图尺寸不变，第三层卷积核5x5，得到特征图尺寸为(25-5)/1+1＝21，训练时得到的尺寸为21x21，该图像中心的21x21图像块作为标签数据；

s3、验证模型：包括如下子步骤：

f、全卷积网络：所用网络为全卷积网络，该网络作为实际测试时，直接输入完整图像；

g、对上述完整图像进行padding处理：将上述完整图像在测试时，对每一层卷积都进行padding处理，保证插值放大后输入与输出尺寸的一致性；

训练时得到的实际上是除去四周(33-21)/2＝6像素外的图像，若直接采用训练时的设置，即无padding处理，得到的图像最后会减少四周各6像素，例如插值放大后输入512×512，输出500×500；

s4、得到model，该model即为最终的训练目的，用户查看图像某处细节时用此model将低分辨率的图像重建放大为高分辨率的图像，达到模拟近景远景切换而图像基本不模糊的目的。

步骤s1的子步骤a中，使用双三次差值算法放大的倍数为2倍、3倍以及4倍中的一种。

步骤s2的子步骤c中，自然图像的张数为100张，且子步骤c中，标签数据21x21图像块与子步骤e的卷积层细节设置相关，子步骤d中的mse函数的公式为：其中y表示为该图像的真值，y′表示为该图像的预测值。

步骤s3的子步骤g中的padding处理，无需对卷积核尺寸为1x1的进行padding处理。

需要说明的是：为了使本领域技术人员能够更好地理解下文实施方式中的技术方案，这里对文中涉及的一些技术术语进行简单地解释说明，以便于阅读：

cnn超分辨率重建图像：指通过低分辨率图像或者图像序列恢复出高分辨率图像，高分辨率图像意味着图像具有更多的细节信息，更细腻的画质，这些细节在高清电视、医学成像、遥感卫星成像等领域有着重要的应用价值；

padding:是指通过在图片的空白处填充黑色(或其他颜色)像素的方式，将图片变换成另一个尺寸，使不同尺寸的图片都整齐的对应变换到同一尺寸，同时不改变原来图片的形状。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。