带视频图像超分增强技术的监测设备及其监测方法与流程

本发明超分增强，尤其涉及带视频图像超分增强技术的监测设备及其监测方法。

背景技术：

1、图像质量是视频监控系统的重要技术指标，图像和视频通常包含着大量的视觉信息，且视觉信息本身具有直观高效的描述能力，所以随着信息技术的高速发展，图像和视频的应用逐渐遍布人类社会的各个领域，近些年来，在计算机图像处理，计算机视觉和机器学习等领域中，来自工业界和学术界的许多学者和专家都持续关注着视频图像的超分辨率技术这个基础热点问题，视频超分是通过深度学习技术，针对视频画面和场景进行分析，结合视频降噪、去模糊、锐化、去抖动等画质增强等处理，为视频场景带来更好的画质观看体验，同时有效的降低视频的制作和传输成本，其是基于深度学习的方法是超分辨率算法研究，先利用了大量的高分辨率图像积累并进行学习，再对低分辨率的图像进行学习高分辨率图像的学习模型引入来进行恢复，最后得到图像的高频细节，获得更好的图像恢复效果。

2、目前影响系统图像质量的因素很多，例如摄像机的分辨率、镜头质量以及系统对低环境照度的适应性等都会对系统图像质量产生影响，目前在对进行视频图像超分增强技术后没有一种较好的带视频图像超分增强技术的监测方法来监测视频图像的高分辨率。

3、为此，我们提出带视频图像超分增强技术的监测设备及其监测方法来解决上述问题。

技术实现思路

1、本发明的目的是为了解决现有技术中存在的缺点，而提出的带视频图像超分增强技术的监测设备及其监测方法。

2、为了实现上述目的，本发明采用了如下技术方案：

3、带视频图像超分增强技术的监测设备及其监测方法，包括以下步骤：s1、获取视频；s2、通道分解；s3、通道合成；s4、yuv转rgb；

4、s5、rgb域的对比亮度处理；s6、渲染显示；s7、视频图像超分增强监测。

5、优选的，步骤s1中，s1-1、视频输入，指将视频输入至存储设备中保存；

6、s1-2、视频解码，对输入至存储设备中的数字视频进行压缩或者解压缩，以在可用的计算资源内，追求尽可能高的视频重建质量和尽可能高的压缩比，以达到带宽和存储容量的要求；

7、s1-3、输入视频帧，输入视频按照制定帧数提取图片得到低分辨率视频图像。

8、优选的，步骤s2中，根据提取的图片的亮度或者色度将bgr图中的三原色剥离出来，每一种原色都用一张灰度图来表示，越亮的地方表示该种原色比例越高，反之同理。

9、优选的，s2-1、将低分辨率亮度进行亮度增加，将低分辨率色度进行色度增强；

10、s2-2、增强后的低分辨率亮度信号进行超分重建，增强后的低分辨率色度信号进行上采样处理，得到高分辨率的色度和亮度信号；

11、超分重建方法有对齐方法与非对齐方法，其中对齐方法包括运动估计和补偿方法、可变形卷积方法，非对齐方法包括空间非对齐方法、时空非对齐方法、三维卷积方法、循环卷积神经网络、非局部方法。

12、优选的，步骤s3中，将高分辨率的色度和亮度信号进行合并，具体超分重建实现高分辨率亮度后在进行亮度通道合成，上采样实现高分辨率色度后进行色度通道合成。

13、优选的，步骤s4中，从yuv到rgb，可得：

14、r＝y+1.13983*(v-128)

15、g＝y-0.39465*(u-128)-0.58060*(v-128)

16、b＝y+2.03211*(u-128)。

17、优选的，步骤s5中，rgb域的对比亮度处理包括亮度处理、对比度处理、饱和度处理、锐化处理与分辨处理；

18、优选的，亮度处理：图像亮度通俗理解便是图像的明暗程度，数字图像f(x，y)＝i(x，y)r(x，y)，如果灰度值在[0，255]之间，则f值越接近0亮度越低，f值越接近255亮度越高。而且我们也要把亮度和对比度区分开来，正如上述提的对比度指的是最高和最低灰度级之间的灰度差；

19、对比度处理：指的是图像暗和亮的落差值，即图像最大灰度级和最小灰度级之间的差值；

20、饱和度处理：指的是图像颜色种类的多少，上面提到图像的灰度级是[lmin，lmax]，则在lmin、lmax的中间值越多，便代表图像的颜色种类多，饱和度也就更高，外观上看起来图像会更鲜艳，调整饱和度可以修正过度曝光或者未充分曝光的图片。使图像看上去更加自然；

21、锐化处理：是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰，图像锐化在实际图像处理中经常用到，因为在做图像平滑，图像滤波处理的时候经过会把丢失图像的边缘信息，通过图像锐化便能够增强突出图像的边缘、轮廓；

22、分辨处理：指图像中存储的信息量，是每英寸图像内有多少个像素点，即：像素每英寸，单位为ppi(pixels per inch)，因此放大图像便会增强图像的分辨率，图像分辨率大图像更大，更加清晰，简单的说分辨处理可以看成是图像的大小，分辨率高图像就大，更清晰反之分辨率低图像就小。

23、优选的，步骤7中，视频图像超分增强监测包括退化过程监测、评价指标和损失函数。

24、优选的，s7-1、退化过程监测中hr的退化过程如下：其中表示hr，表示lr，表示退化函数，表示退化函数的参数和各种退化因子，例如噪声、运动模糊、下采样因子等，视频超分旨在解决退化的视频序列，从而恢复相应的hr视频序列；

25、s7-2、评价指标和损失函数中，与图像超分辨率一样，视频质量主要通过峰值信噪比(psnr)和结构相似性指数(ssim)来评价。这些指标分别衡量两幅图像像素的差异和结构的相似性，

26、psnr定义为：

27、

28、

29、ssim定义为：

30、

31、一种带视频图像超分增强技术的监测设备，包括用于对视频图像的高分辨率进行监测的监测模块，监测模块包括用于对计算前与计算后的数据进行收集的收集模块；

32、用于对收集的数据并通过公式进行计算的数据处理模块；

33、用于将计算后的数据与当前显示的视频图像数据进行对比的对比模块。

34、与现有技术相比，本发明的有益效果为：

35、本发明中通过对视频图像超分增强技术中的图像画质退化计算以及评价指标和损失函数计算，以达到对视频图像进行监测，从而保证视频图像的超分辨率，保证视频图像的高分辨率，以得到高分辨率视频图像。

技术特征：

1.带视频图像超分增强技术的监测设备及其监测方法，包括以下步骤：s1、获取视频；s2、通道分解；s3、通道合成；s4、yuv转rgb；s5、rgb域的对比亮度处理；s6、渲染显示；s7、视频图像超分增强监测。

2.根据权利要求1所述的带视频图像超分增强技术的监测设备及其监测方法，其特征在于，步骤s1中，s1-1、视频输入，指将视频输入至存储设备中保存；

3.根据权利要求2所述的带视频图像超分增强技术的监测设备及其监测方法，其特征在于，步骤s2中，根据提取的图片的亮度或者色度将bgr图中的三原色剥离出来。

4.根据权利要求3所述的带视频图像超分增强技术的监测设备及其监测方法，其特征在于，s2-1、将低分辨率亮度进行亮度增加，将低分辨率色度进行色度增强；

5.根据权利要求4所述的带视频图像超分增强技术的监测设备及其监测方法，其特征在于，步骤s3中，将高分辨率的色度和亮度信号进行合并。

6.根据权利要求5所述的带视频图像超分增强技术的监测设备及其监测方法，其特征在于，步骤s4中，从yuv到rgb，可得：

7.根据权利要求6所述的带视频图像超分增强技术的监测设备及其监测方法，其特征在于，步骤s5中，rgb域的对比亮度处理包括亮度处理、对比度处理、饱和度处理、锐化处理与分辨处理。

8.根据权利要求7所述的带视频图像超分增强技术的监测设备及其监测方法，其特征在于，亮度处理：图像亮度通俗理解便是图像的明暗程度，数字图像f(x，y)＝i(x，y)r(x，y)，如果灰度值在[0，255]之间，则f值越接近0亮度越低，f值越接近255亮度越高；

9.根据权利要求8所述的带视频图像超分增强技术的监测设备及其监测方法，其特征在于，步骤7中，视频图像超分增强监测包括退化过程监测、评价指标和损失函数；

10.一种带视频图像超分增强技术的监测设备，其特征在于，包括监测模块，所述监测模块包括数据收集模块、数据处理模块与数据对比模块。

技术总结
本发明公开了带视频图像超分增强技术的监测设备及其监测方法，包括以下步骤：S1、获取视频；S2、通道分解；S3、通道合成；S4、YUV转RGB；S5、RGB域的对比亮度处理；S6、渲染显示；S7、视频图像超分增强监测。本发明通过对视频图像超分增强技术中的图像画质退化计算以及评价指标和损失函数计算，以达到对视频图像进行监测，从而在视频图像超分增强技术下，保证视频图像的高分辨率，并得到高分辨率视频图像。

技术研发人员：董亚峰,钱明凯
受保护的技术使用者：南京航电飞讯科技有限公司
技术研发日：
技术公布日：2024/1/13