一种用于媒体流图像传输的图像预处理方法与流程

本发明涉及图像处理，具体涉及一种用于媒体流图像传输的图像预处理方法。

背景技术：

1、媒体流图像传输是采用流式传输方式，只需要几秒或数十秒的延时启动时间，即可在用户计算机上利用解压设备对压缩内容解压来获取图像。在图像压缩解压的过程中，为了减少存储空间会造成压缩伪影或者图像失真，压缩伪影和图像失真表现在图像上为图像模糊，图像质量降低，因此需要对传输图像进行去模糊化处理，以保证最终显示的图像是高质量图像。

2、现阶段对图像去模糊化的主要技术之一是图像复原技术，针对图像在获取、传输以及保存过程中产生的畸变和失真，图像复原技术是利用图像退化模型对模糊图像的质量进行提升。得益于适用范围广的特点，维纳滤波是图像复原技术中常用的方法之一，维纳滤波的复原原理是最小化复原图像和模糊图像的均方误差，去除噪声以提高图像清晰度。当计算机解压得到模糊图像后，利用维纳滤波对模糊图像进行复原，在维纳滤波复原过程中需要人为设置代表噪声功率谱与未退化图像功率谱之比的功率谱比值参数，设置功率谱比值参数的大小直接影响着模糊图像复原效果的好坏，当设置的功率谱比值参数过小时，复原图像的边缘就会存在严重的振铃效应，当设置的功率谱比值参数过大时，振铃效应会消失但是图像却比较模糊。因此，在维纳滤波复原过程中当设置功率谱比值参数的大小与对应的模糊图像不匹配时，就会导致模糊图像的复原质量较低。同时，在维纳滤波复原过程中，是直接选择水平方向作为退化方向以确定退化函数，无法实现对图像实际退化方向的准确评估，从而导致退化函数不够合理，这也决定了模糊图像的复原质量不会太高。

技术实现思路

1、本发明的目的在于提供一种用于媒体流图像传输的图像预处理方法，用于解决现有对模糊图像进行复原存在复原质量较差的问题。

2、为解决上述技术问题，本发明提供了一种用于媒体流图像传输的图像预处理方法，包括以下步骤：

3、获取待复原处理的模糊图像，确定模糊图像中每个像素点的窗口区域，并根据窗口区域中每个像素点的各个颜色分量值，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列；

4、根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的窗口区域中所有像素点对应的在每个设定方向上的各个颜色分量值子序列，确定模糊图像中每个像素点的方向模糊度；

5、根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的方向模糊度，确定模糊图像中每个像素点的模糊因子；

6、根据模糊图像中每个像素点的模糊因子，确定模糊图像中的模糊像素点集合和非模糊像素点集合；

7、确定模糊图像的退化函数，根据模糊图像的退化函数和不同功率谱比值参数，对模糊图像进行滤波复原操作，获取在不同功率谱比值参数下对应的复原图像，并根据模糊图像中的模糊像素点集合和非模糊像素点集合，确定在不同功率谱比值参数下对应的复原图像中对应的模糊像素点集合和非模糊像素点集合；

8、确定在不同功率谱比值参数下对应的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，根据所述复原评价指标，确定最优功率谱比值参数，并将在最优功率谱比值参数在对应的复原图像作为预处理后的图像。

9、进一步的，确定模糊图像中每个像素点的方向模糊度，包括：

10、根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，确定模糊图像中每个像素点的邻域相关系数；

11、根据模糊图像中每个像素点的窗口区域中所有像素点对应的在每个设定方向上的各个颜色分量值子序列，确定模糊图像中每个像素点的梯度分布指标值；

12、计算模糊图像中每个像素点的梯度分布指标值和邻域相关系数的比值，并将所述比值确定为模糊图像中每个像素点的方向模糊度。

13、进一步的，确定模糊图像中每个像素点的邻域相关系数，包括：

14、根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，计算模糊图像中每个像素点与其每个邻域像素点的同一种颜色分量值总序列的相关系数，根据模糊图像中每个像素点对应的所有相关系数的累加和，确定模糊图像中每个像素点的邻域相关系数。

15、进一步的，确定模糊图像中每个像素点的梯度分布指标值，包括：

16、根据模糊图像中每个像素点的窗口区域中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，计算模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的同一种颜色分量值子序列的相关系数；

17、将模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的不同种颜色分量值子序列的相关系数的累加和，确定为模糊图像中每个像素点的窗口区域中每个像素点在位于同一直线上的任意两个设定方向上的梯度指标值；

18、将模糊图像中每个像素点的窗口区域中每个像素点对应的所有梯度指标值中的最小值，确定为模糊图像中每个像素点的窗口区域中每个像素点的目标梯度指标值；

19、将模糊图像中每个像素点的窗口区域中所有像素点的目标梯度指标值的方差，确定为模糊图像中每个像素点的梯度分布指标值。

20、进一步的，确定模糊图像中每个像素点的模糊因子，包括：

21、根据模糊图像中每个像素点对应的各个颜色分量值总序列、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列，确定模糊图像中每个像素点对应的各个颜色分量值总序列的序列熵、模糊图像中每个像素点的邻域像素点对应的各个颜色分量值总序列的序列熵；

22、计算模糊图像中每个像素点与其邻域像素点的同一种颜色分量值总序列的序列熵的差值绝对值，计算模糊图像中每个像素点与其所有邻域像素点的同一种颜色分量值总序列的序列熵的差值绝对值的累加和，从而得到模糊图像中每个像素点的各个子序列稳定指标差异值；

23、将模糊图像中每个像素点的各个子序列稳定指标差异值的累加值，确定为模糊图像中每个像素点的总序列稳定指标差异值，并将模糊图像中每个像素点的总序列稳定指标差异值和方向模糊度的乘积，确定为模糊图像中每个像素点的模糊因子。

24、进一步的，确定模糊图像的退化函数，包括：

25、根据模糊图像中每个像素点的方向模糊度，确定模糊图像中每一行和每一列对应的方向模糊度序列；

26、计算模糊图像中任意相邻两行之间的方向模糊度序列的相关系数，并计算模糊图像中任意相邻两列之间的方向模糊度序列的相关系数；

27、将模糊图像中所有相邻两行和相邻两列的方向模糊度序列的相关系数中的最小值的负相关映射结果，确定为模糊图像的退化尺度，并将所述退化尺度的倒数，确定为模糊图像的退化函数的函数取值。

28、进一步的，确定模糊图像中的模糊像素点集合和非模糊像素点集合，包括：

29、根据模糊图像中每个像素点的模糊因子，利用最大类间方差法确定模糊因子阈值；

30、将模糊图像中每个像素点的模糊因子与模糊因子阈值进行比较，若模糊因子大于模糊因子阈值，则将对应的像素点确定为模糊像素点，否则将对应的像素点确定为非模糊像素点，从而得到模糊像素点集合和非模糊像素点集合。

31、进一步的，确定最优功率谱比值参数，包括：

32、根据在不同功率谱比值参数下对应的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，确定满足复原条件的复原图像，所述复原条件为：复原图像中模糊像素点集合对应的复原评价指标大于复原指标阈值，且复原图像中非模糊像素点集合对应的复原评价指标大于复原指标阈值；

33、确定满足复原条件的复原图像中模糊像素点集合和非模糊像素点集合各自对应的复原评价指标的相加值，将最大的相加值所对应的功率谱比值参数，确定为最优功率谱比值参数。

34、进一步的，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，包括：

35、根据模糊图像中每个像素点的窗口区域中每个像素点的各个颜色分量值，将窗口区域中所有像素点的同一种颜色分量值按照顺序进行排列，并将排列后所得到的序列确定为同一种颜色分量值对应的颜色分量值总序列，从而得到模糊图像中每个像素点对应的各个颜色分量值总序列；

36、确定模糊图像中每个像素点的窗口区域中在每个设定方向上的像素点，根据模糊图像中每个像素点的窗口区域中在每个设定方向上的像素点的各个颜色分量值，将窗口区域中在每个设定方向上的像素点的同一种颜色分量值按照顺序进行排列，并将排列后所得到的序列确定为在每个设定方向上的同一种颜色分量值对应的颜色分量值子序列，从而得到模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列。

37、进一步的，确定模糊图像中每个像素点的窗口区域，包括：

38、以模糊图像中每个像素点为中心，构造设定尺寸的窗口，并将构造的设定尺寸的窗口所对应的区域作为模糊图像中每个像素点的窗口区域。

39、本发明具有如下有益效果：本发明通过对待复原处理的模糊图像进行图像处理，从而自适应确定功率谱比值参数，最终确定最优的复原图像，有效保证了模糊图像的复原质量。具体的，构建模糊图像中每个像素点的窗口区域，根据窗口区域内每个像素点的各个颜色分量值，确定模糊图像中每个像素点对应的各个颜色分量值总序列以及模糊图像中每个像素点对应的在每个设定方向上的各个颜色分量值子序列，通过构造颜色分量值序列，可以避免单个像素点的颜色分量对分析结果造成的误差，从而保证后续方向模糊度和模糊因子的计算准确性。通过对每个像素点对应的颜色分量值总序列和在每个设定方向上的各个颜色分量值子序列进行分析，构建模糊图像中每个像素点的方向模糊度，以对图像中每个像素点发生模糊的可能性做出较为准确的评估。利用像素点周围图像信息的稳定程度，并结合像素点的方向模糊度，构造模糊图像中每个像素点的模糊因子，以对图像中每个像素点位于模糊区域的可能性情况进行评估，进而基于该模糊因子，对图像中的像素点进行准确地分类，得到模糊像素点集合和非模糊像素点集合，以便于后续对复原图像的复原效果进行准确评估。为了自适应获取最优功率谱比值参数，根据模糊图像的退化函数和不同功率谱比值参数，对模糊图像进行滤波复原操作，获取在不同功率谱比值参数下对应的复原图像，为了对复原图像的复原效果进行评估，获取复原图像中对应模糊像素点集合和非模糊像素点集合各自对应的复原评价指标，由于该复原评价指标可以准确地评估出复原图像中模糊像素点和非模糊像素点的复原效果，因此根据该复原评价指标，可以获取最优复原效果下的最优功率谱比值参数，从而得到在最优功率谱比值参数在对应的复原图像。由于本发明可以自适应确定最优的功率谱比值参数，有效提高了图像复原的质量，可以实现对多种模糊图像的高质量复原。