基于随机森林的红外仿真图像质量评价方法

1.本发明属于图像处理技术领域，更进一步涉及红外仿真图像处理技术领域中的一种基于随机森林的红外仿真图像质量评价方法。本发明可用于对红外仿真图像的质量进行评价。


背景技术：

2.红外仿真图像质量评价在图像处理、仿真系统验证等领域都有着重要应用。目前，虽然对红外场景仿真图像的仿真效果的评价较多，但主要是在仿真过程中对各个模块进行评估校正，或者只是根据项目需求对特定目标或是背景进行验证分析，更多的时候对仿真效果还是需要专家进行鉴定和认证，不具备客观评判标准。同时对于仿真图像质量的评价，依然是采用传统的图像质量评价方法和手段，无法对仿真图像进行多特征量化的技术手段的客观评价。
3.云南北方光学科技有限公司在其申请的专利文献“一种基于人类视觉系统的无参考结构清晰度评价方法”(专利申请号：cn202110931781.6，申请公布号：cn113570596a)中公开了一种可用于红外仿真图像的基于人类视觉系统的无参考结构清晰度评价方法。该方法首先提取原始图像和参考图像的梯度信息，然后将梯度图像划分为n个分块，通过梯度图像中每个分块的在视觉神经中引起的冲动相对大小，并利用人类视觉系统滤波器，获得对应的权重；接着对梯度图像和图像对应分块进行计算结构相似性；最后通过权重和结构相似性得到原始图像的清晰度值。该方法虽然可用于对红外仿真图像进行质量评价，但是，该方法仍然存在的不足之处在于，只从图像梯度和结构相似性这两个方面来提取图像特征，忽略了图像中辐射亮度和图像内容所携带的特征信息，没有考虑到不同特征在人眼视觉中的所占比重的不同，不符合人类视觉特征。无法概括红外仿真图像的整体特性。
4.浙江同善人工智能技术有限公司在其申请的专利文献“一种图像质量判断方法、设备及存储介质”(专利申请号：cn202010602500.8，申请公布号：cn 111798421 a)中公开了一种可用于红外仿真图像的图像质量判断方法。该方法实现的具体步骤是，第一步，通过从梯度、像素特征、频谱特征三个方面，分别对图像的质量进行评价；第二步，分别对梯度、像素特征、频谱特征三个方面提取到的特征手动赋予权重；第三步，建立图像质量综合评价模型，得到图像质量综合评分。该方法虽然可用于对红外仿真图像的图像质量进行评价，但是，该方法仍然存在的不足之处在于，该方法虽然从梯度、像素特征、频谱特征的多个方面去描述同一幅图像，但是使用手动的方法，人为的给每种特征的评价指标赋权重，人为的主观评价导致红外仿真图像质量评价缺乏客观评判标准。


技术实现要素：

5.本发明的目的是针对上述现有技术的不足，提出一种基于随机森林的红外仿真图像质量评价方法，用于解决现有技术忽略人类视觉特征无法概括红外仿真图像的整体特性的问题，以及人为的给每种特征的评价指标赋权重导致红外仿真图像质量评价缺乏客观评
判标准的问题。
6.实现本发明的目的的具体思路，针对现有技术忽略人类视觉特征的问题，本发明提取图像像素亮度、图像结构、图像内容、图像纹理的特征，从四个不同的角度描述红外仿真图像的特性，使得提取的特征能够符合人眼视觉特性；针对现有的人为给每种特征的评价指标赋权重的问题，使用随机森林算法对红外仿真图像特征的训练集进行训练，并使用主观评价值作为标签，从人类主观认知的角度给予每种特征不同的权重，得到与人的主观感知更符合的图像质量评价结果；
7.为实现上述目的，发明采用的技术方案包括如下步骤：
8.步骤1，采集红外图像，并将所采集的红外图像进行仿真，得到红外仿真图像；
9.步骤2，利用峰值信噪比公式，计算红外图像与红外仿真图像的峰值信噪比值，将该峰值信噪比值作为红外仿真图像的像素亮度特征；
10.步骤3，利用结构相似性公式，计算红外图像与红外仿真图像的结构相似度，将该结构相似度值作为红外仿真图像的结构特征；
11.步骤4，提取红外仿真图像的形状特征：
12.步骤4.1，利用hu特征不变矩公式，计算红外图像形状的7个hu特征不变矩值，将7个hu特征不变矩值组成形状特征向量；
13.步骤4.2，利用hu特征不变矩公式，计算红外仿真图像形状的7个hu特征不变矩值，将7个hu特征不变矩值组成形状特征向量；
14.步骤4.3，计算红外仿真图像与红外图像形状特征向量之间的欧式距离，将该欧式距离作为红外仿真图像的形状特征；
15.步骤5，提取红外仿真图像的纹理特征：
16.步骤5.1，利用gabor变换公式，计算红外图像的纹理特征向量；
17.步骤5.2，利用gabor变换公式，计算红外仿真图像的纹理特征向量；
18.步骤5.3，计算红外仿真图像与红外图像的纹理特征向量之间的欧式距离，将该欧式距离作为红外仿真图像的纹理特征；
19.步骤6，生成训练集：
20.步骤6.1，从含有红外仿真目标的红外仿真图像数据库随机选取200个图像组成一个样本集，每个样本中包含一幅红外仿真图像、一幅与该红外仿真图像对应的红外图像和质量评价值；
21.步骤6.2，采用与步骤2至步骤5的相同处理方法，从样本集中提取每个样本中的一幅红外仿真图像及其对应红外图像的特征，得到每幅红外仿真图像的图像像素亮度、图像结构、图像纹理、图像形状四个特征；将样本集中的每幅红外仿真图像的四种特征组成该红外仿真图像的特征集；
22.步骤6.3，将样本集的特征集和特征所对应图像的质量评价值组成训练集；
23.步骤7，将训练集输入到随机森林模型中，利用随机森林算法，对训练集进行训练，得到训练好的随机森林回归器模型；
24.步骤8，对红外仿真图像的质量进行评价：
25.步骤8.1，采用与步骤2至步骤5的相同处理方法，得到待评价的红外仿真图像的图像像素亮度、图像结构、图像纹理、图像形状四个特征；
26.步骤8.2，将四个特征值同时输入到随机森林模型中，利用随机森林算法，获得待评价的红外仿真图像的质量评价值。
27.与现有技术相比，具有如下优点：
28.第一，本发明将能够概括红外仿真图像的整体特性的像素亮度、图像结构、图像纹理、图像形状四个特征组成训练集。克服了现有技术忽略图像中图像像素亮度和图像纹理所携带的特征信息，导致对红外仿真图像进行评价的结果不符合人类主观感知问题，使得本发明评价后的红外仿真图像的质量评价结果更加符合人类主观感知，使得本发明质量评价后的红外仿真图像与红外图像的逼真度更加吻合。
29.第二，本发明利用随机森林算法对红外仿真图像特征的训练集进行训练，从人类主观认知的角度给予每种特征不同的权重。克服了现有技术人为的给每种特征赋予权重，没有考虑不同特征在人眼视觉中的所占比重的不同，使得本发明评价的红外仿真图像的质量更加符合人眼的视觉感知。
附图说明
30.图1是本发明的流程图。
具体实施方式
31.下面结合附图1和实施例，对本发明实现的步骤做进一步的详细描述。
32.步骤1，获取红外图像及红外仿真图像。
33.步骤1.1，本发明的实施例是使用红外相机拍摄汽车，获得一幅尺寸为256*256的红外图像；
34.步骤1.2，使用红外仿真系统对获取的红外图像进行仿真，得到尺寸为256*256的红外仿真图像。
35.步骤2，利用下式，计算红外图像与红外仿真图像的峰值信噪比值，作为红外仿真图像的像素亮度特征：
[0036][0037]
其中，p表示红外图像与红外仿真图像的峰值信噪比值，lg(
·
)表示以10为底的对数操作，l表示红外图像与红外仿真图像中，对应的每个采样点为8位时像素点的最大值,该最大值的取值为255，σ表示求和操作，n表示红外图像或红外仿真图像中像素的总数，该取值为65536，c表示红外图像或红外仿真图像中像素的序号，iw表示红外图像中第w个像素的像素值，sv表示红外仿真图像中第v个像素的像素值，w与v的取值对应相等。
[0038]
本发明的实施例中将红外仿真图像亮度相似度的评价结果分为“好”、“中”、“差”三种：当红外图像与红外仿真图像的峰值信噪比值大于40db时，将该红外仿真图像的亮度相似度质量判定为“好”。当红外图像与红外仿真图像的峰值信噪比值在30-40db之间时，将该红外仿真图像的亮度相似度质量判定为“中”。当红外图像与红外仿真图像的峰值信噪比值在20-30db之间时，将该红外仿真图像的亮度相似度质量判定为“差”。
[0039]
步骤3，利用下式，计算红外图像与红外仿真图像的结构相似度值，作为红外仿真图像的结构特征：
[0040][0041]
其中，w(i,s)表示红外图像与红外仿真图像的结构相似度，μi表示红外图像中所有像素点值的平均值，μs表示红外仿真图像中所有像素点值的平均值，c1表示防止分母变小的常数，c1＝(0.01
×
l)2，σ
is
表示红外图像与红外仿真图像中所有对应像素点值的协方差，c2表示防止分母变小的常数，c2＝(0.03
×
l)2，σi表示红外图像中所有像素点值的标准差，σs表示红外仿真图像中所有像素点值的标准差。
[0042]
本发明的实施例中，当红外图像与红外仿真图像的结构相似度值越接近1，表示红外仿真图像与红外图像在结构上越相似，说明红外仿真图像的结构相似性质量越好。
[0043]
步骤4，计算红外图像和红外仿真图像形状特征向量之间的欧式距离，作为红外仿真图像的形状特征。
[0044]
步骤4.1，利用下式，计算红外图像形状的7个hu特征不变矩值，将7个hu特征不变矩值组成形状特征向量：
[0045]
m1＝η
20
+η
02
[0046][0047]
m3＝(η
30-3η
12
)2+(3η
21-η
03
)2[0048]
m4＝(η
30
+η
12
)2+(η
21
+η
03
)2[0049]
m5＝(η
30-3η
12
)(η
30
+η
12
)((η
30
+η
12
)
2-3(η
21
+η
03
)2)+(3η
21-η
03
)(η
21
+η
03
)(3(η
30
+η
12
)
2-(η
21
+η
03
)2)
[0050]
m6＝(η
20-η
02
)((η
30
+η
12
)
2-(η
21
+η
03
)2)+4η
11
(η
30
+η
12
)(η
21
+η
03
)
[0051]
m7＝(3η
21-η
03
)(η
30
+η
12
)((η
30
+η
12
)
2-3(η
21
+η
03
)2)-(η
30-3η
12
)(η
21
+η
03
)(3(η
30
+η
12
)
2-(η
21
+η
03
)2)
[0052]
其中，m1、m2、m3、m4、m5、m6、m7分别表示红外图像的第1至第7个形状hu特征不变矩值，η
20
，η
02
分别表示红外图像中汽车在水平方向和垂直方向上的伸展度，η
11
表示红外图像中汽车方向的倾斜度，η
30
表示红外图像中汽车轮廓在水平方向上的重心偏移度，η
12
，η
21
分别表示红外图像中汽车在垂直方向和水平方向上的伸展度，η
03
表示红外图像中汽车轮廓在垂直方向上的重心偏移度。
[0053]
步骤4.2，采用与步骤4.1相同的方法，得到红外仿真图像的形状特征向量。
[0054]
步骤4.3，利用下式，计算红外仿真图像与红外图像形状特征向量之间的欧式距离：
[0055][0056]
其中，d(i,s)表示红外仿真图像与红外图像形状特征向量之间的欧式距离，σ表示求和操作，n表示红外仿真图像与红外图像的形状特征向量中形状特征值的总数，该取值为7，i表示红外仿真图像或红外图像的形状特征向量中形状特征值的序号，im表示红外图
像的形状特征向量中形状特征值，sw表示红外仿真图像的形状特征向量中形状特征值，m与w的取值对应相等。
[0057]
本发明的实施例中，当红外图像与红外仿真图像的形状hu特征向量之间的欧式距离越小，表示红外仿真图像与红外图像在形状上越相似，表示红外仿真图像的形状相似性质量越好。
[0058]
步骤5，计算红外图像和红外仿真图像纹理特征向量之间的欧式距离，作为红外仿真图像的纹理特征。
[0059]
步骤5.1，利用gabor滤波对红外图像和红外仿真图像进行处理，分别获得红外图像和红外仿真图像的纹理特征向量。
[0060]
步骤5.2，利用下式，计算红外图像的纹理特征向量：
[0061][0062]
其中，g(x,y)表示红外图像经过gabor滤波计算后提取到的纹理特征向量，exp表示以自然数e为底的指数操作，xi表示红外图像中第i个像素点的横坐标，γ表示红外图像使用的gabor滤波的核函数的长宽比，该取值为0.5，yi表示红外图像中第i个像素点的纵坐标，σ表示红外图像中使用的gabor滤波的高斯函数的标准差，该值取i表示虚部符号，λ表示红外图像使用的gabor滤波的波长，该取值为5，ψ表示红外图像使用的gabor滤波的核函数中余弦函数的相位偏移量。
[0063]
步骤5.3，采用与步骤5.2相同的方法得到红外仿真图像的纹理特征向量。
[0064]
步骤5.4，利用下式，计算红外仿真图像与红外图像的纹理特征向量之间的欧式距离：
[0065][0066]
其中，d(i,s)表示红外仿真图像与红外图像的纹理特征向量之间的欧式距离，表示开平方操作，σ表示求和操作，n表示红外图像或红外仿真图像的纹理特征向量的特征值的总数，本发明的实施例中n＝40，i表示红外图像或红外仿真图像的纹理特征向量中特征值的序号，ib表示红外图像的纹理特征向量中第b个特征值，sa表示红外仿真图像的纹理特征向量中第a个特征值，b与a的取值对应相等。
[0067]
本发明的实施例中，当红外图像与红外仿真图像的纹理特征向量之间的欧式距离越小，表示红外仿真图像与红外图像在纹理上越相似，说明红外仿真图像的纹理相似性质量越好。
[0068]
步骤6，生成训练集。
[0069]
步骤6.1，本发明的实施例中，从红外仿真目标汽车的红外仿真图像数据库中，随机选取200个红外仿真图像样本组成一个样本集，每个样本中包含一幅红外仿真图像、一幅与该红外仿真图像对应的红外图像和质量评价值；
[0070]
步骤6.2，采用与步骤2至步骤5的相同处理方法，从样本集中提取每个样本中的一幅红外仿真图像及其对应红外图像的特征，得到每幅红外仿真图像的图像像素亮度、图像结构、图像纹理、图像形状四个特征。将样本集中的每幅红外仿真图像的四种特征组成该红
外仿真图像的特征集。
[0071]
步骤6.3，将样本集的特征集和特征所对应图像的质量评价值组成训练集。
[0072]
步骤7，训练随机森林模型。
[0073]
将训练集输入到随机森林模型中，利用随机森林算法，对训练集进行训练，得到训练好的随机森林回归器模型。
[0074]
步骤8，对红外仿真图像的质量进行评价。
[0075]
步骤8.1，采用与步骤2至步骤5的相同处理方法，得到待评价的红外仿真图像的图像像素亮度、图像结构、图像纹理、图像形状四个特征；
[0076]
步骤8.2，将四个特征值同时输入到随机森林模型中，利用随机森林算法，获得待评价的红外仿真图像的质量评价值。