基于模糊检测的图像处理方法及装置与流程

文档序号:26142433发布日期:2021-08-03 14:27阅读:99来源:国知局
基于模糊检测的图像处理方法及装置与流程

本发明属于图像处理技术领域,具体涉及基于模糊检测的图像处理方法及装置。



背景技术:

在用相机拍摄物体时,由于在曝光的过程中可能存在相机与被摄物体之间的相对移动或抖动,因此获得的图像会出现模糊现象。比如,对地航拍时飞机向前的推进以及载荷平台的颤振,普通数码相机手持拍摄物体时释放开门的过程中的抖动等等,很多拍摄环境都会造成的运动模糊情况。在图像获取条件一定的条件下,如何利用已得到的信息来获得更加清晰的图像成为成像过程中的尤为重要的一步,也是现代图像处理领域的热点,它在天文拍摄、航空成像、医学成像、民用照相等领域都有极为重要的意义。。

将模糊图像去模糊得到清晰图像的过程属于图像复原的一个部分。图像复原的过程可以看成是一个反卷积的问题,它属于数学物理问题中的一类“反问题”,反问题的重要特性就是其病态性,即问题的解不是连续地依赖于观测数据,也就是说,观测数据的微小变动就可能导致解的很大变化。在图像复原中,细微噪声的加入也就有可能严重影响复原的结果。而且我们往往碰到的是不知道退化条件或没有预先知道退化模型的情况,所以我们还要估计退化模型,仅仅从单幅图像复原又可看作“盲复原”问题,而对此类问题如今还没有很好的通用的解决方法,需要根据具体情况来解决。图像模糊的过程可以看作清晰图像卷积一个模糊核再加一定量噪声的过程。而图像去模糊就是从观测到的退化的模糊的有噪声的图像中重建获得接近原始的清晰图像,而当不知道模糊核时,直接从模糊图中复原出清晰图的过程就是图像盲复原,这类问题的病态性更大,对噪声更加敏感。

现有的图像模糊检测方法大体上可以分为两类:一类给出整幅图像的模糊程度的估计,另一类将图像划分为若干个区域,对各个区域分别给出模糊程度的估计,但大都计算方法比较复杂,运算量较大,处理速度慢。

专利号为cn201410344795.8a的专利公开了一种基于显著性检测的图像模糊检测方法。技术方案主要包括:收集样本图像,首先对每个样本图像的最显著区域的rgb三个通道分别进行快速傅里叶变换及尺寸缩小处理,用尺寸缩小后的复数数据构建新图像,并将所得到的新构建的缩小图像作为卷积神经网络的输入图像,进行清晰-模糊图像分类训练,得到模糊检测模型,最后对待检测图像的最显著区域进行rgb三个通道的快速傅里叶变换及尺寸缩小处理,并用尺寸缩小后的复数数据构建新的待检测图像,然后采用所述模糊检测模型对所述的新构建的待检测图像进行清晰-模糊图像的判别。

其虽然通过基于神经网络建立的分类模型进行了模糊图像的分类检测,但其缺乏对模糊图像的处理,以及在模糊图像检测时,只能分辨模糊图像和清晰图像,但不能针对单一图像中的模糊部分和清晰部分进行分辨。从而使得依然无法完全解决模糊图像的处理问题。



技术实现要素:

有鉴于此,本发明的主要目的在于提供基于模糊检测的图像处理方法及装置,其首选通过甄别图像信息是否为模糊图像来提升效率,相较于现有技术对图像信息直接进行模糊处理,本发明能够提前筛选出清晰图像,降低系统资源;同时,本发明在对图像信息进行处理时,还首先确定模糊图像中的模糊区域,在进行模糊处理时,就可以有针对性的只对图像信息中的模糊部分进行处理,进一步提升效率;另外,本发明在进行模糊处理时,使用基于马尔科夫链的模糊方程求解来还原图像,能够从多个层次还原图像,提升还原图像的质量。

为达到上述目的,本发明的技术方案是这样实现的:

基于模糊检测的图像处理方法,所述方法执行以下步骤:

步骤1:图像拍摄装置在拍摄图像信息时,首先使用第一图像识别模型对拍摄对象进行图像识别,得到第一图像识别结果,并将第一图像识别结果附加到拍摄得到的图像信息中,得到完整图像信息,执行步骤2;

步骤2:对完整图像信息进行图像模糊判别,具体包括:使用第二图像识别模型对完整图像信息中的图像信息进行图像识别,得到第二图像识别结果,并将第二图像识别结果与完整图像信息中的第一图像识别结果进行比较,得到相似值;若第一图像识别结果与第二图像识别结果的相似值大于或等于设定的阈值,则判断完整图像信息中的图像信息为清晰图像;若第一图像识别结果与第二图像识别结果的相似值小于设定的阈值,则判断完整图像信息中的图像信息为模糊图像,执行步骤3;

步骤3:对完整图像信息中的图像信息进行模糊区域检测,具体包括:基于步骤2中得到的相似值,计算出图像信息中模糊区域的大小值;构建一个与模糊区域的大小值相等的边缘窗口检测器;采用窗函数的方式,使用边缘窗口检测器在图像信息中进行逐行边缘检测,找到图像信息中的模糊区域部分,执行步骤4;

步骤4:对完整图像信息中的图像信息进行模糊区域处理,具体包括:选定步骤3中找到的模糊区域部分,将模糊区域部分按照预设的多个比例进行放大,得到多个模糊图像层;将模糊区域置于最底层,按照比例由小到达以此依次重叠,最大比例对应的模糊图像层置于最顶层,并为每一层建立基于马尔科夫链的模糊方程;从最底层到最顶层逐步求解模糊方程并复原图像,同时在不同尺度设置自适应参数,直到图像大小到达原始尺度,得到最后精确的模糊方程,并用此模糊方程复原模糊区域得到清晰图像。

进一步的,所述步骤1中的第一图像识别模型对拍摄图像进行图像识别的方法包括:从所述拍摄对象中确定目标候选区域,并在所述目标候选区域内进行特征提取,获得提取的图像特征;利用提取的所述图像特征、基于深度卷积多层神经网络目标检测模型进行目标检测,获得候选目标;利用提取的所述图像特征、基于深度卷积多层神经网络目标分类模型对所述候选目标进行识别,获得第一图像识别结果。

进一步的,所述步骤2中的第二图像识别模型对完整图像信息中的图像信息进行图像识别的方法包括:提取所述图像信息的多维度局部特征,并提取所述图像信息的深度学习特征;将所述多维度局部特征和所述深度学习特征进行拼接以形成所述图像信息的多维向量,并通过度量学习降维矩阵对拼接后的所述多维向量进行降维处理以得到度量学习特征,其中,所述度量学习降维矩阵包括第一度量学习降维矩阵和第二度量学习降维矩阵;根据所述度量学习特征对所述图像进行识别,得到第二图像识别结果。

进一步的,所述步骤2中将第二图像识别结果与完整图像信息中的第一图像识别结果进行比较,得到相似值的方法包括:设定多个层次识别分类集,分别为第一类识别分类集、第二类识别分类集、…、第n类识别分类集;其中第二类识别分类集为第一类识别分类集的子集,以此类推,第n类识别分类集为第n-1类识别分类集的子集;在每个层次的识别分类集中又包含多个识别分类子集;若第一图像识别结果和第二图像识别结果均属于第一类识别分类集,但第一图像识别结果和第二图像识别结果不同属于第二类识别分类集,则得到相似值为1;以此类推,若第一图像识别结果和第二图像识别结果均属于第n-1类识别分类集,但第一图像识别结果和第二图像识别结果不同属于第n类识别分类集,则得到相似值为n-1。

进一步的,所述步骤3中基于步骤2中得到的相似值,计算出图像信息中模糊区域的大小值的方法包括:使用如下公式计算图像信息中模糊区域的大小值:

进一步的,所述步骤3中的边缘窗口检测器使用如下公式表示:其中,g(x,y)为图像信息中像素点坐标(x,y)的边缘检测值,w(x,y)为图像信息中像素点坐标(x,y)的梯度值,w(x+1,y+1)为图像信息中像素点坐标(x+1,y+1)的梯度值,w(x+1,y)为图像信息中像素点坐标(x+1,y)的梯度值,w(x,y+1)为图像信息中像素点坐标(x,y+1)的梯度值。

进一步的,所述步骤3中使用边缘窗口检测器在图像信息中进行逐行边缘检测,找到图像信息中的模糊区域部分的方法包括:将边缘检测值与设定的判别阈值进行比较,若边缘检测值与判别阈值的差值在设定的阈值范围内,则将该边缘检测值对应的像素点作为模糊像素点;将所有模糊像素点组成的区域作为模糊区域b。

进一步的,所述步骤4中的建立的基于马尔科夫链的模糊方程使用如下公式表示:其中b*表示模糊区域b对应的各个方向的一阶和二阶梯度图的集合;||表示求模运算;kn+1、kn-1和kn为以马尔科夫链管理的模糊方程;表示卷积运算,l为卷积核;β为调整系数,取值范围为:2.5~5;当求解完k1到kn的所有值后,则完成从最底层到最顶层的模糊方程的逐步求解。

进一步的,所述步骤4中复原模糊区域得到清晰图像的方法包括:基于求解得到的最底层到最顶层的模糊方程,在不同尺度设置自适应参数,直到图像大小到达原始尺度,得到最后精确的模糊方程,并用此模糊方程复原模糊区域得到清晰图像。

基于模糊检测的图像处理装置。

本发明的基于模糊检测的图像处理方法及装置,具有如下有益效果:

1.图像处理效率高:本发明在进行模糊图像处理时,首先对图像信息进行判别,当判别结果为清晰图像时,则不需要进行模糊图像处理;若判别结果为模糊图像时,则进行后续处理,相较于现有技术对每一张图像进行模糊处理,可以显著提升图像处理的效率,节省系统资源;同时,本发明在进行模糊图像处理时,还需要对模糊图像进行前置处理,找到模糊图像中的模糊部分,相较于现有技术对整张模糊图像进行处理,又能进一步提升系统的效率和节省系统资源。

2、算法简单:本发明在不降低处理效率的情况下进行模糊图像和模糊区域的确定;在进行模糊图像处理时,本发明使用两种不同的识别模型来对同一图像信息进行识别的方法来确定模糊图像是否模糊,同时加入相似值的概念,以避免因为图像识别模型误差所带来的误识别;也就是说,两个识别模型针对同一图像信息得到的结果或许不同,但可能是由于识别模型本身的误差带来的,通过加入相似值,可以摒除识别模型本身的误差的影响;所使用的判别方法不需要进行大量的系统计算,仅使用现有算法就可以达到,进一步提升了效率;另外,在进行模糊区域确定时,本发明使用的算法为窗函数法,相较于现有技术使用单纯的边缘算子的方法,该方法,可以更加全面的找到图像中的模糊区域,因为边缘算子的方法在计算模糊区域时,往往因为若模糊区域分散程度较高时,就无法找到完整的模糊区域,而窗函数方法可以遍历完整个图像,从而找到整个模糊区域。

3.模糊处理的质量高:本发明在进行模糊处理时,对模糊区域部分使用基于马尔科夫链的模糊方程求解的方式来进行;这样做的好处在于,可以将图像从多个尺度进行复原,进而提升模糊图像还原的质量;现有技术进行模糊图像还原时,一般基于模糊核的方式进行还原,若不知道模糊核则进行盲还原,不论是基于模糊核还是基于盲还原的方式,大都基于一个尺度,且还原过程较为繁琐,还原质量也不高,导致图像出现较多的失真部分,失真率较高。

附图说明

图1为本发明实施例提供的基于模糊检测的图像处理方法的方法流程示意图;

图2为本发明实施例提供的基于模糊检测的图像处理方法及装置的模糊图像的模糊区域的示意图;

图3为本发明实施例体统的基于模糊检测的图像处理方法及装置的边缘窗口检测器进行逐行边缘检测的原理示意图;

图4为本发明实施例体统的基于模糊检测的图像处理方法及装置的模糊区域的大小示意图;

图5为本发明实施例提供的基于模糊检测的图像处理方法及装置的模糊图像还原后的图像失真率随着实验次数变化的曲线示意图与现有技术的对比实验效果示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

实施例1

如图1所示

基于模糊检测的图像处理方法,所述方法执行以下步骤:

步骤1:图像拍摄装置在拍摄图像信息时,首先使用第一图像识别模型对拍摄对象进行图像识别,得到第一图像识别结果,并将第一图像识别结果附加到拍摄得到的图像信息中,得到完整图像信息,执行步骤2;

步骤2:对完整图像信息进行图像模糊判别,具体包括:使用第二图像识别模型对完整图像信息中的图像信息进行图像识别,得到第二图像识别结果,并将第二图像识别结果与完整图像信息中的第一图像识别结果进行比较,得到相似值;若第一图像识别结果与第二图像识别结果的相似值大于或等于设定的阈值,则判断完整图像信息中的图像信息为清晰图像;若第一图像识别结果与第二图像识别结果的相似值小于设定的阈值,则判断完整图像信息中的图像信息为模糊图像,执行步骤3;

步骤3:对完整图像信息中的图像信息进行模糊区域检测,具体包括:基于步骤2中得到的相似值,计算出图像信息中模糊区域的大小值;构建一个与模糊区域的大小值相等的边缘窗口检测器;采用窗函数的方式,使用边缘窗口检测器在图像信息中进行逐行边缘检测,找到图像信息中的模糊区域部分,执行步骤4;

步骤4:对完整图像信息中的图像信息进行模糊区域处理,具体包括:选定步骤3中找到的模糊区域部分,将模糊区域部分按照预设的多个比例进行放大,得到多个模糊图像层;将模糊区域置于最底层,按照比例由小到达以此依次重叠,最大比例对应的模糊图像层置于最顶层,并为每一层建立基于马尔科夫链的模糊方程;从最底层到最顶层逐步求解模糊方程并复原图像,同时在不同尺度设置自适应参数,直到图像大小到达原始尺度,得到最后精确的模糊方程,并用此模糊方程复原模糊区域得到清晰图像。

实施例2

在上一实施例的基础上,所述步骤1中的第一图像识别模型对拍摄图像进行图像识别的方法包括:从所述拍摄对象中确定目标候选区域,并在所述目标候选区域内进行特征提取,获得提取的图像特征;利用提取的所述图像特征、基于深度卷积多层神经网络目标检测模型进行目标检测,获得候选目标;利用提取的所述图像特征、基于深度卷积多层神经网络目标分类模型对所述候选目标进行识别,获得第一图像识别结果。

具体的,卷积神经网络(convolutionalneuralnetworks,cnn)是一类包含卷积计算且具有深度结构的前馈神经网络(feedforwardneuralnetworks),是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representationlearning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification),因此也被称为“平移不变人工神经网络(shift-invariantartificialneuralnetworks,siann)”。

卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑,在一些更为现代的算法中可能有inception模块、残差块(residualblock)等复杂构筑。在常见构筑中,卷积层和池化层为卷积神经网络特有。卷积层中的卷积核包含权重系数,而池化层不包含权重系数,因此在文献中,池化层可能不被认为是独立的层。以lenet-5为例,3类常见构筑在隐含层中的顺序通常为:输入-卷积层-池化层-全连接层-输出。

实施例3

在上一实施例的基础上,所述步骤2中的第二图像识别模型对完整图像信息中的图像信息进行图像识别的方法包括:提取所述图像信息的多维度局部特征,并提取所述图像信息的深度学习特征;将所述多维度局部特征和所述深度学习特征进行拼接以形成所述图像信息的多维向量,并通过度量学习降维矩阵对拼接后的所述多维向量进行降维处理以得到度量学习特征,其中,所述度量学习降维矩阵包括第一度量学习降维矩阵和第二度量学习降维矩阵;根据所述度量学习特征对所述图像进行识别,得到第二图像识别结果。

具体的,根据对图像信息处理的方法不同,特征点检测一般分为:

基于模板的方法

基于模板的方法主要是利用参数模型或模板来进行检测特征点的工作。因为需要构建各种不同的参数模型或模板,所以通常用于检测具备特定类型的特征点,计算速度一般较快。缺点是不适合用于形式比较复杂的模板。

基于边缘的方法

基于边缘的方法是把多边形的顶点,或曲率变化较大的物体边缘上的点作为特征点。因为特征点是物体边缘的集合,因此一定程度上对边缘的提取算法要求很高,如果边缘定位出现偏差,就会对检测结果造成很大的影响。

基于灰度的方法

基于灰度的方法是利用像素点灰度的局部变化来进行探测,特征点是建立在某种算法上,在该算法上灰度变化最大的像素点。可以利用微分运算来求取像素点周围灰度的导数,以此求出特征点的位置,该方法的缺点是噪声比较大。

基于空间变换的方法

基于空间变换的方法利用空间变换获取特性比较容易辨识的特征点,然后在变换空间中进行极值点的检测。通常空间分为尺度空间、频率空间、小波空间等。尺度空间是指在曲率尺度空间或在dog尺度空间,将搜索到的绝对值最小或最大的点作为特征点。频率空间是将计算得到的局部相位或特定相位最大值当做特征点。小波变换是利用小波系数或模的局部极大值,利用最佳尺度进行极值点检测。

实施例4

在上一实施例的基础上,所述步骤2中将第二图像识别结果与完整图像信息中的第一图像识别结果进行比较,得到相似值的方法包括:设定多个层次识别分类集,分别为第一类识别分类集、第二类识别分类集、…、第n类识别分类集;其中第二类识别分类集为第一类识别分类集的子集,以此类推,第n类识别分类集为第n-1类识别分类集的子集;在每个层次的识别分类集中又包含多个识别分类子集;若第一图像识别结果和第二图像识别结果均属于第一类识别分类集,但第一图像识别结果和第二图像识别结果不同属于第二类识别分类集,则得到相似值为1;以此类推,若第一图像识别结果和第二图像识别结果均属于第n-1类识别分类集,但第一图像识别结果和第二图像识别结果不同属于第n类识别分类集,则得到相似值为n-1。

具体的,本发明在进行模糊图像处理时,首先对图像信息进行判别,当判别结果为清晰图像时,则不需要进行模糊图像处理;若判别结果为模糊图像时,则进行后续处理,相较于现有技术对每一张图像进行模糊处理,可以显著提升图像处理的效率,节省系统资源;同时,本发明在进行模糊图像处理时,还需要对模糊图像进行前置处理,找到模糊图像中的模糊部分,相较于现有技术对整张模糊图像进行处理,又能进一步提升系统的效率和节省系统资源。

实施例5

在上一实施例的基础上,所述步骤3中基于步骤2中得到的相似值,计算出图像信息中模糊区域的大小值的方法包括:使用如下公式计算图像信息中模糊区域的大小值:

实施例6

在上一实施例的基础上,所述步骤3中的边缘窗口检测器使用如下公式表示:其中,g(x,y)为图像信息中像素点坐标(x,y)的边缘检测值,w(x,y)为图像信息中像素点坐标(x,y)的梯度值,w(x+1,y+1)为图像信息中像素点坐标(x+1,y+1)的梯度值,w(x+1,y)为图像信息中像素点坐标(x+1,y)的梯度值,w(x,y+1)为图像信息中像素点坐标(x,y+1)的梯度值。

具体的,本发明在不降低处理效率的情况下进行模糊图像和模糊区域的确定;在进行模糊图像处理时,本发明使用两种不同的识别模型来对同一图像信息进行识别的方法来确定模糊图像是否模糊,同时加入相似值的概念,以避免因为图像识别模型误差所带来的误识别;也就是说,两个识别模型针对同一图像信息得到的结果或许不同,但可能是由于识别模型本身的误差带来的,通过加入相似值,可以摒除识别模型本身的误差的影响;所使用的判别方法不需要进行大量的系统计算,仅使用现有算法就可以达到,进一步提升了效率;另外,在进行模糊区域确定时,本发明使用的算法为窗函数法,相较于现有技术使用单纯的边缘算子的方法,该方法,可以更加全面的找到图像中的模糊区域,因为边缘算子的方法在计算模糊区域时,往往因为若模糊区域分散程度较高时,就无法找到完整的模糊区域,而窗函数方法可以遍历完整个图像,从而找到整个模糊区域。

实施例7

在上一实施例的基础上,所述步骤3中使用边缘窗口检测器在图像信息中进行逐行边缘检测,找到图像信息中的模糊区域部分的方法包括:将边缘检测值与设定的判别阈值进行比较,若边缘检测值与判别阈值的差值在设定的阈值范围内,则将该边缘检测值对应的像素点作为模糊像素点;将所有模糊像素点组成的区域作为模糊区域b。

具体的,本发明在进行模糊处理时,对模糊区域部分使用基于马尔科夫链的模糊方程求解的方式来进行;这样做的好处在于,可以将图像从多个尺度进行复原,进而提升模糊图像还原的质量;现有技术进行模糊图像还原时,一般基于模糊核的方式进行还原,若不知道模糊核则进行盲还原,不论是基于模糊核还是基于盲还原的方式,大都基于一个尺度,且还原过程较为繁琐,还原质量也不高,导致图像出现较多的失真部分,失真率较高

实施例8

在上一实施例的基础上,所述步骤4中的建立的基于马尔科夫链的模糊方程使用如下公式表示:其中b*表示模糊区域b对应的各个方向的一阶和二阶梯度图的集合;||表示求模运算;kn+1、kn-1和kn为以马尔科夫链管理的模糊方程;表示卷积运算,l为卷积核;β为调整系数,取值范围为:2.5~5;当求解完k1到kn的所有值后,则完成从最底层到最顶层的模糊方程的逐步求解。

实施例9

在上一实施例的基础上,所述步骤4中复原模糊区域得到清晰图像的方法包括:基于求解得到的最底层到最顶层的模糊方程,在不同尺度设置自适应参数,直到图像大小到达原始尺度,得到最后精确的模糊方程,并用此模糊方程复原模糊区域得到清晰图像。

实施例10

基于模糊检测的图像处理装置。

所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。

需要说明的是,上述实施例提供的系统,仅以上述各功能单元的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能单元来完成,即将本发明实施例中的单元或者步骤再分解或者组合,例如,上述实施例的单元可以合并为一个单元,也可以进一步拆分成多个子单元,以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称,仅仅是为了区分各个单元或者步骤,不视为对本发明的不当限定。

所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。

本领域技术人员应能够意识到,结合本文中所公开的实施例描述的各示例的单元、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件单元、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

术语“第一”、“另一部分”等是配置用于区别类似的对象,而不是配置用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者单元/装置所固有的要素。

至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术标记作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述,仅为本发明的较佳实施例而已,并非配置用于限定本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1