本发明涉及图像处理
技术领域：
，提出了一种基于最优化颜色修正和回归模型的水下图像复原方法。
背景技术：
：在人口急剧膨胀、陆地资源日益枯竭、环境不断恶化的情况下，开发海洋资源是一项影响深远，面向二十一世纪的战略选择。因此海洋信息的获取、传输和处理等理论与技术的重要性更加突显。水下图像的视觉质量在海洋工程应用和科学研究中扮演着极其重要的角色，例如水下生态研究、海洋营救、水下输油管道泄漏监视等应用场景。由于受到特殊光照吸收和散射的影响，水下拍摄的图像往往具有低对比度、有限的清晰度、失真的颜色等缺点。水下图像的这些缺点严重影响其直接应用于海洋工程和科学研究。因此，如何清晰化水下图像，使其可以更好的应用于海洋工程和科学研究已经成为了一个研究热点。对如何清晰化水下图像这个问题，人们主要从以下两个方面展开研究：图像增强方法和图像复原方法。图像增强方法不依靠任何成像模型，仅仅通过改变图像的像素值来提高水下图像的对比度和亮度，从而提高其视觉质量。图像复原方法将图像复原视为一种反问题，通过估计成像模型参数并采用反补偿的技术来恢复退化的水下图像，从而恢复其清晰度、颜色以及对比度。虽然水下图像增强和复原方法已经取得了一些成绩，但增强和复原的结果并不十分令人满意。例如，在复原方法中所使用的一些假设条件和先验信息在很多水下场景中并不适用；一些增强方法常常产生过度增强或者欠增强的结果。技术实现要素：本发明提出了一种基于最优化颜色修正和回归模型的水下图像复原方法，通过综合利用最优化理论和回归模型，实现能够有效修正水下图像颜色偏差、解决其对比度和清晰度低、纹理和细节丢失等问题的水下图像复原方法。本发明提出了一种基于最优化颜色修正和回归模型的水下图像复原方法，该方法包括以下步骤：步骤1、输入原始水下图像，建立水下图像的水下光学成像模型；步骤2、采用基于最优化理论的颜色修正算法，去除水下图像的颜色偏差；步骤3、基于四叉树分解和光学属性估计水下图像的全局背景光；步骤4、合成训练样本、设计与吸收函数相关的特征、训练回归模型，学习红信道的吸收函数；步骤5、采用训练好的回归模型估计红信道的吸收函数，确定相机与场景点之间的距离，继而估计出绿蓝信道的吸收函数；步骤6、根据建立的水下光学成像模型，使用获得的全局背景光、红绿蓝三个信道的吸收函数以及颜色修正的图像，通过反变换获得清晰的水下图像。所述步骤1中的水下光学成像模型表示为：Ic(x)＝Jc(x)tc(x)+Ac(1-tc(x))，c∈{r,g,b}式中，Ic(x)为c信道的退化的水下图像，Jc(x)为c信道的清晰的水下图像，Ac为c信道的全局背景光，tc(x)∈[0,1]为吸收函数，c为r，g，b红绿蓝色信道。所述步骤2的具体流程如下：将经过颜色修正的水下图像表示为：f(x)CRc=f(c)c-f(x)mincf(c)maxc-f(x)minc×255=f(c)c-f(x)meanc+μc·f(x)varc2μc·f(x)varc×255]]>式中，f(c)c为输入的c信道的待修正水下图像，和分别为水下图像c信道的最大颜色偏差和最小颜色偏差；水下图像每个颜色信道(r,g,b)信道的最大颜色偏差和最小颜色偏差表示如下：f(x)maxc=f(x)meanc+μc·f(x)varcf(x)minc=f(x)meanc-μc·f(x)varc,c∈{r,g,b}]]>式中，为水下图像c信道的平均值，为水下图像c信道的均方差值，μc是饱和度控制参数。将标准的颜色检测板放入水下，使用相机在不同深度的水中拍摄颜色检测板，依据前述操作，获得颜色修正的的水下颜色检测板图像定义一个代表颜色修正的c信道的水下颜色检测板图像与标准的c信道的颜色检测板图像的像素强度差异的能量函数E：E=Σ||f(x)CR-testc-f(x)STDc||2,c∈{r,g,b}]]>采用迭代循环求解的方式寻找使能量函数最小化的饱和度控制参数。所述步骤3的具体流程如下：采用四叉树分解技术将一幅颜色修正后的水下图像分解为四个矩形区域；每个矩形区域以该区域内像素的平均值减去均方差作为该区域的分数，可表示为：Score＝f(x)mean-f(x)var式中，Score为该区域的分数，f(x)mean为该区域像素的平均值，f(x)var为该区域像素的均方差值，选择具有最高分数的区域作为候选区域；计算三信道(r,g,b)相同位置像素最小值，从而获得最小值图，之后计算最小值图中大小为41×41局部区域的最小值，计算局部区域的暗通道图，并且将暗通道图中的像素值从大到小排序，选择排在前0.1％的像素点作为候选像素点；在候选像素点位置所对应的原始图像像素点处寻找具有最大的蓝色信道像素值和红色信道像素值比值的像素点作为背景光。所述步骤4的具体流程如下：合成训练样本的步骤具体包括：选取一幅清晰的图像根据该图像合成的具有模糊效果的图像表示为：Iwaterc=tc·Jnaturec+(1-tc)·Ac,c∈{r,g,b}]]>式中，Ac为全局背景光，其默认值为1；tc为吸收函数，随机选取[0，1]之间的值，每个随机的吸收函数值各产生一幅具有不同模糊程度的合成图像，这里三个信道选择相同的吸收函数值；设计与吸收函数有关的特征的步骤具体包括：所述特征包括多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征，其中：多尺度暗道特征Dw表示为：Dw=miny∈Ωs(x)minc∈{r,g,b}Ic(y)/Ac]]>式中，x和y表示像素位置，Ic(y)为输入的上述合成的图像在y位置的像素值，Ωw(x)为以x为中心大小为w×w的图像块，w表示图像块的多个尺度，文中选取w＝10,7,4,1；多尺度局部最大对比度特征Cw表示为：Cw=maxy∈Ωw(x)13|Ωs(y)|Σz∈Ωs(y)||I(z)-I(y)||2]]>式中，x，y和z表示像素位置，I(z)和I(y)分别代表在z位置和y位置的像素值，Ωw(x)为以x为中心大小为w×w的图像块，Ωs(y)以y位置为中心大小为s×s的区域，|Ωs(y)|是局部邻域Ωs(y)的像素点总数，s固定为5，w代表多尺度，文中选取w＝10,7,4,1。多尺度局部最大饱和度特征Sw表示为：Sw=maxy∈Ωw(x)(1-minc∈{r,g,b}Ic(y)maxc∈{r,g,b}Ic(y))]]>式中，Ic(y)为输入的上述合成的图像在y位置的像素值；色度差异特征定义为输入图像与其半反转图像之间的色度差异，并表示为：H(I)=|Isih-Ih|]]>式中，si下标表示半反转图像，h上标表示色度，Ih为输入图像的色度信道，为半反转图像，半反转图像可以通过下式计算：Isic(x)=max[Ic(x),1-Ic(x)]c∈{r,g,b}]]>式中，x为图像中像素点的位置，Ic(x)为x位置处的输入的合成图像的像素值，在为c信道的半反转图像；训练回归模型的步骤具体包括：首先从上述步骤4中采用自然场景图像合成的水下图像中提取多尺度暗通道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征，然后在获得的特征图中，分别随机提取10个大小为5×5的图像块，总共合成1000幅训练图像，从而产生1000×13个特征图，最终提取出1000×13×10大小为5×5的特征块；最后，对于一个合成的样本，将已知的吸收函数值和提取的13个5×5的特征块输入到随机森林回归模型中；依次类推的将剩余的13×9个5×5的特征块按上述方法送入到回归模型，直到将合成的1000幅图像对应的吸收函数值和特征块输入到随机森林回归模型，该回归模型训练完毕；学习红信道的吸收函数的步骤具体包括：将相同位置的各个特征图中提取的特征块送入训练好的随机森林回归模型中，从而输出对应的吸收函数值；最后，依次将所有位置的特征块全部输入到随机森林回归模型中，输出图像所有位置的吸收函数值，此时整个红信道所有位置的吸收函数值输出完毕；最终输出的吸收函数图会出现块状伪影。所述步骤5中的具体流程如下：已知红信道的吸收函数tr(x)的条件下，将相机与场景点之间的距离d(x)表示为：d(x)=ln(tr(x))ln(Nrer(r))]]>式中，tr(x)为红信道的吸收函数，Nrer(r)表示红信道的归一化残余能量比率；绿蓝信道的吸收函数分别表示为：tg(x)=Nrer(g)d(x)=Nrer(g)ln(tr(x))/ln(Nrer(r))]]>tb(x)=Nrer(b)d(x)=Nrer(b)ln(tr(x))/ln(Nrer(r))]]>式中，tg(x)和tb(x)分别为绿色和蓝色信道的吸收函数，Nrer(g)和Nrer(b)分别表示绿色信道和蓝色信道的归一化残余能量比率。与现有技术相比，本发明具有如下有益效果：1)在相关
技术领域：
中，本发明首次采用基于学习的框架估计水下光学成像模型的吸收函数，相较以往单纯采用假设条件或者先验知识估计吸收函数的方法，本发明具有更的鲁棒性；2)与现有的水下图像颜色修正算法相比，本发明的颜色修正方法能够更加准确的恢复出水下图像的颜色；3)本发明的一种基于分层搜索和光学属性的水下光学成像模型的全局背景光估计方法，该估计方法可以有效的去除水中高亮目标和悬浮颗粒对全局背景光估计的影响，具有更好的鲁棒性和准确性。附图说明图1为本发明的一种基于最优化颜色修正和回归模型的水下图像复原方法的流程图；图2为计算最优化的饱和度控制参数的算法流程图；图3为水下图像全局背景光估计方法的一个实例图，其中，(a)为颜色修正的水下图像；(b)为四叉树分解的结果；(c)为搜索暗道图中前0.1％最亮像素点的结果；(d)为搜索具有最大蓝-红像素比值像素点的结果；图4为部分的合成样本图。具体实施方式如图1所示，本发明提供一种基于最优化颜色修正和回归模型的水下图像复原方法，其包括以下步骤：步骤1、输入原始水下图像，根据光学特性，建立水下图像的水下光学成像模型步骤2、颜色修正：大量的统计实验发现，水下图像每个信道的最大颜色偏差和最小颜色偏差可以表示为：f(x)maxc=f(x)meanc+μc·f(x)varcf(x)minc=f(x)meanc-μc·f(x)varc,c∈{r,g,b},]]>式中，为水下图像c信道的平均值，为水下图像c信道的均方差值，μc是饱和度控制参数。颜色修正的水下图像可以采用如下方式获得：f(x)CRc=f(c)c-f(x)mincf(c)maxc-f(x)minc×255=f(c)c-f(x)meanc+μc·f(x)varc2μc·f(x)varc×255]]>式中，f(x)为输入的水下图像，μc为未知参数。为了获得有效的饱和度控制参数，本发明采用了一种基于最优化理论的参数估计方法：通过最小化标准的颜色检测板图像与颜色修正的水下颜色检测板图像之间的像素值平方差来估计最优化的饱和度控制参数。具体方案如下：首先，将标准的颜色检测板放入水下，使用相机在不同深度的水中拍摄颜色检测板。然后，定义一个能量函数E。该函数代表颜色修正的水下颜色检测板图像与标准的c信道的颜色检测板图像的的像素强度差异：E=Σ||f(x)CRc-f(x)STDc||2,c∈{r,g,b}]]>最后，采用迭代循环求解的方式搜索使能量函数最小化的饱和度控制参数，例如：迭代步长设置为0.5，迭代范围设置为0.5～10，具体算法流程如图2所示。若已知需要处理的水下图像拍摄深度，则选用与其最接近的整数深度的饱和度控制参数。若无法获知水下图像拍摄深度，则选用1～10米每隔1米获取的饱和度控制参数的平均值(为了操作简单，本发明只计算1～10米水下整数深度条件下的最优化饱和度控制参数)。因为一般情况下拍摄的水下图像往往在1-10米深度范围内。若拍摄深度大于10米，往往可见光消失，此时需要人造光源的帮助，此特殊情况不在本发明的操作范围内。步骤3、估计全局背景光首先一幅颜色修正的水下图像采用四叉树分解技术分解为四个矩形区域。其次采用每个分解出来的区域的像素平均值减去均方差作为该个区域的分数，并选择具有最高分数的区域作为候选区域。然后计算候选区域的暗通道图：先计算三通道(r,g,b)相同位置像素最小值获得最小值图，之后计算最小值图中大小为41×41局部区域的最小值，并且将暗通道图中的像素值从大到小排序，选择排在前0.1％的像素点作为候选像素点。最后在候选像素点位置的原始图像像素点处搜索具有最大的蓝色信道像素值和红色信道像素值比值的像素点作为背景光。图3给出了本发明提出的全局背景光估计算法的一个实例。步骤4、估计吸收函数4.1、合成训练样本选取一幅清晰的图像全局背景光Ac默认为1，随机选取[0,1]之间的值为吸收函数tc赋值，合成的具有模糊效果的图像可以表示为：Iwaterc=tc·Jnaturec+(1-tc)·Ac,c∈{r,g,b}]]>式中，Ac为全局背景光，其默认值为1；tc为吸收函数，随机选取[0，1]之间的值，每个随机的吸收函数值各产生一幅具有不同模糊程度的合成图像，这里三个信道选择相同的吸收函数值；为了提高学习框架的学习能力，对于一幅清晰的图像本发明为其分配10个随机的吸收函数值，从而产生10幅具有不同模糊程度的合成图像。图4给出本发明合成的部分样本图。4.2、设计与吸收函数有关的特征通过实验，本发明设计了多个与吸收函数有关的特征：多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征。多尺度暗道特征可以表示如下。多尺度暗道特征Dw表示为：Dw=miny∈Ωs(x)minc∈{r,g,b}Ic(y)/Ac]]>式中，x和y表示像素位置，Ic(y)为输入的上述合成的图像在y位置的像素值，Ωw(x)为以x为中心大小为w×w的图像块，w表示图像块的多个尺度，文中选取w＝10,7,4,1。多尺度局部最大对比度特征Cw表示为：Cw=maxy∈Ωw(x)13|Ωs(y)|Σz∈Ωs(y)||I(z)-I(y)||2]]>式中，x、y和z表示像素位置，I(z)和I(y)分别代表在z和y位置的像素值，Ωw(x)为以x为中心大小为w×w的图像块，Ωs(y)以y为中心大小为s×s的区域，|Ωs(y)|是局部邻域Ωs(y)的像素点总数，s固定为5，w代表多尺度，文中选取w＝10,7,4,1。多尺度局部最大饱和度特征Sw表示为：Sw=maxy∈Ωw(x)(1-minc∈{r,g,b}Ic(y)maxc∈{r,g,b}Ic(y))]]>式中，Ic(y)为输入的上述合成的图像在y位置的像素值。色度差异特征定义为输入图像与其半反转图像之间的色度差异，并表示为：H(I)=|Isih-Ih|]]>式中，si下标表示半反转图像，h上标表示色度，Ih为输入图像的色度信道，为半反转图像，半反转图像可以通过下式计算：式中，x为图像中像素点的位置，Ic(x)为x位置处的输入的合成图像的像素值，在为c信道的半反转图像。在本发明中，多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征选用了四个尺度，即w＝10,7,4,1。4.3、训练和测试回归模型训练阶段：首先，从合成的图像中提取多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征。然后，在获得的特征图中，分别随机提取10个大小为5×5的图像块。本发明总共合成1000幅图像，从而产生1000×13个特征图，最终提取出1000×13×10大小为5×5的特征块。最后，对于一个合成的样本，将已知的吸收函数值和提取的13×10个5×5的特征块分别以13×5×5的维度分10次(每次在每个特征图中选取一个5×5的特征快)输入到随机森林回归模型中。直到将合成的1000幅图像对应的吸收函数值和特征块输入到随机森林回归模型，该回归模型训练完毕。测试阶段：首先，修正输入图像的颜色，估计其全局背景光。接下来抽取多尺度暗道特征、多尺度局部最大对比度特征、多尺度局部最大饱和度特征以及色度差异特征。然后，将获得的特征图分别无重叠的分成5×5的特征块。将相同位置的各个特征图中提取的特征块送入训练好的随机森林回归模型中，从而输出对应的吸收函数值。最后，依次将所有位置的特征块全部输入到模型中，输出图像所有位置的的吸收函数值，此时吸收函数估计完毕。由于本发明是基于块特征计算吸收函数值，从而最终输出的吸收函数图会出现块状伪影。本发明采用导向滤波来压缩块状伪影的影响。4.4、吸收函数扩展将获得的吸收函数值赋给输入图像的红信道，接下来以相机与场景点的距离为桥梁，构建水下图像三个颜色信道吸收函数之间的关系。吸收函数tc(x)可以表示为：tc(x)＝exp(-pcd(x)),c∈{r,g,b}，式中，pc为总的衰减因子，d(x)是相机与场景点之间的距离。此外，吸收函数tc还可以表示为：tc(x)＝Nrer(λ)d(x)式中，Nrer(λ)表示与波长λ有关的归一化残余能量比率。已知红信道的吸收函数，所以相机与场景点之间的距离d(x)可以表示为：d(x)=ln(tr(x))ln(Nrer(r))]]>式中，tr(x)为红信道的吸收函数，Nrer(r)表示红信道的归一化残余能量比率。一般情况下，Nrer(λ)可以表示为如下常数：Nrer(λ)=0.8~0.85ifλ=650~750μmr(red)0.93~0.97ifλ=490~550μmg(green)0.95~0.99ifλ=400~490μmb(blue)]]>因此，绿蓝信道的吸收函数可以分别表示为：tg(x)=Nrer(g)d(x)=Nrer(g)ln(tr(x))/ln(Nrer(r)),]]>tb(x)=Nrer(b)d(x)=Nrer(b)ln(tr(x))/ln(Nrer(r)).]]>本发明中，针对红、绿、蓝信道的归一化残余能量比率，Nrer(λ)分别取值为83％，93％和97％。步骤5、水下图像复原将已经获得的全局背景光Ac、三个信道的吸收函数tc(x)、颜色修正后的水下图像Ic(x)代入水下成型模型，c信道的清晰的水下图像Jc(x)可以表示为：Jc(x)=1tc(x)(Ic(x)-Ac)+Ac,c∈{r,g,b}.]]>当前第1页1 2 3