基于空间变换模型的光学图层分解方法与流程

本发明属于机器视觉与图像处理技术领域，涉及一种光学图层分解方法，具体涉及一种基于空间变换模型的光学图层分解方法，可用于目标定位和图像特征提取。

背景技术：

在现实生活中，光在类透明介质中传播时会产生多重反射和折射，常见的类透明介质有不同形态的玻璃，不同材质的透明膜等，使得成像设备或人眼透过类透明介质，观察到的场景中总是包含了类透明介质后的场景，即传输图层，和类透明介质前的场景，即反射图层，所形成的图像同时包含了两种图层的信息，称为混合图像。混合图像中两图层重叠部分又称为饱和信息区，成像原理如附图1所示。当光从一个介质传播到达与另一个介质的界面，引起部分或全部的光返回或改变行进方向，即单次反射和单次传输，在两层以上的平行界面则发生多重反射和多重传输，成像系统捕捉信息并以混合图像的形式呈现。由于混合图像中其它图层所携带的信息妨碍人们对单一图层的目标定位和图层特征提取，所以在利用混合图像实现目标定位和图层特征提取之前，需要首先实现图层分解。从混合图像中分别分离出理想的传输图层和反射图层是一种病态问题，因此光学图层分解一直是机器视觉与图像处理技术领域的重要研究方向。其在商业和军事领域都有广泛的应用。在商业应用方面，如摄像中去除反射重影、自动监控等；在军事应用方面，如动态目标精确跟踪等。此外，光学图层分解对医学和新兴的认知科学有很大的促进作用。

已有的分解方法通过挖掘充足的混合图像信息以构造传输和反射两类光学图层。按照输入信息的不同可以将光学图层分解方法分为基于混合图集和基于单幅混合图像的两类分解方法。典型的基于混合图集的分解方法有Yu Li等人提出的反射变换法、Gai等人引入盲源分解(Blind Source Separation,BSS)，提出的稀疏性运动盲源法等。基于混合图集的分解方法可利用的图像信息充足，分解结果的清晰度和真实感好。但是由于基于大量的图像数据处理，因此基于混合图集的光学图层分解方法相对于单幅混合图像方法的分解效率较低，不具有实时性；通过成像系统捕获一组图集在实际中存在较高难度，并会伴随不可避免的模糊。

为了满足图层分解的实时性和高效性，从单张混合图像中恢复出传输图层和反射图层成为一个深受关注的研究课题。基于单幅混合图像的光学图层分解方法可利用的图像信息仅来源于单幅图像，因此需要提取图像边缘等特征，即图层先验。对于基于单幅混合图像的光学图层分解方法可进一步分为基于有/无监督的单幅混合图像的光学图层分解。其中，基于有监督的光学图层分解方法通过人机交互或预先设定的方式在混合图像中添加图层先验为光学图层分解提供额外的约束条件。典型的有Levin等人提出的交互式图层先验法。该方法的缺陷在于人为主观因素较强，选取和添加图层先验需花费较多的人力和时间，不具备独立实施性和实时性；只能识别少量类别的图层先验，从而影响图层分解的结果。

随着计算机技术的迅速发展，日益增长的机器视觉和图像处理应用对于分解图层的真实性和实时性也提出了更高的要求。因此基于无监督的单幅混合图像的光学图层分解成为该研究方向的重点。基于无监督的单幅混合图像的光学图层分解方法的一般流程为：

首先，建立混合图像的光学成像模型，利用模型得到混合图像中传输图层和反射图层的函数表达式；

然后，提取图层先验，如信息连续性、局部梯度域、全局稀疏性，不同图层之间的不相关性、不对称性、不同光滑度等，作为数学函数表达式的非线性约束条件；

进而，构造凸目标函数，引入凸松弛、半二次规整、正则化等数学方法将非线性约束问题转换为线性约束问题；

最后，利用数值计算方法求解线性约束条件下凸目标函数的最优化问题，典型数值计算方法有有限存储BFGS算法(Limited-memory BFGS algorithm with Bound constraints,L-BFGS-B)、交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)、加权迭代最小二乘法(Iteratively reweighted least squares,IRLS)等。

实现光学图层分解的步骤中，建立混合图像的光学成像模型是第一步，也是最关键的一步。其决定了图层先验的选择，进而影响凸目标函数表达式的构建、求解线性约束条件下凸目标函数的最优化问题的数值算法的选取和，最终影响图层分解结果。

基于无监督的单幅混合图像的光学图层分解方法的现有光学成像模型有线性叠加模型、卷积多重反射模型。线性叠加模型如式：

I＝LR+LT

其中，I为输入的混合图像，LT、LR为图层分解后获得的传输图层和反射图层。

基于线性叠加模型实现光学图层分解时，得到的传输图层、反射图层边缘清晰，图层分解方法的时间成本低，但对于图像中信息饱和区的图层分解不理想。典型的有Guo等人提出的交互层叠法。卷积多重反射模型如式：

其中，h为卷积核。

基于卷积多重反射模型的光学图层分解方法可以实现反射层和传输层主要图层信息的分解，但对于信息饱和区域的图层分解不理想，图层分解方法的时间成本低过高，不具备实时性。典型的有Brown等人提出的相对光滑度分解法和Shih等人提出的利用多重反射信息分解法。

技术实现要素：

本发明的目的在于克服上述现有无监督单张混合图像分解方法存在的缺陷，提出了一种基于空间变换模型的光学图层分解方法，建立空间变换模型描述图层叠加现象，利用模型定义混合图像中传输图层和反射图层的函数表达式，用于解决现有无监督单张混合图像分解方法中分解效果差、效率低的技术问题。

为实现上述目的，本发明采取的技术方案，包括如下步骤：

(1)读入原始混合图像，得到图像矩阵I；

(2)利用盲反卷积算法对图像矩阵I进行去模糊，得到初始传输图层矩阵

(3)设定迭代变量k，并初始化为1，利用迭代变量k和初始传输图层矩阵创建传输图层矩阵迭代式

(4)建立图像矩阵I的空间变换模型L＝LT+LR(E+P)，

其中，LT和LR为混合图像的传输图层矩阵和反射图层矩阵，P是空间变换矩阵，E是单位矩阵；

(5)利用图像矩阵I的空间变换模型L＝LT+LR(E+P)和传输图层矩阵迭代式进行公式推导，得到传输图层矩阵和反射图层矩阵的函数表达式

其中，P^k是第k次空间变换矩阵；

(6)利用图像矩阵I和传输图层矩阵迭代式进行矩阵运算和凸优化，得到凸目标函数：

(6a)利用图像矩阵I和传输图层矩阵迭代式进行矩阵运算，得到目标函数

其中，f1和f2分别是水平和垂直方向的一阶导数滤波矩阵；

(6b)利用传输图层矩阵迭代式的水平和垂直梯度域f1L'T和f2L'T添加约束条件，并利用L1-范数进行正则化，得到凸目标函数

其中，λ1、λ2表示不同项的权重；

(7)利用拉格朗日乘子法，对凸目标函数

求取最优解，得到第k次空间变换矩阵P^k；

(8)将传输图层矩阵迭代式图像矩阵I和第k次空间变换矩阵P^k代入传输图层矩阵和反射图层矩阵的函数表达式中，得到第k次传输图层矩阵和第k次反射图层矩阵

(9)设定迭代变量阈值K；

(10)判断迭代变量k是否大于迭代变量阈值K，若是则算法结束，否则迭代变量k自增1，执行步骤(6)；

本发明与现有技术相比，具有以下特点：

本发明由于在实现光学图层分解时，通过建立空间变换模型对混合图像中图层叠加现象进行描述，并利用模型定义传输图层和反射图层的函数表达式，与现有无监督单张混合图像分解方法相比，在提升计算效率的基础上，明显改善了混合图像的图层分解效果。

附图说明

图1为本发明的混合图像成像原理图；

图2为本发明的实现流程框图；

图3为本发明与现有光学成像模型的时间成本和分解效果仿真对比图。

具体实施方式：

以下结合附图和具体实施例，对本发明作进一步详细说明：

参照图2，本发明包括如下步骤：

步骤1，读入原始混合图像，得到图像矩阵I，图像矩阵I中混合了传输和反射的多重信息。

步骤2，反卷积是使模糊图像复原的基本方法，如果成像系统的模糊函数已知，则去模糊是常规的反卷积问题。如果在没有任何或很少关于传输图层和反射图层的混合先验知识的前提下，则需要采用盲反卷积算法。利用盲反卷积算法对图像矩阵I进行去模糊处理，得到初始传输图层矩阵该算法可在保持混合图像的复杂结构和图层边缘清晰的基础上，实现混合图像中不同图层的盲分离。

步骤3，定义传输图层矩阵迭代式

步骤4，根据光的传输和成像原理，光在类透明介质中传输时产生多重反射和折射，使得成像设备或人眼观察到的场景中混合了传输和反射的信息，因而得到混合图像。同时由于光在传输过程中伴随着能量的损失，使得混合图像中主要包含的是传输图层、多重反射中的一次反射和二次反射，即反射图层。图像空间变换是图像处理及分析的基础，图像空间变换是通过建立矩阵模型来描述图像位置、大小、形状等变化的方法。在空间变换模型中，将反射中的二次反射看做是一次反射的空间变换，建立图像矩阵I的空间变换模型：

I＝LT+LR(E+P)

利用空间变换矩阵对反射图层LR进行平移、错切等处理，实现二次反射的定量描述。

步骤5，利用已知变量推导第k次传输图层矩阵和反射图层矩阵的函数表达式

步骤6，利用图像矩阵I和传输图层矩阵迭代式进行矩阵运算和凸优化，得到凸目标函数：

步骤6a，每一种范数都是凸函数，因此利用矩阵的F-范数构造目标函数

其中，f1和f2分别是水平和垂直方向的一阶导数滤波矩阵。

步骤6b，利用图层先验中的水平和垂直梯度域f1L'T、f2L'T对目标函数添加约束条件，并利用L1-范数对目标函数进行正则化，实现目标函数的凸优化

其中，λ1、λ2表示不同项的权重。

步骤7，利用拉格朗日乘子法，对得到的凸目标函数求取最优解，得到第k次空间变换矩阵P^k。

步骤8，将传输图层矩阵迭代式图像矩阵I和第k次空间变换矩阵P^k代入传输图层矩阵和反射图层矩阵的函数表达式进行矩阵运算，得到第k次传输图层矩阵和第k次反射图层矩阵

步骤9，迭代变量阈值K的设定可以是通过多次试验获得的经验值，也可以是对求解凸目标函数的最优化方法达到收敛的迭代次数的理论预测值。该阈值过小，在一定程度上降低光学图层分解方法实现的分解效果，该阈值过大，会降低光学图层分解方法的计算效率。

步骤10，判断迭代变量k是否大于迭代变量阈值K，若是则算法结束，否则执行步骤6。

以下结合仿真实验，对本发明的技术效果作进一步的说明。

1、仿真条件和内容：

本实施例采用处理器为Inter Core i5-3210M，主频为2.5GHz，内存4GB的硬件测试平台，64位Windows 7操作系统的Matlab R2016a的软件平台，分别采用真实混合图像和人工合成图像，对本发明与现有线性叠加模型、卷积多重反射模型实现光学图层分解的时间成本和分解效果仿真对比，其结果如图3。

2、仿真结果分析：

参照图3，图3(a)和图3(e)分别为输入的真实混合图像和人工混合图像；图3(b)和图3(f)分别为基于线性叠加模型的光学图层分解方法对真实混合图像和人工混合图像得到的图层分解结果；图3(c)和图3(g)分别为基于空间变换模型的光学图层分解方法对真实混合图像和人工混合图像得到的图层分解结果；图3(d)和图3(h)分别为基于卷积多重反射模型的光学图层分解方法对真实混合图像和人工混合图像得到的图层分解结果。图3(a)～(h)中,左侧图像为传输图层结果,右侧图像为反射图层结果。

由图3(b)和图3(f)可看出，基于线性叠加模型的光学图层分解方法得到的传输层边缘清晰，图层分解方法的时间成本低，但反射层的分解不理想；由图3(c)和图3(g)可看出，基于空间变换模型的光学图层分解方法可以得到清晰的反射层和传输层，时间成本较低；由图3(d)和图3(h)可看出，基于卷积多重反射模型的光学图层分解方法可以实现反射层和传输层主要图层信息的分解，但对于信息饱和区域的图层分解不理想，时间成本高。

仿真结果表明，相对于现有无监督单张混合图像分解方法,本发明在降低时间成本的基础上，明显改善了混合图像的图层分解效果。