本发明涉及技术领域，特别涉及一种基于卷积稀疏编码的单相机RGB-NIR成像系统。
背景技术：
RGB和NIR成像技术是对可见波段和近红外波段的图像的采集，已经被广泛的应用到临床医学中的癌症手术，计算机视觉中的材质分类和检测，阴影检测，农业中的植被健康监测等。
RGB和NIR成像技术的实现方式一般是通过两个相机采集实现，其中一个相机的成像光学透镜前置有NIR滤波片，从而实现可见光图像的采集，另一个相机的成像透镜前有可见光滤波片，从而实现近红外光图像的采集。通过两个相机的位置校准，可以实现RGB和近红外图像的采集，一方面这种成像技术需要至少两个相机的采集，另一方面，不同相机之间的校准算法计算复杂度比较高，而且会引入校准误差，给图像带来误差。
技术实现要素：
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的目的在于提出一种基于卷积稀疏编码的单相机RGB-NIR成像系统，具有简单易行、采集系统简单、成本低、误差小的优点。
为达到上述目的，本发明的实施例提出了一种基于卷积稀疏编码的单相机RGB-NIR成像系统，包括：基于OV4682的传感器的相机，所述传感器的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在所述相机的光学部门没有红外滤波片时，使得近红外光通过所述红色滤波片、所述绿色滤波片、所述蓝色滤波片及所述近红外滤波片，且复用的被传感器复用采集可见光和近红外光；RGB-NIR分离重构模块，用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。
根据本发明实施例提出的基于卷积稀疏编码的单相机RGB-NIR成像系统，通过新型贝尔滤光片的相机传感器，复用的采集RGB和NIR的图像，最终通过优化重构算法实现可见光波段RGB通道和近红外波段NIR通道的计算重建，具有简单易行、采集系统简单，成本低的优点，只需要标定一次不同通道的噪声和模糊核就能够达到成像目的，且能够实现单相机RGB和近红外的同时成像，降低对准和矫正误差。
另外，根据本发明上述实施例的基于卷积稀疏编码的单相机RGB-NIR成像系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述基于OV4682的传感器的相机的传感器前的贝尔滤波片为R-G-B-IR排列，且没有红外滤波片。
进一步地，在本发明的一个实施例中，所述RGB-NIR分离重构模块具体用于通道间串扰矩阵的估计、逐通道噪声估计、逐通道模糊核估计、基于卷积稀疏编码的RGB-NIR颜色通道的图像的结构先验的学习和单张马赛克图像中分离和重构出RGB和NIR图像。
进一步地，在本发明的一个实施例中，所述通道间串扰矩阵的估计，包括：标定出相机的光谱透过率曲线R，其中，
R＝[rR,rG,rB,rI]，
其中，rR,rG,rB,rI分别是RGB和近红外通道的光谱透过率向量，向量的长度为N。
进一步地，在本发明的一个实施例中，所述矩阵R的维度是N×4。
进一步地，在本发明的一个实施例中，所述RGB-NIR分离重构模块具体用于求解如下双凸优化问题，估计NIR通道对可见光通道RGB通道的影响：
其中，估计通道间串扰模型C为一个4×4的矩阵,Cij代表j理想通道的光串扰到i通道的系数。
已知R估计C和Q是个双凸优化问题，通过固定其中一个位置变量，优化另一个优化变量，以在迭代后得到收敛的解：
subject to C≥0,Q≥0,
其中，C为不同理想的光谱通道间串扰矩阵C，，Ip是惩罚矩阵，Q为理想光谱透过率曲线，目标函数的第三项是对光谱透过率曲线的梯度的平滑约束。
进一步地，在本发明的一个实施例中，所述RGB-NIR分离重构模块通过噪声估计算法对不同通道的噪声进行估计，以估计不同通道的噪声得到最终的RGB-NIR重构优化算法中，数据项中不同通道的加权系数：
进一步地，在本发明的一个实施例中，所述RGB-NIR分离重构模块通过盲卷积算法估计得到不同通道的卷积核KR,KG,KB,KI。
进一步地，在本发明的一个实施例中，，所述RGB-NIR分离重构模块通过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像块的基元结构集合。
进一步地，在本发明的一个实施例中，单张马赛克图像中分离和重构出RGB和NIR图像，所述RGB-NIR分离重构模块通过求解如下优化公式实现：
subject to y＝KDz,v＝z,
其中，目标函数中的第一项是数据约束项，第二项和第三项是约束重构的不同通道的图像在学到的结构字典基上的稀疏性。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于卷积稀疏编码的单相机RGB-NIR成像系统的结构示意图；
图2为根据本发明一个实施例的实际光谱透过率曲线和理想光谱透过率曲线示意图；
图3为根据本发明一个实施例的通过卷积稀疏编码得到的不同通道的统计结构基元字典的示意图；
图4为根据本发明一个实施例的单个相机的传感器OV4682和RGBI贝尔滤波片以及不同通道的光谱透过率曲线示意图；
图5是根据本发明一个实施例的基于卷积稀疏编码的单相机RGB-NIR成像系统的最终成像效果示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于卷积稀疏编码的单相机RGB-NIR成像系统。
图1为根据本发明实施例的基于卷积稀疏编码的单相机RGB-NIR成像系统的结构示意图。
如图1所示，该基于卷积稀疏编码的单相机RGB-NIR成像系统10包括：基于OV4682的传感器的相机100和RGB-NIR分离重构模块200。
其中，基于OV4682的传感器的相机10的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在所述相机的光学部门没有红外滤波片时，使得近红外光通过所述红色滤波片、所述绿色滤波片、所述蓝色滤波片及所述近红外滤波片，且复用的被传感器复用采集可见光和近红外光。RGB-NIR分离重构模块200用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。该系统具有简单易行、采集系统简单、成本低、误差小的优点。
在本发明的一个是实施例中，实验采集的相机相较于传统的相机，有两点变化：第一，相机传感器前的贝尔滤波片，从传统的“R-G-G-B”排列，变成了“R-G-B-IR”。光学成像部分，实验采用的相机的光学成像镜头相较于传统的相机镜头，没有红外滤波片。
进一步地，RGB-NIR重构算法，主要涉及到四个模块：通道间串扰矩阵的估计；逐通道噪声估计；逐通道模糊核估计；基于卷积稀疏编码的RGB-NIR颜色通道的图像的结构先验的学习；单张马赛克图像中分离和重构出RGB和NIR图像。
具体而言，通道间串扰矩阵的估计，主要包括首先标定出相机的光谱透过率曲线R，R＝[rR,rG,rB,rI],其中rR,rG,rB,rI分别是RGB和近红外通道的光谱透过率向量，向量的长度为N，即为从可见到近红外谱段光谱的分辨率，代表不同波长对光线的透过率，所以矩阵R的维度是N×4。对于RGB和NIR成像来说，理想的不同通道的光谱透过率特性是，RGB可见光通道中没有NIR波段的光的通过率为0，NIR通道的可见光波段的透过率为0。这里我们表示为Q＝[qR,qG,qB,qI]。
如图2所示，图2(a)代表实际相机不同颜色通道的光谱透过率曲线，图2(b)代表理想的光谱透过率曲线。可以从图2(a)中看出，RGB通道的透过率曲线在近红外波段透过率不为0，而图2(b)中是理想的RGB-NIR通道的光谱透过率曲线。
进一步地，通过求解如下双凸优化问题，估计NIR通道对可见光通道RGB通道的影响，也就是估计通道间串扰模型C。C是一个4×4的矩阵,Cij代表j理想通道的光串扰到i通道的系数。
通过求解如下双凸优化问题，可以从测得的光谱响应曲线R中求得不同理想的光谱通道间串扰矩阵C。其中Ip是惩罚矩阵，目的是使重构得到理想光谱透过率曲线Q的不同通道之间没有串扰。目标函数的第三项是对光谱透过率曲线的梯度的平滑约束。已知R估计C和Q是个双凸优化问题，通过固定其中一个位置变量，优化另一个优化变量，来回迭代，最终能够得到收敛的解。
subject to C≥0,Q≥0,
在本发明的一个实施例中，估计不同通道的噪声，使用传统的噪声估计算法实现对不同通道的噪声估计σR,σG,σB,σI从而可以得到最终的RGB-NIR重构优化算法中，数据项中不同通道的加权系数
进一步地，估计不同通道的模糊核，使用盲卷积算法估计得到不同通道的卷积核KR,KG,KB,KI。
如图3所示，在本发明的一个实施例中，通过卷积稀疏编码学习得到RGB-NIR通道的结构先验，就是组成图像块的基元结构集合。
进一步地，单张马赛克图像中分离和重构出RGB和NIR图像，通过求解如下优化公式实现：
subject to y＝KDz,v＝z,
其中目标函数中的第一项是数据约束项，第二项和第三项是约束重构的不同通道的图像在学到的结构字典基上的稀疏性
根据本发明实施例提出的基于卷积稀疏编码的单相机RGB-NIR成像系统，通过新型贝尔滤光片的相机传感器，复用的采集RGB和NIR的图像，最终通过优化重构算法实现可见光波段RGB通道和近红外波段NIR通道的计算重建，具有简单易行、采集系统简单，成本低的优点，只需要标定一次不同通道的噪声和模糊核就能够达到成像目的，且能够实现单相机RGB和近红外的同时成像，降低对准和矫正误差。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。