一种基于RGB图像的超光谱反射率重建方法与流程
本发明涉及一种超光谱反射率重建方法，具体涉及一种基于rgb图像的超光谱反射率重建算法，属于计算摄像学领域。
背景技术：
超光谱成像技术不同于传统的彩色图像成像技术，它获取的图像通常包括几十或几百个窄波段通道，远多于传统彩色图像的3通道或4通道。这种技术获取到的图像通常被称为数据立方体，相比于传统图像只具有空间维度，它具有空间、光谱共三个维度。
超光谱成像技术具有广泛的应用场景。这种技术在计算机视觉领域可用于目标分割、追踪以及识别，早期主要应用于遥感，但是近年来也被越来越多的应用于商业市场以及生物技术、生命科学和医学领域等。
传统的超光谱成像技术通常利用光栅、棱镜等器件的分光性能，通过多次曝光采集多个狭窄波段范围的图像。这种过程常常较为耗时，使用的硬件也通常价格昂贵，且需要进行精确的标定过程。
近年来，超光谱成像技术也被应用于多媒体技术中，例如彩色图像的重光照技术。在一种未知光照下的彩色图像，通过重光照过程可以得到在另一种已知光照下的彩色图像。由于重光照技术主要追求的是视觉效果，相对于传统应用，重光照技术对超光谱成像的准确度要求较低，而对实时性要求较高。
已有技术中具有两种类型的超光谱反射率重建方法：第一种方法采集场景的超光谱图像，根据已知的场景光照求解超光谱反射率，这种方法要求场景光照已知，需要在暗室中用特殊光源对场景进行照射并进行采集，对设备和环境的要求高，且超光谱图像的采集通常需要比较长的时间。第二种方法利用稀疏表达技术，使用超光谱反射率的训练集得到单个稀疏字典，随后采集场景的rgb图像，对每个像素点的超光谱反射率进行估计，这种方法的缺点是精度相对低，但是无需特殊设备，并且重建速度通常较快。
根据多媒体应用对超光谱反射率重建算法的要求，需要一种基于场景rgb图像的算法，能够以较快的重建速度、较低的设备要求达到更高的重建精度。
技术实现要素：
针对已有技术中基于rgb图像的超光谱反射率重建算法的缺点，本发明公开的一种基于rgb图像的超光谱反射率重建方法要解决的技术问题是提供一种超光谱反射率重建方法，在不需要特殊设备、具有较快重建速度的前提下提高重建精度。
为达到以上目的，本发明采用以下技术方案：
本发明公开的一种基于rgb图像的超光谱反射率重建方法，分为训练阶段和使用阶段。训练阶段在超光谱图像反射率的训练集中，把超光谱反射率映射到rgb颜色空间，并根据rgb的值求解每个像素的色度；根据每个像素的色度对像素进行聚类；对每个聚类中的像素反射率使用字典学习得到反射率的稀疏字典；把稀疏字典映射到rgb空间得到rgb字典。使用阶段对采集的rgb图像进行白平衡；求解白平衡后图像每个像素点的色度，并根据色度寻找每个像素点所属聚类；对于每个聚类中的像素点，使用该聚类的rgb字典进行有约束稀疏编码；根据聚类的反射率字典和稀疏编码，重建像素的超光谱反射率。
本发明公开的一种基于rgb图像的超光谱反射率重建方法，分为训练和使用两个阶段，包括如下步骤：
步骤一：训练阶段用于根据像素色度得到聚类以及每个聚类的稀疏字典和rgb稀疏字典；
步骤1.1：对训练集中像素点的超光谱反射率使用映射函数进行颜色空间映射，得到像素点对应的色度。
对训练集合中的所有超光谱反射率像素点，使用如公式(1)所示的映射函数映射到rgb空间，再使用如公式(2)所示的映射函数从rgb空间映射到色度空间：
y＝cs(1)
其中y是一个3行m列的实矩阵，是向量化表示的rgb空间像素集合，它的每一列表示一个3通道的像素点。c是一个3行b列的实矩阵，表示b个光谱通道到rgb通道的变换矩阵。s是一个b行m列的实矩阵，是向量化表示的超光谱像素反射率集合。q∈{r,g,b}表示3个颜色通道，
步骤1.2：根据色度值，使用聚类算法对所有的像素点进行聚类。
所述的聚类算法优选：k-均值聚类，谱聚类，层次聚类，模糊聚类，dbscan聚类。
步骤1.3：使用字典学习得到步骤1.2中每个聚类的稀疏字典。
对每一个聚类中的像素点使用如公式(3)所示的优化方程进行稀疏字典学习。
其中：tk是第k个聚类中像素点反射率的向量表示，dk是所求稀疏字典，bk是稀疏编码且满足bk≥0,dk≥0，||·||f表示矩阵的弗罗宾尼斯(frobenius)范数，||·||1表示矩阵的1范数。
字典学习方法优选：k-svd算法，最佳方向(mod)法，在线字典学习(odl)法，主成分分析(pca)法，顶点成分分析(vca)法。
步骤1.4：对步骤1.3中的稀疏字典使用颜色空间映射得到对应rgb字典。
将步骤1.3中获得的每个聚类的反射率字典，通过如公式(4)所示的映射函数映射到rgb空间：
hk＝cdk(4)
其中hk是第k个聚类的rgb字典。
步骤二：使用阶段利用步骤一中得到的聚类和稀疏字典、rgb字典，重建像素的超光谱反射率。
步骤2.1：对彩色相机采集到的rgb图像进行白平衡处理。
所述的白平衡处理方法优选：灰度世界(grey-world)法，最大rgb(max-rgb)法，灰色阴影(shadesofgrey)法，灰色边缘(grey-edge)法。
步骤2.2：对白平衡后的rgb图像使用如公式(2)所示方法得到每个像素点对应色度。
步骤2.3：根据步骤2.2得到的色度计算每个像素点所属聚类。
计算图像中每个像素的色度与训练得到的每个聚类中心色度的距离，寻找距离最小的聚类作为该像素所属聚类。
距离定义优选：欧式距离，曼哈顿距离，切比雪夫距离，闵可夫斯基距离，标准化欧氏距离，马氏距离，夹角余弦，海明距离，杰卡德距离，相关系数，信息熵。
步骤2.4：根据步骤2.3得到的聚类以及每个聚类的rgb字典求解稀疏编码。
对于步骤2.3中每个聚类中的像素点，使用rgb字典进行有约束稀疏编码，稀疏编码通过公式(5)中的优化方程进行求解：
其中，ak表示第k个聚类中像素的稀疏编码且满足ak>0，
其中，dkαm,n表示空间坐标m在集合ωm中的一个相似像素点，集合ωm表示m的空间邻域，wm,n表示权重，wm,n的计算方法如公式(7)所示：
其中，w表示标准化因子，h是一个预定义的标量，
公式(5)的优化方程求解方法优选：正交匹配追踪(omp)算法，最小角回归(lars)算法，迭代软阈值(ista)算法，交替方向乘子(admm)算法。
步骤2.5：根据步骤2.4中的稀疏编码和步骤一中得到的稀疏字典，利用公式(8)重建光谱反射率。
sk＝dkak(8)
有益效果：
1、本发明公开的一种基于rgb图像的超光谱反射率重建方法，由于步骤一根据像素色度特征得到了多个稀疏字典，稀疏字典的表达能力高于已有技术中的单个稀疏字典，因此重建精度高于已有技术中基于rgb图像的超光谱反射率重建方法。
2、本发明公开的一种基于rgb图像的超光谱反射率重建方法，由于步骤2.4使用了非局部特征，利用了场景光谱反射率在空间中的连续性，提高了稀疏编码的准确度，因此重建精度高于已有技术中基于rgb图像的超光谱反射率重建方法。
3、本发明公开的一种基于rgb图像的超光谱反射率重建方法，由于步骤2.4考虑了相似色度的像素具有相似的超光谱反射率这一特征，提高了稀疏编码的准确度，因此重建精度高于已有技术中基于rgb图像的超光谱反射率重建方法。
4、本发明公开的一种基于rgb图像的超光谱反射率重建方法，由于步骤2.1只需要采集rgb图像，而已有技术中基于超光谱图像和已知光照的反射率重建方法需要采集超光谱图像，因此本发明的采集过程更简单、采集速度更快。
附图说明
图1是本发明中基于rgb图像的超光谱反射率重建方法的流程图。
图2是使用本发明的超光谱反射率重建方法进行rgb图像重光照的示意图。
图3是本发明中超光谱反射率重建方法的流程示意图。
具体实施方式
为了更好的说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
实施例1：
本实施例公开的一种基于rgb图像的超光谱反射率重建方法，分为训练阶段和使用阶段。训练阶段在超光谱图像反射率的训练集中，把超光谱反射率映射到rgb颜色空间，并根据rgb的值求解每个像素的色度；根据每个像素的色度对像素进行聚类；对每个聚类中的像素反射率使用字典学习得到反射率的稀疏字典；把稀疏字典映射到rgb空间得到rgb字典。使用阶段对采集的rgb图像进行白平衡；求解白平衡后图像每个像素点的色度，并根据色度寻找每个像素点所属聚类；对于每个聚类中的像素点，使用该聚类的rgb字典进行有约束稀疏编码；根据聚类的反射率字典和稀疏编码，重建像素的超光谱反射率。本实施例的流程图如图1所示。
传统的rgb相机拍摄的彩色图像，通常被视为对超光谱图像在光谱域的下采样。这个下采样操作通常用rgb相机的光谱响应曲线表示，相机光谱响应曲线常被相机厂商提供在工业相机的技术说明中。场景的超光谱图像由场景的超光谱反射率以及场景光决定。因此，如果假设场景中的光照均匀，且场景中的物体都具有朗伯表面，那么rgb相机拍摄的图像可以表示为：y＝cls，其中y表示rgb图像，c表示rgb相机的光谱响应曲线，l表示场景光照，s表示场景的超光谱反射率。在rgb相机的光谱响应曲线和场景的超光谱反射率已知的情况下，可以对场景进行任意的重光照，得到目标重光照rgb图像。本实施例的方法假设rgb相机的光谱响应曲线已知，根据场景的rgb图像对场景超光谱反射率进行估计，从而实现重光照过程。rgb图像重光照过程的流程示意图如图2所示。
近年来的研究表明，场景中任何像素的反射率都可以用少量基(basis)的线性组合近似表示。因此，场景的超光谱反射率可以表示为：s＝da，其中d通常称为稀疏字典，它的每一列被称为字典信号(signature)，a通常称为稀疏编码，它的每一列都是“稀疏”的，即只有少量几个元素不为0。
现有技术中的超光谱反射率重建方法，根据以上分析，在超光谱反射率的训练集中得到一个稀疏字典，再对场景中的每一个像素进行稀疏编码的求解。这种针对独立像素点的求解方法忽略了以下事实：反射率在一定空间范围内通常是连续变化的；如果像素点在rgb空间中颜色相近，那么它们的反射率也应该具有高相似性。本实施例中的超光谱反射率重建方法综合了已有技术中基于稀疏表达的技术，同时利用了像素的空间连续性、rgb空间颜色与光谱反射率的对应关系，从而提高了超光谱反射率的重建精度，也提高了重光照等多媒体应用的视觉效果，本实施例的超光谱反射率重建过程如图3所示。本实施例的详细内容如下。
本实施例公开的一种基于rgb图像的超光谱反射率重建方法，分为训练和使用两个阶段，包括如下步骤：
步骤一：训练阶段用于根据像素色度得到聚类以及每个聚类的稀疏字典和rgb稀疏字典；
步骤1.1：对训练集中像素点的超光谱反射率使用映射函数进行颜色空间映射，得到像素点对应的色度。
对训练集合中的所有超光谱反射率像素点，使用如公式(1)所示的映射函数映射到rgb空间，再使用如公式(2)所示的映射函数从rgb空间映射到色度空间：
y＝cs(1)
其中y是一个3行m列的实矩阵，是向量化表示的rgb空间像素集合，它的每一列表示一个3通道的像素点。c是一个3行b列的实矩阵，表示b个光谱通道到rgb通道的变换矩阵。s是一个b行m列的实矩阵，是向量化表示的超光谱像素反射率集合。q∈{r,g,b}表示3个颜色通道，
步骤1.2：根据色度值，使用聚类算法对所有的像素点进行聚类。
所述的聚类算法优选：k-均值聚类(详见hartiganja,wongma.algorithmas136:ak-meansclusteringalgorithm[j].journaloftheroyalstatisticalsociety.seriesc(appliedstatistics),1979,28(1):100-108.)，谱聚类，层次聚类，模糊聚类，dbscan聚类。
步骤1.3：使用字典学习得到步骤1.2中每个聚类的稀疏字典。
对每一个聚类中的像素点使用如公式(3)所示的优化方程进行稀疏字典学习。
其中：tk是第k个聚类中像素点反射率的向量表示，dk是所求稀疏字典，bk是稀疏编码且满足bk≥0,dk≥0，||·||f表示矩阵的弗罗宾尼斯(frobenius)范数，||·||1表示矩阵的1范数。
字典学习方法优选：k-svd算法(详见aharonm,eladm,brucksteina.k-svd:analgorithmfordesigningovercompletedictionariesforsparserepresentation[j].ieeetransactionsonsignalprocessing,2006,54(11):4311-4322.)，最佳方向(mod)法，在线字典学习(odl)法，主成分分析(pca)法，顶点成分分析(vca)法。
步骤1.4：对步骤1.3中的稀疏字典使用颜色空间映射得到对应rgb字典。
将步骤1.3中获得的每个聚类的反射率字典，通过如公式(4)所示的映射函数映射到rgb空间：
hk＝cdk
其中hk是第k个聚类的rgb字典。
步骤二：使用阶段利用步骤一中得到的聚类和稀疏字典、rgb字典，重建像素的超光谱反射率。
步骤2.1：对彩色相机采集到的rgb图像进行白平衡处理。
所述的白平衡处理方法优选：灰度世界(grey-world)法，最大rgb(max-rgb)法，灰色阴影(shadesofgrey)法，灰色边缘(grey-edge)法。白平衡方法的原理详见(vandeweijerj,geverst,gijsenija.edge-basedcolorconstancy[j].ieeetransactionsonimageprocessing,2007,16(9):2207-2214.)
步骤2.2：对白平衡后的rgb图像使用如公式(2)所示方法得到每个像素点对应色度。
步骤2.3：根据步骤2.2得到的色度计算每个像素点所属聚类。
计算图像中每个像素的色度与训练得到的每个聚类中心色度的距离，寻找距离最小的聚类作为该像素所属聚类。
距离定义优选：欧式距离，曼哈顿距离，切比雪夫距离，闵可夫斯基距离，标准化欧氏距离，马氏距离，夹角余弦，海明距离，杰卡德距离，相关系数，信息熵。
步骤2.4：根据步骤2.3得到的聚类以及每个聚类的rgb字典求解稀疏编码。
对于步骤2.3中每个聚类中的像素点，使用rgb字典进行有约束稀疏编码，稀疏编码通过公式(5)中的优化方程进行求解：
其中，ak表示第k个聚类中像素的稀疏编码且满足ak>0，
其中，dkαm,n表示空间坐标m在集合ωm中的一个相似像素点，集合ωm表示m的空间邻域，wm,n表示权重，wm,n的计算方法如公式(7)所示：
其中，w表示标准化因子，h是一个预定义的标量，
公式(5)的优化方程求解方法优选：正交匹配追踪(omp)算法，最小角回归(lars)算法，迭代软阈值(ista)算法，交替方向乘子(admm)算法(详见daubechiesi,defrisem,demolc.aniterativethresholdingalgorithmforlinearinverseproblemswithasparsityconstraint[j].communicationsonpureandappliedmathematics,2004,57(11):1413-1457.)。
步骤2.5：根据步骤2.4中的稀疏编码和步骤一中得到的稀疏字典，利用公式(7)重建光谱反射率。
sk＝dkak
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！