施例中，步骤SlOl，所述基于向量中值法对RGB-NIRRAW图像进行解马赛 克处理，得到RGB和近红外NIR图像，包括：
[0069]步骤Slll，利用第一像素集合的光谱颜色信息构成所述第一像素的腺隹向量；
[0070] 运里，所述第一像素为所述RGB-NIRRAW图像中的每一个像素，所述第一像素集合 为所述第一像素周围的像素，所述N为光谱颜色分量的数目；
[0071] 运里，所述步骤Slll，所述利用第一像素周围的像素的光谱颜色信息构成所述第 一像素的每一个光谱颜色分量的向量，包括：
[0072] 步骤S1111，按照水平和对角线查找方式、或垂直和水平查找方式确定所述第一像 素集合；
[0073] 步骤Sl112，获取第一像素集合的光谱颜色信息；
[0074] 步骤Sl113,利用第一像素集合的光谱颜色信息构成所述第一像素的每一个光谱 颜色分量的向量。
[0075] 步骤Sl12，根据所述N维向量中每一维向量的元素值确定对应的向量的中值；
[0076] 步骤Sl13,将所述第一像素的N维向量对应的N个中值组成N维中值向量X= 1x1，. . .?}，其中Xi为腺隹向量中第i个向量的中值，1 <i<N;
[0077] 步骤Sl14,按照
将X= {xi, . . .Xn}转换为y= {r， 4I,... <K-i};
[007引步骤S115,对N-I维向量{ (61,... (K-i}进行二维中值滤波；
[0079] 步骤S116,将滤波后的值在N维欧式空间里根据
对每个向量计算得到成X= ?{完1，...；》即为最终像素向量。
[0080] 本法实施例中，步骤S112,所述根据所述N维向量中每一维向量的元素值确定所述 第一像素的腺隹向量的中值，包括：
[0081] 步骤Sl121，对于每一向量中的元素XI，计算其和邻域元素Xj的一维距离 扣' 占 扔二打I不-Xjj|:，/ = 1，....-W和二维距离巧=Xlkf-Mb'ki，....W求其和即Si,即Si M片' ，： =Sii+S2i;
[0082] 步骤SI122，将所述Si中的最小值所对应的元素Xi确定为对应向量的中值。
[0083]本发明实施例提供的技术方案，由于不需要红外图像传感器，不仅节省了相应的 生产成本，而且节省硬件空间，不在分别需要红外及可见光两个图像传感器去获得相应图 像;通过一次拍照就可W获得可见光及红外两幅图像，为后续其他相关的图像处理操作提 供了极大的方便，节约时间和人力成本。
[0084] 实施例二
[0085]传统的CFA工作方式是在图像传感器忍片上锻一层色彩滤波膜，一般为Bayer模 式，即RGG抽巧U，该滤波膜只能允许相应颜色谱的光谱信息通过，所W最终每个像素只能获 取一个颜色信息，而缺失另外两个颜色信息，运时候得到的是一幅RAW图即马赛克图。为了 得到全彩色的图像，需要利用其周围像素点的色彩信息来估计出缺失的另外两种颜色，运 种处理叫作色彩插值，也称作解马赛克。本发明实施例提出的一种新型颜色滤波矩阵，将传 统Bayer模式中的RGGB中的某个G分量替换为NIR分量，其中图2-1为本发明实施例RGB-NIR 分布示意图，如图2-1所示，图2-1的a图为传统Bayer模式中的RGGB的分布示意图，图2-1的b 图为本发明实施例中RGB-NIR的分布示意图，从图2-1可W看出，本发明实施例将传统Bayer 模式中的RGGB中的某个G分量替换为NIR分量。在获取到通过RBG-NIR颜色滤波阵列的RAW图 (如图2-2所示)后，通过相应的插值算法最终获取RGB和近红外NIR两幅全尺寸图像。
[0086]基于图2-1所示的RGB-NIR分布，本发明实施例基于向量中值法对原始的多光谱 RGB-NIRRAW图像进行解马赛克处理，该解马赛克处理过程包括：
[0087]首先，对每个像素在其周围像素内寻找其伪像素构成向量，寻找规则按垂直、水平 或对角线任意组合查找均可（图2-3所示）；例如在上图2-2中，已知编号22的像素块为B通道 像素，为了求出编号22像素块上其它R、G、NIR通道值，使用垂直水平方法寻找B22点周围8个 像素构成如下伪像素向量组合：
I2-1J；
[0089]然后，在对每个光谱颜色分量(R、G、B、NIR)使用伪像素向量表示后可进行插值，具 体步骤如下：
[0090] 1 )对于每个向量中的元素X1，计算其和邻域元素XJ的一维距离 蘇 ^ 公,-,' =UuiV和二维距离S',.二幻，/ = 1，，,，':W求其和即Si,即Si 卢 1 尸I '， =SWio
[0091]2)找出Si中的最小值所对应的元素Xi，即为该向量中值。
[0092] 3)分别求出该像素块上各个光谱颜色所对应的向量中值组成X=Ixi, .. .xn};
[0093] 其中，N表示每个像素块对应的颜色光谱个数，如编号22块对应N= 4,即（R、G、B、 NIR)而后按如下公式1转换为y={r，d) 1，. . . (K-i};
[009引4)对N-I维向量{ (61, ... (K-i}进行二维中值滤波；
[0096] 5)将滤波后的值在N维欧式空间里(N= 4)根据公式(2-3)对每个向量计算得到成 义=沁，…义》}即为最终像素向量。
[0098]本发明实施例中，基于G-NIR的替代方案还提出了一种新的针对该多光谱模式的 颜色插值方法，从而可W在一次拍照的情况下，同时获得可见光RGB及近红外NIR共两张全 尺寸图像，其中基于向量中值法对原始的多光谱RGB-NIRRAW图像进行解马赛克处理，即对 每个像素在其周围像素内寻找其伪像素构成向量，寻找规则按垂直、水平或对角线任意组 合查找均可，得到全尺寸的RGB和近红外NIR两张全尺寸图像。可见，本发明实施例中，由于 不需要红外图像传感器，因而同时节省了相应的生产成本;通过一次拍照就可W获得可见 光及红外两幅图像，为后续其他相关的图像处理操作提供了极大的方便，节约时间和人力 成本。
[0099] 实施例S
[0100] 基于前述的方法实施例，本发明实施例再提供一种图像处理装置，该装置所包括 的各单元，W及各单元所包括的各模块，W及各模块所包括的各子模块，都可W通过终端中 的处理器来实现，当然也可通过具体的逻辑电路实现;在具体实施例的过程中，处理器可W 为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程口阵列(FPGA) 等。
[0101] 图3为本发明实施例=图像处理装置的组成结构示意图，如图3所示，该装置300包 括获取单元301和解马赛克单元302,其中：
[0102] 所述获取单元，用于利用RGB-NIR图像传感器获取RGB-NIRRAW图像；
[0103]所述解马赛克单元，用于基于向量中值法对RGB-NIRRAW图像进行解马赛克处理， 得到RGB和近红外NIR图像。
[0104]本发明实施例中，所述解马赛克单元302进一步包括构成模块、确定模块、组成模 块、转换模块、滤波模块和计算模块，其中：
[0105]所述构成模块，用于利用第一像素集合的光谱颜色信息构成所述第一像素的N维 向量，所述第一像素为所述RGB-NIRRAW图像中的每一个像素，所述第一像素集合为所述第 一像素周围的像素，所述N为光谱颜色分量的数目；
[0106]所述确定模块，用于根据所述N维向量中每一维向量的元素值确定对应的向量的 中值；
[0107]所述组成模块，用于将所述第一像素的N维向量对应的N个中值组成N维中值向量X = {xi,. ..XnK其中Xi为腺隹向量中第i个向量的中值，1<i<N;
[010引所述转换模块，用于按照将X={xi，. ..Xn}转换为y= (r, 41,. . . <K-i};
[0109]所述滤波模块，用于对N-I维向量{ (61,... (K-i}进行二维中值滤波；
[0110] 所述计算模块，用于将滤波后的值在N维欧式空间里根据
对每个向量计算得到成；二存1，...即为最终 像素向量。
[0111] 本发明实施例中，所述构成模块包括确定子模块、获取子模块和构成子模块，其 中：
[0112] 所述确定子模块，用于按照水平和对角线查找方式、或垂直和水平查找方式确定 所述第一像素集合；
[0113]所述获取子模块，用于获取第一像素集合的光谱颜色信息；
[0114]所述构成子模块，用于利用第一像素集合的光谱颜色信息构成所述第一像素的每 一个光谱颜色分量的向量。
[0115]本发明实施例，所述确定模块包括计算子模块和确定子模块，其中：
[0116]所述计算子模块，用于对于每一向量中的元素XI，计算其和邻域元素Xj的一维距离 N.: 气 约 扔:二玄||兩-^4，{' = 1，...成和二维距离於=完11乂,'-义/112，''二1.....~求其和即51，即51 ',;'=1 M , =s\+s^；
[0117]所述确定子模块，用于将所述Si中的最小值所对应的元素Xi确定为对应向量的中 值。
[0118]运里需要指出的是：W上装置实施例的描述，与上述方法实施例的描述是类似的， 具有同方法实施例相似的有益效果，因此不做寶述。对于本发明装置实施例中未披露的技 术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再寶述。
[0119]实施例四
[0120] 基于前述的方法实施例，本发明实施例再提供一种终端，图4为本发明实施例四终 端的组成结构示意图，如图4所示，该终端400包括RGB-NIR图像传感器401、存储器402和处 理器403,其中：
[0121] 所述RGB-NIR图像传感器401，为将BayerRGGB模式中的一个G分量替换为NIR分量 而得到的RGB-NIR图像传感器；
[0122] 所述RGB-NIR图像传感器401，用于获取RGB-NIRRAW图像；
[0123] 所述存储器402,用于存储所述RGB-NIRRAW图像；
[0124] 所述处理器403,用于利用所述RGB-NIR图像传感器获取RGB-NIRRAW图