一种可见光图像和全色图像合成方法及装置与流程

本申请实施例涉及图像处理技术领域，特别涉及一种可见光图像和全色图像合成方法及装置。

背景技术

在某些拍摄场景中，拍摄能获取同一场景的可见光图像和全色图像。其中，可见光图像为r/g/b三个通道构成，其具有较高的光谱分辨率，包含丰富的颜色信息；全色图像只有一个p通道，其具有较高的空间分辨率，由于全色图像对可见光的所有波长入射光敏感性高，进而提高了对光线亮度的灵敏度，因此，通过将可见光图像和全色图像进行合成，可以获得丰富颜色信息的高空间分辨率的图像。

现有技术中，将可见光图像和全色图像进行合成的方法主要采用brovey变换法，它是将rgb影像显示进行多光谱波段颜色归一化，将高分辨率全色与各自相乘完成融合，计算公式如下：

r_out＝3*[r_in/(b_in+g_in+r_in)]*p_in

g_out＝3*[g_in/(b_in+g_in+r_in)]*p_in

b_out＝3*[b_in/(b_in+g_in+r_in)]*p_in

其中，r_in、g_in、b_in为多光谱影像的三个波段输入，p_in为高分辨率全色影像，r_out、g_out、b_out为变换融合后的三个波段输出。

虽然采用brovey变换法较为简单，但采用此方法进行拍摄的图像往往会存在随机噪声，这种噪声随着时间的变化表现出一种随机的特性，使得信噪比较低，影响图像的质量，如果想滤除随机噪声，必须要将不同时刻拍摄的图像求平均值，逐步提高信噪比，其过程复杂繁琐，且滤除效果不佳。

技术实现要素：

本申请提供了一种可见光图像和全色图像合成方法及装置，已解决现有技术获得高分辨率图像时信噪比低，随机噪声无法有效滤除等问题，并且本申请提供的在减弱图像噪声的基础上，保持了图像的颜色特性，合成过程稳定快速。

本申请提供了一种可见光图像和全色图像合成方法，所述方法包括输入可见光图像im_rgb及全色图像im_p；

将所述可见光图像im_rgb转到ycbcr空间，得到转换后图像im_ycbcr；所述转换后图像im_ycbcr包括亮度分量im_y图像，颜色分量im_cb图像和颜色分量im_cr图像；

将所述亮度分量im_y图像和所述全色图像im_p合成，得到亮度分量输出图像im_y_out；

获取合成后图像im_ycbcr_out；

将所述合成后图像im_ycbcr_out转回到rgb空间，得到输出图像im_rgb_out；

将输出图像im_rgb_out输出。

可选的，所述将所述可见光图像im_rgb转到ycbcr空间，得到转换后图像im_ycbcr采用下述转换公式：

其中，r、g、b分别为可见光图像im_rgb的三个通道，y为亮度分量im_y，cb为颜色分量im_cb，cr为颜色分量im_cr。

可选的，所述将所述亮度分量im_y图像和所述全色图像im_p合成，得到亮度分量输出图像im_y_out的步骤中，所述亮度分量输出图像im_y_out采用求平均值的方法，通过公式im_y_out＝(im_y+im_p)/2计算得出。

可选的，所述合成后图像im_ycbcr_out包括三个通道im_ycbcr_out(1)，im_ycbcr_out(2)和im_ycbcr_out(3)；其中，im_ycbcr_out(1)为所述亮度分量输出图像im_y_out，im_ycbcr_out(2)为颜色分量im_cb图像，im_ycbcr_out(3)为颜色分量im_cr图像。

可选的，所述将所述合成后图像im_ycbcr_out转回到rgb空间，得到输出图像im_rgb_out采用下述转换公式：

其中，r、g、b分别为输出图像im_rgb_out的三个通道，y、cb、cr为合成后图像im_ycbcr_out的三个分量。

本申请还提供了一种可见光图像和全色图像合成装置，所述装置包括：

图像输入模块，用于输入可见光图像im_rgb及全色图像im_p；

空间转换模块，用于将可见光图像im_rgb转到ycbcr空间，以及将合成后图像im_ycbcr_out转回到rgb空间；

图像合成模块，用于将亮度分量im_y图像和全色图像im_p合成；

图像输出模块，用于将输出图像im_rgb_out输出。

可选的，所述空间转换模块包括计算器，所述计算器配置转换公式执行图像转换，所述转换公式包括：

其中，r、g、b分别为可见光图像im_rgb的三个通道，y为亮度分量im_y，cb为颜色分量im_cb，cr为颜色分量im_cr；

所述转换公式还包括：

其中，r、g、b分别为输出图像im_rgb_out的三个通道，y、cb、cr为合成后图像im_ycbcr_out的三个分量。

可选的，所述图像合成模块包括运算器，所述运算器配置公式im_y_out＝(im_y+im_p)/2，计算得出亮度分量输出图像im_y_out。

由以上技术方案可知，本申请实施例提供了一种可见光图像和全色图像合成方法及装置，方法包括输入可见光图像im_rgb及全色图像im_p；将所述可见光图像im_rgb转到ycbcr空间，得到转换后图像im_ycbcr；所述转换后图像im_ycbcr包括亮度分量im_y图像，颜色分量im_cb图像和颜色分量im_cr图像；将所述亮度分量im_y图像和所述全色图像im_p合成，得到亮度分量输出图像im_y_out；获取合成后图像im_ycbcr_out；将所述合成后图像im_ycbcr_out转回到rgb空间，得到输出图像im_rgb_out；将输出图像im_rgb_out输出；装置包括图像输入模块、空间转换模块、图像合成模块及图像输出模块。本申请提供的一种可见光图像和全色图像合成方法和装置将亮度分量和全色图像通过求平均值的方法进行合成，在保持高空间分辨率的前提下，滤除了随机噪声，提高了合成图像的信噪比，并且，本申请的方案在针对具有丰富颜色信息的图像时，能更好地保持图像的颜色特性。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一种可见光图像和全色图像合成方法的流程图；

图2为本申请一种实施例下的图像输出分解图。

具体实施方式

参见图1，为本申请一种可见光图像和全色图像合成方法的流程图；

由图1可知，本申请实施例提供了一种可见光图像和全色图像合成方法，所述方法包括：

s10：输入可见光图像im_rgb及全色图像im_p；在本实施例中，输入的可见光图像im_rgb及全色图像im_p为同一场景同一时刻的图像。

s20：将所述可见光图像im_rgb转到ycbcr空间，得到转换后图像im_ycbcr；所述转换后图像im_ycbcr包括亮度分量im_y图像，颜色分量im_cb图像和颜色分量im_cr图像；

进一步的，在本实施例中，当可见光图像im_rgb转到ycbcr空间后，分离出y通道、cb通道及cr通道，其中y通道图像im_y代表了亮度分量，包含了可见光图像的亮度灰度值等信息，具有较低的空间分辨率；cb通道图像im_cb及cr通道图像im_cr分别代表了蓝色色差和红色色差信息，二者包含了可见光图像的所有颜色信息。

s30：将所述亮度分量im_y图像和所述全色图像im_p合成，得到亮度分量输出图像im_y_out；

进一步的，在本实施例中，由于全色图像im_p只有一个通道p，其中包含了较高空间分辨率的亮度灰度值信息，将全色图像im_p与代表亮度分量的im_y图像进行合成，在保证较高空间分辨率的前提下，去掉图像中的随机噪声，提高信噪比。

s40：获取合成后图像im_ycbcr_out；具体的，所述合成后图像im_ycbcr_out包括三个通道im_ycbcr_out(1)，im_ycbcr_out(2)和im_ycbcr_out(3)；其中，im_ycbcr_out(1)为所述亮度分量输出图像im_y_out，im_ycbcr_out(2)为颜色分量im_cb图像，im_ycbcr_out(3)为颜色分量im_cr图像。由于合成后图像中im_ycbcr_out，代表颜色分量的图像未经合成处理，其包含原有图像的所有颜色信息，因此在将合成后图像转回到原空间中时，图像的颜色特性丝毫没有受到影响，有效避免了常规合成方法中图像颜色信息丢失等现象的发生。

s50：将所述合成后图像im_ycbcr_out转回到rgb空间，得到输出图像im_rgb_out；

s60：将输出图像im_rgb_out输出。

可选的，所述将所述可见光图像im_rgb转到ycbcr空间，得到转换后图像im_ycbcr采用下述转换公式：

其中，r、g、b分别为可见光图像im_rgb的三个通道，y为亮度分量im_y，cb为颜色分量im_cb，cr为颜色分量im_cr。利用上述转换公式，将所述可见光图像im_rgb分离成三个代表不同分量的图像，以进行后续步骤的合成操作。

可选的，所述将所述亮度分量im_y图像和所述全色图像im_p合成，得到亮度分量输出图像im_y_out的步骤中，所述亮度分量输出图像im_y_out采用求平均值的方法，通过公式im_y_out＝(im_y+im_p)/2计算得出。

具体的，图像中的噪声可以通过计算信噪比进行客观评价，也可以通过人眼主观观察。未合成图像的噪声点呈现随机分布的特征。当对两图像进行合成时，图像中的所有像素点求平均值，由于噪声点的随机分布，大部分的噪声点将会与非噪声点合成，因此会滤除这一部分噪声点，从而提高了信噪比。

可选的，所述将所述合成后图像im_ycbcr_out转回到rgb空间，得到输出图像im_rgb_out采用下述转换公式：

其中，r、g、b分别为输出图像im_rgb_out的三个通道，y、cb、cr为合成后图像im_ycbcr_out的三个分量。利用上述转换公式，将所述合成后图像的三个通道合并为一个图像准备输出。

由以上技术方案可知，本申请实施例提供了一种可见光图像和全色图像合成方法，下面，根据本申请提供的方法的一个可行实施例对图像的输出过程进行说明：

参见图2，为本申请一种实施例下的图像输出分解图。

由图2可知，在本实施例中，首先向设备中同时输入拍摄到的可见光图像im_rgb及全色图像im_p，设备对接收到的可见光图像im_rgb率先进行处理，通过转到ycbcr空间使可见光图像im_rgb分解成亮度分量im_y图像、颜色分量im_cb图像、颜色分量im_cr图像三个部分；然后，设备将其中的亮度分量im_y图像与全色图像im_p合成亮度分量输出图像im_y_out，并将合成的亮度分量输出图像im_y_out作为合成后图像im_ycbcr_out的其中一个通道，另外两个通道即为颜色分量im_cb图像、颜色分量im_cr图像；最后，将三个通道构成合成后图像im_ycbcr_out，并转回到rgb空间，得到输出图像im_rgb_out并输出。

由以上技术方案可知，本申请实施例提供了一种可见光图像和全色图像合成方法，包括输入可见光图像im_rgb及全色图像im_p；将所述可见光图像im_rgb转到ycbcr空间，得到转换后图像im_ycbcr；所述转换后图像im_ycbcr包括亮度分量im_y图像，颜色分量im_cb图像和颜色分量im_cr图像；将所述亮度分量im_y图像和所述全色图像im_p合成，得到亮度分量输出图像im_y_out；获取合成后图像im_ycbcr_out；将所述合成后图像im_ycbcr_out转回到rgb空间，得到输出图像im_rgb_out；将输出图像im_rgb_out输出；本申请提供的一种可见光图像和全色图像合成方法将亮度分量和全色图像通过求平均值的方法进行合成，在保持高空间分辨率的前提下，滤除了随机噪声，提高了合成图像的信噪比，并且，本申请的方案在针对具有丰富颜色信息的图像时，能更好地保持图像的颜色特性。

本申请还提供了一种可见光图像和全色图像合成装置，所述装置包括：

图像输入模块，用于输入可见光图像im_rgb及全色图像im_p；

空间转换模块，用于将可见光图像im_rgb转到ycbcr空间，以及将合成后图像im_ycbcr_out转回到rgb空间；

图像合成模块，用于将亮度分量im_y图像和全色图像im_p合成；

图像输出模块，用于将输出图像im_rgb_out输出。

可选的，所述空间转换模块包括计算器，所述计算器配置转换公式执行图像转换，所述转换公式包括：

其中，r、g、b分别为可见光图像im_rgb的三个通道，y为亮度分量im_y，cb为颜色分量im_cb，cr为颜色分量im_cr；

所述转换公式还包括：

其中，r、g、b分别为输出图像im_rgb_out的三个通道，y、cb、cr为合成后图像im_ycbcr_out的三个分量。

可选的，所述图像合成模块包括运算器，所述运算器配置公式im_y_out＝(im_y+im_p)/2，计算得出亮度分量输出图像im_y_out。

由以上技术方案可知，本申请提供了一种可见光图像和全色图像合成装置，包括图像输入模块，用于输入可见光图像im_rgb及全色图像im_p；空间转换模块，用于将可见光图像im_rgb转到ycbcr空间，以及将合成后图像im_ycbcr_out转回到rgb空间；图像合成模块，用于将亮度分量im_y图像和全色图像im_p合成；图像输出模块，用于将输出图像im_rgb_out输出。。本申请提供的一种可见光图像和全色图像合成方法和装置将亮度分量和全色图像通过求平均值的方法进行合成，在保持高空间分辨率的前提下，滤除了随机噪声，提高了合成图像的信噪比，并且，本申请的方案在针对具有丰富颜色信息的图像时，能更好地保持图像的颜色特性。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。