一种Bayer域图像下采样的方法、装置及摄像设备的制作方法
【专利摘要】本发明公开了一种Bayer域图像下采样方法、装置及摄影设备，下采样方法包括以下步骤：采集一Bayer域图像；对所述Bayer域图像的每一像素点进行插值处理，插值出缺失的另外两通道像素值；对所述插值处理后的Bayer域图像进行下采样处理，得到下采样处理后的Bayer域图像；输出所述下采样处理后的Bayer域图像给后续图像处理单元进行图像处理。通过在图像采集单元与图像处理单元之间设置插值单元和下采样单元，首先利用插值技术，对图像传感器输入的Bayer图像的每一像素点插值出缺失的另外两通道像素值，提高图像采样率；然后对插值的Bayer图像进行下采样，获得目标尺寸的Bayer图像，节省后续图像处理单元的硬件实现成本，同时达到较高的图像质量。
【专利说明】一种Bayer域图像下采样的方法、装置及摄像设备
【技术领域】
[0001]本发明涉及视频图像处理领域，尤其涉及一种能有效节省视频摄像系统硬件实现成本，同时获得较高的图像质量的Bayer域图像下采样的方法、装置及摄像设备。
【背景技术】
[0002]在标准的视频摄像系统中，如图1所示，图像采集单元21通过图像传感器采集RGBBayer域图像，图像处理单元22 (ISP)对Bayer域图像进行图像效果处理,输出目标图像给存储或显示终端23。图像处理单元22通常涉及到图像2D降噪、3D降噪，去马赛克处理、图像色彩空间转换、图像增强等处理，在这些图像处理中需要若干的行缓存以及帧缓存。这些缓存通常消耗较高的硬件实现成本。
[0003]目前图像传感器多具有较高的有效像素(如8M或5M像素图像传感器)，但是在终端存储或显示通常只需要较小的图像尺寸，如果仍然采用图1的框架，对Bayer域图像进行ISP处理，则需要较大的行缓存以及帧缓存，必然增加硬件实现成本。为了能够实现较小输出幅面，大多图像传感器都具有Bayer域图像下采样(Binning)功能,但是传感器的下采样功能只是将邻域里相同通道的像素进行简单的加权滤波，然后输出目标幅面，并且传感器的采样功能通常只能实现整数倍下采样。下采样能有效降低后续ISP处理的硬件实现成本，但是通常会带来图像质量下降，譬如会导致明显的图像边缘锯齿，以及牺牲图像分辨率。
[0004]在图像采集单元21采用较大幅面传感器时，为了节省图像处理单元22的硬件实现成本，需要对Bayer域图像进行下采样处理，同时需要保证图像质量。
【发明内容】
[0005]本发明所要解决的技术问题是提供一种实现图像下采样，节省后续ISP处理的硬件实现成本，同时达到较高的图像质量的Bayer域图像下采样的方法及装置。
[0006]为实现上述技术效果，本发明公开了一种Bayer域图像下采样方法，包括以下步骤:
[0007]采集一 Bayer域图像；
[0008]对所述Bayer域图像的每一像素点进行插值处理，插值出缺失的另外两通道像素值；
[0009]对所述插值处理后的Bayer域图像进行下采样处理，得到下采样处理后的Bayer域图像；
[0010]输出所述下采样处理后的Bayer域图像给后续图像处理单元进行图像处理。
[0011]所述方法进一步的改进在于，所述插值处理包括以下步骤:
[0012]计算R和/或B通道处缺失的G通道像素值，插值R像素位置、B像素位置缺失的G通道像素值；
[0013]利用G-R或G-B间的像素差值进行R和/或B通道插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，插值G通道处缺失的R和B通道
像素值。
[0014]所述方法进一步的改进在于，所述下采样处理包括以下步骤:
[0015]确定下采样后的Bayer域图像中的位置及该位置处的通道类型，计算映射在下采样前的Bayer域图像中的位置；
[0016]确定插值数据窗，经过插值滤波得到所述下采样后的Bayer域图像中的位置处的通道像素值，从而得到下采样处理后的Bayer域图像。
[0017]所述方法进一步的改进在于，所述插值滤波的方式包括双线性插值滤波、样条插值、三次多项式插值、非参数核函数插值。
[0018]本发明还公开了一种Bayer域图像下采样装置，设置于图像采集单元与图像处理单元之间，所述Bayer域图像下采样装置包括相互连接的一插值单元和一下采样单元，所述插值单元连接所述图像采集单元，所述下采样单元连接所述图像处理单元。
[0019]所述装置进一步的改进在于，所述插值单元包括相互连接的一 G通道插值单元和一 R/B通道插值单元，所述G通道插值单元连接所述图像采集单元，所述R/B通道插值单元连接所述下采样单元。
[0020]本发明还公开了一种摄像设备，包括一图像采集单元、一图像处理单元和一存储或显示终端，所述图像采集单元连接所述图像处理单元的输入端，所述显示终端连接所述图像处理单元的输出端，所述图像采集单元与图像处理单元之间还连接有一 Bayer域图像下采样装置，所述Bayer域图像下采样装置进一步包括相互连接的一插值单元和一下采样单元，所述插值单元连接所述图像采集单元，所述下采样单元连接所述图像处理单元。
[0021]所述摄像设备进一步的改进在于，所述插值单元包括相互连接的一 G通道插值单元和一 R/B通道插值单元，所述G通道插值单元连接所述图像采集单元，所述R/B通道插值单元连接所述下采样单元。
[0022]本发明由于采用了以上技术方案，使其具有以下有益效果是:通过在图像采集单元与图像处理单元之间设置插值单元和下采样单元，首先利用插值技术，对图像传感器输入的Bayer图像的每一像素点插值出缺失的另外两通道像素值，提高图像采样率；然后对插值的Bayer图像进行下采样,获得目标尺寸的Bayer图像,节省后续图像处理单元的硬件实现成本，同时达到较高的图像质量。
【专利附图】
【附图说明】
[0023]图1是现有的摄像系统的结构框图。
[0024]图2是本发明摄像设备的结构框图。
[0025]图3?图6是四种Bayer域图像格式。
[0026]图7是本发明Bayer域图像下采样装置的结构示意图。
[0027]图8是本发明Bayer域图像下采样方法中插值单元数据窗示意图。
[0028]图9是本发明Bayer域图像下采样方法中双线性插值数据窗示意图。
[0029]图10是本发明Bayer域图像下采样方法的一较佳实施例的流程图。
【具体实施方式】[0030]下面结合附图以及【具体实施方式】对本发明作进一步详细的说明。
[0031]首先参阅图2所示，本发明的Bayer域图像下采样装置10设于摄像设备的图像采集单元11与图像处理单元12之间，Bayer域图像下采样装置10的输入端连接图像采集单元11，其输出端连接图像处理单元12，对图像采集单元11的图像传感器输入的Bayer图像下采样，获得目标尺寸的Bayer图像，节省后续图像处理单元12的硬件实现成本，同时达到较高的图像质量。图像处理单元12进一步连接一存储或显示终端13。图像处理单元12内依次包含有图像前处理、去马赛克、图像后处理以及图像下采样。图像采集单元11内的图像传感器输采集的Bayer域图像通常有四种格式，如图3~图6所示，GRBG格式、GBRG格式、RGGB格式以及BGGR格式。Bayer域图像下采样装置10中输入的Bayer域图像可以是四种格式中的一种，输出也可选择为四种格式中的一种。
[0032]由于直接在Bayer域上进行图像下采样，Bayer图像采样率较低，R、G、B像素通道的相位各不相同，在边界处易导致锯齿现象，同时锐度较高的地方会产生较为明显的假色现象。因此，需要利用插值技术，对每一像素点插值出缺失的另外两通道像素值，提高图像采样率。配合图7所示，本发明的Bayer域图像下采样装置10包括一插值单元101和一下采样单元104,插值单元101与下采样单元104相互连接,插值单元101进一步包括相互连接的一 G通道插值单元102和一 R/B通道插值单元103，并且R/B通道插值单元103连接下采样单元104。
[0033]G通道插值单元102用于计算R/B通道处缺失的G通道像素值。配合图8所示，采用5x5的数据窗为例说明G通道插值技术，采用边界自适应的插值方式计算R12位置处的G12通道像素值，具体计算见如下公式(I)。同理可计算B位置处G像素值。在实际应用中可以根据需求选取不同的数据窗以及采用不同的G通道插值方法。
【权利要求】
1.一种Bayer域图像下采样方法，其特征在于所述方法包括以下步骤: 采集一 Bayer域图像； 对所述Bayer域图像的每一像素点进行插值处理，插值出缺失的另外两通道像素值； 对所述插值处理后的Bayer域图像进行下采样处理，得到下采样处理后的Bayer域图像； 输出所述下采样处理后的Bayer域图像给后续图像处理单元进行图像处理。
2.如权利要求1所述的方法，其特征在于所述插值处理包括以下步骤: 计算R和/或B通道处缺失的G通道像素值，插值R像素位置、B像素位置缺失的G通道像素值； 利用G-R或G-B间的像素差值进行R和/或B通道插值，插值R像素位置处缺失的B通道像素值，插值B像素位置处缺失的R通道像素值，插值G通道处缺失的R和B通道像素值。
3.如权利要求1所述的方法，其特征在于所述下采样处理包括以下步骤: 确定下采样后的Bayer域图像中的位置及该位置处的通道类型，计算映射在下采样前的Bayer域图像中的位置； 确定插值数据窗，经过插值滤波得到所述下采样后的Bayer域图像中的位置处的通道像素值，从而得到下采样处理后的Bayer域图像。
4.如权利要求3所述的方法，其特征在于:所述插值滤波的方式包括双线性插值滤波、样条插值、三次多项式插值、非参数核函数插值。
5.一种Bayer域图像下采样装置，设置于图像采集单元与图像处理单元之间，其特征在于:所述Bayer域图像下采样装置包括相互连接的一插值单元和一下采样单元，所述插值单元连接所述图像采集单元，所述下采样单元连接所述图像处理单元。
6.如权利要求5所述的装置，其特征在于:所述插值单元包括相互连接的一G通道插值单元和一 R/B通道插值单元，所述G通道插值单元连接所述图像采集单元，所述R/B通道插值单元连接所述下采样单元。
7.一种摄像设备，包括一图像采集单元、一图像处理单元和一存储或显示终端，所述图像采集单元连接所述图像处理单元的输入端，所述显示终端连接所述图像处理单元的输出端，其特征在于:所述图像采集单元与图像处理单元之间还连接有一 Bayer域图像下采样装置，所述Bayer域图像下采样装置进一步包括相互连接的一插值单元和一下采样单元，所述插值单元连接所述图像采集单元，所述下采样单元连接所述图像处理单元。
8.如权利要求7所述的视频摄像系统，其特征在于:所述插值单元包括相互连接的一G通道插值单元和一 R/B通道插值单元，所述G通道插值单元连接所述图像采集单元，所述R/B通道插值单元连接所述下采样单元。
【文档编号】H04N9/79GK103716606SQ201310745128
【公开日】2014年4月9日 申请日期:2013年12月30日 优先权日:2013年12月30日
【发明者】田景军, 党韩兵, 詹进, 张磊, 孙浩, 汪中华 申请人:上海富瀚微电子有限公司