一种基于自适应高斯核的ISP颜色插值方法及装置与流程

本发明涉及isp(imagesignalprocessing，图像信号处理)技术领域，尤其涉及一种基于自适应高斯核的isp颜色插值方法及装置。

背景技术：

数码相机中通常是采用单个ccd或cmos图像传感器来实现图像采集，但是图像传感器在一个像素上只能采集rgb颜色的一个分量，要采集不同的颜色分量则需要3个图像传感器，考虑到实现成本以及复杂程度，通常是在传感器表面覆盖一层颜色滤波阵列cfa作为滤光层，滤光层的滤光点与图像传感器的像素一一对应，每个滤光点只能通过红、绿、蓝三种光其中之一，即经过滤光层可得到每一个像素坐标处的单一颜色分量，对每个像素点处缺失的另外两个颜色分量进行估计从而重构出一幅全彩色图像的过程即为颜色插值过程或图像去马赛克(demosaic)。

图像传感器能够提供丰富的语义信息，而如何更准确的从图像传感器输出的原始数据中恢复出准确的rgb图像尤为重要，如在红绿灯的识别应用中。针对颜色插值，目前通常是采用基于双线性插值的isp方法，即是先针对要处理的图像场景设计卷积核，利用该卷积核先对图像的g通道进行卷积，然后以g通道的插值结果为基础对r通道及b通道进行插值。该类双线性插值方法可以简化为固定模板卷积，因而便于并行化实现，可以满足低计算量、高帧率的需求，但是由于所等效的卷积模板与图像内容无关，在处理图像边缘时会出现明显的锯齿效应(zippereffect)和伪色现象(falsecolor)。虽然可以通过后处理的方式来识别并弱化边缘锯齿效应，但是该类后处理的方式，一方面破坏了isp应有流程，在流水化处理图像信号时增加了延迟环节，并且需要增加大量的算法参数，进一步加大了参数整定的工作量和难度；另一方面把由插值算法导致的失真现象交由后处理来解决，相当于把图像结构先破坏再重建，虽然可一定程度上纠正锯齿等失真现象，但更容易造成图像原本结构的破坏。

技术实现要素：

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种有实现方法简单、计算复杂度低、执行效率高、颜色保真效果好的基于自适应高斯核的isp颜色插值方法及装置，能够感知图像中边缘区域与非边缘区域，保留图像的边缘信息。

为解决上述技术问题，本发明提出的技术方案为：

一种基于自适应高斯核的isp颜色插值方法，步骤包括：

s1.rgb通道分离：获取待处理图像原始数据，经过rgb通道分离后分别得到r、g、b通道像素；

s2.自适应高斯核生成：对所述g通道上每个待插值像素点进行遍历，分别计算每个待插值像素点与邻域之间的相关性信息，并使用计算得到的所述相关性信息生成自适应高斯核，其中使用所述相关性信息控制高斯核的旋转及伸缩；

s3.g通道插值：根据生成的所述自适应高斯核对各待插值像素点进行插值，得到插值后的g通道；

s4.rgb通道融合：根据所述插值后的g通道分别对r、b通道进行插值，得到插值后的r、b通道，将插值后r、g、b通道融合后，得到插值后的rgb数据。

进一步的，所述相关性信息为待插值像素点邻域内的协方差矩阵，所述步骤s2中生成自适应高斯核的具体步骤包括：计算每个待插值像素点邻域内的协方差矩阵，并分别使用各所述协方差矩阵作为控制高斯核旋转及伸缩的矩阵，生成对应的自适应高斯核。

进一步的，所述协方差矩阵为由待插值像素点x、y两个方向的梯度计算得到。

进一步的，所述步骤s3中，具体使用所述自适应高斯核的值对各待插值像素点邻域进行加权平均，得到对应各待插值像素点位置处的插值。

进一步的，所述步骤s4的步骤包括：分别计算r、b通道与g通道之间的比值，根据计算得到的所述比值对r、b通道进行双线性插值，得到所述插值后的r、b通道。

进一步的，采用fpga按照流水控制方式控制执行所述颜色插值方法中各步骤。

进一步的，所述采用fpga按照流水控制方式时，依次进行g通道插值、rb通道插值，g通道插值中先使用多个并行度计算像素点的梯度值，然后基于计算出的所述梯度值使用多个并行度计算出自适应高斯核，再对生成的自适应高斯核进行有理化计算，得到最终的插值数据。

一种基于自适应高斯核的isp颜色插值装置，包括：

rgb通道分离模块，用于获取待处理图像原始数据，经过rgb通道分离后分别得到r、g、b通道像素；

自适应高斯核生成模块，用于对所述g通道上每个待插值像素点进行遍历，分别计算每个待插值像素点与邻域之间的相关性信息，并使用计算得到的所述相关性信息生成自适应高斯核，其中使用所述相关性信息控制高斯核的旋转及伸缩；

g通道插值模块，用于根据生成的所述自适应高斯核对各待插值像素点进行插值，得到插值后的g通道；

rgb通道融合模块，用于根据所述插值后的g通道分别对r、b通道进行插值，得到插值后的r、b通道，将插值后r、g、b通道融合后，得到插值后的rgb数据。

一种基于自适应高斯核的isp颜色插值装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，其特征在于，所述处理器用于执行所述计算机程序，以执行上述方法。

与现有技术相比，本发明的优点在于：

1、本发明通过对g通道像素插值过程中，基于像素点与邻域之间的相关性信息来生成自适应高斯核，使用像素点与邻域之间的相关性信息来控制高斯核的旋转及伸缩，再根据生成的自适应高斯核对g通道各像素点进行插值，由于自适应高斯核是基于像素点与邻域之间的相关性信息控制旋转及伸缩，因而使用该自适应高斯核进行卷积会对图像上的边缘与非边缘各位置自适应产生不同的响应，则经过插值后能够感知边缘区域与非边缘区域的方向与强度，从而能够对图像中的边缘区域进行保留、对非边缘区域进行平滑处理，同时能够在失真现象产生的源头改善失真问题，保留图像原本的结构。

2、本发明进一步使用协方差矩阵作为控制高斯核旋转及伸缩的矩阵，基于协方差矩阵可以反应出边缘的强度及方向，使得高斯核的能量集中在图像边缘的区域上，从而能够自适应保留边缘区域，还可以避免进行自然对数为底的指数计算，使得能够加快处理速度，在保留边缘信息的同时对图像进行滤波。

3、本发明在基于自适应高斯核函数进行插值的基础上，进一步通过将自适应高斯核函数进行有理化，可以大大降低颜色插值的计算量，加速插值处理速度，且基于有理化处理方式使得可以便于适用于fpga类平台中，能够有效提高处理效率同时减少资源的消耗。

4、本发明进一步通过对r通道以及b通道的采样频率进行插值补充，可以降低伪色效应，同时通过基于g通道按照比例的方式对r、b通道进行双线性插值，使得在r通道与b通道的插值过程中增加了三个颜色通道之间的信息交流，能够抵消由于rgb三通道上采样频率不同造成的影响。

附图说明

图1是本实施例基于自适应高斯核的isp颜色插值方法的实现流程示意图。

图2是使用高斯核与自适应高斯核的原理示意图。

图3是本发明具体应用实施例中基于自适应高斯核实现颜色插值的详细流程示意图。

图4是本发明在具体应用实施例中基于fpga实现颜色插值的具体流水控制示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1所示，本实施例基于自适应高斯核的isp颜色插值方法的步骤包括：

s1.rgb通道分离：获取待处理图像原始数据，经过rgb通道分离后分别得到r、g、b通道像素；

s2.自适应高斯核生成：对g通道上每个待插值像素点进行遍历，分别计算每个待插值像素点与邻域之间的相关性信息，并使用计算得到的相关性信息生成自适应高斯核，其中使用相关性信息控制高斯核的旋转及伸缩；

s3.g通道插值：根据生成的自适应高斯核对各待插值像素点进行插值，得到插值后的g通道；

s4.rgb通道融合：根据插值后的g通道分别对r、b通道进行插值，得到插值后的r、b通道，将插值后r、g、b通道融合后，得到插值后的rgb数据。

高斯核通常是用于对图像进行上采样以及滤波，典型高斯核的能量分布如图2(a)所示，其中坐标系的原点表示高斯核邻域的中心，越靠近中心的位置能量越高，即该处像素的权值越大。直接采用高斯核进行上采样及滤波会丢失边缘信息，降低图像的锐化度，在处理图像边缘时，进一步通过提高边缘处的权值，可以使得对图像进行上采样的同时保留边缘信息。假设边缘的形状如图2(b)所示，其中圆点表示为目标像素，要实现对图像进行上采样的同时保留边缘信息，则即为需要构造一个能量分布图下2(c)所示的高斯核函数。

本实施例考虑高斯核函数上述特性，通过对g通道像素插值过程中，基于像素点与邻域之间的相关性信息来生成自适应高斯核，使用像素点与邻域之间的相关性信息来控制高斯核的旋转及伸缩，再根据生成的自适应高斯核对g通道各像素点进行插值，由于自适应高斯核是基于像素点与邻域之间的相关性信息控制旋转及伸缩，因而使用该自适应高斯核进行卷积会对图像上的边缘与非边缘各位置自适应产生不同的响应，则经过插值后能够感知边缘区域与非边缘区域的方向与强度，从而能够对图像中的边缘区域进行保留、对非边缘区域进行平滑处理，同时能够在失真现象产生的源头改善失真问题，保留图像原本的结构。

本实施例中相关性信息具体为待插值像素点邻域内的协方差矩阵，步骤s2中生成自适应高斯核的具体步骤包括：计算每个待插值像素点邻域内的协方差矩阵，并分别使用各协方差矩阵作为控制高斯核旋转及伸缩的矩阵，生成对应的自适应高斯核。基于协方差矩阵可以有效的表征像素点与邻域像素点之间的相关性，从而使用协方差矩阵作为控制高斯核旋转及伸缩的矩阵，所生成的自适应高斯核即可以精确的自适应感知出边缘区域的强度与方向，从而可准确的保留边缘区域。

典型的高斯核函数计算公式具体为：

其中，x,y分别为图像中像素点的横坐标、纵坐标，h为高斯核的标准差，通过调节标准差h可以控制高斯核权重的集中程度，标准差越小，中心部分像素占权重越大，反之权重越小。

将上述高斯核函数写成矩阵形式即为：

其中为控制高斯核旋转及伸缩的矩阵，而采用该控制矩阵，仅能够在特定位置处实现旋转及伸缩。

本实施例中，协方差矩阵具体为由待插值像素点x、y两个方向的梯度计算得到，即为如图2(d)所示，自适应性高斯核的计算公式为：

其中，k(x,y)为像素点(x,y)的自适应性高斯核，c(x,y)为像素点(x,y)邻域内的协方差矩。

协方差矩阵c(x,y)可以反应出边缘的强度及方向，本实施例通过使用协方差矩阵c(x,y)对图像的边缘进行响应，控制高斯核旋转及伸缩，可以使得高斯核的能量集中在图像边缘的区域上，即在图像边缘区域采用自适应高权值，从而能够自适应保留边缘区域。

可以理解的是，除上述式(1)所示出的自适应性高斯核外，还可以根据实际需求采用其他的自适应高斯核。

传统基于高斯核滤波需要进行以自然对数为底的指数计算，计算效率低，很难满足无人车上搭载相机的实时性要求，直接应用于颜色插值时，对图像中的边缘信息不敏感，插值结果全局上较为模糊。本实施例通过计算像素点邻域内的协方差矩阵，基于协方差矩阵生成自适应高斯核进行插值，还可以避免进行自然对数为底的指数计算，使得能够加快处理速度，在保留边缘信息的同时对图像进行滤波。

本实施例步骤s2中，还包括对生成的自适应高斯核进行有理化计算，得到最终的有理化自适应高斯核输出。函数的有理化即为对函数进行有理近似，采用有理函数表示原函数，直接使用上述自适应高斯核进行插值仍然需要执行大量的计算，本实施例在基于自适应高斯核函数进行插值的基础上，进一步通过将自适应高斯核函数进行有理化，可以大大降低颜色插值的计算量，加速插值处理速度，且基于有理化处理方式使得可以便于适用于fpga类平台中，能够有效提高平台的处理效率同时减少资源的消耗。

本实施例步骤s3中，具体使用自适应高斯核的值对各待插值像素点邻域进行加权平均，得到对应各待插值像素点位置处的插值。当然还可以根据实际需求采用其他的统计计算方式得到最终的插值，如加权

本实施例步骤s4的步骤包括：分别计算r、b通道与g通道之间的比值，根据计算得到的比值对r、b通道进行双线性插值，得到插值后的r、b通道。传统基于双线性插值的isp颜色插值算法需要受制于不同颜色通道采样频率的差异，嵌入式图像传感器感光元件通常为rggb或bggr排列，在g通道上的采样频率为r通道与b通道的两倍，则从结果上分析基于双线性插值的颜色插值算法会造成rgb三通道在空间上的局部错位。本实施例通过对r通道以及b通道的采样频率进行插值补充，可以降低伪色效应，同时通过基于g通道按照比例的方式对r、b通道进行双线性插值，r通道与b通道的插值过程中增加了三个颜色通道之间的信息交流，能够抵消由于rgb三通道上采样频率不同造成的影响。

如图3所示，本发明在具体应用实施例中实现颜色插值的流程为：

步骤1：对输入的原始bayer栅格数据做坏点检测等预处理后，对原始bayer栅格的rggb通道进行分离，分离出r、g、b通道；

步骤2：在分离出的g通道上进行像素遍历，计算每个待插值像素点指定范围(如具体可取5*5)邻域内的协方差矩阵；

步骤3：根据各像素点邻域的协方差矩阵计算有理化自适应高斯核；

步骤4：利用有理化自适应高斯核中的值对邻域进行加权平均，得到各像素点位置的插值；

步骤5：计算r、b通道与g通道的比值，其中只计算r、b通道中有值的部分；

步骤6：结合r、b通道与g通道的比值在r、b通道上进行双线性插值，得到r、b通道的插值结果；

步骤7：对各个通道的插值结果进行融合，输出rgb数据。

本实施例中，采用fpga按照流水控制方式控制执行上述颜色插值方法中各步骤，使得整个处理过程使用流水处理方式，以利用fpga并行处理的优势进一步提高插值处理速度以及数据吞吐量。

本实施例中，采用fpga按照流水控制方式时，依次进行g通道插值、rb通道插值，其中将g通道插值划分为梯度计算、协方差矩阵计算、权值计算以及g通道插值计算的多级流水，由梯度计算级流水计算出梯度，协方差矩阵计算级流水基于计算出的梯度计算出协方差矩阵，权值计算级流水计算出插值所需的权值，再由g通道插值级流水完成有理化自适应高斯核的计算，得到最终的g通道插值结果。上述在fpga流水控制过程中，基于有理化自适应高斯核函数的方式计算出g通道插值，使得在fpga平台上可以高效的执行插值处理，同时能够减少插值过程中所需的资源消耗。

在具体应用实施例中，将上述颜色插值方法各步骤划分为多级流水，并将其中能够并行执行的步骤配置为并行执行，如图4所示，各级流水划分具体为：

(1)g插值数据预处理：产生梯度计算需要的数据块，并对图像边沿进行预处理。具体使用抽头法产生梯度计算需要的7*7数据块，并对图像边沿进行处理，将处理完后的数据做跨时钟域处理；

(2)梯度计算：使用多个并行度对像素块非绿色像素点的x和y方向的梯度值进行计算。具体使用7个并行度，分两次对5*5像素块中13/12个非绿色像素点的x和y方向的梯度值进行计算，具体还可根据实际需求配置；

(3)协方差矩阵计算：使用多个并行度来计算梯度的乘积，分别计算x梯度平方、y梯度平方和两个梯度的乘积；求出的各乘积分组后再做累加。具体使用7个并行度来计算梯度的乘积，每个并行度包含三个整数乘法器，分别计算x梯度平方、y梯度平方和两个梯度的乘积；求出的7个乘积分成两组，一组为4个数相加，一组为3个数相加，最后将两个和再做累加；

(4)权值计算：分组进行权值计算。由于权值对称性，将权值计算量变成实际的一半(7/6个)，其中5*5像素块中心处，由于权值等于零，因而不做计算；计算时分成两组，每次计算三个权值；

(5)g通道插值计算：分成两个步骤进行插值计算，整个计算使用流水模式，先对权值以及权值与绿色像素点乘积分别求和，然后再做除法运算，即完成有理化自适应高斯核的计算，算出插值数据；

(6)g插值同步输出：输出两路数据，一路是未插值的原始图像数据，一路是g通道插值后的图像数据，两路数据做跨时钟域处理后同步输出；

(7)rb通道插值数据预处理：产生插值需要的数据块，并对图像边沿进行预处理。具体使用抽头法产生插值需要的3*3数据块，并对图像边沿进行处理，将处理完后的数据做跨时钟域处理；

(8)rb插值：使用原始数据和插值后的g通道数据，计算r和b通道的插值数据，由于rb交替出现，使用同一份逻辑资源计算r和b的插值；

(9)rb插值同步输出：插值后的rb数据与插值后的g通道数据进行跨时钟域处理后同步输出rgb分量数据。

通过上述流水划分，能够充分发挥fpga平台的并行优势，尽可能将能够并行处理的流程并行进行，可以高效的实现颜色插值，同时确保插值效果。

可以理解的是，除上述fpga执行流水划分方式外，还可以根据实际需求采用其他的流水划分方式以及并行配置方式。

本实施例还提供一种基于自适应高斯核的isp颜色插值装置，包括：

rgb通道分离模块，用于获取待处理图像原始数据，经过rgb通道分离后分别得到r、g、b通道像素；

自适应高斯核生成模块，用于对g通道上每个待插值像素点进行遍历，分别计算每个待插值像素点与邻域之间的相关性信息，并使用计算得到的相关性信息生成自适应高斯核，其中使用相关性信息控制高斯核的旋转及伸缩；

g通道插值模块，用于根据生成的自适应高斯核对各待插值像素点进行插值，得到插值后的g通道；

rgb通道融合模块，用于根据插值后的g通道分别对r、b通道进行插值，得到插值后的r、b通道，将插值后r、g、b通道融合后，得到插值后的rgb数据。

本实施例基于自适应高斯核的isp颜色插值装置与上述基于自适应高斯核的isp颜色插值方法为一一对应，在此不再一一赘述。

在另一实施例中，基于自适应高斯核的isp颜色插值装置还可以为：包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，处理器用于执行计算机程序，以执行上述基于自适应高斯核的isp颜色插值方法。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。