串扰处理模块、处理串扰的方法和图像处理系统与流程

本申请要求于2017年4月24日在韩国知识产权局(kipo)递交的韩国专利申请no.10-2017-0052508的优先权，其全部内容通过引用合并于此。

示例性实施例涉及图像传感器，更具体地涉及用于处理来自图像传感器的图像信号的串扰处理模块、处理图像处理系统的图像信号的串扰的方法。

背景技术

图像传感器是将照片图像(例如被对象反射的光)转换为电信号的半导体器件。图像传感器广泛用于便携式电子设备，例如数码相机、蜂窝电话等。通常，图像传感器可以分为电荷耦合器件(ccd)图像传感器和互补金属氧化物半导体(cmos)图像传感器。cmos图像传感器与ccd图像传感器相比具有一些优点，诸如制造成本低、功耗低、易于与外围电路集成等。近来，已经使用采用多光电二极管器件的图像传感器。

技术实现要素：

一些示例性实施例提供了一种能够高效地处理从具有多光电二极管结构的图像传感器产生的图像信号的串扰的串扰处理模块。

一些示例性实施例提供了一种能够高效地处理从具有多光电二极管结构的图像传感器产生的图像信号的串扰的方法。

一些示例性实施例提供了一种能够高效地处理从具有多光电二极管结构的图像传感器产生的图像信号的串扰的图像处理模块。

根据一些示例性实施例，公开了一种被配置为处理从图像传感器产生的图像信号的串扰的串扰处理模块。所述图像传感器包括像素阵列，所述像素阵列包括沿多个行和多个列布置的多个子像素，表示一种颜色的k个子像素彼此关联地形成。所述数字可以是大于或等于四的整数。串扰处理模块可以包括：校正元素生成单元，被配置为接收所述图像信号和输入信息，并且被配置为生成用于校正所述串扰的种子值和校正参数，其中，所述输入信息与至少所述图像信号的尺寸相关联；存储器，连接到所述校正元素生成单元，被配置为存储所述种子值和所述校正参数；串扰校正检查单元，被配置为接收所述图像信号，从所述存储器接收所述种子值和所述校正参数，校正从所述图像传感器产生的串扰，以及输出最终图像信号和指示基于多个参考值对串扰的校正是通过还是失败的通过/失败信息；以及控制引擎，用来控制所述校正元素生成单元、所述存储器和所述串扰校正检查单元。

根据一些示例性实施例，一种处理从图像传感器产生的图像信号的串扰的方法，其中，所述图像传感器包括像素阵列，所述像素阵列包括沿多个行和多个列布置的多个子像素，表示一种颜色的k个子像素彼此关联地形成，其中，数字k是大于或等于4的整数。所述方法可以包括：基于所述图像信号、与所述图像信号的至少尺寸相关联的输入信息、通过按颜色分离图像信号获得的代表性通道图像信号以及通过按通道分离图像信号获得的通道图像信号，生成用于对串扰进行校正的种子值和校正参数；将所述种子值和所述校正参数存储在存储器中；以及基于所述图像信号、所述种子值和所述校正参数来校正每个通道图像信号的串扰，并基于多个参考值来确定对串扰的校正是通过还是失败。所述种子值是基于所述代表性通道图像信号生成的。

根据一些示例性实施例，图像处理系统包括图像传感器和串扰处理模块。图像传感器包括像素阵列，所述像素阵列包括沿多个行和多个列布置的多个子像素，多个子像素中k个相邻子像素表示一种颜色，并且所述图像传感器输出图像信号。串扰处理模块处理来自图像传感器的图像信号的串扰，串扰处理模块包括校正元素生成单元、存储器、串扰校正检查单元和控制引擎。校正元素生成单元接收所述图像信号和输入信息，并且基于所述输入信息和相对于颜色分离所述图像信号获得的代表性图像信号，生成用于校正所述串扰的种子值和校正参数，其中，所述输入信息与至少所述图像信号的尺寸相关联。存储器连接到所述校正元素生成单元，并且存储所述种子值和所述校正参数；串扰校正检查单元，被配置为接收图像信号，接收所述种子值，以及从所述存储器接收校正串扰的所述校正参数，以及输出最终图像信号和指示基于多个参考值对串扰的校正是通过还是失败的通过/失败信息；控制引擎控制所述校正元素生成单元、所述存储器和所述串扰校正检查单元。

因此，在处理从具有多光电二极管结构的图像传感器输出的图像信号的串扰时，串扰处理模块按照滤色器将图像信号分离成4*k个通道图像信号，并基于k个代表性通道图像信号，生成用于校正4*k个通道图像信号中的每一个的串扰的种子值。因此，串扰处理模块可以减少存储器的存储种子值的存储空间和访问存储器的次数。

附图说明

根据结合附图的以下详细描述，将更清楚地理解说明性的非限制性示例实施例。

图1是示出了根据示例性实施例的图像处理系统的框图。

图2是示出根据示例性实施例的图1的图像处理系统中的像素阵列的框图。

图3是用于描绘根据示例性实施例的在图2中示出的一个子像素的图。

图4和5是根据示例性实施例的沿图2的像素阵列中示出的线ii-ii'截取的像素的截面图。

图6是示出根据示例性实施例的图1中的串扰处理模块的框图。

图7是示出根据示例性实施例的图6的串扰处理模块中的校正参数生成单元的框图。

图8示出了输入到图7的校正参数生成单元或从其输出的各种图像信号的大小。

图9是示出根据示例性实施例的图7的校正参数生成单元中的校正参数计算引擎的框图。

图10a和图10b是用于说明在第一绿色通道图像信号igr1与第一绿色代表性通道图像信号igrm之间沿第一方向和第二方向的偏移的图。

图11是示出图7的校正参数生成单元中的种子值计算引擎的框图。

图12是用于说明图11的种子值计算引擎中的图像信号和种子值的图。

图13是示出根据示例性实施例的图6的串扰处理模块中的校正检查单元的框图。

图14示出了一个通道图像信号被分成多个块。

图15示出了从通过/失败检查器输出的直方图。

图16是示出根据示例性实施例的处理图像信号的串扰的方法的流程图。

图17是示出生成图16中的种子值和校正参数的操作的流程图。

图18是示出根据示例性实施例的图17中的生成种子值的操作的流程图。

图19是示出确定图16中的串扰校正的通过/失败的操作的流程图。

图20是示出了根据示例性实施例的电子系统的框图。

具体实施方式

将参考附图更全面地描述各种示例实施例，附图中示出了实施例。

图1是示出了根据示例性实施例的图像处理系统的框图。

参考图1，图像处理系统10可以被实现为便携式电子设备，诸如包括但不限于，膝上型计算机、蜂窝电话、智能电话、平板个人计算机(pc)、个人数字助理(pda)、企业数字助理(eda)、数字静止相机、数字视频相机、便携式多媒体播放器(pmp)、移动互联网设备(mid)、可穿戴计算机、物联网设备(iot)、万物互联(ioe)设备等。

图像处理系统10可以包括光学透镜103、互补金属氧化物半导体(cmos)图像传感器(或图像传感器)100、数字信号处理器(dsp)200和显示器240。图像处理系统10还可以包括串扰处理模块300。

图像传感器100可以生成与通过光学透镜103输入的对象101相对应的图像数据idta。图像数据idta可以对应于从多个光电转换元件输出的像素信号。例如，光电转换元件可以被实现为光电二极管、光电晶体管、光电门或钉扎光电二极管。

图像传感器100可以包括像素阵列110、行驱动器120、模数转换器(adc)块125、合并(binning)块130、定时生成器140、控制寄存器块150、合并控制器155、斜坡生成器160和缓冲器170。

像素阵列110可以包括布置成二维的多个子像素。图像传感器100的子像素可以使用cmos制造工艺来制造。每个像素包括多个光电转换元件。在示例性实施例中，一个颜色像素可以由可彼此联合形成的k个子像素表示，其中k是大于或等于四的整数。

在像素阵列110中包括的每个子像素可以包括光电二极管。光电二极管是光电转换元件的示例，并且可以用光电晶体管、光电门或钉扎光电二极管代替。子像素可以布置成像素阵列110中的矩阵。每个子像素可以将像素信号传输到列线。

行驱动器120可以根据定时生成器140的控制，将用于控制子像素的操作的控制信号驱动到像素阵列110。行驱动器120可以用作生成控制信号的控制信号生成器。

定时生成器140可以根据控制寄存器块150的控制来控制行驱动器120、adc块125和斜坡生成器160的操作。定时生成器140可以控制adc块125的操作，并且根据控制寄存器块150的控制来确定激活或去激活包括在adc块125中的adc。

合并块130可以合并从像素阵列110中包括的每个子像素输出的像素信号，并且可以输出合并后的像素信号。

adc块125可以针对每列包括adc和存储器。adc可以执行相关双采样(cds)。adc块125可以包括多个adc。每个adc可以由每个像素中的光电转换元件共享。adc块125可以生成与从合并块130输出的合并后的像素信号相对应的数字图像信号。

控制寄存器块150可以根据dsp200的控制来控制定时生成器140、合并控制器155，斜坡生成器160和缓冲器170的操作。合并控制器155可以根据控制寄存器块150的控制来控制合并块130。

缓冲器170可将与从adc模块125输出的数字图像信号对应的图像数据idta发送到dsp200。dsp200可以包括图像信号处理器(isp)210、传感器控制器220和接口(i/f)230。

isp210可以控制i/f230和对控制寄存器块150进行控制的传感器控制器220。cmos图像传感器100和dsp200可以实现在单个封装中，例如，多芯片封装(mcp)。

尽管在图1中图像传感器100和isp210彼此分离，但在示例性实施例中，isp210可以被实现为图像传感器100的一部分。

isp210可以处理从缓冲器170接收的图像数据idta,并且可以将处理后的图像数据发送到i/f230。具体而言，isp210可以对与从子像素输出的像素信号对应的图像数据idta进行插值，以生成插值图像数据。

传感器控制器220可以生成各种控制信号，以便根据isp210的控制对控制寄存器块150进行控制。i/f230可以将处理后的图像数据(例如，来自isp210的插值图像数据)传送到显示器240。

显示器240可以显示从i/f230输出的插值图像数据。显示器240可以是但不限于：薄膜晶体管液晶显示器(tft-lcd)、发光二极管(led)显示器、有机led(oled)显示器、有源矩阵oled(amoled)显示器或柔性显示器。

串扰处理模块300可以校正从图像传感器100产生的图像信号idta的串扰，可以确定对串扰的校正是通过还是失败，并且可以向dsp200发送对串扰的校正是通过还是失败加以指示的通过/失败信息pfi。串扰处理模块300可以按照子像素来分离图像信号idta以生成多个通道图像信号，可以按照颜色对每个通道图像信号的像素值求平均以生成代表性图像信号，并且可以基于代表性图像信号生成用于校正每个通道图像信号的串扰的种子值和校正参数。

串扰处理模块300可以使用种子值和校正参数，基于代表性图像信号来校正每个通道图像信号的串扰，并且可以确定串扰校正的通过/失败。

尽管在图1中图像传感器100和串扰处理模块300彼此分离，但在示例性实施例中，串扰处理模块300可以被实现为图像传感器100的一部分。

图2是示出根据示例性实施例的图1的图像处理系统中的像素阵列的框图。

图2中示出的像素阵列可以包括像素阵列的滤色器阵列。

像素阵列可以具有8*8(本文中，*表示乘法)矩阵结构。此外，假定一个像素pix包括四个相邻布置的子像素sp。然而，本公开不限于此，并且在不脱离本发明构思的范围的情况下，可以对像素阵列110和滤色器阵列的布置进行各种改变或修改。

参考图2，像素阵列110可以包括多个像素pix11至pix22。如图2所示，多个像素pix11至pix22可以包括多个子像素sp11至sp44。

例如，像素px11可以包括子像素sp11、sp12、sp21和sp22。每个子像素sp11、sp12、sp21和sp22可以包括第一滤色器(例如，第一绿色(gr)滤色器)。也就是说，子像素sp11、sp12、sp21和sp22可以将绿光转换为电信号。

像素pix12可以包括子像素sp13、sp14、sp23和sp24。每个子像素sp13、sp14、sp23和sp24可以包括第二滤色器(例如，红色(r)滤色器)。也就是说，子像素sp13、sp14、sp23和sp24可以将红光转换为电信号。

像素pix21可以包括子像素sp31、sp32、sp41和sp42。每个子像素sp31、sp32、sp41和sp42可以包括第三滤色器(例如，蓝色(b)滤色器)。也就是说，子像素sp31、sp32、sp41和sp42可以将蓝光转换为电信号。

像素pix22可以包括子像素sp33、sp34、sp43和sp44。每个子像素sp33、sp34、sp43和sp44可以包括第四滤色器(例如，第二绿色(gb)滤色器)。也就是说，子像素sp33、sp34、sp43和sp44可以将绿光转换为电信号。

一个像素px可以包括相邻布置的四个子像素，并且一个像素中包括的四个子像素可以包括相同的滤色器。

在示例性实施例中，四个像素px11、px12、px21和px22可以构成拜耳(bayer)模式。将参考图2描述拜耳模式。然而，本公开并不限于此。例如，像素阵列110可以包括各种滤色器阵列模式，例如rgbe模式、cygm模式、cyym模式等。

图3是用于描绘根据示例性实施例的在图2中示出的一个子像素的图。

本发明构思的实施例在图3中被例示为具有4tr结构的子像素。然而，本公开并不限于此。子像素可被改变或修改为具有1tr结构、3tr结构或任何其他像素结构。

参考图2和图3，子像素sp11可以通过复位线rst、传输线tf和选择线sel连接到行驱动器120。子像素sp11可以包括光电二极管pd、传输晶体管tr_tf、复位晶体管tr_rst、选择晶体管tr_sel和存取晶体管tr_acc。

传输晶体管tr_tf的一端可以连接到光电二极管pd的阴极，其另一端可以连接到第一节点n1，并且其控制电极可以连接到传输线tf。复位晶体管tr_rst的一端可以连接成接收电源电压vdd，其另一端可以连接到第一节点n1，并且其控制电极可以连接到复位线rst。

选择晶体管tr_sel的一端可以连接成接收电源电压vdd，其另一端可以连接到存取晶体管tr_acc的一端，并且其控制电极可以连接到第一节点n1。存取晶体管tr_acc的另一端可以连接到列线cl，并且其控制电极可以连接到选择线sel。

光电二极管pd可响应于穿过滤色器cf的光而产生电荷。滤色器cf可以被构造成使得预定颜色的光透过。在示例性实施例中，如参考图2所述，子像素sp11的滤色器cf可以是第一绿色(gr)滤色器。在这种情况下，穿过滤色器cf的光可以是绿光，并且光电二极管pd可以响应于绿光而产生电荷。

响应于传输线tf上的控制信号，传输晶体管tr_tf可以向第一节点n1提供由光电二极管pd产生的电荷。响应于复位线rst上的信号，复位晶体管tr_rst可以将节点n1的电势复位为电源电压vdd。

响应于第一节点n1上的电压，选择晶体管tr_sel可以将电源电压vdd提供到存取晶体管tr_acc的漏极。当选择晶体管tr_sel操作时，存取晶体管tr_acc的漏极电压可以与第一节点n1上的电压成比例地变化。

也就是说，存取晶体管tr_acc的漏极电压的变化可以对应于由光电二极管pd产生的电荷量的变化。换句话说，漏极电压的变化可以是与由光电二极管pd捕获的数据相对应的值。响应于选择线sel上的信号，存取晶体管tr_acc可以向列线cl提供数据(即，改变的电压)。

图4和5是根据示例性实施例的沿图2的像素阵列中示出的线ii-ii'截取的像素的截面图。

参考图2和图4，第一像素px11a可以包括四个光电二极管pd1至pd4、分别放置在四个光电二极管pd1至pd4上的滤色器cf1至cf4、分别放置在滤色器cf1至cf4上的微透镜ml1至ml4以及放置在微透镜ml1至ml4上的微透镜113a。滤色器cf1至cf4可以是绿色滤色器。

第二像素px12a可以包括四个光电二极管pd1至pd4、分别放置在四个光电二极管pd1至pd4上的滤色器cf1至cf4、分别放置在滤色器cf1至cf4上的微透镜ml1至ml4以及放置在微透镜ml1至ml4上的微透镜113b。滤色器cf1至cf4可以是红色滤色器。

第一隔离材料ism1可以放置在第一像素px11a和第二像素px12a之间。第二隔离材料ism2可以放置在每个像素px11a或px12a中的四个光电二极管pd1至pd4之间。第一隔离材料ism1和第二隔离材料ism2可以通过使用深沟隔离(dti)形成。

参考图2和图5，第一像素px11b可以包括四个光电二极管pd1至pd4、分别放置在四个光电二极管pd1至pd4上的滤色器cf1至cf4、分别放置在滤色器cf1至cf4上的微透镜ml1至ml4以及放置在微透镜ml1至ml4上的微透镜113a。滤色器cf1至cf4可以包括多个滤色器层。

第二像素px12b可以包括四个光电二极管pd1至pd4、分别放置在四个光电二极管pd1至pd4上的滤色器cf1至cf4、分别放置在滤色器cf1至cf4上的微透镜ml1至ml4以及放置在微透镜ml1至ml4上的微透镜113b。滤色器cf1至cf4可以包括多个滤色器层。第一隔离材料ism1可以放置在第一像素px11b和第二像素px12b之间。第二隔离材料ism2可以放置在每个像素px11b或px12b中的四个光电二极管pd1至pd4之间。

图6是示出根据示例性实施例的图1中的串扰处理模块的框图。

参考图6，串扰处理模块300可以包括控制引擎303、存储器305、校正参数生成单元310和串扰校正检查单元500。

校正参数生成单元310可以接收图像信号idta和与图像信号idta的至少一个尺寸相关联的输入信息idinf，并且可以基于输入信息idinf代表性通道图像信号来生成用于校正串扰的种子值sv和校正参数cp。可以通过相对于颜色将图像信号idta分离来获得代表性通道图像信号。输入信息idinf可以包括图像信号idta的尺寸信息和图像信号idta的基座(pedestal)。

存储器305可以连接到校正元素生成单元310，并且可以存储种子值sv和校正参数cp。存储器305可以用诸如nand闪存或电阻型存储器的非易失性存储器来实现，或者可以用诸如动态随机存取存储器(dram)或静态随机存取存储器(sram)的易失性存储器来实现。

串扰校正检查单元500可以接收图像信号idta，可以从存储器305接收种子值sv和校正参数cp，可以校正串扰，并且可以输出最终图像信号rfi和基于多个参考值crt对串扰校正的通过/失败加以指示的通过/失败信息pfi。

控制引擎303可以控制校正参数生成单元310、串扰校正检查单元500和存储器305。

校正参数生成单元310和串扰校正检查单元500中的每一个都可以用硬件或软件来实现。当用软件实现校正参数生成单元310和串扰校正检查单元500中的每一个时，校正参数生成单元310和串扰校正检查单元500可以存储在存储器305中。存储在存储器305中的校正参数生成单元310和串扰校正检查单元500可以由控制引擎303来驱动。

校正参数生成单元310基于代表性通道图像信号生成种子值sv和校正参数cp，并将种子值sv和校正参数cp存储在存储器305中。因此，串扰处理模块300可以需要存储器305的更少的存储空间，并且可以减少访问存储器305的次数。

图7是示出根据示例性实施例的图6的串扰处理模块中的校正参数生成单元的框图。

参考图7，校正参数生成单元310可以包括图像分离引擎320、代表性通道图像生成引擎330、校正参数计算引擎350和种子值计算引擎400。

图像分离引擎320可以根据与图2中的每个滤色器对应的子像素的通道来分离图像信号idta，并且可以生成4*k(k是大于或等于四的整数)个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4。

代表性通道图像生成引擎330可以按照每个滤色器对4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个的像素值求平均，并且可以生成k个代表性通道图像信号igrm、irm、ibm和igbm。代表性通道图像生成引擎330可以通过对作为4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4的的对应像素值求平均，来生成k个代表性通道图像信号igrm、irm、ibm和igbm。4*k个通道图像信号可以对应于每个滤色器或者相应像素值的选择平均值。也就是说，代表性通道图像生成引擎330可以计算4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个的像素值的代表性值。

校正参数计算引擎350可以基于4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4以及k个代表性通道图像信号igrm、irm、ibm和igbm来计算校正参数cp1和cp2。

种子值计算引擎400可以基于k个代表性通道图像信号igrm、irm、ibm和igbm以及输入信息idinf来生成种子值sv。根据与图4相关联的描述可以看出，数字k可以对应于4。

图8示出了输入到图7的校正参数生成单元或从其输出的各种图像信号的大小。

参考图8，图像信号idta可以具有由沿第一方向d1的p个子像素(其中p是4的倍数且大于4)和由沿垂直于第一方向d1的第二方向d2的q个子像素(其中q是4的倍数且大于4)限定的第一尺寸。

4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个可以具有由沿第一方向d1的p/k个子像素和沿第二方向d2的q/k个子像素限定的尺寸。另外，k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个具有由沿第一方向d1的p/k个子像素和沿第二方向d2的q/k个子像素限定的第二尺寸。

图9是示出根据示例性实施例的图7的校正参数生成单元中的校正参数计算引擎的框图。

参考图9，校正参数计算引擎350可以包括第一校正参数计算器360和第二校正参数计算器370。

基于k个代表性通道图像信号igrm、irm、ibm和igbm和4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4以及igb1至igb4，第一校正参数计算器360可以相对于每个通道来计算k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个的像素值的总和与4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4以及igb1至igb4中的每一个的像素值的总和之比，以计算出4*k个第一校正参数cp1(α_gr1至α_gb4)。

基于k个代表性通道图像信号igrm、irm、ibm和igbm和4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4以及igb1至igb4，第二校正参数计算器470计算4k对第二校正参数cp2((a_gr1，b_gr1)至(a_gb4，b_gb4))，每对包括沿第一方向的第一偏移和沿垂直于第一方向的第二方向的第二偏移。第一偏移可以与k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个和第一方向上相同颜色通道的k个图像信号中的每一个之间的偏移相关联，第二偏移可以与k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个和第二方向上相同颜色通道的k个图像信号中的每一个之间的偏移相关联，以及相同颜色通道的k个图像信号可以与对应于相同滤色器的图像信号相关联。

图10a和图10b是用于说明在第一绿色通道图像信号igr1与第一绿色代表性通道图像信号igrm之间沿第一方向和第二方向的偏移的图。

参考图10a，为了计算第一绿色通道图像信号igr1和第一绿色代表性通道图像信号igrm之间沿第一方向d1的第一偏移，相对于如附图标记373和374所示的列计算位于第一绿色通道图像信号igr1中沿第二方向d2的中心部分371和第一绿色代表性通道图像信号igrm中沿第二方向d2的中心部分372中的每一个之中的第一数量个行的像素值的平均值，计算第一绿色通道图像信号igr1和第一绿色代表性通道图像信号igrm的每个平均值的绝对差之和(sad)，并且可以计算第一绿色通道图像信号igr1和第一绿色代表性通道图像信号igrm之间沿第一方向d1的第一偏移a_gr1。在图10a中，x轴可以对应于第一方向d1，rsp表示第一绿色通道图像信号igr1和第一绿色代表性通道图像信号igrm中的每一个的响应。

参考图10b，为了计算第一绿色通道图像信号igr1和第一绿色代表性通道图像信号igrm之间沿第二方向d2的第二偏移，相对于如附图标记383和384所示的列计算位于第一绿色通道图像信号igr1中沿第一方向d1的中心部分381和第一绿色代表性通道图像信号igrm中沿第一方向d1的中心部分383中的每一个之中的第二数量个列的像素值的平均值，计算第一绿色通道图像信号igr1和第一绿色代表性通道图像信号igrm的每个平均值的sad，并且可以计算第一绿色通道图像信号igr1和第一绿色代表性通道图像信号igrm之间沿第二方向d2的第二偏移b_gr1。在图10b中，y轴可以对应于第二方向d2。第一数量和第二数量_可以相同。

在示例性实施例中，可以基于第一绿色通道图像信号igr1和第一绿色代表性通道图像信号igrm中的每一个的所有像素值(而不是一部分像素值)来计算第一方向d1上的第一偏移a_gr1和第二方向d2上的第二偏移b_gr1。

第二校正参数(a_gr2，b_gr2)至(a_gb4，b_gb4)可以与参考图10a和10b的描述类似地进行计算。

例如，类似地，可以计算第二绿色通道图像信号igr2与第一绿色代表性通道图像信号igrm之间沿第一方向的第一偏移a_gr2以及所述第二偏移b_gr2。当计算通道图像信号igr1至igr4的沿第一方向的第一偏移a_gr以及所述第二偏移b_gr时，共用适用于通道图像信号ir1至ir4、ib1至ib4和igb1至igb4的第一绿色代表性通道图像信号igrm。因此，串扰处理模块300可以减少存储器305的存储空间和对存储器305的访问次数。

在示例性实施例中，可以使用绝对变换差和(satd)、平方差和(ssd)或绝对差均值(mad)来计算通道图像信号igr1至igr4的在第一方向上的第一偏移a_gr2以及所述第二偏移b_gr2。

图11是示出图7的校正参数生成单元中的种子值计算引擎的框图。

参考图11，种子值计算引擎400可以包括网格图像生成器410、种子值生成器430和比特打包器450。

网格图像生成器410可以接收k个代表性通道图像信号igrm、irm、ibm和igbm，可以基于输入信息idinf将k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个中的r*r(其中r是大于或等于2的整数)个子像素采样为交点，并且可以生成k个网关图像igrm'、irm'、ibm’和igbm'。因此，k个网格图像igrm'、irm'、ibm'和igbm'中的每一个中像素的数量是k个代表性通道图像信号igrm、irm、ibm和igbm的每一个中像素的数量的1/r²。

种子值生成器430可以对k个网格图像信号igrm'、irm'、ibm'和igbm'中的每一个的内部交点执行滤波，以生成针对k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个的中间种子值msv。k个网格图像信号igrm'、irm'、ibm'和igbm’中的每一个的内部交点对应于k个网格图像信号igrm'、irm'、ibm和igbm中的每一个中除了位于边界区域中的边界交点以外的交点。滤波可以是中值过滤，并且可以是用于计算中间值的任何其他方案。

例如，当k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个包括s*t个子像素(s＝p/k，t＝q/k)时，网格图像生成器410可以生成k个网格图像信号igrm'、irm'、ibm'和igbm'，使得k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个的每个单位网格包括u*u个子像素。因为两个网格之间的间隔对应于u，所以k个网格图像信号igrm'、irm'、ibm'和igbm'中的每一个可以包括f*g个网格。f是大于或等于s/u的自然数，f是大于或等于t/u的自然数。

种子值生成器430可以对k个网格图像信号igrm'、irm'、ibm'和igbm'中的每一个的内部交点的像素值执行中值滤波，以生成针对k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个的中间种子值msv。当种子值生成器430可以执行v*v次(其中v是大于或等于2的整数)中值滤波时，用于k个代表性通道图像信号igrm、irm、ibm和igbm之一的中间种子值msv的数量对应于f*g，并且中间种子值msv的总数对应于4*f*g。

当一个中间种子值包括w个(其中w是大于或等于2的整数)字节时，全部中间种子值msv包括w*f*g个字节。为了减少全部中间种子值msv的字节量，比特打包器450存储中间种子值msv的比特，压缩中间种子值msv的比特，并提供与中间种子值msv相比具有更少比特的种子值sv。

图12是用于说明图11的种子值计算引擎中的图像信号和种子值的图。

在图12中，为了便于说明，将使用使用网格图像信号igrm’来描述代表性通道图像信号igrm的网格图像信号igrm'和种子值sv，并且类似的说明可适用于其他网格图像信号irm'、ibm'和igbm'。

参考图12，当假设代表性通道图像信号igrm包括s*t个子像素并且一个网格411包括u*u个子像素时，网格图像信号igrm'包括f*g个交点。

种子值生成器430对网格图像信号igrm'中的交点的内部交点执行v*v次中值滤波，并输出v²个像素值的中值作为相应交点的中间种子值。当种子值生成器430执行中值滤波时，种子值生成器430可以对v²个子像素的坏子像素进行滤波。

种子值生成器430可以通过对与角交点412相邻的交点413和414的中间种子值进行平均来计算边界交点的角交点412的中间种子值。

另外，种子值生成器430可以基于代表性通道图像信号igrm中对应于边界交点中除角交点外的剩余边界交点417的子像素416的像素值来计算所述剩余边界交点417的中间种子值，还可以计算在第一方向上与所述剩余边界交点417相邻的交点415的中间种子值。例如，交点415的中间种子值是a，子像素416的像素值是b，剩余边界交点417的中间种子值c可以通过c＝2*b-a获得。在这种情况下，假设交点415、子像素416和边界交点417的每个间隔基本相同。

如参考图11和图12所述，由于通过对k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个的子像素进行采样来计算种子值sv，所以串扰处理模块300可以减少存储器305的存储空间和访问存储器305的次数。

图13是示出根据示例性实施例的图6的串扰处理模块中的校正检查单元的框图。

参考图13，串扰校正检查单元500可以包括增益图生成引擎510、图像分离引擎520、结果图像生成引擎530、图像合并引擎540、通过/失败检查器550和寄存器560。

图像分离引擎520可以根据与图2中的每个滤色器对应的子像素的通道来分离图像信号idta，以生成4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4。

增益图生成引擎510可以基于种子值sv、第一校正参数cp1和第二校正参数cp2来生成用于校正4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个的串扰的4*k个增益图gm_igr1至gm_igb4。

结果图像生成引擎530可以将4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个的子像素乘以4*k个增益图gm_igr1至gm_igb4的相应增益图的每个子像素的增益，以产生4*k个结果通道图像信号rigr1至rigr4、rir1至rir4、rib1至rib4和rigb1至rigb4。图像合并引擎540合并4*k结果通道图像信号rigr1至rigr4、rir1至rir4、rib1至rib4和rigb1至rigb4，以输出最终图像信号ridta。

通过/失败检查器550可以基于4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4、4*k结果通道图像信号rigr1至rigr4、rir1至rir4、rib1至rib4和rigb1至rigb以及参考值crt1至crt3，来输出通过/失败信息pfi和对4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个之间的差异比加以指示的直方图hst。寄存器560可以存储参考值crt1至crt3，并将参考值crt1至crt3提供给通过/失败检查器550。

增益图生成引擎510可以对种子值sv执行插值以生成k个中间增益图，并且可以将第一校正参数cp1和第二校正参数cp2应用于k个中间增益图，以生成4*k个增益图gm_igr1至gm_igb4。例如，增益图生成引擎510可以对种子值sv执行双线性插值。

通过/失败检查器550可以将4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个和4*k个结果通道图像信号rigr1至rigr4、rir1至rir4、rib1至rib4和rigb1至rigb4中的每一个分成多个块，并且可以对相对于块而言差异比大于第一参考值crt1的相应块的第一数量进行计数。通过/失败检查器550可以确定第一数量是否大于第二参考值crt2，并且当相应块的差异比中的至少一个大于第三参考值crt3时，可以确定串扰校正失败。另外，当第一数量针对至少一个通道大于第二参考值crt2时，通过/失败检查器550可以确定串扰校正失败。

图14示出了一个通道图像信号被分成多个块，并且图15示出了从通过/失败检查器输出的直方图。

参考图14，当通道图像信号igr1包括s*t个子像素并且一个块blk被设置为包括m*m个子像素时，块blk的数量j*k＝w，用于覆盖s*t个子像素。j是大于或等于s/m的整数，k是大于或等于t/m的整数。

参考图15，直方图hst表示4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4以及4*k个结果通道图像信号rigr1至rigr4、rir1至rir4、rib1至rib4和rigb1至rigb4的相应图像信号对相对于多个范围的差异比。通过/失败检查器550通过针对每个通道将差异比与参考值crt1至crt3进行比较来确定对串扰的校正是通过还是失败。当通过/失败检查器550针对至少一个通道确定对串扰的校正是通过还是失败时，通过/失败检查器550将结果图像信号ridta的对串扰的校正是通过还是失败确定为失败。

图16是示出根据示例性实施例的处理图像信号的串扰的方法的流程图。

参考图1至图16，在处理从包括沿多个行和多个列布置的多个子像素(多个子像素的k(k是大于或等于4的整数)个相邻子像素表示一种颜色)的像素阵列的图像传感器10输出的图像信号idta的串扰的方法中，校正参数生成单元310基于代表性通道图像信号生成种子值sv和校正参数cp，其中，所述代表性通道图像信号用于基于图像信号idta、与至少图像信号idta的尺寸相关联的输入信息idinf和通道图像信号来校正串扰。图像信号idta可以根据颜色被分离为代表性通道图像信号，并且图像信号idta可分离为相对于子像素的通道图像信号(s100)。种子值sv和校正参数cp被存储在存储器305中(s500)。

串扰校正检查单元500基于图像信号idta、种子值sv和校正参数cp来校正每个通道图像信号的串扰，并基于多个参考值crt1至crt3来确定对串扰的校正是通过还是失败(s600)。

图17是示出生成图16中的种子值和校正参数的操作的流程图。

参考图1至图17，为了生成种子值sv和校正参数cp，图像分离引擎320根据与每个滤色器对应的子像素的通道分离图像信号idta，以生成4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4(s110)，代表性通道图像生成引擎330相对于每个滤色器对4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4的每一个的像素值进行平均，以生成k个代表性通道图像信号igrm、irm、ibm和igbm(s130)，校正参数计算引擎350基于4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4以及k个代表性通道图像信号igrm、irm、ibm和igbm来计算校正参数cp1和cp2(s200)，以及种子值计算引擎400基于k个代表性通道图像信号igrm、irm、ibm和igbm和输入信息idinf来生成种子值sv(s400)。

图18是示出根据示例性实施例的图17中的生成种子值的操作的流程图。

参考图1至图18，为了生成种子值sv(s400)，网格图像生成器410基于输入信息idinf将k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个中的r*r(其中r是大于或等于2的整数)个子像素采样为一个交点(s410)。网格图像生成器410对k个网格图像信号igrm'、irm'、ibm'和igbm'中的每一个的内部交点执行中值滤波，以针对k个代表性通道图像信号igrm、irm、ibm和igbm中的每一个生成中间种子值msv(s430)。比特打包器450存储中间种子值msv的比特，压缩中间种子值msv的比特并提供种子值sv(s450)。

图19是示出确定图16中的串扰校正的通过/失败的操作的流程图。

参考图1至图16和图19，为了确定对串扰的校正是通过还是失败(s600)，图像分离引擎520根据与每个滤色器对应的子像素的通道来分离图像信号idta，以生成4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4(s610)。增益图生成引擎510基于种子值sv、第一校正参数cp1和第二校正参数cp2来生成用于校正4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个的串扰的4*k个增益图gm_igr1至gm_igb4(s620)。结果图像生成引擎530将4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个的子像素乘以4*k个增益图gm_igr1至gm_igb4的相应增益图的每个子像素的增益，以产生4*k个结果通道图像信号rigr1至rigr4、rir1至rir4、rib1至rib4和rigb1至rigb4(s630)。通过/失败检查器550计算4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4和4*k个结果通道图像信号rigr1至rig1、rir1至rir4、rib1至rib4和rigb1至rigb4的对应图像信号对的差异比，并且基于差异比和参考值crt1至crt3，相对于每个通道来确定对4*k个通道图像信号igr1至igr4、ir1至ir4、ib1至ib4和igb1至igb4中的每一个的串扰的校正是通过还是失败(s640)。

图20是示出了根据示例性实施例的电子系统的框图。

参考图20，电子系统1000包括处理器1010和图像采集设备1040。电子系统1000还可以包括连接模块1020、存储设备1030、用户接口1050和电源1060。

处理器1010控制电子系统1000的整体操作。图像采集设备由处理器1010控制。图像采集设备1040可以是图1的图像处理系统。1。图像采集设备1040可以包括像素阵列，其中像素阵列包括沿多个行和多个列布置的多个子像素，k个相邻的子像素可以表示一种颜色，可以基于根据颜色图像信号被分离到的k个代表性通道图像信号来校正4*k个通道图像信号中的每一个的串扰，并且可以确定对串扰的校正是通过还是失败。因此，图像采集设备1040可以减少存储设备1030的存储空间和访问存储设备1030的次数。

连接模块1020可以与外部设备(未示出)通信。存储设备1030可以作为由处理器1010处理数据的数据存储器或者电子系统1000中的工作存储器来操作。用户接口1050可以包括至少一个输入设备和/或至少一个输出设备，输入设备例如是键区、触摸屏等，输出设备例如是显示设备等。电源1060可以向电子系统1000供电。

本公开可以应用于各种图像传感器和各种成像系统。例如，本公开可以应用于移动电话、智能电话、个人数字助理(pda)、便携式多媒体播放器(pmp)、便携式游戏机、可穿戴系统、物联网(iot)系统、3d几何重建系统、阵列相机系统、虚拟现实(vr)系统、增强现实(ar)系统等。

前述内容是对示例性实施例的说明，而不应被解释为对其的限制。虽然已经描述了一些示例实施例，但是本领域技术人员将容易理解，在不实质上脱离本发明构思的新颖教义和优点的前提下，可以在示例实施例中进行多种修改。因此，所有这种修改旨在被包括在如权利要求中限定的本发明构思的范围内。因此，将理解到，前述是对各种示例实施例的说明，而不应被解释成限制为所公开的具体示例实施例，并且对所公开的示例实施例的修改以及其他示例实施例旨在被包括在所附权利要求的范围内。