固定模式噪声消除方法、装置、图像传感器及电子设备与流程

本发明涉及图像处理技术领域，尤其涉及一种固定模式噪声消除方法、装置、图像传感器及电子设备。

背景技术：

在coms图像传感器中固定模式噪声(fixedpatternnoise，fpn)一直是影响性能的一个重要因素。列fpn产生的原因在于晶体管特性参数及无源元件参数不均匀,不同列的列放大器内部晶体管的阈值差异以及本身的偏置差异。它们在图像中表现为竖直条纹。而人眼对这种噪声特别敏感,所以对图像传感器的图像质量影响非常大,因此有效的减小fpn是设计coms图像传感器的一个重要环节。

相关技术中，cmos图像传感器通常采用传统的cds(correlateddoublesample)技术来抑制fpn噪声。该技术在模拟域中通过列差分放大器和输出差分放大器的差分作用来消除fpn噪声，还有一种方法就是通过增加哑元像素获取fpn信息进而通过特定的算法消除fpn。

这种方式下，图像传感器的后续处理电路,如采样和保持电路、列缓存等，同样会引入大量的fpn。此外，在像素间距的限制下,列差分放大器的设计和放置都较为困难,同时其结构相对复杂,会引入更多的随机噪声，由于工艺的不一致性，增加哑元像素去除fpn的方法必须使用多行哑元像素，并且匹配相应的算法，这样将大大增加系统的复杂程度，耗费较大的芯片面积。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种固定模式噪声消除方法，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

本发明的另一个目的在于提出一种固定模式噪声消除装置。

本发明的另一个目的在于提出一种图像传感器。

本发明的另一个目的在于提出一种电子设备。

本发明的另一个目的在于提出一种非临时性计算机可读存储介质。

本发明的另一个目的在于提出一种计算机程序产品。

为达到上述目的，本发明第一方面实施例提出的固定模式噪声消除方法，用于图像传感器的数据采集模块中，所述数据采集模块用于采集像素阵列结构中每列像素成像生成的图像信号，包括：确定所述像素阵列结构中每个像素，将所述生成的图像信号传输至所述数据采集模块的初始传输路径，得到与所述每个像素对应的初始传输路径；对所述初始传输路径进行转换，得到转换后的传输路径，所述转换后的传输路径为与所述初始传输路径不同的路径；基于所述转换后的传输路径对每个像素所生成的图像信号进行采集。

本发明第一方面实施例提出的固定模式噪声消除方法，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

为达到上述目的，本发明第二方面实施例提出的固定模式噪声消除装置，用于图像传感器的数据采集模块中，所述数据采集模块用于采集像素阵列结构中每列像素成像生成的图像信号，包括：确定模块，用于确定所述像素阵列结构中每个像素，将所述生成的图像信号传输至所述数据采集模块的初始传输路径，得到与所述每个像素对应的初始传输路径；转换模块，用于对所述初始传输路径进行转换，得到转换后的传输路径，所述转换后的传输路径为与所述初始传输路径不同的路径；所述数据采集模块，用于基于所述转换后的传输路径对每个像素所生成的图像信号进行采集。

本发明第二方面实施例提出的固定模式噪声消除装置，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

本发明第三方面实施例提出的图像传感器，其特征在于，包括：本发明第二方面实施例提出的固定模式噪声消除装置。

本发明第三方面实施例提出的图像传感器，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

本发明第四方面还提出一种电子设备，该电子设备包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如本发明第一方面实施例提出的固定模式噪声消除方法。

本发明第方方面实施例提出的电子设备，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

本发明第五方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种固定模式噪声消除方法，所述方法包括：确定所述像素阵列结构中每个像素，将所述生成的图像信号传输至所述数据采集模块的初始传输路径，得到与所述每个像素对应的初始传输路径；对所述初始传输路径进行转换，得到转换后的传输路径，所述转换后的传输路径为与所述初始传输路径不同的路径；基于所述转换后的传输路径对每个像素所生成的图像信号进行采集。

本发明第五方面实施例提出的非临时性计算机可读存储介质，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

为达到上述目的，本发明第六方面实施例提出的计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行一种固定模式噪声消除方法，所述方法包括：确定所述像素阵列结构中每个像素，将所述生成的图像信号传输至所述数据采集模块的初始传输路径，得到与所述每个像素对应的初始传输路径；对所述初始传输路径进行转换，得到转换后的传输路径，所述转换后的传输路径为与所述初始传输路径不同的路径；基于所述转换后的传输路径对每个像素所生成的图像信号进行采集。

本发明第六方面实施例提出的计算机程序产品，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例提出的固定模式噪声消除方法的流程示意图；

图2为相关技术中像素阵列结构对图像信号进行传输的路径示意图；

图3为本发明实施例中一种转换方式示意图；

图4是本发明另一实施例提出的固定模式噪声消除方法的流程示意图；

图5是本发明一实施例提出的固定模式噪声消除装置的结构示意图；

图6是本发明另一实施例提出的固定模式噪声消除装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本发明一实施例提出的固定模式噪声消除方法的流程示意图。

本实施例用于图像传感器的数据采集模块中，数据采集模块用于采集像素阵列结构中每列像素成像生成的图像信号。

参见图1，该方法包括：

s101：确定像素阵列结构中每个像素，将生成的图像信号传输至数据采集模块的初始传输路径，得到与每个像素对应的初始传输路径。

本发明实施例中的初始传输路径为相关技术中，每个像素成像所得的图像信号传输至数据采集模块的路径。

本发明实施例的提出是为了对该初始传输路径所依托的数据采集模块的架构进行优化设计，本发明实施例能够消除相关技术中像素阵列结构的固定模式噪声，其中的固定模式噪声具体为列固定模式噪声。

参见图2，图2为相关技术中像素阵列结构对图像信号进行传输的路径示意图，其中包括四行四列的译码电路单元，每个译码电路单元对应像素阵列结构中的一个像素，用于接收与其对应像素成像得到的图像信号，并将该图像信号传输至数据采集模块中。

由图2可见，相同列的像素对图像信号进行传输的路径相同。

本发明实施例中为了对图2中由于相同列的像素对图像信号进行传输的路径相同所造成的固定模式噪声，首先确定像素阵列结构中每个像素，将生成的图像信号传输至数据采集模块的初始传输路径，得到与每个像素对应的初始传输路径。

s102：对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径。

可以理解的是，固定模式噪声主要由半导体工艺制造技术的不一致性而产生，因此，相关技术中，由于这种不一致性产生的差异，却随着制造的完成而确定下来。通过同一传输路径连续采集同一列不同行像素输出的图像信号，其中所包含的固定模式噪声相同。

因此，本发明实施例提出对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，能够有效消除固定模式噪声。

并且，本发明实施例仅仅是对图像信号的传输路径进行转换，利用像素之间的间隙，按设定方案改变列像素对应的译码单元输出到数据采集模块的连线，并不会增加额外的芯片面积，尤其地更适合bsi工艺的项目，因为bsi工艺可利用的间隙更大，可以实现每组更多列的交换，交换方式可以更加灵活，得到更加好的效果。

s103：基于转换后的传输路径对每个像素所生成的图像信号进行采集。

可选地，像素阵列结构中处于不同行、相同列的像素对应的转换后的传输路径不同。

参见图3，图3为本发明实施例中一种转换方式示意图，其中，包括，路径col_out0、col_out1、col_out2，以及col_out3，每像素阵列结构中处于不同行、相同列的像素对应的转换后的传输路径不同。

例如，参见图3，将整个像素阵列以四行为一个单元，其中，row0行的第0列pixel输出信号接到col_out0；第1列pixel输出信号接到col_out1；第2列pixel输出信号接到col_out2；第3列pixel输出信号接到col_out3；其中row1行的第0列pixel输出信号接到col_out1；第1列pixel输出信号接到col_out2；第2列pixel输出信号接到col_out3；第3列pixel输出信号接到col_out0；其中row2行的第0列pixel输出信号接到col_out2；第1列pixel输出信号接到col_out3；第2列pixel输出信号接到col_out0；第3列pixel输出信号接到col_out1；其中row3行的第0列pixel输出信号接到col_out3；第1列pixel输出信号接到col_out0；第2列pixel输出信号接到col_out1；第3列pixel输出信号接到col_out2；这样以此类推整个像素阵列都进行相应的处理。

可选地，参见图4，在对初始传输路径进行转换，得到转换后的传输路径之后，还包括：

s401：生成与每个像素对应的初始传输路径和转换后的传输路径之间的转换关系表。

s402：并将转换关系表保存至列数据交换矫正模块的存储单元中。

s403：将对像素阵列结构中全部像素采集到的图像信号传输至列数据交换矫正模块。

s404：列数据交换矫正模块根据转换关系表对所采集到的图像信号进行逆向转换。

其中，经逆向转换后的图像信号，与经基于初始传输路径对每个像素所生成的图像信号进行采集得到的图像信号相同。

作为一种示例，以图3中的转换规则为例形成的转换关系表如表1所示。

表1

作为一种示例，如上述图3中所示，不同行的同一列所经过的处理电路被完全打乱，从而避免了列上出现竖条纹现象。但是，本发明实施例不局限于本实施例中的交换单元列数和交换顺序。由于原本的图像信号输出顺序被完全打乱，待图像信号经过采样保持、列缓存、模数转换等一系列操作后，本发明实施例还可以通过设计一个包含存储单元的数据交换矫正模块，图像信号传输到数据交换矫正模块后先存储到存储单元中，再按如图3所示的顺序的逆向对所采集到的图像信号进行逆向转换，即列交换后的图像信号重新还原回原本的图像信号输出顺序，传输到后续数字电路继续进行相应的处理，这样最后输出的图像信号矫正回正常顺序输出，完全不会受到列交换的影响而出现图像错乱的情况。

进一步，可选地，在对初始传输路径进行转换之前，还可以对像素阵列结构进行分区处理，得到至少一个的子像素阵列，分别在每个子像素阵列中，对每个像素对应的初始传输路径进行转换，能够有效提升图像信号转换效率。

作为另一种示例，结合参见图3，本发明实施例包括以下步骤：

(1)将整个像素阵列结构pixelarray以每四行为单位分组分别为row0、row1、row2、row3。

(2)每行中以每4列为单位分组。

(3)其中，row0行的第0列pixel输出信号接到col_out0；第1列pixel输出信号接到col_out1；第2列pixel输出信号接到col_out2；第3列pixel输出信号接到col_out3；其中row1行的第0列pixel输出信号接到col_out1；第1列pixel输出信号接到col_out2；第2列pixel输出信号接到col_out3；第3列pixel输出信号接到col_out0；其中row2行的第0列pixel输出信号接到col_out2；第1列pixel输出信号接到col_out3；第2列pixel输出信号接到col_out0；第3列pixel输出信号接到col_out1；其中row3行的第0列pixel输出信号接到col_out3；第1列pixel输出信号接到col_out0；第2列pixel输出信号接到col_out1；第3列pixel输出信号接到col_out2。

(4)以此类推到整个像素阵列都重复此种排布方式，使得同一列的不同行图像信号经图像信号采集后续处理上所走的路径完全打乱，从而消除固定模式噪声造成的竖条纹现象。

(5)待图像信号经采样保持、列缓存、模数转换、等一系列操作后，需要经过数字矫正电路处理，数字矫正电路将接收到的图像信号按既定的顺序存储到如图3所示存储单元中。

(6)从如图3所示的存储单元中重新逆向转换出图像信号输出实现列交换的矫正，其中row0行的col0输出图像信号在第0个pixelclk输出；其中row0行的col1输出图像信号在第1个pixelclk输出；其中row0行的col2输出图像信号在第2个pixelclk输出；其中row0行的col3输出图像信号在第3个pixelclk输出；row1行的col0输出图像信号在第3个pixelclk输出；其中row1行的col1输出图像信号在第0个pixelclk输出；其中row1行的col2输出图像信号在第1个pixelclk输出；其中row1行的col3输出图像信号在第2个pixelclk输出；row2行的col0输出图像信号在第2个pixelclk输出；其中row2行的col1输出图像信号在第3个pixelclk输出；其中row2行的col2输出图像信号在第0个pixelclk输出；其中row2行的col3输出图像信号在第1个pixelclk输出；row3行的col0输出图像信号在第1个pixelclk输出；其中row3行的col1输出图像信号在第2个pixelclk输出；其中row3行的col2输出图像信号在第3个pixelclk输出；其中row3行的col3输出图像信号在第0个pixelclk输出。

(7)将上一步骤实现了列交换后图像信号顺序矫正的图像信号继续传输到后续处理单元中完成后续处理后输出。

本实施例中，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

图5是本发明一实施例提出的固定模式噪声消除装置的结构示意图。

该装置500用于图像传感器的数据采集模块中，数据采集模块用于采集像素阵列结构中每列像素成像生成的图像信号。

参见图5，该装置500包括：确定模块501、转换模块502，以及数据采集模块503，其中，

确定模块501，用于确定像素阵列结构中每个像素，将生成的图像信号传输至数据采集模块的初始传输路径，得到与每个像素对应的初始传输路径。

转换模块502，用于对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径。

数据采集模块503，用于基于转换后的传输路径对每个像素所生成的图像信号进行采集。

可选地，一些实施例中，参见图6，还包括：

生成模块504，用于生成与每个像素对应的初始传输路径和转换后的传输路径之间的转换关系表。

保存模块505，用于将转换关系表保存至列数据交换矫正模块的存储单元中。

传输模块506，用于将对像素阵列结构中全部像素采集到的图像信号传输至列数据交换矫正模块。

列数据交换矫正模块507，用于根据转换关系表对所采集到的图像信号进行逆向转换。

其中，经逆向转换后的图像信号，与经基于初始传输路径对每个像素所生成的图像信号进行采集得到的图像信号相同。

分区模块508，用于对像素阵列结构进行分区处理，得到至少一个的子像素阵列；

转换模块502，还用于分别在每个子像素阵列中，对每个像素对应的初始传输路径进行转换。

可选地，像素阵列结构中处于不同行、相同列的像素对应的转换后的传输路径不同。

需要说明的是，前述图1-图4实施例中对固定模式噪声消除方法实施例的解释说明也适用于该实施例的固定模式噪声消除装置500，其实现原理类似，此处不再赘述。

本实施例中，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

为了实现上述实施例，本发明还提出一种电子设备，包括存储器及处理器，存储器中储存有计算机可读指令，指令被处理器执行时，使得处理器执行如上述的固定模式噪声消除方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行一种固定模式噪声消除方法，方法包括：确定像素阵列结构中每个像素，将生成的图像信号传输至数据采集模块的初始传输路径，得到与每个像素对应的初始传输路径；对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径；基于转换后的传输路径对每个像素所生成的图像信号进行采集。

本实施例中的非临时性计算机可读存储介质，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时，执行一种固定模式噪声消除方法，方法包括：确定像素阵列结构中每个像素，将生成的图像信号传输至数据采集模块的初始传输路径，得到与每个像素对应的初始传输路径；对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径；基于转换后的传输路径对每个像素所生成的图像信号进行采集。

本实施例中的计算机程序产品，通过对初始传输路径进行转换，得到转换后的传输路径，转换后的传输路径为与初始传输路径不同的路径，基于转换后的传输路径对每个像素所生成的图像信号进行采集，能够提升列上固定模式噪声的消除效果，并且只需要额外增加较小的芯片面积，使得产品成本更低。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。