果。
[0038]在另一种实例中，所述的超分辨率智能图像传感器芯片，对于Na,b中只有一个紧邻数据的数据，扩展的具体方法为:首先，在该紧邻数据所在的方向进行插值，其次，其余的插入数据均重复该方向的数据，以扩展成一个pXp阵列，并输出。Na,b中只有一个紧邻数据的数据，即Na,b中最后一列和最后一行(除去最后一列的最后一行数据)的数据，对于这种情况，首先在一个方向进行插值，而其余数据均重复该方向的数据。例如，对于N1, b，第一行最后一列的数据，只有一个紧邻数据N2, b，这时，只需要在N1,,和N 2, 间插入p-Ι个数据，组成该pXp阵列的第一列的数据，然后将该列数据重复P-1次，即组成pXp阵列。
[0039]在另一种实例中，所述的超分辨率智能图像传感器芯片，对于Na,b中没有紧邻数据的数据，扩展的具体方法为:所有的插入数据均重复该数据，以扩展成一个pXp阵列，并输出。在这里，针对的是数据Na,b，小阵列的最后一列的最后一行数据，将该数据重复pp-1次即可组成pXp阵列。
[0040]在另一种实例中，所述的超分辨率智能图像传感器芯片，还包括:
[0041]传感器阵列，其感光后将光信号转换为电信号，获得低分辨率图像的电信号；
[0042]多个列读出电路，其分别与所述传感器阵列的一列对应，每个列读出电路分别用于读取每列传感器产生的电信号；
[0043]多个放大器，其分别与所述多个列读出电路的一个对应，用于将相应列的读出电路读取的电信号进行放大处理；
[0044]多个模数转换模块，其分别与所述多个放大器的一个对应，用于将经相应放大器放大的电信号转换为数字信号，获得低分辨率图像的图像数据小阵列。
[0045]在上述技术方案中，提供了一种获得低分辨率图像的图像数据小阵列的一种方式，即由传感器阵列感光，并将光信号转换成电信号，然后经列读出电路读取，随后经放大器进行放大，最后经模数转换模块转换为数字信号，得到低分辨率图像的图像数据小阵列。在这里，为传感器阵列中的每一列均设计一个读出电路、一个放大器和一个模数转换模块，这就提高了读取、放大和模数转换的速度，进一步加快了本发明对图像的处理速度。
[0046]在另一种实例中，所述的超分辨率智能图像传感器芯片，还包括:
[0047]多个列存储器，其分别与所述多个模数转换模块的一个对应，用于存储经模数转换模块转换得到的相应列的数字信号；
[0048]多个列译码器，其分别与所述多个列存储器的一个对应，用于读出所述列存储器存储的相应列的数字信号，并输出至所述单帧超分辨率数字图像处理模块。在这里，提供了一种小阵列的存储和读取方式，每个列均设计一个列存储器和一个列译码器，与上一个技术方案一样加快了本发明对图像的处理速度。
[0049]在另一种实例中，所述的超分辨率智能图像传感器芯片，所述传感器为CMOS图像传感器。在这里，提供了一种优选的传感器，CMOS图像传感器有成本低，体积小，高速，低功耗和易于集成的优点。
[0050]在另一种实例中，所述的超分辨率智能图像传感器芯片，放大器的增益可以在一倍、二倍和四倍间调整。在这里，可以不同光照情况，提供了一种放大器的放大倍数，满足不同情况下的需要。这样的设计会带来三项优势:i)可以放大信号，提高像素敏感度；ii)由于放大级靠近像素，可以减少读出噪声；iii)可以灵活地调整下一级数模转换器的信号电压水平。
[0051]在另一种实例中，所述的超分辨率智能图像传感器芯片，所述模数转换模块包括:
[0052]10位单斜模数转换器，其进行模数转换；
[0053]双向计数器，其与所述10位单斜模数转换器相连，所述双向计数器在数字域进行了相关双采样。
[0054]在上述技术方案中，模数转换模块不仅实现了模数转换，还同时在数字域利用双向计数器直接进行了相关双采样，和传统电路中需要添加外置加法器的方法相比，该电路能节约芯片面积并降低产品成本。
[0055]在另一种实例中，所述的超分辨率智能图像传感器芯片，所述传感器阵列中，每个传感器的像素尺寸均为10 μ m，所述传感器阵列为128X 128阵列。这里提供了传感器和传感器阵列的优选方案，当传感器的像素尺寸为10 ym时，具有优质的光灵敏度，同时大像素尺寸也可以缩短曝光时间，从而提高成像速率。而128X128阵列非常容易实现，降低了本发明的成本。
[0056]在另一种实例中，所述的超分辨率智能图像传感器芯片，P的值为4。这里，提供了P值的一个优选值，如图1所示，在Nui附件插入P1、P2、P3、P4……P15这15个值，组成一个4X4阵列，用这种方法就可以将原始的128X128阵列10 μ m分辨率的图像数据经过处理生成512X512阵列2.5 μπι分辨率的图像，帧速率能达到1750fps。
[0057]请注意，这里实现超分辨率图像处理是基于一行原始图像信息的，如果采用多行数据来实现超分辨率处理，可以进一步提高y方向上的空间分辨率。另外，单帧多行的超分辨率图像处理不仅仅局限在列并行读出的图像传感器构架，它也可以应用在其他的传感器起构架中，例如全局读出的结构。
[0058]尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用。它完全可以被适用于各种适合本发明的领域。对于熟悉本领域的人员而言，可容易地实现另外的修改。因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
【主权项】
1.一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，其特征在于，所述单帧超分辨率数字图像处理模块通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列Na,b扩展为图像数据大阵列Npa,pb，以获得超分辨率图像，扩展的具体方法为: 对所述低分辨率图像的图像数据小阵列中的任一个数据Ni, P根据其紧邻数据Ni, j+1、Ni+u和N i+u+1，多次使用双线性插值法均匀插入另外pp-?个数据，将Ny扩展成一个pXp阵列，并输出，依次扩展所述低分辨率图像的图像数据小阵列中的所有数据，并输出，得到所述图像数据大阵列Npa,pb; 其中，a、b、i和j均为正整数，P为大于I的正整数。2.如权利要求1所述的超分辨率智能图像传感器芯片，其特征在于，对于Na,b中只有一个紧邻数据的数据，扩展的具体方法为:首先，在该紧邻数据所在的方向进行插值，其次，其余的插入数据均重复该方向的数据，以扩展成一个pXp阵列，并输出。3.如权利要求2所述的超分辨率智能图像传感器芯片，其特征在于，对于Na,b中没有紧邻数据的数据，扩展的具体方法为:所有的插入数据均重复该数据，以扩展成一个pXp阵列，并输出。4.如权利要求3所述的超分辨率智能图像传感器芯片，其特征在于，还包括: 传感器阵列，其感光后将光信号转换为电信号，获得低分辨率图像的电信号； 多个列读出电路，其分别与所述传感器阵列的一列对应，每个列读出电路分别用于读取每列传感器产生的电信号； 多个放大器，其分别与所述多个列读出电路的一个对应，用于将相应列的读出电路读取的电信号进行放大处理； 多个模数转换模块，其分别与所述多个放大器的一个对应，用于将经相应放大器放大的电信号转换为数字信号，获得低分辨率图像的图像数据小阵列。5.如权利要求4所述的超分辨率智能图像传感器芯片，其特征在于，还包括: 多个列存储器，其分别与所述多个模数转换模块的一个对应，用于存储经模数转换模块转换得到的相应列的数字信号； 多个列译码器，其分别与所述多个列存储器的一个对应，用于读出所述列存储器存储的相应列的数字信号，并输出至所述单帧超分辨率数字图像处理模块。6.如权利要求1或5所述的超分辨率智能图像传感器芯片，其特征在于，所述传感器为CMOS图像传感器。7.如权利要求6所述的超分辨率智能图像传感器芯片，其特征在于，放大器的增益可以在一倍、二倍和四倍间调整。8.如权利要求7所述的超分辨率智能图像传感器芯片，其特征在于，所述模数转换模块包括: 10位单斜模数转换器，其进行模数转换； 双向计数器，其与所述10位单斜模数转换器相连，所述双向计数器在数字域进行了相关双采样。9.如权利要求3或8所述的超分辨率智能图像传感器芯片，其特征在于，所述传感器阵列中，每个传感器的像素尺寸均为?ο μm，所述传感器阵列为128X128阵列。10.如权利要求9所述的超分辨率智能图像传感器芯片，其特征在于，P的值为4。
【专利摘要】本发明公开了一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，其通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列Na，b扩展为图像数据大阵列Npa，pb，以获得超分辨率图像，扩展的具体方法为：对小阵列中的任一个数据Ni，j，根据其紧邻数据Ni，j+1、Ni+1，j和Ni+1，j+1，多次使用双线性插值法均匀插入另外pp-1个数据，将Ni，j扩展成一个p×p阵列，并输出，依次扩展小阵列中的所有数据，并输出，得到大阵列；其中，a、b、i和j均为正整数，p为大于1的正整数。本发明的传感器具有较大的像素尺寸，并通过硬件实现双线性插值算法，因而兼具高灵敏度和超分辨率。
【IPC分类】H04N5/378, H04N5/374
【公开号】CN104967796
【申请号】CN201510364819
【发明人】严媚
【申请人】武汉智慧城市研究院股份有限公司
【公开日】2015年10月7日
【申请日】2015年6月26日