超分辨率智能图像传感器芯片的制作方法
【技术领域】
[0001]本发明是基于超分辨率智能算法的图像传感器芯片，主要适用于监控，医疗等智能硬件应用领域。
【背景技术】
[0002]图像传感器是将一种新型的将光学图像转换成电信号的电子成像器件，主要应用包括手机，照相机，摄像机，监控和生物医学等各个领域。目前，市场上主要有两种类型的传感器，电荷耦合器件(CXD)和互补金属氧化物半导体的(CMOS)有源像素传感器。由于CMOS图像传感器是可以通过生产电脑和计算机的大规模集成电路CMOS工艺来制造，具有成本低，体积小，高速，低功耗和易于集成的优点，因此迅速占领了电子成像器件的市场并得到了突飞猛进的发展。
[0003]目前图像传感器产品的主要发展方向是通过增加图像分辨率以提高图像的质量，通常工业界的解决方案是通过减少像素尺寸(I微米)不断增加传感器的像素数目(1500万)，但减少像素尺寸(即感光面积)就会影响到图像的质量。对于任何一种特定的生产工艺和像素结构，缩小像素尺寸将影响像素性能，包括限制感光动态范围，降低填充因子，减弱光敏感性，增大暗电流噪声，以及影响成像非均匀性等。为了克服由于减少图像传感器尺寸对成像性能的影响，工业界通过生产工艺的创新与改进，包括背部照明技术，微透镜集成，Pin光电二极管，双栅极氧化物，图像读取电路设计优化等方法不断提高图像传感器性能，然而这些技术革新通常需要巨额(高达数十亿美元)研发投入，而且由于物理极限约束，像素工艺改良并不能无限制提高像素的性能。有些还可以通过控制图像传感器的运行(如延长像素曝光时间)来补偿感光性能的降低，但长曝光时间积累的暗电流会严重影响图像质量，而且成像的速度也将受影响。
[0004]另外一种成本低廉的可行性解决方案是通过图像处理软件优化图像质量，即维持像素的现有尺寸以保证良好的感光性能，同时通过多帧的超分辨率算法可以从系统的角度提高图像的分辨率。该算法的基本原理是利用叠加几帧图像的时间信息，克服空间像素大小限制，从而改善图像的空间信息(即增大分辨率)。但是目前常用的方式是在芯片外部用FPGA进行超分辨率算法的运算，由于受到芯片之间数据传输速度和数据量的限制，因此在智能高速图像传感器应用中受到极大的限制。
【发明内容】
[0005]本发明的一个目的是解决至少上述问题和/或缺陷，并提供至少后面将说明的优点。
[0006]本发明还有一个目的是提供一种超分辨率智能图像传感器芯片，其传感器具有较大的像素尺寸，而且通过硬件实现双线性插值算法，因而具有高速和高灵敏度，也具有超分辨率。
[0007]为了实现根据本发明的这些目的和其它优点，提供了一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，所述单帧超分辨率数字图像处理模块通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列Na,b扩展为图像数据大阵列Npa,pb，以获得超分辨率图像，扩展的具体方法为:
[0008]对所述低分辨率图像的图像数据小阵列中的任一个数据Ni, P根据其紧邻数据Ni,J+1、Ni+1, N i+1, w，多次使用双线性插值法均匀插入另外pp-1个数据，将Ni, 展成一个pXp阵列，并输出，依次扩展所述低分辨率图像的图像数据小阵列中的所有数据，并输出，得到所述图像数据大阵列Npa,pb;
[0009]其中，a、b、i和j均为正整数，P为大于I的正整数。
[0010]优选的是，所述的超分辨率智能图像传感器芯片，对于Na,b中只有一个紧邻数据的数据，扩展的具体方法为:首先，在该紧邻数据所在的方向进行插值，其次，其余的插入数据均重复该方向的数据，以扩展成一个PXp阵列，并输出。
[0011]优选的是，所述的超分辨率智能图像传感器芯片，对于Na, b中没有紧邻数据的数据，扩展的具体方法为:所有的插入数据均重复该数据，以扩展成一个pXp阵列，并输出。
[0012]优选的是，所述的超分辨率智能图像传感器芯片，还包括:
[0013]传感器阵列，其感光后将光信号转换为电信号，获得低分辨率图像的电信号；
[0014]多个列读出电路，其分别与所述传感器阵列的一列对应，每个列读出电路分别用于读取每列传感器产生的电信号；
[0015]多个放大器，其分别与所述多个列读出电路的一个对应，用于将相应列的读出电路读取的电信号进行放大处理；
[0016]多个模数转换模块，其分别与所述多个放大器的一个对应，用于将经相应放大器放大的电信号转换为数字信号，获得低分辨率图像的图像数据小阵列。
[0017]优选的是，所述的超分辨率智能图像传感器芯片，还包括:
[0018]多个列存储器，其分别与所述多个模数转换模块的一个对应，用于存储经模数转换模块转换得到的相应列的数字信号；
[0019]多个列译码器，其分别与所述多个列存储器的一个对应，用于读出所述列存储器存储的相应列的数字信号，并输出至所述单帧超分辨率数字图像处理模块。
[0020]优选的是，所述的超分辨率智能图像传感器芯片，所述传感器为CMOS图像传感器。
[0021]优选的是，所述的超分辨率智能图像传感器芯片，放大器的增益可以在一倍、二倍和四倍间调整。
[0022]优选的是，所述的超分辨率智能图像传感器芯片，所述模数转换模块包括:
[0023]10位单斜模数转换器，其进行模数转换；
[0024]双向计数器，其与所述10位单斜模数转换器相连，所述双向计数器在数字域进行了相关双采样。
[0025]优选的是，所述的超分辨率智能图像传感器芯片，所述传感器阵列中，每个传感器的像素尺寸均为10 μ m，所述传感器阵列为128X128阵列。
[0026]优选的是，所述的超分辨率智能图像传感器芯片，P的值为4。
[0027]本发明至少包括以下有益效果:
[0028]本发明新颖的列并行单帧超分辨率CMOS图像传感器的设计，在芯片内部实现了快速超分辨率的算法，优势是既实现高速，高灵敏度的图像传感器设计，同时又保证较好的空间分辨率。一方面传感器的像素物理尺寸比较大，可以达到高灵敏度感光性能和高速读取，而芯片内部用硬件实现的单帧超分辨率算法可以进一步改善图像的空间分辨率，而且只需要较小的存储器和很少的计算资源，因而本发明兼具高速和超分辨率两大优点，完全满足监控、医疗等领域的应用。
[0029]本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研宄和实践而为本领域的技术人员所理解。
【附图说明】
[0030]图1为本发明的一个实施例中对低分辨率图像的图像数据小阵列Na,b进行双线性插值的示意图。
【具体实施方式】
[0031]下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
[0032]一种超分辨率智能图像传感器芯片，其包括一个单帧超分辨率数字图像处理模块，所述单帧超分辨率数字图像处理模块通过双线性插值法将缓存在其中的低分辨率图像的图像数据小阵列Na,b扩展为图像数据大阵列Npa,pb，以获得超分辨率图像，扩展的具体方法为:
[0033]对所述低分辨率图像的图像数据小阵列中的任一个数据Ni,」，根据其紧邻数据Ni,J+1、Ni+1, N i+1, w，多次使用双线性插值法均匀插入另外pp-1个数据，将Ni, 展成一个pXp阵列，并输出，依次扩展所述低分辨率图像的图像数据小阵列中的所有数据，并输出，得到所述图像数据大阵列Npa,pb;
[0034]其中，a、b、i和j均为正整数，P为大于I的正整数。
[0035]在上述技术方案中，用单帧超分辨率数字图像处理模块通过硬件实现的方法将低分辨率图像的图像数据小阵列Na,b进行双线性插值，获得图像数据大阵列Npa,pb，即将小阵列扩大P倍，从而得到超分辨率图像。在这里，本领域技术人员很容易获得低分辨率图像的图像数据，小阵列即低分辨率图像上所有的像素点处的数据组成的一个小阵列。对于小阵列中的任意一个点Ni,」，其紧邻数据为Ni, j+1、Ni+1,」和N i+1, j+1，即Ni,」所在行的下一列数据、N i,」所在列的下一行数据和Ni, ^下一行的下一列数据。由于pp-1个数据是均匀插入N i, ^周围的，因而在大阵列中所有相邻数据的间距是相等的，在这里以行所在的方向为X方向，列所在的方向为y方向，然后设定一个原点的话，就很容易知道PP-1个数据的坐标，然后根据公式:
[0036]f (X，y) = Nijj+ (Ni+1, J-Nijj.) x+ (Nijjtl-Nijj) y+ (Ni+1,」+1+队,厂Ni+1,厂Ni, J+1) xy
[0037]获得所有pp-1个数据的值f (x，y)。这pp-1个数据与Ni,」一起组成一个pXp阵列，并输出，用这种方法将小阵列上的所有数据均扩展成一个pXp阵列，所有的pXp阵列即组成大阵列Npa,pb。由于Npa,_单位面积的数据点更多，这就提高了图像的分辨率，获得了超分辨率图像。整个处理模块仅仅需要一个处理核心和两个数据缓存来存储处理前后的像素数据，因此它可以很方便的在ASIC芯片上实现。很容易理解的是，可以根据实际需要来选定a、b和p的值。比较常见的应用是适当减小a和b的值，而增大P的值，这就使单位面积上的传感器较少，传感器的像素尺寸大，可以达到高灵敏度感光性能和高速读取，然后通过双线性插值法来实现图像的超分辨率，从而达到高速和超分辨率兼得的效