专利名称：实现二维离散余弦变换的cmos图像传感器的制作方法
技术领域：
本发明涉及微电子学的集成电路设计领域和数字图像编码压缩领域，尤其是开关电容放大电路、模拟累加器及二维离散余弦变换(Two-Dimensional Discrete Cosine Transform, 2D-DCT)，具体讲，涉及实现二维离散余弦变换的CMOS图像传感器。
背景技术：
基于标准CMOS工艺的CMOS图像传感器(CMOS Image Sensor, CIS)以其可单片集成、低功耗、低成本、体积小、图像信息可随机读取等特点，逐渐成为图像和视频采集的主流器件。传统的基于CIS的视频信号采集处理过程主要包括图像采集、数据压缩、数据传输和解压缩四个部分，如图I所示。但是，该过程自身存在着采集处理效率较低的问题前端CIS采集和处理了完整的图像信息而消耗了大量的功耗和处理能力，其输出数据包含的大量冗余信息又在数据压缩过程中被舍弃，最终只有部分信息进行存储和传输，图像采集和数据压缩对冗余信息的操作实际上都在做无用功。
因此，由于图像信号本身是可以压缩的，CIS可以直接获取其压缩表示(即压缩数据)，如图2所示。将图像数据压缩过程集成到CIS中，使图像压缩和传感过程在保持低功耗设计的前提下互相融合，在图像传感器像素阵列及其处理电路中实现频域冗余图像数据的消除，通过直接输出压缩后的信号从源头上降低冗余信息处理带来的低效率。在图像数据压缩技术中，正交变换编码(简称变换编码)是最基本的编码方式。变换编码的基本思想是将在空间域描述的图像信号，变换到另外的正交向量空间进行描述， 如果所选的正交向量空间的基向量与图像本身的特征向量很接近，那么同一信号在变换空间中的描述就会简单很多。空间域内的一个nXn个像素组成的像块经过正交变换后，在变换域变成了同样大小的变换系数块。变换前后的明显差别是，空间域像块中像素之间存在很强的相关性，能量分布比较均匀；经过正交变换后，变换系数间相关性基本解除，近似是统计独立的，并且能量主要集中在直流和少数低空间频率的变换系数上。这样一个解除相关的过程也就是冗余压缩的过程。在多种正交变换方式中，K-L变换采用图像本身的特征向量作为变换的基向量，因此与图像的统计特性完全匹配，但K-L变换没有快速算法，因此不宜用来进行实时编码。在其他正交变换方式中，当以自然图像位编码对象时，与K-L变换性能最接近的是离散余弦变换(Discrete Cosine Transform,DCT)。DCT作为一种正交变换方式，由于具有很强的能量集中特性以及去相关性，广泛地应用到变换编码压缩中，已被目前的多种静态和活动图像编码的国际标准所采用。2D-DCT能够对二维图像信号进行无损数据压缩，去除图像中的冗余数据，2D-DCT 实例如图3所示。因此，实现2D-DCT的CMOS图像传感器研究为基于压缩感知的高效CMOS 图像传感器奠定了基础。现如今，越来越多的图像传感器选择以2D-DCT为基础的变换编码压缩方式对图像进行压缩处理，这就需要增加单独的数字信号处理器(Digital Signal Processor, DSP)。DSP能够增加信号处理的速度和精度，但是却增加了图像传感器的功耗和芯片面积，严重制约了图像传感器在无线传感、生物医疗等领域的应用，这些领域需要获取大量的图像信息并及时对其进行压缩等处理，且不增加功耗和面积。因此，研究新型的可实现2D-DCT的CMOS图像传感器，使其做到不增加额外的功耗和面积，成为未来的研究热点
发明内容
本发明旨在克服现有技术的不足，提供一种新型的可实现2D-DCT的CMOS图像传感器结构，使2D-DCT在获取图像的同时完成，与传统处理流程相比，在不降低图像传感质量的基础上，减少由于额外使用的2D-DCT模块(如DSP或用于DCT变换的ASIC电路)引入的面积和功耗。为达到上述目的，本发明采取的技术方案是，一种实现二维离散余弦变换的CMOS图像传感器，由像素阵列、读出电路、多路选择器MUX、可编程增益放大器DPGA、模数转换器ADC以及控制时序电路组成，还包括在读出电路后增加与像素阵列同尺寸的开关电容阵列，用来存放经过读出电路相关双采样消除固定模式噪声、复位噪声后的图像数据，供后续电路多次采样使用；还设置有开关控制模块3、寄存器I、开关控制模块I、电容阵列，开关控制模块I通过积分器输出到开关控制模块3，开关控制模块3、寄存器I、开关控制模块I、电容阵列与可编程增益放大器DPGA构成模拟累加器；模数转换器ADC内增设有开关控制模块2、寄存器2、电容通路、数字加法器；像素阵列第I行即m = O行像素通过读出电路存放在开关电容阵列中，在控制时序电路的elk的控制下，通过多路选择器MUX把存放在开关电容阵列中的图像数据传给模拟累加器，此时开关控制模块3打开来自多路选择器MUX输入信号与电容阵列的通路，关断积分器与电容阵列的通路，同时，通过寄存器I控制开关控制模块I中的开关选择对应的电
容阵列中电容值，通过积分器完成m = O行的N个像素与V = 0，η = 0，1，2，......，N-I的
对应列系数的相乘并累加，得出的行累加结果同时传递给M个模数转换器ADC ；在每一个模数转换器ADC进行模数转换之前完成行累加结果与各自行系数u = 0， I, 2-,M-l,m = O的相乘，具体是在控制时序电路的clkplus高电平的时候把m = O行的行累加结果通过开关控制模块3再次传递给电容阵列，进行电容复用，此时，开关控制模块 3打开行累加结果与电容阵列的通路，关闭来自多路选择器MUX输入信号与电容阵列的通路，通过寄存器2控制开关控制模块2，使得信号在进入每一个模数转换器ADC之前选择各自行系数，u = 0，1，2···，Μ-1，πι = O对应的电容通路，同时完成m = O行累加结果与M个行系数的乘法，得到m = O的M个行系数分量，这M个行系数分量同时进行9bit模数转换，第一位是符号位，把转换完的M个行系数分量的数字码在控制时序电路clkreg高电平时存入模数转换器的ADC寄存器中，在控制时序电路clkadd高电平时传递给数字加法器，等待与后续结果相加；当m = O的行累加结果传递给电容阵列进行复用后，多路选择器MUX继续从读出电路的开关电容阵列逐个采样m= I行的各个像素并传递给模拟累加器进行像素与列系数的相乘与累加，当控制时序电路clkplus高电平的时候得到m = I的行累加结果，重复m=O行系数分量的求得过程求得m = I的行系数分量,当clkadd为高电平时与m = O的行系数分量相加，重复上述过程，依次在控制时序电路clkadd为高电平时，在数字加法器中累加m= 2，3，…，M-I的行系数分量，当累加完M个行系数分量时，列级ADC进行数字输出，同时得到u = 0,1,…，M-I, V = O的2D-DCT系数；当多路选择器MUX遍历一次MXN的像素阵列后,得到u = 0,1, *··,Μ-1, V = O的 2D-DCT系数，MUX再次依次遍历N-I次MXN的像素阵列，得出全部2D-DCT系数。像素阵列采用4Τ-ΡΗ)像素结构，以及滚筒曝光方式；读出电路采用开关电容放大电路，并且采用单端的结构，进行相关双采样。像素阵列分成8X8的矩阵块，即M = N = 8。本发明的技术特点及效果本次发明通过增添开关电容阵列存储经过相关双采样的信号，有效的提高了信噪 t匕，并且像素阵列中取消存储单元，减少了噪声对其的干扰，利用了 2D-DCT可分离的原理， 应用混合信号处理模式在模拟域用累加器完成列变换，再通过电容复用、列级单斜ADC完成行变换，通过电容复用减少了芯片面积，提高了信噪比，利用行并行方式同时得到8个 DCT系数，缩短了计算时间，减少了数字电路部分，降低了功耗。输出数据可以满足任何量化编码需要，提高了图像传感器效率，适用于无线传感、视频监控、生物医疗等领域。
图I图像信号采集处理流程图。图2基于压缩感知的图像信号采集处理流程图。(a)空间域8X8像块，(b)经过 2D-DCT变换后的8X8矩阵。
图3 2D-DCT 举例。图4传统CIS架构。图5 4T-PH)像素结构示意6新型结构框图。图具体实施方式
示意图。图中C8与C4为等值电容。图8列级单斜ADC结构框图。图9结构时序分析图。
具体实施例方式传统的CMOS图像传感器阵列架构包括用于接受光信号并使之转化成电压信号的像素阵列、用于放大电压信号并且进行相关双采样(CDS)消除固定模式噪声(FPN)以及复位噪声的读出电路、用于选择具体像素值进行后续放大的多路选择器(MUX)、用于放大像素值对应的电压信号进行模数转换的可编程增益放大器(DPGA)、用于将电压值转成数字信号进行后续数字图像处理的模数转换器(ADC)以及外围的控制时序电路。本次发明将在传统CMOS图像传感器架构中进行改进用混合信号处理的方法实现2D-DCT。设{X(m，n)|m = 0,1, ... ,M-I ；n = 0,1, , N_l}为二维图像信号数据矩阵，其
二维离散余弦变换正变换定义为
权利要求
1.一种实现二维离散余弦变换的CMOS图像传感器，由像素阵列、读出电路、多路选择器MUX、可编程增益放大器DPGA、模数转换器ADC以及控制时序电路组成，其特征是 在读出电路后增加与像素阵列同尺寸的开关电容阵列，用来存放经过读出电路相关双采样消除固定模式噪声、复位噪声后的图像数据，供后续电路多次采样使用； 还设置有开关控制模块3、寄存器I、开关控制模块I、电容阵列，开关控制模块I通过积分器输出到开关控制模块3，开关控制模块3、寄存器I、开关控制模块I、电容阵列与可编程增益放大器DPGA构成模拟累加器； 模数转换器ADC内增设有开关控制模块2、寄存器2、电容通路、数字加法器； 像素阵列第I行即m = 0行像素通过读出电路存放在开关电容阵列中，在控制时序电路的elk的控制下，通过多路选择器MUX把存放在开关电容阵列中的图像数据传给模拟累加器，此时开关控制模块3打开来自多路选择器MUX输入信号与电容阵列的通路，关断积分器与电容阵列的通路，同时，通过寄存器I控制开关控制模块I中的开关选择对应的电容阵列中电容值，通过积分器完成m = 0行的N个像素与V = 0，n = 0，1，2，……，N-I的对应列系数的相乘并累加，得出的行累加结果同时传递给M个模数转换器ADC ; 在每一个模数转换器ADC进行模数转换之前完成行累加结果与各自行系数u = 0,1,2…，M-I, m = 0的相乘，具体是在控制时序电路的clkplus高电平的时候把m = 0行的行累加结果通过开关控制模块3再次传递给电容阵列，进行电容复用，此时，开关控制模块3打开行累加结果与电容阵列的通路，关闭来自多路选择器MUX输入信号与电容阵列的通路，通过寄存器2控制开关控制模块2，使得信号在进入每一个模数转换器ADC之前选择各自行系数，u = 0，1，2-^_1，111 = 0对应的电容通路，同时完成111 = 0行累加结果与1个行系数的乘法，得到m = 0的M个行系数分量，这M个行系数分量同时进行9bit模数转换，第一位是符号位，把转换完的M个行系数分量的数字码在控制时序电路clkreg高电平时存入模数转换器的ADC寄存器中，在控制时序电路clkadd高电平时传递给数字加法器，等待与后续结果相加； 当m = 0的行累加结果传递给电容阵列进行复用后，多路选择器MUX继续从读出电路的开关电容阵列逐个采样m = I行的各个像素并传递给模拟累加器进行像素与列系数的相乘与累加，当控制时序电路clkplus高电平的时候得到m = I的行累加结果，重复m = 0行系数分量的求得过程求得m = I的行系数分量，当clkadd为高电平时与m = 0的行系数分量相加，重复上述过程，依次在控制时序电路clkadd为高电平时，在数字加法器中累加m =2,3,…，M-I的行系数分量，当累加完M个行系数分量时，列级ADC进行数字输出，同时得到 u = 0,1,…，M-I, V = 0 的 2D-DCT 系数； 当多路选择器MUX遍历一次MXN的像素阵列后，得到u = 0，1，…，M-l，V = 0的2D-DCT系数，MUX再次依次遍历N-I次MXN的像素阵列，得出全部2D-DCT系数。
2.如权利要求I所述的实现二维离散余弦变换的CMOS图像传感器，其特征是，像素阵列采用4T-PH)像素结构，以及滚筒曝光方式；读出电路采用开关电容放大电路，并且采用单端的结构，进行相关双采样。
3.如权利要求I所述的实现二维离散余弦变换的CMOS图像传感器，其特征是，像素阵列分成8X8的矩阵块，即M = N = 8。
全文摘要
本发明涉及微电子学的集成电路设计领域和数字图像编码压缩领域。为提供一种新型的可实现2D-DCT的CMOS图像传感器结构，使2D-DCT在获取图像的同时完成，与传统处理流程相比，在不降低图像传感质量的基础上，减少由于额外使用的2D-DCT模块引入的面积和功耗，本发明采取的技术方案是，一种实现二维离散余弦变换的CMOS图像传感器，由像素阵列、读出电路、开关电容阵列、多路选择器MUX、可编程增益放大器DPGA、模数转换器ADC以及控制时序电路组成，还包括开关电容阵列，模拟累加器；模数转换器ADC内增设有开关控制模块2、寄存器2、电容通路、数字加法器。本发明主要应用于图像传感器编码压缩。
文档编号H04N5/341GK102710906SQ20121010988
公开日2012年10月3日 申请日期2012年4月16日 优先权日2012年4月16日
发明者史再峰, 姚素英, 徐江涛, 李毅强, 李渊清, 王龙菲, 高静 申请人:天津大学