用于实现预测编码图像压缩的cmos图像传感器结构的制作方法
【专利摘要】本发明涉及微电子学的集成电路设计领域和数字图像编码压缩领域，为在不降低图像传感质量的基础上，减少由于额外使用的预测编码模块引入的面积和功耗，在图像获取的同时完成预测编码，并在编码的过程中消除由运算放大器带来的失调。为此，本发明采取的技术方案是，用于实现预测编码图像压缩的CMOS图像传感器结构，具体为，从像素阵列中读出的像素值首先传送到相关双采样电路中进行相关双采样以消除固定模式噪声，接下来预测编码电路将在时序电路的控制下进行预测值的求取操作，求得预测值之后将利用列级减法器求得预测值和原始像素值之间的差，即残余值，最后将残余值进行模数转换就得到了最终的输出编码。本发明主要应用于集成电路设计。
【专利说明】用于实现预测编码图像压缩的CMOS图像传感器结构
【技术领域】
[0001]本发明涉及微电子学的集成电路设计领域和数字图像编码压缩领域，特别涉及一种用于实现预测编码的CMOS图像传感器结构。
技术背景
[0002]传统基于CMOS图像传感器的视频信号采集处理过程需要将全部像素值量化，传输到芯片以外进行压缩处理，压缩后的数据可以进行存储或者传输。不难发现，CMOS图像传感器的读出端对全部数据都进行了读取，在随后的压缩过程中又对大量冗余数据进行了舍弃，整个图像压缩过程做了大量的无用功，使得处理效率低下。如果可以在CMOS图像传感器的读出端直接获取压缩以后的数据则可以将冗余数据消除在源头上，特别是随着像素阵列规模的不断增大，需要处理的数据量不断猛增，这样的片上压缩步骤显得更加有意义，而CMOS工艺的不断发展为在片上兼容图像压缩功能提供了可能性。
[0003]由于图像压缩功能多集成于移动设备上，所以对芯片的面积和功耗都提出了不少限制。这使得并不是所有压缩算法都适用于片上压缩，经典的图像压缩算法有块矩阵变换、小波变换和预测编码等，前两种方法需要向量的乘积和累加等比较复杂的操作，往往需要用DSP来实现，其硬件消耗巨大，它在图像压缩方面带来的优势会被它过大的功耗和面积所抵消。相对来说预测编码要容易实现的多，它只需要利用当前像素周边的像素对其值进行预测，并将预测值与当前像素值相减产生残余值就可完成预测编码。另外，2D-DCT和小波变换等图像压缩方法都为有损图像压缩，在有些领域，例如医疗、航天等，这样的有损图像是不能被接受的，预测编码作为一种无损图像压缩方法具有无可比拟的优势。现有的焦平面压缩方法多为块矩阵转换法，这需要大量的开关电容电路和庞大的电容阵列，这不仅会使模拟电路低精度的缺点被放大，还很难满足面积的要求。
【发明内容】
[0004]为克服现有技术的不足，提出一种新型的可以实现预测编码图像压缩的CMOS图像传感器结构。与传统处理流程相比，在不降低图像传感质量的基础上，减少由于额外使用的预测编码模块(如DSP或用于预测编码变换的ASIC电路)引入的面积和功耗。在图像获取的同时完成预测编码，并在编码的过程中消除由运算放大器带来的失调。为此，本发明采取的技术方案是，用于实现预测编码图像压缩的CMOS图像传感器结构，具体为，从像素阵列中读出的像素值首先传送到相关双采样(correlated double sample,⑶S)电路中进行相关双采样以消除固定模式噪声，接下来预测编码电路将在时序电路的控制下进行预测值的求取操作，求得预测值之后将利用列级减法器求得预测值和原始像素值之间的差，即残余值，最后将残余值进行模数转换(AD)就得到了最终的输出编码；
[0005]预测编码电路以2X2的像素块为单元来进行，每两像素两列共用一个预测编码电路，2X2的像素块按照从上到下的顺序依次传送到预测编码电路中，预测编码电路由积分电路和存储电路两部分组合而成，其中积分电路用于求取平均值，即预测值；存储电路用于以列为单位存储2X2像素块中的像素值；列级减法器用于对像素值和预测值进行求差运算以求得残余值。
[0006]积分电路由分别连接到两像素列的两个采样电容Cs、运放、采样电容Cs同相输入控制开关、采样电容Cs反相输入控制开关、运放反馈电容C。、运放反馈电容C。控制开关、运放反馈开关、参考点位至运放反馈电容C。间开关构成。
[0007]存储电路由分别连接到两像素列的两个采样电容、运放、采样电容反相输入控制开关、运放反馈电容控制开关、运放反馈开关构成。
[0008]本发明的技术特点与效果:
[0009]本发明提供了一种可以实现预测编码图像压缩的CMOS图像传感器结构。将预测编码融入到CMOS图像传感器固有的处理流程之中完成了无损图像压缩，具有块矩阵转换等有损图像压缩无法比拟的优势。利用模拟电路完成了以往只能用DSP或者复杂ASIC电路完成的预测编码工作，具有模拟电路固有的低功耗和低面积的优点。预测编码在2X2像素块中进行，四个像素值求平均即可得到预测值，算法简单易于硬件实现，而且由于预测编码带来的误差不会被累加。在求预测值的同时也完成了消除运算放大器失调的工作。输出数据可以进行任何的编码，提高了图像传感器效率，适用于无线传感、视频监控、生物医疗等领域。
【专利附图】
【附图说明】
[0010]图1是所提出的CMOS图像传感器的整体结构示意图；
[0011]图2是预测编码电路模块的结构示意图；
[0012]图3是预测编码模块的电路原理示意图；
[0013]图4是预测编码模块的时序电路示意图。
【具体实施方式】
[0014]为了减小芯片的电路复杂度，提高处理效率，将预测编码操作在模拟域完成。本发明提供了一种可以实现预测编码图像压缩的CMOS图像传感器结构。由像素阵列、读出及相关双采样电路、预测编码电路、模数转换器(analog to digital converter,ADC)以及时序控制电路组成，参见图1。从像素阵列中读出的像素值首先传送到相关双采样(correlateddouble sample,CDS)电路中进行相关双采样以消除固定模式噪声，接下来预测编码电路将在时序电路的控制下进行预测值的求取操作，求得预测值之后将利用列级减法器求得预测值和原始像素值之间的差，即残余值，最后将残余值进行模数转换(AD)就得到了最终的输出编码。主要发明部分为预测编码电路。
[0015]整体架构采用列级处理形式，预测编码以2X2的像素块为单元来进行，所以预测编码电路每两列共用一个，2X2的像素块按照从上到下的顺序依次传送到预测编码电路中，模块图参见图2，电路原理图见图3，它由积分电路和存储电路两部分组合而成，其中积分电路用于求取平均值，即预测值，具体通过开关电容电路将2X2像素块中的四个像素值进行累加并利用电容比例完成除四的操作，由电容CS、CC和运放Al构成，采用了运放共享，两列像素共用一个运放进行电荷转移的操作，其中CC的容值是CS的四倍以完成除以四的求平均操作；存储电路用于以列为单位存储2X2像素块中的像素值，所以每列单独用一个，其由Cl、C2、Cf、A2、Cl’、C2’、Cf’、A3’构成，两列为相同的电路结构。各个电容的容值大小为:CS=1/4CC=0.5pf、Cl=C2=Cf=Cl’ =C2’ =Cf’ =0.5pf。;列级减法器用于对像素值和
预测值进行求差运算以求得残余值。
[0016]工作时序图如图4所示，整个预测编码过程分为三个工作状态:复位相、积分相和读出相。下面以一个2X2的像素块为例说明电路的具体工作原理，如图3所示，相关双采样以后的像素值以列为单位依次读出到存储电路和预测值产生电路中，同一行的像素同时读出。
[0017]在复位阶段，Kr、Kl、Kr’、Kl’置高，CS 两端的电压变为 VCS=Vref+Voff 1-Vcds[i](i=l或2，表示行数)，Ce上的电荷为QCc=4C*Voffl，其中Vref为运算放大器的参考电压，Voffl为Al的失调电压，Vcdsl为经过相关双采样以后的像素值。下方的存储电路在复位操作之后Cf两端的电压变为VCf=Voff2，VCf ’ =Voff3，这里Voff2和Voff3是A2和A3两个运放的失调电压。
[0018]在求平均值阶段，K2置高，Cs两端电压变为Voffl，使得Cs上的电荷转移到Ce上，这时QCc=4C*V0ff 1+C* (Vpix [1，I] +Vpix [1，2])，括号中为第一行第一列和第一行第二列的两个像素值。这样的操作会再重复一个周期，使四个像素值都完成累加和除四的操作。这时 QCc=4C*Voffl+C*(Vpix[l，I]+Vpix[I, 2]+Vpix[2, I]+Vpix[2, 2]),由于 Ce 两端的电压为 Vom 和 Voffl,所以(Voff 1+Vref-Vom)*4C=4C*Voff 1+C*(Vpix[I, 1]+Vpix[l,2]+Vpix[2, I]+Vpix[2, 2]),可得 Vom=Vref-l/4C*(Vpix[I, I]+Vpix[I, 2]+Vpix[2, I]+Vpix[2, 2])。这样通过预测电路就可以得到像素块的平均值，同时也消除了运算放大器的失调电压。在以上求平均值的同时，像素值也按列分别存储到各自的存储电路中，Cl、Cl’和C2、C2’分别存储了第一行和第二行的像素值，具体的操作是利用两相不交叠时钟控制SI和S2的选通来读取像素值。Cl两端的电压为VCl=V⑶S[l，2]-Voff2, C2两端的电压为 VC2=VCDS[2, 2]-Voff2, Cl’ 两端的电压为 VCl=VCDS[1，I]-Voff3, C2’ 两端的电压为VC2=VCDS[2, l]-Voff3。
[0019]当信号读取阶段到来时预测电路已经完成了求平均值的操作，因此Vom保持稳定的输出。存储电路在K1’、K2’、S1’和S2’的控制下完成C1、C1’、C2和C2’上电荷的转移。当把第一行的两个像素值读出之后，QCf=-C*Voff2+C*VCDS[l，l]，QCf’ =-C*Voff2+C*VCDS[l，2]。
[0020]因此 Vol=Vref-Vpix [1，I], Vo2=Vref-Vpix [I, 2]。接下来,Vom、Vol 和 Vom、Vo2 将分别传送到各自的列级减法器中进行作差运算，求出残余值为
[0021 ] vrV^./'] = l/Pl'4ir./]-jX Vpix[i, j]
4 ij=l
[0022]其中VR[i，j]表示第i行第j列像素值的残余值，W,./]为2X2像素块中四个像素值的平均值，即预测值。
[0023]至此已经求出像素的残余值，接下来残余值将输送到列级ADC中进行量化操作，量化后的数字码值即可进行储存或者传送到片外进行熵编码。
[0024]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图给出一个具体数值的例子以作进一步地详细描述。[0025]由于预测电路以2X2的像素块为单位进行工作，整体架构就是以这样的像素单元为基础的。故只对一个2X2的像素块举出具体的数值进行说明。
[0026]现假设像素块中四个像素经过读出和相关双采样以后的数值分别为V[l，1]=1.3、v[l, 2]=1.4、V[2, 1]=1.6、V[2, 2]=1.7，则第一行的像素值 V[l，I]和 V[l，2]将首先传送到预测电路中进行处理。它们会被分别传送到各自的列级积分电路和采样电路中，一个时钟周期之后积分电路中CC两端的电压值为(V[l，l]+V[l，2])/4，而两个列级储存电路中的Cl则会分别对V[l，I]和V[l，2]进行存储。第二个时钟周期到来的时候，V[2, I]和V [2，2]会以同样的方式传送到预测电路中，一个时钟周期之后，积分电路中CC的电压值为(V[l，l]+V[l，2]+V[2，l]+V[2，2])/4，这是像素块中电压的平均值，即为预测值，而两个列级储存电路中的C2则会分别对V[2，I]和V[2，2]进行存储。此时，积分电路中VCC=L 5，第一列存储电路中VCl=L 3、VC2=1.6，第二列存储电路中VCl=L 4、VC2=1.7。至此预测电路的工作已经完成，接下来将进行残余值的求取工作。
[0027]四个像素值与预测值将按列分别传送到各自的列级模拟减法器中进行作差的操作，得出四个残余值分别为0.2,0.1，0.1和0.2。最后列级ADC会对残余值按列进行量化操作以得出最终的预测编码值。
[0028]可见，本发明可将预测编码操作融入到CMOS图像传感器的传感过程中，大大提升了图像压缩处理效率。
【权利要求】
1.一种用于实现预测编码图像压缩的CMOS图像传感器结构，其特征是，CMOS图像传感器结构具体为，从像素阵列中读出的像素值首先传送到相关双采样(correlated doublesample, CDS)电路中进行相关双采样以消除固定模式噪声，接下来预测编码电路将在时序电路的控制下进行预测值的求取操作，求得预测值之后将利用列级减法器求得预测值和原始像素值之间的差，即残余值，最后将残余值进行模数转换(AD)就得到了最终的输出编码； 预测编码电路以2X2的像素块为单元来进行，每两像素两列共用一个预测编码电路，2X2的像素块按照从上到下的顺序依次传送到预测编码电路中，预测编码电路由积分电路和存储电路两部分组合而成，其中积分电路用于求取平均值，即预测值；存储电路用于以列为单位存储2X2像素块中的像素值；列级减法器用于对像素值和预测值进行求差运算以求得残余值。
2.如权利要求1所述的用于实现预测编码图像压缩的CMOS图像传感器结构，其特征是，积分电路由分别连接到两像素列的两个采样电容Cs、运放、采样电容Cs同相输入控制开关、采样电容Cs反相输入控制开关、运放反馈电容C。、运放反馈电容C。控制开关、运放反馈开关、参考点位至运放反馈电容C。间开关构成。
3.如权利要求1所述的用于实现预测编码图像压缩的CMOS图像传感器结构，其特征是，存储电路由分别连接到两像素列的两个采样电容、运放、采样电容反相输入控制开关、运放反馈电容控制开关、运放反馈开关构成。
【文档编号】H04N5/3745GK103957365SQ201410137993
【公开日】2014年7月30日 申请日期:2014年4月8日 优先权日:2014年4月8日
【发明者】姚素英, 于潇, 徐江涛, 高静, 史再峰, 高志远, 聂凯明 申请人:天津大学