基于cmos图像传感器的焦平面图像压缩装置制造方法
【专利摘要】本发明涉及微电子学的集成电路设计领域和图像编码领域，为在CIS的输出端可以直接得到经过熵编码之后的压缩编码，无需再度处理就可以直接进行存储或者传输，本发明采取的技术方案是，基于CMOS图像传感器的焦平面图像压缩装置，由像素阵列、读出及相关双采样电路、预测编码电路、时序电路、模数转换器和熵编码电路组成，像素值首先传送到读出及相关双采样电路中进行相关双采样以消除固定模式噪声，接下来预测编码电路求出预测值，之后预测值和像素值将通过模数转换器进行模数转换，接着熵编码模块的列级数字减法器将完成预测值和像素值的作差操作以求得残余值，最后熵编码模块将会对残余值进行编码。本发明主要应用于集成电路设计。
【专利说明】基于CMOS图像传感器的焦平面图像压缩装置
【技术领域】
[0001]本发明涉及微电子学的集成电路设计领域和图像编码领域，尤其涉及一种基于CMOS图像传感器的焦平面图像压缩装置。
技术背景
[0002]CMOS图像传感器(CMOS Image Sensor, CIS)凭借其成本低、体积小、集成度高等特点，在许多领域逐渐成为图像获取的主流器件。但是，传统CIS采集了完整的图像信息，输出数据量巨大，严重制约了其在无线传感、生物医疗等领域的应用。这些领域需要获取大量的图像信息并实时传输和存储，因此需及时对其进行压缩等数据处理。传统的压缩方法是在CIS的读出端获取完整的图像信息，接下来将这些信息传输到芯片以外进行压缩处理，最后将压缩后的数据进行传输或者存储。不难发现，在压缩过程以后许多冗余数据都被舍弃了，但是在CIS中为了获取这些冗余数据耗费了大量的功耗和面积，可见，若能在CIS的输出端直接获取图像信息的压缩形式则可以在源头消除数据冗余。
[0003]经典的帧内图像压缩算法有预测编码、变换编码和小波变换编码等，其中前两种占有重要的地位，应用广泛，且已被多种视频、图像编码国际标准所采纳。目前国内外很多科研小组都对这种基于压缩感知的CIS进行了研究。其中变换编码的硬件消耗比较大，并且是一种有损图像压缩方法，但是能达到较高的压缩比；预测编码是一种无损图像压缩方法且硬件消耗比较小，但是获得的压缩比略小。为了满足科学研究和生物医疗等领域需要无损图像的要求，并考虑到在焦平面上实现的电路复杂度。
【发明内容】
[0004]为克服现有技术的不足，提出一种可以实现图像压缩的CIS结构。在图像获取的同时完成预测编码所需的全部处理步骤，在CIS的输出端可以直接得到经过熵编码之后的压缩编码，无需再度处理就可以直接进行存储或者传输。为此，本发明采取的技术方案是，基于CMOS图像传感器的焦平面图像压缩装置，由像素阵列、读出及相关双采样电路、预测编码电路、时序电路、模数转换器(analog-to-digital converter, ADC)和熵编码电路组成，从像素阵列中读出的像素值首先传送到读出及相关双采样(correlated doublesample, CDS)电路中进行相关双采样以消除固定模式噪声，接下来预测编码电路将在时序电路的控制下求出预测值，之后预测值和像素值将通过模数转换器进行模数转换，接着熵编码模块的列级数字减法器将完成预测值和像素值的作差操作以求得残余值，最后熵编码模块将会对残余值进行编码。
[0005]预测编码电路以2X2的像素块为单元来进行，每两像素两列共用一个预测编码电路，2X2的像素块按照从上到下的顺序依次传送到预测编码电路中，预测编码电路由积分电路和存储电路两部分组合而成，其中积分电路用于求取平均值，即预测值；存储电路用于以列为单位存储2X2像素块中的像素值；列级减法器用于对像素值和预测值进行求差运算以求得残余值。[0006]熵编码电路由比较器、列级ADC、数字减法器、非零判别电路和移位寄存器五个部分构成；首先，将预测值和像素值分别输入各自的列级比较器中进行比较操作，同时分别输入到列级ADC中进行量化，由于还需要对预测值进行量化，所以每两列需要三个ADC ；
[0007]然后，比较器产生的数字值将会分别输送到数字减法器和移位寄存器中；数字减法器为列级结构，每一列各有一个，三个输入端分别是预测值量化后的数字码、像素值量化后的数字码和顺序控制位，比较器输送进来的比较结果将会用来控制数字减法器中减法的顺序，使大的值与小的值相减，始终保持减法器输出是正值，比较结果同时将作为符号位被输送到移位寄存器中，成为输出编码的首位，若比较结果为正，则符号位为0，若比较结果为负，则符号位为I ;
[0008]将数字减法器的输出按从MSB到LSB的顺序按位(b7，b6...b0)输送到非零判别电路中，若输入是0，则进行忽略处理，不对其进行任何操作；若输入bk是1，则对bk到b0的数字码按顺序输入到移位寄存器中，bk代表第k位。
[0009]时序电路控制预测编码过程分为三个工作状态:复位相、积分相和读出相；在求平均值阶段预测编码电路得到像素块的平均值；当信号读取阶段到来时预测电路已经完成了求平均值的操作，像素块中的像素值存入预测编码电路中的存储电路。
[0010]积分电路由分别连接到两像素列的两个采样电容CS、运放、采样电容CS同相输入控制开关、采样电容CS反相输入控制开关、运放反馈电容CC、运放反馈电容CC控制开关、运放反馈开关、参考点位至运放反馈电容CC间开关构成。
[0011]存储电路由分别连接到两像素列的两个采样电容、运放、采样电容反相输入控制开关、运放反馈电容控制开关、运放反馈开关构成。
[0012]本发明的技术特点与效果:
[0013]本发明提供了一种可以实现图像压缩的CMOS图像传感器结构。将图像压缩所需的去相关操作和熵编码操作都集成到CIS中，完成了预测编码无损图像压缩，具有其他有损图像压缩方法无法比拟的优势。其中利用模拟电路的低功耗和低面积完成了预测值的求取，利用数字电路的高精度完成了熵编码操作。在Cis的输出端可以直接得到熵编码后的码值，无需再度进行处理就可以直接进行传输或者存储，大大提升了图像压缩流程的处理效率。
【专利附图】
【附图说明】
[0014]图1是本发明所提出CMOS图像传感器的整体结构图；
[0015]图2是列级预测电路的结构框图；
[0016]图3是预测电路的电路原理图；
[0017]图4是熵编码电路的结构框图；
[0018]图5是原始样图和残余图的像素灰度值分布直方图。
【具体实施方式】
[0019]图像压缩方法分为两步，即去除像素点之间的相关性和熵编码，目前的焦平面图像压缩方法大都只能完成第一步，熵编码的操作都需要传输到芯片以外进行实现，这无疑大大削弱了片上进行图像压缩的优势。若能将图像压缩的所有步骤都集成到芯片上进行实现，那么无需继续处理就可以在Cis的输出端得到熵编码后的码值，这就能最大化的发挥这种基于压缩感知的Cis的优势。
[0020]本发明在结构上对传统CIS进行改进，提出了一种基于CIS的焦平面图像压缩方法。不同于其它的焦平面图像压缩方法，本发明将图像压缩的去相关操作和熵编码操作都集成到了 Cis中，CIS输出端读出的数据无需再度处理，可以直接进行传输或者存储。如图1所示，整体架构由像素阵列、读出及相关双采样电路、预测电路、模数转换器(analog-to-digital converter, ADC)和熵编码电路组成。与传统的CIS类似,从像素阵列中读出的像素值首先传送到相关双采样(correlated double sample,⑶S)电路中进行相关双采样以消除固定模式噪声，接下来预测编码电路将在时序电路的控制下求出预测值，之后预测值和像素值将通过列级ADC进行模数转换，接着列级数字减法器将完成预测值和像素值的作差操作以求得残余值，最后熵编码模块将会对残余值进行编码。
[0021]整体架构采用列级处理形式，预测编码以2X2的像素块为单元来进行，所以每两列共用一个预测编码电路，2X2的像素块按照从上到下的顺序依次传送到预测编码电路中，模块图参见图2，电路原理图见图3，它由积分电路和存储电路两部分组合而成，其中积分电路用于求取平均值，即预测值，具体通过开关电容电路将2X2像素块中的四个像素值进行累加并利用电容比例完成除四的操作，由电容CS、CC和运放Al构成，采用了运放共享，两列像素共用一个运放进行电荷转移的操作，其中CC的容值是CS的四倍以完成除以四的求平均操作；存储电路用于以列为单位存储2X2像素块中的像素值，所以每列单独用一个，其由Cl、C2、Cf、A2、Cl’、C2’、Cf’、A3’构成，两列为相同的电路结构。各个电容的容值大小为:CS=1/4CC=0.5pf、Cl=C2=Cf=Cl’ =C2’ =Cf’ =0.5pf。;列级减法器用于对像素值和预测值进行求差运算以求得残余值。
[0022]整个预测编码过程分为三个工作状态:复位相、积分相和读出相。下面以一个2X2的像素块为例说明电路的具体工作原理，如图3所示，相关双采样以后的像素值以列为单位依次读出到存储电路和预测值产生电路中，同一行的像素同时读出。
[0023]在复位阶段，Kr、K1、Kr’、KI ’ 置高，CS 两端的电压变为 VCS=-Vr e f-Vo ff I+Vcds [i](i=l或2，表示行数)，Ce上的电荷为QCC=-4CX Voff 1，其中Vref为运算放大器的参考电压，Voffl为Al的失调电压，Vcdsl为经过相关双采样以后的像素值。下方的存储电路在复位操作之后Cf两端的电压变为VCf=-Voff2，VCf ’ =-Voff3,这里Voff2和Voff3是A2和A3两个运放的失调电压。
[0024]在求平均值阶段，K2置高，Cs两端电压变为Voffl，使得Cs上的电荷转移到Ce上，这时QCc=CX (Vpix[l, l]+Vpix[l,2])-4CXVoffl,括号中为第一行第一列和第一行第二列的两个像素值。这样的操作会再重复一个周期，使四个像素值都完成累加和除四的操作。这时 QCc=CX (Vpix[l, 1]+Vpix[l, 2]+Vpix[2, I]+Vpix[2, 2])-4CXVoffl,由于 Ce 两端的电压为 Vom 和 Voffl，所以(Vom-Voffl-Vref) X4C=CX (Vpix[l, 1]+Vpix[l, 2]+Vpix[2，I]+Vpix[2, 2])-4CXVoffl,可得 Vom= I/4CX (Vpix[l, 1]+Vpix[l, 2]+Vpix[2, I]+Vpix[2，2])-Vref0这样通过预测电路就可以得到像素块的平均值，同时也消除了运算放大器的失调电压。在以上求平均值的同时，像素值也按列分别存储到各自的存储电路中，Cl、Cl’和C2、C2’分别存储了第一行和第二行的像素值，具体的操作是利用两相不交叠时钟控制SI和S2的选通来读取像素值。Cl两端的电压为VCl=V⑶S[l，l]-Voff2，C2两端的电压为 VC2=VCDS[2, I]-Voff2, Cl’ 两端的电压为 VC1’ =VCDS[1，2]-Voff3，C2’ 两端的电压为VC2，=VCDS[2，2]-Voff3。
[0025]当信号读取阶段到来时预测电路已经完成了求平均值的操作，因此Vom保持稳定的输出。存储电路在K1’、K2’、S1’和S2’的控制下完成C1、C1’、C2和C2’上电荷的转移。当把第一行的两个像素值读出之后，QCf=CXVCDS[l，I]-CXVoff2，QCf’ =CXVCDS[1，2]_CX Voff2。因此Vol=Vpix[i, I]-Vref, Vo2=Vpix[i, 2]-Vref (i=l, 2分别表示第一行和第二行的像素读出值，同一行的像素值同时进行读出，因此2X2像素块中的四个像素值需要两个时钟周期进行读取)。
[0026]整个编码模块由比较器、列级ADC、数字减法器、非零判别电路和移位寄存器五个部分构成，如图4所示。
[0027]首先，Vom和VoUVom和Vo2将分别输入各自的列级比较器中进行比较操作，同时三者分别输入到列级ADC中进行Sbit量化，由于还需要对预测值进行量化，所以每两列需要三个ADC。
[0028]然后，比较器产生的数字值将会分别输送到数字减法器和移位寄存器中。数字减法器为列级结构，每一列各有一个，三个输入端分别是预测值量化后的数字码、像素值量化后的数字码和顺序控制位，比较器输送进来的比较结果将会用来控制数字减法器中减法的顺序，使大的值与小的值相减，始终保持减法器输出是正值。这是因为G0L0MB-RICE编码只能对正整数进行编码。比较结果同时将作为符号位被输送到移位寄存器中，成为输出编码的首位，若比较结果为正，则符号位为0，若比较结果为负，则符号位为I。
[0029]数字减法器的输出虽然是8bit，但是由于预测值和像素值的相关性，二者大小不会相差太多，所以减法器的输出从MSB到LSB看，高位将会有许多0，换而言之，真正有效的数字码是从首个非O位开始算起的。比如减法器的输出是00001011，那么真正有效的数字码只是1011，前面的0000并没有什么意义，如果可以以1011而不是00001011输出，那么编码的压缩比(CR)将会达到2，这也就达到了预测编码图像压缩的目的。
[0030]为了解决这个问题在数字减法器后面紧跟着非零判别电路，其工作原理为:将数字减法器的输出按从MSB到LSB的顺序按位037>6吣130)输送到非零判别电路中，若输入是0，则进行忽略处理，不对其进行任何操作；若输入bk是1，则对bk到bO的数字码按顺序输入到移位寄存器中。到这时为止，移位寄存器中已经得到了熵编码以后的码字，由符号位和预测差值的数字码组合而成，其长度在Ibit至9bit的范围内浮动。
[0031]这样的编码方式是在G0L0MN-RICE编码的基础上改进而来的，利用的都是图像残余值是以O为峰值进行分布的，如图5所示，左图为图像像素值的原始直方图，右图为经过G0L0MN-RICE编码后的像素值直方图。残余值越靠近0，则编码长度越短，越远离0，则编码长度越长。由于残余值基本上都分布在0-50的灰度值范围内，超过这个范围的残余值基本上可以忽略不计，所以在编码的过程中只需要考虑0-50的范围。本发明的编码方法和G0L0MN-RICE编码法在图像压缩方面的表现是相当的，但是电路实现的复杂度要低得多，更易于集成在CIS中。
[0032]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图给出一个具体数值的例子以作进一步地详细描述。
[0033]由于预测电路是以2X2的像素块为单位进行工作的，故以一个像素块为单位对其工作过程进行说明。假设像素块中四个像素值分别为V[l，l]=1.3、V[l，2]=1.4、V[2, 1]=1.6、V[2, 2]=1.7，则第一行的像素值V[l，I]和V[l，2]将首先传送到预测电路中进行处理。它们会被分别传送到各自的列级积分电路和采样电路中，一个时钟周期之后积分电路中CC两端的电压值为(V[l，l]+V[l，2])/4，而两个列级储存电路中的Cl则会分别对V[l，l]和V[l，2]进行存储。第二个时钟周期到来的时候，V[2, I]和V[2，2]会以同样的方式传送到预测电路中，一个时钟周期之后，积分电路中CC的电压值为(V[l，l]+V[l，2]+V[2，l]+V[2，2])/4，这是像素块中电压的平均值，即为预测值，而两个列级储存电路中的C2则会分别对V[2，I]和V[2，2]进行存储。此时，积分电路中Vom=L 5，第一列存储电路中VCl=L 3、VC2=1.6，第二列存储电路中VCl ‘=1.4、VC2’ =1.7。接下来积分电路中的预测值、第一列存储电路中的电压值和第二列存储电路中的电压值将分别传送到各自的三个列级比较器和ADC中进行符号位求取和模数转换，这也将分两个时钟周期进行。首先，Vom、VCl和VCl ‘将被量化为01110011、01100111、01101100，接下来将在符号位的控制下利用数字减法器求取残余值，两个残余值分别为00001100和0000111，进行非零判别处理之后残余值分别为1100和111，最终的编码还要加上符号位，由于VCl和VCl ‘比预测值Vom小，所以符号位为I。故VCl和Vcr的最终残余值编码为11100和1111。可见这两个像素的压缩比分别为8/5=1.6和8/4=2。第二行两个像素值VC2和VC2 ‘和第一行的相同，在这不再赘述。
[0034]至此在CIS的读出端已经得到熵编码以后的码值，可以直接进行存储或者传输。可见，本发明可将预测编码所需的预测值求取操作和熵编码操作都融入到CMOS图像传感器的传感过程中，大大提升了图像压缩处理效率。
【权利要求】
1.一种基于CMOS图像传感器的焦平面图像压缩装置，其特征是，由像素阵列、读出及相关双采样电路、预测编码电路、时序电路、模数转换器(analog-to-digital converter,ADC)和熵编码电路组成，从像素阵列中读出的像素值首先传送到读出及相关双采样(correlated double sample,⑶S)电路中进行相关双采样以消除固定模式噪声,接下来预测编码电路将在时序电路的控制下求出预测值，之后预测值和像素值将通过模数转换器进行模数转换，接着熵编码模块的列级数字减法器将完成预测值和像素值的作差操作以求得残余值，最后熵编码模块将会对残余值进行编码。
2.如权利要求1所述的基于CMOS图像传感器的焦平面图像压缩装置，其特征是，预测编码电路以2X2的像素块为单元来进行，每两像素两列共用一个预测编码电路，2X2的像素块按照从上到下的顺序依次传送到预测编码电路中，预测编码电路由积分电路和存储电路两部分组合而成，其中积分电路用于求取平均值，即预测值；存储电路用于以列为单位存储2X2像素块中的像素值；列级减法器用于对像素值和预测值进行求差运算以求得残余值。
3.如权利要求1所述的基于CMOS图像传感器的焦平面图像压缩装置，其特征是，熵编码电路由比较器、列级ADC、数字减法器、非零判别电路和移位寄存器五个部分构成；首先，将预测值和像素值分别输入各自的列级比较器中进行比较操作，同时分别输入到列级ADC中进行量化，由于还需要对预测值进行量化，所以每两列需要三个ADC ； 然后，比较器产生的数字值将会分别输送到数字减法器和移位寄存器中；数字减法器为列级结构，每一列各有一个，三个输入端分别是预测值量化后的数字码、像素值量化后的数字码和顺序控制位，比较器输送进来的比较结果将会用来控制数字减法器中减法的顺序，使大的值与小的值相减，始终保持减法器输出是正值，比较结果同时将作为符号位被输送到移位寄存器中，成为输出编码的首位，若比较结果为正，则符号位为0，若比较结果为负，则符号位为I ; 将数字减法器的输出按从MSB到LSB的顺序按位037>6吣130)输送到非零判别电路中，若输入是0，则进行忽略处理，不对其进行任何操作；若输入bk是I，则对bk到b0的数字码按顺序输入到移位寄存器中，bk代表第k位。
4.如权利要求1所述的基于CMOS图像传感器的焦平面图像压缩装置，其特征是，时序电路控制预测编码过程分为三个工作状态:复位相、积分相和读出相；在求平均值阶段预测编码电路得到像素块的平均值；当信号读取阶段到来时预测电路已经完成了求平均值的操作，像素块中的像素值存入预测编码电路中的存储电路。
5.如权利要求2所述的基于CMOS图像传感器的焦平面图像压缩装置，其特征是，积分电路由分别连接到两像素列的两个采样电容CS、运放、采样电容CS同相输入控制开关、采样电容CS反相输入控制开关、运放反馈电容CC、运放反馈电容CC控制开关、运放反馈开关、参考点位至运放反馈电容CC间开关构成。
6.如权利要求2所述的基于CMOS图像传感器的焦平面图像压缩装置，其特征是，存储电路由分别连接到两像素列的两个采样电容、运放、采样电容反相输入控制开关、运放反馈电容控制开关、运放反馈开关构成。
【文档编号】H04N19/42GK103957411SQ201410138558
【公开日】2014年7月30日 申请日期:2014年4月8日 优先权日:2014年4月8日
【发明者】姚素英, 于潇, 徐江涛, 史再峰, 高静, 高志远, 聂凯明 申请人:天津大学