图像处理装置和方法

专利名称：图像处理装置和方法
技术领域：
本发明涉及图像处理装置及方法，例如，本发明可以应用到记 录活动图像的摄像结果的摄像机、电子静像照相机(数码相机)、 监视装置等。在本发明中，通过形成于与摄像单元的摄像面相反一 侧的面上的布线层连4妄纟l像单元和图4象压缩单元并一体化(集成)， 而且，根据以块为单位对摄像结果进行数据压缩而产生的码量，至 少改变接下来的块的凄t据压缩所用的凄t据压缩率，并对应于以该块 为单位的处理从摄像单元输出各光电转换部的摄像结果，从而能够 有效利用作为CMOS固体招H象元件等特征的損H象结果读出的高自 由度，且能简化整体结构，可靠地进行速率控制。
背景技术：
在现有技术的摄4象机中，将,人CCD (Charge Coupled Device, 电荷耦合装置)固体4聂像元件输出的4聂像结果在帧存储器中緩冲， 并#4居MPEG ( Moving Picture Experts Group,运动图4象专家纟且)方 法以块为单位进行H据压缩，在MPEG2中，例如才艮据TM5 (Test Mode 5，测试方式5)等方法进行速率控制。同样地，在电子静像 照相机中，将从CCD固体摄像元件输出的摄像结果在帧存储器中緩沖，并根据JPEG ( Joint Photographic Coding Experts Group,联合
图像专家组)方法以块为单位进行数据压缩，并与MPEG2同样地
进行速率控制。
对此，近年来，CMOS固体摄像元件逐渐运用于实践。在此， 与CCD固体4聂4象元件对比，如图1所示，CMOS固体才聂4象元件具 有各种特征，例如，相对于在CCD固体^L像元件中所有像素的电 荷存储开始时间、结束时间都相同，CMOS固体摄像元件却有以列 或像素为单位采用不同的电荷存储开始时间、结束时间这样的特 征。
尤其，如图2所示，与CCD固体iW象元件通过串行传输读出 各像素的摄像结果相比，CMOS固体摄像元件却如图3所示，能够 根据X-Y地址的控制来读出各像素的摄像结果，由此，与CCD固 体摄像元件相比，CMOS固体摄像元件在摄像结果的读出上具有高 自由度的特征。图2是表示从CCD固体摄像元件输出摄像结果的 示意图，在CCD固体摄像元件中，将各像素保存的存储电荷传输 到垂直传输寄存器，并将已传输到该垂直传输寄存器的存储电荷依 次传输到水平传输寄存器，而且通过水平传输寄存器依次传输输 出。对此，图3是表示从CMOS固体摄像元件输出摄像结果的示意 图，其中，示出了以列线为单位依次输出各像素的摄像结果的情形， 这时，能与列线的数量相对应地同时并行地输出摄像结果。
具体而言，在CMOS固体才聂4象元件中，通过在水平方向上延长 的水平地址线和在垂直方向上延长的垂直地址线，选择性地使设于 各像素的MOSFET进行导通(ON)操作，从被该水平地址线和垂 直地址线选择的像素输出摄像结果到信号线。由此，在图3所示的 例子中，垂直方向上连续的多个像素共同使用基于一条列线的信号 线，从而依次切换与连接到一条列线的多个<象素相关的水平地址线 的设定，使设于该多个像素上的MOSFET依次进行导通操作，从
5素的摄像结果。由此，在水平方向上看时，水平方向上连续的像素 共用水平;也址线，乂人而垂直方向上连续的各^f象素向列线进4于的这才羊 的时分分配，在水平方向上连续的4象素上同时并行地冲丸4亍，因此， 以行为单位输出才聂l象结果。
关于这种CMOS固体l菱像元件，例如，日本特开2004-31785 号公报等中提出了与外围电路一体化的结构。
对此，作为与这种图像tt据的处理相关的编码方法，近年来才是 出了各种采用小波变换处理的编码方法。在此，小波变换处理是指 在水平方向及垂直方向上，分别将图像凌史据频带划分为高频成分和 低频成分并分别进4于下采样，从而将图傳_数据分割为四个子频带进 4亍处理的方法，例》口，存在如图4 (A)所示的只进4亍一次这种分 割处理而根据四个子频带HH、 HL、 LH、 LL处理图像数据的情况， 也存在进一步如图4(B)所示的重复这种频带划分处理来处理图 像数据的情况等。图4 (B)示出的是将频带划分处理重复三次的 情形，其中，々支设了对于子频带HH、 HL、 LH、 LL中的水平方向 及垂直方向上频率4氐的子频带LL进一步执行频带划分处理生成四 个子频带LLHH、 LLHL、 LLLH、 LLLL，然后，乂十于这四个子频 带LLHH、 LLHL、 LLLH、 LLLL中的7jc平方向及垂直方向上频率 j氐的子频带LLLL又进一步执4于频带划分处理生成四个子频带 IXIXHH 、 IXIXHL 、 IXLIXH 、 LIXIXL的例子。
针对这种通过小波变换处理的编码处理，l是出了以4于为单位处 理图像数据的所谓基于行的小波变换(line-base型小波变换)、和以 区块(tile)为单位处理图像数据的所谓基于区块的小波变换 (tile-base型小波变换)，其中，区块单位是通过分割一个画面而设
置的矩形块。像结果的高自由度这个
CMOS固体摄像元件的特征，便能够进一步简化摄像装置的整体结 构，并可靠地进行速率控制。

发明内容
本发明鉴于上述问题，提出了一种能够有效利用作为CMOS 固体摄像元件等特征的摄像结果读出的高自由度，从而能够简化整 体结构，并可靠地进行速率控制的摄像装置、摄像元件的集成电路 以及纟聂 <象结果的处理方法。
为了解决上述问题，可将本发明运用到包括摄像单元和外围电 路，并且通过外围电路处理并输出摄像单元的摄像结果的摄像装置 当中，其中，摄像单元将多个光电转换部配置成矩阵状，并通过 XY地址的控制来输出摄像结果，外围电路通过形成于与摄像单元 的受光面相反一侧的面上的布线层而与光电转4灸部连4妄，并与4聂寸象 单元成为一体(保持为一体)，在本发明中，外围电路至少包括 将才l像结果对应各个预定的处理单位进^亍凄t据压缩并输出的图傳_ 压缩单元、以及控制图像压缩单元的数据压缩率的控制单元，夕卜围 电3各以在水平方向及垂直方向上分割有效图〗象区而形成的块为单 位从摄像单元输入摄像结果并依次进行数据压缩，在一帧内，夕卜围
电路基于图像压缩单元对 一 个块进行数据压缩而产生的码量，至少 改变图像压缩单元对接下来的块进行数据压缩时的数据压缩率，摄 像单元以块为单位，按照与图〗象压缩单元的^:据压缩对应的顺序输 出光电转换部的iW象结果。
根据本发明的结构，在摄像装置中，该摄像装置包括将多个 光电转换部配置成矩阵状并通过XY ;也址的控制来输出l聂l象结果的 摄像单元；以及通过形成于与摄像单元的受光面相反一侧的面上的 布线层而与光电转换部连接并与摄像单元成为 一体的外围电路，并
7且通过外围电^各处理并输出才聂^象单元的掘J象结果，通过形成于与受 光面相反一侧的面上的布线层连4妄:摄像单元的光电转换部和外围 电路，从而能够有效避免将布线层设于受光面一侧时的各种问题， 并能够高自由度地连4妄光电转换部和外围电路，由此，无损涉及才聂 像结果读出的摄像单元的高自由度，能够以各种形式将摄像单元的 摄像结果提供给外围电路。以该结构为前提，根据本发明的构成， 如果外围电路至少包括将摄像结果对应各个预定的处理单位进行 数据压缩并输出的图像压缩单元、以及控制图像压缩单元的数据压 缩率的控制单元，并且，外围电^各以在水平方向及垂直方向上分割 有效图像区而形成的块为单位乂人4聂〗象单元输入4l像结果并依次进 行数据压缩，并且，在一帧内，外围电路根据图像压缩单元对一个 块进行凄t据压缩而产生的码量，至少改变图^f象压缩单元对4娄下来的 块进行数据压缩时的数据压缩率，并且，li/像单元以块为单位，按-
结果，那么便能够将摄像单元的摄像结果直接输入到图像压缩单元 中进行凄t据压缩，并能可靠地进^亍速率控制，由此，能够有效利用 与摄像结果读出有关的摄像单元的高自由度，并能简化整体结构， 可靠地进4于速率控制。
此外，可将本发明运用到包括摄像单元和外围电路，并且通过 外围电路处理并输出摄像单元的摄像结果的摄像元件的集成电路 当中，其中，才i/像单元将多个光电转换部配置成矩阵状，并通过 XY地址的控制来输出摄像结果，外围电路通过形成于与摄像单元 的受光面相反一侧的面上的布线层而与光电转换部连接，并与摄像 单元成为一体，在本发明中，外围电路至少包括将摄像结果对应各 个预定的处理单位进行数据压缩并输出的图像压缩单元、以及控制
图^f象压缩单元的数it压缩率的控制单元，夕卜围电路以在水平方向及
垂直方向上分割有效图像区而形成的块为单位从摄像单元输入摄 像结果并依次进行数据压缩，在一帧内，外围电路根据图像压缩单元对一个块进4于婆t据压缩而产生的码量，至少改变图〗象压缩单元对 接下来的块进行数据压缩时的数据压缩率，摄像单元以块为单位， 按照与图像压缩单元的数据压缩对应的顺序输出光电转换部的摄
像结果。
由此，根据本发明的结构，能够提供一种可有效利用作为
CMOS固体摄像元件等特征的读出摄像结果的高自由度，且能简化 整体结构，可靠地进行速率控制的摄像元件的集成电路。
此外，可将本发明运用到包括摄像单元和外围电路，并且通过 外围电路处理并输出摄像单元的摄像结果的摄像装置中的摄像结 果处理方法当中，其中，a^像单元将多个光电转换部配置成矩阵状， 并通过XY地址的控制来输出摄像结果，外围电路通过形成于与摄 ^象单元的受光面相反一侧的面上的布线层而与光电4t纟奐部连4妾，并 与摄^象单元成为一体，在本发明中，包括以下步骤乂人才聂〗象单元输 出光电转换部的摄像结果到外围电路中的摄像结果输出步骤；通过 外围电路至少将纟聂l象结果对应各个预定的处理单位进行凄t据压缩 并输出的图像压缩步骤；以及控制图像压缩步骤中的数据压缩率的 控制步骤，其中，在图j象压缩步骤中，以在水平方向及垂直方向上 分割有效图 <象区而形成的块为单位从4聂4象单元输入4聂^象结果并依 次进行数据压缩，在控制步骤中，在一帧内，基于通过图像压缩步 骤对一个块进行数据压缩而产生的码量至少改变通过图像压缩步 骤对^接下来的块进行lt据压缩时的^t据压缩率，在4聂^象结果输出步 骤中，以块为单位，4会照与图^f象压缩步艰《中的凄t据压缩对应的顺序 输出光电转换部的摄像结果。
由此，根据本发明的结构，能够提供一种可有效利用作为 CMOS固体摄像元件等特征的读出摄像结果的高自由度，且能简化 整体结构，可靠地进行速率控制的摄像结果的处理方法。此外，可将本发明运用到包括摄像单元和外围电路，并且通过 外围电路处理并输出摄像单元的摄像结果的摄像元件集成电路中 的摄像结果处理方法当中，其中，摄像单元将多个光电转换部配置
成矩阵状，并通过xY地址的控制来^r出才聂^象结果，外围电^各通过 形成于与纟聂像单元的受光面相反一侧的面上的布线层而与光电转
换部连接，并与纟l像单元成为一体，在本发明中，包括以下步骤 从摄像单元输出光电转换部的摄像结果到外围电路中的摄像结果 输出步骤；通过外围电^各至少将才聂像结果对应各个预定的处理单位 进行数据压缩并输出的图像压缩步骤；以及控制图像压缩步骤中的 数据压缩率的控制步骤，其中，在图像压缩步骤中，以在水平方向 及垂直方向上分割有效图 <象区而形成的块为单位乂人才聂4象单元输入 才聂4象结果并依次进行数据压缩，在控制步骤中，在一帧内，才艮据通 过图4象压缩步骤对一个块进^f于^t据压缩而产生的码量至少改变通 过图 <象压缩步骤对接下来的块进行数据压缩时的H据压缩率，在才聂 像结果输出步骤中，以块为单位，按照与图像压缩步骤中的数据压 缩对应的顺序输出光电转换部的摄像结果。
由此，根据本发明的结构，能够提供一种可有效利用作为 CMOS固体摄像元件等特征的读出摄像结果的高自由度，且能简化 整体结构，可靠地进行速率控制的摄像结果的处理方法。
才艮据本发明，能够有效利用作为CMOS固体才l像元件等特征的 读出摄像结果的高自由度，且能简化整体结构，可靠地进行速率控制。


图1是用于比较摄像元件的图表。
图2是表示CCD固体摄像元件的输出的示意图。图3是表示CMOS固体摄像元件的输出的示意图。
图4是用于说明小波变换处理的概略图。
图5是表示本发明实施例1涉及的摄像装置的框图。
图6是用于说明图5所示的摄像装置中的数据压缩处理的平面图。
图7是运用于图5所示的摄像装置中的集成电路的剖视图。
图8(A)、 8(B)、 8(C)及8(D)是用于说明图7所示的集 成电路的摄像结果输出的概略图。
图9是用于说明本发明实施例2涉及的摄像装置中的小波变换
部的概略图。
图IO是用于说明图9所示的摄像装置中的小波变换部的频带
划分的概略图。
图11是用于说明图9所示的摄像装置中的小波变换部的处理 产生的行緩冲器用系数的概略图。
图12是用于说明本发明实施例3涉及的摄像装置中的图像压
缩部的和克略图。
图13是用于说明本发明实施例4涉及的摄像装置中的图像压
缩部的相X略图。
图14是运用于本发明实施例5涉及的摄像装置中的集成电路
的局部立体图。
ii图15是用于说明本发明实施例6涉及的摄像装置中的摄像结
果输出的平面图。
图16是表示本发明实施例7涉及的摄像装置的框图。
具体实施例方式
下面，参照合适的附图，详细说明本发明实施例。(1 )实施例1的结构
图5是表示本发明实施例1涉及的摄像装置的框图。该摄像装置l对所希望的拍摄对象的摄像结果进行数据压缩后，在存储介质中进行记录，并发送给希望的传输对象。
在此，在摄像装置l中，响应用户对透镜2的操作，调整焦距倍率、光圏，将入射光会聚到摄像元件3的摄像面。光学低通滤波器A1削弱与透镜2的射出光相比空间频率更高的成分，接着颜色^奮正滤波器A2对乂人光学4氐通滤波器Al射出的射出光的色温度进行修正后将其射出。
摄像元件3例如由CMOS固体摄像元件形成，根据从未图示的驱动部输出的各种时间(timing)信号而动作，并通过各像素，对形成于摄像面的光学图像进行光电转换后输出摄像信号Sl。在该一系列的处理中，在才K象元件3中，构成各《象素的光电l争换部净皮划分成与后级的图像压缩部6的处理单位对应的区域，摄像元件3将输出4聂像结果的期间依次分配给各区。属于各区的光电转换部在输出摄像结果以外的期间分别对入射光进行光电转换处理，同时存储光电转换结果。在此，在本实施例中，如图6所示，在后级的图像压缩部6中， 将摄像元件3的摄像结果在水平方向及垂直方向上按照预定的数量 进4亍划分，形成》夹Bl、 B2、 B3……，/人而以块Bl、 B2、 B3…… 为单位，按光栅扫描的顺序对与块Bl、 B2、 B3……相关的图像数 据进4于凄t据压缩处理。由此，在li/像元件3中，光电转换部以对应 于各块B1、 B2、 B3……的方式被划分，并且，将根据驱动电路进 行的XY地址的控制、按光栅扫描的顺序输出摄像结果的期间分配 给各区，在该期间内分别输出属于各区的光电转换部的摄像结果。 由此，将按光栅扫描的顺序以各区为单位进行光电转换处理的期间 分配给属于各区的光电转换部。摄像元件3通过摄像信号Sl输出 这些光电转换部的摄像结果。此外，摄像元件3在各区内，通过按 光才册扫描顺序的单一体系的输出，或者以列线为单位的依次扫描的 输出，或者以行或列线为单位的多个体系的同时并^亍的输出，进而 通过所有像素的同时并行的输出，输出摄像结果。
模拟数字转换电路(AD) 7对该摄像信号Sl实施模拟数字转 换处理后，输出图像数据Dl。该摄像装置1通过未图示的信号处 理电蹈J寸该图傳H:悟Dl实施Y象素4翁^直处理(pixel interpolation process )、颜色空间转换处理、边缘增强处理、噪声消减处理等之 后，将其输入到图像压缩部6中。
图像压缩部6以块B1、 B2、 B3……为单位对图像数据Dl进 行数据压缩并#1行编码处理，输出作为其处理结果的编码凄t据D2。
码量计算部8以块B1、 B2、 B3……为单位计量自图像压缩部 6输出的编码数据的码量，从而对块B1、 B2……中的每一个块都检 测图像压缩部6的数据压缩处理的发生码量。
压缩率决定部9基于码量计算部8检测的发生码量，控制图像 压缩部6中的接下来的块的数据压缩处理涉及的数据压缩率，由此，执行速率控制处理以便每一帧的发生码量变成目标码量。即，将平 均每帧的块的凄t量除分配给一帧的码量(用分配《会一帧的码量除以
分配给一帧的码量)而得到的目标码量TS作为基准，计算与码量 计算部8实际检测的发生码量TE的差分值TEX，根据该差分值TEX 校正与接下来的块相关的目标码量。
在此，对于与该块相关的目标码量的才交正，例如，当在与4妾下 来的块相关的目标码量TS上加上或减去该差分值TEX而直4妄才交正 才妄下来的块的目冲示石马量TS时，以及进一步i也，当以该一帧中尚未 完成编码处理的块数除差分值TEX,并在与接下来的块相关的目标 码量TS上加上或减去该除得的值，乂人而将差分值TEX分配给一帧 中尚未完成编石马处理的块等时，可以广泛;也应用各种处理方法。
压缩率决定部9才艮据这才羊计算的目标码量可改变地控制图^f象压 缩部6中的^t据压缩率。
编码流存^诸部10存^f诸并输出自图^f象压缩部6 4Ir出的编码凄t据 D2,辅助速率控制部11对从该编码流存储部10输出的编码数据 D2进行速率控制。在此，在该速率控制中，插入虚拟数据或者中 止净丸^f于预定块的编码^:据D2的传输，以^f更各帧的码量变成目标码 量。在该摄像装置1中，从辅助速率控制部11输出的编码数据D2 记录在存储介质中，进而被传输到外部设备。由此，编码流存储部 10和辅助速率控制部11构成用于存储作为图像压缩单元的图像压 缩部6的一帧的输出数据D2并校正数据量的数据量才交正单元，在 本实施例中，通过数据量校正单元更高精度地进行速率控制。
图7是运用于摄像装置1的集成电路的局部剖视图。在此，该 集成电路51将摄像元件3和外围电路形成为一体，在该实施例中， 未图示的摄像元件3的驱动电路、模拟数字转换电路7、图像压缩 部6、码量计算部8、压缩率决定部9、编码流存储部10、辅助速
14率控制部11等都运用在该一体化的外围电路中。由此，简化了本 实施例涉及的摄像装置的整体结构。
在集成电路51中，将像素部配置成矩阵状形成摄像元件部，
通过该摄像元件部形成才聂像元件3。外围电if各部形成于该才聂像元件 部的周围。由此，图7是该才聂像元件部和外围电^各部的局部剖—见图。
集成电路51通过厚度为10~20 (|am)左右的硅(Si)层形成 元件层52，在像素部中，与以像素为单位的光电转换处理相关的光 电二极管(光敏二极管)53形成于该元件层52上，在外围电路部 中，在该元件层52的下面(下层)一侧形成构成外围电^各的MOSFET 等各电路元件。
在集成电路51中，二氧化硅(Si02)膜54、遮光膜55、氮化 硅膜(SiN)56、滤色器57、微透镜58依次层压在该元件层52的 上层。在该元件层52的下面形成光电二^ l管53、对外围电^^的电 ^各元件布线的布线层59，在该布线层59的下面一侧i殳有用于支撑 全体的基板支撑材料60。由此，集成电路51在与受光面相反的一 侧设置布线层59,从而能够一举解决将布线层设置于受光面一侧时 的各种问题，显著提高了布线的自由度。至于将布线层设置于受光 面一侧时的各种问题，其中包括由于形成布线层的布线而导致的入 射到各像素中的光量减少、相邻像素间的串扰等。
在集成电路51中，由于像这样地在与受光面相反的一侧形成 布线层59，所以/人布线层59侧处理厚度4交薄的半导体基板，在形 成光电二极管53、外围电路的电路元件后，在该半导体基板上依次 形成布线层59、基4反支撑材料60，然后，将该半导体基纟反翻转， 通过CMP进行研磨，完成元件层52，最后，依次形成遮光膜55、 氮化硅膜(SiN)56、滤色器57、樣i透镜58，制成集成电路51。由此，该摄像装置1以摄像元件3和外围电路一体地集成电路 化(集成为集成电路)为前提，在与受光面相反的一侧形成布线层
59,从而使布线自由度显著提高，且无损作为CMOS固体l聂l象元件 特征的读出摄像结果的高自由度，并将简化整体结构。
即，在集成电路51中，如图8(A)所示，能够以将各像素输 出同时并行地输出到外围电路中进行模拟数字转换处理的方式构 成摄像元件部和外围电路的连接。并且还可以如图8(B)所示地 以列线为单位同时并行地输出損/像结果并在外围电路中进4亍处理，
以及如图8(c)所示地以^亍为单位同时并^亍地llr出4K象结果并在
外围电路中进行处理，进而，也可以如图8 (D)所示地以预定块 为单位同时并4亍地输出4聂4象结果并在外围电^各中进4亍处理，由此， 可进一步显著提高摄像元件输出的自由度。
在图8(A)所示例子的场合，由于各像素分别设有信号线， 所以当^f吏所有^f象素上i殳置的MOSFET同时进4亍导通才喿作并同时并 行地输出所有像素的摄像结果时、以及如针对图3所描述地，通过 水平地址线的控制按行单位输出摄^象结果时、以及如后面针对图8 (C)所描述地，代替该水平地址线的选择，通过垂直地址线的选 择，同时并行地输出在垂直方向上连续的像素的摄像结果等时，可 以通过各种X-Y地址的控制来输出摄像结果。在图8(C)的场合， 代替上面针对图3所描述的水平地址线的控制而根据垂直地址线的 控制，通过时分将一条信号线依次分配给水平方向上连续的像素， 从而能够同时并行地输出垂直方向上连续的像素的摄像结果。对 此，在图8 (D)所示例子的场合，才艮据垂直地址线及水平地址线 的控制，依次选择共同连接于一条信号线的一个块的多个像素，从 而能够在通过该一条信号线的一个块中按光栅扫描、折线扫描等各 种顺序输出摄像结果。此外，在水平方向及垂直方向上连续的像素分别共同地设有水平地址线及垂直地址线，因此，在多个块中像素 的扫描顺序是相同的。
在本实施例涉及的摄像装置1中，如参照图6对摄像元件3所 描述地，将输出4菱^象结果的期间依次分配给对应于块Bl、 B2、 B3......的区，4艮据乂人各块内的光电转^:部^r出的形式，通过图8
(A) ~图8(D)所示连接中的对应的连接将摄像结果输出到外围电路。
(2)实施侈'J 1的动讦乍
在上述结构中，摄像装置1 (图5 )通过透镜2而在摄像元件3 的摄像面(受光面)形成拍摄对象的图像，该图像的摄像结果被从 摄像元件3输出，并通过模拟数字转换电路7转换成图像数据D1 。 对该图像数据D1执行了边缘增强(边缘锐化)等处理后，由图像 压缩部6进行数据压缩转换成编码数据D2，通过编码流存储部10、 辅助速率控制部11将该编码数据D2记录在存储介质中，并传输给 外部设备。由此，在掘j象装置l中，既对iK象结果进行凄史据压缩并 记录，并且还传输摄像结果。
在该 一 系列的处J里中，当以在7jc平方向及垂直方向上分别分割 才聂4象结果成预定的凄t量而形成的块Bl、 B2、 B3……(图6)为单 位，对一块的图像数据D1进行数据压缩处理时，基于其发生码量， 可改变地控制与接下来的块的数据压缩处理相关的数据压缩率，通 过重复该处理，以一帧为单位进行数据压缩处理。由此，在摄像装 置1中，能够可靠地进行速率控制，并以希望的传输速率将摄像结
果记录到存^f渚介质并llr出。
在本实施例中，将编码数据D2暂时存储并保存在编码流存储 部10中，通过辅助速率控制部11插入虚拟数据，或者中止与预定块相关的编码数据D2的输出，输出编码数据D2。由此，在该摄像 装置1中，能够更可靠地执行速率控制处理，并能够以希望的传输 速率将摄像结果记录到存储介质并输出。
于是，对于像这样地以块为单位依次处理的摄像结果，对应于 图^f象压缩部6中的处理单4立、即块B1、 B2、 B3……，划分与i殳于 摄像元件3的各像素对应的光电转换部，对应于图像压缩部6中的 处理将输出摄像结果的期间依次分配给各区，并在该期间内通过摄 像信号Sl输出对应区的摄像结果。在除该期间之外的期间内，各 区的光电转换部用于光电转换处理。
由此，在摄像装置l中，只是通过模拟数字转换电路7将从摄 像元件3输出的摄像结果依次输入到图像压缩部6,以这种结构即 可依次地以块为单位进行图像压缩处理并执行速率控制，由此，可 简化整体结构。
在由CMOS固体摄像元件构成的摄像元件3中，通过XY地址 的控制来输出摄像结果，从而在摄像结果的读出上具有高自由度， 由此，不仅能够以行为单位按行顺序输出摄像结果，而且例如能够 以列线为单位输出摄像结果、以预定块为单位输出摄像结果等根据 各种形式输出摄像单元的摄像结果。由此，在本实施例中，将输出 摄像结果的期间依次分配给与作为图4象压缩部6中的处理单位的块 对应的区，并在该期间内输出对应区的摄像结果，从而有效利用作 为CMOS固体摄像元件特征的摄像结果读出的高自由度，并使整体 结构进一步简化。
在摄像装置l中，像这样地输出摄像结果的摄像元件3、作为 处理该摄像元件3的摄像结果的外围电路的模拟数字转换电路7、 图像压缩部6等以集成电路的形式一体化构成，由此使整体结构更 小型，进而简化了结构。但是，若单纯地以CMOS工艺使摄像元件和外围电路一体化， 则会因与摄像元件、夕卜围电路相关的布线图案而产生各种问题，致 使无法充分发挥读出摄像结果的高自由度。因此，在本实施例中， 在与4聂1象单元的受光面相反的一面上形成布线层，通过该布线层连 接构成摄像单元的光电转换部和外围电路，并使它们一体化，由此， 能够以充分发挥读出摄像结果的高自由度的方式构成集成电路，并 确实地有效利用读出摄像结果的高自由度，从而简化整体结构。
(3 )实施例1的效果
根据以上结构，摄像单元和图像压缩单元由形成于与摄像单元 的受光面相反一侧的面上的布线层连接并一体化，而且，才艮据以预 定的块为单位进行数据压缩而在各块中产生的码量，控制接下来的 块的数据压缩率，并对与该块对应的光电转换部的区依次i殳置输出 摄像结果的期间以从摄像单元输出摄像结果，从而能够有效利用作 为CMOS固体摄像元件特征的读出摄像结果的高自由度，且能简化 整体结构，可靠地进行速率控制。
(4)实施例2
在本实施例涉及的摄像装置中，将小波变换处理运用到上面参 照图5所描述的图像压缩部6的数据压缩处理中。在本实施例涉及 的摄像装置中，除了与图像压缩部6的小波变换处理相关的结构是 不同的之外，其余均与实施例1中描述的摄像装置1的构成相同， 因此，在本实施例中，沿用图5所示的结构进4亍"i兌明。
在此，在图^f象压缩部6中，由小波变^:部以块为单^f立对图傳H 据Dl执行了小波变换处理之后，通过量化部、熵编码部依次执行 量化处理、熵编码处理，由此输出编码数据D2。值得说明的是，在小波变换部中，通过line-base型小波变换处理，以块为单位执行
小波变换处理。
在此，如图9的一个阶段的频带划分处理所示，小波变换部通 过在垂直方向上具有预定抽头数的低通滤波器61A和高通滤波器 61B将图像数据D1频带限制为两个频带成分VL、 VH,然后，通过 在水平方向上具有预定抽头数的低通滤波器62A及高通滤波器 62B、和低通滤波器63A及高通滤波器63B对各频带成分VL、 VH 进4亍频带限制，生成子频带LL-HH。由此，小波变换部通过4亍纟爰
波器61A和高通滤波器61B的抽头数的用于频带划分处理的输入图
^象凄t据Dl，并输出。
如图10所示，小波变4奐部通过三个阶賴3丸4亍这才羊的频带划分 处理，由此，由接着的后级处理电路处理各频带划分处理产生的小 波变换系数HH LLLLLL,此外，没有分别对应于各频带划分处理 的输入级的行缓沖器64A ~ 64C，从;漠拟数字转换电路7输出的图 像数据直接输入到最先(第一级)的行緩冲器64A中。
通过这些处理，如图11所示，小波变换系数的数据存储在这 些行緩沖器64A-64C中，如果与图像数据Dl有关的一帧的处理 开始后，数据存储在这些行緩冲器64A 64C中，此时分别输出对
应的系凄t凌t据。
由此，在图像压缩部6的小波变换部中设有基于块Bl、 B2、 B3......的水平方向的采样数的行緩冲器64A、基于行緩沖器64A的
1/2及1/4的采样数的行緩冲器64B、 64C，由垂直方向的低通滤波 器和高通滤波器61AA和61BA、 61AB和61BB、及61AC和61BC
分别对从各行緩沖器64A ~ 64C同时并行地输出的抽头输出进行频 带限制并下采样，*接下来，由水平方向的4氐通滤波器及高通滤波器
20进行频带限制并下采样，生成与各子频带HH LLLLLL相关的小
波变换系数数据。
由此，在本实施例中，小波变换部运用基于行的小波变换处理 以块为单位处理图像数据，从而降低作为设于各分割处理的输入侧 的存储器电路的行緩冲器的容量，并使整体构成得到简化。
并且，对应于该小波变换部的结构，图像压缩部64艮据大于等 于该小波变换部的垂直滤波器的抽头数的行数，并根据大于等于水 平滤波器的抽头数的水平方向的采样数形成各块。
对应于该小波变换部的处理，摄像元件3在各区内根据驱动电 路的XY地址的控制来按照与该小波变换部的处理顺序相应的行扫 描的顺序输出各光电转换部的摄像结果。由此，在本实施例中，能 够将图像数据D1直接输入到小波变换部中进行处理，并且相应地，
能够简化整体结构。
对此，压缩率决定部9通过量化部中的量化位阶的切换控制， 可改变地控制图像压缩部6中的数据压缩率，由此，所形成的结构 能够简单且可靠地改变数据压缩率。
根据实施例2的结构，摄像单元和图像压缩单元由形成于与摄 4象单元的受光面相反一侧的面上的布线层连4矣并一体化，而且，根 据以预定的块为单位进^f亍^:据压缩而在各块中产生的码量，控制4妄 下来的块的数据压缩率，并对与该块对应的光电转换部的区依次设 置输出摄像结果的期间以从摄像单元输出摄像结果，并且，还通过 小波变换处理执行该块的数据压缩处理，从而能够有效利用作为 CMOS固体摄像元件特征的读出摄像结果的高自由度，且能简化整 体结构，可靠地进行速率控制。
21并且，通过量化小波变换处理产生的系lt凄t据，并通过与该量 化相关的量化位阶的控制，乂人而控制凌t据压缩率，因此，能够简单 且可靠地进行速率控制。
(5 )实施侈'J 3
在本实施例中，代替上述实施例2描述的摄像装置中的基于行 的小波变换处理，通过基于区块的小波变换处理进行数据压缩。由 此，在本实施例涉及的摄像装置中，除了与小波变换处理相关的结 构不同之外，其余均采用与实施例2涉及的摄像装置相同的构成。 因此，下面与实施例2 —样，沿用图5对本实施例进行说明，且在 下述的说明中，不再对与实施例1涉及的摄像装置1相同的构成进 行赘述。
即，在该摄像装置中，图像压缩部6通过小波变换部对图像数 据Dl执行了小波变换处理之后，通过量化电路、熵编码部对作为 结果获得的系数数据进行量化和熵编码，输出编码数据D2。如图 12所示，图像压缩部6的小波变换部将区块TO、 Tl、 T2……设置 为处理单位，其中，区块T0、 Tl、 T2……是将基于摄像结果的图 像在水平方向及垂直方向分别按照预定的划分数量进行划分而成， 小波变换部依次根据光栅扫描的顺序以区块TO、 Tl、 T2……为单 位输入图像数据Dl，进行小波变换处理。小波变换部通过二维滤 波电路执行这些小波变换处理。
在才聂4象元件3中，对应于该小波变换部的处理，4艮据驱动电路 的XY地址的控制在各区块单位中输出4i/像结果。并且，在各区块 内，以对应于与小波变换部的处理相关的二维滤波电路的处理的顺
序输出摄像结果。才艮据实施例3的结构，才菱<象单元和图4象压缩单元由形成于与才聂 ^象单元的受光面相反一侧的面上的布线层连4矣并一体^f匕，而且，才艮 据以预定的块为单位进行数据压缩而在各块中产生的码量，控制接
下来的块的凄t据压缩率，并对与该块对应的光电转换部的区依次"i殳 置输出摄像结果的期间以从摄像单元输出摄像结果，并且，还通过 基于区块的小波变换处理执行与该块相关的处理，从而能够有效利 用作为CMOS固体摄像元件特征的读出摄像结果的高自由度，且能 简化整体结构，可靠地进行速率控制。
(6)实施例4
在本实施例中，代替上述实施例2描述的摄像装置中的小波变 换处理，通过离散余弦变换处理对图像数据进行数据压缩。在本实 施例涉及的摄像装置中，除了与该数据压缩处理相关的结构不同之 外，其余均采用与实施例2涉及的摄像装置相同的构成。因此，在 下述的i兌明中，与实施例2同样，沿用图5对本实施例进4亍i兌明， 且不再对与实施例1涉及的摄像装置l相同的构成进行赘述。
即，在该摄像装置中，图像压缩部6按作为离散余弦变换处理 单位的宏块单位输入图像数据Dl，通过离散余弦变换处理部进行 了离散余弦变换处理之后，对作为结果获得的系数数据进行量化处 理和可变长度编码处理并l餘出。在本实施例中，如图13所示，将 该宏块设置为8x8像素的块。值得说明的是，图像压缩部6适当地 以差分数据的形式输入用于离散余弦变换处理的图像数据Dl，其 中，差分数据已通过运动预测进4亍了处理。
在才聂4象元件3中，对应于该离散余弦变换处理，通过驱动电路 的XY地址的控制按光栅扫描的顺序以宏块为单位输出摄像结果。 并且，在各宏块中，同时并行地输出构成宏块的8x8像素的摄像结果。根据实施例4的结构，摄像单元和图像压缩单元由形成于与摄
^象单元的受光面相反一侧的面上的布线层连4矣并一体化，而且，才艮 据以预定的块为单位进行数据压缩而在各块中产生的码量，控制接 下来的块的数据压缩率，并对与该块对应的光电转换部的区依次设 置输出摄像结果的期间以从摄像单元输出摄像结果，并且，还通过 离散余弦变换处理扭J亍与该块相关的处理，/人而能够有效利用作为
CMOS固体摄像元件特征的读出摄像结果的高自由度，且能简化整 体结构，可靠地进4于速率控制。
(7 )实施例5
图14是本发明实施例5涉及的摄像装置中采用的集成电路的 局部立体图。在本实施例中，由该集成电路构成上述实施例1-4 涉及的摄像装置。此外，在该集成电路71中，对于与上述实施例1 中描述的集成电路51相同的结构，采用相应的附图标记加以表示，
并省略其重复的i^明。
在此，该集成电路71的才l像元件3和外围电^各一体化地形成， 其中的外围电路与上述各实施例涉及的图像压缩部等相同地形成， 因此，在本实施例涉及的摄像装置中，将使整体结构简化。
该集成电路71是通过将摄像元件部层压在外围电路部上而形 成，外围电^各部是通过在半导体基^反72上4艮据预定的半导体工艺 形成用于构成外围电^各的半导体元件后，再在这些半导体元件的上 层形成连4妄这些半导体元件的布线层73而形成。外围电^各部在该 布线层63的表层形成用于与才聂像元件部连4妾的电极等。
与上述实施例1所描述的同样，4K象元件部是通过将^象素部配 置成矩阵状而形成，并由厚度为10 ~ 20 ((am)左右的石圭(Si)层形成元件层52。才聂Y象元件部在该元件层52上形成与〗象素单位的光电 转换处理相关的光电二极管。
在才聂4象元件部中，在该元件层52的上层依次层压二氧化石圭膜、 遮光膜、氮化硅膜、滤色器57、微透镜58形成摄像面，对此，在 元件层52的下面形成布线层59。在4聂^f象元件部的布线层59的下面 (下层一侧)i殳有外围电^各部，通过连接外围电路部的布线层73 和布线层59，从而使摄像元件和外围电路一体地被集成电路化。
由此，集成电路71在与受光面相反的一侧设置布线层59,从 而一举解决将布线层59设于受光面一侧时的各种问题，并显著提 高了布线的自由度。并且，通过像这样地经由形成于与受光面相反 侧的布线层59而与形成了外围电路的外围电路部一体化，从而能 够以不同的晶片工艺制作了 it像元件部和外围电^各部后再^f吏其一 体化，相应地，能够以其各自适合的晶片加工来制作摄像元件部和 外围电路部，因此，能够整体提高各种性能。
具体地，在形成了外围电路的外围电路部中，通过缩小各半导 体元件、及布线图案宽度而形成为高密度，乂人而能够-使芯片尺寸更 小型，并降低功耗。但是，如果在摄像元件部中缩小像素大小，那 么相应地，灵敏度便会下降，并且芯片面积也会随着像素数量而增 大。由此，若象本实施例这才羊地，以不同的晶片工艺制作摄一像元件 部和外围电3各部后再4吏其一体化，便能够才艮据其各自适合的晶片工 艺制作摄像元件部和外围电路部，因此，相应地，能够提高整体的 性能。
并且，由于象这样地经由形成于与受光面相反侧的布线层59 而与形成了外围电路的外围电路部一体化，所以该集成电路71与 实施例1中描述的同样，在从布线层59侧处理厚度较薄的半导体 基板并形成光电二极管后，再在该半导体基板上形成布线层59,并层压以另外的工艺制作的外围电路部。然后，将该半导体基板翻转，
通过CMP进行研磨，完成元件层52，最后，依次形成遮光膜、滤 色器57、微透镜58等，制成集成电路71。
在通过层压这种才艮据不同晶片工艺的半导体基板而形成的集 成电路71中，能够更简单地实现根据上述图8 (A) ~图8 (D) 中描述的各种形式的摄像结果的输出，由此，能够显著地提高摄像 元^f牛llT出的自由度。
进而，在本实施例中，通过这种连4妾，集成电3各71由多个系 统同时并行地将摄像结果输出到外围电路中，在外围电路中，与数 据压缩处理相关的图^f象压缩部6由三个系统的处理电^各C1 ~C3形 成，通过这三个系统的处理电路CI ~C3同时并行地处理多个系统
的图像数据。
在本实施例中，由于在it像元件部的布线层的下面形成外围电 路，因而以更高的自由度使摄像元件和外围电路一体地集成电路 化，由此，以更高的自由度输出摄像结果，从而能够有效利用作为 CMOS固体摄像元件特征的读出摄像结果的高自由度，且能简化整 体结构，可靠地进4于速率控制。
进而，由于通过与摄像单元不同的晶片生成工艺形成外围电 路，因此，能够以其各自适合的晶片工艺制作摄像元件部和外围电 路部，从而能够提高各种性能。
(8 )实施侈寸6
图15 (A)、 15 (B)是与图6对比地示出本发明实施例6涉及 的摄像装置中用于数据压缩处理的块的处理顺序的平面图。在本实 施例涉及的摄像装置中，除了与该块的处理相关的结构不同之外，其余均与上述实施例1 5相同地构成，由此，在下面的描述中， 沿用图5的结构进行说明。值得说明的是，在图15中，各块中的 数字表示各块的处理顺序。
在本实施例中，由未图示的系统控制器接收拍摄模式的设定。 根据该拍摄模式切换图像压缩部6中的块的处理顺序。因此，系统 控制器响应用户对拍摄模式的选择操作，切换驱动摄像元件3的驱 动电^各的动作，在才K象元件3中，4艮据该驱动电路的动作切换，改 变以块为单位的摄像结果的输出顺序。
具体而言，系统控制器在用户选择的拍摄模式下，切换从摄像 元件3输出的块的顺序以便从最重要的位置开始依次进行数据压缩。
即，例如，当用户选择的拍摄模式是人物拍摄模式时，与人物 有关的摄像结果是重要的，这时，由于人物多位于有效摄像区的中 央，并且，由于人物的背景、近景没有人物那么重要，所以如图15 (A)所示，从有效摄像区的中央的块开始输出摄像结果，并从该 中央的块向外侧的块依次切换要输出摄像结果的块。在本实施例 中，象描绘螺旋的轨迹这样从该中央的块向外侧的块切换要输出摄 像结果的块。
相反，例如，当用户选择的拍摄模式是风景模式时，由于几乎 整个有效摄像区都是重要的，因此，如图15 (B)所示，分散地设 置优先进行数据压缩的块，并且，控制摄像元件3的动作以使这些 块首先进行数据压缩，而接下来的其它块按预定顺序进行凄t据压 缩。在本实施例中，这些分散的块被设置在有效图像区的中央及周 边的多个位置。
27进而，为了对更重要的位置分配更多的码量，系统控制器控制 压缩率决定部9的动作，以使基于该优先进行数据压缩并被检测的 这些块的发生码量设定与各块的数据压缩相关的数据压缩率。具体
而言，系统控制器控制压缩率决定部9的动作，以便根据拍摄模式 切换优先处理的块和分配给其它块的码量。
由此，在本实施例中，改变块的处理顺序、码量的分配以1更优 先对待与用户i人为重要的区域相关的块，并且，以与实施例1~5 相同的构成执行速率控制的处理，并能够以相应高的图像质量有效 地利用作为CMOS固体摄像元件等特征的读出摄像结果的高自由 度，且能简化整体结构，可靠地进行速率控制。
此外，如图15 (B)所示，当分散地i殳置优先进行凄t据压缩的 块时，能够根据这些块的优先的数据压缩处理所产生的发生码量大 致地;险测画面全体中的发生码量的分布，进而能够检测整个画面的 数据压缩所产生的发生码量。由此，也可以基于优先的凌t据压缩处 理所产生的发生码量，预测发生码量的分布、画面全体的发生码量， 从而基于该预测结果设定各块的数据压缩率、进而i殳置整个画面的 数据压缩率，因此，能够有效利用作为CMOS固体掘J象元件等特征 的读出摄像结果的高自由度，且能更周密及更可靠地分配码量进行 速率控制。
(9 )实施侈寸7
图16是与图5对比示出本发明实施例7涉及的摄像装置的框 图。在该摄像装置81中，由速率控制部82根据码量计算部8检测 的发生码量控制各部分的动作。值得说明的是，本实施例涉及的摄 像装置81除了该速率控制部82对各部分的控制不同之外，其余均 与上面实施例1~6中描述的摄像装置相同地构成，因此，在下面的描述中，只对与速率控制部82有关的结构进4亍描述，省略其重 复的i兌明。
在本实施例中，当开始一帧的处理且由码量计算部8检测的发 生码量在一定的范围内时，速率控制部82与上述实施例1~6中描 述的同样，通过压缩率决定部9对数据压缩率的控制执行速率控制 的处理。对此，当发生石马量超出一定的范围时，通过压缩率决定部 9对数据压缩率的控制以及驱动摄像元件3的驱动电路83的控制， 改变从摄l象元件3输出的掘j象信号Sl的帧速率，由此来才丸4亍速率 控制的处理。
即，当发生码量大于该范围时，速率控制部82才艮据该发生码 量降低摄像信号Sl的帧速率，相反，当发生码量小于该范围时， 速率控制部82根据该发生码量增大摄像信号Sl的帧速率，且连同 控制数据压缩率，乂人而将编码数据D2的凄t据传输速度保持在一定值。
如果象本实施例这样地连同改变摄像结果的帧速率便能够更 可靠地进行速率控制。此外，对于像这样的与摄像元件3相关的速 率的可改变既可以根据用户的直接指示执行，也可以根据用户对拍 摄模式、动作模式的指示而执行，进而，也可以改变与该帧速率的 控制相关的一定范围。
(10)其〗也实施例
在上述实施例中，说明了通过辅助速率控制部11对编码数据 D2进行速率控制的情况，但本发明并不限定于此，当在实际运用 过程中能够充分地进行速率控制时，也可以省略与该辅助速率控制 部11有关的构成。
29并且，在上述实施例中，对将CMOS固体摄像元件运用于摄像 单元的情况进行了说明，但本发明并不限定于此，也可以广泛地采 用基于XY地址控制的各种4l像元件。
产业上的可利用性
本发明可运用到记录活动图像的摄像结果的摄像机、数码照相
机、监视装置等之中。1、 81摄像装置
3 摄像元件
5 颜色修正滤波器
7 模拟数字转换电路
9 压缩率决定部
11 辅助速率控制部
52 元件层
54 二氧化硅层
56 氮化硅层
58 微透镜
60基板支撑材料
61A、 61AA、 61AB、 61AC、 62A、
61B、 61BA、 61BB、 61BC、 62B、
64、 64A、 64B、 64C 行緩沖器
72半导体基板
83 驱动电^各
说明书第28/28页
2 透镜
4 光学低通滤波器
6 图像压缩部
8 码量计算部
10 编码流存储部
51、 71 集成电路
53 光电二极管
55 遮光膜 57滤色器
59、 73 布线层
63A低通滤波器 63B 高通滤波器
82 速率控制部 C1至C3 处理电路。
权利要求
1. 一种图像处理装置，包括接收单元，用于按压缩处理的顺序接收图像数据；压缩单元，用于以将有效图像区在水平方向和垂直方向上分割所形成的块为单位来对所述接收单元接收到的图像数据进行压缩处理并生成压缩数据；以及控制单元，用于将从所述接收单元接收到的图像数据作为对象，根据在对帧内第1个块进行压缩处理而产生的码量，在对帧内的第2个块进行数据压缩处理时控制数据压缩率。
2. 根据权利要求1所述的图像处理装置，其中还包括摄像单元，用于对被摄物体摄像，并生成根据摄像结果 的图像数据，以压缩处理的顺序改变生成的图像数据的排列， 并将其输出。
3. 根据权利要求1所述的图像处理装置，其中还包括^t据一交正单元，用于蓄积一帧的所述压缩单元生成的压 缩凄t据并4交正所述压缩数据的数据量。
4. 根据权利要求1所述的图像处理装置，其中，所述压缩单元采用基于行的小波变换处理对所述图像数 据进行压缩处理。
5. 根据权利要求1所述的图像处理装置，其中，所述压缩单元采用离散余弦变换处理对所述图像lt据进 ff压缩处理。
6. —种图l象处理方法，包4舌接收步骤，按压缩处理的顺序接收图像数据；压缩步备聚，以一寻有效图^f象区在7jc平方向和垂直方向上分 割所形成的块为单位来对在所述接收步骤中接收到的图像数 据进4于压缩处理并生成压缩凄t据；以及控制步骤，将在所述接收步骤中接收到的图像数据作为 对象，根据在对帧内第1个块进行压缩处理而产生的码量，在 对帧内的第2个块进行数据压缩处理时控制数据压缩率。
全文摘要
本发明涉及一种图像处理装置及方法，可应用到例如记录活动图像的摄像结果的摄像机、电子静像照相机、监视装置等上。该图像处理装置包括接收单元，用于按压缩处理的顺序接收图像数据；压缩单元，用于以将有效图像区在水平方向和垂直方向上分割所形成的块为单位来对所述接收单元接收到的图像数据进行压缩处理并生成压缩数据；以及控制单元，用于将从所述接收单元接收到的图像数据作为对象，根据在对帧内第1个块进行压缩处理而产生的码量，在对帧内的第2个块进行数据压缩处理时控制数据压缩率。
文档编号H04N5/369GK101459777SQ20081018738
公开日2009年6月17日 申请日期2005年6月22日 优先权日2004年7月13日
发明者福原隆浩 申请人:索尼株式会社