专利名称：图象处理装置、静止图象摄像装置及图象处理方法
技术领域：
本发明涉及对多种彩色分量混合输出的规定的象素数的输出信号进行编码压缩，并存入存储器中的图象处理装置、静止图象摄像装置及图象处理方法。
背景技术：
迄今，使用一种静止图象摄像装置，它在单片或单管式摄像装置上设有红色(以下简称R)、绿色(以下简称G)、蓝色(以下简称B)的3色滤色器，能获得3色彩色图象信号。在这种静止图象摄像装置中，为了获得各象素的3色彩色图象信号，利用相邻象素的信号进行象素内插处理。进行象素内插处理时，将数据作为数字信号进行处理的方法容易处理，但如果将图象信号直接数字化，会增加信息量，所以利用视频信号的冗余性进行信号压缩，谋求节省记录图象信号的编码存储器的存储器容量和信号传递时间。进行象素内插处理时，对特性不同的3色彩色图象信号进行每种颜色统一处理的方法是有效的，在信号压缩时也是对每种颜色设有编码电路，即利用3个系统的编码电路进行信号压缩。
可是，在这种静止图象摄像装置的情况下，为了压缩信号，必须进行复杂的运算处理，存在运算时间长、消耗电力大的问题，为了解决这样的问题，在特开平4-170886号公报中示出的静止图象摄像装置中，所采用的方法是将彩色图象信号按每种颜色统一取出后，用一个系统的编码电路进行信号压缩的方法。
图18是表示该特开平4-170886号公报中公开的静止图象摄像装置的彩色图象信号的取出方法的示意图，图中，20是表面上备有3色带状滤色器的摄像元件，21a是只取出摄像元件20的输出信号中的R分量的元件，21b是只取出摄像元件20的输出信号中的G分量的元件，21c是只取出摄像元件20的输出信号中的B分量的元件。
如图18所示，该现有的静止图象摄像装置按照R、G、B各彩色分量取出摄像元件20的输出信号，分别变换成数字信号后，用一个系统的编码电路对各彩色分量按顺序进行信号压缩，并按各颜色另外记录在软盘、IC卡等编码存储器中。
由于现有的静止图象摄像装置如上述那样构成，所以必须按每种颜色直接从摄像元件读取图象信号，存在必须准备读出每种颜色专用的摄像元件及为此专用的硬件的课题。
另外，虽然编码电路使用一个系统就够了，能够简化，但必须将一帧部分的全部彩色信号分量存入编码存储器中，存在要求大容量存储器的课题。
另外，在使用图象处理装置构成静止图象摄像装置的情况下，由于编码存储器中能保存的数据容量受到限制，所以不能连续地处理大量的数据，存在不能高速连续拍摄的问题。
另外，同样在使用图象处理装置构成静止图象摄像装置的情况下，由于能使应用CCD(电荷耦合器件)等的摄像装置的一个象素的面积缩小的程度也是有限的，所以存在不能获得高精细的再生图象的课题。
另外，在使用图象处理装置构成静止图象摄像装置的情况下，由于图象信号的编码、译码时要花费规定的时间，所以存在显示摄像画面时无论如何也得花费某种程度的时间的课题。
本发明就是为了解决上述的课题而完成的，其目的在于提供一种即使不使用特殊的摄像元件，用通常的摄像元件也能按每种颜色读出彩色图象信号的静止图象摄像装置。
另外，本发明的目的在于获得一种用一个系统的编码电路且用小容量的编码存储器就能实现的图象处理装置及图象处理方法。
另外，本发明的目的在于获得一种能高速连续拍摄的静止图象摄像装置。
另外，本发明的目的在于获得一种能获得高精细的再生图象的静止图象摄像装置。
另外，本发明的目的在于获得一种能高速显示摄像画面的静止图象摄像装置。
发明的公开本发明的图象处理装置备有将多种彩色分量混合的规定的象素数的图象信号重新排列成由同一种颜色的图象信号分量构成的单元块的集合的象素重新排列器；对由该象素重新排列器重新排列的图象信号按每个单元块进行固定长度编码的固定长度编码器；以及存储由该固定长度编码器进行了固定长度编码的图象信号的编码存储器。
因此，能够只用统一的小容量的行缓冲存储器，将块内的多种彩色分量混合的图象信号，按存在于接近位置的每种单一的彩色分量重新排列在单元块中，另外能够只用每种颜色的彩色图象信号数据进行编码，还具有能用单元块一个系统的编码电路且用小容量的编码存储器就能实现的效果。另外，不用特别增大编码存储器的容量，就能将大容量的图象数据存入编码存储器中，因此具有能高速连续拍摄的效果。
本发明的图象处理装置由固定长度编码器对每种彩色分量用不同的压缩率进行固定长度编码。
因此，能进行与彩色分量的特性对应的有效的编码，具有更能降低编码存储器的容量的效果。
本发明的图象处理装置在编码存储器的前一级备有选择并输出经过固定长度编码后的图象信号和未进行固定长度编码的图象信号的选择器。
因此，具有在进行和不进行高速连续拍摄时能变换显示装置上的显示模式的效果。
本发明的图象处理装置在单元块作为由m行n列(m、n是自然数)构成的象素块而被构成时，象素重新排列器有行数为2m的两个行缓冲存储器。
因此，具有行缓冲器的容量即使小也没有关系的效果。
本发明的图象处理装置的m为4。
因此，具有行缓冲器的容量即使小也没有关系的效果。
本发明的图象处理装置的m为2a(a是自然数)，象素重新排列器重新排列图象信号，以便单元块由a行2n列构成。
因此，具有行缓冲器的容量即使更小也没有关系的效果。
本发明的图象处理装置的m为2a(a是自然数)，象素重新排列器重新排列红色图象信号及蓝色图象信号，以便单元块由a行2n列构成，重新排列绿色图象信号，以便单元块由2a行n列构成。
因此，具有不会导致显示图象的恶化，而能使缓冲器的容量更小的效果。
本发明的图象处理装置还备有将编码存储器中存储的图象信号读出后进行固定长度译码的固定长度译码器；将由该固定长度译码器译码后的图象信号按照重新排列器的反顺序重新排列，复原成原顺序的图象信号的象素反向重新排列器；以及对由该象素反向重新排列器复原成原顺序的图象信号进行信号处理的信号处理器。
因此，具有能再生显示经过固定长度编码后的图象信号的效果。
本发明的图象处理装置还备有存储由信号处理器进行过信号处理的图象信号的帧存储器。
因此，能用软件实现固定长度译码、象素反向重新排列、信号处理、可变长度编码的各种处理，因此，从通用性、灵活性、成本等方面来看，具有比用硬件处理有利的效果。
本发明的图象处理装置还备有显示由信号处理器进行过信号处理的图象信号的显示器。
因此，具有能在显示器上立刻看到再生图象的效果。
本发明的图象处理装置的信号处理器只读出编码存储器中存储的经过固定长度编码后的图象信号的一部分，不进行译码就显示在显示器上。
因此，能以极高的速度进行图象显示，另外具有能进行多画面显示的效果。
本发明的静止图象摄像装置备有具有多种颜色的滤色器、用来拍摄被拍摄物、输出多种彩色分量混合的图象信号的单片或单管式摄像器；将从该摄像器输出的规定的象素数的图象信号重新排列成由同一种颜色的图象信号分量构成的单元块的集合的象素重新排列器；对由该象素重新排列器重新排列的图象信号按每个上述单元块进行固定长度编码的固定长度编码器；以及存储由该固定长度编码器进行了固定长度编码的图象信号的编码存储器。
因此，作为摄像装置不需要使用采用特殊的读出方法构成的摄像装置，另外能只用块内的每种颜色的彩色图象信号数据进行编码，还具有能用一个系统的编码电路且用小容量的编码存储器就能实现的效果。另外，不用特别增大编码存储器的容量，就能将大容量的图象数据存入编码存储器中，因此具有能高速连续拍摄的效果。另外，由于连续拍摄时使连续摄像前后的图象错开1/c象素，能获得与使摄像装置的分辨率增大c倍相同的效果，具有能获得高精细的图象的效果。
本发明的静止图象摄像装置还备有将编码存储器中存储的图象信号读出后进行固定长度译码的固定长度译码器；将由该固定长度译码器译码后的图象信号按照重新排列器的反顺序重新排列，复原成原顺序的图象信号的象素反向重新排列器；以及对由该象素反向重新排列器复原成原顺序的图象信号进行信号处理的信号处理器。
因此，具有能再生显示经过固定长度编码后的图象信号的效果。
本发明的静止图象摄像装置还备有存储由信号处理器进行过信号处理的图象信号的帧存储器。
因此，能用软件实现固定长度译码、象素反向重新排列、信号处理、可变长度编码的各种处理，因此，从通用性、灵活性、成本等方面来看，具有比用硬件处理有利的效果。
本发明的图象处理方法包括将多种彩色分量混合的规定的象素数的图象信号重新排列成由同一种颜色的图象信号分量构成的单元块的集合的象素重新排列步骤；以及对由该象素重新排列步骤重新排列的图象信号按每个上述单元块进行固定长度编码的固定长度编码步骤。
因此，能只用块内的每种颜色的彩色图象信号数据进行编码，还具有能用一个系统的编码电路且用小容量的编码存储器就能实现的效果。另外，不用特别增大编码存储器的容量，就能将大容量的图象数据存入编码存储器中，因此具有能高速连续拍摄的效果。
本发明的图象处理方法还包括对由固定长度编码步骤进行了固定长度编码后的图象信号进行固定长度译码的固定长度译码步骤；以及将由该固定长度译码步骤译码后的图象信号按照重新排列步骤的反顺序重新排列，复原成原顺序的输出信号的信号处理步骤。
因此，具有能再生显示经过固定长度编码后的图象信号的效果。
附图的简单说明图1是表示本发明的实施形态1的静止图象摄像装置的结构图。
图2是表示本发明的实施形态1的在摄像元件的摄像光入射面的正面上涂敷形成的滤色器的彩色排列图。
图3是表示本发明的实施形态1的象素重新排列电路的内部结构的结构图。
图4是表示本发明的实施形态1的象素重新排列电路进行重新排列的块的状态图。
图5是表示由本发明的实施形态1的象素重新排列电路进行了重新排列的结果的图。
图6是表示本发明的实施形态1的由固定长度编码电路对由象素重新排列电路进行了重新排列的单元块内的彩色图象信号进行编码时的地址的图。
图7是表示由本发明的实施形态1的象素重新排列电路使各象素的图象信号的强度层次化的量化电平的图。
图8是表示本发明的实施形态1的编码顺序的流程图。
图9是表示本发明的实施形态1的编码顺序的流程图。
图10是表示由本发明的实施形态1的固定长度编码电路编码后的每单元块的图象数据被存入编码存储器中的样式的图。
图11是表示一个视场中的全部图象在图9所示的块单元中的存储状态的图。
图12是表示将由本发明的实施形态1的固定长度编码电路编码后的数据存入编码存储器中所需要的存储器容量的图。
图13是表示将一帧部分的图象信号存入本发明的实施形态1的与VGA规格对应的编码存储器中所需要的存储器容量的图。
图14是表示本发明的实施形态1的固定长度译码电路的工作的流程图。
图15是表示本发明的实施形态2的静止图象摄像装置的重新排列电路的行缓冲器中的彩色图象数据的重新排列结果的图。
图16是表示本发明的实施形态3的静止图象摄像装置的重新排列电路的行缓冲器中的彩色图象数据的重新排列结果的图。
图17是表示本发明的实施形态4的静止图象摄像装置的结构图。
图18是表示现有的静止图象摄像装置的色信号的取出方法的图。
实施发明用的最佳形态以下，为了更详细地说明本发明，根据
实施本发明用的最佳形态。
实施形态1．图1是表示本发明的实施形态1的静止图象摄像装置的结构图。图中，1是备有多种颜色的滤色器、按点顺序输出象素信号的CCD等单片式摄像元件(摄像装置)，2是进行摄像元件1的输出信号的放大、滤色等的模拟信号处理电路，3是将从模拟信号处理电路2输出的模拟信号变换成数字信号的A/D变换器，4是重新排列从A/D变换器3输出的具有R、G、B各彩色分量的象素的输出信号、将其作为对每种彩色分量编码的单元块统一输出的象素重新排列电路(象素重新排列器)，5是对由象素重新排列电路4重新排列的每个彩色信号块进行FBTC(Fixed Block Truncation Coding固定块截断编码)方式的固定长度编码的固定长度编码电路(固定长度编码器)，6是保存从固定长度编码电路5输出的已编码数据的编码存储器。
另外，7是从编码存储器6读出已编码数据并进行固定长度译码的固定长度译码电路(固定长度译码器)，8是对固定长度译码电路7译码后的数据进行与由象素重新排列电路4重新排列的数据相反的重新排列处理、按照与沿扫描线方向读出象素信号时相同的顺序重新排列的象素反向重新排列电路(象素反向重新排列器)，9是对由象素反向重新排列电路8将排列顺序复原后的图象数据进行象素内插、层次修正、γ-修正等的信号处理电路(信号处理器)，10是保存由信号处理电路9修正后的信号的帧存储器，11是读出帧存储器10中存储的数据后为了二次存储而按JPEG(Joint Photographic Experts Group联合摄影专家组)方式等可变长度编码方式进行编码的可变长度编码电路，12是将从帧存储器10读出的数据作为图象显示的CRT等显示装置(显示器)，13是软盘、硬盘、快速存储器等二次存储装置。模拟信号处理电路2、A/D变换器3、象素重新排列电路4、固定长度编码电路5、编码存储器6、固定长度译码电路7、象素反向重新排列电路8、信号处理电路9、帧存储器10构成图象处理装置14。
图2是表示本发明的实施形态1的在摄像元件1的摄像光入射面的正面上涂敷形成的滤色器的彩色排列图，G、R、B各彩色分量排列成镶嵌状，由纵横各两个象素的4个象素构成彩色排列图形的最小单元。另外，图3是表示象素重新排列电路4的内部结构的结构图。在图3中，41是能存储8行图象数据的行缓冲器A(行缓冲存储器)，42同样是能存储8行图象数据的行缓冲器B(行缓冲存储器)，行缓冲器A41及B42构成反转(toggle)行缓冲器。43是控制行缓冲器A41及B42的写入读出工作的行缓冲控制器。
其次说明工作情况。
首先，摄像元件1拍摄被拍摄体的图象，对每个象素沿扫描线方向按点顺序输出与图2所示的由滤色器滤色过的入射光对应的图象信号。该彩色图象信号被模拟信号处理电路2放大，另外为了除去噪声分量而进行滤色。其次，用A/D变换器3将其变换成数字信号，输入象素重新排列电路4。
在象素重新排列电路4中，在由行缓冲器A41、B42之一沿扫描线方向依次写入并传送一条扫描线的图象数据期间，从另一行缓冲器读出后一边改变地址一边读出图象数据，进行象素重新排列。图4是表示进行该重新排列的块的状态的图，如图4(1)所示，摄像元件1的画面将纵横各8个象素作为一个块处理，其纵向的8个象素的图象信号作为统一的图象信号被输入行缓冲器A41、B42。
图5是表示由重新排列电路4进行了重新排列的结果的图。重新排列后的图象信号的G分量被集中排列在块的左上方的地址和右下方的地址处，B分量被集中排列在左下方的地址，R分量被集中排列在右上方的地址处。
图6是表示由固定长度编码电路5对由象素重新排列电路4进行了重新排列的单元块内的彩色图象信号进行编码时的地址的图。即，图6表示将后文所述的量化电平加在纵横各4个象素的同一彩色的图象信号的块即单元块中纵向m行横向n列(m、n是0＜m,n≤4的自然数)的地址处的图象信号上。
图7表示由象素重新排列电路4使各象素的图象信号的强度层次化(量化)的量化电平。在图7中，Lmin是图6所示的4个象素的图象信号强度中的最小值，Lmax是相同的4个象素的图象信号强度中的最大值，P1是将最大值Lmax和最小值Lmin之间8等分后从下算起的八分之一的值，P2是从上算起的八分之一的值，Q1是Lmin以上P1以下的信号强度的象素的平均值，Q8是Lmax以下比P2大的信号强度的象素的平均值。
另外，LD是单元块内的层次幅度指标，等于Q8-Q1。L1～L7是从小的一方开始排列将层次幅度指标LD八等分后的值。LA等于单元块内的图象数据平均电平即(Q1+Q8)/2。φijk表示每个象素的量化电平。
图8、图9是表示本发明的实施形态1的编码顺序的流程图。以下，参照该流程图，说明编码顺序。
首先，固定长度编码电路5读入如图5(2)所示的由象素重新排列电路4重新排列的单元块内的图象数据(步骤ST1)。其次，计算读入的4×4个象素的图象数据的信号强度，按照以下各式依次求出P1、P2、Q1、Q8、LA、LD、L1～L7的值(步骤ST2～步骤ST13)。
P1=(Lmax+τLmin)/8P2=(τLmax+Lmin)/8Q1=Ave(Xmn≤P1)Q8=Ave(Xmn＞P2)LA=(Q1+Q8)/2LD=Q8-Q1L1=LA-3LD/8L2=LA-LD/4L3=LA-LD/8L5=LA+LD/8L6=LA+LD/4L7=LA+3LD/8另外，Q1的表达式意味着求出Lmin以上P1以下的信号强度的象素的平均值，Q8的表达式意味着求出Lmax以下比P2大的信号强度的象素的平均值。
这样按顺序求出P1、P2、Q1、Q8、LA、LD、L1～L7的值后，固定长度编码电路5在n=1、m=1时(步骤ST14、15)判断这时的地址(m、n)处的象素的信号强度(以下称象素值)Xmn(即象素值X11)是否在L1以下(步骤ST16)。
在象素值X11为L1以下的情况下，将该象素的量化电平φijk设定为二进制的000(步骤ST17)。其次，使m增加1(步骤ST31)，判断m是否为4以下(步骤ST32)。在m为4以下的情况下，将该象素的象素值再次与L1比较(步骤ST16)。
在m比4大的情况下，使n增加1(步骤ST33)，判断增量后的n是否为4以下(步骤ST34)。在n为4以下的情况下，将该象素的象素值再次与L1比较(步骤ST16)。
在象素值Xmn比L1大的情况下，判断是否在L2以下(步骤ST18)，在象素值Xmn在L2以下的情况下，将该象素的量化电平Φijk设定为二进制的001(步骤ST19)。其次，使m增加1(步骤ST31)，判断m是否为4以下(步骤ST32)。在m为4以下的情况下，将该象素的象素值再次与L1比较(步骤ST16)。在m比4大的情况下，使n增加1(步骤ST33)，判断增量后的n是否为4以下(步骤ST34)。在n为4以下的情况下，将该象素的象素值再次与L1比较(步骤ST16)。
以下，同样判断在L1～L2之间、L2～L3之间、L3～LA之间、LA～L5之间、L5～L6之间、L6～L7之间是否有某象素值(步骤ST16、ST18、ST20、ST22、ST24、ST26、ST28)，与该值对应，将各量化电平φijk=000、001、010、011、100、101、110、111分配给该象素(步骤ST17、ST19、ST21、ST23、ST25、ST27、ST29)。
这样处理后，将量化电平分配给同一单元块内的全部象素，编码结束。单元块的编码数据是LA、LD、每个象素的φijk。
对全部画面反复进行与单元块数相当的次数的这些处理。
图10是表示由固定长度编码电路5编码后的每单元块的图象数据被存入编码存储器6中的样式的图。如图10(1)所示的由象素重新排列电路4重新排列的一个块的图象数据如图10(2)所示按色单元区分编码数据(将e附加在各图象信号的编号后表示。例如，图象信号G1的编码数据用Gle表示)，并存储起来。图11是表示一个视场中的全部图象在该块单元中的存储状态的图。
图12是表示将由固定长度编码电路5编码后的数据存入编码存储器中所需要的存储器容量的图。
如图12(1)中的左栏及图12(2)中的上一排所示，用8位表示一个象素的图象数据时，在编码数据中，平均值电平LA为8位(一个字节)，层次幅度指标LD为8位(一个字节)，量化电平φijk为3位×16象素(一个单元块内的象素数)即48位(6个字节)，每个单元块合计64位(8个字节)就够了。与此不同，在存储未编码的原图象数据的情况下，需要8×16=128位(16个字节)的存储器容量，数据压缩率变为1/2。
在对图象信号进行信号处理时，来自A/D变换器3的输出信号中的一个象素的图象数据为10位时，如图12(1)中的中央栏及图12(2)中的中排所示，对于平均值电平LA及层次幅度指标LD分别准备了各两个字节的存储器容量，在进行位填充的情况下，为了存储编码后的一个单元块的图象数据，需要10字节的存储器容量。这时，未编码的原图象存储时所需要的存储器容量为2字节×12象素=32字节的容量，数据压缩率变为10/32(另外，对未编码的原图象进行位填充时的数据压缩率为10/(10×16/8)=10/20)。
另外，如图12(1)中的右栏及图12(2)中的下排所示，对于平均值电平LA和层次幅度指标LD准备了3字节的存储器容量，在该3字节的容量中对平均值电平LA的数据和层次幅度指标LD的数据进行位填充后存储起来的情况下，存储一个单元块的编码后的数据所需要的存储器容量为9字节。这时，未编码的原图象存储时所需要的存储器容量为10字节×16象素/8=20字节，数据压缩率变为9/20(另外，对未编码的原图象进行位填充时的数据压缩率为9/32)。
图13是表示将一帧部分的图象信号存入与VGA(VariableGraphics Array可变图形阵列)规格对应的编码存储器6中所需要的存储器容量的图。
这时在一帧中有640×480/(4×4)=19200个单元块，所以在用8位表示一个象素的图象数据时，平均值电平LA所需要的存储器容量为8位×19200=153600位(19200个字节)，层次幅度指标LD所需要的存储器容量为8位×19200=153600位(19200个字节)，量化电平φijk所需要的存储器容量为48位×19200=921600位(115200个字节)，存储编码数据所需要的存储器容量合计为1228800位(153600个字节)。与此不同，存储一帧部分的不进行编码的原图象数据所需要的存储器容量为128位×19200=2457600位(307200个字节)。
在用10位表示一个象素的图象数据而不进行位填充的情况下，存储平均值电平LA所需要的存储器容量为2字节×19200=38400字节，存储层次幅度指标LD所需要的存储器容量为2字节×19200=38400字节，存储量化电平φijk所需要的存储器容量为6字节×19200=115200字节，存储编码数据所需要的存储器容量合计为192000字节。与此不同，存储一帧部分的不进行编码的原图象数据所需要的存储器容量为32字节×19200=614400字节。
在用10位表示一个象素的图象数据且进行位填充的情况下，存储平均值电平LA和层次幅度指标LD所需要的存储器容量为3字节×19200=57600字节，存储量化电平φijk所需要的存储器容量为6字节×19200=115200字节，存储编码数据所需要的存储器容量合计为172800字节。与此不同，存储一帧部分的不进行编码的原图象数据所需要的存储器容量为20字节×19200=384000字节。
经过这样处理后在图象处理装置14中，按颜色的种类重新排列彩色图象信号，用一个系统的编码电路进行编码，使编码存储器6中存储的图象数据再生显示时，首先必须用固定长度译码电路7读出图象数据后进行译码。
图14是表示固定长度译码电路7的工作的流程图。以下，参照该流程图，说明固定长度译码电路7的固定长度译码工作。
固定长度译码工作开始后，固定长度译码电路7首先将纵向坐标值n设定为1(步骤ST40)，其次将横向坐标值m设定为1(步骤ST41)。即，通过步骤ST40及步骤ST41中的工作，指定某单元块中的坐标值(1,1)的地址。
其次，固定长度译码电路7判断所指定的地址的量化电平φijk是多少(步骤ST42、ST44、ST46、ST48、ST50、ST52、ST54)，按照判定的各量化电平φijk，并根据平均值电平和层次幅度指标LD，求出该象素的信号强度Ymn(如果坐标值是(1,1)的象素，则为Y11)(步骤ST43、ST45、ST47、ST49、ST51、ST53、ST55、ST56)。
在各步骤中根据平均值电平LA和层次幅度指标LD求信号强度Ymn时，按以下各计算式计算。
Ymn=LA-LD/2 (步骤ST43)Ymn=LA-5LD/14 (步骤ST45)Ymn=LA-3LD/14 (步骤ST47)Ymn=LA-LD/14(步骤ST49)Ymn=LA+LD/14(步骤ST51)Ymn=LA+3LD/14 (步骤ST53)Ymn=LA+5LD/14 (步骤ST55)Ymn=LA+LD/2 (步骤ST56)如果求得象素(1,1)的信号强度，则沿横向移动一个象素(步骤ST57、ST58)，按同一顺序对象素(2,1)的信号强度进行译码(步骤ST42～ST56)。
这样对单元块内的最上排的象素进行了信号强度的译码后(步骤ST58)，将纵向坐标值增加1(步骤ST59)，同样对下一排的象素进行信号强度的译码(步骤ST42～ST58)。
这样对单元块内的全部象素的信号强度译码后(步骤ST41～ST60)，将译码工作结束。
其次，在象素反向重新排列电路8中对由固定长度译码电路7译码后的数据进行与由象素重新排列电路4重新排列过的数据相反的重新排列处理，按照与沿扫描方向读出象素信号时相同的顺序重新排列。
由该象素反向重新排列电路8将排列顺序复原后的图象数据，再由信号处理电路9对其进行象素内插、层次修正、γ-修正等各种图象处理。
经过这样处理后，按照与原图象信号同样的扫描线方向的点顺序排列并进行了图象处理的图象信号被存入帧存储器10中。
存储器10中存储的图象信号被读出到显示器12上作为图象进行显示，另外，用可变长度编码电路11再次进行信号压缩后存入二次存储装置13中保存。
如上所述，如果采用该实施形态1，作为摄像元件1不需要使用采用特殊的读出方法制造的摄像元件，能使用按照通常的点顺序输出图象信号的摄像元件，另外，能只用块内的每种颜色的彩色图象信号数据进行编码，能不受周围的其它颜色的彩色图象信号数据的影响而进行编码。另外能获得用一个系统的编码电路且用小容量的编码存储器就能实现的效果。
另外，如果采用该实施形态1，则由于信号压缩后将图象数据存入编码存储器中，所以不用特别增加编码存储器的容量，就能将大容量的图象数据存入编码存储器中，因此能获得可以高速连续拍摄的效果。
另外，由于连续拍摄时使连续摄像前后的图象错开1/c(c是2以上的整数)象素，通过象素内插等方法增加象素数，能获得与将摄像元件1的分辨率增大c倍相同的效果，能获得可获取高精细的图象的效果。这时，由于连续拍摄的图象的帧的时间间隔短的方法不易受被拍摄体的移动等外界干扰的影响，所以具有该实施形态1的能发挥高速连续拍摄的性能的效果。
另外，在该实施形态1中，由固定长度译码电路7、象素反向重新排列电路8、信号处理电路9、可变长度编码电路11等各电路进行的处理是由硬件实现的，但由于这些处理不一定要求实时性，所以用软件进行处理也能实现。采用软件进行处理的方法在通用性、灵活性、成本等方面比用硬件处理有利。另外，在用硬件实现由固定长度译码电路7、象素反向重新排列电路8、信号处理电路9、可变长度编码电路11等各电路进行的处理的情况下，不一定要设置帧存储器10，能使编码存储器6起到帧存储器10的作用。即，通过使用固定长度编码方式，能获得能减少帧存储器10的效果。
另外，在该实施形态1中，将层次幅度指标LD分成8等分进行编码，但也可以对每种颜色改变量化电平φijk。例如，也可以使G的量化电平为3位的8级，而使R和B为2位的4级，也可以使G的量化电平为3位的8级，而使R和B为1位的2级。另外，也可以使G的量化电平为2位的4级，而使R和B为1位的2级，还可以使量化电平为4位以上。就是说，通过多取分辨率信息多的、图象质量恶化容易显眼的色信号的量化电平，而少取图象质量恶化不易显眼的色信号的量化电平，能将总体图象的图象质量恶化抑制在最小限度，能抑制总的编码量。
另外，纵横8象素的块内的如图4、5、10所示的单元块的配置方法只不过是一例，当然也可以采用其它配置方法。另外，关于固定长度编码方式这里也只示出了一例，即使阈值的计算方法或量化电平的计算方法不同，也能获得同样的效果。本发明的编码方式中重要的一点在于块内完成的编码方式、即码长是固定的。
另外，用平均值电平LA置换单元块内的全部象素的信号强度，只进行块单元的重新排列，例如，如果只用辉度信号显示图象，则所显示的图象的分辨率低于1/16，但不进行译码及块内的象素数据的重新排列也可以，可进行速度极高的图象显示。另外，如果将单元块作为信号强度为平均值电平LA即1象素的信号来处理，则能用显示装置11的显示画面的1/16的尺寸显示作为1帧图象拍摄的图象，因此能进行16画面的多画面显示。在这些显示中，彩色信息、分辨率信息等下降，但具有能用于将图象的大块内容分开显示的效果，特别是在用软件进行译码以下的处理的系统中，能获得可作为处理时间短的显示模式来使用的效果。
实施形态2图15是表示本发明的实施形态2的静止图象摄像装置的重新排列电路的行缓冲存储器中的彩色图象数据的重新排列结果的图。该实施形态2的其它部分与实施形态1相同，其说明从略。
在该实施形态2中，单元块由2×8个象素构成，每个行缓冲存储器有4行就够了，故能获得行缓冲存储器的容量小也可以的效果。只是固定长度编码/译码处理与单元块内的象素的参照位置(坐标计算)为4×4个象素的情况不同，其它方面都与实施形态1相同。
实施形态3图16是表示本发明的实施形态3的静止图象摄像装置的重新排列电路的行缓冲存储器中的彩色图象数据的重新排列结果的图。该实施形态3的其它部分与实施形态1相同，其说明从略。
在该实施形态3中，R信号和B信号的单元块由2×8个象素构成，图象质量恶化容易显眼的G信号的单元块用4×4构成。
如果采用该实施形态3，则与编码/译码两种单元块尺寸(4×4及2×8)对应，需要两个系统，但与实施形态2相同，每个行缓冲存储器有4行就够了，能获得能使用容量小的行缓冲存储器的效果，同时通过对图象质量恶化容易显眼的G信号进行4×4的单元块处理，能获得能得到图象质量恶化少的显示图象的效果。
实施形态4图17是表示本发明的实施形态4的静止图象摄像装置的结构图。图中与图1中的实施形态1的静止图象摄像装置的结构相同的部件标以相同的编号，其说明从略。
在图17中，15、16是从多个输入信号选择一个输入信号输出的选择器。
在该实施形态4中，设有选择输入信号输出的选择器15、16，能选择进行和不进行固定长度编码的情况。
在不进行固定长度编码的情况下，将一帧部分的图象信号存入编码存储器6中，是特别能适用于不要求高速摄影的方法。另外，在进行固定长度编码的情况下，例如在采用压缩率为10/20的编码方式的情况下，能将两帧部分的图象信号存入一帧部分的编码存储器6中，能获得可进行高速连续摄影的效果。另外，在读出进行过固定长度编码的图象数据并加以显示的情况下，用固定长度译码电路7对已读出的图象数据进行固定长度译码，用象素反向重新排列电路8进行象素反向重新排列。
另外，在该实施形态4中，在欲增加连续拍摄的数量的情况下，可以增加编码存储器6的容量，或者与编码存储器一起设置软盘或硬盘等其它存储器。通常的软盘或硬盘等存储器的存取速度比半导体存储器慢，难以直接存储来自高速输出的摄像元件1的输出信号，但通过对图象信号进行固定长度编码，能减少数据量，表观上的输送速度下降，所以容易存储。这时，至少优先进行许多图象的连续取入，用于二次图象处理或显示等是有效的。
如果采用该实施形态4，则能获得在进行或不进行高速连续拍摄的情况下能变换显示装置11上的显示模式的效果。
另外，在以上的实施形态中，作为进行编码的图象信号，以R、G、B图象信号系统为例进行了说明，但本发明即使对互补色图象信号系列或辉度图象信号系列等其它图象信号系列的图象处理，也能获得同样的效果。另外，说明了将图象处理装置应用于作为静象摄像机的静止图象摄像装置中的例子，但图象处理装置的适用范围不受此限，也可以是输出多种彩色分量混合的规定的象素数的输出信号的装置，例如也能适用于传真装置、复印装置、打印机等装置。
工业上利用的可能性如上所述，本发明的图象处理装置及静止图象摄像装置、以及图象处理方法适用于对具有多种彩色分量的图象信号进行编码、压缩后存入存储器的装置，在该装置中能使用通常的摄像元件和小容量的存储器，实现高速连续拍摄、高精细高速再生等。
权利要求
1．一种图象处理装置，其特征在于备有将多种彩色分量混合的规定的象素数的图象信号重新排列成由同一种颜色的图象信号分量构成的单元块的集合的象素重新排列器；对由该象素重新排列器重新排列的图象信号在上述每个单元块中进行固定长度编码的固定长度编码器；以及存储由该固定长度编码器进行了固定长度编码的图象信号的编码存储器。
2．根据权利要求1所述的图象处理装置，其特征在于固定长度编码器对每种彩色分量用不同的压缩率进行固定长度编码。
3．根据权利要求1所述的图象处理装置，其特征在于在编码存储器的前一级备有选择并输出经过固定长度编码后的图象信号和未进行固定长度编码的图象信号的选择器。
4．根据权利要求1所述的图象处理装置，其特征在于在单元块作为由m行n列(m、n是自然数)构成的象素块而构成时，象素重新排列器有行数为2m的两个行缓冲存储器。
5．根据权利要求4所述的图象处理装置，其特征在于m为4。
6．根据权利要求4所述的图象处理装置，其特征在于m为2a(a是自然数)，象素重新排列器重新排列图象信号，以使单元块由a行2n列构成。
7．根据权利要求4所述的图象处理装置，其特征在于m为2a(a是自然数)，象素重新排列器重新排列红色图象信号及蓝色图象信号，以使单元块由a行2n列构成，重新排列绿色图象信号，以使单元块由2a行n列构成。
8．根据权利要求1所述的图象处理装置，其特征在于还备有将编码存储器中存储的图象信号读出后进行固定长度译码的固定长度译码器；将由该固定长度译码器译码后的图象信号按照上述重新排列器的反顺序重新排列，复原成原顺序的图象信号的象素反向重新排列器；以及对由该象素反向重新排列器复原的原顺序的图象信号进行信号处理的信号处理器。
9．根据权利要求8所述的图象处理装置，其特征在于还备有存储由信号处理器进行过信号处理的图象信号的帧存储器。
10．根据权利要求8所述的图象处理装置，其特征在于还备有显示由信号处理器进行过信号处理的图象信号的显示器。
11．根据权利要求10所述的图象处理装置，其特征在于信号处理器只读出编码存储器中存储的经过固定长度编码后的图象信号的一部分，不进行译码就显示在显示器上。
12．一种静止图象摄像装置，其特征在于备有具有多种颜色的滤色器、用来拍摄被拍摄物、输出多种彩色分量混合的图象信号的单片或单管式摄像器；将从该摄像器输出的规定的象素数的图象信号重新排列成由同一种颜色的图象信号分量构成的单元块的集合的象素重新排列器；对由该象素重新排列器重新排列的图象信号在上述每个单元块中进行固定长度编码的固定长度编码器；以及存储由该固定长度编码器进行了固定长度编码的图象信号的编码存储器。
13．根据权利要求12所述的静止图象摄像装置，其特征在于还备有将编码存储器中存储的图象信号读出后进行固定长度译码的固定长度译码器；将由该固定长度译码器译码后的图象信号按照重新排列器的反顺序重新排列，复原成原顺序的图象信号的象素反向重新排列器；以及对由该象素反向重新排列器复原的原顺序的图象信号进行信号处理的信号处理器。
14．根据权利要求13所述的静止图象摄像装置，其特征在于还备有存储由信号处理器进行过信号处理的图象信号的帧存储器。
15．一种图象处理方法，其特征在于包括将多种彩色分量混合的规定的象素数的图象信号重新排列成由同一种颜色的图象信号分量构成的单元块的集合的象素重新排列步骤；以及对由该象素重新排列步骤重新排列的图象信号在上述每个单元块中进行固定长度编码的固定长度编码步骤。
16．根据权利要求15所述的图象处理方法，其特征在于还包括对由固定长度编码步骤进行了固定长度编码后的图象信号进行固定长度译码的固定长度译码步骤；以及将由该固定长度译码步骤译码后的图象信号按照重新排列步骤的反顺序重新排列，复原成原顺序的输出信号的信号处理步骤。
全文摘要
将多种彩色分量混合的规定的象素数的输出信号重新排列成由同一种颜色的输出信号分量构成的单元块的集合,对重新排列的图象信号在上述每个单元块中进行固定长度编码,将进行了固定长度编码的图象信号存入编码存储器中,读出存储的图象信号,在每个单元块中进行固定长度译码,对译码后的图象信号进行反向重新排列,恢复成原信号,存入帧存储器中。
文档编号H04N5/907GK1220806SQ98800338
公开日1999年6月23日 申请日期1998年3月20日 优先权日1997年3月21日
发明者的场成浩, 斋藤雅行 申请人:三菱电机株式会社