专利名称：像素处理装置的制作方法
技术领域：
本发明涉及一种将由固体摄像元件得到的像素数据记录到媒体中的图像处理器件。
背景技术：
近年来，在数字静止相机、带照相功能的手提电话等中，伴随着摄像元件的高像素化，就必须对高像素图像进行高速的图像处理。而且，也越来越需要它们具有与传统的银盐相机一样的连拍功能。若增加连拍张数并高速地进行处理，需要的就是与连拍张数成正比的大容量存储区域。
图6示出了现有的图像处理器件的一个结构。该图像处理器件，从进行逐行输出的CCD固体摄像元件202的输出信号得到JPEG(联合图像专家小组Joint Photographic Experts Group)压缩图像数据，并将数据记录到媒体213中。固体摄像元件202由从时刻产生器201输出的传送脉冲信号驱动，并将对应于摄制图像的像素电荷的像素电位信号输出。从固体摄像元件202输出的像素电位信号由相关二重取样电路203(correlateddual sampling circuit)减小了噪音，由模拟/数字(A/D)转换电路204量子化，之后被作为图像数据供到存储器控制器205内的写控制器206中。
如图7(a)所示，写控制器206从写入开始地址依次按顺序将图像数据写入存储器208中。是按以下顺序写入图像数据的，即和固体摄像元件202的像素布置一样，水平一行那么多的写入一结束，就在垂直方向上往下移一行，水平方向上返回到那一行的开头位置，而进行下一个水平一行那么多的写入。到一个画面的所有图像数据全部备份到存储器中为止一直进行这样的写处理。
如图7(b)所示，若一个画面那么多的所有图像数据写到存储器208中，存储器控制器205中的读控制器207就以亮度信号/色差信号(Y/C)处理块为单位读图像数据。所读的块单位的图像数据提供给亮度信号/色差信号处理部分209。亮度信号/色差信号处理部分209由块单位的图像数据生成亮度信号Y及色差信号Cr·Cb，并将它们送到JPEG处理部分210中。若在JPEG处理部分210的内部积累了JPEG处理块单位的亮度信号和色差信号，JPEG处理部分210就开始JPEG压缩编码处理并输出编码数据。所输出的编码数据通过写控制器206写到存储器208中。
若一个画面那么多的编码数据写到存储器208中，换句话说，JPEG压缩图像数据写到存储器208中，从存储器208读的JPEG压缩图像数据便在CPU212的指令下经由CPU总线记录到记录媒体213中。
图8为现有图像处理器件的另一个结构(参考专利文献1)。图8中的结构对图6中的结构进行了改进，实现了高速处理，而且实现了在较少的存储区域进行高像素图像的编码处理。换句话说，给存储器控制器205A设置了驱动停止控制器214，驱动停止控制器214根据对存储器208的像素数据的写入地址和块数据读地址的位置关系，或让时刻产生器201停止将传送脉冲传给固体摄像元件202，或控制Y/C处理部分209及JPEG处理部分210的停止/驱动。这样一来，因为连拍时，不用等前一个画面的编码处理结束就能进行下一个画面的写处理，所以可比现有处理更高速地对图像编码。而且，如图9(a)、图9(b)所示，若含有JPEG处理的最小单位块的行区域最少为两行，换句话说，最少为M×2行，就能实现一个画面那么多的JPEG处理。因此，就无需为生成一个画面那么多的编码数据而将一个画面那么多的所有图像数据全部备份到存储器208中，也就能减小存储器的容量了。
专利文献1 日本国公开专利公报特开2001-285776号公报在图8所示的现有例中，能够减小到将所摄制的图像数据转换到JPEG压缩图像所使用的存储器的容量。
然而，在图6及图8所示的任何一个方式中，都不能让JPEG压缩图像数据高速地记录到记录媒体203中以赶上连拍的速度。于是，在连拍的情况下，就需要与连拍张数成正比的JPEG压缩图像那么多的存储容量。一旦将JPEG压缩图像数据写入连拍张数那么大的存储器208中以后，就有必要将它写入到记录媒体208中。结果还是需要大容量的存储器。
发明内容
本发明的目的，在于在从固体摄像元件的输出得到压缩图像数据，并将它记录到媒体中的图像处理器件中，减小为实现连拍功能所必需的存储器的容量。
近年来，记录媒体不断地高速化。在本发明中，将进行逐行输出的摄像元件、高速图像处理方式、以及能进行高速记录的记录媒体组合起来。换句话说，在所必需的最小数量的存储器中积累从CCD、MOS传感器等固体摄像元件逐行输出的图像数据之后，再以块为单位读，以块为单位连续进行亮度信号/色差信号处理、压缩处理及媒体记录。
具体而言，本发明为一种图像处理器件，其包括进行逐行输出的固体摄像元件；将从所述固体摄像元件输出的像素信号转换为图像数据的信号转换部分；将从所述信号转换部分输出的图像数据写入存储器中，并以规定的块单位从所述存储器读出图像数据的存储器控制器；对由所述存储器控制器读出的所述规定块单位的图像数据进行亮度信号/色差信号处理的亮度信号/色差信号处理部分；以块单位对从所述亮度信号/色差信号处理部分输出的图像数据进行压缩编码的压缩处理部分；以及将从所述压缩处理部分输出的编码数据写入记录媒体中的记录部分。
根据本发明，已压缩编码的编码数据不存储到存储器中，是以块单位直接记录到记录媒体中。因此，既不需要现有技术所需要的大容量存储器，又能进行高速的连拍。一般情况是记录媒体的容量远远地大于存储器的容量。因为现有技术下由存储器容量限制的连拍张数的上限成为由记录媒体的容量限制了，所以可连拍的张数有了显著的增多。
所述固体摄像元件，可由MOS传感器构成且可以所述规定的块单位输出像素信号来代替逐行输出像素信号。于是，因固体摄像元件原本是进行逐行输出的，故无需块转换所需的存储器容量，而可能使存储器更加小容量化。
最好是，所构成的所述亮度信号/色差信号处理部分，除能进行亮度信号/色差信号处理外，还能进行变焦处理。这样一来，因为能够以块单位进行变焦处理，所以也不需要用以进行变焦处理的存储器容量了。
图1为显示本发明的一个实施例所涉及的图像处理器件的结构的方框图。
图2示出了由CCD构成的固体摄像元件的一个结构。
图3示出了由MOS构成的固体摄像元件的一个结构。
图4为显示图1中的存储器的写操作及读操作的图。
图5为显示Y/C读处理的最小单位块的图。
图6为显示现有例的结构的方框图。
图7为示出了在图6的结构下的存储器的访问操作的图。
图8为显示现有例的结构的方框图。
图9为示出了在图8的结构下的存储器的访问操作的图。
-符号说明-102-固体摄像元件；103-取样电路；104-A/D转换电路；105-存储器控制器；106-写控制器；107-读控制器；108-第一存储器(存储器)；109-Y/C处理部分；110-JPEG处理部分(压缩处理部分)；115-DMA处理部分(记录部分)。
具体实施例方式
下面，参考附图，说明本发明的实施例。
图1为示出了本发明的一个实施例所涉及的图像处理器件的结构的方框图。这里，对本发明所涉及的图像处理方式之一例加以说明。即在所必需的最小容量的存储器中积累从CCD、MOS传感器等固体摄像元件逐行输出的图像数据之后，再以块为单位读，以块为单位连续进行Y/C信号处理、变焦处理、以及媒体记录这样的方式。
图1中，101为时刻产生器；102为根据时刻产生器101的输出信号输出摄制图像的信号的固体摄像元件；103为取样电路；104为模拟/数字转换电路；105为存储器控制器；108为作为例如由SDRAM等构成的存储器的第一存储器；109为进行Y/C处理和根据需要进行变焦处理的Y/C处理部分；110为作为进行信号的压缩/扩展的压缩处理部分的JPEG处理部分；111为JPEG块读入控制部分；112为CPU；113为记录媒体；115为作为记录部分的DMA处理部分；116为间接寄存器访问处理部分；117为第二存储器。而且，存储器控制器105包括写控制器106、读控制器107、以及驱动停止控制器114。由取样电路103和A/D转换电路104构成信号转换部分。
说明在图1的图像处理器件中从图像的摄制到将图像数据记录到媒体中的工作情况。
固体摄像元件102由例如CCD、CMOS传感器构成，接收时刻产生器101的输出信号并输出所摄制的像素信号。
图2示出了CCD固体摄像元件的一个结构。垂直传送CCD(电荷耦合元件)22及水平传送CCD23由从时刻产生器101输出的垂直传送脉冲SP1及水平传送脉冲SP2连续驱动。图2中，从时刻产生器101一接收输出信号，像素电荷就从各个光电二极管21移动到垂直传送CCD22中，该像素电荷根据从时刻产生器101接收的垂直传送脉冲SP1被依次送到最后一行下的水平传送CCD23中。被送到水平传送CCD23的水平一行那么多的像素电荷，根据从时刻产生器101接收的水平传送脉冲SP2，依次被送到电荷检测电路24中。电荷检测电路24将像素电荷转换为电位信号，并将它作为输出信号SOUT输出。若水平一行那么多的像素电荷由水平传送CCD23全部送到电荷检测电路24中并被转换为电位信号，接下来，就将在与水平传送CCD23相邻的垂直传送CCD22中的像素电荷送到水平传送CCD23中。重复进行这样的操作以后，构成一个画面那么多的像素电荷就被转换为电位信号并被输出。
图3示出了MOS固体摄像元件的一个结构。在为图3的结构的情况下，一从时刻产生器101接收输出信号，水平移位寄存器32和垂直移位寄存器33就开始工作，由此依次选择对应于水平地址、垂直地址的各个光电二极管31，读出电位信号，而得到输出信号SOUT。
从固体摄像元件102输出的像素电位信号由相关二重取样电路103减小了噪音，又由A/D转换电路104量子化，而作为图像数据输出。该图像数据又被提供给存储器控制器105内的写控制器106。
如图4(a)所示，写控制器106将所供来的图像数据写到第一存储器108中。从存储器写开始地址开始写入图像数据，与固体摄像元件102的像素布置一样，水平一行那么多的写入一结束，就在垂直方向上往下移一行并在水平方向上返回到那一行的开头位置，而进行下一个水平一行的写入。是按照这样的顺序进行的。
图5为从概念的角度示出的Y/C处理的最小单位块。这里，假设是以(M×N)像素的块单位读出写入到第一存储器108中的像素数据(拜耳(Bayer)排列像素信号或者补色排列像素信号)。JPEG编码的最小单位为(8×8)像素的亮度信号和(8×8)像素的色差信号。生成该最小单位的信号所需要的块的尺寸(M×N)随在Y/C处理方式中所用的块空间过滤器(block spatial filter)的不同而不同。而且，在进行变焦处理的情况下，该尺寸(M×N)也随着变焦倍率的不同而不同。
在不考虑变焦处理的情况下，第一存储器108的容量，在YUV422输出时，只要为(M+8)×水平像素数那么多就足够了；在YUV420输出时，只要为(M+16)×水平像素数那么多就足够了。(M+8)或者(M+16)行这么多的写入一结束，就让第一存储器108上的地址回到开始地址，重复进行同样的写操作，而完成一个画面的写入。这时，(M+8)或者(M+16)行以前的数据被改写(rewrite)了，但因为已经对这些数据完成了块读出，所以不会出现不良现象。进一步说的话，在存储器的写入地址、读出地址上下功夫，而从块读出刚刚结束后的存储器地址开始写入。这样做以后，就能进一步减小存储器的容量(参考日本国专利申请号特愿2002-191478号)。
就这样，包括读出的最小单位块的M行那么多的图像数据一写到第一存储器108中，存储器控制器105中的读控制器107便不等一个画面那么多的图像数据的写入，以作为规定块单位的(M×N)像素的块单位读出图像数据以便进行Y/C处理，如图4(b)所示。Y/C处理部分209由从第一存储器108读出的(M×N)像素的数据生成亮度信号Y和色差信号Cr·Cb。还根据需要进行变焦处理。JPEG处理部分110的内部一积累JPEG处理块单位的亮度信号Y和色差信号Cr·Cb，JPEG处理部分110就开始编码处理并输出编码信号。
然而，JPEG处理部分110进行编码处理所需的时间随亮度信号和色差信号的内容的不同而不同。因此，JPEG块读入控制部分111便根据JPEG处理部分110的编码处理的负荷，产生让对存储器控制器105的读出处理停止的停止信号。若读控制器107接收停止信号，自第一存储器108的读处理就暂时停止。Y/C处理块的读出位置，是每逢那一块的编码处理结束时，便朝水平方向移动，若水平方向上没有了为处理对象的块，就在垂直方向上往下移一行并在水平方向上回到开头位置，移动到下一个对象块，继续进行读处理。该操作一直进行到一个画面那么多的图像数据处理结束为止。接着该块读入操作，由Y/C处理部分109及JPEG处理部分110以块为单位连续进行处理。
而且，存储器控制器105内的驱动停止控制器114，根据对第一存储器108的像素数据的写入地址和Y/C处理逐行读出地址的位置关系，或指示时刻产生器101去停止/驱动固体摄像元件102中的像素传送操作，或控制Y/C处理部分109及JPEG处理部分110停止/驱动。这样一来，即使在连拍时，也不用等前一个画面的编码处理结束就能进行下一个画面的写处理，所以能够高速地进行图像编码。
接着，以块单位JPEG压缩了的编码数据由DMA处理部分115写入记录媒体113中。在现有方式下，是将一个画面或者连拍张数那么多的编码数据写到存储器以后再向记录媒体写入的，而在该实施例中，在将JPEG压缩了的编码数据输出之后，马上以块为单位开始写入记录媒体113中。
首先，在开始写入编码数据之前，由间接寄存器访问处理部分116根据CPU112的指令将记录媒体113的目录登录信息(directory entryinformation)、FAT数据写到第二存储器117中。FAT数据为对一个文件按簇(cluter)的使用顺序来排列簇号而得到的。尚未使用的簇号为空区域。之后，CPU112从第二存储器117中读入FAT数据，进行计算记录媒体113的空区域的处理。
CPU112，利用间接寄存器访问处理部分116在编码数据的输出时刻进行写指令发行处理。这样一来，DMA处理部分115便以块单位将编码数据写入记录媒体113中。在该写入期，CPU112从第二存储器117读入下一个FAT数据，计算好记录媒体113的空区域，而做到不延迟将下一个块的编码数据写入记录媒体113中。重复这样的操作，以完成将编码数据写入记录媒体113中这一工作。
接着，生成缩略图(thumbnail)符号，由DMA处理部分115将缩略图符号写入记录媒体113中。然后，通过来自CPU112的间接寄存器地址或者DMA处理将目录登录信息写入记录媒体113中，并根据需要改变记录媒体113的FAT数据的排列顺序。
需提一下，当不能在写入图像数据之前写入JPEG头信息(headinformation)时，就在结束图像数据的写入之后，再进行JPEG头信息的写入，并从后面开始改写FAT数据而让JPEG头信息的地址位于图像数据之前。
说明是如何交换FAT数据的排列顺序的。因为在JPEG中，通常是按(a)头(目录登录、FAT)、(b)缩略图符号、(c)图像符号这样的顺序来排列数据的，所以按通常的写入顺序，使FAT为(a)→(b)→(c)这样的顺序，但在按(c)图像符号、(b)缩略图符号以及(a)头这样的顺序写入数据的情况下，数据写入的物理地址保持不变，使FAT为(c)→(b)→(a)这样的顺序即可。
在该实施例中，首先，以块单位优先进行一个画面那么多的图像编码数据的写入。接着，当处理上有了富裕的余地时，再从后面进行缩小焦距→生成缩略图符号→写入缩略图符号→写入头信息。在不改写FAT的现有方式下，连拍间隔受(a)+(b)+(c)的时间限制。针对于此，在该实施例中，只不过是受(c)的时间的限制而已。因此，能够向记录媒体113进行高速的连拍写入。
需提一下，在固体摄像元件102由MOS传感器构成的情况下，能够从一个画面得到任意的切出图像。因为若利用它从MOS固体摄像元件进行Y/C处理块单位的块读出，就不需要在第一存储器108中进行块转换了，所以能实现存储器的进一步小容量化。
-发明的效果-综上所述，根据本发明，因为被压缩编码的编码数据不存储到存储器中，所以编码数据被以块单位直接记录到记录媒体中。因此，既不需要现有技术所需要的大容量存储器，又能进行高速的连拍。而且，由于现有技术下由存储器容量限制的连拍张数的上限成为由记录媒体的容量限制了，所以可连拍的张数有了显著的增多。
在现有技术下，需要外装DRAM等作大容量存储器用，而在该发明中，因为由所必需的最小量的存储器来构成它，所以包括存储器可将LSI一芯片化。其效果为实现了低成本化、低耗电量化、省空间化。而且，通过发挥与内装存储器相比能够得到更宽的总线宽度这一特征而实现了高速化。这些效果在数字静止照相机、带照相功能的手机等系统中好处很大。
权利要求
1.一种图像处理器件，其特征在于包括进行逐行输出的固体摄像元件；将从所述固体摄像元件输出的像素信号转换为图像数据的信号转换部分；将从所述信号转换部分输出的图像数据写入存储器中，并以规定的块单位从所述存储器读出图像数据的存储器控制器；对由所述存储器控制器读出的所述规定块单位的图像数据进行亮度信号/色差信号处理的亮度信号/色差信号处理部分；以块单位对从所述亮度信号/色差信号处理部分输出的图像数据进行压缩编码的压缩处理部分；以及将从所述压缩处理部分输出的编码数据写入记录媒体中的记录部分。
2.根据权利要求1所述的图像处理器件，其中所述固体摄像元件，由MOS传感器构成且以所述规定的块单位输出像素信号来代替逐行输出像素信号。
3.根据权利要求1所述的图像处理器件，其中所构成的所述亮度信号/色差信号处理部分，除能进行亮度信号/色差信号处理外，还能进行变焦处理。
全文摘要
本发明公开了一种图像处理器件，其目的在于在从固体摄像元件的输出得到压缩图像数据并将它记录到媒体中的图像处理器件中，减小所需要的存储器的容量。从固体摄像元件102输出的像素信号由电路103、104转换为图像数据以后，再由写控制器106记录到存储器108中。读控制器107从存储器108以块单位读出图像数据；亮度信号/色差信号处理部分109对已读出的块单位的图像数据进行亮度信号/色差信号处理；JPEG处理部分110进行压缩编码。编码数据不记录到存储器108中，而是由DMA处理部分115写到记录媒体113中。
文档编号H04N5/91GK1574939SQ20041004768
公开日2005年2月2日 申请日期2004年5月26日 优先权日2003年6月12日
发明者津村敬一, 八山博记, 藤井俊哉 申请人:松下电器产业株式会社