图像处理装置和照相机的制作方法

专利名称：图像处理装置和照相机的制作方法
技术领域：
本发明涉及对图像传感器输出的信号进行处理并输出的图像处理装置。
背景技术：
作为图像传感器使用CCD(charge-coupled device)、CMOS(complementary metal oxide semiconductor)摄像器件等的数码静止照相机、带有数码照相机的便携式电话、数码摄像机等数字式照相机中，图像处理装置对从图像传感器读取的图像信号进行图像处理，并将其结果输出给显示装置。在此，从图像传感器读取图像、和向显示装置输出图像信号都是按一个画面中的每一行进行的。因此，图像处理装置内的各功能块通常是采用能以行单位存储数据的行存储器进行处理。
但是，随着图像传感器的像素数增加，1行的像素数增加，从而需要加大行存储器的容量。因此，有了采用可以存储一整个画面的数据的外部存储器，以块单位进行图像处理的图像处理装置(例如，参照日本国特开2000-354193号公报)。
图16是表示现有的照相机结构的例子的框图，是上述公报公开的照相机。图16中，从图像传感器以行单位读出的图像信号存储到外部存储器14。图像处理装置(信号处理电路)16以块单位读出外部存储器14中存储的图像信号并进行图像处理，再次存储到外部存储器14。显示器件从外部存储器14读取并显示已图像处理的图像信号。
近来的数码相机不仅要求实现摄影，还要求实现缩小、转动图像等各种扩展功能。另外，考虑记录媒体的容量，还要求具有多个画质模式。即，图像处理装置需要进行多个处理，根据处理内容，所需的存储器容量和存储器的使用方法不同。
图16的照相机由于以块单位进行图像处理，所以在进行任何处理时都需要访问4次外部存储器14。即，需要写入从图像传感器以行单位读出的图像信号，由图像处理装置以块单位读出，以块单位写入图像处理后的数据，以及在显示时读出已图像处理的图像信号。
一般，访问外部存储器与访问内部存储器相比，耗电大、处理时间长。因此，像这样在图像处理时必须访问外部存储器的系统，无论处理内容怎样，需要一定以上的耗电和处理时间。
另外，以块单位进行处理就需要多次读出重复属于多个块的像素数据。因此，与逐次读出各像素数据的情况相比，多次访问外部存储器，仍然具有耗电大和处理时间长的问题。
另外，图像处理装置可以搭载在数码静止相机、数码摄像机、以及带有数码相机的便携式电话等各种系统上，但是各系统要求的功能是不同的。例如，数码静止相机需要处理高像素的图像，当然还需要屏幕显示(以下，称为OSD)处理、转动等扩展功能。另一方面，带有数码相机的便携式电话处理的图像的像素数少、不需要缩小、转动等扩展功能的场合较多，此时不需要外部存储器。但是，上述公报公开的技术，与用于哪个系统无关，图像处理装置都需要外部存储器。
当然，可以按所用的各系统搭载不同的图像处理装置。但是，近年越来越重视降低图像处理装置的开发成本，希望多个系统可以采用1种图像处理装置。

发明内容
本发明的目的在于提供一种可以同时实现低耗电和多功能化的图像处理装置。另外，本发明的目的在于提供一种可以用于多个系统的、通用性高的图像处理装置。
为了解决上述问题，第1项发明是一种对图像传感器输出的图像信号进行图像处理并输出的图像处理装置，具有备有以行单位或列单位存储图像的行存储器的内部存储器、采用上述内部存储器进行上述图像处理的图像处理部、和控制上述图像处理部的CPU。上述图像处理部具有多个分别作为上述图像处理进行所定处理的处理电路，上述多个处理电路的至少一个可以根据需要使用设置在该图像处理装置的外部的外部存储器。
根据第1项发明，图像处理装置可以选择通过采用内部存储器而实现低耗电和提高处理速度，和通过采用外部存储器而实现需要大容量存储器的扩展功能。因此，在没有外部存储器的情况下，可以实现低耗电等并进行基本的图像处理，在具有外部存储器的情况下，可以实现多功能化。从而，可以将图像处理装置搭载在多个系统上，可以削减系统的开发成本。
另外，由于内部存储器是以行单位存储数据，所以在向显示装置传送数据之前不需要将数据暂且存储到外部存储器。因此，对于整个系统来说，可以实现低耗电和提高处理速度。
第2项发明是第1项记载的图像处理装置中，上述图像处理部在作为上述图像处理进行无需上述外部存储器的处理时，可以不用上述外部存储器并进行该处理。
根据第2项发明，由于只有在需要时访问外部存储器，所以可以实现低耗电和提高处理速度。
第3发明是第1项记载的图像处理装置中，上述CPU在上述图像处理部不使用上述外部存储器时，输出使上述外部存储器的耗电降低的控制信号。
根据第3发明，在进行访问外部存储器时，由于可以削减外部存储器的耗电，所以可以进一步实现低耗电。
第4发明是第1项记载的图像处理装置中，上述图像处理部作为上述多个处理电路具有将从上述图像传感器取得的图像信号变换为亮度信号和色差信号并输出的亮度色差信号处理电路，对与上述亮度色差信号处理电路的输出对应的图像进行压缩编码并将得到的结果作为上述图像处理装置的输出的压缩处理电路。
第5发明是第1项记载的图像处理装置中，上述图像处理部具有将从上述外部存储器读出的图像与从上述图像传感器取得的图像相叠加并输出的屏幕显示处理电路。
第6发明是第1项记载的图像处理装置中，上述多个处理电路中的一个是将处理后的图像以行和列中的一方为单位依次存储到外部存储器，上述多个处理电路中的另一个是将存储在上述外部存储器的图像以行和列中的、与存储时不同的另一方为单位依次读出。
根据第6项发明，可以转动图像。
第7发明是第1项记载的图像处理装置中，上述多个处理电路中的至少2个作为上述内部存储器采用相同的内部存储器进行处理。
根据第7发明，与为了多个处理的每一个而具有专用存储器的场合相比，可以削减内部存储器的容量。
第8发明是第1项记载的图像处理装置中，上述图像处理部将上述图像传感器输出的图像存储到上述外部存储器，以上述图像的行和列中的像素数少的一方为单位从上述外部存储器读出，并采用上述内部存储器进行上述图像处理，将取得的结果存储在从上述外部存储器读出之前存储与此对应的像素数据的区域，将取得的图像从上述外部存储器读出并输出。
根据第8发明，即使例如在图像为横向长，水平方向的像素数超过内部存储器可存储的1行的像素数时，也可以进行图像处理。
第9发明是第8项记载的图像处理装置中，上述图像处理部在上述图像的行和列中的像素数少的一方也超过上述内部存储器可存储的像素数时，将上述图像分成多个区域并进行处理。
第10发明是一种照相机，具有第4项发明记载的图像处理装置、向上述图像处理装置输出图像信号的图像传感器、和将上述图像处理装置的输出写入记录媒体的记录装置。


图1是表示具有本发明的实施例的图像处理装置的照相机的结构例的框图。
图2是表示图1的图像处理部的结构例的框图。
图3是表示图1的图像处理装置的处理流程例的一部分的流程图。
图4是表示图1的图像处理装置的处理流程例的另一部分的流程图。
图5是表示图1的图像处理装置的处理流程例的剩余部分的流程图。
图6是表示图1的图像处理装置的数据流的第1例的说明图。
图7是表示图1的图像处理装置的数据流的第2例的说明图。
图8是表示图1的图像处理装置的数据流的第3例的说明图。
图9是表示图1的图像处理装置的数据流的第4例的说明图。
图10(a)是表示在转动处理时写入的像素顺序的例子的说明图。
图10(b)是表示在转动处理时读出的像素顺序的例子的说明图。
图11是表示没有使用外部存储器时的、图像处理时传送像素数据的流程图。
图12是表示处理在水平方向具有多于m像素的像素的图像时的数据流的例子的说明图。
图13(a)是表示在水平像素数超过m时，传送的像素顺序的一例的说明图。
图13(b)是表示在水平像素数超过m时，传送的像素顺序的另一例的说明图。
图14是表示处理在水平方向具有多于m像素的像素的图像时的图1的图像处理装置的处理流程的例子的流程图。
图15是表示在水平和垂直像素数超过m时，传送的像素顺序的一例的说明图。
图16是表示现有的照相机的结构例的框图。
具体实施例方式
以下，参考

本发明的实施例。
图1是表示具有本发明的实施例的图像处理装置的照相机的结构例的框图。图1的照相机是例如数码静止相机、带有数码相机的便携式电话、数码摄像机。图1的照相机具有图像处理装置100、图像传感器12、AD转换器(ADC)13、记录装置14、显示装置15、外部存储器16、和电源电路17。另外，图像处理装置100具有图像处理部20、CPU50、内部存储器60、和输出部70、将图像的像素的水平方向排列称为行，像素的垂直方向排列称为列。
图像传感器12例如是CCD或CMOS摄像器件。图像传感器12将图像信号输出给AD转换器13。AD转换器13将输入的信号转换为数字数据，并输出给图像处理部20。
图像处理部20按照CPU50的指示，对图像传感器12的输出进行图像处理，并输出给输出部70。在进行图像处理时，图像处理部20根据处理内容，使用内部存储器60和外部存储器16中的至少一方。
内部存储器60具有多个以行单位或列单位存储图像的行存储器。各行存储器具有可存储m像素(m为自然数)的容量(将其称为1H)。由于不能跨过多个行存储器存储图像的1行的像素，所以在内部存储器60作为1行的像素可存储的像素数是m。从而，通常图像处理装置100可处理的1行图像的最大像素数为m。以下，作为例子设m＝1280、设内部存储器60具有18个行存储器。
外部存储器16用作帧存储器，图像处理装置100具有可存储一个画面以上的作为处理对象的最大图像的容量。
电源电路17按照CPU50的指示，向外部存储器16供电。输出部70具有缓冲器，作为将图像处理部20的输出写入记录装置14的记录媒体，并转换为适于显示装置15显示的形式的信号并输出的接口工作。记录装置14将输出部70的输出写入存储卡等记录媒体。显示装置15例如是液晶显示器，对图像传感器12输出的图像进行监视显示。
图2是表示图1的图像处理部20的结构例的框图。图像处理部20作为处理电路具有预处理电路22、亮度色差信号处理电路(以下称为YC信号处理电路)24、缩小变焦电路26、后过滤器28、OSD处理电路32、JPEG(joint photographic image coding experts group)处理电路34、以及垂直扩大电路36。另外，图像处理部20具有内部存储器控制电路42、外部存储器控制电路44。这些图像处理部20内的电路都按照CPU50的指示工作。
预处理电路22、亮度色差信号处理电路24、缩小变焦电路26、后过滤器28、OSD处理电路32、JPEG处理电路34还可以对输入的数据不进行处理而原样输出。另外，这些电路经内部存储器控制电路42访问内部存储器60，经外部存储器控制电路44访问外部存储器16。从而，这些电路还可以经外部存储器16相互交接数据。
另外，预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28、OSD处理电路32、JPEG处理电路34、以及垂直扩大电路36的各处理电路，使用相同的内部存储器进行处理。换言之，这些处理电路共享内部存储器60。CPU50对这些处理电路的每一个根据各个的处理需要，分配内部存储器60的区域。
预处理电路22作为预处理对从图像传感器12取得的图像信号进行抽取黑电平、检测白平衡、伽马校正中的至少一个，将得到的结果输出给YC信号处理电路24。
YC信号处理电路24接受预处理电路22的输出，对其进行YC信号处理，并输出给缩小变焦电路26。YC信号处理是指黑电平校正、白平衡校正、以及向亮度信号和色差信号的变换。
缩小变焦电路26进行一次内插，进行使亮度信号和色差信号表示的图像缩小的缩小处理，将得到的结果输出给后过滤器28。
后过滤器28具有系数可变的低通滤波器，进行后过滤处理，即使从缩小变焦电路26输入的图像的低频分量通过，进行孔径校正处理，并输出给OSD处理电路32。
OSD处理电路32从外部存储器16读出OSD用的图像数据，进行将其与来自后过滤器28的图像叠加的OSD处理，并输出给JPEG电路34。
作为压缩处理电路的JPEG处理电路34对OSD处理电路32输出的图像进行基于JPEG的压缩编码(JPEG压缩处理)，将得到的结果经垂直扩大电路36输出给输出部70。另外，JPEG压缩处理结果输出给记录装置14，并写入存储卡等记录媒体。
垂直扩大电路36经JPEG处理电路34接受OSD处理电路32输出的图像，对其进行向垂直方向扩大的垂直扩大处理，以使垂直方向的像素数适于显示装置15，并输出给输出部70。接着，将垂直扩大处理结果输出给显示装置15并进行显示。
图3是表示图1的图像处理装置100的处理流程的例子的一部分的流程图。图4是表示图1的图像处理装置100的处理流程的例子的另一部分的流程图。图5是表示图1的图像处理装置100的处理流程的例子的剩余部分的流程图。
图6是表示图1的图像处理装置100的数据流的第1例的说明图。以下表示数据流的图中省略内部存储器控制电路42和外部存储器控制电路44。图6的场合下，将图像传感器12输出的图像大小设为横1280(＝m)×纵960像素，作为图像处理假设进行预处理、YC信号处理、变焦处理(本例中，倍率2/3)、后过滤处理、以及JPEG压缩处理。在此，输入到图像处理装置100的图像的水平方向的1行数据量相当于1H。参考图2～图6说明图像处理装置100的工作。
在图3的步骤S11，CPU50将图像传感器12输出的信号表示的图像的水平像素数设定为输入给图像处理装置100的图像的水平像素数。该值可以根据连接的图像传感器12，在图像处理装置100的外部设定。更具体说来，是设定图像处理装置100所处理的图像的水平像素数是否在内部存储器60的各行存储器可存储的像素数(＝m)的1/2以下。
在水平像素数少于m/2时，由于可以在1个行存储器存储2行的像素数据，所以可以只采用内部存储器60进行多个处理。另一方面，在水平像素数多于m/2时，由于1个行存储器只能存储1行的像素数据，所以只采用内部存储器60进行的处理就受到限制。因此，需要根据水平像素数是否少于m/2，变更分配给各处理电路的内部存储器60的容量。在此，由于m＝1280，所以设定为水平像素数多于m/2。
在步骤S12，CPU50设定处理内容。具体说来，设定是否进行变焦处理、后过滤处理、JPEG压缩处理、垂直扩大处理、OSD处理以及转动处理等，进行变焦处理时的倍率等。在图6的场合下，设定进行变焦处理、后过滤处理、JPEG压缩处理，以及变焦处理的倍率为2/3。
在步骤S13，CPU50对图像处理部20的各处理电路，即预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28、OSD处理电路32、JPEG处理电路34、以及垂直扩大电路36分配内部存储器60和外部存储器16的区域，可以根据需要选择只用内部存储器60进行处理还是还使用外部存储器16进行处理。
在此，只对实际进行的处理分配内部存储器60。进行OSD处理时，必需外部存储器16，对OSD处理电路32分配外部存储器16的区域。另外，在进行后述的转动处理时，也需要外部存储器16，为了该处理而分配外部存储器16的区域。在进行倍率少于1/2的变焦处理的场合等，还考虑在之后处理中在1个行存储器可存储多行像素数据的问题并进行分配。
图6的情况下，由于变焦处理的倍率为2/3，所以在1个行存储器只能存储缩小后的图像的1行数据。这样，采用内部存储器60进行JPEG压缩处理时需要8H部分的行存储器。因此，考虑内部存储器60的容量(18H)，对预处理电路22、YC信号处理电路24、缩小变焦电路26、以及后过滤器28分别分配内部存储器60的相当于2H、4H、4H、以及4H的行存储器，对JPEG处理电路34分配外部存储器16的区域。
在步骤S16，CPU50考虑是否进行需要使用外部存储器16的处理、或是否连接有外部存储器等，判断是否使用外部存储器16。在使用外部存储器16时进入步骤S22，在不使用外部存储器16时进入步骤S18。图6的情况下，由于JPEG处理电路34使用外部存储器16，所以进入步骤S22。
在步骤S22，CPU50判断是否只使用内部存储器60进行预处理。在只使用内部存储器60的情况下进入步骤S23，在其他情况下进入步骤S24。在图6的情况下进入步骤S23。
在步骤S23，预处理电路22将图像传感器12输出的图像信号表示的图像的水平方向的1行作为单位，与分配给预处理电路22的、内部存储器60的区域之间进行读取并进行预处理，将得到的结果输出给YC信号处理电路24。接着，进入步骤S27。
在步骤S24，预处理电路22与步骤S23同样，将图像的水平方向的1行作为单位，与分配的外部存储器16或内部存储器60的区域之间进行读写并进行预处理，将得到的结果输出给YC信号处理电路24。接着，进入步骤S27。
在步骤S27，CPU50判断是否只使用内部存储器60进行YC信号处理。在只使用内部存储器60的情况下进入步骤S28，在其他情况下进入步骤S29。在图6的情况下进入步骤S28。
在步骤S28，YC信号处理电路24与分配给该电路的、内部存储器60的区域之间进行读写并进行YC信号处理，将得到的结果输出给缩小变焦电路26。接着，进入步骤S31。
在步骤S29，YC信号处理电路24与分配的外部存储器16或内部存储器60的区域之间进行读写并进行YC信号处理，将得到的结果输出给缩小变焦电路26。接着，进入步骤S31。
在步骤S31，CPU50判断是否进行变焦处理。在进行变焦处理时进入步骤S32，在不进行变焦处理时进入步骤S36。在图6的情况下，由于进行变焦处理，所以进入步骤S32。
在步骤S32，CPU50判断是否只使用内部存储器60进行变焦处理。在只使用内部存储器60的情况下进入步骤S33，在其他情况下进入步骤S34。在图6的情况下进入步骤S33。
在步骤S33，缩小变焦电路26与分配给该电路的、内部存储器60的区域之间进行读写，进行减少图像的像素数的变焦处理，将得到的结果输出给后过滤器28。接着，进入步骤S36。在图6的情况下，缩小变焦电路26进行使水平方向的像素数成为2/3的缩小图像的处理。
在步骤S34，缩小变焦电路26与分配的外部存储器16或内部存储器60的区域之间进行读写并进行变焦处理，将得到的结果输出给后过滤器28。接着，进入步骤S36。
在图4的步骤S36，CPU50判断是否进行后过滤处理。在进行后过滤处理时进入步骤S37，在不进行后过滤处理时进入步骤S41。在图6的情况下，由于进行后过滤处理，所以进入步骤S37。
在步骤S37，CPU50判断是否只使用内部存储器60进行后过滤处理。在进行后过滤处理的情况下进入步骤S38，在其他情况下进入步骤S39。在图6的情况下，进入步骤S38。
在步骤S38，后过滤器28与分配的内部存储器60的区域之间进行读写并进行后过滤处理，将得到的结果输出给OSD处理电路32。接着，进入步骤S41。
在步骤S39，后过滤器28与分配的外部存储器16或内部存储器60的区域之间进行读写并进行后过滤处理，并将得到的结果输出给OSD处理电路32。接着，进入步骤S41。
在步骤S41，CPU50判断是否进行OSD处理。在进行OSD处理时进入步骤S44，在不进行OSD处理时进入步骤S51。在图6的情况下，由于不进行OSD处理，所以进入步骤S51。
在步骤S44，OSD处理电路32从外部存储器1 6读取OSD用的图像数据，使用分配的、外部存储器16或内部存储器60，进行叠加到来自后过滤器28的图像的OSD处理，并将得到的结果输出给JPEG处理电路34。接着，进入步骤S51。
在步骤S51，CPU50判断是否进行JPEG压缩处理。在进行JPEG压缩处理时进入步骤S52，在不进行JPEG压缩处理时进入步骤S56。在图6的情况下，由于进行JPEG压缩处理，所以进入步骤S52。
在步骤S52，CPU50判断是否只使用内部存储器60进行JPEG处理。在只使用内部存储器60的情况下进入步骤S53，在其他情况下进入步骤S54。在图6的情况下，由于对JPEG处理电路34分配有外部存储器16，所以进入步骤S54。
在步骤S53，JPEG处理电路34与分配给该电路的、内部存储器60的区域之间进行读写并进行JPEG压缩处理，将得到的结果经垂直扩大电路36输出给输出部70。之后结束处理。
在步骤S54，JPEG处理电路34与分配的、外部存储器16或内部存储器60的区域之间进行读写并进行JPEG压缩处理，将得到的结果经垂直扩大电路36输出给输出部70。之后结束处理。
另外，在步骤S56，CPU50判断是否进行垂直扩大处理。在进行垂直扩大处理时进入步骤S57，在不进行垂直扩大处理时结束处理。
在步骤S57，CPU50判断是否只使用内部存储器60进行垂直扩大处理。在只使用内部存储器60的情况下进入步骤S58，在其他情况下进入步骤S59。
在步骤S58，垂直扩大电路36与分配给该电路的、内部存储器60的区域之间进行读写并进行垂直扩大处理，将得到的结果输出给输出部70。之后结束处理。
在步骤S59，垂直扩大电路36与分配的、外部存储器16或内部存储器60之间进行读写并进行垂直扩大处理，将得到的结果输出给输出部70。之后结束处理。
像这样，在图6的情况下，只有在JPEG处理电路34进行JPEG压缩处理时访问外部存储器16。此外的图像处理由于可以不使用外部存储器16进行，所以不使用外部存储器16进行。从而，可以大幅度减少对外部存储器16的访问。
另一方面，在不使用外部存储器16时，在图5的步骤S18，CPU50进行转移到低耗电模式的处理。例如，CPU50控制电源电路17，停止对外部存储器16供电，使外部存储器16不耗电。这是因为之后的处理不使用外部存储器16。
之后的处理除了不判断是否使用内部存储器来处理而必须使用内部存储器来处理的方面、判断是否进行OSD处理的步骤、以及没有进行OSD处理的步骤的方面之外，与参考图3和图4所述的相同。即，步骤S63、S68、S71、S73、S76、S78、S81、S83、S86、以及S88分别与步骤S23、S28、S31、S33、S36、S38、S51、S53、S56、以及S58相同，所以省略其说明。以上结束了1个画面的处理。
像这样，图像处理装置100只进行JPEG压缩处理和垂直扩大处理中的某一个。另外，图像处理装置100由于在不使用外部存储器16时停止对外部存储器16供电，所以可以使外部存储器16不耗电。
图7是表示图1的图像处理装置100的数据流的第2例的说明图。在图7的场合下，也与图6的场合相同，假设图像传感器12输出的图像大小为横1280(＝m)×纵960像素，作为图像处理假设进行预处理、YC信号处理、变焦处理(本例中，倍率1/4)、后过滤处理、以及JPEG压缩处理。参考图2～图5以及图7说明图像处理装置100的工作。
步骤S11、S12的处理除了将变焦处理的倍率设定为1/4之外，与图6的场合相同。
图7的情况下，由于输入到图像处理装置100的图像的水平像素数为m，变焦处理的倍率为1/4，所以在1个行存储器可以存储4行缩小后的图像数据。因此，在步骤S13，CPU50对预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28、以及JPEG处理电路34分别分配内部存储器60的相当于2H、4H、4H、1H以及2H的行存储器。由于内部存储器60的容量就足够，所以不分配外部存储器16。
在步骤S16，CPU50判断出不使用外部存储器16，进入步骤S18。在步骤S18，停止对外部存储器16供电。对于步骤S63之后的处理，除了CPU50不判断是否使用内部存储器60进行处理而各处理电路必须对内部存储器60进行读写之外，与图6的场合相同，所以省略其说明。
像这样，如图7不具有外部存储器的情况下，图像处理装置100也可以进行基本的图像处理。另外，由于在图像处理时不访问外部存储器16，所以可以减少耗电，提高处理速度。
图8是表示图1的图像处理装置100的数据流的第3例的说明图。在图8的情况下，设图像传感器12输出的图像大小为横640(＝m)×纵480像素，作为图像处理假设进行预处理、YC信号处理、变焦处理(本例中，倍率1/2)、后过滤处理、OSD处理、以及JPEG压缩处理。在此，图像的水平方向的1行数据量相当于1/2H。参考图2～图4和图8说明图像处理装置100的工作。
在步骤S11，CPU50将输入给图像处理装置100的图像的水平像素数设定为少于m/2。在步骤S12，CPU50设定进行变焦处理、后过滤处理、OSD处理、JPEG处理、以及将变焦处理的倍率为1/2。
在图8的情况下，由于输入给图像处理装置100的图像的水平像素数为m/2、变焦处理的倍率为1/2，所以在1个行存储器可以存储4行缩小后的图像数据。因此，在步骤S13，CPU50对预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28、OSD处理电路32、以及JPEG处理电路34分别分配内部存储器60的相当于1H、2H、2H、1H、1H、以及2H的行存储器。由于内部存储器60的容量就足够，所以不分配外部存储器16。
由于需要进行OSD处理，所以在步骤S16，CPU50判断出使用外部存储器16，进入步骤S22。
图3和图4的步骤S22之后的处理除了在步骤S41中CPU50判断出进行OSD处理并进入步骤S44的方面、以及在步骤S44中OSD处理电路32进行OSD处理并将得到的结果输出给JPEG处理电路34的方面之外，与图6的场合相同，所以不作具体说明。
像这样，通过使用外部存储器16，可以作为扩展功能进行OSD处理。另外，在图5的情况下，只在OSD处理电路32读出时访问1次外部存储器16。由于此外的对存储器的访问是对内部存储器60进行，所以可以大幅度减少对外部存储器的访问。
图9是表示图1的图像处理装置100的数据流的第4例的说明图。图9的情况下，与图6的场合相同，设图像传感器12输出的图像大小为横1280(＝m)×纵960像素。另外，作为图像处理假设进行预处理、YC信号处理、变焦处理(本例中，倍率1/2)、后过滤处理、垂直扩大处理、以及转动处理。参考图2～图4和图9说明图像处理装置100的工作。
在步骤S11，CPU50设定输入给图像处理装置100的图像的水平像素数多于m/2。在步骤S12，CPU50设定进行变焦处理、后过滤处理、垂直扩大处理、转动处理，以及将变焦处理的倍率为1/2。
在图9的情况下，由于输入给图像处理装置100的图像的水平像素数为m，变焦处理的倍率为1/2，所以在1个行存储器可以存储2行缩小后的图像数据。因此，在步骤S13，CPU50对预处理电路22、YC信号处理电路24、缩小变焦电路26、后过滤器28、以及垂直扩大处理电路36分别分配内部存储器60的相当于2H、4H、4H、2H以及2H的行存储器。由于内部存储器60的容量就足够，所以不分配外部存储器16。
由于需要进行转动处理，所以在步骤S16，CPU50判断出使用外部存储器16，进入步骤S22。
之后，预处理电路22、YC信号处理电路24、缩小变焦电路26、以及后过滤器28的处理除了变焦处理的倍率不同之外，与图6的场合大致相同。但是，YC信号处理电路24和缩小变焦电路26使用外部存储器16进行转动处理。另外，图3和图4的流程图中省略了有关转动处理的记载。
对于转动处理进行说明。图10(a)是表示在转动处理时写入的像素顺序的例子的说明图。图10(b)是表示在转动处理时读出的像素顺序的例子的说明图。如图10(a)、(b)所示，YC信号处理电路24输出的图像在水平方向具有m个像素，在垂直方向具有n个像素，对水平方向的各行设置v1、v2、…、vn的各坐标，对垂直方向的各列设置h1、h2、…、hm的各坐标。可以采用水平、垂直两方向的坐标，如用h1v1表示各像素。
YC信号处理电路24将进行YC信号处理而得到的像素数据按图像的水平方向逐行依次写入外部存储器16。即，如图10(a)所示，按h1v1、h2v1、…、hmv1的顺序写入第1行之后，按h1v2、h2v2、…、hmv2的顺序写入第2行，之后一直写到第n行。
接着，缩小变焦电路26按写入前的图像的垂直方向的同一列逐个读出YC信号处理电路24写入的像素数据。即，如图10(b)所示，按h1v1、h1v2、…、h1vn的顺序读出第1列之后，按h2v1、h2v2、…、h2vn的顺序读出第2列，之后一直读到第m列。
在此，将读出的各列的像素数据看作水平方向的各行的像素数据。这样，可以得到将写入外部存储器16之前的图像转动了90°的图像。
接着，缩小变焦电路26对转动后的图像进行将水平方向的像素数缩小成1/2的变焦处理，将得到的结果输出给后过滤器28。后过滤器28进行处理之后，垂直扩大处理电路36采用内部存储器60进行垂直扩大处理，并输出给输出部70。
像这样，通过采用外部存储器16，可以作为扩展功能容易进行图像的转动。
另外，与图10(b)同样，将像素数据按图像的垂直方向逐列写入外部存储器16，与图10(a)同样，也可以按写入前的图像的水平方向的同一行逐个读出。
另外，也可以是预处理电路22、YC信号处理电路24、缩小变焦电路26、以及后过滤器28中的某个对外部存储器16进行写入处理，应进行下一处理的电路进行读出处理。但是，需要在对JPEG处理电路34输入数据之前，从外部存储器16进行读出处理。
已经参考图7进行了说明，简单总结不使用外部存储器16时的像素数据的传送。图11是表示不使用外部存储器16时的、图像处理时传送像素数据的流程图。
在步骤S112，CPU50将1行像素数据存储在内部存储器60。在步骤S114，图像处理部20使用内部存储器60进行各种图像处理。在步骤S116，图像处理部20将图像处理结束后的1行像素数据输出给输出部70。在步骤S118，CPU50判断1个画面的处理是否结束。在结束时结束处理，否则返回到步骤S112。
内部存储器60由于不跨过多个行存储器存储图像的1行的像素，所以在内部存储器作为1行的像素可存储的像素数为m。从而，在不使用外部存储器16时，图像处理装置100只能处理水平方向的像素数少于m的图像。
另一方面，若使用外部存储器，则可以处理在水平方向具有比m像素多的像素的图像。以下说明图像处理装置100采用外部存储器处理在水平方向具有比m像素多的像素的图像的场合。
图12是表示处理在水平方向具有比m像素多的像素的图像时的数据流的例子的说明图。图13(a)是表示在水平像素数超过m时，传送的像素顺序的一例的说明图。图13(b)是在水平像素数超过m时，传送的像素顺序的例子另一例的说明图。图13(a)、(b)的图像在水平方向具有m+α个(α为自然数)、在垂直方向具有m个像素，对水平方向的各行设置v1、v2、…、vm的各坐标，对垂直方向的各列设置h1、h2、…、h(m+α)的各坐标。
在水平方向具有比m像素多的像素的图像的场合，由于内部存储器60不能将1行的像素数据存储在1个行存储器，所以不能进行图像处理。但是，图13的图像由于在垂直方向具有m个像素，所以如果能将1列部分的像素存储在各行存储器，就可以进行处理。
图14是表示处理在水平方向具有比m像素多的像素的图像时的图1的图像处理装置100的处理流程的例子的流程图。参考图12～图14进行说明。
在图14的步骤S122，图像处理部20将AD转换器13输出的像素数据逐行存储在外部存储器16(图12的W1)。即，如图13(a)所示，按h1v1、h2v1、…、h(m+α)v1的顺序写入第1行之后，按h1v2、h2v2、…、h(m+α)v2的顺序写入第2行，之后一直写到第m行。
在步骤S124，CPU50判断图像的垂直方向的像素数(垂直像素数)是否少于m。在少于m的情况下进入步骤S132，在其他情况下进入步骤S152。在图13的图像的情况下进入步骤S132。
在步骤S132，图像处理部20从外部存储器16读出1列像素数据并传送给内部存储器60并存储(图12的R1)。即，如图13(b)所示，例如按h1v1、h1v2、…、h1vm的顺序进行读取。
在步骤S134，图像处理部20为了求出1列像素数据，采用内部存储器60进行预处理、YC信号处理、变焦处理、后过滤处理等图像处理。
在步骤S136，图像处理部20将处理后的1列像素数据存储在外部存储器16(图12的W2)。在此，如图13(b)所示，将处理后的1列像素数据写入存储相应的处理前的1列像素数据的区域。
在步骤S138，CPU50判断1个画面的处理是否结束。在结束的情况下进入步骤S142，在其他情况下返回到步骤S132。
在步骤S142，图像处理部20例如如图13(a)所示，逐行从外部存储器16读出得到的图像的像素数据(图12的R2)。另外，图像处理部20如果需要例如JPEG压缩处理等处理，则对读出的图像进行相应处理之后，输出给输出部70。
像这样，若使用外部存储器，则用于处理水平像素数少于m的图像的图像处理装置100中，若垂直像素数少于m，则即使水平像素数超过m，也可以不变更电路结构而进行各种图像处理。
下面说明图像的水平像素数和垂直像素数都超过m时的处理。图15是表示水平和垂直像素数都超过m时，传送的像素顺序的一例的说明图。图5的图像在水平方向具有m+α+β个(β为自然数)个像素，在垂直方向具有m+α个像素，对水平方向的各行设置v1、v2、…、v(m+α)的各坐标，对垂直方向的各列设置h1、h2、…、h(m+α+β)的各坐标。
参考图14进行说明。在步骤S122，CPU50将AD转换器13输出的像素数据逐行存储在外部存储器16。即，按h1v1、h2v1、…、h(m+α+β)v1的顺序写入第1行，之后同样写入第m+α行。
在图15的情况下，在步骤S124，若判断出垂直像素数不少于m，则进入步骤S152。
在步骤S152，CPU50将图15的图像分成第1行至第m行的区域a和、此外的区域b。
在步骤S154，CPU50选择对区域a、b中的哪一个进行处理。另外，图像处理装置100从外部存储器16读出1列像素数据，传送给内部存储器16并存储。即，如图15所示，在选择了区域a时，例如按h1v1、h1v2、…、h1vm的顺序进行读取，在选择了区域b时，例如按h1v(m+1)、h1v(m+2)、…、h1v(m+α)的顺序进行读取。
步骤S156、S158的处理分别与步骤S134、S136的处理相同。但是，在步骤S156、S158只对所选的区域进行处理。
在步骤S162，CPU50判断区域内的处理是否结束。在结束的情况下进入步骤S164，在其他情况下返回到步骤S154并对剩余区域进行处理。
在步骤S164，CPU50判断1个画面的处理是否结束。在结束的情况下进入步骤S142，在其他情况下返回到步骤S152。
如参考图14、图15所述，若采用外部存储器，则用于处理水平像素数少于m的图像的图像处理装置100中，即使垂直和水平像素数超过m，也可以不变更电路结构而进行各种图像处理。
如上述实施例中所述，图1的图像处理装置100在采用外部存储器的场合和不采用外部存储器的场合的任一场合下，都可以进行图像处理。
在不具有外部存储器16的情况下，图像处理装置100可以进行YC信号处理和压缩处理等基本的图像处理。在此，由于不访问外部存储器16，所以可以减少耗电，提高处理速度。
另一方面，在具有外部存储器的情况下，可以进行OSD处理、转动处理、垂直或水平像素数多于m的较大图像的处理等。
另外，说明了在图1的图像处理装置100的外边具有AD转换器13的情况，但也可以是图像处理装置包括AD转换器13。
如上所述，根据本发明，可以实现同时满足低耗电和多功能化的图像处理装置。另外，由于无论有无外部存储器都可以工作，所以可以实现可用于多个系统的、通用性好的图像处理装置。
权利要求
1.一种图像处理装置，是对图像传感器输出的图像信号进行图像处理并输出的图像处理装置，具有内部存储器，具有以行单位或列单位存储图像的行存储器；图像处理部，采用所述内部存储器进行所述图像处理；以及CPU，控制所述图像处理部，所述图像处理部，具有分别进行作为所述图像处理的所定处理的多个处理电路，所述多个处理电路的至少一个，根据需要可使用设置在该图像处理装置的外部的外部存储器。
2.如权利要求1所述的图像处理装置，其特征在于所述图像处理部，在作为所述图像处理进行无需所述外部存储器的处理时，不用所述外部存储器并进行该处理。
3.如权利要求1所述的图像处理装置，其特征在于所述CPU，在所述图像处理部不使用所述外部存储器时，输出使所述外部存储器的耗电降低的控制信号。
4.如权利要求1所述的图像处理装置，其特征在于所述图像处理部，作为所述多个处理电路，具有将从所述图像传感器取得的图像信号变换为亮度信号和色差信号并输出的亮度色差信号处理电路；和对与所述亮度色差信号处理电路的输出对应的图像进行压缩编码，并将得到的结果作为所述图像处理装置的输出的压缩处理电路。
5.如权利要求1所述的图像处理装置，其特征在于所述图像处理部，具有将从所述外部存储器读出的图像与从所述图像传感器取得的图像相叠加并输出的屏幕显示处理电路。
6.如权利要求1所述的图像处理装置，其特征在于所述多个处理电路中的一个，将处理后的图像以行和列中的一方为单位依次存储到外部存储器，所述多个处理电路中的另一个，将存储在所述外部存储器的图像、以行和列中的与存储时不同的另一方为单位依次读出。
7.如权利要求1所述的图像处理装置，其特征在于所述多个处理电路中的至少2个，采用同一所述内部存储器进行处理。
8.如权利要求1所述的图像处理装置，其特征在于所述图像处理部，将所述图像传感器输出的图像存储到所述外部存储器，以所述图像的行和列中的像素数少的一方为单位从所述外部存储器读出后，采用所述内部存储器进行所述图像处理，将取得的结果存储到从所述外部存储器读出之前存储与此对应的像素数据的区域，将取得的图像从所述外部存储器读出并输出。
9.如权利要求8所述的图像处理装置，其特征在于所述图像处理部，在所述图像的行和列中的像素数少的一方也超过所述内部存储器可存储的像素数时，将所述图像分成多个区域进行处理。
10.一种照相机，具有具有权利要求4所述的图像处理装置；向所述图像处理装置输出图像信号的图像传感器；和将所述图像处理装置的输出写入记录媒体的记录装置。
全文摘要
一种图像处理装置，是对图像传感器输出的图像信号进行图像处理并输出的图像处理装置，具有备有以行单位或列单位存储图像的行存储器的内部存储器、采用上述内部存储器进行上述图像处理的图像处理部、控制上述图像处理部的CPU。上述图像处理部具有多个分别作为上述图像处理进行所定处理的处理电路。上述多个处理电路的至少一个可以根据需要使用设置在该图像处理装置的外部的外部存储器。实现了同时满足低耗电和多功能化。
文档编号H04N5/92GK1534990SQ20041003331
公开日2004年10月6日 申请日期2004年4月2日 优先权日2003年4月2日
发明者嶋津义久, 津村敬一, 岩泽高广, 南方伸之, 平山武, 一, 之, 广, 津义久 申请人:松下电器产业株式会社