专利名称：成像设备及成像设备的图像产生方法
技术领域：
本发明涉及一种成像设备，如数字摄像机等，以及一种成像方法，更具体地，涉及一种成像设备，处理相同流上的主要作为运动图像(相对较小的像素数)而检索到的图像以及能够作为静态图像(相对较大的像素数)处理的图像，以及一种成像设备的图像产生方法。
背景技术：
已经提出了数字摄像机，该摄像机通过离散预先变换(DCT)或小波变换和可变长度编码，对基于使用成像元件而捕获的成像信号的数字视频信号进行压缩，并记录在如磁带、磁盘和光盘等记录介质中。
此数字摄像机具有运动图像记录模式和静态图像记录模式，在运动图像记录模式下，通过执行针对运动图像的压缩记录，在记录介质中进行记录，以及在静态图像记录模式下，通过执行针对静态图像的压缩记录，在记录介质中进行记录。
已经提出了多种能够在捕获运动图像时捕获高分辨率的静态图像的成像设备，如以下第一成像设备到第十七成像设备所示。
第一成像设备是一种在运动图像的帧循环的每个整数次循环时自动捕获一帧高分辨率静态图像的成像设备，其在捕获运动图像时，通过稀疏读取出像素信号，而在捕获静态图像时，通过分为两个场，读取出全部的像素信号(参见未审专利公开(Kokai)No.2002-44531)。
第二成像设备在捕获运动图像时以预定的周期拍摄静态图像(参见未审专利公开(Kokai)No.H7(1995)-245722)。
第三成像设备是一种通过操作者的操作或以恒定的时间间隔自动捕获高分辨率静态图像的设备，其中将静态图像记录为静态图像数据，将运动图像记录为运动图像数据，在再现运动图像时，显示表示对静态图像的记录存在的指示符，并通过操作者的操作，将显示切换为静态图像(参见未审专利公开(Kokai)No.H9(1997)-51498)。
第四成像设备是一种通过操作者的快门按钮操作以捕获预定时间段内的运动图像来捕获静态图像的图像记录设备，其中使用静态图像之前和/或之后的运动图像，对所捕获的静态图像进行校正。
第五成像设备是一种运动图像记录设备，如便携式摄像机等，当在捕获运动图像中操作快门按钮时，捕获高度精细的静态图像，其中将操作快门按钮而得到的高度镜像的静态图像强制编码为码内图像(I图像)(参见未审专利公开(Kokai)No.H7(1995)-284058)。
第六成像设备是能够在捕获运动图像时捕获静态图像的设备，其中当所需的静态图像不存在时，以所需的运动图像及预期相关联的静态图像合成与所需的运动图像相对应的高分辨率图像(参见未审专利公开(Kokai)No.2002-51252)。
第七成像设备是一种数字摄像机，通过将快门按钮按下一半开始记录运动图像，以及在记录运动图像时，通过完全按下快门按钮来捕获静态图像，其中通过与运动图像相关联来记录在捕获运动图像时所捕获的静态图像数据(参见未审专利公开(Kokai)No.2002-84442)。
第八成像设备是一种图像记录设备，通过操作者在捕获运动图像中的快门按钮操作来捕获静态图像，其中使用静态图像之前和/或之后的运动图像，对所捕获的静态图像进行校正(参见未审专利公开(Kokai)No.H7(1995)-143439)。
第九成像设备是一种将运动图像和静态图像的数据记录为一系列文件的设备，其中其中通过位于主级别处的主要简档表(MP@ML)来记录运动图像，通过位于高级别处的主要简档表来记录静态图像(参见未审专利公开(Kokai)No.H11(1999)-234623)。
第十成像设备暂时存储一系列连续捕获的图像，并且只将操作者所选择的图像记录在存储卡中(参见未审专利公开(Kokai)No.2001-78136)。
第十一成像设备通过执行如减色、切块或分辨率缩减等处理，对已记录图像进行重新记录(参见未审专利公开(Kokai)No.2002-10209)。
第十二成像设备在捕获运动图像时，沿CCD的垂直方向执行电荷混合，并通过电平控制器将增益提高如6dB等，而无需执行CCD的像素混合(参见未审专利公开(Kokai)No.2003-125278)。
第十三成像设备能够产生对四个像素的信号进行了平均(将增益提高了四倍)的1/2像素屏幕和正常像素屏幕(参见未审专利公开(Kokai)No.H4(1992)-17087)。
第十四成像设备根据对象的亮度决定要增加像素的线数(参见未审专利公开(Kokai)No.H4(1992)-172073)。
第十五成像设备根据对象的亮度决定不增加像素的模式和要增加像素的模式(参见未审专利公开(Kokai)No.H10(2000)-150601)。
第十六成像设备在初始设置中执行加法成像，并通过用户改变设置来执行非加法成像(参见未审专利公开(Kokai)No.2001-359038)。
第十七成像设备在对象的亮度较低时被设置在加法输出模式下，而在对象的亮度较高时被设置在非加法输出模式下(参见未审专利公开(Kokai)No.2003-319407)。
同时，在每个上述成像设备中，通常在捕获运动图像级的图像时，顺序执行重复曝光卷动快门和传输数据。此外，当执行静态图像的连续捕获时，与上面相类似地，重复使用卷动快门，或使用机械快门。
这里，在仅通过卷动快门来捕获图像时，在图像的顶部和底部发生图像变形。但是，其是可允许的，因为其是运动图像。
但是，当捕获静态图像时，图像的变形可能是不被允许的。因此，机械快门和球形快门成为必需，但是，机械快门驱动对以极高速执行连续捕获存在限制。
此外，在数字摄像机等中，为了获得所需的高分辨率图像，操作者观察成像对象，并需要在操作者瞄准的定时操作释放按钮。
但是，即使在操作者瞄准的定时进行操作，仍然不一定能获得所需的图像，已经利用了连续捕获功能来解决此问题。
但是，例如，当以每秒几个场景来捕获高分辨率图像十秒钟时，所记录的图像数据将是巨大的，考虑到存储卡的容量等，其具有较小的实用性。
此外，在这种具有连续捕获功能的数字摄像机中，当连续捕获具有几百万像素的高分辨率静态图像时，由于上限极大地取决于CCD等的读出处理能力，每秒几个场景将成为上限，如果所需的图像是具有快速运动的对象，即使使用连续捕获，仍然难以获得所需的图像。
此外，在具有将运动图像和具有与运动图像不同的分辨率的静态图像记录为一个流的第一模式和只执行对运动图像的捕获的第二模式的数字摄像机中，由于在第一模式下所捕获的数据不时地具有高分辨率的静态图像，所保存的文件尺寸变得大于捕获简单的运动图像的情况。结果，记录介质的容量变大，并存在难以确保实际记录容量的缺点。
因此，对成像设备进行了新的研发，其中成像设备允许获得所需的高分辨率的静态图像，而与连续捕获的速度无关，对记录容量加以抑制，并且与对快门进行定时的操作者无关。
发明内容
本发明是得自于这种研发的全新事物，如获得高分辨率静态图像等上述问题并非本发明的背景。本发明的一个目的在于提供一种具有非传统的全新成像方法的成像设备，以及一种该成像设备的成像产生方法。
根据本发明的第一方面，提供了一种成像设备，具有成像元件，在其上形成对象的光学图像；信号处理系统，从所述成像元件读取出具有高分辨率的高图像数据或具有低分辨率的低图像数据，并针对读取出的图像数据执行预定的图像处理，其中所述信号处理系统包括图像处理部分，产生在捕获一幅运动图像数据时以帧内压缩对高图像数据进行压缩的第一压缩图像和在产生所述第一压缩图像的前周期和/或后周期中以帧间压缩对低图像数据进行压缩的第二压缩图像，作为一个流。
优选地，所述高图像数据包括未经稀疏地从所述成像元件读取出的图像数据或由所述图像处理系统以任意的稀疏量进行了稀疏而读取出的图像数据，以及所述低图像数据包括由所述图像处理系统以任意的稀疏量进行了稀疏以变为比所述高图像数据低的分辨率的、从所述成像元件读取出的图像数据。
优选地，所述成像设备具有球形快门功能和卷动快门功能，作为快门功能，其中所述图像处理部分根据以所述球形快门所捕获的图像数据来产生第一压缩图像，而根据以所述卷动快门所捕获的图像数据来产生第二压缩图像。
优选地，所述图像处理部分将所述第一压缩图像的图像电平和所述第二压缩图像的图像电平校正为近似等效的电平。
优选地，当指定所述第二压缩图像的一个屏幕时，所述图像处理部分通过以包括所述第二压缩图像之前和/或之后的所述第一压缩图像的其他图像对所述第二压缩图像的屏幕进行解压缩和解码，产生表示所述一个指定屏幕的高分辨率静态图像数据。
优选地，所述成像设备还具有流输出单元，通过使用所述高分辨率的第一压缩图像和所述低分辨率的第二压缩图像，输出低分辨率和连续的视频流；判别单元，判别所述第一压缩图像是否为高分辨率或低分辨率的；以及判别信号输出单元，通过所述判定单元，输出表示所述第一压缩图像是否为高分辨率或低分辨率的信号。
优选地，所述成像设备具有存储单元，用于存储一系列所述第一压缩图像和所述第二压缩图像的流数据，其中当指定一个流数据上的所述第一压缩图像的一个屏幕时，所述图像处理部分将所述第一压缩图像的分辨率降低到所述第二压缩图像的等效程度，并将所述流数据中的所述第一压缩图像替换为对其分辨率进行了缩减的第一压缩图像，并将其重新存储在所述存储单元中。
优选地，所述成像设备具有存储单元，用于存储一系列所述第一压缩图像和所述第二压缩图像的流数据，其中所述图像处理部分将一个流数据上的多个第一压缩图像中的所有图像的分辨率降低到所述第二压缩图像的等效程度，并将所述流数据中的所述第一压缩图像替换为对其分辨率进行了缩减的第一压缩图像，并将其重新存储在所述存储单元中。
优选地，当以稀疏从所述成像元件读取出图像数据时，所述信号处理系统通过执行同色邻近像素的积分处理，产生稀疏数据。
优选地，所述成像处理部分通过根据对所述第二压缩图像执行积分处理读出的R电平，来校正所述第一压缩图像的图像电平，将所述第一压缩图像的图像电平和所述第二压缩图像的图像电平校正为近似等效的电平。
优选地，所述成像处理部分通过保持所述第一压缩图像的图像电平，并通过划分所述积分处理的集成量来校正所述第二压缩图像的图像电平，将所述第一压缩图像的图像电平和所述第二压缩图像的图像电平校正为近似等效的电平。
优选地，所述信号处理系统包括像素平均读出电路，能够对来自所述成像元件的多个像素数据进行平均并读取出；像素加法读出电路，能够对来自所述成像元件的多个像素数据进行相加并读取出；亮度检测器，检测对象的亮度；以及选择器，根据所述亮度检测器的检测输出，选择所述像素平均读出电路和所述像素加法读出电路的一个输出。
优选地，所述信号处理系统包括相加像素改变电路，根据所述亮度检测器的输出，改变所述像素相加读出电路中相加的像素数；转换器，将由所述选择器选中的所述像素相加读出电路或所述像素平均读出电路的输出数据从模拟数据转换为数字数据；以及参考电压改变电路，根据所述亮度检测器的输出或所述相加像素读出电路的输出，改变所述转换器的参考电压值。
根据本发明的第二方面，提出了一种图像设备的图像产生方法，对从成像元件读取出的图像数据执行预定的图像处理，具有以下步骤通过使对象的光学图像形成在所述成像元件上，从所述成像元件中读取出具有高分辨率的高图像数据或具有低分辨率的低图像数据；通过在捕获一幅运动图像数据时，以帧内压缩对高图像数据进行压缩，产生第一压缩图像；通过在产生所述第一压缩图像的前周期和/或后周期中，以帧间压缩对低图像数据进行压缩，产生第二压缩图像；以及产生以帧内压缩对高图像数据进行压缩的第一压缩图像和在产生所述第一压缩图像的前周期和/或后周期中以帧间压缩对低图像数据进行压缩的第二压缩图像，作为一个流。
通过以下参照附图而给出的对优选实施例的描述，本发明的这些和其他目的和特征将变得更加清楚，其中图1是示出了根据本发明的成像设备的第一实施例的方框图；图2是用于解释本实施例中的流数据改变模式中的操作的视图；图3是示出了使用卷动快门的成像元件(图像传感器)的示例的视图；图4A到图4F是示出了在假设在如图3所示的元件中存在从LA到LF的线时、图像的控制波形的示例的视图；图5是示出了在假设在使用球形快门的、如图3所示的元件中存在从LA到LF的线时、图像的控制波形的示例的视图；图6是图像传感器的概念图；图7是示出了根据本发明的校正处理的概念的视图；图8是混合了运动图像(低像素)和静态图像(高像素)的流的方框图；图9是示出了根据本发明的成像设备的第二实施例的方框图；图10是图像传感器的概念图和用于解释第二实施例中的像素控制方法的视图；图11是示出了根据第二实施例的读出电路的结构的示例的方框图；图12是示出了根据本发明的成像设备的第三实施例的方框图；以及图13是示出了根据第三实施例的读出电路的结构的示例的方框图。
具体实施例方式
将参照附图，对本发明的优选实施例进行描述。
<第一实施例>
图1是示出了根据本发明的成像设备的第一实施例的方框图。本成像设备1具有通常被分类为光学系统、信号处理系统、记录系统、显示系统和控制系统的组件。
根据本发明的成像设备1通过在捕获运动图像时，在信号处理系统中，以帧内压缩对高像素图像数据进行压缩，产生第一压缩图像，通过在产生第一压缩图像的前周期和/或后周期中，以帧间压缩对的像素图像数据进行压缩，产生第二压缩图像。此外，当指定第二压缩图像的屏幕时，成像设备1通过对包括之前和之后的第二压缩图像和第一压缩图像的其他压缩图像进行解压缩和解码，产生示出了指定屏幕的高分辨率静态图像数据。
于是，根据本实施例的成像设备1在捕获运动图像数据时，与球形快门功能组合使用卷动快门功能。
此外，根据本发明的成像设备1将高分辨率的第一压缩图像的图像电平和低分辨率的第二压缩图像的图像电平校正为近似等效的电平，并进行控制，例如，使第一和第二压缩图像的输出电平恒定。
此外，根据本发明的成像设备1具有三种模式，即，回放模式、静态图像再现模式和流数据改变模式。
此后，将对每个部分的组成和功能进行解释。
光学系统包括透镜光学系统10和如CMOS传感器等图像传感器(IMGSNS)11。
透镜光学系统10包括与对象相对的光学透镜和未示出的光学低通滤波器等。在透镜光学系统10中，通过光学透镜101，对对象的光学图像进行会聚，并在图像传感器11上形成对象的图像。
作为成像元件，图像传感器11例如具有设置有滤色器的CMOS图像传感器，并对由透镜光学系统10形成的对象图像进行光电转换。
图像传感器11具有包括球形快门(global shutter)功能和卷动快门(rolling shutter)功能的快门功能。
根据控制系统的控制，有选择地使用球形快门功能和卷动快门功能，并对快门功能加以控制，从而使其能够在以卷动快门捕获像素的同时，以球形快门捕获图像。即，在捕获一幅运动图像的数据时，一起使用卷动快门功能和球形快门功能。
信号处理系统具有相关双重采样(CDS)电路12，用于通过对从成像传感器11输出的电信号进行采样，来降低噪声；模拟/数字(A/D)转换器13，将由CDS 12输出的模拟信号转换为数字信号；以及图像处理部分(IMGPRC)14，对由A/D转换器13输出的数字信号执行稍后所述的预定图像处理。
根据本发明的图像处理部分14通过以帧内压缩对由球形快门所捕获的像素的数据进行压缩，产生第一压缩图像，以及通过在产生第一压缩图像的周期的前周期和/或后周期中，以帧间压缩对由卷动快门所捕获的像素数据进行压缩，产生第二压缩图像。
如后详细所述，图像处理部分14通过无稀疏地从图像传感器中读取出图像数据来产生第一压缩图像，而通过进行稀疏地从图像传感器中读取出图像数据来产生第二压缩图像。
图像处理部分14在产生第一压缩图像时以帧内压缩，对高像素图像数据进行压缩，而在产生第二压缩图像时，以帧间压缩，对低像素图像数据进行压缩。
此外，当通过以稀疏数据从图像传感器进行读出而产生第二压缩数据时，图像处理部分14执行同色邻近像素的积分处理，并利用稀疏进行读出。
图像处理部分14具有将第一压缩图像的图像电平和第二压缩图像的图像电平校正为近似等效的电平的功能。
如稍后所述，图像处理部分14具有通过根据由其读出第二压缩图像的R电平，执行校正第一压缩图像的图像电平的积分处理，将第一压缩图像的图像电平和第二压缩图像的图像电平校正为近似等效的电平的功能。
此外，图像处理部分14具有通过保持第一压缩图像的图像电平而通过分割积分处理的积分量来校正第二压缩图像的图像电平，将第一压缩图像的图像电平和第二压缩图像的图像电平校正为近似等效的电平的功能。
当指定第二压缩图像的屏幕时，图像处理部分14具有通过对包括第二压缩图像之前和/或之后的第二压缩图像和第一压缩图像的其他压缩图像进行解压缩和解码处理，产生示出了此指定屏幕的高分辨率静态图像数据的功能。
当指定一个流数据上的第一压缩图像的屏幕时，图像处理部分14将第一压缩图像数据的分辨率降低到与第二压缩图像等效的程度，并将一个流数据的第一压缩图像数据替换为降低了分辨率的第一图像数据，并将其重新记录在存储器15中。
图像处理部分14将一个流数据的多个第一压缩图像的分辨率全部降低到与第二压缩图像等效的程度，并将一个流数据的第一压缩图像替换为降低了分辨率的第一图像数据，并将其重新记录在存储器15中。
具有上述功能的图像处理部分14在上述三种模式下(即，回放模式、静态图像再现模式和流数据改变模式)执行以下处理。
图像处理部分14以高分辨率的第一压缩图像和低分辨率的第二压缩图像产生低分辨率的连续视频流，并在回放模式下，对其进行显示。
在静态图像再现模式下，在通过使用高分辨率的第一压缩图像和低分辨率的第二压缩图像回放低分辨率的连续视频流时，由操作者指定特定的图像。
在静态图像再现模式下，当由操作者指定的图像是第一压缩图像时，图像处理部分14输出第一压缩图像的高精确静态图像，并对其进行显示。此外，当指定的图像是第二压缩图像时，图像处理部分14根据该图像的至少一个或多个屏幕、第二压缩图像之前和/或之后的第一压缩图像和第二压缩图像，产生并输出与所指定的图像相对应的高分辨率的图像，并对其进行显示。
在静态图像再现模式下，显示具有高分辨率的第一压缩图像和低分辨率的第二压缩图像的低分辨率连续图像(如缩略图等)，通过操作者的按键操作等进行图像的指定，并由图像处理部分14执行类似的处理。
在流数据改变模式下，根据操作者的按键操作等，图像处理部分14执行将一个指定流数据中的所有高分辨率的第一压缩图像自动替换为低分辨率的第一压缩图像的处理。
通过流数据改变模式的处理，可以缩减文件大小。稍后将更为详细地描述此处理。
即使在对其进行回放时，将运动图像文件停止在特定的图像处，由于运动图像的分辨率较低，即使将其保存为静态图像或进行打印，其仍然具有较差的质量。
为了解决此问题，如图2所示，成像设备1具有以下功能，捕获每秒多帧(例如，30帧)的图像(例如，VGA尺寸)，形成文件，作为运动图像，将运动图像文件中每秒中的几帧(例如，5帧)捕获为具有比运动图像高的分辨率的静态图像(例如，SXGA尺寸)，并将其记录为一个流。
这样能够通过在简单的运动图像文件中插入几幅高分辨率的静态图像，并补偿VGA尺寸的图像和以有规律的时间间隔所捕获的高分辨率的静态图像，即使在任何地方停下来，都能作为高质量的静态图像进行保存和打印。
但是，如果什么都不作，文件大小可能会变大，因为在运动图像文件中存在高分辨率的静态图像，可能会占用具有有限容量的记录存储器15的剩余容量。
因此，在根据本实施例的成像设备1的图像处理部分14中，当操作者判断不必打印在混合静态图像和运动图像的模式下所捕获的图像时，如图2所示，则可以通过将高分辨率的静态图像(SXGA尺寸)转换为来自数据文件的低分辨率图像(VGA尺寸)，并形成简单的运动图像文件，来减小文件大小。
可以通过操作者的按键操作等来执行此操作，从而能够节约存储器的剩余容量。此外，由于只是剪切静态图像的高分辨率信息，在作为运动图像对其进行回放时，并不存在如图像质量的降低等问题。
此外，图像处理部分14除了具有输出视频流的流输出功能之外，还具有判别功能。所述判别功能为当在上述三种模式下输出具有高分辨率的第一压缩图像和低分辨率的第二压缩图像的低分辨率连续视频流时，该功能判别同时输出的第一压缩图像是高分辨率图像还是低分辨率图像，并输出表明第一压缩图像是高分辨率图像还是低分辨率图像的信号。
具体地，当在以N划分的多显示屏幕上存在第一压缩图像时，在第一压缩图像的屏幕附近显示能够判别其是高分辨率图像还是低分辨率图像的标记。此外，在运动图像的显示模式下，显示表示其为高分辨率图像的标记，从而重叠在上方。
此外，作为额外的模式，添加指示图像数据是比每个第一压缩图像高或低分辨率的标志信号，并在向其他设备和如存储卡等记录介质传输图像数据时一起传输。
此外，在指示视频流的文件列表显示屏幕中，一起传输表示在一个流数据中是否存在高分辨率的第一压缩图像、在存在时存在多少屏幕的数据和现有流数据上的位置数据(时间信息)。
记录系统包括存储器15，存储由控制部分执行的控制程序和由图像处理部分14产生的压缩图像的压缩数据。
在作为存储单元的存储器15中，由图像处理部分14存储第一和第二压缩图像的一系列的流数据。
显示系统具有数字/模拟(D/A)转换器18，使存储在嵌入式图像存储器中的图像数据成为模拟数据；以及显示部分19，包括液晶显示器(LCD)等，通过显示输入图像，用作取景器。
控制系统具有图像传感器11；CDS 12；定时发生器17，控制A/D转换器13的操作定时；操作输入部分(OPINPT)20，用于由用户(操作者)输入快门操作和其他命令；图像处理部分14；和控制部分16，包括中央处理单元(CPU)等，读取出存储在存储器15中的控制程序，并根据所读取出的控制程序和用户从操作输入部分20输入的命令，控制整个成像设备1。
当在一个流上捕获具有不同像素数的图像数据时，控制部分(CTL)16进行控制，从而在运动图像的情况下，使用卷动快门功能，而在静态图像的情况下，使用球形快门。
这里，当在一个流上捕获具有不同像素数的图像数据时，对于运动图像使用卷动快门，而对于静态图像，根据摄像机条件判断使用卷动快门还是球形快门。
即，在控制部分16在一系列操作中从成像元件检索到不同的像素数的系统中，当处理相同流上作为运动图像(相对较小的像素数)而检索到的图像和作为静态图像(相对较大的像素数)而检索到的图像时，根据本发明的成像设备1在捕获低像素的情况下，并不使用球形快门，而只在捕获高像素的情况下，判断是否使用球形快门(或机械快门)。
通常，当捕获运动图像级的图像时，顺序执行卷动快门的重复曝光和数据传输。此外，当执行静态图像的连续捕获时，通过按照类似于上述方式的方式连续使用卷动快门、使用机械快门或使用球形快门，来进行控制。
这里，在只使用卷动快门捕获图像时，在图像的顶部和底部发生图像的变形。但是，其是可允许的，因为其是运动图像。
但是，当捕获静态图像时，图像的变形是不能允许的。因此，机械快门和球形快门变为必需。由于机械快门对于以极高的速度进行连续捕获存在限制，球形快门变得必不可少。
这里，当在一个流上捕获具有不同像素数的图像数据时，将卷动快门用于运动图像，而对于静态图像，则根据摄像机条件，判断是使用卷动快门还是球形快门。
图3是示出了使用卷动快门的成像元件(图像传感器)的示例的视图。
如图3所示，当假设在元件中存在从LA到LF的线时，对图像的控制如图4A到4F所示。
通常，当使用此卷动快门时，由于从LA到LF发生曝光时间的差异，发生图像的变形。
图5是示出了在假设如图3所示的元件中存在从LA到LF的线时、图像的控制波形的示例的视图。
在这种情况下，由于使用球形快门，并不存在曝光时间的差异，因而并不发生图像的变形。但是，曝光同时截止，需要同时开始对所有元件的曝光。此外，由于图像传输同时开始，需要比卷动快门更长的时间。
因此，卷动快门具有捕获速度高于球形快门和机械快门的优点。其具有在线之间发生图像变形的缺点。
与此相比，球形快门(或机械快门)具有可以获得使图像的变形不发生的数据。而捕获速度低于卷动快门。
当事先作为摄像机系统来评估这些优点和缺点时，在图像的变形可以被允许且速度是必需的情况下，无论任何像素数的图像，都通过卷动快门进行捕获，而在图像质量优先的情况下，根据普通状况，将球形快门用于该图像数据。
应当注意，不仅应用于在一系列操作中从成像元件检索到不同像素数的系统，还可以类似于处理等效像素数的情况。
在成像设备1中，对象的光学图像通过透镜光学系统10进入图像传感器11，并由图像传感器11进行光电转换，而成为电信号。由CDS 12从所获得的电信号中去除噪声，并由A/D转换器13对其进行数字化，然后，由图像处理部分14将数字信号暂时存储在嵌入式图像存储器中。
在正常状态下，以由定时发生器17根据信号处理系统的控制而产生的恒定帧速率，以图像信号恒定地覆写嵌入在图像处理部分14中的图像存储器。D/A转换器18将嵌入在图像处理部分14中的图像存储器的图像信号转换为模拟信号，并在显示部分19上显示相应的图像。
显示部分19具有成像设备1的取景器的功能。在用户按下(操作)包括在操作输入部分20中的快门按钮之后，控制部分16针对定时发生器17，控制信号处理系统，以便在按下快门按钮之后，立即保持图像信号，即，从而并不以图像信号覆写图像处理部分14的图像存储器。然后，通过预定的方法，对保持在图像处理部分14的图像存储器中的图像数据进行压缩，并记录在存储器15中。
接下来，将对图像处理部分14中所执行的特征处理进行解释。
<在捕获具有不同像素数的图像时的增益可变功率或平均控制>
在一系列的操作中从成像元件检索不同像素数的系统中，当处理相同流上作为运动图像(相对较小的像素数)而检索到的图像和作为静态图像(相对较大的像素数)而检索到的图像时，当捕获较少像素时，输出像素包括至少一个或多个像素的相同颜色像素的积分像素数据。当捕获较多像素时，其变为比捕获较少像素时的积分像素数少的像素数。
由于原始积分像素数的不同，输出像素中的一个像素的输出不同。当判断每个像素的不同数据相同时，由于在图像处理中具体地连续产生了具有不同亮度的图像，产生了古怪的图像。
为了解决该问题，设置以像素数为依据的数字增益(或模拟增益)电路，或以像素数进行平均的电路，并在图像处理部分14中输出像素的部分中设置用于校正每个像素的图像输出的差异产生的电路。
图6是图像传感器的概念图。应当注意，图6中的R、G和B表示三原色红、绿和蓝。
考虑如图6所示的传感器，在捕获静态图像(高像素)时，捕获几乎对应于全部像素的像素。另一方面，在运动图像(低像素)的情况下，捕获全部像素是不必要的，而执行对最低必需像素的捕获，因为允许所捕获的像素数量较少。
通过简单的稀疏消除了通常不必要的像素，但是，当要求运动图像的质量时，作为运动图像，对外围R进行积分，并如图6所示进行(R)检索。
该时刻输出的像素数据在静态图像(高像素)和运动图像(低像素)的情况之间不同，且输出电平的差上升。
为了校正输出电平的差，在高像素和低像素时，通过将输出数据乘以与积分像素的比例相一致的系数，或者以与积分像素数相一致的系数对积分像素数据进行平均，对静态图像和运动图像的输出电平进行校正。
图7是示出了根据本发明的校正处理的概念的视图。在图7中，在校正电路(CRCT)141中执行上述处理。
<高像素时的S/N信息控制>
在一系列的操作中从成像元件检索不同像素数的系统中，当处理相同流上作为运动图像(相对较小的像素数)而检索到的图像和作为静态图像(相对较大的像素数)而检索到的图像时，在低像素捕获的情况下，输出像素包括至少一个或多个像素的相同颜色像素的积分像素数据。在高像素捕获的情况下，其变为比捕获较少像素时的积分像素数少的像素数。
在低像素捕获的情况下，以多个像素的积分产生一个像素的数据。与捕获高像素时的数据相比，输出按照积分数变大。此外，作为S/N，与高像素的S/N相比，其通常在S/N方面为优先信息。
在本实施例中，实现了积分数据的图像质量改进(高图像数据(静态图像的信息)利用运动图像信息的S/N信息，并定义为其具有相对多的噪声)。
由于原始积分像素数的不同，输出像素中的一个像素的输出不同。当判断每个像素的不同数据相同时，由于在图像处理中具体地连续产生了具有不同亮度的图像，产生了古怪的图像。
为了解决该问题，设置以像素数为依据的数字增益(或模拟增益)电路，或以像素数进行平均的电路，并在输出像素的部分中设置用于校正每个像素的图像输出的差异的产生的电路。
在参考图6时，图6示出了对四个像素进行积分的视图。
与单一像素相比，由此输出的(R)信息成为具有大约四倍输出的图像输出。有利地，其通过两步来靠近ISO敏感度而进行工作。在低像素输出时，始终利用此(R)信息。
在高像素输出时，与低像素输出相比，利用单独的像素输出信息r1到r4。
为了调整从图像传感器11输出的信号的电平，在相同的流上，通过由于模拟或数字数据而产生的增益上升来校正此单独的像素信息r1到r4。此增益上升引起了S/N的严重恶化。
由于(R)最初是r1到r4的积分信息，可以由具有较少的噪声的(R)信息来类推其。
相反，单独的像素rn最终成为增益上升的Rn。
即，各个增益上升的数据的和(R1+R2+R3+R4)逻辑上必须等价于作为原始数据的和(r1+r2+r3+r4)的(R)。但是，通常以下关系成立，因为噪声增加，如增益上升(gain-up)等。
r1+r2+r3+r4＞＞ (R)因此，当现有分量(R1+R2+R3+R4)与运动图像信息(R)以及单一像素的地址相一致时，以(R)返回到原始分量(r1+r2+r3+r4)的内容应当由其积分构成，通过以应用于每个数据的增益往回计算。于是，当关系r1+r2+r3+r4＞＞ (R)成立时，所超过的量被判定为噪声，对每个Rn执行在下式中减去与n1到n4相对应的N1到N4的校正(r1-n1)+(r2-n2)+(r3-n3)+(r4-r4)。
在这种情况下，n1到n4可以是常数值，可以是r1与r4的输出比，以及可以是二者的混合。其取决于对于摄像机系统中的噪声分量，哪种噪声占据主导地位。
此外，由于可以在计算中包括误差余量(量化噪声等)，上述等式的右侧并不固定为(R)，而是(R)±x。
此时，x是由于如舍入误差等误差而引起的误差校正数。
<即使在运动图像定时中的回放中，产生静态图像质量的方法>
在一系列的操作中从成像元件检索不同像素数的系统中，此方法是处理相同流上作为运动图像(相对较小的像素数)而检索到的图像和作为静态图像(相对较大的像素数)而检索到的图像的方法，即使在上述回放时，在只能获得运动图像质量的定时，仍然能够通过来自静态图像的周围信息的预测信息，将运动图像质量恢复为静态图像。
混合了运动图像(低像素)和静态图像(高像素)的流变得如图8所示。
这里，在高像素的图像数据(静态图像)In和低像素的图像数据bn(运动图像)之间，存在差异，In具有一个像素的信息，而bn在与一个像素相对应的输出图像信息中具有积分信息的信息。
此外，由于可以对In进行数字积分，In中的实际信息具有静态图像信息和运动图像信息。
这里，根据包括从In预测出的信息的运动图像信息bn，计算出使积分信息成为一块的对象迁移信息。
此外，根据In获得每个积分单一像素的包含比例信息。
因此，为了产生如b5等只具有运动图像的像素数信息的静态图像，如果乘以根据In信息的波动而预测出的每个积分单一像素的分量比例，则恢复出像素分量。通过根据离散的单一像素信息，产生图像，可以产生静态图像质量的图像。此外，因为上述原因，可以根据bn的对象迁移信息和In的包含比例信息，产生b与b之间的图像。
如上所述，本第一实施例中的成像设备1，当捕获运动图像时，在信号处理系统中，以帧内压缩对高像素的图像数据进行压缩，以产生第一压缩图像，在产生第一压缩图像的周期的前周期和/或后周期中，以帧间压缩对低像素的图像数据进行压缩，以产生第二压缩图像，以及当指定第二压缩图像的一个屏幕时，成像设备1执行对第二压缩图像和包括第二压缩图像之前和/或之后的第一压缩图像的其他图像的解压缩和解码，以产生示出了一个指定屏幕的高分辨率静态图像数据。
于是，根据本实施例的成像设备1具有能够高速执行连续捕获同时防止图像的变形的产生的优点，因为一起使用了卷动快门功能和球形快门功能。
于是，根据本实施例的成像设备1具有将第一压缩图像的图像电平和第二压缩图像的图像电平校正为近似等效的电平以及能够防止亮度连续不同的图像的产生的优点。
此外，根据本实施例的成像设备1能够根据数据文件，将高分辨率的静态图像转换为低分辨率的图像，形成简单的运动图像文件，以减小文件大小，由操作者以按键操作等执行，并在操作者判断在静态图像和动态图像相混合的模式下所捕获的图像不必打印等时，使其能够节省存储器的剩余容量。此外，其具有在作为运动图像回放时不存在图像质量恶化的问题的优点，因为只是剪切了静态图像的高分辨率信息。
<第二实施例>
图9是示出了根据本发明的点成像设备的第二实施例的方框图。
第二实施例的成像设备1A与上述第一实施例的成像设备1的不同点在于成像设备1A具有位于图像传感器11和CDS 12之间的读出电路(RO)，并采用对像素的积分进行平均/求和的图像读出控制方法。
以定时发生器17的定时对读出电路21进行控制。由于其他组成基本上类似于第一实施例，此后将主要对读出电路21的组成和功能进行解释。
如上所述，在本第二实施例中，设置读出电路21，并采用对像素的积分进行平均/求和的图像读出控制方法。
通常，在其捕获小于图像元件的像素数时，输出数据稀疏像素或执行求和积分处理。在简单稀疏的情况下，尽管结构简单，但由于从图像中减去了像素，恐怕会引起图像的恶化。
另一方面，在求和积分方法中，尽管其结构上比简单稀疏复杂，由于增加了像素，在所增加的数据中包括了所谓的舍入信息，其与简单稀疏相比，具有几乎不会发生图像质量恶化的优点。
此外，由于增加了像素，外观的敏感度上升，其具有即使在黑暗中仍能掌管大量信息的优点。
在本第二实施例中，采用了稍后将进行解释的、包括上述特征的像素控制方法。
图10是图像传感器的概念图。应当注意，图10中的RGB表示三原色中的红、绿和蓝。
考虑如图10所示的传感器，关注R颜色。
通常，考虑四个像素的求和积分，将作为(R)＝R1+R2+R3+R4的(R)用作图像输出。
通常，由后一级中的A/D转换器13将此(R)转换为数字信号。
向A/D转换器13提供与A/D转换有关的参考电压，被称为Vref电压。按照预定的比特数进行分割的Vref电压成为了A/D的分辨率。
通常，将参考电压Vref确定为单一像素的饱和电平附近，作为其上限。
由于(R)是多个像素的求和电平信号，当对较亮的对象(具有高亮度的对象)进行成像时，其可能饱和。
但是，不利地，在暗对象的情况下(具有低亮度的对象)，由于即使电平的输出信号淹没在噪声中，仍添加和捕获通常的单一像素，可以确保预定的信号电平。
考虑像素平均，在模拟级，对R1、R2、R3和R4进行平均。
图10是示出了如上构成的读出电路21的示例的电路图。
此读出电路21具有亮度检测部分221；平均读出电路222，作为像素平均读出电路，能够对来自图像传感器11的多个像素数据进行平均，并对其进行读取；加法读出电路223，作为像素加法读出电路，能够将来自像素传感器11的多个像素数据相加，并对其进行读取；以及选择电路224，根据亮度检测电路221的检测输出，选择平均读出电路222和加法读出电路223的一个输出。
加法读出电路223具有除法电路2231到2234和加法电路2235。
加法读出电路223在除法电路2231到2234中将每个输入信号R1到R4除以预设的相加数，然后在加法电路2235中相加。
由于与加法像素的信息相比，图11所示的电路的平均像素的信息输出几乎与单一像素的输出相同，在暗位置中，输出电平较低，但是，与单一像素相比，由于包括了周围像素的信息，图像质量恶化的程度较低，且噪声电平较低。此外，在其较亮时，也不存在饱和的问题。
根据上述基础，选择电路224接收亮度检测部分221的亮度信息(照度信息)S221，并与预设阈值N进行比较，用于判断是执行像素平均还是执行像素相加。
当亮度信息大于阈值N(S221＞N)时，选择电路224将其视为亮对象，并输出选择信号S224，选择平均读出电路222。
另一方面，当亮度信息等于或小于阈值N(S221≤N)时，选择电路224将其视为暗对象，并输出选择信号S224，选择加法读出电路223。
如上所述，由于本第二实施例中的成像设备1A具有读出电路21，所述读出电路21包括以下功能对来自图像传感器11的多个成像元件的多个像素数据输出进行平均和读出以及相加和读出，并根据对象的亮度，选择读出并输出所读出的平均数据或读出相加数据并输出所选数据，成像设备1A除了上述第一实施例的优点之外，还具有在亮对象的情况下输出不饱和且能够在暗对象的情况下将图像质量恶化程度抑制到较低水平的优点。
<第三实施例>
图12是示出了根据本发明的成像设备的第三实施例的方框图。图13是示出了根据第三实施例的读出电路的结构的示例的方框图。
本第三实施例的成像设备1B与上述第二实施例的成像设备的不同点在于读出电路21A根据亮度选择平均(高亮度到正常亮度)、第一预定量的相加(稍低亮度)、第二预定量的相加(中等低亮度)和第三预定量的相加(相当低亮度)，根据相加的程度，改变A/D转换器13A的参考电压Vref，并已知电平的波动。
具体地，指定参考电压源电路(RVSP)22，从而在选择电路224A选择平均读出处理时，向A/D转换器13A提供参考电压Vref1，当其选择第一预定量的相加时，向A/D转换器13A提供参考电压Vref2，当其选择第二预定量的相加时，向A/D转换器13A提供参考电压Vref3，以及当其选择第三预定量的相加时，向A/D转换器13A提供参考电压Vref4。
在这种情况下，选择电路224A用作相加像素数改变电路，以及选择电路224A和参考电压源电路22用作参考电压改变电路。
其他组成类似于第二实施例。
本第三实施例具有能够充分地抑制由亮度的改变而引起的电平的波动的优点。
尽管已经参照为了描述的目的而选择的特定实施例，对本发明进行了描述，应当清楚的是，在不偏离本发明的基本概念和范围的前提下，本领域的普通技术人员可以对其进行多种修改。
权利要求
1.一种成像设备，包括成像元件，在其上形成对象的光学图像；信号处理系统，从所述成像元件读取出具有高分辨率的高图像数据或具有低分辨率的低图像数据，并针对读取出的图像数据执行预定的图像处理，其中所述信号处理系统包括图像处理部分，产生在捕获一幅运动图像数据时以帧内压缩对高图像数据进行压缩的第一压缩图像和在产生所述第一压缩图像的前周期和/或后周期中以帧间压缩对低图像数据进行压缩的第二压缩图像，作为一个流。
2.根据权利要求1所述的成像设备，其特征在于所述高图像数据包括未经稀疏地从所述成像元件读取出的图像数据或由所述图像处理系统以任意的稀疏量进行了稀疏而读取出的图像数据，以及所述低图像数据包括由所述图像处理系统以任意的稀疏量进行了稀疏以变为比所述高图像数据低的分辨率的、从所述成像元件读取出的图像数据。
3.根据权利要求1所述的成像设备，其特征在于包括球形快门功能和卷动快门功能，作为快门功能，其中所述图像处理部分根据以所述球形快门所捕获的图像数据来产生第一压缩图像，而根据以所述卷动快门所捕获的图像数据来产生第二压缩图像。
4.根据权利要求2所述的成像设备，其特征在于所述图像处理部分将所述第一压缩图像的图像电平和所述第二压缩图像的图像电平校正为近似等效的电平。
5.根据权利要求1所述的成像设备，其特征在于当指定所述第二压缩图像的一个屏幕时，所述图像处理部分通过以包括所述第二压缩图像之前和/或之后的所述第一压缩图像的其他图像对所述第二压缩图像的屏幕进行解压缩和解码，产生表示所述一个指定屏幕的高分辨率静态图像数据。
6.根据权利要求1所述的成像设备，其特征在于还包括流输出单元，通过使用所述高分辨率的第一压缩图像和所述低分辨率的第二压缩图像，输出低分辨率和连续的视频流；判别单元，判别所述第一压缩图像是否为高分辨率或低分辨率的；以及判别信号输出单元，通过所述判定单元，输出表示所述第一压缩图像是否为高分辨率或低分辨率的信号。
7.根据权利要求1所述的成像设备，其特征在于包括存储单元，用于存储一系列所述第一压缩图像和所述第二压缩图像的流数据，其中当指定一个流数据上的所述第一压缩图像的一个屏幕时，所述图像处理部分将所述第一压缩图像的分辨率降低到所述第二压缩图像的等效程度，并将所述流数据中的所述第一压缩图像替换为对其分辨率进行了缩减的第一压缩图像，并将其重新存储在所述存储单元中。
8.根据权利要求8所述的成像设备，其特征在于包括存储单元，用于存储一系列所述第一压缩图像和所述第二压缩图像的流数据，其中所述图像处理部分将一个流数据上的多个第一压缩图像中的所有图像的分辨率降低到所述第二压缩图像的等效程度，并将所述流数据中的所述第一压缩图像替换为对其分辨率进行了缩减的第一压缩图像，并将其重新存储在所述存储单元中。
9.根据权利要求4所述的成像设备，其特征在于当稀疏地从所述成像元件读取出图像数据时，所述信号处理系统通过执行同色邻近像素的积分处理，产生稀疏数据。
10.根据权利要求4所述的成像设备，其特征在于所述成像处理部分通过根据对所述第二压缩图像执行积分处理读出的R电平，来校正所述第一压缩图像的图像电平，将所述第一压缩图像的图像电平和所述第二压缩图像的图像电平校正为近似等效的电平。
11.根据权利要求9所述的成像设备，其特征在于所述成像处理部分通过保持所述第一压缩图像的图像电平，并通过分割所述积分处理的积分量来校正所述第二压缩图像的图像电平，将所述第一压缩图像的图像电平和所述第二压缩图像的图像电平校正为近似等效的电平。
12.根据权利要求1所述的成像设备，其特征在于所述信号处理系统包括像素平均读出电路，能够对来自所述成像元件的多个像素数据进行平均并读出；像素加法读出电路，能够对来自所述成像元件的多个像素数据进行相加并读出；亮度检测器，检测对象的亮度；以及选择器，根据所述亮度检测器的检测输出，选择所述像素平均读出电路和所述像素加法读出电路的一个输出。
13.根据权利要求12所述的成像设备，其特征在于所述信号处理系统包括相加像素改变电路，根据所述亮度检测器的输出，改变所述像素相加读出电路中相加的像素数；转换器，将由所述选择器选中的所述像素相加读出电路或所述像素平均读出电路的输出数据从模拟数据转换为数字数据；以及参考电压改变电路，根据所述亮度检测器的输出或所述相加像素读出电路的输出，改变所述转换器的参考电压值。
14.一种图像设备的图像产生方法，对从成像元件读取出的图像数据执行预定的图像处理，具有以下步骤通过使对象的光学图像形成在所述成像元件上，从所述成像元件中读取出具有高分辨率的高图像数据或具有低分辨率的低图像数据；通过在捕获一幅运动图像数据时，以帧内压缩对高图像数据进行压缩，产生第一压缩图像；通过在产生所述第一压缩图像的前周期和/或后周期中，以帧间压缩对低图像数据进行压缩，产生第二压缩图像；以及产生以帧内压缩对高图像数据进行压缩的第一压缩图像和在产生所述第一压缩图像的前周期和/或后周期中以帧间压缩对低图像数据进行压缩的第二压缩图像，作为一个流。
全文摘要
一种成像设备，具有非传统的全新成像方法，以及一种该成像设备的图像产生方法，其中所述成像设备具有图像处理部分，产生在捕获一幅运动图像数据时以帧内压缩对高图像数据进行压缩的第一压缩图像和在产生所述第一压缩图像的前周期和/或后周期中以帧间压缩对低图像数据进行压缩的第二压缩图像，作为一个流，其中当指定第二压缩图像的一个屏幕时，所述图像处理部分通过对第二压缩图像和包括第一压缩图像的其他压缩图像进行解压缩和解码，产生表示一个指定屏幕的高分辨率静态图像数据。
文档编号H04N5/225GK1662038SQ20051005245
公开日2005年8月31日 申请日期2005年2月28日 优先权日2004年2月27日
发明者芳川诚司, 泽田隆一 申请人:京瓷株式会社