摄像设备及其控制方法

专利名称：摄像设备及其控制方法
技术领域：
本发明涉及一种具有摄像装置的摄像设备及其控制方法，尤其涉及一种装配有诸如互补金属氧化物半导体图像传感器(以下称为CMOS传感器)等的具有A/D转换器的固态摄像装置的摄像设备及其控制方法。
背景技术：
随着CMOS逻辑处理和图像传感器处理的融合，使得可以在诸如CMOS传感器等的固态摄像装置的芯片上装配模拟电路、数字电路、信号处理器等。例如，具有在其上二维排列了像素并且装配了 A/D转换器的图像传感器芯片的CMOS传感器已进入实际应用。在这种类型的CMOS传感器中，使用列并行A/D转换架构，在该架构中，对于二维排列的像素的列中的每一列，都设置相应的A/D转换器，从而可以将各A/D转换器的转换速率从像素读出速率降低成线读出速率。其优点在于可以降低整体功耗、并且可以容易地增大 CMOS传感器的读出速率。作为使用列并行A/D转换架构的CMOS传感器，已知使用利用三角波扫描的所谓的斜坡型A/D转换器的CMOS传感器(例如，参考日本特开平5-48460号公报)。在该CMOS传感器中，将从模拟值输入端子输入的模拟值存储在模拟值存储单元中，并且将这些模拟值输入给比较器各自的一个输入端子，而将随着计数器的工作而逐渐增大的来自D/A转换器的基准值输入给比较器各自的另一输入端子。当各个模拟值变得小于相应的基准值时，将计数器数据存储在数字值存储单元中。随后，通过扫描电路从数字值存储单元依次读取多个计时器数据作为数字值。如上所述，对该CMOS传感器的比较器应用基准值(即三角波)。例如，在CMOS传感器装配有8位A/D计数器的情况下，需要用于进行256 (其中，256为2的8次方)步处理的时间段来扫描三角波，以与计数器的工作同步改变三角波的电压。以模拟电压的形式提供三角波，并且根据RC时间常数来确定稳定三角波所需的时间段。因此在原理上难以将每一步处理时间缩短成小于稳定三角波所需的时间段。换句话说，扫描三角波所需的步数随着A/D转换器中所使用的位数的增大而增大，这使得难以增大处理速度。对于使用斜坡型A/D转换器的CMOS传感器，因此难以同时满足用于增大A/D转换器的位数的要求和用于增大处理速度的要求。将使用列并行A/D转换架构的一些CMOS传感器配置成使η位计数器以用于进行 2"步的计数以增大斜坡型A/D转换器的位数的模式、或者以用于在将位数减少成小于η时进行较少步的计数以增大处理速度的模式来工作(例如，参考日本特开2005-333316号公报)。利用该CMOS传感器，通过选择性地使用这两个工作模式的其中一个，可以拍摄高速移动的被摄体，并且可以拍摄具有平滑灰度的照片。然而，对于该CMOS传感器，为了增大处理速度，必须降低位数，因而使得灰度表现变得粗糙。换句话说，即使可以选择重视增大位数的工作模式或重视增大处理速度的工作模式，也难以同时满足用于增大位数的要求和用于增大处理速度的要求。

发明内容
本发明提供一种能够实质性提高A/D转换速度、同时能够防止摄像信号的灰度表现变得粗糙的摄像设备及其控制方法。根据本发明的第一方面，提供一种摄像设备，包括二维排列的像素，其中每个像素均具有光电转换元件；针对所述像素的各列设置的列放大器；A/D转换器，其设置在所述列放大器的输出侧，并且具有第一工作模式和第二工作模式，其中，在所述第一工作模式下，所述A/D转换器以第一转换位数和第一转换速度工作，在所述第二工作模式下，所述A/ D转换器以小于所述第一转换位数的第二转换位数和大于所述第一转换速度的第二转换速度工作；以及扩展处理单元，用于将从以所述第二工作模式工作的所述A/D转换器输出的多个二维排列的像素数据相加在一起，从而从所述第二转换位数扩展所述像素数据的灰度位数。根据本发明的第二方面，提供一种用于摄像设备的控制方法，其中，所述摄像设备包括二维排列的像素，其中每个像素均具有光电转换元件；针对所述像素的各列设置的列放大器；以及A/D转换器，其设置在所述列放大器的输出侧，所述控制方法包括以下步骤使所述A/D转换器以第一工作模式或第二工作模式工作，其中，在所述第一工作模式下，所述A/D转换器以第一转换位数和第一转换速度工作，在所述第二工作模式下，所述A/ D转换器以小于所述第一转换位数的第二转换位数和大于所述第一转换速度的第二转换速度工作；以及将从以所述第二工作模式工作的所述A/D转换器输出的多个二维排列的像素数据相加在一起，从而从所述第二转换位数扩展所述像素数据的灰度位数。利用本发明，通过将从A/D转换器输出的多个像素数据相加在一起，可以扩展灰度位数，从而在重视增大处理速度的工作模式下，可以提高A/D转换速度，同时可以防止图像数据(摄像信号)的灰度表现变得粗糙。通过以下参考附图对典型实施例的说明，本发明的其它特征将显而易见。


图1是示出根据本发明第一实施例的摄像设备的框图；图2是示意性示出装配到摄像设备的CMOS传感器的像素排列的图；图3是示出在静止图像拍摄时摄像设备进行列偏移检测和校正所使用的定时信号、并示出与该定时信号同步输出的传感器输出的图；图4是示出在运动图像拍摄时摄像设备进行列偏移检测和校正所使用的定时信号、并示出与该定时信号同步输出的传感器输出的图；图5是详细示出CMOS传感器的示例性结构的电路图；图6是示出CMOS传感器的工作的时序图；图7是示出CMOS传感器的斜坡型A/D转换器的示例性工作的图；图8A 8C是示意性示出由图1所示信号处理电路进行的信号处理过程的图，其中，图8A示出具有10位整数部分和2位小数部分的12位长(二进制)的像素数据阵列， 图8B示出将两个像素数据A、B相加在一起、然后除以2的2像素插值的过程，图8C示出将四个像素数据A D相加在一起、然后除以4的4像素插值的过程；图9A是示出在静止图像拍摄时要进行图1所示的信号处理电路的颜色插值处理的示例性像素排列的图； 图9B 9D是示出颜色插值处理之后的红色(R)、绿色(G)和蓝色(B)颜色像素的排列的图；图9E 9G是示出对于各个像素数据的运算处理的内容和通过该运算处理扩展后的像素数据的灰度位数的图；图10是示出在其中示出静止图像拍摄时ISO感光度、增益和灰度位数之间的关系的增益切换表的图；图IlA IlF是示出用于大小转换至运动图像大小的、由图1所示信号处理电路进行的缩小变倍处理的图，其中，图IlA IlC示出缩小变倍之后的红色(R)、绿色(G)和蓝色⑶颜色像素的排列，并且图IlD IlF示出用于缩小变倍的插值公式；图12是示出在其中示出运动图像拍摄时ISO感光度、增益和灰度位数之间的关系的增益切换表的图；图13A和13B是示出从CMOS传感器输出的传感器的读出和闪光灯测光之间的关系的图，其中，图13A示出EF评价块区域上通过闪光灯预发光所生成的光电荷的累积的示例性时序，并且图13B示出光强度随着时间过去的变化；以及图14A 14D是示出EF评价块区域上的光电荷的累积期和光强度随着时间过去的变化的图，其中，图14A和14B示出CMOS传感器的光电荷读出期长于累积期的情况，并且图14C和14D示出光电荷读出期短于累积期的情况。
具体实施例方式下面参考示出本发明优选实施例的附图详细说明本发明。第一实施例图1以框图示出根据本发明第一实施例的摄像设备。参考图1，摄像设备包括作为固态摄像装置的CMOS图像传感器(CMOS传感器)103。光通过镜头101和快门光圈102入射到CMOS传感器103，并且在CMOS传感器103 上形成光学图像。CMOS传感器103将与光学图像相对应的光学信号转换成电信号并输出该电信号。图2示意性示出CMOS传感器103的像素排列。如图2所示，CMOS传感器103包括利用光照射作为光电转换元件的光电二极管(未示出)的有效像素区域203，并且包括水平光学黑体区域(以下称为HOB区域)201和垂直光学黑体区域(以下称为VOB区域)202。 在HOB区域201中，通过例如铝薄膜遮挡几列到几十列上的光照射。在VOB区域202中，通过例如铝薄膜遮挡几行到几十行上的光照射。再参考图1，摄像设备包括同步信号生成器(以下称为SSG) 104、时序生成器(以下称为TG) 105、窗口电路106、列偏移消除电路107、乘法器(乘法单元)108、信号处理电路 109和系统控制器110。TG 105、窗口电路106、乘法器108和信号处理电路109在系统控制器110的控制下工作。SSG 104生成水平同步信号和垂直同步信号(以下分别称为HD信号和VD信号)， 并且将这些信号提供给TG 105和窗口电路106中的每一个。与HD信号和VD信号同步，TG 105生成用于驱动CMOS传感器103和快门光圈102的控制信号。与HD信号和VD信号同步，并且在系统控制器Iio的控制下，窗口电路106生成用于驱动列偏移消除电路107的控制信号。列偏移消除电路107检测从CMOS传感器103输出的图像数据的列偏移成分，并且从有效像素区域中的图像数据减去(或者消除)列偏移成分。使用具有可变相乘系数的乘法器108来改变摄像信号感光度(或者图像数据感光度)，即输出与输入光量的比。信号处理电路109对图像数据进行插值处理、颜色转换处理等。信号处理电路109还进行用于将图像数据转换成可显示在显示装置上的图像数据的缩小/放大变倍处理，并且将图像数据转换成例如适于记录装置(未示出)的JPEG图像数据。如后所述，系统控制器110确定用于A/D转换器(后面说明)的工作模式和参数。接着说明摄像设备的操作。基于由SSG 104生成的HD信号和VD信号，T G 105生成用于驱动CMOS传感器103 的控制信号。在正在从TG 105输入控制信号时，CMOS传感器103将通过镜头101和快门光圈102的光学信号转换成电信号。将从CMOS传感器103读取的数字图像信号(图像数据)提供给列偏移消除电路107。图3示出在静止图像拍摄时摄像设备进行列偏移检测和校正所使用的定时信号， 并且示出与该定时信号同步输出的传感器输出。参考图1和3，说明静止图像拍摄时的列偏移检测处理。根据来自系统控制器110 的指示，TG 105控制快门光圈102关闭快门。在关闭快门的状态下，从CMOS传感器103读取遮光图像数据。在参考HD和VD信号时，窗口电路106向列偏移消除电路107提供垂直检测允许信号VWDET和水平检测允许信号HWIN，其中，VffDET和HWIN分别指示通过快门遮光的有效像素区域中的垂直列偏移检测期和水平列偏移检测期。列偏移消除电路107根据VWDET和 HWIN计算列偏移数据。接着说明静止图像拍摄时的列偏移消除处理。根据来自系统控制器110的指示， TG 105控制快门光圈102打开快门。然后，以预定光圈状态在CMOS传感器103上形成被摄体图像，并且从CMOS传感器103读出图像数据。窗口电路106向列偏移消除电路107提供分别指示有效像素区域中的垂直列偏移消除期和水平列偏移消除期的垂直消除允许信号VWCOL和水平消除允许信号HWIN。列偏移消除电路107从有效像素信号(有效像素数据)减去根据VWCOL基于图像数据针对每一列所计算出的列偏移数据，从而消除列偏移。在具有X-Y地址型读出结构的CMOS传感器103中，可能发生所谓的列偏移。列偏移是指由于列之间元件特性变化的不同而在读出时不同地应用于各个列的偏移。在从HOB 区域201、VOB区域202和有效像素区域203(图2所示)读出的路径中共用的同一列上的像素上均等地生成列偏移。在图3所示的例子中，将垂直列偏移检测期设置为960条线，并且通过对这960条线进行相加平均来计算列偏移数据。除列偏移以外，在列偏移检测线上叠加随机噪声。为抑制随机噪声以精确地提取列偏移成分，优选确保足够数量的检测线。通过作为感光度切换单元的乘法器108将从列偏移消除电路107输出的图像数据提供给信号处理电路109。 然后，在信号处理电路109中对图像数据进行信号处理，从而将图像数据转换成用于输出的适于显示装置和记录装置的图像数据。图4示出在运动图像拍摄时摄像设备进行列偏移检测和校正所使用的定时信号， 并且示出与该定时信号同步输出的传感器输出。
参考图1和4，不同于静止图像拍摄时，在同一读出帧(垂直期)中进行运动图像拍摄时的列偏移检测和消除。根据来自系统控制器Iio的指示，TG 105控制快门光圈102 以打开快门。在预定光圈状态下，在CMOS传感器103上形成被摄体图像，并且从传感器103 读出图像数据。在参考HD和VD信号时，窗口电路106向列偏移消除电路107提供分别指示VOB区域202 (图2)中的垂直列偏移检测期和水平列偏移检测期的垂直水平检测允许信号VWDET 和水平检测允许信号HWIN。列偏移消除电路107根据VWDET和HWIN计算列偏移数据。窗口电路106向列偏移消除电路107提供分别指示有效像素区域203 (图2)中的垂直列偏移消除期和水平列偏移消除期的垂直水平消除允许信号VWCOL和水平消除允许信号HWIN。列偏移消除电路107从有效像素信号减去根据VWCOL基于图像数据针对每一列所计算出的列偏移数据，从而消除列偏移。在CMOS传感器103中，如上所述，在从HOB区域201、VOB区域202和有效像素区域203的读出路径中共用的同一列上的像素上均等地生成列偏移。因而，如对于静止图像一样，列偏移检测和消除对于运动图像极为有效。在图4所示的例子中，将垂直列偏移检测期设置为40条线，并且通过对这40条线进行相加平均来计算列偏移数据。另外，在运动图像的情况下，如对于静止图像一样，在列偏移检测线上叠加随机噪声以及列偏移。为抑制随机噪声以精确提取列偏移成分，优选确保足够数量的检测线。然而，在运动图像拍摄的情况下，由于每一帧的读出时间随着读出帧(垂直期)中的检测线的数量的增大而增大，因而运动图像的帧频随着检测线的数量增大而减小。这使得难以确保足够数量的检测线。因此，在运动图像拍摄时，使用这样一种技术，该技术用于通过较少数量的检测线获得列偏移数据，并且对多个帧的多个列偏移数据进行平均(即，使用这多个帧的读出时间)，以提高列偏移数据的精度。通过乘法器108将从列偏移消除电路107输出的图像数据提供给信号处理电路109，在信号处理电路109中，对图像数据进行信号处理以将其转换成用于输出的适于显示装置和记录装置的图像数据。接着说明CMOS传感器103的结构和工作。图5以电路图详细示出CMOS传感器 103的示例性结构。参考图5，CMOS传感器103包括垂直扫描电路500、斜坡信号生成电路529、格雷码计数器530、水平扫描电路531和格雷/ 二值转换器542。如图所示，CMOS传感器103包括以矩阵二维排列的多个像素。尽管图5仅示出像素509a 509f，但是CMOS传感器103实际包括大量像素。像素509a 509f与垂直扫描电路500连接，其中，垂直扫描电路500从以矩阵排列的像素中顺序选择在行方向上排列的像素，作为读出行。像素509d 509f分别包括作为光电转换元件的光电二极管(以下称为 PD) 503a 503c。通过垂直扫描电路500控制复位晶体管(以下称为复位Tr) 501a 501c的ON/OFF，并且复位Tr 501a 501c工作以复位储存在PD 503a 503c中的光学信号电荷。通过垂直扫描电路500控制传送晶体管(以下称为传送Tr) 502a 502c的0N/0FF，并且传送Tr 502a 502c工作以将储存在PD 503a 503c中的光学信号电荷传送给浮动扩散(以下称为FD) 504a 504c。FD 504a 504c将所传送的光学信号电荷转换成FD电位并且存储它们。如后所述，通过垂直扫描电路500控制选择晶体管(以下称为选择Tr) 505a 505C的0N/0FF，并且选择Tr 505a 505c通过作为缓冲放大器的像素源极跟随器(以下称为像素SF) 506a 506c将FD电位输出给垂直输出线508a 508c。

CMOS传感器103包括分别与垂直输出线508a 508c连接的列读出电路515a 515c。列读出电路515a 515c分别包括开关晶体管516a 516c和电容器518a 518c。这些晶体管和电容器分别构成用于存储S信号(信号电荷)的样本保持电路(以下称为S/H(S))。选择Tr 520a 520c均是用于选择S/H(S)信号的晶体管。列读出电路515a 515c还分别包括构成用于存储N信号(噪声电荷)的样本保持电路(以下称为S/H(N))的开关晶体管517a 517c和电容器519a 519c。选择Tr 521a 521c均是用于选择S/H(N)信号的晶体管。列读出电路515a 515c分别包括列放大器523a 523c。分别根据电容器522a 522c,524a 524c和525a 525c之间的电容比确定这些列放大器的增益，并且分别通过开关晶体管526a 526c切换该增益。此外，列读出电路515a 515c包括比较器527a 527c和用于临时数据存储的存储器528a 528c。将来自列放大器523a 523c的输出和来自斜坡信号生成器529的输出分别提供给比较器527a 527c。在来自比较器527a 527c的输出信号的切换时刻， 例如，在从低(L)电平切换成高(H)电平的时刻，将来自格雷码计数器530的输出编码锁存在存储器528a 528c中。如上所述，由比较器527a 527c、存储器528a 528c、斜坡信号生成器529和格雷码计数器530构成斜坡型A/D转换器。附图标记538表示用作列放大器523a 523c中的信号放大的基准的基准电压VREF。如图所示，将斜坡型A/D转换器布置在列放大器523a 523c的输出侧。在所示例子中，垂直扫描电路500通过第m行(其中，m为等于或大于2的整数) 的行选择线(以下称为PSEL_m)510、第m行的复位信号线(以下称为PRES_m) 511和第m行的信号传送线(以下称为PTX_m)512与第m行的像素509d 509f连接。垂直扫描电路500还通过第(m-1)行的行选择线(以下称为PSEL_m_l)、第(m_l) 行的复位信号线(以下称为PRES_m-l)和第(m-1)行的信号传送线(以下称为PTX_m_l) 与像素509a 509c连接。在图1所示系统控制器110的控制下，从TG 105 (图1)向S/H(N)提供用于确定读出期的信号(以下称为PTN) 532，并且向S/H(S)提供用于确定读出期的信号(以下称为 PTS) 534。TG 105输出用于选择S/H(N)并确定比较器527a 527c的读出期的信号(以下称为ADN) 535，并且输出用于选择S/H(S)并确定比较器527a 527c的读出期的信号(以下称为ADS) 536。
水平扫描电路531根据来 自各个列的存储器528a 528c的输出，选择读出列。格雷/ 二值转换器542是用于将格雷码转换成二值码的编码转换单元。具体地，通过水平扫描电路531顺序选择存储器528a 528c的输出，将该输出读取至水平输出线541，并且通过格雷/ 二值转换器542将其均输出为摄像信号(VOUT)。图6以时序图示出图5所示CMOS传感器103的工作。在图6中，省略各个信号的后缀。以下参考图5和6说明像素509d的工作。其它像素509a 509c、509e和509f 以与像素509d相同的方式工作。在开始拍摄操作时，光入射到PD 503a上，并且在PD 503a 上生成光学信号电荷。FD 504a开始光学信号电荷的累积，并且垂直扫描电路500顺序扫描各个行。当扫描到达第m行时，PSEL_m 511变成H电平。然后，PRES_m 512变成H电平，因而复位FD 504a。然后，通过像素SF506将包括复位噪声的来自FD 504a的电平信号VLO (以下称为复位电平信号Vn)读出到垂直输出线508。在PTN_m 532的H电平期(以下称为N 读取时间)期间，将复位电平信号Vn作为N信号存储在S/H(N)中。随后，PTX_m 512变成H电平，并且将PD 503a上所生成的电荷读出到FD 504a。 然后，通过像素SF 506将来自FD 504a的电平信号Vs读出到垂直输出线508。在PTS_m的 H电平期(以下称为S读取期)期间，将电平信号Vs作为S信号存储在S/H(S)中。在ADN 535的H电平期(以下称为N-AD期)期间，通过列放大器523a读出存储在S/H(S)中的N信号。在ADS 536的H电平期(以下称为S-AD期)期间，通过列放大器 523a读出存储在S/H(S)中的S信号。列放大器523a放大并输出N信号和基准电压VREF 538之间的差或S信号和VREF 538之间的差。通过根据GNSEL 537的0N/0FF所选择的电容器524a或525a的负载电容值，确定列放大器523a的增益，并且可以以两个等级切换和设置该增益。通过添加用于切换列放大器523a的增益的增益切换电路，可以增加增益切换步数。然而，诸如晶体管和电容器等的增益切换电路组件的添加(尤其电容器的添加)增大了 CMOS传感器的芯片大小，并降低了列放大器工作的通过率。对于当前的半导体加工技术，适合将增益切换步数设置成1 8的值，例如4。在N-AD期，比较器527a将通过列放大器523a放大并输出的N信号与从斜坡信号生成器529所提供的斜坡信号进行比较。N信号对应于图6所示的CAMPO信号。与格雷码计数器530变成0时同步，斜坡信号生成电路529开始从初始电压值开始逐渐改变斜坡信号的电压。当斜坡信号达到与N信号相同的电平时，比较器527a的输出从L电平改变成H电平。在该时刻，将格雷码计数器530的输出值作为与N信号相对应的数字编码锁存并存储在存储器528a中。 在S-AD期，比较器527a将通过列放大器523a放大并输出的S信号与从斜坡信号生成器529所提供的斜坡信号进行比较。S信号对应于图6所示的CAMPO信号。
与格雷码计数器530变成0时同步，斜坡信号生成电路529再次开始从初始电压值改变斜坡信号电压。当斜坡信号达到与S信号相同的电平时，比较器527a的输出从L电平改变成H电平。在该时刻，将格雷码计数器的输出值作为与S信号相对应的数字编码锁存并存储在存储器528a中。
接着通过从S信号减去N信号来计算各N信号和S信号之间的差，从而获得S-N信号。通过水平扫描电路531，基于每一列将第m行的S-N信号顺序读出到水平输出线541， 并且将其提供给格雷/ 二值转换器542。转换器542对于各S-N信号进行从格雷码向二值码的编码转换，并且以数字形式输出转换后的S-N信号作为CMOS传感器103的传感器输出 VOUToS信号相当于N信号与基于PD 503a中生成的光学信号电荷的信号的和。通过对 S和N信号进行微分运算，进行CDS操作，从而从CMOS传感器103的传感器输出VOUT消除 CMOS传感器(摄像装置)中所导致的复位噪声和Ι/f噪声。然后，以与通过列电路之间的特性差异所导致的列偏移叠加的状态，输出摄像信号(图像数据)。接着对于由图5所示的比较器527a、存储器528a、斜坡信号生成器529和格雷码计数器530所构成的斜坡型A/D转换器的工作，说明满刻度范围的位数和转换时间之间的关系。斜坡型A/D转换器的特征在于，其具有多个工作模式并且能够可变地改变满刻度范围。更具体地，斜坡型A/D转换器至少包括第一工作模式和第二工作模式。在第一工作模式下，A/D转换器以第一转换位数和第一转换速度工作。在第二工作模式下，A/D转换器以小于第一转换位数的第二转换位数和大于第一转换速度的第二转换速度工作。图7示出斜坡型A/D转换器的工作的例子。在图7中，横轴是格雷码计数器530 的输出值，并且纵轴是输入给比较器527a的斜坡信号和摄像信号的电平。满刻度范围的灰度位数在工作模式1下为10位(21(1)，在工作模式2下为11位 (211)，并且在工作模式3下为12位(212)。在工作模式1 3下，斜坡信号的斜率与满刻度范围以互锁的方式改变，从而使得斜坡信号的满电平VF始终保持恒定值。在工作模式1 3之间，斜坡信号电压从初始电压值改变成比较器输出从L电平改变成H电平的特定摄像信号电平VS所需的时间段不同。根据计数的数量和一个计数周期确定A/D转换所需的时间段(以下称为A/D转换时间)。例如，假定工作模式1下的计数的数量(即转换位数)为M，并且一个计数周期为 10毫微秒，则工作模式1下的A/D转换时间变成IOM毫微秒。在计数的数量是工作模式1 下的计数的数量两倍大，即2M的工作模式2下，A/D转换时间变成20M毫微秒。在计数的数量是工作模式1下的计数的数量四倍大，即4M的工作模式3下，A/D转换时间变成40M毫微秒。当特定摄像信号电平VS (斜坡信号电压)处于满电平VF时，计数的数量M和A/D转换时间均升高到最大。在工作模式1下，计数的最大数量为21(1，并且最大A/D转换时间约为10微秒。在工作模式2下，计数的最大数量为211，并且最大A/D转换时间约为20微秒。 在工作模式3下，计数的最大数量为212，并且最大A/D转换时间约为40微秒。在一个行周期中，对于各列并行进行A/D转换。1000个行(960个有效行和40个 VOB行)中每一帧的A/D转换时间在工作模式1下约为10毫秒，在工作模式2下约为20毫秒，并且在工作模式3下约为40毫秒。通过转换时间的倒数定义运动图像的帧频(每秒可以读出的帧的数量)。因而，上限帧频在工作模式1下计算出为lOOfps，在工作模式2下计算出为50fps，并且在工作模式 3下计算出为25fps。如上所述，每当将满刻度范围的灰度位数增大1位时，斜坡型A/D转换器的A/D转换时间变成两倍长。因此，为通过使用斜坡型A/D转换器实现60fps的帧频，必须选择工作模式1。在这种情况下，用于A/D转换的灰度位数被确定为10(位)。可以通过在A/D转换器的后级对像素数据进行信号处理来扩展像素数据的灰度位数。图8A 8C示意性示出图1所示的信号处理电路109所进行的信号处理过程。图 8A示出具有10位整数部分和2位小数部分的12位长(二进制)的像素数据阵列，图8B示出将两个像素数据A、B相加在一起、然后除以2的2像素插值的过程，并且图8C示出将四个像素数据A D相加在一起、然后除以4的4像素插值的过程。图8A所示的像素数据具有由在工作模式1下从A/D转换器输出的10位数据构成的整数部分和设置0的小数部分，因而有效灰度位数是10位。如图8B所示，通过将两个像素数据A、B相加在一起、然后除以2的2像素插值，将有效灰度位数扩展1位成为11位。 如图8C所示，通过将四个像素数据A D相加在一起、然后除以4的4像素插值，将有效灰度位数扩展2位成为12位。如上所述，通过对多个像素数据进行相加/平均处理以利用通过除法所获得的数据替换像素数据的小数部分中的0，可以扩展灰度位数。可以通过增大进行相加/平均处理的像素数据的数量来增大灰度位数所扩展的位数。具体地，通过对2N个像素数据进行相加 /平均处理，将灰度位数扩展N位(N为自然数)。接着说明在静止图像拍摄时图1所示信号处理电路109所进行的信号处理的例子。图9A示出在静止图像拍摄时要经过图1所示信号处理电路109的颜色插值处理的示例性像素排列。图9B 9D示出颜色插值处理之后的红色(R)、绿色(G)和蓝色⑶颜色像素的排列。图9E 9G示出对于各个像素数据的运算处理的内容和通过该运算处理所扩展后的像素数据的灰度位数。在图5所示的CMOS传感器103中，在PD 503a 503c (光电转换元件的光接收部)中以预定阵列排列多个颜色滤波器。在该例子中，假定在光接收部中设置用于三种颜色的颜色滤波器，即红色(R)、绿色(G)和蓝色(B)颜色。在图9A中，示出由通过三种颜色的颜色滤波器分开的四个像素(2个垂直像素和 2个垂直像素)构成最小单位的重复排列(所谓的Bayer排列)。红色(R)、绿色(G)和蓝色(B)颜色各自的像素数据位于空间上分散的位置。换句话说，R、G、B颜色中一个的像素数据在其它颜色的像素数据所处的位置处缺失。为根据图9A所示的Bayer排列的像素数据生成彩色图像，需要进行通过使用邻近的像素数据的插值来生成缺失的像素数据的颜色插值处理。在图9B 9D中，示出颜色插值处理之后的红色(R)、绿色(G)和蓝色(B)颜色像素的排列。利用颜色插值处理，对于红色(R)、绿色(G)和蓝色(B)颜色分别生成各自具有与原始图像大小相同大小的多个像素数据。在图9E 9G中，示出对于包括图9B所示的插值像素的各个像素数据的运算处理的内容和通过该运算处理扩展后的像素数据的灰度位数。在图9E 9G所示的例子中，将像素数据分类成不需要插值(无需位扩展)的像素数据、需要2像素插值(1位扩展)的像素数据和需要4像素插值(2位扩展)的像素数据。像素数据的灰度位数根据A/D转换器的工作模式而改变。在静止图像拍摄时，A/D转换器以工作模式3工作，并且经过插值的像素数据具有12 14位的灰度。在利用机械快门的连续静止图像拍摄时，操作速度受到快门控制的限制。可以说， 工作模式3下的25fps的读出速度是CMOS传感器103的足够快的读出速度。图10示出其中示出静止图像拍摄时的ISO感光度(摄像感光度)、增益和灰度位数之间的关系的增益切换表。在静止图像拍摄时，每当开始静止图像拍摄操作时，如以上参考图3所述，通过对 960条线进行相加平均来计算列偏移数据，以消除列偏移。结果，CMOS传感器103的读出速度降低一半成为12. 5fps，但是在进行连续拍摄中不会导致任何实质的问题。在每一拍摄时，以4步(1倍、2倍、4倍和8倍)切换CMOS传感器103的列放大器的增益，从而在ISO 感光度100 800的范围中设置感光度。在该感光度范围中，最小可以确保12位的灰度。对于列放大器的增益超过上限值(超过8倍)的感光度范围，在从2倍到8倍的范围内改变乘法器108 (图1)的相乘系数，从而在16倍 32倍的范围内设置总增益，因而可以实现ISO感光度1600 6400。然而，在这种情况下，每当乘法器108加倍增益时，都进行运算处理以使得向高阶方向移位1位。结果，灰度位数逐位降低，从而量子噪声加倍。尽管下限根据像素数据中包含的随机噪声而改变，但是从经验上考虑，9位灰度是实际下限。接着说明在运动图像拍摄时信号处理电路109所进行的信号处理的例子。同样， 在运动图像拍摄时，进行与参考图9A 9E所述的颜色插值处理相同的处理。在运动图像拍摄时，A/D转换器以工作模式1工作，以实现60fps的运动图像帧频。 经过插值的像素数据具有10 12位的灰度，与静止图像拍摄时的灰度相比少2位。在运动图像拍摄时，需要在颜色插值处理之后大小转换至运动图像大小。图IlA IlF示出用于大小转换至运动图像大小的、图1中的信号处理电路109 所进行的缩小变倍处理。图IlA IlC示出缩小变倍之后的红色(R)、绿色(G)和蓝色⑶ 颜色像素的排列，并且图IlD IlE示出用于缩小变倍的插值公式。对于图像大小规格，假定静止图像具有1280像素宽X960像素高的大小(所谓的 SVGA大小)，并且运动图像具有640像素宽X480像素高的大小(所谓的VGA大小)。在图IlA IlC所示的例子中，对于颜色插值处理之后的图9B 9D所示的红色 (R)、绿色(G)和蓝色(B)颜色像素进行用于将宽度和高度缩小成一半的大小转换。在大小转换中，对4个像素(2个水平像素和2个垂直像素)进行相加/平均处理以生成一个像素数据。通常，在运动图像拍摄时，通过使CMOS传感器进行像素相加和间隔剔除从而减少要读出的像素数据的数量来提高帧频。在本实施例中，与静止图像拍摄一样，在读出运动图像之后，在运动图像拍摄时也进行颜色插值处理，而不进行像素相加和间隔剔除。然后，对各个颜色的分离图像进行图像大小转换(阵列大小转换)以消除重心的移位，从而可以获得包含丰富信息的高分辨率质量的运动图像。通过使用前面参考图8C所述的4像素插值，可以将灰度位数扩展2位，从而运动图像可以具有与静止图像的灰度相同的12位 14位的灰度。图12示出其中示出在运动图像拍摄时的ISO感光度(摄像感光度)、增益和灰度位数之间的关系的增益切换表。
在与静止图像的情况一样，通过运动图像的960条线的列偏移数据检测列偏移的情况下，CMOS传感器的读出速度降低一半成为50fps，因而使得不可能实现60fps的运动图像帧频。如以上参考图4所述，在运动图像拍摄时，通过较少数量的检测线获得列偏移数据，并且平均多个帧的多个列偏移数据以消除列偏移。换句话说，通过使用多个帧的读出时间提高列偏移的精度。如果在运动图像拍摄期间，将设置的列放大器的增益切换成与静止图像拍摄的情况下一样，从而切换ISO感光度，则列偏移水平根据列放大器增益而波动，并且列偏移校正的精度因此暂时劣化。结果，引起的问题是图像被弄乱并且在图像中出现垂直条纹。为消除该问题，不同于静止图像拍摄的情况，通过仅切换乘法器108中的相乘系数，并且保持所设置的列放大器的增益，来进行运动图像拍摄期间的ISO感光度切换。如图1所示，将乘法器108布置在列偏移消除电路107的后级，从而对消除了列偏移的图像数据进行增益切换。因而，不会导致列偏移校正的精度因感光度切换而降低这一问题。然而，与静止图像一样，每当乘法器108的增益加倍时，都进行运算处理以使得向高阶方向移位1位。结果，灰度位数逐位降低，并且量子噪声加倍。在将所设置的列放大器的增益固定成1倍时，乘法器108中的相乘系数切换为可以从1倍到8倍改变，从而在1倍 8倍的范围内设置总增益，因而可以实现ISO感光度 100 800。第二实施例不仅在运动图像拍摄时，而且在组合使用闪光灯发光单元(未示出)的闪光灯拍摄时，非常需要高速的A/D转换。在本发明的第二实施例中，从通过高速A/D转换所获得的图像数据中精确地获得用于调整闪光灯发光量的测光数据。下面说明在闪光灯测光时由信号处理电路109所进行的信号处理的例子。下面说明在CMOS传感器中使用所谓的电子卷帘快门的情况。图13A和13B示出从CMOS传感器输出的传感器的读出和EF(闪光灯测光)之间的关系，其中，图13A示出在EF评价块区域上通过闪光灯预发光所生成的光电荷的累积的示例性时序，并且图13B示出随着时间过去的光强度的变化。通常，在执行闪光灯拍摄之前进行闪光灯预发光，并且根据此时从CMOS传感器所获得的传感器输出而确定闪光灯拍摄所需的闪光灯发光量。换句话说，进行所谓的EF(闪光灯测光)操作。将通过CMOS传感器103接收到的光电荷依次累积在各条线上。根据与预定读出时间相对应的时间移位，开始各条线上的光电荷累积。如图13B所示，在EF操作中通过闪光灯预发光所发射的光的强度随着沿着时间轴(横轴)的时间过去而改变。在完成光电荷累积之后，对从整个区域所提取的EF评价块区域进行评价。最后，需要在预发光期内完成与EF评价块区域相对应的所有线η n+m(m为等于或大于2的整数)上的光电荷累积。换句话说，如果在整个EF评价块区域处没有接收到通过预发光所生成的光，则不能精确地检测测光数据，并且作为结果的检测精度降低。在图13A所示的例子中，在整个EF评价块区域接收通过预发光所生成的光。接着说明通过预发光所生成的光没有照射到整个EF评价块区域的情况，例如快门速度为1/500的补充闪光(fill-in flash)时的情况。图14A 14D示出EF评价块区域上的光电荷的累积期和光强度随着时间过去的变化。图14A和14B示出CMOS传感器的光电荷读出期长于累积期的情况，并且图14C和 14D示出光电荷读出期短于累积期的情况。在快门速度为1/500的补充闪光时，以2毫秒的累积期将光电荷累积在EF评价块区域上。在这种情况下，即使A/D转换器以工作模式1工作，以使得要读出一条线的光电荷所需的时间段和垂直线的数量与运动图像拍摄时的相同，也会在从第一条线和从最后一条线读出电荷的时间点之间产生约10毫秒的时间差。通过图14A显而易见，如果读出期长于累积期，则在EF评价块区域的全部线上不存在相互重叠的读出期。在上述累积期短于读出期(对应于从全部1000条线中的第一条线读出电荷(数据)的时间点和从其最后一条线读出电荷(数据)的时间点之间的时间差) 的情况下，不可能使通过预发光所生成的光照射整个EF评价块区域。换句话说，只有同步快门速度、读出期和预发光期满足下面的公式(1)，通过预发光所生成的光才可以照射整个EF评价块区域。同步快门速度彡读出期+预发光期......(1)为满足公式(1)，缩短读出期(即实现高速A/D转换)是有用的。通过缩短读出期，图14A所示的平行四边形的倾斜度可能改变。通过将图14A所示的读出时间段(例如40毫秒)缩短成如图14C所示的1/8 (例如5毫秒)，可以满足公式(1)。为此，在本实施例中，新设置A/D转换速度是工作模式1下的A/D转换速度的8倍的工作模式4。在这种情况下，通过以上参考图7所述的工作模式和灰度位数之间的关系显而易见，必须将工作模式4下用于覆盖满刻度范围的灰度位数设置成7位，比工作模式1下的灰度位数(10位)少3位。在EF操作期间，在工作模式4下读出多个像素数据，并且对图13A所示的EF评价块区域中的多个像素数据进行相加/平均处理，从而计算EF评价值。基于所计算出的评价值，确定拍摄时的闪光灯发光量。在工作模式4下所读出的这些像素数据十分粗糙，具有7 位的灰度，并且处于量子噪声大的状态。然而，如以上参考图8A 8C所述，可以通过对多个像素数据进行相加/平均处理来扩展灰度位数。更具体地，将EF评价块区域分成均由不少于64个像素构成的小块区域(均为i 个像素宽和j个像素高)，计算各个小块区域的块评价值Wi j，并且计算通过将块评价值Wi j 乘以预定权重系数Kij所获得的值的和。通过该积分处理，计算整个EF评价块区域的评价值。如上所述，通过使用64个像素(26个像素)的像素数据，可以将像素数据的灰度位数扩展6位。结果，可以获得具有13位充分的灰度的EF评价值，从而消除在工作模式4 下所读出的像素数据的灰度粗糙这一问题。另外，可以降低随机噪声。通过上述说明显而易见，图1所示的信号处理电路109和系统控制器110用作(所附权利要求书中限定的(下述其它单元也如此))扩展处理单元，TG 105和系统控制器110 用作第一感光度切换单元，系统控制器110用作第二感光度切换单元，信号处理电路109和系统控制器110用作处理单元，并且系统控制器110用作生成单元。其它实施例
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。本申请要求2010年6月29日提交的日本2010-147605号专利申请的优先权，其全部内容通过引用包含于此。
权利要求
1.一种摄像设备，包括二维排列的像素，其中每个像素均具有光电转换元件；针对所述像素的各列设置的列放大器；A/D转换器，其设置在所述列放大器的输出侧，并且具有第一工作模式和第二工作模式，其中，在所述第一工作模式下，所述A/D转换器以第一转换位数和第一转换速度工作， 在所述第二工作模式下，所述A/D转换器以小于所述第一转换位数的第二转换位数和大于所述第一转换速度的第二转换速度工作；以及扩展处理单元，用于将从以所述第二工作模式工作的所述A/D转换器输出的多个二维排列的像素数据相加在一起，从而从所述第二转换位数扩展所述像素数据的灰度位数。
2.根据权利要求1所述的摄像设备，其特征在于，还包括第一感光度切换单元，用于在所述A/D转换器以所述第一工作模式工作的情况下，根据所述列放大器的增益来切换摄像感光度。
3.根据权利要求1所述的摄像设备，其特征在于，还包括乘法单元，其设置在所述A/D转换器的后级，并且具有可变相乘系数；以及第二感光度切换单元，用于在所述A/D转换器以所述第二工作模式工作的情况下切换所述相乘系数，从而切换摄像感光度。
4.根据权利要求1所述的摄像设备，其特征在于，还包括处理单元，用于对从以所述第二工作模式工作的所述A/D转换器输出的二维排列的图像数据进行缩小变倍处理，从而生成具有小于原始阵列大小的阵列大小的图像数据。
5.根据权利要求1所述的摄像设备，其特征在于，所述光电转换元件均具有光接收部， 其中，在所述光接收部中以预定阵列配置有各个颜色的颜色滤波器，以及所述摄像设备还包括处理单元，所述处理单元用于从以所述第二工作模式工作的所述 A/D转换器输出的二维排列的图像数据中分离分别与相同颜色的颜色滤波器相对应的图像数据，对所分离出的图像数据进行插值处理，并且对插值处理后的图像数据进行缩小变倍处理，从而生成具有小于原始阵列大小的阵列大小的图像数据。
6.根据权利要求1所述的摄像设备，其特征在于，还包括生成单元，用于对从以所述第二工作模式工作的所述A/D转换器输出的二维排列的图像数据进行积分处理，从而生成用于调整闪光灯拍摄时的闪光灯发光量的测光数据。
7.一种用于摄像设备的控制方法，其中，所述摄像设备包括二维排列的像素，其中每个像素均具有光电转换元件；针对所述像素的各列设置的列放大器；以及A/D转换器，其设置在所述列放大器的输出侧，所述控制方法包括以下步骤使所述A/D转换器以第一工作模式或第二工作模式工作，其中，在所述第一工作模式下，所述A/D转换器以第一转换位数和第一转换速度工作，在所述第二工作模式下，所述A/ D转换器以小于所述第一转换位数的第二转换位数和大于所述第一转换速度的第二转换速度工作；以及将从以所述第二工作模式工作的所述A/D转换器输出的多个二维排列的像素数据相加在一起，从而从所述第二转换位数扩展所述像素数据的灰度位数。
全文摘要
本发明提供一种摄像设备及其控制方法，其能够提高列并行A/D转换器的转换速度，同时能够防止摄像信号的灰度表现变得粗糙。该摄像设备包括CMOS传感器，该CMOS传感器具有A/D转换器，该A/D转换器设置在二维排列的像素的各列的列放大器的输出侧。A/D转换器具有以第一转换位数和第一转换速度工作的第一工作模式以及以第二转换位数和第二转换速度工作的第二工作模式。信号处理电路将从以第二工作模式工作的A/D转换器输出的多个二维排列的像素数据相加在一起，从而从第二转换位数来扩展像素数据的灰度位数。
文档编号H04N5/225GK102316255SQ20111018446
公开日2012年1月11日 申请日期2011年6月29日 优先权日2010年6月29日
发明者伊势诚 申请人:佳能株式会社