本发明涉及摄像单元、摄像装置以及控制程序。
背景技术
已知有将根据入射光而由像素部生成的像素信号由按每条垂直信号线设置的放大电路放大并读出的cmos型的摄像单元。(例如，参照专利文献1)。
专利文献1：日本特开2004－15701号公报
技术实现要素：
与入射光相应的电荷在积累于浮置扩散单元(floatingdiffusion)后向垂直信号线输出，并读出由放大电路放大后的信号。因为在读出来自浮置扩散单元的电荷后浮置扩散单元被重置，所以相对于一次光入射，放大电路的放大率被限制为一种。若与入射光较强从而积累于浮置扩散单元的电荷多的情况相配合地降低放大率，则从入射光较弱的区域读出的信号变弱。相反地，若配合入射光较弱的区域而提高放大率，则从入射光较强的区域读出的信号会饱和。因此，摄像单元的动态范围受限，期望更广的动态范围。
在本发明的第一方案中提供一种摄像单元，其具备：像素部，该像素部输出与重置后的重置电位和电荷积累后的信号电位对应的像素信号；放大器部，该放大器部将像素信号以第一放大率或与第一放大率不同的第二放大率放大；以及控制部，该控制部使放大器部在将与从重置电位向信号电位的变动对应的像素信号以第一放大率放大后，将与从信号电位向重置电位的变动对应的像素信号以第二放大率放大。
在本发明的第二方案中，提供一种控制程序，该控制程序用于摄像单元，该摄像单元具备：光电转换部；传输门，该传输门将由光电转换部产生的电荷向浮置扩散单元传输；像素重置开关，该像素重置开关将积累于所述浮置扩散单元的所述电荷排除，从而将所述浮置扩散单元的电位从所述信号电位重置为所述重置电位；以及放大器部，该放大器部将基于所述浮置扩散单元的电位而输出的像素信号放大，所述控制程序使计算机执行如下步骤：通过使传输门断开并使重置开关接通而使浮置扩散单元的电位成为重置电位的步骤；通过使重置开关断开并使传输门在接通一定期间后断开而使所述浮置扩散单元的电位成为信号电位，并输出与从重置电位向信号电位的变动对应的像素信号即第一像素信号的步骤；使放大器部将第一像素信号通过第一放大率放大的步骤；通过再次使重置开关接通而使浮置扩散单元的电位成为重置电位，并输出与从信号电位向重置电位的变动对应的像素信号即第二像素信号的步骤；以及使放大器部将第二像素信号通过第二放大率放大的步骤。
此外，上述发明的概要并没有列举本发明的全部的必要特征。另外，这些特征组的子组合(sub-combination)也能够成为发明。
附图说明
图1是说明本发明的实施方式的摄像装置的构成的图。
图2是说明本发明的实施方式的摄像单元的构成的图。
图3是将摄像单元的构成的一部分放大进行说明的图。
图4是表示摄像单元的1水平期间的动作定时的时序图。
图5是说明摄像装置的图像处理的图。
图6是说明摄像单元的构成的另外一例的图。
图7是说明由摄像装置进行的图像处理的流程图。
附图标记说明
100单位像素，101光电转换部，102传输门，103浮置扩散单元，104像素重置开关，105像素放大器，106选择开关，110像素部，200垂直信号线，201负载电流源，202控制线，220判定部，300列增幅放大器部，301输入电容器，302列增幅放大器重置开关，303第一反馈电容器，304第一反馈电容器选择开关，305第二反馈电容器，306第二反馈电容器选择开关，308放大器，400电位保持部，402重置电位输入开关，403信号电位输入开关，404重置电位保持电容器，405信号电位保持电容器，406重置电位输出开关，407信号电位输出开关，500读出电路，600垂直扫描部，700控制部，710afe，720adc，900摄像装置，910摄像单元，912图像处理部，914受理部，916ae传感器，918工作存储器，920显示部，922摄像存储器，924摄像系统控制部，926总线
具体实施方式
以下，通过发明的实施方式来说明本发明，但以下的实施方式并不限定权利要求书涉及的发明。另外，实施方式中说明的特征组合对于发明的解决方法不一定全部是必须的。
图1是说明本发明的实施方式的摄像装置900的构成的图。摄像装置900具备摄像单元910、图像处理部912、工作存储器918、显示部920、摄像存储器922、总线926、摄像系统控制部924、ae传感器916以及受理部914。摄像单元910、图像处理部912、显示部920、工作存储器918、摄像存储器922以及摄像系统控制部924与总线926连接，并经由总线926相互地发送接收信号。
摄像单元910具备二维地排列有多个光电转换元件的cmos传感器等图像传感器。摄像单元910具备控制部700。摄像单元910被摄像系统控制部924控制，输出将从被摄物体像得到的像素信号放大后的放大信号。摄像系统控制部924以及控制部700可以共同作为摄像单元910的控制部发挥功能。
图像处理部912将工作存储器918作为工作区而实施各种图像处理，生成图像数据。生成的图像数据通过图像处理部912而被转换为显示信号，能够显示在显示部920中。另外，图像数据能够记录于摄像存储器922。
ae传感器916是针对被摄物体空间设定有多个测光区域的测光传感器，在各个测光点检测被摄物体像的亮度。一系列摄影过程通过受理部914受理使用者的操作并向摄像系统控制部924输出操作信号而开始。另外，受理部914受理由使用者进行的iso感光度的选择，并将其向摄像系统控制部924发送。摄像系统控制部924将与受理部914所受理的iso感光度对应的放大率向控制部700发送。
摄影过程所附带的af、ae等各种动作由摄像系统控制部924控制并执行。例如，摄像系统控制部924解析ae传感器916的检测信号，将与最佳的iso感光度对应的像素信号的放大率向控制部700发送。
图2是说明本发明的实施方式的摄像单元910的构成的图。摄像单元910具备像素部110、负载电流源201、列增幅放大器部300、电位保持部400、读出电路500、垂直扫描部600、控制部700、afe710以及adc720。
摄像单元910在像素部110具备多个单位像素100。多个单位像素100矩阵状地配置。各个单位像素100与垂直信号线200以及控制线202连接。控制线202也可以由多根信号线构成来提高信号的传输效率。配置于同一行的单位像素100与共用的控制线202连接。控制线202与垂直扫描部600连接。配置于同一列的单位像素100与共用的垂直信号线200连接。像素信号从单位像素100向垂直信号线200的读出，经由控制线202而由垂直扫描部600控制。
垂直信号线200经由列增幅放大器部300以及电位保持部400而与读出电路500连接。负载电流源201向垂直信号线200供给电流。列增幅放大器部300将从单位像素100读出的像素信号放大，并将被放大后的像素信号即放大信号发送至电位保持部400。电位保持部400保持放大信号，并在控制部700所控制的定时，将放大信号发送至读出电路500。读出电路500将放大信号发送至afe710。
afe710使放大信号的电平一致，并将其发送至adc720。adc720将从afe710接收的信号转换为数字信号并输出。afe710以及adc720可以与摄像单元910的其他构成要素设置在同一基板上，但并不限于此，也可以将afe710以及adc720设置在另外的基板上，并通过布线或凸块(bump)与设置有摄像单元910的其他构成要素的基板电连接。垂直扫描部600、列增幅放大器部300、电位保持部400以及读出电路500与控制部700电连接，并被控制部700控制。
图3是将摄像单元910的构成的一部分放大进行说明的图。单位像素100具备光电转换部101、传输门102、浮置扩散单元103、像素重置开关104、像素放大器105以及选择开关106。
光电转换部101将接受的光转换为电荷并积累。光电转换部101的一个例子为光电二极管。控制部700使传输门102将由光电转换部101产生的电荷向浮置扩散单元103传输。控制部700使浮置扩散单元103将经由传输门102传输来的电荷积累。控制部700使与浮置扩散单元103连接的像素重置开关104将浮置扩散单元所积累的电荷排除，从而使浮置扩散单元103的电位从信号电位重置为重置电位。
像素放大器105与浮置扩散单元103连接，将浮置扩散单元103的电位放大并输出。选择开关106与像素放大器105以及垂直信号线200连接。负载电流源201与垂直信号线200连接。
列增幅放大器部300具备输入电容器301、列增幅放大器重置开关302、第一反馈电容器选择开关304、第一反馈电容器303、第二反馈电容器选择开关306、第二反馈电容器305以及放大器308。输入电容器301与垂直信号线200连接。输入电容器301与放大器308的输入端子的一方连接。在放大器308的另一方的输入端子上连接有vref，处于基准电位。放大器308的反馈回路并联地具备：列增幅放大器重置开关302；第一反馈电容器选择开关304及第一反馈电容器303；以及第二反馈电容器选择开关306和第二反馈电容器305。第一反馈电容器选择开关304与第一反馈电容器303串联地连接。第二反馈电容器选择开关306与第二反馈电容器305串联地连接。
电位保持部400具备重置电位输入开关402、重置电位保持电容器404、信号电位输入开关403、信号电位保持电容器405、重置电位输出开关406以及信号电位输出开关407。重置电位输入开关402以及信号电位输入开关403并联地与列增幅放大器部300的输出连接。重置电位保持电容器404与重置电位输入开关402连接。重置电位输出开关406与重置电位保持电容器404连接。重置电位输出开关406与读出电路500连接。信号电位保持电容器405与信号电位输入开关403连接。信号电位输出开关407与信号电位保持电容器405连接。信号电位输出开关407与读出电路500连接。
图4是表示摄像单元910的1水平期间的动作定时的时序图。图4所示的摄像单元910的动作由控制部700控制。第一期间(t1)内，像素重置开关104以及传输门102接通规定的时间。即、
在第二期间(t2)内，光电转换部101将接受的光转换为电荷并积累。光电转换部101的电荷积累由摄像系统控制部924对摄像单元910设定的曝光时间决定。
在第三期间(t3)内，选择开关106接通。另外，像素重置开关104接通规定的时间。即、
在列增幅放大器部300中，在第三期间(t3)内，列增幅放大器重置开关302以及第二反馈电容器选择开关306接通规定的时间。即、
接下来，在规定的时间后，
在第四期间(t4)内，在规定的时间内使
在第五期间(t5)内，
从列增幅放大器部300输出的第一放大信号的电位，在下式所示的vout比列增幅放大器部300的电源电压小时，由vout表示。另外，在vout为列增幅放大器部300的电源电压以上时，从列增幅放大器部300输出的第一放大信号的电位与列增幅放大器部300的电源电压相等。
vout＝vref+(浮置扩散单元103的重置电位－浮置扩散单元103的信号电位)×像素放大器105的增益×(－输入电容器301的容量/第一反馈电容器303的容量)。
作为一个例子，设，输入电容器301的容量为1pf、第一反馈电容器303的容量为0.1pf、浮置扩散单元103的重置电位为4v、像素放大器105的增益为0.8倍、vref为2.0v、列增幅放大器部300的电源电压为5v。而且，浮置扩散单元103的电位从重置电位4v开始，在传输门102接通规定时间后，变为信号电位3v。此时，vout＝2.0v+(4v－3v)×0.8×(－1pf/0.1pf)＝10.0v，比列增幅放大器部300的电源电压5v大。因此，这时，从列增幅放大器部300输出的第一放大信号的电位为5v。即、该情况下的第一放大信号成为饱和信号。
在传输门102断开后，信号电位输入开关403接通规定时间。由此，在信号电位保持电容器405中保持根据入射光而从列增幅放大器部300输出的第一放大信号。
在第六期间(t6)内，
在第七期间(t7)内，
接下来，在第一反馈电容器选择开关304断开后，列增幅放大器重置开关302断开。即、在
接下来，
在第八期间(t8)内，
从列增幅放大器部300输出的第二放大信号的电位，在下式所示的vout比列增幅放大器部300的电源电压小时，由vout表示。另外，在vout为列增幅放大器部300的电源电压以上时，从列增幅放大器部300输出的第二放大信号的电位与列增幅放大器部300的电源电压相等。
vout＝vref+(使传输门102接通规定时间后的浮置扩散单元103的电位－浮置扩散单元103的重置电位)×0.8×(－输入电容器301的容量/第二反馈电容器305的容量)。
作为一个例子，设，输入电容器301的容量为1pf、第二反馈电容器305的容量为1pf、浮置扩散单元103的重置电位为4v、像素放大器105的增益为0.8倍、vref为2.0v、列增幅放大器部300的电源电压为5v。而且，浮置扩散单元103的电位从信号电位3v变为重置电位3v。此时，vout＝2.0v+(3v－4v)×0.8×(－1pf/1pf)＝1.2v，比列增幅放大器部300的电源电压5v小。因此，这时，从列增幅放大器部300输出的第二放大信号的电位为1.2v。
接下来，
在第九期间(t9)内，
如上所述，通过第二期间(t2)中光入射至光电转换部101而产生的电荷，第一放大信号以及第二放大信号被向读出电路500读出。即、从第三期间(t3)到第六期间(t6)读出电路500读出第一放大信号。然后从第七期间(t7)到第九期间(t9)读出电路500读出第二放大信号。第一放大信号以及第二放大信号与分别与重置电位以及信号电位对应的信号一同被读出。因此，能够消除列增幅放大器部300的偏差。例如，使用第一放大信号及第二放大信号、与重置电位及信号电位的差量。
在本例中，因为第一反馈电容器303的容量和第二反馈电容器305的容量不同，所以第一放大率与第二放大率不同。即、摄像单元910通过一次曝光，将与第一放大信号对应的信号和与第二放大信号对应的信号从摄像单元910向图像处理部912发送。图像处理部912将放大率不同的、与第一放大信号对应的信号以及与第二放大信号对应的信号合成，生成动态范围扩大了的图像。
更具体来说，第一放大率比第二放大率大。在本例中，即使第一放大信号以列增幅放大器部300的电源电位而饱和，第二放大信号也因为放大率比第一放大信号小而不饱和。另外，因为第一次通过比第二放大率大的第一放大率进行读出、第二次通过比第一放大率小的第二放大率进行读出，所以能够减小噪声的影响。即、由于在将电位重置时从晶体管注入载流子而可能产生噪声。因此，通过第七期间(t7)的重置动作，能够防止强度较低的信号受到噪声的影响。
图5是说明摄像装置900的图像处理的图。在对摄像单元910进行曝光而从以比第二放大率大的第一放大率被放大后的第一放大信号得到的图像982中，在被摄物体的明亮部分产生泛白(白とび)。另一方面，在从以比第一放大率小的第二放大率被放大后的第二放大信号得到的图像980中，在被摄物体的较暗的部分产生曝光不足。例如，图像980的人物部分曝光不足，人物部分的一部分产生发黑(黒つぶれ)。
图像处理部912能够将图像982以及图像980中最优的部分合成，而得到没有泛白以及发黑、并且不存在曝光不足的部分的图像984。例如，图像处理部912可以在第一放大信号未饱和时仅使用第一放大信号生成图像。在仅使用第一放大信号生成图像的情况下，图像处理部912可以不使用第二放大信号，或者控制部700也可以使列增幅放大器部300不生成第二放大信号。在第一放大信号饱和时，可以通过使用第二放大信号来合成图像984。另外，也可以在第二放大信号的强度比规定的电平弱的区域使用第一放大信号。由此，得到动态范围扩大了的图像。
作为其他的例子，也可以是，图像处理部912分别根据与由第一放大率放大后的第一放大信号对应的信号、和与由第二放大率放大后的第二放大信号对应的信号各生成一个图像。即、图像处理部912也可以生成与图像982以及图像980这两个图像对应的图像数据并将其保存于摄像存储器922。由此，通过一次的曝光能得到放大率不同的两个图像。
图6是说明摄像单元910的构成的另外一个例子的图。图6所示的摄像单元910与图2所示的摄像单元910的不同点在于具有判定部220。摄像单元910具备像素部110、负载电流源201、列增幅放大器部300、判定部220、电位保持部400、读出电路500、垂直扫描部600、控制部700、afe710以及adc720。
判定部220被控制部700控制，将列增幅放大器部300输出的放大信号与规定电平的信号进行比较。判定部220构成为包含例如比较器。判定部220将比较的结果与列增幅放大器部300输出的放大信号建立关联。
本例中判定部220判定由列增幅放大器部300输出的放大信号是否处于饱和状态。例如，在第一放大率比第二放大率大的情况下，判定部220判定以第一放大率被放大后的第一放大信号是否处于饱和状态，并将判定的结果与第一放大信号以及第二放大信号中至少一方建立关联。作为一个例子，第一放大信号以及第二放大信号，除与各自的放大信号对应的单位像素100的地址以及与入射光的强度对应的信号之外，还具有表示第一放大信号是否处于饱和状态的状态标志。表示第一放大信号是否处于饱和状态的状态标志例如是1比特的信号。
在状态标志表示以比第二放大率大的第一放大率被放大后的第一放大信号未处于饱和状态的情况下，控制部700可以不执行第二放大信号的读出。由此，读出变得高速。
图7是说明由摄像装置900进行的图像处理的流程图。图7的流程图是与图6所示的摄像单元910对应的流程的一个例子。流程例如在摄像单元910被曝光之前，从重置的阶段开始。在步骤s950中，控制部700使传输门102断开，使像素重置开关104接通。由此，浮置扩散单元103的电位被重置，成为重置电位。其后，摄像单元910被曝光，根据入射至光电转换部101的光而产生电荷。
在步骤s952中，控制部700使像素重置开关104断开，使传输门102接通。由此使浮置扩散单元103的电位成为电荷积累后的信号电位。而且，控制部700使与从重置电位向信号电位的变动对应的像素信号即第一像素信号向垂直信号线200输出。
在步骤s954中，控制部700使列增幅放大器部300以第一放大率放大第一像素信号，其中第一放大率由输入电容器301与第一反馈电容器303的容量之比决定。然后，控制部700使列增幅放大器部300输出以第一放大率被放大后的第一像素信号即第一放大信号。
在步骤s956中，控制部700使判定部220判定第一放大信号是否处于饱和状态。判定部220在状态标志表示第一放大信号为饱和状态的情况下，进入步骤s956。判定部220在状态标志表示第一放大信号未处于饱和状态的情况下，进入步骤s962。判定部220也可以如上所述地，将判定的结果与第一放大信号以及第二放大信号中至少一方建立关联。
在步骤s958中，控制部700使传输门102断开，并再次使像素重置开关104接通。由此，控制部700使浮置扩散单元103的电位成为重置电位，并使其输出与从信号电位向重置电位的变动对应的像素信号即第二像素信号。
在步骤s960中，控制部700使列增幅放大器部300以第二放大率放大第二像素信号，其中第二放大率由输入电容器301与第二反馈电容器305的容量之比决定。另外，控制部700使列增幅放大器部300输出第二放大信号。作为一个例子，第二放大信号置换步骤s954中输出的第一放大信号，而从摄像单元910输出。
在步骤s962中，图像处理部912根据摄像单元910经由总线926而输出的第一放大信号以及第二放大信号的一方或双方来生成图像。例如，图像处理部912对于与输出有未处于饱和状态的第一放大信号的区域对应的图像数据的生成仅使用第一图像信号。另外，图像处理部912对于与输出有第二放大信号的单位像素100对应的区域的图像数据的生成，例如仅使用第二放大信号。但是，在存在与使用第一放大信号生成图像数据的区域相邻且使用第二放大信号生成图像数据的区域的情况下，可以在该两区域的边界附近由图像处理部912对图像数据进行处理，以使得不会因放大率不同而在该边界附近区域形成不自然的图像。例如，图像处理部912将距该边界规定范围内的使用第二放大信号的区域的图像数据修正得较亮。图像处理部912可以在上述处理中使用判定部220所建立关联的判定结果。
摄像系统控制部924以及控制部700结束一系列处理。以上的一系列处理，能够由摄像存储器922所保存的程序使摄像系统控制部924以及控制部700执行。
在上述中，虽然对由步骤s960中控制部700使列增幅放大器部300输出的第二放大信号置换步骤s954中输出的第一放大信号的例子进行了说明，但并不限于此，也可以是步骤s954中输出的第一放大信号以及步骤s960中输出的第二放大信号的双方从摄像单元910输出。在这种情况下，图像处理部912可以使用第一放大信号以及第二放大信号双方生成一个图像。
在以上的例子中，虽然说明了一个光电转换部101分别具有浮置扩散单元103、像素重置开关104、像素放大器105以及选择开关106各一个的构造(称为4tr像素)，但并不限于4tr像素，具有由多个光电转换部101共用浮置扩散单元103、像素重置开关104、像素放大器105、选择开关106的构造的摄像单元910也能够进行与上述相同的动作。另外，电位保持部400也可以具备另一组电位保持部。由此，能够缩短信号的读出所需的时间。
另外，在上述例子中，虽然对在列增幅放大器部300上连接有电位保持部400的例子进行了说明，但并不限于此，例如在列增幅放大器部300的后级具备adc720的摄像单元910也能够相同地动作。在这种情况下，与列增幅放大器部300连接的adc720将从列增幅放大器部300接收的信号转换为数字信号，并向电位保持部400输出。电位保持部400在控制部700所控制的定时将数字信号向读出电路500发送。摄像单元910具备dfe(digitalfront-end：数字前端)，读出电路500向dfe发送信号。dfe使接收的信号的电平一致，并向总线926输出。
另外，虽然在以上的例子中，对第一放大率以及第二放大率为被预先设定的放大率的例子进行了说明，但并不限于此，也可以从多个放大率中选择并设定第一放大率以及第二放大率。例如，也可以在由输入电容器301与第一反馈电容器303之比决定的放大率、由输入电容器301与第二反馈电容器305之比决定的放大率、以及由输入电容器301与并联地连接的第一反馈电容器303以及第二反馈电容器305之比决定的放大率中，选择第一放大率以及第二放大率。
另外，例如也可以在列增幅放大器部300的反馈回路中并联地具备三组以上的反馈电容器选择开关以及反馈电容器。三组以上的反馈电容器选择开关以及反馈电容器可以单独或组合地分别对应不同的放大率。该不同的放大率可以分别对应不同的iso感光度。
控制部700也可以将与受理部914所受理的使用者指定的iso感光度对应的放大率设定为第一放大率或第二放大率中某一方的放大率。另外，控制部700可以根据ae传感器916的检测结果，将第一放大率或第二放大率的另一方设定为与摄像系统控制部924演算出的iso感光度对应的放大率。此时，与iso感光度对应的放大率可以由摄像系统控制部924演算并向控制部700发送。控制部700可以与从摄像系统控制部924发送的放大率对应地，从列增幅放大器部300具备的多个反馈电容器的中单独任选一个或选择多个，来设定第一放大率或第二放大率。
作为其他的例子，也可以是，受理部914受理两个基于使用者进行的iso感光度的选择，将与受理部914所受理的两个iso感光度对应的放大率分别向控制部700发送。在这种情况下，控制部700也可以设定第一放大率以及第二放大率。
以上，虽然使用实施方式对本发明进行了说明，但是本发明的技术范围并不限定于上述实施方式所述的范围。例如，摄像装置900也可以将摄像单元910的输出作为反馈来用作检测亮度的检测部。另外，基于摄像单元摄像装置900进行的图像处理并不限于图7的例子，也可以是，图2或图6所示的摄像单元910分别输出基于第一放大信号以及第二放大信号双方的信号，图像处理部912生成一个或两个图像。在图6所示的摄像单元910分别输出基于第一放大信号以及第二放大信号双方的信号的情况下，图像处理部912也可以使用判定部与第一放大信号以及第二放大信号的至少一方建立关联的判定结果来生成一个图像。
另外，虽然在以上的例子中对摄像单元910具备cmos传感器的情况进行了说明，但并不限于此，本发明也能够适用于具备ccd传感器的摄像单元910。在具备ccd传感器的摄像单元910的情况下，例如，能够使用如下的构成：使用浮置扩散放大器将通过ccd的移位寄存器而传输的信号电荷转换为电压。本领域技术人员可以明确，能够对上述实施方式追加多种变更或改良。从权利要求书的记载可以明确，这种追加变更或改良的方式也包含在本发明的技术范围内。
应当注意的是，关于权利要求书、说明书以及附图中表示的装置、系统、程序以及方法中的动作、次序、步骤及阶段等各处理的执行顺序，只要并未特别地明示为“之前”、“在…之前”等、另外并未将前面处理的输出用于后面的处理，则能够以任意的顺序实现。关于权利要求书、说明书以及附图中的动作流程，即使为了便利而使用“首先，”、“接下来，”等进行了说明，也并不意味着必须以该顺序实施。