摄像器件和摄像设备的制作方法
本发明涉及一种摄像器件和摄像设备。
背景技术：
近年来，如专利文献1中所公开的，例如用在诸如数字照相机等的摄像设备中的cmos摄像器件由于像素的小型化而可以包括数量有所增加的像素，并且能够拍摄高清晰度图像。消费者最近所用的摄像设备通常可以包括1000万个像素以上。
图18是这种一般摄像设备的结构框图。参考图18，摄像器件1500包括像素部1501、ad转换单元1502和p/s转换单元1503。像素部1501将被摄体图像转换成电气信号，并且将该电气信号输出至ad转换单元1502。
ad转换单元1502将从像素部1501读取的图像信号转换成数字信号。p/s转换单元1503对由ad转换单元1502转换得到的数字信号进行并行-串行转换。图像信号处理电路1600对来自摄像器件1500的图像信号进行信号处理。
摄像设备具有用于从摄像器件1500向图像信号处理电路1600传送图像数据的传送容量恒定的传送路径。因而，摄像器件中的像素数增加可能相对导致被摄体的图像数据的传送时间延长。
此外，在图像大小根据各摄像模式而改变的情况下，将所有像素的图像数据从摄像器件1500传送至图像信号处理电路1600可能花费时间。换句话说，从摄像器件1500向图像信号处理电路1501传送数据的速度可能是读出图像数据的速度的瓶颈。此外，这种高速传送可能使传送电路和处理电路的电力消耗量和发热量增大，这样可能会降低数据传送的精度。
因此，在采用较高帧频的视频记录中，可能需要选择具有较少像素数的摄像器件，使得数据量不能超过传送路径的传送容量。由此，可能难以实现具有较多像素数的高清晰度视频记录。可选地，在使用具有较多像素数的摄像器件的情况下，例如在通过进行间隔剔除处理减少要从像素部读出的像素数之后，必须从摄像器件传送数据。
一些摄像设备可能具有电子变焦功能，其中该电子变焦功能用于在正进行视频记录时对摄像区域中的目标范围内的图像进行电子变焦，并且放大相应图像的大小。过去，在从摄像器件向图像信号处理电路传送像素数减少的图像数据之后，在图像信号处理电路中执行这种电子变焦功能。由此，随着电子变焦的倍率的增大，目标图像的放大率增大，这可能导致锯齿或者使分辨率感觉劣化。
引文列表
专利文献
专利文献1：日本特开2013-26675
技术实现要素：
本发明可以提供能够以适当的传送容量输出高质量的图像数据的摄像器件和使用该摄像器件的摄像设备。
本发明提供一种摄像器件，其具有相互堆叠并且电气直接连接的第一半导体基板和第二半导体基板，所述摄像器件包括：摄像单元，其设置在所述第一半导体基板上，并且用于接收入射光并对所述入射光进行光电转换；ad转换单元，用于将从所述摄像单元输出的模拟图像信号转换成数字图像数据；存储单元，其设置在所述第二半导体基板上，并且用于存储所述ad转换单元转换得到的一帧的数字图像数据；以及处理单元，其设置在所述第二半导体基板中，并且用于对所述存储单元中所存储的数字图像数据进行调整大小处理。
通过以下参考附图对实施例的说明，本发明的其它特征将变得明显。
附图说明
图1示出根据第一实施例的摄像器件的示意结构。
图2示出根据第一实施例的数据总线结构的示例。
图3示出根据第一实施例的像素和列adc块的结构。
图4a示出根据第一实施例的摄像器件的堆叠结构。
图4b示出根据第一实施例的摄像器件的堆叠结构。
图5是示出根据第一实施例的摄像器件的截面图。
图6是根据第一实施例的摄像设备的系统示意图。
图7是示出根据第一实施例的拍摄序列的流程图。
图8示出根据第一实施例的图像信号的大小和传送速率之间的关系。
图9a示出根据第一实施例的变焦倍率和调整大小处理之间的关系。
图9b示出根据第一实施例的变焦倍率和调整大小处理之间的关系。
图9c示出根据第一实施例的变焦倍率和调整大小处理之间的关系。
图9d示出根据第一实施例的变焦倍率和调整大小处理之间的关系。
图10是示出根据第一实施例的针对运动图像的各帧要进行的图像处理的时间点的示意图。
图11a示出根据第二实施例的平摇/倾斜处理。
图11b示出根据第二实施例的平摇/倾斜处理。
图12是示出根据第三实施例的操作的流程图。
图13a详细示出根据第三实施例的用于对像素大小进行转换的方法。
图13b详细示出根据第三实施例的用于对像素大小进行转换的方法。
图13c详细示出根据第三实施例的用于对像素大小进行转换的方法。
图13d详细示出根据第三实施例的用于对像素大小进行转换的方法。
图14是用于说明根据第四实施例的操作的流程图。
图15a详细示出根据第四实施例的用于像素大小切出处理的方法。
图15b详细示出根据第四实施例的用于像素大小切出处理的方法。
图16是用于说明根据第五实施例的操作的流程图。
图17a详细示出根据第五实施例的图像放大方法。
图17b详细示出根据第五实施例的图像放大方法。
图17c详细示出根据第五实施例的图像放大方法。
图17d详细示出根据第五实施例的图像放大方法。
图17e详细示出根据第五实施例的图像放大方法。
图18示出一般摄像设备的结构。
具体实施方式
以下将参考附图来详细说明本发明的实施例。
第一实施例
图1是示意性示出根据本发明的第一实施例的摄像器件的框图。
摄像器件506具有第一芯片(第一半导体基板)10和第二芯片(第二半导体基板)11，并且第二芯片11和第一芯片10相互堆叠。第一芯片10具有包括按矩阵形式排列的多个像素101的像素部，并且相对于第二芯片11设置在光入射侧(或光学图像的受光侧)。
在第一芯片10的像素部中，按矩阵形式排列的多个像素101逐行地连接至传送信号线103、重置信号线104和行选择信号线105，并且逐列地连接至多个列输出线102。位于同一列的不同读出行中的像素连接至各自均是针对一列所设置的多个列输出线102中的相应列输出线102。
第二芯片11具有各自均是针对一列所设置的多个ad转换器(以下，各ad转换器被称为adc)111、行扫描电路112、列扫描电路113和时序控制电路114。第二芯片11具有切换开关116、帧存储器117、处理单元118和并行-串行转换单元(以下称为p/s转换单元)119等。时序控制电路114由整体控制计算单元509驱动控制。
由于第一芯片10具有像素部、并且第二芯片11具有针对像素部的驱动电路、存储器和计算单元等，因此可以将制造处理划分成摄像器件506的摄像层和电路层。然后，电路层中的配线的细线化和高密度化可以提高速度、缩小大小并且改善功能性。
切换开关116将从针对各通道所设置的水平信号线115-a和水平信号线115-b输出的各通道的数字图像数据选择性地输入至处理单元118。处理单元118对这些通道的图像数据进行排序，生成每一帧的图像数据，并且将该图像数据顺次输出至帧存储器117。帧存储器117暂时存储所输出的至少一帧的数字图像数据。
处理单元118对帧存储器117中所存储的一帧的数字图像数据进行诸如向所需视角的调整大小处理、切出处理和间隔剔除处理等的计算处理。后面将说明其详情。处理单元118中经过了诸如调整大小处理等的计算处理的一帧的数字图像数据在p/s转换单元119经过并行-串行转换，并且被输出至摄像器件506外部所设置的摄像信号处理电路507。
这里，水平信号线115-a、水平信号线115-b、切换开关116、处理单元118和帧存储器117之间的数据传送路径是同一芯片内所设置的数字信号线。这样可以提供以较高的速度在水平读出时间段内完成所有水平数据的传送所需的数据总线宽度。
图2示出第二芯片11中的从adc111起直到p/s转换单元119为止的数据总线结构的示例。如图2所示，在第二芯片11中，在adc111和处理单元118之间设置列存储器111a，并且列存储器111a被配置为暂时保持adc111所进行的数字转换的输出。应当注意，在图2中没有示出切换开关116。
根据来自列扫描电路113的控制信号，将针对各列所设置的列存储器111a中所保持的图像数据分配到水平信号线115-a和115-b中并且并行地输出。在这种情况下，在水平传送电路115内设置16个通道的水平信号线115-a和115-b。输出到水平信号线115-a和115-b的图像数据经由处理单元118内的存储器i/f电路被输入至帧存储器117。
例如，将说明从adc111输出8k4k(水平8000个像素且垂直4000个像素)的32m像素的图像数据的情况。按60fps的帧频读出32m像素的图像数据可能需要1920m像素/秒的数据总线带。
在水平传送电路115内所设置的16个通道的水平信号线115-a和115-b各自的传送容量为12位的情况下，可能需要使传送容量降低为120mhz的可传送频率。根据来自列扫描电路113的控制信号来顺次选择列存储器，并且经由16个通道并行地读出水平传送电路115中的针对各通道的120m像素/秒的图像数据。
在从水平传送电路115经由处理单元118向帧存储器117输入的图像数据中，从帧存储器中部分地读出预定区域的数据，并且将该数据再次输入至处理单元118。例如，利用处理单元118内的缩小变倍电路，使从帧存储器117输出的图像数据的大小缩小为1/16倍的图像大小。这种情况下所需的数据总线带减少为120m像素/秒。这是按60fps读出全hd(fullhd)大小(2m像素)的图像数据所用的数据传送容量。
从处理单元118输出的数据总线带减少的图像数据由p/s转换单元119按720m-bps的双通道结构转换成串行信号，使得不超过1gbps的最大串行传送容量，并且输出这些串行信号。
在第二芯片111内设置adc111、处理单元118和帧存储器117可以提供在第二芯片111内处理图像数据所需的宽的数据总线带，因而可以提高从adc111向帧存储器117的传送速率，同时可以以使得能够传送到摄像器件外的串行传送容量输出高质量的运动图像。
图3示出根据本实施例的摄像器件506中的像素部内的各像素101以及adc111的详细结构。将参考图1和图3来示意性说明根据第一实施例的摄像器件要进行的操作。
光电二极管(以下称为pd)201将所接收到的入射光光电转换成与该所接收到的入射光的光量相对应的电荷量的光电荷(这里为电子)。pd201的阴极经由传送晶体管202电气连接至放大晶体管204的栅极。与放大晶体管204的栅极电气连接的节点构成浮动扩散(以下称为fd)单元206。
传送晶体管202设置在pd201的阴极和fd单元206之间，并且响应于将传送脉冲
重置晶体管203的漏极连接至像素电源vdd且其源极连接至fd单元206，并且响应于将重置脉冲
放大晶体管204的栅极连接至fd单元206且其漏极连接至像素电源vdd，并且输出利用重置晶体管203进行重置之后的fd单元206的电位作为重置电平。放大晶体管204输出利用传送晶体管202传送pd201中的信号电荷之后的fd单元206的电位作为信号电平。
选择晶体管205的漏极可以连接至放大晶体管204的源极，并且其源极可以连接至列输出线102。选择晶体管205响应于将选择脉冲
应当注意，选择晶体管205可以连接在像素电源vdd与放大晶体管204的漏极之间。晶体管202～205例如可以是n通道型mos晶体管。各像素101不限于包括四个晶体管的像素，而可以包括三个晶体管，其中放大晶体管204和选择晶体管205由一个晶体管来实现。
从像素101经由列输出线102输出的模拟图像信号被发送至adc111。adc111具有比较器211、可逆计数器(u/d计数器)212、存储器213和da转换器(以下称为dac)214。
比较器211的一对输入端子中的一个输入端子连接至列输出线102，并且该对输入端子中的另一输入端子连接至dac214。比较器211的输出端子连接至可逆计数器212。图1中的时序控制电路114基于来自整体控制计算单元509的指示来将基准信号输出至dac214。
dac214基于从图1中的时序控制电路114输入的基准信号来输出电平随时间的经过而改变的斜坡信号。然后，比较器211将从dac214输入的斜坡信号的电平与从列输出线102输入的图像信号的电平进行比较。
例如，比较器211在图像信号的电平低于斜坡信号的电平的情况下，输出电平较高的比较信号，以及在图像信号的电平高于斜坡信号的电平的情况下，输出电平较低的比较信号。可逆计数器212对比较信号改变为高电平的时间段或比较信号改变为低电平的时间段进行计数。该计数处理将来自像素101的输出信号转换成数字值。
可选地，可以在比较器211和可逆计数器212之间设置and(与)电路。可以将脉冲信号输入至该and电路，并且可以利用可逆计数器212对脉冲信号的数量进行计数。
adc111可以基于像素101的重置解除时的重置信号来对与重置电平相对应的计数值进行计数，并且可以基于经过了预定摄像时间段之后的光信号来对该计数值进行计数。可以将与光信号相关联的计数值和与重置信号相关联的计数值之间的差值存储在存储器213中。
存储器213连接至可逆计数器212并且存储可逆计数器212进行计数得到的计数值。响应于来自图1中的列扫描电路113的驱动控制，将存储器213中所存储的计数值作为数字图像数据发送至水平信号线115-a和水平信号线115-b。
图4a和4b示出参考图1所述的根据第一实施例的摄像器件506的外观的结构。图4a示出摄像器件506的从光入射侧的立体图，以及图4b示出摄像器件506的截面图。
摄像器件506包括第一芯片(摄像层)10和第二芯片(电路层)11。第一芯片10和第二芯片11各自具有多个微垫302，并且第一芯片10和第二芯片11通过使第一芯片10和第二芯片11中所设置的微垫302经由多个微凸块301电气连接而一体化。换句话说，第一芯片10和第二芯片11经由多个宏凸块101和多个微垫302直接电气连接。第一芯片10和第二芯片11可以利用没有使用宏垫和微垫的方法直接电气连接。
图5示出图1、图3a和3b以及图4a和4b所示的根据第一实施例的摄像器件506的截面结构的详情。参考图4a和4b，摄像层401与第一芯片10相对应，并且电路层402与第二芯片11相对应。
在摄像层401中，在硅(以下称为si)基板403上设置布线层404。si基板403具有作为pd201的n型扩散区域407，并且在表面部(与布线层404的边界部)中具有p+扩散区域408。
si基板403在其表面部中具有作为fd单元206的多个n+扩散区域409、以及开关晶体管的多个n+扩散区域410。布线层404在例如sio2的绝缘层内具有晶体管的栅极线411以及信号传播线412，并且在其表面部中具有cu的微垫302a。
n+扩散区域409、n+扩散区域410和晶体管的栅极线411构成传送晶体管202、重置晶体管203、放大晶体管204和选择晶体管205。布线层404具有用于使n+扩散区域410连接至微垫302a的通路414。
电路层402在si基板405上具有布线层406。si基板405在其表面部中具有多个晶体管扩散区域416。布线层406具有例如sio2的绝缘层(其包括晶体管的多个栅极线417以及多个信号传播线418)，并且在表面部中具有例如cu的微垫302b。
电路层402中所设置的晶体管扩散区域416、晶体管的栅极线417以及信号传播线418构成电路。将省略针对电路截面的详情的描述。布线层406具有用于使扩散区域416等连接至微垫302b的通路420。
摄像层401的布线层404中所设置的微垫302a和电路层402的布线层406中所设置的微垫302b经由微凸块301彼此电气连接。尽管图4a和4b示出摄像层401和电路层402通过使用微凸块301作为连接端子相连接的结构示例，但摄像层401和电路层402可以无需使用微凸块而直接连接。
图6示出使用参考图1～5所述的摄像器件的摄像设备的系统示意图。通过了透镜单元501的被摄体图像由光圈504调整为适当光量，并且聚焦于具有图1～图4a和4b所示的结构的摄像器件506的摄像面上。
聚焦于摄像器件506的摄像面上的被摄体图像由摄像器件506中的pd201进行光电转换，并且经过由像素内的放大器以及设置在像素101和adc111之间的列放大器所进行的增益调整。然后，使用adc111进行从模拟信号到数字信号的a/d转换，然后将这些数字信号作为r、g和b各颜色的数字图像信号供给至摄像信号处理电路507。
在摄像信号处理电路507中，进行诸如用于噪声降低的低通滤波和遮光校正等的校正处理、诸如白平衡调整处理等的图像信号处理、以及针对图像数据的压缩处理。应当注意，被配置为进行这些处理的摄像信号处理电路507可以内置在具有堆叠结构的摄像器件506中。
透镜单元501由透镜控制单元502驱动以控制例如变焦和调焦。利用快门/光圈驱动单元505来对机械快门503和光圈504进行驱动控制。
整体控制计算单元509整体控制摄像设备并且进行计算处理。第一存储器单元508暂时存储图像数据。诸如半导体存储器等的可移除的记录介质512记录图像数据。记录介质控制接口单元510将图像数据记录在记录介质512中或者读出记录介质512中所记录的图像数据。应当注意，整体控制计算单元509可以内置在具有堆叠结构的摄像器件506中。
显示单元511被配置为显示例如图像数据。外部接口(i/f)单元513可用于与例如外部计算机进行通信。第二存储器单元514暂时存储来自整体控制计算单元509的计算结果以及参数。将与用户经由操作单元515所设置的摄像设备的驱动条件有关的信息发送至整体控制计算单元509，使得可以基于该信息来控制摄像设备整体。
接着，将参考图1、图3a和3b以及图7来说明根据第一实施例的摄像系统中的操作过程。
图7是示出根据第一实施例的摄像系统中的用于拍摄运动图像的序列和信号处理的流程图。
在步骤s601中，在整体控制计算单元509中基于用户经由操作单元515所输入的设置来对参数进行初始化。将初始化后的参数记录在第二存储器单元514中。
在步骤s602中，以监视器模式驱动摄像系统，其中在该监视器模式中，将所拍摄到的被摄体视频实时地显示在显示单元511上。更具体地，以混合/间隔剔除模式驱动摄像器件506，其中在该混合/间隔剔除模式中，将多个像素组合或者对部分像素进行间隔剔除以读出图像信号。所读取的图像信号在摄像信号处理电路507中经过信号处理并且由显示单元511进行显示。
在以监视器模式驱动时，可以根据需要基于从摄像器件506读出的图像信号来进行自动曝光调节(ae)控制所用的测光操作和自动焦点调节(af)控制所用的测距操作。然后，摄像信号处理电路507基于测光结果来测量被摄体的亮度，并且计算光圈值av和快门速度tv，使得所拍摄到的图像可以具有适当亮度。此外，基于测距结果来计算被摄体图像的焦距。
尽管这里基于根据从摄像器件506读取的图像信号所获得的对比度信息来进行af控制，但摄像器件506可以具有与摄像用像素分开的焦点检测像素。然后，可以基于使用从焦点检测像素所获得的相位差信息(散焦量)的摄像面相位差检测来进行af控制。可以根据例如拍摄条件和被摄体来按照需要组合对比度af控制和摄像面相位差af控制以供使用，或者可以进行该控制以改变af方式。
整体控制计算单元509将用以获取所计算出的光圈值av和快门速度tv的指示提供至快门/光圈驱动单元505。整体控制计算单元509将用以获取所计算出的透镜位置l的指示提供至透镜驱动单元502。快门/光圈驱动单元505根据所接收到的指示来驱动机械快门503和光圈504。透镜驱动单元502基于所提供的指示来驱动透镜单元501。将所计算出的光圈值av、快门速度tv和透镜位置l记录在第二存储器单元514中。
可以通过使储存时间段(曝光时间段)在摄像器件506的行或像素之间不同、或者通过使用于放大图像信号的增益不同来进行ae控制，使得可以针对各行或各像素获取一帧内的具有不同曝光的图像。在该控制下，可以生成具有宽动态范围的hdr图像。
在步骤s603中，整体控制计算单元509判断操作单元515中的视频记录触发开关sw_1的on/off(接通/断开)状态。如果开关sw_1具有on状态，则处理进入步骤s604。如果开关sw_1具有off状态，则处理再次返回至步骤s602。
在步骤s604中，将拍摄参数i重置为0。拍摄参数i是表示运动图像的帧索引的参数。
在步骤s605中，从第二存储器单元514读出光圈值av、快门速度tv和透镜位置l。基于从摄像器件506读取的图像数据以及从第二存储器单元514读出的光圈值av和快门速度tv来计算用于获取适当亮度的光圈值av和快门速度tv。
此外，根据从摄像器件506读取的图像数据和从第二存储器单元514读出的透镜位置l来计算用于获取适当焦距的透镜位置l。将所计算出的光圈值av、快门速度tv和透镜位置l记录在第二存储器单元514中。
如果拍摄参数i＝0，则考虑步骤s606中的驱动模式和步骤s602中的驱动模式下的感光度差，基于从第二存储器单元514读出的光圈值av和快门速度tv来重新计算光圈值av和快门速度tv。要使用从第二存储器单元514读出的透镜位置l的值。
如果拍摄参数i≠0，则原样使用从第二存储器单元514读出的光圈值av、快门速度tv和透镜位置l。然后，整体控制计算单元509将用以获取光圈值avi、快门速度tvi和透镜位置li的指示提供至透镜驱动单元502和快门/光圈驱动单元505，并且驱动透镜单元501、机械快门503和光圈504。
在步骤s606中，不同于步骤s602，以全像素读出模式来驱动摄像器件506，其中在该全像素读出模式中，从摄像器件506上的所有像素读出图像信号以进行拍摄操作。将通过拍摄操作所获取到的具有第一数据大小的一帧的图像数据发送至处理单元118。
在步骤s607中，处理单元118切出与步骤s606中所拍摄到的图像的预定区域(诸如8k4k大小的区域等)相对应的图像数据，并且将这些图像数据暂时存储在帧存储器117中。
在步骤s608中，整体控制计算单元509读取用户经由操作单元515中的电子变焦操作按钮所设置或指示的变焦倍率x。这里可设置的变焦倍率x的范围例如可以为1x～4x。
在步骤s609中，处理单元118基于所设置的变焦倍率x的值来从帧存储器117中读出以图像中心为基准的1/x区域的图像数据。处理单元118还进行缩小变倍处理，其中该缩小变倍处理用于将所读出的1/x区域的图像数据转换成具有作为记录所用的运动图像大小的全hd(以下称为fhd)。
在步骤s610中，步骤s609中经过了向fhd大小的缩小变倍的图像数据在p/s转换单元119中经过并行/串行转换，并且被传送至摄像信号处理电路507。
从p/s转换单元119输出的图像数据被设置成具有作为图像数据的数据大小的fhd大小(2m)和60fps的帧频，以使得等于或低于摄像器件506的输出传送容量。
在步骤s611中，响应于来自整体控制计算单元509的指示，处理单元118在步骤s609中进行缩小变倍处理，并且摄像信号处理电路507对步骤s610中所传送来的图像数据进行处理。然后，将如此得到的数据作为运动图像记录在记录介质512中。
在摄像信号处理电路507中要进行的处理可以包括例如用于降低噪声的低通滤波处理、缺陷校正处理、遮光校正处理和白平衡处理等的图像信号处理、显像处理、图像信号压缩处理。
在步骤s612中，向参数i加1，以使帧索引递增。
在步骤s613中，整体控制计算单元509判断开关sw_1的on/off状态。如果开关sw_1具有off状态，则处理进入步骤s605。如果开关sw_1具有on，则视频记录序列结束。
将参考图8来说明根据本实施例的从摄像器件506传送至摄像信号处理电路507的图像数据的输出传送容量与运动图像的图像大小和帧频之间的关系。
从摄像器件506向摄像信号处理电路507的串行传送i/f的各端口的传送容量的上限约为1gbps，并且摄像器件506的输出单元在该串行传送i/f中具有两个端口。
总传送数据量等于1440mbps(＝2m*12*60)，其中运动图像的图像大小是fhd大小(2m)，图像数据的位长是12位，并且帧频是60fps。该数据传送量由于超过传送容量的上限即1gbp，因此被分割且分配至串行传送i/f的两个端口，使得针对各端口要传送的数据量可以等于不超过传送容量的上限的720mbps。
4k2k(8m)和8k4k(32m)的图像大小分别为fhd(2m)的4倍和16倍。为了将要传送的数据量减少为近似于fhd的数据量，必须降低帧频。换句话说，针对4k2k大小的运动图像，帧频必须降低为与fhd的60fps的1/4倍相等的15fps，以及针对8k4k大小的运动图像，帧频必须降低为与fhd的60fps的1/16倍相等的3.75fps。
图9a～9d示出根据本实施例的变焦倍率与帧存储器中的切出区域和缩小变倍处理之间的关系。本实施例假定变焦倍率可在1x～4x的范围内改变。
如图9a所示，在将变焦倍率设置为最小的1x的情况下，从作为帧存储器117内所记录的图像数据的所有区域的8k4k大小(32m)的切出区域中读出信号。为了将该大小转换成以图像中心为基准的fhd大小(2m)，处理单元118纵横地进行向1/4x的缩小变倍处理。
如图9b所示，在将变焦倍率设置为2x的情况下，从帧存储器117内所记录的图像数据的所有区域中切出4k2k大小(8m)的区域，其中该区域是作为以图像中心为基准的切出区域的纵横1/2区域。为了将该大小转换成以图像中心为基准的fhd大小(2m)，处理单元118纵横地进行向1/2x的缩小变倍处理。
如图9c所示，在将变焦倍率设置为x的情况下，从帧存储器117内所记录的图像数据的所有区域中切出作为以图像中心为基准的切出区域的纵横1/x区域(32m/x2)。为了将该大小转换成以图像中心为基准的fhd大小(2m)，纵横地进行向x/4的缩小变倍处理。
如图9d所示，在将变焦倍率设置为最大的4x的情况下，从帧存储器117内所记录的图像数据的所有区域中切出fdh大小(2m)的区域，其中该区域是作为以图像中心为基准的切出区域的纵横1/4区域。然后，按等倍率原样处理具有fdh大小(2m)的图像数据。
如上所述，进行控制，使得倍率要缩小的图像数据的大小可以始终具有作为记录所用的运动图像大小的恒定大小，而与缩小变倍处理中所应用的倍率无关。
通常可利用诸如lanczos法、平均像素法和双三次法等的算法，并且考虑摄像器件中可能要求的处理电路的大小、速度和图像质量之间的折衷，来确定在这种缩小变倍处理电路中要应用的算法。
图10是示意性示出针对运动图像的各帧的各部分要进行的图像处理及其时间点作为示例的说明图。参考图10，横轴表示时间t，并且随时间的经过而逐帧地更新并输出运动图像的各帧。
在用于拍摄运动图像的序列开始时，将在最初帧(i＝0)处从摄像器件506的所有像素所读取的图像数据中与运动图像有关的8k4k大小的区域的图像数据暂时存储在帧存储器117中。这里将变焦倍率设置为1x。基于该变焦倍率，读出帧存储器117内所存储的整个区域的8k4k(32m)大小的图像数据。为了将该大小转换成作为记录所用的运动图像大小的fhd大小(2m)，处理单元118纵横地进行向1/4x的缩小变倍处理，并且从摄像器件506输出如此得到的图像数据。
在经过了一段时间之后的下一帧(i＝1)处，将从摄像器件506的所有像素新读出的图像数据中与运动图像有关的8k4k大小的区域的图像数据暂时存储(或更新)在帧存储器中。此时，将变焦倍率的设置更新为比1x略大的新值。基于该变焦倍率，从帧存储器117读出比整个区域略小的区域的图像数据。然后，这些图像数据在处理单元118中经过缩小变倍处理以使大小转换成fhd大小(2m)，然后从摄像器件506输出。
之后，随着时间的经过，通过将变焦倍率设置改变得更大来更新运动图像的各帧。
本实施例假定：运动图像的图像大小是fhd大小，帧频等于30fps，并且电子变焦倍率的可用范围为1x～4x，使得串行传送端口的传送容量不能超过1gbps。为了实现这些假定，将帧存储器的读取大小设计为8k4k大小。
然而，串行传送端口的传送容量已逐年向着更高的速度提高，并且已要求摄像设备的运动图像所具有的图像大小更大且帧频更高。显而易见，本发明的实施例可以具有可灵活地适用于这些趋势和要求的规范。
如上所述，根据第一实施例，具有呈堆叠的像素层和电路层的摄像器件在电路层中具有帧存储器，使得可以在无需用于放大图像的大小的处理的情况下，通过仅进行摄像器件内的缩小变倍处理来进行电子变焦。
第二实施例
根据第二实施例，将说明如下的摄像设备，其中该摄像设备具有可以对电子拍摄图像进行平摇/倾斜处理的拍摄模式。换句话说，如第一实施例那样，通过使切出区域的中心从帧存储器117内暂时存储的图像数据的图像中心起纵横地移动，来切出并读取图像数据。
由于根据本实施例的摄像器件的结构与根据第一实施例的参考图1～5所述的结构相同，因此将省略该说明。由于摄像系统的概述也与根据第一实施例的参考图6所述的概述相同，因此将省略该说明。由于针对图像数据要进行的缩小变倍处理与根据第一实施例的参考图9a～9d所述的缩小变倍处理相同，因此将省略该说明。
图11a和11b示出变焦倍率设置为4x的情况下的来自帧存储器117中所记录的整个区域的图像数据的切出区域。
图11a示出如根据第一实施例的图9d所示、从帧存储器1117内所记录的图像数据的整个区域(8k4k)中切出作为以图像中心为基准的纵横1/4区域的fdh大小(2m)的区域。
另一方面，图11b示出根据第二实施例的切出区域。换句话说，通过使切出区域的中心从帧存储器117内所记录的图像的整个区域(8k4k)的图像中心起纵横地移动，来切出fhd大小(2m)的图像数据。
如电子变焦操作那样，用于使切出区域的中心纵横地移动的操作可以根据经由操作单元515中设置的平摇/倾斜操作按钮所给出的设置或指示来进行，并且可以利用整体控制计算单元509来读取。该操作还可以通过利用整体控制计算单元509控制处理单元118和帧存储器117来实现。
如上所述，同样，纵横地移动切出区域的中心不仅适用于电子变焦，而且还适用于针对电子拍摄图像要进行的平摇/倾斜处理。同样，在无需放大图像的大小的情况下实现了电子平摇/倾斜功能。
第三实施例
根据第三实施例，将说明如下的摄像系统，其中该摄像系统具有可以在正进行视频记录时拍摄静止图像的拍摄模式。根据本实施例，摄像器件始终以全像素读出模式进行拍摄操作，并且将说明用于根据作为全像素读出模式的驱动结果而输出的图像信号来生成运动图像和静止图像这两者的方法。
由于根据本实施例的摄像器件的结构与根据第一实施例的参考图1～5所述的结构相同，因而将省略该说明。由于摄像系统的概述也与根据第一实施例的参考图6所述的概述相同，因此将省略该说明。
接着，将参考图12的流程图来说明在根据本实施例的摄像系统中要进行的操作过程。特别地，将详细说明在响应于选择了用于运动图像的驱动模式而对所有像素的像素数据进行调整大小并且传输运动图像所用的像素数据的情况下要进行的操作。动画模式可以例如是4k2k动画模式、full_hd动画模式或hd动画模式。假定摄像器件的像素数是高宽比为3:2的2400万(水平6000×垂直4000)个像素。
在步骤s601中，在用户接通操作单元515中所包括的电源按钮的情况下，在步骤s602中定义初始设置。
在步骤s603中，在用户选择动画模式作为拍摄模式并且接通操作单元515中所包括的运动图像记录按钮的情况下，开始运动图像记录。这里假定选择4k2k动画、full_hd动画和hd动画其中之一。
在步骤s604中，根据整体控制计算单元所确定的曝光设置(储存时间段/光圈设置/感光度设置)来开始摄像器件506的曝光。
在步骤s605中，从在步骤s604中进行曝光后的摄像器件506的所有像素中读出信号。在步骤s606中，将在步骤s605中从所有像素读出的信号作为图像数据存储在帧存储器117中。
在步骤s607和s608中，确定用户在步骤s603的模式设置时所选择的动画模式。如果在步骤s603中选择了4k2k动画，则处理进入步骤s609。如果选择了full_hd动画，则处理进入步骤s610。如果选择了hd动画，则处理进入步骤s611。
在步骤s609、s610或s611中，基于帧存储器117中所存储的所有像素的图像数据，来对具有与用户所选择的动画模式相对应的图像大小的图像数据进行调整大小转换处理。以下将说明该处理的详情。
在步骤s612中，在p/s转换单元120中对在步骤s609、s610或s611中调整大小为与所选择的动画模式相对应的图像大小的图像数据进行p/s转换，并且选择最佳的传输速度和最佳的端口数量。将p/s转换后的图像数据发送至摄像信号处理电路507。
在步骤s613中，摄像信号处理电路507对从p/s转换单元120输出的图像数据进行运动图像显像处理。更具体地，进行诸如用于噪声降低的低通滤波、遮光校正和白平衡处理等的图像数据处理以及校正处理。
在步骤s614中，将步骤s613中处理后的图像数据作为运动图像数据记录在记录介质512中、或者以实时取景方式显示在显示单元511上。
在步骤s615中，如果拍摄操作继续，则处理返回至步骤s604，其中在该步骤s604中，继续进行运动图像记录。如果在步骤s615中运动图像记录结束，则在步骤s616中，断开电源。
接着，将参考图13a～13d来说明根据本实施例的用于对图像大小进行转换的处理。图13a示出从摄像器件读出的高宽比为3:2的2400万(水平6000×垂直4000)个像素的图像数据。
在用户选择4k2k动画作为动画模式的情况下，处理单元118在整体控制计算单元509的控制下进行向4k2k动画所需的像素数的调整大小转换处理。换句话说，根据帧存储器117中所存储的所有像素的图像数据来计算4k2k动画所用的图像大小，并且基于该计算结果来进行调整大小转换处理。
4k2k动画所用的水平大小和垂直大小为4096×2160(高宽比为16:9、约800万个像素)。因而，如图13b所示，根据所有像素中的针对4k2k动画而调整大小的图像数据来输出与16:9的高宽比相对应的区域701的图像数据。
在用户选择full_hd动画作为动画模式的情况下，处理单元118在整体控制计算单元509的控制下进行向full_hd动画所用的像素数的调整大小转换处理。换句话说，根据帧存储器117中所存储的所有像素的图像数据来计算full_hd动画所用的图像大小，并且基于该计算结果来进行调整大小转换处理。
full_hd动画所需的水平大小和垂直大小为1920×1080(高宽比为16:9、约200万个像素)。因而，如图13c所示，根据所有像素的数据中的针对full_hd动画而调整大小的图像数据来输出与16:9的高宽比相对应的区域702的图像数据。
在用户选择hd动画作为动画模式的情况下，处理单元118在整体控制计算单元509的控制下进行向hd动画所用的像素数的调整大小转换处理。换句话说，根据帧存储器117中所存储的所有像素的图像数据来计算hd动画所用的图像大小，并且基于该计算结果来进行调整大小转换处理。
hd动画所需的水平大小和垂直大小为1280×720(高宽比为16:9、约100万个像素)。因而，如图13d所示，根据所有像素的数据中的针对hd动画而调整大小的图像数据来输出与16:9的高宽比相对应的区域703的图像数据。
如上所述，帧存储器中所存储的所有像素的数据向用户所选择的运动图像所用的图像大小的调整大小转换可以大幅缩减从p/s转换单元120向摄像信号处理电路507要发送的数据量。
例如，假定要将所有的2400万个像素的图像数据按120fps的帧频从p/s转换单元120经由八个端口发送至摄像信号处理电路507。由于在4k2k动画模式中要按120fps的帧频传输的图像数据的数据量等于或小于在全像素读出模式中所传输的数据量的1/4倍，因此代替八个端口，需要两个端口来进行传输。
在使用八个端口来进行传输的情况下，传输速度可以降低到1/4以下。由于在hd动画或vga动画模式中要传输的图像数据的数据量可以更少，因此可以进一步降低图像数据的传输速度，这样可以减少电力消耗。
尽管说明了使用120fps的帧频，但在动画模式中可以应用诸如60fps和30fps等的可变帧频。在这种情况下，可以将用于读出并传送所有像素的图像数据的帧频改变为运动图像所用的帧频。
尽管说明了根据本实施例的摄像器件的像素数为2400万个像素，但本发明的实施例不限于此，并且可应用的摄像器件可以具有各种像素数。
如上所述，根据本实施例，具有呈堆叠的像素层和电路层的摄像器件在电路层中具有帧存储器，并且可以进行全像素读出模式下的图像大小向用户所选择的动画模式下的图像大小的转换处理，使得可以减少用于传输图像数据的数据量。可以进一步降低电力消耗。
第四实施例
根据第三实施例，在将动画模式下的图像大小转换成所选择模式下的最佳图像大小时，进行调整大小处理，使得可以减少用于传输图像数据的数据量，以降低电力消耗。另一方面，根据第四实施例，将说明与用于从整个画面图像中切出图像的操作有关的详情。
作为根据第四实施例的进行切出操作的示例，将说明通过从所有像素的数据中切出视角所获取到的4k2k(4096×2160)运动图像。由于根据本实施例的设备结构与根据上述实施例的设备结构相同，因此将省略该说明。
将参考图14的流程图来说明用于在用户选择4k2k动画作为动画模式的情况下、从所有像素的数据中切出并读出4k2k动画中所需的视角区域的操作。将省略根据第三实施例的针对与参考图12所述的操作相同的操作的说明。
在步骤s603中，在用户选择了4k2k动画作为动画模式并且按下操作单元515中所包括的运动图像记录按钮的情况下，开始运动图像记录。在步骤s606中，将所有像素的图像数据存储在帧存储器117中。
在步骤s801中，在整体控制计算单元509的控制下，处理单元118进行用于从帧存储器117内所存储的所有像素的图像数据中切出视角以适合4k2k动画的像素数的处理。将所切出的4k2k动画所用的图像数据发送至p/s转换单元120。步骤s612及其后续步骤中的操作与根据第一实施例的图12中的操作相同。
接着，将参考图15a和15b来说明图像切出处理。图15a示出从摄像器件读出的高宽比为3:2的2400万(水平6000×垂直4000)个像素的图像数据。
在用户选择4k2k动画作为动画模式的情况下，处理单元118在整体控制计算单元509的控制下从帧存储器117内所存储的图像数据中切出4k2k动画所需的视角。
由于4k2k动画所需的水平大小和垂直大小为4096×2160，因此例如考虑到在摄像信号处理电路507中要进行的校正，来进行视角切出处理以获取如图15b所示的4136×2200的图像数据。
如上所述，根据本实施例，具有呈堆叠的像素层和电路层的摄像器件在电路层中具有帧存储器，并且可以进行从全像素读出模式下的图像大小向用户所选择的动画模式下的图像大小的切出处理，使得可以减少用于传输图像数据的数据量。可以进一步降低电力消耗。
第五实施例
用户可以进行用于放大显示单元上的实时取景动画的画面区域的大小的操作，以在拍摄时进行手动聚焦。然而，在从作为图像的间隔剔除的结果的实时取景显示状态直接放大图像的大小的情况下，分辨率可能下降，并且图像质量可能劣化。因而，可能难以实现聚焦。
根据第五实施例，将说明用于在用户通过观看相应的实时取景画面来放大预定区域的图像的大小的情况下、通过保持分辨率来无缝地输出图像数据的操作。由于根据本实施例的设备结构与根据上述实施例的设备结构相同，因此将省略该说明。
假定通过将高宽比为3:2的2400万(6000×4000)个像素的图像数据调整大小为适合实时取景模式的图像大小(750×500)来获取实时取景模式中要显示的图像数据。
将参考图16所示的流程图来说明根据本实施例的从用于显示实时取景动画的操作起的显示区域放大操作。
在步骤s1001中，在用户接通操作单元515中所包括的电源按钮的情况下，定义初始设置，然后开始拍摄并显示实时取景动画。
在步骤s1002中，根据整体控制计算单元所确定的曝光设置(储存时间段/光圈设置/感光度设置)来开始摄像器件506的曝光。
在步骤s1003中，从在步骤s1002中进行曝光后的摄像器件506内的所有像素中读出信号。在步骤s1004中，将在步骤s1003中从所有像素读出的信号作为图像数据存储在帧存储器117中。
在步骤s1005中，判断用户是否选择了实时取景放大。如果在步骤s1005中判断为没有选择实时取景放大，则处理进入步骤s1006。
在步骤s1006中，基于帧存储器117中所存储的所有图像数据，图像数据经过向实时取景动画大小的像素大小(750×500)的调整大小处理。
如果在步骤s1005中判断为选择了实时取景放大，则处理进入步骤s1007。例如，响应于用户所进行的放大框的选择和操作单元515中所包括的放大按钮的按下，发生实时取景放大的选择。
在步骤s1007中，将与用户所指定的放大区域有关的信息从整体控制计算单元509发送至处理单元118。然后，像素计算单元118基于与放大区域有关的信息，来计算用于将与帧存储器117中所存储的所有像素的图像数据的放大区域相对应的图像数据调整成适合实时取景的视角的调整大小比率。
在步骤s1008中，基于步骤s1007中所计算出的调整大小比率，帧存储器117中所存储的所有像素的图像数据根据放大区域而经过调整大小处理。
在步骤s1009中，仅将基于放大区域而从具有通过步骤s1008的调整大小处理改变后的图像大小的图像中所切出的图像数据发送至p/s转换单元120。
在步骤s1010中，在p/s转换单元120中基于在步骤s1006或步骤s1009中所发送的图像数据的数据量来对该图像数据进行p/s转换，并且选择最佳的传输速度和最佳的pot数。将p/s转换后的图像数据发送至摄像信号处理电路507。
在步骤s1020中，摄像信号处理电路507对从p/s转换单元120输出的图像数据进行实时取景所用的显像处理。更具体地，进行诸如噪声降低所用的低通滤波、遮光和白平衡处理等的图像数据处理、校正处理和压缩。
在步骤s1011中，将步骤s1020中进行处理后的图像数据作为运动图像数据显示在显示单元511上。
如果在步骤s1012中判断为继续拍摄，则处理返回至步骤s1002，并且随后进行实时取景操作。如果在步骤s1012中判断为结束拍摄，则处理进入步骤s1013，其中在该步骤s1013中，实时取景操作结束。
接着，将参考图17a～17e来说明根据本实施例的实时取景显示所用的放大转换处理。图17a示出在用户指定放大区域1100的放大的情况下、显示单元511上要显示的实时取景动画的示例。
图17b示出将图17a所示的放大区域1100以放大大小显示在显示单元511上。如图17c所示，帧存储器117始终存储从摄像器件读取的所有像素的图像数据1101。
对于实时取景的正常显示，如图17d所示，对帧存储器117中所存储的所有像素的图像数据进行调整大小转换处理，以将该图像数据的大小转换成作为实时取景动画大小的像素大小(750×500)。
另一方面，根据实时取景放大时所选择的放大区域1100，进行控制，使得可以从图17c所示的所有像素的图像数据中切出区域1102，然后可以显示切出区域1102的图像数据。
假定切出区域1102的像素数等于2250个像素×1550个像素。切出区域1102的图像数据经过图17e所示的调整大小处理，以将这些图像数据转换成实时取景显示所用的图像大小750×500。
如上所述，根据本实施例，具有呈堆叠的像素层和电路层的摄像器件在电路层中具有帧存储器，使得从所有像素的图像数据中切出与用户在实时取景显示期间所选择的放大区域相对应的图像数据。作为最佳的调整大小处理的结果，可以传输大小与正常实时取景显示的大小相等的图像数据。因而，可以通过保持分辨率来无缝地输出放大图像。
尽管已经说明了本发明的实施例，但本发明不限于这些实施例，并且可以在没有背离精神和范围的情况下进行各种修改和改变。
其它实施例
还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(asic))的系统或设备的计算机和通过下面的方法来实现本发明的各实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算机系统的存储器、光盘(诸如致密盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)tm等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2015年5月29日提交的日本专利申请2015-109426、2015年5月29日提交的日本专利申请2015-109429和2016年4月22日提交的日本专利申请2016-086544的优先权，在此通过引用包含这些专利申请的全部内容。
- 还没有人留言评论。精彩留言会获得点赞！