专利名称：摄像方法以及摄像装置的制作方法
技术领域：
本发明涉及一种摄像方法和摄像装置，尤其涉及将利用高精细摄像元件或超高精细摄像元件进行摄像所得到的高分辨率图像信号区分成多个高分辨率区域和低分辨率区域，并以预定的数据输出频率读出的摄像方法以及摄像装置。
背景技术：
近来，开发出了能够对HDTV(high definition television，高清晰度电视)放送方式以上的超高精细图像进行摄影的超高精细摄像元件。另一方面，例如，为了将水平方向1920像素、垂直方向1080像素的HDTV用高精细摄像元件所拍摄的高精细图像在1帧的期间内(1/30秒)进行全像素输出，至少需要74MHz的驱动频率。将具有HDTV图像以上的像素数的超高精细摄像元件的全部像素在1帧期间输出时，需要更高的驱动频率。但是，驱动频率变高时，摄像元件驱动时钟电路以及信号处理电路的电力增加，并且信号处理电路的门数增加，因此优选一种能够实现将摄像元件拍摄的高精细图像以较低驱动频率简单地输出的摄影装置。
因此，现有公知以下图像输入装置将摄像元件拍摄的高精细图像区分成低分辨率的整体图像和高分辨率的部分图像的区域，将二者的图像以每秒30张输出(例如参照专利文件1)。在该专利文件1所述的图像输入装置中，从将高密度地配置多个受光元件的高分辨率的固体摄像元件中，低分辨率整体图像扫描输出部通过降低了分辨率的图像整体的读出扫描，输出低分辨率的整体图像数据，高分辨率部分图像扫描部输出保持了高分辨率的小画面的部分图像数据。并且，通过切换部将所述低分辨率的整体图像数据和高分辨率的部分图像数据在每秒30张的帧周期内切换，以视频速率以上的速度顺次输出低分辨率的整体图像数据和高分辨率的部分图像数据。并且摄像装置内的图像剪切处理部根据低分辨率的整体图像数据，自动决定下一帧的高分辨率的部分图像数据的剪切位置，并指示高分辨率部分图像扫描部。
专利文件1特开2004-180240号公报但是，在专利文件1公开的图像输入装置中，虽然作为整体能以低驱动频率从高分辨率摄像元件拍摄的图像输出低分辨率的整体图像数据和小画面的高分辨率的部分图像数据，但各个像素需要低分辨率用和高分辨率用的各自专用的输出线，并且也需要低分辨率的整体图像数据和高分辨率的部分图像数据的输出/读出的切换部，因此装置需要专用的构造。
并且，在上述图像输入装置中，为了将从低分辨率用的滤波器处理(加法/平均)电路输出的低分辨率的图像数据和从高分辨率电路输出的高分辨率图像数据在一个画面内作为一张图显示，不管被拍摄体图像如何，都分离成低分辨率图像显示区和高分辨率图像显示区的两个区来显示，因此，由于被拍摄体的不同，产生可以明显看见这些区的边界的问题。并且，分辨率的选择只能选择低分辨率1种和高分辨率1种中的2种，不能使画面内的分辨率平稳地变化，不能输出使多个图像区域内显示不同分辨率的图像等变化丰富的图像数据。
另外，作为用于降低摄像元件的驱动频率的其他方法有以下方法摄像元件在CMOS图像传感器时并不读出全像素，例如每隔1像素或4像素等间隔着读出的方法。在每隔4像素读出时与读出全像素相比，驱动频率为其1/4，但整体像素数变少，因此会产生显示的图像整体变粗糙等画质恶化的问题。尤其是总是将摄影区域以一定间隔进行读取，在一个画面内的显示和要记录的图像种的图像也减少，因此画质恶化。
发明内容
本发明鉴于上述各点，目的在于提供一种摄影方法以及摄影装置，能从由不具有专用输出线或切换部的通用构造的摄像元件在同一时间拍摄得到的摄像信号中，以预定的低驱动频率输出具有多个分辨率的图像区域和高分辨率的期望图像区域的一个系统的图像信号。
并且，本发明的其他目的在于提供一种摄像方法和摄像装置，在将一个画面的图像区域分割成2个以上区域时，能够在各个分割图像区域将其显示图像的分辨率简单地设定成预定的分辨率，并且能够进行使加权变化的图像区域的边界不显眼的2个以上分辨率的选择。
为了实现上述目的，本发明的第一发明提供一种摄像方法，从可随机存取的摄像元件的摄像区域的全部光电转换像素区域中选择2个以上的光电转换像素区域，从该选择的2个以上的光电转换像素区域中读出像素信号，得到摄像信号，所述摄像元件的摄像区域中具有二维排列成矩阵状的多个光电转换像素区域，该摄像方法的特征在于，包括以下步骤第一步骤，制作图形，该图形将所述摄像区域分割成N个分割图像区域，并且对所述各个分割图像区域，根据利用所选择的检测方法从所述摄像元件的摄像信息得到的检测信息，设定了表示读出信号的读出光电转换像素区域数相对于该分割图像区域内的全部光电转换像素区域数的比例的加权比例，其中N为1以上的任意自然数；第二步骤，根据所述图形驱动所述摄像元件；第三步骤，根据从所述摄像区域内的读出光电转换像素区域读出的第一像素信号，插补生成所述摄像区域内的未读出的光电转换像素区域的第二像素信号；以及第四步骤，合成所述第一像素信号和所述第二像素信号，并以预定帧频输出摄像信号。
为了实现上述目的，本发明的第二发明提供一种摄像方法，其特征在于，包括以下步骤第一步骤，利用选择的检测方法，取得根据所述摄像元件的摄像信息得到的检测信息；第二步骤，按照每个所述检测信息制作多个图形并将其预先存储在存储装置中，所述多个图形设定了表示读出信号的读出光电转换像素区域数目相对于分割所述摄像区域而得到的N个分割图像区域内的全部光电转换像素区域数目的比例的加权比例，根据在所述第一步骤中按照所述分割图像区域而取得的所述检测信息，参照所述存储装置，从存储的所述多个图形中选择最近似的一个图形，其中N为1以上的任意自然数；第三步骤，根据在所述第二步骤中选择的所述图形，驱动所述像素元件；第四步骤，根据从所述摄像区域内的读出光电转换像素区域读出的第一像素信号，插补生成所述摄像区域内的未读出的光电转换像素区域的第二像素信号；以及第五步骤，合成所述第一像素信号和所述第二像素信号，并以预定的帧频输出摄像信号。
并且，为了实现上述目的，第三发明提供一种摄像装置，其特征在于，包括可随机存取的摄像元件，在其摄像区域具有二维排列成矩阵状的多个光电转换像素区域；图形制作单元，制作图形，该图形中根据利用所选择的检测方法从所述摄像元件的摄像信息得到的检测信息，将所述摄像区域分割成N个分割图像区域，并且对所述各个分割图像区域，设定了表示读出信号的读出光电转换像素区域数相对于该分割图像区域内的全部光电转换像素区域数的比例的加权比例，其中N为1以上的任意自然数；驱动单元，根据所述图形驱动所述摄像元件；插补单元，根据从所述摄像区域内的读出光电转换像素区域读出的第一像素信号，插补生成所述摄像区域内的未读出的光电转换像素区域的第二像素信号；以及图像形成单元，合成所述第一像素信号和所述第二像素信号，以预定帧频生成摄像信号并供给到所述图形制作单元。
并且，为了实现上述目的，第四发明提供一种摄像装置，其特征在于，包括可随机存取的摄像元件，在其摄像区域具有二维排列成矩阵状的多个光电转换像素区域；检测信息取得单元，利用选择的检测方法，取得根据所述摄像元件的摄像信息得到的检测信息；存储装置，按照每个所述检测信息制作多个图形并将其预先存储，所述多个图形设定了表示读出信号的读出光电转换像素区域数目相对于分割所述摄像区域而得到的N个分割图像区域内的全部光电转换像素区域数目的比例的加权比例，其中N为1以上的任意自然数；选择单元，根据按照所述分割图像区域而取得的所述检测信息，参照所述存储装置，从该存储装置中存储的所述多个图形中选择最近似的一个图形；驱动单元，根据选择的所述图形，驱动所述像素元件；插补单元，根据从所述摄像区域内的读出光电转换像素区域读出的第一像素信号，插补生成所述摄像区域内的未读出的光电转换像素区域的第二像素信号；以及图像形成单元，合成所述第一像素信号和所述第二像素信号，并以预定的帧频输出摄像信号。
在第一和第三发明中，制作图形，该图形按照各个分割图像区域，根据利用所选择的检测方法从摄像元件的摄像信息得到的检测信息，设定了表示读出信号的读出光电转换像素区域数目相对于该分割图像区域内的全部光电转换像素区域数的比例的加权比例，根据该制作的图形驱动摄像元件，因此，利用根据所选择的检测方法而制作的图形，能够对于摄像对象中需要高分辨率的分割图像区域和不需要高分辨率的分割图像区域进行最佳的加权的像素读出。
并且，在第二和第四发明中，基于按照各个分割图像区域取得的检测信息，参照按照各个检测信息制作设定了加权比例的多个图形并预先存储的存储装置，从存储在该存储装置中的多个图形中选择最近似的一个图形，因此，可根据检测信息迅速且简单地进行分别最佳配置了摄像对象中的高分辨率的分割图像区域和分辨率互不相同的多个低分辨率的分割图像区域的图形的像素读出。
发明效果根据本发明，利用根据所选择的检测方法制作的图形，对于摄像对象中需要高分辨率的分割图像区域和不需要高分辨率的分割图像区域进行最佳加权的图像读出，因此，能够将在同一时间拍摄的一个系统的图像信号利用低频的驱动信号以预定的帧频输出，该一个系统的图像信号在高精细摄像元件所拍摄的高精细度图像中确保摄像对象等需要分辨率的图像部分为高精细，将其他部分的图像部分为低分辨率的。
并且，根据本发明，基于按照各个分隔图像区域取得的检测信息，参照按照各个检测信息制作设定了加权比例的多个图形并预先存储的存储装置，从该存储装置中存储的多个图形中选择最近似的一个图形，由此，可根据检测信息迅速且简单地进行分别最佳配置了摄像对象中的高分辨率的分割图像区域和分辨率互不相同的多个低分辨率的分割图像区域的图形的像素读出，因此不需要用于图形制作的复杂的处理和电路。
并且，根据本发明，间隔抽取分割图像区域内的全部光电转换像素区域而读出的多个分割图像区域，能够设定成多个分辨率，因此能够设定成在画面的特定区域为全像素读出的高分辨率区域，在画面内远离该特定区域的区域是低分辨率区域，且越远分辨率越低，这时分辨率变化平缓，并且也可以配置成在画面内设置多个全像素读出的高分辨率区域等的变化丰富的分辨率区域。
图1是本发明的摄影装置的第1实施方式的框图。
图2是表示本发明的摄影画面的指南设定例的图。
图3是表示本发明的摄影装置的驱动部的一例的框图。
图4是表示本发明的高分辨率区域和低分辨率区域的分割例的图。
图5是表示本发明的高分辨率区域的像素群的配置例的图。
图6是表示本发明的低分辨率区域的像素群的配置例(其一)的图。
图7是表示本发明的低分辨率区域的像素群的配置例(其二)的图。
图8是表示本发明的低分辨率区域的像素群的配置例(其三)的图。
图9是表示本发明的摄像方法的第一实施方式中可以使用的加权模式的种类的图。
图10是用于说明本发明的摄像方法的第一实施方式的各模式的动作的流程图。
图11是用于说明本发明的摄像方法的第二实施方式的动作的流程图。
图12是本发明的第二实施方式的框图。
图13是表示在本发明的摄像方法和摄像装置中所使用的分割框的一例的图。
图14是对本发明的摄像方法以及摄像装置的第二实施方式的各分割框的图像数据及其处理进行说明的图。
图15是表示与本发明的摄影方法以及摄影装置的第二实施方式的各分割框的制作图形比较的图形表的各例的图。
图16是摄像元件的一例的电路系统图。
图17是图16的摄像元件通常动作时的时序图。
图18是图16的摄像元件在通过像素读出图形进行加权读出动作时的一例的时序图。
图19是本发明的摄影装置的实施例1的框图。
图20是说明图19所示的摄影装置的主要部分的动作的图。
图21是表示本发明的像素读出图形的各例的图。
图22是表示本发明的检测方法和像素读出图形的各例的图。
具体实施例方式
以下，参照附图对本发明的实施方式进行说明。
图1表示本发明的摄影装置的第一实施方式的框图。图1所示的摄像装置10由变焦控制部11、镜头12、摄像元件13、A/D转换部14、DV(Digital Video)记录部15、存储卡16、驱动部17、控制部18、操作部19以及DSP(Digital Signal Processor，数字信号处理器)20构成。摄像元件13例如是水平方向1600像素、垂直方向1200像素的高精细摄像元件，由CMOS图像传感器构成。
DSP 20具有插补器21、行存储器22、图像形成部23、Y/C(Y＝亮度信号、C＝色差信号)处理部24、检测部25、FMC(场模式变更)处理部26的功能。检测部25具有EIS(手抖动校正)电路251、AF(自动聚焦)电路252、脸部检测电路253的检测功能。
并且，如图3的框图所示，驱动部17由驱动信号发生器171、分频器172、以及时钟发生器173构成，控制部18由图形控制 181、图形映像器(pattern map)182、计数器183以及微型计算机(CPU)189构成。
其次，对摄像装置10的动作进行说明。在图1中，首先，驱动部17产生如下驱动信号拍摄的被拍摄体作为可拍摄高精细图像(包括超高精细图像)的摄像元件13可以进行光电转换的所有像素群(在此，所谓像素群是指R、G、G、B四个像素构成的图像要素的单位。以下使用同样的记载)的图像信号，周边部分作为每间隔1像素群进行抽取的图像信号，以预定帧频输出摄影图像数据。
摄像元件13，将经由透镜12在未图示的光电转换部成像的被拍摄体光像中的摄影对象部分(也称作被拍摄体部分)作为全部像素群的图像数据生成，且将被拍摄体光像中的摄影对象部分以外的部分(也称作周边部)作为间隔抽取的像素群的图像数据生成。A/D转换部14将从摄像元件13输出的模拟摄像信号转换成数字图像信号。DSP 20的插补部21，将数字图像信号存储在行存储器22中，生成对作为间隔抽取的像素群的图像数据输出的像素群的部分进行插补了的图像数据。图像形成部23，将从A/D转换部14输出的全部像素群的图像数据以及在插补部21插补得到的图像数据相加(按时序合成)，存储在内置的未图示的帧存储器中。
Y/C处理部24，对由图像形成部23供给的R(红)、G(绿)、B(蓝)三原色的图像数据进行公知的矩阵运算，生成亮度信号Y，并通过公知的运算生成两种的色差信号C。进而，Y/C处理部24也进行γ处理。FMC处理部26，对由Y/C处理部24输出的亮度信号Y以及色差信号C，进行摄影图像的放大/缩小等电子变焦处理。DV记录部15记录由FMC处理部26输入的电子变焦处理后的动态图像信号，存储卡16存储由FMC处理部26输入的高分辨率静态图像或短时间的动态图像。
检测部25的EIS电路251，通过在摄影得到的图像数据中包含的轮廓部分等包含预定高频成分的区域的动作检测手抖动量，从存储在图像形成部23中的图像数据中剪切并输出补偿了手抖动量的图像数据。进而，移动透镜12，使校正了手抖动成分的动作的被拍摄体图像在摄像元件13上成像。AF电路252检测已成像的图像的高频成分，在使透镜12在光轴上移动时，将透镜12移动倒能够得到较大高频成分的位置上。脸部检测电路253根据被拍摄体图像检测出肤色部分，检测肤色图像区域中是否有眼等亮度程度较低的部位，如果检测得到，则将该肤色区域检测为脸部的部分。EIS电路251、AF电路252以及脸部检测电路253均在检测由Y/C处理部24得到的图像信号的高频成分的同时进行动作。
控制部18进行用于根据包括检测出的高频成分的图像区域得到搞精细度的摄影图像的控制。即，控制部18，生成如下控制信号用于以全像素群对包括较多高频成分的被拍摄体部分的区域进行摄影，对周边部的区域间隔抽取并进行摄影。进而，控制部18的微型计算机189，判断是否从摄像元件13中将这些区域的摄影图像以预定时间输出，在超过与帧频相关的预定时间时，改变与全像素群的图像相关的高分辨率区域和与间隔抽取的像素群的图像相关的低分辨率区域的比率。
驱动部17生成用于将摄影分为多个分辨率区域的图像进行摄影的驱动信号。摄像元件13由来自驱动部17的驱动信号驱动，将被拍摄体部分作为全像素群的图像信号，将周边部作为被间隔抽取的图像，输出摄影图像。以后，检测部25根据拍摄的图像信号，检测包括高频成分的图像区域，控制部18决定将画面分割成多个的区域的分辨率，并继续拍摄。图3的微型计算机189与摄像装置10的各电路部以及控制部18内的各部连接，控制其动作。
接下来，参照图2，对摄影画面的指南设置例进行说明。图2(A)是风景拍摄模式的画面，图2(B)是人物摄影模式的画面。风景摄影模式画面是将画面整体以将摄像元件13的全像素中的读出像素每隔1/2抽取后的像素群进行显示的低分辨率的画面。人物摄影模式画面，在假定面部摄影的画面中央区域，处于该区域的摄像元件13在读出全像素的全像素群模式下以高分辨率进行拍摄，随着向画面周边扩展，作为读出该区域的全像素数的1/2的像素数的1/2间隔抽取区域、读出该区域的全像素数的1/4的像素数的1/4间隔抽取区域，分别输出不同的低分辨率图像。另外，在图2(A)、图2(B)中，各自的读出像素的总数相同。
这些摄影模式，由摄影者操作图1的操作部19，指定预先设有的区域图形并进行设定。将其设定成自动切换模式时，当由检测部25的AF电路252检测出合焦点的距离为远方时，作为风景摄影模式进行动作，当检测出合焦点的距离例如为4m以内时，通过人物模式进行动作。并且，利用脸部检测电路253在较为中央的区域中检测出脸部图像时，通过人物模式将人物图像作为高分辨率图像得到。
在风景摄影模式时，从摄像元件13输出每秒30帧的1/2间隔抽取的像素群数据。在人物模式时，高分辨率区域(全像素群区域)、1/2间隔抽取的低分辨率的摄像图像、以及1/4间隔抽取的低分辨率的摄影图像，作为每秒30帧的动态图像输出。对于间隔抽取所引起的像素数的不足，在插补部21进行插补后进行YC处理，根据其间隔抽取图形控制摄像元件13的驱动，在FMC处理部26进行放大或缩小处理。
接下来，参照图3对驱动部17和控制部18进行详细说明。控制部18的图形控制器181，根据由检测部25的EIS电路251、AF电路252以及脸部检测电路253检测出的图像信号的与高频成分相关的信息，生成与所拍摄的图像的分辨率相关的信息。图形映像器182对摄影图像区域生成与高分辨率区域(全像素群区域)、以及通过预先设定的抽取率进行抽取并摄像的低分辨率区域相关的后述的图形映像(pattern map)。抽取率指定为由1/2或1/4以外的分数所指定的比率。计数器183对从摄像元件13输出的摄像信号的像素群的数目进行计数。
在微型计算机189中判断出构成从摄像元件13输出的摄像信号的像素群的数目不能进行例如帧频率为30Hz时的图像数据输出时，生成与用于减小高分辨率区域的尺寸、或变更抽取率的低分辨率区域相关的调整用信号。图形控制器181变更与拍摄的图像的分辨率相关的信息。在图形映像器182中，生成如上所述校正了分辨率的图形映像。
驱动部17的时钟发生器173生成用于驱动DSP 20的时钟信号。该时钟信号被供给到DSP 20。设在DSP 20内的图像形成部23，能够存储由摄像元件13拍摄的全像素群的帧图像，DSP 20执行所存储的图像数据的插补处理、图像特性的校正处理等。分频器172将由时钟发生器173所生成的时钟频率分频为预定频率的时钟。
驱动信号发生器171，生成与分频器172所分频的时钟频率同步的驱动信号，并供给到摄像元件13，从摄像元件13的全像素中根据由图形映像器182指定的像素读出并输出摄像信号。即，驱动信号发生器171，相对于CMOS等元件所构成的摄像元件13，生成与输出摄像信号的像素位置相关的水平及垂直方向的地址信号，并供给到摄像元件13，并且也供给用于输出由该地址信号读出的像素的读出时钟信号。在不进行读出的像素中，根据(每个特定期间的)基准信号进行重置。
再次返回图1进行说明，按照读出时钟信号从摄像元件13输出摄像信号(全像素群图像数据或被间隔抽取的像素群的图像数据)。A/D转换部14将从摄像元件13输出的摄像信号(全像素群图像数据或被间隔抽取了的像素群的图像数据)转换成数字信号。插补部21将被抽取并输出的图像数据存储在行存储器22中，并利用存储在行存储器22中的图像数据，通过直线插补或曲线插补，对未被抽取并输出的像素群数据生成插补数据。在图像形成部23中，按时序合成并存储所拍摄的图像数据、以及插补数据。存储的图像数据的尺寸是与摄像元件13可以拍摄的像素数据相同尺寸的图像。
在本实施方式中，摄像元件13例如在其摄像面内将水平方向1600像素、垂直方向1200像素排列成矩阵状，为了以例如1/60秒读出该全像素，需要大约115MHz(＝1600×1200×60)这一相当高的驱动信号频率，摄像元件驱动用时钟电路以及信号处理电路的消耗电力变大，并且，在利用集成电路实现这些信号处理电路时，电路的门数增加。因此，在本实施方式中，从驱动信号发生器171输出的驱动信号的频率被设定为例如28.75(115/4)MHz这一较低频率。但是，通过该低频驱动信号无法以例如1/60秒读出所述摄像元件13的摄像区域的全像素。
但是，在本实施方式的摄像装置中，将摄像区域分割成多个区域，其中期望的一个分割区域作为高分辨率区域，读出该分割区域的全像素，输出全像素群数据，除此以外的其他一个或二个以上的分割区域作为一个或二个以上的不同分辨率的低分辨率区域，读出与其分辨率对应数目的像素，输出被间隔抽取的像素群数据，因此即使上述较低频率的驱动信号，对于移动的被拍摄体，也能够以预定的帧频取得将期望的区域作为高分辨率区域的像素群数据。通过上述方法，能够实现一种摄像装置，其能够简单地以高分辨率输出由摄像元件13拍摄的需要高分辨率的被拍摄体的图像部分。
其次，参照图4说明图形映像。该图所示的图形映像，表示具有4个分辨率的范围1～范围4的分割图像区域。作为画面中央部的2个分割图像区域的范围1，是读出所拍摄图像的全像素群的高分辨率区域。图中设有2个范围1区域。区域指定的个数是自由的，范围的形状也可以指定为任意形状。作为包围范围1的分割图像区域的范围2，是间隔抽取率为4/6、即从6像素群中得到4像素群的第一低分辨率区域。作为包围范围2的分割图像区域的范围3是间隔抽取率为2/4的第二低分辨率区域，作为包围范围3的分割图像区域的范围4是间隔抽取率为1/4的第三低分辨率区域。本例中设定成除了高分辨率区域之外，分辨率互不相同的低分辨率区域有3个，从画面中心部向着周边部，其分辨率降低。
接下来，对范围1～范围4的各图像数据进行说明。参照图5说明在范围1读出的像素群数据。图5(A)利用R、G、B表示与全像素读出的像素群相关的3原色的像素。如图5(B)所示，1个像素群由1个R、2个G、以及1个B的像素、共计4像素构成。可对每一个像素群指定区域分割的细节。
其次，参照图6对在范围2中读出的像素群数据进行说明。图6(A)利用R、G、B表示以间隔抽取率4/6读出的像素。图6(B)表示将6个像素群作为1个单元反复配置的像素的配置。该6个像素群中，第1列左端的像素群读出4个像素。其右侧的像素群读出G和B的像素，再右侧的像素群读出R和G的像素。类似地，第2列读出图6(B)所示的8像素。如图6(B)所示，从6个像素群实质上读出4个像素群数据。但是，在插补部21中进行的对间隔抽取的像素的插补，需要考虑同色之间的像素配置关系来进行。
接下来，参照图7对在范围3读出的像素群数据进行说明。在该图中，读出的像素是构成同一像素群的4个像素。像素群的排列配置成交错状，间隔抽取率为2/4。通过该交错状的像素群的配置，抑制因间隔抽取引起的水平方向和垂直方向的分辨率的劣化。也容易对间隔抽取的像素群数据进行插补运算。
其次，参照图8对在范围4中读出的像素群数据进行说明。在该图中，读出的像素群为范围3的1/2。在该例中，垂直方向的分辨率与范围3相同，但水平方向的分辨率为范围3的1/2，由此间隔抽取率为1/4。
以上对在范围1～4中读出的像素群的构成例进行了说明。像素的间隔抽取方法除上述之外还可以考虑各种方法。构成1个单元的像素群数、和从该单元中间隔抽取并输出的像素群的数目的关系构成为固定时，可唯一确定插补部21的插补方法，因此，插补运算变得容易。
在此，摄像装置10如图3所示具有控制部18，该控制部18具有如下部分图形映像器(表)182，用于将拍摄元件13所拍摄的高精细图像(包括超高精细图像)区分成高分辨率区域、和能以预定的数据读出频率(传送速率)读出的低分辨率区域，且生成校正图像，其使区分为多个的所述高分辨率区域和所述低分辨率区域合并而成的整体像素数，变为以预定的数据输出频率读出的像素数(固定)；计量所述校正图像的像素群数的计数器183；以及图形控制器181，调查计数器183计量的所述校正图像的像素数是否为以所述预定数据输出频率读出的像素数，当是以所述预定数据输出频率读出的像素数时，进行基于所述校正图像的像素数的输出。
接下来，对该控制器18在本实施方式的摄像装置10的各模式的动作进行说明。作为在本实施方式中可以选择的加权模式的例子，如图9所示，包括进行由摄影者固定的加权的外部模式41、变焦模式42、以及由图像状态进行图形制作的图像状态模式43。并且，在变焦模式42中包括光学变焦模式44和电子变焦模式45。并且，在图像状态模式43中，包括利用EIS电路251的运动模式46、利用AF电路252的高分辨率模式47、以及使用脸部检测电路253的人物模式48。
首先，参照图10(A)的流程图说明外部模式的动作。控制部18，通过操作部19的操作接受模式选择输入(步骤S11)，判断为外部模式时(步骤S12)，从预先准备的存储有多种图形的图形映像器(表格)182选择由摄影者指定的外部模式用的图形(步骤S13)，并按照该图形经由驱动部17进行摄像元件13的读出(步骤S14)，所述多种图形由将1个画面分割成多个图像区域时的分割图像区域的数目、形状以及各分割图像区域的不同分辨率构成。利用外部模式所指定的图形而从摄像元件13读出的像素群数，总是在能以预定的帧频输出1帧图像的预定像素群数以下。
其后，判断是否变更模式(步骤S15)，在判断为不变更模式的情况下，继续步骤S14的读出，在判断为变更模式的情况下，结束动作。在该外部模式中，进行由摄影者固定的加权，通过不受其他机构或图像状态影响的图形进行摄像元件13的读出。
其次，参照图10(B)的流程图对变焦模式的动作进行说明。控制部18，根据操作部19的操作接受模式选择输入(步骤S21)，在判断出是光学/电子变焦模式时(步骤S22)，从预先准备的图形映像器(表格)1 82中选择与变焦倍率相对应的图形(步骤S23)。此时，在预先准备的多个图形中，变焦倍率越高(越远距离摄影时的状况)，在画面中央的分割图像区域中，作为全像素读出的高分辨率区域，且其面积较小，在除此以外的周边的分割图像区域中，越靠周边的分割图像区域，选择间隔抽取率越大的低分辨率区域的图形。这一点在光学变焦和电子变焦中都是同样的。
其后，判断是否在变焦动作中(步骤S24)，处于变焦动作中时，保持前状态的读出直至变焦动作停止(步骤S25)，不处于变焦动作中时，根据步骤S23中选择的图形进行摄像元件13的读出(步骤S26)。利用在变焦模式下指定的图形从摄像元件13读出的像素群数，在能以预定帧频输出1帧图像的预定的像素群数以下。
接着，判断是否变更模式(步骤S27)，在判断出不变更模式时，返回步骤S24，判断是否处于变焦动作中，在判断出变更模式时，结束动作。在该变焦模式下，变焦倍率较小时，适于图4所示范围2或范围3等中间分辨率的区域较大的图像整体均匀的摄影，变焦倍率较大时，摄影图像的焦点深度变浅，因此适于如图4所示范围1的高分辨率区域和范围4的分辨率区域较大的摄影。
接下来，参照图10(C)的流程图对图像状态模式的动作进行说明。控制部18，根据操作部19的操作接受模式选择输入(步骤S31)，在判断为图像状态模式时(步骤S32)，由图形映像器(表格)182制作与图像状态相对应的图形(步骤S33)。在这种情况下，在选择的模式为运动模式时，基于EIS电路251中检测的与手抖动相关的被拍摄体的动作矢量的检测结果制作图形，在选择的模式为高分辨率模式时，根据AF电路252在自动聚焦测光时得到的高频成分的检测结果制作图形，在选择的模式为人物模式时，基于脸部检测电路253的脸部图像检测结果制作图形。
接着，将制作的图形与预先准备的存储有多种图形的图形映像器(表格)182相比较(步骤S34)，从该表格中的多种图形中，选择与制作的图形最一致的图形(步骤S35)，根据该选择的图形，进行摄像元件13的读出(步骤S36)。
接着，判断是否变更模式(步骤S37)。在该步骤S37中，在不变更模式时，利用计数器183对通过上述读出从摄像元件13输出到A/D转换部14的像素群的数目相关的有效像素群数进行计数，控制部18的微型计算机189判断计数所得的有效像素群数是否在能以预定的帧频输出1帧图像的预定像素群数以下。在判断出像素群数超过预定的像素群数时，制作校正成所选择的图形的高分辨率区域的面积变小且低分辨率区域的面积变大的图形的图形映像，将该制作的图形与预先准备的表格的图形相比较，选择加权最一致的图形(步骤S33～S35)。
另一方面，在判断出有效像素群数为上述预定像素群数以下时，读出拍摄的图像数据，但在读出像素数极少的情况下，将制作的图形与预先准备的表格的图形相比较，选择加权最一致、有效读出像素数接近上述预定像素群数的图形(步骤S33～S35)。并且，在步骤S37中判断为变更模式时，结束动作。
这样，在利用EIS电路251检测被拍摄体的移动矢量的运动模式的情况下，被拍摄体在较大范围内移动时(被拍摄体的移动较快时)，选择在画面中央的分割图像区域作为全像素读出的高分辨率区域、且其面积较大的图形，被拍摄体在较窄范围内移动时(被拍摄体的移动较慢时)，选择如下图形在画面中央的分割图像区域为全像素读出的高分辨率区域，且其面积较小；在除此以外的周边的分割图像区域为低分辨率区域，越靠周边的分割图像区域，间隔抽取率越大。
并且，作为被拍摄体信息，由EIS电路251检测手抖动时，在判断出手抖动比设定值大时，选择全画面为例如1/2间隔抽取率的低分辨率区域等、到画面周边的读出像素数较多(画面周边的被拍摄体的图像信息较多)的图形，在手抖动为设定值以下时，选择如下图形在画面中央的分割图像区为全像素读出的高分辨率区域；在除此以外的周边分割图像区域为低分辨率区域，且越靠周边的分割图像区域，间隔抽取率越大。
并且，选择高分辨率模式，AF电路252检测出自动聚焦测光时得到的高频成分，一般来说，自动聚焦测光区域通过在位于预先确定的画面中央的中央区域内是否具有高频成分来确定区域的范围，在该中央区域内没有高频成分时，进一步扩大该中央区域，同样地判断中央区域内是否具有高频成分。此时，准备多个与用于AF的中央区域连动的分辨率的图形，选择如下图形在与决定的用于AF的中央区域对应的画面中央的分割图像区域为全像素读出的高分辨率区域，在除此以外的周边区域的分割图形区域为低分辨率区域，且越靠周边的分割图像区域，间隔抽取率越大。在相反地缩小了用于AF的中央区域的情况下，也进行与上文类似的图形选择。
这样，在本实施方式中，可以由摄影者选择预先准备的、由将一个画面分割成多个图像区域时的分割图像区域数目、形状以及各分割图像区域的不同分辨率所构成的多种图形，也可以选择最适于所拍摄的被拍摄体的图形，生成驱动信号，此外，所选择的图形的组合，准备使读出的像素数固定的图形的组合。通过使像素数保持固定，可以从摄像元件13中以预定的驱动频率读出保持在预定品质的图像。在管理读出像素数的总数的方法中，在读出数据超过预定数时，需要再设定区域图形，与此相比，选择预先确定像素总数的区域图形并读出时，省去了读出像素数的总数管理。
如上所述，根据本实施方式所示的摄像元件10，具有如下特别结构摄像元件13，具有纵横二维排列的多个光电转换像素区域；驱动部17，在分为将多个光电转换像素区域不进行间隔抽取地直接作为第一像素信号读出的第一图像区域、和从多个光电转换像素区域进行间隔抽取而作为第二像素信号读出的第二图像区域时，从第一图像区域读出第一像素信号，从第二图像区域读出第二像素信号；插补部21，利用所述读出的第一或第二像素信号对间隔抽取的光电转换像素区域进行插补，生成第三像素信号；以及图像形成部23，合成第一像素信号和所述第三像素信号，形成1帧或1场的图像，因此，可以实现如下摄影装置，其通过由高精细摄像元件拍摄的高精细度图像信号使得要求摄影对象等的分辨率的图像部分保持高精细的图像，可将其作为能以预定的帧频输出的图像信号进行输出。
(第2实施方式)接下来，对本发明的第二实施方式进行说明。在上述第1实施方式中，对摄像元件的摄像区域(纵横二维排列的多个光电转换像素区域)不分割或分割成2个以上的区域，使全像素区域或各个分割区域相对于各自的区域的全像素数的读出像素数的比例(间隔抽取率或加权)，可以根据被拍摄体信息或摄影信息等的检测信息而变化，而该第2实施方式构成为，利用检测信息选择预先准备的表格，利用表格的输出容易地对所述间隔抽取率和加权进行可变设定。第2实施方式的摄像装置的基本结构与图1同样。
图11表示本发明的摄像方法的第二实施方式的流程图。在该图中，本实施方式的摄像元件可以随机存取，且如上所述，例如是具有可以进行水平方向1600像素、垂直方向1200像素的高精细图像摄像的摄像区域的CMOS图像传感器，以较少的间隔抽取率间隔抽取该摄像区域的全像素并读出，得到整体图像(步骤S100)。间隔抽取读出像素，是为了从本实施方式的摄像元件的上述可拍摄高精细图像的摄像区域，利用28.75MHz这一较低频率的驱动信号在例如1/60秒读出整体的图像信号。
接着，摄像装置的控制部(相当于图1的18)，取得摄影者利用哪种检测方法(摄影模式)进行摄影的指定信息(步骤S101)，该指定信息为运动模式时，选择EIS电路(相当于图1的251)进行的移动矢量检测(步骤S102)，在高分辨率模式时，选择AF电路(相当于图1的252)进行的高频成分检测(步骤S103)，在脸部检测模式时，选择脸部检测电路(相当于图1的253)进行的脸部检测(步骤S104)，其后取得上述选择的检测信息(步骤S105)。
接着，摄像装置的控制部，利用在步骤S105中检测的信息，参照与所指定的摄像模式对应的数据库，从该数据库中预先存储的多个表格中选择与检测到的信息最合适的表格(步骤S106)。在此，上述表格表示摄像元件的摄像区域的像素读出图形。该像素读出图形，表示摄像元件的摄像区域的各分割区域(包括不分割)的配置、以及该各个分割区域的相对于全像素数的读出像素数的比例(间隔抽取率或加权)，利用该表格可以简单地进行间隔抽取率或加权的可变设定。另外，对该像素读出图形的具体例子在后文说明。
接着，摄像装置的控制部，存储在微型计算机中选择的表格所表示的像素读出图形信息(步骤S107)。微型计算机根据所存储的像素读出图形信息，控制驱动摄像元件的驱动部(相当于图1的17) (步骤S108)，从摄像元件的全像素中，仅从由像素读出图形指定为读出像素的像素中，读出像素信号(步骤S109)。
由此，根据本实施方式，由利用高精细拍摄元件拍摄的高精细度图像信号，将根据摄影对象而要求分辨率的图像区域作为全图像读出的高分辨率的图像信号输出，将除此以外的图像区域作为能输出的预定帧频的图像信号的、间隔抽取处理(或者加权处理)后的低分辨率的图像信号输出，这可以通过利用被拍摄体信息等进行选择的极简单的处理来进行设定，并且可设定成低分辨率的图像区域由分辨率随着靠近画面的周边而逐渐变化的多个图像区域构成，因此分辨率变化比较平缓。
(实施例1)
接下来，对第二实施方式的实施例1进行说明。该实施例1是摄影者预先指定了上述高分辨率模式时的实施例。图12表示指定了高分辨率模式时的本发明的摄像装置的实施例1的框图。在图12中，来自被拍摄体的光通过透镜31聚光，在摄像元件32的摄像面上成像并进行光电转换。该摄像元件32，与图1的摄像元件13类似地，是例如具有可以拍摄水平方向1600像素、垂直方向1200像素的高精细图像的摄像区域的CMOS图像传感器，利用来自驱动部39的例如28.75MHz这一较低频率的驱动信号进行驱动，例如以1/60秒的帧频，以较小的间隔抽取率间隔抽取摄像元件32的摄像区域的全像素，读出由读出像素进行光电转换而得到的图像信号(相当于图11的步骤S100)。
从摄像元件32输出的摄像信号，在AFE(Analog Front End)电路33进行了增益调整等后，供给到后图像处理部34，进行伽马校正等后，供给到FMC处理部36，在此进行摄影图像的放大/缩小等电子变焦处理后，向未图示的显示接收机输出。
并且，由于指定了高分辨率模式，因此从图像处理部34的一部分取出的图像信号被供给到AF电路35，检测高频成分。AF电路35，首先将来自图像处理部34的图像信号的不需要的低频成分通过带通滤波器(BPF)或高通滤波器(HPF)351消除，且将AF控制所需的预定频率成分取出，并供给到ABS电路352。另外，利用带通滤波器(BPF)或高通滤波器(HPF)351进行频率选择的预定频率成分，是预先设定的多个频率成分，按照每个频率成分并列输出。
ABS电路352，对于从上述BFP(或HPF)351输出的图像信号的多个预定频率成分的每一个，进行以某一固定的电平折返信号并求出绝对值的处理，将得到的绝对值信号供给到水平峰值检测部353。水平峰值检测部353，基于来自分割框输入部355的分割框信息，按照各分割框及各水平行，检测图像信号的预定频率成分的绝对值信号的峰值。在此，所述分割框信息例如如图13所示，将1个画面表示成例如分割配置成5行3列共计15个分割框(分割图像区域)。当然，分割框的个数和配置不限于图13的例子。该分割框可以利用微型计算机37来预先设定。
垂直加法部354基于来自分割框输入部355的分割框信息，对各分割框的每一个、对来自水平峰值检测部353的多个预定频率成分的每一个，在垂直方向上与水平峰值相加。按照各分割框的每一个、及各预定频率成分的每一个进行的垂直相加结果，作为变量存储在寄存器356中。从上述的BPF(或HPF)至寄存器356的电路构成AF电路35。
该寄存器356中存储的运算结果(变量)，被供给到微型计算机37内的比较部371，在此与1帧前以及2帧前的过去的运算结果(变量)相比较，对于各分割框的每一个进行频率成分的检测和峰值位置的指定。方向性判断部372根据在比较部371进行比较而得到的各个分割框的频率成分以及峰值位置的检测结果，判断峰值位置变大的方向，通过电动机驱动器38向该判断的方向移动控制透镜31的位置。
并且，存储在寄存器356中的运算结果(变量)，被供给到微型计算机37内的运算部373，进行用于图形选择的运算，根据其运算结果，从例如在由存储器构成的图形表格存储部374内预先存储的多个像素读出图形表格中选择一个像素读出图形表格。即，在该实施例1中，在AF电路35中在分割框内与过去的数据(变量)相比较，由此进行频率成分的检测或峰值位置的指定，因此，在该AF电路35，由被拍摄体图像得到的频率成分的检测结果作为像素读出图形的组合等的参数使用，同样地，由运算结果得到的峰值位置的信息作为全像素读出区域的开始位置使用。
从图形表格存储部374选择的像素读出图形(包括全像素读出区域的开始位置)的信息被输出，供给到TG驱动图形选择部375，控制从驱动部39输出到摄像元件32的驱动信号，以进行选择的像素读出图形的读出。
接下来，对上述像素读出图形表格的选择方法的一例进行更详细的说明。在AF电路35得到的如图13所示的5行3列的分割框的各个图像数据如图14(A)所示，由据此检测出并暂时存储在寄存器356内的频率成分和峰值求出的每个分割框的变量如图14(B)所示，此时，运算部373首先将该变量中的最大值“200”标准化为“1.00”，求出图14(C)所示的每个分割框的变量。
接着，运算部373，按照图14(C)所示的每个分割框的变量中值较大的顺序，将例如如表1所示的读出像素数的种类和比例的表格相比较，决定每个分割框的读出种类。
表1
表1表示将全像素读出(4像素中读出4像素)换算为1.00(100％)的读出像素数的比例。
在此，如图14(C)所示，15个分割框中第3行第2列的中心框的变量为“1.00”，为最大值，因此，由表1可知，作为4/4读出(即，全像素读出)，接着将值第二大的第1行第1列的分割框的变量“0.25”与表1相比较，选择表1的比例为“0.25”的4/16读出(16像素中读出4像素，12/16间隔抽取)作为该分割框的读出比例。以下与上文同样地选择各分割框的读出比例。但是，在图14(C)的各分割框的标准化后的变量全部为相同值时，调整读出像素数的种类，进行均匀的加权，以使整体的读出像素数变为预定的固定值。
其结果是，制作图14(C)所示的每个分割框的标准化后的变量与表1的比较结果、如图14(D)所示的将按照每个各分割框标准化后的变量置换成读出种类的图形的雏形。
然后，如图14(E)示意所示，将图14(D)的图形的雏形与图形的存储部374中存储的多种图形表格对照，采用加权最近似的图形表格。作为多种图形表格，例如包括图15(A)、(B)、(C)所示的表格。上述对照中，首先将图形的雏形中读出像素数最多的中心框(4/4)与图形表格相同分割框位置的值相比较，将一致或读出像素数最接近的图形表格作为候补。由此，图15(A)～(C)的图形表格中，图15(A)和(B)这两个图形表格作为候补。
接着，在图形的雏形中，着眼于读出像素数第二多的第1行第1列的分割框的读出像素数的种类“4/16”，与图15(A)、(B)的图形表格候补的相同位置的分割框的读出像素数相比较，较为近似的一图形表格作为候补。其结果是，最终决定并采用图15(A)所示的图形表格。
摄像元件32根据该图15(A)所示的图形表格进行像素读出。这样，根据本实施例，仅仅通过从预先准备的多个图形表格中，根据从AF电路35得到的每个分割框的变量，选择最合适的图形表格，即可简单地读出加权的像素。
接下来，对摄像元件32的像素读出进行说明。图16表示摄像元件32的一例的电路系统图。如该图所示，摄像元件32由一个像素一个的如下部分构成光电二极管321；缓冲放大器322，暂时存储由光电二极管321进行光电转换而得到的电荷，并作为电压等的信号输出；以及V开关323，将来自缓冲放大器322的信号输出到在垂直方向上配列的输出线上。该摄像元件32是将其像素配置成4行5列的矩阵状的CMOS图像传感器。另外，图16为了便于图示，仅表示了4行5列共20个像素，但实际上如上文所述，像素数很多。
各像素的V开关323，根据来自垂直寄存器324的开关选择信号V_SW_1～V_SW_4，经由横向排列的信号线，同时接通或断开同一行的像素的V开关323，且接通的V开关323的像素行按照从上向下的方向顺次切换。并且，同一列的各像素的V开关323，经由纵方向的输出线与公知的相关双采样(CDS)电路325连接，进而经由CDS电路325与H开关326连接。
H开关326设在像素群的每列中，通过来自水平寄存器327的开关选择信号H_SW_1～H_SW_5而被接通或断开，且例如从左向右被切换成接通。垂直寄存器324和水平寄存器327由来自外部的控制信号来控制。并且H开关326经由信号线与输出放大器328共同连接，来自由开关选择信号V_SW_1～V_SW_4和开关选择信号H_SW_1～HSW_5所选择的像素的信号在输出放大器328被放大，并作为摄像信号输出到外部。
在此，摄像元件32进行通常的全像素读出时，上述开关选择信号V_SW_1～V_SW_4如图17(A)～(D)所示，开关选择信号H_SW_1～HSW_5如图17(F)～(J)、(M)～(Q)所示，分时(时间分割)地设为L电平，与L电平的期间对应的V开关323、H开关326设为接通。由此，例如，如图17(E)所示在开关选择信号V_SW_3为L电平期间，如图17(K)所示由V_SW_3接通的1行的各像素中，来自由图17(F)～(J)所示的开关选择信号H_SW_1～H_SW_5选择的各像素的信号顺次被输出。并且，如图17(L)所示，开关选择信号V_SW_4为L电平期间，在由图17(R)所示的V_SW_4接通的1行的各像素中，来自由图17(M)～(Q)所示的开关选择信号H_SW_1～HSW5选择的各像素的信号顺次被输出。
对此，像本实施例这样进行加权读出时，例如图18(A)所示的开关选择信号V_SW_3为L电平期间，在由V_SW_3接通的1行的各像素中，通过该图(B)～(F)所示的开关选择信号H_SW_1～HSW_5，从左侧开始选择第1、第2像素，第3、第4像素所对应的H开关326保持断开而未被选择，第5像素被选择，来自所选择的像素的信号顺次被输出。
在此，与连着水平方向第2像素被读出的水平方向第5像素连接的H开关，从图18(C)、(F)可以看出，在与水平方向第2像素连接的水平开关接通至刚断开时，被接通。其结果是，从由开关选择信号V_SW_3选择的1行的5个像素中，如图18(G)所示，间隔抽取来自2个像素的输出，输出来自剩余的3个像素的信号。
图18(H)所示的开关选择信号V_SW_4为L电平的期间页与上文类似，通过控制为使该图(I)～(M)所示的开关选择信号H_SW_1～HSW_5中的H_SW_3和H_SW_5顺次变为L电平，由此从由开关选择信号V_SW_4选择的1行的5个像素中，如图18(N)所示，间隔抽取来自3个像素的输出，而输出来自与H_SW_3和H_SW_5对应的剩余2个像素的信号。另外，上述开关选择信号V_SW_1～V_SW_4和开关选择信号H_SW_1～HSW_5的输出时序，基于与从TG驱动图形选择部375输出的图形表格对应的像素读出信号进行控制。
另外，在本实施例中，无论模式如何，都不需要用于连续进行读出的机械快门，并且，读出像素数固定，因此可使驱动频率固定。
(实施例2)
其次，对第2实施方式的实施例2进行说明。该实施例2是摄影者预先指定上述运动模式，EIS电路(相当于图1的251)进行移动矢量检测时的实施例。图19表示指定了运动模式时的本发明的摄像装置的实施例2的框图。在该图中，对与图12相同构成的部分标以相同标号，省略其说明。
在图19中，图像处理部34具有插补电路341、Y/C处理/伽马校正部342，从Y/C处理/伽马校正部342输出的亮度信号Y被供给到EIS电路40。EIS电路40，通过前置滤波器(BPF)401，对亮度信号Y的预定频率成分进行频率选择，并供给到间隔抽取电路402。间隔抽取电路402，在与所述例如5行3列的各分割框对应的各画面区域中，为了在有限的存储器容量的代表点存储器403中存储代表点，对输入亮度信号的预定频率成分的数据进行用于削减数据量的间隔抽取处理后，对各分割框内预定的多个点(代表点)中的每一个点，将该点(代表点)的数据存储在代表点存储器403中。在此，上述点(代表点)在每个分割框中例如以8列6行的等间隔分别固定地设置48个。
接着，EIS电路40，在比较电路404中，将存储在代表点存储器403中的某一垂直扫描期间(n-1)V的多个点的数据，和与其相比1个垂直扫描期间后的nV中的来自间隔抽取电路402的多个点的数据相比较，根据该比较结果，在一致地址输出部405中取得亮度信息从哪个点向哪个点移动的变化量(X方向、Y方向)以及变化方向的矢量信息，作为EIS电路40的输出，供给到微型计算机37。
在此，参照图20进一步详细说明上述比较电路404和一致地址输出部405的动作。比较电路404，在每个分割框内，对于各分割框内的多个点(代表点)输出1V前后的数据的值的变化。一致地址比较电路405，对于该多个点(代表点)，分别根据1V前后的数据的值的变化，计算亮度信息的移动矢量的方向和值。
例如，点(代表点)在期间(n-1)V时，如图20(A)所示，位于坐标(3，4)所示的位置，在下一期间nV中，代表点变化到该图(B)所示的坐标(5，6)所示的位置上时，一致地址输出部405，根据输入的代表点的比较结果，通过运算求出图20(B)中45所示的代表点的移动矢量(X方向，Y方向)为(2，2)(＝(5-3，6-4))，其变化量为8=(22+22)]]>的信息。对于其他分割框也进行同样处理。
在此，上述移动矢量的方向或变化量，包括由被拍摄体的移动所产生的信息以及由于摄影者的手抖动所产生的信息。手抖动在画面内过半数以上的代表点上，作为相同矢量方向且相同变化量而产生的信息而求出，与此相对地，由于被拍摄体的移动而产生的信息并没有这种特定的关系，因此微型计算机37在运算部376进行将全部的代表点的数据取平均值的运算，并且在积分电路377中按照每个分割框求出对每1V进行积分的代表点的数据，将其供给到运算部376，取其差分。由此，由上述移动矢量的方向或变化量的信息去除手抖动的信息，主要由被拍摄体的移动所产生的信息所构成的各分割框的移动信息(移动矢量方向、变化量)从运算部378供给到图形对照部379。
图形对照部379从在输入的各分割框的移动信息中，向移动矢量的最大值(即，移动最大的被拍摄体)分配较大权重的第一图形选择方法，或向不移动的被拍摄体分配较大权重的第二图形选择方法中，通过预先设定的任一种图形选择方法进行动作。利用第一图形选择方法动作时，图形对照部379从输入的各分割框的移动信息中，求出将取移动矢量最大值(即，移动最大的被拍摄体)的分割框的变量标准化为1.00后的每个分割框的变量后，以下与实施例1的说明类似地，选择存储在图形表格存储部374中的图形表格。
另一方面，利用第二图形选择方法动作时，摄像状态例如是摄影者以总是将移动的被拍摄体留在画面的相同位置的方式进行摄影的状态(被拍摄体和摄影装置总是正对地进行摄影的状态)，图形对照图379将输出的各分割框的移动信息中，将取移动矢量的最小值(即，几乎不移动，与摄影装置正对的被拍摄体)的分割框的变量标准化为1.00，进行从1.00减去各分割框内的变量的值的处理，求出每个分割框的变量后，以下与实施例1的说明类似地，选择存储在图形表格存储部374中的图形表格。
这样，根据本实施方式，仅仅从预先准备的多个图形表格中，根据从EIS电路40得到的每个分割框的变量，选择最合适的图形表格，由此能够简单地进行加权的像素读出。并且，本实施例也是无论模式如何，均不需要用于连续读出的机械快门，进而读出像素数固定，因此可使驱动频率固定。
接下来，参照图21对本发明的像素读出图形的各例进行说明。图21(A)～(C)，如图5(B)所示，将1个红色光用像素R、配置在相互队对角的位置上的2个绿色光用像素G、一个蓝色光用像素B排列成2行2列的共4个像素，设为作为读出单位的1个像素群，且读出像素数均为152像素这一点是相同的，但图21(A)是加权(读出像素数)随着从中心区域向着周边区域前进而逐渐变小(间隔抽取率逐渐变大)的例子，图21(B)表示不使用图21(A)中的4/6像素读出区域的例子，图21(C)表示随着从左上区域向右下区域前进，加权(读出像素数)逐渐变少(间隔抽取率逐渐变大)的例子。
即，图21(A)中，中心的第1区域(纵向地址9-12，横向地址9-12)为全像素读出区域，将其包围的第2区域(纵向地址7-14(除了9-12以外)、横向地址7-14(除了9-12以外))，是以每8像素群读出4像素群的比例读出的4/8像素读出区域，包围第2区域的第3区域(纵向地址5-16(除了7-14以外)、横向地址5-16(除了7-14以外))，是以每6像素群读出4像素群的4/6像素读出区域，包围第3区域的剩下的第4区域是以每16像素读出4像素群的4/16像素读出区域。
并且，图21(B)表示不使用图21(A)的第3区域、而由3个读出区域构成的读出图形。并且，图21(C)中，左上的第1区域(纵向地址17-20、横向地址1-4)是全像素读出区域，其右下的第2区域(纵向地址13-16、横向地址5-8)是4/8像素读出区域，第2区域的右下的第3区域(纵向地址9-12、横向地址9-12)是4/6像素读出区域，第3区域的右下的第4区域是4/16像素读出区域。
其次，对检测方法和像素读出图形的其他实施方式进行说明。图22(A)表示摄影者选择了外部设定时的读出图形例。在外部设定是摄影者任意选择与被拍摄体的图像无关地预先准备的多个图形映像器(图形表格)，决定读出图形的模式，可以考虑将分割图像区域中的周边区域作为低分辨率区域、且越靠近周边分辨率越低的例子如图22(A1)所示，不分割图像，从全像素区域进行4/8像素读出，或如该图(A2)所示，画面的中心区域进行4/6像素读出，其周边区域进行4/8像素读出，或如该图(A3)所示，将画面分割成中心区域、包围该中心区域的第2区域、以及包围该第2区域的第3区域，其中中心区域进行全像素读出，第2区域进行4/8像素读出，第3区域进行4/16读出等。
图22(B)表示基于光学变焦选择读出图形的例子。作为被拍摄体信息检测光学变焦(变焦倍率)时，在变焦倍率较低的广角状态下，为了使画面整体为相同分辨率，使读出比例平均，可以考虑如图22(B1)所示，不分割画面，从全像素区域进行4/6像素读出，在倍率较高的远侧使用光学变焦的状态下，如图22(B2)所示，画面中央的分割图像区域作为全像素读出的高分辨率区域，且其面积较小，在除此以外的周边的分割图像区域，选择间隔抽取率较大的低分辨率区域的4/16像素读出图形等例子。这对于电子变焦也相同。
图22(C)表示实施例2所说明的基于EIS电路的输出选择读出图形的例子。如实施例2的说明所示，通过EIS电路检测出移动矢量的最大值为画面中央时，如图22(C1)所示，以画面中央的分割图像区域作为全像素读出的高分辨率区域，且其面积较小，除此以外的周边的分割图像区域，随着向周边前进，按照4/6像素读出区域、4/16像素读出区域这一顺序变为低分辨率的区域，由此选择读出图形。
并且，通过EIS电路检测出移动矢量的最大值为画面左上的区域时，如图22(C2)所示，与图21(C)类似地，画面左上的第1区域作为全像素读出的高分辨率区域，且其面积较小，除此以外的周边的分割图像区域随着向画面右下前进，按照4/6像素读出区域、4/16像素读出区域这一顺序变为低分辨率的区域，由此选择读出图形。
图22(D)表示如实施例1所述的、基于AF电路的输出选择读出图形的例子。如实施例1的所述，每个分割框(分割图像区域)的频率成分以及峰值位置所决定的变量值在画面中央的区域最大时，如图22(D1)所示，画面中央的分割图像区域作为全像素读出的高分辨率区域，且其面积较小，除此以外的周边的分割图像区域随着向周边前进，按照4/8像素读出区域、4/16像素读出区域这一顺序变为低分辨率的区域，由此选择读出图形。
并且，每个分割框(分割图像区域)的频率成分以及峰值位置所决定的变量值在画面左上的区域最大时，如图22(D2)所示，画面左上的第1区域作为全像素读出的高分辨率区域，且其面积较小，除此以外的周边的分割图像区域随着向画面右下前进，按照4/8像素读出区域、4/16像素读出区域这一顺序变为低分辨率的区域，由此选择读出图形。
图22(E)表示表示利用图1的脸部检测电路253等脸部检测电路由被拍摄体图像检测肤色部分，检测肤色图像的区域中是否存在与眼睛等相关的亮度水平较低的部分，在检测出存在时，将该肤色区域检测为脸部的部分，当检测出的脸部部分的区域位于画面的右下时，如图22(E1)所示，画面右下区域作为全像素读出的高分辨率，且其面积为包括检测出的脸部部分左右的大小，除此以外的周边的分割图像区域随着向画面左上前进，按照4/6像素读出区域、4/8像素读出区域、4/16像素读出区域这一顺序变为低分辨率的区域，由此选择读出图形。
并且，脸部检测电路所检测出的脸部部分的区域位于画面的左下或右下时，如图22(E3)所示，画面左下和画面右下的各区域作为全像素读出的高分辨率，且其面积为包括检测出的脸部部分左右的大小，除此以外的周边的分割图像区域随着向画面右上和左上前进，按照4/8像素读出区域、4/16像素读出区域这一顺序变为低分辨率的区域，由此选择读出图形。图22(E1)～(E3)所示的读出图形的读出像素数都是相同的。
另外，以摄像元件为可以拍摄高精细图像或超高精细图像的元件进行了说明。摄像元件的像素数也可以为高精细图像或超高精细图像以外的像素数，也可以使用其他像素数的摄像元件构成具有上述效果的摄像装置。
权利要求
1.一种摄像方法，从可随机存取的摄像元件的摄像区域的全部光电转换像素区域中选择2个以上的光电转换像素区域，从该选择的2个以上的光电转换像素区域中读出像素信号，得到摄像信号，所述摄像元件的摄像区域中具有二维排列成矩阵状的多个光电转换像素区域，该摄像方法的特征在于，包括以下步骤第一步骤，制作图形，该图形将所述摄像区域分割成N个分割图像区域，并且对所述各个分割图像区域，根据利用所选择的检测方法从所述摄像元件的摄像信息得到的检测信息，设定了表示读出信号的读出光电转换像素区域数相对于该分割图像区域内的全部光电转换像素区域数的比例的加权比例，其中N为1以上的任意自然数；第二步骤，根据所述图形驱动所述摄像元件；第三步骤，根据从所述摄像区域内的读出光电转换像素区域读出的第一像素信号，插补生成所述摄像区域内的未读出的光电转换像素区域的第二像素信号；以及第四步骤，合成所述第一像素信号和所述第二像素信号，并以预定帧频输出摄像信号。
2.一种摄像方法，从可随机存取的摄像元件的摄像区域的全部光电转换像素区域中选择2个以上的光电转换像素区域，从该选择的2个以上的光电转换像素区域中读出像素信号，得到摄像信号，所述摄像元件的摄像区域中具有二维排列成矩阵状的多个光电转换像素区域，该摄像方法的特征在于，包括以下步骤第一步骤，利用选择的检测方法，取得根据所述摄像元件的摄像信息得到的检测信息；第二步骤，按照每个所述检测信息制作多个图形并将其预先存储在存储装置中，所述多个图形设定了表示读出信号的读出光电转换像素区域数目相对于分割所述摄像区域而得到的N个分割图像区域内的全部光电转换像素区域数目的比例的加权比例，根据在所述第一步骤中按照所述分割图像区域而取得的所述检测信息，参照所述存储装置，从存储的所述多个图形中选择最近似的一个图形，其中N为1以上的任意自然数；第三步骤，根据在所述第二步骤中选择的所述图形，驱动所述像素元件；第四步骤，根据从所述摄像区域内的读出光电转换像素区域读出的第一像素信号，插补生成所述摄像区域内的未读出的光电转换像素区域的第二像素信号；以及第五步骤，合成所述第一像素信号和所述第二像素信号，并以预定的帧频输出摄像信号。
3.根据权利要求1或2所述的摄像方法，其特征在于，制作或选择的所述图形，是由1个以上的第一分割图像区域和2个以上的第二分割图像区域构成的图形，所述1个以上的第一图像分割区域进行从该分割图像区域内的全部光电转换图像区域读出信号的全像素读出，所述2个以上的第二分割图像区域从该分割图像区域内的全部光电转换像素区域中以互不相同的加权比例间隔抽取一部分光电转换像素区域的读出，所述第一分割图像区域的光电转换像素区域和2个以上的所述第二分割图像区域内的进行各读出的光电转换像素区域的总数，与制作的图形无关，是比所述摄像区域的全部光电转换像素区域的数目少的预先确定的固定值。
4.根据权利要求1或2所述的摄像方法，其特征在于，所述检测信息是下述信息中的任一种手抖动校正后的被拍摄体的移动信息；变焦倍率信息；基于被拍摄体的移动矢量的移动信息；基于所述被拍摄体的移动矢量的静止信息；自动对焦一致时的摄像信号的特定频率信息；以及视为从所述摄像信号得到的脸部的脸部信息。
5.一种摄像装置，其特征在于，包括可随机存取的摄像元件，在其摄像区域具有二维排列成矩阵状的多个光电转换像素区域；图形制作单元，制作图形，该图形中根据利用所选择的检测方法从所述摄像元件的摄像信息得到的检测信息，将所述摄像区域分割成N个分割图像区域，并且对所述各个分割图像区域，设定了表示读出信号的读出光电转换像素区域数相对于该分割图像区域内的全部光电转换像素区域数的比例的加权比例，其中N为1以上的任意自然数；驱动单元，根据所述图形驱动所述摄像元件；插补单元，根据从所述摄像区域内的读出光电转换像素区域读出的第一像素信号，插补生成所述摄像区域内的未读出的光电转换像素区域的第二像素信号；以及图像形成单元，合成所述第一像素信号和所述第二像素信号，以预定帧频生成摄像信号并供给到所述图形制作单元。
6.一种摄像装置，其特征在于，包括可随机存取的摄像元件，在其摄像区域具有二维排列成矩阵状的多个光电转换像素区域；检测信息取得单元，利用选择的检测方法，取得根据所述摄像元件的摄像信息得到的检测信息；存储装置，按照每个所述检测信息制作多个图形并将其预先存储，所述多个图形设定了表示读出信号的读出光电转换像素区域数目相对于分割所述摄像区域而得到的N个分割图像区域内的全部光电转换像素区域数目的比例的加权比例，其中N为1以上的任意自然数；选择单元，根据按照所述分割图像区域而取得的所述检测信息，参照所述存储装置，从该存储装置中存储的所述多个图形中选择最近似的一个图形；驱动单元，根据选择的所述图形，驱动所述像素元件；插补单元，根据从所述摄像区域内的读出光电转换像素区域读出的第一像素信号，插补生成所述摄像区域内的未读出的光电转换像素区域的第二像素信号；以及图像形成单元，合成所述第一像素信号和所述第二像素信号，并以预定的帧频输出摄像信号。
7.根据权利要求5或6所述的摄像装置，其特征在于，制作或选择的所述图形，是由1个以上的第一分割图像区域和2个以上的第二分割图像区域构成的图形，所述1个以上的第一图像分割区域进行从该分割图像区域内的全部光电转换图像区域读出信号的全像素读出，所述2个以上的第二分割图像区域从该分割图像区域内的全部光电转换像素区域中以互不相同的加权比例间隔抽取一部分光电转换像素区域的读出，所述第一分割图像区域的光电转换像素区域和2个以上的所述第二分割图像区域内的进行各读出的光电转换像素区域的总数，与制作的图形无关，是比所述摄像区域的全部光电转换像素区域的数目少的预先确定的固定值。
8.根据权利要求5或6所述的摄像装置，其特征在于，所述检测信息取得单元是如下单元从手抖动校正机构取得手抖动校正后的被拍摄体的移动信息的单元；从设定变焦倍率的变焦机构取得变焦倍率信息的单元；从根据被拍摄体的移动信息校正手抖动的校正机构取得所述被拍摄体的移动信息或所述被拍摄体的静止信息的单元；从自动对焦机构中取得自动对焦一致时的所述特定频率信息的单元，所述自动对焦机构使设在所述摄像元件的光入射侧的透镜在光轴上移动到大幅得到所述摄像信号中的特定频率信息的位置上；以及取得从脸部检测单元取得的所述脸部信息中任一信息的单元，所述脸部检测单元检测从所述摄像信号得到的视为脸部的脸部信息。
全文摘要
本发明实现一种摄像装置，整体以比全部像素读出时所需的驱动频率低的驱动频率驱动高精细摄像元件，并且图像整体为低分辨率图像，且摄影对象的被拍摄体部分为高分辨率图像，由此作为一个系统的动态图像输出。控制部(18)将由拍摄元件(13)拍摄的高精细图像分成高分辨率区域和低分辨率区域，且生成使分成多个的高分辨率区域和低分辨率区域合并的整体像素群为能以预定的每秒帧数读出的像素群数的校正图像；并且计量校正图像的像素群数，调查计量的校正图像的像素群数是否为能以预定每秒帧数读出的像素群数，在校正图像的像素群数是能以预定每秒帧数读出的像素群数时，从摄像元件(13)输出基于校正图像的像素群数拍摄的图像。
文档编号H04N5/232GK101018299SQ20071000628
公开日2007年8月15日 申请日期2007年2月7日 优先权日2006年2月7日
发明者福岛麻梨子, 宫原弘之 申请人:日本胜利株式会社