专利名称：成像器件、信号处理方法、记录介质和程序的制作方法
技术领域：
本发明涉及一种图像捕获装置、用于处理信号的方法、记录介质和程序。具体上，本发明涉及可以总是改善自动聚焦的精度的图像捕获装置、用于处理信号的方法、记录介质和程序。
背景技术：
在诸如带有摄像机的录像机(以下称为便携式摄像录音一体机(camcorder))和数字照相机的图像捕获装置中，例如通过机械地调整光学系统来校正图像模糊。这样的方法的代表是一种“防振透镜移位方法”，其中，按照图像模糊的量来移动可移位的透镜；一种“变化角度的棱镜(VAP)方法”，其中按照图像模糊的量来倾斜变化角度的棱镜。
在用于校正图像模糊的这样的方法中，例如通过角速度传感器来检测在图像捕获装置中的图像模糊信号。然后，对于被检测的信号执行诸如积分的计算以确定图像模糊校正的目标值。光学系统的校正因此被控制，以便根据这个目标值来校正图像模糊。
另一方面，图像捕获装置并入自动聚焦功能以自动地聚焦在要捕获的主体上。在自动聚焦功能中，根据来自主体的光来检测图像对比度。然后调整光学透镜以最大化对比度。在这样的自动聚焦功能中，在低光条件下或当主体本身具有低对比度时，难于执行聚焦控制。因此，被安装在图像捕获装置中的包括灯的辅助光投射器(fill-light projector)将投影图案(projection pattern)投射(project)在主体上。自动聚焦功能执行控制以最大化被投射在主体上的投影图案的对比度。
但是，当上述的图像模糊校正功能和在辅助光投影时的自动聚焦功能被同时使用时，图像模糊校正功能执行控制以防止相对于主体的图像模糊，由此引起相对于在图像捕获装置中的光学系统的、在由被安装在图像捕获装置中的辅助光投射器投射的投影图案中的图像模糊。这种图像模糊可能引起辅助光投影图案移动进、出用于定义自动聚焦的对比度检测范围的检测框，或可能使得投影图案与检测框偏离。
而且，在具有缩放功能的图像捕获装置中，在辅助光投影图案的各部分之间的距离在高放大比时被加宽，并且投影图案可以完全脱离检测框，即使投影图案以低放大比落入检测框内也是如此。
为了防止这样的情况，在制造过程中提供了一个步骤，用于调整辅助光发射位置以便辅助光投影图案在最高的放大比时落入检测框内。但是，当通过图像模糊校正功能来校正图像模糊时，辅助光投影图案同时摆动，并且可能完全脱离检测框。
可能的措施包括提高投影图案的图案密度，使得投影图案按照放大比的密度可变，并且在与图像模糊校正相同的方向中移动投影图案。但是在辅助光投射器包括具有涉及强度和图案密度的控制的高能量密度的诸如激光的光源的情况下，因为安全的考虑，难于进行提高投影图案的图案密度或使得投影图案的密度按照放大比而可变。另外，图像捕获装置在与图像模糊校正的相同的方向中移动投影图案时具有结构的局限，并且可能需要另外的装置。
用于解决这些问题的方法是在辅助光的投影期间停止图像模糊校正功能。在这种方法中的问题是在辅助光的投射期间不执行图像模糊校正。而且，停止图像模糊校正功能伴随有图像捕获装置中的噪音或振动。即使在完成辅助光投射后重新开始图像模糊功能以便可以获得在曝光图像时的图像模糊校正的效果，也存在延迟直到校正的效果变得明显。但是，用于防止这种延迟的控制引起噪音或振动的发生。
如上所述，当同时使用在辅助光投射时的图像模糊校正功能和自动聚焦功能的时候，自动聚焦功能的精度变差。
而且，因为自动聚焦不有效地工作，因此在辅助光投射时，当向不适合于辅助光的主体(即例如吸收辅助光的主体、使得辅助光穿过的主体或位于没有辅助光到达的诸如屏幕的端部的区域的主体)投射辅助光的时候，可以根据关于通过除了投影图案之外的光获得的图像的信息来执行自动聚焦。如果在这种情况下停止图像模糊校正功能，则通过有效地使用图像模糊校正功能，根据关于通过投影图案之外的光获得的图像的信息而执行的自动聚焦功能的精度和诸如曝光控制和彩色控制的其它功能的精度变差。
发明内容
本发明考虑到上述的情况而被做出，并且旨在总是改善自动聚焦功能的精度。
本发明的图像捕获装置包括第一确定部件，用于确定是否由投射部件投射投影图案；计算部件，用于如果第一确定部件确定投射了投影图案、则根据对应于由检测部件检测的信号的幅度的系数，来计算对应于所述信号的图像模糊校正控制的量；框设置部件，用于根据由计算部件计算的控制量来设置检测框的位置，在所述检测框内，检测部件检测投影图案；校正控制部件，用于根据由计算部件计算的控制量来控制由校正部件执行的图像模糊校正。
本发明的图像捕获装置可以还包括改变部件，用于一旦由框设置部件设置了检测框的位置，则根据关于放大比的信息来改变检测框的大小或检测框的数量。
本发明的图像捕获装置可以还包括参考值设置部件，用于设置参考值；第二确定部件，用于如果第一确定部件确定投射了投影图案，则确定是否由检测部件检测的信号的频率低于由参考值设置部件设置的参考值；禁止部件，用于如果第二确定部件确定所述信号的频率低于所述参考值、则禁止通过校正部件的图像模糊校正。
如果第二确定部件确定所述信号的频率高于所述参考值，则计算部件可以根据对应于所述信号的幅度的系数，来计算对应于所述信号的图像模糊校正控制的量。
如果第二确定部件确定所述信号的频率高于所述参考值，则计算部件可以计算对应于所述信号的图像模糊校正控制的量，同时使得所述系数接近1。
本发明的图像捕获装置可以还包括划分部件，用于当第一确定部件确定投射投影图案时，根据由检测部件检测的信号的频率来将所述信号划分为多个频带；特定频率计算部件，用于根据对应于所述信号的幅度的系数、对于每个频带计算对应于被划分部件划分为多个频带的信号的图像模糊校正控制的量。所述校正控制部件可以根据由特定频率计算部件计算的控制量来控制由校正部件执行的图像模糊校正。
所述划分部件可以将所述信号划分为三个频带。所述特定频率计算部件可以在最低频带中计算对应于被划分部件划分的信号的图像模糊校正控制量，同时使得系数接近0；根据对应于所述信号的幅度的系数、在中间频带中计算对应于被划分部件划分的信号的图像模糊校正控制量；并且在最高频带中计算对应于被划分部件划分的信号的图像模糊校正控制量，同时使得系数接近于1。
按照本发明的用于处理信号的方法包括确定步骤，用于确定是否通过投射部件来投射投影图案；计算步骤，用于如果在确定步骤中确定投射了投影图案、则根据对应于由检测部件检测的信号的幅度的系数，来计算对应于所述信号的图像模糊校正控制的量；框设置步骤，用于根据在计算步骤中计算的控制量来设置检测框的位置，在所述检测框内，通过检测部件检测投影图案；校正控制步骤，用于根据在计算步骤中计算的控制量来控制由校正部件执行的图像模糊校正。
在按照本发明的记录介质中的程序包括确定步骤，用于确定是否通过投射部件来投射投影图案；计算步骤，用于如果在确定步骤中确定投射了投影图案、则根据对应于由检测部件检测的信号的幅度的系数，来计算对应于所述信号的图像模糊校正控制的量；框设置步骤，用于根据在计算步骤中计算的控制量来设置检测框的位置，在所述检测框内，通过检测部件检测投影图案；校正控制步骤，用于根据在计算步骤中计算的控制量来控制由校正部件执行的图像模糊校正。
按照本发明的程序包括确定步骤，用于确定是否通过投射部件来投射投影图案；计算步骤，用于如果在确定步骤中确定投射了投影图案、则根据对应于由检测部件检测的信号的幅度的系数，来计算对应于所述信号的图像模糊校正控制的量；框设置步骤，用于根据在计算步骤中计算的控制量来设置检测框的位置，在所述检测框内，通过检测部件检测投影图案；校正控制步骤，用于根据在计算步骤中计算的控制量来控制由校正部件执行的图像模糊校正。
按照本发明，如果确定投射了投影图案，则根据对应于所检测的信号的幅度的系数来计算对应于所述信号的图像模糊校正控制的量。然后，根据所确定的控制量来设置其中检测到投影图案的检测框的位置，并且根据所确定的控制量来控制图像模糊校正。
图1是示出被应用了本发明的图像捕获装置的结构的示例的方框图。
图2是示出在图1中的微计算机的结构的示例的方框图。
图3是示出在图2中的积分处理器的详细结构的示例的方框图。
图4是示出系数表的图。
图5是示出在图1的图像捕获装置中的辅助光投射处理的流程图。
图6是示出在图1中的图像捕获装置中的图像模糊校正处理的流程图。
图7是示出在图6的步骤S26中的校正控制的量的计算的流程图。
图8是在图1的微计算机的结构的另一个示例的方框图。
图9是示出在图8中的带通滤波器的频带的图。
图10是示出在图1中的图像捕获装置中的图像模糊校正处理的另一个示例的流程图。
图11是示出在图10中的步骤S83中的相应频带的校正控制量的计算的流程图。
图12是示出在图1中的图像捕获装置的结构的另一个示例的方框图。
图13是示出在图12中的微计算机的结构的示例的方框图。
图14是示出在图12中的图像捕获装置中的辅助光投射处理的流程图。
图15是在图12中的图像捕获装置中图像模糊校正处理的流程图。
图16是示出在图15中的步骤S223中的图像模糊校正的控制量的计算的流程图。
图17是示出在图15中的步骤S223中的图像模糊校正的控制量的计算的另一个示例的流程图。
图18是示出在图1中的图像捕获装置的结构的另一个示例的方框图。
具体实施例方式
图1是示出被应用了本发明的图像捕获装置1的结构的示例的方框图，图像捕获装置1的代表是具有摄像机的录像机(以下称为便携式摄像录音一体机)。参见图1，图像捕获装置1包括模糊检测器11、信号处理器12、微计算机13、曝光控制器14、辅助光控制器15、校正控制器16和模糊校正器17。
模糊检测器11包括例如角速度传感器，它与光学系统(未示出)一起振动，并且被安装在图像捕获装置1内，并且检测图像模糊。
信号处理器12接收作为被模糊检测器11检测的角速度信号的图像模糊信号，并且将图像模糊信号转换为匹配微计算机13的接口的信号。信号处理器12是模拟电路，包括低通滤波器31，用于阻塞高于预定截止频率的频率；放大器32，用于放大图像模糊信号；高通滤波器33，用于阻塞低于预定截止频率的频率。
曝光控制器14测量来自主体的光量，调整光圈和快门速度，并且控制曝光等。辅助光控制器15根据关于由曝光控制器14测量的光量的信息来接通/关断辅助光投射标记，控制包括灯的辅助光投射器(未示出)，并且投射辅助光投影图案。
根据在辅助光控制器15中的辅助光投射标记，微计算机13对于来自信号处理器12的图像模糊信号执行预定的调整处理，并且确定对应于图像模糊信号的、校正图像模糊所需要的图像模糊校正的控制量。
校正控制器16根据由微计算机13确定的图像模糊校正的控制量来控制包括电机的模糊校正器17定位在目标位置上。校正控制器16包括比较器34，用于将图像模糊信号与图像模糊校正的控制量相比较；加法器减法器35，用于执行控制信号等的相加和相减；低通滤波器36，用于阻塞大于预定截止频率的频率；放大器37，用于放大信号；高通滤波器38，用于阻塞低于预定截止频率的频率。
虽然图像捕获装置1具有用于捕获图像的结构和用于记录和重放所捕获的视频信号的各种结构，但是为了方便说明，从图1的示例省略它们。
图2是示出微计算机13的详细结构的示例的方框图。
微计算机13包括模数(A/D)转换器51、高通滤波器52、灵敏度调整器53、缩放调整器54、积分处理器55、调制器56，并控制图像捕获装置1的整体操作。而且，微计算机13将用于高通滤波器52的大于预定截止频率的频率设置为参考值α。
A/D转换器51将从信号处理器12提供的作为模拟信号的图像模糊信号转换为数字信号，并且将它们输出到高通滤波器52。高通滤波器52不仅阻塞低于预定截止频率的频率，而且在用于监控辅助光控制器15的辅助光投影标记的微计算机13的控制下，阻塞低于被设置为大于预定截止频率的频率的参考值α的频率，以便不执行在这样的阻塞频率处的图像模糊信号的图像模糊校正。
为了补偿在模糊检测器11中包括的角速度传感器的灵敏度的变化，灵敏度调整器53按照角速度传感器的灵敏度，执行对于来自高通滤波器52的图像模糊信号的增益调整。然后，缩放调整器54按照缩放位置来执行图像模糊信号的增益调整。
积分处理器55在灵敏度调整和增益调整后对图像模糊信号积分，并且确定对应于所述图像模糊信号的、校正图像模糊所需要的图像模糊校正控制的量。调制器56将所确定的控制量转换为脉冲宽度调制(PMM)信号，并且将它们输出到校正控制器16。
图3是示出积分处理器55的详细结构的示例的方框图。在图3中所示的示例中，积分处理器55包括延迟器件72、乘法器73和加法器74。
积分处理器55将从缩放调整器54输入的图像模糊信号积分，并且向延迟器件72输出作为积分结果的反馈幅度A。延迟器件72将所述返回幅度A延迟一个采样周期。乘法器73将被延迟器件72延迟一个采样周期的所述反馈幅度A乘以反馈系数K，所述反馈系数K可以根据诸如图4所示的系数表来被确定。
这个反馈系数K是范围从0到1的值。当这个反馈系数K接近1时，图像模糊校正的效果增加(或被加强)。但是，由于有效像素的限制、光学限制或结构(机械)限制，这种校正达到极限，并且可能发生被校正图像的不自然的移动。因此，根据图4所示的系数表来确定对应于反馈幅度A的反馈系数K。
在图4所示的示例中，水平轴表示反馈幅度A的值，它向右变大。垂直轴表示范围从0到1的反馈系数K的值。即，系数表的这个示例示出当反馈幅度A降低时反馈系数K接近1，而当反馈幅度A增加时反馈系数K接近0。
因为可以如上所述地确定对应于反馈幅度A的反馈系数K，因此当反馈幅度A降低时图像模糊校正的效果提高，而当反馈幅度A提高时图像模糊校正的效果降低。因此，可以避免校正图像的不自然的移动。
乘法器73将反馈幅度A乘以如上所述确定的反馈系数K。然后，加法器74将这个相乘的值加到下一个图像模糊信号上，以确定图像模糊信号的图像模糊校正的控制量，并且向调制器56输出所述控制量。换句话说，加法器74将通过将在前一个采样周期中的积分输出(反馈幅度A)乘以反馈系数K而确定的值加到当前的图像模糊信号上。只要图像模糊校正继续，则这种处理重复。
将参照图5的流程图来说明在自动聚焦中的辅助光投射的处理。
在接通电源后，在图像捕获装置1中执行辅助光投射的处理。在步骤S1，辅助光控制器15从曝光控制器14获得所测量的关于来自主体的光的信息。
在步骤S2，辅助光控制器15根据来自主体的光的信息来确定是否所述光是低对比度或低强度的。如果确定所述光是低对比度或低强度的，则辅助光控制器15在步骤S3接通辅助光投射标记。
在步骤S4，辅助光控制器15控制包括灯的辅助光投射器(未示出)来投射辅助光投影图案。因此，在图像捕获装置1中执行在辅助光投射时的自动聚焦处理。这种自动聚焦处理是通过根据来自主体的光检测图像的对比度、并通过校正光透镜以最大化所述对比度而被执行的。重复辅助光投影图案的投射，直到辅助光控制器15在步骤S5确定完成了在图像捕获装置1中的自动聚焦处理。
如果在步骤S5确定在图像捕获装置1中的自动聚焦处理已经完成，则辅助光控制器15在步骤S6关断辅助光投射标记，并且在步骤S7终止辅助光投影图案的投射。
在步骤S2，如果未确定光是低对比度和低强度的，则辅助光控制器15关闭所述辅助光投射标记，并且在步骤S8终止处理。
微计算机13可以通过监控在辅助光控制器15中的辅助光投射标记的通/断状态来确定是否在下述的图像模糊校正处理中投射了辅助光投影图案。
现在参见图6中的流程图来说明图像模糊校正处理。
在步骤S21，模数转换器51将作为模拟信号的图像模糊信号转换为数字信号。
在步骤S22，微计算机13监控辅助光控制器15和确定是否辅助光投射标记为接通(ON)。如果确定辅助光投射标记是接通的，则微计算机13在步骤S23设置频率的参考值α。参考值α被设置为高于对高通滤波器52预定的截止频率，以阻塞低频，以便不执行对于低频的图像模糊的图像模糊校正，低频的图像模糊是投影图案移动进出用于限定自动聚焦功能的对比度检测范围的检测框的主要原因。
在步骤S24，微计算机13确定是否所述图像模糊信号包括低于在步骤S23设置的参考值α的频率分量。如果在步骤S24确定所述图像模糊信号包括低于参考值α的频率分量，则高通滤波器52在步骤S25阻塞低于图像模糊信号的参考值α的频率分量。这禁止了对于在低于参考值α的频率的图像模糊信号的图像模糊校正。
如果在步骤S24确定所述图像模糊信号不包括低于参考值α的频率分量，则微计算机13跳过步骤S25的处理，并且在步骤S26执行校正控制量的计算。即，在步骤S26，仅仅执行对于高于参考值α的频率的图像模糊信号的图像模糊校正的控制量的计算。现在参照图7的流程图来说明校正控制的量的计算。
在步骤S41，灵敏度调整器53按照在模糊检测器11中包括的角速度传感器来执行图像模糊信号的增益调整，同时缩放调整器54按照缩放位置来执行图像模糊信号的增益调整。
在步骤S42，积分处理器55将通过在前一个采样周期中积分图像模糊信号而确定的值(反馈幅度A)和从系数表(见图4)确定的反馈系数K的和加到被调整的图像模糊信号上，由此确定用于校正图像模糊所需要的图像模糊校正的控制量。
在步骤S43，调制器56将图像模糊校正的控制量转换为脉冲宽度调制(PWM)信号，并且将它们输出到校正控制器16。
另一方面，如果在步骤S22确定辅助光投射标记为关断(OFF)，则高通滤波器52在步骤S27阻塞低于预定截止频率的频率的图像模糊信号。因此，在这种情况下，对于低于参考值α和高于截止频率的频率分量也执行在步骤S28之后的处理。
在步骤S28，微计算机13执行校正控制量的通常计算。这个校正控制量的计算一般与参照图7上述的相同。虽然将省略其说明以避免重复，但是这种处理确定校正图像模糊所需要的图像模糊校正的控制量。
在步骤S26或S28中的处理中确定用于校正图像模糊所需要的图像模糊校正的控制量后，校正控制器16在步骤S29中根据所确定的图像模糊校正的控制量来控制模糊校正器17的校正，以便模糊校正器17位于目标位置。
一般，高频的图像模糊在幅度上小，并且不可能容易达到引起被校正图像的不自然移动的极限(如上参照图4所述)。因此，在执行在图6的步骤S26中的校正控制量的计算中，可以使得反馈系数K接近1。因此，可以在辅助光投射时执行仅仅对于高频的图像模糊的强度校正。
因此，自动聚焦功能的精度被改善，因为如上所述禁止了低频的图像模糊的校正，低频的图像模糊是投影图案移动进出用于限定自动聚焦功能的对比度检测范围的检测框的主要原因。而且，辅助光投影图案可以落入作为对比度检测范围的检测框内，而与放大比无关。
而且，因为在辅助光投射时执行对于高频的图像模糊校正，因此可以执行具有除了辅助光投影图案之外的光的主体的通常的自动聚焦。也可以对于不适合于辅助光的主体(即例如，吸收辅助光的主体、使得辅助光穿过的主体或位于没有辅助光到达的诸如屏幕的端部的区域的主体)有效地执行自动聚焦功能。也有效地执行诸如曝光控制和彩色控制的其它控制。
而且，因为在辅助光投射时不进行诸如停止图像模糊校正功能的图像模糊校正的突变，因此可以防止噪音、振动或屏幕的突变的发生。而且，因为图像模糊校正功能总是工作，因此可以防止在图像模糊校正中的延迟。另外，可以实现节能，因为仅对高频执行在辅助光投射时的图像模糊校正。而且，可以实现成本降低，因为现有的图像捕获装置不需要附加的装置来实现上述的效果。
而且，在具有并入了诸如激光的具有高能量密度的光源的辅助光投射器的图像捕获装置中，所述装置的适用性被改善，因此在使用具有不同放大比的透镜来替代现有透镜的情况下，不需要诸如在投影图案上的改变的涉及风险的改变。
虽然已经使用角速度传感器和角速度信号来分别说明模糊检测器11和图像模糊信号，但是也可以使用其它角度传感器、角速度传感器或速度传感器。而且，虽然使用防振可移位的透镜来说明模糊校正器17，但是也可以使用可变角度的棱镜(VAP)等。
在上述的说明中，在微计算机13内的高通滤波器52中设置作为截止频率的高参考值。但是，例如，可以在图1的信号处理器12内的高通滤波器33中或在校正控制器16内的高通滤波器38中设置作为截止频率的高参考值。而且，可以改变模糊检测器11中包括的角速度传感器的频率特性。即使如上所述在微计算机13之外控制频率特性，也可以按照微计算机13的控制来执行图像模糊信号的图像模糊校正处理。
图8是微计算机的结构的另一个示例的方框图。在图8中的微计算机91具有与在图2中的微计算机13相同的结构，除了高通滤波器52被替换为带通滤波器101-103。对应于图2的那些的部件被以相同的附图标记表示，其说明将省略以避免重复。
在模数转换器51后的带通滤波器101-103被并行布置，使得从模数转换器51输出的各个频带的图像模糊信号通过，并且将它们输出到灵敏度调整器53。虽然这些频带被预定，如图9所示，它们可以被微计算机91控制。
图9是示出对应于各个带通滤波器101-103的频带的图。在图9中，水平轴表示频率，它向右变大。垂直轴表示从带通滤波器101-103的每个输出的信号的比率。
在图9所示的示例的情况下，范围从频率a到频率c的最低频带E1(在频带E1-E3中包括最低频率的频带)是可以被带通滤波器101通过的频带，范围从频率b到频率d的中间频带E2(在频带E1-E3中包括中间频率的频带)是可以被带通滤波器102通过的频带，范围从频率d到频率f的最高频带E2(在频带E1-E3中包括最高频率的频带)是可以被带通滤波器103通过的频带(0＜a＜b＜c＜d＜e＜f)。
虽然范围从频率b到频率c的频带对频带E1和频带E2重叠，但是这并不带来问题，因为范围从频率b到频率c的频带较窄。类似地，虽然范围从频率d到频率e的频带对频带E2和频带E3重叠，但是这不带来问题，因为范围从频率d到频率e的频带较窄。
微计算机91控制积分处理器55，以根据通过带通滤波器101的最低频带E1中的信号、通过带通滤波器102的中间频带E2中的信号、通过带通滤波器103的最高频带E3中的信号来确定图像模糊校正的控制量。
现在参照图10的流程图来说明图像模糊校正处理的另一个示例。
在步骤S81，模数转换器51将作为模拟信号的图像模糊信号转换为数字信号。
在步骤S82，微计算机91监控辅助光控制器15，并且确定是否辅助光投射标记接通。如果确定辅助光投射标记接通，则微计算机91在步骤S83中执行各个频带的校正控制量的计算。现在参照图11的流程图来说明各个频带的校正控制量的计算。
在步骤S101，如参照图9所述，带通滤波器101-103通过在各自的频带中的信号，并且阻塞其它频率的信号。在此，带通滤波器101通过在最低频带E1中的信号，带通滤波器102通过在中间频带E2中的信号，带通滤波器103通过在最高频带E3中的信号。
在步骤S102，灵敏度调整器53按照模糊检测器11中包括的角速度传感器来执行在步骤S101中通过的图像模糊信号的增益调整，而缩放调整器54按照缩放位置来执行图像模糊信号的增益调整。
在步骤S103，微计算机91确定是否图像模糊信号的频率已经通过带通滤波器101。即，确定是否图像模糊信号的频率落入可以被带通滤波器101通过的频带内(范围从频率a到频率c的最低频带E1)。
如果在步骤S103确定图像模糊信号的频率已经通过带通滤波器101，则积分处理器55在步骤S104将通过积分在前一个采样周期中的图像模糊信号而确定的值(反馈幅度A)和接近0的反馈系数K的和加到被调整的图像模糊信号上，由此确定校正图像模糊所需要的图像模糊校正的控制量。因此，在随后的处理中控制图像模糊校正，以便可以削弱相对于最低频带E1内的频率的信号的图像模糊校正的效果。
如果在步骤S103未确定图像模糊信号的频率已经通过带通滤波器101，则微计算机91在步骤S105确定是否图像模糊信号的频率已经通过带通滤波器102。即，确定是否图像模糊信号的频率落入可以被带通滤波器102通过的频带内(范围从频率b到频率e的中间频带E2)。
如果在步骤S105确定图像模糊信号的频率已经通过带通滤波器102，则积分处理器55在步骤S106将通过积分在前一个采样周期中的图像模糊信号而确定的值(反馈幅度A)和从系数表(见图4)确定的反馈系数K的和加到被调整的图像模糊信号上，由此确定校正图像模糊所需要的图像模糊校正的控制量。因此，在随后的处理中控制图像模糊校正，以便相对于在中间频带E2内的频率的信号执行通常的图像模糊校正。
如果在步骤S105未确定图像模糊信号的频率已经通过带通滤波器102，则微计算机91在步骤S107确定是否图像模糊信号的频率已经通过带通滤波器103。即，确定是否图像模糊信号的频率落入可以被带通滤波器103通过的频带内(范围从频率d到频率f的最高频带E3)。
如果在步骤S107确定图像模糊信号的频率已经通过带通滤波器103，则积分处理器55在步骤S108将通过积分在前一个采样周期中的图像模糊信号而确定的值(反馈幅度A)和接近1的反馈系数K的和加到被调整的图像模糊信号上，由此确定校正图像模糊所需要的图像模糊校正的控制量。因此，在随后的处理中控制图像模糊校正，以便可以加强相对于在最高频带E3内的频率的信号的图像模糊校正的效果。
如果在步骤S107未确定图像模糊信号的频率已经通过带通滤波器103，则不执行任何处理，因为图像模糊信号的频率被所有的带通滤波器101-103阻塞。
在步骤S109，调制器56将对应于每个频带的、在上述处理中确定的图像模糊校正的控制量转换为脉冲宽度调制(PWM)信号，并且将它们输出到校正控制器16。
另一方面，如果在步骤S82确定辅助光投射标记关闭，则带通滤波器101-103在步骤S84允许在各个预定频带中的信号通过，并且将它们输出到灵敏度调整器53。
在步骤S85，微计算机13对于通过带通滤波器101-103的任何一个的信号执行校正控制量的通常计算。这种校正控制量的计算与在图6中的步骤S26中执行的(即在图7中)相同。虽然将省略其说明以避免重复，但是这个处理确定了校正图像模糊所需要的图像模糊校正的控制量。
在步骤S83或S85中的处理中确定校正图像模糊所需要的图像模糊校正的控制量后，校正控制器16在步骤S86中根据所确定的图像模糊校正的控制量来控制模糊校正器17的校正，以便模糊校正器17被定位在目标位置上。
如上所述，因为可以确定对应于每个频带的图像模糊校正的控制量，因此可以进行图像模糊校正，以便可以加强对高频的图像模糊的校正的效果，或者在辅助光投射时，可以削弱对低频的图像模糊的校正的效果，这样的校正是投影图案移动进出用于自动聚焦功能的对比度检测范围的检测框的主要原因。在这种情况下，与不执行图像模糊校正的情况相比较，更有效地执行诸如曝光控制和彩色控制的其它控制。
虽然在上述的说明中并列布置三个带通滤波器，但是带通滤波器的数量不限于三。可以并列布置分离频带所需要的任何数量的带通滤波器。
如上所述，图像模糊校正功能被控制，以便在辅助光投射时不执行对低频的图像模糊的任何校正，这样的校正是投影图案移动进出用于限定自动聚焦功能的对比度检测范围的检测框的主要原因。但是，在这种方法中，图像模糊校正功能的控制仍然伴随噪音或振动，而与执行停止图像模糊校正功能的操作的情况相比较它们的电平较低。而且，因为在这种情况下对高频的图像模糊进行图像模糊校正，因此在高频时辅助光投影图案可能移位出检测框。现在将说明被执行来处理上述问题的其它图像模糊校正功能。
图12是示出应用了本发明的图像捕获装置1的另一种结构的示例的方框图。在图12中，对应于图1的那些的部件被以相同的附图标记表示，其说明将被省略以避免重复。参见图12，图像捕获装置1包括检测器121和聚焦控制器122以及模糊检测器11、信号处理器12、微计算机13、曝光控制器14、辅助光控制器15、校正控制器16和模糊校正器17。
检测器121根据由微计算机13确定的图像模糊校正的控制量来确定检测框的位置(坐标)，根据关于放大比的信息来确定检测框的大小或数量，控制所述位置，根据所确定的值来控制检测框的大小或数量，并且执行对于在检测框内的自动聚焦的检测。这种检测框是在自动聚焦中使用的对比度检测范围，用于根据来自主体的光来检测图像的对比度。
聚焦控制器122根据由检测器121检测的信息来执行自动聚焦，并且向辅助光控制器15输出用于表示自动聚焦完成的信息。
图13是示出微计算机13的详细结构的示例的方框图。在图13中，对应于图2的那些的部件被以相同的附图标记表示，其说明将被省略以避免重复。
微计算机13包括模数(A/D)转换器51、高通滤波器52、灵敏度调整器53、缩放调整器54、积分处理器55和调制器56，并控制图像捕获装置1的整体操作。
模数转换器51将来自信号处理器12的、作为模拟信号的图像模糊信号转换为数字信号，并且将它们输出到高通滤波器52。高通滤波器52阻塞低于预定截止频率的频率。
为了补偿在模糊检测器11中包括的角速度传感器的灵敏度的变化，灵敏度调整器53检测角速度传感器的灵敏度，并按照角速度传感器的灵敏度来执行对于来自高通滤波器52的图像模糊信号的增益调整。然后，缩放调整器54检测放大比，并且按照放大比来执行图像模糊信号的增益调整。另外，缩放调整器54将所检测的放大比输出到监测器121。
积分处理器55在灵敏度调整和增益调整后对图像模糊信号进行积分，并且确定对应于所述图像模糊信号和校正图像模糊所需要的图像模糊校正控制的量，并且向调制器56或检测器121输出所确定的控制量。调制器56将所确定的控制量转换为脉冲宽度调制(PMM)信号，并且将它们输出到校正控制器16。
现在将参照图14的流程图来说明在自动聚焦中的辅助光投射的处理。
在接通电源后，在图像捕获装置1中执行辅助光投射的处理。在步骤S201，辅助光控制器15从曝光控制器14获得所测量的关于来自主体的光的信息。
在步骤S202，辅助光控制器15根据关于来自主体的光的信息来确定是否所述光是低对比度或低强度的。如果确定所述光是低对比度或低强度的，则辅助光控制器15在步骤S203接通辅助光投射标记。
在步骤S204，辅助光控制器15控制包括灯的辅助光投射器(未示出)，以投射辅助光投影图案。因此，在步骤S205，检测器121和聚焦控制器122在辅助光投射时执行自动聚焦处理。
检测器121和聚焦控制器122执行自动聚焦处理，检测器121在根据图像模糊校正的控制量限定的检测范围内、根据来自主体的光来检测图像的对比度，聚焦控制器122校正光学透镜来最大化所述对比度。检测器121根据从积分处理器55提供的图像模糊校正的控制量，在参照图15的流程图下述的图像模糊校正处理中确定检测框的位置和大小或数量。
在完成在步骤S205中的自动聚焦处理时，聚焦控制器122向辅助光控制器15输出表示自动聚焦处理完成的信息。作为响应，在步骤S206，辅助光控制器15确定是否已经完成了自动聚焦处理。如果未确定已经完成了自动聚焦处理，则处理返回步骤S204，并且重复随后的处理。
如果在步骤S206确定已经完成了自动聚焦处理，则辅助光控制器15在步骤S207关断辅助光投射标记，并且在步骤S208终止辅助光投影图案的投射。
在步骤S202，如果未确定光是低对比度或低强度的，则辅助光控制器15在步骤S209关断辅助光投射标记和终止处理。
微计算机13可以通过监控在辅助光控制器15中的辅助光投射标记的通/断状态来确定是否在下述的图像模糊校正处理中投射了辅助光投影图案。
现在将参照图15的流程图来说明图像模糊校正处理。
在步骤S221，模数转换器51将作为模拟信号的图像模糊信号转换为数字信号。
在步骤S222，微计算机13监控辅助光控制器15，并且确定是否辅助光投射标记接通。如果确定辅助光投射标记接通，则微计算机13在步骤S223执行图像模糊校正的控制量的计算。现在参照图16的流程图来说明图像模糊校正的控制量的计算。
在步骤S241，高通滤波器52阻塞在低于预定截止频率的频率的图像模糊信号。
在步骤S242，灵敏度调整器53检测模糊检测器11中包括的角速度传感器的灵敏度，并且按照角速度传感器的灵敏度来执行图像模糊信号的增益调整。缩放调整器54检测放大比，并且按照所述放大比来执行图像模糊信号的增益调整。
在步骤S243，积分处理器55给被调整的图像模糊信号加上通过积分在前一个采样周期中的图像模糊信号而确定的值(反馈幅度A)和从系数表(见图4)确定的反馈系数K的和，由此确定校正图像模糊所需要的图像模糊校正的控制量。
因为如上所述确定了图像模糊校正的控制量，因此积分处理器55在图15的步骤S224向检测器121输出所确定的图像模糊校正的控制量，同时缩放调整器54向检测器121输出关于放大比的信息。
在步骤S225，检测器121根据来自积分处理器55的图像模糊校正的控制量来确定检测框的位置，以便检测框在消除图像模糊校正的方向中移动。在步骤S226，检测器121根据从缩放调整器54提供的放大比的信息来改变检测框的大小或数量。这个用于改变检测框的大小或数量的处理被执行以降低辅助光投影图案进出检测框或辅助光投影图案脱离检测框的可能。
在步骤S227，检测器121根据在步骤S225确定的检测框的位置和在步骤S226确定的检测框的大小或数量来控制检测框。因为根据图像模糊校正的控制量，在上述控制的检测框内检测到投影图案的图像对比度(在图14的步骤S205中的上述自动聚焦处理)，可以在图像模糊校正时防止辅助光投影图案进出检测框的移动。因此改善了自动聚焦功能的精度。
另一方面，如果在步骤S222确定辅助光投射标记被关断，则微计算机13在步骤S228执行图像模糊校正的控制量的计算。这种校正控制量的计算与在步骤S223中执行的(即在图16中)相同。虽然将省略其说明以避免重复，但是这个处理确定了校正图像模糊所需要的图像模糊校正的控制量。
然后，在步骤S229，调制器56将由积分处理器55在步骤S223或在S228确定的图像模糊校正的控制量转换为脉冲宽度调制(PWM)信号，并且将它们输出到校正控制器16。
在步骤S230，校正控制器16根据所确定的图像模糊校正的控制量来控制模糊校正器17的校正，以便模糊校正器17位于目标位置。
在辅助光投射时，如上所述，根据图像模糊校正的控制量来控制用于定义自动聚焦功能的对比度检测范围的检测框的位置。因此，在检测时，可以防止投影图案进出检测框的移动，并且可以改善自动聚焦功能的精度。而且，用于改变检测框的大小或数量的处理使得辅助光投影图案更容易地进入检测框，而与放大比无关。
用于改变检测框的大小或数量的处理在图像模糊校正的控制量太大的情况下尤其有效于单独控制检测框，以降低辅助光投影图案移动进出检测框或辅助光投影图案脱离检测框的可能性。
而且，因为可以在辅助光投射时执行图像模糊校正，因此可以使用除了辅助光投影图案之外的光来执行主体的正常自动聚焦。也可以对不适合于辅助光的主体(即例如吸收辅助光的主体、使得辅助光穿过的主体或位于没有辅助光到达的诸如屏幕的端部的区域的主体)有效地执行自动聚焦功能。也有效地执行诸如曝光控制和彩色控制的其它控制。
而且，因为在辅助光投射时不进行诸如停止图像模糊校正功能、和改变用于控制校正功能的方法的图像模糊校正的突变，因此可以防止屏幕的噪音、振动或突变的发生。而且，因为图像模糊校正功能总是工作，因此可以防止在图像模糊校正中的延迟。另外，可以实现成本降低，因为现有的图像捕获装置不需要附加的装置来实现上述的效果。
而且，在具有并入诸如激光的具有高能量密度的光源的辅助光投射器的图像捕获装置中，所述装置的适用性被改善，因为在使用具有不同放大比的透镜来替代现有透镜的情况下，不需要诸如在投影图案上的改变的涉及风险的改变。
图17的流程图示出了在图12的图像捕获装置1中的图像模糊校正的控制量的计算的示例，其中向图像捕获装置1应用了图像模糊校正功能的控制处理，用于在图1的图像捕获装置1中执行辅助光投射期间，不对低频的图像模糊信号执行校正。图像模糊校正的控制量的这种计算是在微计算机13在图15的步骤S222确定辅助光投射标记接通的情况下，在步骤S223执行的另一个示例。
在步骤S261，微计算机13设置用于频率的参考值α。这个用于频率的参考值α被设置为高于对高通滤波器52预定的截止频率，以阻塞低频，以便不执行对低频的图像模糊的图像模糊校正，低频的图像模糊是投影图案移动进出用于限定自动聚焦功能的对比度检测范围的检测框的主要原因。
在步骤S262，微计算机13确定是否所述图像模糊信号包括低于在步骤S261设置的参考值α的频率分量。如果在步骤S262确定所述图像模糊信号包括低于参考值α的频率分量，则高通滤波器52在步骤S263阻塞低于图像模糊信号的参考值α的频率分量。这禁止了对低于参考值α的频率的图像模糊信号的图像模糊校正的控制量的计算。
如果在步骤S262确定所述图像模糊信号不包括低于参考值α的频率分量，这微计算机13跳过在步骤S263的处理，并且在步骤S264执行校正控制量的计算。即，在步骤S264后的处理中，仅仅执行对高于参考值α的频率的图像模糊信号的图像模糊校正的控制量的计算。
在步骤S264，灵敏度调整器53按照模糊检测器11中包括的角速度传感器来执行图像模糊信号的增益调整，同时缩放调整器54按照缩放位置来执行图像模糊信号的增益调整。
在步骤S265，积分处理器55将通过在前一个采样周期中积分图像模糊信号而确定的值(反馈幅度A)和从系数表(见图4)确定的反馈系数K的和加到被调整的图像模糊信号上，由此确定用于校正图像模糊所需要的图像模糊校正的控制量。
在图15的步骤S224后的处理中，根据如上所述确定的图像模糊校正的控制量，来控制检测框的位置和图像模糊校正，检测框的位置是用于自动聚焦功能的对比度检测范围。即，因为禁止了低频的图像模糊校正的控制量的计算，因此根据通过在其它频率(高频)的图像模糊校正的控制量的计算而确定的图像模糊校正的控制量，来执行检测框和图像模糊校正的随后控制。
如上所述，限制对低频的图像模糊的校正和对由于大幅度的手移动而导致的图像模糊的校正，同时控制检测框，其中大幅度的手移动可能引起投影图案偏离检测框或投影图案进出检测框的移动。因此，不执行例如在辅助光投影图案到检测框之外的情况下、仅仅通过控制检测框而不能实现的大量校正控制。因此，可以更有效地防止投影图案进出检测框的移动，并且可以改善自动聚焦功能的精度。
虽然已经分别使用角速度传感器和角速度信号来说明模糊检测器11和图像模糊信号，但是也可以使用其它的角度传感器、角速度传感器或速度传感器。而且，虽然使用防振可移位透镜来描述模糊校正器17，但是也可以使用可变角度棱镜(VAP)等。
虽然已经描述了用于自动聚焦功能的检测框，但是也可以控制用于除了自动聚焦功能之外的功能的检测框，以便消除图像模糊校正的控制量。
虽然上述的说明着重于便携式摄像录音一体机，但是本发明也适用于数字静态照相机和用于捕获运动图像和静止图像的其它装置。
虽然可以通过硬件来执行上述的处理操作系列，但是也可以通过软件来执行它。在这种情况下，例如，在图1和图12中的图像捕获装置被替换为图像捕获装置201，如图18所示。
参见图18，中央处理单元(CPU)211按照在只读存储器(ROM)212存储的程序或从存储单元218向随机存取存储器(RAM)213安装的程序来执行各种处理。CPU 211执行各种处理所需要的数据等按照需要被存储在RAM 213中。
CPU 211、ROM 212和RAM 213经由总线214来彼此连接。输入输出接口215也连接到总线214。
下述部件连接到输入输出接口215输入单元216，包括键盘和鼠标；输出单元217，包括显示器和扬声器，显示器如阴极射线管(CRT)和液晶显示器(LCD)；存储单元218，包括硬盘；通信单元219，包括调制解调器和终端适配器。通信单元219经由未示出的网络来执行通信处理。
驱动器220在必要时连接到输入-输出接口215，并且必要时被提供例如磁盘221、光盘222、磁光盘223和半导体存储器224，并且在必要时从其读出的计算机程序被安装在存储单元218中。
为了通过软件执行一系列处理操作，软件中包括的程序被从网络或记录介质安装到在专用硬件中并入的计算机中或例如安装到可以通过安装各种程序来执行各种功能的通用个人计算机中。
记录介质不仅包括封装介质，而且包括ROM 212和在存储单元218中包括的硬盘，所述封装介质与所述装置的主体独立分配，如图18所示，以便向用户提供程序，并且所述封装介质包括例如其中记录了程序的磁盘221(包括软盘)、光盘222(包括光盘只读存储器(CD-ROM)和数字多用途盘(DVD))、磁光盘223(包括微型盘Mini-Disc(注册商标)(MD))和半导体存储器224，所述ROM 212和在存储单元218中包括的硬盘记录了程序，并且它们被预先安装和与所述装置的主体一起被提供给用户。
在本说明书中，用于描述记录在记录介质中的程序的步骤不仅包括按照描述的顺序以时间顺序执行的处理，而且包括不一定以年代顺序执行而是同时或独立地被执行的处理。
在本说明书中，系统指的是包括多个单元的整体装置。
产业上的应用如上所述，按照本发明，增强了自动聚焦功能的精度改善。而且，按照本发明，可以防止诸如颜色控制或曝光控制的控制精度的变差。而且，按照本发明，辅助光投影图案可以容易地落入检测框内而与放大比无关。按照本发明，可以实现节能和成本降低。
权利要求
1.一种图像捕获装置，包括检测部件，用于检测图像模糊的信号；校正部件，用于校正图像模糊；投射部件，用于向要捕获的主体投射投影图案以用于聚焦处理；检测部件，用于检测在检测框内的投影图案，所述图案被所述投射部件投射；所述装置包括第一确定部件，用于确定是否投射部件投射了投影图案；计算部件，用于如果第一确定部件确定投射了投影图案、则根据对应于由检测部件检测的信号的幅度的系数，来计算对应于所述信号的图像模糊校正控制的量；框设置部件，用于根据由计算部件计算的控制量来设置检测框的位置，检测部件在所述检测框内检测投影图案；和校正控制部件，用于根据由计算部件计算的控制量来控制由校正部件执行的图像模糊的校正。
2.按照权利要求1的图像捕获装置，还包括改变部件，用于一旦框设置部件设置了检测框的位置，则根据关于放大比的信息来改变检测框的大小或检测框的数量。
3.按照权利要求1的图像捕获装置，还包括参考值设置部件，用于设置参考值；第二确定部件，用于如果第一确定部件确定投影了投影图案，则确定是否由检测部件检测的信号的频率低于由参考值设置部件设置的参考值；和禁止部件，用于如果第二确定部件确定所述信号的频率低于所述参考值，则禁止通过校正部件的图像模糊校正。
4.按照权利要求3的图像捕获装置，其中如果第二确定部件确定所述信号的频率大于所述参考值，则计算部件根据对应于所述信号的幅度的系数来计算对应于所述信号的图像模糊校正控制的量。
5.按照权利要求4的图像捕获装置，其中如果第二确定部件确定所述信号的频率高于所述参考值，则计算部件计算对应于所述信号的图像模糊校正控制的量，同时使得所述系数接近于1。
6.按照权利要求1的图像捕获装置，还包括划分部件，用于当第一确定部件确定投射投影图案时，根据由检测部件检测的信号的频率来将所述信号划分为多个频带；特定频率计算部件，用于根据对应于所述信号的幅度的系数、对于每个频带计算对应于被划分部件划分为多个频带的信号的图像模糊校正控制的量；其中所述校正控制部件根据由特定频率计算部件计算的控制量来控制由校正部件执行的图像模糊的校正。
7.按照权利要求6的图像捕获装置，其中所述划分部件将所述信号划分为三个频带；所述特定频率计算部件在最低频带中计算对应于被划分部件划分的信号的图像模糊校正控制量，同时使得系数接近于0；根据对应于所述信号的幅度的系数、在中间频带中计算对应于被划分部件划分的信号的图像模糊校正控制量；并且在最高频带中计算对应于被划分部件划分的信号的图像模糊校正控制量，同时使得系数接近于1。
8.一种用于在图像捕获装置中处理信号的方法，所述图像捕获装置包括检测部件，用于检测图像模糊的信号；校正部件，用于校正图像模糊；投射部件，用于向要捕获的主体投射投影图案以用于聚焦处理；检测部件，用于在检测框内检测投影图案，所述图案被所述投射部件投射；所述方法包括确定步骤，用于确定是否通过投射部件来投射投影图案；计算步骤，用于如果在确定步骤中确定投射了投影图案、则根据对应于由检测部件检测的信号的幅度的系数，来计算对应于所述信号的图像模糊校正控制的量；框设置步骤，用于根据在计算步骤中计算的控制量来设置检测框的位置，检测部件在所述检测框内检测投影图案；校正控制步骤，用于根据在计算步骤中计算的控制量来控制由校正部件执行的图像模糊的校正。
9.一种记录介质，用于记录用于图像捕获装置的计算机可读程序，所述图像捕获装置包括检测部件，用于检测图像模糊的信号；校正部件，用于校正图像模糊；投射部件，用于向要捕获的主体投射投影图案以用于聚焦处理；检测部件，用于在检测框内检测投影图案，所述图案被所述投射部件投射；所述程序包括确定步骤，用于确定是否通过投射部件来投射投影图案；计算步骤，用于如果在确定步骤中确定投射了投影图案、则根据对应于由检测部件检测的信号的幅度的系数，来计算对应于所述信号的图像模糊校正控制的量；框设置步骤，用于根据在计算步骤中计算的控制量来设置检测框的位置，通过检测部件在所述检测框内检测投影图案；和校正控制步骤，用于根据在计算步骤中计算的控制量来控制由校正部件执行的图像模糊的校正。
10.一种用于控制图像捕获装置的计算机可读程序，所述图像捕获装置包括检测部件，用于检测图像模糊的信号；校正部件，用于校正图像模糊；投射部件，用于向要捕获的主体投射投影图案以用于聚焦处理；检测部件，用于在检测框内检测投影图案，所述图案被所述投射部件投射；所述程序包括确定步骤，用于确定是否通过投射部件来投射投影图案；计算步骤，用于如果在确定步骤中确定投射了投影图案、则根据对应于由检测部件检测的信号的幅度的系数，来计算对应于所述信号的图像模糊校正控制的量；框设置步骤，用于根据在计算步骤中计算的控制量来设置检测框的位置，通过检测部件在所述检测框内检测投影图案；和校正控制步骤，用于根据在计算步骤中计算的控制量来控制由校正部件执行的图像模糊的校正。
全文摘要
本发明公开了成像器件、信号处理方法、记录介质和程序，所述成像器件具有自动聚焦功能，所述自动聚焦功能具有对应于当辅助光被投射时的物体的改善的精度。微计算机(13)监控辅助光控制部分(15)，并确定是否辅助光投射标记接通。如果辅助光投射标记接通，则微计算机(13)执行图像模糊校正的受控变量计算，以确定图像模糊校正的受控变量，并且向检测部分(121)输出所确定的受控变量。检测部分(121)确定用于自动聚焦的检测框的位置，根据关于缩放放大率的信息来改变检测框的大小或数量，以控制检测框的位置、大小或数量。本发明可以应用于便携式摄录一体机。
文档编号H04N5/217GK1659467SQ03812649
公开日2005年8月24日 申请日期2003年5月28日 优先权日2002年5月30日
发明者熊木甚洋, 竹本聪, 栉田英功 申请人:索尼株式会社