专利名称：模糊校正方法及摄像装置的制作方法
技术领域：
本发明涉及一种校正图像的模糊(blur)的模糊校正方法以及使用该模糊校正方法来摄像被摄体像并校正所摄像的图像的模糊的摄像装置，特别涉及动态图像的模糊校正及适合用于摄像的模糊校正方法和摄像装置。
背景技术：
以往，已经公知的有检测包括旋转在内的位置偏移来进行二个图像的位置调准的位置调准装置(例如，参照专利文献1)。该位置调准装置把成为位置调准的基准的基准图像分割为多个像素块并进行块匹配处理，检测基准图像和成为位置调准对象的对象图像之间的包括旋转在内的位置偏移，以该检测结果为基础进行二个图像的位置调准。并且，该位置调准装置求出所分割的各个像素块的浓度分布的分散，判断为在所求出的分散值小于等于规定阈值的像素块中块匹配处理导致错误的结果的可能性大，从块匹配处理的对象中除去对应的像素块，提高位置偏移的检测精度。
专利文献1日本专利特开平11-86003号公报专利文献2日本专利特开平6-303490号公报专利文献3日本专利特开2000-161913号公报但是，在上述现有的位置调准装置中，仅根据各个像素块的浓度分布的分散来判断针对块匹配处理的可靠性，从处理对象中除去判断为置信度低的像素块，而利用相同的置信度对判断为置信度高的所有像素块进行处理，所以存在着根据要摄像的被摄体不一定能够高精度地检测二个图像之间的位置偏移的问题。
发明内容
本发明就是鉴于上述情况而提出的，其目的在于提供一种模糊校正方法及摄像装置，其以所分割的像素块的各种特性值为基础，判断通过块匹配处理等所运算的各个像素块的移动矢量的置信度，进行对应于该置信度的移动矢量的运算处理，能够总是高精度地检测二个图像之间的位置偏移，并且能够正确地校正对应于该位置偏移的图像模糊。
为了达到上述目的，本发明之一的模糊校正方法，包括图像选择步骤，从由摄像装置摄像的多个图像中，选择成为对图像模糊进行校正的对象的对象图像和成为该校正的基准的基准图像；块提取步骤，从所述对象图像提取至少二个对象像素块；矢量运算步骤，运算移动矢量，所述移动矢量表示从与通过所述块提取步骤提取的各个对象像素块的位置对应的所述基准图像上的位置到该各个对象像素块的位置的移动量，根据通过所述矢量运算步骤运算的移动矢量来校正所述对象图像的模糊，其特征在于，所述模糊校正方法包括权重设定步骤，以通过所述矢量运算步骤运算的各个移动矢量相对于所述图像模糊的置信度为基础，设定所述各个对象像素块的加权系数；系数运算步骤，以把规定的坐标原点作为基准的所述各个对象像素块的位置矢量、所述各个移动矢量、以及通过所述权重设定步骤设定的各个加权系数为基础，运算用于对所述对象图像进行仿射变换(affine transformation)的变换系数；以及校正运算步骤，以所述系数运算步骤的运算结果为基础，对所述对象图像进行仿射变换，以校正该对象图像的模糊。
并且，本发明之二的模糊校正方法，其特征在于，在上述发明中，以与所述对象图像内的所述对象像素块的位置对应的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
并且，本发明之三的模糊校正方法，其特征在于，在上述发明中，在把所述对象图像分割为多个像素区域、或者所述对象图像是被预先分割为多个像素区域的图像的情况下，所述块提取步骤从所分割的所述多个像素区域提取至少二个所述对象像素块。
并且，本发明之四的模糊校正方法，其特征在于，在上述发明中，所述权重设定步骤以与所述对象图像内的所述对象像素块的位置对应的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
并且，本发明之五的模糊校正方法，其特征在于，在上述发明中，所述权重设定步骤把针对位于所述对象图像内的周边部的所述对象像素块的所述加权系数设定得比针对位于所述对象图像内的大致中央部的所述对象像素块的所述加权系数大。
并且，本发明之六的模糊校正方法，其特征在于，在上述发明中，所述权重设定步骤以基于所述移动矢量的方向和大小中的至少一方的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
并且，本发明之七的模糊校正方法，其特征在于，在上述发明中，所述权重设定步骤运算所述对象像素块内的图像的对比度，以基于该对比度的运算结果的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
并且，本发明之八的模糊校正方法，其特征在于，在上述发明中，所述权重设定步骤运算位于所述对象像素块的附近的附近像素块的移动矢量，以基于发散度的所述置信度为基础来设定针对所述对象像素块的所述加权系数，所述发散度表示所述附近像素块的移动矢量相对于所述对象像素块的移动矢量的偏差程度。
并且，本发明之九的模糊校正方法，其特征在于，在上述发明中，所述权重设定步骤根据第1加权系数和发散度来设定针对所述对象像素块的所述加权系数，所述第1加权系数与所述对象图像内的所述对象像素块的位置相对应，所述发散度表示位于所述对象像素块附近的附近像素块的移动矢量相对于所述对象像素块的移动矢量的偏差程度。
并且，本发明之十的模糊校正方法，其特征在于，在上述发明中，所述系数运算步骤在把与所述各个对象像素块对应的所述各个位置矢量、所述各个移动矢量和所述各个加权系数分别设为Xi(i＝1、2、…、n)、Vi(i＝1、2、…、n)和wi(i＝1、2、…、n)，把该各个加权系数的总和设为w的情况下，根据Xc＝(w1·X1+w2·X2+…+wn·Xn)/w来运算表示所述各个位置矢量的加权重心的位置重心矢量Xc，根据Vc＝(w1·V1+w2·V2+…+wn·Vn)/w来运算表示所述各个移动矢量的加权重心的移动重心矢量Vc，根据算式1来运算与所述变换系数的线性变换成分对应的旋转矩阵的旋转角φ。
算式1φ=arctanΣi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}]]>其中，#表示逆时针方向的90度的旋转变换。
并且，本发明之十一的模糊校正方法，其特征在于，在上述发明中，所述系数运算步骤根据S＝Xc-Vc来运算与所述变换系数的移位成分对应的移位矢量S，所述校正运算步骤根据所述旋转矩阵将所述对象图像以所述位置矢量的加权重心为中心向逆时针方向恰好旋转所述旋转角，然后根据所述移位矢量使该对象图像移位。
并且，本发明之十二的模糊校正方法，其特征在于，在上述发明中，所述块提取步骤和所述权重设定步骤分别提取所述对象像素块，和设定所述加权系数，以使得所述位置重心矢量成为零矢量。
并且，本发明之十三的模糊校正方法，其特征在于，在上述发明中，所述块提取步骤和所述权重设定步骤分别提取所述对象像素块，和设定所述加权系数，以使得所述位置重心矢量成为零矢量。
并且，本发明之十四的模糊校正方法，其特征在于，在上述发明中，所述系数运算步骤把向逆时针方向恰好进行所述旋转角φ的旋转变换的所述旋转矩阵设为R(φ)，根据S＝R(-φ)·(Xc-Vc)-Xc来运算与所述变换系数的移位成分对应的移位矢量S，所述校正运算步骤根据所述移位矢量使所述对象图像移位后，根据所述旋转矩阵将该对象图像以所述坐标原点为中心向逆时针方向恰好旋转所述旋转角。
并且，本发明之十五的模糊校正方法，其特征在于，在上述发明中，所述系数运算步骤在所述各个移动矢量的大小小于规定值的情况下，根据将算式1进行了近似而得到的算式2来运算所述旋转角φ。
算式2
φ=Σi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}]]>并且，本发明之十六的模糊校正方法，其特征在于，在上述发明中，所述块提取步骤从位于所述对象图像的各个角部的角部区域中的、不同的二个该角部区域分别提取所述对象像素块，所述系数运算步骤把从所述二个角部区域提取的对象像素块中的其中一个对象像素块的位置作为所述坐标原点，把与位于该坐标原点的所述对象像素块对应的所述位置矢量、所述移动矢量和所述加权系数分别设为X1、V1和w1，通过所述权重设定步骤，在针对位于所述坐标原点的对象像素块的所述加权系数和针对另一个对象像素块的所述加权系数分别无限接近1和0的情况下，根据将算式1进行了近似而得到的算式3来运算所述旋转角φ。
算式3φ=arctan-X2(-V1+V2)#X2·{X2-(-V1+V2)}]]>并且，本发明之十七的模糊校正方法，其特征在于，在上述发明中，所述多个图像是动态图像，所述各个对象像素块是成为在所述动态图像的压缩编码处理中进行的帧间预测处理的处理对象的块，所述各个移动矢量在所述帧间预测处理中被运算。
并且，本发明之十八的模糊校正方法，其特征在于，在上述发明中，所述多个图像是动态图像，所述各个对象像素块是成为在所述动态图像的压缩编码处理中进行的帧间预测处理的处理对象的块，所述各个移动矢量在所述帧间预测处理中被运算。
本发明之十九的摄像装置，包括将来自被摄体的光聚集并成像被摄体像的摄像光学系统；摄像与所述被摄体像对应的图像的摄像单元；图像选择单元，其从由所述摄像单元所摄像的多个图像中，选择成为校正图像模糊的对象的对象图像和成为该校正的基准的基准图像；块提取单元，其从所述对象图像提取至少二个对象像素块；矢量运算单元，其运算移动矢量，该移动矢量表示从与通过所述块提取单元提取的各个对象像素块的位置对应的所述基准图像上的位置到该各个对象像素块的位置的移动量，根据通过所述矢量运算单元运算的移动矢量来校正所述对象图像的模糊，其特征在于，所述摄像装置包括权重设定单元，其以通过所述矢量运算单元运算的各个移动矢量相对于所述图像模糊的置信度为基础，设定所述各个对象像素块的加权系数；系数运算单元，其根据以规定的坐标原点为基准的所述各个对象像素块的位置矢量、所述各个移动矢量和通过所述权重设定单元所设定的各个加权系数，运算对所述对象图像进行仿射变换用的变换系数；以及校正运算单元，其以所述系数运算单元的运算结果为基础，对所述对象图像进行仿射变换，以校正该对象图像的模糊。
并且，本发明之二十的摄像装置，其特征在于，在上述发明中，所述权重设定单元以与所述对象图像内的所述对象像素块的位置对应的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
并且，本发明之二十一的摄像装置，其特征在于，在上述发明中，把所述对象图像分割为多个像素区域，或者所述对象图像是预先被分割为多个像素区域的图像，所述块提取单元从被分割的所述多个像素区域提取至少二个所述对象像素块。
并且，本发明之二十二的摄像装置，其特征在于，在上述发明中，所述权重设定单元以与所述对象图像内的所述对象像素块的位置对应的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
并且，本发明之二十三的摄像装置，其特征在于，在上述发明中，所述权重设定单元以基于所述移动矢量的方向和大小中的至少一方的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
并且，本发明之二十四的摄像装置，其特征在于，在上述发明中，所述权重设定单元以基于所述对象像素块内的图像的对比度的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
并且，本发明之二十五的摄像装置，其特征在于，在上述发明中，所述权重设定单元运算位于所述对象像素块的附近的附近像素块的移动矢量，以基于发散度的所述置信度为基础来设定针对所述对象像素块的所述加权系数，所述发散度表示位于所述对象像素块的附近的附近像素块的所述移动矢量相对于所述对象像素块的移动矢量的偏差程度。
并且，本发明之二十六的摄像装置，其特征在于，在上述发明中，所述权重设定单元根据第1加权系数和发散度来设定针对所述对象像素块的所述加权系数，所述第1加权系数与所述对象图像内的所述对象像素块的位置对应，所述发散度表示位于所述对象像素块的附近的附近像素块的移动矢量相对于所述对象像素块的移动矢量的偏差程度。
并且，本发明之二十七的摄像装置，其特征在于，在上述发明中，所述系数运算单元在把与所述各个对象像素块对应的所述各个位置矢量、所述各个移动矢量和所述各个加权系数分别设为Xi(i＝1、2、…、n)、Vi(i＝1、2、…、n)和wi(i＝1、2、…、n)，把该各个加权系数的总和设为w的情况下，根据Xc＝(w1·X1+w2·X2+…+wn·Xn)/w来运算表示所述各个位置矢量的加权重心的位置重心矢量Xc，根据Vc＝(w1·V1+w2·V2+…+wn·Vn)/w来运算表示所述各个移动矢量的加权重心的移动重心矢量Vc，根据算式4来运算与所述变换系数的线性变换成分对应的旋转矩阵的旋转角φ。
算式4φ=arctanΣi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}]]>其中，#表示逆时针方向的90度的旋转变换。
并且，本发明之二十八的摄像装置，其特征在于，在上述发明中，所述系数运算单元根据S＝Xc-Vc来运算与所述变换系数的移位成分对应的移位矢量S，所述校正运算单元根据所述旋转矩阵将所述对象图像以所述位置矢量的加权重心为中心向逆时针方向恰好旋转所述旋转角，然后根据所述移位矢量使该对象图像移位。
并且，本发明之二十九的摄像装置，其特征在于，在上述发明中，所述块提取单元和所述权重设定单元分别提取所述对象像素块，并设定所述加权系数，以使得所述位置重心矢量成为零矢量。
并且，本发明之三十的摄像装置，其特征在于，在上述发明中，所述系数运算单元在所述各个移动矢量的大小小于规定值的情况下，根据将算式4进行了近似而得到的算式5来运算所述旋转角φ。
算式5φ=Σi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}]]>并且，本发明之三十一的摄像装置，其特征在于，在上述发明中，所述块提取单元从位于所述对象图像的各个角部的角部区域中的不同的二个该角部区域分别提取所述对象像素块，所述系数运算单元把从所述二个角部区域提取的对象像素块中的其中一个对象像素块的位置作为所述坐标原点，把与位于该坐标原点的所述对象像素块对应的所述位置矢量、所述移动矢量和所述加权系数分别设为X1、V1和w1，通过所述权重设定单元，在针对设为所述坐标原点的对象像素块的所述加权系数和针对另一个对象像素块的所述加权系数分别无限接近1和0的情况下，根据将算式4进行了近似而得到的算式6来运算所述旋转角φ。
算式6φ=arctan-X2·(-V1+V2)#X2·{X2-(-V1+V2)}]]>并且，本发明之三十二的模糊校正方法，其特征在于，在上述发明中，所述块提取步骤从位于所述对象图像的各个角部的角部区域中的不同的二个该角部区域分别提取所述对象像素块，所述系数运算步骤把从所述二个角部区域提取的对象像素块中的其中一个对象像素块的位置作为所述坐标原点，把对应的所述移动矢量设为V1，把与另一个像素块对应的所述位置矢量和所述移动矢量设为X2和V2，使与所述另一个像素块对应的所述加权系数接近0，从而根据X2·(V1-V2)#(其中，#表示逆时针方向的90度的旋转变换)和X2·{X2-(V1-V2)}来运算与所述变换系数的线性变换成分对应的旋转矩阵的旋转角。
根据本发明的模糊校正方法和摄像装置，以进行了分割而得到的像素块的各种特性值为基础，判断通过块匹配处理等所运算的各个像素块的移动矢量的置信度，进行与该置信度对应的移动矢量的运算处理，能够总是高精度地检测二个图像之间的位置偏移，并且能够正确校正与该位置偏移对应的图像的模糊。
图1是表示本发明的实施方式1涉及的摄像装置的结构的方框图。
图2是表示本发明的实施方式1涉及的摄像装置的概要结构的立体图。
图3-1是表示基准图像的示意图，该基准图像是利用图1所示的摄像装置所摄像的动态图像的一部分图像。
图3-2是表示对象图像的示意图，该对象图像是利用图1所示的摄像装置所摄像的动态图像的一部分图像。
图4是表示图1所示的图像处理部进行的图像模糊校正处理步骤的流程图。
图5是表示将对象图像进行了分割而得到的像素区域和对象像素块的一例的示意图。
图6是表示将对象图像进行了分割而得到的像素区域和对象像素块的另一例的示意图。
图7是表示提取在图像中高频成分的占有比率高的对象像素块的处理步骤的流程图。
图8是表示将对象图像进行了分割而得到的像素区域的另一例的示意图。
图9是表示根据移动矢量的发散度来设定加权系数的权重设定处理的处理步骤的流程图。
图10是表示与对象像素块相邻的相邻像素块的提取例子的示意图。
图11是表示根据图像对比度来设定加权系数的权重设定处理的处理步骤的流程图。
图12是表示从对象图像的角部区域提取了二个对象像素块的状态的一例的示意图。
符号说明
1摄像装置；2摄像部；2a摄像光学系统；2b摄像元件；2c A/D转换部；3图像处理部；3a图像处理控制部；3b图像选择部；3c像素区域分割部；3d像素块提取部；3e移动矢量运算部；3f权重设定部；3g变换系数运算部；3h图像校正运算部；3i帧存储器；4输入部；4a摄影开关；5显示部；5a显示监视器；6声音输入输出部；7通信部；8存储部；9便携式记录介质；9a卡接口；A1～A4像素区域；B1～B6、B01、B02、B03、Bi、BS1、BS2、IB1～IB4、OB1～OB8像素块；G0、G1、Gt对象图像；01、02、0s坐标原点；V1～V3、VS1、VS2移动矢量；X、X1～X3位置矢量。
具体实施例方式
以下，参照附图详细说明本发明涉及的摄像装置的优选实施方式。另外，并不是利用该实施方式来限定本发明。并且，在附图的记述中，在相同部分上标注相同标号。
(实施方式1)首先，说明本发明的实施方式1涉及的摄像装置。图1是表示本实施方式1涉及的摄像装置的结构的方框图。图2是表示本实施方式1涉及的摄像装置的概要结构的立体图。如图1所示，该实施方式1涉及的摄像装置1具有摄像被摄体像并生成图像信号的摄像部2；处理摄像部2生成的图像信号的图像处理部3；输入各种指示信息的输入部4；显示各种信息的显示部5；进行声音信息的输入输出处理的声音输入输出部6；与外部装置之间进行信息通信的通信部7；存储各种信息的存储部8；与外部装置之间进行数据的收发的便携式记录介质9；控制摄像装置1的整体的处理和动作的控制部C。摄像部2、图像处理部3、输入部4、显示部5、声音输入输出部6、通信部7、存储部8和便携式记录介质9与控制部C电连接。控制部C控制这些各个构成部分。
摄像部2具有摄像光学系统2a、摄像元件2b和A/D转换部2c。摄像光学系统2a将来自任意被摄体的光聚光，在摄像元件2b上成像被摄体像。作为摄像单元的摄像元件2b使用CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等固体摄像元件来实现，把摄像光学系统2a所聚集的光作为光信号而进行检测，并摄像与被摄体像对应的图像，把所摄像的图像转换为作为模拟信号的电信号而输出。A/D转换部2c把摄像元件2b输出的模拟信号转换为数字信号，输出给图像处理部3。摄像光学系统2a利用可以改变焦点距离的变焦透镜来实现，例如如图2所示，将多个透镜进行组合而构成。并且，摄像光学系统2a在控制部C的控制下，通过未图示的驱动装置使一部分或全部透镜在光轴方向移动，从而变更焦点距离，并且进行将要摄像的图像的对焦。另外，摄像光学系统2a可以是焦点距离固定的单焦点透镜，也可以构成为被可装卸地安装在壳体上，可以与其它摄像光学系统相替换。
图像处理部3具有图像处理控制部3a，进行针对从摄像部2获取的图像信号的各种图像处理的控制；图像选择部3b，从获取自摄像部2的图像信号中，选择成为对图像的模糊进行校正的对象的对象图像和成为该校正的基准的基准图像；像素区域分割部3c，把所选择的对象图像分割为多个像素区域；像素块提取部3d，从对象图像中提取不包含有所分割的各个像素区域的边界并且不从各个像素区域超出的至少二个对象像素块；移动矢量运算部3e，运算移动矢量，该移动矢量表示从与所提取的各个对象像素块的位置对应的基准图像上的位置到该各个对象像素块的位置的移动量；权重设定部3f，以所运算的各个移动矢量相对于对象图像模糊的置信度为基础，设定表示所提取的各个对象像素块的权重的加权系数；变换系数运算部3g，以把规定的坐标原点作为基准的各个对象像素块的位置矢量、通过移动矢量运算部3e运算的各个移动矢量、和通过权重设定部3f设定的各个加权系数为基础，运算对对象图像进行仿射变换用的变换系数；图像校正运算部3h，以该运算结果为基础，对对象图像进行仿射变换，并校正该对象图像的模糊；帧存储器3i，临时存储图像信息。图像处理部3具有的这些各个构成部分，按照基于来自控制部C的指示的、来自图像处理控制部3a的指示，处理图像信号，适当地把作为处理结果的图像信息、模糊校正信息、运算结果等输出给控制部C或存储部8。图像处理部3对所获取的图像信号，也可以进行γ校正、Y/C分离(亮度信号/颜色信号分离)、颜色变换等各种图像处理。
输入部4从外部接收摄像装置1进行的各种处理和动作的指示信息的输入，并且把所输入的指示信息输出给控制部C。输入部4接收的指示信息中包括摄像装置1的起动/结束、摄影的开始/结束、摄像光学系统2a的对焦和变焦位置的设定、摄像模式的设定、所摄像的图像信号的处理方法的设定等。输入部4可以利用按钮型、转换(toggle)型等各种开关、输入键、触摸板等实现，例如如图2所示，配置了用于指示摄影的开始/结束的摄影开关4a。
显示部5具有使用例如液晶显示器、有机EL(Electroluminescence，电致发光)显示器、LED等的显示装置，根据来自控制部C的指示而显示各种信息。显示部5显示的信息包括摄像部2摄像并生成的图像信息、图像处理部3处理的图像信息、用于通知控制部C所控制的各种处理和动作的开始及结束的通知信息、用于通知在各种处理和动作中产生的错误的错误信息等。显示部5例如如图2所示，在摄像装置1的背面部具有利用液晶显示器实现的显示监视器5a，几乎实时显示摄像装置1所摄像的图像。另外，显示监视器5a也可以显示存储在存储部8中的图像等各种信息。
声音输入输出部6使用传声器和扬声器来实现，从外部接受声音信息的输入，把所输入的声音信息输出给控制部C，并且把从控制部C输入的声音信息输出到外部。声音输入输出部6进行输入输出的信息有与摄像部2所摄影的视频对应的声音信息等。另外，声音输入输出部6也可以进行规定的通知声音的输出或者规定的警告声音的输出，所述规定的通知声音的输出用于通知各个构成部分所进行的处理的开始和结束，所述规定的警告声音的输出用于通知在各种处理和动作中产生的错误。
通信部7使用RS232C、USB、IEEE1394等外部通信用接口、或者基于IrDA标准的红外线通信接口等来实现，根据来自控制部C的指示，与外部装置之间进行图像信息、声音信息等的各种信息通信。
存储部8使用预先存储了用于起动规定的OS的程序、处理程序等各种信息的ROM、和存储了各个处理的各种处理参数及输入输出到各个构成部分的各种信息等的RAM来实现。存储部8存储的信息有摄像部2所摄像的图像信息，作为图像处理部3的处理结果的图像信息、校正信息、运算结果等，在图像处理部3中使用的运算参数，与摄像部2所摄影的视频对应的声音信息，摄像装置1的各种设定信息等。
便携式记录介质9使用非易失性存储器即智能介质SM(注册商标)等闪存、DVD(Digital Versatile Disk，数字化视频光盘)等光存储介质等，例如如图2所示，通过卡接口9a可装卸地连接到摄像装置1，在被插入到摄像装置1上时，可以进行图像数据等各种信息的输出或记录。便携式记录介质9根据来自控制部C的指示进行信息的输出和记录。
控制部C利用执行存储部8所存储的处理程序的CPU等来实现，控制摄像装置1的各个构成部分。特别是控制部C使图像处理控制部3a处理图像并校正模糊，使显示部5显示所校正的图像信息，并使所校正的图像信息存储在存储部8中。并且，控制部C把摄像部2所摄像的图像信息通过通信部7输出到外部，或者记录在便携式记录介质9中。另外，控制部C也可以把作为图像处理部3的处理结果的图像信息输出到外部。
下面，说明图像处理部3进行的图像模糊校正处理。图3-1和图3-2是通过摄像装置1所摄像的动态图像的一部分的图像，分别是表示成为校正图像模糊的基准的基准图像、和成为校正模糊的对象的对象图像的一例的图。如图3-1和图3-2所示，对象图像G1相对于基准图像G0，产生与摄影时的摄像装置1的动作对应的图像模糊。这种图像模糊一般可以通过仿射变换来表现，相反，通过对对象图像G1进行仿射变换，可以校正图像的模糊。此处，仿射变换指基于旋转变换等线性变换和平行移动即移位变换的组合的图形等的变换，一般利用下述数式(1)表示。
X’＝T·X+S ……(1)此处，把表示仿射变换前后的图形的相对应的任意点的位置矢量分别设为X和X’，把作为表示仿射变换的线性变换部分的变换系数的矩阵设为T，把作为表示仿射变换的移位变换部分的变换系数的矢量设为S。但是，如果是图3-2所示由移位和旋转构成的图像模糊，则表示线性变换的矩阵T可以置换为表示旋转角为φ的逆时针方向的旋转变换的旋转矩阵R(φ)。另外，对象图像G1和基准图像GO的一部分被摄体，如基准图像G0中的被摄体像UO与对象图像G1中的被摄体像U1的关系所示，二者的位置和姿势变化独立于图像模糊，该变化不通过仿射变换进行校正。
图像处理部3例如如图3-2所示，从对象图像G1提取对象像素块B1～B3，通过块匹配处理运算所提取的各个对象像素块B1～B3的移动矢量V1～V3。并且，图像处理部3根据所运算的移动矢量V1～V3、以移动矢量V1～V3针对图像模糊的置信度为基础而设定的各个对象像素块B1～B3的加权系数w1～w3、和指示各个对象像素块B1～B3的中心位置的位置矢量X1～X3，运算与对象图像G1的模糊对应的仿射变换的变换系数，以所运算的变换系数为基础，对对象图像G1进行仿射变换，校正图像的模糊。此处，所说的块匹配处理是指求出所提取的各个对象像素块B1～B3距基准图像G0的平行移动量的处理，具体讲，是在基准图像G0上检测分别与对象像素块B1～B3最一致的像素块B01、B02、B03，求出表示从所检测出的各个像素块B01、B02、B03的中心位置到分别对应的对象像素块B1～B3的中心位置的移动量的移动矢量V1～V3。一般，像素块之间的一致度可以使用像素块内的像素的差分灰度值的绝对值之和、平均灰度值之差的绝对值、灰度值的标准偏差之差的绝对值、灰度值的相互相关函数、灰度值的傅立叶系数等来进行评价。另外，成为表示位置矢量X1～X3的基准的坐标原点，在图3-2中为对象图像G1的左上角部的点01，但不限于此，也可以是对象图像G1的内部和外部的任意点。
并且，图像处理部3利用最小二乘法(least square method)，运算用于校正对象图像G1的仿射变换的变换系数。即，图像处理部3运算仿射变换的线性变换成分的变换系数即旋转矩阵R(φ)和移位变换成分的变换系数即移位矢量S，以使得下述数式(2)表示的评价函数F的值最小。
算式7F=Σinwi{(R(φ)·Xi+S)-(Xi-Vi)}2···(2)]]>此处，把与对象像素块Bi(i＝1、2、…、n)对应的位置矢量、移动矢量和加权系数分别设为Xi(i＝1、2、…、n)、Vi(i＝1、2、…、n)和wi(i＝1、2、…、n)，把从对象图像G1提取的对象像素块数设为n，使算式一般化。在数式(2)中，移动矢量Vi表示将位置矢量Xi相对于基准图像G0所移动的移动量。因此，从Xi减去Vi得到的位置矢量(Xi-Vi)成为严密地对Xi进行了校正的情况下的位置矢量。相对于此，如数式(1)那样，作为数式(2)的另一项的(R(φ)·Xi+S)表示通过仿射变换对位置矢量Xi进行了校正后的位置矢量。因此，为了使得利用加权系数wi对矢量(Xi-Vi)和矢量(R(φ)·Xi+S)的差分矢量的绝对值的平方进行加权后的总和F的值为最小，选择R(φ)和S意味着最小二乘法的最佳移动校正。基于考虑了加权的最小二乘法的位置调准方法例如在专利文献3中进行了公开。
在评价函数F的值为最小时，旋转矩阵R(φ)和移位矢量S满足下述数式(3)和数式(4)，并分别利用数式(5)和数式(6)运算移位矢量S和旋转矩阵R(φ)。
算式8∂F∂S=2Σinwi{R(φ)·Xi+S-Xi+Vi}=0···(3)]]>算式9∂F∂φ=2Σinwi{R(φ)·Xi+S-Xi+Vi}·{∂R(φ)∂φ·Xi}=0···(4)]]>S＝Xc-Vc-R(φ)·Xc……(5)算式10φ=arctanΣi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}···(6)]]>
其中，#表示逆时针方向的90度的旋转变换。并且，把加权系数wi的总和设为w，把表示各个位置矢量Xi的加权重心的位置重心矢量设为Xc，则利用数式(7)进行运算，把表示各个移动矢量Vi的加权重心的移动重心矢量设为Vc，利用数式(8)进行运算。
Xc＝(w1·X1+w2·X2+…+wn·Xn)/w ……(7)Vc＝(w1·V1+w2·V2+…+wn·Vn)/w ……(8)并且，利用数式(9)表示旋转矩阵R(φ)。
算式11R(φ)=cosφ-sinφsinφcosφ···(9)]]>另外，在预先得知旋转角φ较小时，或者各个移动矢量Vi的大小小于规定值时等，也可以利用将数式(6)进行了近似而得到的数式(10)来运算旋转角φ。由此，图像处理部3可以快速进行求出旋转矩阵R(φ)的运算处理。
算式12φ=Σi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}···(10)]]>利用这样求出的旋转矩阵R(φ)和移位矢量S，图像处理部3对对象图像G1进行下述数式(11)所示的仿射变换，以校正图像的模糊。
X’＝R(φ)·X+{Xc-Vc-R(φ)·Xc} ……(11)在该仿射变换中，图像处理部3将对象图像G1以坐标原点01为中心向逆时针方向恰好旋转旋转角φ，根据移位矢量S＝Xc-Vc-R(φ)·Xc，使旋转后的对象图像G1移位。
另外，数式(11)可以变形为下述的数式(12)。
X’＝(R(φ)·(X-Xc)+Xc)-Vc……(12)即，数式(11)所示的仿射变换可以置换为如数式(12)所示，将对象图像G1以位置重心矢量Xc所表示的各个位置矢量Xi的加权重心为中心向逆时针方向恰好旋转旋转角φ，根据矢量(-Vc)使旋转后的对象图像G1移位的变换。该情况下，与数式(11)所示的仿射变换的运算相比，可以简化图像处理部3进行的运算，能够减轻图像处理部3的处理负荷，提高处理速度。
此处，参照图4说明图像处理部3进行的图像模糊校正处理步骤。图4是表示图像处理控制部3a所控制的图像模糊校正处理步骤的流程图。另外，图4所示流程图示例了针对一个对象图像的模糊校正处理步骤，例如在校正动态图像的模糊时，只要连续地重复该处理步骤即可。
如图4所示，在图像处理控制部3a的控制下，图像选择部3b从由摄像部2获取的图像信息中，选择模糊校正的对象图像Gt和基准图像Go(步骤S101)。像素区域分割部3c把所选择的对象图像Gt分割为多个像素区域As(s＝1、2、…、h，h为分割数)(步骤S103)，像素块提取部3d把已分割的各个像素区域As再分割为多个像素块(步骤S105)，并且进行从所分割的所有像素块中提取至少二个像素块作为对象像素块Bi的块提取处理(步骤S107)。并且，移动矢量运算部3e通过块匹配处理，运算各个对象像素块Bi的移动矢量Vi(步骤S109)。权重设定部3f以所运算的各个移动矢量Vi相对于图像模糊的置信度为基础，进行设定各个对象像素块Bi的加权系数wi的权重设定处理(步骤S111)。然后，变换系数运算部3g运算用于校正对象图像Gt的仿射变换的变换系数(步骤S113)，图像校正运算部3h以所运算的变换系数为基础，对对象图像Gt进行仿射变换，以校正相对于基准图像Go的模糊(步骤S115)，结束一系列的模糊校正处理。
在步骤S103，像素区域分割部3c例如按图5所示，作为像素区域As，把对象图像Gt分割为位于对象图像Gt的中央部的内侧区域IA、和位于对象图像Gt内的周边部的外侧区域OA这二个像素区域。图5具体表示分辨率为VGA(Video Graphics Array，视频图形阵列)，对于640×480像素的对象图像Gt，设内侧区域IA为480×320像素的情况下的示例。另外，像素区域分割部3c也可以把对象图像Gt分割为更多的区域，例如，可以按照16×16像素的每个像素区域来分割对象图像Gt的所有区域，该情况下，对象图像Gt被分割为40×30个像素区域。并且，对象图像Gt的分辨率不限于VGA，也可以是XGA(Extended GraphicsArray，扩展图形阵列)等任意分辨率。
在步骤S105，像素块提取部3d按照每个8×8像素的像素块对对象图像Gt内进行分割。该情况下，对象图像Gt整体被分割为80×60个像素块，其中内侧区域IA被分割为60×40个像素块。此处，8×8像素的像素块的尺寸和形状与成为帧间预测处理的处理对象的像素块的尺寸和形状相等，该帧间预测处理一般是在动态图像的压缩编码处理中进行。这样，在不同处理中，通过实现要分割的像素块的共同化，例如可以把在帧间预测处理中所运算的各个像素块的移动矢量用于该实施方式1的模糊校正处理，能够促进整个处理的简化和处理速度的快速化。另外，像素区域分割部3c考虑像素块提取部3d所分割的8×8像素的像素块的大小，把图像分割为纵横尺寸为该像素块的整数倍的大小的像素区域As。
在步骤S107，像素块提取部3d例如按图5所示，从各个像素区域IA、OA提取多个对象像素块Bi。并且，在步骤S111，权重设定部3f根据包含有对象像素块Bi的像素区域As，对各个对象像素块Bi设定加权系数wi。此时，权重设定部3f把针对位于对象图像Gt内的周边部的对象像素块Bi的加权系数wi，设定得比位于接近对象图像Gt的中央部的对象像素块Bi大。即，对于图5所示的多个对象像素块Bi，权重设定部3f把位于外侧区域OA内的对象像素块Bi的加权系数wi设定得比位于内侧区域IA内的对象像素块Bi的加权系数wi大。
通常，对于伴随着旋转的图像模糊，由于在对象图像Gt内的周边部产生较大的模糊，所以位于外侧区域OA内的对象像素块Bi的移动矢量Vi成为较大的矢量，能够高精度地运算。另一方面，对象图像Gt的中央部的由旋转造成的模糊较小，位于内侧区域IA内的对象像素块Bi的移动矢量Vi变小。并且，一般被摄体像集中在对象图像Gt的中央部的情况较多，由于与图像模糊不同的被摄体的移动使得移动矢量Vi容易变化，因此位于内侧区域IA内的对象像素块Bi的移动矢量Vi的运算精度变低。因此，判断为移动矢量Vi相对于对象图像Gt的模糊的置信度在外侧区域OA较高，在内侧区域IA较低，结果，位于外侧区域OA内的对象像素块Bi的加权系数wi被设定得比位于内侧区域IA内的对象像素块Bi的加权系数wi大。
这样，权重设定部3f根据像素区域As设定各个对象像素块Bi的加权系数wi，从而在该实施方式1涉及的摄像装置1中，可以减轻被摄体的与图像模糊无关的移动的影响，能够高精度地运算仿射变换的变换系数即旋转矩阵R(φ)和移位矢量S，能够正确地校正图像的模糊。另外，权重设定部3f对于位于相同像素区域As内的多个对象像素块Bi，还可以根据各个对象像素块Bi的位置判断相对于图像模糊的置信度，设定各个加权系数wi。由此，变换系数运算部3g可以更加严密地运算旋转矩阵R(φ)和移位矢量S。
另外，像素块提取部3d所分割的像素块不限于8×8像素的像素块，也可以是16×16像素等任意尺寸的像素块。并且，像素块提取部3d所提取的对象像素块Bi只要不从各个像素区域As超出即可，并且可以是像素区域As之一。另外，对象像素块Bi也可以具有各不相同的尺寸和形状。像素块提取部3d不一定从所有的像素区域As提取对象像素块Bi，例如也可以只从一个像素区域As提取。
此处，图6表示像素块提取部3d所提取的对象像素块Bi的另一例。如图6所示，作为对象像素块Bi，像素块提取部3d从内侧区域IA提取较大的对象像素块IB1～IB4，从外侧区域OA提取较小的对象像素块OB1～OB8。其理由与权重设定部3f把位于外侧区域OA内的对象像素块Bi的加权系数wi设定得比位于内侧区域IA内的对象像素块Bi的加权系数wi大相同。即，由于对象像素块OB1～OB8的移动矢量为较大的矢量，所以即使减小对象像素块OB1～OB8的尺寸，也能够高精度地运算移动矢量，通过减小该尺寸，可以减轻运算的处理负荷，提高处理速度。另一方面，由于对象像素块IB1～IB4的移动矢量的运算精度较低，所以增大要提取的对象像素块IB1～IB4的尺寸，以便能够运算利用较大的区域进行了平均化的移动矢量。
另外，提取对象像素块IB1～IB4和OB1～OB8使得它们相对于通过对象图像Gt的中心点O2的纵横中心线，在各个像素区域IA、OA内位于相互对称的位置。这样，通过对称地提取对象像素块，例如在权重设定部3f对处于相同像素区域As内的对象像素块Bi均等地设定加权系数wi的情况下，能够使利用位置重心矢量Xc所表示的各个位置矢量Xi的加权重心与中心点O2一致。该情况下，通过把相对于对象图像Gt的坐标原点设定为中心点O2，可以使位置重心矢量Xc成为零矢量，可以如下述数式(13)所示来简化数式(12)表示的仿射变换的运算。由此，可以进一步减轻图像处理部13的处理负荷，进一步提高处理速度。
X’＝R(φ)·X-Vc……(13)并且，如图6所示，内侧区域IA、外侧区域OA、对象像素块IB1～IB4和对象像素块OB1～OB8均为矩形区域，但可以是任意形状。另外，图像区域As和对象像素块Bi可以是预先设定的规定区域，也可以根据对象图像Gt任意提取，或者也可以根据对象图像Gt的各种特性值而提取。
此处，说明像素块提取部3d根据对象图像Gt的特性值来提取对象像素块Bi的处理的一例。图7是表示将图4所示的步骤S107的块提取处理子程序化了的处理步骤的流程图。如图7所示，在该块提取处理中，像素块提取部3d在图像处理控制部3a的控制下，对通过步骤S105而分割的各个像素块进行DCT(Discrete Cosine Transform离散余弦变换)处理(步骤S201)。并且，以该DCT处理结果为基础，从通过步骤S103而分割的各个像素区域As中，把在像素块内的图像中高频成分的占有比率高的多个像素块作为对象像素块Bi而提取出来(步骤S203)，并返回步骤S107。在步骤S203中，像素块提取部3d把DCT处理结果即DCT系数作为Duv(u，v＝0、1、…、7)，使用通过下述数式(14)而确定的评价值Cr(r＝1、2、…、h)，判断为评价值Cr越大则在像素块内的图像中高频成分的占有比率越高。
算式13Cr=Σ0≤u,v≤7u+v≥10|Duv|·1Dyn···(14)]]>其中，把动态范围设为Dyn。例如利用8位的级别来表示则该动态范围Dyn为Dyn＝28＝256。
这样，通过提取在图像中高频成分的占有比率高的对象像素块Bi，可以提取在块匹配处理中的处理灵敏度高的对象像素块Bi，能够高精度地运算所提取的各个对象像素块Bi的移动矢量Vi，所以能够高精度地运算旋转矩阵R(φ)和移位矢量S。另外，步骤S201的DCT处理不一定要对所分割的所有像素块都进行，例如也可以在提取了8块在各个像素区域As内评价值Cr大于等于规定值的像素块的时间点结束处理。并且，在这种情况下，为了均一地从对象图像Gt提取对象像素块Bi，例如如图8所示，可以把对象图像Gt内分割为中央部和4个角部这5个像素区域A1～A5。另外，图8所示的表示各个像素区域A1～A5的尺寸的数值，是对于把分辨率设为VGA的对象图像Gt来设定像素区域A1～A5的一例，各个像素区域A1～A5的大小不限于此。
接着，说明步骤S111所示的权重设定处理的变形例。在上述的权重设定处理中，根据包含有各个对象像素块Bi的像素区域As，设定各个对象像素块Bi的加权系数wi，但也可以根据各个对象像素块Bi的移动矢量Vi的大小来设定加权系数wi。该情况下，权重设定部3f例如可以根据wi＝Vi·Vi＝|Vi|2来求出各个对象像素块Bi的加权系数wi。这种权重设定处理是移动矢量Vi越大则判断为移动矢量Vi相对于图像模糊的置信度越高的处理，例如在校正拍摄了树叶的晃动等细微移动较多的被摄体的对象图像Gt的模糊时比较有效。该情况下，可以与被摄体的移动相同程度地减小移动矢量Vi较小的对象像素块Bi的加权系数wi，能够降低由被摄体的移动引起的运算误差。
另外，可以对应于包含有各个对象像素块Bi的像素区域As、和各个对象像素块Bi的移动矢量Vi的大小这两方，例如根据下述数式(15)，设定加权系数wi。
wi＝warea+(Vi·Vi)/k2……(15)其中，把对应于像素区域As的加权系数设为warea，把用于将移动矢量Vi的大小标准化(normalized)的系数设为k。系数k是以像素数为单位来假设移动矢量Vi的大小的最大值的数值。例如，在摄影移动剧烈的体育运动等时，移动矢量Vi的大小变大的可能性较高，所以把系数k的值设定得较大，在摄影风景等时，移动矢量Vi的大小变大的可能性较低，所以把系数k的值设定得较小，可以根据被摄体适当变更。
另外，作为步骤S111所示的权重设定处理的另一变形例，可以以对象像素块Bi的移动矢量Vi和与对象像素块Bi相邻的各个相邻像素块Bij(j＝1、2、…、m)的移动矢量Vij(j＝1、2、…、m)为基础，运算表示移动矢量Vij相对于移动矢量Vi的偏差程度的发散度di，根据该发散度di设定加权系数wi。此处，发散度di是根据下述数式(16)所运算的特性值。
算式14di=Σj=1m(Vi#··Vij)2···(16)]]>其中，#表示逆时针方向的90度的旋转变换。并且，把相邻像素块Bij的个数设为m。根据该数式(16)运算的发散度di，在各个移动矢量Vij相对于移动矢量Vi的方向偏差较大时指示较大的值，相反，在移动矢量Vi与各个移动矢量Vij的方向一致时指示较小的值。特别是在移动矢量Vi与各个移动矢量Vij的方向全部相等时，发散度di的值为零。
在根据该发散度di设定加权系数wi的权重设定处理中，权重设定部3f在发散度di越小时把加权系数wi设定得越大。即，在对象像素块Bi和其周围附近的区域的移动方向的统一性越高、发散度di越小时，权重设定部3f判断为移动矢量Vi相对于图像模糊的置信度越高。如果采用这种权重设定处理，则可以减轻由被摄体的移动和图像信号的噪声等引起的局部的移动矢量Vi的运算误差的影响，可以高精度地运算旋转矩阵R(φ)和移位矢量S，能够正确校正图像的模糊。
此处，说明根据发散度di设定加权系数wi的权重设定处理的处理步骤的一例。图9是表示将图4所示的步骤S111的权重设定处理子程序化后的处理步骤的流程图。如图9所示，在图像处理控制部3a的控制下，权重设定部3f选择要设定加权系数wi的对象像素块Bi(步骤S301)。并且，提取与所选择的对象像素块Bi相邻的相邻像素块Bij(步骤S303)。权重设定部3f获取在步骤S109所运算的对象像素块Bi的移动矢量Vi(步骤S305)，运算各个相邻像素块Bij的移动矢量Vij(步骤S307)，根据数式(16)运算相邻像素块Bij相对于对象像素块Bi的发散度di(步骤S309)。然后，权重设定部3f根据对象像素块Bi的位置设定发散度di的阈值dmax(步骤S311)，比较发散度di和阈值dmax的大小(步骤S313)，在发散度di小于阈值dmax时(步骤S313为“是”)，设定与对象像素块Bi的位置对应的加权系数warea(步骤S315)，根据数式(15)运算对象像素块Bi的加权系数wi(步骤S317)，并返回步骤S111。另一方面，在发散度di不小于阈值dmax时(步骤S313为“否”)，权重设定部3f设定与对象像素块Bi的位置对应的加权系数warea(步骤S319)，根据wi＝warea/2运算对象像素块Bi的加权系数wi(步骤S321)，并返回步骤S111。
在步骤S303中，权重设定部3f例如如图10所示，提取相邻像素块Bij。即，对于作为对象像素块Bi的对象像素块B4、B5、B6，在与对象图像Gt的外周边缘不相邻的对象像素块B4中，提取与对象像素块B4相同大小的周围8个相邻像素块B41～B48，在与对象图像Gt的边缘相邻的对象像素块B5中，提取周围5个相邻像素块B51～B55，在位于对象图像Gt的角部的对象像素块B6中，提取周围3个相邻像素块B61～B63。另外，权重设定部3f也可以不提取相邻像素块Bij，而提取虽然与对象像素块Bi不相邻但位于周围附近的像素块作为附近像素块。并且，图像处理控制部3a也可以使像素块提取部3d提取相邻像素块Bij，权重设定部3f获取其提取结果。
在步骤S311中，权重设定部3f根据在步骤S303提取的相邻像素块Bij的个数m而设定阈值dmax，例如根据dmax＝m·322设定阈值dmax。具体讲，对于图10所示的对象像素块B4、B5、B6，分别把阈值dmax设定为dmax＝8·322、5·322、3·322。另外，阈值dmax的设定方法不限于此，也可以根据与相邻像素块Bij的个数m对应的其它条件式来设定，还可以不使用个数m等相邻像素块Bij的信息来进行设定。并且，也可以根据对象图像的摄像条件等，适当变更阈值dmax的设定条件。
另外，在步骤S313中，权重设定部3f还可以根据发散度di和阈值dmax的关系，判断更多的分支条件。并且，在步骤S317、S321中使用的加权系数wi的运算算式不限于上述的运算算式，也可以使用其它运算算式。另外，在步骤S307中，图像处理控制部3a也可以使移动矢量运算部3e运算移动矢量Vij，权重设定部3f获取其运算结果。
并且，作为步骤S111所示的权重设定处理的其它变形例，也可以根据对象像素块Bi的图像对比度Coni设定加权系数wi。此处，可以利用各种方法来运算、评价图像对比度Coni，例如，权重设定部3f也可以根据下述数式(17)运算并评价图像对比度Coni。
算式15Coni=164·Σp=18Σq=17(|fq+1,p-fq,p|+|fp,q+1-fp,q|)···(17)]]>此处，对象像素块Bi是8×8像素的像素块，把该对象像素块的各个像素数据设为fpq(p、q＝1、2、…、8)。
并且，权重设定部3f也可以利用数式(14)所示的评价值Cr设成Coni＝Cr，来评价图像对比度Coni。该情况下，可以把在MPEG4动态图像压缩等一般的动态图像压缩编码处理中进行的DCT处理的结果共用作为DCT系数Duv，可以促进整体处理的简易化和快速化。另外，像评价值Cr那样，把利用DCT系数Duv的高频成分所表示的评价值兼用作图像对比度的评价值的技术，例如在专利文献2中被公开。
另外，权重设定部3f也可以利用由现有的摄像装置具有的自动聚焦机构所处理的图像对比度，来评价对象图像Bi的图像对比度Coni。该情况下，也可以在不同的处理之间共用评价值，可以促进整体处理的简易化和快速化。
这样在根据图像对比度Coni设定加权系数wi的权重设定处理中，权重设定部3f在对象像素块Bi的图像对比度Coni越大时，把加权系数wi设定得越大。即，权重设定部3f在图像对比度Coni越大时判断为移动矢量Vi相对于图像模糊的置信度越高。如果使用这种权重设定处理，则可以针对块匹配处理中的处理灵敏度越高的对象像素块Bi，把加权系数wi设定得越大，能够高精度地运算旋转矩阵R(φ)和移位矢量S，能够正确校正图像的模糊。
此处，说明根据图像对比度Coni设定加权系数wi的权重设定处理的处理步骤的一例。图11是表示将图4所示的步骤S111的权重设定处理子程序化后的处理步骤的流程图。如图11所示，在图像处理控制部3a的控制下，权重设定部3f选择要设定加权系数wi的对象像素块Bi(步骤S401)，运算所选择的对象像素块Bi的图像对比度Coni(步骤S403)，根据wi＝g·Coni运算加权系数wi(步骤S405)，并返回步骤S111。此处，可以把系数g设定为约为g＝1/4的大于零的实数值。但是，不限于此，例如也可以以对象像素块Bi的诸特性值为基础来设定系数g，也可以把系数g设定为函数值。
并且，作为在步骤S111所示的权重设定处理的其它变形例，也可以根据各个对象像素块Bi相对于旋转矩阵R(φ)和移位矢量S的运算精度的重要度，判断移动矢量Vi相对于图像模糊的置信度，以该置信度为基础来设定加权系数wi。此处，当在运算中使用的各个移动矢量Vi的置信度相等时，则对应的各个对象像素块Bi的相互间隔越大，旋转矩阵R(φ)和移位矢量S的运算精度越高。为此，越是相互间隔大的对象像素块Bi，对于运算精度的重要度越高，相反，越是其重要度高的对象像素块Bi，把加权系数wi设定得越大，由此能够高精度地运算旋转矩阵R(φ)和移位矢量S，能够正确校正图像的模糊。
另外，在步骤S111所示的权重设定处理中，不限于此处示出的设定处理方法，也可以使用各种处理方法。并且，还可以组合各种设定处理方法，判断各个移动矢量Vi的置信度，设定加权系数wi。
在以上说明的该实施方式1涉及的摄像装置1中，从多个图像中选择对象图像，把所选择的对象图像分割为像素区域，从所分割的像素区域提取多个对象像素块，以所提取的对象像素块的各种特性值为基础，判断移动矢量相对于图像模糊的置信度，以该置信度为基础，设定各个像素块的加权系数，进行与置信度对应的移动矢量的运算处理，所以总是能够高精度地运算与对象图像的模糊对应的仿射变换的变换系数，能够以所运算的变换系数为基础，对对象图像进行仿射变换，正确校正对象图像的模糊。并且，因为以对象像素块的位置、移动矢量的大小、图像的高频成分的比率、图像对比度、表示与附近像素块的关联性的移动矢量的发散度等对象像素块的各种特性值为基础，进行对象像素块的提取和移动矢量的置信度的判定，所以能够依照被摄体或被摄体像的各种变动和状态，总是高精度地可靠地检测图像的模糊并校正。
(实施方式2)下面，说明本发明的实施方式2。在上述的实施方式1中，从将对象图像进行分割得到的各个像素区域As提取多个对象像素块Bi，高精度地运算与图像的模糊对应的仿射变换的变换系数，但在该实施方式2中，从对象图像的4个角部区域提取二个对象像素块Bi，能够简单且快速地运算仿射变换的变换系数。
图12是表示从对象图像的角部区域提取了二个对象像素块的状态的一例的示意图。如图12所示，在该实施方式2中，从对象图像Gt的4个角部区域中的在图上为右下和左上的角部区域，分别提取作为对象像素块Bi的对象像素块BS1、BS2。并且，把所提取的对象像素块BS1的中心点Os设定为相对于该对象图像Gt的坐标原点，把表示对象像素块BS2的位置矢量设为XS2，把对象像素块BS1、BS2的各自的移动矢量设为VS1、VS2。另外，表示对象像素块BS1的位置矢量为零矢量。
当把对象像素块BS1、BS2的加权系数分别设为wS1、wS2时，加权系数的总和w为w＝wS1+wS2，位置重心矢量Xc根据数式(7)为Xc＝wS2·XS2/w，移动重心矢量Vc根据数式(8)为Vc＝(VS1+wS2·VS2)/w。在权重设定处理中，权重设定部3f把各个加权系数wS1、wS2的大小设为wS11、wS2《1，分别无限接近“1”和“0”。该情况下，加权系数的总和w近似为w1，位置重心矢量Xc近似为零矢量，移动重心矢量Vc近似为VcVS1。由此，旋转矩阵R(φ)的旋转角φ和移位矢量S分别利用使用了数式(5)和数式(6)的下述数式(18)和数式(19)来表示。
S＝VS1……(18)算式16φ=arctan-XS2·(-VS1+VS2)#XS2·{XS2-(-VS1+VS2)}···(19)]]>这样，在该实施方式2中，从对象图像Gt的4个角部区域中的处于对角关系的二个角部区域提取对象像素块BS1、BS2。并且，把其中一个对象像素块BS1的中心位置设定为坐标原点，使对象像素块BS1、BS2的加权系数wS1、wS2无限接近“1”和“0”。这样，与实施方式1相比，能够进行使用简单的运算算式的旋转矩阵R(φ)和移位矢量S的运算处理，结果，能够更快速地进行运算处理。这种快速的模糊校正处理，例如在利用图2所示的显示监视器5a观察摄像中的动态图像的情况下等，对于需要实时地连续校正模糊的情况非常有效。
另外，在该实施方式2的权重设定处理中，权重设定部3f重视设定成坐标原点的对象像素块BS1，把其相对于运算处理的重要度设定得较高，依照该重要度把移动矢量VS1的置信度判断为较高，作为其结果，使各个加权系数wS1、wS2无限接近“1”和“0”。
并且，图12所示的对象像素块BS1、BS2被从在对象图像Gt内处于对角位置的右下和左上的角部区域提取，但对象像素块Bi的提取方法不限于此，也可以从对象图像Gt内的4个角部区域中的任意的二个角部区域各提取一个对象像素块Bi。即，所提取的二个对象像素块Bi不一定是对角位置，也可以是在对象图像Gt内在横向方向或纵向方向并列的位置关系。
另外，在上述的实施方式1和2中，进行了利用摄像装置1所摄像的图像的模糊校正，但也可以进行从外部输入的图像或存储在存储部8中的图像的模糊校正。并且，也可以把本发明的模糊校正方法应用于与摄像装置1不同的计算机等图像处理装置，进行从外部输入该图像处理装置的图像的模糊校正。该情况下，例如对于利用摄像装置1所摄像的图像，也可以在输出给显示监视器5a的情况下应用模糊校正处理，在通过便携式存储介质9或通信部7输出到外部的情况下不应用模糊校正处理，而在作为图像被输出至的外部装置的图像处理装置上进行模糊校正处理。该情况下，可以减轻图像处理部3的处理负荷，使处理快速化。
并且，上述的实施方式1和2的各种模糊校正处理也可以以从输入部4等输入的模糊校正处理的模式选择信息为基础，随时进行选择切换。
权利要求
1.一种模糊校正方法，包括图像选择步骤，从由摄像装置摄像的多个图像中，选择成为对图像模糊进行校正的对象的对象图像和成为该校正的基准的基准图像；块提取步骤，从所述对象图像提取至少二个对象像素块；矢量运算步骤，运算移动矢量，所述移动矢量表示与通过所述块提取步骤提取的对象像素块的位置对应的所述基准图像上的位置和该各个对象像素块的位置之间的移动量，根据通过所述矢量运算步骤运算的移动矢量来校正所述对象图像的模糊，其特征在于，所述模糊校正方法包括权重设定步骤，以通过所述矢量运算步骤运算的移动矢量相对于所述图像模糊的置信度为基础，设定所述各个对象像素块的加权系数；系数运算步骤，以把规定的坐标原点作为基准的所述各个对象像素块的位置矢量、所述各个移动矢量、以及通过所述权重设定步骤设定的各个加权系数为基础，运算用于对所述对象图像进行仿射变换的变换系数；以及校正运算步骤，以所述系数运算步骤的运算结果为基础，对所述对象图像进行仿射变换，以校正该对象图像的模糊。
2.根据权利要求1所述的模糊校正方法，其特征在于，所述权重设定步骤以与所述对象图像内的所述对象像素块的位置对应的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
3.根据权利要求1所述的模糊校正方法，其特征在于，把所述对象图像分割为多个像素区域，或者所述对象图像是预先被分割为多个像素区域的图像，所述块提取步骤从进行了分割而得到的所述多个像素区域提取至少二个所述对象像素块。
4.根据权利要求3所述的模糊校正方法，其特征在于，所述权重设定步骤以与所述对象图像内的所述对象像素块的位置对应的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
5.根据权利要求4所述的模糊校正方法，其特征在于，所述权重设定步骤把针对位于所述对象图像内的周边部的所述对象像素块的所述加权系数设定得比针对位于所述对象图像的大致中央部的所述对象像素块的所述加权系数大。
6.根据权利要求1所述的模糊校正方法，其特征在于，所述权重设定步骤以基于所述移动矢量的方向和大小中的至少一方的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
7.根据权利要求1所述的模糊校正方法，其特征在于，所述权重设定步骤运算所述对象像素块内的图像的对比度，以基于该对比度的运算结果的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
8.根据权利要求1所述的模糊校正方法，其特征在于，所述权重设定步骤运算位于所述对象像素块的附近的附近像素块的移动矢量，以基于发散度的所述置信度为基础来设定针对所述对象像素块的所述加权系数，所述发散度表示所述附近像素块的移动矢量相对于所述对象像素块的移动矢量的偏差程度。
9.根据权利要求2所述的模糊校正方法，其特征在于，所述权重设定步骤根据第1加权系数和发散度来设定针对所述对象像素块的所述加权系数，所述第1加权系数与所述对象图像内的所述对象像素块的位置相对应，所述发散度表示位于所述对象像素块的附近的附近像素块的移动矢量相对于所述对象像素块的移动矢量的偏差程度。
10.根据权利要求1所述的模糊校正方法，其特征在于，所述系数运算步骤在把与所述各个对象像素块对应的所述各个位置矢量、所述各个移动矢量、和所述各个加权系数分别设为Xi(i＝1、2、…、n)、Vi(i＝1、2、…、n)和wi(i＝1、2、…、n)，把该各个加权系数的总和设为w的情况下，根据Xc＝(w1·X1+w2·X2+…+wn·Xn)/w来运算表示所述各个位置矢量的加权重心的位置重心矢量Xc，根据Vc＝(w1·V1+w2·V2+…+wn·Vn)/w来运算表示所述各个移动矢量的加权重心的移动重心矢量Vc，根据算式1来运算与所述变换系数的线性变换成分对应的旋转矩阵的旋转角φ，算式1φ=arctanΣi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}]]>其中，#表示逆时针方向的90度的旋转变换。
11.根据权利要求10所述的模糊校正方法，其特征在于，所述系数运算步骤根据S＝Xc-Vc来运算与所述变换系数的移位成分对应的移位矢量S，所述校正运算步骤根据所述旋转矩阵将所述对象图像以所述位置矢量的加权重心为中心向逆时针方向恰好旋转所述旋转角，然后根据所述移位矢量使该对象图像移位。
12.根据权利要求10所述的模糊校正方法，其特征在于，所述块提取步骤和所述权重设定步骤分别提取所述对象像素块，和设定所述加权系数，以使得所述位置重心矢量成为零矢量。
13.根据权利要求11所述的模糊校正方法，其特征在于，所述块提取步骤和所述权重设定步骤分别提取所述对象像素块，和设定所述加权系数，以使得所述位置重心矢量成为零矢量。
14.根据权利要求10所述的模糊校正方法，其特征在于，所述系数运算步骤把向逆时针方向恰好进行所述旋转角φ的旋转变换的所述旋转矩阵设为R(φ)，根据S＝R(-φ)·(Xc-Vc)-Xc来运算与所述变换系数的移位成分对应的移位矢量S，所述校正运算步骤根据所述移位矢量使所述对象图像移位后，根据所述旋转矩阵将该对象图像以所述坐标原点为中心向逆时针方向恰好旋转所述旋转角。
15.根据权利要求10所述的模糊校正方法，其特征在于，所述系数运算步骤在所述各个移动矢量的大小小于规定值的情况下，根据将算式1进行了近似而得到的算式2来运算所述旋转角φ，算式2φ=Σi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}.]]>
16.根据权利要求10所述的模糊校正方法，其特征在于，所述块提取步骤从位于所述对象图像的各个角部的角部区域中的、不同的二个该角部区域分别提取所述对象像素块，所述系数运算步骤把从所述二个角部区域提取的对象像素块中的其中一个对象像素块的位置作为所述坐标原点，把与位于该坐标原点的所述对象像素块对应的所述位置矢量、所述移动矢量、和所述加权系数分别设为X1、V1和w1，通过所述权重设定步骤，在针对位于所述坐标原点的对象像素块的所述加权系数和针对另一个对象像素块的所述加权系数分别无限接近1和0的情况下，根据将算式1进行了近似而得到的算式3来运算所述旋转角φ，算式3φ=arctan-X2·(-V1+V2)#X2·{X2-(-V1+V2)}.]]>
17.根据权利要求1所述的模糊校正方法，其特征在于，所述多个图像是动态图像，所述各个对象像素块是成为在所述动态图像的压缩编码处理中进行的帧间预测处理的处理对象的块，所述各个移动矢量在所述帧间预测处理中被运算。
18.根据权利要求10所述的模糊校正方法，其特征在于，所述多个图像是动态图像，所述各个对象像素块是成为在所述动态图像的压缩编码处理中进行的帧间预测处理的处理对象的块，所述各个移动矢量在所述帧间预测处理中被运算。
19.一种摄像装置，包括将来自被摄体的光聚集并成像被摄体像的摄像光学系统；摄像与所述被摄体像对应的图像的摄像单元；图像选择单元，其从由所述摄像单元所摄像的多个图像中，选择成为校正图像模糊的对象的对象图像和成为该校正的基准的基准图像；块提取单元，其从所述对象图像提取至少二个对象像素块；矢量运算单元，其运算移动矢量，该移动矢量表示与通过所述块提取单元提取的对象像素块的位置对应的所述基准图像上的位置和该对象像素块的位置之间的移动量，根据通过所述矢量运算单元运算的移动矢量来校正所述对象图像的模糊，其特征在于，所述摄像装置包括权重设定单元，其以通过所述矢量运算单元运算的各个移动矢量相对于所述图像模糊的置信度为基础，设定所述各个对象像素块的加权系数；系数运算单元，其根据以规定的坐标原点为基准的所述各个对象像素块的位置矢量、所述各个移动矢量、和通过所述权重设定单元所设定的各个加权系数，运算对所述对象图像进行仿射变换用的变换系数；以及校正运算单元，其以所述系数运算单元的运算结果为基础，对所述对象图像进行仿射变换，以校正该对象图像的模糊。
20.根据权利要求19所述的摄像装置，其特征在于，所述权重设定单元以与所述对象图像内的所述对象像素块的位置对应的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
21.根据权利要求19所述的摄像装置，其特征在于，把所述对象图像分割为多个像素区域，或者所述对象图像是预先被分割为多个像素区域的图像，所述块提取单元从被分割的所述多个像素区域提取至少二个所述对象像素块。
22.根据权利要求21所述的摄像装置，其特征在于，所述权重设定单元以与所述对象图像内的所述对象像素块的位置对应的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
23.根据权利要求19所述的摄像装置，其特征在于，所述权重设定单元以基于所述移动矢量的方向和大小中的至少一方的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
24.根据权利要求19所述的摄像装置，其特征在于，所述权重设定单元以基于所述对象像素块内的图像的对比度的所述置信度为基础，设定针对所述对象像素块的所述加权系数。
25.根据权利要求19所述的摄像装置，其特征在于，所述权重设定单元运算位于所述对象像素块的附近的附近像素块的移动矢量，以基于发散度的所述置信度为基础来设定针对所述对象像素块的所述加权系数，所述发散度表示位于所述对象像素块的附近的附近像素块的所述移动矢量相对于所述对象像素块的移动矢量的偏差程度。
26.根据权利要求20所述的摄像装置，其特征在于，所述权重设定单元根据第1加权系数和发散度来设定针对所述对象像素块的所述加权系数，所述第1加权系数与所述对象图像内的所述对象像素块的位置对应，所述发散度表示位于所述对象像素块的附近的附近像素块的移动矢量相对于所述对象像素块的移动矢量的偏差程度。
27.根据权利要求19所述的摄像装置，其特征在于，所述系数运算单元在把与所述各个对象像素块对应的所述各个位置矢量、所述各个移动矢量、和所述各个加权系数分别设为Xi(i＝1、2、…、n)、Vi(i＝1、2、…、n)和wi(i＝1、2、…、n)，把该各个加权系数的总和设为w的情况下，根据Xc＝(w1·X1+w2·X2+…+wn·Xn)/w来运算表示所述各个位置矢量的加权重心的位置重心矢量Xc，根据Vc＝(w1·V1+w2·V2+…+wn·Vn)/w来运算表示所述各个移动矢量的加权重心的移动重心矢量Vc，根据算式4来运算与所述变换系数的线性变换成分对应的旋转矩阵的旋转角φ，算式4φ=arctanΣi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}]]>其中，#表示逆时针方向的90度的旋转变换。
28.根据权利要求27所述的摄像装置，其特征在于，所述系数运算单元根据S＝Xc-Vc来运算与所述变换系数的移位成分对应的移位矢量S，所述校正运算单元根据所述旋转矩阵将所述对象图像以所述位置矢量的加权重心为中心向逆时针方向恰好旋转所述旋转角，然后根据所述移位矢量使该对象图像移位。
29.根据权利要求27所述的摄像装置，其特征在于，所述块提取单元和所述权重设定单元分别提取所述对象像素块，和设定所述加权系数，以使得所述位置重心矢量成为零矢量。
30.根据权利要求27所述的摄像装置，其特征在于，所述系数运算单元在所述各个移动矢量的大小小于规定值的情况下，根据将算式4进行了近似而得到的算式5来运算所述旋转角φ，算式5φ=Σi=1nwi(Xi-Xc)·(-Vi+Vc)#Σi=1nwi(Xi-Xc)·{(Xi-Xc)+(-Vi+Vc)}.]]>
31.根据权利要求27所述的摄像装置，其特征在于，所述块提取单元从位于所述对象图像的各个角部的角部区域中的不同的二个该角部区域分别提取所述对象像素块，所述系数运算单元把从所述二个角部区域提取的对象像素块中的其中一个对象像素块的位置作为所述坐标原点，把与位于该坐标原点的所述对象像素块对应的所述位置矢量、所述移动矢量、和所述加权系数分别设为X1、V1和w1，通过所述权重设定单元，在针对设为所述坐标原点的对象像素块的所述加权系数和针对另一个对象像素块的所述加权系数分别无限接近1和0的情况下，根据将算式4进行了近似而得到的算式6来运算所述旋转角φ，算式6φ=arctan-X2·(-V1+V2)#X2·{X2-(-V1+V2)}.]]>
32.根据权利要求1所述的模糊校正方法，其特征在于，所述块提取步骤从位于所述对象图像的各个角部的角部区域中的不同的二个该角部区域分别提取所述对象像素块，所述系数运算步骤在把从所述二个角部区域提取的对象像素块中的其中一个对象像素块的位置作为旋转的原点，把对应的所述移动矢量设为V1，把与另一个像素块对应的所述位置矢量和所述移动矢量设为X2和V2的情况下，根据X2·(V1-V2)和X2·{X2-(V1-V2)}来运算与所述变换系数的线性变换成分对应的旋转矩阵的旋转角。
全文摘要
一种模糊校正方法及摄像装置。根据相对于图像的模糊的置信度对移动矢量进行运算处理，可高精度地运算并校正图像的模糊。一种摄像装置(1)，具有处理图像信号的图像处理部(3)。图像处理部(3)具有图像选择部(3b)，选择成为校正图像模糊的对象的对象图像和成为该校正的基准的基准图像；像素区域分割部(3c)，把对象图像分割为多个像素区域；像素块提取部(3d)，从像素区域提取至少二个对象像素块；移动矢量运算部(3e)，运算提取的像素块的移动矢量；权重设定部(3f)，以移动矢量的置信度为基础设定各个对象像素块的加权系数；变换系数运算部(3g)，运算对应图像的模糊的仿射变换的变换系数；图像校正运算部(3h)，以该变换系数为基础，对对象图像进行仿射变换，校正模糊。
文档编号H04N5/232GK1804682SQ20061000111
公开日2006年7月19日 申请日期2006年1月13日 优先权日2005年1月13日
发明者坂田诚一郎, 堀江健一 申请人:奥林巴斯映像株式会社