图像处理装置及方法以及摄像装置的制作方法

专利名称：图像处理装置及方法以及摄像装置的制作方法
技术领域：
本发明涉及一种进行图像处理的图像处理装置以及图像处理方法还 有利用图像处理装置及图像处理方法的摄像装置。
10
背景技术：
作为对低分辨率图像进行高分辨率化的图像处理技术，提出了一种超 分辨处理。进行超分辨处理的装置，参照存在位置偏离的多个低分辨率图 像，基于多个低分辨率图像之间的位置偏离量与多个低分辨率图像的图像 数据，进行低分辨率图像的高分辨率化，从而生成一张高分辨率图像。该 15高分辨率化，是以从多个低分辨率图像中选择的基准图像为基准进行的， 位置偏离量计算等，是以基准图像为基准进行的。因此，所得到的高分辨 率图像的内容(包含画质或构图)，很大程度依赖于基准图像。另外，基 准图像，也称为基准帧、目标帧或对象图像等。
一般而言，基准图像成为通过连续摄影所得到的按时序排列的图像列 20 内最早生成的图像。
如上述，由于通过高分辨率化所得到的高分辨率图像的内容很大程度 依赖于基准图像，因此为了得到更优选的高分辨率图像，需要在基准图像 的选择方法上下功夫。
25

发明内容
本发明的图像处理装置，是一种根据多个低分辨率图像生成具有比上 述低分辨率图像的分辨率高的分辨率的高分辨率图像的图像处理装置，其 特征在于，具备基准图像设置部，其基于上述多个低分辨率图像的图像信 息从上述多个低分辨率图像中选择基准图像，将上述基准图像作为基准， 30通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理，从而
6生成上述高分辨率图像。
具体而言，例如，该图像处理装置，还具备模糊量推定部，其基于上 述图像信息推定各低分辨率图像中包含的模糊的大小，上述基准图像设置 部，基于上述模糊量推定部的推定结果选择上述基准图像。 5 进一步具体而言，例如，上述模糊量推定部，基于各低分辨率图像中
的高频成分的量，推定各低分辨率图像中所含的模糊的大小。
或者具体而言，例如，上述多个低分辨率图像，形成采用摄像装置通 过依次摄影所得到的按时序排列的低分辨率图像列，上述模糊量推定部， 基于上述低分辨率图像列中的在时间上邻接的低分辨率图像之间的位置 10偏离量，检测上述低分辨率图像列的摄影期间内上述摄像装置的抖动状 态，并根据上述抖动状态的检测结果推定上述多个低分辨率图像之间的上 述模糊的大小的大小关系。
然后，例如，上述基准图像设置部，将上述多个低分辨率图像内所推 定的模糊的大小为最小的低分辨率图像选择作为上述基准图像。 15 然后，例如，各低分辨率图像是通过摄像装置的摄影得到的，上述图
像信息，包含对在各低分辨率图像的曝光期间内的上述摄像装置的抖动状 态进行检测的传感器的检测数据，上述基准图像设置部，基于上述传感器 的检测数据选择上述基准图像。
然后，例如，上述基准图像设置部，将上述多个低分辨率图像中在曝 20光期间内上述摄像装置的抖动大小为最小的低分辨率图像选择作为上述 基准图像。
并且，例如，该图像处理装置，还具备被摄体大小检测部，其基于上 述图像信息，对各低分辨率图像中包含的特定被摄体在图像上的大小进行 检测，上述基准图像设置部，也可以基于所检测的上述特定被摄体的大小 25 选择上述基准图像。
或者，例如，该图像处理装置，还具备脸状态检测部，其基于上述图 像信息从各低分辨率图像中检测人物的脸，并且检测上述脸的状态，上述 基准图像设置部，基于上述脸状态检测部的检测结果选择上述基准图像。 另外，具体而言，例如上述基准图像设置部，将上述多个低分辨率图 30 像内除上述基准图像以外的低分辨率图像设置作为参照图像，该图像处理装置，进一步具备位置偏离检测部，其以比上述基准图像的像素间隔高 的辨析率求出上述基准图像与上述参照图像之间的位置偏离量；和高分辨 率图像生成部，其采用所求出的位置偏离量与上述多个低分辨率图像，通 过以上述基准图像为基准进行上述高分辨率化处理，从而生成上述高分辨 5 率图像。
本发明的第一摄像装置，其特征在于，包含摄像部，其通过依次摄 影得到按时序排列的多个低分辨率图像；和上述图像处理装置，其通过对 上述多个低分辨率图像的高分辨率化处理，从而生成高分辨率图像。
本发明的第二摄像装置，具备摄像部，其具有摄像元件以及用于将 10与被摄体相应的光学像成像在上述摄像元件上的光学系统，通过摄影得到 摄影图像；和焦点评价值导出部，其基于在上述摄影图像内设置的焦点评 价区域的影像信号，导出焦点评价值；该摄像装置基于上述焦点评价值对
上述光学系统迸行驱动控制以进行自动聚焦控制，其特征在于，进一步具 备图像处理装置，其将从上述摄像部所得到的多个摄影图像作为多个低分
15辨率图像来参照，根据上述多个低分辨率图像生成具有比上述低分辨率图
像的分辨率高的分辨率的高分辨率图像，上述图像处理装置，具有基准图 像设置部，其基于对各低分辨率图像导出的上述焦点评价值从上述多个低 分辨率图像中选择基准图像，上述图像处理装置，以上述基准图像为基准， 通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理，从而
20 生成上述高分辨率图像。
具体而言，例如，在上述自动聚焦控制中，按照上述焦点评价值取极 大值的方式对上述光学系统迸行驱动控制，上述基准图像设置部，将上述 多个低分辨率图像内与最大焦点评价值对应的低分辨率图像选择作为上 述基准图像。
25 另外，具体而言，例如在第二摄像装置中，上述基准图像设置部，将
上述多个低分辨率图像内除上述基准图像以外的低分辨率图像设置作为 参照图像，上述图像处理装置，进一步具备位置偏离检测部，其以比上 述基准图像的像素间隔高的辨析率求出上述基准图像与上述参照图像之 间的位置偏离量；以及高分辨率图像生成部，其采用所求出的位置偏离量
30和上述多个低分辨率图像，通过以上述基准图像为基准进行上述高分辨率化处理，从而生成上述高分辨率图像。
本发明的图像处理方法，根据多个低分辨率图像生成具有比上述低分 辨率图像的分辨率高的分辨率的高分辨率图像，其特征在于，基于上述多 个低分辨率图像的图像信息从上述多个低分辨率图像中选择基准图像，以 5上述基准图像为基准，通过对上述多个低分辨率图像执行使分辨率增大的 高分辨率化处理，从而生成上述高分辨率图像。
另外，本发明的低分辨率图像的图像信息，包含低分辨率图像的各像 素的亮度以及/或者表示颜色的图像数据，进而还能包含上述检测数据。
本发明的意义以及效果，通过以下所示的实施方式的说明能够进一步 10明确。但是，以下的实施方式只是本发明的一个实施方式，本发明乃至各 构成要件的用语的意义，并非限定于以下实施方式的记载。


图1是本发明的实施方式的摄像装置的整体框图。
15 图2是采用MAP方式的超分辨处理的概念图。
图3是表示本发明的实施方式的超分辨处理的流程的流程图。
图4是本发明的第一实施例的承担超分辨处理的超分辨部的内部框图。
图5是按时序表示图4的各部件的动作流程的图。 20 图6是本发明的第一实施例的模糊量推定部的内部框图。
图7是表示作为图6的高通滤波器(HPF)的一例的拉普拉斯滤波器 的图。
图8是图4的超分辨处理部的内部框图。
图9 (a)以及(b)是说明本发明的第一实施例的试验内容的图，分 25别表示试验所采用的模糊量大的图像和模糊量小的图像的图。
图10 (a)以及(b)分别为表示图9 (a)以及(b)的图像的高频域 提取图像的图。
图11是表示本发明的第一实施例的试验所涉及的、超分辨运算处理 的反复次数、与通过试验所得到的高分辨率图像和理想的高分辨率图像之 30 间的PSNR的关系的图。图12是表示本发明的第一实施例所涉及的、关于图像数据的读写时 刻所特别关注的超分辨处理的动作流程的流程图。
图13是表示本发明的第二实施例所涉及的、位置偏离量的大小的变 化的情况的图。
5 图14是表示本发明的第二实施例所涉及的、位置偏离量的大小的变
化的情况的图。
图15 (a)以及(b)为本发明的第三实施例所涉及的用于说明抖动量
推定方法的图，分别为表示模糊小的图像和模糊大的图像(b)的图。
图16 (a)以及(b)分别为图15 (a)以及(b)所示的图像的亮度 io 直方图的图。
图17为本发明的第四实施例所涉及的承担超分辨处理的超分辨部的 内部框图。
图18为本发明的第四实施例所涉及的在摄像装置中设置的传感器部 的内部框图。
15 图19为表示由图18的传感器部所检测的摄像装置的抖动大小的图。
图20为明示图像信息包含图像数据和传感器检测数据的图。 图21为本发明的第五实施例所涉及的承担超分辨处理的超分辨部的 内部框图。
图22是表示本发明的第五实施例所涉及的三张观测低分辨率图像的 20 第一例的图。
图23是表示本发明的第五实施例所涉及的三张观测低分辨率图像的 第二例的图。
图24是表示本发明的第六实施例所涉及的承担超分辨处理的超分辨 部的内部框图。 25 图25是图1的摄像部的内部结构图。
图26为在图1的影像信号处理部内设置的AF评价部的内部框图。
图27 (a)为表示由图26的AF评价部在帧图像内定义的AF评价区 域的图，图27 (b)为表示AF评价值计算时设置的加权系数的图。
图28为本发明的第七实施例的承担超分辨处理的超分辨部的内部框
30 图。
10图29为表示本发明的第七实施例的3张的观测低分辨率图像的一例 的图。
图30 (a)、 (b)以及(c)分别为表示本发明的第八实施例涉及的第 一观测低分辨率图像的像素排列、第二观测低分辨率图像的像素排列以及
5高分辨率图像的像素排列的图。
图31 (a)以及(b)为本发明的第八实施例所涉及的通过抛物线近似 以亚像素(subpixd)精度计算位置偏离量的情况的图。
图32是表示本发明的第八实施例所涉及的根据第一观测低分辨率图 像生成初始高分辨率图像的情况的图。 io 图33 (a)以及(b)是表示本发明的第八实施例所涉及的、为了根据
高分辨率图像重新构成低分辨率图像，使空间滤波器作用于高分辨率图像 的情况的图。
图34是表示本发明的第八实施例所涉及的用于根据高分辨率图像重 新构成低分辨率图像的矩阵的例子的图。 15 图35是表示本发明的第八实施例所涉及的应新的高分辨率图像的
像素排列、与其更新所采用的低分辨率图像的像素排列之间的关系的图。 图36 (a)以及(b)分别是表示本发明的第八实施例涉及的计算反馈 值时所使用的转置矩阵W,T以及W2T中的点扩散函数(point spread flmction)的图。 20 图37是表示图34的矩阵的转置矩阵的图。
具体实施例方式
以下，针对本发明的实施方式，参照附图具体进行说明。在所参照的 各图中，对相同的部分附加相同的符号，关于相同的部分的重复说明原则
25上省略。之后对第一 第八实施例进行说明，但首先针对各实施例中共同 的事项或者各实施例中参照的事项进行说明。
图1是本发明的实施方式涉及的摄像装置1的整体框图。摄像装置1， 例如是数码摄像机。摄像装置1，能够对运动画面以及静止画面进行摄影， 并且还能够在运动画面摄影过程中同时对静止画面进行摄影。另外，还可
30 以省略运动画面摄影功能，将摄像装置1作为仅可对静止画面进行摄影的数字静态相机(digital still camera)。 [基本结构的说明]
摄像装置l,具有摄像部ll、 AFE (Analog Front End,模拟前端) 12、影像信号处理部13、麦克14、声音信号处理部15、压缩处理部16、 5SDRAM(Synchronous Dynamic Random Access Memory)等内部存储器17、 SD (Secure Digital)卡或磁盘等外部存储器18、展开处理部19、 VRAM (Video Random Access Memory) 20、声音输出电路21、 TG (定时发生器 timing generator) 22、 CPU (Central Processing Unit) 23、总线24、总线 25、操作部26、显示部27、和扬声器28。操作部26，具有录像按钮26a、 io快门按钮26b以及操作键26c等。摄像装置1内的各部位，经由总线24 或25进行各部位之间的信号(数据)的交换。
TG22，生成用于对摄像装置1整体的各动作的计时进行控制的计时控 制信号，并将所生成的计时控制信号提供给摄像装置l内的各部件。计时 控制信号，包含垂直同步信号Vsync和水平同步信号Hsync。 CPU23，对 15 摄像装置1内的各部件的动作进行统一控制。操作部26，受理用户的操作。 对操作部26提供的操作内容，被传达给CPU23。摄像装置1内的各部件， 根据需要在信号处理时暂时将各种数据(数字信号)记录在内部存储器17 中。
摄像部11，除摄像元件(图像传感器)33以外，还具备光学系统、 20 光圈以及驱动器(在图1中未图示)。来自被摄体的入射光，经由光学系 统以及光圈，入射向摄像元件33。构成光学系统的各透镜，使被摄体的光 学像在摄像元件33上成像。TG22，生成与上述计时控制信号同步的、用 于对摄像元件33进行驱动的驱动脉冲，并将该驱动脉冲提供给摄像元件 33。
25 摄像元件33，由例如CCD (Charge Coupled Devices)或CMOS
(Complementary Metal Oxide Semiconductor)图像传感器等构成。摄像元 件33，对经由光学系统以及光圈入射的光学像进行光电变换，并将通过该 光电变换所得到的电信号向AFE12输出。更具体而言，摄像元件33，具 备以矩阵状二维排列的多个像素(受光像素未图示)，在各次摄影中，
30各像素对与曝光时间相应的电荷量的信号电荷进行储存。来自具有与所储存的信号电荷的电荷量成比例大小的各像素的电信号，依据来自TG22的
驱动脉冲，被依次输出给后段的AFE12。
AFE12，对从摄像元件33输出的模拟信号进行放大，并将放大后的 模拟信号变换成数字信号后输出给影像信号处理部13。 AFE12中的信号 5 放大的放大程度由CPU23控制。影像信号处理部13，对由AFE12的输出 信号表示的图像实施各种图像处理，生成针对图像处理后的图像的影像信 号。影像信号，由表示图像亮度的亮度信号Y、和表示图像颜色的色差信 号U以及V构成。
麦克14，将摄像装置1的周边声音变换成模拟的声音信号，声音信号 io处理部15，将该模拟的声音信号变换成数字的声音信号。
压缩处理部16，采用规定的压縮方式对来自影像信号处理部13的影 像信号进行压縮。在运动画面或者静止画面的摄影以及记录时，所压縮的 影像信号被记录在外部存储器18中。并且，压缩处理部16，采用规定的 压縮方式对来自声音信号处理部15的声音信号进行压縮。在运动画面摄 15影以及记录时，来自影像信号处理部13的影像信号和来自声音信号处理 部15的声音信号，通过压縮处理部16 —边在时间上相互建立关联一边被 压縮，压缩后的信号被记录在外部存储器18中。
录像按钮26a，是用于指示运动画面的摄影以及记录的开始/结束的按 钮开关，快门按钮26b，是用于指示静止画面的摄影以及记录的按钮开关。 20 摄像装置1的工作模式，包括能够进行运动画面以及静止画面的摄影
的摄影模式、和将在外部存储器18中保存的运动画面以及静止画面再生 显示在显示部27上的再生模式。根据对操作键26c的操作，执行各模式 之间的转化。在摄影模式中，以规定的帧周期依次进行摄影，从摄像元件 33取得按时序排列的图像列。将形成该图像列的各图像称作"帧图像"。 25 在摄影模式中，当用户按下录像按钮26a时，在CPU23的控制下，
与该按下之后所得到的各帧图像的影像信号以及与之对应的声音信号，依 次经由压缩处理部16记录在外部存储器18中。在开始运动画面摄影之后， 当用户再次按下录像按钮26a时，结束将影像信号以及声音信号向外部存 储器18的记录，完成一次运动画面的摄影。另外，在摄影模式中，当用 30户按下快门按钮26b时，进行静止画面的摄影以及记录。在再生模式中，当用户对操作键26c实施规定的操作时，表示在外部 存储器18中记录的运动画面或者静止画面的被压縮后的影像信号，在通
过展开处理部19进行展开之后写入VRAM20中。另外，在摄影模式中， 通常，与对录像按钮26a以及快门按钮26b的操作内容无关地，逐次进行 5采用影像信号处理部13生成影像信号，该影像信号被依次写入VRAM20 中。
显示部27，是液晶显示器等显示装置，并对与写入VRAM20中的影 像信号相应的图像进行显示。另外，在再生模式中对运动画面进行再生时， 与记录在外部存储器18中的运动画面对应的被压縮后的声音信号，也被 io 送入展开处理部19中。展开处理部19，对所接受的声音信号进行展开后 送入声音输出电路21中。声音输出电路21，将所提供的数字声音信号变 换成可由扬声器28输出的形式的声音信号(例如模拟声音信号)后输出 至扬声器28中。扬声器28，将来自声音输出电路21的声音信号作为声音 (音)向外部输出。
15 影像信号处理部13，被形成为能够一边与CPU23 —起协同工作一边
实施超分辨处理。通过超分辨处理，由多张低分辨率图像生成一张高分辨 率图像。能够将该高分辨率图像的影像信号经由压縮处理部16记录在外 部存储器18中。高分辨率图像的分辨率，比低分辨率图像的分辨率高， 高分辨率图像的水平方向以及垂直方向的像素数，比低分辨率图像的像素
20数多。例如，在形成静止画面的摄影指示时，取得作为多张低分辨率图像 的多帧图像，通过对这些图像实施超分辨处理从而生成高分辨率图像。或 者例如，对于作为在运动画面摄影时得到的多张低分辨率图像的多帧图 像，实施超分辨处理。
针对超分辨处理的基本概念简单进行说明。作为一例，对采用重新构
25成型方式的超分辨处理进行说明。图2表示采用作为重新构成型方式的一 种的MAP (Maximum A Posterior)方式的超分辨处理的概念图。在该超分 辨处理中，根据由实际的摄影所得到的多张低分辨率图像推定一张高分辨 率图像，通过使该所推定的高分辨率图像劣化从而推定原始的多张低分辨 率图像。将通过实际的摄影所得到的低分辨率图像特别称为"观测低分辨
30率图像"，并将所推定的低分辨率图像特别称为"推定低分辨率图像"。之后，按照观测低分辨率图像与推定低分辨率图像之间的误差成为最小的方 式，反复推定高分辨率图像和低分辨率图像，并输出最终取得的高分辨率 图像。
图3以流程图表示超分辨处理的流程。首先，在步骤S11中生成初始 5高分辨率图像。该初始高分辨率图像，是根据后述的基准图像生成的。在 后继步骤S12中，推定构筑当前时刻的高分辨率图像的原始的观测低分辨
率图像。如上述将所推定的图像称作推定低分辨率图像。在后继步骤S13
中，基于观测低分辨率图像和推定低分辨率图像之间的差分图像，导出对
当前时刻的高分辨率图像的更新量。该更新量，通过步骤S12 S14的各
io 处理的反复执行按照观测低分辨率图像和推定低分辨率图像之间的误差 被最小化的方式被导出。然后，在后继步骤S14中，采用该更新量对当前 时刻的高分辨率图像进行更新，生成新的高分辨率图像。之后，返回步骤 S12，将新生成的高分辨率图像获取作为当前时刻的高分辨率图像，反复 执行步骤S12 S14的各处理。基本上，步骤S12 S14的各处理的反复次
15数越增大，所得到的高分辨率图像的分辨率实质上越提高，得到越接近理 想的高分辨率图像。
以上述动作流程为基础的超分辨处理是在摄像装置1内实施的。由摄 像装置1实施的超分辨处理，可以是任何方式的超分辨处理，但本实施方 式中对采用重新构成型方式的超分辨处理的情况进行说明。重新构成型方
20式，包括ML (Maximun-Likelihood) 去、MAP (Maximum A Posterior) 法、POCS (Projection Onto Convex Set)法、IBP (Iterative Back Projection) 法等，但在本实施方式中以采用MAP法的结构为例。
作为有关超分辨处理的实施例，以下对第1 第8实施例进行说明。 某个实施例记载的事项只要不矛盾，都可以应用到其他实施例中。
25 (第一实施例)
首先，针对第一实施例进行说明。图4为负责超分辨处理的超分辨部 50的内部框图。符号51、 52以及54 57所参照的各部位被设置在图1 的影像信号处理部13内，第一、第二、第三、第四帧存储器61、 62、 63 以及64被设置在图1的内部存储器17内。基准图像设置部53的功能由
30CPU23实现。但是，也可以使影像信号处理部13实现基准图像设置部53
15的功能。以下，将第一、第二、第三、第四帧存储器仅简称为帧存储器。 帧存储器61 63，是用于对作为观测低分辨率图像的帧图像的图像数据进
行记忆的存储器，帧存储器64，是用于对高分辨率图像的图像数据进行记 忆的存储器。图5是按时序表示图4的各部位的动作的流程的图，图5的
5横方向与时间方向对应。另外，所谓所关注的图像的图像数据，是表示该
所关注的图像的亮度以及颜色的数据(例如RGB信号或YUV信号)。 在第一实施例中，以根据三张观测低分辨率图像生成一张高分辨率图
像的情况为例。三张观测低分辨率图像，是连续摄影的三张帧图像。由
L,、 L2、以及L3表示该三张观测低分辨率图像，以观测低分辨率图像L,、 ioL2以及L3的顺序进行摄影。在以下说明中，也分别将观测低分辨率图像
L,、 L2以及L3简称为图像L,、 L2以及L3 (后述的L4也同样)。在图像L,、
L2以及L3内不同的两张图像之间，产生因手抖等而产生的位置偏离。
为了以图像L,、 L2以及L3的顺序进行摄影，对选择部51以及模糊量
推定部52，首先输入表示图像L,的图像数据，接着输入表示图像L2的图 15像数据，进而接着输入表示图像L3的图像数据。选择部51，选择记忆了
所输入的观测低分辨率图像的图像数据的帧存储器。具体而言，选择部51，
将图像L,的图像数据、图像L2的图像数据以及图像L3的图像数据分别发
送给帧存储器61、 62以及63使之记忆。
模糊量推定部52，是用于推定所输入的图像中包含的模糊的大小(以 20下称作模糊量)的部位，计算与模糊量相应的模糊量评价值。模糊量推定
部52，最初基于图像L,的图像数据计算与图像L,的模糊量相应的模糊量
评价值，接着基于图像L2的图像数据计算与图像L2的模糊量相应的模糊
量评价值，进而接着基于图像L3的图像数据计算与图像L3的模糊量相应 的模糊量评价值。各模糊量评价值，依次被传递给基准图像设置部53。
25 在用手支持摄像装置l等情况下，在观测低分辨率图像的曝光期间，
摄像装置1的筐体中会有所谓手抖。并且，还存在产生所谓被摄体抖动的 情况。所谓被摄体抖动，是指在曝光期间内因被摄体在实际空间中活动而 产生的在图像上的被摄体的抖动。关于所关注的观测低分辨率图像，若产 生手抖或被摄体抖动，则所关注的观测低分辨率图像的整体或者一部分会
30因手抖或被摄体抖动而模糊。模糊量推定部52，基于观测低分辨率图像的图像数据，推定因该手抖或被摄体抖动而引起的模糊大小。
模糊量推定部52，例如，利用当产生手抖或被摄体抖动时则图像内的 高频成分衰减这样的特性来推定模糊量。即，提取观测低分辨率图像中规 定的高频成分，并基于所提取的高频成分的量推定模糊量。高频成分的量， 5也叫做高频成分的强度。
参照图6说明针对一张观测分辨率图像的模糊量评价值的计算方法。
图6为可利用作为模糊量推定部52的模糊量推定部的内部框图。图6的 模糊量推定部，其结构具有提取部71、 HPF (高通滤波器)72以及累计部 73。
io 对提取部71提供观测低分辨率图像的影像信号。提取部71,从该影
像信号中提取在观测低分辨率图像内定义的评价区域内的亮度信号。评价 区域，例如是观测低分辨率图像内的整个区域。但是，还可以将观测低分 辨率图像内的一部分区域(例如，由后述的第五实施例描述的主要被摄体 区域)设置作为评价区域。HPF72，仅提取由提取部71所提取的亮度信号
15中的规定高频成分。例如，由作为如图7所示这样的空间滤波器的具有3 X3的滤波器大小的拉普拉斯滤波器(Laplacian filter)形成HPF72，进行
使该拉普拉斯滤波器作用于评价区域内的各像素的空间滤波。这样，便从 HPF72依次得到与该拉普拉斯滤波器的滤波特性相应的输出值。另外，也 可以由频率滤波器形成HPF72，采用傅立叶变换在频率区域上提取高频成
20 分。
累计部73，对由HPF72所提取的高频成分的大小(即HPF72的输出 值的绝对值)进行累计，并将累计值作为模糊量评价值输出。某个观测低 分辨率图像对应的模糊量评价值，随着该观测低分辨率图像中的模糊量的 变小而增大。
25 在通过对三张观测低分辨率图像L, L3进行高分辨率化从而生成一
张高分辨率图像时，将三张图像L, L3内的一张设置作为成为高分辨率化 的基准的基准图像，将其他两张设置作为参照图像。既可以将基准图像替 换称做基准帧或基准帧图像，也可以将参照图像替换称做参照帧或者参照 帧图像。以基准图像为基准计算出用于生成高分辨,图像所必需的位置偏
30离量。并且，基准图像也能作为初始高分辨率图像的生成源。因此，最终得到的高分辨率图像的画质很大程度依赖于基准图像。因此，基准图像设 置部53，基于模糊量评价值进行设置基准图像以及参照图像的处理。具体 而言，将观测低分辨率图像L, L3内推定为模糊量最小的观测低分辨率图 像设置作为基准图像，并且将剩下的两张观测低分辨率图像设置作为参照 5图像。由于如果模糊量小则模糊量评价值变大，因此将模糊量评价值最大 的观测低分辨率图像设置作为基准图像。
现在，用a表示与基准图像对应的观测低分辨率图像的号码，并且， 用b以及c表示与两张参照图像对应的观测低分辨率图像的号码。在基准 图像为图像L,的情况下，a二l且b二2且c二3，基准图像为图像L2的情
io况下，a二2且b二l且c二3，在基准图像为图像L3的情况下，a二3且b 二l且c二2。在设置基准图像之后，图4的基准图像设置部53，基于a、 b以及c的值，控制位置偏离检测部54、初始高分辨率图像生成部55以 及超分辨率处理部57应读出的观测低分辨率图像的顺序。目卩，控制它们 在哪个计时读出哪个帧存储器的图像数据。
15 位置偏离检测部54，采用代表点匹配法、块匹配法或梯度法等，计算
两张观测低分辨率图像之间的位置偏离量。在此计算的位置偏离量，具有 比观测低分辨率图像的像素间隔辨析率高(分解能resolution)的、所谓 亚像素(subpkel)的辨析率。即，将比观测低分辨率图像内邻接的两个 像素的间隔短的距离作为最小单位计算位置偏离量。位置偏离量是包含水
20 平成分以及垂直成分的二维量，也称作运动量或运动矢量。
位置偏离检测部54，以基准图像为基准，计算基准图像与各参照图像 之间的位置偏离量。因此，在设置基准图像之后，向位置偏离检测部54 首先输入观测低分辨率图像"以及Lb的图像数据，计算以观测低分辨率 图像La为基准的观测低分辨率图像U与Lb之间的位置偏离量Vab (参照
25图5)。接着，向位置偏离检测部54，输入观测低分辨率图像La以及Lc 的图像数据，计算以观测低分辨率图像La为基准的观测低分辨率图像La
与Le之间的位置偏离量Vae。
另一方面，在设置基准图像之后，初始高分辨率图像生成部55 (以下 简称为生成部55)，基于作为基准图像的观测低分辨率图像U生成初始高 30分辨率图像Ho (参照图5)。该生成处理，相当于图3的步骤Sll的处理。初始高分辨率图像H。，相当于应最终生成的高分辨率图像的初始图像。以
下，也将初始高分辨率图像Ho仅称作高分辨率图像Ho或者图像Ho。例如， 将采用线性插值(linear interpolation)或双立方插值(bicubic interpolation) 使观测低分辨率图像La的水平以及垂直方向的像素数增大后的图像作为 5图像Ho。并将所生成的图像Ho的图像数据记忆在帧存储器64中。
图4的选择部56，选择在由生成部55所生成的图像(即图像Ho)以 及在帧存储器64中记忆的图像中的一方，并将所选择的图像的图像数据 提供给超分辨处理部57。在生成图像Ho刚刚之后，由选择部56选择图像 Ho，在由超分辨处理部57生成与图像Ho不同的高分辨率图像之后，由选 io择部56选择在帧存储器64中记忆的图像。
并且，从帧存储器61 63向超分辨处理部57输入观测低分辨率图像 La、"以及U的图像数据。超分辨处理部57，基于MAP法，采用图像
Ho与观测低分辨率图像La、 Lb以及U位置偏离量Vab以及Vac，根据推定
低分辨率图像的生成求出对图像Ho的更新量。该处理，相当于第一个步 15骤S12以及S13的处理(参照图3)。并且，通过以该更新量对图像Ho进
行更新从而生成高分辨率图像H,(以下简称为图像H。。这相当于第一次
的步骤S14的处理(参照图3)。另外，在生成图像H,之后，在图4中只
粗线所示的线是有意识地发挥功能的。
所生成的图像H,的图像数据被覆盖记忆在帧存储器64上，并且经由 20选择部56再次输入超分辨处理部57中。超分辨处理部57，通过以与根据
图像Ho生成图像Hl同样的方法对图像H,进行更新，从而生成高分辨率
图像H2 (以下简称为图像H2)。图像H2的图像数据被覆盖记忆在帧存储
器64中。根据图像H,生成图像H2的处理，相当于第二次的步骤S12 S14 的处理。
25 这样，由超分辨处理部57反复执行用于对高分辨率图像进行更新后
生成新的高分辨率图像的、由步骤S12 S14的各处理构成的运算处理。 以下将该运算处理称作超分辨运算处理。在n为自然数的情况下，通过第 n次的超分辨运算处理由高分辨率图像Hn-,生成高分辨率图像Hn。在以下 的说明中，n为0以上的整数。
30 图8表示超分辨处理部57的内部框图。当前，由xn表示用矩阵表现10
15
20
25
的高分辨率图像H。，用yk表示用矩阵表现的观测低分辨率图像Lk。艮P， 例如，矩阵x"表示将形成高分辨率图像Hn的各像素的像素值排列写出的 形式。k取1、 2、或3的值。
这样，高分辨率图像^+1对应的矩阵^+1，依据下式(A—1)导出， 通过该导出生成高分辨率图像H。+,。式(A—1)的右边第二项，应由超分 辨处理部57计算，表示高分辨率图像H。对应的更新量。k皿M表示观测低 分辨率图像的张数，在该例中k皿M二3。通过基于式(A—1)对高分辨率 图像进行更新，从而下式(A—2)所表示的MAP法中的评价函数(evaluation flmction) I便被最小化。式(A—2)中的x，表示在进行某个次数的超分 辨运算处理时的用矩阵表现的高分辨率图像。
xn+' =xn +卩
Z{wkT(yk-Wkxn)}-aCTCX。
(A—l)
30
I=I>k_WkX|| +a||Cx『……(A—2)
k = l
采用矩阵Wk与矩阵xn的积，表示作为观测低分辨率图像Lk的推定图
像的推定低分辨率图像。Wk是用于根据高分辨率图像Hn生成观测低分辨
率图像Lk的推定图像的矩阵，是包含由位置偏离检测部54计算的位置偏 离量、表示通过从高分辨率图像向低分辨率图像的低分辨率化所生成的图 像模糊的点扩散函数(point spread fimction)、以及从高分辨率图像向低分 辨率图像的下采样(down sampling)在内的图像变换矩阵。(yk—Wkxn)， 表示观测低分辨率图像Lk与相当于其推定图像的推定低分辨率图像之间 的差分图像。另外，附加了上标T后的矩阵，表示原矩阵的转置矩阵。因
此，例如，WkT表示矩阵Wk的转置矩阵。
并且，C为用于正规化的矩阵，oc为正规化参数。矩阵C，例如基于 "高分辨率图像中高频域成分少"这样的事先知识设置，由以矩阵表现的 拉普拉斯滤波器等形成。并且，P为用于控制反馈量的参数。
若超分辨处理部57中的超分辨运算处理的反复次数达到规定次数， 则将通过规定次数的超分辨运算处理所得到的最新高分辨率图像，作为应 最终求出的高分辨率图像从超分辨处理部57输出。并且，不管超分辨运
20算处理的反复次数如何，最新的高分辨率图像对应的更新量都变得足够小 且判断更新量收敛了的情况下，也可以将该最新的高分辨率图像作为最终 应求出的高分辨率图像从超分辨率处理部57输出。
若将模糊量大的图像设置作为基准图像，则所计算的位置偏离量的精 5度变差。在超分辨处理中，由于基于所计算的位置偏离量实现高分辨率化， 因此位置偏离量的精度劣化与高分辨率图像的画质劣化相关。并且，若将 模糊量大的图像设置为基准图像，则最终应得到的高分辨率图像的初始状 态(即初始高分辨率图像)的画质变差，难以得到理想的高分辨率图像。 在本实施例中，由于选择模糊量小的图像作为基准图像，因此所得到的高 10分辨率图像的画质提高。
采用模糊量比较大的图9 (a)的图像201和模糊量比较小的图9 (b) 的图像202，通过试验检验选择模糊量小的图像作为基准图像的效果。在 该试验中，通过采用縮小率50%的像素点跳跃(pixel skipping)处理使所 准备的理想的高分辨率图像的分辨率降低，从而生成三张图像，有意使三
15张图像中的一张模糊，从而使该图像中含有很大的模糊。然后，将模糊少 的两张图像作为两张观测低分辨率图像，且将模糊多的一张图像作为一张 观测低分辨率图像处理，通过超分辨处理重新构成具有观测低分辨率图像 的2倍的分辨率的高分辨率图像。模糊少的两张观测低分辨率图像，相当 于图9 (b)的图像202，模糊多的一张观测低分辨率图像，相当于图9 (a)
20的图像201。并且，使不同的两张观测低分辨率图像之间产生位置偏离。 图10 (a)以及(b)，表示分别在图像201以及202中应用高通滤波 器(图7的拉普拉斯滤波器)的情况下所得到的图像201以及202的高频 域提取图像211以及212。图10 (a)以及(b)中，高频域提取图像中的 像素值越小的像素显示越黑。因图像201中所含的较大模糊而导致高频域
25 提取图像211整体变黑。在将图像201以及202提供给图6的模糊量推定 部时，对图像201计算的模糊量评价值(HPF累计值)，是相对图像202 计算的1/20左右。
试验中，求出从图4的超分辨处理部57输出的高分辨率图像和理想 的高分辨率图像之间的PSNR (Peak Signal to Noise Ratio)。如周知，PSNR
30是表示所对比的图像之间的类似性的指标，其类似性越高PSNR越高。图11是表示该PSNR对超分辨运算处理的反复次数依赖性的曲线图。图11
的折线221，表示在将与图像201对应的模糊多的观测低分辨率图像设置为基准图像的情况下PSNR的反复次数依赖性，图11的折线222，表示在将与图像202对应的模糊少的观测低分辨率图像设置为基准图像的情况下5 PSNR的反复次数依赖性。与将模糊多的图像设置为基准图像的情况相比，将模糊少的图像设置为基准图像的情况下，PSNR高2dB左右。根据该试验也能理解将模糊量小的图像选择作为基准图像的优越性。
另外，针对包含帧存储器61 64在内的内部存储器17对应的图像数据的读写计时进行补充说明。参照图12 (也参照图5)。图12是表示关于
io图像数据的读写计时所特别关注的超分辨处理的动作流程的流程图。
最初，在步骤S21，将观测低分辨率图像L, L3的图像数据依次写入内部存储器17中。在从图像L, L3中选择基准图像之后，从步骤S21向步骤S22转移。在步骤S22中，位置偏离检测部54，从内部存储器17中读出作为基准图像的图像U以及作为参照图像的图像Lb的各图像数据并
15计算位置偏离量Vab，接着，从内部存储器17中读出作为基准图像的图像U以及作为参照图像的图像Lc的各图像数据并计算位置偏离量Vac。另一方面，在步骤S23中，生成部55，从内部存储器17中读出图像U的图像数据生成初始高分辨率图像。将所生成的初始高分辨率图像的图像数据写入内部存储器17中。之后，在后继步骤S24中，从内部存储器17中读出
20图像L, L3和当前时刻的高分辨率图像的各图像数据，通过上述的超分辨
运算处理更新高分辨率图像，并且，将更新后的高分辨率图像的图像数据写入内部存储器17中。在反复执行超分辨运算处理的情况下，重复执行步骤S24的处理。另外，步骤S22、 S23以及S24中的从内部存储器17中读出同一图像数据也可以是同时执行的。例如，还可以同时执行步骤S22
25中的图像La的图像数据的读出和步骤S23中的图像U的图像数据的读出。
如上述，在从图像L, L3中选择基准图像之后执行位置偏移量的计算处理的情况下，在步骤S22的阶段，需要从内部存储器17中读出4次(4张图像)观测低分辨率图像的图像数据(图像"以及Lb的图像数据的读出、和图像U以及U的图像数据的读出)。30 为了有利于该读出次数的降低，也可以并行地进行基准图像的选择处理和位置偏离量的计算处理。这种情况下，在每次得到观测低分辨率图像时，按照在时间上邻接的两张观测低分辨率图像之间进行位置偏离量(后述的V12以及V23)的计算的方式设置基准图像之后，只要将所计算的位置偏离量变换成基准图像与各参照图像之间的位置偏离量(上述的V化以5 及Vac)即可。
具体而言按照如下方式进行处理。在取得图像L,并将图像L,的图像数据写入内部存储器17中之后，若取得图像L2，则图像L2的图像数据被
写入内部存储器17且被送入位置偏离检测部54中。与此同时，从内部存储器17中读出图像L,的图像数据并送入位置偏离检测部54中(在该阶段io 执行第一次的图像数据读出)。然后，位置偏离检测部54，计算以图像L,为基准的图像L,和图像L2之间的位置偏离量V12。
之后，当取得图像L3时，则将图像L3的图像数据写入内部存储器17中并送入位置偏离检测部54中。与此同时，从内部存储器17中读出图像L2的图像数据并送入位置偏离检测部54中(在该阶段执行第二次的图像15 数据读出)。然后，位置偏离检测部54，计算以图像L2为基准的图像L2与图像L3之间的位置偏离量V23。
另一方面，与位置偏离量V,2以及V23的计算并行地，通过模糊量推定部52进行图像L, 图像L3对应的模糊量评价值的计算，并基于所计算的模糊量评价值设置基准图像。位置偏离检测部54，基于所设置的基准图
20 像是图像L, L3中的某个，将位置偏离量V,2以及V23变换成对基准图像
而言的参照图像的位置偏离量Vab以及Vac。通过该变换求出Vab以及Vac之后的动作与上述相同。例如，当V12= (0.5， 0.5)且V23= (—0.25，—0.25)，并且a二3， b=l， c二2时，Vab=V31=V32+V21 = —V23—V12 =(0.25， 0.25) _ (0.5， 0.5) = (—0.25， 一0.25)，求出Vab。根据Vac
25=V32==—V23= (0.25， 0.25)求出Vac。
这样，通过并行地进行基准图像的选择处理和位置偏离量的计算处理，从而虽然因需要位置偏离量的变换处理会导致位置偏离量Vab以及Vac的检测精度劣化一些，然而能将图像数据的读出次数降低两次，实现消耗电力的降低。另外，并行进行基准图像的选择处理和位置偏离量的计算处
30理，还可以应用于后述的其他实施例中。(第二实施例)
接着，说明第二实施例。在第二实施例中虽然也可以采用图4的超分辨部50，但第一以及第二实施例之间模糊量的推定方法不同。关于该不同点进行说明。在第二实施例中未特别描述的事项，应用第一实施例记载的5事项。
为了便于说明，第二实施例中，以根据四张观测低分辨率图像生成一张高分辨率图像的情况为例。四张观测低分辨率图像，是连续摄影的四张
帧图像。以L,、 L2、 L3以及L4表示该四张观测低分辨率图像，以图像Lj、L2、 L3以及L4的顺序进行摄影。另外，鉴于利用于超分辨处理的观测低io分辨率图像的张数为四张，超分辨部50的帧存储器的个数由图4的个数进行变更。
在第二实施例中，图4的位置偏离捡测部54，依次计算在时间上邻接的两张观测低分辨率图像之间的位置偏离量(所谓帧间运动矢量)。艮P，计算第一实施例中也描述过的位置偏离量V12以及V23、和以图像L3为基
15准的图像L3与图像L4之间的位置偏离量V34。模糊量推定部52，基于所计算的位置偏离量V12、 V23以及V34，推定在图像列L, L4的摄影期间作用于摄像装置1的手抖状态(换言之摄像装置1的抖动状态)，基于该推定结果推定观测低分辨率图像L, L4的模糊量的大小关系。基准图像设置部53，基于模糊量推定部52的推定结果，将与最小的模糊量对应的观测
20低分辨率图像设置作为基准图像，将剩下的三张观测低分辨率图像设置作为参照图像。
参照图13等更具体地进行说明。图13的曲线240，表示第一具体例中的位置偏离量的大小的变化的情况。在图13以及后述的图14的曲线图中，横轴表示时间，且纵轴表示位置偏离量的大小，横轴还与帧号码对应。25图像L, L4的帧号码分别为1 4。
点241、 242以及243，分别为表示第一具体例中的位置偏离量V12、V23以及V34的大小的点。将作为二维量的位置偏离量V12、 V23以及V34的大小分别以IV,J、 |V23|、 lvj来表现。按照点241 243位于曲线240上的方式采用插值法(interpolation)形成曲线240。曲线240这样的采用30插值法使位置偏离量V12、 V23以及V34的大小连接所形成的线称作手抖动
24量轨迹。手抖动量轨迹，可以解释为表示在图像" L4的摄影期间(包含其曝光期间)内作用于摄像装置1的手抖的大小(换言之因手抖而引起的摄像装置1的抖动的大小)的时间的变化。如图13所示的例子那样，在
不等式"|V,」> |V2」< I V3」"成立的情况下，采用样条插值(spline5interpolation)等描绘手抖动量轨迹。
另外，在采用插值法形成手抖动量轨迹时，除位置偏离量V12、 V23以及V34的大小之外，还利用在图像L,的摄影刚刚之前摄影的帧图像Lo和图像L,之间的位置偏离量VQ1、以及在图像U与在图像L4的摄影刚刚之后所摄影的帧图像L5之间的位置偏离量V45。
io 点245，表示手抖动量轨迹240上的位置偏离量的大小变成极小的点。
模糊量推定部52，将该极小点245在时间方向的位置最近的帧号码确定作为最小手抖动帧号码。然后，在与最小手抖动帧号码对应的观测低分辨率图像的曝光期间作用的手抖动的大小，比其他任一观测低分辨率图像的手抖动的大小要小，结果，推定与最小手抖动帧号码对应的观测低分辨率图
15像的模糊量(因手抖动引起的模糊量)比其它任一观测低分辨率图像的模糊量都小。
基准图像设置部53，将与最小手抖动帧号码对应的观测低分辨率图像设置作为基准图像，且将剩下的三张观测低分辨率图像设置作为参照图像。在图13的例子中，点245位于点242和点243之间，因此最小手抖20动帧号码为"3"，并且与最小手抖动帧号码对应的观测低分辨率图像为L3。因此，将图像L3设置为基准图像，图像L!、 L2以及L4设置为参照图像。
针对在不等式"I v12l > I v23l < I v34l"不成立的情况下的最小手抖动帧
号码的决定方法进行说明。图14的手抖动量轨迹250，表示第二具体例中25位置偏离量的大小的变化的情况。点251、 252以及253分别是表示第二
具体例中的位置偏离量V,2、 V23以及V34的大小的点，通过采用插值法连
接点251 253连接从而形成手抖动量轨迹250。
在图14对应的第二具体例中，由于不等式"|V|2|> |V23I> |V34| "成立，因此可知在图像L, L4的摄影期间(包括其曝光期间)内作用于摄像30装置1的手抖动的大小慢慢减少。这种情况下，决定最小手抖动帧号码为"4"。相反，在不等式"|V12i<|V23|<|V34|"成立的情况下，决定最小手
抖动帧号码为"r，。另外，在不等式"lv12l<lv23l〉lv34|"以及"|V12|>|
V34|"成立的情况下，决定最小手抖动帧号码为"4"，在不等式"|V12I<I V23l > I V34l "以及"I V12| < I V34| "成立的情况下，决定最小手抖动帧号码
5为"1"即可。决定最小手抖动帧号码后的处理内容与上述相同。
另外，也可以按照以下方式决定最小手抖动帧号码。分别与帧号码1、
2、 3以及4对应地求出位置偏离量V(M以及V,2的大小的和、位置偏离量
Vu以及V23的大小的和、位置偏离量V23以及V34的大小的和、以及位置
偏离量V34以及V45的大小的和，将与这四个和内的最小值对应的帧号码
10 决定为最小手抖动帧号码。
(第三实施例)
第一以及第二实施例所描述的模糊量的推定方法是一例，也可以以与其不同的方法进行模糊量的推定。作为表示模糊量的推定方法的变形例说明第三实施例。第三实施例是与第一实施例组合来实施的。
15 例如，也可以基于观测低分辨率图像的亮度值的直方图中的方差进行
模糊量的推定。在采用该方法的情况下，图4的模糊量推定部52，提取观测低分辨率图像的各像素的亮度信号生成观测低分辨率图像的亮度值(即亮度信号值)的直方图。然后，计算该直方图的方差作为模糊量评价值。直方图的生成以及方差的计算，是按每个观测低分辨率图像进行的。另外，
20形成直方图的亮度信号，可以从观测低分辨率图像的整个区域中提取，也
可以从观测低分辨率图像的一部分区域中提取。
三张观测低分辨率图像L, L3是连续摄影的三张帧图像，因此基本上这些构图相同。如果是相同构图的图像，则在曝光期间产生的手抖动越大邻接像素之间的亮度越被平滑化，中间灰度的像素的比例增加，亮度值的
25直方图中的分布集中化在中间灰度。上述的平滑化的程度越大，直方图中
的方差越小，模糊量评价值越小，因此可以推定模糊量评价值越大，与其
对应的观测低分辨率图像的模糊量越小。因此，图4的基准图像设置部53，基于直方图的方差，将观测低分辨率图像L, L3中的与模糊量评价值内最大的模糊量评价值所对应的观测低分辨率图像设置作为基准图像，将剩下
30 的两张观测低分辨率图像设置作为参照图像。
26作为观测低分辨率图像的例子，在图15 (a)中表示图像261，并且在图15 (b)中表示图像262。图像261为鲜明的图像，另一方面，因图像262的曝光期间产生大的手抖动，从而图像262中含有很大模糊。并且，图16 (a)以及(b)分别表示对图像261以及262生成的直方图。在与图5 像261的直方图的对比中(参照图16 (a))，在图像262的直方图(参照图16 (b))中可见分布向中间灰度集中化。因该集中化，方差会变小。
此外，还可采用推定图像的模糊量的任意方法。例如，也可以采用JP特开平11 一27574号公报中记载的方法，推定观测低分辨率图像的模糊量。这种情况下，通过将所关注的观测低分辨率图像进行傅立叶变换，从而生io 成二维频率区域上的变换图像，在以频率坐标的原点为中心的圆上投影变换图像。然后，根据该投影数据推定所关注的观测低分辨率图像的模糊量。另外，JP特开平11一27574号公报中的"手抖动的大小"相当于模糊量。(第四实施例)
接着，说明第四实施例。图17为第四实施例涉及的超分辨部50a的
15 内部框图。设置在超分辨部50a中的由符号51、 54 57以及61 64所参照的各部位，与图4的部位相同。设置在超分辨部50a中的基准图像设置部53a的功能，由图1的CPU23或者影像信号处理部13实现。除了基准图像的设置方法不同这点以外，超分辨部50a与第一实施例涉及的超分辨部50 (图4)相同。因此，以下，对第四实施例涉及的基准图像的设置方
20 法进行说明。第四实施例中，与第一实施例同样地，假设根据三张观测低分辨率图像L, L3生成一张高分辨率图像。
在第四实施例中，在摄像装置1中设置图18的传感器部75。基准图像设置部53a，基于从传感器部75输出的传感器检测数据，从观测低分辨率图像L, L3中设置基准图像。传感器部75，对因手抖动等引起的摄像
25装置1的抖动(摄像装置1的筐体的抖动)进行检测。具体而言，传感器部75，具备角速度传感器75A,其对摄像装置1的偏转(Yaw)方向(水平方向)的角速度进行检测，并输出表示其检测结果的信号；和角速度传感器75B，其对摄像装置l的俯仰(Pitch)方向(垂直方向)的角速度进行检测，并输出表示其检测结果的信号；上述传感器部75将角速度传感
30器75A以及75B的输出信号作为传感器检测数据输出。根据传感器检测数据表示摄像装置1的抖动(摄像装置1的筐体的抖
动)的大小以及方向。基准图像设置部53a，基于观测低分辨率图像L,
L3各自的曝光期间的传感器检测数据设置基准图像。具体而言，根据图像
L, L3各自的曝光期间的传感器检测数据，求出图像Lj的曝光期间内摄5像装置1的抖动大小Q，、图像L2的曝光期间内摄像装置1的抖动大小Q2以及图像L3的曝光期间内摄像装置1的抖动大小Q3，将与大小Q, Q3内的最小的大小对应的观测低分辨率图像设置为基准图像，并且将剩下的两张观测低分辨率图像设置为参照图像。例如，如图19所示，在不等式"Q^QpQ2"成立的情况下，将图像L2设置为基准图像，并且将图像L,
io以及L3设置为参照图像。
大小Q,表示例如在实际空间上来自静止的点光源的光形成的点像因在图像L,的曝光期间内摄像装置1的抖动而在图像L,上描绘的轨迹的长
度(或者该轨迹的始点与终点之间的距离)。关于大小Q2以及Q3也同样。
另外，还考虑超分辨部50a中内置模糊量推定部(未图示)的情况。15 这种情况下，超分辨部50a中的模糊量推定部，根据图像Li L3的各个曝光期间的传感器检测数据求出摄像装置1的抖动大小Qi Q3，推定为摄像装置1的抖动的大小越大对应的观测低分辨率图像的模糊量越大，将该推定结果提供给基准图像设置部53a。基准图像设置部53a，基于该推定结果能够设置基准图像。因此例如在不等式"Q,>Q3>Q2"成立的情况下，推20定为图像L, L3的模糊量中图像L,的模糊量最大且图像L2的模糊量最小，通过将该推定结果提供给基准图像设置部53a，从而将图像L2设置为基准图像，并且将图像L,以及L3设置为参照图像。
并且，上述虽然是由角速度传感器构成传感器部75的例子，但也可以由对表示摄像装置1的抖动的除角速度以外的物理量进行检测的传感器25构成传感器部75。例如，也可以由对摄像装置1的加速度进行检测的加速度传感器或者对摄像装置1的角加速度进行检测的角加速度传感器形成传感器部75。
然而，在对图像L,进行摄影的情况下，取得表示图像L,的亮度以及颜色的图像数据同时还有在图像L,的曝光期间的传感器检测数据,将这些30数据相互关联，并根据需要记录在外部存储器18 (参照图1)中。在将关于图像L,的这些数据记录在外部存储器18中的情况下，例如将由主体区域和标题区域构成的一个图像文件设置在外部存储器18内，在该图像文件的主体区域保存图像数据，并且在标题区域保存传感器检测数据。可以
认为图像L,的传感器检测数据，是图像L,的图像数据所附带的表示图像5 L,的摄影条件的信息。关于图像L,以外的图像(L2等)也同样。
在本说明书中，如图20所示，将包含图像数据以及传感器检测数据在内的信息称作图像信息。图像L,的图像信息，表示还包含图像L,的摄影条件在内的图像L,的特征(关于图像L2等也同样)。(第五实施例)
io 接着，对第五实施例进行说明。摄影者所关注的主要被摄体在图像上
的大小越大，在图像上越能够更加详细表现主要被摄体。因此，优选将主要被摄体显得更大的图像提供给包含摄影者在内的用户。另一方面，通过超分辨处理所得到的高分辨率图像，是以作为基准图像的观测低分辨率图像为基准生成的，因此如果基准图像上的主要被摄体的大小比较大，则高
15分辨率图像上的主要被摄体的大小也比较大。考虑这个，在第五实施例中，
将主要被摄体显得更大的观测低分辨率图像设置作为基准图像。
图21为第五实施例的超分辨部50b的内部框图。设置在超分辨部50b中的由符号51、 54 57以及61 64所参照的各部位，与图4的部位相同。设置在超分辨部50b中的基准图像设置部53b以及被摄体大小检测部7620 的功能，由图1的CPU23或者影像信号处理部13实现。除了基准图像的设置方法不同这点以外，超分辨部50b与第一实施例涉及的超分辨部50(图4)相同。因此，以下，对基准图像的设置有关的基准图像设置部53b以及被摄体大小检测部76的功能进行说明。第五实施例中，与第一实施例同样地，假设根据三张观测低分辨率图像L, L3生成一张高分辨率图
25 像。
被摄体大小检测部76，按每个观测低分辨率图像，基于观测低分辨率
图像的图像数据对观测低分辨率图像上的主要被摄体的大小进行检测。基
准图像设置部53b，将观测低分辨率图像L, L3内主要被摄体的大小最大的观测低分辨率图像设置为基准图像，并且将其他两张观测低分辨率图像30 设置为参照图像。列举具体例对被摄体大小检测部76的检测方法进行说明。首先，作为第一检测方法，对被摄体大小检测部76可执行脸检测处理的情况进行说明。脸检测处理，是基于观测低分辨率图像的图像数据将存在人物脸的图像数据的图像区域作为脸区域从观测低分辨率图像的整个图像区域中
5 提取的处理。第一检测方法中，被摄体大小检测部76，通过对图像1^ L3分别执行脸检测处理从而从各个图像L, L3中提取脸区域。脸区域的大小，是随着存在于该脸区域内的脸的大小的增大而增大的。
第一检测方法中，被摄体大小检测部76，将含有表示脸区域的大小的信息的脸检测结果发送给基准图像设置部53b，基准图像设置部53b，基
io 于该脸检测结果，将提取了最大脸区域的观测低分辨率图像设置为基准图像。例如，取得图22的图像301 303作为图像L, L3，并且从图像301 303中提取脸区域311 313，在图像上的脸区域312的大小比脸区域311以及313的大小大的情况下，将与图像302以及脸区域312对应的图像L2设置为基准图像。在上述例子中，考虑人物的脸或者人物本身是主要被
15 摄体。
然而，作为取得图像301 303这样的脸区域的大小不一致的图像列的一个原因，认为是在图像301 303的摄影期间内摄像装置1沿着摄影方向活动(即前后活动)。这样的情况下，在图像301 303之间按照脸区域的大小一致的方式对图像301 303整体实施线性变换(所谓电子变焦)，
20 采用线性变换后的图像301 303作为参照图像进行超分辨处理。
但是，还考虑在图像301 303的摄影期间内不是摄像装置1而是与脸区域311 313对应的人物在摄影方向活动。即使这样的情况下，只要采用上述线性变换后的图像301 303作为参照图像进行超分辨处理即可，但在人物活动的情况下，在作为基准图像的图像302与线性变换后的图像
25301以及303之间，脸区域的大小一致的图像的背景区域的大小不一致。若采用背景区域的大小不一致的图像列进行超分辨处理，则背景区域中会产生双重像。
另一方面，若产生这样的不一致则由位置偏离检测部54产生的位置偏离量的可靠度降低，因此如果与位置偏离量一起计算该可靠度，则可检30测上述不一致的发生。例如，如公知，可根据在位置偏离量计算时生成的数据(例如在采用块匹配法求出位置偏离量时导出的SSD (Sum of squared difference)的值)求出上述可靠度。
因此，当检测到上述不一致的情况下，判断为人物活动了，只要不将 作为线性变换后的图像301以及303内的图像区域且除脸区域(或者存在 5人物的图像数据的图像区域)以外的图像区域用于超分辨处理中即可。例 如，仅采用图像302的整个图像区域和线性变换后的图像301以及303的 脸区域311以及313生成高分辨率图像。这样，由三张低分辨率图像的脸 区域生成高分辨率图像内的脸区域，另一方面，仅由图像302生成高分辨 率图像内除脸区域以外的部分，但为了实现作为主要被摄体的脸的高分辨
io率化是十分有用的。另外，高分辨率图像的生成所需要的、在图像302的 脸区域311和线性变换后的图像301以及303的脸区域311以及313之间 的位置偏离量，可以由在脸检测处理的执行时所求出的各脸区域的位置决 定。这样的不将线性变换后的观测低分辨率图像内的一部分图像区域用于 超分辨处理的方法，也可以应用于后述的第二检测方法中。
15 对采用被摄体大小检测部76的第二检测方法进行说明。在第二检测
方法中，被摄体大小检测部76，对各观测低分辨率图像设置主要被摄体区 域。所谓主要被摄体区域，是观测低分辨率图像的一部分图像区域且推测 为存在主要被摄体的图像数据的图像区域。例如， 一般而言鉴于主要被摄 体存在于图像的中央附近的可能性高，可以将位于观测低分辨率图像的中
20央附近的、预先设置的图像区域用作主要被摄体区域。或者，也可以采用 后述的第七实施例所述的AF评价区域作为主要被摄体区域。进而或者还 可以采用存在处于焦点的被摄体的图像数据的图像区域作为主要被摄体 区域。可以根据观测低分辨率图像的高频成分决定存在处于焦点的被摄体 的图像数据的图像区域的位置。
25 当前，考虑取得图23的图像321 323作为图像L, L3，并且对图像
321 323设置主要被摄体区域331 333的情况。被摄体大小检测部76， 在主要被摄体区域331 333的中央附近分别设置基准区域341 343。主 要被摄体区域的位置以及大小还有基准区域的位置以及大小，在图像 321 323之间是相同的。
30 被摄体大小检测部76，基于图像321 323的图像数据，分别求出图
31像321的基准区域341内的颜色、图像322的基准区域342内的颜色以及 图像323的基准区域343内的颜色作为第一 第三基准颜色。基准区域341 内的颜色，是例如属于基准区域341内的各像素的平均颜色(关于基准区 域342内的颜色以及基准区域343内的颜色也同样)。在图像数据由RGB 5形式的信号表示的情况下，只要根据作为属于基准区域341内的各像素的 颜色信号的R、 G以及B信号求出第一基准颜色即可，在由YUV形式的 信号表示图像数据的情况下，只要根据作为属于基准区域341内的各像素 的色差信号即U及V信号求出第一基准颜色即可(关于第二以及第三基 准颜色也同样)。有关某个像素，R、 G以及B信号表示该像素的红色、绿 io色以及蓝色的强度。另外，可以将第一 第三基准颜色全部设置为相同颜 色。这种情况下，可以将第一 第三基准颜色设置为基准区域341、 342 或者343内的颜色。
被摄体大小检测部76，通过按每个观测低分辨率图像，对在主要被摄 体区域内存在几个与基准颜色相同或类似的像素进行计数，从而对观测低 15分辨率图像上的主要被摄体的大小进行检测。
具体而言，按每个观测低分辨率图像进行以下处理。将基准颜色在 RGB颜色空间上的位置设置作为基准位置，另一方面，对属于主要被摄体 区域内的各像素的颜色在RGB颜色空间上的位置进行检测，求出前者的 位置(基准位置)与后者的位置之间的欧氏距离(Euclidean distance)。然
20后，检测主要被摄体区域内的像素内欧氏距离处于规定的阈值DTH以下的
像素的个数作为主要被摄体的大小。如图23所示的情况下，对图像L2计 数的上述个数，比对图像L,以及L3计数的上述个数大，结果，图像L2被 设置为基准图像。
根据第五实施例，可生成主要被摄体表现大的对用户而言优选的高分 25 辨率图像。
(第六实施例)
接着，说明第六实施例。若选择对用户而言非优选的、闭眼的图像或 表情不好的图像作为基准图像，则高分辨率图像也不能成为优选图像。因 此，第六实施例中，考虑脸的状态进行基准图像的设置。 30 图24为第六实施例涉及的超分辨部50c的内部框图。由设置在超分辨部50c中的由符号51、 54 57以及61 64所参照的各部位，与图4的 各部位相同。设置在超分辨部50c中的基准图像设置部53c以及脸状态检 测部77的功能，由图1的CPU23或者影像信号处理部13实现。除了基 准图像的设置方法不同这点以外，超分辨部50c与第一实施例涉及的超分 5辨部50 (图4)同样。因此，以下，对基准图像的设置有关的基准图像设 置部53c以及脸状态检测部77的功能进行说明。第六实施例中，与第一 实施例同样地，假设根据三张观测低分辨率图像L, L3生成一张高分辨率 图像。
脸状态检测部77，对各观测低分辨率图像执行第五实施例所述的脸检 io测处理，提取观测低分辨率图像上的人物的脸区域。之后，脸状态检测部 77，基于观测低分辨率图像的图像数据，从脸区域内提取存在眼睛的眼睛 区域，进而执行检测眼睛的开闭状态的眨眼检测处理。眨眼检测处理，可 利用包含公知的方法在内的任意方法。例如，通过进行采用表示标准瞳孔 的图像作为模板的模板匹配，从而对眼睛区域内的瞳孔的有无进行检测， 15 可以根据该有无检测结果检测眼睛是否打开着。
基准图像设置部53c，将观测低分辨率图像L, L3内通过眨眼检测处 理判断为眼睛打开着的观测低分辨率图像设置为基准图像。例如，在判断 为图像L2以及L3上的眼睛打开且图像"上的眼睛闭着的情况下，将图像 L2或者L3设置为基准图像，并且将剩下的两张(图像u以及L2、或者图 20像L,以及L3)设置为参照图像。
另外，在判断为图像L2以及L3上的眼睛打开且图像L,上的眼睛闭着 的情况下，为了防止高分辨率图像上出现双重像，不将图像L,的眼睛区域 (或者整个脸区域)用于超分辨处理较好。这种情况下，高分辨率图像的
除眼睛区域(或者整个脸区域)以外的部分由图像I^ L3生成，另一方面， 25 高分辨率图像的眼睛区域(或者整个脸区域)仅由图像L2以及L3生成。
也可以在提取观测低分辨率图像上的脸区域之后使脸状态检测部77 执行笑脸检测处理而非眨眼检测处理。笑脸检测处理，是按每个观测低分 辨率图像执行的。在笑脸检测处理中，基于观测低分辨率图像的图像数据， 判断脸区域内的脸是否为笑脸。笑脸检测处理中可利用包含公知的方法在 30 内的任意方法。
33在执行笑脸检测处理的情况下，基准图像设置部53c，将观测低分辨 率图像L, L3内通过笑脸检测处理判断为脸区域内的脸为笑脸的观测低 分辨率图像设置为基准图像。例如，在判断为图像L2以及L3上的脸为笑
脸且图像L,上的脸非笑脸的情况下，将图像L2或者L3设置为基准图像， 5并且将剩下的两张(图像L,以及L2，或者，图像L,以及L3)设置为参照 图像。
另外，在判断为图像L2以及L3上的脸为笑脸且图像L,上的脸非笑脸 的情况下，为了防止高分辨率图像上出现双重像，不将图像L,的整个脸区 域用于超分辨处理较好。这种情况下，根据图像L, L3生成高分辨率图像 io的脸区域以外的部分，另一方面仅由图像L2以及L3生成高分辨率图像的 脸区域。
另外，还可采用上述的眨眼检测处理和笑脸检测处理双方设置基准图 像。这种情况下，将通过眨眼处理判断为眼睛打开着且通过笑脸检测处理 判断为脸区域内的脸为笑脸的观测低分辨率图像设置为基准图像。 15 根据第六实施例，可生成脸的状态良好且对用户而言优选的高分辨率图像。
(第七实施例)
接着说明第七实施例。在第七实施例中，基于自动聚焦控制所采用的 AF评价值设置基准图像。
20 首先，参照图25，详细说明图1的摄像部11的内部结构。图25为摄
像部ll的内部结构图。摄像部ll，具有光学系统35、光圈32、摄像元 件33和驱动器34。光学系统35，其结构具备包含变焦透镜30以及聚 焦透镜31的多枚透镜。变焦透镜30以及聚焦透镜31可在光轴方向移动。 驱动器34，基于来自CPU23的控制信号，控制变焦透镜30以及聚焦
25 透镜31的移动，控制光学系统35的变焦倍率和焦点位置。并且，驱动器 34，基于来自CPU23的控制信号，控制光圈32的开度(开口部的大小)。 来自被摄体的入射光，经由构成光学系统35的各透镜以及光圈32，入射 向摄像元件33。构成光学系统35的各透镜，使被摄体的光学像在摄像元 件33上成像。从TG22提供用于对摄像元件33进行驱动的驱动脉冲。
30 在摄像装置1中，进行采用TTL (Through The Lens)方式的自动聚焦控制。为了进行该自动聚焦控制，在图1的影像信号处理部13中设置
AF评价部(焦点评价值导出部)。图26为设置在影像信号处理部13中的 AF评价部80的内部框图。
AF评价部80，具有提取部81、 HPF (高通滤波器)82以及累计部 583。 AF评价部80，针对一个帧图像计算一个AF评价值(焦点评价值)。 对提取部81提供帧图像的影像信号。提取部81，从该影像信号中提 取在帧图像内定义的AF评价区域(焦点评价区域)内的亮度信号。AF 评价区域，由相互分离的多个要素区域形成。图27 (a)表示AF评价区 域的设置例。例如，通过将帧图像分别在垂直方向和水平方向三等分，从
io 而在帧图像内定义9个分割区域。然后，如图27 (a)所示，将该9个分 割区域内位于帧图像中央的分割区域的整体或者一部分作为要素区域 AR1 ，将位于要素区域AR1的上下左右的分割区域的整体或者一部分作为 要素区域AR2 AR5。这种情况下，要素区域AR1 AR5的总计区域相当 于AF评价区域。另外，还可由一个要素区域形成AF评价区域。例如，15可以将要素区域AR1本身作为AF评价区域。在以下说明中，假设由要素 区域AR1 AR5形成AF评价区域。
HPF82，只提取由提取部81所提取的亮度信号中的规定高频成分。例 如，由具有如图7所示这样的3X3的滤波器大小的拉普拉斯滤波器形成 HPF82，进行使该拉普拉斯滤波器作用于AF评价区域内的各要素的空间
20 滤波。这样，由HPF82依次得到与该拉普拉斯滤波器的滤波特性相应的输 出值。
累计部83，对通过HPF82所提取的高频成分的大小(即，HPF82的 输出值的绝对值)进行累计。该累计，是按每个要素区域分别进行的。因 此，计算关于要素区域AR1 AR5的各累计值。累计部83，通过依据事
25先决定的加权系数对各累计值进行加权相加从而计算AF评价值。假设要 素区域AR1对应的加权系数比其他要素系数对应的加权系数更高。例如， 如图27 (b)所示，考虑要素区域AR1对应的加权系数为2.0且其他要素 区域AR2 AR5对应的加权系数为l.O的情况。这样，计算将对要素区域 AR1计算的累计值乘以2所得到的值、与对要素区域AR2 AR5计算的
30累计值之间的总和作为AF评价值。对依次得到的帧图像计算的各AF评价值，逐次被传递给图1的
CPU23。关于某帧图像的AF评价值，与该帧图像的AF评价区域内的高 频成分的量大概成比例，且随着该量的增大而增大。高频成分的量也叫做 高频成分的强度。
5 在自动聚焦控制的执行时， 一边使聚焦透镜31 —点一点移动一边依
次求出AF评价值，求出AF评价值为最大(或者极大)的聚焦透镜31的 位置作为调焦透镜位置。然后，例如将在将聚焦透镜31配置在调焦透镜 位置的状态下连续摄影的三张帧图像作为上述的观测低分辨率图像L,
L3处理。
io 该观测低分辨率图像L, L3也被提供给AF评价部80，观测低分辨率
图像L, L3各自对应的AF评价值也如上述方式求出。然后，在第七实施 例中，将观测低分辨率图像L, L3的AF评价值中最大的AF评价值所对 应的观测低分辨率图像设置作为基准图像。
图28为第七实施例涉及的实施超分辨处理的超分辨部50d的内部框
15 图。超分辨部50d，其构成具备由符号51、 80、 53d以及54 57所参照 的各部分、和帧存储器61 64。即，通过将图4的超分辨部50中的模糊 量推定部52以及基准图像设置部53调换成AF评价部80以及基准图像设 置部53d从而形成超分辨部50d。超分辨部50d内除AF评价部80以及基 准图像设置部50d以外的部位的动作，与图4的超分辨部50的该部位的
20 动作相同，因此省略对相同部位的重复说明。基准图像设置部53d，由 CPU23实现。但是，也可以由影像信号处理部13实现基准图像设置部53d 的功能。
AF评价值80，将关于观测低分辨率图像L, L3的AF评价值发送给 基准图像设置部53d。基准图像设置部53d，基于关于图像Li U的AF
25 评价值进行设置基准图像以及参照图像的处理。具体而言，确定对图像 L, L3所求出的3个AF评价值内最大的AF评价值，将该最大的AF评 价值对应的观测低分辨率图像设置作为基准图像，另一方面设置剩下的两 张观测低分辨率图像作为参照图像。设置基准图像以及参照图像之后的动 作，与第一实施例相同。
30 当前，考虑摄像装置1的视野内包含运动被摄体的情况。所谓运动被摄体，是指在实际空间上移动的被摄体。然后，取得图29的帧图像361、
362以及363，假设帧图像361、 362以及363分别为观测低分辨率图像 M、 L2以及L3的情况。帧图像361 363中包含作为运动被摄体的运动物 体，因该运动物体相对摄像装置1相对地移动，从而该运动物体在帧图像 5 361内由右侧描绘，在帧图像362内描绘在大约中央，在帧图像363内由 左侧描绘。并且，在帧图像361 363的摄影时，按照对该运动物体对焦 的方式固定聚焦透镜31的透镜位置。
这种情况下，由AF评价值的计算方法能理解，若图像L,、 L2以及 L3对应的AF评价值内图像L2对应的AF评价值成为最大的可能性高。然 io后，若实际上图像L2对应的AF评价值变得最大，则由于将图像L2设置 为基准图像进行超分辨处理，因此与图像L2同样地，在所得到的高分辨率 图像内所关注的运动物体位于大约中央。
根据本实施例，便得到摄影者所关注的运动被摄体(即处于焦点的运 动被摄体)配置在中央的高分辨率图像。即，可自动得到与摄影者的意图 15 —致的优选构图的高分辨率图像。
另外，在本实施方式的超分辨处理中，采用线性插值等由基准图像生 成初始高分辨率图像。并且，依据以基准图像为基准的基准图像与各参照 图像之间的位置偏离量，根据高分辨率图像(最初为初始高分辨率图像) 生成推定低分辨率图像，按照该推定低分辨率图像与观测低分辨率图像之 20间的误差被最小化的方式对高分辨率图像更新。因此，最终得到的高分辨 率图像，叫做使基准图像的分辨率提高的图像(参照图像是为了提高其分 辨率所参照的图像)。因此，若设置图29的帧图像362作为基准图像，则 在所得到的高分辨率图像内，所关注的运动物体位于大约中央。 (第八实施例)
25 接着说明第八实施例。第八实施例中，详细说明根据多张观测低分辨
率图像得到高分辨率图像的要素技术。可以将第八实施例中记载的事项应 用于上述第一 第七实施例中。
在第八实施例中，为了简化说明，以根据具有3X3的图像大小的两 张观测低分辨率图像具有生成6X6的图像大小的一张高分辨率图像的情
30况为例。将两张观测低分辨率图像内的一张称作第一观测低分辨率图像，将另一张称作第二观测低分辨率图像。将第一观测低分辨率图像设置作为 基准图像，将第二观测低分辨率图像设置作为参照图像。另外，在以下说 明中，分别将第一以及第二观测低分辨率图像简称为第一以及第二观测图 像。
5 图30 (a)以及(b)表示第一以及第二观测图像的像素排列，图30
(c)表示高分辨率图像的像素排列。图30 (c)的像素排列是包含初始高 分辨率图像HQ的高分辨率图像Hn的像素排列(n为0以上的整数)。并且， 虽然在超分辨运算处理的过程中根据高分辨率图像生成推定低分辨率图 像以及差分图像(参照图8)，但与第k观测图像对应的推定低分辨率图像
io以及差分图像的像素排列也与第k观测图像的像素排列相同(第八实施例 中k为1或2)。以下将与第k观测图像对应的推定低分辨率图像以及差分 图像分别称作第k张推定低分辨率图像以及差分图像。
图30 (a) (c)以及后述的图32、图33 (a)以及(b)还有图35 中，涂黑的四角形表示配置第一观测图像或者第一推定分辨率图像或者第
15 —差分图像的像素的点，涂黑的三角形表示配置第二观测图像或者第二推 定低分辨率图像或者第二差分图像的像素的点，涂黑的圆点表示配置高分 辨率运动图像的像素的点。
在各图像中将像素配置成矩阵状。采用0Si芸2且0芸j^2的范围内 的i以及j以(i， j)示出表示一张观测图像(或者推定低分辨率图像或者
20 差分图像)中的总计9个像素的位置的坐标。但是，i以及j为整数。采用 0^iS5且0^j^5的范围内的i以及j以(i， j)示出表示高分辨率图像 中的总计36个像素的位置的坐标。i表示行方向(换言之垂直方向)的坐 标值，j表示列方向(换言之水平方向)的坐标值。
进而，分别以y,以及y2表示表现为矩阵的第一以及第二观测图像。
25并且，如第一实施例所描述那样，以x"表示表现为矩阵的高分辨率图像 Hn。然后，以y, (i， j)表示第一观测图像内的坐标(i， j)中的像素的像 素值，且以》(i， j)表示第二观测图像内的坐标(i， j)中的像素的像素 值，以x11 (i， j)表示高分辨率图像Hn内的坐标(i， j)中的像素的像素 值。这样，y"》以及x"由式(B —1)、 (B—2)以及(B —3)表示。另
30夕卜，如上述，附加了上标T的矩阵表示原矩阵的转置矩阵。y' 二[y,(0,0),y,(0，l),…,y,(2，2)]T……(B—l) y2 = [y2(O，O),y2(0,1 ),…，y2(2,2)f…...(B—2) x'1 "xn(0,0),x"(0,l),…,x'1(5,5)]1...... (B —3)
5
(亚像素精度的位置偏离量的计算方法) 首先，针对以作为基准图像的第一观测图像为基准的第一以及第二观 测图像之间的位置偏离量的计算方法进行说明。如第一实施例所描述，采 用代表点匹配法或块匹配法、梯度法等，按照具有亚像素的辨析率的方式 10计算位置偏离量。作为例子，对采用代表点匹配法的情况进行说明。
第一观测图像中设置的代表点为坐标(0， 0)中的像素，在设代表点 匹配法中的检测块大小为1X1的情况下，与位置(i， j)对应的相关值E (i， j)由式(B—4)表示。针对(i， j) = (0， 0)、 (0， 1)、…(2， 2) 分别求出相关值E (i， j)，对所得到的总计9个相关值E (0， 0) E (2， 152)内最小的相关值进行确定。若以E (i。， j。)表示该最小的相关值，则 由i。及j。决定第一以及第二观测图像之间的整数精度的位置偏离量。
E(i,j) = |yi(0,0)-y2(i，j)|
(B_4)
20 位置偏离量的小数点部分，基于提供最小相关值E (i。， j。)的像素的
上下左右像素所对应的相关值以及相关值E (i。， j。)，例如利用图31 (a) 以及(b)所示这样的抛物线近似进行计算。例如，在i。二l且j。二l的情 况下，位置偏离量的小数点部分的行方向成分iSUB以及列方向成分jSUB， 是根据下式(B —5)以及(B —6)求出的。但是，也可以采用线性近似等
25采用公知的任意方法导出小数点部分的位置偏离量。
工SUB =-
E(0，l)-E(2，l)
2E(0，1)_4E(1,1) + 2E(2,1)
(B_5)
30
Js
E(l，0)-E(l,2)
UB
2E(1,0)-4E(1,1) + 2E(1,2)
(B—6)10
15
20
25
最终第一以及第二观测图像之间的位置偏离量，由i。及j。、和isuB及 JSUB表现。即，该位置偏离量的行方向成分以及列方向成分(换言之垂直 成分以及水平成分)，分别以(i。+isuB)以及(j。+jSUB)表示。
(初始高分辨率图像的生成方法) 初始高分辨率图像H。，采用线性插值或双立方插值，根据作为基准图
像的第一观测图像生成。例如，令y, (0， 0) =xQ (0， 0)，采用线性插 值通过以2倍的放大率对第一观测图像进行放大生成初始高分辨率图像 Ho的情况下，以图32的星形标记表示的图像Ho内的坐标(1， 3)中的像 素值X() (1， 3)，根据下式(B — 7)计算。
::0 y,(0,l) + y,(0，2) + y,(l,l) + y,(1，2)……(B —"
4
(推定低分辨率图像以及差分图像的生成方法) 在以图4等的超分辨处理部57执行的超分辨运算处理中，通过对高 分辨率图像作用矩阵Wk重新构成低分辨率图像(上述的推定低分辨率图 像)(参照图8)。矩阵Wk，如上述，是包含由位置偏离检测部54所计算 的位置偏离量、表示通过从高分辨率图像向低分辨率图像的低分辨率化所 产生的图像模糊的点扩散函数(point spread function)、以及从高分辨率图 像向低分辨率图像的下采样(down sampling)在内的图像变换矩阵。作为 该矩阵Wk中所包含的点扩散函数，例如采用由下式(B — 8)所表示的高 斯函数PSFk (i， j)。
PSFk(i,j) = ~^.eXp
(i-sx -vkx)2+G'-sv-vky)2、
2a2
(B — 8)
30
在此，vkx以及Vky表示第k观测图像相对高分辨率图像的位置偏离量 的小数点部分，vkx以及Vky分别为其位置偏离量的行方向成分以及列方向 成分的小数点部分。但是，VkX以及Vky表现为高分辨率图像上的值。艮p，
例如，以vkx=0.5表示在高分辨率图像上行方向成分的0.5像素的位置偏
40离。
SX以及Sy表示在由高分辨率图像生成推定低分辨率图像时作用于高分
辨率图像的空间滤波器的大小(滤波器宽度的大小)。Sx以及Sy取整数值。 在该例中，Sx = Sy = 2。当《以及V的值不含小数部分时，该空间滤波器
5在行方向以及列方向的抽头数分别为(2sx+l)以及(2Sy+l)，当VfcX以
及Vky的值含小数部分时，该空间滤波器在行方向以及列方向的抽头数分
别为3sx以及3sy。并且，c^表示高斯函数的方差。
作为例子，考虑在第一以及第二观测图像相对高分辨率图像的位置偏
离量的整数部分为零，且v,x二0、 Vly=0、 v2x=0.5、 V2^0.5的情况下， io根据高分辨率图像生成第一以及第二推定低分辨率图像的坐标(1， 1)的 像素的情况。
这种情况下，关于第一推定低分辨率图像，由于Vlx=0、 Vly=0，因 此作用于高分辨率图像的空间滤波器在行方向以及列方向的抽头数均为5 (=2X2 + 1)。图33 (a)的正方形411，表示为了生成第一推定低分辨 15率图像内的坐标(1， 1)的像素412而应作用于高分辨率图像的空间滤波 器的滤波器宽度(滤波器的脉冲响应不是零的范围)。为了通过重新构成 来生成像素412，参照位于滤波器宽度411内的高分辨率图像的25个像素
(即坐标(0， 0) (4， 4)的像素)的像素值。在图33 (a)的下侧， 表示作用于该25个像素的矩阵W,的点扩散函数(以低分辨率图像为基准 20 的点扩散函数)。
并且，关于第二推定低分辨率图像，由于v/二0.5、 v/=0.5，因此作 用于高分辨率图像的空间滤波器在行方向以及列方向的抽头数均为6(=3 X2)。图33 (b)的正方形421，表示为了生成第二推定低分辨率图像内 的坐标(1， 1)的像素422而应作用于高分辨率图像的空间滤波器的滤波 25 器宽度。为了通过重新构成而生成像素422，参照位于滤波器宽度421内 的高分辨率图像的36个像素(即坐标(0， 0) (5， 5)的像素)的像 素值。在图33 (b)的下侧，表示作用于该36个像素的矩阵W2的点扩散 函数(以低分辨率图像为基准的点扩散函数)。
Wkxn以矩阵表现由高分辨率图像Hn重新构成的第k推定低分辨率图 30像，由下式(B—9)表示。图34表示矩阵W,的例子。在本例的情况下，矩阵W,为9X36的矩阵。然后，通过从第k观测图像的各像素值中减去 第k推定低分辨率图像的各像素值从而生成第k差分图像(参照图8)。表
示第k差分图像的矩阵(yk—Wkxn)，由下式(B—IO)表示。
5 Wk,"(WkX，),(WkX，,l),…,(WkX"(2,2)f……(B —9)
yk—WkX、[dk(0，0),dk(0，l),…,d"2,2)r……(B —10)
(基于差分图像的高分辨率图像的更新) 10 在得到各低分辨率图像对应的差分图像之后，通过将各差分图像反馈
在高分辨率图像的坐标面上从而对高分辨率图像进行更新。
例如，如图35所示，反馈在高分辨率图像上的坐标(2、 3)的像素 432的第一差分图像内的像素是四角形框431内的6个像素(黑色四角形 的像素)，反馈在像素432的第二差分图像内的像素是四角形框431内的9 15 个像素(黑色三角形的像素)。但是，如上述，第一以及第二观测图像相 对高分辨率图像的位置偏离量的整数部分是零，且v,x = 0、 Vly=0、 v2x =0.5、 v/=0.5。
与像素432对应的反馈值error (2， 3)，由下式(B—ll)表示。在此， PSF, (0， 1)等的值依据上述式(B —8)。图36 (a)以及(b)表示在计 20算error (2， 3)时使用的转置矩阵W,T以及W2T的点扩散函数(以高分辨 率图像为基准的点扩散函数)。
e丽(2,3) = PSF, (1,0)d, (0,1) + PSF, (3,0)d, (0,2) + PSF, (1,2)d， (1,1) + PSF, (3,2)d, (1,2) + PSF' (1,4)d, (2,1) + PSF, (3,4)d, (2,2) + PSF2 (0,1 )d2 (0，0) + PSF2 (2， 1 )d2 (0,1) + PSF2 (4,1 )d2 (0,2) + PSF2 (0,3)d2 (1,0) + PSF2 (2，3)d2 (1,1) + PSF2 (4,3)d2 (1,2)
+ PSF2(0,5)d2(2,0) + PSF2(2，5)d2(2,l) + PSF2(4,5)d2(2,2) ...... (B_ll)
反馈值是对形成高分辨率图像的各像素求出的。表示所求出的所有反 25馈值的矩阵error,是通过如下式(B —12)所示的表示第k差分图像的矩 阵(yk—Wkxn)与Wk的转置矩阵之间的积和运算所求出的。另外，图37
42表示图34的矩阵W,的转置矩阵。在求出矩阵error之后，根据式(B—13) 对矩阵&进行更新后生成矩阵&+1。即，对高分辨率图像Hn进行更新后 生成高分辨率图像Hn+,。式(B—13)与第一实施例所述的式(A—l)等 /乂
效
error = ￡]WkT(yk _Wkxn)
"' ......(B —12)
xn+1 = xn+(3Lerror-aCTCxn」......(B—13)
10 (变形等)
上述说明中所示的具体数值只是例示，当然也可以将他们变更为各种 数值。作为上述实施方式的实施例或者注释事项，以下记做注释1 注释
6。各注释所记载的内容，只要不矛盾都可以任意组合。 (注释1)
is 上述是根据2张、3张或4张低分辨率图像生成一张高分辨率图像的
例子，但如果用于生成高分辨率图像的低分辨率图像的张数是2以上则可 以是任意值。 (注释2)
在上述实施方式中，作为超分辨处理例示了采用作为重新构成型方式 20的一种的MAP方式的超分辨处理，但本发明可利用的超分辨处理可以是 任何方式的超分辨处理。虽然在上述实施方式中，在生成初始高分辨率图 像之后，反复执行包括更新量的计算以及基于该更新量的高分辨率图像的 更新在内的超分辨运算处理，但该超分辨运算处理的反复并不是必须的， 也可以将仅进行一次超分辨运算处理所得到的高分辨率图像H,作为应最 25终求出的高分辨率图像进行处理。 (注释3)
在上述各实施例中，对基准图像的选择所采用的各种指标单独进行了 说明。例如，作为该指标，在第一 第三实施例中采用低分辨率图像的模 糊量，在第四实施例中采用传感器检测数据，在第五实施例中采用图像上 30的主要被摄体的大小，在第六实施例中采用脸区域内的脸的状态(眼睛的开闭状态或脸的表情)。
还可以将这些各种指标内的任意两个以上的指标组合使用来进行基 准图像的选择。例如，也可以基于模糊量和脸区域内的脸的状态进行基准 图像的选择。更具体而言，例如在存在多个通过眨眼检测处理判断为眼睛 5打开的观测低分辨率图像的情况下，也可以将判断为眼睛打开的多个观测 低分辨率图像内模糊量最少的观测低分辨率图像设置为基准图像。基于模 糊量和脸区域内的脸的状态进行基准图像的选择的方法，当然可以是基于 模糊量进行基准图像的选择的方法，也可以是基于脸区域内的脸的状态进 行基准图像的选择的方法。 10 (注释4)
图1的摄像装置1，可通过硬件、或硬件与软件的组合来实现。尤其，
还可以釆用软件实现在图4、图17、图21、图24或图28的超分辨部50、 50a、 50b、 50c或50d内执行的运算处理的一部分或者全部。当然，也可 以仅由硬件形成超分辨部50、 50a、 50b、 50c或50d。在采用软件构成摄 15像装置1的情况下，关于由软件实现的部位的框图，表示该部位的功能框 图。
(注释5)
还可以由与摄像装置l不同的外部机器(例如个人计算机未图示) 实现超分辨部50、 50a、 50b、 50c或50d的功能。这种情况下，按照在该 20 外部机器内设置与超分辨部50、 50a、 50b、 50c或50d等同的超分辨部的 方式，在釆用摄像装置l取得多个低分辨率图像之后，可以将该多个低分 辨率图像的图像信息通过无线或者有线或者经由记录介质提供给上述外 部装置。
(注释6)
25 例如，还可以按照如下方式进行考虑。还可以将超分辨部50、 50a、
50b、 50c或50d称作图像处理装置。超分辨处理部57，作为高分辨率图 像生成部发挥功能。还可以考虑该高分辨率图像生成部中包含生成部55。
30
权利要求
1. 一种图像处理装置，根据多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，上述图像处理装置具备基准图像设置部，其基于上述多个低分辨率图像的图像信息从上述多个低分辨率图像中选择基准图像，将上述基准图像作为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理，从而生成上述高分辨率图像。
2. 根据权利要求l所述的图像处理装置，其特征在于，10 还具备模糊量推定部，其基于上述图像信息推定各低分辨率图像中包含的模糊的大小，上述基准图像设置部，基于上述模糊量推定部的推定结果选择上述基 准图像。
3. 根据权利要求2所述的图像处理装置，其特征在于，15 上述模糊量推定部，基于各低分辨率图像中的高频成分的量，推定各低分辨率图像中所含的模糊的大小。
4. 根据权利要求2所述的图像处理装置，其特征在于， 上述多个低分辨率图像，形成采用摄像装置通过依次摄影所得到的按时序排列的低分辨率图像列， 20 上述模糊量推定部，基于上述低分辨率图像列中的在时间上邻接的低分辨率图像之间的位置偏离量，检测在上述低分辨率图像列的摄影期间内 上述摄像装置的抖动状态，并根据上述抖动状态的检测结果推定上述多个 低分辨率图像之间的上述模糊的大小的大小关系。
5. 根据权利要求2所述的图像处理装置，其特征在于，25 上述基准图像设置部，将上述多个低分辨率图像内所推定的模糊的大小为最小的低分辨率图像选择作为上述基准图像。
6. 根据权利要求l所述的图像处理装置，其特征在于， 各低分辨率图像是通过摄像装置的摄影得到的，上述图像信息，包含对在各低分辨率图像的曝光期间内上述摄像装置30的抖动状态进行检测的传感器的检测数据，上述基准图像设置部，基于上述传感器的检测数据选择上述基准图像。
7. 根据权利要求6所述的图像处理装置，其特征在于， 上述基准图像设置部，将上述多个低分辨率图像中在曝光期间内的上5述摄像装置的抖动大小为最小的低分辨率图像选择作为上述基准图像。
8. 根据权利要求l所述的图像处理装置，其特征在于， 还具备被摄体大小检测部，其基于上述图像信息，对各低分辨率图像中包含的特定被摄体在图像上的大小进行检测，上述基准图像设置部，基于检测的上述特定被摄体的大小选择上述基 10 准图像。
9. 根据权利要求l所述的图像处理装置，其特征在于，还具备脸状态检测部，其基于上述图像信息从各低分辨率图像中检测 人物的脸，并且检测上述脸的状态，上述基准图像设置部，基于上述脸状态检测部的检测结果选择上述基15 准图像。
10. 根据权利要求l所述的图像处理装置，其特征在于，上述基准图像设置部，将上述多个低分辨率图像内除上述基准图像以 外的低分辨率图像设置作为参照图像，该图像处理装置，进一步具备 20 位置偏离检测部，其以比上述基准图像的像素间隔高的辨析率求出上述基准图像与上述参照图像之间的位置偏离量；和高分辨率图像生成部，其采用所求出的位置偏离量与上述多个低分辨 率图像，通过以上述基准图像为基准进行上述高分辨率化处理，从而生成 上述高分辨率图像。
11. —种摄像装置，包括摄像部，其通过依次摄影得到按时序排列的多个低分辨率图像；和权利要求1所述的图像处理装置，其通过对上述多个低分辨率图像的 高分辨率化处理，从而生成高分辨率图像。.
12. —种摄像装置，具备' 30 摄像部，其具有摄像元件以及用于将与被摄体相应的光学像成像在上述摄像元件上的光学系统，通过摄影得到摄影图像；和焦点评价值导出部，其基于在上述摄影图像内设置的焦点评价区域的 影像信号，导出焦点评价值，该摄像装置基于上述焦点评价值对上述光学系统进行驱动控制以进 行自动聚焦控制，该摄像装置进一步具备图像处理装置，其将从上述摄像部所得到的多 个摄影图像作为多个低分辨率图像来参照，根据上述多个低分辨率图像生 成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，上述图像处理装置，具有基准图像设置部，其基于对各低分辨率图像 10导出的上述焦点评价值从上述多个低分辨率图像中选择基准图像，以上述 基准图像为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分 辨率化处理，从而生成上述高分辨率图像。
13. 根据权利要求12所述的摄像装置，其特征在于，在上述自动聚焦控制中，按照上述焦点评价值取极大值的方式对上述15光学系统进行驱动控制，上述基准图像设置部，将上述多个低分辨率图像内与最大焦点评价值 对应的低分辨率图像选择作为上述基准图像。
14. 根据权利要求12所述的摄像装置，其特征在于，上述基准图像设置部，将上述多个低分辨率图像内除上述基准图像以 外的低分辨率图像设置作为参照图像， 上述图像处理装置，进一步具备位置偏离检测部，其以比上述基准图像的像素间隔高的辨析率求出上述基准图像与上述参照图像之间的位置偏离量；以及高分辨率图像生成部，其采用所求出的位置偏离量和上述多个低分辨 率图像，通过以上述基准图像为基准进行上述高分辨率化处理，从而生成 上述高分辨率图像。
15. —种图像处理方法，根据多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，基于上述多个低分辨率图像的图像信息从上述多个低分辨率图像中 选择基准图像，以上述基准图像为基准，通过对上述多个低分辨率图像执行使分辨率 增大的高分辨率化处理，从而生成上述高分辨率图像。
全文摘要
本发明涉及图像处理装置及方法以及摄像装置。本发明提供的图像处理装置中，根据多个低分辨率图像生成具有比上述低分辨率图像的分辨率高的分辨率的高分辨率图像，具备基于上述多个低分辨率图像的图像信息从上述多个低分辨率图像中选择基准图像的基准图像设置部，将上述基准图像作为基准，通过对上述多个低分辨率图像执行使分辨率增大的高分辨率化处理从而生成上述高分辨率图像。
文档编号G06T3/40GK101488216SQ20091000270
公开日2009年7月22日 申请日期2009年1月19日 优先权日2008年1月18日
发明者冈田诚司, 竹内悟 申请人:三洋电机株式会社