摄像设备的制作方法

专利名称：摄像设备的制作方法
技术领域：
本发明涉及 一 种拍摄被摄体的图像的摄像设备。
背景技术：
近年来，作为数字照相机等摄像设备，已经开发出除了拍 摄静止图像的功能以外还具有拍摄运动图像的功能的摄像设备 以及具有在拍摄静止图像或运动图像的同时记录声音的功能的 摄像设备。
这种摄像设备包括摄像元件，该摄像元件包括拍摄分辨率 比运动图像的分辨率高的静止图像所需要的像素数。在摄像元
件上执行z像素相加、间除(decimation)等，结果可以使用适合于 运动图像的像素数并以高的帧频拍摄运动图像。这样，摄像设 备具有静止图像驱动模式(下文中称为"静止图像模式")和运 动图像驱动模式(下文中称为"运动图像模式")，其中，静止 图像驱动模式照原样输出由摄像元件所拍摄的图像，运动图像 驱动模式执行像素相加、间除等。
作为用于在拍摄运动图像期间拍摄静止图像的技术，曰本 特开2006-101473号公报提出了根据要拍摄的图像(运动图像或 静止图像)将摄像元件的驱动模式切换至运动图像模式或静止 图像模式时拍摄图像的技术。
提出了通过对多个低分辨率图像进行合成来生成高分辨率 图像的技术(下文中称为"超分辨率(super-resolution)"或"超 分辨率处理")。通过应用这种超分辨率处理，能够在拍摄运动 图像期间拍摄静止图像。例如，作为与超分辨率相关联的技术， 日本特开2007-19641号公报提出了在执行超分辨率处理之后或在执行超分辨率处理期间执行信号处理的图像信号处理方法。
然而，当在拍摄运动图像期间拍摄静止图像时将摄像元件 的驱动模式切换至静止图像模式时，不能再以拍摄运动图像所 需要的帧频进行摄像。因此，在拍摄静止图像期间，需要维持
紧挨着的前一帧，或者需要使用全黑帧(full black frame)等替代 帧。结果，出现了问题，即实际上发生运动图像定格。
在应用超分辨率处理时，能够避免运动图像定格。然而， 需要对用于运动图像的低分辨率图像和经过了超分辨率处理的 高分辨率图像都应用信号处理。因此，需要将执行包括同步处 理、APC校正处理等各种处理的信号处理单元配置为时分处理 低分辨率图像和高分辨率图像(即，实现高速运转)，或者需要 与各种处理相对应地单独设置这些单元，从而导致成本增加。
此外，当对经过了信号处理的运动图像的图像应用超分辨 率处理时，针对运动图像施加的APC校正分量由于超分辨率处 理的结果而表现为不自然的渗色(bleeding)。例如，在执行APC 校正处理时，混合了边缘增强分量。因此，在对混合了边缘增 强分量的图像应用超分辨率处理时，该边缘增强分量扩散，从 而在通过超分辨率处理所生成的高分辨率图^f象的边缘部分中生 成不自然的暗部和亮部。

发明内容
本发明提供一种能够在抑制成本增加的同时在拍摄运动图 像期间拍摄具有高图像质量的静止图像的摄像设备。
根据本发明的第 一 方面，提供了 一种用于拍摄被摄体的图 像的摄像设备，所述摄像设备包括摄像元件，用于将经由镜 头形成的光学图像转换成图像信号；信号处理单元，用于对所 述图像信号应用信号处理并输出处理后的图像信号；超分辨率处理单元，用于当在拍摄所述被摄体的运动图像期间要拍摄所 述被摄体的静止图像时，通过对从所述信号处理单元输出的多 个图像信号进行合成来应用用于提高分辨率的超分辨率处理，
并输出生成所述被摄体的静止图像所需要的图像信号；以及 APC校正单元，用于对从所述信号处理单元输出的图像信号和 从所述超分辨率处理单元输出的图像信号均应用用于增强边缘 的APC校正处理，并输出处理后的图像信号。
根据以下参考附图对典型实施例的说明，本发明的其它特 征将变得明显。


图l是示出作为本发明第一实施例的摄像设备的示意框图。 图2是示出作为本发明第二实施例的摄像设备的示意框图。 图3是示出作为本发明第三实施例的摄像设备的示意框图。 图4是示出在APC校正处理中确定APC校正的强度所需要
的APC系数的例子的图。
图5A和5B是用于解释APC校正处理的图。
图6A 6E是用于解释APC校正处理的图。
图7是示出在对图6A 6E中示出的、经过了 APC校正处理的
第一帧图像和第二帧图像应用超分辨率处理时的图像的图。
图8是示出在对图6A 6E中示出的第 一 帧图像和第二帧图
子的图。
图9是用于解释超分辨率处理的流程图。 图IO是示出在超分辨率处理中使用的帧图像和在超分辨率 处理之后的图像的图。
图ll是用于解释超分辨率处理中的插值处理的图。
具体实施例方式
在下文中，将参考

本发明的优选实施例。注意， 在所有附图中，相同的附图标记表示相同的构件，并且将避免 对其的重复说明。
在对本实施例的才聂像设备进行说明之前，以下将说明信号 处理。
具有颜色滤波器的单C C D型的摄像设备只能从摄像元件获 得每像素的单色的信息。例如，在原色滤波器的情况下，由于 每像素只能获得原色即红色、绿色和蓝色中的仅一种颜色的颜 色信息，因此确定阵列使得相邻的像素具有不同的颜色信息。 将用于获得每像素的全部三原色的处理称为同步处理。
除同步处理以外，信号处理还包括伽玛校正处理、APC校 正处理和KNEE校正处理等图^f象调整处理。特别地，APC校正处 理应用边缘增强，并且具有恢复作为同步处理等各种处理的结 果而模糊的边缘的作用。因此，执行信号处理的信号处理单元 是重视图像质量的摄像设备中的重要电路，并且具有大的电路 规模。
例如，通过将由空间滤波器所提取出的边缘分量乘以如图4 所示的确定APC校正的程度(强度)所需要的APC系数并对结果 相加，来实现APC校正处理。根据APC系数，对于图5A中示出 的APC校正处理之前的图像(图像信号)，确定图5B中示出的 APC校正处理之后的图像(图像信号)中边缘增强分量的形状。 当对包括许多边缘增强分量的图像应用超分辨率处理时，这些 边缘增强分量趋于沿配准的偏移方向扩散。图4是示出在APC 校正处理中用于确定APC校正的强度所需要的APC系数的例子 的图。图5A和5B是用于解释APC校正处理的图图5A示出APC校正处理之前的图像，而图5B示出APC校正处理之后的图像。
例如，下面将说明要拍摄简单边缘的图像的情况。假定由 局限于X轴或Y轴的一维代替二维来限定图像。以下将分析如图 6 A所示对所拍摄的边缘进行采样的情况。假定拍摄图6 A中由三 角形(△)所表示的点作为第 一 帧图像，并且拍摄由正方形(□) 所表示的点作为第二帧图像。图6B示出在这种情况下的第一帧 图像，而图6C示出第二帧图像。图6D示出通过对第一帧图像应 用APC校正处理所获得的图像，而图6E示出通过对第二帧图像 应用APC校正处理所获得的图像。
当对图6D和6E中示出的经过了 APC4交正处理的第 一帧图 像和第二帧图像应用超分辨率处理时，如图7所示，在边缘增强 分量扩散的状态下合成这些图像。因此，应用前述APC校正处 理以达到即使在通过超分辨率处理合成图像之后边缘增强分量 仍不明显的程度，并且在超分辨率处理之后再次应用APC校正 处理。结果，在拍摄运动图像和超分辨率处理时可以共用该信 号处理单元，从而抑制了电路规模的增大。
图8示出当对图6B和图6C中示出的第 一 帧图像和第二帧图 像进行超分辨率处理之后应用APC校正处理时所获得的图像。 信号处理之前图像的每颜色分量的位深度(bit depth)比信号处 理之后的要深。因此在对信号处理之前的图像应用超分辨率处 理时，需要大容量的存储器作为用于保持通过该超分辨率处理 所合成的图像的存储器。然而，由于在信号处理之前应用用于 降低位深度的处理会导致图像质量的显著下降，因此优选对信 号处理之后的图像应用超分辨率处理。
以下将详细说明超分辨率处理。如上所述，超分辨率处理 是用于从具有重叠部分的多个低分辨率图像生成高分辨率图像 的处理。在本实施例中，超分辨率处理从多个帧图像(运动图像)生成静止图像。
图9是用于解释超分辨率处理的流程图。在步骤S1002中， 获取多个选择的帧图像。在本实施例中，获取四个帧图像。将 在步骤S1002中获取的多个选择的帧图像临时存储在存储器 中。
注意，每个帧图像包括表示点矩阵形状中的像素的色调值 (像素值)的色调数据(像素数据)。每个像素数据是包括Y(亮度)、 Cb(蓝色色差)和Cr(红色色差)分量的YCbCr数据，或或是包括 R(红色)、G(绿色)和B(蓝色)分量的RGB数据等，并且依赖于摄 像元件的类型。
在本实施例中，为了明确对超分辨率处理的说明，如图IO 和ll(后面将说明)所示，将每个帧图像表示为只有一种颜色的 多值图像数据。此外，代替实际运动图像大小(例如，VGA大小)， 将图像大小表示为8 x 8 = 64个像素的图像数据。
在步骤S1004中，估计用于校正在步骤S1002中获取的四个 帧图像中的三个帧图像的各帧的偏差(位置偏差)的校正量。在 该校正量估计中，将四个帧图像中的一个帧图像设置为基准帧， 并将其余三个帧图像设置为对象帧。对于各个对象帧，估计用 于校正相对于基准帧的位置偏差的校正量。在本实施例中，将 在步骤S10 02中获取的帧图像中最早生成的帧图像设置为基准 帧，并将其余三个帧图像设置为对象帧。
在以下的说明中，由11(11=0、 1、 2、 3)表示在步骤S1002中 获取的四个帧的编号(帧编号)，将帧编号为n的帧表示为帧n, 并且将帧n的图像表示为帧图像Fn。例如，将帧编号11=0的帧表 示为帧0，并且将该帧0的图像表示为帧图像FO。注意，将帧0 设置为基准帧，并且将帧1 3设置为对象帧。将基准帧的帧图 像FO表示为基准帧图像，并且将对象帧的帧图像F1 F3表示对象帧图像。
可以通过平移(横向或纵向)的偏差和旋转的偏差的组合来 表示图像的位置偏差。然而，在本实施例中，将不给出对旋转 偏差的说明和处理。
图IO是示出超分辨率处理中使用的帧图像和超分辨率处理 之后的图像的图。图10示出被摄体以及通过摄像所获得的基准 帧图像F0和对象帧图像F 1~F3 。围绕被摄体的虚线矩形表示在 拍摄基准帧图像F0时的视角，而实线矩形表示在拍摄对象帧图 像F1 F3时的一见角。
在图10中，设"um"为横向平移偏差量，"vm"为纵向平 移偏差量。此外，设"umn，，和"vmn"为各对象帧图像Fn(n二l 、 2、 3)的横向和纵向平移偏差量。例如，如图10所示，对象帧图 像F1相对于基准帧图像F 0有纵向平移偏差，并且由u m 1和v m 1 表示其偏差量。
为了将基准帧图像F0与各个对象帧图像F1 F3合成，必需 对各个对象帧图像的各像素的位置偏差进行校正，以消除各个
对象帧图像和基准帧图像之间的偏差。设"u"为在该校正中使 用的横向平移校正量，"v"为纵向平移校正量。并且，设"un" 和"vn"为各对象帧图像Fn(n^1、 2、 3)的横向和纵向平移校正 量。例如，由ul和vl表示对象帧图像Fl的校正量。
对各个对象帧图像的各像素的位置偏差的校正表示将对象 帧图像Fn(r^1、 2、 3)的各像素的位置在横向上移动un且在纵向 上移动vn。因此，由关系un =-umn和vn =-vmn表示各对象帧图 寸象Fn(n^1 、 2、 3)的才交正量un禾口 vn。例^口 ，由ul =國uml禾口vl =國vml 表示对象帧图像Fl的校正量ul和vl。
这样，通过使用校正量ul和vl校正对象帧图像F1的各像素 的位置，能够消除对象帧图像F1和基准帧图像FO之间的偏差。同样地，还使用校正量u2和v2以及校正量u3和v3对对象帧图像 F2和F3进行校正。
注意，基于基准帧图像F0的图像数据和对象帧图像F1 F3 的图像数据，计算各个对象帧图像Fn(n-l、 2、 3)的校正量un 和vn。该计算使用例如模式匹配方法、梯度法或最小二乘法等 预定的计算方法。将所计算出的校正量un和vn作为平移校正量 数据存储在存储器的预定区域中。
在步骤S1006中，通过将基准帧图像F0与经过了位置偏差 校正的对象帧图像F1 F3进行合成，来生成高分辨率的静止图 像。
在本实施例中，如图10所示，由l个像素来表示对象帧的单 位位置偏差。然而，在实际摄像中，发生一个像素间隔以下的 位置偏差，并且可以使用这种微小的位置偏差来实现超分辨率 处理。
因此，定义要生成的静止图像的像素(生成的像素)包括不 存在于基准帧图像和对象帧图像的任何 一 个中的像素。对于这 些像素，可以使用表示各生成的像素周围的像素的像素值的像 素数据(表示色调值的色调数据)来执行预定的插值处理。作为
插值处理，可以4吏用双线性(bilinear)法、双三次法和最邻近法 等各种插值处理。
以下将参考图ll说明使用基于双线性法的插值处理的情
况。从基准帧图像和对象帧图像中，选择具有位于距离生成的
像素GIP的位置最近的位置处的最邻近像素NIP的帧图像。在所
选择的帧图像中，将围绕生成的像素GIP的位置的三个像素确
定为周围像素PIP广PIP3，并且对通过对周围像素PIP广PIP3的数
据值加预定权重所获得的值进行平均，以获得生成的像素GIP 的数据值。通过对各个生成的1^象素重复这种处理，例如，如图10所示，
可以获得具有双倍分辨率的超分辨率图像。注意，分辨率不限 于双倍分辨率，并且可以设置各种倍数。随着插值处理中使用 的多个帧图像的数据值的数量增加，能够获得具有更高分辨率 的超分辨率图像。 第一实施例
图1是示出作为本发明第 一 实施例的摄像设备100的结构的 示意框图。摄像设备100能够同时拍摄被摄体的运动图像和静 止图像，并且在本实施例中摄像设备100实现为数字照相机。 如图l所示，摄像设备100包括镜头102、摄像元件104、 A/D 转换器106、信号处理单元108和超分辨率处理单元110。此外， 摄像设备100还包括切换单元112、 APC校正处理单元114、压缩 处理单元116、存储器单元118和存储卡120。
镜头102通过将来自被摄体的光投影至摄像元件104上而形 成光学图像。
摄像元件104通过光电转换将经由镜头102形成的光学图像 转换成图像信号(电信号)。
A/D转换器106将从摄像元件104输出的模拟图像信号转换
成数字图像信号。
信号处理单元108对从A/D转换器106输出的图像信号应用
信号处理。例如，信号处理单元108应用如下处理中的至少一个 作为信号处理图像信号中所包括的颜色信息的同步处理、滤 波处理、用于将图像信号分离成亮度信号和色差信号的分离处 理、伽玛校正处理和用于增强图像信号的边缘的APC校正处理。 并且，信号处理单元108还可以应用KNEE才交正处理等作为信号 处理。
超分辨率处理单元110通过对从信号处理单元108输出的多个图像信号进行合成来应用用于提高分辨率的超分辨率处理。 更具体地，当在拍摄被摄体的运动图像期间要拍摄该被摄体的
静止图像时，超分辨率处理单元110从信号处理单元108接收运 动图像的多个帧图像。超分辨率处理单元110对这多个帧图像应 用超分辨率处理以生成分辨率比运动图像的分辨率高的静止图 像(生成这种静止图像所需要的图像信号)。由于超分辨率处理 与如上所述的(参见图9 11)一样，因此将不给出对其的详细说 明。
切换单元112具有切换对APC校正处理单元114的输入的功 能(即，选择从信号处理单元108输出的图像信号或从超分辨率 处理单元110输出的图像信号的功能)。在本实施例中，切换单 元112根据摄像设备100是拍摄运动图像还是拍摄静止图像来选 择A侧或B侧路径。更具体地，在拍摄被摄体的运动图像时，切 换单元112选择B侧路径，并且不通过超分辨率处理单元110而 将从信号处理单元108输出的图像信号输入至APC校正处理单 元114。另一方面，当在拍摄被摄体的运动图像期间拍摄该被摄 体的静止图像时，切换单元112选择A侧路径，并且经由超分辨 率处理单元110将从信号处理单元108输出的图像信号输入至 APC校正处理单元114。
APC校正处理单元114对从信号处理单元108输出的图像信 号或从超分辨率处理单元110输出的图像信号应用用于增强边 缘的APC校正处理。
注意，信号处理单元108和APC校正处理单元114相互合作 地应用前述APC4交正处理。
压缩处理单元116对从APC才交正处理单元114输出的图像信 号应用压缩处理。
存储器单元118存储从压缩处理单元116输出的并且经过了压缩处理的图像信号。
存储卡120记录存储在存储器单元118中的图像信号。
以下将说明摄像设备1 OO的操作。本实施例将解释在拍摄被 摄体的运动图像期间要拍摄该被摄体的静止图像的情况。因此， 假定切换单元112选择B侧路径，并且信号处理单元108输出运 动图像的多个图像信号。
当在拍摄被摄体的运动图像期间检测到该被摄体的静止图 像的摄像指令时，切换单元112选择A侧路径，并将从信号处理 单元108输出的多个图像信号输入至超分辨率处理单元IIO。注 意，这多个图像信号在信号处理单元108中经过了包括APC校正 处理的信号处理。
如上所述，对输入至超分辨率处理单元110的多个图像信号 进行超分辨率处理以生成用于生成静止图像所需要的图像信 号，并将该图像信号输出至APC校正处理单元114。
对输入至APC校正处理单元114的图像信号进行APC校正 处理。将处理后的信号存储在存储器单元118中，并将其记录在 存储卡120中。
注意，在摄像设备100中，在信号处理单元108中对图像信 号应用的APC校正处理与在APC校正处理单元114中对图像信 号应用的APC校正处理不同。更具体地，信号处理单元108为了 提高超分辨率处理单元110中配准计算的计算精度而应用最低 要求的APC校正处理。另一方面，APC校正处理单元114为了提 高图像质量而应用APC校正处理。换言之，由信号处理单元108 对图像信号应用的APC校正处理的边缘增强的程度比由APC校 正处理单元114对图像信号应用的AP C校正处理的边缘增强的 程度弱。更具体地，信号处理单元108应用APC校正处理以达到 即使在通过超分辨率处理合成图像之后边缘增强分量仍不明显的程度，而APC校正处理单元114在超分辨率处理之后再次应用 边缘增强所需要的其余APC校正处理。
这样，由于纟聂像设备100在超分辨率处理之前和之后分别应 用APC校正处理，因此在拍摄运动图l象和超分辨率处理时可以 共用信号处理单元108,由此抑制了电路规模的增大。因此，摄 像设备100能够在抑制成本增加的同时在拍摄运动图像期间拍 摄具有高图像质量的静止图像。
在本实施例中，通过使用切换单元112,在拍摄运动图像和 通过超分辨率处理拍摄静止图像时共用APC校正处理单元114、 压缩处理单元116、存储器单元118和存储卡120。这种结构在静 止图像和运动图像使用相同的或类似的压缩编码解码器(例如， JPEG和运动JPEG)时尤其有效。
第二实施例
图2是示出作为本发明的第二实施例的摄像设备IOOA的结 构的示意框图。摄像设备1 OOA能够同时拍摄被摄体的运动图像 和静止图像，并且在本实施例中摄像设备100A实现为数字照相机。
摄像设备10 0 A包括与摄像设备10 0的结构类似的结构。更 具体地，如图2所示，摄像设备10 0 A包括镜头10 2 、摄像元件10 4 、 A/D转换器106、信号处理单元108和超分辨率处理单元110。此 外，摄像设备100A还包括第一APC校正处理单元122、第二APC 校正处理单元124、第一压缩处理单元126、第二压缩处理单元 128、存储器单元118和存储卡120。
第一APC校正处理单元122对从超分辨率处理单元110输出 的图像信号应用用于增强边缘的第一 A P C校正处理。当在拍摄 运动图像期间拍摄静止图像时，第一 APC校正处理单元122经由 超分辨率处理单元110接收从信号处理单元108输出的图像信号。
第二APC校正处理单元124对从信号处理单元108输出的图 像信号应用用于增强边缘的第二 A P C校正处理。在拍摄运动图 像时，第二APC4交正处理单元124接收从信号处理单元108输出 的图像信号而不通过超分辨率处理单元IIO。
注意，第一 APC校正处理和第二 APC校正处理在边缘增强 方面等同。然而，这两个处理的不同之处在于第一APC校正 处理是对生成静止图像所需要的图像信号的处理，而第二APC 校正处理是对运动图像的图像信号的处理。
第 一压缩处理单元126对从第一APC4交正处理单元122输出 的图像信号应用压缩处理。将从第一压缩处理单元126输出的图 像信号存储在存储器单元118中。
第二压缩处理单元128对从第二APC才交正处理单元124输出 的图像信号应用压缩处理。将从第二压缩处理单元128输出的图 像信号存储在存储器单元118中。
在摄像设备100A中，由信号处理单元108对图像信号应用 的APC校正处理与由第一APC校正处理单元122和第二APC校 正处理单元124对图像信号应用的APC校正处理不同。更具体 地，信号处理单元108为了提高超分辨率处理单元110中配准计 算的计算精度而应用最低要求的APC校正处理。另一方面，第 一APC校正处理单元122为了提高静止图像的图像质量而应用 APC校正处理。此外，第二APC校正处理单元124为了提高运动 图像(帧图像)的图像质量而应用APC4交正处理。换言之，由信 号处理单元108对图像信号应用的APC校正处理的边缘增强的 程度比由第一APC校正处理单元122和第二APC校正处理单元 124对图像信号应用的APC校正处理的边缘增强的程度弱。更具 体地，信号处理单元108应用APC一交正处理以达到即4吏在通过超分辨率处理合成图像之后边缘增强分量仍不明显的程度，且在
超分辨率处理之后第一APC校正处理单元122再次应用边缘增 强所需要的其余APC校正处理。同样地，第二APC校正处理单 元124即使在未应用超分辨率处理时也再次应用边缘增强所需 要的其余APC校正处理。
这样，由于纟IH象设备100A在超分辨率处理之前和之后分别 应用APC校正处理，因此可以在拍才聂运动图像和超分辨率处理 时共用信号处理单元108，从而抑制了电路规模的增大。因此， 摄像设备10 0 A能够在抑制成本增加的同时在拍摄运动图像期 间拍摄具有高图像质量的静止图像。
注意，摄像设备100A与摄像设备100的不同之处在于将 可由相对小规模的电路配置的APC校正处理单元分割成用于静 止图像(超分辨率图像)的第一APC校正处理单元122和用于运 动图像的第二APC校正处理单元124。这种结构在静止图像和运 动图像的压缩编码解码器不同(例如，JPEG和MPEG4)时是有效 的。此外，由于一个处理未被其它处理所中断，因此与摄像设 备100相比，摄像设备100A能够更快地处理静止图像和运动图 像。这是因为，摄像设备100A包括用于静止图像的第一APC校 正处理单元122和第 一压缩处理单元126以及用于运动图像的第 二APC校正处理单元124和第二压缩处理单元128。
第三实施例
图3是示出作为本发明的第三实施例的摄像设备1 OOB的结 构的示意框图。摄像设备100B可以同时拍摄被摄体的运动图像 和静止图像，并且在本实施例中，摄像设备100B实现为数字照相机。
摄像设备100B包括与摄像设备1 OO和1 OOA的结构类似的结 构。更具体地，如图3所示，摄像设备100B包括镜头102、摄像元件104、 A/D转换器106、信号处理单元108和超分辨率处理单 元IIO。此外，摄像设备100B还包括第一APC校正处理单元122、 第二APC校正处理单元124、切换单元130、压缩处理单元116、 存储器单元118和存储卡120。
切换单元130具有切换对压缩处理单元116的输入的功能 (即，选择从第一 APC校正处理单元122输出的图像信号或从第 二APC校正处理单元124输出的图像信号的功能)。在本实施例 中，切换单元130根据摄像设备100B是拍摄运动图像还是拍摄 静止图像来选择C侧或D侧路径。更具体地，在拍摄被摄体的运 动图像时，切换单元130选择D侧路径，并且将从第二APC校正 处理单元124输出的图像信号输入至压缩处理单元116。另 一方 面，当在拍摄被摄体的运动图像期间拍摄该被摄体的静止图像 时，切换单元130选择C侧路径，并将从第一APC校正处理单元 122输出的图像信号输入至压缩处理单元116。压缩处理单元116 能够响应于切换单元13 0对输入的切换来对图像信号应用不同 的压缩处理。
在摄像设备100B中，由信号处理单元108对图像信号应用 的APC校正处理与由第一APC校正处理单元122和第二APC校 正处理单元124对图像信号应用的APC校正处理不同。更具体 地，信号处理单元108为了提高超分辨率处理单元110中配准计 算的计算精度而应用最低要求的APC校正处理。另一方面，第 一APC校正处理单元122为了提高静止图像的图像质量而应用 APC校正处理。此外，第二APC校正处理单元124为了提高运动 图像(帧图像)的图像质量而应用APC校正处理。换言之，由信 号处理单元108对图像信号应用的APC校正处理的边缘增强的 程度比由第一APC校正处理单元122和第二APC校正处理单元 124对图像信号应用的APC校正处理的边缘增强的程度弱。更具体地，信号处理单元108应用APC才交正处理以达到即-使在通过超 分辨率处理合成图像之后边缘增强分量仍不明显的程度，并且 在超分辨率处理之后第一APC校正处理单元122再次应用边缘 增强所需要的其余APC校正处理。同样地，第二APC校正处理 单元124即使在未应用超分辨率处理时也再次应用边缘增强所 需要的其余APC校正处理。
这样，由于摄像设备100B在超分辨率处理之前和之后分别 应用APC校正处理，因此可以在拍摄运动图1"象和超分辨率处理 时共用信号处理单元108，从而抑制了电路规模的增大。因此， 摄像设备100B能够在抑制成本增加的同时在拍摄运动图像期 间拍摄具有高图像质量的静止图像。
摄像设备10 0 B与摄像设备10 0的不同之处在于独立地布 置了对来自超分辨率处理单元110的图像信号应用APC校正处 理的第一APC才交正处理单元以及对来自信号处理单元108的图 像信号应用APC校正处理的第二APC校正处理单元。结果，即 使在第一APC校正处理单元122对来自超分辨率处理单元110的 图像信号应用APC校正处理时，第二 APC校正处理单元124也能 够对以高的帧频从信号处理单元108输出的图像信号应用APC 校正处理。因此，与摄像设备100相比，摄像设备100B能够更 快地处理静止图像和运动图像。
此外，摄像设备100B与摄像设备100A的不同之处在于共 用的压缩处理单元用于对乂人第一APC才交正处理单元122输出的 图像信号应用压缩处理，并对从第二APC4交正处理单元124输出 的图像信号应用压缩处理。这种结构在静止图像和运动图像使 用相同的或类似的压缩编码解码器(例如，JPEG或运动JPEG) 时尤其有效。
在本发明中，可以获得以下变形例。即，照相才几工作直到执行了摄像功能为止，并将所拍摄的图像提供给经由通信单元
连接至该照相机并执行后续的信号处理的个人计算机(P c)。在
这种情况下，照相机将摄像元件的驱动模式切换信息提供给
PC。在该PC中，代替4吏用专用硬件，其主CPU通过软件处理可 以实现前述超分辨率处理和APC处理。可以从CD-ROM等记录 介质提供在这种情况下使用的软件，或者可以通过从经由网络 等连接的服务器进行下载来提供在这种情况下使用的软件。
尽管已经参考典型实施例说明了本发明，但是应该理解， 本发明不限于所公开的典型实施例。所附权利要求书的范围符 合最宽的解释，以包含所有这类修改以及等同结构和功能。
权利要求
1. 一种用于拍摄被摄体的图像的摄像设备，所述摄像设备包括摄像元件，用于将经由镜头形成的光学图像转换成图像信号；信号处理单元，用于对所述图像信号应用信号处理并输出处理后的图像信号；超分辨率处理单元，用于当在拍摄所述被摄体的运动图像期间要拍摄所述被摄体的静止图像时，通过对从所述信号处理单元输出的多个图像信号进行合成来应用用于提高分辨率的超分辨率处理，并输出生成所述被摄体的静止图像所需要的图像信号；以及APC校正单元，用于对从所述信号处理单元输出的图像信号和从所述超分辨率处理单元输出的图像信号均应用用于增强边缘的APC校正处理，并输出处理后的图像信号。
2. 根据权利要求l所述的摄像设备，其特征在于，还包括 切换单元，所述切换单元用于切换对所述APC校正单元的输入， 从而当要拍摄所述被摄体的运动图像时，不通过所述超分辨率 处理单元而将从所述信号处理单元输出的图像信号输入至所述 A P C校正单元，并且当在拍摄所述被摄体的运动图像期间要拍 摄所述被摄体的静止图像时，经由所述超分辨率处理单元将从 所述信号处理单元输出的图像信号输入至所述APC校正单元，其中，所述APC校正单元对经由所述超分辨率处理单元输 入至所述APC校正单元的图像信号应用用于增强边缘的第一 APC校正处理，并对不通过所述超分辨率处理单元而输入至所 述APC校正单元的图像信号应用与所述第一 APC校正处理不同 的第二APC校正处理。
3. 根据权利要求l所述的摄像设备，其特征在于，所述APC校正单元包括第一APC校正单元，用于对从所述超分辨率处理单元输出 的图像信号应用用于增强边缘的第一APC校正处理，并输出处 理后的图像信号；以及第二APC校正单元，用于对从所述信号处理单元输出的图 像信号应用与所述第一APC校正处理不同的第二APC校正处 理，并输出处理后的图像信号。
4. 根据权利要求3所述的摄像设备，其特征在于，还包括 第一压缩处理单元，用于对从所述第一APC校正单元输出的图像信号应用压缩处理，并输出处理后的图像信号；以及第二压缩处理单元，用于对从所述第二APC校正单元输出 的图像信号应用压缩处理，并输出处理后的图像信号。
5. 根据权利要求3所述的摄像设备，其特征在于，还包括 压缩处理单元，用于对从所述第一APC4交正单元和所述第二APC校正单元中的每一个输出的图^f象信号应用压缩处理；以 及切换单元，用于切换对所述压缩处理单元的输入，从而当 要拍摄所述被摄体的运动图像时，将从所述第二 A P C校正单元 输出的图像信号输入至所述压缩处理单元，并且当在拍摄所述 被摄体的运动图像期间要拍摄所述被摄体的静止图像时，将从 所述第一APC校正单元输出的图像信号输入至所述压缩处理单 元。
6. 根据权利要求l所述的摄像设备，其特征在于，所述信 号处理包括如下处理中的至少 一 个图 <象信号中所包括的颜色 信息的同步处理、滤波处理、用于将图像信号分离成亮度信号 和色差信号的分离处理、伽玛4交正处理以及A P C 4交正处理。
7. 根据权利要求6所述的摄像设备，其特征在于，由所述信号处理单元对图像信号应用的A P C校正处理的边缘增强的程 度比由所述APC校正单元对图像信号应用的APC校正处理的边 缘增强的程度弱。
8. 根据权利要求3所述的摄像设备，其特征在于，所述信 号处理包括如下处理中的至少一个图像信号中所包括的颜色 信息的同步处理、滤波处理、用于将图像信号分离成亮度信号 和色差信号的分离处理、伽玛校正处理以及A P C校正处理。
9. 根据权利要求8所述的摄像设备，其特征在于，由所述 信号处理单元对图像信号应用的所述APC校正处理的边缘增强 的程度比由所述第一APC校正单元对图像信号应用的所述第一 APC校正处理和由所述第二 APC校正单元对图像信号应用的所 述第二 APC校正处理中的每 一 个APC校正处理的边缘增强的程 度弱。
全文摘要
本发明提供一种摄像设备，该摄像设备包括摄像元件，用于将光学图像转换成图像信号；信号处理单元，用于对所述图像信号应用信号处理并输出处理后的图像信号；超分辨率处理单元，用于当在拍摄被摄体的运动图像期间要拍摄所述被摄体的静止图像时，通过合成从所述信号处理单元输出的多个图像信号而应用于提高分辨率的超分辨率处理，并输出生成被摄体的静止图像所需要的图像信号；以及APC校正单元，用于对从所述信号处理单元输出的图像信号和从所述超分辨率处理单元输出的图像信号均应用于增强边缘的APC校正处理，并输出处理后的图像信号。
文档编号H04N5/225GK101521751SQ20091012630
公开日2009年9月2日 申请日期2009年2月26日 优先权日2008年2月26日
发明者原贵幸 申请人:佳能株式会社