图像处理装置及其控制方法

专利名称：图像处理装置及其控制方法
技术领域：
本发明涉及一种抑制由附着到设置在摄像装置中的例如CCD或 CMOS传感器的图像传感器前面的例如光学低通滤波器的光学元件的表面 的异物引起的图像质量的劣化的技术。
背景技术：
在将镜头从镜头交换式数字照相机的照相机体卸下时，空气中的浮尘 可能会进入照相机体。照相机包含例如快门机构的机械地工作的各种机械 单元。这些机械单元工作时，可能在照相机体中产生例如金属粉末的灰尘。
在例如灰尘或尘埃的异物附着到作为设置在图像传感器前面的光学元 件并且形成数字照相机的摄像单元的光学低通滤波器的表面时，在拍摄的 图像中包含异物的阴影，从而使图像质量劣化。
使用卤化银胶片的照相机在每次拍摄时进给胶片。因此，图像不会连 续在相同的位置包含相同的异物。但是，数字照相机在每次拍摄时不需要 进给胶片帧的操作，因此拍摄的图像连续在相同的位置包含相同的异物。
为了解决该问题，提出了使用相邻像素的信号等校正拍摄了异物的阴 影的像素的方法。作为校正这种像素的技术，例如日本特开平6-105241号 公报提出了一种校正图像传感器的像素缺陷的像素缺陷校正方法。日本特 开2004-242158号公报提出了一种简化像素缺陷的位置信息的设置的方 法。根据该方法，使在灰尘获得模式中记录的图像文件的扩展名与普通图 像的文件扩展名不同。PC (个人计算机)自动区分灰尘信息图像，并根据 该信息校正目标图像。
近来，提出了一种将运动图像信息作为数字数据进行处理并用高图像 质量以高压縮率对其进行编码以累积和发送运动图像信息的技术。该技术 正在普及。
4Motion JPEG (联合图像专家组，Joint Photographic Experts Group)通
过对各个帧应用静止图像编码(例如JPEG编码)来对运动图像进行编码。 虽然JPEG编码主要以静止图像为目标，但是通过高速处理对甚至运动图 像应用JPEG编码的产品己经进入实际应用。
简要说明JPEG编码的概要。将图像数据分割为预定大小的块(例如 各自具有8像素x8像素的块)，对各个块进行二维离散余弦变换。线性或 非线性地量化变换系数。对量化的变换系数进行霍夫曼编码(可变长度编 码)。更具体而言，对变换系数的直流分量与相邻块的直流分量之间的差值 进行霍夫曼编码。通过Z形(zig-zag)扫描将变换系数的交流分量从低频 分量变换为高频序列(serial)分量。对一组无效分量"O"行程(run)和后 续的有效分量行程进行霍夫曼编码。
相反，作为以更高压縮率和更高图像质量为目标的编码方法，提出了 H.264 (MPEG-PartlO AVC)。己知与例如MPEG2和MPEG4的传统编码方 法相比，H.264需要更大的计算量来进行编码和解码，但是能够获得更高 的编码效率(参见ISO/IEC 14496-10， "Advanced Video Coding")。
图14是示出用H.264压縮图像数据的图像处理装置的配置的图。在图 14中，输入图像数据被分割为宏块(macroblock)，发送到减法器401。减 法器401计算图像数据与预测值之间的差，将其输出到整数DCT (离散余 弦变换，Discrete Cosine Transform)变换单元402。整数DCT变换单元402 对输入数据执行整数DCT变换，将变换后的数据输出到量化单元403。量 化单元403量化输入数据。将量化数据作为差分图像数据发送到熵编码器 415，同时逆量化单元404对量化数据进行逆量化，并且逆整数DCT变换 单元405进行逆整数DCT变换。加法器406将预测值与逆变换后的数据相 加，以重构图像。
将重构的图像发送到进行帧内(intra-frame)预测的帧存储器407,同 时解块滤波器409对重构的图像进行解块(deblock)滤波处理，然后将其 发送到用于进行帧间(inter-frame)预测的帧存储器410。帧内预测单元408 使用帧内预测帧存储器407中的图像进行帧内预测。帧内预测使用单个图 片中与编码的块邻接的像素的值作为预测值。如稍后将描述的，帧间预测帧存储器410中的图像由多个图片构成。
多个图片分类为"ListO"和"Listl"两个列表。帧间预测单元411使用分类为 两个列表的多个图片来进行帧间预测。在帧间预测后，存储器控制器413 更新内部图像。帧间预测单元411执行帧间预测，以使用基于运动检测单 元412执行的不同帧的图像数据之间的运动检测的结果的最佳运动矢量来 确定预测图像。
作为帧内预测和帧间预测的结果，选择器414选择最佳预测结果。将 运动矢量发送到熵编码器415，与差分图像数据一起进行编码，形成输出 位流。
将参考图15至图18具体说明H.264帧间预测。
H.264帧间预测可以使用多个图片来进行预测。为了指定参考图片， 准备了两个列表"ListO"和"List 1"。各个列表最多能够保持五个参考图片。
仅"ListO"用于P图片，以主要执行前向预测。"ListO"和"Listl"用于B 图片，以执行双向预测(或仅前向或后向预测)。也就是说，"ListO"保持主 要用于前向预测的图片，"Listl"保持主要用于后向预测的图片。
图15例示了在编码时使用的参考列表。该示例假定I、 P和B图片的 比率是标准比率。也就是说，I图片以15帧的间隔排列，P图片以三帧的 间隔排列，I与P图片间的B图片以两帧的间隔排列。在图15中，通过以 显示顺序排列图片来获得图像数据1001。图像数据1001中的各方块描述 了图片的类型和表示显示顺序的编号。例如，图片115是显示顺序为15的 I图片，仅用于帧内预测。图片P18是显示顺序为18的P图片，仅用于前 向预测。图片B16是显示顺序为16的B图片，用于双向预测。
编码顺序与显示顺序不同，以预测顺序对数据进行编码。在图15中， 以"115、 P18、 B16、 B17、 P21、 B19、 B20、...'，的顺序对数据进行编码。
在图15中，参考列表(ListO) 1002保持临时编码/解码的图片。例如， 使用图片P21(显示顺序为21的P图片)的帧间预测参考在参考列表(ListO) 1002中已经编码并解码的图片。在图15所示的示例中，参考列表1002包 含图片P06、 P09、 P12、 115和P18。
在帧间预测中，根据参考列表(ListO) 1002中的参考图片针对各个宏块获得具有最佳预测值的运动矢量，并进行编码。对参考列表(List0) 1002 中的图片依次赋予参考图片编号，并进行区分(与图15所示的编号分开)。
在结束对图片P21的编码后，重新对图片P21进行解码，并将其添加 到参考列表(List0) 1002中。从参考列表(List0) 1002中删除最早的参 考图片(在这种情况下为图片P06)。以图片B19、 B20和P24的顺序进行 编码。图16示出了此时参考列表(ListO) 1002的状态。
图17示出了针对各图片的参考列表的变化。
在图17中，从上部开始依次对图片进行编码。图17示出了编码期间 的图片和针对该图片的参考列表ListO和Listl的内容。在如图17所示对P 图片(或I图片)进行编码时，更新参考列表ListO和Listl以从参考列表 ListO和Listl中删除最早的图片。在该示例中，参考列表Listl仅保持一个 图片。这是因为进行后向预测所参考的图片的数量较大，会增加到解码为 止的缓冲量。换言之，不参考过度远离编码期间的图片的后向图片。
在该示例中，参考I和P图片，将所有的I和P图片依次添加到参考 列表ListO和Listl 。在参考列表Listl中仅使用P图片以进行后向预测，这 是因为该图片排列被认为是最普遍的图片排列。但是，该参考列表中的图 片排列仅仅是最普遍的图片排列的一个示例。H.264本身具有高自由度的 参考列表的配置。
例如，不需要将所有的I和P图片添加到参考列表，可以将B图片添 加到参考列表。此外，H.264定义直到接收到明确的指示为止停留在参考 列表中的图片的长期参考列表。图18示出了将B图片添加到参考列表时 的参考列表的变化。在将B图片添加到参考列表时，可以在每次对所有B 图片进行编码时，将编码的图片添加到参考列表。
图19示出了在进行H.264帧间预测时将16像素xl6像素的宏块分割 为更小的宏块。分割后的宏块可以参考独立的参考图片以获得运动矢量。 可以将8像素x8像素的宏块分割为更小的子宏块。虽然子宏块参考单个参 考图片，但是独立地获得它们的运动矢量。注意日本特开2005-5844号公 报也公开了一种能够改变运动补偿块大小的配置，如该参考文献的图27 所示。
7说明通过H.264记录的文件的一般回放方法。
如上所述，使用MP4 (MPEG-4)文件格式作为用于记录通过数字视 频照相机和数字静止照相机等获得的MPEG (MPEG-2或MPEG-4格式) 图像数据的通用格式。MP4文件格式保证与其它数字设备的兼容性，以例 如回放记录为MP4文件的图像数据。
如图20中的a所示，MP4文件主要由保持编码的流图像数据的mdat 箱(box)和保持与流图像数据关联的信息的moov箱构成。
如图20中的b所示，mdat箱由多个组块(chunk) (chunkcN)构成。 如图20中的d所示，各个组块由多个样本(sample sN)构成。例如，如 图20中的e所示，各样本sample sl、 sample s2、 sample s3、 sample s4、… 对应于编码的MPEG图像数据I。、 B.2、P3、...。
Io、 I,、 12、 ...、 In表示帧内编码(intra-frame-encoded)的帧图像数据。
Bo、 B" B2.....Bn表示通过双向参考参考图像数据而编码(帧间编码)
的帧图像数据。Po、 Pi、 P2、 ...、 P。表示通过单向(前向)参考参考图像 数据而编码(帧间编码)的帧图像数据。这些帧图像数据是可变长度编码 数据。
如图20中的c所示，moov箱由保持记录创建日期和时间等的头信息 的mvhd箱以及保持关于存储在mdat箱中的流图像数据的信息的tmk箱构 成。
存储在trak箱中的信息包括如图20中的h所示的存储针对mdat箱的 各组块的偏移值的信息的stco箱、如图20中的g所示的存储各组块中的 样本数量的信息的stsc箱以及如图20中的f所示的存储各样本的大小信息 的stsz箱。
存储在stco、 stsc和stsz箱中的数据量与记录的图像数据量、即记录 时间一起增加。例如，当通过在一个组块中按照每15帧进行存储而将每秒 30帧的图像记录为MP4文件时，2小时的数据量达到1Mbyte (兆字节)， 需要1Mbyte容量的moov箱。
在回放该MP4文件时，从记录介质读取MP4文件的moov箱，分析 moov箱中的stco、 stsc禾t] stsz箱。之后，可以访问mdat箱中的各组块。在以MP4文件格式记录图像时，流数据随着时间增加到非常大的大 小。因此，即使在记录期间，也需要将流数据写入到文件中。
但是，如上所述，moov箱的大小也随着记录时间而增加。直到记录 结束时才定义MP4头的大小，因此不能决定流数据在文件中的写入偏移位置。
由于该原因，通过一般运动图像处理装置进行记录采取以下利用MP4 文件格式的灵活性的措施。
(1) 在文件的开头设置mdat箱，在记录结束以后，紧接着mdat箱设 置moov箱(图21中的a)。
(2) 如日本特开2003-289495号公报所提出的，预先确定moov箱的 大小以决定mdat箱的偏移位置，然后进行记录(图21中的b)。即使在记 录时间短并且头区域还有空余时，将该区域保留为free箱。在记录数据超 过头大小时，通过适当抽取(decimate) I图片的帧编号信息来记录数据， 从而保持预定头大小。
(3) 将一对moov和mdat箱分割为多对，对它们进行排列(图21中 的c)。在这种情况下，将第二个和接下来的头区域称作moof箱。
这些是一般MP4文件的结构。
图22是例示回放通过11.264压縮编码的运动图像的运动图像回放装置 的基本配置的框图。
参考图22，运动图像回放装置包括记录介质801、回放来自记录介质 的数据的回放电路802、缓冲电路803、可变长度解码电路804、逆量化电 路805、逆DCT电路806、加法电路807、存储器808、运动补偿电路809、 开关电路810、重排电路811、输出端812、头信息分析电路813、回放控 制电路814以及控制信号输入端815。
说明图22所示的运动图像回放装置的回放处理的序列。
在接收到来自回放控制电路814的指示时，回放电路802回放记录在 记录介质801上的MP4文件，并且开始将该文件提供给缓冲电路803。同 时，回放控制电路814控制头信息分析电路分析表示moov箱中的mdat 中的存储状态的stco箱、stsc箱和stsz箱中的偏移、组块信息和样本信息。回放控制电路814控制回放电路802，开始回放来自记录介质801的mdat 箱中的流图像数据。
回放电路802从开始地址回放记录在记录介质801上的文件的mdat 箱中的流图像数据，并将其提供给缓冲电路803。根据缓冲电路803的占 用率等开始存储在缓冲电路803中的流图像数据的读出。将流图像数据提 供给可变长度解码电路804。可变长度解码电路804针对从缓冲电路803 提供的回放的流图像数据执行可变长度解码，并且将解码的流图像数据提 供给逆量化电路805。
逆量化电路805对在进行可变长度解码时从可变长度解码电路804提 供的流图像数据进行逆量化。逆量化电路805将逆量化后的流图像数据提 供给逆DCT电路806。逆DCT电路806对从逆量化电路805提供的逆量 化后的数据执行逆DCT，并将逆DCT数据提供给加法电路807。加法电路 807将从逆DCT电路806提供的逆DCT数据和从开关电路810提供的数 据相加。
如图23所示，在从记录介质801回放的流图像数据中，首先回放GOPO (图片组，Group of Picture)的帧内编码数据Io。回放控制电路814进行 控制以选择开关电路810的端子a。开关电路810将数据"O"提供给加法电 路807。加法电路807将从开关电路810提供的数据"O"和从逆DCT电路 806提供的逆DCT数据相加，并将相加后的数据作为回放的帧F。提供给 存储器808和重排电路811。存储器808存储从加法电路807提供的相加 后的数据。
紧接着GOP0的帧内编码数据Io，回放双向预测编码图片数据Bj和 B.1Q到逆DCT电路806为止的回放序列与针对帧内编码数据L说明的回 放序列相同，不重复其说明。
逆DCT电路806将双向预测编码的逆DCT图像数据提供给加法电路 807。同时，回放控制电路814控制开关电路810以使开关电路810的可动 端子c选择固定端子b。开关电路810将来自运动补偿电路809的数据提 供给加法电路807。
运动补偿电路809检测在编码时根据回放的流图像数据生成的、并且
10记录在流图像数据中的运动矢量。运动补偿电路809从存储器808读出参
考块的数据(在这种情况下，因为刚刚开始记录，所以仅为来自回放的帧
内编码数据Fo的数据)，并将其提供给开关电路810的可动端子c。
加法电路807将从逆DCT电路806提供的逆DCT数据和从开关电路
810提供的运动补偿数据相加，将相加后的数据作为回放的帧F.2和F—,提
供给重排电路811。
接着，回放单向预测编码图片数据P3。到逆DCT电路806为止的回
放序列与针对帧内编码数据Io说明的回放序列相同，不重复其说明。
逆DCT电路806将逆DCT图片数据提供给加法电路807。这时，回
放控制电路814控制开关电路810以使开关电路810的可动端子c选择固
定端子b。开关电路810将来自运动补偿电路809的数据提供给加法电路
807。
运动补偿电路809检测在编码时根据回放的流图像数据生成的、并且 记录在流图像数据中的运动矢量。运动补偿电路809从存储器808读出参 考块的数据(在这种情况下为来自回放的帧内编码数据F。的数据)，并将 其提供给开关电路810的可动端子c。
加法电路807将从逆DCT电路806提供的逆DCT数据和从开关电路 810提供的运动补偿数据相加，将相加后的数据作为回放的帧F3提供给存 储器808和重排电路811。存储器808存储从加法电路807提供的相加后 的数据。
接着，回放图片Bt和B2。这些图片不是记录开始时的帧，因此除了 通过双向预测从帧F。和F3开始回放以外，通过与针对图片B-2和B，i说明 的序列相同的序列回放这些图片。以上述方式，依次回放P6、 B4、 B5、...。
重排电路811将依次回放的帧Fo、 F.2、 F.p F3、 F" F2、 F6、 F4、 F5、... 重排为F.2、 F-p FQ、 Ft、 F2、 F3、 F4、 F5、 F6、...，并且将重排后的帧输 出到输出端812。
在开始回放文件时，头信息分析电路813分析来自表示MP4文件的 moov箱中的mdat中的存储状态的stco箱、stsc箱和stsz箱的偏移、组块 信息和样本信息。回放控制电路814进行操作以跳过数据直到GOPl，从GOP1开始回放数据。
己经开发了能够根据这些编码方法记录和回放运动图像的小型数字照 相机，并且使其商业化。用户能够用这样的数字照相机、个人计算机和DVD 播放器等容易地浏览图像。
在这种状况下，近来出现了使用小型数字照相机和镜头交换式数字照 相机用更大数量的像素来记录更高分辨率的运动图像的需求。但是，如上 所述，镜头交换式数字照相机受到由于各种因素附着到设置在图像传感器 前面的光学元件的表面的灰尘的影响。如果镜头交换式数字照相机在灰尘 附着到表面时记录运动图像，则可能在回放的运动图像中的相同位置总是 出现灰尘的阴影。
根据传统的用于镜头交换式数字照相机的除尘方法，记录除尘所需的 信息(例如灰尘的位置和大小的信息)和图像数据。稍后，将图像加载到 个人计算机等中，通过图像处理去除灰尘的阴影。也就是说，记录的图像 数据包含灰尘的阴影。对于静止图像，针对各个静止图像执行除尘。对于 运动图像，必须针对所有记录时间进行除尘，这非常费时。
在回放时，使用除尘所需的信息来进行灰尘校正处理。即使除尘处理 花费较长时间，静止图像的回放也可以等到灰尘校正处理完成。相反，运
动图像通过连续回放每秒15或30帧的多个静止图像来表达图像的运动。
由此，除非能够在预定时间内连续对帧进行解码，否则不能回放自然的运 动图像。

发明内容
本发明允许用户回放校正了灰尘的阴影等的高质量的运动图像，同时 提高了在灰尘校正处理期间进行回放时的操作速度。
本发明的第一方面提供了一种图像处理装置，其用于基于异物信息对 通过执行预测编码而生成的运动图像数据中的异物的阴影进行校正，所述 异物信息包含附着于设置在摄像装置中的图像传感器前面的光学元件上的 所述异物的位置和大小的信息，所述摄像装置拍摄了由帧构成的所述运动
图像数据，所述图像处理装置包括运动图像解压縮单元，其可操作以通过从所述运动图像数据获得表示帧之间的差的差信息来对各帧的图像进行 解压縮；以及校正单元，其可操作以在针对包含由所述异物信息表示的所 述异物的阴影的区域获得的所述差信息被确定为大于预定阈值的情况下， 校正所获得的差信息。
本发明的第二方面提供了一种图像处理装置的控制方法，所述图像处 理装置用于基于异物信息对通过参考不同输入帧的图像数据执行预测编码 而生成的运动图像数据中的异物的阴影进行校正，所述异物信息包含附着 于设置在摄像装置中的图像传感器前面的光学元件上的所述异物的位置和 大小的信息，所述摄像装置拍摄了由帧构成的所述运动图像数据，所述控 制方法包括运动图像解压縮歩骤，通过从所述运动图像数据获得表示帧 之间的差的差信息来对各帧的图像进行解压縮；以及校正步骤，在针对包 含由所述异物信息表示的所述异物的阴影的区域获得的所述差信息被确定 为大于预定阈值的情况下，校正所获得的差信息。
从以下参考附图对示例性实施例的描述，本发明的其它特征将变得清楚。


图1是示出本发明的实施例中的具有图像处理功能的摄像装置的配置
的框图2是示出本发明的实施例中的在获得灰尘信息时摄像装置中的处理 的流程图3是示出本发明的实施例中的获得灰尘信息时的设置参数的列表的
表；
图4是示出灰尘区域大小计算的概要的图； 图5是示出灰尘信息简档(profile)的结构的图； 图6是示出本发明的实施例中的正常拍摄时的静止图像拍摄处理的流 程图7是示出除尘处理的操作的流程图； 图8是示出插值例程的序列的流程图；200910166571
图9是用于说明本发明的实施例中的运动图像回放操作的流程图IOA至图IOE是用于说明本发明的实施例中的编码时的运动图像的
图IIA至图IIF是用于说明本发明的实施例中的解压縮时的运动图像 的图12是用于说明本发明的实施例中的消除预测误差的操作的流程图13是用于说明本发明的实施例中的压縮/解压縮电路的框图14是示出通过H.264压縮图像数据的图像处理装置的配置的图15是例示对图片P21进行编码时的参考列表的图16是例示对图片P24进行编码时的参考列表的图17是示出针对各图片的参考列表的变化的图18是示出将B图片添加到参考列表时的参考列表的变化的图19是用于说明宏块的分割的图20是用于说明MP4文件的结构的图21是例示MP4文件的结构的图22是用于说明传统的回放装置的框图；以及
图23是用于说明利用传统技术的帧的编码顺序的图。
具体实施例方式
现在，参考附图详细说明本发明的实施例。
图1是示出本发明的实施例中的具有图像处理功能的摄像装置的配置 的框图。该实施例将镜头交换式单镜头反射数字静止照相机作为摄像装置 的示例。本发明也适用于例如作为摄像装置的镜头交换式数字视频照相机。
如图1所示，根据该实施例的摄像装置主要包括照相机体100和镜头 交换型镜头单元300。
镜头单元300包括由多个透镜构成的成像镜头310、光圈312以及将 镜头单元300机械地连接到照相机体100的镜头支架306。镜头支架306 包含用于将镜头单元300电连接到照相机体100的各种功能。在镜头支架 306中，接口 320将镜头单元300连接到照相机体100。连接器322将镜头单元300电连接到照相机体100。
连接器322还具有在照相机体100与镜头单元300之间交换控制信号、 状态信号和数据信号、以及接收各种电压的电流的功能。连接器322不仅 可以通过电信(telecommunication)、还可以通过光通〈言或语音通信来进行 通信。
光圈控制单元340根据来自测光控制单元46的测光信息，与控制照相 机体100的快门12的快门控制单元40 (稍后描述)协作来控制光圈312。 对焦控制单元342控制成像镜头310的对焦。变焦控制单元344控制成像 镜头310的变焦。
镜头系统控制电路350控制整个镜头单元300。镜头系统控制电路350 具有用于存储用来进行操作的常数、变量和程序的存储器。镜头系统控制 电路350还具有用于保持例如镜头单元300特有的编号的识别信息、管理 信息、例如打开光圈值和最小光圈值以及焦距的功能信息、以及当前和过 去的设置值的非易失性存储器。
以下将说明照相机体100的配置。
镜头支架106将照相机体100与镜头单元300机械地连接。反射镜130 和132通过单镜头反射方法将进入成像镜头310的光束导向光学取景器 104。反射镜130可以是快速复原反射镜(quick return mirror)或半透明反 射镜(halfmirror)。附图标记12表示焦面快门。图像传感器14由CCD传 感器、CMOS传感器等构成，并且对被摄体图像进行光电转换。例如光学 低通滤波器的光学元件14a设置在图像传感器14前面。由图像传感器14 生成的图像包含附着到光学元件14a的表面的例如灰尘等异物的阴影，从 而使图像质量劣化。该实施例旨在提供一种抑制图像质量劣化的技术。
通过单镜头反射方法经由用作光量限制机构的光圈312、镜头支架306 和106、反射镜130以及快门12引导进入成像镜头310的光束，在图像传 感器14上形成光学图像。
A/D转换器16将从图像传感器14输出的模拟信号(输出信号)转换 成数字信号。定时发生电路18将时钟信号和控制信号提供给图像传感器 14、 A/D转换器16和D/A转换器26。定时发生电路18由存储器控制电路
1522和系统控制电路50控制。
图像处理电路20对来自A/D转换器16的数据或来自存储器控制电路 22的数据执行预定像素插值处理和颜色转换处理。如有需要，图像处理电 路20还使用从A/D转换器16输出的图像数据执行预定运算处理。系统控 制电路50可以根据获得的运算结果执行TTL (通过透镜，Through The Lens)方式的自动对焦(AF)处理、自动曝光(AE)处理和预电子闪光 (EF)处理，以控制快门控制单元40和调焦单元42。图像处理电路20 还使用从A/D转换器16输出的图像数据执行预定运算处理，并且还根据 获得的运算结果执行TTL方式的自动白平衡(AWB， automatic white balance)处理。
在图1所示的该实施例中的示例中，设置专用的调焦单元42和测光控 制单元46。可以不使用图像处理电路20而使用调焦单元42和测光控制单 元46来执行AF处理、AE处理和EF处理。作为另选方案，可以先使用 调焦单元42和测光控制单元46、接着使用图像处理电路20来进行AF处 理、AE处理和EF处理。
存储器控制电路22控制A/D转换器16、定时发生电路18、图像处理 电路20、图像显示存储器24、 D/A转换器26、存储器30和压縮/解压縮电 路32。将从A/D转换器16输出的图像数据经由图像处理电路20和存储器 控制电路22、或仅经由存储器控制电路22写入到图像显示存储器24或存 储器30中。
经由D/A转换器26在例如TTL方式的LCD的图像显示单元28上显 示写入到图像显示存储器24中的显示图像数据。图像显示单元28依次显 示拍摄的图像数据，从而实现电子取景器(EVF， electronic viewfmder)功 能。图像显示单元28可以根据来自系统控制电路50的指示任意打开/关闭 其显示。在显示关闭时，能够大大减少照相机体100的功耗。
存储器30用于存储拍摄的静止图像或运动图像，并且具有足以存储预 定数量的静止图像或预定量的运动图像的存储容量。即使在连续拍摄或全 景拍摄以连续拍摄多个静止图像时，也能够以高速将多个图像写入存储器 30。在拍摄运动图像时，使用存储器30作为用于以预定速率连续写入图像
16的帧缓冲器。存储器30还可以用作系统控制电路50的工作区。
除尘电路31使用存储在非易失性存储器56 (稍后描述)中的灰尘信 息和从镜头单元300获得的光学信息，通过图像处理来去除包含在图像数 据中的灰尘的阴影。
压縮/解压縮电路32使用已知压縮方法对图像数据进行压縮/解压縮。 压縮/解压縮电路32从存储器30读出图像，对其进行压縮或解压縮，并且 将处理后的数据重新写入存储器30。压縮/解压縮电路32还具有将运动图 像数据压縮编码成预定格式、或将预定压縮编码的数据解压縮成运动图像 信号的运动图像压縮/解压縮功能。
音频信号处理电路33具有将从麦克风(未图示)输入的音频信号编码 成预定编码格式以及将预定编码数据解码成音频信号的功能。该实施例中 的数字照相机具有从扬声器(未图示)输出由音频信号处理电路33解码的 音频数据的功能。
快门控制单元40与根据来自测光控制单元46的测光信息控制光圈 312的光圈控制单元340协作来控制快门12。调焦单元42执行AF (自动 对焦)处理。通过单镜头反射方法经由光圈312、镜头支架306和106、反 射镜130以及调焦副反射镜(未图示)引导进入镜头单元300的成像镜头 310的光束，以检测形成为光学图像的图像的对焦状态。
测光控制单元46执行AE (自动曝光)处理。通过单镜头反射方法经 由光圈312、镜头支架306和106、反射镜130以及测光副反射镜(未图示) 引导进入镜头单元300的成像镜头310的光束，以测量形成为光学图像的 图像的曝光状态。电子闪光灯48具有AF辅助投光功能和电子闪光控制功 能。测光控制单元46还具有与电子闪光灯48协作的EF (电子闪光控制) 处理功能。
还可以根据调焦单元42的测量结果和由图像处理电路20通过对来自 A/D转换器16的图像数据进行运算处理而获得的运算结果，来进行AF控 制。还可以根据测光控制单元46的测量结果和由图像处理电路20通过对 来自A/ 转换器16的图像数据进行运算处理而获得的运算结果，来进行 曝光控制。系统控制电路50控制整个照相机体100并且包含已知的CPU。存储
器52存储系统控制电路50用来进行操作的常数、变量和程序。
通知单元54根据系统控制电路50进行的程序执行，使用文本、图像 和声音将操作状态和消息通知给外部。通知单元54的示例是例如用于视觉 显示的LCD或LED的显示单元和用于通过声音生成通知的声音生成元件。 通知单元54包括它们中的一个或者它们中的两个或更多个的组合。特别 是，将显示单元设置在照相机体100的操作单元70附近的一个或多个可视 位置处。光学取景器104包含通知单元54的一些功能。
通知单元54中的例如LCD的图像显示单元28的显示内容包括与拍摄 模式关联的显示(例如单个拍摄/连续拍摄和自动定时器(selftimer))、与 记录关联的显示(例如压縮率、记录像素的数量、记录图像的数量和可记 录图像的数量)以及与拍摄条件关联的显示(例如快门速度、光圈值、曝 光补偿、亮度补偿、外部闪光灯发光量和红眼缓和)。图像显示单元28还 显示微距拍摄(macro shooting)、蜂鸣器设置、电池电量、错误消息、多 位数字信息以及记录介质200和PC 210的装卸状态。图像显示单元28还 显示镜头单元300的装卸状态、通信I/F操作、日期和时间以及外部计算 机的连接状态。
在光学取景器104中显示通知单元54的一些显示内容，包括例如对好 焦、准备好拍摄、照相机抖动警告、闪光灯充电、闪光灯充电完成、快门 速度、光圈值、曝光补偿和记录介质写入操作。
非易失性存储器56是例如EEPROM的电可删除/可编程存储器，存储 程序(稍后将描述)等。
光学信息存储器58存储经由连接器122从镜头单元300获得的各种镜 头信息(稍后将描述)。
附图标记60、 62、 64、 66、 68和70表示用于输入系统控制电路50 的各种操作指示的操作单元。它们包括多个开关、拨盘、触摸面板、通过 视线检测进行的指示和声音识别设备中的单个部件或其组合。
这里将详细说明操作单元。
模式拨盘开关60可以选择性地设置例如自动拍摄模式、编程拍摄模式、快门速度优先拍摄模式、光圈优先拍摄模式、手动拍摄模式或焦深优 先(深度)拍摄模式的拍摄模式。模式拨盘开关60还可以选择性地设置例 如人像拍摄模式、风景拍摄模式、近景拍摄模式、运动拍摄模式、夜景拍 摄模式和全景拍摄模式的拍摄模式。
通过将快门按钮(未图示)操作一半(例如半程)来接通快门开关SW1
62，以指定开始例如AF处理、AE处理、AWB处理或EF处理的操作。
通过完全(例如全程)操作快门按钮(未图示)来接通快门开关SW2 64，以指定开始包括曝光、显影和记录的一系列拍摄处理。在曝光处理中， 将从图像传感器14读出的信号经由A/D转换器16和存储器控制电路22 写入到存储器30中。接着，根据图像处理电路20或存储器控制电路22 进行的计算进行显影处理。在记录处理中，从存储器30读出图像数据，由 压縮/解压縮电路32进行压縮，并将其写入或发送到记录介质200或PC 210。
回放开关66指定开始回放操作，以从存储器30、记录介质200或PC 210读出在拍摄模式下拍摄的图像，并在图像显示单元28上进行显示。回 放开关66可以设置例如回放模式、多窗口回放/擦除模式或PC连接模式的 另一功能模式。
单个拍摄/连续拍摄开关68可以设置在用户按下快门开关SW2 64时、 照相机拍摄一帧、然后待机的单个拍摄模式，或者在用户按下快门开关 SW2 64时、照相机持续进行拍摄的连续拍摄模式。
操作单元70包括各种按钮和触摸面板。例如，操作单元70包括实况 观看开始/停止按钮、运动图像记录开始/停止按钮、菜单按钮、设置按钮、 多窗口回放/页前进按钮、闪光设置按钮、单个拍摄/连续拍摄/自动定时器 切换按钮、菜单移动加(+ )按钮和菜单移动减(-)按钮。操作单元70 还包括回放图像移动加(+)按钮、回放图像移动减(-)按钮、拍摄图像 质量选择按钮、曝光补偿按钮、亮度补偿按钮、外部闪光灯发光量设置按 钮和日期/时间设置按钮。使用旋转拨盘开关可以更容易地选择加和减按钮 的数值或功能。
此外，操作单元70包括用于打开/关闭图像显示单元28的图像显示打
19开(ON) /关闭(OFF)开关、以及用于设置自动回放在拍摄后立即获得
的图像数据的快速浏览功能的快速浏览打开/关闭开关。操作单元70包括 用于选择JPEG压縮的压縮率、或直接数字化来自图像传感器的信号并将 其记录在记录介质上的RAW (原始)模式的压縮模式开关。操作单元70 包括能够设置单像(one-shot) AF模式或伺服(servo) AF模式的AF模式 设置开关。在单像AF模式中，在用户按下快门开关SW1 62时开始自动 对焦操作。 一旦获得对好焦状态，则持续保持该状态。在伺服AF模式中， 在用户按下快门开关SW162时，继续对焦操作。操作单元70包括如稍后 将描述的能够设置拍摄灰尘检测图像并获得灰尘信息的灰尘信息获得模式 的设置开关。
电源开关72可以选择性地设置照相机体100的电源接通(ON)或电 源断开(OFF)模式。电源开关72还可以选择性地设置包括连接到照相机 体100的镜头单元300、外部电子闪光灯112、记录介质200和PC210的 各种附件中的各个的电源接通或电源断开模式。
电源控制单元80包括电池检测电路、DC/DC转换器和用于切换要供 电的块的开关电路。电源控制单元80检测电池的装卸、电池的类型和电池 电量，根据检测结果和来自系统控制电路50的指示来控制DC/DC转换器， 并在需要的时间段将需要的电压提供给包括记录介质的单元。
附图标记82和84表示连接器；附图标记86表示由主电池(例如碱性 电池或锂电池)、副电池(例如镍镉(NiCd)电池、镍氢(NiMH)电池、 锂离子电池或锂聚合物电池)或AC适配器构成的电源单元。
附图标记卯和94表示与PC或记录介质(例如存储卡或硬盘)的接 口 ；附图标记92和96表示连接PC或记录介质(例如存储卡或硬盘)的 连接器。记录介质安装检测电路98检测记录介质200或PC 210是否安装 或连接到连接器92和/或96。
在该实施例中，存在连接记录介质的接口和连接器的两个系统。连接 记录介质的接口和连接器可以具有一个或多个系统。还可以组合不同标准 的接口和连接器。
可以使用符合各种存储介质标准的接口和连接器。示例有PCMCIA(个
20人计算禾几存fi者卡国际十办会，Personal Computer Memory Card International Association)卡、CF (CompactFlash )卡和SD卡。当接口 90和94以及 连接器92和96符合PCMCIA卡或CF⑧卡的标准时，它们允许连接各种 通信卡。通信卡的示例有LAN卡、调制解调器卡、USB (通用串行总线， Universal Serial Bus)卡禾口 IEEE (电气和电子工程师协会，Institute of Electrical and Electronic Engineers) 1394卡。还可以使用P1284卡、SCSI (小型计算机系统接口， Small Computer System Interface)卡和PHS。可 以通过连接这些类型的通信卡，将图像数据和与图像数据关联的管理信息 传输给另一计算机或例如打印机的外部设备。
光学取景器104可以显示由进入成像镜头310并且通过单镜头反射方 法经由光圈312、镜头支架306和106以及反射镜130和132引导的光束 形成的光学图像。因此，能够仅使用光学取景器来进行拍摄，而不使用图 像显示单元28的电子取景器功能。在光学取景器104中显示例如对好焦状 态、照相机抖动警告、闪光灯充电、快门速度、光圈值和曝光补偿的通知 单元54的一些功能。
经由附件插座110安装外部电子闪光灯112。
接口 120在镜头支架106内连接照相机体100和镜头单元300。
连接器122电连接照相机体100和镜头单元300。镜头安装检测单元 (未图示)检测镜头单元300是否安装到镜头支架106和连接器122。连 接器122还具有在照相机体100与镜头单元300之间交换控制信号、状态 信号、数据信号等并且提供各种电压的电流的功能。
经由连接器122传送的镜头单元300的各种光学信息(例如光圈值、 变焦位置、光瞳距离和焦距)存储在照相机体100的光学信息存储器58 中。照相机有时请求信息的传送，或者在每次更新信息时从镜头传送信息。
连接器122不仅可以通过电信、还可以通过光通信或语音通信来进行 通信。
记录介质200是存储卡或硬盘。记录介质200包括由半导体存储器或 磁盘构成的记录单元202、与照相机体100的接口 204和连接照相机体100 的连接器206。对于记录介质200，可以使用存储卡(例如PCMCIA卡或 CompactFlash )或硬盘。还可以使用微型DAT、磁光盘、光盘(例如CD-R 或CD-RW)或相变光盘(phase-change optical disk)(例如DVD)。
PC210包括由磁盘(HD)构成的记录单元212、与照相机体100的接 口 214和连接照相机体100的连接器216。接口 214可以是USB、IEEE1394 等，对其没有特别限制。
接着将说明通过图像处理消除灰尘对设置在具有上述配置的摄像装置 的图像传感器前面的例如低通滤波器或盖玻片的光学元件14a的影响的处 理。
在该实施例中，拍摄灰尘检测图像以获得表示灰尘(异物)的附着位 置、大小等的灰尘信息(异物信息)。提取灰尘数据以生成灰尘数据。优选 通过拍摄具有尽可能均匀的亮度的表面来获得灰尘检测图像。但是，因为 期望在熟悉的位置容易地拍摄图像，所以均匀性的要求不严格。例如，该 实施例假定拍摄蓝色的天空或白色的墙壁。
图2是示出该实施例中的在获得灰尘信息时摄像装置(在该实施例中 为数字照相机)中的处理的流程图。
首先，在步骤S201中，确定操作单元70是否选择灰尘信息获得模式。 重复步骤S201中的确定直到选择了灰尘信息获得模式为止。如果选择了 灰尘信息获得模式，则处理进行到步骤S202，确定用户是否接通了快门开 关SW1 62。如果快门开关SW1 62断开，则处理返回到步骤S201，重复 上述处理。
如果用户接通了快门开关SW1 62，则在步骤S203中设置光圈值、ISO 值、快门速度和其它拍摄关联参数。图3示出了这里设置的参数。将光圈 值设置为例如F22以縮小光圈。可以使用在与镜头支架106连接的镜头单 元300中可设置的范围内的最小光圈来进行拍摄。因为灰尘通常不附着到 图像传感器14的表面、而附着到例如保护图像传感器14的保护玻璃或不 处于图像传感器侧而处于被摄体侧的光学滤波器的光学元件14a的表面， 并且成像状态根据镜头单元300的光圈值改变，所以縮小光圈。几乎在最 大光圈值处，灰尘图像模糊，无法获得适当的灰尘检测图像。因此，优选以最小光圈进行拍摄。
返回参考图2中的流程图，此时，用户使摄像装置指向例如尽可能白
的墙壁的均匀亮度表面，并且操作快门开关SW2 64。
在步骤S204中，确定用户是否接通了快门开关SW2 64。如果快门开 关SW2 64断开，则处理返回到步骤S202，确定快门开关SW1 62接通还 是断开。如果用户接通了快门开关SW2 64，则处理进行到步骤S205。在 步骤S205中，拍摄灰尘检测图像(均匀亮度表面)，将该图像数据存储在 存储器30中。在步骤S206中，从存储在存储器30中的图像数据获得灰 W会自
说明灰尘信息的获得。更具体而言，从拍摄的灰尘检测图像获得灰尘 区域的位置(坐标)和大小。首先，将拍摄的灰尘检测图像的区域划分为
多个块。计算各块中的最大亮度Lmax和平均亮度Lave。通过
Tl=Lave x 0.6 + Lmax x 0.4 来计算各块中的阈值T1。
灰尘附着像素的亮度低于相邻的像素的亮度。从而，将比阈值Tl小 的像素确定为灰尘像素。将由灰尘像素构成的各孤立区域定义为灰尘区域 di (i=0、 1、…、n)。
图4是示出灰尘区域大小计算的概要的图。如图4所示，获得包括在 灰尘区域中的像素的水平坐标的最大值Xmax和最小值Xmin以及垂直坐 标的最大值Ymax和最小值Ymin。通过
ri= V(Xmax - Xmin)2 + (Ymax - Ymin)2 /2
来计算表示灰尘区域di的大小的半径ri。 通过Xdi二 (Xmax + Xmin)/2 Ydi= (Ymax + Ymin)/2
来近似获得中心坐标(Xdi， Ydi)。
将获得的位置(坐标)和半径记录为灰尘信息简档。 非易失性存储器56的大小等有时限制了灰尘校正数据(灰尘信息简
档)的大小。为了处理这种情况，通过灰尘区域的大小和平均亮度值来对
灰尘位置信息进行分类。在该实施例中，以ri的降序对灰尘位置信息进行分类。当ri相同时，以平均亮度值的升序对灰尘位置信息进行分类。利用 这种设置，可以在灰尘校正数据中优先登记明显的灰尘图像。注意Di表示 分类后的灰尘区域，Ri表示灰尘区域Di的半径。
当存在大于预定大小的灰尘区域时，可以将其从分类目标中排除并添 加到分类后的灰尘区域列表的末端。这是因为如果对大的灰尘区域进行随 后的插值处理，则可能使图像质量劣化，期望最后对其进行处理。
灰尘信息简档具有图5所示的结构。如图5所示，灰尘信息简档存储
拍摄灰尘检测图像时的镜头信息和灰尘的位置和大小的信息。更具体而言，
将拍摄灰尘检测图像时的实际光圈值(F值)和镜头光瞳位置存储为拍摄
灰尘检测图像时的镜头信息。接着，将检测到的灰尘区域的数量(整数值) 存储在存储区域中。在该值之后，将各灰尘区域的具体参数重复存储与灰
尘区域相同的数量。灰尘区域的参数包括三个数值的组灰尘的半径(例
如2字节)、有效图像区域的中心的x坐标(例如2字节)以及中心的y 坐标(例如2字节)。
在步骤S207中，将获得的灰尘信息存储在非易失性存储器56中，获 得灰尘信息的处理结束。
灰尘信息获得模式中的拍摄操作的目的是获得灰尘信息。因此，在该 实施例中，不对拍摄的图像本身进行压縮、也不将其记录在记录介质200 上，从而不会由于用户不需要的图像数据而浪费记录介质200的容量。但 是，与正常图像类似，也可以对在灰尘信息获得模式中拍摄的图像进行压 縮并将其保存在记录介质200中。此时，可以通过例如改变扩展名来任意 修改数据。
该实施例旨在提供一种在回放运动图像时执行图像处理以校正由灰尘 引起的图像质量劣化的方法。在说明对运动图像的处理之前，将说明对静 止图像的处理。
在不通过灰尘检测图像拍摄而通过正常拍摄获得静止图像时，与图像 数据关联地与正常拍摄时的照相机设置值等一起在记录介质200上记录图 5所示的灰尘校正数据(还称为异物信息、灰尘信息或灰尘信息简档)。
更具体而言，可以通过将灰尘校正数据添加到例如作为记录拍摄时的照相机设置值等的图像文件的头字段的Exif区域，来将灰尘校正数据与图 像数据相关联。作为另选方案，将灰尘校正数据记录为独立文件，并且仅 将灰尘校正数据文件的链接信息记录在图像数据中，从而将灰尘校正数据 和图像数据相关联。但是，如果分别记录图像文件和灰尘校正数据文件， 则在移动图像文件时链接关系可能丢失。为了防止这种情况，优选与图像 数据一起保持灰尘校正数据。
在上述例如MP4文件的运动图像文件中，灰尘信息简档存储在moov 箱中的保持头信息的mvhd箱中或者moof箱中的mvhd箱中。
与图像数据关联地记录灰尘校正数据假定将与灰尘校正数据一起记录 的图像数据移动到外部图像处理装置并且由外部图像处理装置执行除尘处 理的情况。
接着将参考图6和图7的流程图说明基于以上述方式存储到非易失性 存储器56中的灰尘信息进行的正常拍摄时的除尘处理。以下说明涉及对静 止图像的除尘处理。但是，可以通过对每个帧的图像执行处理，将与对静 止图像的除尘处理相同的除尘处理类似地应用到运动图像。图1中的除尘 电路31执行除尘处理。
图6示出了该实施例中的正常拍摄时的静止图像拍摄处理。 在步骤S501中，处理等待，直到用户接通快门开关SW1 62为止。在 用户接通快门开关SW162时，处理进行到步骤S502，执行测光处理和调 焦处理。在步骤S503中，确定用户是否接通了快门开关SW2 64。如果快 门开关SW2 64断开，则处理返回到步骤S501，重复上述处理。如果检测 到用户接通了快门开关SW2 64，则处理进行到步骤S504，进行拍摄。在 拍摄结束后，处理进行到步骤S505，确定在非易失性存储器56中是否存 在有效灰尘信息。如果存在灰尘信息，则处理进行到步骤S506。如果不存 在灰尘信息，则处理进行到步骤S507，将拍摄的图像数据记录到记录介质 200中。
在该实施例中，确定在非易失性存储器56中是否存在灰尘信息。但是， 必要条件是是否以灰尘信息获得模式进行了拍摄，所以确定方法没有特别 限制。还可以例如在以灰尘信息获得模式进行拍摄时设置标志并对其进行
25评价。
在步骤S506中，将获得的灰尘信息嵌入到拍摄的图像数据的头字段
(例如Exif区域)中。在步骤S507中，将嵌入灰尘信息的图像数据记录 到记录介质200中。
参考图7说明除尘处理的操作。
在步骤S601中，确定在所选择的图像中是否嵌入了灰尘信息。如果 在所选择的图像中嵌入了灰尘信息，则处理进行到步骤S602，提取灰尘信 息。在步骤S603中，根据所提取的灰尘信息执行基于灰尘周围的像素的
例如像素插值处理的校正处理，以从图像数据中消除灰尘的影响。
根据所提取的灰尘校正数据获得坐标序列Di (i=l、 2.....n)、半径
序列Ri (i=l、 2、 ...、 n)、光圈值fl和镜头光瞳位置Ll。 Ri表示在对灰 尘校正数据进行分类时获得的坐标Di处的灰尘的大小。fl表示拍摄灰尘 检测图像时的镜头的光圈值，Ll表示类似地拍摄灰尘检测图像时的镜头的 光瞳位置。获取正常拍摄图像时的光圈值G和镜头光瞳位置L2，通过以 下方程式转换Di。通过
Di'(x，y) = (L2 x (Ll - H) x d/((L2 - H) x Ll)) x Di(x，y)
Ri' = (Ri x fl/f2 + 3)(1) 来定义转换后的坐标Di'和转换后的半径Ri'。
其中，d是从图像中心到坐标Di的距离，H是从图像传感器14的表面到 灰尘的距离。
单位是像素，Ri'的"+3"表示余量。
检测由坐标Di'和半径Ri'定义的区域中的灰尘，如果需要，则应用插 值处理。稍后将具体说明插值处理。对所有坐标应用除尘处理，如果对所 有坐标进行了处理，则处理进行到步骤S604。
在步骤S604中，重新记录经过了从拍摄的图像中消除灰尘的影响的 校正处理的图像。
然后，除尘处理结束。 (插值处理)
具体说明灰尘区域插值处理。图8是示出插值例程的序列的流程图。
在步骤S701中，确定灰尘区域。将灰尘区域定义为满足所有以下条 件的区域
(1) 比根据落入由中心坐标Di'和半径Ri'(通过方程式(1)计算的
Ri'和Di')定义的区域的像素的平均亮度Yave和最大亮度Ymax计算的阈 值T2暗的区域
<formula>formula see original document page 27</formula>
(2) 不与从中心坐标Di'具有半径Ri'的圆接触的区域。
(3) 关于在(1)中选择的低亮度像素的孤立区域，用上述方程式计 算的半径值等于或大于xl像素且小于x2像素的区域。
(4) 包含圆的中心坐标Di'的区域。
在该实施例中，xl表示3个像素，x2表示30个像素。利用这种设置， 可以仅将小的孤立区域作为灰尘区域进行处理。在不能准确地获得镜头光 瞳位置时，可以放宽条件(4)。例如，在关注区域包含在X和Y方向两者 上距离坐标Di士3个像素的范围的坐标时，将其确定为灰尘区域。
如果在步骤S702中在图像信号中存在这种区域(部分)，则处理进行 到步骤S703，执行灰尘区域插值。如果不存在这种区域，则处理结束。歩 骤S703中的灰尘区域插值处理采用已知的缺陷区域插值方法。己知的缺 陷区域插值方法的示例为在日本特开2001-223894号公报中公开的模式替 换。在日本特开2001-223894号公报中，使用红外光指定缺陷区域。在该 实施例中，将在步骤S701中检测到的灰尘区域作为缺陷区域进行处理， 并通过模式替换用正常的相邻像素进行插值。对于不能通过模式替换进行 插值的像素，从经过模式校正的图像数据中距离要插值的像素最近的像素 开始依次选择p个正常像素，使用它们的平均色对目标像素进行插值。
在静止图像除尘处理中，以这种方式将灰尘校正数据附加到图像。不 需要记录灰尘校正图像数据与拍摄的图像数据之间的对应关系。因为灰尘 校正数据是由位置、大小和转换数据(光圈值和镜头光瞳位置的距离信息) 构成的紧凑(compact)数据，所以拍摄的图像数据的大小不会变得过于大。 仅对包含由灰尘校正数据指定的像素的区域进行插值，从而大大降低了检测错误的可能性。
接着，说明该实施例中的在具有图像处理功能的摄像装置中对运动图 像的灰尘校正回放处理。
图9是用于说明该实施例中的摄像装置回放运动图像的操作的流程图。
如果用户指定运动图像回放操作，则在步骤S2201中经由接口 90将 包含灰尘位置校正数据的运动图像文件从记录介质200读取到照相机体 100的存储器30。为了方便说明，运动图像数据仅由I和P帧构成。
作为运动图像文件的示例，考虑图IOA和图10B中的图像数据。将图 IOA中的图像数据编码为I帧，将图IOB的图像数据编码为P帧。实际编 码依照图14所示的序列来处理各宏块。图IOA和图10B中的虚线定义了 宏块。
在帧中拍摄到了灰尘的阴影，灰尘附着在图像感测平面前面的光学元 件14a的表面。即使场景变化，也一直在帧中相同的位置出现灰尘的阴影。 假定灰尘位置包括在存储在运动图像文件的头中的灰尘信息中。
在将图IOB中的图像数据编码成P帧时，图14中的运动检测单元412 输出图IOC所示的运动矢量，帧间预测单元411输出图IOD所示的预测图 像。减法器401输出图IOE所示的图像数据，熵编码器415将其与图10C 中的运动矢量一起编码。
返回参考对回放处理的说明，在步骤S2202中，压縮/解压縮电路32 对运动图像文件进行解压縮。图13示出了包括在压縮/解压縮电路32中的 与运动图像解压縮处理关联的块。除了增加了灰尘校正电路816之外，图 13所示的各个块与图22所示的各个块相同。根据参考图22说明的序列进 行解压縮处理。在步骤S2202中，逆DCT电路806输出预测编码图像， 运动补偿电路809输出运动补偿数据。
对于I帧，逆DCT电路806输出图IIA所示的图像，开关电路810 选择端子a以输出"O"。对于P帧，逆DCT电路806输出图IIB所示的图 像，开关电路810选择端子b以将图IIC所示的图像作为来自运动补偿电 路809的输出而输出。
28在步骤S2203中，确定要处理的帧的类型。如果该帧是I帧，则处理 进行到步骤S2205，加法电路807和接下来的电路执行解压縮处理，灰尘 校正电路816不执行处理(异物去除处理)。如果该帧是P帧，则处理进 行到步骤S2204，灰尘校正电路816执行第一灰尘校正处理。
在步骤S2204中，灰尘校正电路816对P帧执行第一灰尘校正处理。 在第一灰尘校正处理中，通过将灰尘位置信息应用到从逆DCT电路806 输出的预测编码图像(图11B)来进行灰尘校正处理。灰尘校正电路816 输出经过第一灰尘校正处理的预测编码图像。
参考图12的流程图说明第一灰尘校正处理。
在步骤S2301中，灰尘校正电路816接收图IIB所示的预测编码图像。
在步骤S2302中，灰尘校正电路816读取存储在运动图像文件的头中 的灰尘位置信息，以搜索预测编码图像中的灰尘位置。
在步骤S2303中，灰尘校正电路816获得与预测编码图像中的灰尘位 置相对应的区域的预测误差。预测误差包括在帧之间实际生成的预测误差 和根据灰尘的阴影生成的预测误差。根据灰尘的阴影生成的预测误差大于 在帧之间生成的预测误差。灰尘校正电路816根据灰尘的阴影确定出现了 超过预定阈值TH的预测误差。
如果灰尘校正电路816确定预测误差大于灰尘区域的阈值TH并且是 根据灰尘的阴影生成的，则处理进行到步骤S2304以消除预测误差。如果 灰尘校正电路816确定预测误差等于或小于阈值TH并且不是根据灰尘的 阴影生成的，则处理进行到步骤S2305。
在步骤S2304中，灰尘校正电路816对确定为根据灰尘的阴影而出现 的预测误差执行消除处理。在确定图11B中的灰尘区域的预测误差比阈值 TH大并且是根据灰尘的阴影而出现的时，如图11D所示，通过用"O"替换 预测误差来消除该区域的预测误差。
根据确定阈值TH以及灰尘位置信息来确定是否执行消除处理的理由 如下
(1)为了防止即使在灰尘位置信息中登记了灰尘、但是因为在拍摄时 灰尘可能不存在于该位置、因此灰尘实际上不存在时，执行错误的处理。(2)为了防止针对以下区域执行错误的处理如参考图4所说明的， 因为不管实际的灰尘形状，在灰尘位置信息中灰尘都用圆表示，所以该区 域实际上不包含灰尘的阴影。
可以使用一个确定阈值TH，或者因为灰尘阴影的浓度根据拍摄时的 光圈值而改变，所以还可以根据该浓度使用多个阈值。例如，对于深的灰 尘阴影，将阈值设置得低以尽可能去除灰尘的阴影；对于微弱的灰尘阴影，
将阈值设置得高，以不消除除由于灰尘的阴影而产生的预测误差以外的预 测误差。
确定阈值TH可以是固定值或针对每个要处理的区域进行设置。例如， 在灰尘区域的预测误差大时，目标帧被确定为与参考帧的相关性较低。在 这种情况下，将阈值TH设置得高以不消除预测误差。相反，在预测误差 小时，目标帧被确定为与参考帧的相关性高。在这种情况下，将阈值TH 设置得低以尽可能地去除灰尘的阴影。
此外，可以考虑灰尘区域周围的预测误差。在外围预测误差大时，目 标帧被确定为与参考帧的相关性较低。在这种情况下，将阈值TH设置得 高以不消除预测误差。相反，在外围预测误差小时，目标帧被确定为与参 考帧的相关性高。在这种情况下，将阈值TH设置得低以尽可能地去除灰 尘的阴影。
作为预测误差消除操作，用"0"替换预测误差，但是不需要总是用"0" 进行替换。例如，可以根据灰尘的阴影的浓度或者考虑灰尘区域的预测误 差或灰尘区域周围的预测误差，来消除预定水平的预测误差。
灰尘区域可能与多个宏块重叠。在这种情况下，可以对所有宏块应用 相同的阈值TH，还可以根据上述确定来应用针对各宏块最佳的阈值TH。 至于预测误差消除操作，可以针对所有宏块进行相同的消除操作，或者还 可以执行针对各宏块最佳的消除处理。
在步骤S2305中，灰尘校正电路816输出消除了预测误差的预测编码 图像。
说明了第一灰尘校正处理。
返回参考图9的序列，在步骤S2205中，加法电路807将预测编码图
30动补偿电路809输出的运动补偿数据相加。对结果数据进行解压 縮处理。
在处理I帧时，开关电路810选择端子a。加法电路807接收图11A 中的数据和"0"，并且输出图IIA中的数据。
在处理P帧时，开关电路810选择端子b。加法电路807接收图11D 和图11C中的数据，并且输出图IIE中的数据。
由于在步骤S2304中消除了灰尘区域的预测误差，因此加法电路807 进行的加法处理能够从P帧中去除灰尘的阴影。
在步骤S2206中，对在步骤S2204中没有进行第一灰尘校正处理的灰 尘的阴影进行第二灰尘校正处理。对在步骤S2205中解压縮并且生成为帧 数据的图像进行第二灰尘校正处理。在第二灰尘校正处理中，除尘电路31 执行与前述针对静止图像的灰尘校正处理相同的处理。
没有对图IIA中的I帧的压縮数据进行第一灰尘校正处理，所以根据 包含在文件中的灰尘位置信息来校正帧中的灰尘数据。图IIF示出了校正 后的图像。
对图11E中的P帧的压縮数据进行了第一灰尘校正处理以去除灰尘的 阴影。在步骤S2206中，不需要对该数据进行灰尘校正处理，从而縮短了 步骤S2206的处理时间。
在步骤S2207中，执行显示处理。将灰尘校正后的运动图像的大小调 整为最适于图像显示单元28的图像大小，并将其存储在图像显示存储器 24中。接着，在存储器控制电路22的控制下读出运动图像并且显示在图 像显示单元28上。
最后，在步骤S2208中，确定是否处理了所有帧。如果确定处理了所 有帧，则回放处理结束。如果没有处理所有帧，则处理返回到步骤S2202， 重复相同的操作直到处理了所有帧为止。
根据该序列来执行灰尘校正回放处理。
为了方便说明，该实施例说明了由I和P帧构成的运动图像。但是， 还能够针对B帧执行相同的处理，并且本发明能够应用于多个运动图像格 式。如上所述，根据该实施例，在使用灰尘位置信息执行灰尘校正处理的 同时回放运动图像文件时，仅对I帧进行费时的使用外围图像的灰尘校正 处理。在P帧中，通过根据预测编码图像消除由灰尘位置信息给出的区域 的预测误差来去除灰尘的阴影。这能够提高回放时的操作速度并且回放校 正了灰尘的阴影的高质量的运动图像。 (其它实施例)
还能够通过读出并执行记录在存储设备中的用于执行上述实施例的功 能的程序的系统或装置的计算机(或例如CPU或MPU的设备)、和通过 由系统或装置的计算机通过例如读出并执行记录在存储设备中的用于执行 上述实施例的功能的程序执行步骤的方法，来实现本发明的各个方面。为 了这个目的，例如经由网络或从用作存储设备的各种类型的记录介质(例 如计算机可读介质)将程序安装到计算机。
虽然参照示例性实施例对本发明进行了说明，但是应当理解，本发明 不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解 释，以使其涵盖所有这些变型、等同结构和功能。
权利要求
1.一种图像处理装置，其用于基于异物信息对通过执行预测编码而生成的运动图像数据中的异物的阴影进行校正，所述异物信息包含附着在设置于摄像装置中的图像传感器前面的光学元件上的所述异物的位置和大小的信息，所述摄像装置拍摄了由帧构成的所述运动图像数据，所述图像处理装置包括运动图像解压缩单元，其可操作以通过从所述运动图像数据获得表示帧之间的差的差信息来对各帧的图像进行解压缩；以及校正单元，其可操作以在针对包含由所述异物信息表示的所述异物的阴影的区域获得的所述差信息被确定为大于预定阈值的情况下，校正所获得的差信息。
2. 根据权利要求1所述的图像处理装置，其中，表示所述帧之间的差 的所述信息包括预测误差。
3. 根据权利要求1所述的图像处理装置，所述图像处理装置还包括异 物去除单元，所述异物去除单元用于从所述运动图像解压縮单元获得的帧 图像中，去除包含在所述异物信息中的没有经过所述校正单元校正的异物 的阴影。
4. 根据权利要求1所述的图像处理装置，其中，所述校正单元处理后 的帧包括通过参考不同帧的图像数据而编码的帧。
5. 根据权利要求1所述的图像处理装置，其中，所述校正单元进行的 校正处理包括用0替换所述帧之间的差的处理。
6. 根据权利要求1所述的图像处理装置，其中，所述校正单元进行的 校正处理包括将预定值与所述帧之间的差相加的处理或者从所述帧之间的 差中减去预定值的处理。
7. 根据权利要求1所述的图像处理装置，其中，所述校正单元可操作 以针对包含由所述异物信息表示的所述异物的阴影的区域设置至少一个阈 值。
8. —种图像处理装置的控制方法，所述图像处理装置用于基于异物信息对通过参考不同输入帧的图像数据执行预测编码而生成的运动图像数据 中的异物的阴影进行校正，所述异物信息包含附着在设置于摄像装置中的 图像传感器前面的光学元件上的所述异物的位置和大小的信息，所述摄像 装置拍摄了由帧构成的所述运动图像数据，所述控制方法包括运动图像解压縮步骤，通过从所述运动图像数据获得表示帧之间的差 的差信息来对各帧的图像进行解压縮；以及校正步骤，在针对包含由所述异物信息表示的所述异物的阴影的区域 获得的所述差信息被确定为大于预定阈值的情况下，校正所获得的差信息。
全文摘要
本发明涉及一种图像处理装置及其控制方法。图像处理装置基于附着在设置在摄像装置中的图像传感器前面的光学元件上的异物的信息，对通过参考不同输入帧的图像数据执行预测编码而生成的运动图像数据中的异物的阴影执行校正，所述图像处理装置包括运动图像解压缩单元，其通过从所述运动图像数据获得表示帧之间的差的信息来对各帧的图像进行解压缩；以及校正单元，其在表示与包含由异物信息表示的异物的阴影的区域对应的、由运动图像解压缩单元获得的、帧之间的差的信息被确定为大于预定阈值时，校正表示帧之间的差的信息。
文档编号H04N5/232GK101662578SQ20091016657
公开日2010年3月3日 申请日期2009年8月26日 优先权日2008年8月29日
发明者池田康之 申请人:佳能株式会社