成像设备和成像方法

专利名称：成像设备和成像方法
技术领域：
本发明涉及数字摄像机、安装在移动电话上的摄像机、安装在个 人数字助理上的摄像机、图像检査设备、用于自动控制的工业摄像机、 或其他使用成像元件并具有光学系统的成像设备及其方法。
10
背景技术：
近年来，信息数字化取得了快速的进步。因此，在成像领域中为 了满足信息数字化的快速进步已付出了大量努力。
特别地，以数字摄像机为代表，对于成像表面，大多数情况下， 15胶片正在被如CCD (电荷耦合器件)或CMOS (互补金属氧化物半导 体)传感器之类的固态成像元件取代。
按照这种方式使用CCD或CMOS传感器作为成像元件的成像镜 头设备通过光学系统光学地捕获对象的图像，并通过成像元件提取作 为电信号的内容。除了数字照相机之外，这也用于视频摄像机、数字 20视频单元、个人计算机、移动电话、个人数字助理(PDA)、图像检査 设备、用于自动控制的工业摄像机等等。
图1是示出了一般的成像镜头设备的配置和光线状态的示意图。
成像镜头设备1具有光学系统2和CCD或CMOS传感器或其他 成像元件3。
25 光学系统包括从对象侧(OBJS)朝着成像元件3侧依次排列的对
象侧透镜21和22、光圈23和成像透镜24。
在成像镜头设备l中，如图1所示，最佳聚焦平面被设置为与成 像元件表面相匹配。
图2A至图2C示出了成像镜头设备1的成像元件3的光接收表面 30 上的斑点图像。
此外，已经提出了使用相位板(波阵面编码光学元件)以规则地 发散光线、使用数字处理恢复图像并从而能够捕获具有较深景深的图 像等的成像设备(见例如非专利文献1和2以及专利文献1至5)。
此外，己经提出了使用传递函数进行滤波的数字摄像机的自动曝
5光控制系统(见例如专利文献6)。
非专禾ll文献1: "Wavefront Coding; jointly optimized optical and digital imaging systems", Edward R. Dowski, Jr., Robert H. Cormack, Scott D. Samma。
非专禾U文献2: "Wavefront Coding; A modern method of achieving 10high performance and/or low cost imaging systems", Edward R. Dowski, Jr., Gregory E. Johnson。
专利文献h USP6，021，005。
专利文献2: USP6，642，504。
专利文献3: USP6,525，302。 15 专利文献4: USP6,069，738。
专利文献5:日本专利公开(A)第2003-235794号。
专利文献6:日本专利公开(A)第2004-153497号。

发明内容
20 本发明要解决的问题
在上述文献中提出的所有成像设备都是基于当在通常的光学系统
中插入上述相位板时PSF (点扩展函数，Point-Spread-Function)保持
不变而预测的。若PSF改变，通过使用随后的内核(kernel)进行巻积来
实现景深较深的图像是极其困难的。 25 相应地，且不论具有单焦点的镜头的情况，在变焦系统、AF系
统等的镜头中，镜头的光学设计的高精度等级和随之而来的成本的增
加导致了采用这样的镜头的主要问题。
换句话说，上述成像设备中不可能进行合适的巻积运算。需要一
种光学设计，能够在"广(wide)"模式时和在"远(tde)"模式时， 30消除像散、慧形偏差、变焦色差和其他导致斑点图像的偏离的像差。
然而，消除这些像差的光学设计增加了光学设计的难度，并导致 了如增加设计过程数量、增加成本以及增加镜头尺寸之类的问题。
此外，在上述每个文献所公开的设备中，例如在暗处捕获图像时 和通过信号处理恢复图像时，同时也放大了噪声。 5 相应地，在使用例如上述相位板等光学阵面调制元件的光学系统
和包括信号处理的光学装置中，缺点在于，当在暗处捕获图像时，放 大了噪声并对恢复的图像有影响。
此外，降低F值(光圈)以达到较深景深的方法的缺点在于必 需光圈机构，镜头变暗，动态范围不能通过关闭光圈而相对于亮度得 10至U，快门速度变慢，因此容易导致手的抖动和对象的抖动。
此外，使用图像处理来进行散焦(模糊)恢复处理的方法中，处
理非常繁重。因此，为了即使在显示直通(through)图像期间也能连
续地校正模糊，所需的资源的规模变大，昂贵的硬件变得必要。备选 地，根据处理能力，产生了不能提高帧率的限制。当帧率明显降低时，
15快门定时也易于错失。
此外，在现有技术中，用于图像恢复处理的滤波器大小是固定大 小，与图像捕获模式无关。相应地，其缺点在于，通过捕获静止图像 时的图像恢复处理的滤波器大小实施捕获运动图像时的图像恢复处理 时，每帧的处理时间变长，因此不可能实时进行处理。
20 相反，还有缺点在于，能够实时进行处理的滤波器大小是在显示
直通图像时(预览时)设定的，此时，在捕获静止图像时恢复的图像 劣化。
本发明的目的是提供一种成像设备及其方法，其能够在保持高帧 率的同时简化光学系统，而不需要昂贵的模糊恢复处理硬件，能够降 25 低成本、能够根据图像的捕获模式实时实现图像处理而不造成恢复图 像的劣化，此外能够获得噪声影响很小的恢复图像。
解决问题的手段
本发明的第一方面的成像设备，具有光学系统，形成为使焦点
的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定；成像 30 元件，用于捕获通过所述光学系统的对象图像；转换装置，用于校正
来自所述成像元件的图像的焦点的模糊，并产生恢复的图像信号；信 号处理装置，用于对所述图像信号进行预定的图像处理；切换装置， 用于选择性地将来自所述成像元件的图像信号或来自所述转换装置的 图像信号输入至所述信号处理装置；存储装置，用于存储所述信号处 5 理装置已处理的图像；触发信号产生装置，用于产生对图像存储进行 指示的触发信号；图像监视装置，用于显示所述信号处理装置已处理 的图像；以及控制装置，用于在显示直通图像期间将来自所述成像元 件的图像信号通过切换装置输入至所述信号处理装置，并在接收到来 自所述触发信号产生装置的触发信号时将来自所述转换装置的图像信 10 号输入至所述信号处理装置。
本发明的第二方面的成像设备具有光学系统，形成为使焦点的
模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定；成像元 件，用于捕获通过所述光学系统的对象图像；转换装置，用于校正来 自所述成像元件的图像的焦点的模糊，并产生恢复的图像信号；第一
15 滤波器，用于在静止图像捕获模式时的所述转换装置的图像恢复处理； 第二滤波器，用于在至少运动图像捕获模式时的所述转换装置的图像 恢复处理，其中所述转换装置根据捕获模式选择至少第一滤波器或第 二滤波器并进行图像恢复处理。
优选地，所述设备具有信号处理装置，用于对图像信号进行预定
20 的图像处理，以及图像监视装置，用于显示所述信号处理装置已处理 的图像，其中第二滤波器用于在运动图像捕获模式时或显示直通图像 时的所述转换装置的图像恢复处理，以及所述转换装置根据捕获模式 或根据是/否显示直通图像来选择第一滤波器或第二滤波器并进行图 像恢复处理。
25 优选地，转换装置根据图像显示装置的分辨率使用第二滤波器进
行简单恢复处理。
优选地，第二滤波器包括使用采样PSF (点扩展函数)的图像恢
复滤波器。
优选地，第二滤波器具有带宽增强功能。 30'优选地，第二滤波器的大小小于第一滤波器的大小。
优选地，所述设备具有设定装置，其能够设定在捕获运动图像时 和显示直通图像时是/否使用第二滤波器执行图像恢复处理。
优选地，所述设备还具有触发信号产生装置，用于产生触发信 号，以及控制装置，用于在显示直通图像期间将经过所述转换装置中 5 的第二滤波器的图像恢复处理的图像信号输入至所述信号处理装置， 并在接收到来自所述触发信号产生装置的触发信号时，将经过所述转 换装置中的第一滤波器的图像恢复处理的图像信号输入至所述信号处 理装置。
优选地，所述设备具有用于存储图像的存储装置。在捕获运动图 10 像时，所述控制装置将经过第二滤波器的图像恢复处理的图像信号输 入至所述信号处理装置，以显示直通图像，以及在所述存储装置中存 储图像时，所述控制装置通过所述转换装置中的第一滤波器执行图像 恢复处理。
优选地，所述设备具有用于存储图像的存储装置。控制装置在捕 15 获运动图像时，将经过第二滤波器的图像恢复处理的图像信号输入至 信号处理装置，并在存储装置中存储该图像。
优选地，所述设备还具有切换装置，用于选择性地将来自成像 元件的图像信号或来自转换装置的图像信号输入至信号处理装置；用 于产生触发信号的触发信号产生装置；控制装置用于在显示直通图像 20 期间将来自成像元件的图像信号通过切换装置输入至信号处理装置， 并在接收到来自触发信号产生装置的触发信号时，将来自转换装置的 图像信号输入至信号处理装置。
优选地，所述设备具有用于存储图像的存储装置。控制装置在捕 获运动图像时，将来自成像元件的未执行图像恢复处理的图像信号输 25入至图像处理装置用于显示直通图像，而在存储装置中存储图像时， 通过转换装置执行图像恢复处理。
优选地，所述设备具有用于存储图像的存储装置。控制装置在捕 获运动图像时，将来自成像元件的未执行图像恢复处理的图像信号输 入至图像处理装置，在存储装置中存储未执行图像恢复处理的图像， 30 而在从存储装置再现图像时通过转换装置执行图像恢复处理。
进一步，优选地，使用图像显示装置的分辨率作为上限来设定焦 点的模糊量。
优选地，图像监视装置的分辨率不大于图像监视装置的像素间距 的2倍。优选地，控制装置通过转换装置恢复通过接收触发信号而捕获的
静止图像，接着在信号处理装置处理之后使图像监视装置显示图像。
优选地，在显示直通图像期间，控制装置使成像元件输出具有图 像监视装置的分辨率所要求的足够的分辨率的图像。
优选地，光学系统具有变焦信息产生装置，包括光学波阵面调制 10 元件和变焦光学系统，变焦信息产生装置产生对应于变焦光学系统的 变焦位置或变焦量的信息。转换装置基于变焦信息产生装置产生的信 息，根据发散的图像信号产生不发散的图像信号。
优选地，所述设备具有对象距离信息产生装置，用于产生对应于 至对象的距离的信息。转换装置基于对象距离信息产生装置产生的信 息，根据发散的图像信号产生不发散的图像信号。
优选地，所述设备具有对象距离信息产生装置，用于产生对应于至对象的距离的信息；以及转换系数运算装置，用于基于对象距离信息产生装置产生的信息运算转换系数。转换装置根据从转换系数处 理装置获得的转换系数产生不发散的图像信号。
优选地，所述设备具有图像捕获模式设定装置，用于设定所要捕获的对象的图像捕获模式。转换装置根据图像捕获模式设定装置设定 的图像捕获模式进行不同的转换处理。
优选地，成像设备可以切换多个镜头，成像元件具有转换系数获 得装置，能够捕获通过多个镜头的至少一个镜头和光学波阵面调制元 25件的对象的像差图像，并进一步获得根据一个镜头的转换系数。转换 装置根据从转换系数获得装置获得的转换系数转换图像信号。
优选地，所述设备具有用于控制曝光的曝光控制装置。信号处理 装置根据来自曝光控制装置的曝光信息进行关于光学传递函数(OTF)的滤波。
本发明第三方面的一种方法，包括以下步骤通过成像元件捕获
通过光学系统的对象图像，所述光学系统形成为使焦点的模糊量在焦 点位置以及在焦点之前和之后的距离处基本恒定，在显示直通图像期 间对来自所述成像元件的图像信号进行预定的图像处理，以及在接收 到指示图像存储的触发信号时，校正来自所述成像元件的图像的焦点 5 的模糊以恢复图像信号，并对恢复的图像信号进行预定的图像处理。 本发明第四方面的一种方法，包括以下步骤通过成像元件捕获 通过光学系统的对象图像，所述光学系统形成为使焦点的模糊量在焦 点位置以及在焦点之前和之后的距离处基本恒定，在显示直通图像期 间对来自所述成像元件的图像信号进行预定的图像处理，以及校正来
10自所述成像元件的图像的焦点的模糊以恢复图像信号，并对恢复的图 像信号进行预定的图像处理，其中，在静止图像捕获模式时使用第一 滤波器进行图像恢复处理，以及在运动图像捕获模式时或显示直通图 像时使用第二滤波器进行图像恢复处理，第二滤波器的大小与第一滤 波器的大小不同。
15 本发明的效果
根据本发明，在保持高帧率的同时简化了光学系统，但不需要昂 贵的模糊恢复处理硬件，降低了成本。进一步，其优点在于，根据图 像捕获模式可以实现实时处理而不会造成恢复图像的劣化，此外，可 以获得噪声影响很少的恢复图像。
20


图1是示出了一般的成像镜头设备的配置和光线状态的示意图。 图2A至图2C是示出了成像镜头设备1的成像元件3的光接收表
面上的斑点图像的图，其中图2A是示出了焦点偏离0.2mm (散焦 25=0.2mm)时的斑点图像的图，图2B是示出了聚焦(最佳聚焦)时的
斑点图像的图，图2C是示出了焦点偏离-0.2mm (散焦=-0.2111110时的
斑点图像的图。
图3是示出了根据本发明第一实施例的成像设备的配置框图。 图4是示出了一般成像光学系统的光线高度与散焦之间的关系的
30 图。
图5是示出了本实施例的光学系统成像附近的光学特性的图。
图6是一般光学系统的最佳聚焦位置的MTF (调制传递函数)特
性的图。
图7是示出了本实施例的光学系统的M TF特性的图。 5 图8A至8C是本实施例中的模糊恢复处理的示意图。
图9A至图9D是示出了监视器的像素阵列的示例的图。 图10是示出了根据本实施例的在成像镜头设备的广角侧的变焦 光学系统的配置示例的示意图。
图11是示出了根据本实施例的在成像镜头设备的远视侧的变焦 10 光学系统的配置示例的示意图。
图12是示出了在广角侧的图像高度中心的斑点形状的图。 图13是示出了在远视侧的图像高度中心的斑点形状的图。 图14是用于解释DEOS原理的图。
图15是示出了内核数据ROM的存储数据的示例(光学放大倍数) 15 的图。
图16是示出了内核数据ROM的存储数据的另一示例(F数)的图。
图17是示出了用于设定曝光控制设备的光学系统的处理的示意 流程图。
20 图18是示出了信号处理单元和内核数据存储ROM的配置的第一
示例的图。
图19是示出了信号处理单元和内核数据存储ROM的配置的第二 示例的图。
图20是示出了信号处理单元和内核数据存储ROM的配置的第三 25 示例的图。
图21是示出了信号处理单元和内核数据存储ROM的配置的第四
示例的图。
图22是示出了组合了对象距离信息和曝光信息的图像处理设备 的配置的示例图。
30 图23是示出了组合了变焦信息和曝光信息的图像处理设备的配
置的示例图。
图24是示出了滤波器的配置的示例图，其中使用曝光信息、对象 距离信息和变焦信息。
图25是示出了组合了图像捕获模式信息和曝光信息的图像处理 5 设备的配置的示例图。
图26A至图26C是示出了根据本实施例的成像元件的光接收表面 上的斑点图像的图，其中图26A是示出了焦点偏离0.2mm (散焦 二0.2mm)时的斑点图像的图，图26B是示出了聚焦(最佳聚焦)时 的斑点图像的图，图26C是示出了焦点偏离-0.2mm (散焦=-0.2111111) 10 时的斑点图像的图。
图27A和27B是用于解释根据本实施例的由成像元件形成的第一 级(first order)图像的MTF的图，其中图27A是示出了成像镜头设 备的成像元件的光接收表面上的斑点图像的图，图27B示出了相对于 空间频率的MTF特性。 15 图28是用于解释根据本实施例的图像处理装置中的MTF校正处
理的图。
图29是用于具体解释根据本实施例的图像处理装置中的MTF校 正处理的图。
图30是示出了在一般光学系统中，当对象位于焦点位置时和当对 20象偏离焦点位置时的MTF响应的图。
图31是示出了在本实施例的具有光学波阵面调制元件的光学系 统中，当对象位于焦点位置时和当对象偏离焦点位置时的MTF响应 的图。
图32是示出了根据本实施例的成像设备在数据恢复之后的MTF 25 响应的图。
图33是示出了根据本发明第二实施例的成像设备的配置框图。 图34是示出了用于根据图像捕获模式进行图像恢复处理的基本 控制流程图。
图35是示出了根据本发明第三实施例的具有多个光学系统的成 30 像设备的配置框图。
图36是示出了用于设定图35的系统控制设备的光学系统的处理
的示意流程图。
图37是示出了根据本发明第四实施例的具有多个光学系统的成 像设备的配置框图。
5
附图标记描述
100、 IOOA至IOOC...成像设备，110、 IIOB、 110C...光学系统， 120...成像元件，130...模拟前端AFE， 140...切换单元，140-1...第 一切换单元，140-2,.,第二切换单元，150...图像处理设备，160...摄 10 像机信号处理单元，190...操作单元，200...曝光控制设备，200B、 200C...系统控制设备，210...第一滤波器，220...第二滤波器，111... 对象侧透镜，112...成像透镜，113...波阵面形成光学元件，113a...相 位板(光学波阵面调制元件)，152...巻积运算单元，153...内核数据 ROM，以及154...巻积控制单元。
1具体实施例方式
以下参照附图解释本发明的实施例。
图3是示出了根据本发明第一实施例的成像设备的配置框图。 根据本发明第一实施例的成像设备100具有光学系统110、成像元 20件120、模拟前端AFE130、切换单元140、作为转换装置的图像处理设 备150、摄像机信号处理单元160、图像显示存储器170、图像监视设备 180、操作单元190以及作为控制装置的曝光控制设备200。 光学系统110为成像元件120提供捕获对象OBJ的图像。 本实施例的光学系统110包括光学波阵面调制元件，这个元件将 25 在以后描述，光学系统110形成为使焦点的模糊量在焦点位置和焦点位 置前后的距离上是基本恒定的。
使用图像监视设备180的分辨率作为上限来设定焦点的模糊量。 成像元件120由CCD或CMOS传感器配置，光学系统110获取的图 像在其中形成，并将形成的第一级图像作为信号的第一级图像信号 30 FIM经由模拟前端130输出至切换单元140。
在图3中，作为示例，将成像元件120描述为CCD。 模拟前端130具有定时产生器131和模拟/数字(A/D)转换器132。 定时产生器131产生成像元件120的CCD的驱动定时，A/D转换器 132将从CCD输入的模拟信号转换为数字信号并将其输出至切换单元 5 140。
切换单元140根据来自曝光控制设备200的切换控制信号SCTL， 选择性地将成像元件120所捕获的图像信号经由AFE 130输入图像处 理设备150或摄像机信号处理单元160。
在切换单元140中，固定触点互与AFE 130的A/D转换器132的输出 10线连接，工作触点h与图像处理设备150的输入线连接，工作触点e与摄 像机信号处理单元160的信号输入线连接。
例如，当在监视设备180中显示直通图像时，控制切换单元140， 使固定触点g与工作触点e连接，以"显示直通图像"。另一方面，当捕 获图像以及在存储器170中存储图像时，控制切换单元140，使固定触 15 点g与工作触点fe连接。
图像处理设备(二维巻积装置)150用作转换装置，接收来自前 一级中AFE 130的所捕获图像的数字信号作为输入，实施二维巻积处 理，并将结果传送至下一级中的摄像机信号处理单元(DSP) 160。 图像处理设备150根据曝光控制设备200的曝光信息，执行有关光 20学传递函数(OTF)的滤波。应注意，光圈信息作为曝光信息被包括 在内。
图像处理设备150产生通过对来自成像元件120的图像的焦点模 糊进行校正而恢复的图像信号。更具体地，图像处理设备150具有从来 自成像元件120的对象的发散(disperse)的图像信号产生不发散的图 25像信号的功能。进一步，图像处理设备150具有在第一步骤(处理)中
应用噪声降低滤波的功能。
以后将进一步详细解释图像处理设备150的处理。 摄像机信号处理单元(DSP) 160进行颜色插值、白平衡、YCbCr 转换处理、压缩、文件编排(filing)以及其他预定的图像处理，并进 30行存储器170中的存储、图像监视设备180中的图像显示等等。
图像监视设备180显示例如由液晶显示设备形成的并经过由摄像 机信号处理单元160所进行的预定图像处理的直通图像或捕获图像。
图像监视设备180的分辨率被设定为例如不大于图像监视设备 180的像素间距的两倍。 5 —存储器170存储在摄像机信号处理单元160中经过预定的图像处 理的捕获图像等。
操作单元190由输入开关等配置，用于指示曝光控制设备200进行 预定的功能控制。操作单元190包括开关，例如快门按钮、释放按钮、 放大按钮、上移键、下移键、右移键和左移键。 10 操作单元l卯具有触发信号产生功能，用于在例如用户操作快门
按钮或释放按钮时产生触发信号，所述触发信号用于指示捕获所需的 直通图像部分、将其存储在存储器170中并将其输出至曝光控制设备 200。
曝光控制设备200进行曝光控制，并同时等待操作单元190等的操 15作输入，根据这些输入确定整个系统的操作，控制AFE 130、图像处 理设备150、 DSP160等，并执行整个系统的调解(mediation)控制。
曝光控制设备200通过切换控制信号CTL将切换单元140的固定触 点^与工作触点￡连接，并将未经恢复处理的成像元件120所捕获的图像 信号直接输入摄像机信号处理单元160。 20 另一方面，曝光控制设备200在接收到来自操作单元190的触发信
号时，判断该模式是用于捕获图像并在存储器no中存储图像，通过切
换控制信号SCTL将切换单元140的固定触点g与工作触点b连接，将图 像输入图像处理设备150，以便实施恢复处理。
也就是说，曝光控制设备200在图像处理设备150中对由接收触发 25 信号所捕获的图像进行恢复处理，接着在摄像机信号处理单元160中实 施预定的图像处理之后，使图像监视设备180显示图像。
进一步，曝光控制设备200通过例如摄像机信号处理单元160，向 定时产生器131发出指令，以便在图像监视设备180显示直通图像期间， 从成像元件120输出具有图像监视设备180的分辨率所需的足够的分辨
30 率的图像。 以下解释本实施例的光学系统的基本功能和根据有/无模糊图像
恢复的基本处理，接着，具体解释光学系统110和用作本实施例的特征
所在的转换装置的图像处理设备150的进一步具体配置和功能。
此处，作为对比示例，解释一般的成像光学系统，其中光线被聚
5 集在最佳聚焦(焦点)位置。
图4是示出了光线高度与一般成像光学系统的散焦之间的关系的图。
进一步，图5是示出了本实施例的光学系统所成的像附近的光学 特性的图。
10 如图2所示，在一般的成像光学系统中，光线以最高密度聚集在
最佳聚焦位置。离最佳聚焦位置越远，模糊直径就越大，基本与散焦 量成比例。
与此相反，在本实施例的光学系统110中，如图5所示，与一般 成像光学系统不同，光线不聚集在最佳聚焦位置，因此，即使在最佳 15聚焦位置图像也是模糊的。然而，本实施例的光学系统IIO被设计为 使得模糊形状(PSF)的改变相对于最佳聚焦附近的散焦量更加迟钝。
相应地，当根据最佳聚焦位置的PSF实施模糊恢复处理时，可以 消除模糊，当然可以在最佳聚焦位置及其之前和之后获得清晰的图像。
这是本实施例采用的增加深度的原理。 20 接下来，解释模糊图像恢复处理。
图6是一般光学系统的最佳聚焦位置的MTF (调制传递函数)特 性的图。
图7是示出了本实施例的光学系统的MTF特性的图。 通过本实施例的光学系统110并在成像元件120处获得的捕获图 25像是模糊的，因此MTF从中频区域向高频区域降低。通过运算提升 MTF。与作为镜头自身的幅度特性的MTF相比，包括图像处理的总 幅度特性被称为"SFR (空间频率响应)"。
造成模糊图像的PSF的频率特性是MTF，因此，被设计为具有将 频率特性由此提升至所需SFR特性的增益特性的滤波器是模糊恢复 30滤波器。与噪声和伪像的平衡决定了应设定多大的增益。
通过这样的模糊恢复滤波器对原始图像应用数字滤波的方法包括 对图像应用傅立叶变换并对每个频率在频域与滤波器相乘的方法，以 及在空间域进行巻积运算的方法。此处，解释后者的实现方法。巻积 运算由以下等式表示。 5 [等式1]
此处，f表示滤波器内核(此处为了便于计算，使用旋转了 180 度的滤波器)。
此外，A表示原始图像，B表示滤波后的图像(模糊恢复图像)。 10 从等式中可以看出，在图像上叠加内核f并加上抽头彼此的乘积
的结果被定义为叠加(superimposition)的中心坐标值。
接下来，参照图8A至图8C，以3*3滤波器为例给出具体的解释。 图8A的恢复滤波器(已旋转180度)在滤波器的中心f (0， 0) 被叠加在图8B所示的模糊图像的A (i， j)上，抽头彼此相乘，这9 15个乘积之和的值被定义为图8C所示的模糊恢复图像的B (i， j)。
在整个图像中扫描(i， j)时，产生新的B图像。这是数字滤波 器。此处，滤波器被用于恢复模糊的目的。因此，通过进行这样的处 理，可以执行模糊恢复处理。
在理论上和技术上，即使在显示直通图像期间，也可以持续实施 20这样的处理，并显示经过模糊恢复处理的图像。
然而，在保持例如30fps的高速率的同时，尝试实时进行这样的 巻积运算，必须使用根据滤波器大小的行缓冲器(line buffer)和非常 多的乘法器，因此，成本很高，功率消耗很大，因此，这不很现实。 因此，在第一实施例中，在例如显示直通图像期间等不必要进行 25巻积运算的时段上，不进行巻积运算。巻积运算只在输入对执行捕获
的触发时才实施。
在第一实施例中，图像通过光学系统110，并被成像元件U0转 换为电信号，接着在AFE130被转换以产生数字图像数据。
接着，在显示直通图像期间，来自成像元件120的图像信号通过
切换单元140被送至摄像机信号处理单元160，而绕过图像处理设备 150的模糊图像恢复处理。
摄像机信号处理单元160在例如Bayer颜色的情况下，进行去马 赛克处理、白平衡处理、伽玛处理、YUV转换等，并将图像实时地输 5 出至监视器。
接下来，当通过例如操作单元190的释放按钮的操作将触发信号 输入曝光控制设备200时，来自成像元件120和AFE 130的数字数据 通过切换单元140输入图像处理设备150，经过如前所述的模糊图像 恢复处理，接着，在摄像机信号处理单元160中对图像处理设备150 10 的输出进行摄像机信号处理。经过摄像机信号处理的图像被存储在存 储器170中或在图像监视设备180中显示。
此处，当按下放大按钮时，所捕获的图像被放大并投影在监视器 上。在这个状态下，也可以通过移位键的操作改变放大部分的位置。
进一步，在本实施例中，使用图像监视设备180的分辨率作为上 15限来设定PSF的模糊程度。因此，即使不进行如前所述模糊恢复处理 以减轻显示直通图像期间的处理，监视器也可能显示的模糊并不明显。
进一步，在本实施例中，模糊程度的大小被设定为不大于图像监 视设备180的像素间距的2倍，因此，在直通图像中的活动图像(live image)基本上不会模糊。 20 当模糊程度被设定为不大于图像间距的2倍时显示基本上不会模 糊的原因在于， 一般而言，当在监视设备上显示颜色时，光的三原色 R、 G和B被单独地分配给像素，并且使用至少三个像素为单位来显 示颜色。
如图9A至图9D所示，有多种针对像素阵列的技术，包括条纹阵 25列(stripe army)、对角阵列、Delta阵列和矩形阵列，但在每种技术中， 由每个具有至少2x2大小的方形中的像素作为最小单元，形成图像。
相应地，是像素间距的2倍或更小的监视器显示图像的分辨率可 以视为是基本上不会引起任何问题的水平。
此外，在本实施例中，在图像处理设备150中进行模糊图像的恢 30复处理，在摄像机信号处理单元160结束摄像机信号处理时，模糊恢
复图像自动输出至图像监视设备180。因此，即使当模糊恢复处理消 耗了一定程度的时间时，在处理结束的同时也可以看见结果，因此， 摄影师不必进行用于执行恢复处理的特殊操作。
此外，在本实施例中，在显示直通图像期间，具有图像监视设备
5 180的分辨率所需的充分小的尺寸的图像经过摄像机信号处理，而不 通过由成像元件120的图像处理设备150构成的模糊转换装置，并接 着输出至图像监视设备180，因此，没有对图像处理施加负荷，可以 实时高速进行处理。
以下进一步具体解释本实施例的光学系统和图像处理设备的配置 10 和功能。
图10是示出了根据本实施例的变焦光学系统110的配置示例的示 意图。该图示出了广角侧。
此外，图11是示出了根据本实施例的在成像镜头设备的远视侧的 变焦光学系统的配置示例的示意图。
15 此外，图12是示出了在根据本实施例的变焦光学系统广角侧的图
像高度中心处的斑点形状的图，图13是示出了在根据本实施例的变焦 光学系统远视侧的图像高度中心处的斑点形状的图。
图10和图11的变焦光学系统110具有设置在对象侧OBJS的对 象侧透镜111、用于在成像元件120中形成图像的成像透镜112、以及
20光学波阵面调制元件(波阵面编码光学元件)组1B，光学波阵面调 制元件组113设置在对象侧透镜111和成像透镜112之间，包括相位 板(立方相位板)，相位板使由成像透镜112形成在成像元件120的光 接收表面上的图像的波阵面变形，并具有例如三维弯曲表面。此外， 未示出的光圈被设置在对象侧透镜111和成像透镜112之间。
25 例如，在本实施例中，提供了可变光圈，在曝光控制(设备)中
控制可变光圈的光圈度(开启度)。
应注意，在本实施例中，给出了使用相位板的解释，但是，本发 明的光学波阵面调制元件可以包括任何能够使波阵面变形的元件。它 们可以包括厚度改变的光学元件(例如如上所述的第三级(third order)
30相位板)、折射率改变的光学元件(例如，折射率分布类型的波阵面调
制透镜)、通过透镜表面的涂层而改变厚度、折射率的光学元件(例如， 波阵面编码混合透镜)、能够调制光的相位分布的液晶器件(例如，液 晶空间相位调制器件)以及其他光学波阵面调制元件。
图IO和图11的变焦光学系统IIO是将光学相位板113a插入数字 5摄像机使用的3X变焦系统中的示例。
图示的相位板113a是用于将光学系统会聚的光线规则地发散的 光学透镜。通过插入这个相位板，实现了图像可以不聚焦在成像元件 120上的任何地方。
换句话说，相位板113a形成了具有较深深度(在图像形成中起中 10心作用)和光斑(模糊部分)的光线。
通过数字处理将该规则发散的图像恢复为聚焦图像的装置称为 "波阵面像差控制光学系统"或深度扩展光学系统DEOS。该处理在图 像处理设备150中进行。
此处，解释DEOS的基本原理。 15 如图14所示，对象的图像￡进入DEOS光学系统H的光学系统H
中，由此产生了&图像。 这由以下等式表示
(等式2) g=H*f
20 其中*表示巻积。
为了从产生的图像中找到对象，需要以下处理
(等式3) f=H"*g
此处，解释关于H的内核大小和运算系数。 25 变焦位置被定义为Zpn、 Zpn-l、……进一步，这些H函数被定义 为Hn、 Hn-l、......
斑点是不同的，因此H函数变为如下 [等式4]
<formula>formula see original document page 24</formula>
矩阵的行的数目和/或矩阵的列的数目的差被称为"内核大小"。这 些数目是运算系数。
因此，可以在存储器中存储每个H函数，或将PSF定义为对象距 离的函数，根据对象距离计算，从而计算出H函数，以便创建针对任 5何对象距离的最优滤波器。进一步，可以将H函数用作对象距离的函 数，根据对象距离直接找到H函数。
在第一实施例中，如图3所示，该设备被配置为在成像元件120 接收来自光学系统110的图像，将其输入图像处理设备150，获得根 据光学系统的转换系数，并使用获得的转换系数从来自成像元件120 10的发散图像信号中产生不发散的图像信号。
应注意，在本实施例中，"发散"意为一种现象，其中如上所述， 插入相位板113a造成图像的形成不聚焦在成像元件120的任何位置， 并且通过相位板U3a形成了具有较深深度(在图像形成中起中心作 用)和光斑(模糊部分)的光线，由于图像被发散并形成模糊部分的 15行为，"发散"包括与像差相同的含义。相应地，在本实施例中，也存 在发散被解释为像差的情况。
接下来，解释图像处理设备150的配置和处理。 如图3所示，图像处理设备150具有原始缓冲存储器151、巻积 运算单元152、作为存储装置的内核数据存储ROM 153以及巻积控制 20单元154。
巻积控制单元154控制巻积处理的开/关状态、屏幕大小、内核数 据的置换等，巻积控制单元154由曝光控制设备200控制。
进一步，该设备在内核数据存储ROM 153中存储预先准备的由 每个光学系统的PSF计算的用于巻积的内核数据，如图15或图〗6所
示，获得在曝光控制设备200设定曝光时确定的曝光信息，并通过巻
积控制单元154选择和控制内核数据。
应注意，曝光信息包括光圈信息。
在图15的示例中，内核数据A成为对应于光学放大倍数(X1.5) 5的数据，内核数据B成为对应于光学放大倍数(X5)的数据，内核数 据C成为对应于光学放大倍数(X10)的数据。
进一步，在图16的示例中，作为光圈信息，内核数据A成为对 应于F数(2.8)的数据，内核数据B成为对应于F数(4)的数据， 内核数据C成为对应于F数(5.6)的数据。 10 如图16的示例中，根据光圈信息实施滤波，这是基于以下原因。
当关闭光圈的同时捕获图像时，形成光学波阵面调制元件的相位 板U3a被光圈覆盖，相位改变，因此难以恢复正确的图像。
因此，在本实施例中，如本示例中，通过根据曝光信息中的光圈 信息进行滤波来实现正确的图像恢复。 15 图17是示出了根据曝光控制设备200的曝光信息(包括消除光圈)
进行切换的流程图。
首先，曝光信息RP被检测并提供给巻积控制单元154 (STIOI)。
在巻积控制单元154中，根据曝光信息RP，在寄存器中设定内核 大小和数值运算系数(ST102)。 20 接着，基于存储在寄存器中的数据，对由成像元件120所捕获的、
经由AFE 130输入二维巻积运算单元152的图像数据进行巻积运算。 经处理和转换的数据被传送至摄像机信号处理单元(DSP) 160 (ST103)。
以下解释信号处理单元和图像处理设备150的内核数据存储
25ROM的进一步具体示例。
图18是示出了信号处理单元和内核数据存储ROM的配置的第一
示例的图。应注意，为了简单起见，省略AFE等。
图18的示例是在根据曝光信息预先准备滤波器内核的情况下的 框图。
30 信号处理单元获得在设定曝光时确定的曝光信息，并通过巻积控
制单元154选择和控制内核数据。二维巻积运算单元152通过使用内
核数据实施巻积处理。
图19是示出了信号处理单元和内核数据存储ROM的配置的第二 示例的图。应注意，为了简单起见，省略AFE等。 5 图19的示例是在信号处理单元启动时提供噪声降低滤波步骤的
情况下的框图，预先准备根据曝光信息的噪声降低滤波ST1，作为滤 波器内核数据。
信号处理单元获得在设定曝光时确定的曝光信息，并通过巻积控 制单元154选择和控制内核数据。 10 在实施噪声降低滤波ST1之后，二维巻积运算单元152通过颜色
转换处理ST2对颜色空间进行转换，之后使用内核数据实施巻积处理 ST3。
信号处理单元再次进行噪声处理ST4，通过颜色转换处理ST5将 转换的颜色空间返回为原始颜色空间。对于颜色转换处理，可以提及 15例如YCbCr转换，但也可以采用其他转换。
应注意，也可以省略第二次噪声处理ST4。
图20是示出了信号处理单元和内核数据存储ROM的配置的第三 示例的图。应注意，为了简单起见，省略AFE等。
图20的示例是根据曝光信息预先准备OTF恢复滤波器的情况下 20 的框图。
信号处理单元获得在设定曝光时确定的曝光信息，并通过巻积,空 制单元154选择和控制内核数据。
在实施噪声降低滤波ST11和颜色转换处理ST12之后，二维巻积 运算单元152通过使用OTF恢复滤波器实施巻积处理ST13。 25 信号处理单元再次进行噪声处理ST14，通过颜色转换处理ST15
将转换的颜色空间返回为原始颜色空间。对于颜色转换处理，可以提 及例如YCbCr转换，但也可以采用其他转换。 应注意，也可以省略第二次噪声处理ST14。 图21是示出了信号处理单元和内核数据存储ROM的配置的第四 30示例的图。应注意，为了简单起见，省略AFE等。
图21的示例是提供噪声降低滤波步骤的情况下的框图，预先准备 根据曝光信息的噪声降低滤波器，作为滤波器内核数据。
信号处理单元获得在设定曝光时确定的曝光信息，并通过巻积控
制单元154选择和控制内核数据。 5 在实施噪声降低滤波ST21之后，二维巻积运算单元152通过颜
色转换处理ST22对颜色空间进行转换，接着使用内核数据实施巻积 处理ST23。
信号处理单元根据曝光信息再次进行噪声处理ST24，通过颜色转 换处理ST25将转换的颜色空间返回为原始颜色空间。对于颜色转换 10处理，可以提及例如YCbCr转换，但也可以采用其他转换。 应注意，也可以省略第二次噪声处理ST24。 以上解释了仅根据曝光信息进行滤波的二维巻积运算单元152的 示例，但是，通过将例如对象距离信息、变焦信息或图像捕获模式信 息与曝光信息相组合，可以提取或处理合适的运算系数。 15 图22是示出了组合了对象距离信息和曝光信息的图像处理设备
的配置的示例图。
图22示出了用于从来自成像元件120的对象的发散图像信号产生 不发散的图像信号的图像处理设备300的配置示例。
如图22所示，图像处理设备300具有巻积设备301、内核和/或 20数值运算系数存储寄存器302以及图像处理处理器303。
在图像处理设备300中，图像处理处理器303获得关于对象的近 似距离的信息和曝光信息，所述对象的距离是从对象近似距离信息检 测设备400中读出的。图像处理设备300在内核和/或数值运算系数存 储寄存器302中存储在合适的对象距离位置运算中使用的内核大小及 25 运算系数，并通过使用这些值由巻积设备301进行合适的运算来恢复 图像。
如上所述，当成像设备具有相位板(波阵面编码光学元件)作为 光学波阵面调制元件时，若在预定的焦距范围之内，可以通过对于该
范围的图像处理来产生合适的无像差的图像信号，但是，若在预定的 30焦距范围之外，图像处理的校正受到限制，因此，只有超出上述范围
的对象最终成为带有像差的图像信号。
另一方面，通过实施在预定的窄范围内不造成像差的图像处理， 也可以对超出预定的窄范围的图像提供模糊。
本示例被配置为通过包括距离检测传感器的对象近似距离信息检 5 测设备400检测至主对象的距离，并进行根据所检测的距离而不同的 图像校正处理。
上述图像处理通过巻积运算实施。为了实现这一点，例如，可以 公共地存储一种巻积运算的运算系数，预先存储根据焦距的校正系数， 通过使用所述校正系数校正运算系数，并通过校正的运算系数进行合 10 适的巻积运算。
除了本配置之外，可以采用以下配置。
可以采用以下配置预先存储根据焦距的内核大小和巻积运算系 数本身，并通过这些存储的内核大小和运算系数进行巻积运算，或采 用以下配置预先将根据焦距的运算系数存储为函数，根据焦距通过 15 该函数找到运算系数，并通过计算出的运算系数进行巻积运算，等等。 与图22的配置相联系时，可以采用以下配置。
根据对象距离，在由寄存器302构成的转换系数存储装置中预先 存储对应于由至少相位板113a造成的像差的至少两个转换系数。图像 处理处理器303用作系数选择装置，用于根据至对象的距离从寄存器 20 302中选择转换系数，所述距离是基于由对象近似距离信息检测设备 400构成的对象距离信息产生装置所产生的信息的。
此外，由巻积设备301构成的转换装置根据由图像处理处理器303
构成的系数选择装置所选择的转换系数来转换图像信号。
备选地，如上所述，由图像处理处理器303构成的转换系数处理 25 装置基于由对象近似距离信息检测设备400构成的对象距离信息产生
装置所产生的信息来运算转换系数，并将结果存储在寄存器302中。 此外，由巻积设备301构成的转换装置根据由图像处理处理器303
构成的系数选择装置所获得的并存储在寄存器302中的转换系数来转
换图像信号。
30 备选地，由寄存器302构成的校正值存储装置预先存储根据变焦
光学系统iio的变焦位置或变焦量至少一个校正值。所述校正值包括
对象像差图像的内核大小。
也用作第二转换系数存储装置的寄存器302预先存储对应于相位
板113a所造成的像差的转换系数。 5 接着，基于由对象近似距离信息检测设备400构成的对象距离信
息产生装置所产生的距离信息，由图像处理处理器303构成的校正值 选择装置根据至对象的距离，从由寄存器302构成的校正值存储装置 中选择校正值。
由巻积设备301构成的转换装置基于从由寄存器302构成的校正 10 值存储装置中获得的转换系数以及由图像处理处理器303构成的校正 值选择装置所选择的校正值，转换图像信号。
图23是示出了组合了变焦信息和曝光信息的图像处理设备的配 置的示例图。
图23示出了用于从来自成像元件120的对象的发散图像信号产 15 生不发散的图像信号的图像处理设备300A的配置示例。
如图23所示，图像处理设备300A同图22中一样，具有巻积设 备301、内核和/或数值运算系数存储寄存器302以及图像处理处理器 303。
在图像处理设备300A中，图像处理处理器303获得关于变焦位 20 置或变焦量的信息和曝光信息，所述关于变焦位置或变焦量的信息是 从变焦信息检测设备500中读出的。图像处理设备300A在内核和/或 数值运算系数存储寄存器302中存储用于曝光信息和变焦位置的合适 运算的内核大小及运算系数，并使用这些值在巻积设备301进行合适 的运算来恢复图像。 25 如上所述，当在变焦光学系统中提供的成像设备应用相位板作为
光学波阵面调制元件时，产生的斑点图像根据变焦光学系统的变焦位 置而不同。由于这个原因，当在后的DSP等中对由相位板获得的焦点 偏离图像(斑点图像)进行巻积运算时，为了获得合适的聚焦图像， 巻积运算必须是根据变焦位置而不同的。 30 因此，本实施例被配置为具有变焦信息检测设备500，根据变焦
位置进行合适的巻积运算，从而不论变焦位置如何均能获得合适的聚 焦图像。
为了在图像处理设备300A中进行合适的巻积运算，可以配置系 统，在寄存器302中公共地存储一种巻积运算系数。 5 除了本配置之外，可以采用以下配置。
可以采用以下配置根据每个变焦位置，预先在寄存器302中存 储校正系数，使用校正系数校正运算系数，并通过校正的运算系数进 行巻积运算，或采用以下配置根据每个运算位置，预先在寄存器302 中存储内核大小和巻积运算系数本身，并通过这些存储的内核大小和
10 运算系数进行巻积运算，或采用以下配置根据縮放位置，将运算系
数在寄存器302中预先存储为函数，根据变焦位置通过该函数找到运 算系数，并通过计算的运算系数进行巻积运算等等。
与图23的配置相联系时，可以采用以下配置。
根据变焦光学系统110的变焦位置或变焦量，在由寄存器302构 15 成的转换系数存储装置中存储对应于由至少相位板113a所造成的像 差的至少两个转换系数。图像处理处理器303用作系数选择装置，用 于根据变焦光学系统110的变焦位置或变焦量从寄存器302中选择转 换系数，所述变焦位置或变焦量是基于由变焦信息检测设备500构成
的变焦信息产生装置所产生的信息的。 20 接着，由巻积设备301构成的转换装置根据由图像处理处理器303
构成的系数选择装置所选择的转换系数，转换图像信号。
备选地，如上所述，由图像处理处理器303构成的转换系数处理 装置基于由变焦信息检测设备500构成的变焦信息产生装置所产生的 信息来运算转换系数，并将结果存储在寄存器302中。 25 接着，由巻积设备301构成的转换装置根据由图像处理处理器303 构成的系数选择装置所获得的并存储在寄存器302中的转换系数，来 转换图像信号。
备选地，由寄存器302构成的校正值存储装置根据变焦光学系统 110的变焦位置或变焦量预先存储至少一个校正值。所述校正值包括 30 对象像差图像的内核大小。
也用作第二转换系数存储装置的寄存器302预先存储对应于相位
板113a所造成的像差的转换系数。
接着，基于由变焦信息检测设备500构成的变焦信息产生装置所 产生的变焦信息，由图像处理处理器303构成的校正值选择装置根据 5变焦位置或变焦量，从由寄存器302构成的校正值存储装置中选择校正值。
由巻积设备301构成的转换装置基于从由寄存器302构成的校正 值存储装置中获得的转换系数以及由图像处理处理器303构成的校正 值选择装置所选择的校正值，来转换图像信号。 10 图24是示出了滤波器的配置的示例图，其中使用了曝光信息、对
象距离信息和变焦信息。
在本示例中，对象距离信息和变焦信息形成了二维信息，曝光信 息形成了如深度之类的信息。
图25是示出了组合了图像捕获模式信息和曝光信息的图像处理 15 设备的配置的示例图。
图25示出了用于从来自成像元件120的对象的发散图像信号产生 不发散的图像信号的图像处理设备300B的配置示例。
如图25所示，图像处理设备300B同图22和图23中一样，具有 巻积设备301 、由内核和/或数值运算系数存储寄存器302构成的存储 20装置以及图像处理处理器303。
在图像处理设备300B中，图像处理处理器303获得关于对象的 对象距离的近似距离的信息和曝光信息，所述对象的近似距离是从对 象近似距离信息检测设备600中读出的。图像处理设备300B在内核 和/或数值运算系数存储寄存器302中存储在合适的对象距离位置运 25 算中使用的内核大小及操作系数，并通过使用这些值在巻积设备301 进行合适的操作来恢复图像。
在这种情况下，如上所述，当成像设备具有相位板(波阵面编码 光学元件)作为光学波阵面调制元件时，若在预定的焦距范围之内， 可以通过对于该范围的图像处理来产生合适的无像差的图像信号，但 30是，若在预定的焦距范围之外，图像处理的校正受到限制，因此，只
有超出上述范围的对象最终成为带有像差的图像信号。
另一方面，通过实施在预定的窄范围内不造成像差的图像处理， 也可以对超出预定的窄范围的图像提供模糊。
本示例被配置为通过包括距离检测传感器的对象近似距离信息检 5 测设备600来检测至主对象的距离，并进行根据所检测的距离而不同 的图像校正处理。
上述图像处理通过巻积运算实施。为了实现这一点，可以采用以 下配置公共地存储一种巻积运算的运算系数，根据对象距离，预先 存储校正系数，通过使用所述校正系数校正运算系数，并通过校正的 10 运算系数进行合适的巻积运算，或采用以下配置根据对象距离，预 先将运算系数存储为函数，根据焦距通过该函数找到运算系数，并通 过计算出的运算系数进行巻积运算，或采用以下配置根据对象距离， 预先存储内核大小和巻积运算系数本身，并通过这些存储的内核大小 和运算系数进行巻积运算，等等。
15 在本实施例中，如上所述，根据DSC的模式设定(人像、无限远
(风景)和宏距(macro))改变图像处理。
与图25的配置相联系时，可以采用以下配置。 如上所述，根据每个图像的捕获模式而不同的转换系数通过由图 像处理处理器303构成的转换系数处理装置，存储在由寄存器302构 20成的转换系数存储装置中，所述图像的捕获模式由操作单元190的图 像捕获模式设定单元700进行设定。
图像处理处理器303根据图像捕获模式设定单元700的操作开关 701所设定的图像捕获模式，基于由对象近似距离信息检测设备600 构成的对象距离信息产生装置所产生的信息，从由寄存器302构成的 25 转换系数存储装置中提取转换系数。
进一步，由巻积设备301构成的转换装置根据图像信号的图像捕 获模式，并根据存储在寄存器302中的转换系数来进行转换处理。
应注意，图IO和图11中的光学系统仅作为示例。本发明不总是 用于图10和图11中的光学系统。此外，对于斑点形状，图12和图 3013也仅作为示例，本实施例的斑形状不局限于图12和图13所示的斑
形状。
此外，图15和图16的内核数据存储ROM不总是用于光学放大 倍数、F数、每个内核的大小以及每个内核的值。此外，所准备的内 核数据的数量也不局限于3个。 5 如图24所示，通过采用三维或进一步四维，存储量变得更大，但
可以考虑各种条件并选择更加合适的条件。信息可以是曝光信息、对 象距离信息、变焦信息、捕获模式信息等等。
应注意，如上所述，当成像设备具有相位板(波阵面编码光学元 件)作为光学波阵面调制元件时，若在预定的焦距范围之内，可以通 10过对于该范围的图像处理来产生合适的无像差的图像信号，但是，若 在预定的焦距范围之外，图像处理的校正受到限制，因此，只有超出 上述范围的对象最终成为带有像差的图像信号。
另一方面，通过实施在预定的窄范围内不造成像差的图像处理， 也可以对超出预定的窄范围的图像提供模糊。 15 在本实施例中，采用了DEOS，因此，可以获得高清晰度的图像
质量。此外，可以简化光学系统，并降低成本。
以下解释特有特征。
图26A至图26C示出了成像元件120的光接收表面上的斑点图像。
20 图26A是示出了焦点偏离0.2mm (散焦-0.2mm)时的斑点图像
的图，图26B是示出了聚焦(最佳聚焦)时的斑点图像的图，图26C 是示出了焦点偏离-0.2mm (散焦=-0.2111111)时的斑点图像的图。
从图26A至图26C可以看出，在根据本实施例的成像设备100 中，由包括相位板113a的波阵面形成光学元件组113所形成的光线具 25有较深的深度(在图像形成中起中心作用)和光斑(模糊部分)。
按照这种方式，对本实施例的成像设备100中形成的第一级图像 FIM给出了产生较深的深度的光线条件。
图27A和27B是用于解释根据本实施例的由成像镜头设备形成的 第一级图像的调制传递函数(MTF)的图，其中图27A是示出了成像 30镜头设备的成像元件的光接收表面上的斑点图像的图，图27B示出了
关于空间频率的MTF特性。
在本实施例中，将高清晰度的最终图像留给后一级的被配置为例如数字信号处理器的图像处理设备150的校正处理。因此，如图27A 和27B所示，第一级图像的MTF实质上变为非常低的值。 5 如上所述，图像处理设备150从成像元件120接收第一级图像
FIM，实施预定的校正处理等，以提升第一级图像的空间频率上的 MTF，并形成高清晰度的最终图像FNLIM。
图像处理设备150的MTF校正处理使用空间频率作为参数，通 过如边缘增强和色度增强之类的后处理进行校正，使例如图28的曲线 10A所指示的、实质上变为很低的值的第一级图像的MTF接近(达到) 图28中曲线B所指示的特性。
图28中曲线B所指示的特性是在未使用波阵面形成光学元件以 及波阵面未如例如本实施例中那样被变形的情况下获得的特性。
应注意，本实施例中所有的校正是根据空间频率参数的。 15 在本实施例中，如图28所示，对于光学地获得的空间频率，为了
达到要相对于MTF特性曲线A而最终实现的MTF特性曲线B，针对 每个空间频率调整边缘增强等的强度，以校正原始图像(第一级图像)。
例如，对于图28的MTF特性，关于空间频率的边缘增强的曲线 成为如图29所示。
20 也就是说，通过在空间频率的预定带宽之内的低频率侧和高频率
侧减弱边缘增强，并对中频区域加强边缘增强，来进行校正，实际上 实现了所需的MTF特性曲线B。
按照这种方式，根据本实施例的成像设备100是一种基本上由光 学系统110、成像元件120和图像处理设备150配置而成的图像形成
25 系统，光学系统110和成像元件120用于形成第一级图像，图像处理 设备150用于将第一级图像形成高清晰度的最终图像。光学系统最新 具有波阵面形成光学元件或具有玻璃、塑料或具有用于波阵面形成的 形状的表面的其他光学元件，以便使所形成的图像的波阵面变形(调 制)。这样的波阵面聚焦在由CCD或CMOS传感器形成的成像元件
30120的成像表面(光接收表面)上。使聚焦的第一级图像通过图像处
理设备150，以获得高清晰度的图像。
在本实施例中，对来自成像元件120的第一级图像给出了非常深
的深度的光线条件。由于这个原因，第一级图像的MTF实质上成为 了很低的值，其MTF由图像处理设备150进行校正。 5 因此，从波光学方面考虑了本实施例的成像设备IOO中的图像形
成的处理。
从对象点的一个点散射出的球面波在通过成像光学系统之后成为 会聚波。当成像光学系统不是理想的光学系统时将发生像差。波阵面 变得不是球面形，而是复杂的形状。波阵面光学架起了几何光学和波 10光学之间的桥梁。这在处理波阵面现象时很方便。
处理成像平面上的波光学MTF时，成像光学系统的出口瞳孔 (pupil)位置处的波阵面信息很重要。
通过成像点的波光学强度分布的傅立叶变换，计算MTF。波光学 强度分布是通过波光学幅度分布的平方而获得的。波光学幅度分布是 15 通过出口瞳孔的瞳孔函数的傅立叶变换得到的。
进一步，瞳孔函数仅是在出口瞳孔位置处的波阵面信息(波阵面
像差)，因此，若可以通过光学系统iio将波阵面像差严格计算为数值，
则可以计算MTF。
相应地，若通过预定技术修改出口瞳孔位置处的波阵面信息，可 20 以自由地改变成像平面上的MTF值。
同样在本实施例中，波阵面的形状主要由波阵面形成光学元件改 变。确实，可以通过调整相位(沿光线的光路长度)来形成所需的波 阵面。
接着，当形成目标波阵面时，从出口瞳孔发射的光线由密光线部 25分和疏光线部分形成，这可以从图26A至图26C所示的几何光学点斑 图像上看出。
该光线状态的MTF在空间频率低的位置处显示为较低的值，并 以某种方式保持这样的分辨率直至空间频率高的位置处。
也就是说，若该MTF值低(或从几何光学上讲，斑点图像的状 30态)，则不会造成混叠现象。
这就是说，低通滤波器是不必要的。
此外，造成MTF值下降的类似光斑的图像可以通过由后一级DSP 等配置的图像处理设备来进行消除。由于这一点，MTF值得到了明显改善。
5 接下来，考虑本实施例及传统光学系统的MTF响应。
图30是示出了在一般光学系统中当对象位于焦点位置时和当对 象偏离焦点位置时的MTF响应的图。
图31是示出了在本实施例的具有光学波阵面调制元件的光学系 统中，当对象位于焦点位置时和当对象偏离焦点位置时的MTF响应 10 的图。
进一步，图32是示出了根据本实施例的成像设备在数据恢复之后 的MTF响应的图。
从这些图中也可以看出，在具有光学波阵面调制元件的光学系统 中，即使在对象偏离焦点位置时，MTF响应的变化也小于在未插入光 15 学波阵面调制元件的光学系统中的MTF响应的变化。
由这样的光学系统所形成的图像经过巻积滤波器的处理，从而改 善了 MTF响应。
如上所述，根据本实施例，提供了光学系统110，其被设计为使 图像即使在焦点位置也不聚焦，但PSF (点扩展函数)在焦点位置之
20 前和之后变为几乎恒定；提供了成像元件120，其捕获光学系统的图 像；提供了图像处理设备150，其迸行模糊恢复处理；提供了摄像机 信号处理单元160，其获得最终图像；提供了图像监视设备180，其显 示从摄像机信号处理单元160输出的图像，显示直通图像以便确定图 像角度和捕获定时，并显示捕获的图像；提供了操作单元l卯，其能
25 够产生用于捕获图像的触发信号；提供了控制设备200，其进行控制， 以便在显示直通图像期间使成像元件的图像信号不经过进行模糊恢复 处理的图像处理设备150而直接输入摄像机信号处理单元160，在图 像处理设备150根据PSF对通过接收触发信号而捕获的图像进行模糊 恢复处理，并将图像输出至摄像机信号处理单元160，因此获得了以
30 下效果。
在显示用于确定组成的直通图像期间，可以在保持高帧率的同时， 向在捕获图像时的模糊恢复处理提供一定程度的时间，因此不必需昂 贵的硬件。进一步，即使实施了放大捕获图像和移动放大部分的操作， 由于对捕获图像的整个图像进行模糊恢复，因此，可以精确地检査细 5 节部分，在操作和观看中不会出现任何不自然现象。
进一步，前述的PSF的模糊程度被设定为不大于图像监视设备
180的像素间距的2倍，因此，即使直通图像由于具有与监视器相同
的精细度而模糊，在监视器上也不会因此发生令人烦恼的模糊。 进一步，在对通过接收触发信号而捕获的图像进行模糊恢复处理
10 的图像处理设备150中根据PSF进行模糊恢复处理之后并进行了摄像 机处理之后，将图像输出至监视器。因此，即使模糊恢复处理消耗了 一定程度的时间，用户只需等待图像自动出现。也可以消除甚至在用 户进行一些操作时图像也不出现的抱怨。
进一步，在显示直通图像期间，从成像元件120输出具有可以满
15 足监视器所要求的较小的图像大小水平的图像，因此，在显示直通图 像期间可以实现高帧率，在资源中创建额外的余量，从而降低功率消 耗。
进一步，根据本实施例，所述设备包括形成第一级图像的光学系 统110和成像元件120及将第一级图像形成为高清晰度的最终图像的 20 图像处理设备150。图像处理设备150根据从曝光控制设备200得到 的曝光信息执行有关光学传递函数(OTF)的滤波。因此，优点在于， 可以简化光学系统，降低成本，此外可以获得具有很小噪声影响的恢 复图像。
进一步，通过使巻积运算时使用的内核大小和用于图像处理设备 25150的数值运算的系数可变，并将由操作单元190等的输入得到的合 适的内核大小与上述系数相联系，优点在于，设计镜头时可以不必担 心放大倍数和散焦范围，使通过高精度巻积的图像恢复成为可能。
进一步，优点在于，可以在不需要具有高难度、昂贵成本和大尺 寸的光学镜头且不需要驱动镜头的情况下，获得所谓的自然图像，其 30中要捕获的图像在焦点上，但背景是模糊的。
此外，根据本实施例的成像设备IOO可以用于数字摄像机、可携 式摄像机或其他消费电子设备中的变焦镜头的DEOS，所述变焦镜头 的设计考虑了小尺寸、轻重量和成本。
进一步，在本实施例中，由于所述设备具有成像镜头系统，所述
5 成像镜头系统具有用于使由成像透镜112在成像元件120的光接收表 面所形成的图像的波阵面变形的波阵面形成光学元件，所述设备还具 有图像处理设备150，用于接收由成像元件120形成的第一级图像FIM 并实施预定的校正处理等，以提升在第一级图像的空间频率的MTF 并形成高清晰度的最终图像FNLIM，所以优点在于可以获取高清晰度 10 的图像质量。
进一步，可以简化光学系统110的配置，容易制造，并可以降低 成本。
当使用CCD或CMOS传感器作为成像元件时，像素间距确定了 分辨率界限。当光学系统的分辨率超过分辨率功率界限时，产生混叠 15现象，对最终图像造成不利影响。这是众所周知的事实。
为了提高图像质量，希望尽可能多地提高对比度，但这需要高性 能的镜头系统。
然而，如上所述，当使用CCD或CMOS传感器作用成像元件时， 将发生混叠。
20 目前，为了避免混叠的发生，成像镜头系统联合地一并使用由单
轴晶体系统制成的低通滤波器，从而避免混叠现象。
按照这种方式联合使用低通滤波器在原理上是正确的，但是，低 通滤波器本身是由晶体制成，因此很昂贵而难以管理。进一步，其缺 点在于，由于用于光学系统中，光学系统变得更加复杂。
25 如上所述，时代的趋势是需要更高清晰度的图像质量。为了形成
高清晰度图像，传统成像镜头设备中的光学系统将变得更加复杂。如 果复杂，生产就变得困难。同时，利用昂贵的低通滤波器导致了成本 的增加。
然而，根据本实施例，可以在不使用低通滤波器的情况下避免混 30叠现象的发生，可以获得高清晰度图像质量。
应注意，在本实施例中，示出了在从光圈角度的对象侧设置光学 系统的波阵面形成光学元件的示例，但是与上述示例相同的功能性效 果也可以通过甚至在与光圈相同的位置或在从光圈角度的聚焦透镜侧 的位置设置波阵面形成光学元件来获得。 5 应注意，图IO和图11中的光学系统仅作为示例。本发明不总是
用于图10和图11中的光学系统。进一步，对于斑点形状，图12和图
13也仅作为示例，本实施例的斑点形状不局限于图12和图13所示的
斑点形状。
进一歩，图15和图16的内核数据存储ROM不总是用于光学放 10大倍数、F数、每个内核的大小以及每个内核的值。进一步，所准备 的内核数据的数量也不局限于3个。
图33是示出了根据本发明的第二实施例的成像设备的配置框图。 根据第二实施例的成像设备100A与根据上述第一实施例的成像 设备100的区别在于，除了对应于图3的切换单元140的第一切换单 15元140-1之外，还提供了第二切换单元140-2、用于在静止图像图像捕 获模式时的图像处理设备150的图像恢复处理的第一滤波器210、以 及用于在捕获运动图像和/或显示直通图像时的图像处理设备150的 图像恢复处理的第二滤波器220，所做的配置是可以选择性地切换用 于在捕获静止图像时、捕获运动图像时以及捕获直通图像时的图像恢 20 复处理的滤波器。
第一切换单元140-1根据从曝光控制设备200来的切换控制信号 SCTL1，选择性地将成像元件120捕获的图像信号经由AFE 130输入 至图像处理设备150或摄像机信号处理单元160。
在第一切换单元140-1中，固定触点a与AFE 130的A/D转换器132 25的输出线连接，工作触点^与图像处理设备150的输入线连接，工作触 点2与摄像机信号处理单元160的信号输入线连接。
例如，当在监视设备180中显示直通图像时，在显示直通图像期 间，控制切换单元140，以使固定触点1与工作触点￡连接。另一方面， 当捕获图像以及在存储器170中存储图像时，控制切换单元140，以使
30 固定触点^与工作触点h连接。
根据从曝光控制设备200来的切换控制信号SCTL2，控制第二切 换单元140-2，使第一滤波器210或第二滤波器220与图像处理设备 150连接，根据图像捕获模式选择性地使用滤波器，进行后面解释的 图像处理设备150的二维巻积处理。 5 第二切换单元140-2中，固定触点旦与图像处理设备150的输入/输
出线连接，工作触点b与第一滤波器210连接，工作触点￡与第二滤波器 220连接。
控制第二切换单元140-2，以使固定触点l与工作触点L连接， 以便使用第一滤波器210进行图像处理设备150的图像恢复处理。另
10 —方面，在捕获运动图像和/或显示直通图像时，控制第二切换单元 140-2，使固定触点i与工作触点L连接，以便使用第二滤波器220进 行图像处理设备150的图像恢复处理。
在第二实施例中，第二滤波器220具有图像的边缘增强和带宽增 强功能。可以采用例如低通滤波器、高通滤波器、巻积滤波器等，作
15 为具有边缘增强和带宽增强功能的滤波器。巻积滤波器形成为使用采 样PSF (点扩展函数)的图像恢复滤波器。
例如，图像处理设备150中，在显示直通图像期间，图像处理设 备150不使用第一滤波器210进行巻积运算，而使用第二滤波器220 进行所谓的简单恢复处理。
20 本实施例被配置为，通过使用根据由图像监视设备180构成的图
像监视装置的分辨率而采样的PSF，来进行简单恢复处理，甚至对于 直通图像，也可以获得根据图像监视设备180的图像质量。
进一步，在本实施例中，第二滤波器220的大小被设定为小于第 一滤波器210的大小。
25 进一步，在本实施例的曝光控制设备200A中，例如，可以从以
下配置和其他各种配置和功能中选择配置在一种配置中，第一切换 单元140-1和第二切换单元140-2均根据用作设定装置和触发信号产 生装置的操作单元190的操作内容进行切换控制操作；在一种配置中， 第一切换单元140-1不进行切换操作，而是将固定触点^与工作触点
30L以固定方式连接；在一种配置中，在图像处理设备150的图像恢复
处理中仅使用第一滤波器或仅使用第二滤波器或两个滤波器都不使 用，且不操作第二切换单元140-2;在一种配置中，在捕获运动图像 时和显示直通图像时，设定是/否使用滤波器执行图像恢复处理。
曝光控制设备200A进行曝光控制，并同时等待操作单元190等的 5操作输入，根据这些输入确定整个系统的操作，控制AFE 130、图像 处理设备I50、 DSP 160等，并执行整个系统的调解控制。
曝光控制设备200A，例如在显示直通图像期间，通过切换控制信 号SCTL1将切换单元140-1的固定触点&与工作触点&连接，并将未经恢 复处理的成像元件120捕获的图像信号直接输入摄像机信号处理单元 10 160。
另一方面，曝光控制设备200A在接收到来自操作单元190的触发 信号时，判断该模式是用于捕获图像并在存储器170中存储图像，通过 切换控制信号SCTLl将切换单元140-l的固定触点丝与工作触点b连接， 将图像输入图像处理设备150，以便实施恢复处理。
15 也就是说，曝光控制设备200A使图像处理设备150对通过接收触
发信号而捕获的图像进行恢复处理，接着使摄像机信号处理单元160 实施预定的图像处理，然后使图像监视设备180显示图像。
进一步，曝光控制设备200A通过例如摄像机信号处理单元160， 向定时产生器131发出指令，以便在图像监视设备180显示直通图像期
20间，从成像元件120输出由图像监视设备180的分辨率所必需的能够足 够分辨的图像。
进一步，第二实施例的曝光控制设备200A根据操作单元190的操 作，通过切换控制信号SCTL2控制第二切换单元140-2，在静止图像捕 获模式下，使固定触点I与工作触点b连接，以使用第一滤波器210进行 25 图像处理设备150的图像恢复处理，在捕获运动图像和/或显示直通图 像时，控制第二切换单元140-2，使固定触点a与工作触点e连接，以使 用第二滤波器220进行图像处理设备150的图像恢复处理。
进一步，在本实施例中，根据操作单元190的操作，曝光控制设 备200A可以进行控制，以在捕获运动图像时显示直通图像期间向摄 30像机信号处理单元160输入未在图像处理设备150经过图像恢复处理
的图像信号，并在将图像存储在存储器170中时通过图像处理设备150 执行图像恢复处理。
备选地，根据操作单元190的操作，曝光控制设备200A可以进 行控制，以在捕获运动图像时向摄像机信号处理单元160输入未在图 5像处理设备150经过图像恢复处理的图像信号，并将图像信号存储在 存储器170中，并在从存储器170中再现该图像时，通过图像处理设 备150执行图像恢复处理。
图34是示出了在根据图像捕获模式进行图像恢复处理时的基本 控制流程图。
10 在捕获时，图像数据从第一切换单元140-1送至图像处理设备
150。
在这种情况下，图像捕获模式为"捕获"(STlll)，因此，第一滤 波器210通过第二切换单元140-2与图像处理设备150连接，使用第 一滤波器210实施巻积运算(ST116、 ST114)。 15 当用户通过操作单元190将"不进行图像恢复处理"选择为预览时
的处理(STlll、 ST112)时，图像数据从成像元件通过第一切换单元 140-1并被直接传送至摄像机信号处理单元160，并在其中受到预定的 处理(ST115)。
当选择了恢复处理时(ST112)，图像数据从第一切换单元140-1 20送至图像处理设备150。接着，由于图像捕获模式是预览时，选择在 捕获运动图像时使用的第二滤波器220。通过在捕获时、预览时和捕 获运动图像时使用具有不同大小的滤波器，来实施巻积处理(ST113、 ST114)。
其余配置与上述第一实施例相同。
25 如上所述，根据第二实施例，提供了光学系统110，被设计为使
图像即使在焦点位置也不聚焦，但PSF (点扩展函数)在大致焦点的 位置变为几乎恒定；提供了成像元件120，其捕获光学系统的图像； 提供了图像处理设备150，其进行模糊恢复处理；提供了摄像机信号 处理单元160，其获得最终图像；提供了图像监视设备180，其显示从
30摄像机信号处理单元160输出的图像，显示直通图像以便确定图像角度和捕获定时，并显示捕获的图像；提供了第一滤波器210，其在静 止图像捕获模式时用于转换装置的图像恢复处理；提供了第二滤波器 220，其在捕获运动图像和/或显示直通图像时用于转换装置的图像恢
复处理；并提供了第二切换单元140-2，其根据图像捕获模式选择第 5—滤波器或第二滤波器。根据图像捕获模式在图像处理设备150实施 图像恢复处理，因此在上述第一实施例的效果之外还可以获得以下效 果。
根据第二实施例，在捕获时、预览时和捕获运动图像时，图像恢 复处理也可以实时进行，可以获得聚焦的恢复图像而不使恢复的图像 10 劣化。
进一步，当不需要图像恢复处理，特别是在预览时，例如，若选 择了在预览时不进行图像恢复处理，可以实现降低光学系统的功率消 耗。
也就是说，根据上述配置，通过在用于确定图像角度和快门定时 15的显示直通图像期间进行简单恢复处理，可以在输出大小仅仅足以用 于监视器显示的较好图像的同时，设定高速度的帧率。在捕获图像时， 可以第一时间实施恢复处理，因此可以消耗一定程度的时间作为处理 时间，因此，配置低价格的恢复处理系统成为可能。
应注意，通过以单个光学系统为例，解释了的上述实施例，但是 20 本发明也可以应用于具有多个光学系统的成像设备中。
图35是示出了根据本发明的第三实施例的具有多个光学系统的 成像设备的配置框图。
根据第三实施例的成像设备100B与根据第一实施例的成像设备 100 (图3)的区别在于，光学单元110B具有多个(在本实施例中两 25个)光学系统110-1和110-2，提供了系统控制设备200B替代曝光控 制设备200，还提供了光学系统切换控制单元210B。
光学单元110B具有多个(在本实施例中两个)光学系统110-1 和110-2，根据光学系统切换控制单元210B的切换，依次为成像元件 120提供捕获对象OBJ的图像。 30 光学系统110-1和110-2具有不同的光学放大倍数，光学地获取
成像的对象OBJ的图像。
系统控制设备200B与曝光控制设备具有基本相同的功能，等待操
作单元190等的操作输入，根据这些输入确定整个系统的操作，控制光 学系统切换控制单元210B、AFE 130、切换单元140、图像处理设备150、 5DSP160等，并执行整个系统的调解控制。 其余部分的配置与图3相同。
图36是示出了用于设定系统控制设备200B的光学系统的处理的 示意流程图。
首先，确认(ST121)光学系统，并设定(ST122)内核数据。 10 若操作单元190的操作指示了光学系统的切换(ST123)，则由光
学系统切换控制单元210B切换光学单元110B的光学系统的输出，并 实施(ST124)步骤ST121的处理。
根据图35的实施例，除上述图3的成像设备的效果之外，可以获 得以下效果。
15 也就是说，图35的成像设备包括形成第一级图像的具有不同放大
倍数的多个光学系统110-1和110-2的光学单元IIOB、成像元件120 及将第一级图像形成为高清晰度的最终图像的图像处理设备150。在 图像处理设备150中，通过使图像处理设备150的巻积运算时使用的 内核大小和用于数值处理的系数可以根据光学系统的放大倍数而变化
20 通过操作单元190等的输入获知光学系统的放大倍数，并根据光学系 统的放大倍数或上述系数与合适的内核大小相联系，优点在于，设计 镜头时可以不必担心放大倍数和散焦范围，使通过高精度巻积的图像 恢复成为可能。
进一步，优点在于，可以在不需要具有高难度、昂贵成本和大尺 25寸的光学镜头且不需要驱动镜头的情况下，获得所谓的自然图像，其 中要捕获的图像在焦点上，但背景是模糊的。
此外，根据第三实施例的成像设备100B可以用于数字摄像机、 可携式摄像机或其他消费电子设备中的变焦镜头的DEOS，所述变焦 镜头的设计考虑了小尺寸、轻重量和成本。 30 图37是示出了根据本发明的第四实施例的具有多个光学系统的 成像设备的配置框图。
根据第四实施例的成像设备100C与根据第二实施例的成像设备
100 (图33)的区别在于，光学单元IIOC具有多个(在本实施例中两 个)光学系统110-1和110-2，提供了系统控制设备200C替代曝光控 5制设备200，还提供了光学系统切换控制单元210C。
光学单元HOC具有多个(在本实施例中两个)光学系统110-1 和110-2，根据光学系统切换控制单元210C的切换，依次为成像元件 120提供捕获对象OBJ的图像。
光学系统110-1和110-2具有不同的光学放大倍数，光学地获取 10 成像的对象OBJ的图像。
系统控制设备200C与曝光控制设备具有基本相同的功能，等待操 作单元190等的操作输入，根据这些输入确定整个系统的操作，控制光 学系统切换控制单元210C、AFE 130、切换单元140、图像处理设备150、
DSP160等，并执行整个系统的调解控制。 15 其余部分的配置与图33相同。
应注意，用于设定系统控制设备200C的光学系统的处理与图36 所示的流程图大体相同，因此此处略去其解释。
根据图37的实施例，除上述图33的成像设备的效果之外，可以
获得以下效果。
20 也就是说，图37的成像设备包括形成第一级图像的具有不同放大
倍数的多个光学系统110-1和110-2的光学单元IIOC、成像元件120 及将第一级图像形成为高清晰度的最终图像的图像处理设备150。在 图像处理设备150中，通过使图像处理设备150的巻积运算时使用的 内核大小和用于数值处理的系数可以根据光学系统的放大倍数而变
25化，由操作单元190等的输入获知光学系统的放大倍数，并根据光学
系统的放大倍数或上述系数与合适的内核大小相联系，优点在于，设 计镜头时可以不必担心放大倍数和散焦范围，使通过高精度巻积的图 像恢复成为可能。
进一步，优点在于，可以在不需要具有高难度、昂贵成本和大尺 30寸的光学镜头且不需要驱动镜头的情况下，获得所谓的自然图像，其
中要捕获的图像在焦点上，但背景是模糊的。
此外，根据第三实施例的成像设备100C可以用于数字摄像机、
可携式摄像机或其他消费电子设备中的变焦镜头的DEOS，所述变焦
镜头的设计考虑了小尺寸、轻重量和成本。
5 工业实用性
根据本发明，在保持高帧率的同时简化了光学系统，但不需要昂 贵的模糊恢复处理硬件，因此降低了成本，此外，可以获得带有很少 噪声影响的恢复图像，因此，本发明可以应用于数字摄像机、安装在
移动电话上的摄像机、安装在个人数字助理上的摄像机、图像检査设
10备、用于自动控制的工业摄像机等等。
权利要求
1.一种成像设备，包括光学系统，形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒定，成像元件，用于捕获通过所述光学系统的对象图像，转换装置，用于校正来自所述成像元件的图像的焦点的模糊，并产生恢复的图像信号，信号处理装置，用于对所述图像信号进行预定的图像处理，切换装置，用于选择性地将来自所述成像元件的图像信号或来自所述转换装置的图像信号输入至所述信号处理装置，存储装置，用于存储所述信号处理装置已处理的图像，触发信号产生装置，用于产生对图像存储进行指示的触发信号，图像监视装置，用于显示所述信号处理装置已处理的图像，以及控制装置，用于在显示直通图像期间将来自所述成像元件的图像信号通过所述切换装置输入至所述信号处理装置，并在接收到来自所述触发信号产生装置的触发信号时将来自所述转换装置的图像信号输入至所述信号处理装置。
2.如权利要求1所述的成像设备，其中，使用所述图像监视装置的分辨率作为上限来设定焦点的模糊量。
3. 如权利要求1所述的成像设备，其中，所述图像监视装置的分 辨率被设定为不大于所述图像监视装置的像素间距的2倍。
4. 如权利要求1所述的成像设备，其中，所述控制装置通过所述 25转换装置恢复通过接收所述触发信号而捕获的图像，接着在所述信号处理装置处理所述图像之后使所述图像监视装置显示所述图像。
5. 如权利要求1所述的成像设备，其中，在显示所述直通图像期 间，所述控制装置使所述成像元件输出具有所述图像监视装置的分辨 率所要求的足够的分辨率的图像。30
6. —种成像设备，包括 光学系统，形成为使焦点的模糊量在焦点位置以及在焦点之前和 之后的距离处基本恒定，成像元件，用于捕获通过所述光学系统的对象图像，转换装置，用于校正来自所述成像元件的图像的焦点的模糊，并 5 产生恢复的图像信号，第一滤波器，用于在静止图像捕获模式时的所述转换装置的图像 恢复处理，第二滤波器，用于在至少运动图像捕获模式时的所述转换装置的 图像恢复处理， 其中所述转换装置根据捕获模式选择至少第一滤波器或第二滤波 器并进行图像恢复处理。
7. 如权利要求6所述的成像设备，其中，所述设备具有 信号处理装置，用于对图像信号进行预定的图像处理，以及 图像监视装置，用于显示所述信号处理装置已处理的图像， 其中第二滤波器用于在运动图像捕获模式时或显示直通图像时的 所述转换装置的图像恢复处理，以及所述转换装置根据捕获模式或根据是/否显示直通图像来选择第 一滤波器或第二滤波器并进行图像恢复处理。
8. 如权利要求7所述的成像设备，其中，所述转换装置根据所述 20图像监视装置的分辨率，使用第二滤波器进行简单恢复处理。
9. 如权利要求8所述的成像设备，其中，第二滤波器包括使用采 样点扩展函数PSF的图像恢复滤波器。
10. 如权利要求6所述的成像设备，其中，第二滤波器具有带宽 增强功能。
11.如权利要求6所述的成像设备，其中，第二滤波器的大小小于第一滤波器的大小。
12.如权利要求7所述的成像设备，其中，所述设备具有设定装置，其能够设定在捕获运动图像时和显示直通图像时是/否使用第二滤波器执行图像恢复处理。
13.如权利要求7所述的成像设备，其中，所述设备还具有 触发信号产生装置，用于产生触发信号，以及控制装置，用于在显示直通图像期间将经过所述转换装置中的第 二滤波器的图像恢复处理的图像信号输入至所述信号处理装置，并在 接收到来自所述触发信号产生装置的触发信号时，将经过所述转换装 5 置中的第一滤波器的图像恢复处理的图像信号输入至所述信号处理装 置。
14. 如权利要求13所述的成像设备，其中，所述设备具有用于存 储图像的存储装置，在捕获运动图像时，所述控制装置将经过第二滤波器的图像恢复 10处理的图像信号输入至所述信号处理装置，以显示直通图像，以及在 所述存储装置中存储图像时，所述控制装置通过所述转换装置中的第 一滤波器执行图像恢复处理。
15. 如权利要求13所述的成像设备，其中，所述设备具有用于存 储图像的存储装置，在捕获运动图像时，所述控制装置将经过第二滤波器的图像恢复处理的图像信号输入至所述信号处理装置，并在所述存储装置中存储 该图像信号。
16. 如权利要求7所述的成像设备，其中，所述设备还具有 切换装置，用于选择性地将来自所述成像元件的图像信号或来自 所述转换装置的图像信号输入至所述信号处理装置， 触发信号产生装置，用于产生触发信号，以及 控制装置，用于在显示直通图像期间将来自所述成像元件的图像 信号通过所述切换装置输入至所述信号处理装置，并在接收到来自所 述触发信号产生装置的触发信号时，将来自所述转换装置的图像信号 25 输入至所述信号处理装置。
17. 如权利要求16所述的成像设备，其中，所述设备具有用于存储图像的存储装置，在捕获运动图像时，所述控制装置将来自所述成像元件的未经过 图像恢复处理的图像信号输入至所述图像处理装置用于显示直通图 30像，以及在所述存储装置中存储图像时，所述控制装置通过所述转换 装置执行图像恢复处理。
18. 如权利要求16所述的成像设备，其中，所述设备具有用于存 储图像的存储装置，在捕获运动图像时，所述控制装置将来自所述成像元件的未经过 5图像恢复处理的图像信号输入至所述图像处理装置，并在所述存储装 置中存储未经过图像恢复处理的图像，以及在从所述存储装置再现图 像时，所述控制装置通过所述转换装置执行图像恢复处理。
19. 如权利要求7所述的成像设备，其中，使用所述图像监视装置的分辨率作为上限来设定焦点的模糊量。 10
20.如权利要求7所述的成像设备，其中，所述图像监视装置的分辨率不大于所述图像监视装置的像素间距 的2倍。
21. 如权利要求13所述的成像设备，其中，所述控制装置通过所 述转换装置恢复通过接收触发信号而捕捉的静止图像，接着在所述信 号处理装置处理之后使所述图像监视装置显示所述图像。
22. 如权利要求13所述的成像设备，其中，在显示直通图像期间， 所述控制装置使所述成像元件输出具有所述图像监视装置的分辨率所 要求的足够的分辨率的图像。
23. —种成像方法，包括以下步骤 通过成像元件捕获通过光学系统的对象图像，所述光学系统形成为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒 定，在显示直通图像期间对来自所述成像元件的图像信号进行预定的 图像处理，以及 在接收到指示图像存储的触发信号时，校正来自所述成像元件的图像的焦点的模糊以恢复图像信号，并对恢复的图像信号进行预定的 图像处理。
24. —种成像方法，包括以下步骤通过成像元件捕获通过光学系统的对象图像，所述光学系统形成 为使焦点的模糊量在焦点位置以及在焦点之前和之后的距离处基本恒 在显示直通图像期间对来自所述成像元件的图像信号进行预定的 图像处理，以及校正来自所述成像元件的图像的焦点的模糊以恢复图像信号，并 5 对恢复的图像信号进行预定的图像处理，其中，在静止图像捕获模式时使用第一滤波器进行图像恢复处理，以及在运动图像捕获模式时或显示直通图像时使用第二滤波器进行图 像恢复处理，第二滤波器的大小与第一滤波器的大小不同。
全文摘要
一种成像设备，能够在保持高帧率的同时简化光学系统，而不需要昂贵的模糊恢复处理硬件，能够降低成本，此外，可以获得带有很小噪声影响的恢复图像，以及一种这样的成像方法，所述方法在直通图像时通过切换单元(140)绕过图像处理设备(150)的模糊恢复处理，以进行摄像机信号处理单元(160)的摄像机信号处理，而只在捕捉图像时，在图像处理设备(150)进行模糊恢复处理，接着在摄像机信号处理单元(160)进行摄像机信号处理，以显示图像。
文档编号H04N5/232GK101366270SQ20068005201
公开日2009年2月11日 申请日期2006年11月29日 优先权日2005年11月29日
发明者宫内洋一, 村濑成康, 林佑介 申请人:京瓷株式会社