摄像装置制造方法
摄像装置制造方法
【专利摘要】本发明提供一种技术，在调制光学像而使焦点深度增大并由复原图像处理去除该调制的摄像装置中，用于能够减小该复原图像处理的电路规模，并能够适用于运动图像的摄像。本发明的摄像装置的特征在于，具备：摄像元件（3）；包含调制物体的光学像的光学传递函数的相位板（21），并且将通过相位板（21）调制的光学像在摄像元件（3）的摄像面上成像的光学系统（2）；进行对摄像元件（3）的摄像面上的成像图像实施二维空间滤波处理而去除基于上述光学相位滤波器的调制的复原图像处理的空间滤波器处理部（6），由上述相位板（21）向光学像施加的调制特性在与光轴垂直的摄像面平面上的相互正交的水平及垂直的两个方向中互异。
【专利说明】摄像装置
【技术领域】
[0001]本发明涉及一种摄像装置，该摄像装置构成为通过光学相位滤波器，对光学像的光学传递函数进行调制而使焦点深度增大，通过图像处理去除上述调制量而获得鲜明的图像。
【背景技术】
[0002]作为本【技术领域】的【背景技术】，例如已知有美国专利第5，748，371号(专利文献I)记载的技术。在专利文献I中公开了如下技术:在光学系统中配置调制光的相位的光学掩模，使光学传递函数(OTF:0ptical Transfer Function)在从聚焦点位置起到某距离范围内本质上固定，使被摄区深度增大，然后对用光学掩模调制后的OTF所引起的调制中间图像进行信号处理，去除基于光学掩模的调制量，从而放大被摄区深度(参照摘要)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:美国专利第5，748，371号公报
【发明内容】
[0006]在上述以往技术中，作为用于去除基于光学掩模等的光学相位滤波器的光学上的调制量、即把通过光学相位滤波器成为模糊状态的图像复原为鲜明图像的图像处理(以下，有时也将其称为“复原图像处理”)，采用例如二维空间滤波处理。该二维空间滤波处理例如包含所谓卷积运算处理，该卷积运算处理对处于包含成为滤波处理对象的像素的规定的水平范围及垂直范围内的像素分别乘以与像素位置相应地个别设定的系数并相加。这样的二维空间滤波处理例如如以下那样进行。首先，通过光学相位滤波器调制并由摄像元件摄像得到的图像数据被保存在移位寄存器中。该移位寄存器依次保存水平方向的图像数据中的上述规定的水平范围内的像素。对该像素分别乘以与该规定的水平范围中的各水平位置对应的系数并相加。由此进行水平滤波处理。水平滤波处理后的图像数据分别被保存在与垂直方向的空间滤波尺寸(即规定的垂直范围)相同数量的行存储器中。在全部的行存储器保存了数据并成为有效的时刻，对来自行存储器的输出，乘以与规定的垂直范围中的各垂直位置对应的系数并相加。由此进行垂直滤波处理。
[0007]这样，为了进行二维空间滤波处理，在一个行存储器中需要I行量的图像数据或与之相当的存储容量，行存储器需要与垂直方向的空间滤波尺寸相同的数量。因此，从电路规模的观点来看，优选与水平方向相比减小垂直方向的滤波尺寸，减少行存储器数。
[0008]另一方面，在上述专利文献I中，采用具有三次函数特性的光学掩模，在从聚焦点位置起到光轴上的某距离的范围内可使光学传递函数不敏感，但是所获得的中间图像在图像的宽的像素范围中形成模糊图像。因此，用于复原图像处理的空间滤波器的尺寸变得非常大。此时，如果基于光学掩模的光学上的调制特性被设计为在水平、垂直方向都相同，则需要用于垂直滤波处理的行存储器的数量多。这样，在以往技术中，用于进行二维空间滤波处理等复原图像处理的图像处理电路的电路规模变大，成本增大。
[0009]另外，二维空间滤波处理是以对象像素为基准，在水平及垂直方向都对例如±20?50的范围内的像素进行卷积运算来执行的。这里，卷积运算的范围的像素在水平和垂直方向相同。因此，在对某一像素进行二维空间滤波处理时，变成进行处于该像素的周围的数百?数千像素的卷积运算，因此需要大量的处理时间。因此，以往的技术仅仅适用于静态图像，难以适用于运动图像的摄像。
[0010]本发明鉴于上述以往技术的问题而完成，提供一种技术，用于在构成为对光学像进行调制而使焦点深度增大，并通过复原图像处理去除该调制的摄像装置中，可以减小与该复原图像处理相关的电路规模，并可以适用于运动图像的摄像。
[0011]为了解决上述问题，本发明采用权利要求书所记载的结构。该结构的一个例子例如是一种摄像装置，具备:具有摄像面的摄像元件；光学系统，包含对物体光学像的光学传递函数进行调制的光学相位滤波器，该光学系统用于使通过该光学相位滤波器调制的光学像在上述摄像元件的摄像面上成像；以及信号处理部，执行复原图像处理，该复原图像处理用于对上述摄像元件的摄像面上的成像图像进行二维空间滤波处理以去除上述光学相位滤波器的调制，该摄像装置的特征在于，由上述光学相位滤波器向上述光学像施加的调制特性在与光轴垂直的摄像面平面上的相互正交的水平及垂直的二个方向中互异。
[0012]上述光学相位滤波器可以由水平方向的波面像差和垂直方向的波面像差不同的相位板构成，也可以由水平方向的波面像差和垂直方向的波面像差大致相等的相位板和垂直方向的开口尺寸比水平方向的开口尺寸小的光圈构成。
[0013]根据本发明，对摄像得到的光学像施加在水平及垂直方向上不同的光学传递特性，在减小二维空间滤波处理等复原图像处理的性能劣化的同时，还可以变更在复原图像处理中使用的空间滤波器的水平、垂直尺寸。由此，可以削减例如负责空间滤波处理的电路内的行存储器的数量，减小图像处理电路规模。因此，根据本发明，可以提供降低了成本的摄像装置。此外，根据本发明，可以将构成为对光学像进行调制而使焦点深度增大，并通过复原图像处理去除该调制的摄像装置用于运动图像的摄像。
[0014]上述以外的问题、结构及效果通过以下的实施方式的说明而变得清楚。
【专利附图】
【附图说明】
[0015]图1是表示本发明的第I实施例的摄像装置的一个结构例的图。
[0016]图2是表不适用于本发明的第I实施例的相位板21的一个例子的图。
[0017]图3是表示第I实施例的相位板21的截面形状的图。
[0018]图4是表示实施例1的摄像系统的空间滤波器处理部6的一个结构例的方框图。
[0019]图5是表示实施例1的焦点深度放大效果的仿真结果的图。
[0020]图6是表示本发明的第2实施例的图。
[0021]图7是表示针对光圈22的开口形状为矩形及圆形的对角方向的OTF的计算结果的图。
[0022]图8是表示光圈22的开口形状为矩形及圆形时的各自的光圈形状中的PSF的测定结果的图。
[0023](符号的说明)[0024]I…物体；2…光学系统；21、26…相位板(光学相位滤波器)；22、27…光圈;23…前置透镜群；24…后置透镜群；3…摄像元件；4…AD转换器；5…原始数据缓冲存储器；6…空间滤波器处理部；7…移位寄存器；8…水平滤波器处理部；90~94…行存储器；10…垂直滤波器处理部；11…滤波器系数保存存储器。
【具体实施方式】
[0025]以下，参照【专利附图】
【附图说明】本发明的实施方式。另外，对具有同样的功能或结构的要素附上同一符号，省略重复的说明。
[0026](实施例1)
[0027]首先，用图1说明本发明的第I实施例的摄像装置的一个结构例。本实施例的摄像装置可适用于例如AV摄像机、便携电话搭载摄像机、便携信息终端搭载摄像机、图像检查装置、自动控制用产业摄像机等。
[0028]物体I的光学像由光学系统2取入，由摄像元件3进行摄像。这里，光学系统2是用于取入物体I的光学像的要素，具备:具有位于物体I侧的多个透镜元件的前置透镜群23 ;具有位于摄像元件3侧的多个透镜元件的后置透镜群24 ;在前置透镜群23和后置透镜群24之间配置的具有与光学系统2相应的矩形(正方形)开口或圆形开口的光圈22 ;在光圈22附近被配置于前置透镜群23侧的相位板21，该相位板21作为用于对物体I的光学像空间地进行调制而赋予规定的光学传递函数的光学相位滤波器。该相位板21是由例如丙烯酸树脂、聚碳酸酯等透明树脂构成的光学部件。其光学特性的详细情况将后述。[0029]通过包含上述相位板21的光学系统2而获得的物体I的光学像在摄像元件3的摄像面31上成像而被取入。这里,摄像元件3由例如(XD、CMOS传感器等构成，以例如1/60秒周期或1/30秒周期取入图像。即，本实施例的摄像装置也可以适用于运动图像的摄像。
[0030]在该摄像元件3的摄像面31上成像而被取入的光学像通过摄像元件3变换为模拟信号，再由Α/D转换器4变换为数字信号，生成与光学像对应的图像数据。
[0031]来自Α/D转换器4的图像数据作为中间图像被保存在原始数据(RAW)缓冲存储器5中。在原始数据缓冲存储器5中保存的图像数据由用于进行二维空间滤波处理的作为信号处理部的空间滤波器处理部6读出。
[0032]在空间滤波器处理部6中，根据由上述光学系统2所包含的相位板21的光学的调制特性确定的光学传递函数，实施作为复原图像处理的二维空间滤波处理。即，在空间滤波器处理部6中，以修正由相位板21对光学像施加的光学传递函数的方式，进行复原图像处理。例如相位板21向光学像施加在光轴L (例如图1的虚线L)上的规定距离范围的各位置上使物体I的光学像模糊为大致固定程度的光学传递函数时，空间滤波器处理部6通过强调或者增加/减少具有这样的光学传递函数的光学像的特定的频率分量，去除上述的模糊，进行复原为鲜明的图像的处理。
[0033]为了进行这样的二维空间滤波处理，空间滤波器处理部6具有作为保存预先设定的空间滤波系数等滤波器信息的存储部的ROM (未图示)。然后，空间滤波器处理部6读出在该ROM中保存的滤波器信息，对图像数据实施作为复原图像处理的二维空间滤波处理。
[0034]从空间滤波器处理部6输出的图像数据通过未图示的其他图像处理部，根据需要实施例如对比度调整、亮度调整、颜色调整、以及放大缩小等缩放处理，并根据需要实施帧速率变换处理等。实施这样的处理后的图像数据在记录介质71记录和/或在显示部72显
/Jn ο
[0035]本实施例的特征在于，在上述结构的摄像装置或者摄像系统中，作为光学系统2所包含的相位板21，在水平方向和垂直方向施加不同的光学传递函数，还与该光学传递函数对应地构成了空间滤波器处理部6。以下，说明该详细情况。
[0036]首先，参照图2 (a)~(C)说明本实施例的摄像装置中采用的相位板21。图2 (a)是由本实施例的作为光学相位滤波器的相位板21所赋予的波面像差的等高线图。图2(a)的正面设为物体侧，背面设为摄像面31侧。图2 (b)表示与图2 Ca)所示的相位板21的I方向平行且与X方向正交的截面，图2 (C)表示与图2 Ca)所示的相位板21的x方向平行且与I方向正交的截面。这里，图中的X表示与光学系统2的光轴L垂直的摄像面31上的水平方向，y表示与该水平方向X正交的垂直方向。如图2所示，本实施例的相位板21的垂直方向I的波面像差设为比水平方向X的波面像差小。即，本实施例的相位板21的垂直方向的相位变化比水平方向的相位变化小。
[0037]这里，在将相位板21的透明树脂材料的折射率设为η时，相位板21的表面形状用对波面像差乘以1/ (η — 1)的形式表达，因此，图2 Ca)的等高线图的轮廓直接表示相位板21的表面形状。从而，图2 (b)及(c)分别表示相位板21的y方向的截面形状和X方向的截面形状。而且，如图2 (b)及(c)所示，本实施例的相位板21的y方向的截面形状和X方向的截面形状相互不同。例如，成为穿过相位板21的y方向中心(O )的X方向的右侧端部向物体侧显著突出，并且左侧端部向摄像元件3的摄像面侧显著后退或者下陷的形状。另一方面，成为穿过相位板21的X方向中心(O)的y方向的上侧端部向物体侧显著突出，并且下侧端部向摄像面侧显著后退或者下陷的形状，但是，向物体侧的突出量及向摄像面侧的下陷量分别比X方向的右侧端部的突出量及左侧端部的下陷量小。
[0038]由此，与穿过相位板21的X方向线的光束和光轴相交的位置相比，穿过y方向线的光束和光轴相交的位置更远(物体侧)。其结果，本实施例的相位板21的X方向的焦点深度和I方向的焦点深度相互不同，相对于物体的光学像，针对X方向，施加在光轴上的规定的距离范围中产生大致固定的“模糊”的光学传递函数(光学的调制)，而针对y方向，不施加这样的光学传递函数，或者与X方向相比使光学的调制程度小。
[0039]图3示出了本实施例的相位板21的整体的截面形状。图3仅仅示出了 y方向的截面图。如图所示，在光轴方向具有规定的厚度，物体侧的面具有图2所示的表面形状，成像侧的面成为平坦面。相位板21的形状只是一个例子，并不限于此。
[0040]相位板21的表面形状(截面)例如用三次函数表达。在将该三次函数的系数设为α?、α2且α1>α2时,本实施例的相位板21按下记式I设计。
[0041]f (x, y) =Q 1.χ"3+α 2.y"3(式 I)
[0042]由此，如图2所示，可以设计为垂直方向的相位变化比水平方向的相位变化小。
[0043]这里，将相位板21的光轴方向设为z方向(图2中与纸面垂直的方向)，在处于与Z轴垂直的平面上的摄像面中，将第一方向作为摄像元件的水平方向而与X方向对应，将与第一方向正交的摄像面上的第二方向作为摄像元件的垂直方向而与y方向对应。此外，将光圈22的光瞳形状设为正方形,将用该正方形的光瞳的一边的长度标准化后的座标设为
(X，y)。[0044]上述三次函数的系数α?、α2的值分别配合所需要的被摄区深度和电路规模而进行优化，这里，配合如后所示的成像光学系统及空间滤波器处理部的实例而设为α 1=120 λ，α 2=30 λ ( λ是成像的光的中心波长)。
[0045]此外，也可以根据以下的式2形成相位板21的表面形状(截面)。另外，式2中β 1、β 2分别是系数，具有β1>β2的关系。
[0046]f (x,y)=a I.χ'3+α2.y'3+β I.χ+β2.y (式 2)
[0047]另外，在本实施例中，采用具有正方形的开口且具有正方形的光瞳形状的光圈作为光圈22，但是也可以采用具有圆形的开口且具有圆形的光瞳形状的光圈。但是，作为光圈22，与具有圆形开口的光圈相比，优选具有矩形的开口的光圈。以下用图7及图8对其进行说明。
[0048]如上所述，在采用三次函数型相位时，如果使用一般的圆形光圈，则在对角方向的OTF发生零点而出现伪影。参照图7说明该现象。图7表示针对光圈22的开口形状为矩形及圆形的对角方向的OTF的计算结果。如图所示，在为矩形的开口时不取零点，与之相对，在为圆形的开口时跳跃并过零。图8是各自的光圈形状中的PSF的测定结果。矩形光圈的PSF如图8 (a)所示扩展为矩形，与之相对，圆形光圈的PSF如图8 (b)所示成为近似三角形，向对角方向的扩展被限制。由于该对角方向的扩展限制，圆形光圈的OTF取零点。因此，如本实施例那样，在采用3次函数型的相位板21的波前编码(Wavefront Coding)中，采用矩形光圈是更有利。
[0049] 如上所述，通过图2、图3所示的形状的相位板21，对于物体的光学像，针对X方向，施加在光轴上的规定的距离范围中产生大致固定的“模糊”的光学传递函数，而针对y方向，不施加这样的光学传递函数或者与X方向相比使光学的调制程度小。换言之，对于物体的光学像，针对X方向，在光轴上的规定的距离范围中施加大致固定的PSF (点扩展函数:Point Spread Function)的扩展,而针对y方向，成为比x方向小的PSF。
[0050]此外，在本实施例中，在对通过这样的相位板21取入的光学像进行复原图像处理时，使垂直(y)方向的滤波处理的范围和水平(X)方向的滤波处理的范围不同。在以往情况下，由于在y方向和X方向施加大致相同扩展的PSF，因此，需要将垂直方向的滤波处理的范围及水平方向的滤波处理的范围都设为相同，复原图像处理中的运算次数、处理时间及滤波处理用的存储器变得非常大。与之相对地，在本实施例中，针对物体的光学像的y方向施加比X方向小的PSF，因此，可以减小垂直方向的滤波处理的范围，可以减小复原图像处理中的运算次数、处理时间及滤波处理用的存储器。以下，参照图4说明本实施例的空间滤波器处理部6的一个例子。
[0051]图4是表示本实施例的摄像系统的空间滤波器处理部6的一个结构例的方框图。在该例中，示出了采用垂直方向的滤波器尺寸量的行存储器的空间滤波器处理部6的结构。此外，本实施例的空间滤波器处理部6的特征在于，负责垂直方向的空间滤波处理的行存储器的数量比负责水平方向的空间滤波处理的移位寄存器的抽头数量少。在本实施例中，设为具有光瞳直径1.8mm、λ =590nm、α =120、焦点距离f=50mm、物点距离720mm、像点距离54mm、摄像元件3的像素间距6.5um的摄像光学系统，此时的空间滤波器尺寸估计为20X5。与其对应地，本例的空间滤波器处理部6进行在水平方向采用20个像素、在垂直方向采用5个像素的20X5的空间滤波处理。即，本例的空间滤波器处理部6将水平滤波处理的范围设为20像素的量，将垂直滤波处理的范围设为5像素的量。
[0052]在原始数据缓冲存储器5 (图4中未图示)中保存的图像数据，首先按水平扫描顺序由空间滤波器处理部6 (或者未图示的CPU等控制电路)读出，保存在空间滤波器处理部6内的移位寄存器7中。移位寄存器7具有20个抽头，各抽头依次保存水平I行中的规定个数(这里是20个)的像素的数据。在各抽头中保存的像素的数据向水平滤波器处理部8输出。还向水平滤波器处理部8供给在滤波器系数保存存储器(ROM) 11中存储的与移位寄存器的各抽头对应而预先设定的水平滤波系数。水平滤波器处理部8进行所谓的卷积运算，该卷积运算将从20个各抽头输出的像素数据和来自滤波器系数保存存储器11的水平滤波系数分别相乘并相加。
[0053]这里，在将各抽头的像素数据例如设为\、\、…、V2tl、将与各抽头对应的水平滤波系数例如设为khl、h、…、kh2(l时，卷积运算用例如下记式3表达。
[0054]khl.V^kh2.+Iih20.V20(式 3)
[0055]由此，在水平滤波器处理部8中对图像数据实施水平滤波处理。
[0056]水平滤波器处理部8针对I帧的各行，如以上那样进行水平滤波处理。水平滤波处理后的图像数据被保存在行存储器90~94中。在该例中，为了保存5行量的水平滤波处理后的图像数据，使用5个行存储器90~94。各行存储器按FIFO (First In-First Out,先入先出)的方式动作，在行存储器的全部输出数据成为有效的时刻，由垂直滤波器处理部10实施垂直滤波处理。这里，水平方向位置相同的各行的像素数据从行存储器90~94依次向垂直滤波器处理部10输出。此外，还向垂直滤波器处理部10供给在滤波器系数保存存储器11中存储的与各行存储器对应而预先设定的垂直滤波器系数。垂直滤波器处理部10进行所谓卷积运算，该卷积运算将从5个行存储器90~94分别输出的同一水平位置的像素数据和来自滤波器系数保存存储器11的垂直滤波器系数分别相乘并相加。卷积运算的一个例子与水平滤波处理同样，因此这里省略。由此，垂直滤波器处理部10中，对图像数据实施垂直滤波处理。
[0057]这样，对于由摄像元件3取入的图像数据，由空间滤波器处理部6实施水平方向及垂直方向这两个方向的滤波处理。由此，进行除去由相位板21施加了规定的“模糊”的光学像的“模糊”的复原图像处理，不依赖于散焦，可以在各处获得准确对焦的图像。此时，由于向光学像施加了在垂直方向上小的PSF的扩展，因此可以减小空间滤波器处理部6中的垂直方向的滤波处理的范围，可以减小行存储器的数量。
[0058]图5表示采用图2的相位板21时的焦点深度放大效果的仿真结果。在该图中，将某模型设为输入图像，描绘了相对于摄像面31上的焦点偏移(散焦，defocus)的输入图像和复原图像的PSNR (Peak Signal-to-Noise Ratio:峰值信噪比)。
[0059]图中曲线(a)表示为了获得期望的焦点深度所需的水平及垂直方向的三次函数系数分别为α 1=α 2=60时的散焦-PSNR特性。在该情况下，垂直滤波器的范围变大，行存储器数量也增加。由于硬件的规模、成本等的制约，难以构成与该三次函数系数对应的空间滤波器处理部6。
[0060]在曲线(b)中表示了水平及垂直方向的三次函数系数α I及α 2虽然相同但是都t匕(a)小的(α 1=α 2=30)情况下的散焦-PSNR特性。在该情况下，与(a)的情况相比，电路规模可以减小，但是如图所示，PSNR与(a)的情况相比显著降低。[0061]另一方面，如本实施例那样，在曲线(C)中示出了将垂直方向的三次函数系数α 2设为比水平方向的三次函数系数α?小、且将α 2设为比(a)的情况小的(α 1=120,α 2=30)时的散焦-PSNR特性。根据该例子，可以减小行存储器的数量的同时，如图所示，获得与(a)同样的PSNR。为了参考，在图5中示出了无像差光学系统的结果作为曲线(d)。
[0062]这里，说明(a)~(c)的各结构可以确保PSNR=40dB以上的范围。另外，在作为无像差光学系统的(d)的情况下，散焦为0.03时，PSNR成为40dB。在水平及垂直方向的三次函数系数都同样小的(b)的情况下，如果要将PSNR确保为40dB以上，则散焦只能放大到
0.15为止。另一方面，在(a)及(c)中，散焦可放大到0.21为止的焦点深度。而且，在将垂直方向的三次函数系数α 2设为比水平方向的三次函数系数α I小的(c)的情况下，PSNR复原到与水平及垂直方向的三次函数系数都同样大的(a)的情况相同的水平。
[0063]这样，在本实施例中，针对摄像所得的光学像施加水平及垂直方向不同的光学传递特性，在减小二维空间滤波处理等复原图像处理的性能劣化的同时，还可以变更用于复原图像处理的空间滤波器的水平、垂直尺寸。由此，可以削减负责例如空间滤波处理的电路内的行存储器的数量，减小图像处理电路规模。因此，根据本实施例，可以提供降低了成本的摄像装置。此外，根据本实施例，可以减小空间滤波处理的运算量、运算时间，可以将构成为对光学像进行调制而使焦点深度增大，并通过复原图像处理去除该调制的摄像装置用于运动图像的摄像。[0064]在本实施例中，构成为使垂直滤波处理的范围比水平滤波处理的范围窄，但是也可以构成为使水平滤波处理的范围比垂直滤波处理的范围窄。但是在该情况下，由于不利于容量大的行存储器的数量的削减，因此优选使垂直滤波处理的范围变窄。
[0065](实施例2)
[0066]在实施例1中，通过作为光学相位滤波器的相位板21，针对摄像所得的光学像施加水平及垂直方向不同的光学传递特性。但是，通过光圈27的形状也可以获得同样的效果。即，本实施例的特征在于，光圈也用作光学相位滤波器。以下将其作为实施例2进行说明。另外，除了光学相位滤波器的结构以外，包括图4所示的空间滤波器处理部6的内部结构在内也与实施例1相同，其详细说明在这里省略。
[0067]图6是用于说明本发明的实施例2的图，图6 Ca)表示实施例2中采用的水平及垂直的波面像差相同的相位板26的一个例子，图6 (b)表示穿过具有纵横比3:4的长方形的开口的光圈27而看到的相位板26。相位板26与以往的相位板相同。此外，光圈27的开口的垂直方向的开口尺寸设为比水平方向的开口尺寸小。
[0068]在本实施例中，即使相位板26在水平及垂直方向这两方都具有同一波面像差，并且在水平及垂直方向施加大致相同的光学调制的情况下，如图6 (b)所示，也可以使穿过光圈27形状而看到的相位板26的波面像差(由相位板26施加的相位板26的波面像差)的等高线在垂直方向的相位变化比水平方向的相位变化小。这与图2所示的实施例1的相位板21相同。即,在实施例1中,光学相位滤波器由相位板21构成,但在实施例2中,光学相位滤波器由在水平及垂直方向施加大致相同的光学调制的相位板26和具有以水平方向为长度方向的长方形的开口的光圈27构成。在本实施例中，式I所示的三次函数中的x、y座标用光圈27的长方形的开口光瞳的长度方向的长度标准化即可。
[0069]在本实施例中，以上述长方形方式固定光圈27的开口形状，但是也可以使该长方形的纵横比可变。另外，根据可变的开口形状，也可以使进行复原信号处理的空间滤波器处理部6的水平方向和/或垂直方向的滤波尺寸可变。此时，也可以将可变比率设为相对于横向为1，纵向为I到0.5。
[0070]这样，根据本实施例，即使不加工相位板，即，即使采用以往的相位板，通过变更光圈的开口形状，也可以容易地获得与实施例1相同的效果。在本实施例中，将光圈形状设为长方形，但也可以将光圈形状设为椭圆形状。
[0071]另外，在实施例1中说明了通过变更相位板的形状从而施加在水平和垂直方向不同的光学传递函数的例子，在实施例2中说明了通过变更光圈的开口形状而施加在水平和垂直方向不同的光学传递函数的例子。但是，也可以同时改变相位板及光圈的开口形状。
[0072]根据上述本发明的各实施例，可以显著缩小或者减小复原图像处理用的电路规模、运算量、运算时间。因而，在专利文献I等中所记载的以往技术仅仅可用于静态图像的摄像，而通过本发明不仅可用于静态图像，还可以用于运动图像的摄像。因而，本发明可以适用于各种用途的摄像装置，例如AV摄像机、监视用摄像机、便携电话搭载摄像机、便携信息终端搭载摄像机、图像检查装置、自动控制用产业摄像机等摄像装置。
【权利要求】
1.一种摄像装置，具备: 摄像元件，具有摄像面； 光学系统，包含对物体的光学像的光学传递函数进行调制的光学相位滤波器，该光学系统用于使通过该光学相位滤波器调制的光学像成像在上述摄像元件的摄像面上；以及信号处理部，执行复原图像处理，该复原图像处理用于对上述摄像元件的摄像面上的成像图像进行二维空间滤波处理而去除上述光学相位滤波器进行的调制，该摄像装置的特征在于， 由上述光学相位滤波器向上述光学像施加的调制特性在与光轴垂直的摄像面平面上的相互正交的水平及垂直的两个方向中互异。
2.根据权利要求1所述的摄像装置，其特征在于， 上述光学相位滤波器由水平方向的波面像差和垂直方向的波面像差不同的相位板构成。
3.根据权利要求2所述的摄像装置，其特征在于， 上述相位板的垂直方向的波面像差比水平方向的波面像差小。
4.根据权利要求3所述的摄像装置，其特征在于， 上述相位板的波面像差表达为f (X, y) = α I.x"3+α 2.y"3, 其中，α?及α 2表示系数，α 1> α 2, x、y表示与光轴正交的上述相位板面内的标准化座标。
5.根据权利要求3所述的摄像装置，其特征在于， 上述信号处理部具备: 移位寄存器，包含多个抽头，该多个抽头分别保存被用于进行水平滤波处理的、由上述相位板光学地调制后的I行中的规定个数的像素的数据； 行存储器，保存被用于进行垂直滤波处理的、水平滤波处理后的图像数据中的多个行的图像数据；以及 滤波器系数保存存储器，存储用于进行上述水平滤波处理及垂直滤波处理的、与在上述移位寄存器及上述行存储器中所保存的各像素的数据相乘的系数， 上述行存储器的数量比上述移位寄存器的抽头的数量小。
6.根据权利要求1所述的摄像装置，其特征在于， 上述光学相位滤波器具备:水平方向的波面像差和垂直方向的波面像差大致相等的相位板、以及垂直方向的开口尺寸比水平方向的开口尺寸小的光圈。
7.根据权利要求6所述的摄像装置，其特征在于， 上述信号处理部具备: 移位寄存器，包含多个抽头，该多个抽头分别保存被用于进行水平滤波处理的、由上述相位板及上述光圈光学地调制后的I行中的规定个数的像素的数据； 行存储器，保存被用于进行垂直滤波处理的、水平滤波处理后的图像数据中的多个行的图像数据；以及 滤波器系数保存存储器，存储被用于进行上述水平滤波处理及垂直滤波处理的、与在上述移位寄存器及上述行存储器中所保存的各像素的数据相乘的系数， 上述行存储器的数量比上述移位寄存器的抽头的数量小。
8.根据权利要求6所述的摄像装置，其特征在于， 上述光圈的开口形状设为可变。
9.一种摄像装置，其特征在于，具备: 摄像元件，具有摄像面； 光学系统，包含对物体的光学像的光学传递函数进行调制的光学相位滤波器，该光学系统用于使通过该光学相位滤波器调制的光学像成像在上述摄像元件的摄像面上；以及空间滤波器处理部，为了复原上述光学相位滤波器所进行的调制，对上述摄像元件的摄像面上的成像图像进行采用了规定范围的像素的水平滤波处理及垂直滤波处理， 由上述光学相位滤波器向上述光学像施加的调制特性在与光轴垂直的摄像面平面上的相互正交的水平及垂直的两个方向中互异， 上述垂直滤波处理的范围比上述水平方向的滤波处理的范围小。
【文档编号】H04N5/232GK103916574SQ201310697530
【公开日】2014年7月9日 申请日期:2013年12月18日 优先权日:2012年12月28日
【发明者】崎田康一, 岛野健, 太田光彦 申请人:株式会社日立制作所
【专利摘要】本发明提供一种技术，在调制光学像而使焦点深度增大并由复原图像处理去除该调制的摄像装置中，用于能够减小该复原图像处理的电路规模，并能够适用于运动图像的摄像。本发明的摄像装置的特征在于，具备：摄像元件（3）；包含调制物体的光学像的光学传递函数的相位板（21），并且将通过相位板（21）调制的光学像在摄像元件（3）的摄像面上成像的光学系统（2）；进行对摄像元件（3）的摄像面上的成像图像实施二维空间滤波处理而去除基于上述光学相位滤波器的调制的复原图像处理的空间滤波器处理部（6），由上述相位板（21）向光学像施加的调制特性在与光轴垂直的摄像面平面上的相互正交的水平及垂直的两个方向中互异。
【专利说明】摄像装置
【技术领域】
[0001]本发明涉及一种摄像装置，该摄像装置构成为通过光学相位滤波器，对光学像的光学传递函数进行调制而使焦点深度增大，通过图像处理去除上述调制量而获得鲜明的图像。
【背景技术】
[0002]作为本【技术领域】的【背景技术】，例如已知有美国专利第5，748，371号(专利文献I)记载的技术。在专利文献I中公开了如下技术:在光学系统中配置调制光的相位的光学掩模，使光学传递函数(OTF:0ptical Transfer Function)在从聚焦点位置起到某距离范围内本质上固定，使被摄区深度增大，然后对用光学掩模调制后的OTF所引起的调制中间图像进行信号处理，去除基于光学掩模的调制量，从而放大被摄区深度(参照摘要)。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:美国专利第5，748，371号公报
【发明内容】
[0006]在上述以往技术中，作为用于去除基于光学掩模等的光学相位滤波器的光学上的调制量、即把通过光学相位滤波器成为模糊状态的图像复原为鲜明图像的图像处理(以下，有时也将其称为“复原图像处理”)，采用例如二维空间滤波处理。该二维空间滤波处理例如包含所谓卷积运算处理，该卷积运算处理对处于包含成为滤波处理对象的像素的规定的水平范围及垂直范围内的像素分别乘以与像素位置相应地个别设定的系数并相加。这样的二维空间滤波处理例如如以下那样进行。首先，通过光学相位滤波器调制并由摄像元件摄像得到的图像数据被保存在移位寄存器中。该移位寄存器依次保存水平方向的图像数据中的上述规定的水平范围内的像素。对该像素分别乘以与该规定的水平范围中的各水平位置对应的系数并相加。由此进行水平滤波处理。水平滤波处理后的图像数据分别被保存在与垂直方向的空间滤波尺寸(即规定的垂直范围)相同数量的行存储器中。在全部的行存储器保存了数据并成为有效的时刻，对来自行存储器的输出，乘以与规定的垂直范围中的各垂直位置对应的系数并相加。由此进行垂直滤波处理。
[0007]这样，为了进行二维空间滤波处理，在一个行存储器中需要I行量的图像数据或与之相当的存储容量，行存储器需要与垂直方向的空间滤波尺寸相同的数量。因此，从电路规模的观点来看，优选与水平方向相比减小垂直方向的滤波尺寸，减少行存储器数。
[0008]另一方面，在上述专利文献I中，采用具有三次函数特性的光学掩模，在从聚焦点位置起到光轴上的某距离的范围内可使光学传递函数不敏感，但是所获得的中间图像在图像的宽的像素范围中形成模糊图像。因此，用于复原图像处理的空间滤波器的尺寸变得非常大。此时，如果基于光学掩模的光学上的调制特性被设计为在水平、垂直方向都相同，则需要用于垂直滤波处理的行存储器的数量多。这样，在以往技术中，用于进行二维空间滤波处理等复原图像处理的图像处理电路的电路规模变大，成本增大。
[0009]另外，二维空间滤波处理是以对象像素为基准，在水平及垂直方向都对例如±20?50的范围内的像素进行卷积运算来执行的。这里，卷积运算的范围的像素在水平和垂直方向相同。因此，在对某一像素进行二维空间滤波处理时，变成进行处于该像素的周围的数百?数千像素的卷积运算，因此需要大量的处理时间。因此，以往的技术仅仅适用于静态图像，难以适用于运动图像的摄像。
[0010]本发明鉴于上述以往技术的问题而完成，提供一种技术，用于在构成为对光学像进行调制而使焦点深度增大，并通过复原图像处理去除该调制的摄像装置中，可以减小与该复原图像处理相关的电路规模，并可以适用于运动图像的摄像。
[0011]为了解决上述问题，本发明采用权利要求书所记载的结构。该结构的一个例子例如是一种摄像装置，具备:具有摄像面的摄像元件；光学系统，包含对物体光学像的光学传递函数进行调制的光学相位滤波器，该光学系统用于使通过该光学相位滤波器调制的光学像在上述摄像元件的摄像面上成像；以及信号处理部，执行复原图像处理，该复原图像处理用于对上述摄像元件的摄像面上的成像图像进行二维空间滤波处理以去除上述光学相位滤波器的调制，该摄像装置的特征在于，由上述光学相位滤波器向上述光学像施加的调制特性在与光轴垂直的摄像面平面上的相互正交的水平及垂直的二个方向中互异。
[0012]上述光学相位滤波器可以由水平方向的波面像差和垂直方向的波面像差不同的相位板构成，也可以由水平方向的波面像差和垂直方向的波面像差大致相等的相位板和垂直方向的开口尺寸比水平方向的开口尺寸小的光圈构成。
[0013]根据本发明，对摄像得到的光学像施加在水平及垂直方向上不同的光学传递特性，在减小二维空间滤波处理等复原图像处理的性能劣化的同时，还可以变更在复原图像处理中使用的空间滤波器的水平、垂直尺寸。由此，可以削减例如负责空间滤波处理的电路内的行存储器的数量，减小图像处理电路规模。因此，根据本发明，可以提供降低了成本的摄像装置。此外，根据本发明，可以将构成为对光学像进行调制而使焦点深度增大，并通过复原图像处理去除该调制的摄像装置用于运动图像的摄像。
[0014]上述以外的问题、结构及效果通过以下的实施方式的说明而变得清楚。
【专利附图】
【附图说明】
[0015]图1是表示本发明的第I实施例的摄像装置的一个结构例的图。
[0016]图2是表不适用于本发明的第I实施例的相位板21的一个例子的图。
[0017]图3是表示第I实施例的相位板21的截面形状的图。
[0018]图4是表示实施例1的摄像系统的空间滤波器处理部6的一个结构例的方框图。
[0019]图5是表示实施例1的焦点深度放大效果的仿真结果的图。
[0020]图6是表示本发明的第2实施例的图。
[0021]图7是表示针对光圈22的开口形状为矩形及圆形的对角方向的OTF的计算结果的图。
[0022]图8是表示光圈22的开口形状为矩形及圆形时的各自的光圈形状中的PSF的测定结果的图。
[0023](符号的说明)[0024]I…物体；2…光学系统；21、26…相位板(光学相位滤波器)；22、27…光圈;23…前置透镜群；24…后置透镜群；3…摄像元件；4…AD转换器；5…原始数据缓冲存储器；6…空间滤波器处理部；7…移位寄存器；8…水平滤波器处理部；90~94…行存储器；10…垂直滤波器处理部；11…滤波器系数保存存储器。
【具体实施方式】
[0025]以下，参照【专利附图】
【附图说明】本发明的实施方式。另外，对具有同样的功能或结构的要素附上同一符号，省略重复的说明。
[0026](实施例1)
[0027]首先，用图1说明本发明的第I实施例的摄像装置的一个结构例。本实施例的摄像装置可适用于例如AV摄像机、便携电话搭载摄像机、便携信息终端搭载摄像机、图像检查装置、自动控制用产业摄像机等。
[0028]物体I的光学像由光学系统2取入，由摄像元件3进行摄像。这里，光学系统2是用于取入物体I的光学像的要素，具备:具有位于物体I侧的多个透镜元件的前置透镜群23 ;具有位于摄像元件3侧的多个透镜元件的后置透镜群24 ;在前置透镜群23和后置透镜群24之间配置的具有与光学系统2相应的矩形(正方形)开口或圆形开口的光圈22 ;在光圈22附近被配置于前置透镜群23侧的相位板21，该相位板21作为用于对物体I的光学像空间地进行调制而赋予规定的光学传递函数的光学相位滤波器。该相位板21是由例如丙烯酸树脂、聚碳酸酯等透明树脂构成的光学部件。其光学特性的详细情况将后述。[0029]通过包含上述相位板21的光学系统2而获得的物体I的光学像在摄像元件3的摄像面31上成像而被取入。这里,摄像元件3由例如(XD、CMOS传感器等构成，以例如1/60秒周期或1/30秒周期取入图像。即，本实施例的摄像装置也可以适用于运动图像的摄像。
[0030]在该摄像元件3的摄像面31上成像而被取入的光学像通过摄像元件3变换为模拟信号，再由Α/D转换器4变换为数字信号，生成与光学像对应的图像数据。
[0031]来自Α/D转换器4的图像数据作为中间图像被保存在原始数据(RAW)缓冲存储器5中。在原始数据缓冲存储器5中保存的图像数据由用于进行二维空间滤波处理的作为信号处理部的空间滤波器处理部6读出。
[0032]在空间滤波器处理部6中，根据由上述光学系统2所包含的相位板21的光学的调制特性确定的光学传递函数，实施作为复原图像处理的二维空间滤波处理。即，在空间滤波器处理部6中，以修正由相位板21对光学像施加的光学传递函数的方式，进行复原图像处理。例如相位板21向光学像施加在光轴L (例如图1的虚线L)上的规定距离范围的各位置上使物体I的光学像模糊为大致固定程度的光学传递函数时，空间滤波器处理部6通过强调或者增加/减少具有这样的光学传递函数的光学像的特定的频率分量，去除上述的模糊，进行复原为鲜明的图像的处理。
[0033]为了进行这样的二维空间滤波处理，空间滤波器处理部6具有作为保存预先设定的空间滤波系数等滤波器信息的存储部的ROM (未图示)。然后，空间滤波器处理部6读出在该ROM中保存的滤波器信息，对图像数据实施作为复原图像处理的二维空间滤波处理。
[0034]从空间滤波器处理部6输出的图像数据通过未图示的其他图像处理部，根据需要实施例如对比度调整、亮度调整、颜色调整、以及放大缩小等缩放处理，并根据需要实施帧速率变换处理等。实施这样的处理后的图像数据在记录介质71记录和/或在显示部72显
/Jn ο
[0035]本实施例的特征在于，在上述结构的摄像装置或者摄像系统中，作为光学系统2所包含的相位板21，在水平方向和垂直方向施加不同的光学传递函数，还与该光学传递函数对应地构成了空间滤波器处理部6。以下，说明该详细情况。
[0036]首先，参照图2 (a)~(C)说明本实施例的摄像装置中采用的相位板21。图2 (a)是由本实施例的作为光学相位滤波器的相位板21所赋予的波面像差的等高线图。图2(a)的正面设为物体侧，背面设为摄像面31侧。图2 (b)表示与图2 Ca)所示的相位板21的I方向平行且与X方向正交的截面，图2 (C)表示与图2 Ca)所示的相位板21的x方向平行且与I方向正交的截面。这里，图中的X表示与光学系统2的光轴L垂直的摄像面31上的水平方向，y表示与该水平方向X正交的垂直方向。如图2所示，本实施例的相位板21的垂直方向I的波面像差设为比水平方向X的波面像差小。即，本实施例的相位板21的垂直方向的相位变化比水平方向的相位变化小。
[0037]这里，在将相位板21的透明树脂材料的折射率设为η时，相位板21的表面形状用对波面像差乘以1/ (η — 1)的形式表达，因此，图2 Ca)的等高线图的轮廓直接表示相位板21的表面形状。从而，图2 (b)及(c)分别表示相位板21的y方向的截面形状和X方向的截面形状。而且，如图2 (b)及(c)所示，本实施例的相位板21的y方向的截面形状和X方向的截面形状相互不同。例如，成为穿过相位板21的y方向中心(O )的X方向的右侧端部向物体侧显著突出，并且左侧端部向摄像元件3的摄像面侧显著后退或者下陷的形状。另一方面，成为穿过相位板21的X方向中心(O)的y方向的上侧端部向物体侧显著突出，并且下侧端部向摄像面侧显著后退或者下陷的形状，但是，向物体侧的突出量及向摄像面侧的下陷量分别比X方向的右侧端部的突出量及左侧端部的下陷量小。
[0038]由此，与穿过相位板21的X方向线的光束和光轴相交的位置相比，穿过y方向线的光束和光轴相交的位置更远(物体侧)。其结果，本实施例的相位板21的X方向的焦点深度和I方向的焦点深度相互不同，相对于物体的光学像，针对X方向，施加在光轴上的规定的距离范围中产生大致固定的“模糊”的光学传递函数(光学的调制)，而针对y方向，不施加这样的光学传递函数，或者与X方向相比使光学的调制程度小。
[0039]图3示出了本实施例的相位板21的整体的截面形状。图3仅仅示出了 y方向的截面图。如图所示，在光轴方向具有规定的厚度，物体侧的面具有图2所示的表面形状，成像侧的面成为平坦面。相位板21的形状只是一个例子，并不限于此。
[0040]相位板21的表面形状(截面)例如用三次函数表达。在将该三次函数的系数设为α?、α2且α1>α2时,本实施例的相位板21按下记式I设计。
[0041]f (x, y) =Q 1.χ"3+α 2.y"3(式 I)
[0042]由此，如图2所示，可以设计为垂直方向的相位变化比水平方向的相位变化小。
[0043]这里，将相位板21的光轴方向设为z方向(图2中与纸面垂直的方向)，在处于与Z轴垂直的平面上的摄像面中，将第一方向作为摄像元件的水平方向而与X方向对应，将与第一方向正交的摄像面上的第二方向作为摄像元件的垂直方向而与y方向对应。此外，将光圈22的光瞳形状设为正方形,将用该正方形的光瞳的一边的长度标准化后的座标设为
(X，y)。[0044]上述三次函数的系数α?、α2的值分别配合所需要的被摄区深度和电路规模而进行优化，这里，配合如后所示的成像光学系统及空间滤波器处理部的实例而设为α 1=120 λ，α 2=30 λ ( λ是成像的光的中心波长)。
[0045]此外，也可以根据以下的式2形成相位板21的表面形状(截面)。另外，式2中β 1、β 2分别是系数，具有β1>β2的关系。
[0046]f (x,y)=a I.χ'3+α2.y'3+β I.χ+β2.y (式 2)
[0047]另外，在本实施例中，采用具有正方形的开口且具有正方形的光瞳形状的光圈作为光圈22，但是也可以采用具有圆形的开口且具有圆形的光瞳形状的光圈。但是，作为光圈22，与具有圆形开口的光圈相比，优选具有矩形的开口的光圈。以下用图7及图8对其进行说明。
[0048]如上所述，在采用三次函数型相位时，如果使用一般的圆形光圈，则在对角方向的OTF发生零点而出现伪影。参照图7说明该现象。图7表示针对光圈22的开口形状为矩形及圆形的对角方向的OTF的计算结果。如图所示，在为矩形的开口时不取零点，与之相对，在为圆形的开口时跳跃并过零。图8是各自的光圈形状中的PSF的测定结果。矩形光圈的PSF如图8 (a)所示扩展为矩形，与之相对，圆形光圈的PSF如图8 (b)所示成为近似三角形，向对角方向的扩展被限制。由于该对角方向的扩展限制，圆形光圈的OTF取零点。因此，如本实施例那样，在采用3次函数型的相位板21的波前编码(Wavefront Coding)中，采用矩形光圈是更有利。
[0049] 如上所述，通过图2、图3所示的形状的相位板21，对于物体的光学像，针对X方向，施加在光轴上的规定的距离范围中产生大致固定的“模糊”的光学传递函数，而针对y方向，不施加这样的光学传递函数或者与X方向相比使光学的调制程度小。换言之，对于物体的光学像，针对X方向，在光轴上的规定的距离范围中施加大致固定的PSF (点扩展函数:Point Spread Function)的扩展,而针对y方向，成为比x方向小的PSF。
[0050]此外，在本实施例中，在对通过这样的相位板21取入的光学像进行复原图像处理时，使垂直(y)方向的滤波处理的范围和水平(X)方向的滤波处理的范围不同。在以往情况下，由于在y方向和X方向施加大致相同扩展的PSF，因此，需要将垂直方向的滤波处理的范围及水平方向的滤波处理的范围都设为相同，复原图像处理中的运算次数、处理时间及滤波处理用的存储器变得非常大。与之相对地，在本实施例中，针对物体的光学像的y方向施加比X方向小的PSF，因此，可以减小垂直方向的滤波处理的范围，可以减小复原图像处理中的运算次数、处理时间及滤波处理用的存储器。以下，参照图4说明本实施例的空间滤波器处理部6的一个例子。
[0051]图4是表示本实施例的摄像系统的空间滤波器处理部6的一个结构例的方框图。在该例中，示出了采用垂直方向的滤波器尺寸量的行存储器的空间滤波器处理部6的结构。此外，本实施例的空间滤波器处理部6的特征在于，负责垂直方向的空间滤波处理的行存储器的数量比负责水平方向的空间滤波处理的移位寄存器的抽头数量少。在本实施例中，设为具有光瞳直径1.8mm、λ =590nm、α =120、焦点距离f=50mm、物点距离720mm、像点距离54mm、摄像元件3的像素间距6.5um的摄像光学系统，此时的空间滤波器尺寸估计为20X5。与其对应地，本例的空间滤波器处理部6进行在水平方向采用20个像素、在垂直方向采用5个像素的20X5的空间滤波处理。即，本例的空间滤波器处理部6将水平滤波处理的范围设为20像素的量，将垂直滤波处理的范围设为5像素的量。
[0052]在原始数据缓冲存储器5 (图4中未图示)中保存的图像数据，首先按水平扫描顺序由空间滤波器处理部6 (或者未图示的CPU等控制电路)读出，保存在空间滤波器处理部6内的移位寄存器7中。移位寄存器7具有20个抽头，各抽头依次保存水平I行中的规定个数(这里是20个)的像素的数据。在各抽头中保存的像素的数据向水平滤波器处理部8输出。还向水平滤波器处理部8供给在滤波器系数保存存储器(ROM) 11中存储的与移位寄存器的各抽头对应而预先设定的水平滤波系数。水平滤波器处理部8进行所谓的卷积运算，该卷积运算将从20个各抽头输出的像素数据和来自滤波器系数保存存储器11的水平滤波系数分别相乘并相加。
[0053]这里，在将各抽头的像素数据例如设为\、\、…、V2tl、将与各抽头对应的水平滤波系数例如设为khl、h、…、kh2(l时，卷积运算用例如下记式3表达。
[0054]khl.V^kh2.+Iih20.V20(式 3)
[0055]由此，在水平滤波器处理部8中对图像数据实施水平滤波处理。
[0056]水平滤波器处理部8针对I帧的各行，如以上那样进行水平滤波处理。水平滤波处理后的图像数据被保存在行存储器90~94中。在该例中，为了保存5行量的水平滤波处理后的图像数据，使用5个行存储器90~94。各行存储器按FIFO (First In-First Out,先入先出)的方式动作，在行存储器的全部输出数据成为有效的时刻，由垂直滤波器处理部10实施垂直滤波处理。这里，水平方向位置相同的各行的像素数据从行存储器90~94依次向垂直滤波器处理部10输出。此外，还向垂直滤波器处理部10供给在滤波器系数保存存储器11中存储的与各行存储器对应而预先设定的垂直滤波器系数。垂直滤波器处理部10进行所谓卷积运算，该卷积运算将从5个行存储器90~94分别输出的同一水平位置的像素数据和来自滤波器系数保存存储器11的垂直滤波器系数分别相乘并相加。卷积运算的一个例子与水平滤波处理同样，因此这里省略。由此，垂直滤波器处理部10中，对图像数据实施垂直滤波处理。
[0057]这样，对于由摄像元件3取入的图像数据，由空间滤波器处理部6实施水平方向及垂直方向这两个方向的滤波处理。由此，进行除去由相位板21施加了规定的“模糊”的光学像的“模糊”的复原图像处理，不依赖于散焦，可以在各处获得准确对焦的图像。此时，由于向光学像施加了在垂直方向上小的PSF的扩展，因此可以减小空间滤波器处理部6中的垂直方向的滤波处理的范围，可以减小行存储器的数量。
[0058]图5表示采用图2的相位板21时的焦点深度放大效果的仿真结果。在该图中，将某模型设为输入图像，描绘了相对于摄像面31上的焦点偏移(散焦，defocus)的输入图像和复原图像的PSNR (Peak Signal-to-Noise Ratio:峰值信噪比)。
[0059]图中曲线(a)表示为了获得期望的焦点深度所需的水平及垂直方向的三次函数系数分别为α 1=α 2=60时的散焦-PSNR特性。在该情况下，垂直滤波器的范围变大，行存储器数量也增加。由于硬件的规模、成本等的制约，难以构成与该三次函数系数对应的空间滤波器处理部6。
[0060]在曲线(b)中表示了水平及垂直方向的三次函数系数α I及α 2虽然相同但是都t匕(a)小的(α 1=α 2=30)情况下的散焦-PSNR特性。在该情况下，与(a)的情况相比，电路规模可以减小，但是如图所示，PSNR与(a)的情况相比显著降低。[0061]另一方面，如本实施例那样，在曲线(C)中示出了将垂直方向的三次函数系数α 2设为比水平方向的三次函数系数α?小、且将α 2设为比(a)的情况小的(α 1=120,α 2=30)时的散焦-PSNR特性。根据该例子，可以减小行存储器的数量的同时，如图所示，获得与(a)同样的PSNR。为了参考，在图5中示出了无像差光学系统的结果作为曲线(d)。
[0062]这里，说明(a)~(c)的各结构可以确保PSNR=40dB以上的范围。另外，在作为无像差光学系统的(d)的情况下，散焦为0.03时，PSNR成为40dB。在水平及垂直方向的三次函数系数都同样小的(b)的情况下，如果要将PSNR确保为40dB以上，则散焦只能放大到
0.15为止。另一方面，在(a)及(c)中，散焦可放大到0.21为止的焦点深度。而且，在将垂直方向的三次函数系数α 2设为比水平方向的三次函数系数α I小的(c)的情况下，PSNR复原到与水平及垂直方向的三次函数系数都同样大的(a)的情况相同的水平。
[0063]这样，在本实施例中，针对摄像所得的光学像施加水平及垂直方向不同的光学传递特性，在减小二维空间滤波处理等复原图像处理的性能劣化的同时，还可以变更用于复原图像处理的空间滤波器的水平、垂直尺寸。由此，可以削减负责例如空间滤波处理的电路内的行存储器的数量，减小图像处理电路规模。因此，根据本实施例，可以提供降低了成本的摄像装置。此外，根据本实施例，可以减小空间滤波处理的运算量、运算时间，可以将构成为对光学像进行调制而使焦点深度增大，并通过复原图像处理去除该调制的摄像装置用于运动图像的摄像。[0064]在本实施例中，构成为使垂直滤波处理的范围比水平滤波处理的范围窄，但是也可以构成为使水平滤波处理的范围比垂直滤波处理的范围窄。但是在该情况下，由于不利于容量大的行存储器的数量的削减，因此优选使垂直滤波处理的范围变窄。
[0065](实施例2)
[0066]在实施例1中，通过作为光学相位滤波器的相位板21，针对摄像所得的光学像施加水平及垂直方向不同的光学传递特性。但是，通过光圈27的形状也可以获得同样的效果。即，本实施例的特征在于，光圈也用作光学相位滤波器。以下将其作为实施例2进行说明。另外，除了光学相位滤波器的结构以外，包括图4所示的空间滤波器处理部6的内部结构在内也与实施例1相同，其详细说明在这里省略。
[0067]图6是用于说明本发明的实施例2的图，图6 Ca)表示实施例2中采用的水平及垂直的波面像差相同的相位板26的一个例子，图6 (b)表示穿过具有纵横比3:4的长方形的开口的光圈27而看到的相位板26。相位板26与以往的相位板相同。此外，光圈27的开口的垂直方向的开口尺寸设为比水平方向的开口尺寸小。
[0068]在本实施例中，即使相位板26在水平及垂直方向这两方都具有同一波面像差，并且在水平及垂直方向施加大致相同的光学调制的情况下，如图6 (b)所示，也可以使穿过光圈27形状而看到的相位板26的波面像差(由相位板26施加的相位板26的波面像差)的等高线在垂直方向的相位变化比水平方向的相位变化小。这与图2所示的实施例1的相位板21相同。即,在实施例1中,光学相位滤波器由相位板21构成,但在实施例2中,光学相位滤波器由在水平及垂直方向施加大致相同的光学调制的相位板26和具有以水平方向为长度方向的长方形的开口的光圈27构成。在本实施例中，式I所示的三次函数中的x、y座标用光圈27的长方形的开口光瞳的长度方向的长度标准化即可。
[0069]在本实施例中，以上述长方形方式固定光圈27的开口形状，但是也可以使该长方形的纵横比可变。另外，根据可变的开口形状，也可以使进行复原信号处理的空间滤波器处理部6的水平方向和/或垂直方向的滤波尺寸可变。此时，也可以将可变比率设为相对于横向为1，纵向为I到0.5。
[0070]这样，根据本实施例，即使不加工相位板，即，即使采用以往的相位板，通过变更光圈的开口形状，也可以容易地获得与实施例1相同的效果。在本实施例中，将光圈形状设为长方形，但也可以将光圈形状设为椭圆形状。
[0071]另外，在实施例1中说明了通过变更相位板的形状从而施加在水平和垂直方向不同的光学传递函数的例子，在实施例2中说明了通过变更光圈的开口形状而施加在水平和垂直方向不同的光学传递函数的例子。但是，也可以同时改变相位板及光圈的开口形状。
[0072]根据上述本发明的各实施例，可以显著缩小或者减小复原图像处理用的电路规模、运算量、运算时间。因而，在专利文献I等中所记载的以往技术仅仅可用于静态图像的摄像，而通过本发明不仅可用于静态图像，还可以用于运动图像的摄像。因而，本发明可以适用于各种用途的摄像装置，例如AV摄像机、监视用摄像机、便携电话搭载摄像机、便携信息终端搭载摄像机、图像检查装置、自动控制用产业摄像机等摄像装置。
【权利要求】
1.一种摄像装置，具备: 摄像元件，具有摄像面； 光学系统，包含对物体的光学像的光学传递函数进行调制的光学相位滤波器，该光学系统用于使通过该光学相位滤波器调制的光学像成像在上述摄像元件的摄像面上；以及信号处理部，执行复原图像处理，该复原图像处理用于对上述摄像元件的摄像面上的成像图像进行二维空间滤波处理而去除上述光学相位滤波器进行的调制，该摄像装置的特征在于， 由上述光学相位滤波器向上述光学像施加的调制特性在与光轴垂直的摄像面平面上的相互正交的水平及垂直的两个方向中互异。
2.根据权利要求1所述的摄像装置，其特征在于， 上述光学相位滤波器由水平方向的波面像差和垂直方向的波面像差不同的相位板构成。
3.根据权利要求2所述的摄像装置，其特征在于， 上述相位板的垂直方向的波面像差比水平方向的波面像差小。
4.根据权利要求3所述的摄像装置，其特征在于， 上述相位板的波面像差表达为f (X, y) = α I.x"3+α 2.y"3, 其中，α?及α 2表示系数，α 1> α 2, x、y表示与光轴正交的上述相位板面内的标准化座标。
5.根据权利要求3所述的摄像装置，其特征在于， 上述信号处理部具备: 移位寄存器，包含多个抽头，该多个抽头分别保存被用于进行水平滤波处理的、由上述相位板光学地调制后的I行中的规定个数的像素的数据； 行存储器，保存被用于进行垂直滤波处理的、水平滤波处理后的图像数据中的多个行的图像数据；以及 滤波器系数保存存储器，存储用于进行上述水平滤波处理及垂直滤波处理的、与在上述移位寄存器及上述行存储器中所保存的各像素的数据相乘的系数， 上述行存储器的数量比上述移位寄存器的抽头的数量小。
6.根据权利要求1所述的摄像装置，其特征在于， 上述光学相位滤波器具备:水平方向的波面像差和垂直方向的波面像差大致相等的相位板、以及垂直方向的开口尺寸比水平方向的开口尺寸小的光圈。
7.根据权利要求6所述的摄像装置，其特征在于， 上述信号处理部具备: 移位寄存器，包含多个抽头，该多个抽头分别保存被用于进行水平滤波处理的、由上述相位板及上述光圈光学地调制后的I行中的规定个数的像素的数据； 行存储器，保存被用于进行垂直滤波处理的、水平滤波处理后的图像数据中的多个行的图像数据；以及 滤波器系数保存存储器，存储被用于进行上述水平滤波处理及垂直滤波处理的、与在上述移位寄存器及上述行存储器中所保存的各像素的数据相乘的系数， 上述行存储器的数量比上述移位寄存器的抽头的数量小。
8.根据权利要求6所述的摄像装置，其特征在于， 上述光圈的开口形状设为可变。
9.一种摄像装置，其特征在于，具备: 摄像元件，具有摄像面； 光学系统，包含对物体的光学像的光学传递函数进行调制的光学相位滤波器，该光学系统用于使通过该光学相位滤波器调制的光学像成像在上述摄像元件的摄像面上；以及空间滤波器处理部，为了复原上述光学相位滤波器所进行的调制，对上述摄像元件的摄像面上的成像图像进行采用了规定范围的像素的水平滤波处理及垂直滤波处理， 由上述光学相位滤波器向上述光学像施加的调制特性在与光轴垂直的摄像面平面上的相互正交的水平及垂直的两个方向中互异， 上述垂直滤波处理的范围比上述水平方向的滤波处理的范围小。
【文档编号】H04N5/232GK103916574SQ201310697530
【公开日】2014年7月9日 申请日期:2013年12月18日 优先权日:2012年12月28日
【发明者】崎田康一, 岛野健, 太田光彦 申请人:株式会社日立制作所
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1