摄像装置、摄像方法、图像处理装置、图像处理方法以及存储程序的介质的制作方法

专利名称：摄像装置、摄像方法、图像处理装置、图像处理方法以及存储程序的介质的制作方法
技术领域：
本发明涉及摄像装置、摄像方法、图像处理装置、图像处理方法、以 及存储程序的计算机可读取的介质。本发明尤其涉及对图像进行摄像的摄 像装置及摄像方法、处理摄像图像的图像处理装置及图像处理方法，以及 存储摄像装置及图像处理装置用的程序的计算机可读取的介质。
背景技术：
公知的技术有根据软(V7卜)摄影的选择设定自动地扩大光阑开口
的技术，例如，如专利第2526826号所公开的那样。另外，公知的还有安 装具有比受光元件阵列的间距的2倍还大的PSF物镜光学透镜(才7于夕 7)的照相机，例如，如特表2006-519527号公报所公开那样。
如专利第2526826号以及特表2006-519527号公报所记载的技术一 样，若拍摄出的被拍摄体像模糊，则因为可以获得被空间性地平均化后的 像素值，所以与合焦后进行通常摄像的情况做比较的话，有时降低了辉度 的最大值，有时提高了辉度的最小值。在这样的情况下，如果以和通常摄 影时相同的动态范围(夕、、一于5 :y夕P:/少)表示像素值，有时出现无法 有效地使用比特值的情况。
在此，在本说明书所包含的技术革新的l个侧面中，把提供能够解决 所述的技术问题的摄像装置、摄像方法、图像处理装置、图像处理方法、 以及存储了程序的介质作为目的。该目的由专利所请求的范围中的独立权 项所记载的特征的组合达成。并且，从属权利要求规定了本发明的更有利 的具体例。
艮口，根据与本说明书中包含的革新相关的一方面的摄像装置之一例， 其包含用于对光进行成像的光学系统，以及根据光学系统的空间频率传递 特性对通过光学系统而摄像的摄像图像进行灰度变换的灰度处理部。根据与本说明书包含的革新相关的一方面的摄像方法之一例，其包含 根据用于对光进行成像的光学系统的空间频率传递特性，对通过光学系统 拍摄的摄像图像进行灰度变换的灰度处理步骤。
根据与本说明书包含的革新相关的一方面的存储了程序的计算机读 取可能的介质之一例，该程序使摄像装置具有灰度处理部的功能，所述灰 度处理部，根据对光进行成像的光学系统的空间频率传递特性，对通过光 学系统而摄像的摄像图像进行灰度变换。
根据与本说明书包含的革新相关的一方面的图像处理装置之一例，其 包括基于由摄像部摄像的摄像图像的空间频率成分，对摄像部的空间频 率传递特性进行指定的空间频率传递特性指定部；以及根据由空间频率传 递特性指定部指定的空间频率传递特性对拍摄像图像进行灰度变换的灰 度处理部。
根据与本说明书包含的革新相关的一方面的图像处理方法之一例，包 括根据由摄像部摄像的摄像图像的空间频率成分，指定摄像部的空间频 率传递特性的空间频率传递特性指定步骤；根据在空间频率传递特性指定 步骤中指定的空间频率传递特性，对摄像图像进行灰度处理的步骤。
根据与本说明书包含的革新相关的一方面的对图像处理装置用的程 序进行存储的计算机可读取的介质之一例，该程序使计算机作为以下单元 而发挥功能空间频率传递特性指定单元，其基于由摄像部所摄像的摄像 图像的空间频率成分，指定摄像部的空间频率传递特性；以及灰度处理单 元，其根据由空间频率传递特性指定部所指定的空间频率传递特性，对摄 像图像进行灰度变换。
另外，上述发明的概要，并未列举出本发明的必要的特点的全部，另
外。这些特点组的辅助结合(廿:/〕:/匕'氺一、>3 y)也能够成为本发明。


图1是表示一实施方式涉及的摄像装置104的模块结构的一例的图。
图2是示意性地表示透镜系统110的光学特性的一例的图。
图3是表示透镜系统110的结构例的图。
图4是表示图3所示的透镜系统110的像差特性的图。图5是表示图3所示的透镜系统110的光学传递特性的图。
图6是表示透镜特性存储部185所存储的透镜特性信息的一例的图。
图7是表示通过对摄像图像进行空间频率分析而获得的空间频率成分
的一例的示意图。
图8是表示由灰度处理部180进行的灰度处理一例的示意图。
图9是对灰度处理部180所进行灰度处理的部分区域的一例进行表示的图。
图10是对灰度处理部180及校正部140中的处理内容的一例示意性 地进行表示的图。
图11是对作为摄像装置104而发挥功能的计算机1500的硬件结构的 一例进行表示的图。
实施方式
以下，通过发明的实施方式说明本发明的侧面(一)，但是以下的实 施方式并不限定权利要求的范围所涉及的发明。另外，在实施方式中说明 的特征组合并非全部都是发明的解决手段所必须的。
图1是表示一实施方式涉及的摄像装置104的模块结构的一个例子。 摄像系统100，具有光学单元102和摄像装置104。光学单元102，具有作 为对光进行成像的光学系统的一个例子的透镜系统110及透镜信息存储部 112。摄像装置104，包括对通过透镜系统110之后的光进行受光的受光部 120、图像生成部160、以及输出部150。图像生成部160，包含透镜信息 取得部165、透镜特性存储部185、空间频率传递特性指定(特定)部170、 灰度处理部180、校正部140、以及图像处理部145。同时，受光部120 及光学单元102，作为该发明中的摄像部105而发挥功能。
在安装部190上，會,对具有透镜系统110的光学单元102进行安装拆卸。 并且，安装部190，育,以M31具有不同的光学特性的多个光学单元102的任何 一个而由受光部120受光的方式，安装光学单元102。另外，关于可在摄ft^S 104上安装的光学单元102所具有的 系统110的光学特性的一个例子，将结 合图2进行定性说明。
纖信息存储部112，存^3Slt信息。作为纖信息，可以例示用于识别透镜系统UO的ID信息。另夕卜，可以禾li用非易失性存储器等安^3S镜信息存储部 112。
受光部120，通CT镜系统110而对来自被拍摄体的光进行受光。具体来说， 受光部120，具有2维配置的多个受光元件。多个受光元件，对通过安装于安装 部190的光学单元102所具有的透镜系统110而成像的光，进行受光。
图像生成部160，基于受光部120所受光的受光量，生成输出图像。图像生 成部160所生成的输出图像，被提供给输出部150。
具体来说，透镜信息取得部165，取得安装于安装部190的光学单元102 所具有的透镜信息存储部112所存储的透镜信息。例如， 信息取得部165， 从透镜信息存储部112读取对纖系统110进行识别的ID信息。
透镜特性存储部185，与对M系统110进行识另啲ID信息相对应，存储对 透镜系统110光学特性进行指定的光学特性数据。作为光学特性数据，可以例示 对透镜系统110的空间频率传递特性进行表示的信息。空间频率传递特性指定部 170，与纖信息取得部165所取得的ID信息相对应，而对3t^特性存储部185 所存储的、表示纖系统110的空间频率传递特性的信息进行指定。这样，空间 频率传递特性指定部170， Ma取得对安装于安装部190的M系统110的空间 频率传递特性进行表示的信息，来指定透镜系统110空间频率传递特性。
这样，空间频率传递特性指定部170， 取得表示 系统110空间频率 传递特性的信息，而指定透镜系统110的空间频率传递特性。另外，空间频率传 递特性指定部170，也可以基于由摄像部105所摄像的摄像图像的空间频率成分， 对摄像部105的空间频率传递特性进行指定。例如，空间频率传递特性指定部 170，可以从对摄像图^it行空间频率分析后的分析结果，指定摄像部105的空 间频率传递特性。例如，空间频率传递特性指定部170，可以在摄像图像表示的 摄像图像中的较高的空间频率成分越大时，越高地指定空间频率传递特性。除此 之外，空间频率传递特性指定部170，也可以在摄像图像所表示的摄像图像中预 定的高频域中的空间频率成分比预定的低频域中的空间频率成分越大时，越高地 指定空间频率传递特性。
灰度处理部180，根据设置有受光部120的位置中的空间频率传递特性，对 利用由受光部120所受光的光而获得的摄像图^^行灰度转换。另外，總处理 部180处理的摄像图像，也可以是基于由受光部120所受光的受光量的摄像图像 或者是由校正部140校正后的摄像图像。具体而言，被处理部180，将摄像图像变换成与透镜系统110的空间频率传递特tW应的宽度的动态范围的图像。更
具体而言，灰度处理部180，当在高频域的空间频率传递特性较低的情况下，将
摄像图像转换成较窄的动态范围的图像。另外，上述高频区域，也可以是预先设 定的频域。
具体来说，灰度处理部180，按照由空间频率传递特性指定部170指定的透 镜系统110的空间频率传递特性，校正摄像图像。具体来说，由空间频率传递特 性指定部170指定的空间频率传递特性在高频域中较低的情况下，可以将图像转 换成较窄的动态范围的图像。更具体地，灰度处理部180，可以在高频域的空间 频率传递特性较低的情况下，为了将摄像图像变换J^窄的动态范围的图像而进 行Y校正。这样，灰度处理部180，按照由空间频率传递特性指定部170指定的 透镜系统110的空间频率传递特性，对MM镜系统110拍摄的摄像图l魏行灰 度转换。
校正部140，用于校正将多个受光元件各自所受光的受光量A/D转换后而得 到的图像。例如，校正部140，基于被A/D变换后的受光量的值、各受光元件的 位置、以及纖系统110的光学传递函数，而校正图像。这样，校正部140，基 于透镜系统110的光学传递函数，对利用由受光部120所受光的光而得到的摄像 图4魏行校正。然后，把由校正部140校正后的摄像图像，劍共给灰度处理部180， 而进行M处理。
这样，灰度处理部180，根据纖系统110的空间频率传递特性，对通过光 学系统而摄像的摄像图《魏行總变换。因而，利用摄《蝶置104，能根据摄像 图像中包含的機胡量，有效地利用表示像素值的比特(匕》卜)宽度。
图像处理部145，》沐佣校正部140校正后的图像实施图像处理。作为图像 处理部145实施的图像处理，可例举的有彩色平衡处理、色同步化处理、轮廓校 正处理、色校正处理等。这样，图像处理部145，将利用赃部140校正后的图 像的像素值转换成与受光元件的受光量呈非线性的值。
并且，输出部150，也可以输出由校正部140及图像处理部145处理后得到 的输出图像。例如，输出部150，也可以显示输出图像。另外，输出部150，也 可以将输出图像存储到存储介质上。除Jifct外，输出部150可以向通信线路发送 输出。另外，输出部150也可以将输出图像压縮之后输出。
这样，摄j，置104，可以是可更换透镜的摄像设备。例如，摄像装置104， 可以是单镜头(眼)反射(P7)式照相机式的摄像装置，光学单元102可以是平現为、日艮J则、J工、照々日4H川trj义:TX迈i兒。R1口、J，饭l豕农直1U4， T!iKIW疋r」个X
镜。另外，光学单元102可以用转换台(夕一h;/卜)方式被更换后安装在安装 部190上。
图2示意性地表示纖系统110的光学特性的一个例子。在本图，在从光轴 上的物点入射到透镜系统110的 中，示意性地示出了在入射瞳205中从光轴 200入射到不同位置的三束光线210、光线220、光线230的轨迹。如图所示，按 照光线210、光线220、以及光线230柳l页序，在入射瞳205中入射到繊光轴 200的位置。
如图所示，光线210，通M镜系统llO，在比近轴焦点的位置250沿光轴 方向更远离透镜系统110的位置215，与光轴200交叉。另外，光线230，通过 透镜系统110，在比位置215沿光轴方向更远离透镜系统110的位置235，与光 轴200交叉。并且，光线220和入射在最偏离光轴200的位置的光线230，通过 透镜系统IIO，在位置215和位置235之间的位置225，与光轴200交叉。
如图所示，希望基于 系统110的光的扩展(拡力W)量(大含$)在位 置215和位置235之间大体上相同。这样，透镜系统110具有过度校正后的球面 像差，将光在比近轴焦点位置250实质上更远处成像。因此，通腿镜系统IIO， 与球面像差未经过度校正的情况相比，能够不依赖于光轴方向的像面健地，将 来自物点的光的扩展的量实质上大致相同的光轴方向的距离，加长。
这样，如果该光轴方向的距离变长，对于来自透镜系统110的更宽距离范围 内存在的物点的光，會巨够存在光的扩展的量实质上大致相同的像面位置。在这样 的像面位置设置受光部120的话，则不依赖于到物点为止的距离，设置了受光部 120的位置的光学传递函数实质上大致相同。这样，透镜系统110，利用上述像 差特性，使得针对来自物点的光的光学传递函数不依赖于到达物点为止的距离而 变得大致相同。
以上，M图2定性地说明了纖系统110的光学特性。另夕卜应该注意的是 图2所示的透镜系统110的示意图，是以定性地働牟透镜系统110光学特性为目 的而纟魏lj的图，并非按照实际比例尺(7亇一》)绘制的图。
图3表，镜系统110的构造的一个例子。透镜系统110具有光阑700、透 镜710、透镜720、以及纖730。同时，用标记780表示像面。另外，在本图中 多条光线在，系统110重叠而描绘。以下说明透镜710、透镜720、和 730 的配置及它们的光学特性。迈現/丄u汉;i2rp見/ju trjj773、J平，^H"J丁7汉"PC460.丄jjnm、 7汉ix :)6/.:)0znm、 以及波长656,273nm的光分别是1.53128710、 1.52470166、以及1.52196091。另 夕卜，，720折射率，相对于波长486.133nm、波长587.562nm、以及波长656.273nm 的光分别是1.59943869、 1.58546992、以及1.57986377。同时，光阑700设置在 比透镜710顶点更离开像面侧0.001566661mm处。
透镜710厚度是1.987091mm。而在本图所叙述的厚度，表，镜的光轴方 向的长度。另外，纖710的物体侧表面的曲率^g是15.48676醒，物体侧的 截面半径是U88941mm，物体侧表面的圆锥常数是一90378.4。另夕卜，透镜710 的像侧表面的曲率半径是一12.09038mm，像侧截面半径是2.14803mm，物体侧 表面的圆锥常数是28.79374。其次，在本图的说明中，曲率半径为负的情况下， 其表面形状相对于光是凹面。
720，被设置在从，710向像面方向离开距离0.4005282mm处。另夕卜， 在本图的说明中，纖间的距离是表示光轴上的物体侧纖的像侧表面和像侧透 镜的物体侧表面之间的距离。另外，纖720的厚度是0.09214797mm。同时， 透镜720的物体侧表面的曲率半径是2.114035mm，物体侧表面的截面半径是 2.38122mm，物体侧表面的圆锥常数是一03929276。此外， 720的像侧表面 的曲率^N5是1.119414mm，像顶啲截面半径是2.362124mm，像侧表面的圆锥常 数是一2.780465。
透镜730，被设置在从透镜720向像面方向离开距离1.770789mm处。M 730的厚度是0.5204438mm。同时，透镜730的物体侧表面的曲率半径是一 0.6002893mm，物体侧表面的截面半径是3.486572mm，物体侧表面的圆锥常数 是一958.9289。另夕卜，透镜730像侧表面的曲率是一0.3018179mm，像侧的截面 半径是4262504mm，像侧表面的圆锥常数是一465.3071。并且，像面设在从 730离开距离l.lmm的位置。
这样，多个itlt 710、透镜720以及,730，以各透镜的中心轴一致的方 式被排列成同轴。因此，透镜系统110是与光轴相关而旋转对称的。
并且，为了使MH系统110的光学传递函数的计算體比预定的值小，而使 得像面的法线角度与主光线入射到像面的角度的差的绝对值小于预定值。如此， 舰增^S^系统110的远心(亍^七乂卜y 、7夕)性，可减小光学传递函数的 计算误差。例如，在对MTF进行计算的情况下，即使M5iFFT也能够以极小误 差算出MTF。因此可高速修复由 系统110弓l起的图像模糊。图4表示图3所示的透镜系统110的像差特性。在本图中，从上面按顺序示 出了球面像差图、像散、畸变像差图、以及横像差图。如最上段的球面像差图所 表示的那样，图3所示的透镜系统110的球面像差被jlfl胶正。另外，应注意， 本图中，该球面像差图的横轴表示相对于被設定的像面的位置，不表示相对于近 轴焦点的位置。
如图所示，跨度整个像面，纵像差为正值。艮口，至少在透镜系统110的入射 光瞳中，对于入射至lj位于从光轴离开第1距离程度的位置的第1入射位置和光轴 之间的范围的光，纵像差的值为正值。
另外，在本图的最下段，给出了表示多个像高(像高)的横像差的曲线图(夕' ，7)。最左上的曲线图表示光轴上的横像差图，最右上的曲线图示出了像高 14.10mm的横像差图。另外，最左下的曲线图表示像高19.74mm的横像差图， 最右下的曲线图表示影像高28.20mm的横像差图。这样，透镜系统110的横像差， 在各像高中显示出大体上同样的形状。
图5给出了图3所示的透镜系统110的光学传递特性。在本图，从上至下依 次表示了光斑(7求、7卜)图表(夕V7夕、"厶)的像高以及受离焦(defocus) 影响的光斑图表、MTF的离焦依存性、以及MTF (Modulation Transfer Function 反差比及浓度比)的空间频率特性。
在最上段的光斑图表中，示出了在不同的多个像高以及不同的多个离焦量中 的光斑图表。在本光斑图表中，横方向排列同一像高的、不同的多个离焦(defocus) 量的多个光斑图。另外 ，在纵向排列同一离焦量的、不同的多个像高的多光斑图。
如在各光斑图,面以数值表示的像高所示的那样，本光斑图表中，包含 光轴上、距光轴14.10mm、距光轴19.74mrn、以及距光轴20.20mm的位置的像 高的光斑图表。同时，如在各光斑图表下用数值表示的离焦量那样，本光斑图表 中，包含着从所设定的像面起一75um的位置、从像面起一37.5 u m的位置、像 面的位置、从像面起37,5um的位置，以及从像面起75 n m的位置的光斑图表。
如本光斑图表所示那样，可知光斑图的扩展，至少在跨度预定范围的光轴 方向的像面位置大体上同样，不依赖于像高而大体上相同。这样，来自基于M 系统110的物点的光的扩展，跨度预定范围的、光轴方向的像面位置而大体上相 同。另外，所谓光的扩展，如本图所示那样，可以是光斑图的扩展，也可以是点 像分布函数所表示的光的扩展。如此可知，来自基于透镜系统110的物点的光的 扩展，不依赖于像高而大体上相同，来自基于透镜系统110的物点的光的扩展，至少跨度预定范围的光轴方向的像面位置而大体上相同。
另外，如在本图中S^f表示的、MTF的离焦依存性的图表所示的那样，可
以明确无论关于多个像高，还是关于弧矢(廿-夕，)光线及子午(乂 i;-才于
，)光线，都具有大致相同的MTF値的分布。同时，至少在图表所表示的离焦 范围内，MTF显示出几乎是同一值。这样，在宽广的离焦范围内透镜系统110 的MTF取大致同一的值。
另外，如本图最下段的MTF的空间频率特性的图表所示，可以明确，无论 ^X寸于多个像高，还^)(寸于矢状光线及子午光线，iitl竟系统110均具有烦相同 的MTF频率特性。这样，可以说透镜系统110的MTF不依赖于像高而大致相同。 同时，可以说透镜系统110的MTF，在预定的范围的光轴方向的像面位置大致相 同。
这样，透镜系统110，通过在不依赖于至鹏点为止的距离地将来自物点的光 在受光部120中扩展到大致同样的尺寸(大含$)，从而使 系统110对于来 自物点的光的光学传递函数不依赖于至,点为止的距离而大致相同。具体来说， 纖系统110，不依赖于至U物点为止的距离，将来自物点的光，扩展到比受光部 120所具有的多个受光元件的间距大的尺寸。并且，如后所述那样，灰度处理部 180，在透镜系统110将来自物点的光较大幅度地扩展时，将摄像图像转换成更 窄的动态范围的图像。例如，如果检测出在结合图3 5而说明的 系统110被 安装在安装部190上时，總处理部180，将摄像图像变换成更窄的动态范围的 图像。另外，通过变焦(X—3:/夕、')或变换光阑，而改^ 系统110的光扩 展。因此，灰度处理部180，可以根据变焦(乂一厶)值或光阑值的至少一方对 摄像图微行嫩变换。
图6表示透镜特性存储部185存储的透辦性信息的一个例子。 #性存 储部185，与作为对透镜系统110进行识别的ID信息的一个例子的M ID相对 应，存储光学传递函数数据(OTF 1、 OTF数据2 )，戶腿光学传递函 数数据(OTF数据l、OTF数据2' 。作为被该透镜ID识别的^lt系统110的 空间频率传递特性的一个例子。另外，OTF娜，可以是光学传递函数本身，也 可以M在图5最下层示出的那样的MTF的空间频率特性进行表示的数据。
并且，空间频率传递特性指定部170，与 信息取得部165从M信息存 储部112读出的透镜ID相对应，取得M^特性存储部185存储的OTF数据。并 且，空间频率传递特性指定部170， Mil分析OTFf^所表示的光学应答，而指定空间频率传递特性。
例如，根据与图3至图5相关说明的透镜系统110，如图5最下段的MTF 的空间频率特性图所示的那样，在高频区中MTF变得明显比衍射极限(回折限 界)低。这表示所获得的摄像图像模糊了。模糊了的摄像图像的像素錢为空间 性地将光量平均化后的值，因此，可以预测与对同一被拍摄体摄像后不产生模 糊的摄像图像相比，发生模糊后的摄像图像中的最大辉度值禾嘬小辉度值之间的 差要小。
因此，当以规定的比特(匕》卜)数对摄像图像的像素值进行数字显示时， 从有效地利用比特数的观点出发，伏选使模糊了的摄像图像的动态范围比不模糊 的摄像图像窄。根据樹蝶置104，在如上戶脱那样由空间频率传递特性指定部 170指定的空间频率传递特性示出在高频域中较低的情况下，ffl31调整Y处理等， 使动态范围变窄，因此，育滩有效地禾拥比特数。另外， #性存储部185作 为所存储的空间频率传递特性，不局限于本图所示的OTF数据，只要是表， 镜系统110的光学应答的空间频率依存性的参数即可。
图7表示对摄像图{，行空间频率分析而得到的空间频率成分的一个例子。 如本图所示，以预定的频率fO为界，将频域分为比频率fD低的低频殿卩比频率 ffl高的高频域。作为一个例子，空间频率传递特性指定部170，判断比频率fO高 的高频域的频率成分中是否存在比预定的值大的频率成分。
在空间频率传递特性指定部170判断为存在比预定的值大的频率成分的情况 下，皿处理部180将摄像图像变换成比预定的动态范围窄的动态范围的图像。 另外，空间频率传递特性指定部170，可以算出高频域的频率成分的最大值。并 且，灰度处理部180，可以与由空间频率传递特性指定部170算出的频率成分的 最大值相对应，而将摄像图像变换预定的动态范围的图像。
图8表示由灰度处理部180进行的M处理的一个例子。横轴表示针对灰度 处理部180的输入像素值，纵轴表示从灰度处理部180的输出像素值。灰度处理 部180，将输入功率像素值变换成从O至幅示的输出最大值为止的输出像素值。
作为一个例子，灰度处理部180，在邀竟系统110的高频传递特性低的情况 下，根据线810所表示的输入输出关系，将输入像素 换为输出像素值。在这 种情况下，可射,的强度，为输入功率像素f^f表示的Il到12的范围，变得比 从被输入的O到输AS大值为止的灰度范围更窄。如此，灰度处理部180，在透 镜系统110的高频传递特性较低盼瞎况下，将输入像素值变换成更窄的动态范围的像素值。另外，被处理部180，在遨竟系统110的高频传递特性较低的情况 下，例如可以在输入像素值表示的I1到I2的范围中，增大表示输入输出关系的 线的倾斜度(傾含)。即便如此，灰度处理部180能够针对比其他的灰度区域更 接近中灰度区域，较多地分配单位總范围的比特值。
另一方面，当透镜系统110的高频传递特性高的情况下，灰度处理部180用 线820所表示的输入输出关系，将输入像素值变换成输出像素值。如此，灰度处 理部180在邀竟系统110的高频传递特性高的情况下，不使动态范围变化。另外， 线810及线820所表示的输入输出关系，可以按照从输出部150输出的输出设备 的特性，来确定。
这样，空间频率传递特性指定部170，基于由包含透镜系统110的摄像部所 摄像的摄像图像的空间频率成分，而指定摄像部105的空间频率传递特性。并且， 在空间频率传递特性指定部170所指定的空间频率特性表示来自由 系统110 形成的物点的光的扩展的幅度更大这~#性的情况下，灰度处理部180将摄像图 像变换成更窄的动态范围的图像。
图9表示灰度处理部180灰度处理的部分区域的一个例子。皿处理部180， 针对摄像图像900中的特定的局部区域910，对31il校正部140校正而得到的校 正后的图像进行灰度处理。另一方面，灰度处理部180，针对摄像图像900中的 特定的部分区域910以外的区域，对根据受光部120的受光元件所受光的受光量 而得到的图像即还没有被校正部140校正后的图像，进行灰度处理。如mM灰 度处理等被变换成与受光光量呈非线性的像素值，则校正部140将无法洽当i舰 行基于光学传递函数的校正处理。然而，若利用1H蝶置104，针对特定的部分 区域910，在实施基于光学传递函数的校正处理之后进行灰度处理，因此，會, 生成洽当校正了由纖系统110形成的模糊之后得到的图像。而且，特定的部分 区域910，既可以是预定的图像区域，也可以是具有预定的图像特征量的部分区 域。
图10示意性地表示總处理部180和^IE部140中的处理内容的一个例子。 这里，参照图像信号的x方向成分说明在灰度处理部180和校正部140的处理。
这里，图像信号1010,示意性地表示来自被拍摄体的光3131 系统110后 由受光部120受光而得到的图像信号。图像信号1000，示意性地表示作为光被输 入到摄^^S画的本来的图像信号。根据本实施方式的透镜系统110，来自物 点的光以产生模糊像的方式而成像。因此，图像信号1010，成为被较强地降低了图像信号1000的高空间频域的信号成分后的图像信号。
这里，M处理部180，从受光部120取得以24比特被离散化(量子化)的 图像信号1010。灰度处理部180，将图像信号1010分害喊作为低空间频率的图 像信号的低频成分1021，以及作为高空间频率的图像信号的高频成分1022。另 外，在本图中，示意性地示出了除去DC成分以外的低频成分1021。同时，使高 频成分1022的振幅为比低频成分1021的振幅小。
灰度处理部180，以12比特灰度对与低频成分1021振幅相对应的灰度宽度 的低频成分1021进行离散化后，提供给校正部140。另外，灰度处理部180以 12比特灰度对与高频成分1022的振幅相对应的灰度宽度的高频率成分1022进行 离散化后，提供给校正部140。当低频成分1021振幅比高频成分1022振幅大的 时候，灰度处理部180，以比针对低频成分1021的离散化宽度小的离散化宽度， 对高频成分1022进行离散化。这样，灰度处理部140， M以较小的离散化宽度， 对摄像图像中包含的更高的空间频域的图像成皿行离散化，从而对摄像图像进 行灰度变换。
校正部140，通过针对透镜系统IIO光学传递函数的逆向滤波(逆7一少夕) 等，在每个空间频:lsM低频成分1021及高频成分1022进行校正。并且，校正部 140，对校正后的低频成分1021及高频成分1022进行合成，并将所得到的图像 信号作为校正后的图像信号而生成。在这种情况下，校正部140，可以对将校正 后的高频率成分1022变换成12比特的图像信号后的成分，与低频率成分1021 进行合成，而生成被校正后的图像信号。在校正部140中被校正的图像信号，被 送回到M处理部180，在灰度处理部180中进行包含对辉度值进行非线性处理 的各种的灰度处理。
另外，灰度处理部180的离散化宽度，可以是与透镜系统110空间频率4魏 特t树应的值。例如，离散化宽度，可以是与各空间频域对应的、与纖系统no 的MTF值大体上呈反比例的值。如此，被处理部180可以按照与纖系统110 空间频率传递特性相对应的离散化宽度，对摄像图像中包含的不同的空间频域的 图像成^a行离散化，从而对摄像图^t行被变换。另外，被处理部180， 还可以将图像信号1010分解成比2大数目的空间频域的图像信号。
如上所述，在高空间频域中，比低空间频域更大3破地降低了图像信号1010。 此时，基于逆向滤波等的复原处理，^t高空间频域的图像信号更大幅度J:lfait行 强调的处理。因此，假设对跨度全空间频域地以同样的离散化宽度被离散化后的图像信号进行复原，那么有时在高空间频域中离散化噪音变得更显著了。然而，
根据本实施方式的摄{,置100，灰度处理部180以更小的离散化宽度对较高空
间频域的图像信号进行离散tt^后进行复原处理，由此与对跨度全空间频域地以 同样的离散化宽度被离散化的图像信号进行复原的情况比较，有时能够降低在复 原处理前后的离散化噪音的增加量。
图11表示作为摄f魏置104而发挥作用的计算机1500的硬件结构的一个例 子。计算机1500，具有CPU外围部、输入输出部、传统的(^力>一)输入输 出部。CPU外围部包括通胜机控制器(沐7卜〕y卜口一，) 1582而相互连 接的CPU1505、 RAM1520、图形控制器(夕、、，7吖、;/夕-〕乂卜口一，) 1575、 和显示装置1580。输入输出部，具有M输入输出控制器1584被连接至U主机 控制器1582的通信接口 1530、石 驱动器1540、和CD—ROM驱动器1560。 传统的输入输出部，具有连接于输入输出控制器1584的ROM1510、软盘驱动器 1550、和输入输出芯片1570。
主机控制器1582连接有RAM1520 、以高传输速率访问RAM1520的 CPU1505、以及图形控制器1575。 CPU1505基于存储于ROM1510和RAM1520 中的禾歸而工作，进行各部分的控制。图形控制器1575，取得由CPU1505等在 RAM1520中设置的帧缓冲器上生成的图像数据，并显示在显示装置1580。也可 以对此替代，而在内部包含对CPU1505等生成的图像薩进行存储的帧缓冲器 图形控制器1575。
输入输出控制器1584连接有主机控制器1582、作为较高速的输入输出装 置的硬盘驱动器1540、通信接口 1530、以及CD—ROM驱动器1560。硬盘驱动 器1540存储CPU1505所使用的程序和数据。通信接口 1530，与网络通讯装置 1598连接，而皿接收禾M)^或数据。CD-ROM驱动器1560，从CD-ROM1595 读取程序或数据，S3lRAM1520l^给硬盘驱动器1540和通信接口 1530。
在输入输出控制器1584上连接ROM1510、软盘驱动器1550、和输入输出 芯片1570之类的比较低速的输入输出装置。ROM1510存储计^jfl 1500启动时 执行的开机禾ii^，或是依存于计算机1500的硬件的程序等。软盘驱动器1550， 从软盘1590读取禾MJ^或数据，再通过RAM1520 Hf共给石，驱动器1540和通信 接口 1530。输入输出芯片1570，通过软盘驱动器1550或者并行端口、串行端口、 键盘端口、鼠标端口等连接各种的输入输出装置。
CPU1505执行的禾Mi^，被存储在软盘1590、 CD-ROM1595、或IC卡等存储介质中，由使用者劍共。被存储介质存储的禾骄可以被压縮也可以是非压縮的。
从记录介质将禾M)^安装到硬盘驱动器1540中，由RAM1520读取并由CPU1505 执行。被CPU1505执行的程序，使计算机1500作为与图1至图10相关联而说 明的受光部120、图像生成部160或图像生成部160所具有的各构成要素、以及 输出部150，而发挥作用。
以上所示的程序，可以存储在外部存储介质中。作为存储介质，除了软盘1590、 CD-ROM1595以夕卜，还可以4顿DVD或PD等光学存储介质、MD等光磁记录 介质、磁带(于一7°)介质、IC卡等半导i稀储器等。另外，也可以将与专用通 信网络或者互联网连接的服务器系统上设置的《 :或RAM等存储装置作为记录 介质而使用，并作为借助于网络的程序，而J^共纟^i十^m 1500。这样，由程荆空 制的电子数据处理装置等的计算机1500作为摄像装置104而发挥功能。
以上，通过本发明的实施方式说明本发明，但是本发明的技术范围并不限定 于上述实施方式所记载的范围，本行业人员明白，能够对上述实时方式进行多种 的 和改良。但是，进行了这样的 和改良后的实施方式也能够包含在本发 明的技术的范围之内，这根据专利请求的范围的记载可以明确。
应当注意在权利要求的范围、说明书、以及在图纸中所表示的装置、系统、 禾辨、以及方法中的动作、禾歸、步骤，以及阶段等的各处理的执行jl,，应该 注意没有明确表示其"更靠前"、"在先"等，而且，只要不是在后边的处理中使 用前面处理，可以任意改剪1W加以实施。有关专利要求的范围、说明书以及图 纸中的动作流程，出于方便，使用了 「首先、」、「其次，」等语言，但是这并不是 表示必须按照这个"l，实施。
权利要求
1. 一种摄像装置，其特征在于，备有灰度处理部，其根据对光进行成像的光学系统的空间频率传递特性，对由所述光学系统摄像的摄像图像进行灰度变换。
2. 根据权利要求l所述的摄像装置，其特征在于， 还包括受光部，其对通过所述光学系统且来自被拍摄体的光进行受光， 所述灰度处理部，根据设置有所述受光部的位置中的所述空间频率传递特 性，对利用由所述受光部所受光的光而获得的所述摄像图像，进行灰度变换。
3. 根据权利要求2所述的摄像装置，其特征在于，所述灰度处理部，将所述摄像图像，变换成与所述空间频率传递特性对应 的宽度的动态范围的图像。
4. 根据权利要求3所述的摄像装置，其特征在于，所述灰度处理部，在高频域中的所述空间频率传递特性较低的情况下，将 所述摄像图像变换成较窄的动态范围的图像。
5. 根据权利要求4所述的摄像装置，其特征在于，还包括空间频率传递特性指定部，其取得对所述光学系统的空间频率传递特性进行表示的信息，而指定所述光学系统的空间频率传递特性；在由所述空间频率传递特性指定部所指定的所述空间频率传递特性在高频 域中较低的情况下，将所述摄像图像变换成较窄的动态范围的图像。
6. 根据权利要求5所述的摄像装置，其特征在于，还包括，安装部，其能够安装和拆卸所述光学系统；所述空间频率传递特性指定部，取得对安装于所述安装部上的所述光学系 统的空间频率传递特性进行表示的信息。
7. 根据权利要求6所述的摄像装置，其特征在于，所述空间频率传递特性指定部，从所述光学系统取得对安装于所述安装部 上的所述光学系统的空间频率传递特性进行表示的信息，来指定所述光学系统的空间频率传递特性。
8. 根据权利要求4至7中任一项所述的摄像装置，其特征在于，所述灰度处理部，在高频域的所述空间频率传递特性较低的情况下，为了 将所述摄像图像变换成比较窄的动态范围的图像，而进行伽玛校正。
9. 根据权利要求4至8中任一项所述的摄像装置，其特征在于， 还具有所述光学系统。
10. 根据权利要求9所述的摄像装置，其特征在于，所述光学系统，在所述受光部中使来自物点的光不依赖于到达物点的距离 地扩展成大致相同的尺寸，使相对于来自物点的光的所述光学系统的光学传递 函数不依赖于到达物点的距离而大致相同，当所述光学系统将来自物点的光更大地扩展的情况下，所述灰度处理部将 所述摄像图像变换成较窄的动态范围的图像。
11. 根据权利要求10所述的摄像装置，其特征在于，所述光学系统，使来自物点的光不依赖于到达物点的距离地扩展到比所述 受光部所具有的多个受光元件的间距更大的大小。
12. 根据权利要求l至ll任何一项所述的摄影像装置，其特征在于， 所述灰度处理部，以与所述光学系统的空间频率传递特性对应的离散化宽度，对所述摄像图像中包含的不同的空间频域的图像成分进行离散话。
13. 根据权利要求12所述的摄像装置，其特征在于，所述灰度处理部，以比较小的离散化宽度，对所述摄像图像中包含的较高 的空间频域的图像成分进行离散。
14. 一种摄像方法，其特征在于， 包括灰度处理步骤，其中根据对光进行成像的光学系统的空间频率传递特性， 对由所述光学系统摄像的摄像图像进行灰度变换。
15. —种介质，是存储摄像装置用的程序的计算机可读取的介质，其特征 在于，该程序，使计算机作为灰度处理部而发挥功能，所述灰度处理部根据对光 进行成像的光学系统的空间频率传递特性，对由所述光学系统摄像的摄像图像 进行灰度变换。
16. —种图像处理装置，其特征在于，曰六 六'円空间频率传递特性指定部，其基于由摄像部拍摄的摄像图像的空间频率成分，指定所述摄像部的空间频率传递特性；以及，灰度处理部，其按照由所述空间频率传递特性指定部所指定的所述空间频 率传递特性，对所述摄像图像进行灰度变换。
17. 根据权利要求16所述的图像处理装置，其特征在于， 所述灰度处理部，将所述摄像图像变换成与所述空间频率传递特性相对应的宽度的动态范围的图像。
18. 根据权利要求17所述的图像处理装置，其特征在于， 在由所述空间频率传递特性指定部所指定的所述空间频率传递特性在高频域中比较低的情况下，所述灰度处理部将所述摄像图像变换成较窄的动态范围 的图像。
19. 根据权利要求16至18中任一项所述的图像处理装置，其特征在于， 所述空间频率传递特性指定部，在所述摄像图像所表示的摄像图像中的较高的空间频率成分越大时，将所述空间频率传递特性指定得越高。
20. 根据权利要求16至18中任一项所述的图像处理装置，其特征在于， 所述空间频率传递特性指定部，在所述摄像图像所表示的摄像图像中，预定的高频域中的空间频率成分比预定的低频域中的空间频率成分越大时，将所 述空间频率传递特性指定得越高。
21. 根据权利要求16至20中任一项所述的图像处理装置，其特征在于， 所述空间频率传递特性指定部，根据由包含光学系统的摄像部所摄像的摄像图像的空间频率成分，指定所述摄像部的空间频率传递特性，所述光学系统 通过使来自物点的光不依赖于到达物点的距离地扩展成大致同样的大小，使针 对来自物点的光的光学传递函数不依赖于到达物点的距离而大致相同；当所述空间频率传递特性指定部所指定的空间频率特性，表示出基于所述 光学系统的来自物点的光扩展比较大的特性时，所述灰度处理部，将所述摄像 图像变换成更窄的动态范围的图像。
22. 根据权利要求16至21中任一项所述的图像处理装置，其特征在于，所述灰度处理部，以与所述空间频率传递特性指定部所指定的所述空间频 率传递特性相对应的离散化宽度，对所述摄像图像中包含的不同的空间频域的 图像成分进行离散化。
23. 根据权利要求22记载的图像处理装置，其特征在于， 所述灰度处理部，以较小的离散化宽度，对所述摄像图像中包含的较高的空间频域的图像成分进行离散化。
24. —种图像处理方法，其特征在于， 包括以下步骤空间频率传递特性指定步骤，其中基于由摄像部所摄像的摄像图像的空间 频率成分，指定所述摄像部的空间频率传递特性；和灰度处理步骤，其中按照在所述空间频率传递特性指定步骤中被指定的所 述空间频率传递特性，对所述摄像图像进行灰度变换。
25. —种介质，是存储图像处理装置用的程序的计算机可读取的介质，其 特征在于，该程序使计算机作为以下单元而发挥功能空间频率传递特性指定单元，其基于由摄像部所摄像的摄像图像的空间频 率成分，指定所述摄像部的空间频率传递特性；以及灰度处理单元，其根据由所述空间频率传递特性指定部所指定的所述空间 频率传递特性，对所述摄像图像进行灰度变换。
全文摘要
本发明公开一种摄像装置、摄像方法、图像处理装置、图像处理方法，其中备有对光进行成像的光学系统和灰度处理部，该灰度处理部根据光学系统的空间频率传递特性对通过光学系统而摄像的摄像图像进行灰度变换。还包括对通过光学系统且来自被拍摄体的光进行受光的受光部。灰度处理部，根据设置受光部的位置中的空间频率传递特性，对利用由受光部所受光的光而获得的所述摄像图像进行灰度变换。
文档编号H04N5/232GK101534391SQ200910005848
公开日2009年9月16日 申请日期2009年2月5日 优先权日2008年2月5日
发明者小野修司 申请人:富士胶片株式会社