内窥镜系统的制作方法
内窥镜系统的制作方法
【专利摘要】本发明可降低制造成本并且不使装置大型化而获取有效地扩大了景深的图像。提供内窥镜系统（1)，具备：对物光学系统（16)，其设置在插入部（6)前端，获取被摄体像；光路分割单元，其将上述被摄体像分割为焦点不同的两个光学像；摄像元件，其同时拍摄焦点不同的两个上述光学像而获取两个图像；图像校正单元（32)，其对通过该摄像元件获取的两个上述图像进行校正，以使两个上述图像的除焦点以外的相互差异大致相同；以及图像合成处理部（33)，其在通过该图像校正单元进行校正后的两个上述图像之间的对应的规定区域中选择对比度相对高的图像来生成合成图像。
【专利说明】内窥镜系统
【技术领域】
[0001] 本发明涉及一种内窥镜系统、特别是景深内窥镜系统。
【背景技术】
[0002] -般，已知在以内窥镜系统为首的具备摄像元件的设备中，伴随着摄像元件的高 像素化，景深变浅。即，在摄像元件中，当为了增加像素数而减小像素间距（单位像素的纵 横尺寸）时，容许模糊圈也随之减小，因此摄像装置的景深变浅。为了扩大景深，例如在专 利文献1中公开了以下的技术：利用光路分割单元将被摄体像分割为焦点不同的两个像， 使这些各像分别在不同的摄像元件中成像，对两个像进行合成而获取扩大了景深的像。
[0003] 另一方面，为了维持景深，能够考虑增大光学系统的光圈值，但存在噪声增加而使 画质劣化、或衍射的影响变大而使分辨率降低的问题。作为提高分辨率的技术，例如在专利 文献2中公开了以下的技术：使通过光路分割元件进行分割后的焦点不同的两个被摄体像 在一个摄像元件中成像，通过对两个像进行加法处理来获取提高了分辨率的合成图像。
[0004] 专利文献1 :日本特开2003-078802号公报
[0005] 专利文献2 :日本特开2004-313523号公报
【发明内容】
[0006] 发明要解决的问是页
[0007] 然而，在上述的专利文献1的技术中，为了使焦点不同的被摄体像成像而设置有 多个摄像元件，因此摄像装置变得大型化、制造成本增大。另外，在专利文献2的技术中，虽 然能够实现动态范围的扩大、分辨率的提高，但两个被摄体像的焦点差过大，因此在各个景 深之间产生焦点不重合的区域、或各景深过于重合而无法扩大景深。
[0008] 本发明是鉴于上述的情况而完成的，其目的在于提供一种内窥镜系统，该内窥镜 系统能够降低制造成本，不会使装置大型化而获取扩大了景深的图像。
[0009] 用于解决问题的方案
[0010] 为了达到上述目的，本发明提供以下手段。
[0011] 本发明的一个方式提供一种内窥镜系统，具备：对物光学系统，其设置在插入部前 端，用于获取被摄体像；光路分割单元，其将上述被摄体像分割为焦点不同的两个光学像； 摄像元件，其对上述焦点不同的两个光学像同时进行拍摄而获取两个图像；图像校正单元， 其对通过该摄像元件获取到的两个上述图像进行校正，使得两个上述图像的焦点以外的相 互差异大致相同；以及图像合成处理部，其在通过该图像校正单元进行校正后的两个上述 图像之间的对应的规定区域中选择对比度相对高的图像来生成合成图像。
[0012] 根据本方式，在生成合成图像之前，先同时拍摄焦点不同的两个光学像而得到两 个图像，对两个上述图像进行校正以使两个上述图像的焦点以外的相互差异大致相同，因 此消除了两个图像的光学像的偏差。然后，在进行校正后的两个图像之间的对应的规定区 域中选择对比度相对高的图像来生成合成图像，因此例如能够防止由于噪声等而在合成图 像中产生不连续区域或光学像模糊的情况，并且能够获取扩大了景深的图像。另外，通过同 一摄像元件拍摄两个图像，因此与具备多个摄像元件的结构相比，能够降低制造成本，不使 装置大型化而获取扩大了景深的图像。
[0013] 在上述方式的基础上，优选在两个上述图像之间的对应的规定区域中各规定区域 的对比度大致相同的情况下，上述图像合成处理部对各规定区域进行加权来生成合成图 像。
[0014] 由此，能够防止合成图像的不连续区域的产生、光学像的模糊并且获取扩大了景 深的图像。
[0015] 在上述方式的基础上，优选上述图像校正单元对上述图像进行校正，以使两个上 述光学像的位置、角度以及倍率大致相同。
[0016] 由此，能够防止生成合成图像时的光学像的偏差、模糊。
[0017] 在上述方式的基础上，优选上述图像校正单元对上述图像进行校正，以使两个上 述光学像的亮度和颜色大致相同。
[0018] 由此，能够防止生成合成图像时的光学像的偏差、模糊。
[0019] 在上述方式的基础上，优选在上述光路分割单元使分割得到的一方的光学像在上 述摄像元件中镜像反转而成像的情况下，上述图像校正单元使两个上述图像中的任意一方 镜像反转。
[0020] 由此，能够使两个图像的光学像的方向一致。
[0021] 在上述发明的基础上，优选在将上述对物光学系统的有效光圈值表示为Fno、将上 述摄像元件的垂直方向像素尺寸表示为Pix的情况下，上述对物光学系统和上述摄像元件 满足以下的条件
[0022] 2. 4 彡 Fno/Pix 彡 4. 28。
[0023] 由此，能够维持希望的亮度、分辨率并且获取扩大了景深的图像。
[0024] 在上述形式的基础上，优选上述光路分割单元具备偏转分离单元和λ /4板，该偏 转分离单元对来自上述对物光学系统的被摄体像进行偏振分离，该λ/4板配置于比该偏 振分离单元更靠被摄体侧的位置，是赋予1/4波长量的相位差的1/4波长相位元件，该λ /4 板的高速轴配置为：相对于包含配置在上述插入部前端的照明光学系统的光轴和上述对物 光学系统的光轴的平面大致平行或垂直。
[0025] 由此，能够防止在两个图像中产生极端的亮度差，抑制合成图像的亮度不均。
[0026] 在上述方式的基础上，优选在上述插入部前端配置有多个照明光学系统，上述 λ/4板的高速轴配置为：相对于包含上述对物光学系统的光轴和多个上述照明光学系统 中的离上述对物光学系统最远的照明光学系统的光轴的平面大致平行或垂直。
[0027] 由此，能够进一步抑制合成图像的亮度不均。
[0028] 在上述方式的基础上，优选在上述插入部前端配置有多个照明光学系统，上述 λ/4板的高速轴配置为：相对于包含上述对物光学系统的光轴和多个上述照明光学系统 中的照明光量最多的照明光学系统的光轴的平面大致平行或垂直。
[0029] 由此，能够进一步抑制合成图像的亮度不均。
[0030] 在上述方式的基础上，优选上述λ /4板是高分子薄膜。
[0031] 由此，能够有助于内窥镜系统的小型化。
[0032] 发明的效果
[0033] 根据本发明，起到以下的效果，S卩，能够降低制造成本并不使装置大型化而获取更 加有效地扩大了景深的图像。
【专利附图】
【附图说明】
[0034] 图1是本发明的实施方式所涉及的内窥镜系统的概要结构图。
[0035] 图2是应用于本发明的实施方式所涉及的内窥镜系统的摄像单元的概要结构图。
[0036] 图3是应用于本发明的实施方式所涉及的内窥镜系统的摄像元件的概要结构图。
[0037] 图4是以几何光学的方式决定的景深的说明图。
[0038] 图5是表示得到合成景深的情况下的MTF和散焦之间的关系的图表。
[0039] 图6(A)是通过对物光学系统16的调焦来整体地示出远方观察焦点状态的说明 图，图6(B)是通过对物光学系统的调焦来整体地示出接近观察焦点的状态的图。
[0040] 图7A是与本发明的各实施例所涉及的内窥镜系统的景深等数值数据相关的图 表。
[0041] 图7B是与本发明的各实施例所涉及的内窥镜系统的景深等数值数据相关的图 表。
[0042] 图7C是与本发明的各实施例所涉及的内窥镜系统的景深等数值数据相关的图 表。
[0043] 图8是表示在本发明的实施方式所涉及的内窥镜系统中将两个光学像合成的情 况下的流程的流程图。
[0044] 图9是表示在本发明的实施方式所涉及的内窥镜系统中将两个图像合成时的加 权系数的图表。
[0045] 图10是表示在本发明的实施方式所涉及的内窥镜系统中通过偏振分束器进行奇 数次的反射后在摄像元件中成像的情况下的成像状态的图。
[0046] 图11是表示内窥镜前端的结构和布儒斯特角之间的关系的图。
[0047] 图12是表示将λ/4板配置在比光路分割元件的偏振分离膜更靠物体侧的位置的 例子的图。
[0048] 图13是表不λ/4板和照明光学系统之间的配置关系的图。
【具体实施方式】
[0049] 以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0050](第一实施方式）
[0051] 如图1所示，本发明的第一实施方式的内窥镜系统1具备：内窥镜2,其插入到被 检体内；光源装置3,其向该内窥镜2供给照明光；处理器装置4,其对通过设置于内窥镜2 的摄像元件获取的图像信号进行图像处理；以及图像显示装置5,其将通过处理器装置4进 行规定的图像处理所得到的图像信号显示为内窥镜图像。
[0052] 内窥镜2还具备插入到被检体内的细长的插入部6、设置于该插入部6的后端的 操作部7、从操作部7延伸出的第一线缆8,在第一线缆8贯通有用于传送照明光的光导9。 在内窥镜2的插入部6的前端部6a设置有使从光导9射出的照明光扩散的照明透镜15、获 取被摄体像的对物光学系统16、以及拍摄被摄体像的摄像单元19。第一线缆8的端部的光 导连接器8a以使光导9的贯通第一线缆8的后端部成为照明光的入射端的方式可自由装 卸地连接于光源装置3。
[0053] 光源装置3例如内置氙气灯等灯11作为光源。此外，作为光源，并不限于氙气灯 等灯11，也可以使用发光二极管（简称为LED)。由灯11产生的白色光在通过光圈12被调 整了通过光量后，通过聚光镜13聚光而入射（供给）到光导9的入射端面。此外，对于光 圈12,通过光圈驱动部14使光圈12的开口量可变。
[0054] 光导9将从光源装置3入射到入射端（后端侧）的照明光引导至插入部6的前端 部6a侧。引导至前端部6a的照明光从光导9的出射端（前端侧）通过配置于前端部6a 的前端面的照明透镜15扩散并经由照明窗15a射出，以对被检体内部的观察对象部位进行 照明。
[0055] 被照明的观察对象部位通过安装在前端部6a的与照明窗15a相邻地设置的观察 窗20上的对物光学系统16,在配置在该对物光学系统16后方侧的摄像元件17中成像为被 摄体像。
[0056] 对物光学系统16具备：光学元件组16a，其由多个光学元件构成；和作为焦点切换 机构的聚焦透镜21以及致动器22,该聚焦透镜21选择性地使焦点（pint)对准远方观察和 接近观察这两个观察区域，该致动器22对聚焦透镜21进行驱动。
[0057] 摄像单元19具备：偏振分束器18,其设置在对物光学系统16的插入部6后端部 侦牝将被摄体像分割为焦点不同的两个光学像；和摄像元件17,其拍摄两个光学像而获取 两个图像。
[0058] 如图2所不，偏振分束器18具备第一棱镜18a、第二棱镜18b、反射镜18c以及λ/4 板18d。第一棱镜18a和第二棱镜18b都具有相对于光轴成45度的斜度的光束分离面，在 第一棱镜18a的光束分离面设置有偏振分离膜18e。而且，第一棱镜18a和第二棱镜18b使 相互的光束分离面经由偏振分离膜18e接触而构成偏振分束器18。另外，反射镜18c隔着 λ /4板18d设置在第一棱镜18a的端面附近，摄像元件17安装于第二棱镜18b的端面。
[0059] 来自对物光学系统16的被摄体像在第一棱镜18a中被设置在其光束分离面的偏 振分离膜18e分离为P成分（透过光）和S成分（反射光），从而分离成反射光侧的光学像 和透过光侧的光学像。
[0060] S成分的光学像在偏振分离膜18e向摄像元件17的对面侧反射并通过A光路，在 透过λ/4板18d后，被反射镜18c折返到摄像元件17侧。折返的光学像再次透过λ/4板 18d，由此偏振方向旋转90°，透过偏振分离膜18e并在摄像元件17中成像。
[0061] P成分的光学像透过偏振分离膜18e并通过B光路，被使光朝向摄像元件17垂直 地折返的、设置在第二棱镜18b的与光束分离面相反的一侧的反射镜面反射，从而在摄像 元件17中成像。这时，以在A光路和B光路中例如产生几十微米左右的规定的光路差的方 式设定棱镜光程，使焦点不同的两个光学像在摄像元件17的受光面上成像。
[0062] S卩，将第一棱镜18a和第二棱镜18b配置为，第一棱镜18a中的、反射光侧的到摄 像元件17的光路长度比透过光侧的到摄像元件17的光路长度（光程）短（小），以便能够 将被摄体像分离为焦点位置不同的两个光学像。
[0063] 如图3所示，对于摄像元件17,为了分别单独地接收焦点位置不同的两个光学像 并对它们进行拍摄而在摄像元件17的整个像素区域中设置有两个受光区域（有效像素区 域）17a、17b。为了拍摄两个光学像而将受光区域17a、17b配置为分别与这些光学像的成像 面一致。而且，在摄像元件17中，受光区域17a的焦点位置相对于受光区域17b的焦点位 置相对地向近点侧移位（偏离），受光区域17b的焦点位置相对于受光区域17a的焦点位置 相对地向远点侧移位。由此，使焦点不同的两个光学像在摄像元件17的受光面上成像。
[0064] 此外，也可以通过使第一棱镜18a和第二棱镜18b这两者的折射率不同来改变到 摄像元件17的光路长度，以使受光区域17a、17b的焦点位置相对地偏离。
[0065] 另外，在受光区域17a、17b的周围设置有用于对分割成两个像后的光学像的几何 偏差进行校正的校正像素区域17c。通过在校正像素区域17c内抑制制造上的误差并利用 后述的图像校正处理部32进行基于图像处理的校正，由此消除上述光学像的几何偏差。
[0066] 聚焦透镜21能够移动到光轴方向上的两个位置，通过致动器22驱动该聚焦透镜 21使之在两个位置之间从一个位置移动至另一个位置、从另一个位置移动至一个位置。在 将聚焦透镜21设定在前方侧（物体侧）的位置的状态下，将焦点设定为对准远方观察的情 况下的观察区域的被摄体，在将聚焦透镜21设定在后方侧的位置的状态下，将焦点设定为 对准接近观察的情况下的观察区域的被摄体。
[0067] 此外，致动器22与贯通插入部6内的信号线23连接，该信号线23还贯通从操作 部7延伸出的第二线缆24内。该第二线缆24的端部的信号连接器24a可自由装卸地与处 理器装置4连接，上述信号线23与设置在处理器装置4内的致动器控制部25连接。
[0068] 例如还对该致动器控制部25输入来自设置于内窥镜2的操作部7的切换操作开 关26的切换操作信号。致动器控制部25根据切换操作开关26的操作来施加对致动器22 进行电驱动的驱动信号，以此移动聚焦透镜21。
[0069] 此外，产生切换操作信号的切换操作单元并不限于切换操作开关26,也可以是切 换操作杆等。由上述聚焦透镜21、致动器22、致动器控制部25形成焦点切换机构。但是， 本申请的聚焦单元并不限于使聚焦透镜在上述光轴方向上移动的单元。例如，也可以是将 透镜、滤光器相对于对物光学系统进行插拔来切换聚焦的单元。
[0070] 摄像元件17与插入部6、操作部7、贯通第二线缆24内的信号线27a、27b连接，信 号连接器24a与处理器装置4连接，由此与设置在处理器装置4内的作为图像处理部的图 像处理器30连接。
[0071] 图像处理器30具备：图像读出部31，其将通过摄像元件17拍摄得到的焦点位置 不同的两个光学像所涉及的图像分别读出；图像校正处理部32,其对通过图像读出部31读 出的两个图像进行图像校正；以及图像合成处理部33,其进行对校正后的两个图像进行合 成的图像合成处理。
[0072] 图像校正处理部32对在摄像元件17的受光区域17a、17b分别成像的两个光学像 所涉及的图像进行校正，以使两个上述图像的焦点以外的相互差异大致相同。即，对两个图 像进行校正以使两个图像的各光学像的相对位置、角度、以及倍率大致相同。
[0073] 在将被摄体像分离为两个像并使其分别在摄像元件17中成像的情况下，有时会 产生几何差异。即，分别在摄像元件17的受光区域17a、17b成像的各光学像有时会相对地 产生倍率偏差、位置偏差、角度即旋转方向的偏差等。在制造等时难以完全消除这些差异， 且在这些偏差量大时，合成图像会成为双层图像或产生不自然的亮度不均等。因此，通过图 像校正处理部32来校正上述的几何差异、亮度差异。
[0074] 在校正两个图像之间的亮度差异的情况下，优选以两个像中的亮度低的像或两个 图像中的亮度低的图像、或者两个像或图像的同一位置处的亮度相对较低的一方为基准来 进行校正。
[0075] 也就是说，进行亮度校正以使亮度与相对明亮的一方、即亮度信号（例如G信号） 的强度（信号电平）低的一方一致。当与该校正相反地使亮度与相对明亮的一方一致时， 连包含在图像中的噪声成分也必须进行放大，会导致成为S/N劣化的合成图像。
[0076] 通过如上述那样以亮度低的一方为基准来进行亮度校正，能够防止由S/N的劣化 导致的合成图像的画质劣化，上述亮度校正为：使增益降低（或衰减）以使亮度高的一方与 作为基准的亮度低的一方的亮度一致。
[0077] 图像合成处理部33在通过图像校正处理部32进行校正后的两个图像之间的对应 的规定区域中选择对比度相对较高的图像来生成合成图像。即，对两个图像的空间上相同 的像素区域各自的对比度进行比较，选择对比度相对较高的一方的像素区域，由此生成从 两个图像合成的作为一个图像的合成图像。在两个图像的同一像素区域的对比度差小、或 大致相同的情况下，通过对该像素区域赋予规定的权重并进行加法计算的合成图像处理来 生成合成图像。
[0078] 另外，图像处理器30具备：后续图像处理部34,其对通过图像合成处理部33合成 的一个图像进行颜色矩阵处理、轮廓增强、伽马校正等后续图像处理；和图像输出部35,其 输出进行后续图像处理后的图像，该图像处理器30将从图像输出部35输出的图像输出到 图像显示装置5。
[0079] 图像处理器30还具备：调光部36,其根据由图像读出部31读出的图像生成用于 调光到基准的亮度的调光信号，该图像处理器30将由调光部36生成的调光信号输出到光 源装置3的光圈驱动部14。光圈驱动部14按照调光信号来调整光圈12的开口量以维持基 准的亮度。
[0080] 另外，在本实施方式中，设置有校正参数存储部37,该校正参数存储部37存储有 在图像校正处理部32中校正图像时使用的校正参数（的信息）。
[0081] 内窥镜2具有ID存储器38，该ID存储器38存储有内窥镜2所固有的内窥镜识别 信息（内窥镜ID)，并且在该内窥镜2设置有校正参数存储部37,在该内窥镜2中存在要校 正的固有校正参数的情况下，该校正参数存储部37存储有与该内窥镜2对应的校正参数。
[0082] 在此，对于校正参数，例如根据光路分割元件、摄像元件的浓淡特性、λ /4板的波 长特性不同，有时会在两个光学像所涉及的图像中产生上述的几何差异、亮度差异、或颜色 差异。当两个图像之间存在这样的差异时，会导致在合成图像中产生不自然的亮度不均、颜 色不均，因此为了校正该差异而考虑光路分割元件、摄像元件、λ /4板的特性来决定校正参 数。
[0083] 此外，图像校正处理部也可以从校正参数部接受预先设定的校正参数来进行校 正。例如能够在出厂时预先在上述校正参数部中设定偏差量，在将内窥镜连接到图像处理 器时，识别出连接了内窥镜而从上述校正参数部调出对应的参数来进行校正。
[0084] 此外，在没有要校正的固有校正参数的情况下，不需要设置校正参数存储部37。另 夕卜，并不限于将校正参数存储部37设置在ID存储器38的内部的情况，也可以设置在与ID 存储器38不同的存储器中。
[0085] 并且，图像处理器30的控制部39根据设置在内窥镜2侧的内窥镜ID来识别校正 的有无，在有校正的情况下，从设置在内窥镜2侧的ID存储器38内的校正参数存储部37 读取校正参数，将该校正参数发送到图像校正处理部32。
[0086] 图像校正处理部32根据从控制部39传送的上述校正参数来进行与安装在各内窥 镜2中的摄像单元19对应的图像校正。
[0087]另外，图像校正处理部32使用校正参数，将两个像中的一个作为基准像或将两个 图像中的一个作为基准图像，以此进行上述的倍率差异的校正、位置差异的校正等图像的 校正。例如，有时存在因对物光学系统16的规格而在两个图像中产生倍率偏差的情况。
[0088] 在要将对物光学系统16的尺寸设定得比较小的情况下，有时会进行破坏远心性 而使光线倾斜地向摄像元件17入射的设计。例如，当将与光轴所成的角设为入射角、将顺 时针方向设为正、将逆时针方向设为负时，会进行形成负的入射角那样的设计。
[0089] 当在这样的破坏了远心性的对物光学系统中使焦点位置错开时，会在两个图像之 间产生倍率偏差。
[0090] 如果是这样的设计规格，则预先将该偏差量存储在上述校正参数存储部37中，在 将对象内窥镜2与处理器装置4连接的情况下，识别该内窥镜2并从上述校正参数存储部 37调出对应的参数来进行校正。
[0091] 在摄像单元19的组装时，有时两个图像的相对的像素位置微微错开。在该情况 下，将制造时的偏差量存储在校正参数存储部37中，通过图像校正处理部32进行该偏差校 正。对于位置的偏差校正，例如进行对两个图像的读出位置进行校正以使在摄像元件17的 受光区域17a中拍摄得到的图像和在受光区域17b中的拍摄得到的图像之间的相对位置一 致的处理，在校正了位置偏差后输出到图像合成处理部33。
[0092] 此外，在使用内窥镜时，也可以代替本实施方式的利用预先设定的校正参数进行 的校正而根据另外准备的调整用基准图来进行校正。例如可以在内窥镜2的前端部6a将 基准图配置在希望的位置，通过图像校正处理部32读取两个图像相对于基准图的偏差并 进行该偏差校正。
[0093] 控制部39进行以下控制：在构成安装于各内窥镜2中的对物光学系统16的聚焦 透镜21的要驱动的位置不同的情况下，也向致动器控制部25发送要驱动的位置的信息，使 致动器控制部25在内窥镜2的种类不同的情况下也适当地驱动致动器22。
[0094] 此外，致动器控制部25进行以下控制：不经由控制部39而获取ID，在内窥镜2的 种类不同的情况下也适当地驱动致动器22。
[0095] 在此，以下参照图4等说明景深的定义。图4是以几何光学的方式决定的景深的 说明图。
[0096] 考虑以下的情况：在普通的内窥镜中，使用将最佳距离设为X的情况下的对物光 学系统（其焦距FI)将图3中所示的像素间距Pix的摄像元件配置在像面位置X'。在固定 了摄像元件的条件下，当使物体（从X)接近到Xn时，接近时的像面位置Xn'从摄像元件的 摄像面位置偏离。
[0097] 这时，当将能够视为焦点已对准的最大的模糊圈设为容许模糊圈、将其圆直径设 为δ时，在能够识别为摄像元件的摄像面的模糊圆直径比δ小的情况下，能够视为从X到 Xn的物体像焦点对准。
[0098] S卩，能够将到模糊圈直径与δ -致为止的范围定义为近点侧的景深。
[0099] 根据牛顿的成像公式，以下的公式成立。
[0100] l/Xn-1/X = δ Fno/FI2 ......(1)
[0101] 通过考虑将物体（从X)向远点侧移动到Xf的情况，也同样如下定义远点侧的景 深的公式。
[0102] l/X-1/Xf = δ Fno/FI2 ......(2)
[0103] 当合并公式（1)和公式（2)时，成为以下公式。
[0104] l/Xn-1/Xf = 2 δ Fno/FI2 ......(3)
[0105] 另外，与焦点深度d对应的景深为Xn-Xf。
[0106] 其中，如上述那样将最佳距离设为X，将到景深近点的距离设为Xn，将到景深远点 的距离设为Xf，将容许模糊圈直径设为S，将对物光学系统的焦距设为FI，将对物光学系 统的有效光圈值设为Fno。
[0107] 以上是以几何光学的方式决定的普通的景深定义。
[0108] 本实施方式针对以几何光学的方式决定的景深的情况，能够通过合成图像来扩大 景深，即使在无法忽视衍射的影响的情况下，也能够通过合成图像来扩大景深。
[0109] 已知当使摄像元件更加细微化、高像素化时，在定义景深时一般无法忽视波动光 学的影响。这是因为：在焦点位置，点尺寸因衍射的影响而相对于以几何光学的方式定义的 点尺寸扩大，因此从几何光学的景深的计算产生偏差。因此，在安装有多数情况下收敛到本 实施方式那样的接近衍射界限的有效光圈值Fno的多像素的摄像元件的内窥镜2中，衍射 成为无法忽视的影响。
[0110] 在得到焦点位置不同的两个像的合成景深的情况下，优选各深度端以MTF10%以 上重叠，当将像面上的评价空间频率设为Fi时，下式成立。
[0111] Fi = 1/klXPix ......(4)
[0112] 如果该Fi的散焦的MTF(Modulation Transfer Function,调制传递函数）约为 10%，则在主观评价上能够判断为无法识别像的模糊而"能够看到"。换言之，能够将MTF约 为10 %的散焦位置视为深度端。
[0113] 也就是说，在得到两个焦点状态的合成景深的情况下，深度范围最大的条件是，在 各自的深度端保持MTF为约10%以上的状态下进行合成（参照图5)。假设当在MTF不到 10%的端合成两个图像时，会产生景深间隙，导致在合成深度内产生模糊区域。
[0114] 优选切换两个焦点时的远方观察侧的合成景深和接近观察侧的合成景深的端以 MTF10%重叠。如果是该设定，则即使切换两个焦点也不会产生景深间隙。也可以是切换两 个焦点时的远方观察侧的合成景深和接近观察侧的合成景深的端不重叠，且接近观察侧的 合成景深是3mm左右。
[0115] 不勉强进行连续的景深设定，而是以能够进行更接近的放大观察的方式来提高内 窥镜诊断能力。其中，优选是在切换两个焦点时几乎不产生视野角变动的调焦，且考虑到内 窥镜的操作性而将深度幅度确保3_左右。在切换两个焦点时视野角变化的情况下，也可 以设为随着接近而提高观察倍率那样的变倍光学系统。
[0116] 在本实施方式中，配置将被摄体像分离为两个光学像的偏振分束器18,在摄像元 件17中分别拍摄近点像和远点像，如上述那样，通过偏振分束器18使光学像到摄像元件17 的近点光程和远点光程不同，以此得到焦点位置相对不同的像。
[0117] 图6(A)通过对物光学系统16的调焦来整体地示出远方观察焦点状态，图6(B)通 过对物光学系统16的调焦来整体地示出接近观察焦点的状态。
[0118] 例如，如图6(A)、（B)所示，在使近点像在摄像元件17上的对物光学系统16侧成 像、使远点像在摄像元件17上的内窥镜2侧成像的情况下，当将偏振分束器18到摄像元件 17的光程分别设为dn、df时，dn>df。
[0119] 也可以与到摄像元件17的近点光路和远点光路相应地利用不同的玻璃构成第一 棱镜18a和第二棱镜18b，通过使折射率不同来将焦点位置相对地错开。
[0120] 由此，获取焦点不同的两个光学像所涉及的图像，能够通过图像合成处理部33对 这些图像进行合成，以此得到合成景深XAf+XBf。在通过内窥镜检查来大范围地俯视观察以 进行筛选时，远方观察适合，在观察病变的详情或进行诊断时，接近观察适合。
[0121] 通过采用这样的结构，即使使用更加多像素化的摄像元件，也能够不降低分辨率 而扩大景深。并且，由于具有调焦机构，因此能够自由地切换观察范围来进行高画质的内窥 镜观察、诊断。
[0122] 在此，本实施方式的摄像单元19被设定为满足以下的条件。
[0123] 2. 4 彡 Fno/Pix 彡 4. 28 ......(5)
[0124] 公式（5)的条件基于如下的理由。
[0125] 已知对于构成对物光学系统16的透镜，在成像时，光会受到衍射的影响。对物光 学系统16的有效光圈值Fno越大，则点像受衍射的影响越大，当该点像的大小超过某一界 限时，即使对焦，被摄体的细节部分看起来也模糊。
[0126] 瑞利（Rayleigh)将该界限规定为在两个点像接近时能够识别为各个像的界限的 距离，在将λ设为光的波长、将有效光圈值设为Fno时，用1.22X λ XFno表示该界限。两 个点像的分离界限的距离、即分辨率R由下式表示。
[0127] R=1.22XAXFno ......(6)
[0128] 另一方面，在作为摄像元件而通过电荷耦合元件（简称为(XD)、CMOS传感器进行 拍摄的情况下，根据采样理论来决定界限分辨率。在将摄像元件的垂直方向的像素尺寸设 为Pix时，下式成立。
[0129] R = 2XPix ......(7)
[0130] 实际上，由于受所采用的摄像方式的插值方法、电气系统的特性影响，因此使用任 意的系数kl如下那样表示分辨率R。
[0131] R = klXPix ......(8)
[0132] 由于需要充分发挥摄像元件的性能，因此系数kl 一般为2 < kl < 3左右。
[0133] 根据上述的公式（6)、公式（8)可知公式（9)。
[0134] klXPix = 1. 22X λ XFno ......(9)
[0135] 另外，考虑到制造偏差等，为了能够充分地发挥光学性能，需要使对对物光学系统 16设定的有效光圈值Fno具有某种程度的富余。
[0136] 因此，实际上考虑任意的余量系数k2来设定由瑞利界限公式规定的有效光圈值 Fno。即，设定为公式（10)。
[0137] klXPix = 1· 22X λ XFnoXk2 ......(10)
[0138] 此外，对于余量系数k2,当考虑对物光学系统16的尺寸、与景深的平衡时， 0. 6彡k2彡1左右是妥当的范围。
[0139] 但是，在容许少许的分辨率劣化而优先扩大景深的情况下，也可以设定为 k2彡1. 2左右。
[0140] 根据公式（9)、公式（10)，要设定的对物光学系统16的有效光圈值Fno满足下式。
[0141] FnoXk2 = (1/1. 22X λ ) XPixXkl ......(11)
[0142] 在此，当用有效光圈值Fno和像素尺寸Pix的关系表示公式（11)时，用以下的公 式（12)表示。
[0143] Fno/Pix = (1/1. 22X λ ) XklXk2 ......(12)
[0144] 在使用了高像素的摄像元件的内窥镜系统中，优选满足上述的公式（5)的关系。
[0145] 假设当减小到超出作为公式（5)的范围的下限的2. 4时，对物光学系统16的有效 光圈Fno过小而无法得到希望的景深。或者，景深虽然充分，但成像器的Pix尺寸大而使分 辨率降低。或者，多像素化而使分辨率提高的成像器尺寸变大，因此对物光学系统16大型 化，在安装在内窥镜2的前端部6a的情况下导致外径增大（插入性降低），故不优选。
[0146] 另外，相反地当增大到超过公式（5)的范围的上限时，对物光学系统的有效光圈 值Fn过大而无法得到希望的亮度。同时，会导致大幅地超过衍射界限、或者由于不是妥当 的插值方式而产生分辨率的劣化。
[0147] 在图7的表中示出了在本实施方式中满足上述条件式的摄像单元19的例子。
[0148] 在图7中示出了 Fno/Pix、Pix、Fno、kl、k2、farl深度（远方观察时的受光区域17a 的景深）、far2深度（远方观察时的受光区域17b的景深）、合成far深度（远方观察时的 合成图像的景深）、nearl深度（接近观察时的受光区域17a的景深）、near2深度（接近观 察时的受光区域17b的景深）、合成near深度（接近观察时的合成图像的景深（范围））、 near深度幅度（从合成near深度近点端到合成near深度远点端的深度幅度）、摄像方式、 总像素数（摄像元件的总像素数）的数值数据。另外，BST表示MTF最大的情况下的作为 物距的最佳距离。
[0149] 以下，示出图7的各实施例的概要。
[0150] 在实施例1中，摄像单元19是补色系统且是同步型，在该情况下，将系数kl设为3 左右，作为摄像元件17而采用100万像素、具有1. 7 μ m的像素（pixel)尺寸的补色系统的 固体摄影元件。另外，将对物光学系统16收敛至不产生分辨率劣化的水平，以充分确保景 深。也就是说，将基于对物光学系统16的衍射界限光圈值的余量系数k2设为k2 = 0. 95， 根据公式（12)，有下式成立。
[0151] Fno/Pix = 4. 28 ......(13)
[0152] 实施例2是面顺序方式，系数kl能够取2左右。作为摄像元件17而应用84万像 素、像素尺寸为1. 45 μ m的单色摄像元件。将对物光学系统设定为使亮度优先于衍射界限 光圈值，将基于对物光学系统16的衍射界限光圈值的余量系数k2设为k2 = 0. 8,根据公式 (12)，有下式成立，在实际使用时能够得到充分的景深。
[0153] Fno/Pix = 2. 4 ......(14)
[0154] 在实施例3中，作为摄像元件17而应用84像素、1. 1 μ m像素的原色拜耳阵列的同 步型摄像元件，是直径较细（由于是微小像素所以摄像尺寸小）并且高像素的内窥镜的实 施例（kl = 2. 5)。对于衍射界限光圈值具有少许富余余量而保证了实际使用时所需的景深 (k2 = 0.9)。即，保持实际使用时的远方景深，在接近观察聚焦时，在最接近时具有与变倍 内窥镜同等的分辨率，实现了兼顾筛选、诊断两者的内窥镜。
[0155] 在实施例4中，作为摄像元件17而应用150万像素、1. 34 μ m像素的原色拜耳阵列 的同步型摄像元件，通过插值方法的最优化实现了分辨率的提高（kl = 2. 2)。对于衍射界 限光圈值，具有少许富余量而保证了实际使用时所需的景深（k2 = 0. 9)。与实施例3同样 地实现了兼顾筛选、诊断两者的内窥镜。相对于实施例3,实施例4将重点放在远方观察聚 焦以更容易进行筛选。相反，在聚焦之间产生深度间隙，在接近观察聚焦时，深度幅度比实 施例3小。但是，根据本申请实施的效果，与现有的变倍内窥镜的远端深度相比，能够保持 大致一倍以上的深度。
[0156] 在实施例5中，作为摄像元件17而应用84万像素、1.45 μ m像素的原色拜耳阵列 的同步型摄像元件，对物光学系统16进行使亮度优先于衍射界限光圈值的光圈值设定（k2 = 0.6)。另外，设定为能够得到足够实际使用的景深。是通过以实际使用时没有障碍的水 平稍微降低分辨率而分配到深度上来获取平衡的例子。
[0157] 在实施例6中，作为摄像元件17而使用84万像素、0. 9 μ m像素的原色拜耳阵列的 同步型摄像元件，是直径更细（由于是微小像素因此摄像尺寸小）且高像素内窥镜的例子。 以不产生分辨率劣化的水平大致收敛至衍射界限光圈值，从而充分确保了景深。另外，在接 近观察模式下，在最接近时具有与变倍内窥镜同等的分辨率。
[0158] 另外，在本申请的实施中如果以使用了原色拜耳阵列的同步型摄像元件的摄像方 式为主，则公式（5)也可以为下式。
[0159] 2. 4 彡 Fno/Pix 彡 3. 56 ......(5)，
[0160] 接着，按照图8的流程图来说明在本实施方式中将两个光学像合成的情况下的流 程。
[0161] 在步骤S1中，在图像校正处理部32中对摄像元件17中获取到的焦点不同的远点 像所涉及的图像和近点像所涉及的图像这远近两个图像进行校正处理。即，根据预先设定 的校正参数对两个图像进行校正以使两个图像的各光学像的相对位置、角度、以及倍率大 致相同，将进行校正后的图像输出到图像合成处理部33。此外，也可以根据需要来校正两个 图像的亮度、颜色的差异。
[0162] 在步骤S2中，通过图像合成处理部33对进行校正处理后的两个图像进行合成。这 时，在远近两个图像各自对应的像素区域中，分别计算出对比度值并进行比较。在步骤S3 中，判断所比较的对比度值是否存在差，在对比度存在差的情况下，前进到步骤S5,选择对 比度值高的区域进行合成。在此，在进行比较的对比度值的差小、或者大致相同的情况下， 选择远近两个图像中的哪一个成为处理上的不稳定因素。例如，当存在噪声等信号波动时， 会在合成图像中产生不连续区域，或者产生本来分辨出的被摄体像变得模糊这样的问题。 因此，前进到步骤S4进行加权。在步骤S4中，在进行对比度比较的像素区域中，在两个图 像中对比度值大致相同的情况下进行加权，在下一个步骤S5中对进行加权后的图像进行 加法处理，由此消除图像选择的不稳定性。
[0163] 当将两个图像的对比度比设为R、将A和B设为规定的任意常数时，图像的坐标 (i，j)的加权系数W(i，j)如下。
[0164] ff(i, j) = 1 A〈R ......(15)
[0165] ff(i, j) = 0 R〈B ......(16)
[0166] ff(i, j) = (R-B)/(A-B) B ^ R ^ A ......(17)
[0167] 如图9所示，在上述的公式（15)中，在对比度比大于A的情况下，是能够可靠地选 择两个图像中的哪一个的状态，由于W = 1，因此只选择远点像。
[0168] 另外，在公式（16)中，对比度比小于B，是能够可靠地选择两个图像中的哪一个的 状态，由于W = 0,因此只选择近点像。
[0169] 在公式（17)中，远近像的对比度比大致相同，是不稳定的区域，因此在该区域中 线性地赋予加权系数W，以某种比例对远点像（Rf，Gf，Bf)和近点像（Rn，Gn，Bn)进行加法 处理。当不进行该处理时，会导致合成图像不连续。
[0170] 因此，当将两个图像的RGB信号分别设为（Rf，Gf，Bf)以及（Rn，Gn，Bn)时，合成 信号R'、G'、B'如下。
[0171] G，= W(i，j)Gf(i，j) + (l_W(i，j))Gn(i，j)……（18)
[0172] R，= W(i，j)Rf(i，j) + (l_W(i，j))Rn(i，j)……（19)
[0173] B，= W(i，j)Bf(i，j) + (l_W(i，j))Bn(i，j)……（20)
[0174] 图像合成处理部33对通过该图像校正处理部32进行校正后的两个图像生成进行 合成后的合成图像，并向图像显示装置5侧输出该合成图像，图像显示装置5显示合成图 像。
[0175] 这样，根据本实施方式，无论是在接近观察中还是在远方观察中都能够防止由于 噪声等而在合成图像中产生不连续区域、或者防止光学像模糊，并且能够获取扩大了景深 的图像。另外，由于利用同一摄像元件拍摄两个图像，因此与具备多个摄像元件的情况相 t匕，能够降低制造成本，不使装置大型化而获取扩大了景深的图像。
[0176] 另外，通过设定为满足上述公式（5)，能够得到希望的景深，并且成为能够安装到 内窥镜2的前端部6a的尺寸，另外，还能够确保希望的亮度，并且能够防止分辨率的劣化。
[0177] 此外，在上述的图2的偏振分束器18的情况下，在一次、即奇数次的反射后使光学 像在摄像元件17中成像，因此任意一方的图像成为图10那样的成像状态（镜像），在处理 器装置4中实施使镜像反转而使像方向一致的图像处理。基于光学上的偶数次反射的镜像 的校正有可能导致对物光学系统的大型化、棱镜的成本提高，因此优选在图像校正处理部 32中通过镜像反射来进行基于奇数次的反射的镜像校正。
[0178] 此外，在摄像元件为在内窥镜长度方向上长的形状的情况下，优选考虑显示装置 的长宽比来使合成图像适当地旋转。
[0179] 此外，在如本实施方式那样，应用偏振分束器18进行偏振分离的情况下，当所分 离的光的偏振状态不是圆偏振时，分离后的像的亮度会产生差。即，比较容易对规则的亮度 差异进行图像处理中的校正，但在观察条件下局部地产生了亮度差异的情况下，会导致校 正不完全、或在合成图像中产生亮度不均。例如由观察被摄体的角度决定被摄体像从圆偏 振变形的条件。一般将该角度称为布儒斯特角（Brewster's angle) 0b，当超过该角度时， 来自被摄体的偏振状态从圆偏振变形。
[0180] Θ b = Arctan (n2/nl) ......(21)
[0181] 通过内窥镜观察的被摄体被粘膜覆盖，当将该粘膜的折射率设为与水大致相同 (n2 = 1. 333)时，Θ b约为53°。例如在内窥镜的前端是图11所示那样的结构的情况下， 在观察被摄体时为如下情况。当试着应用布儒斯特角9b = 53°时，在比较接近的条件下， 在视野的比较周边的部分超过该角度。也就是说，在合成图像的视野的比较周边的部分有 可能产生亮度不均。此外，当被摄体具有比较饱和的亮度分布时，该偏振状态破坏而导致的 亮度不均变得明显。
[0182] 虽然在视野的周边部存在该情况，但内窥镜往往比较接近地观察被摄体像的血管 走向、粘膜构造，成为使用户非常厌烦的图像的可能性高。
[0183] 因此，例如图12所示，优选在光路分割元件的比偏振分离膜更靠物体侧的位置配 置λ/4板，以便将该偏振状态破坏后的状态恢复为圆偏振。此外，优选如图13所示那样地 在α或β方向上配置λ/4板，以便最大程度地得到偏振状态的消除效果。
[0184] S卩，对于λ/4板的高速轴，在插入部前端配置有多个照明光学系统的情况下，配 置为相对于以下平面大致平行或垂直，该平面包含对物光学系统的光轴和多个上照明光学 系统中的离对物光学系统最远的照明光学系统的光轴，或者包含对物光学系统的光轴和多 个照明光学系统中的照明光量最多的照明光学系统的光轴。
[0185] 通常，考虑配光特性而配置有多个内窥镜的照明窗。根据图11可知，如果照明窗 和对物窗分离，则布儒斯特角9 b变得更大。也就是说，更优选将λ/4板的高速轴配置于 远离对物窗的照明窗。另外，如上述那样，在亮度分布饱和的条件下，亮度不均更为明显，因 此也可以以照明光量更多的照明窗为对象来配置λ/4板。
[0186] 另外，为了实现内窥镜内部的小型化而优选用于消除偏振的λ/4板、为了实现上 述的偏振分离而配置在光路分割元件中的λ/4板是树脂薄膜等薄的元件。例如，通过使用 在液晶监视器、触摸屏等中使用的相位差薄膜，能够期待内窥镜的小型化。此外，如上所述， 不需要将这样的λ /4板树脂薄膜配置在光路分割元件的正前方，将其配置在与偏振分离 膜相比更靠物体侧即可，例如也可以粘结在红外线截止滤光器等的平面部。
[0187] 另外，也可以将具有从偏振分束器18的物体侧看与入射面成45度角的晶轴的晶 体滤光器配置在偏振分束器18的物体侧，由此消除分离后的两个像的亮度差。
[0188] 附图标记说明
[0189] 1 :内窥镜系统；2 :内窥镜；3 :光源装置；4 :处理器装置；5 :图像显示装置；6 :插 入部；16 :对物光学系统；17 :摄像元件；17a、17b :受光区域；17c :校正像素区域；18 :偏振 分束器；18a :第一棱镜；18b :第二棱镜；18c :反射镜；18d : λ /4板；18e :偏振分离膜；19 : 摄像单元；30 :图像处理部；32 :图像校正处理部；33 :图像合成处理部。
【权利要求】
1. 一种内窥镜系统，具备： 对物光学系统，其设置在插入部前端，用于获取被摄体像； 光路分割单元，其将上述被摄体像分割为焦点不同的两个光学像； 摄像元件，其对上述焦点不同的两个光学像同时进行拍摄而获取两个图像； 图像校正单元，其对通过该摄像元件获取到的两个上述图像进行校正，使得两个上述 图像的焦点以外的相互差异大致相同；以及 图像合成处理部，其在通过该图像校正单元进行校正后的两个上述图像之间的对应的 规定区域中选择对比度相对高的图像来生成合成图像。
2. 根据权利要求1所述的内窥镜系统，其特征在于， 在两个上述图像之间的对应的规定区域中各规定区域的对比度大致相同的情况下，图 像合成处理部对各规定区域进行加权来生成合成图像。
3. 根据权利要求1或2所述的内窥镜系统，其特征在于， 上述图像校正单元对上述图像进行校正，以使两个上述光学像的位置、角度以及倍率 大致相同。
4. 根据权利要求1?3中的任一项所述的内窥镜系统，其特征在于， 上述图像校正单元对上述图像进行校正，以使两个上述光学像的亮度、颜色大致相同。
5. 根据权利要求1?4中的任一项所述的内窥镜系统，其特征在于， 在上述光路分割单元使分割得到的一方的光学像在上述摄像元件中镜像反转而成像 的情况下，上述图像校正单元使两个上述图像中的任意一方镜像反转。
6. 根据权利要求1?5中的任一项所述的内窥镜系统，其特征在于， 在将上述对物光学系统的有效光圈值表示为Fno、将上述摄像元件的垂直方向像素尺 寸表示为Pix的情况下，上述对物光学系统和上述摄像元件满足以下的条件 2. 4 彡 Fno/Pix 彡 4. 28。
7. 根据权利要求1?6中的任一项所述的内窥镜系统，其特征在于， 上述光路分割单元具备偏转分离单元和λ /4板，该偏转分离单元对来自上述对物光 学系统的被摄体像进行偏振分离，该λ/4板配置于比该偏振分离单元更靠被摄体侧的位 置，是赋予1/4波长量的相位差的1/4波长相位元件， 该λ/4板的高速轴配置为：相对于包含配置在上述插入部前端的照明光学系统的光 轴和上述对物光学系统的光轴的平面大致平行或垂直。
8. 根据权利要求7所述的内窥镜系统，其特征在于， 在上述插入部前端配置有多个照明光学系统，上述λ/4板的高速轴配置为：相对于包 含上述对物光学系统的光轴和多个上述照明光学系统中的离上述对物光学系统最远的照 明光学系统的光轴的平面大致平行或垂直。
9. 根据权利要求7所述的内窥镜系统，其特征在于， 在上述插入部前端配置有多个照明光学系统，上述λ/4板的高速轴配置为：相对于包 含上述对物光学系统的光轴和多个上述照明光学系统中的照明光量最多的照明光学系统 的光轴的平面大致平行或垂直。
10. 根据权利要求7?9中的任一项所述的内窥镜系统，其特征在于， 上述λ/4板是高分子薄膜。
【文档编号】G02B23/24GK104219990SQ201380018622
【公开日】2014年12月17日 申请日期:2013年6月10日 优先权日:2012年6月28日
【发明者】露木浩, 菅武志, 三本木将夫 申请人:奥林巴斯医疗株式会社, 奥林巴斯株式会社
【专利摘要】本发明可降低制造成本并且不使装置大型化而获取有效地扩大了景深的图像。提供内窥镜系统（1)，具备：对物光学系统（16)，其设置在插入部（6)前端，获取被摄体像；光路分割单元，其将上述被摄体像分割为焦点不同的两个光学像；摄像元件，其同时拍摄焦点不同的两个上述光学像而获取两个图像；图像校正单元（32)，其对通过该摄像元件获取的两个上述图像进行校正，以使两个上述图像的除焦点以外的相互差异大致相同；以及图像合成处理部（33)，其在通过该图像校正单元进行校正后的两个上述图像之间的对应的规定区域中选择对比度相对高的图像来生成合成图像。
【专利说明】内窥镜系统
【技术领域】
[0001] 本发明涉及一种内窥镜系统、特别是景深内窥镜系统。
【背景技术】
[0002] -般，已知在以内窥镜系统为首的具备摄像元件的设备中，伴随着摄像元件的高 像素化，景深变浅。即，在摄像元件中，当为了增加像素数而减小像素间距（单位像素的纵 横尺寸）时，容许模糊圈也随之减小，因此摄像装置的景深变浅。为了扩大景深，例如在专 利文献1中公开了以下的技术：利用光路分割单元将被摄体像分割为焦点不同的两个像， 使这些各像分别在不同的摄像元件中成像，对两个像进行合成而获取扩大了景深的像。
[0003] 另一方面，为了维持景深，能够考虑增大光学系统的光圈值，但存在噪声增加而使 画质劣化、或衍射的影响变大而使分辨率降低的问题。作为提高分辨率的技术，例如在专利 文献2中公开了以下的技术：使通过光路分割元件进行分割后的焦点不同的两个被摄体像 在一个摄像元件中成像，通过对两个像进行加法处理来获取提高了分辨率的合成图像。
[0004] 专利文献1 :日本特开2003-078802号公报
[0005] 专利文献2 :日本特开2004-313523号公报
【发明内容】
[0006] 发明要解决的问是页
[0007] 然而，在上述的专利文献1的技术中，为了使焦点不同的被摄体像成像而设置有 多个摄像元件，因此摄像装置变得大型化、制造成本增大。另外，在专利文献2的技术中，虽 然能够实现动态范围的扩大、分辨率的提高，但两个被摄体像的焦点差过大，因此在各个景 深之间产生焦点不重合的区域、或各景深过于重合而无法扩大景深。
[0008] 本发明是鉴于上述的情况而完成的，其目的在于提供一种内窥镜系统，该内窥镜 系统能够降低制造成本，不会使装置大型化而获取扩大了景深的图像。
[0009] 用于解决问题的方案
[0010] 为了达到上述目的，本发明提供以下手段。
[0011] 本发明的一个方式提供一种内窥镜系统，具备：对物光学系统，其设置在插入部前 端，用于获取被摄体像；光路分割单元，其将上述被摄体像分割为焦点不同的两个光学像； 摄像元件，其对上述焦点不同的两个光学像同时进行拍摄而获取两个图像；图像校正单元， 其对通过该摄像元件获取到的两个上述图像进行校正，使得两个上述图像的焦点以外的相 互差异大致相同；以及图像合成处理部，其在通过该图像校正单元进行校正后的两个上述 图像之间的对应的规定区域中选择对比度相对高的图像来生成合成图像。
[0012] 根据本方式，在生成合成图像之前，先同时拍摄焦点不同的两个光学像而得到两 个图像，对两个上述图像进行校正以使两个上述图像的焦点以外的相互差异大致相同，因 此消除了两个图像的光学像的偏差。然后，在进行校正后的两个图像之间的对应的规定区 域中选择对比度相对高的图像来生成合成图像，因此例如能够防止由于噪声等而在合成图 像中产生不连续区域或光学像模糊的情况，并且能够获取扩大了景深的图像。另外，通过同 一摄像元件拍摄两个图像，因此与具备多个摄像元件的结构相比，能够降低制造成本，不使 装置大型化而获取扩大了景深的图像。
[0013] 在上述方式的基础上，优选在两个上述图像之间的对应的规定区域中各规定区域 的对比度大致相同的情况下，上述图像合成处理部对各规定区域进行加权来生成合成图 像。
[0014] 由此，能够防止合成图像的不连续区域的产生、光学像的模糊并且获取扩大了景 深的图像。
[0015] 在上述方式的基础上，优选上述图像校正单元对上述图像进行校正，以使两个上 述光学像的位置、角度以及倍率大致相同。
[0016] 由此，能够防止生成合成图像时的光学像的偏差、模糊。
[0017] 在上述方式的基础上，优选上述图像校正单元对上述图像进行校正，以使两个上 述光学像的亮度和颜色大致相同。
[0018] 由此，能够防止生成合成图像时的光学像的偏差、模糊。
[0019] 在上述方式的基础上，优选在上述光路分割单元使分割得到的一方的光学像在上 述摄像元件中镜像反转而成像的情况下，上述图像校正单元使两个上述图像中的任意一方 镜像反转。
[0020] 由此，能够使两个图像的光学像的方向一致。
[0021] 在上述发明的基础上，优选在将上述对物光学系统的有效光圈值表示为Fno、将上 述摄像元件的垂直方向像素尺寸表示为Pix的情况下，上述对物光学系统和上述摄像元件 满足以下的条件
[0022] 2. 4 彡 Fno/Pix 彡 4. 28。
[0023] 由此，能够维持希望的亮度、分辨率并且获取扩大了景深的图像。
[0024] 在上述形式的基础上，优选上述光路分割单元具备偏转分离单元和λ /4板，该偏 转分离单元对来自上述对物光学系统的被摄体像进行偏振分离，该λ/4板配置于比该偏 振分离单元更靠被摄体侧的位置，是赋予1/4波长量的相位差的1/4波长相位元件，该λ /4 板的高速轴配置为：相对于包含配置在上述插入部前端的照明光学系统的光轴和上述对物 光学系统的光轴的平面大致平行或垂直。
[0025] 由此，能够防止在两个图像中产生极端的亮度差，抑制合成图像的亮度不均。
[0026] 在上述方式的基础上，优选在上述插入部前端配置有多个照明光学系统，上述 λ/4板的高速轴配置为：相对于包含上述对物光学系统的光轴和多个上述照明光学系统 中的离上述对物光学系统最远的照明光学系统的光轴的平面大致平行或垂直。
[0027] 由此，能够进一步抑制合成图像的亮度不均。
[0028] 在上述方式的基础上，优选在上述插入部前端配置有多个照明光学系统，上述 λ/4板的高速轴配置为：相对于包含上述对物光学系统的光轴和多个上述照明光学系统 中的照明光量最多的照明光学系统的光轴的平面大致平行或垂直。
[0029] 由此，能够进一步抑制合成图像的亮度不均。
[0030] 在上述方式的基础上，优选上述λ /4板是高分子薄膜。
[0031] 由此，能够有助于内窥镜系统的小型化。
[0032] 发明的效果
[0033] 根据本发明，起到以下的效果，S卩，能够降低制造成本并不使装置大型化而获取更 加有效地扩大了景深的图像。
【专利附图】
【附图说明】
[0034] 图1是本发明的实施方式所涉及的内窥镜系统的概要结构图。
[0035] 图2是应用于本发明的实施方式所涉及的内窥镜系统的摄像单元的概要结构图。
[0036] 图3是应用于本发明的实施方式所涉及的内窥镜系统的摄像元件的概要结构图。
[0037] 图4是以几何光学的方式决定的景深的说明图。
[0038] 图5是表示得到合成景深的情况下的MTF和散焦之间的关系的图表。
[0039] 图6(A)是通过对物光学系统16的调焦来整体地示出远方观察焦点状态的说明 图，图6(B)是通过对物光学系统的调焦来整体地示出接近观察焦点的状态的图。
[0040] 图7A是与本发明的各实施例所涉及的内窥镜系统的景深等数值数据相关的图 表。
[0041] 图7B是与本发明的各实施例所涉及的内窥镜系统的景深等数值数据相关的图 表。
[0042] 图7C是与本发明的各实施例所涉及的内窥镜系统的景深等数值数据相关的图 表。
[0043] 图8是表示在本发明的实施方式所涉及的内窥镜系统中将两个光学像合成的情 况下的流程的流程图。
[0044] 图9是表示在本发明的实施方式所涉及的内窥镜系统中将两个图像合成时的加 权系数的图表。
[0045] 图10是表示在本发明的实施方式所涉及的内窥镜系统中通过偏振分束器进行奇 数次的反射后在摄像元件中成像的情况下的成像状态的图。
[0046] 图11是表示内窥镜前端的结构和布儒斯特角之间的关系的图。
[0047] 图12是表示将λ/4板配置在比光路分割元件的偏振分离膜更靠物体侧的位置的 例子的图。
[0048] 图13是表不λ/4板和照明光学系统之间的配置关系的图。
【具体实施方式】
[0049] 以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0050](第一实施方式）
[0051] 如图1所示，本发明的第一实施方式的内窥镜系统1具备：内窥镜2,其插入到被 检体内；光源装置3,其向该内窥镜2供给照明光；处理器装置4,其对通过设置于内窥镜2 的摄像元件获取的图像信号进行图像处理；以及图像显示装置5,其将通过处理器装置4进 行规定的图像处理所得到的图像信号显示为内窥镜图像。
[0052] 内窥镜2还具备插入到被检体内的细长的插入部6、设置于该插入部6的后端的 操作部7、从操作部7延伸出的第一线缆8,在第一线缆8贯通有用于传送照明光的光导9。 在内窥镜2的插入部6的前端部6a设置有使从光导9射出的照明光扩散的照明透镜15、获 取被摄体像的对物光学系统16、以及拍摄被摄体像的摄像单元19。第一线缆8的端部的光 导连接器8a以使光导9的贯通第一线缆8的后端部成为照明光的入射端的方式可自由装 卸地连接于光源装置3。
[0053] 光源装置3例如内置氙气灯等灯11作为光源。此外，作为光源，并不限于氙气灯 等灯11，也可以使用发光二极管（简称为LED)。由灯11产生的白色光在通过光圈12被调 整了通过光量后，通过聚光镜13聚光而入射（供给）到光导9的入射端面。此外，对于光 圈12,通过光圈驱动部14使光圈12的开口量可变。
[0054] 光导9将从光源装置3入射到入射端（后端侧）的照明光引导至插入部6的前端 部6a侧。引导至前端部6a的照明光从光导9的出射端（前端侧）通过配置于前端部6a 的前端面的照明透镜15扩散并经由照明窗15a射出，以对被检体内部的观察对象部位进行 照明。
[0055] 被照明的观察对象部位通过安装在前端部6a的与照明窗15a相邻地设置的观察 窗20上的对物光学系统16,在配置在该对物光学系统16后方侧的摄像元件17中成像为被 摄体像。
[0056] 对物光学系统16具备：光学元件组16a，其由多个光学元件构成；和作为焦点切换 机构的聚焦透镜21以及致动器22,该聚焦透镜21选择性地使焦点（pint)对准远方观察和 接近观察这两个观察区域，该致动器22对聚焦透镜21进行驱动。
[0057] 摄像单元19具备：偏振分束器18,其设置在对物光学系统16的插入部6后端部 侦牝将被摄体像分割为焦点不同的两个光学像；和摄像元件17,其拍摄两个光学像而获取 两个图像。
[0058] 如图2所不，偏振分束器18具备第一棱镜18a、第二棱镜18b、反射镜18c以及λ/4 板18d。第一棱镜18a和第二棱镜18b都具有相对于光轴成45度的斜度的光束分离面，在 第一棱镜18a的光束分离面设置有偏振分离膜18e。而且，第一棱镜18a和第二棱镜18b使 相互的光束分离面经由偏振分离膜18e接触而构成偏振分束器18。另外，反射镜18c隔着 λ /4板18d设置在第一棱镜18a的端面附近，摄像元件17安装于第二棱镜18b的端面。
[0059] 来自对物光学系统16的被摄体像在第一棱镜18a中被设置在其光束分离面的偏 振分离膜18e分离为P成分（透过光）和S成分（反射光），从而分离成反射光侧的光学像 和透过光侧的光学像。
[0060] S成分的光学像在偏振分离膜18e向摄像元件17的对面侧反射并通过A光路，在 透过λ/4板18d后，被反射镜18c折返到摄像元件17侧。折返的光学像再次透过λ/4板 18d，由此偏振方向旋转90°，透过偏振分离膜18e并在摄像元件17中成像。
[0061] P成分的光学像透过偏振分离膜18e并通过B光路，被使光朝向摄像元件17垂直 地折返的、设置在第二棱镜18b的与光束分离面相反的一侧的反射镜面反射，从而在摄像 元件17中成像。这时，以在A光路和B光路中例如产生几十微米左右的规定的光路差的方 式设定棱镜光程，使焦点不同的两个光学像在摄像元件17的受光面上成像。
[0062] S卩，将第一棱镜18a和第二棱镜18b配置为，第一棱镜18a中的、反射光侧的到摄 像元件17的光路长度比透过光侧的到摄像元件17的光路长度（光程）短（小），以便能够 将被摄体像分离为焦点位置不同的两个光学像。
[0063] 如图3所示，对于摄像元件17,为了分别单独地接收焦点位置不同的两个光学像 并对它们进行拍摄而在摄像元件17的整个像素区域中设置有两个受光区域（有效像素区 域）17a、17b。为了拍摄两个光学像而将受光区域17a、17b配置为分别与这些光学像的成像 面一致。而且，在摄像元件17中，受光区域17a的焦点位置相对于受光区域17b的焦点位 置相对地向近点侧移位（偏离），受光区域17b的焦点位置相对于受光区域17a的焦点位置 相对地向远点侧移位。由此，使焦点不同的两个光学像在摄像元件17的受光面上成像。
[0064] 此外，也可以通过使第一棱镜18a和第二棱镜18b这两者的折射率不同来改变到 摄像元件17的光路长度，以使受光区域17a、17b的焦点位置相对地偏离。
[0065] 另外，在受光区域17a、17b的周围设置有用于对分割成两个像后的光学像的几何 偏差进行校正的校正像素区域17c。通过在校正像素区域17c内抑制制造上的误差并利用 后述的图像校正处理部32进行基于图像处理的校正，由此消除上述光学像的几何偏差。
[0066] 聚焦透镜21能够移动到光轴方向上的两个位置，通过致动器22驱动该聚焦透镜 21使之在两个位置之间从一个位置移动至另一个位置、从另一个位置移动至一个位置。在 将聚焦透镜21设定在前方侧（物体侧）的位置的状态下，将焦点设定为对准远方观察的情 况下的观察区域的被摄体，在将聚焦透镜21设定在后方侧的位置的状态下，将焦点设定为 对准接近观察的情况下的观察区域的被摄体。
[0067] 此外，致动器22与贯通插入部6内的信号线23连接，该信号线23还贯通从操作 部7延伸出的第二线缆24内。该第二线缆24的端部的信号连接器24a可自由装卸地与处 理器装置4连接，上述信号线23与设置在处理器装置4内的致动器控制部25连接。
[0068] 例如还对该致动器控制部25输入来自设置于内窥镜2的操作部7的切换操作开 关26的切换操作信号。致动器控制部25根据切换操作开关26的操作来施加对致动器22 进行电驱动的驱动信号，以此移动聚焦透镜21。
[0069] 此外，产生切换操作信号的切换操作单元并不限于切换操作开关26,也可以是切 换操作杆等。由上述聚焦透镜21、致动器22、致动器控制部25形成焦点切换机构。但是， 本申请的聚焦单元并不限于使聚焦透镜在上述光轴方向上移动的单元。例如，也可以是将 透镜、滤光器相对于对物光学系统进行插拔来切换聚焦的单元。
[0070] 摄像元件17与插入部6、操作部7、贯通第二线缆24内的信号线27a、27b连接，信 号连接器24a与处理器装置4连接，由此与设置在处理器装置4内的作为图像处理部的图 像处理器30连接。
[0071] 图像处理器30具备：图像读出部31，其将通过摄像元件17拍摄得到的焦点位置 不同的两个光学像所涉及的图像分别读出；图像校正处理部32,其对通过图像读出部31读 出的两个图像进行图像校正；以及图像合成处理部33,其进行对校正后的两个图像进行合 成的图像合成处理。
[0072] 图像校正处理部32对在摄像元件17的受光区域17a、17b分别成像的两个光学像 所涉及的图像进行校正，以使两个上述图像的焦点以外的相互差异大致相同。即，对两个图 像进行校正以使两个图像的各光学像的相对位置、角度、以及倍率大致相同。
[0073] 在将被摄体像分离为两个像并使其分别在摄像元件17中成像的情况下，有时会 产生几何差异。即，分别在摄像元件17的受光区域17a、17b成像的各光学像有时会相对地 产生倍率偏差、位置偏差、角度即旋转方向的偏差等。在制造等时难以完全消除这些差异， 且在这些偏差量大时，合成图像会成为双层图像或产生不自然的亮度不均等。因此，通过图 像校正处理部32来校正上述的几何差异、亮度差异。
[0074] 在校正两个图像之间的亮度差异的情况下，优选以两个像中的亮度低的像或两个 图像中的亮度低的图像、或者两个像或图像的同一位置处的亮度相对较低的一方为基准来 进行校正。
[0075] 也就是说，进行亮度校正以使亮度与相对明亮的一方、即亮度信号（例如G信号） 的强度（信号电平）低的一方一致。当与该校正相反地使亮度与相对明亮的一方一致时， 连包含在图像中的噪声成分也必须进行放大，会导致成为S/N劣化的合成图像。
[0076] 通过如上述那样以亮度低的一方为基准来进行亮度校正，能够防止由S/N的劣化 导致的合成图像的画质劣化，上述亮度校正为：使增益降低（或衰减）以使亮度高的一方与 作为基准的亮度低的一方的亮度一致。
[0077] 图像合成处理部33在通过图像校正处理部32进行校正后的两个图像之间的对应 的规定区域中选择对比度相对较高的图像来生成合成图像。即，对两个图像的空间上相同 的像素区域各自的对比度进行比较，选择对比度相对较高的一方的像素区域，由此生成从 两个图像合成的作为一个图像的合成图像。在两个图像的同一像素区域的对比度差小、或 大致相同的情况下，通过对该像素区域赋予规定的权重并进行加法计算的合成图像处理来 生成合成图像。
[0078] 另外，图像处理器30具备：后续图像处理部34,其对通过图像合成处理部33合成 的一个图像进行颜色矩阵处理、轮廓增强、伽马校正等后续图像处理；和图像输出部35,其 输出进行后续图像处理后的图像，该图像处理器30将从图像输出部35输出的图像输出到 图像显示装置5。
[0079] 图像处理器30还具备：调光部36,其根据由图像读出部31读出的图像生成用于 调光到基准的亮度的调光信号，该图像处理器30将由调光部36生成的调光信号输出到光 源装置3的光圈驱动部14。光圈驱动部14按照调光信号来调整光圈12的开口量以维持基 准的亮度。
[0080] 另外，在本实施方式中，设置有校正参数存储部37,该校正参数存储部37存储有 在图像校正处理部32中校正图像时使用的校正参数（的信息）。
[0081] 内窥镜2具有ID存储器38，该ID存储器38存储有内窥镜2所固有的内窥镜识别 信息（内窥镜ID)，并且在该内窥镜2设置有校正参数存储部37,在该内窥镜2中存在要校 正的固有校正参数的情况下，该校正参数存储部37存储有与该内窥镜2对应的校正参数。
[0082] 在此，对于校正参数，例如根据光路分割元件、摄像元件的浓淡特性、λ /4板的波 长特性不同，有时会在两个光学像所涉及的图像中产生上述的几何差异、亮度差异、或颜色 差异。当两个图像之间存在这样的差异时，会导致在合成图像中产生不自然的亮度不均、颜 色不均，因此为了校正该差异而考虑光路分割元件、摄像元件、λ /4板的特性来决定校正参 数。
[0083] 此外，图像校正处理部也可以从校正参数部接受预先设定的校正参数来进行校 正。例如能够在出厂时预先在上述校正参数部中设定偏差量，在将内窥镜连接到图像处理 器时，识别出连接了内窥镜而从上述校正参数部调出对应的参数来进行校正。
[0084] 此外，在没有要校正的固有校正参数的情况下，不需要设置校正参数存储部37。另 夕卜，并不限于将校正参数存储部37设置在ID存储器38的内部的情况，也可以设置在与ID 存储器38不同的存储器中。
[0085] 并且，图像处理器30的控制部39根据设置在内窥镜2侧的内窥镜ID来识别校正 的有无，在有校正的情况下，从设置在内窥镜2侧的ID存储器38内的校正参数存储部37 读取校正参数，将该校正参数发送到图像校正处理部32。
[0086] 图像校正处理部32根据从控制部39传送的上述校正参数来进行与安装在各内窥 镜2中的摄像单元19对应的图像校正。
[0087]另外，图像校正处理部32使用校正参数，将两个像中的一个作为基准像或将两个 图像中的一个作为基准图像，以此进行上述的倍率差异的校正、位置差异的校正等图像的 校正。例如，有时存在因对物光学系统16的规格而在两个图像中产生倍率偏差的情况。
[0088] 在要将对物光学系统16的尺寸设定得比较小的情况下，有时会进行破坏远心性 而使光线倾斜地向摄像元件17入射的设计。例如，当将与光轴所成的角设为入射角、将顺 时针方向设为正、将逆时针方向设为负时，会进行形成负的入射角那样的设计。
[0089] 当在这样的破坏了远心性的对物光学系统中使焦点位置错开时，会在两个图像之 间产生倍率偏差。
[0090] 如果是这样的设计规格，则预先将该偏差量存储在上述校正参数存储部37中，在 将对象内窥镜2与处理器装置4连接的情况下，识别该内窥镜2并从上述校正参数存储部 37调出对应的参数来进行校正。
[0091] 在摄像单元19的组装时，有时两个图像的相对的像素位置微微错开。在该情况 下，将制造时的偏差量存储在校正参数存储部37中，通过图像校正处理部32进行该偏差校 正。对于位置的偏差校正，例如进行对两个图像的读出位置进行校正以使在摄像元件17的 受光区域17a中拍摄得到的图像和在受光区域17b中的拍摄得到的图像之间的相对位置一 致的处理，在校正了位置偏差后输出到图像合成处理部33。
[0092] 此外，在使用内窥镜时，也可以代替本实施方式的利用预先设定的校正参数进行 的校正而根据另外准备的调整用基准图来进行校正。例如可以在内窥镜2的前端部6a将 基准图配置在希望的位置，通过图像校正处理部32读取两个图像相对于基准图的偏差并 进行该偏差校正。
[0093] 控制部39进行以下控制：在构成安装于各内窥镜2中的对物光学系统16的聚焦 透镜21的要驱动的位置不同的情况下，也向致动器控制部25发送要驱动的位置的信息，使 致动器控制部25在内窥镜2的种类不同的情况下也适当地驱动致动器22。
[0094] 此外，致动器控制部25进行以下控制：不经由控制部39而获取ID，在内窥镜2的 种类不同的情况下也适当地驱动致动器22。
[0095] 在此，以下参照图4等说明景深的定义。图4是以几何光学的方式决定的景深的 说明图。
[0096] 考虑以下的情况：在普通的内窥镜中，使用将最佳距离设为X的情况下的对物光 学系统（其焦距FI)将图3中所示的像素间距Pix的摄像元件配置在像面位置X'。在固定 了摄像元件的条件下，当使物体（从X)接近到Xn时，接近时的像面位置Xn'从摄像元件的 摄像面位置偏离。
[0097] 这时，当将能够视为焦点已对准的最大的模糊圈设为容许模糊圈、将其圆直径设 为δ时，在能够识别为摄像元件的摄像面的模糊圆直径比δ小的情况下，能够视为从X到 Xn的物体像焦点对准。
[0098] S卩，能够将到模糊圈直径与δ -致为止的范围定义为近点侧的景深。
[0099] 根据牛顿的成像公式，以下的公式成立。
[0100] l/Xn-1/X = δ Fno/FI2 ......(1)
[0101] 通过考虑将物体（从X)向远点侧移动到Xf的情况，也同样如下定义远点侧的景 深的公式。
[0102] l/X-1/Xf = δ Fno/FI2 ......(2)
[0103] 当合并公式（1)和公式（2)时，成为以下公式。
[0104] l/Xn-1/Xf = 2 δ Fno/FI2 ......(3)
[0105] 另外，与焦点深度d对应的景深为Xn-Xf。
[0106] 其中，如上述那样将最佳距离设为X，将到景深近点的距离设为Xn，将到景深远点 的距离设为Xf，将容许模糊圈直径设为S，将对物光学系统的焦距设为FI，将对物光学系 统的有效光圈值设为Fno。
[0107] 以上是以几何光学的方式决定的普通的景深定义。
[0108] 本实施方式针对以几何光学的方式决定的景深的情况，能够通过合成图像来扩大 景深，即使在无法忽视衍射的影响的情况下，也能够通过合成图像来扩大景深。
[0109] 已知当使摄像元件更加细微化、高像素化时，在定义景深时一般无法忽视波动光 学的影响。这是因为：在焦点位置，点尺寸因衍射的影响而相对于以几何光学的方式定义的 点尺寸扩大，因此从几何光学的景深的计算产生偏差。因此，在安装有多数情况下收敛到本 实施方式那样的接近衍射界限的有效光圈值Fno的多像素的摄像元件的内窥镜2中，衍射 成为无法忽视的影响。
[0110] 在得到焦点位置不同的两个像的合成景深的情况下，优选各深度端以MTF10%以 上重叠，当将像面上的评价空间频率设为Fi时，下式成立。
[0111] Fi = 1/klXPix ......(4)
[0112] 如果该Fi的散焦的MTF(Modulation Transfer Function,调制传递函数）约为 10%，则在主观评价上能够判断为无法识别像的模糊而"能够看到"。换言之，能够将MTF约 为10 %的散焦位置视为深度端。
[0113] 也就是说，在得到两个焦点状态的合成景深的情况下，深度范围最大的条件是，在 各自的深度端保持MTF为约10%以上的状态下进行合成（参照图5)。假设当在MTF不到 10%的端合成两个图像时，会产生景深间隙，导致在合成深度内产生模糊区域。
[0114] 优选切换两个焦点时的远方观察侧的合成景深和接近观察侧的合成景深的端以 MTF10%重叠。如果是该设定，则即使切换两个焦点也不会产生景深间隙。也可以是切换两 个焦点时的远方观察侧的合成景深和接近观察侧的合成景深的端不重叠，且接近观察侧的 合成景深是3mm左右。
[0115] 不勉强进行连续的景深设定，而是以能够进行更接近的放大观察的方式来提高内 窥镜诊断能力。其中，优选是在切换两个焦点时几乎不产生视野角变动的调焦，且考虑到内 窥镜的操作性而将深度幅度确保3_左右。在切换两个焦点时视野角变化的情况下，也可 以设为随着接近而提高观察倍率那样的变倍光学系统。
[0116] 在本实施方式中，配置将被摄体像分离为两个光学像的偏振分束器18,在摄像元 件17中分别拍摄近点像和远点像，如上述那样，通过偏振分束器18使光学像到摄像元件17 的近点光程和远点光程不同，以此得到焦点位置相对不同的像。
[0117] 图6(A)通过对物光学系统16的调焦来整体地示出远方观察焦点状态，图6(B)通 过对物光学系统16的调焦来整体地示出接近观察焦点的状态。
[0118] 例如，如图6(A)、（B)所示，在使近点像在摄像元件17上的对物光学系统16侧成 像、使远点像在摄像元件17上的内窥镜2侧成像的情况下，当将偏振分束器18到摄像元件 17的光程分别设为dn、df时，dn>df。
[0119] 也可以与到摄像元件17的近点光路和远点光路相应地利用不同的玻璃构成第一 棱镜18a和第二棱镜18b，通过使折射率不同来将焦点位置相对地错开。
[0120] 由此，获取焦点不同的两个光学像所涉及的图像，能够通过图像合成处理部33对 这些图像进行合成，以此得到合成景深XAf+XBf。在通过内窥镜检查来大范围地俯视观察以 进行筛选时，远方观察适合，在观察病变的详情或进行诊断时，接近观察适合。
[0121] 通过采用这样的结构，即使使用更加多像素化的摄像元件，也能够不降低分辨率 而扩大景深。并且，由于具有调焦机构，因此能够自由地切换观察范围来进行高画质的内窥 镜观察、诊断。
[0122] 在此，本实施方式的摄像单元19被设定为满足以下的条件。
[0123] 2. 4 彡 Fno/Pix 彡 4. 28 ......(5)
[0124] 公式（5)的条件基于如下的理由。
[0125] 已知对于构成对物光学系统16的透镜，在成像时，光会受到衍射的影响。对物光 学系统16的有效光圈值Fno越大，则点像受衍射的影响越大，当该点像的大小超过某一界 限时，即使对焦，被摄体的细节部分看起来也模糊。
[0126] 瑞利（Rayleigh)将该界限规定为在两个点像接近时能够识别为各个像的界限的 距离，在将λ设为光的波长、将有效光圈值设为Fno时，用1.22X λ XFno表示该界限。两 个点像的分离界限的距离、即分辨率R由下式表示。
[0127] R=1.22XAXFno ......(6)
[0128] 另一方面，在作为摄像元件而通过电荷耦合元件（简称为(XD)、CMOS传感器进行 拍摄的情况下，根据采样理论来决定界限分辨率。在将摄像元件的垂直方向的像素尺寸设 为Pix时，下式成立。
[0129] R = 2XPix ......(7)
[0130] 实际上，由于受所采用的摄像方式的插值方法、电气系统的特性影响，因此使用任 意的系数kl如下那样表示分辨率R。
[0131] R = klXPix ......(8)
[0132] 由于需要充分发挥摄像元件的性能，因此系数kl 一般为2 < kl < 3左右。
[0133] 根据上述的公式（6)、公式（8)可知公式（9)。
[0134] klXPix = 1. 22X λ XFno ......(9)
[0135] 另外，考虑到制造偏差等，为了能够充分地发挥光学性能，需要使对对物光学系统 16设定的有效光圈值Fno具有某种程度的富余。
[0136] 因此，实际上考虑任意的余量系数k2来设定由瑞利界限公式规定的有效光圈值 Fno。即，设定为公式（10)。
[0137] klXPix = 1· 22X λ XFnoXk2 ......(10)
[0138] 此外，对于余量系数k2,当考虑对物光学系统16的尺寸、与景深的平衡时， 0. 6彡k2彡1左右是妥当的范围。
[0139] 但是，在容许少许的分辨率劣化而优先扩大景深的情况下，也可以设定为 k2彡1. 2左右。
[0140] 根据公式（9)、公式（10)，要设定的对物光学系统16的有效光圈值Fno满足下式。
[0141] FnoXk2 = (1/1. 22X λ ) XPixXkl ......(11)
[0142] 在此，当用有效光圈值Fno和像素尺寸Pix的关系表示公式（11)时，用以下的公 式（12)表示。
[0143] Fno/Pix = (1/1. 22X λ ) XklXk2 ......(12)
[0144] 在使用了高像素的摄像元件的内窥镜系统中，优选满足上述的公式（5)的关系。
[0145] 假设当减小到超出作为公式（5)的范围的下限的2. 4时，对物光学系统16的有效 光圈Fno过小而无法得到希望的景深。或者，景深虽然充分，但成像器的Pix尺寸大而使分 辨率降低。或者，多像素化而使分辨率提高的成像器尺寸变大，因此对物光学系统16大型 化，在安装在内窥镜2的前端部6a的情况下导致外径增大（插入性降低），故不优选。
[0146] 另外，相反地当增大到超过公式（5)的范围的上限时，对物光学系统的有效光圈 值Fn过大而无法得到希望的亮度。同时，会导致大幅地超过衍射界限、或者由于不是妥当 的插值方式而产生分辨率的劣化。
[0147] 在图7的表中示出了在本实施方式中满足上述条件式的摄像单元19的例子。
[0148] 在图7中示出了 Fno/Pix、Pix、Fno、kl、k2、farl深度（远方观察时的受光区域17a 的景深）、far2深度（远方观察时的受光区域17b的景深）、合成far深度（远方观察时的 合成图像的景深）、nearl深度（接近观察时的受光区域17a的景深）、near2深度（接近观 察时的受光区域17b的景深）、合成near深度（接近观察时的合成图像的景深（范围））、 near深度幅度（从合成near深度近点端到合成near深度远点端的深度幅度）、摄像方式、 总像素数（摄像元件的总像素数）的数值数据。另外，BST表示MTF最大的情况下的作为 物距的最佳距离。
[0149] 以下，示出图7的各实施例的概要。
[0150] 在实施例1中，摄像单元19是补色系统且是同步型，在该情况下，将系数kl设为3 左右，作为摄像元件17而采用100万像素、具有1. 7 μ m的像素（pixel)尺寸的补色系统的 固体摄影元件。另外，将对物光学系统16收敛至不产生分辨率劣化的水平，以充分确保景 深。也就是说，将基于对物光学系统16的衍射界限光圈值的余量系数k2设为k2 = 0. 95， 根据公式（12)，有下式成立。
[0151] Fno/Pix = 4. 28 ......(13)
[0152] 实施例2是面顺序方式，系数kl能够取2左右。作为摄像元件17而应用84万像 素、像素尺寸为1. 45 μ m的单色摄像元件。将对物光学系统设定为使亮度优先于衍射界限 光圈值，将基于对物光学系统16的衍射界限光圈值的余量系数k2设为k2 = 0. 8,根据公式 (12)，有下式成立，在实际使用时能够得到充分的景深。
[0153] Fno/Pix = 2. 4 ......(14)
[0154] 在实施例3中，作为摄像元件17而应用84像素、1. 1 μ m像素的原色拜耳阵列的同 步型摄像元件，是直径较细（由于是微小像素所以摄像尺寸小）并且高像素的内窥镜的实 施例（kl = 2. 5)。对于衍射界限光圈值具有少许富余余量而保证了实际使用时所需的景深 (k2 = 0.9)。即，保持实际使用时的远方景深，在接近观察聚焦时，在最接近时具有与变倍 内窥镜同等的分辨率，实现了兼顾筛选、诊断两者的内窥镜。
[0155] 在实施例4中，作为摄像元件17而应用150万像素、1. 34 μ m像素的原色拜耳阵列 的同步型摄像元件，通过插值方法的最优化实现了分辨率的提高（kl = 2. 2)。对于衍射界 限光圈值，具有少许富余量而保证了实际使用时所需的景深（k2 = 0. 9)。与实施例3同样 地实现了兼顾筛选、诊断两者的内窥镜。相对于实施例3,实施例4将重点放在远方观察聚 焦以更容易进行筛选。相反，在聚焦之间产生深度间隙，在接近观察聚焦时，深度幅度比实 施例3小。但是，根据本申请实施的效果，与现有的变倍内窥镜的远端深度相比，能够保持 大致一倍以上的深度。
[0156] 在实施例5中，作为摄像元件17而应用84万像素、1.45 μ m像素的原色拜耳阵列 的同步型摄像元件，对物光学系统16进行使亮度优先于衍射界限光圈值的光圈值设定（k2 = 0.6)。另外，设定为能够得到足够实际使用的景深。是通过以实际使用时没有障碍的水 平稍微降低分辨率而分配到深度上来获取平衡的例子。
[0157] 在实施例6中，作为摄像元件17而使用84万像素、0. 9 μ m像素的原色拜耳阵列的 同步型摄像元件，是直径更细（由于是微小像素因此摄像尺寸小）且高像素内窥镜的例子。 以不产生分辨率劣化的水平大致收敛至衍射界限光圈值，从而充分确保了景深。另外，在接 近观察模式下，在最接近时具有与变倍内窥镜同等的分辨率。
[0158] 另外，在本申请的实施中如果以使用了原色拜耳阵列的同步型摄像元件的摄像方 式为主，则公式（5)也可以为下式。
[0159] 2. 4 彡 Fno/Pix 彡 3. 56 ......(5)，
[0160] 接着，按照图8的流程图来说明在本实施方式中将两个光学像合成的情况下的流 程。
[0161] 在步骤S1中，在图像校正处理部32中对摄像元件17中获取到的焦点不同的远点 像所涉及的图像和近点像所涉及的图像这远近两个图像进行校正处理。即，根据预先设定 的校正参数对两个图像进行校正以使两个图像的各光学像的相对位置、角度、以及倍率大 致相同，将进行校正后的图像输出到图像合成处理部33。此外，也可以根据需要来校正两个 图像的亮度、颜色的差异。
[0162] 在步骤S2中，通过图像合成处理部33对进行校正处理后的两个图像进行合成。这 时，在远近两个图像各自对应的像素区域中，分别计算出对比度值并进行比较。在步骤S3 中，判断所比较的对比度值是否存在差，在对比度存在差的情况下，前进到步骤S5,选择对 比度值高的区域进行合成。在此，在进行比较的对比度值的差小、或者大致相同的情况下， 选择远近两个图像中的哪一个成为处理上的不稳定因素。例如，当存在噪声等信号波动时， 会在合成图像中产生不连续区域，或者产生本来分辨出的被摄体像变得模糊这样的问题。 因此，前进到步骤S4进行加权。在步骤S4中，在进行对比度比较的像素区域中，在两个图 像中对比度值大致相同的情况下进行加权，在下一个步骤S5中对进行加权后的图像进行 加法处理，由此消除图像选择的不稳定性。
[0163] 当将两个图像的对比度比设为R、将A和B设为规定的任意常数时，图像的坐标 (i，j)的加权系数W(i，j)如下。
[0164] ff(i, j) = 1 A〈R ......(15)
[0165] ff(i, j) = 0 R〈B ......(16)
[0166] ff(i, j) = (R-B)/(A-B) B ^ R ^ A ......(17)
[0167] 如图9所示，在上述的公式（15)中，在对比度比大于A的情况下，是能够可靠地选 择两个图像中的哪一个的状态，由于W = 1，因此只选择远点像。
[0168] 另外，在公式（16)中，对比度比小于B，是能够可靠地选择两个图像中的哪一个的 状态，由于W = 0,因此只选择近点像。
[0169] 在公式（17)中，远近像的对比度比大致相同，是不稳定的区域，因此在该区域中 线性地赋予加权系数W，以某种比例对远点像（Rf，Gf，Bf)和近点像（Rn，Gn，Bn)进行加法 处理。当不进行该处理时，会导致合成图像不连续。
[0170] 因此，当将两个图像的RGB信号分别设为（Rf，Gf，Bf)以及（Rn，Gn，Bn)时，合成 信号R'、G'、B'如下。
[0171] G，= W(i，j)Gf(i，j) + (l_W(i，j))Gn(i，j)……（18)
[0172] R，= W(i，j)Rf(i，j) + (l_W(i，j))Rn(i，j)……（19)
[0173] B，= W(i，j)Bf(i，j) + (l_W(i，j))Bn(i，j)……（20)
[0174] 图像合成处理部33对通过该图像校正处理部32进行校正后的两个图像生成进行 合成后的合成图像，并向图像显示装置5侧输出该合成图像，图像显示装置5显示合成图 像。
[0175] 这样，根据本实施方式，无论是在接近观察中还是在远方观察中都能够防止由于 噪声等而在合成图像中产生不连续区域、或者防止光学像模糊，并且能够获取扩大了景深 的图像。另外，由于利用同一摄像元件拍摄两个图像，因此与具备多个摄像元件的情况相 t匕，能够降低制造成本，不使装置大型化而获取扩大了景深的图像。
[0176] 另外，通过设定为满足上述公式（5)，能够得到希望的景深，并且成为能够安装到 内窥镜2的前端部6a的尺寸，另外，还能够确保希望的亮度，并且能够防止分辨率的劣化。
[0177] 此外，在上述的图2的偏振分束器18的情况下，在一次、即奇数次的反射后使光学 像在摄像元件17中成像，因此任意一方的图像成为图10那样的成像状态（镜像），在处理 器装置4中实施使镜像反转而使像方向一致的图像处理。基于光学上的偶数次反射的镜像 的校正有可能导致对物光学系统的大型化、棱镜的成本提高，因此优选在图像校正处理部 32中通过镜像反射来进行基于奇数次的反射的镜像校正。
[0178] 此外，在摄像元件为在内窥镜长度方向上长的形状的情况下，优选考虑显示装置 的长宽比来使合成图像适当地旋转。
[0179] 此外，在如本实施方式那样，应用偏振分束器18进行偏振分离的情况下，当所分 离的光的偏振状态不是圆偏振时，分离后的像的亮度会产生差。即，比较容易对规则的亮度 差异进行图像处理中的校正，但在观察条件下局部地产生了亮度差异的情况下，会导致校 正不完全、或在合成图像中产生亮度不均。例如由观察被摄体的角度决定被摄体像从圆偏 振变形的条件。一般将该角度称为布儒斯特角（Brewster's angle) 0b，当超过该角度时， 来自被摄体的偏振状态从圆偏振变形。
[0180] Θ b = Arctan (n2/nl) ......(21)
[0181] 通过内窥镜观察的被摄体被粘膜覆盖，当将该粘膜的折射率设为与水大致相同 (n2 = 1. 333)时，Θ b约为53°。例如在内窥镜的前端是图11所示那样的结构的情况下， 在观察被摄体时为如下情况。当试着应用布儒斯特角9b = 53°时，在比较接近的条件下， 在视野的比较周边的部分超过该角度。也就是说，在合成图像的视野的比较周边的部分有 可能产生亮度不均。此外，当被摄体具有比较饱和的亮度分布时，该偏振状态破坏而导致的 亮度不均变得明显。
[0182] 虽然在视野的周边部存在该情况，但内窥镜往往比较接近地观察被摄体像的血管 走向、粘膜构造，成为使用户非常厌烦的图像的可能性高。
[0183] 因此，例如图12所示，优选在光路分割元件的比偏振分离膜更靠物体侧的位置配 置λ/4板，以便将该偏振状态破坏后的状态恢复为圆偏振。此外，优选如图13所示那样地 在α或β方向上配置λ/4板，以便最大程度地得到偏振状态的消除效果。
[0184] S卩，对于λ/4板的高速轴，在插入部前端配置有多个照明光学系统的情况下，配 置为相对于以下平面大致平行或垂直，该平面包含对物光学系统的光轴和多个上照明光学 系统中的离对物光学系统最远的照明光学系统的光轴，或者包含对物光学系统的光轴和多 个照明光学系统中的照明光量最多的照明光学系统的光轴。
[0185] 通常，考虑配光特性而配置有多个内窥镜的照明窗。根据图11可知，如果照明窗 和对物窗分离，则布儒斯特角9 b变得更大。也就是说，更优选将λ/4板的高速轴配置于 远离对物窗的照明窗。另外，如上述那样，在亮度分布饱和的条件下，亮度不均更为明显，因 此也可以以照明光量更多的照明窗为对象来配置λ/4板。
[0186] 另外，为了实现内窥镜内部的小型化而优选用于消除偏振的λ/4板、为了实现上 述的偏振分离而配置在光路分割元件中的λ/4板是树脂薄膜等薄的元件。例如，通过使用 在液晶监视器、触摸屏等中使用的相位差薄膜，能够期待内窥镜的小型化。此外，如上所述， 不需要将这样的λ /4板树脂薄膜配置在光路分割元件的正前方，将其配置在与偏振分离 膜相比更靠物体侧即可，例如也可以粘结在红外线截止滤光器等的平面部。
[0187] 另外，也可以将具有从偏振分束器18的物体侧看与入射面成45度角的晶轴的晶 体滤光器配置在偏振分束器18的物体侧，由此消除分离后的两个像的亮度差。
[0188] 附图标记说明
[0189] 1 :内窥镜系统；2 :内窥镜；3 :光源装置；4 :处理器装置；5 :图像显示装置；6 :插 入部；16 :对物光学系统；17 :摄像元件；17a、17b :受光区域；17c :校正像素区域；18 :偏振 分束器；18a :第一棱镜；18b :第二棱镜；18c :反射镜；18d : λ /4板；18e :偏振分离膜；19 : 摄像单元；30 :图像处理部；32 :图像校正处理部；33 :图像合成处理部。
【权利要求】
1. 一种内窥镜系统，具备： 对物光学系统，其设置在插入部前端，用于获取被摄体像； 光路分割单元，其将上述被摄体像分割为焦点不同的两个光学像； 摄像元件，其对上述焦点不同的两个光学像同时进行拍摄而获取两个图像； 图像校正单元，其对通过该摄像元件获取到的两个上述图像进行校正，使得两个上述 图像的焦点以外的相互差异大致相同；以及 图像合成处理部，其在通过该图像校正单元进行校正后的两个上述图像之间的对应的 规定区域中选择对比度相对高的图像来生成合成图像。
2. 根据权利要求1所述的内窥镜系统，其特征在于， 在两个上述图像之间的对应的规定区域中各规定区域的对比度大致相同的情况下，图 像合成处理部对各规定区域进行加权来生成合成图像。
3. 根据权利要求1或2所述的内窥镜系统，其特征在于， 上述图像校正单元对上述图像进行校正，以使两个上述光学像的位置、角度以及倍率 大致相同。
4. 根据权利要求1?3中的任一项所述的内窥镜系统，其特征在于， 上述图像校正单元对上述图像进行校正，以使两个上述光学像的亮度、颜色大致相同。
5. 根据权利要求1?4中的任一项所述的内窥镜系统，其特征在于， 在上述光路分割单元使分割得到的一方的光学像在上述摄像元件中镜像反转而成像 的情况下，上述图像校正单元使两个上述图像中的任意一方镜像反转。
6. 根据权利要求1?5中的任一项所述的内窥镜系统，其特征在于， 在将上述对物光学系统的有效光圈值表示为Fno、将上述摄像元件的垂直方向像素尺 寸表示为Pix的情况下，上述对物光学系统和上述摄像元件满足以下的条件 2. 4 彡 Fno/Pix 彡 4. 28。
7. 根据权利要求1?6中的任一项所述的内窥镜系统，其特征在于， 上述光路分割单元具备偏转分离单元和λ /4板，该偏转分离单元对来自上述对物光 学系统的被摄体像进行偏振分离，该λ/4板配置于比该偏振分离单元更靠被摄体侧的位 置，是赋予1/4波长量的相位差的1/4波长相位元件， 该λ/4板的高速轴配置为：相对于包含配置在上述插入部前端的照明光学系统的光 轴和上述对物光学系统的光轴的平面大致平行或垂直。
8. 根据权利要求7所述的内窥镜系统，其特征在于， 在上述插入部前端配置有多个照明光学系统，上述λ/4板的高速轴配置为：相对于包 含上述对物光学系统的光轴和多个上述照明光学系统中的离上述对物光学系统最远的照 明光学系统的光轴的平面大致平行或垂直。
9. 根据权利要求7所述的内窥镜系统，其特征在于， 在上述插入部前端配置有多个照明光学系统，上述λ/4板的高速轴配置为：相对于包 含上述对物光学系统的光轴和多个上述照明光学系统中的照明光量最多的照明光学系统 的光轴的平面大致平行或垂直。
10. 根据权利要求7?9中的任一项所述的内窥镜系统，其特征在于， 上述λ/4板是高分子薄膜。
【文档编号】G02B23/24GK104219990SQ201380018622
【公开日】2014年12月17日 申请日期:2013年6月10日 优先权日:2012年6月28日
【发明者】露木浩, 菅武志, 三本木将夫 申请人:奥林巴斯医疗株式会社, 奥林巴斯株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1