专利名称：图像处理装置的制作方法
技术领域：
本发明涉及一种能够获得表面凹凸信息的图像处理装置，该表面凹凸信息超出了从摄像元件所取得的二维亮度图像中得到的信息。
背景技术：
内窥镜对于由粘膜覆盖的生物体的脏器器官的壁表面进行照明光照射而进行摄像。在这样的内窥镜的领域，在表面的颜色变化的同时，需要确认表面的微细的凹凸的纹理。但是在内窥镜中，按照被摄物体上不发生阴影的方式而使照明的光轴和摄像的光轴的夹角大体为0°，因此难以通过阴影捕捉表面的微细的凹凸构造。针对这一课题提出的现有技术是，在现存的基于彩色亮度的内窥镜摄像系统的状态下，通过图像处理的设计，根据图像的浓淡信息识别表面凹凸。另外，还提出有使用偏振照明和偏振摄像的偏振光内窥镜。前者的技术，例如公开在专利文献I中。该技术中，比较所拍摄的彩色图像的特定像素的信号电平值与其周围8个像素的平均信号电平值。然后，特定像素的信号电平值低时，判断为被摄物体的对应部位从周围凹陷(塌陷)。然后，在判断为从周围塌陷的区域，通过降低红色像素信号和绿色像素信号的信号电平值而强调蓝色成分。由此，监控器装置所再现的彩色图像，正好呈现出通常的内窥镜检查中由医师实施的蓝色系色素溶液散布所类似的颜色对比，脏器表面的凹凸变得清楚。后者的技术有专利文献2和专利文献3。其中公开有一种内窥镜,该内窥镜具备如下向物体照射特定的偏振成分的光的偏振光照射部；接收来自所述物体的回光中的所述特定的偏振成分的光、和与所述回光中的所述特定的偏振成分不同的偏振成分的光，且进行偏振摄像的偏振光镶嵌型的光接收部，该内窥镜生成表示所述物体的表面的形状变化的形状变化图像。特别是观察者容易辨认粘膜的表面凹凸，就是因为偏振特性计算部计算出偏振方位并能够生成表面的倾斜信息的二维分布。专利文献4、专利文献5和非专利文献1，公开的是可以使偏振面旋转的器件。先行技术文献专利文献专利文献1:专利3869698号公报专利文献2 :特开2009-246770号公报专利文献3 :特开2010-104424号公报专利文献4 :特开平11-313242号公报 专利文献5 :US2009/0079982A1专利文献6 :专利第4235252号非专利文献非专利文献1:Nicolas Lefaudeux, et. al " Compact and robust linearStokes polarization camera " , Proc.SPIE, Vol. 6972,69720B, Polarization Measurement, Analysis, and Remote Sensing VIII(2008)
非专利文献2 :池内克史“基于反射率分布图，根据二维浓淡图像再构成三维形状的两个方法”，电子信息通信学会志'82/7，Vol. J65-D No. 7，PP842-849在现有技术中，为了使表面的凹部(沟槽)明显化，在通常的亮度图像处理中，多使用“凹部比邻接像素暗”这样的特征。但是实际上，其不成立的形状的凹部也很多。以本发明者的经验而判明的事实是，例如在具有平坦的底面的凹部、和具有在邻接的倾斜面相互使光反射这样的形状的凹部，形成底部和斜面的像素，反而比周围的像素反射得明亮。在这样的形状的凹部，现有的亮度图像处理无效，误判多发。另外使用偏振光的现有技术中，向物体照射圆偏振成分的光，基于来自物体的回光所关联的椭圆偏振光的方位，能够计算表面的倾斜度。但是，在上述生物体中所见的这种无定形的一般的凹部，求得其表面法线困难。另一方面，关于所推定的凹凸信息的显示，现有技术中作为实施凹部(沟槽)的明显化的显示技术而进行“伪色素散布处理”等凹部区域的二维显示，但这无法感受表面凹凸的真实感(逼真感)这样的课题存在。
发明内容
本发明正是要解决上述的课题，其目的在于，提供一种不仅亮度、而且被摄物体表面的微细凹凸能够高真实性地再现的且可小型实现的图像处理装置。本发明的图像处理装置，具备将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明部；所述三种以上的直线偏振光分别照射所述被摄物体时，依次拍摄所述被摄物体的摄像部；和图像处理部。所述图像处理部具有如下变动亮度处理部，其处理由所述摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态；反射判定部，其基于所述变动亮度处理部的输出，判别在所述凹陷区域进行二次反射而形成回光的所述多重反射区域、和在所述被摄物体表面进行一次反射而形成回光的一次反射区域；镜像搜索部，其决定在所述被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对。所述图像处理部基于所述多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像。在有的实施方式中，所述图像处理部还具有如下从所述多重反射区域的各对生成凹槽片段(>一'7''七夕^ >卜groove segment),且连接所述凹槽片段，由此推定所述凹陷区域的位置的凹陷区域连接部；决定所述凹陷区域的截面形状的截面形状模型化部。在有的实施方式中，所述图像处理部还具备法线再现部，其将所述多重反射区域中的表面法线和所述一次反射区域中的表面法线加以统一而生成法线图像。在有的实施方式中，还具有如下设定光源位置的光源方向设定部；生成在使所述光源位置虚拟变动时的光源变动图像的光源变动图像生成部；将所述光源变动图像和亮度图像重叠合成地显示的图像显示部。在有的实施方式中，所述光源变动图像生成部使用所述法线图像和物理反射模型而生成所述被摄物体的亮度图像。在有的实施方式中，所述偏振照明部和所述摄像部被安装于内窥镜。在有的实施方式中，所述偏振照明部通过使非偏振光透过偏振面转换元件，而照射偏振面按三种以上依次变化的直线偏振光。
在有的实施方式中，所述偏振照明部具有将非偏振光引导至所述偏振面转换元件的光导向设备。在有的实施方式中，所述摄像部具有黑白摄像元件或彩色摄像元件。在有的实施方式中，还具有亮度算术平均部，其通过对于在将偏振面的角度不同的三种以上的直线偏振光依次照射到被摄物体时由所述摄像部取得的多个亮度图像进行加法算术平均，生成与在非偏振照明下的图像所相当的平均亮度图像。在有的实施方式中，所述变动亮度处理部，基于从所述摄像部输出的像素信号，求得所述偏振面的角度与各像素的亮度值的关系，且生成按各像素所述亮度值为最大的且由所述偏振面的角度所定义的亮度最大角图像、和按各像素随着所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比率所定义的亮度调制度图像。在有的实施方式中，具有图像显示部，其将所述亮度最大角图像、所述亮度调制度图像的任意一个与亮度图像重叠合成地显示。在有的实施方式中，所述反射判定部，基于所述亮度最大角图像和所述亮度调制度图像，在以所述亮度最大角为色相角、以所述亮度调制度为色度的伪彩色图像中，将具有所预先设定的值以上的亮度调制度的像素，作为构成所述多重反射区域的像素进行提取。在有的实施方式中，所述凹陷区域连接部，推定所述凹陷区域的表面法线的Azimuth (方位)角。在有的实施方式中，所述截面形状模型化部，对于所述凹陷区域的截面形状以特定的函数进行模型化，利用所述多重反射区域的表面法线的Azimuth角大致达到45度的性质，推定所述凹陷区域的任意位置的表面法线的Zenith(天顶)角。在有的实施方式中，所述偏振照明部将偏振面按三种以上依次变化的透过了偏振面转换元件的光，经由中继透镜光学系统，照射到所述被摄物体。在有的实施方式中，所述偏振照明部具有使同心圆状态的多个环状照明或面照明光源与偏振面转换兀件加以组合的光学系统。在有的实施方式中，所述偏振照明部具有将具有比摄像系统的光轴更靠内侧朝向的照明系统光轴的面照明光源与偏振面转换元件加以组合的光学系统。在有的实施方式中，所述偏振照明部具有使消偏振宽带分束器和面照明光源和偏振面转换兀件加以组合的光学系统。本发明的图像处理方法，是包括如下工序的图像处理方法将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体上的偏振照明工序；所述被摄物体由所述三种以上的直线偏振光分别照射时，依次拍摄所述被摄物体的摄像工序；和图像处理工序。并且，所述图像处理工序包括处理由所述摄像工序拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态的变动亮度处理工序；基于所述变动亮度处理工序的结果，判定在所述凹陷区域进行二次反射而形成回光的所述多重反射区域、与在所述被摄物体表面进行一次反射而形成回光的一次反射区域的反射判定工序；决定在所述被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对的镜像搜索工序；基于所述多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像的工序。本发明的内窥镜装置，具备将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体上的偏振照明部； 在所述被摄物体由所述三种以上的直线偏振光分别照射时，依次拍摄所述被摄物体的摄像部；图像处理部；基于图像处理部的输出而显示图像的显示部。并且，所述图像处理部具备处理由所述摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态的变动亮度处理部；基于所述变动亮度处理部的输出，生成伪彩色图像的伪彩色图像转换部。所述变动亮度处理部，基于从所述摄像部输出的像素信号，求得所述偏振面的角度与各像素的亮度值的关系，且生成按各像素所述亮度值最大的且由所述偏振面的角度所定义的亮度最大角图像、和按各像素随着所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比率所定义的亮度调制度图像。所述伪彩色图像转换部，基于所述亮度最大角图像和所述亮度调制度图像，生成以所述亮度最大角为色相角、以所述亮度调制度为色度的伪彩色图像，且将所述伪彩色图像和亮度图像进行合成而显示于所述显示部。 在本发明的图像处理装置中，因为具备将偏振面的角度不同的三种以上的直线偏振光依次照射到被摄物体上的偏振照明部、和在被摄物体由三种以上的直线偏振光分别照射时依次拍摄被摄物体的摄像部，所以不需要重新开发特别的偏振摄像元件，就能够与彩色图像同时地取得与表面的凹凸形状所对应的反射偏振状态的相关信息。如此，在本发明中，根据反射偏振状态，得到表面凹凸的信息。因为能够直接利用通常的彩色摄像元件，所以也不需要使用高成本的偏振摄像元件，就能够取得用于辨认表面凹凸的信息。
图1A是表示本发明的图像处理装置的基本构成的1B是模式化地表示偏振面的角度不同的三种的直线偏振光的偏振方向的立体1C是表示关于本发明的实施方式I的图像处理装置的构成的2是表示偏振面控制元件的操作的3是偏振面角度的定义4(a)和(b)是表示关于本发明的实施方式I的摄像元件的光敏器件配置例的5 (a)和(b)是入射光对于被摄物体表面从正上方入射而进行一次反射的6是表示以横轴为入射角时的P波和S波的能量的菲涅耳反射率的曲线7(a)和(b)是表示偏振照明的偏振面旋转所造成的按像素的亮度变动的曲线8 (a)和(b)是二次反射造成的偏振反射光的亮度变动的说明9 (a)是表示最简单的凹槽(沟槽)的形状的图，(b)是表示入射光的反射的情况的10(a)是表示具有底面和斜面的凹槽(沟槽)形状，(b)是表示入射光的反射的情况的11 (a)是表示隆起(凸部)密集的形状的图，(b)是表示入射光的反射的情况的12(a)是表示凹坑(凹部)形状的图，(b)是表示入射光的反射的情况的13是表示关于本发明的实施方式I的图像处理程序的构成的方块图
图14是由四种偏振照明所对应的偏振亮度试样、进行余弦函数拟合的15是说明一次/ 二次反射判定部的处理的流程16A是表示作为拍摄景象的图11的形状的16B是模式化地表示分离的一次反射区域REFl的16C是模式化地表示分离的二次反射区域REF2的17A是说明镜像搜索部的处理的17B是说明镜像搜索部的处理的18A是说明镜像搜索部的处理的流程18B是表示一个反射区域的数据的19是说明被搜索区域的搜索详情的20A是表示实际被摄物体的亮度图像的20B是使亮度最大角图像YPH与亮度调制度图像YD成为一个伪彩色图像的20C是表示以量子化处理判定为二次反射的微小反射区域的20D是表示通过镜像搜索部的处理提取凹槽片段的结果的21A是说明多个镜像对的发生原因的图(剖面图)图21B是说明多个镜像对的发生原因的图(反射区域的图)图22是说明凹陷区域连接部的处理的流程23A是表示凹陷区域连接部的凹槽片段的设定处理结果的23B是表示凹陷区域连接部的凹槽片段的放大处理结果的23C是表示凹陷区域扩张部的细化的化理结果的23D是表示凹陷区域扩张部的法线决定的处理结果的24A是表示凹坑的情况下的凹陷区域连接的处理结果的图(凹槽片段的设定)图24B是表示凹坑的情况下的凹陷区域连接的处理结果的图(凹槽片段的放大)图24C是表示凹坑的情况下的凹陷区域连接的处理结果图(细化)图24D是表示凹坑的情况下的凹陷区域连接的处理结果的图(法线推定)图25是说明照相机坐标系的法线矢量的Azimuth(方位)角，Zenith(天顶)角的26是说明法线推定部的处理的流程27是推定的凹槽的俯视图和剖面28是一次反射区域的法线推定的原理29A是通过迭代法推定的表面法线和被摄物体剖面29B是模式化地表现所推定的法线图像的30是表面法线与光源、视点的几何学的关系图31是表示光源变动图像的示例的32A是表示亮度图像和光源变动图像的合成部的构成例的32B是表示亮度图像和光源变动图像的合成的33A是表示亮度图像与伪彩色图像的合成部的构成例的图 图33B是表示亮度图像与伪彩色图像的合成的34是表示关于本发明的实施方式I的变形例的图像处理程序的构成的方块图
图35A是表示REFl区域为凸起区域时的35B是表示REFl区域为凹陷区域时的36是表示本发明的第二实施方式的37是表示本发明的第一、第二实施方式的变形例的38是表示本发明的第一、第二实施方式的变形例的39是表示本发明的第一、第二实施方式的变形例的40是表示本发明的第一、第二实施方式的变形例的41是表示本发明的第一、第二实施方式的变形例的图
具体实施方式
本发明的图像处理装置的示例，如图1A所示，具备偏振照明部120、摄像部140、变动亮度处理部1302、反射判定部1305、镜像搜索部1306。变动亮度处理部1302、反射判定部1305和镜像搜索部1306被包含在图像处理部150中。就偏振照明部120而言，将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体100上。本发明在作为拍摄对象的被摄物体100的表面，存在多个凹陷区域IOOa0被摄物体100例如在生物体的脏器表面，可观察到多个凹陷区域。直线偏振光由存在于被摄物体100的表面的凹陷区域IOOa和凹陷区域IOOa以外的区域反射、且入射到摄像部140。摄像部140在三种以上的直线偏振光分别照射被摄物体100时，依次拍摄被摄物体 100。图1B是模式化地表示偏振面的角度不同的三种的直线偏振光的偏振方向的立体图。图示的三个偏振状态10、12、14，分别具有角度不同的偏振面。在模式化地表示图1B的各偏振状态10、12、14的圆形的内部，记述有双方向的箭头。该箭头表示规定直线偏振光的偏振面的电场矢量的振动方向。图1B中表示右手系的XYZ坐标。在本说明书中，在由摄像部140取得的图像面内，设定X轴和Y轴,将Z轴的反方向设定为视线(光轴)方向。直线偏振光的偏振面，是与振动的电场矢量平行的、且包含光轴的平面。米用上述的坐标系时，直线偏振光的电场矢量的振动方向与XY平面平行。因此，就偏振面的角度(TI)而言，相对于X轴的正方向而由偏振方向(电场矢量的振动方向)形成的角度规定。关于该角度VI，后面参照图3更详细地说明。在本发明中，从偏振照明部120将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体100上，摄像部140在被摄物体100由三种以上的直线偏振光分别照射时，依次对于被摄物体100进行拍摄。再次参照图1A。变动亮度处理部1302，基于从摄像部140输出的像素信号，求得偏振面的角度与各像素的亮度值的关系，生成“亮度最大角图像”和“亮度调制度图像”。在本说明书中，所谓“亮度最大角图像”，是就通过拍摄所得到的构成图像的各像素而言亮度值最大的由偏振面的角度定义的图像。例如，由某一坐标(x，y)特定的像素P(x，y)的亮度值，如果在被摄物体100由具有角度45°的偏振面的直线偏振光照射时达到最大，则对于该像素P(x，y)，设定作为亮度最大角的45°的值。一个“亮度最大角图像”，通过对于各像素设定这样的亮度最大角的值而构成。另一方面，所谓“亮度调制度图像”，是由关于各像素而随着偏振面的变化的亮度值的变动的振幅与亮度平均值的比率所定义的图像。如果某一像素P(x，y)的亮度调制度为0.3，则对于该像素P (x，y)设定0.3的值。一个“亮度调制度图像”，是通过对于各像素设定这样的亮度调制度的值而构成。如此，本说明书的所谓“图像”，不只意味着由人的视觉直接辨认出的亮度图像，而且还广义地包含分别给予到多个像素的数值的阵列。例如显示一个“亮度最大角图像”时，能够以在“亮度最大角图像”的各像素所设定的亮度最大角的值所对应的明度显示图像。如此表现的“亮度最大角图像”，虽然包含人的视觉能够辨认的明暗的图案，但其与表示被摄物体的亮度的通常的亮度图像不同。另外，在本说明书中，为了简单，有将表示各种“图像”的数据本身称为“图像”的情况。图1A所示的反射判定部1305，基于变动亮度处理部1302的输出，判别在凹陷区域进行二次反射而形成回光的多重反射区域、和在被摄物体表面进行一次反射而形成回光的一次反射区域。如后述，在被摄物体表面的凹陷区域和凹陷区域以外的区域之间，偏振反射状态存在差异，因此能够判别这些区域。在凹陷区域，因为多重反射(代表性的是二次反射)产生，所以多重反射区域就构成显示出同样的偏振反射状态的对(配对)。这样的多重反射区域的代表性的一例，可以是截面为V字状的凹槽(沟槽)。具有这样的凹槽这种最简单的构造的例子，如后述的图9所示，是在一个方向上直线延伸的凹槽。但是，具有多重反射区域的凹陷区域，具有截面大致倾斜/弯曲成V字状或U字状的表面即可，可以具有其他的形态。如之后说明的，在图10至图12所例示这样的形态下，其截面中也存在大致倾斜或弯曲成V字状或U字状的面。因此，在这样的面产生多重反射，能够观察到显示出同样的偏振反射状态的区域的对。这样的表示同样的偏振反射状态的多重反射区域的对，在被摄物体的表面连绵，形成更宽阔的凹陷区域。因为该凹陷区域的代表例是凹槽，所以在本说明书中，有将包含多重反射区域的对的凹陷区域称为“凹槽”的情况。但是，本说明书的“凹槽”，并不限于在被摄物体的表面沿着一个方向延长的沟槽状的凹陷区域。本说明书中的“凹槽”，可以是具有严格地说称不上凹槽的形状(例如，图11和图12所示这样的形状)的凹陷区域。镜像搜索部1306决定在被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域的对。关于该对的决定方法，稍后详细说明。图像处理部150，基于多重反射区域的对，生成表示被摄物体表面的凹陷区域的图像。图1C是模式化地表示本发明的实施方式I的图像处理装置的整体构成的图。就本图像处理装置而言，其具备内窥镜101和控制装置102。内窥镜101包括如下具有摄像元件Iio的前端部113 ;具有光导向设备105和视频信号线111的插入部103。内窥镜101的插入部103，如图示这样，具有在左右长、且可挠性弯曲的构造。光导向设备105在弯曲的状态下也能够传送光。控制装置102具备光源104和图像处理器108。从光源104发出的白色非偏振光，经由光导向设备105而传导至前端部113的偏振面控制元件106，成为照射到被摄物体上的直线偏振的光121。偏振面控制兀件106,例如由偏光板和液晶兀件构成，能够通过电压将非偏振光转换成任意的偏振面的直线偏振光。 就偏振面控制元件106而言，其是使用了液晶的且可以使偏振面旋转的器件。其构成例在专利文献4、专利文献5以及非专利文献I等中已经公开。偏振面控制元件106，例如能够由铁电液晶、偏振薄膜和1/4波片等加以组合的电压外加型液晶器件构成。并且，该偏振照明通过照明透镜107被照射到被摄物体上。同步装置112向偏振面控制元件106输送偏振面旋转的指示信号，且使照明的偏振面旋转，并向摄像元件110输送拍摄开始信号而取得视频，将以上的处理实施多次。来自被摄物体的回光122，通过摄影透镜109而在摄像元件110上成像。摄像元件110可以是黑白摄像元件、或者具有彩色马赛克的单板彩色摄像元件。所拍摄的视频信号，经由视频信号线111而到达图像处理器108。在本实施方式中，图1A的偏振照明部120由光源104、光导向设备105、偏振面控制元件106和照明透镜107实现。另外，图1A的摄像部140由摄影透镜109和摄像元件110实现。图1A的变动亮度处理部1302、反射判定部1305和镜像搜索部1306，由图像处理器108实现。接着，参照图2说明偏振面控制元件106的操作。在偏振面0°状态203下拍摄第一图像，在偏振面45°状态204下拍摄第二图像，在偏振面90°状态205下拍摄第三图像，在偏振面135°状态206下拍摄第四图像。各偏振面不需要各错开45°，只要错开的是使180°除以3以上的整数的角度即可。摄像元件为高灵敏度时，或者照明的照度高时，因为能够缩短曝光时间，所以能够更细微地设定旋转角。就偏振面的旋转所需的时间而言，根据上述文献，存在操作速度从20(ms)左右至40 100(i! sec)左右的高速型。如果使用高速型的液晶，并且将摄像元件的灵敏度提高至可以在此时间下进行拍摄的程度，则即使实施方向的偏振旋转而进行拍摄，也可以使运动图像视频的拍摄拥有充分的性能。另外图像处理对于最低4帧的图像拍摄单位进行实施，但是，通过使处理为流水线(^ ^ 5 ^ > =Pipeline)处理，可以使实际所花费的处理时间纳入I帧时间内。如图1C所表明的，照明透镜107的光轴与摄影透镜109的光轴大体相等。这是为了在由内窥镜进行观察时，在被摄物体上尽量不使影子发生。还有，在内窥镜通常使用的方法中，大多是要将非偏振光照射到被摄物体上的情况。在本发明中，例如，通过将上述第一图像至第四图像的各个偏振图像相加，能够生成非偏振的平均亮度图像。根据本发明者们的实验判明，若将偏振面的角度为等间隔的多个偏振光照射到被摄物体时的回光的图像相加，则偏振光的效果抵消，因此，结果是能够得到与使用非偏振照明同样的效果。图3是表示偏振照明的偏振面的角度的定义的图。如前述，朝向被摄物体设定X-Y坐标系。偏振面的角度是按照使X轴的方向为0°的方式如图3所示的方式定义。角度在反射中被保存时，反射光的偏振面的角度与入射光的偏振面的角度同等。若使偏振面的角度增加或减少，则以180°为周期，使同等的偏振状态反复。即，以偏振面的角度为变量的函数，是具有180°的周期的周期函数。还有，在本说明书中，在将偏振照明的偏振面的角度称为“入射偏振面角度”的情况。图4 (a)和(b)分别是表示摄像元件110的摄像面的构成例的图。如图4 (a)所示，在摄像面，多个光敏器件(光电二极管)以行和列状(X-Y方向)被规则地排列。在彩色摄像时，如图4(b)所示，设置有透过RGB三种的波长的光的彩色马赛克滤光镜。各个光敏器件通过光电转换按照入射的光的量而生成电信号。这部分能够使用一般的单板彩色摄像元件。如此作为摄像元件110，能够利用现有的彩色亮度图像用的摄像元件。在本实施方式中，可以通过以照明光为直线偏振光、且一边使其偏振面旋转一边进行拍摄，由此可以取得被摄物体的表面信息。因此，若使用专利文献2和专利文献3所公开的这种用于进行偏振摄像的偏光马赛克形的光接收元件等，在偏振图像上会发生莫尔条纹等的赝像，但根据本实施方式，具有使这样的画质劣化要因消除的优点。接着，对于使偏振照明的偏振面旋转时的亮度的变动的性质进行说明。图5表示对于表面801入射入射角接近0的偏振光、且由照相机观测直接反射的情况。图5 (a)、(b),入射的偏振光的偏振面有90°不同。但是，就反射光的直线偏振光而言，只是光的行进方向改变，作为能量的亮度不发生变动。这基于以下的理由。图6是表示基于菲涅耳理论的镜面反射率的入射角依存性的曲线图，横轴表示入射角，纵轴表示菲涅耳反射率。折射率假设为n = 1.8。视为垂直入射的0° 15°附近的入射角度，相当于范围601。如从曲线图读取的，在该范围601内，无论P波还是S波，其反射率大体相同。因此，偏振光大体垂直入射表面时，P波和S波这样的偏振光对于表面的区别不存在，而是以相同举动反射。即回光的偏振状态与入射光相同。因此，不会由于偏振面变化而使回光的亮度变动。还有，这一事实在折射率n =1. 4 2. 0的自然物体中也普遍成立。如上，对于光滑表面以大体为0的入射角度入射偏振光、其进行I次反射而被观测时，即便使偏振照明的偏振面只旋转角度VI，因为反射光的能量不变，所以所观测到的亮度Y也不变。图7表示，相对于有凹凸的表面而偏振照明的偏振面的角度为0°、45°、90°、135°时所得到的、亮度图像的特定的像素的亮度Y的变动。如此在凹凸表面，亮度Y对于各偏振照明的偏振面的角度示出周期性的变动。以下，详述其理由。图8表示在有凹凸的表面形成有凹槽801、且在其斜面发生二次的反射的情况。该多重反射被认为在表面的凹凸多的被摄物体表面经常发生，第一次和第二次的反射的性质重要。根据几何学上的配置，极少会在与二次反射大体相同的位置发生三次反射，虽然也有这种情况，但其发生频率极低，因此以后只关注二次反射。一般将反射的性质分为镜面反射和漫反射时，能够设想如下四种现象I)第一次漫反射第二次镜面反射2)第一次漫反射第二次漫反射3)第一次镜面反射第二次漫反射4)第一次镜面反射第二次镜面反射。但是根据实验判明，被摄物体表面光滑时，4)的无论第一次还是第二次都将镜面反射这一现象作为主要的现象考虑。如图8(a)所示，相对于凹槽的主轴方向802垂直偏振的偏振照明为P波。若再次参照图6，则被摄物体凹槽的倾斜角假定为45°左右，若对其从正上方入射照明光，则如从602的菲涅耳反射率的曲线图所读取的，在此入射角范围内，与S波相比较，P波的反射率极弱。此外P波在经由一次和二次反射的期间进一步变弱。另一方面，图8(b)所示的S偏振光，即使经二次反射也没怎么变弱。其结果是，在对于凹槽形成P波的入射偏振面，反射光在能量上也极弱，亮度下降。另一方面，在作为S波的入射偏振面，反射光其能量却没怎么衰减，亮度也高。如果以如上方式假定表面凹槽，能够说明由实验取得的、因入射光的偏振面的旋转所造成的反射光的亮度变化。将凹槽的二次反射作为偏振现象进行检测，能够使用偏振光旋转照明而进行亮度变动，对其进行观测。但是，上述这样的凹槽模型只是稍做人工处理的沟槽。生物体的脏器、粘膜表面的凹凸则呈现各种各样的形状。图9至图12是使这样的现实的凹凸模型化的图。图9表示最简单的凹槽(沟槽)。其只由两种斜面901形成，大体从正上方入射的光，在斜面进行二次反射(902)，而形成回光。在此模型化中，凹槽中只存在二次反射现象。因此，某种程度上，在分辨率低的状况下，多是凹槽中心最暗，即使是使用现有的基于亮度的图像处理，也可以检测出凹凸。但是在以下的形状中，一次反射与二次反射混杂，基于亮度的凹凸检测变得困难。图10是凹槽具有底面1001的情况，是可见浅而宽的陷落部等的形状。这种情况下，从正上方入射的光，不仅在斜面1004进行二次反射(1002)而形成回光，而且在底面进行一次反射(1103)。因此若以亮度进行观测，则凹槽的中心变得最明亮，成为凹部比周围暗这样反常识的状态，而使利用亮度的图像处理中凹凸判定困难。图11是平坦部上的凸形状1105密集的区域的形状，是隆起状的肿瘤等发生时可见的形状。为了简单，使凸部模型化为半球状，但凸部1105的间隙部1101能够视为凹部，从大体正上方入射的光如图11(b)所示，在邻接的表面进行二次反射(1102)而变成回光。在隆起的部分，光进行一次反射而形成亮度非常高的区域，但在间隙的凹部的底部，也有一次反射光发生的区域1104存在。该区域1104屡次达到非常高的亮度。因此，若以亮度进行观测，则成为凹部比周围明亮这样的状态，根据由亮度进行的凹凸判定，难以正确检测图11所示这样的凹陷区域。图12表示在平坦部上单独存在有凹坑状的凹部1204的形状。凹部1204作为半球状的凹坑而模型化。这种情况下，因为也存在面对面的斜面的对，所以大致从正上方入射的光进行二次反射(1201)而形成回光。但是，因为入射光在底面进行一次反射(1202)，所以若以亮度进行观测，则变成凹部1204的中心1203为最明亮的状态。其结果是，成为凹部1204比周围暗这样反常识的状态，因此根据由亮度进行的凹凸判定，难以正确地检测图12所示这样的凹陷区域。相对于在以亮度进行的图像处理中难以得到凹凸信息的多样的形状，在本实施方式中，从使用了旋转偏振照明的信息通过切分一次反射与二次反射现象，就能够正确地检测表面凹凸信息。图13是表示图像处理程序108的构成的方块图。本实施方式所实行的图像处理，采用的原理是，通过照射偏振面旋转的偏振照明，根据观测亮度变动的信息而检测凹凸。使照明的偏振面角度变为0°、45°、90°、135°时分别拍摄的四张亮度图像群1301被输入到图像处理程序108。使偏振照明旋转时的亮度变动判明为周期180°的余弦函数，因此变动亮度处理部1302将其与余弦函数进行最佳拟合。亮度变动将照明的偏振面的角度设为VI，以如下方式表现。
[算式I]
权利要求
1.一种图像处理装置，其中， 具备 将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明部；所述三种以上的直线偏振光分别照射所述被摄物体时，依次拍摄所述被摄物体的摄像部；和 图像处理部， 所述图像处理部具有 变动亮度处理部，其处理由所述摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态； 反射判定部，其基于所述变动亮度处理部的输出，判别在所述凹陷区域进行二次反射而形成回光的所述多重反射区域、和在所述被摄物体表面进行一次反射而形成回光的一次反射区域； 镜像搜索部，其决定在所述被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对， 并且，所述图像处理部基于所述多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像。
2.根据权利要求1所述的图像处理装置，其中， 所述图像处理部还具有 从所述多重反射区域的各对生成凹槽片段，且连接所述凹槽片段，由此推定所述凹陷区域的位置的凹陷区域连接部； 决定所述凹陷区域的截面形状的截面形状模型化部。
3.根据权利要求2所述的图像处理装置，其中， 所述图像处理部还具备法线再现部，该法线再现部将所述多重反射区域中的表面法线和所述一次反射区域中的表面法线加以统一而生成法线图像。
4.根据权利要求3所述的图像处理装置，其中， 还具有 设定光源位置的光源方向设定部； 生成在使所述光源位置虚拟变动时的光源变动图像的光源变动图像生成部； 将所述光源变动图像和亮度图像重叠合成地显示的图像显示部。
5.根据权利要求4所述的图像处理装置，其中， 所述光源变动图像生成部使用所述法线图像和物理反射模型而生成所述被摄物体的亮度图像。
6.根据权利要求1至5中任一项所述的图像处理装置，其中， 所述偏振照明部和所述摄像部被安装于内窥镜。
7.根据权利要求1所述的图像处理装置，其中， 所述偏振照明部通过使非偏振光透过偏振面转换元件，而照射偏振面按三种以上依次变化的直线偏振光。
8.根据权利要求1所述的图像处理装置，其中， 所述偏振照明部具有将非偏振光引导至所述偏振面转换元件的光导向设备。
9.根据权利要求1所述的图像处理装置，其中， 所述摄像部具有黑白摄像元件或彩色摄像元件。
10.根据权利要求1所述的图像处理装置，其中， 还具有亮度算术平均部，其通过对于在将偏振面的角度不同的三种以上的直线偏振光依次照射到被摄物体时由所述摄像部取得的多个亮度图像进行加法算术平均，生成与在非偏振照明下的图像所相当的平均亮度图像。
11.根据权利要求1至10中任一项所述的图像处理装置，其中， 所述变动亮度处理部，基于从所述摄像部输出的像素信号，求得所述偏振面的角度和各像素的亮度值的关系，且生成按各像素所述亮度值为最大的且由所述偏振面的角度所定义的亮度最大角图像、和按各像素随着所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比率所定义的亮度调制度图像。
12.根据权利要求11所述的图像处理装置，其中， 还具有图像显示部，其将所述亮度最大角图像、所述亮度调制度图像的任意一个与亮度图像重叠合成地显示。
13.根据权利要求11所述的图像处理装置，其中， 所述反射判定部，基于所述亮度最大角图像和所述亮度调制度图像， 在以所述亮度最大角为色相角、以所述亮度调制度为色度的伪彩色图像中，将具有所预先设定的值以上的亮度调制度的像素，作为构成所述多重反射区域的像素进行提取。
14.根据权利要求2所述的图像处理装置，其中， 所述凹陷区域连接部，推定所述凹陷区域的表面法线的方位角。
15.根据权利要求2所述的图像处理装置，其中， 所述截面形状模型化部，对于所述凹陷区域的截面形状以特定的函数进行模型化， 利用所述多重反射区域中的表面法线的方位角大致达到45度的性质，推定所述凹陷区域的任意位置的表面法线的天顶角。
16.根据权利要求1所述的图像处理装置，其中， 所述偏振照明部将偏振面按三种以上依次变化的透过了偏振面转换元件的光，经由中继透镜光学系统，照射到所述被摄物体上。
17.根据权利要求1所述的图像处理装置，其中， 所述偏振照明部具有使同心圆状态的多个环状照明或面照明光源与偏振面转换元件加以组合的光学系统。
18.根据权利要求1所述的图像处理装置，其中， 所述偏振照明部具有将具有比摄像系统的光轴更靠内侧朝向的照明系统光轴的面照明光源与偏振面转换兀件加以组合的光学系统。
19.根据权利要求1所述的图像处理装置，其中， 所述偏振照明部具有使消偏振宽带分束器和面照明光源和偏振面转换元件加以组合的光学系统。
20.—种图像处理方法，其中， 包括如下工序 将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明工序; 所述被摄物体由所述三种以上的直线偏振光分别照射时，依次拍摄所述被摄物体的摄像工序；和 图像处理工序， 并且，所述图像处理工序包括 处理由所述摄像工序拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态的变动亮度处理工序； 基于所述变动亮度处理工序的结果，判定在所述凹陷区域进行二次反射而形成回光的所述多重反射区域、和在所述被摄物体表面进行一次反射而形成回光的一次反射区域的反射判定工序； 决定在所述被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对的镜像搜索工序； 基于所述多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像的工序。
21.—种内窥镜装置,其中， 具备 将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明部； 在所述被摄物体由所述三种以上的直线偏振光分别照射时，依次拍摄所述被摄物体的摄像部; 图像处理部；和 基于图像处理部的输出而显示图像的显示部， 并且，所述图像处理部具有 处理由所述摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态的变动亮度处理部；和 基于所述变动亮度处理部的输出，生成伪彩色图像的伪彩色图像转换部， 并且，所述变动亮度处理部，基于从所述摄像部输出的像素信号，求得所述偏振面的角度与各像素的亮度值的关系，且生成按各像素所述亮度值为最大的且由所述偏振面的角度所定义的亮度最大角图像、和按各像素随着所述偏振面的变化的所述亮度值的变动的振幅与亮度平均值的比率所定义的亮度调制度图像， 所述伪彩色图像转换部，基于所述亮度最大角图像和所述亮度调制度图像，生成以所述亮度最大角为色相角、以所述亮度调制度为色度的伪彩色图像，且将所述伪彩色图像和亮度图像进行合成而显示于所述显示部。
全文摘要
本发明的图像处理装置具备将偏振面的角度不同的三种以上的直线偏振光，依次照射到被摄物体的偏振照明部(120)；在被摄物体由三种以上的直线偏振光分别照射时，依次拍摄被摄物体的摄像部(140)；和图像处理部(150)。图像处理部(150)具有变动亮度处理部(1302)，其处理由摄像部拍摄的图像的亮度，且计算出被摄物体表面的反射偏振状态；反射判定部(1305)，其基于变动亮度处理部(1302)的输出，判别在凹陷区域进行二次反射而形成回光的多重反射区域、和在被摄物体表面进行一次反射而形成回光的一次反射区域；镜像搜索部(1306)，其决定在被摄物体表面的凹陷区域通过二次反射而形成回光的多重反射区域之对。图像处理部(150)基于多重反射区域之对，生成表示所述被摄物体表面的所述凹陷区域的图像。
文档编号A61B1/04GK103037751SQ20118003750
公开日2013年4月10日 申请日期2011年9月20日 优先权日2010年11月30日
发明者金森克洋 申请人:松下电器产业株式会社