图像处理装置、内窥镜装置、程序和图像处理方法_2

文档序号:9353676阅读:来源:国知局
离映射图中减去该全局性的形状信息,取得局部的凹凸构造的信息。然后,对希望分类的构造的已知特性信息(例如特定的息肉所具有的尺寸和形状、或者病变特有的槽等的深度和宽度等)和局部的凹凸构造的信息进行比较,提取与已知特性信息相符的凹凸构造。这样,能够对息肉和槽等特定构造进行分类。
[0056]并且,强调处理是指使图像上的特定对象变得醒目的处理或对图像上的特定对象进行识别的处理。例如,可以是对分类为特定种类或状态的区域进行构造强调或颜色强调等的处理,或者,也可以是使该区域的变得高亮度的处理、用线包围该区域的处理、标注示出该区域的标记的处理。并且,也可以通过对特定区域以外的区域进行上述处理,使该特定区域变得醒目(或对该特定区域进行识别)。
[0057]2.第I实施方式
[0058]2.1.内窥镜装置
[0059]图3示出第I实施方式中的内窥镜装置的结构例。内窥镜装置包括光源部100、摄像部200、处理器部300 (控制装置)、显示部400、外部I/F部500。
[0060]光源部100包括白色光源101、具有多个分光透射率的旋转滤色器102、对旋转滤色器102进行驱动的旋转驱动部103、使来自旋转滤色器102的具有分光特性的光会聚到光导纤维201的入射端面的会聚透镜104。
[0061]旋转滤色器102由三原色的红色滤色器、绿色滤色器、蓝色滤色器、旋转马达构成。
[0062]旋转驱动部103根据来自处理器部300的控制部302的控制信号,与摄像元件209、210的摄像期间同步地使旋转滤色器102以规定转速进行旋转。例如,当使旋转滤色器102在I秒期间旋转20次时,各滤色器以60分之一秒的间隔对入射白色光进行横切。摄像元件209、210以60分之一秒的间隔拍摄来自观察对象的对三原色的各色光(R或G或B)的反射光,完成图像的转送。即,在该结构例中,以60分之一秒的间隔以面顺次的方式对R图像、G图像、B图像进彳丁摄像,实质上的帧率成为20fps。
[0063]摄像部200形成为细长且能够弯曲,以使得能够插入到例如胃或大肠等体腔内。摄像部200包括用于对由光源部100会聚的光进行引导的光导纤维201、使由光导纤维201引导至前端的光扩散并对观察对象进行照射的照明透镜202、以及使从观察对象返回的反射光会聚的物镜系统203、204。物镜系统203包括对光学倍率进行调整的变焦镜头205,物镜系统204包括对光学倍率进行调整的变焦镜头206。并且,摄像部200包括对变焦镜头205进行驱动的变焦镜头驱动部207、对变焦镜头206进行驱动的变焦镜头驱动部208、用于检测由物镜系统203、204会聚的成像光的摄像元件209、210、以及将来自摄像元件209、210的光电转换后的模拟信号转换为数字信号的A/D转换部211。并且,摄像部200包括记录摄像部200的镜体ID信息和包含制造偏差在内的固有信息的存储器212、以及能够相对于处理器部300进行拆装的连接器213。
[0064]变焦镜头驱动部207、208与外部I/F部500和控制部302连接,根据输入到外部I/F部的信息对变焦镜头位置进行控制。这里,变焦镜头驱动部207、208例如是音圈马达(以下记为VCM)。并且,摄像元件209、210例如是单色单板摄像元件,例如可以利用CCD或CMOS图像传感器等。
[0065]物镜系统203、204配置在分开规定间隔的位置处,配置在能够拍摄规定的视差图像(以后记为立体图像)的位置,在摄像元件209、210中分别形成左图像和右图像。从摄像元件209、210输出的左图像和右图像由A/D转换部211转换为数字信号,该转换后的左图像和右图像被输出到图像处理部301。存储器212与控制部302连接,从存储器212向控制部302转送镜体ID信息和包含制造偏差在内的固有信息。
[0066]处理器部300包括对从A/D转换部211转送的图像进行各种图像处理的图像处理部301 (对应于图像处理装置)、以及对内窥镜装置的各部进行控制的控制部302。
[0067]显示部400显示从图像处理部301转送的图像,例如是CRT或液晶监视器等能够进行动态图像显示的显示装置。
[0068]外部I/F部500是用于供用户对该内窥镜装置进行输入等的接口。外部I/F部500例如构成为包括用于进行电源的接通/断开的电源开关、用于开始进行拍摄操作的快门按钮、用于切换拍摄模式和其他各种模式的模式切换开关(例如用于进行活体表面的构造物的选择性的强调处理的开关)等。而且,该外部I/F部500将所输入的信息输出到控制部302。
[0069]2.2.关于观察模式、景深
[0070]接着,对摄像部200的结构要素即变焦镜头205、206与外部I/F部500的关系进行详细说明。首先,对本实施方式的内窥镜装置所具有的观察倍率不同的2个观察模式进行说明。
[0071]2个观察模式是通常观察模式和接近放大观察模式。通常观察模式是利用泛焦(/《y 7才一力只)的宽视野图像而主要进行筛选观察的模式。接近放大观察模式是通过接近在筛选观察中发现的病变部并对其粘膜构造或血管行进状态等进行放大观察,而对该病变部是否是恶性进行精查的模式。
[0072]图4示出第I实施方式中的外部I/F部500的结构例。通过由用户操作图4的变焦杆501,自动切换上述2个模式。S卩,在进行筛选观察的情况下,将变焦杆501设定在广角端的位置,在进行接近放大观察的情况下,通过使变焦杆501返回望远端,分段地切换变焦倍率。
[0073]图5是示出相对于变焦杆501的操作,摄像系统的景深的变化的图。摄像系统是包括物镜系统203 (包含变焦镜头205)和摄像元件209的摄像系统。包括物镜系统204 (包含变焦镜头206)和摄像元件210的摄像系统也同样。
[0074]如图5所示,在将变焦杆501设定在广角端的情况下,变焦镜头205设定在宽视野角的位置LPl。在该广角端,对焦的距离最远,景深DFl最深,设计成在筛选观察时与假定的被摄体之间的相对距离进入景深DFl内。另一方面,通过使变焦杆501分阶段地(例如5个阶段等)向望远端侧移动,将变焦镜头205设定在位置LP2?LP4。在位置LP2?LP4,越接近望远侧,视野角越窄,对焦的距离越近,景深DF2?DF4越浅。在该望远端侧,景深变浅,但是成为能够更加接近来进行观察的状态,能够进行高倍率的接近放大观察。
[0075]2.3.图像处理装置
[0076]图6示出第I实施方式中的图像处理部301的详细结构例。图像处理部301包括分类部310、图像构成部320、强调处理部330、距离信息取得部340 (距离映射图计算部)、对焦判定部370。另外,下面以通过匹配处理进行麻点图案的分类处理的情况为例进行说明,但是,如上所述,可以应用各种分类处理。
[0077]距离信息取得部340取得A/D转换部211输出的立体图像,根据该立体图像取得距离信息。具体而言,将左图像作为基准图像,在穿过关注像素的极线(epipolar线)上进行与右图像的局部区域的匹配运算,计算出最大相关的位置作为视差,其中上述关注像素位于该左图像的局部区域的中央。然后,将该计算出的视差转换为Z轴方向上的距离并取得距离信息(例如距离映射图),将该距离信息输出到对焦判定部370和分类部310。
[0078]这里,距离信息是根据从摄像部200到被摄体的距离而取得的各种信息。例如,如上所述,在利用立体光学系统进行三角测量的情况下,将以连结产生视差的2个透镜的面上的任意点为基准的距离作为距离信息即可。或者,也可以通过Time of Flight(飞行时间)方式取得距离信息。在该方式中,对被摄体照射激光等,利用其反射光的到达时间来测定距离。该情况下,例如取得以对反射光进行摄像的摄像元件面的各像素位置为基准的距离作为距离信息即可。在这些例子中,将距离计测的基准点设定在摄像部200中,但是,基准点也可以设定在摄像部200以外的任意场所。例如,可以将基准点设定在包含摄像部200或被摄体的三维空间内的任意场所,使用这种基准点的情况下的距离信息也包含在本实施方式的距离信息中。
[0079]从摄像部200到被摄体的距离例如是从摄像部200到被摄体的进深方向上的距离。作为一例,使用摄像部200的光轴方向上的距离即可。S卩,被摄体上的某个点的距离是穿过该点且与光轴平行的线上的从摄像部200到被摄体的距离。作为这种距离信息,例如存在距离映射图。距离映射图是如下的映射图:例如在设摄像部200的光轴方向为Z轴的情况下,针对XY平面的各点(例如摄像图像的各像素),将与被摄体之间的Z轴方向上的距离(进深、深度)作为该点的值。
[0080]并且,距离信息取得部340也可以通过将假想的基准点设置在如下位置,来取得基于从摄像部200到对应点的距离的距离信息,上述位置是能够维持与在摄像部200中设定了基准点的情况下取得的距离映射图上的各像素间的距离值的大小关系相同的大小关系的位置。例如,在从摄像部200到3个对应点的实际距离为“3”、“4”、“5”的情况下,在维持各像素间的距离值的大小关系的状态下,也可以取得将这些距离一律半分以后的“1.5”、
u r) yy u r) J-,,
Lt 、O ο
[0081]图像构成部320取得A/D转换部211输出的立体图像(左图像和右图像),进行用于使该立体图像成为能够输出到显示部400的图像的图像处理(例如OB处理、增益处理、T处理等)。图像构成部320将处理后的图像输出到分类部310和强调处理部330。
[0082]对焦判定部370通过对从摄像部200到被摄体的距离和摄像部200的景深进行比较,针对摄像图像的各像素或各区域(例如将摄像图像分割为规定尺寸的区域的情况下的各区域)进行对焦判定。具体而言,图7示出对焦判定部370的详细结构例。对焦判定部370包括距离信息修正部371 (距离映射图修正部)、景深取得部372、比较部373、对焦判定映射图输出部374。另外,下面以距离信息是距离映射图的情况为例进行说明。
[0083]距离信息修正部371对从距离信息取得部340输入的距离映射图实施NXN像素的规定尺寸的低通滤波处理。将这样修正后的距离映射图输出到比较部373。
[0084]景深取得部372与控制部302连接,从控制部302输入变焦镜头位置的信息。如上所述,变焦镜头位置由变焦杆501设定,在变焦镜头位置、与对焦的被摄体之间的距离以及景深之间存在图5中说明的关系。景深取得部372根据所输入的变焦镜头位置的信息,例如使用查找表等来决定对焦范围(与对焦的被摄体之间的距离的范围),将该对焦范围输出到比较部373。查找表根据物镜系统的203、204的特性而预先设定即可。
[0085]比较部373在各像素中对从距离信息修正部371输入的距离映射图和从景深取得部372输入的对焦范围信息进行比较,判定各像素是否处于对焦状态。然后,将对焦判定结果输出到对焦判定映射图输出部374。
[0086]对焦判定映射图输出部374根据从比较部输入的对焦判定结果生
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1