图像处理装置、内窥镜装置、图像处理方法及图像处理程序的制作方法
【专利摘要】图像处理装置包含评价值计算部（321）、估计噪声量取得部（322）、判定部（324）和降噪处理部（325）。评价值计算部（321）计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态。估计噪声量取得部（322）取得拍摄图像的估计噪声量。判定部（324）根据评价值和估计噪声量进行是否为静止状态的判定。降噪处理部（325）在判定为是静止状态的情况下，对拍摄图像进行时间方向的降噪处理即第1降噪处理，在判定为不是静止状态的情况下，对拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。
【专利说明】图像处理装置、内窥镜装置、图像处理方法及图像处理程序
【技术领域】
[0001]本发明涉及图像处理装置、内窥镜装置、图像处理方法以及图像处理程序等。
【背景技术】
[0002]降噪处理(以下称作NR处理)中大致存在以下两个处理，即在处理帧内进行NR处理的空间方向NR处理、和使用处理帧和之前帧进行NR处理的时间方向NR处理。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开平6-47036号公报
【发明内容】
[0006]发明所要解决的问题
[0007]在空间方向NR处理中，图像的高频成分处于衰减的趋势，在时间方向NR处理中，在被摄体是运动物体的情况下容易残留余像。因此，存在以下要求:想通过在图像是静止状态的情况下自适应性地选择空间方向NR处理而实现高性能的NR处理。
[0008]但是，存在需要高精度地进行图像是否为静止状态的判定的问题。
[0009]例如在专利文献I中公开了如下方法:判别图像的静止状态和动作状态，并根据其判别结果切换时间方向NR处理和空间方向NR处理。静止状态和动作状态的判别使用在帧间计算出的差值，在该差值小于阈值的情况`下判别为静止状态，在大于阈值的情况下判别为动作状态。
[0010]但是，在帧间计算出的差值有依存于图像所包含的噪声量而发生变化的特征。在专利文献I中，阈值是固定值，用固定值对依存于噪声量的差值进行判别，因此难以高精度地判别静止状态和动作状态。此外，在专利文献I中未对依存于噪声量的差值记载适当的阈值。
[0011]根据本发明的几个方式，可提供能够高精度地判定图像是否为静止状态的图像处理装置、内窥镜装置、图像处理方法以及图像处理程序等。
[0012]用于解决问题的手段
[0013]本发明的一个方式涉及一种图像处理装置，包括:评价值计算部，其计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态；估计噪声量取得部，其取得所述拍摄图像的估计噪声量；判定部，其根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第I降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。
[0014]根据本发明的一个方式，取得拍摄图像的估计噪声量，并根据评价值和估计噪声量，进行拍摄图像上的被摄体在帧间是否为静止状态的判定。根据判定结果，对拍摄图像进行第I降噪处理或第2降噪处理。由此，能够高精度地判定图像是否为静止状态。
[0015]本发明的另一方式涉及一种内窥镜装置，其包括:摄像部，其对拍摄图像进行拍摄；评价值计算部，其计算评价值，该评价值用于判定所述拍摄图像上的被摄体在帧间是否为静止状态；估计噪声量取得部，其取得所述拍摄图像的估计噪声量；判定部，其根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第I降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。
[0016]本发明的又一方式涉及一种图像处理方法，其中，计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态，取得所述拍摄图像的估计噪声量，根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定，在判定为是所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第I降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。
[0017]本发明的又一方式涉及一种图像处理程序，使计算机执行以下步骤:计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态；取得所述拍摄图像的估计噪声量；根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及在判定为所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第I降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。
【专利附图】
【附图说明】
[0018]图1是第I实施方式中的内窥镜系统的结构例。
[0019]图2是摄像元件的滤色器的排列结构例。
[0020]图3是摄像元件的滤色器的透射率特性例。
[0021]图4是第I实施方式中的降噪部的详细结构例。
[0022]图5是第I实施方式中的降噪处理的流程图。
[0023]图6的(A)是图像信号所包含的结构成分的例子。图6的(B)是图像信号所包含的噪声成分的例子。
[0024]图7的(A)~图7的(C)是关于帧间差值mSAD的说明图。
[0025]图8的(A)~图8的(C)是关于帧间差值mSAD的说明图。
[0026]图9是图像中的噪声量的特性例。
[0027]图10是第I实施方式中的降噪处理的第2流程图。
[0028]图11是第2实施方式中的内窥镜系统的结构例。
[0029]图12是关于前方视野区域、侧方视野区域的说明图。
[0030]图13是关于区域判定处理的说明图。
[0031]图14是第2实施方式中的降噪部的详细结构例。
[0032]图15是第2实施方式中的降噪处理的流程图。
[0033]图16是第3实施方式中的内窥镜系统的结构例。
[0034]图17是窄带滤波器 的透射率特性例。[0035]图18是第3实施方式中的降噪部的详细结构例。
[0036]图19是第3实施方式中的降噪处理的流程图。
[0037]图20是第4实施方式中的内窥镜系统的结构例。
[0038]图21是第4实施方式中的降噪部的详细结构例。
【具体实施方式】
[0039]下面对实施方式进行说明。另外，以下说明的本实施方式并不是对权利要求书中记载的本发明的内容进行不恰当的限定的内容。另外，在本实施方式中说明的全部结构不一定是本发明的必要技术特征。
[0040]1.本实施方式的概要
[0041]首先，说明本实施方式进行的NR处理(降噪处理)的概要。另外以下，静止状态表示摄像部与被摄体的相对位置关系在时间上不发生变化的状态。此外，动作状态表示摄像部与被摄体的相对位置关系在时间上发生变化的状态。
[0042]如上所述，NR处理中存在空间方向NR处理和时间方向NR处理。在空间方向NR处理中，通过使用了作为NR处理对象的像素(处理对象像素)、与其周边像素的加权平均处理来减少噪声。在空间方向NR处理中，由于进行与周边像素的加权平均处理，因此有原图像的高频成分衰减的副作用。
[0043]在时间方向NR处理中，通过使用了作为NR处理对象的帧(处理帧)、和在与该处理帧不同的时间取得的帧(之前帧)的加权平均处理来减少噪声。加权平均处理中仅使用了处理帧的处理对象像素、和之前帧中与处理对象像素相同坐标的像素。因此，在静止状态下，有能够保持原图像的高频成分的优点。另一方面，在图像中被摄体正在运动的动作状态下，有产生余像的副作用。
[0044]根据以上的特性，能够通过自适应性地选择NR处理，实现高性能的NR处理。具体而言，在静止状态下选择时间方向NR处理，在动作状态下选择空间方向NR处理，由此能够实现在静止状态中在保持高频成分的状态下仅减少噪声成分的NR处理。
[0045]但是，如上所述，存在图像的噪声的影响，因此有难以高精度地进行静止状态和动作状态的判别的问题。
[0046]因此，在本实施方式中，如之后将在图5等叙述的那样，取得与像素值对应的估计噪声量N，在图像的帧间差值mSAD小于等于估计噪声量N (包含该值)的情况下判定为静止状态，进行时间方向的NR处理即第一 NR处理。由此，能够高精度地判定在图像中被摄体是否静止，从而在静止状态的情况下能够得到高精细的图像。在不是静止状态的情况下，能够通过进行至少包含空间方向的NR处理的第二 NR处理，抑制余像。
[0047]2.第I实施方式
[0048]2.1.内窥镜系统
[0049]接着，说明本实施方式的详细情况。图1示出第I实施方式中的内窥镜系统的结构例。内窥镜系统(内窥镜装置)包含光源部100、摄像部200、控制装置300、显示部400和外部I/F部500。控制装置300包含插值处理部310、降噪部320、帧存储器330、显示图像生成部340和控制部390 。
[0050]光源部100包含产生白色光的白色光源110和用于将该白色光会聚到光纤210的透镜120。
[0051]摄像部200例如形成为细长且能够弯曲，以使得能够插入体腔内。此外，根据要观察的部位，使用不同的摄像部，因此摄像部200形成能够相对于控制装置300进行拆装的结构。另外在以下的说明中，将摄像部200适当称作镜体。
[0052]摄像部200包含:用于引导由光源部100会聚的光的光纤210 ;以及使通过该光纤210引导的光扩散并照射到被摄体的照明透镜220。并且摄像部200包含:会聚来自被摄体的反射光的聚光镜头230 ;用于检测由聚光镜头230会聚的反射光的摄像兀件240 ;存储器250 ;以及驱动聚光镜头230的变焦镜头的镜头驱动部260。
[0053]存储器250与控制部390连接。镜头驱动部260与控制部390双向连接。
[0054]如图2所示，摄像元件240是具有拜尔排列的滤色器的摄像元件。滤色器是r滤色器、g滤色器、b滤色器这3种。如图3所示，r滤色器具有使580~700nm的光透射的特征，g滤色器具有使480~600nm的光透射的特征，b滤色器具有使390~500nm的光透射的特征。
[0055]存储器250中保持有镜体固有的识别编号。控制部390能够通过参照存储器250所保持的识别编号，识别所连接的镜体的种类。
[0056]聚光镜头230能够在ΘΜΙΝ~Θ.[度]的范围内设定视场角Θ。在本实施方式中，将视场角θ = ΘΜΧ的状态设为通常观察状态、视场角Θ小于ΘΜΧ的状态设为放大观察状态。该视场角Θ通过由用户从外部I/F部500设定任意的值来进行设定。即，在由用户设定了视场角Θ的情况下，将所设定的视场角Θ输入到控制部390，控制部390 (狭义上指视场角控制部)将视场角Θ发送到镜头驱动部260。并且，镜头驱动部260通过驱动聚光镜头230中的变焦镜头，将摄像部200的视场角设定为期望的视场角Θ。此外，控制部390将所设定的视场角Θ输出到降噪部320。
`[0057]外部I/F部500是用于供用户对内窥镜装置进行输入等的接口。例如，外部I/F部500构成为包含用于接通/断开电源的电源开关、和用于切换拍摄模式和其他各种模式的模式切换按钮等。外部I/F部500将所输入的信息输出到控制部390。
[0058]控制装置300进行内窥镜装置的各部的控制、和对拍摄图像的图像处理等。插值处理部310与降噪部320连接。降噪部320与显示图像生成部340连接。此外，降噪部320与帧存储器330双向连接。显示图像生成部340与显示部400连接。控制部390与插值处理部310、降噪部320、帧存储器330以及显示图像生成部340连接，并进行它们的控制。
[0059]插值处理部310对由摄像元件240取得的图像进行插值处理。如上所述，摄像元件240具有拜尔排列，因此由摄像元件240取得的图像的各像素成为具有R、G、B信号中的任意一个颜色的信号值、而欠缺其他两个颜色的信号值的状态。插值处理部310通过对该图像的各像素进行插值处理，对所欠缺的信号值进行插值，从而生成在各像素中具有R、G、B信号的全部信号值的图像。作为插值处理，例如可以使用公知的双三次插值处理。另外以下，将插值处理后的图像称作RGB图像。插值处理部310将所生成的RGB图像输出到降噪部 320。
[0060]降噪部320对由插值处理部310输出的RGB图像进行NR处理。具体而言，降噪部320在RGB图像的各像素中判别静止状态和动作状态，并根据其判别结果自适应性地切换NR处理。即，降噪部320在判别为静止状态的情况下，选择能够保持高频成分的时间方向NR处理，在判别为动作状态的情况下，选择空间方向NR处理。由此，在静止状态中能够在保持了高频成分的状态下仅减少噪声，从而能够实现高性能的NR处理。关于降噪部320，具体将后述。另外以下，将NR处理后的图像称作NR图像(降噪图像)。
[0061]显示图像生成部340对由降噪部320输出的NR图像，实施例如已有的白平衡、颜色转换处理和灰度转换处理等，从而生成显示图像。显示图像生成部340将所生成的显示图像输出到显示部400。显示部400例如由液晶显示装置等显示装置构成。
[0062]2.2.降噪处理
[0063]接着，详细说明降噪部320。图4示出第I实施方式中的降噪部320的详细结构例。降噪部320包含评价值计算部321、估计噪声量取得部322、查询表323、判定部324、降噪处理部325和视场角信息取得部326。
[0064]图5示出第I实施方式中的降噪处理的流程图。在开始该处理后，如步骤SI所示，评价值计算部321使用从插值处理部310输出的RGB图像、和由帧存储器330所保持的之前图像，计算差值平均值mSAD。之前图像是指在RGB图像的前I帧的时刻从降噪部320输出的NR图像。
[0065]在将作为NR处理对象的像素即关注像素的坐标设为(X，y)时，差值平均值mSAD(帧间差值)使用下式(I)进行计算。评价值计算部321将下式(I)的SAD (m，n)成为最小的(m，η)的值输出到降噪处理部325。另外，以下说明关于G信号的处理，但关于R信号、B信号也实施相同的处理。
[0066]【数式I】
【权利要求】
1.一种图像处理装置，其特征在于，包括: 评价值计算部，其计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态； 估计噪声量取得部，其取得所述拍摄图像的估计噪声量； 判定部，其根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第I降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。
2.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置包括视场角信息取得部，所述视场角信息取得部取得拍摄所述拍摄图像的摄像部的视场角信息， 所述判定部根据所述视场角信息所表示的视场角，设定是否为所述静止状态的判定条件。
3.根据权利要求2所述的图像处理装置，其特征在于， 所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值， 所述判定部在所述视场角大于等于阈值、且所述帧间差值小于等于所述估计噪声量的情况下判定为是所述静止状态， 所述判定部在所述视场角小于所述阈值、且所述帧间差值小于等于对所述估计噪声量乘以大于I的系数而得到的值的情况下判定为是所述静止状态。
4.根据权利要求1所述的图像处理装置，其特征在于， 所述判定部根据在所述拍摄图像中降噪处理的对象区域所属的区域，设定是否为所述静止状态的判定条件。
5.根据权利要求4所述的图像处理装置，其特征在于， 所述图像处理装置包括区域判定部， 拍摄所述拍摄图像的摄像部能够拍摄所述摄像部的前方视野和侧方视野， 所述区域判定部进行所述对象区域属于所述拍摄图像中与所述前方视野对应的区域即前方视野区域、和所述拍摄图像中与所述侧方视野对应的区域即侧方视野区域中的哪一个的判定， 所述判定部在判定为属于所述前方视野区域的情况、和判定为属于所述侧方视野区域的情况下，设定不同的所述判定条件。
6.根据权利要求5所述的图像处理装置，其特征在于， 所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值， 所述判定部在判定为所述对象区域属于所述侧方视野区域、且所述帧间差值小于等于所述估计噪声量的情况下判定为是所述静止状态， 所述判定部在判定为所述对象区域属于所述前方视野区域、且所述帧间差值小于等于对所述估计噪声量乘以大于I的系数而得到的值的情况下判定为是所述静止状态。
7.根据权利要求5所述的图像处理装置，其特征在于， 所述区域判定部根据所述 拍摄图像中的所述对象区域的位置，判定所述对象区域所属的区域。
8.根据权利要求1所述的图像处理装置，其特征在于， 所述判定部根据所述拍摄图像的种类，设定是否为所述静止状态的判定条件。
9.根据权利要求8所述的图像处理装置，其特征在于， 所述拍摄图像是具有白色光波段中的信息的白色光图像、或具有特定波段中的信息的特殊光图像， 所述判定部在所述拍摄图像是所述白色光图像的情况、和所述拍摄图像是所述特殊光图像的情况下，设定不同的所述判定条件。
10.根据权利要求9所述的图像处理装置，其特征在于， 所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值， 所述判定部在所述拍摄图像是所述白色光图像、且所述帧间差值小于等于所述估计噪声量的情况下判定为是所述静止状态， 所述判定部在所述拍摄图像是所述特殊光图像、且所述帧间差值小于等于对所述估计噪声量乘以小于I的系数而得到的值的情况下判定为是所述静止状态。
11.根据权利要求9所述的图像处理装置，其特征在于， 所述特定波段是比所述白色光的波段窄的波段。
12.根据权利要求11所述的图像处理装置，其特征在于， 所述白色光图像和所述特殊光图像是拍摄活体内部而得到的活体内图像，` 所述活体内图像所包含的所述特定波段是被血液中的血红蛋白吸收的波长的波段。
13.根据权利要求12所述的图像处理装置，其特征在于， 所述特定波段是390nm~445nm、或530nm~550nm。
14.根据权利要求1所述的图像处理装置，其特征在于， 所述图像处理装置包括运动矢量检测部，该运动矢量检测部检测在所述拍摄图像的第I帧与第2帧之间的被摄体的运动矢量， 所述评价值计算部计算用于判定在所述第I帧与通过所述运动矢量进行运动补偿的所述第2帧之间是否为所述静止状态的所述评价值， 所述降噪处理部根据所述第I帧和通过所述运动矢量进行运动补偿的所述第2帧，进行所述第I降噪处理和所述第2降噪处理。
15.根据权利要求1所述的图像处理装置，其特征在于， 所述评价值计算部计算所述拍摄图像的帧间差值作为所述评价值， 所述判定部将所述估计噪声量设为阈值，在所述帧间差值小于等于所述阈值的情况下判定为是所述静止状态。
16.根据权利要求15所述的图像处理装置，其特征在于， 在将所述拍摄图像的第I帧中以处理对象像素为中心的规定尺寸的区域设为第I区域、将所述拍摄图像的第2帧中以处理对象像素为中心的规定尺寸的区域设为第2区域的情况下， 所述评价值计算部一边将所述第2区域相对于所述第I区域水平和垂直地以每次移动I个像素的方式依次移动，一边求出多个所述第I区域的像素值与所述第2区域的像素值之间的差值，并输出所求出的所述多个差值中的最小值作为所述帧间差值， 所述判定部在所述最小值小于等于所述阈值的情况下判定为是所述静止状态。
17.一种内窥镜装置，其特征在于，包括: 摄像部，其对拍摄图像进行拍摄； 评价值计算部，其计算评价值，该评价值用于判定所述拍摄图像上的被摄体在帧间是否为静止状态； 估计噪声量取得部，其取得所述拍摄图像的估计噪声量； 判定部，其根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及降噪处理部，在判定为是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行时间方向的降噪处理即第I降噪处理，在判定为不是所述静止状态的情况下，所述降噪处理部对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。
18.一种图像处理方法，其特征在于，包括以下步骤: 计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态， 取得所述拍摄图像的估计噪声量， 根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定， 在判定为是所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第I降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。
19.一种图像处理程序，其特征在于，使计算机执行以下步骤: 计算评价值，该评价值用于判定拍摄图像上的被摄体在帧间是否为静止状态； 取得所述拍摄图像的估计噪声量； 根据所述评价值和所述估计噪声量，进行是否为所述静止状态的判定；以及在判定为所述静止状态的情况下，对所述拍摄图像进行时间方向的降噪处理即第I降噪处理，在判定为不是所述静止状态的情况下，对所述拍摄图像进行至少包含空间方向的降噪处理的第2降噪处理。
【文档编号】G02B23/24GK103889305SQ201280048859
【公开日】2014年6月25日 申请日期:2012年10月3日 优先权日:2011年10月4日
【发明者】高桥顺平 申请人:奥林巴斯株式会社