内窥镜用处理器以及内窥镜系统的制作方法

1.本发明涉及一种对体腔内的活组织的图像进行图像处理的内窥镜用处理器以及内窥镜系统。


背景技术：

2.活组织中的病变部位从活组织的粘膜层变薄、表面粗糙、发红的炎症到粘膜层及其下层局部缺损的溃疡，存在不同等级的严重程度。例如，在溃疡性大肠炎发生病变的溃疡部位，因带有白苔和脓状粘液而发白，而在炎症部，则伴有水肿部和易出血部的红色。可以通过内窥镜系统对这种病变部位进行拍摄和观察。
3.然而，为了使外科医生能够通过内窥镜图像中所包含的颜色差异来识别健康部位和病变部位，需要在技术熟练者的指导下接受长时间的训练。此外，即使是技术熟练的外科医生也不太容易从颜色的细微差异中识别出病变部位，需要仔细的操作。因此，优选地，内窥镜系统提供用于客观地量化病变部位的病变进展程度的评估结果。
4.与此相对，已知一种能够高精度地评估活组织病变部位的病变进展程度的内窥镜系统(国际公开第2019/159770号)。


技术实现要素：

5.发明所要解决的课题
6.上述内窥镜系统包括图像处理单元，该图像处理单元根据对体腔内的活组织进行拍摄后得到的活组织图像，求出用于对活组织的病变进展程度进行量化后的病变的严重程度。该图像处理单元具备特征量计算部、典型值计算部以及整合部。
7.特征量计算部按照每个像素计算用于对与病变部位所显示的颜色分量、或者颜色分量和形状相关的多个特征中的每一个的程度进行显示的多个像素评估值，该多个像素评估值能够根据病变部位所显示的颜色分量或形状来将多个外观特征中的每一个与活组织的健康部位的特征区别开，并且是与所述多个外观特征相对应的多个像素评估值。
8.典型值计算部通过将计算出的像素评估值中的每一个按照多个特征中的每一个进行整合，来计算与所拍摄的活组织的所述多个特征中的每一个相对应的典型评估值。
9.整合部对通过对计算出的典型评估值中的至少两个典型评估值进行运算后整合成的一个数值进行计算以作为病变的严重程度。
10.由此，能够高精度地评估活组织病变部位的病变进展程度。
11.在上述内窥镜系统的整合部中进行的、使用了至少两个典型评估值的运算是对至少两个典型评估值乘以权重系数后得到的乘积进行加减运算的处理，而且，在运算中，根据特定的典型评估值是否超过预定阈值来改变运算的类型。但是，在根据特定的典型评估值是否超过预定阈值来改变运算类型的情况下，当作为对象的病变类型发生变化时，上述阈值也会发生变化，因此根据病变类型来使上述阈值保持各种一致会使系统变得复杂，因此并不是优选。此外，当典型评估值在上述阈值附近出现波动的情况下，作为运算结果的严重
程度也容易不稳定，并出现大幅度波动。因此，最好不使用以往使用的如上述阈值那样的参数来高精度地评估病变部位的病变进展程度。
12.此外，为了比以往更稳定且更高精度地评估活组织的病变部位的病变进展程度，优选地，能够对各像素的像素评估值汇总为一个的典型评估值进行稳定且恰当地表示。
13.此外，当将内窥镜插入大肠那样的长管状器官的情况下，在插入内窥镜的入口侧部分和纵深方向的里侧部分中，粘膜的颜色和血管的外观不同，即使在相同的健康部位，所计算出的典型评估值也不同。因此，在入口侧部分和纵深方向的里侧部分中，即使病变进展到相同程度，典型评估值也彼此不同。如此，即使病变进展到相同程度，典型评估值也会随着摄像位置的不同而发生变化。此外，在长条形器官纵深方向的各个摄像位置，当根据典型评估值使用计算式来计算严重程度的情况下，当无论摄像位置如何都使用相同的计算式来计算严重程度时，即使实际上是健康的器官，也存在因上述典型评估值发生变化，严重程度的值根据摄像位置的不同而变大的情况。在这种情况下，在严重程度的值较大的部分容易出现存在病变部位这样的错误判断。如此，由于计算出的典型评估值或严重程度的值根据摄像位置的不同而发生变化，因此存在与实际的病变进展程度的评估结果相背离的问题。实际的病变进展程度的评估结果例如是医生的主观评估结果(例如mayo内窥镜评分)或组织学评估结果。
14.因此，本发明的目的在于提供一种与以往相比能够高精度地评估活组织病变部位的病变进展程度的内窥镜用处理器和内窥镜系统。
15.用于解决课题的技术方案
16.本发明的一个实施方式为内窥镜用处理器。该内窥镜用处理器包括图像处理单元，该图像处理单元构成为，根据通过以对体腔内的活组织进行拍摄的方式构成的电子内窥镜获得的所述活组织病变部位的图像，并至少使用所述图像的信息，来求出用一个值表示所述活组织的病变进展程度的病变的严重程度。
17.所述图像处理单元具备：
18.特征量计算部，其构成为，根据所述图像，按照每个像素计算与第1颜色分量或所述病变部位的形状相关的且用于表示第1特征的程度的第1像素评估值，其中，该第1像素评估值能够根据所述病变部位所显示的第1颜色分量或所述病变部位的形状来将所述病变部位呈现出的外观的第1特征与所述活组织的健康部位的特征区别开，并且是与所述第1特征相对应的像素评估值；
19.典型值计算部，其构成为，通过对所述图像中的各像素的所述第1像素评估值进行汇总来计算出所述活组织的所述第1特征的第1典型评估值；
20.整合部，其构成为，根据与所述第1颜色分量不同的所述图像的第2颜色分量信息来对用于表示所述严重程度随着所述第1典型评估值的变化而变化的所述第1典型评估值的影响度进行调整、或者根据对用于表示与所述第1特征不同的另一个第2特征的程度的第2像素评估值进行汇总后得到的第2典型评估值来进行调整、或者至少根据所述第1典型评估值来计算所述病变的严重程度。
21.优选地，所述严重程度是根据至少将所述第1典型评估值作为说明变量的多项式计算出来的，
22.所述影响度是与所述多项式中的所述第1典型评估值相关的系数。
23.优选地，所述多项式是与所述严重程度相关的回归方程式，该回归方程式是使用确定了作为与所述病变进展程度相关的评估结果的评估值的参考图像，将所述第1像素评估值和用于表示所述第2颜色分量的信息的值或所述第2像素评估值作为说明变量、将所述参考图像中的所述评估值作为所述严重程度的值、将所述严重程度的值作为目标变量，通过预先进行多元回归分析而得到的方程式。
24.优选地，当将所述第1典型评估值设为x、将所述第2典型评估值设为y时，所述整合部通过使用系数α1、β1、γ1和常数d1，按照所述严重程度＝α1·
x+β1·
y+γ1·
x
·
y+d1进行计算。
25.优选地，当将所述第1典型评估值设为x、将用于表示所述第2颜色分量的信息的值设为z时，所述整合部通过使用系数α2、β2和常数d2，按照所述严重程度＝α2·
x+β2·
x
·
z+d2进行计算。
26.优选地，除了所述第2典型评估值或用于表示所述第2颜色分量的信息的值以外，所述第1典型评估值的影响度还至少可以通过使用对用于表示与所述第1特征和所述第2特征不同的另一个第3特征的程度的第3像素评估值进行汇总后得到的第3典型评估值来调整。
27.优选地，所述第1特征和所述第2特征中的每一个是所述活组织炎症部位所呈现的颜色分量的程度、用于表示所述活组织上呈条纹状延伸的血管的血管区域所呈现的颜色分量的程度、以及所述活组织溃疡部位所呈现的颜色分量的程度中的任意一个。
28.优选地，所述第1典型评估值是在所述活组织的所述病变部位的所述图像的所述第1像素评估值的直方图中频率为1以上的区间的合计区间数。
29.优选地，所述第1典型评估值是用于表示所述活组织炎症部分所呈现的颜色分量的程度的值。
30.优选地，所述第2颜色分量信息是与从外部导入到所述体腔内并存在于所述活组织上的残渣所呈现的颜色分量相关的特征量。
31.本发明的另一个实施方式为内窥镜用处理器。所述内窥镜用处理器具备图像处理单元，该图像处理单元构成为，根据通过电子内窥镜获得的活组织病变部位的图像，并至少使用所述图像的信息，来求出用一个值表示所述活组织的病变进展程度的病变的严重程度的值。
32.所述图像处理单元具备：
33.特征量计算部，其构成为，根据所述图像计算与所述颜色分量或所述病变部位的形状相关的且用于按照每个像素来表示所述多个特征中的每一个的程度的像素评估值，其中，该像素评估值能够根据所述病变部位所显示的颜色分量或所述病变部位的形状来将所述病变部位呈现出的多个外观特征与所述活组织的健康部位的特征区别开，并且是与所述外观特征中的每一个相对应的评估值；
34.典型值计算部，其构成为，相对于一个所述图像，通过对所述图像中的各像素的所述像素评估值进行汇总来计算出所述活组织的所述多个特征中的每一个的一个典型评估值；
35.摄像位置信息处理部，其将拍摄所述图像时的体腔内的摄像位置信息与所述图像相对应；
36.整合部，其针对通过所述电子内窥镜拍摄的评估对象图像，根据所述多个特征中的每一个的所述典型评估值来计算所述病变的严重程度的值，当计算所述严重程度的值时，对根据与所述评估对象图像相对应的所述摄像位置的所述信息来调整的所述严重程度的计算处理进行设定。
37.优选地，所述整合部根据在所述严重程度与所述多个特征中的每一个的所述典型评估值之间建立关联的关系式来计算所述严重程度的值，
38.并在所述关系式中，将与所述摄像位置的所述信息相对应的值设定为与所述典型评估值相关的系数。
39.所述内窥镜用处理器还具备存储部，该存储部针对所述电子内窥镜的每个摄像位置，将与所述典型评估值相关的两个基准值作为根据参考图像的所述摄像位置的所述信息来确定的值进行保持，其中，该典型评估值是根据通过所述电子内窥镜拍摄病变进展程度不同的多个病变部位后得到的多个参考图像来设定的值，在这种情况下，优选地，所述整合部通过使用预先在归一化评估值与所述严重程度之间建立关联的关系式，来计算所述严重程度的值，其中，该归一化评估值是通过与由所述电子内窥镜拍摄的参考图像的所述摄像位置的所述信息相对应的所述两个基准值对所述参考图像的所述典型评估值进行归一化后得到的值；所述严重程度的值通过将所述归一化评估值输入至所述关系式中来计算，其中，该归一化评估值是通过根据所述评估对象图像的所述摄像位置的所述信息来确定的所述两个基准值对所述评估对象图像的所述典型评估值进行归一化后得到的值。
40.所述内窥镜用处理器还具备存储部，该存储部针对所述电子内窥镜的每个摄像位置，将与所述严重程度相关的两个基准值作为根据所述参考图像的所述摄像位置来确定的值进行保持，其中，该严重程度是根据通过所述电子内窥镜拍摄病变进展程度不同的多个病变部位后得到的多个参考图像来设定的值。在这种情况下，优选地，所述整合部通过使用预先在所述评估对象图像的所述典型评估值与所述严重程度之间建立关联的关系式来计算所述严重程度，并将通过与所述评估对象图像的所述摄像位置信息相对应地确定的所述两个基准值来对计算结果的值进行归一化后得到的归一化值作为所述严重程度的值进行计算。
41.优选地，所述关系式为通过执行多元回归分析后提取的多项式的回归方程式，以使根据所述多个特征中的每一个的所述典型评估值来计算的所述严重程度的值与预先准备的且确定了所述病变进展程度的评估结果的参考图像的所述评估结果相对应。
42.优选地，所述摄像位置的信息为当将管状器官沿纵深方向的区域划分为多个区域时的一个区域的位置信息。
43.本发明的另一个实施方式是内窥镜系统，其具备：以对体腔内的活组织进行拍摄的方式构成的电子内窥镜；以及与所述电子内窥镜相连接的所述内窥镜用处理器。
44.发明效果
45.根据上述内窥镜系统，与以往相比，能够更高精度地评估活组织病变部位的病变进展程度。
46.根据上述内窥镜用处理器和内窥镜系统，在想要评估病变进展程度时，无论评估对象图像的摄像位置如何，都能够稳定且高精度地评估病变的进展程度。
附图说明
47.图1是说明一个实施方式中的内窥镜系统执行处理的一例的图。
48.图2是示出一个实施方式中的内窥镜系统的结构的框图。
49.图3是说明用于对一个实施方式中的内窥镜用处理器内的严重程度进行计算的图像处理单元的结构的图。
50.图4是说明在一个实施方式的内窥镜用处理器中使用的颜色空间内的基准轴的示例图。
51.图5是说明用于计算在一个实施方式的内窥镜用处理器中使用的活组织红色度的偏移角计算方法的图。
52.图6是示意地说明活组织图像的一例和通过以往的方法得到的彩色映射图像的一例的图。
53.图7是说明通过一个实施方式中的内窥镜用处理器执行的血管区域的提取方法的一例的图。
54.图8是示出将一个实施方式的内窥镜用处理器中使用的模板用作空间滤波器时的滤波器系数的一例的图。
55.图9是说明在一个实施方式的内窥镜用处理器中使用的典型评估值的一例的图。
56.图10是示出在一个实施方式的内窥镜用处理器中使用的活组织红色度的典型值的影响度的一例的图。
57.图11是示出一个实施方式的内窥镜用处理器执行的严重程度计算方法的流程一例的图。
58.图12是用于说明通过一个实施方式的内窥镜用处理器执行的严重程度的计算处理一例的图。
59.图13是说明用于对一个实施方式中的内窥镜用处理器内的严重程度进行计算的图像处理单元的结构的图。
60.图14是示出一个实施方式的内窥镜用处理器执行的严重程度计算方法的流程一例的图。
61.图15a是示出一个实施方式的内窥镜用处理器执行的严重程度计算方法的流程示例的图。
62.图15b是示出一个实施方式的内窥镜用处理器执行的严重程度计算方法的流程示例的图。
63.图15c是示出一个实施方式的内窥镜用处理器执行的严重程度计算方法的流程示例的图。
具体实施方式
64.下面，在参照附图对本发明的实施方式中的内窥镜用处理器以及内窥镜系统进行说明之前，先对一个实施方式中的内窥镜系统的概念进行说明。
65.(内窥镜系统中的严重程度的计算)
66.根据病变的进展程度，活组织中的病变部位存在从炎症到溃疡的各种情况。例如，传统的内窥镜系统根据活组织的图像，按照每个像素计算与多个外观特征相对应的多个像
素评估值，该多个像素评估值能够根据病变部位所显示的颜色分量或病变部位的形状，将病变部位所呈现的多个外观特征中的每一个与活组织的健康部位的特征区别开。进一步地，在传统的内窥镜系统中，按照多个外观特征中的每一个对计算出的各个像素的像素评估值进行整合来计算多个典型评估值，并且对通过对计算出的多个典型评估值中的至少两个典型评估值进行运算后整合成的一个数值进行计算以作为病变的严重程度的值。上述运算是根据预先表示严重程度与多个典型评估值之间的关系的公式来进行的。但是，在此公式中，某一个典型评估值对严重程度的影响度、即严重程度随着典型评估值的变化而变化是恒定的，因此有时会与实际的病变进展程度的评估结果相背离。此外，为了使典型评估值对严重程度的影响度发生变化，以往也存在根据典型评估值相对于一个阈值的大小来变更用于计算严重程度的计算公式的情况。
67.与此相对，在根据本发明的一个实施方式的内窥镜系统中，当根据多个典型评估值计算病变的严重程度时，通过调整作为多个典型评估值之一的第1典型评估值的影响度，至少根据第1典型评估值来计算病变的严重程度。影响度的调整可以根据与计算第1典型评估值时所关注的图像的第1颜色分量不同的图像的第2颜色分量的信息来进行，或者至少根据用于表示与第1特征不同的另一个第2特征的程度的第2典型评估值来进行。另外，影响度的调整并不限于根据第2典型评估值来进行，也可以根据用于表示与第1特征和第2特征不同的另一个第3特征、第4特征等的特征的程度的第3典型评估值、第4典型评估值等来进行。
68.外观特征包括病变部位所显示的特定颜色分量的程度。例如，炎症部位所呈现的红色的程度。在这种情况下，通过量化此特征程度来获得的每个像素的像素评估值是例如通过量化红色程度来获得的活组织红色度。此外，另一个外观特征是所拍摄的活组织中具有特定形状的部分所包含的颜色分量的程度。通过量化此情况下的特征程度来获得的每个像素的像素评估值是例如通过对在病变部位及其周围呈条纹状延伸的血管区域所包含的红色程度进行量化来获得的血管红色度。此外，另一个外观特征是溃疡部位所呈现的特定颜色分量，例如白色程度。
69.外观特征也包括与形状相关的特征，例如可以是病变部位表面呈凹凸形状的程度或表面塑造等预定形状的程度。
70.图1是说明一个实施方式中的内窥镜系统执行处理的一例的图。在图1所示的示例中，作为多个典型评估值，至少包含用于表示活组织的炎症程度的活组织红色度的典型值、用于表示血管区域中的红色程度的血管红色度的典型值、以及用于表示溃疡程度的活组织白度的典型值。关于这些典型评估值的计算方法将在后面进行叙述。
71.另一方面，作为预处理，准备预先确定了病变的进展程度(严重程度)的评估结果的多个参考图像，并且对这些参考图像中的每一个预先计算出上述多个典型评估值。使用多个典型评估值来计算出预测公式，以使组合包含这三个典型评估值在内的多个典型评估值后预测到的严重程度与在各个参考图像中确定的病变发展程度(严重程度)的评估结果最为相关对应。在内窥镜系统中计算严重程度之前提取并设定此预测公式。另外，病变进展程度(严重程度)的评估结果例如是医生的主观评估结果(例如，mayo内窥镜评分)、组织学评估结果、或病理学诊断分数(geboes评分，rhi(反应性充血指数))。例如，在rhi(反应性充血指数)中，用0～33的34个等级的值进行评估。
72.接下来，计算多个典型评估值，根据计算出的多个典型评估值并使用预测公式来
计算严重程度，其中，该多个典型评估值包含通过电子内窥镜拍摄活组织而从图像中获得的活组织红色度的典型值、血管红色度的典型值、以及活组织白度的典型值。
73.此时，在预测公式中，调整作为多个典型评估值之一的第1典型评估值对严重程度的影响度。影响度的调整可以根据与计算第1典型评估值时所关注的图像的第1颜色分量不同的图像的第2颜色分量的信息来进行，或者至少根据用于表示与第1特征不同的另一个第2特征的程度的第2典型评估值来进行。
74.例如，根据血管红色度的典型值来调整用于表示炎症程度的活组织红色度的典型值对严重程度的影响度。或者，根据蓝色的颜色分量信息来对活组织红色度的典型值的影响度进行调整。当预测公式由至少使用第1典型评估值和第2典型评估值的多项式进行表示的情况下，多项式例如除了将与第1典型评估值和第2典型评估值各自相关的系数相乘后进行加减运算的项之外，还包括将第1典型评估值和第2典型评估值的乘积乘以与该乘积相关的系数后得到的项。因此，在这种情况下，第1典型评估值对严重程度的影响度除了与第1典型评估值相乘的系数以外，还至少包括与第1典型评估值和第2典型评估值的乘积相关的系数和第2典型评估值的乘积。因此，至少根据第2典型评估值来调整第1典型评估值对严重程度的影响度。
75.第2颜色分量的信息例如是与从外部导入到体腔内并存在于活组织上的残渣所呈现的颜色分量相关的特征量。
76.如此，根据第2颜色分量的信息，或者根据用于表示第2特征的程度的第2典型评估值来调整第1典型评估值对严重程度的影响度，因此能够减小与实际的病变进展程度(严重程度)之间的背离。由此，与以往相比，能够高精度地评估活组织病变部位的病变进展程度。
77.图2是示出本发明的一个实施方式中的电子内窥镜系统1的结构的框图。如图2所示，电子内窥镜系统1具备电子内窥镜100、电子内窥镜用处理器200、监视器300以及打印机400。
78.电子内窥镜用处理器200具备系统控制器202和时序控制器206。系统控制器202执行存储在存储器204中的各种程序，并且集成控制整个电子内窥镜系统1。此外，系统控制器202根据输入到操作面板208的用户(外科医生或助手)的指示来变更电子内窥镜系统1的各种设定。时序控制器206向电子内窥镜系统1内的各电路输出用于调整各部操作时间的时钟脉冲。
79.电子内窥镜用处理器200具备用于向电子内窥镜100提供照明光的光源部230。尽管图中未示出，但是光源部230具备例如通过接收由灯电源供给的驱动功率来发射白色照明光的高亮度灯，例如氙气灯、金属卤化物灯、水银灯或卤素灯。光源部230被配置为，从高亮度灯射出的照明光在通过图中未示出的聚光透镜聚光后，经由图中未示出的调光装置入射在电子内窥镜100的光纤束lcb(light carrying bundle，载光束)102的入射端上。
80.或者，光源部230具备多个发光二极管，其用于射出预定颜色的波段的光。光源部230被配置为，使用二向色镜等光学元件合成从发光二极管射出的光，将合成的光作为照明光，并通过图中未示出的聚光透镜聚光后，入射到电子内窥镜100的lcb(载光束)102的入射端上。可以使用激光二极管代替发光二极管。与其他光源相比，由于发光二极管和激光二极管具有低功耗、低发热量等特征，因此具有能够在抑制功耗和发热量的同时获得明亮图像的优点。通过获取明亮的图像，可以提高与后述病变相关的评估值的精度。
81.另外，在图2所示的示例中，光源部230内置在电子内窥镜用处理器200中，但是也可以作为与电子内窥镜用处理器200分开的装置而设置在电子内窥镜系统1中。此外，光源部230也可以设置在后述电子内窥镜100的前端部。在这种情况下，不需要设置用于引导照明光的lcb102。
82.光源部230射出的照明光不限于白光，也可以是以规定的窄波段作为波段的窄带光等特殊光。
83.从入射端入射到lcb102内的照明光在lcb102内传播，并从布置在电子内窥镜100的前端部内的lcb102的射出端射出，并经由配光透镜104照射到被摄体。来自被摄体的反射光经由物镜106在固体摄像元件108的受光面上形成光学图像。
84.固体摄像元件108例如是用于在受光面上布置ir(infra red，红外线)截止滤光片108a、采用拜耳阵列的滤色片108b等各种滤光片的单片式彩色ccd(charge-coupled device，电荷耦合器件存储器)图像传感器，根据在受光面上成像的光学图像生成r(red，红色)、g(green，绿色)、b(blue，蓝色)各原色信号。代替单片式彩色ccd图像传感器，也可以使用单片式彩色cmos(complementary metal oxide semiconductor，互补金属氧化物半导体晶体管)图像传感器。cmos图像传感器与ccd图像传感器相比，通常具有图像整体变暗的倾向。因此，当使用cmos图像传感器时，在如下所述的用于评估病变的量化处理中，能够抑制因图像的亮度所引起的病变部位中病变严重程度的波动的有益效果更为明显。如此，电子内窥镜100使用固体摄像元件108对体腔内的活组织进行拍摄。
85.在电子内窥镜100的连接部内设置有驱动器信号处理电路112。驱动器信号处理电路112对从固体摄像元件108输入的原色信号执行颜色插值、矩阵运算等预定信号处理后，生成图像信号(亮度信号y,色差信号cb,cr)，并将生成的图像信号输出到电子内窥镜用处理器200的图像处理单元220上。此外，驱动器信号处理电路112访问存储器114并读取电子内窥镜100的特有信息。记录在存储器114中的电子内窥镜100的特有信息例如包括固体摄像元件108的像素数、灵敏度、可操作帧速率、型号等。驱动器信号处理电路112将从存储器114读取的特有信息输出到系统控制器202中。
86.系统控制器202基于电子内窥镜100的特有信息执行各种运算，并生成控制信号。系统控制器202使用所生成的控制信号来控制电子内窥镜用处理器200内的各个电路的操作和时间，以便执行与连接于电子内窥镜用处理器200的电子内窥镜100相适应的处理。
87.时序控制器206根据由系统控制器202所执行的时序控制，向驱动器信号处理电路112、图像处理单元220以及光源部230供给时钟脉冲。驱动器信号处理电路112根据从时序控制器206所供应的时钟脉冲，按照与在电子内窥镜用处理器200侧上执行处理的图像帧速率同步的时序，驱动控制固体摄像元件108。
88.在系统控制器202的控制下，图像处理单元220根据从驱动器信号处理电路112所输入的图像信号，生成用于在监视器上显示内窥镜图像等的视频信号，并输出到监视器300上。进一步地，图像处理单元220根据由电子内窥镜100得到的活组织的病变部位的图像，来求出利用图像的颜色分量和形状信息对活组织的病变进展程度进行量化后的病变的严重程度。此外，图像处理单元220根据当为求出严重程度而进行量化处理时得到的活组织红色度和血管红色度等，来生成置换了颜色的彩色映射图像。图像处理单元220生成用于在监视器上显示的严重程度信息和彩色映射图像的视频信号，并输出到监视器300上。由此，外科
医生能够通过显示在监视器300的显示画面上的图像来接收所关注的活组织中病变的严重程度。图像处理单元220根据需要将彩色映射图像和严重程度信息输出到打印机400上。
89.电子内窥镜用处理器200经由nic(network interface card，网络接口卡)210和网络500连接至服务器600上。电子内窥镜用处理器200可以从服务器600下载与内窥镜检查相关的信息(例如，患者的电子病历信息、外科医生信息)。所下载的信息例如显示在监视器300的显示屏或操作面板208上。此外，电子内窥镜用处理器200将内窥镜检查结果(内窥镜图像数据、检查条件、图像分析结果、外科医生的发现等)上传到服务器600上，从而可以将内窥镜检查结果保存在服务器600上。
90.图3是说明进行量化处理的图像处理单元220的构成的图，该量化处理是为了计算活组织的病变严重程度，而用数值表示病变特征的程度。
91.图像处理单元220是用于通过根据由电子内窥镜100获得的活组织图像来量化活组织中的病变进展程度，来求出病变的严重程度的部分。图像处理单元220具备预处理部220a、特征量计算部220b、典型值计算部220c，以及整合部220d。
92.在一个实施方式中，多个典型评估值是第1典型评估值和第2典型评估值，特征量计算部220b对按照每个像素来量化活组织的红色程度的活组织红色度进行计算以作为用于计算第1典型评估值的第1像素评估值，对量化活组织上呈条纹状延伸的血管区域的红色的血管红色度进行计算以作为用于计算第2典型评估值的第2像素评估值。下面，说明用于计算活组织红色度和血管红色度的方式。
93.预处理部220a是对用于评估活组织所呈现出的红色度的图像实施预处理的部分。如一例所示，预处理部220a执行rgb转换、颜色空间转换、基准轴的设定和颜色校正等各种处理。
94.预处理部220a使用预定矩阵系数将从驱动器信号处理电路112输入的图像信号(亮度信号y,色差信号cb,cr)转换为图像颜色分量(r,g,b)。
95.预处理部220a还执行用于将转换为图像颜色分量的图像数据正投影在rg平面上的颜色空间转换。具体而言，将由rgb3原色定义的rgb颜色空间中的各个像素的图像颜色分量转换为rg的图像颜色分量。概念上，rgb颜色空间中各个像素的图像颜色分量根据r、g分量的像素值在rg平面内(例如，取r分量的像素值＝0～255、g分量的像素值＝0～255的值的rg平面内的区域)进行绘制。下面，为了便于说明，将rgb颜色空间中各个像素的图像颜色分量的点和在rg颜色空间中绘制的图像颜色分量的点称为“像素对应点”。rgb颜色空间的rgb各自的图像颜色分量例如依次为波长为620～750nm、波长为495～570nm、以及波长为450～495nm的颜色分量。另外，颜色分量构成颜色空间(也包括颜色平面)。色相和饱和度从“颜色分量”中排除。
96.预处理部220a设定评估活组织红色度和血管红色度所需的rg平面内的基准轴。
97.在作为被摄体的患者体腔内的活组织中，由于血红蛋白色素等的影响，图像颜色分量中的r分量相对于其他分量(g分量和b分量)占支配地位。当病变部位的病变进展程度低并且病变部位为发炎部位时，炎症越严重，红色(r分量)相对于其他颜色(g分量和b分量)就越重。但是，体腔内的拍摄图像会随着影响亮度的拍摄条件(例如，照明光的照射情况)的变化而发生颜色变化。示例性地，照明光未到达的阴影部分是黑色的(无彩色，例如r，g和b的图像颜色分量的值为零或接近零的值)，并且照明光强烈照射后正反射的部分是白色的
(无彩色，例如当r，g和b的图像颜色分量的值为8位灰度时，该值为255或接近255的值)。即，即使在对发生炎症的相同发炎部位进行拍摄的情况下，照明光照射越强烈，此发炎部位的像素值越大。因此，根据照明光的照射情况，图像的颜色分量的值有时会取与炎症强度不相关的值。
98.通常，未发生炎症的体腔内的健康部位被粘膜完全覆盖。与此相对，发生炎症的体腔内的发炎部位没有被粘膜完全覆盖。具体而言，在血管扩张的同时，血液和体液从血管漏出，因此粘膜相对变薄，并且容易看见血液的颜色。粘膜基本上是白色的，但颜色略带黄色，图像上映出的颜色(黄色)根据其深浅(粘膜厚度)的变化而变化。因此，认为粘膜的深浅也是评估炎症程度的指标之一。
99.因此，如图4所示，在rg颜色空间内，将穿过(50,0)和(255,76)的直线设为基准轴之一，并且将穿过(0,0)和(255,192)的直线也设为基准轴之一。为了便于说明，将前一个基准轴称为“血红蛋白变化轴ax1”，将后一个基准轴称为“粘膜变化轴ax2”。图4是说明一个实施方式中使用的颜色空间内的基准轴的示例的图。
100.图4所示的绘图是通过分析体腔内的多个参考图像而获得的结果。在分析中所使用的参考图像中，包括炎症程度最高的炎症图像示例(严重等级最高的炎症图像示例)、炎症程度最低的炎症图像示例(实质上可视为健康部位的图像示例)等各个阶段的炎症图像示例。另外，在图4所示的示例中，为了使附图清楚，仅仅示出了通过分析结果而获得的绘图的一部分。通过分析结果而实际获得的绘图数量远远多于图4所示的绘图数量。
101.如上所述，炎症越严重，图像的颜色分量中r分量相对于其他分量(g分量和b分量)就越重。因此，在图4所示的示例中，在绘图分布区域与未分布区域之间的边界线上，将比g轴更靠近r轴的边界线上的轴、以及穿过(50,0)和(255,76)的边界线上的轴设为炎症程度最严重的部分、即与炎症程度最高的部位的相关性高的轴。此轴是血红蛋白变化轴ax1。在血红蛋白变化轴ax1上，重叠有与在各种拍摄条件、例如，照明光的照射情况下拍摄的炎症程度最严重的发炎部位相对应的绘图。因此，血红蛋白变化轴ax1是随着活组织的炎症程度的增加而所绘制的像素对应点就越收敛的轴。
102.另一方面，越接近健康部位，图像的颜色分量中g分量(或者b分量)相对于r分量就越重。因此，在图4所示的示例中，在绘图分布区域与未分布区域之间的边界线上，将比r轴更靠近g轴的边界线上的轴、以及穿过(0,0)和(255,192)的边界线上的轴设为炎症程度最轻的部分、即与炎症程度最低的部分、实质上可以视为健康部位的相关性高的轴。此轴是粘膜变化轴ax2。在粘膜变化轴ax2上，重叠有与在各种拍摄条件、例如，照明光的照射情况下拍摄的炎症程度最轻的部分、即实质上可以视为正常部位相对应的绘图。因此，粘膜变化轴ax2是随着炎症程度的降低(越靠近健康部位)而所绘制的像素对应点就越收敛的轴。
103.作为补充，病变部位的病变进展程度最高的部分伴随出血。另一方面，病变进展程度最低的部分实质上是正常的健康部位，因此被粘膜完全覆盖。因此，可以认为图4所示的rg颜色空间内的绘图分布在夹在与血液(血红蛋白色素)颜色相关性最高的轴和与粘膜颜色相关性最高的轴之间的区域中。因此，在绘图分布区域与未分布区域之间的边界线上，靠近r轴(r分量占比大)的边界线相当于表示炎症程度最高的发炎部位的轴(血红蛋白变化轴ax1)，靠近g轴(g分量占比大)的边界线相当于表示炎症程度最低的发炎部位的轴(粘膜变化轴ax2)。
104.在以这种方式设定基准轴之后，针对正投影的图像的颜色分量执行用于对表示后述红色程度的活组织红色度进行计算的处理。在执行用于计算此活组织红色度的处理之前，对正投影的像素数据执行颜色校正。
105.图4所示的基准轴是一例，并且基准轴根据疾病种类的不同而不同。
106.预处理部220a在计算炎症评估值之前，对在rg颜色空间中表示的图像的颜色分量执行颜色校正。校正矩阵系数存储在图中未示出的存储器中。如下式所示那样，预处理部220a使用校正矩阵系数校正作为各个像素rg颜色空间内的像素对应点的像素数据(r,g)，以便使用不同的电子内窥镜系统对相同的发炎部位进行摄像时，后述炎症评估值不会产生误差(换言之，为了抑制电子内窥镜的个体误差)。
[0107][0108]rnew
：校正后的像素数据(r分量)
[0109]gnew
：校正后的像素数据(g分量)
[0110]m00
～m
11
：校正矩阵系数
[0111]
r：校正前的像素数据(r分量)
[0112]
g：校正前的像素数据(g分量)
[0113]
特征量计算部220b从像素中选择一个关注像素，针对所选择的关注像素，根据关注像素的颜色分量信息来计算用于计算活组织红色度、炎症程度的偏移角。即，根据像素的颜色分量信息，执行用于量化活组织的红色度的量化处理。图5是说明用于计算在一个实施方式中使用的活组织红色度的偏移角计算方法的图。具体而言，如图5所示，特征量计算部220b将血红蛋白变化轴ax1和粘膜变化轴ax2的交点设为基准点o'，并计算用于连结基准点o'和关注像素的像素对应点p的线段l的方向相对于血红蛋白变化轴ax1偏移的偏移角θ。另外，基准点o'位于坐标(-150,-75)。列举了将基准点o'设为坐标(-150,-75)的示例，但是本发明并不限定于此。可以适当地变更上述基准点o'，例如，也可以是rg颜色空间中r轴和g轴的交点。
[0114]
作为基准点o'，优选的坐标位置例如是可以减少因亮度波动而导致的评估结果的误差的位置。具体而言，优选地通过预先求出黑暗部(亮度小于预定值)的评估结果与非黑暗部(亮度大于等于预定值)的评估结果间的误差最小的点来设定基准点o'。
[0115]
此外，例如，当将基准点o'设在坐标(-10,-10)到(10,10)之间时，与将坐标(-150,-75)等设为基准点o'时的情况进行比较，由于像素对应点变化时角度θ的变化量增大，因此分辨率得以提高。由此，可以获得高精度的评估结果。
[0116]
另一方面，通过将基准点o'设在坐标(-50,-50)到(-200,-200)之间，用于表示炎症程度的评估结果很难受到噪声影响。
[0117]
当拍摄体腔内活组织的图像亮度随着白光的照射情况的变化而变化时，尽管图像颜色会受到个体差异、摄像位置和发炎状态等的影响，但在rg颜色空间内，通常在严重程度最高的发炎部位，其沿血红蛋白变化轴ax1变化，而在炎症程度最轻的发炎部位，其沿粘膜变化轴ax2变化。此外，可以推测炎症程度为中度时的发炎部位的图像颜色也以相同的趋势发生变化。即，当发炎部位对应的像素对应点随着照明光的照射情况而变化时，向以基准点o'为起点的方位角方向偏移。换言之，当与发炎部位相对应的像素对应点随着照明光的照
射情况而变化时，相对于粘膜变化轴ax2的偏移角θ恒定移动，与基准点o'间的距离发生变化。这意味着，偏移角θ是实质上不受图像亮度变化影响的参数。
[0118]
偏移角θ越小，r分量相对于g分量就越重，这表明病变部位中的红色度相对较大。此外，偏移角θ越大，g分量相对于r分量就越重，这表明红色度相对较小。因此，特征量计算部220b对角度θ进行归一化，以使得当偏移角θ为零时该值为255，而当偏移角θ为θ
max
时该值为零。另外，θ
max
与血红蛋白变化轴ax1和粘膜变化轴ax2所形成的角度相等。即，特征量计算部220b针对各关注像素，基于各关注像素的颜色分量的信息进行量化红色的程度的量化处理，由此求出包括在0～255范围内的活组织红色度(第1像素评估值)。
[0119]
另外，对图像的所有像素逐一选择关注像素。
[0120]
另外，在图5所示的示例中，使用rg颜色空间作为颜色空间，但是也可以使用rb颜色空间来代替rg颜色空间。
[0121]
特征量计算部220b基于偏移角θ计算活组织红色度以用作第1像素评估值，但根据情况，也可以计算用于表示活组织的溃疡特性程度的后述活组织白度(第3像素评估值)。例如，通过对活组织图像的各个像素的各个颜色分量像素值执行赋予线性增益(增益)的增益调整，实质上扩散病变特有的色域附近的动态范围，执行用于增强颜色表现的有效分辨率的色调增强处理，例如，可以将包括溃疡性大肠炎的白苔和脓状粘液的溃疡部位显示为白色，从而将包括浮肿或易出血性显示为红色的发炎部位和显示为绿色的正常部位通过颜色分量区分开。活组织的白度可以使用以图5所示的2种颜色分量(r分量、g分量和b分量中的2种)或3种颜色分量(r分量、g分量和b分量)为坐标轴在颜色空间上表示的、相对于与血红蛋白变化轴ax1不同的基准轴的偏移角来进行计算。另外，色调增强处理由预处理部220a来执行。
[0122]
特征量计算部220b进一步生成用于通过随着活组织红色度的变化而变化的显示色对活组织的图像进行马赛克化的彩色映射图像。为了能够显示彩色映射图像，将像素评估值与预定显示色相对应的表存储在图中未示出的存储器等存储区域中。例如，在该表格中，每5个数值对应不同的显示色。示例性地，像素评估值在0～5范围内时对应蓝色，每当该像素评估值增加5个值时，按照色调环中颜色的排列顺序对应不同的显示色，当像素评估值在250～255范围内时对应红色。活组织的红色度越大，显示色就越是从冷色系接近暖色系，例如从蓝色变为黄色甚至红色。特征量计算部220b参考上述表格，根据关注像素的活组织红色度来确定所选择的关注像素在彩色映射图像上的显示色。
[0123]
这样一来，特征量计算部220b生成用于根据活组织红色度赋予其颜色的彩色映射图像。
[0124]
进一步地，特征量计算部220b根据表征血管的形状来判断通过对活组织进行拍摄而获得的图像中的活组织的血管区域的概率，并且根据需要，通过所求出的概率来提取血管区域。
[0125]
如图6所示，在对活组织进行拍摄的图像中，在病变部位x的附近还包括能够透过粘膜看到的条纹状的血管区域y的图像。在根据上述活组织红色度对这样的图像进行了分色的图6所示的彩色映射图像中，有时也可以用与炎症部位相同的颜色来显示血管区域y。图6是示意地说明活组织图像的一例和通过以往的方法得到的彩色映射图像的一例的图。
[0126]
特征量计算部220b求出血管区域y的概率，并根据概率来提起血管区域y。
[0127]
图7是说明用于提取一个实施方式中的血管区域y的方法的一例的图。
[0128]
特征量计算部220b求出用于对活组织图像中的一部分的检查对象区域ar的形状与多个模板tp1～tp4的每个直线状之间的相关度进行表示的匹配度，在与多个模板tp1～tp4中的每一个相对应的匹配度中，将值最大的最高匹配度设为检查对象区域ar中的血管区域y的概率。模板tp1～tp4由像素构成，并且模板tp1～tp4具备直线延伸方向彼此不同的多个直线形状。模板tp1～tp4结合各自的直线形状，各像素具有像素值。如图7所示，通过从图像的端部开始沿着箭头方向依次重叠并移动检查对象区域ar，来求出检查对象区域ar内的图像的像素评估值和与模板tp1～tp4中的每一个相对应的像素的值之间的相关度。根据一个实施方式，模板tp1～tp4作为表征血管的形状，具备在4个不同的延伸方向上延伸直线的4个直线形状。在检查对象区域ar包含血管区域的情况下，由于检查对象区域ar内的像素值包含血管呈条纹状延伸的特征形状的信息，因此能够通过使用以根据偏移角θ设定的像素评估值为像素值的图像，来提取血管区域y。模板tp1～tp4具有与图6所示的白色区域和黑色区域相对应的每个像素的值。因此，根据一个实施方式，匹配度是模板tp1～tp4的像素的值和与检查对象区域ar相对应的像素评估值之间的相关系数。此外，根据一个实施方式，匹配度也可以是将模板tp1～tp4的每个像素的值作为空间滤波器的滤波器系数，并且将此滤波器系数中的每一个和与检查对象区域ar相对应的像素的图像评估值进行相乘后的总值。
[0129]
在针对模板tp1～tp4中的每一个所计算出的匹配度中，值最大的最高匹配度作为用于表示血管区域概率的值，并且将其赋予给检查对象区域ar的中心像素。
[0130]
图8是示出将模板tp1用作空间滤波器时的滤波器系数的一例的图。如图8所示，模板tp1具有在图中的垂直方向上直线延伸的形状。在图7中，作为一例，模板tp1构成5
×
5像素的空间滤波器。在这种情况下，对以直线延伸的部分的像素赋予1/5以作为滤波器系数，而对除此之外的其它像素赋予-1/20以作为滤波器系数。当将滤波器系数中的每一个和与检查对象区域ar相对应的像素的相同图像评估值进行相乘后的总值作为匹配度进行计算时，在检查对象区域ar中任意一个像素评估值都是相同值的情况下，匹配度为零。另一方面，当检查对象区域ar中包含沿垂直方向呈条纹状延伸的血管图像时，匹配度增大。可以说，此匹配度的值越大，所包含的图像就越接近模板tp1。因此，针对模板tp1～tp4中的每一个计算匹配度，将计算出的匹配度中值最大的最高匹配度作为血管区域y概率赋予给检查对象区域ar的中心像素。即，将血管区域y概率值赋予给检查对象区域ar中的中心像素。
[0131]
由于这样的匹配度是通过分别使用模板tp1～tp4对作为活组织红色度的像素评估值进行空间滤波后得到的结果，因此，各像素具有通过空间滤波处理后的像素评估值的图像的各像素的值包含与模板tp1～tp4中的任一个进行匹配时的匹配度信息，通过上述空间滤波得到的图像为反映了血管区域y的像素值。因此，特征量计算部220b判断各像素中的血管概率的值是否大于预定值，当像素中的血管概率的值大于预定值时，则判断此像素位于血管区域y，从而提取血管区域y。
[0132]
特征量计算部220b将与提取出的血管区域y相对应的像素中的活组织红色度确定为血管红色度。在这种情况下，与血管区域y不对应的区域的血管红色度为零。此外，特征量计算部220b可以求出通过将血管的概率归一化到0～1的范围内后获得的值，也可以求出对活组织红色度进行校正后的结果以作为血管红色度，并使得此值越高值就越高，此值越低
值就越低。如此，针对所有像素计算血管红色度。例如，也可以将通过活组织红色度的值乘以血管的概率值来获得的结果作为血管红色度来求出。
[0133]
如此，根据一个实施方式的特征量计算部220b计算出活组织红色度以作为第1像素评估值，并计算出血管红色度以作为第2像素评估值。因此，本实施方式中的第1像素评估值是用于表示图像的炎症部位所显示的颜色分量的程度的评估值，第2像素评估值是用于表示图像中的形成血管形状的部分所包含的颜色分量的程度的评估值。
[0134]
典型值计算部220c通过对特征量计算部220b计算出的各像素的活组织红色度(第1像素评估值)进行汇总来计算出拍摄到的活组织的活组织红色度的典型值(第1典型评估值)，进而，通过对特征量计算部220b计算出的各像素的血管红色度(第2像素评估值)进行汇总来计算出拍摄到的血管红色度的典型值(第2典型评估值)。
[0135]
计算图像中的典型评估值即活组织红色度的典型值以及血管红色度的典型值的处理既可以是计算各像素的活组织红色度以及血管红色度的平均值的平均化处理，也可以是求出其他公知的处理例如求出中值的处理。平均化处理包括求出简单平均值的处理、以及求出加权平均值的处理。此外，作为公知的处理，也可以是将像素评估值即活组织红色度以及血管红色度的每一个划分为至少2个以上的排序次的等级，并且将属于各个等级的像素数乘以预定加权系数而获得的值的合计值p代入预定公式中来计算典型值的处理。在这种情况下。规定的公式为例如1/(1+e-p
)。在这种情况下，优选地，加权系数是通过多重逻辑回归分析获得的系数，以便与医生的主观评估结果之间具有相关性。
[0136]
在一个实施方式中，优选地，图像中的典型评估值是在各像素中的像素评估值的直方图中频率为1以上的区间(数据区间)的合计区间数。图9是说明在一个实施方式的内窥镜系统中使用的典型评估值的一例的图。在图9所示的示例中，对于频率为1以上的像素评估值的范围内的区间数，具体而言，区间数1为16，区间数2为2。因此，在图9所示的示例中，典型评估值为合计区间数18(＝16+2)。在将这样的合计区间数用作典型评估值的情况下，预先设定直方图中的数据区间并进行固定。
[0137]
以往，在将像素评估值的平均值或最大值用作典型评估值的情况下，即使像素评估值高的像素不发生变化，当像素评估值低的像素(例如，在活组织红色度中红色程度低的像素)增多时，受像素评估值低的像素的量的影响，也会导致平均值下降。此外，即使像素评估值高的像素不怎么发生变化，当在最大像素评估值中混入噪声分量并增大时，最大值也会变大。如此，典型评估值受未关注的像素评估值的像素的量的影响、或者受噪声分量的影响而发生波动，这对于计算精度高的严重程度来说，并不是优选的。在这一点上，合计区间数不会受具有未关注的像素评估值的像素的量的影响，而且，也不会受噪声分量的影响，因此能够作为稳健且稳定的典型评估值来使用。因此，能够稳定地计算出精度高的严重程度。
[0138]
在将这样的合计区间数用作典型评估值的情况下，典型评估值优选适用于表示活组织的炎症部分所呈现的颜色分量的程度的值，例如活组织红色度的典型值。活组织的炎症部位的红色程度高，而除炎症部位以外的健康部位的红色程度低，因此，在得到稳定的典型评估值的这一点上，优选使用合计区间数作为典型评估值。
[0139]
整合部220d通过整合活组织红色度的典型值(第1典型评估值)和血管红色度的典型值(第2典型评估值)来计算病变的严重程度。即，基于活组织红色度的典型值(第1典型评估值)和血管红色度的典型值(第2典型评估值)来计算病变的严重程度。此时，整合部220d
根据血管红色度的典型值来调整用于表示严重程度随着活组织红色度的典型值(第1典型评估值)的变化而变化的活组织红色度的典型值(第1典型评估值)的影响度。如此，由于调整了典型评估值对严重程度的影响度，因此与以往相比能够高精度地评估活组织病变部位的病变进展程度。
[0140]
图10是示出活组织红色度的典型值的影响度的一例的图。图10所示的曲线(圆圈)表示相对于参考图像中的活组织红色度的典型值的用于表示参考图像中的病变进展程度的评估值(严重程度的值)。此时，作为血管红色度的典型值，例示了高(虚线的白色圆圈)、中(灰色圆圈)、低(黑色圆圈)这三个值。用黑色虚线、灰色实线和黑色实线表示的三条直线表示当血管红色度的典型值为高、中和低时，以与评估值的相关性最高的方式计算出的回归直线。由图可知，活组织红色度对严重程度的值的影响度(回归直线的梯度)随着血管红色度的典型值的变化而变化。在图10所示的示例中，血管红色度的典型值越小，活组织红色度的典型值对严重程度的影响度就越大。因此，在计算病变的严重程度时，根据血管红色度的典型值(第2典型评估值)来调整活组织红色度的典型值(第1典型评估值)的影响度。
[0141]
上述影响度的调整至少是根据与第1典型评估值不同的第2典型评估值来进行调整的，但并不限定于根据第2典型评估值来进行调整的情况。例如，也可以根据与计算第1典型评估值时使用的活组织炎症部位的红色分量不同的图像的另一个颜色分量(第2颜色分量)的信息来进行调整。另一个颜色分量(第2颜色分量)例如也可以是与从外部导入到体腔内并存在于活组织上的食物等渣滓(残渣)所呈现的颜色分量相关的特征量。食物等渣滓(残渣)与血液等的颜色相比，蓝色分量呈现较强的褐色，因此例如能够将图像的r、g、b信号中的b信号相对于g信号的比率作为与上述食物等渣滓(残渣)所呈现的颜色分量相关的特征量来使用。
[0142]
根据一个实施方式，优选地，在根据至少以第1典型评估值为说明变量的多项式来计算严重程度的情况下，上述影响度是与多项式的第1典型评估值相关的系数。当使用多项式计算严重程度时，调整与第1典型评估值相关的系数，因此能够很容易地改变第1典型评估值的影响度。
[0143]
根据一个实施方式，上述多项式也可以是通过预处理得到的预测公式(例如，回归方程式)。具体而言，使用确定了作为病变进展程度的评估结果的评估值的参考图像，将第1像素评估值(例如，活组织红色度的典型值)和用于表示第2颜色分量的信息的值(例如，与残渣所呈现的颜色分量相关的特征量)或第2像素评估值(例如，血管红色度的典型值)作为说明变量，将参考图像中的评估值作为严重程度的值，将此严重程度作为目标变量，以计算出的严重程度与上述评估值最为相关对应的方式，能够通过预先进行与严重程度相关的多元回归分析，来得到回归方程式(进行预测公式的优化)。由此，能够得到用于优化计算严重程度的回归方程式。
[0144]
在图1所示的示例中，具体而言，使用确定了病变进展程度的评估结果的多个参考图像，至少将活组织红色度的典型值(第1典型评估值)、血管红色度的典型值(第2典型评估值)和活组织白度的典型值(第3典型评估值)作为说明变量，将参考图像中的严重程度作为目标变量，通过预先进行多元回归分析来得到回归方程式。将此回归方程式作为优化后的预测公式，用于对使用由电子内窥镜拍摄的作为评估对象的图像的严重程度进行计算。
[0145]
根据一个实施方式，当将第1典型评估值设为x、将第2典型评估值设为y时，整合部
220d优选地通过使用系数α1、β1、γ1和常数d1，按照严重程度＝α1·
x+β1·
y+γ1·
x
·
y+d1来进行计算。第1典型评估值和第2典型评估值并不限定于活组织红色度的典型值、血管红色度的典型值和活组织白度的典型值中的任意一个，也可以是根据其他病变部位的特征计算出的典型评估值。
[0146]
此外，根据另一个实施方式，在存在不影响严重程度但影响第1典型评估值的影响度的第2颜色分量的情况下，当将第1典型评估值设为x、将用于表示第2颜色分量的信息的值(典型值)设为z时，整合部220d优选地通过使用系数α2、β2和常数d2，按照严重程度＝α2·
x+β2·
x
·
z+d2来进行计算。第1典型评估值并不限定于活组织红色度的典型值、血管红色度的典型值和活组织白度的典型值中的任意一个，也可以是根据其他病变部位的特征计算出的典型评估值。第2颜色分量的信息优选为与从外部导入到体腔内并存在于活组织上的残渣所呈现的颜色分量相关的特征量，但并不限定于与存在于活组织上的食物等渣滓(残渣)所呈现的颜色分量相关的特征量。
[0147]
在按照严重程度＝α1·
x+β1·
y+γ1·
x
·
y+d1进行计算的情况下，由于将其表示为严重程度＝(α1+γ1·
y)
·
x+β1·
y+d1，因此第1典型评估值的影响度根据α1+γ1·
y、即第2典型评估值来进行调整。同样地，在按照严重程度＝α2·
x+β2·
x
·
z+d2进行计算的情况下，由于将其表示为严重程度＝(α2+β2·
z)
·
x+d2，因此第1典型评估值的影响度根据α2+β2·
z、即第2颜色分量的信息来进行调整。
[0148]
使用这样的预测公式，可以很容易地改变影响度。
[0149]
根据一个实施方式，除了第2典型评估值或用于表示上述第2颜色分量的信息的值(典型值)以外，整合部220d优选地还至少通过使用对用于表示与第1特征和第2特征不同的另一个第3特征的程度的第3像素评估值进行汇总后得到的第3典型评估值来调整第1典型评估值的影响度。当将第1典型评估值设为x、将第2典型评估值设为y、将第3典型评估值设为z时，使用系数α3、β3、γ3、σ3、θ3、ω3、和常数d3，例如，按照，例如，按照来进行计算。在这种情况下，第1典型评估值x的影响度为
[0150]
此外，除了第2典型评估值以外，整合部220d还能够根据用于表示上述第2颜色分量的信息的值(典型值)来调整第1典型评估值的影响度。当将第1典型评估值(例如，活组织红色度的典型值)设为x、将第2典型评估值(血管红色度的典型值)设为y、并将用于表示第2颜色分量(例如，残渣所呈现的颜色分量)的信息的值设为z时，通过使用系数α4、β4、σ4、θ4、和常数d4，例如，按照来进行计算。在这种情况下，由于受第2典型评估值y和值z的影响，第1典型评估值x的影响度发生变化的同时，第2典型评估值y可单独影响严重程度，而值z不会单独影响严重程度。另外，第1典型评估值x的影响度为即，通过使用这样的预测公式，能够很容易地改变影响度。
[0151]
根据一个实施方式，用于计算严重程度的病变部位所出现的外观特征是活组织炎症部位所呈现的颜色分量(红色)的程度、用于表示活组织上呈条纹状延伸的血管的血管区域所呈现的颜色分量(红色)的程度、以及活组织溃疡部位所呈现的颜色分量(白色)的程度中的任意一个，并且在高精度地计算严重程度方面是优选的。
[0152]
整合部220d将计算出的严重程度与特征量计算部220b创建的彩色映射图像一起用于生成画面显示的信号并发送给监视器300。
[0153]
图11是示出一个实施方式的内窥镜系统执行的严重程度计算方法的流程一例的图。
[0154]
首先，图像处理单元220取得当前帧的图像(步骤s10)。
[0155]
其次，预处理部220a执行包括上述rgb转换、颜色空间转换、基准轴的设定、颜色校正、以及必要时的色调增强处理在内的预处理，进而，特征量计算部220b针对执行了预处理的图像，按照每个像素计算用于表示与病变部位所显示的颜色分量或形状相关的多个特征中的每一个的程度的多个像素评估值(第1像素评估值、第2像素评估值、第3像素评估值)、例如，活组织红色度和血管红色度、活组织白度等(步骤s12)。
[0156]
特征量计算部220b判定是否针对当前帧的图像的所有像素计算像素评估值(步骤s14)。当针对所有像素完成像素评估值的计算时，典型值计算部220c计算整合了像素评估值的典型值，即第1～第3典型评估值等典型值(步骤s16)。按照像素评估值的每个类型计算典型值。
[0157]
之后，整合部220d将多个典型值(典型评估值)组合起来，来计算1个严重程度(步骤s18)。即，计算作为病变的严重程度的数值，该数值是运算并整合多个典型值(典型评估值)后得到的1个数值。在严重程度的计算中，例如，如上所述，使用将在预处理中得到的多个典型值(典型评估值)作为说明变量的回归方程式。此回归方程式是关于严重程度的、与主观评估结果最为对应的方程式。
[0158]
之后，整合部220d生成用于对根据在步骤s12中计算出的像素评估值生成的彩色映射图像和在步骤s18中计算出的严重程度进行画面显示的信号，并发送到监视器300中。由此，监视器300显示彩色映射图像和严重程度的信息(步骤s20)。
[0159]
这样一来，图像处理单元220在从电子内窥镜100依次发送摄像图像的期间，反复进行上述处理(步骤s22)。
[0160]
如此，将计算出的严重程度在监视器300上进行画面显示，因此用户能够通过观看监视器300来得知病变的进展程度。
[0161]
下面，将对本发明的另一实施方式进行说明。
[0162]
如前所述，在传统的内窥镜系统中，通过将计算出的各个像素的像素评估值按照多个外观特征中的每一个进行整合，来计算出多个典型评估值，并且对通过对计算出的多个典型评估值中的至少两个的典型评估值进行运算后整合成的一个数值进行计算以作为病变的严重程度的值。上述运算是根据预先表示严重程度与多个典型评估值之间的关系的公式来进行的。
[0163]
然而，在即使摄像位置不同也使用相同公式的情况下，在管状细长器官的入口侧部分和纵深方向的里侧部分中，即使是相同程度的病变进展，计算出的典型评估值也彼此不同，并且有时会出现严重程度的值发生变化这样的问题。
[0164]
因此，在一个实施方式的内窥镜用处理器中，当根据多个典型评估值计算病变的严重程度的值时，对根据与评估对象图像相对应的摄像位置信息来调整的严重程度的计算处理进行设定，并进行计算。即，根据摄像位置的信息来调整严重程度的值。因此，无论评估对象图像的摄像位置如何，都能够稳定且高精度地评估病变的进展程度。
[0165]
图12是说明通过一个实施方式的内窥镜用处理器以及内窥镜系统执行处理的一例的图。在图12所示的示例中，作为多个典型评估值，至少包含用于表示活组织的炎症程度的活组织红色度的典型值、用于表示血管区域中的红色程度的血管红色度的典型值、以及用于表示溃疡程度的活组织白度的典型值。关于这些典型评估值的计算方法将在后面进行叙述。
[0166]
首先，作为预处理，准备多个由电子内窥镜拍摄的且确定了病变的进展程度(严重程度)的评估结果的参考图像，并且对这些参考图像的每一个中预先计算出上述多个典型评估值。严重程度相关的评估可以是医生的主观评估结果(例如mayo内窥镜亚评分)或组织学评估结果。使用多个典型评估值来优化严重程度的计算处理，以使组合包含这三个典型评估值在内的多个典型评估值并计算出的严重程度与在各参考图像中确定的病变进展程度(严重程度)的评估结果最为相关。此时，使用参考图像的摄像位置信息对每个摄像位置执行严重程度的计算处理的优化。
[0167]
严重程度计算的优化例如包括：根据摄像位置，设定与关系式中的各典型评估值相关的系数值；作为输入到关系式中的典型评估值的信息，使用通过与对应于摄像位置的典型评估值相关的两个基准值进行归一化后的典型评估值(归一化评估值)来计算严重程度的值；或者将通过根据摄像位置设定的且与严重程度相关的两个基准值来对使用关系式计算出的严重程度的计算结果进行归一化后的值作为严重程度的值。在内窥镜用处理器中计算评估对象图像的严重程度之前，设定通过使用以这种方式得到的关系式来执行严重程度的优化的总体处理内容。
[0168]
其次，计算多个典型评估值，并通过将计算出的多个典型评估值输入到关系式中来计算严重程度，其中，该多个典型评估值包含通过电子内窥镜拍摄活组织而从图像中获得的活组织红色度的典型值、血管红色度的典型值、以及活组织白度的典型值。在这种情况下，根据优化后的严重程度的计算处理内容，例如根据摄像位置来设定与关系式内的各典型评估值相关的系数值，并使用计算公式计算严重程度的值。或者，作为输入到不会随摄像位置的变化而变化的关系式中的典型评估值的信息，使用通过与对应于摄像位置的典型评估值相关的两个基准值进行归一化后的典型评估值(归一化评估值)来计算严重程度的值。或者，在通过使用不会随摄像位置的变化而变化的关系式来计算严重程度之后，通过根据摄像位置设定的两个基准值对此计算结果的值进行归一化后的值作为严重程度的值。
[0169]
如此，当根据评估对象图像中的多个典型评估值计算病变的严重程度的值时，对根据评估对象图像的摄像位置信息来调整的严重程度的计算处理进行设定，并进行计算，因此，无论图像的摄像位置如何，都能够稳定且高精度地评估病变的进展程度。
[0170]
图13是说明进行量化处理的图像处理单元220的构成的图，该量化处理是为了计算活组织的病变严重程度，而用数值表示病变特征的程度。
[0171]
图像处理单元220是用于通过根据由电子内窥镜100获得的活组织图像来量化活组织中的病变进展程度，来求出病变的严重程度的部分。图像处理单元220具备预处理部220a、特征量计算部220b、典型值计算部220c、整合部220d以及摄像位置信息处理部220e。
[0172]
由于已经参照图3对预处理部220a、特征量计算部220b、典型值计算部220c进行了说明，因此省略其重复说明。
[0173]
整合部220d通过整合活组织红色度的典型值和血管红色度的典型值来计算病变
的严重程度的值。此时，整合部220d对根据所拍摄图像的摄像位置信息来调整的严重程度的计算处理进行设定。
[0174]
在摄像位置信息处理部220e中，摄像位置信息与所拍摄的图像相对应。例如，将摄像位置信息从设置在内窥镜系统1中的位置测量系统发送到摄像位置信息处理部220e中。
[0175]
位置测量系统例举了例如利用传感器来获取位于插入到器官中的电子内窥镜的前端处的固体摄像元件108的位置以及续接的可挠管的各个位置的系统、获取从器官的开口端插入的电子观测器100的插入长度的系统、或者将所拍摄的图像显示在监视器300上，并且观看此图像的外科医生通过手动输入指令，来获取用于表示电子观测器100的前端部已通过作为所插入的器官内的特征部分的特定部分通过信号的系统。
[0176]
在利用传感器获取固体摄像元件108的位置的系统中，例如，在位于电子内窥镜100前端部的固体摄像元件108附近的位置以及从前端部到续接至处理器200侧的可挠管以预定间隔设置多个磁传感器，从将电子内窥镜100插入至器官内的人体外部开始根据位置施加强度不同的磁场，并且上述磁传感器通过测量磁场的强度，可以获悉设置在前端部的磁传感器的位置，进而，可以从多个磁传感器的位置来获悉可挠管在器官内的弯曲形状。由此，可以获悉固体摄像元件108的前端部的位置，并且可以获悉电子内窥镜100在器官内的形状、以及电子内窥镜100从器官开口端开始插入的插入长度。
[0177]
当其为用于获取电子内窥镜100从器官的开口端插入的插入长度的系统时，例如，在所拍摄的运动图像中的相邻帧图像之间利用光流处理来获取活组织移动了多少等相关的移动距离信息，并且每当帧图像变化时累加上述移动距离信息计算出移动距离，从而可以获取当前电子内窥镜100的插入长度信息。此外，例如，可以通过测量续接的可挠管从所插入的电子内窥镜100的前端部朝向器官内伸出的长度来获取当前电子内窥镜100的插入长度信息。
[0178]
在用于获取器官的特定部分通过信号的系统中，外科医生在观察显示在监视器300上的图像的同时，在器官内部的可识别的特定部分出现在图像中并通过的时间点，外科医生通过按下位于手边的按钮来生成特定部分通过信号，摄像位置信息处理部220e可以获取此特定部分通过信号。所谓器官内部的特定部分位置，例如当器官是大肠时，包括升结肠的起始位置、升结肠终止且大肠弯曲后横结肠的起始位置、横结肠终止且大肠弯曲后降结肠的起始位置、降结肠终止且大肠弯曲后乙状结肠的起始位置、乙状结肠终止且直肠的起始位置、以及直肠终止到达肛门的位置。
[0179]
整合部220d根据以这种方式得到的且与图像相对应的摄像位置信息，来设定严重程度的计算处理内容。根据一个实施方式，在整合部220d根据在严重程度与多个特征中的每一个的典型评估值之间建立关联的关系式来计算严重程度的值的情况下，在关系式中，将与摄像位置信息相对应的值设定为与典型评估值相关的系数。通过对这样的系数执行图12所示的预处理，针对每个摄像位置计算关联式的系数值并保存在存储器204中，以使参考图像中的病变进展程度(严重程度)的评估结果的数值与多个严重程度的计算结果之间的相关性最高。由此，能够抑制严重程度的值随着摄像位置信息的变化而变化的程度。
[0180]
因此，整合部220d从存储器204读出与摄像位置信息相对应的系数值，并将系数值赋予关系式。
[0181]
根据一个实施方式，存储器204针对每个摄像位置，将与典型评估值相关的两个基
准值作为根据参考图像的摄像位置信息来确定的值进行保持，其中，该典型评估值是根据通过电子内窥镜拍摄病变进展程度不同的多个病变部位后得到的多个参考图像(参照图12)来设定的值。在这种情况下，整合部220d通过使用预先在归一化评估值与严重程度之间建立关联的关系式，来计算通过电子内窥镜100拍摄的评估对象图像中的严重程度，其中，该归一化评估值是整合部220d通过与由电子内窥镜100拍摄的参考图像的摄像位置信息相对应的两个基准值对参考图像的典型评估值进行归一化后得到的值。
[0182]
作为两个基准值，例如，例示出活组织的健康部位所显示的典型评估值、以及病变部位的病变最严重时的病变部位所显示的典型评估值。两个基准值优选为参考图像的典型评估值在摄像位置处可取的上限值和下限值。通过优化预处理的严重程度的计算处理，该基准值按照每个摄像位置与关系式一起来获取。因此，在预处理中，提取在归一化评估值与严重程度之间建立关联的关系式，其中，归一化评估值是通过两个基准值对典型评估值进行归一化后得到的值。
[0183]
当根据通过电子内窥镜100拍摄的评估对象图像来进行严重程度的计算时，整合部220d从存储器204中读出与评估对象图像的摄像位置信息相对应的两个基准值，并通过将归一化评估值输入到在归一化评估值与严重程度之间建立关联的上述关系式中，来计算严重程度的值，其中，该归一化评估值是通过两个基准值对典型评估值进行归一化后得到的值。由此，能够抑制严重程度的值随摄像位置的变化而变化的情况。另外，当严重程度的值随摄像位置的变化而变化的程度依然较大的情况下，除了在关系式中使用归一化评估值之外，还可以构成为根据摄像位置来设定在归一化评估值与严重程度之间建立关联的关系式中使用的系数值。
[0184]
根据一个实施方式，存储器204针对电子内窥镜100的每个摄像位置，将根据通过电子内窥镜100拍摄病变进展程度不同的多个病变部位后得到的多个参考图像(参照图12)来设定的与严重程度相关的两个基准值作为根据参考图像的摄像位置来确定的值来进行保持。整合部220d通过使用预先在通过电子内窥镜100拍摄的评估对象图像的典型评估值与严重程度之间建立关联的关系式来计算严重程度，并将通过与评估对象图像的摄像位置信息相对应地确定的两个基准值来对计算结果的值进行归一化后得到的归一化值作为严重程度的值进行计算。
[0185]
这里，作为两个基准值，例如，例示出活组织的健康部位所显示的严重程度在归一化前的值、以及病变部位的病变最严重时的病变部位所显示的严重程度在归一化前的值。两个基准值优选为参考图像的严重程度的值(归一化前的值)在摄像位置处可取的上限值和下限值。通过优化预处理的严重程度的计算处理，该基准值按照每个摄像位置与关系式一起来获取。因此，在预处理中，提取在两个基准值、典型评估值与严重程度之间建立关联的关系式。
[0186]
因此，整合部220d将评估对象图像的典型评估值输入到在严重程度和多个特征中的每一个的典型评估值之间建立关联的关系式中进行计算，并将通过根据摄像位置从存储器204读出的两个基准值来对计算结果的值进行归一化后得到的归一化值作为严重程度的值进行计算。由此，能够抑制严重程度的值随摄像位置的变化而变化的程度。另外，当严重程度的值随摄像位置的变化而变化的程度依然较大的情况下，除了使用归一化值作为严重程度的值之外，还可以将在关系式中使用的系数设定为与摄像位置信息相对应的值，进而，
也可以构成为使用在将典型评估值进行归一化后得到的归一化评估值与严重程度之间建立关联的关系式。
[0187]
根据一个实施方式，上述关系式优选为通过执行多元回归分析后提取的多项式的回归方程式，以使根据多个特征中的每一个的典型评估值来计算的严重程度的值与预先准备的且确定了与严重程度相关的评估结果的参考图像的病变进展程度的评估结果相对应。这种回归方程公式是在预处理中优化严重程度的计算处理过程中计算出来的。通过使用回归方程公式，严重程度的计算结果可以与严重程度的评估结果高度相关地对应。
[0188]
此外，根据一个实施方式，摄像位置信息优选为当将管状器官沿纵深方向的区域划分为多个区域时的一个区域的位置信息。在管状器官中，在器官的入口部分和纵深侧部分之间存在活组织表面形态不同的部分，因此，即使在相同的健康部位中，严重程度的值也会随着摄像位置信息的不同而不同，并且值变化的程度增大。因此，在将管状器官作为检查对象的情况下，特别优选为根据摄像位置信息来设定严重程度的计算处理内容。当器官为例如包含直肠、乙状结肠、降结肠、横结肠和升结肠在内的大肠的情况下，可以将其分为大肠的直肠～乙状结肠的区间和从乙状结肠的里侧到升结肠的区间这两个区间，也可以将其分为直肠、乙状结肠、降结肠、横结肠和升结肠这五个区间。
[0189]
图14是示出一个实施方式的内窥镜系统执行的严重程度计算方法的流程一例的图。
[0190]
首先，为了通过电子内窥镜100获得评估目标图像而进行拍摄，此时的摄像位置信息与评估对象图像相对应，并通过内窥镜用处理器内的位置信息获取部来获取(步骤s110)。另一方面，在通过驱动器信号处理电路112对所拍摄的图像进行处理之后，图像处理单元220通过系统控制器202获取当前帧的图像(步骤s112)。
[0191]
其次，预处理部220a执行包括上述rgb转换、颜色空间转换、基准轴的设定、颜色校正、以及必要时的色调增强处理在内的预处理，进而，特征量计算部220b针对执行了预处理的图像，按照每个像素计算用于表示与病变部位所显示的颜色分量或形状相关的多个特征中的每一个的程度的多个像素评估值、例如活组织红色度和血管红色度、活组织白度等(步骤s114)。
[0192]
特征量计算部220b重复处理直到针对当前帧的图像的所有像素计算出像素评估值为止。之后，典型值计算部220c计算整合了像素评估值的典型值、即典型评估值(步骤s116)。按照像素评估值的每个类型计算典型值。在上述示例中，典型评估值为活组织红色度、血管红色度、或者活组织白度等的典型值。
[0193]
整合部220d设定与在步骤s110中获取的摄像位置信息相对应的严重程度的计算处理的内容，并计算严重程度(步骤s118)。图15a～图15c是示出严重程度的计算处理内容流程的示例的图。
[0194]
图15a示出了计算处理1的流程的示例。在计算处理1中，整合部220d设定与摄像位置信息相对应的关系式中的与各典型评估值相关的系数值(步骤s30)。这种系数值是通过图12所示的预处理来计算出关系式中各系数值并将其存储保持在存储器204中的值，以便严重程度的值与严重程度的评估结果最为对应。因此，当获取摄像位置信息时，从存储器204中读出与摄像位置信息相对应的系数值。
[0195]
进一步地，整合部220d将所设定的系数值提供给回归方程式中的系数，通过将典
型评估值输入到此回归方程式来计算严重程度的值(步骤s32)。由于系数值是与摄像位置信息相对应的值，因此能够抑制严重程度的值随着摄像位置的变化而变化的情况。因此，无论图像的摄像位置如何，都能够稳定且高精度地利用严重程度的值来评估病变的进展程度。
[0196]
图15b示出了计算处理2的流程的示例。在计算处理2中，整合部220d根据评估对象图像的摄像位置信息来确定两个基准值(第1基准值、第2基准值)，并通过使用这两个基准值来计算对典型评估值进行归一化后得到的归一化评估值(步骤s40)。例如，在第1基准值为x1、第2基准值为x2(》x1)、典型评估值为p的情况下，其为(p-x1)/(x2-x1)。p不必是x1和x2之间的值，但是当p为x1和x2之间的值的情况下，(p-x1)/(x2-x1)为0～1之间的值。
[0197]
接下来，整合部220d将归一化评估值输入到将归一化评估值表示为说明变量的回归方程式中，并计算严重程度的值(步骤s42)。回归方程式是通过预处理并使用参考图像的归一化评估值来优化严重程度计算的关系式，并且通过此优化，按照每个摄像位置信息来计算两个基准值(第1基准值、第2基准值)，并存储在存储器204中。两个基准值是与摄像位置信息相对应的值，归一化评估值是以值不会随摄像位置的变化而变化的方式进行归一化后得到的值，因此能够抑制严重程度的值随着摄像位置的变化而变化的情况。因此，无论评估对象图像的摄像位置如何，都能够稳定且高精度地利用严重程度的值来评估病变的进展程度。
[0198]
图15c示出了计算处理3的流程的示例。在计算处理3中，整合部220d根据评估对象图像的摄像位置信息来设定与严重程度相关的两个基准值(第3基准值、第4基准值)(步骤s50)。
[0199]
接下来，整合部220d将在步骤s116中计算出的典型评估值输入到回归方程式中，并计算严重程度(步骤s52)。
[0200]
整合部220d通过两个基准值对严重程度的计算结果进行归一化，并计算严重程度的归一化值以作为严重程度的值(步骤s54)。例如，当第3基准值为x3、第4基准值为x4、严重程度的计算结果为q的情况下，其为(q-x3)/(x4-x3)。q不必是x3和x4之间的值，但是当q为x3和x4之间的值的情况下，(q-x3)/(x4-x3)为0～1之间的值。两个基准值是与摄像位置信息相对应的值，严重程度的归一化值是以值不会随摄像位置的变化而变化的方式进行归一化后得到的值，因此能够抑制严重程度的值随着摄像位置的变化而变化的情况。因此，无论图像的摄像位置如何，都能够稳定且高精度地利用严重程度的值来评估病变的进展程度。
[0201]
如此，在得到严重程度的值之后，返回图14的步骤s120中，图像处理单元220进行控制，以使在特征量计算部220b中根据像素评估值制作的上述彩色映射图像和在步骤s118中得到的严重程度的值显示在监视器300的显示画面上。
[0202]
这样一来，图像处理单元220判断是否继续执行用于获得评估对象图像的拍摄，当需继续拍摄的情况下，返回步骤s110中，重复上述处理。当不需继续摄像的情况下，上述处理结束。
[0203]
如此，由于将计算出的严重程度的值在监视器300上进行画面显示，因此用户能够通过观看监视器300来得知病变的进展程度。
[0204]
在上文中，对本发明提供的内窥镜系统进行了详细说明，但是本发明提供的内窥镜系统并不限于上述实施方式，在不脱离本发明的主旨的范围内还可以进行各种改进和变
化。
[0205]
本发明涉及2020年9月25日向日本特许厅提交的特愿2020-160703的专利申请，以及2020年9月28日向日本特许厅提交的特愿2020-161900的专利申请，并且这些申请的全部内容通过引用并入本说明书中。