电子内窥镜系统与数据处理装置的制作方法

1.本发明涉及一种用于评估器官内部活组织的病变扩散的电子内窥镜系统和数据处理装置。


背景技术：

2.活组织中的病变部位从活组织的粘膜层变薄、表面粗糙、发红的炎症到粘膜层及其下层局部缺损的溃疡，存在不同等级的严重程度。例如，在溃疡性大肠炎(uc:ulcerative colitis)发生病变的溃疡部位，因带有白苔和脓状粘液而发白，而在发炎部位，则伴有水肿和易充血的红色。可以通过内窥镜系统对这种病变部位进行拍摄和观察。
3.然而，为了使外科医生能够通过内窥镜图像中所包含的颜色差异来识别正常部位和病变部位，需要在技术熟练者的指导下接受长时间的训练。此外，即使是技术熟练的外科医生也不太容易从颜色的细微差异中识别出病变部位，因此需要仔细的工作。因此，优选地，内窥镜系统提供用于客观地量化病变部位的病变程度的评估结果。
4.相对于此，已知一种内窥镜系统，其能够抑制因图像的亮度所引起的发炎部位的评估值的波动，执行稳定的评估值计算，并且能够减轻评估值计算的处理负担(专利文献1)。
5.现有技术文献
6.专利文献
7.专利文献1：国际公开第2017/057680号


技术实现要素：

8.发明所要解决的课题
9.在上述内窥镜系统中，其具备：光源装置，其用于向被摄体照射照明光；图像获取部，其用于利用摄像元件对来自被摄体的反射光进行拍摄，并获取包含至少3个以上的颜色分量的彩色图像；以及评估部，其用于根据线段和基准轴所形成的角度来求出与各个像素的目标疾病相关的评估结果，其中，线段用于在由至少3个以上的颜色分量中的至少2个颜色分量所定义的颜色平面内，对构成设定于颜色平面内的预定基准点和由图像获取部所获取的彩色图像的各个像素在颜色平面内的像素对应点进行连接，而基准轴与目标疾病具有相关性。设定基准轴以使其通过预定的基准点。基准轴是在颜色平面中与炎症程度为预定值以下的目标疾病具有相关性的轴和与炎症程度为预定值以上的目标疾病具有相关性的轴中的至少一个。
10.根据这种结构，可以抑制因图像的亮度所引起的炎症评估值的波动，稳定地进行炎症评估值的计算，并且可以抑制炎症评估值计算的处理负担。
11.然而，当上述内窥镜系统在器官内部评估活组织的炎症等病变程度时，此评估限定于拍摄图像的活组织的部分，而并不能适当地评估在器官内的纵深方向上具有何种程度的炎症的部位扩散到何种程度。通过评估发炎部位在纵深方向上的扩散，来治疗病变部位
的方法也大多不同。
12.更进一步地，将器官内部划分为具有器官特征的多个区间，按每个区间了解病变程度对于评估病变在纵深方向上的扩散方面来说是重要的，但是在内窥镜系统中，并不限定于在所有区间中评估病变程度，也存在没有评估病变程度的空白区间。在这种情况下，即使日后通过检查相同的器官以对每个区间评估病变的进展情况，如果在上次的评估结果中存在没有病变程度的评估结果的空白区间，则难以掌握病变在纵深方向上的进展情况(或者缩小情况)。
13.因此，本发明的目的在于提供一种电子内窥镜系统以及数据处理装置，其在评估器官内部的活组织的炎症等病变程度时，即使在划分了器官内部区域的多个区间中存在没有病变程度的评估结果的空白区间，也可以评估器官在纵深方向上的病变扩散。
14.用于解决课题的方案
15.本发明的一实施方式是一种电子内窥镜系统，其根据通过将电子内窥镜插入器官内所拍摄的活组织的图像来评估所述器官内的活组织的病变程度。
16.该电子内窥镜系统具备：
17.电子内窥镜，其被配置为对所述器官内的活组织进行拍摄；
18.处理器，其具备评估单元，该评估单元被配置为对所拍摄的所述活组织的多个图像进行处理并评估所述器官中的病变程度；
19.以及监视器，其被配置为在屏幕上显示所述病变程度的评估结果。
20.所述评估单元，具备：
21.图像评估值计算部，其构成为，针对拍摄了所述器官内的所述活组织的不同部位的多个图像的至少一部分的多个关注图像，计算用于表示所述关注图像中的所述病变程度的图像评估值；
22.摄像位置信息处理部，其构成为将所述电子内窥镜拍摄的所述器官内的摄像位置信息分别与所述关注图像相对应；
23.病变评估部，其构成为，利用所述摄像位置信息，将计算出的所述图像评估值中的每一个分配给划分了所述器官内部区域的多个区间中的一个，根据所分配的所述图像评估值来执行用于生成各个区间的典型评估值的处理，使用所述典型评估值来评估在所述器官的纵深方向上连续扩散的所述病变的扩散；
24.以及病变评估调整部，其构成为，在所述多个区间中，相对于没有通过所述病变评估部的所述处理生成所述典型评估值的空白区间，将在所述多个区间中位于比所述空白区间更靠近所述器官的里侧的且生成所述典型评估值的非空白区间中的所述图像评估值中的一个、或者根据所述非空白区间中的所述图像评估值而得到的典型评估值，用作所述空白区间中的估计典型评估值，并将其赋予给所述空白区间。
25.优选地，所述病变评估调整部将位于比所述空白区间更靠近所述器官里侧的所述非空白区间，即最靠近所述空白区间的最邻近区间内的图像评估值中的一个、或者所述最邻近区间中的典型值评估值确定为所述估计典型评估值。
26.优选地，所述图像或所述图像评估值与所述图像的拍摄时间或拍摄顺序信息相对应，
27.所述病变评估调整部，将在对位于比所述空白区间更靠近所述器官里侧的所述非
空白区间进行拍摄的图像中，与所述拍摄时间或所述拍摄顺序最靠后的图像相对应的图像评估值、或者在对位于比所述空白区间更靠近所述器官里侧的所述非空白区间进行拍摄的图像的图像评估值中，所述拍摄时间或所述拍摄顺序最靠后的图像的图像评估值，确定为所述估计典型评估值。
28.本发明的另一实施方式是一种电子内窥镜系统，其根据通过将电子内窥镜插入器官内所拍摄的活组织的图像来评估所述器官内的活组织的病变程度。该电子内窥镜系统具备：
29.电子内窥镜，其被配置为对所述器官内的活组织进行拍摄；
30.处理器，其具备评估单元，该评估单元被配置为对所拍摄的所述活组织的多个图像进行处理并评估所述器官中的病变程度；
31.以及监视器，其被配置为在屏幕上显示所述病变程度的评估结果。
32.所述评估单元，
33.具备：
34.图像评估值计算部，其构成为，针对拍摄了所述器官内的所述活组织的不同部位的多个图像的至少一部分的多个关注图像，计算用于表示所述关注图像中的所述病变程度的图像评估值；
35.摄像位置信息处理部，其构成为将所述电子内窥镜拍摄的所述器官内的摄像位置信息分别与所述关注图像相对应；
36.病变评估部，其构成为，利用所述摄像位置信息，将计算出的所述图像评估值中的每一个分配给划分了所述器官内部区域的多个区间中的一个，根据所分配的所述图像评估值来执行用于生成各个区间的典型评估值的处理，使用所述典型评估值来评估在所述器官的纵深方向上连续扩散的所述病变的扩散；
37.以及病变评估调整部，其构成为，在所述多个区间中，相对于没有通过所述病变评估部的所述处理生成所述典型评估值的空白区间，将在所述多个区间中夹着所述空白区间的两侧的且生成所述典型评估值的非空白区间各自的所述典型评估值中的2个用作基准评估值，并且将根据所述基准评估值计算出的复合评估值，用作所述空白区间中的估计典型评估值，并将其赋予给所述空白区间。
38.优选地，所述病变评估调整部使用基于所述两侧的非空白区间中的一方的非空白区间的长度信息和所述空白区间的长度信息的合计长度信息而得到的第1加权系数、和基于所述两侧的非空白区间中的另一方的非空白区间的长度信息和所述空白区间的长度信息的合计长度信息而得到的第2加权系数，将对所述2个基准评估值进行加权平均的加权平均值确定为所述估计典型评估值。
39.本发明的又一实施方式也是一种电子内窥镜系统，其根据通过将电子内窥镜插入器官内所拍摄的活组织的图像来评估所述器官内的活组织的病变程度。该电子内窥镜系统具备：
40.电子内窥镜，其被配置为对所述器官内的活组织进行拍摄；
41.处理器，其具备评估单元，该评估单元被配置为对所拍摄的所述活组织的多个图像进行处理并评估所述器官中的病变程度；
42.以及监视器，其被配置为在屏幕上显示所述病变程度的评估结果。
43.所述评估单元，具备：
44.图像评估值计算部，其构成为，针对拍摄了所述器官内的所述活组织的不同部位的多个图像的至少一部分的多个关注图像，计算用于表示所述关注图像中的所述病变程度的图像评估值；
45.摄像位置信息处理部，其构成为将所述电子内窥镜拍摄的所述器官内的摄像位置信息分别与所述关注图像相对应；
46.病变评估部，其构成为，利用所述摄像位置信息，将计算出的所述图像评估值中的每一个分配给划分了所述器官内部区域的多个区间中的一个，根据所分配的所述图像评估值来执行用于生成各个区间的典型评估值的处理，使用所述典型评估值来评估在所述器官的纵深方向上连续扩散的所述病变的扩散；
47.以及病变评估调整部，其构成为，在所述多个区间中，相对于没有通过所述病变评估部的所述处理生成所述典型评估值的空白区间，根据在所述多个区间中夹着所述空白区间的两侧的且生成所述典型评估值的非空白区间中的所述典型评估值来获得的复合典型评估值，用作用于表示所述空白区间中的所述病变程度的估计典型评估值，并将其赋予给所述空白区间；
48.其中，所述病变评估调整部通过基于曲线拟合的插值，来计算出所述空白区间中的所述估计典型评估值，所述曲线拟合使用所述两侧的非空白区间各自的长度信息以及所述空白区间的长度信息，以及所述非空白区间及所述空白区间中的所述典型评估值。
49.优选地，所述评估单元具备评估结果整合部，该评估结果整合部构成为，生成用于与所述区间对应地表示所述典型评估值和所述估计典型评估值的评估结果画面，
50.在所述评估结果画面中，所述估计典型评估值以能够与所述典型评估值区分开的显示方式来表示。
51.此外，优选地，其具备病变部位位置计算部，该病变部位位置计算部构成为，将随着所述关注图像的摄像位置的移动，所述关注图像的所述图像评估值横切预先设定的阈值的位置作为病变部位的起始或终止位置，并且根据所述关注摄像的所述摄像位置信息来确定所述起始或终止位置在所述器官内的位置，
52.所述病变评估部根据所述病变部位位置计算部的确定结果，来计算所述病变部位在所述纵深方向上的长度。
53.本发明的又一实施方式是一种数据处理装置，其根据通过将电子内窥镜插入器官内所拍摄的活组织的图像来评估所述器官内的活组织的病变程度。
54.该数据处理装置，具备：
55.图像评估值计算部，其构成为，针对拍摄了所述器官内的所述活组织的不同部位的多个图像的至少一部分的多个关注图像，计算用于表示所述关注图像中的所述病变程度的图像评估值；
56.摄像位置信息处理部，其构成为将所述拍摄的所述器官内的摄像位置信息分别与所述关注图像相对应；
57.病变评估部，其构成为，利用所述摄像位置信息，将计算出的所述图像评估值中的每一个分配给划分了所述器官内部区域的多个区间中的一个，根据所分配的所述图像评估值来执行用于生成各个区间的典型评估值的处理，使用所述典型评估值来评估在所述器官
的纵深方向上连续扩散的所述病变的扩散；
58.以及病变评估调整部，其构成为，在所述多个区间中，相对于没有通过所述病变评估部的所述处理生成所述典型评估值的空白区间，将在所述多个区间中位于比所述空白区间更靠近所述器官的里侧的且生成所述典型评估值的非空白区间中的所述图像评估值中的一个、或者根据所述非空白区间中的所述图像评估值而得到的典型评估值，用作所述空白区间中的估计典型评估值，并将其赋予给所述空白区间。
59.此外，优选地，其具备病变部位位置计算部，该病变部位位置计算部构成为，将随着所述关注图像的摄像位置的移动，所述关注图像的所述图像评估值横切预先设定的阈值的位置作为病变部位的起始或终止位置，并且根据所述关注摄像的所述摄像位置信息来确定所述起始或终止位置在所述器官内的位置，
60.所述病变评估部根据所述病变部位位置计算部的确定结果，来计算所述病变部位在所述纵深方向上的长度。
61.发明效果
62.根据上述电子内窥镜系统以及数据处理装置，在评估器官内部的活组织的病变程度时，即使存在没有病变程度的评估结果的空白区间，也可以评估活组织在器官的纵深方向上的扩散。
附图说明
63.图1为示出一个实施方式中的内窥镜系统结构的框图。
64.图2为图1所示的图像处理单元中的用于对器官纵深方向上的病变扩散进行评估的部分的结构说明图。
65.图3为在一实施方式中使用的颜色空间内的基准轴的示例说明图。
66.图4为用于计算在一实施方式中使用的活组织红色度的偏移角计算方法的说明图。
67.图5为示出由一实施方式中的评估单元执行的、从图像获取到求出每个区间的典型评估值的流程的示例的图。
68.图6为在一实施方式的内窥镜系统中作为检测对象的器官的示例即大肠的说明图。
69.图7为示出以往的病变评估部的评估结果的示例的图。
70.图8为示出一实施方式中的病变评估调整部的评估结果的调整示例的图。
71.图9为示出一实施方式中的病变评估调整部的评估结果的调整示例的图。
72.图10为示出一实施方式中的病变评估调整部的评估结果的调整示例的图。
73.图11为示出一实施方式中的病变评估调整部的评估结果的调整示例的图。
具体实施方式
74.下面，在参照附图对本发明的实施方式中的电子内窥镜系统和数据处理装置进行说明之前，首先，将概念性地说明器官内部病变扩散的评估方法。
75.(器官内部病变程度的评估概要)
76.以下说明的实施方式中的电子内窥镜系统的处理器根据通过将电子内窥镜插入
器官内所拍摄的活组织的图像来评估器官内的活组织的病变程度。病变程度包括病变扩散和病变强度。例如，在拍摄器官内部的活组织时，将电子内窥镜从管状器官的开口端插入至作为器官内部的纵深方向上的拍摄对象的最深部位置处，从此处朝向器官的开口端基本连续移动的同时，拍摄器官内部的活组织。纵深方向包括从开口端到最深部侧的方向和从最深部侧到开口端侧的方向等两个方向。
77.活组织所拍摄的图像可以是间隔一定时间连续拍摄的运动图像，而且，也可以是在器官内一边移动电子内窥镜一边断断续续拍摄的静止图像。当移动电子内窥镜时，电子内窥镜的移动速度未必是恒定的，而且，也可以返回到电子内窥镜已通过的位置进行拍摄，即部分可以朝着与移动方向相反的方向来拍摄。另外，当拍摄运动图像时，以基本相同的移动速度在基本相同的方向上移动电子内窥镜的同时进行拍摄。
78.在评估病变程度过程中，处理器针对由白色光的照明光照射的活组织的多个图像中的每一个，计算用于表示由外科医生或操作者指令的图像中的病变强度的图像评估值。此图像评估值并不受特别限定，例如，当病变发炎时，可以列举用于根据病变部位的颜色分量信息(例如红色)来评估病变部位(发炎部位)的炎症程度的炎症评估值。
79.评估对象的器官并不受特别限制，例如，可以列举咽喉～食道、胃、小肠、大肠等消化道等。
80.此外，例如，也可以将使用包括波长为405nm的激光、波长为445nm的激光、以及利用波长为445nm的激光使荧光体发光的445～700nm的荧光的特殊光对活组织进行照射并拍摄，从通过拍摄获得的3个rgb图像信号中创建2个图像信号的比率，利用对这2个图像信号执行预定增强处理后的处理结果来创建的每个图像的评估值、例如用于评估萎缩性胃炎中的粘膜等的评估值作为上述图像评估值。
81.此外，例如，也可以将分别用波长为600nm的光、波长为630nm的光和波长为540nm的光作为照明光对活组织进行照射并拍摄，利用对通过拍摄获得的图像执行预定增强处理后的处理结果来创建的每个图像的评估值、例如用于评估粘膜深部血管的状态的评估值作为上述图像评估值。
82.此外，也可以将用光照射的、并通过染色等实施过预处理的消化道粘膜细胞放大拍摄后，将细胞核的特征量(长度、直径、周长、正圆度等形状信息)的平均值等作为用于评估非肿瘤、腺瘤、癌症等病变程度的评估值即图像评估值。
83.此外，图像评估值可以是每个图像所获得的mayo评分等的评估值。在这种情况下，可以将使用通过所拍摄的图像来执行机器学习的评估装置计算出的评估值设定为上述图像评估值。此外，图像评估值可以是对每个图像的组织病理学评估进行量化的数值。
84.进而，当对每个图像进行拍摄时，使所拍摄的器官内部的摄像位置的获取信息与图像中的每一个相对应。
85.处理器利用所获取的摄像位置信息，针对划分所拍摄的器官内区域的多个区间中的每一个，通过对多个区间中的每一个的活组织进行拍摄的多个图像的图像评估值来计算图像评估值的典型评估值，使用此典型评估值来评估在器官的纵深方向上连续扩散的病变扩散。
86.在此，所谓区间是以摄像位置的采样间隔以上的距离来划分的区间。根据一实施方式，此区间是以预定间隔划分的区间。预定间隔可以是恒定间隔，或者也可以不是恒定
的。此外，预定间隔可以在典型评估值的计算期间随时变更。例如，可以将预先以较小的间隔划分的区间变更为较大的区间、例如作为在器官内可以与其他部分可识别地区分开的部分的分段。
87.根据一实施方式，病变程度的评估包括：针对多个区间中的每一个，求出与此区间相对应的图像评估值的典型值，并且显示典型评估值在纵深方向上的分布的情况、或者提供与使用图像评估值判断的包括病变部位在内的区间相对应的典型评估值的合计值的情况。由此，可以分等级地评估用于同时评估病变扩散和强度的病变程度。
88.典型评估值是每个区间的图像评估值的统计量，例如，平均值、中间值、众值或最大值。此外，当在再现图像的同时计算典型评估值时，典型评估值可以使用在各个区间的结尾处所计算出的图像评估值。
89.如此一来，利用拍摄的器官内部的摄像位置信息，针对划分所拍摄的器官内部区域的多个区间中的每一个，通过从图像获取的图像评估值来计算图像评估值的典型评估值，可以高精度地评估病变扩散。但是，这样的图像评估值是以由外科医生或者操作者指令的图像为对象的评估值，并非总是存在于每个区间中。当外科医生或操作者一边观察所拍摄并显示在监视器上的图像，一边判断为病变程度没有发生变化时，大多不作为用于计算图像评估值的对象图像进行指令输入。在这种情况下，存在没有典型评估值的空白区间。因此，即使日后参照空白区间的某个评估结果来比较病变的扩散程度，由于存在空白区间，因此存在无法高精度地评估病变扩散的情况。
90.因此，在本实施方式的电子内窥镜系统中，处理器中设置有病变评估调整部。病变评估调整部构成为，针对未生成典型评估值的空白区间，将位于比空白区间更靠近器官里侧并且生成了典型评估值的非空白区间中的图像评估值之一、或者根据非空白区间中的图像评估值而得到的典型评估值作为空白区间中的估计典型评估值，赋予给空白区间。
91.或者，病变评估调整部构成为，针对未生成典型评估值的空白区间，将多个区间中夹着空白区间的两侧的非空白区间中的各自的典型评估值的2个作为基准评估值，并且将根据基准评估值计算出的复合评估值作为用于表示空白区间中的病变程度的估计典型评估值，赋予给空白区间。
92.或者，病变评估调整部构成为，针对未生成典型评估值的空白区间，将根据多个区间中夹着空白区间的两侧的非空白区间中的典型评估值而得到的复合典型评估值作为用于表示空白区间中的病变程度的估计典型评估值，赋予给空白区间。此时，病变评估调整部使用两侧的非空白区间各自的长度信息和空白区间的长度信息、以及非空白区间中的典型评估值，通过基于曲线拟合的插值，来计算空白区间中的估计典型评估值。
93.另外，典型评估值以及估计典型评估值是区间中的病变强度的指标。因此，不仅可以针对所拍摄的多个图像中的每一个来评估活组织的局部病变强度，而且还可以高精度地执行包括器官纵深方向上的病变扩散和病变强度在内的综合评估。在此，病变扩散表示病变在纵深方向上连续扩散。因此，即使在器官内离散分布的多个位置处离散地拍摄图像并计算图像评估值，也难以评估病变扩散。
94.(电子内窥镜系统的说明)
95.图1为示出本发明的一个实施方式中的电子内窥镜系统1的结构的框图。
96.如图1所示，电子内窥镜系统1具备电子观测器(电子内窥镜)100、电子内窥镜用处
理器200、监视器300、以及打印机400。
97.电子内窥镜用处理器200具备系统控制器202及时序控制器206。系统控制器202执行存储在存储器204中的各种程序，并且集成控制整个电子内窥镜系统1。此外，系统控制器202根据从操作面板208输入的外科医生或操作者的指令内容来变更电子内窥镜系统1的各种设定。时序控制器206向电子内窥镜系统1内的各电路输出用于调整各部操作时间的时钟脉冲。
98.电子内窥镜用处理器200具备用于向电子观测器100提供照明光的光源部230。尽管图中未示出，但是光源部230具备例如通过接收由灯电源供给的驱动功率来发射白色照明光的高亮度灯，例如氙气灯、金属卤化物灯、水银灯或卤素灯。光源部230被配置为，从高亮度灯射出的照明光在通过图中未示出的聚光透镜聚光后，经由图中未示出的调光装置入射在光纤束、即lcb(light carrying bundle)102的入射端上。
99.或者，光源部230具备多个发光二极管，其用于射出预定颜色的波段的光。光源部230被配置为，使用二向色镜等光学元件合成从发光二极管射出的光，将合成的光作为照明光，并通过图中未示出的聚光透镜聚光后，入射到电子观测器100的lcb(light carrying bundle)102的入射端上。可以使用激光二极管代替发光二极管。与其他光源相比，由于发光二极管和激光二极管具有低功耗、低发热量的特征，因此具有能够在抑制功耗和发热量的同时获得明亮图像的优点。通过获取明亮的图像，可以提高与后述炎症相关的的评估值的精度。
100.另外，在图1所示的示例中，光源部230内置在电子内窥镜用处理器200中，但是也可以作为与电子内窥镜用处理器200分开的装置而设置在电子内窥镜系统1中。此外，光源部230也可以设置在后述电子观测器100的前端部。在这种情况下，不需要设置用于引导照明光的lcb102。
101.从入射端入射到lcb102内的照明光在lcb102内传播，并从布置在电子观测器100的前端部内的lcb102的端部射出，并经由配光透镜104照射到作为被摄体的器官内部的活组织中。来自活组织的反射光经由物镜106在摄像元件108的受光面上形成光学图像。
102.摄像元件108例如是用于在受光面上布置ir(infrared)截止滤光片108a、采用拜尔阵列滤色器108b等各种滤光片的单片式彩色ccd(charge
‑
coupled device)图像传感器，根据在受光面上成像的光学图像生成r(red)、g(green)、b(blue)各原色信号。代替单片式彩色ccd图像传感器，也可以使用单片式彩色cmos(complementary metal oxide semiconductor)图像传感器。电子观测器100使用摄像元件108对器官内部的活组织进行拍摄，并生成运动图像。
103.电子观测器100与处理器200之间的连接部内部具备驱动器信号处理电路112。驱动器信号处理电路112对从摄像元件108输入的原色信号执行颜色插值、矩阵运算等预定信号处理后，生成图像信号(亮度信号y、色差信号cb、cr)，并将生成的图像信号输出到电子内窥镜用处理器200的图像处理单元220上。此外，驱动器信号处理电路112访问存储器114并读取电子观测器100的特有信息。记录在存储器114中的电子观测器100的特有信息例如包括摄像元件108的像素数、灵敏度、可操作帧速率、型号等。驱动器信号处理电路112将从存储器114读取的特有信息输出到系统控制器202中。
104.系统控制器202基于电子观测器100的特有信息执行各种运算，并生成控制信号。
系统控制器202使用所生成的控制信号来控制电子内窥镜用处理器200内的各个电路的操作和时间，以便执行与连接于电子内窥镜用处理器200的电子观测器100相适应的处理。
105.时序控制器206根据由系统控制器202所执行的时序控制，向驱动器信号处理电路112、图像处理单元220以及光源部230供给时钟脉冲。驱动器信号处理电路112根据从时序控制器206所供应的时钟脉冲，按照与在电子内窥镜用处理器200侧上执行处理的图像帧速率同步的时序，驱动控制摄像元件108。
106.图像处理单元220是能够根据外科医生或操作者的指令或者根据预先设定的处理内容进行图像处理的部分。在系统控制器202的控制下，图像处理单元220根据从驱动器信号处理电路112所输入的拍摄图像的图像信号，生成用于在监视器上显示由电子观测器100拍摄的图像等的视频信号，并输出到监视器300上。更进一步地，作为图像处理的一部分，图像处理单元220对所拍摄的活组织的多个图像进行处理并评估器官的病变程度，生成用于在监视器上显示此评估结果的视频信号，并输出到监视器300上。具体而言，图像处理单元220根据由电子观测器100获得的活组织的多个图像来计算出用于表示每一个图像中的活组织的病变程度的后述图像评估值。另外，电子观测器100一边沿着器官内部的纵深方向基本连续地移动(也包括纵深方向上的摄像位置朝着相反的方向发生部分偏离的情况)，一边以设定的帧速率对器官内部的活组织进行拍摄。因此，图像处理单元220根据外科医生或操作者的指令，利用基本沿着纵深方向基本按顺序拍摄的图像的图像评估值、以及对多个图像中的每一个进行拍摄的器官内部的摄像位置信息，针对以预定间隔划分所拍摄的器官内部区域的多个区间中的每一个来计算图像评估值的典型评估值，并且利用此典型评估值来评估用于在器官内部的纵深方向上连续扩散的病变扩散。
107.更进一步地，图像处理单元220根据图像内的各个像素的后述像素评估值来生成替换了各个像素颜色的颜色映射图像。图像处理单元220生成用于在监视器上显示器官中病变程度的评估结果信息和上述颜色映射图像的视频信号，并输出到监视器300上。由此，外科医生或操作者能够通过在监视器300的显示屏上显示的图像来接收在所关注器官的纵深方向上扩散的病变程度的评估结果。图像处理单元220根据需要将颜色映射图像和器官中的病变程度的评估结果信息输出到打印机400上。
108.电子内窥镜用处理器200经由nic(network interface card)210和网络500连接至服务器600上。电子内窥镜用处理器200可以从服务器600下载与内窥镜检查相关的信息(例如，患者的电子病历信息、外科医生信息、过去在同一器官中的病变程度的评估结果)。所下载的信息例如显示在监视器300的显示屏或操作面板208上。此外，电子内窥镜用处理器200将内窥镜检查结果(内窥镜图像数据、检查条件、器官病变程度的评估结果、外科医生的发现等)上传到服务器600上，从而保存在服务器600上。
109.图2为图像处理单元220的、用于对器官纵深方向上的病变扩散进行评估的部分的结构说明图。图像处理单元220是被配置为对由电子观测器100拍摄的活组织的多个图像进行处理并评估病变程度的部分。图像处理单元220具备预处理部220a、图像评估值计算部220b、摄像位置信息处理部220c、病变评估部220d、病变部位位置计算部220e、病变评估调整部220f以及评估结果整合部220g。评估单元225包含预处理部220a、图像评估值计算部220b、摄像位置信息处理部220c、病变评估部220d、病变部位位置计算部220e、病变评估调整部220f以及评估结果整合部220g，其被配置为对所拍摄的活组织的多个图像进行处理并
评估器官的病变程度。预处理部220a、图像评估值计算部220b、摄像位置信息处理部220c、病变评估部220d、病变部位位置计算部220e、病变评估调整部220f以及评估结果整合部220g可以是通过启动存储在存储器204中的软件而形成的软件模块，也可以由硬件构成。
110.另外，在图2所示的实施方式中，图像处理单元220具备病变部位位置计算部220e，但是在另一实施方式中，其不具备病变部位位置计算部220e。
111.图像评估值计算部220b针对拍摄器官内的活组织的不同部位的多个图像中的至少一部分的多个关注图像，计算用于表示关注图像中的病变程度的图像评估值。关注图像通过外科医生或操作者的输入指令来确定。外科医生或操作者的输入指令例如通过按压设置在电子观测器100的未图示的操作部上的按钮来进行。根据一实施方式，对每个关注图像评估作为病变的一例的炎症程度，并求出图像评估值。下面，作为病变的示例，列举由溃疡性大肠炎等产生的炎症进行说明。
112.图像评估值计算部220b将用于针对每个像素量化活组织的红色度的活组织红色度作为像素评估值，并将通过累积处理整个图像中的像素评估值而汇总成一个数值的值作为图像评估值进行计算。即，利用活组织的红色度来评估活组织的炎症强度。下面，将以计算用于表示炎症程度的活组织红色度的形式为例进行说明。
113.预处理部220a是对用于评估活组织所呈现出的红色度的图像实施预处理的部分。如示例所示，预处理部220a执行rgb转换、颜色空间转换、基准轴的设定和颜色校正等各种处理。
114.预处理部220a使用预定矩阵系数将从驱动器信号处理电路112输入的图像信号(亮度信号y、色差信号cb、cr)转换为图像颜色分量(r、g、b)。
115.预处理部220a还执行用于将转换为图像颜色分量的图像数据正投影在rg平面上的颜色转换。具体而言，将由rgb3原色定义的rgb颜色空间中的各个像素的图像颜色分量转换为rg的图像颜色分量。从概念上讲，rgb颜色空间中各个像素的图像颜色分量根据r、g分量的像素值在rg平面内(例如，取r分量的像素值＝0～255、g分量的像素值＝0～255的值的rg平面内的区域)进行绘制。下面，为了便于说明，将rgb颜色空间中各个像素的图像颜色分量的点和在rg颜色空间中绘制的图像颜色分量的点称为“像素对应点”。rgb颜色空间的rgb各自的图像颜色分量例如依次为波长为620～750nm、波长为495～570nm、以及波长为450～495nm的颜色分量。另外，颜色分量构成颜色空间(也包括颜色平面)。色相和饱和度从“颜色分量”中排除。
116.预处理部220a设定用于评估活组织的红色度时所需的rg平面内的基准轴。
117.在作为被摄体的患者器官内部的活组织中，由于血红蛋白色素等的影响，图像颜色分量中的r分量相对于其他分量(g分量和b分量)占支配地位。当病变部位的病变程度低并且病变部位为发炎部位时，炎症越严重，红色(r分量)相对于其他颜色(g分量和b分量)就越重。但是，器官内的拍摄图像会随着影响亮度的拍摄条件(例如，照明光的照射情况)的变化而变化。示例性地，照明光未到达的阴影部分是黑色的(无彩色，例如r、g和b的图像颜色分量的值为零或接近零的值)，并且照明光强烈照射后正反射的部分是白色的(无彩色，例如当r、g和b的图像颜色分量的值为8位灰度时，该值为255或接近255的值)。即，即使在对发生炎症的相同发炎部位进行拍摄的情况下，照明光照射越强烈，此发炎部位的像素值越大。因此，根据照明光的照射情况，图像的颜色分量的值有时会取与炎症强度不相关的值。
118.通常，未发生炎症的器官内部的健康部位被粘膜完全覆盖。与此相对，发生炎症的器官内部的发炎部位没有被粘膜完全覆盖。具体而言，在血管扩张的同时，血液和体液从血管漏出，因此粘膜相对变薄，并且容易看见血液的颜色。粘膜基本上是白色的，但颜色略带黄色，图像上映出的颜色(黄色)根据其深浅(粘膜厚度)的变化而变化。因此，认为粘膜的深浅也是评估炎症程度的指标之一。
119.因此，如图3所示，在rg颜色空间内，将穿过(50,0)和(255,76)的直线设为基准轴之一，并且将穿过(0,0)和(255,192)的直线也设为基准轴之一。为了便于说明，将前一个基准轴称为“血红蛋白变化轴ax1”，将后一个基准轴称为“粘膜变化轴ax2”。图3为在一实施方式中使用的颜色空间内的基准轴的示例说明图。
120.图3所示的绘图是通过器官内部的多个参考图像的分析结果获得的。在分析中所使用的参考图像中，包括炎症程度最高的炎症图像示例(严重等级最高的炎症图像示例)、炎症程度最低的炎症图像示例(实质上可视为健康部位的图像示例)等各个阶段的炎症图像示例。另外，在图3所示的示例中，为了使附图清楚，仅仅示出了从分析结果获得的绘图的一部分。从分析结果中实际获得的绘图数量远远多于图3所示的绘图数量。
121.如上所述，炎症越严重，图像的颜色分量中r分量相对于其他分量(g分量和b分量)就越重。因此，在图3所示的示例中，在绘图分布区域与未分布区域之间的边界线上，将比g轴更靠近r轴的边界线上的轴、以及穿过(50,0)和(255,76)的边界线上的轴设为炎症程度最严重的部分、即与炎症程度最高的部位的相关性高的轴。此轴是血红蛋白变化轴ax1。在血红蛋白变化轴ax1上，重叠有与在各种拍摄条件、例如，照明光的照射情况下拍摄的炎症程度最严重的发炎部位相对应的绘图。因此，血红蛋白变化轴ax1是随着活组织的炎症程度的增加而所绘制的像素对应点就越收敛的轴。
122.另一方面，越接近健康部位，图像的颜色分量中g分量(或者b分量)相对于r分量就越重。因此，在图3所示的示例中，在绘图分布区域与未分布区域之间的边界线上，将比r轴更靠近g轴的边界线上的轴、以及穿过(0,0)和(255,192)的边界线上的轴设为炎症程度最轻的部分、即与炎症程度最低的部分、实质上可以视为健康部位的相关性高的轴。此轴是粘膜变化轴ax2。在粘膜变化轴ax2上，重叠有与在各种拍摄条件、例如，照明光的照射情况下拍摄的炎症程度最轻的部分、即实质上可以视为正常部位相对应的绘图。因此，粘膜变化轴ax2是随着炎症程度的降低(越靠近健康部位)而所绘制的像素对应点就越收敛的轴。
123.作为补充，病变部位的病变程度最高的部分伴随出血。另一方面，病变程度最低的部分实质上是正常的健康部位，因此被粘膜完全覆盖。因此，可以认为图3所示的rg颜色空间内的绘图分布在夹在与血液(血红蛋白色素)相关性最高的轴和与粘膜颜色相关性最高的轴之间的区域中。因此，在绘图分布区域与未分布区域之间的边界线上，靠近r轴(r分量占比大)的边界线相当于表示炎症程度最高的发炎部位的轴(血红蛋白变化轴ax1)，靠近g轴(g分量占比大)的边界线相当于表示炎症程度最低的发炎部位的轴(粘膜变化轴ax2)。
124.在以这种方式设定基准轴之后，针对正投影的图像的颜色分量执行用于对表示后述红色程度的活组织红色度进行计算的处理。在执行用于计算此活组织红色度的处理之前，对正投影的像素数据执行颜色校正。
125.另外，图3所示的基准轴是示例，并且基准轴根据疾病种类的不同而不同。
126.预处理部220a在计算炎症评估值之前，对在rg颜色空间中表示的图像的颜色分量
执行颜色校正。校正矩阵系数存储在存储器204中。如下式所示那样，预处理部220a使用校正矩阵系数校正作为各个像素rg颜色空间内的像素对应点的像素数据(r、g)，以便使用不同的电子内窥镜系统对相同的发炎部位进行摄像时，后述炎症评估值不会产生误差(换言之，为了抑制电子观测器的个体误差)。
[0127][0128]
r
new
：校正后的像素数据(r分量)
[0129]
g
new
：校正后的像素数据(g分量)
[0130]
m
00
～m
11
：校正矩阵系数
[0131]
r：校正前的像素数据(r分量)
[0132]
g：校正前的像素数据(g分量)
[0133]
图像评估值计算部220b从像素中选择一个关注像素，针对所选择的关注像素，根据关注像素的颜色分量信息来计算用于计算炎症程度的偏移角。即，根据像素的颜色分量信息，执行用于量化活组织的红色度的量化处理。图4为用于计算在一实施方式中使用的活组织红色度的偏移角计算方法的说明图。具体而言，如图4所示，特征量计算部220b将血红蛋白变化轴ax1和粘膜变化轴ax2的交点设为基准点o'，并计算用于连结基准点o'和关注像素的像素对应点p的线段l的方向相对于基准轴ax1偏移的偏移角θ。另外，基准点o'位于坐标(
‑
150,
‑
75)。列举了将基准点o'设为坐标(
‑
150,
‑
75)的示例，但是本发明并不限定于此。可以适当地变更上述基准点o'，例如，也可以是rg颜色空间中r轴和g轴的交点。
[0134]
作为基准点o'，优选的坐标位置例如是可以减少因亮度波动而导致的评估结果的误差的位置。具体而言，优选地通过预先求出黑暗部(亮度小于预定值)的评估结果与非黑暗部(亮度大于等于预定值)的评估结果间的误差最小的点来设定基准点o'。
[0135]
此外，例如，当将基准点o'设在坐标(
‑
10,
‑
10)到(10,10)之间时，与将坐标(
‑
150,
‑
75)等设为基准点o'时的情况进行比较，由于像素对应点变化时角度θ的变化量增大，因此分辨率得以提高。由此，可以获得高精度的评估结果。
[0136]
另一方面，通过将基准点o'设在坐标(
‑
50,
‑
50)到(
‑
200,
‑
200)之间，用于表示炎症程度的评估结果很难受到噪声影响。
[0137]
当拍摄器官内部活组织的图像亮度随着白光的照射情况的变化而变化时，尽管图像颜色会受到个体差异、摄像位置和发炎状态等的影响，但在rg颜色空间内，通常在严重程度最高的发炎部位，其沿血红蛋白变化轴ax1变化，而在炎症程度最轻的发炎部位，其沿粘膜变化轴ax2变化。此外，可以推测炎症程度为中度时的发炎部位的图像颜色也以相同的趋势发生变化。即，当发炎部位对应的像素对应点随着照明光的照射情况而变化时，向以基准点o'为起点的方位角方向偏移。换言之，当与发炎部位相对应的像素对应点随着照明光的照射情况而变化时，相对于粘膜变化轴ax2的偏移角θ恒定移动，与基准点o'间的距离发生变化。这意味着，偏移角θ是实质上不受图像亮度变化影响的参数。
[0138]
偏移角θ越小，r分量相对于g分量就越重，这表明病变部位中的红色度相对较大。此外，偏移角θ越大，g分量相对于r分量就越重，这表明红色度相对较小。因此，图像评估值计算部220b对角度θ进行归一化，以使得当偏移角θ为零时该值为255，而当偏移角θ为最大
角度、即θmax时该值为零。另外，θmax与血红蛋白变化轴ax1和粘膜变化轴ax2所形成的角度相等。即，图像评估值计算部220b针对各个关注像素，将对根据各个关注像素的颜色分量信息而计算出的偏移角θ进行归一化后获得的范围为0～255内的值作为活组织红色度(像素评估值)来进行计算。
[0139]
另外，对图像的所有像素逐一选择关注像素。
[0140]
另外，在图4所示的示例中，使用rg颜色空间作为颜色空间，但是也可以使用rb颜色空间来代替rg颜色空间。
[0141]
图像评估值计算部220b计算作为对偏差角θ进行归一化后的值的活组织红色度以用作像素评估值，但根据情况，也可以将用于表示活组织的溃疡特性程度的活组织白色度作为像素评估值来进行计算。例如，通过对活组织图像的各个像素的各个颜色分量像素值执行赋予线性增益(增益)的增益调整，实质上扩散病变特有的色域附近的动态范围，执行用于增强颜色表现的有效分辨率的色调增强处理，例如，可以将包括溃疡性大肠炎的白苔和脓状粘液的溃疡部位显示为白色，从而将包括浮肿或易出血性显示为红色的发炎部位和显示为绿色的正常部位通过颜色分量区分开。活组织的白色度可以使用以图4所示的2种颜色分量(r分量、g分量和b分量中的2种)或3种颜色分量(r分量、g分量和b分量)为坐标轴在颜色空间上表示的、相对于与血红蛋白变化轴ax1不同的基准轴的偏移角来进行计算。另外，关于色调增强处理，由预处理部220a来执行。
[0142]
图像评估值计算部220b使用各个像素的像素评估值，来计算一个图像评估值。例如，在拍摄图像中，取舍选择用于表示作为评估对象的活组织图像的像素，并且计算所选择的像素的像素评估值的累积值或平均值以作为一个图像评估值。或者，例如，在每个像素的rgb颜色分量或像素的亮度分量中，根据预定范围内的颜色分量或亮度分量来提取评估对象的像素，并通过求出所提取的像素的像素评估值的平均值，或者使用预定的加权系数来求出加权平均值，或者通过执行累积处理，图像评估值计算部220b计算出一个图像评估值。为了高精度地评估器官的炎症程度，作为图像中的评估对象的像素部分是具有在活组织中假设的预定范围内的颜色分量的值的部分，并且是优选的是具有由照明光照明的预定值以上的亮度分量的像素部分。
[0143]
将图像评估值计算部220b计算出的图像评估值发送到病变评估部220d中。
[0144]
图像评估值计算部220b进一步生成用于通过随着活组织红色度的变化而变化的显示色对活组织的图像进行马赛克化的颜色映射图像。为了生成颜色映射图像，将像素评估值和预定显示色彼此对应的表格存储在存储器204的存储区域中。例如，在上述表格中，每5个数值对应不同的显示色。示例性地，像素评估值在0～5范围内时对应蓝色，每当该像素评估值增加5个值时，按照色调环中颜色的排列顺序对应不同的显示色，当像素评估值在250～255范围内时对应红色。活组织的红色度越大，显示色就越是从冷色系接近暖色系，例如从蓝色变为黄色甚至红色。图像评估值计算部220b基于上述表格，根据关注像素的活组织红色度来确定所选择的关注像素在颜色映射图像上的显示色。
[0145]
这样一来，特征量计算部220b生成用于根据活组织红色度赋予其颜色的颜色映射图像。
[0146]
摄像位置信息处理部220c获取从设置在电子内窥镜系统1中的位置测量系统250发送的摄像位置相关的位置信息，并将获取的位置信息与所拍摄的关注图像相对应。位置
测量系统250例举了利用传感器来获取位于插入到器官中的电子观测器100的前端处的摄像元件108的位置以及续接的可挠管的各个位置的系统、获取从器官的开口端插入的电子观测器100的插入长度的系统、或者将所拍摄的图像显示在监视器300上，并且观看此图像的外科医生通过按生成特定部分通过信号的按钮来获取特定部分通过信号的系统，该特定部分通过信号用于表示电子观测器100的前端部已通过作为所插入的器官内的特征的部分。
[0147]
将与关注图像相对应的摄像位置的获取信息逐一发送到病变评估部220d中。
[0148]
在利用传感器获取摄像元件108的位置的系统中，例如，在位于电子观测器100前端部的摄像元件108附近的位置以及从前端部到续接至处理器200侧的可挠管以预定间隔设置多个磁传感器，从将电子观测器100插入至器官内的人体外部开始根据位置施加强度不同的磁场，并且上述磁传感器通过测量磁场的强度，可以获悉设置在前端部的磁传感器的位置，进而，可以从多个磁传感器的位置来获悉可挠管在器官内的弯曲形状。由此，可以获悉摄像元件108的前端部的位置，并且可以获悉电子观测器100在器官内的形状、以及电子观测器100从器官开口端开始插入的的插入长度。
[0149]
当其为用于获取电子观测器100从器官的开口端插入的插入长度的系统时，例如，在所拍摄的运动图像中的拍摄时间相邻的图像之间利用光流处理来获取活组织移动了多少，并且通过累积该获取结果计算出移动距离，从而可以获取当前电子观测器100的插入长度信息。此外，例如，可以通过测量续接的可挠管从所插入的电子观测器100的前端部朝向器官内伸出的长度来获取当前电子观测器100的插入长度信息。
[0150]
在用于获取器官的特定部分通过信号的系统中，外科医生在观察显示在监视器300上的图像的同时，在器官内部的可识别的特定部分出现在图像中并通过的时间点，外科医生或操作者通过按下位于手边操作部的按钮，来生成特定部分通过信号，摄像位置信息处理部220c可以获取此特定部分通过信号。所谓器官内部的特定部分位置，例如当器官是大肠时，包括升结肠的起始位置、升结肠终止且大肠弯曲后横结肠的起始位置、横结肠终止且大肠弯曲后降结肠的起始位置、降结肠终止且大肠弯曲后乙状结肠的起始位置、乙状结肠终止且直肠的起始位置、以及直肠终止到达肛门的位置。
[0151]
病变评估部220d利用从摄像位置信息处理获取部220c发送的与摄像位置有关的信息，针对以预定间隔划分所摄像的器官内部区域的多个区间中的每一个，根据对多个区间中的每一个的活组织进行拍摄的多个图像的图像评估值来计算图像评估值的典型评估值。更进一步地，病变评估部220d通过使用典型评估值来评估在器官内部的纵深方向上连续扩散的病变扩散。例如，在大肠病症为溃疡性大肠炎的情况下，可以评估为病变从直肠扩散到降结肠等。在这样的评估中，可以将典型评估值超过预设阈值的区域设为病变部位，来评估病变的扩散。
[0152]
在此，区间可以由外科医生预先确定，或者可以通过特定部分通过信号来划分区间。当通过特定部分通过信号来确定区间时，将区间称为分段。
[0153]
此分段是一个器官内能够与其他部分可识别地区分开的部分，例如，当器官是大肠时，包括升结肠段、横结肠段、降结肠段、乙状结肠段、直肠段等。这样的分段通过特定部分通过信号来划分区间。
[0154]
根据一实施方式，病变评估部220d根据图像评估值计算的典型评估值优选为对各
区间所包含的活组织进行拍摄的多个图像的图像评估值(以下，也将此图像评估值称为属于各区间的图像评估值)的统计量。
[0155]
通过一边使电子观测器100在器官内部移动一边对活组织进行拍摄，来求出每个区间的典型评估值，从而可以评估在器官内部的纵深方向上连续扩散的病变扩散。
[0156]
此统计量优选地包括平均值、中间值、众值或最大值。根据一实施方式，从能够最佳地表示病变强度的观点出发，在统计量中更优选地使用最大值。
[0157]
根据一实施方式，优选地，病变评估部220d被配置为将病变程度的评估划分为与病变强度相关的多个级别来进行评估，病变评估部220d根据典型评估值确定多个级别中的一个，按级别对每个区间评估病变程度。由此，这可以准确地告知外科医生在器官内部的纵深方向连续扩散的病变扩散和病变强度。
[0158]
此外，根据一实施方式，优选地，病变评估部220d根据典型评估值来判断每个区间内是否存在病变在器官的纵深方向上连续扩散的病变部位。病变部位区域是典型评估值大于预设阈值的区域。
[0159]
根据一实施方式，病变评估部220d还可以根据图像评估值来判断是否存在病变在器官的纵深方向上连续扩散的病变部位。病变部位区域是图像评估值大于预设阈值的区域。由于图像评估值是每个图像的评估值，因此有时会包括噪声分量。在这种情况下，优选使用每个区间的典型评估值，而不是图像评估值。
[0160]
病变部位位置计算部220e根据拍摄到的图像位置信息来求出上述区间中的病变部位所处的区间，从而求出病变部位区域的起始位置和终止位置，并确定病变部位的位置。为了准确地求出病变部位的起始位置和终止位置，优选地使用图像评估值和拍摄到的图像位置信息来确定图像评估值超过预设阈值的位置。在这种情况下，病变部位位置计算部220e将每个图像评估值与阈值进行比较，以判断图像评估值是否超过阈值。将此判断结果发送到病变评估部220d中。此时，优选地，病变评估部220d根据由病变部位位置计算部220e求出的病变部位的起始位置和终止位置的信息来计算病变部位的长度。
[0161]
因此，根据一实施方式，病变部位位置计算部220e构成为，将随着图像的摄像位置的移动，图像评估值横切预先设定的阈值的位置作为病变部位的起始或终止位置，并且根据图像的摄影位置信息来确定病变部位的起始或终止位置在器官内的位置，病变评估部220d根据此确定结果，在优选计算病变部位在器官内的纵深方向上的长度的器官内，有时即使将电子观测器100插入至器官内的纵深方向的最深部，病变部位也进一步地继续延伸至其深处。在这种情况下，由于在纵深方向的最深部的摄像位置上已经存在病变部位，因此病变部位在纵深方向上的长度是指从具有图像评估值的纵深方向的最深部的摄像位置到终止位置的长度。优选地，监视器300在屏幕上显示病变部位的终止位置及/或起始位置、以及病变部位长度中的至少之一。由此，这使得外科医生易于识别病变在器官的纵深方向上的扩散。
[0162]
此外，优选地，病变评估部220d求出与区间中病变部位的起始位置和终止位置之间所含的区间相对应的典型评估值的合计值，并根据此合计值来评估病变程度。由此，可以同时评估病变在器官的纵深方向上的扩散和病变程度(强度)。在这种情况下，例如，可以将合计值分为多个等级，并且可以通过等级来评估病变程度。
[0163]
当通过缩小预定区间的间隔来设定多个区间时，病变评估部220d在将沿着各个区
间的纵深方向设定的位置信息(例如，从插入电子观测器的最深部到开口端的距离)显示在横轴上、并且将典型评估值显示在纵轴上的图表中，由每个区间的典型评估值生成的曲线在相邻区间中有时会凹凸不平。在这种情况下，根据一实施方式，优选地，通过利用区间位置信息和典型评估值来执行移动平均处理，或者通过使用用于表示预定曲线的函数来执行曲线拟合处理，从而平滑地处理上述曲线图中所示的典型评估值的曲线。
[0164]
由病变评估部220d计算出的典型评估值按每个区间生成，但是在多个区间中，有时完全没有根据按照外科医生或操作者的指令所拍摄的图像来计算的图像评估值，并且有时存在没有生成典型评估值的空白区间。病变评估调整部220f针对此空白区间，根据位于比空白区间更靠近器官里侧的非空白区间中的图像评估值之一、或者位于比空白区间更靠近器官里侧的非空白区间中的典型评估值，来确定估计典型评估值，并将此估计典型评估值赋予给空白区间。估计典型评估值也可以是位于比空白区间更靠近器官里侧的非空白区间中的典型评估值。另外，非空白区间是指生成典型评估值的区间。
[0165]
或者，病变评估调整部220f针对空白区间，将夹着空白区间的两侧的非空白区间各自的典型评估值中的2个作为基准评估值，并且将根据此基准评估值而得到的复合典型评估值作为用于表示空白区间中的病变程度的估计典型评估值，赋予给空白区间。
[0166]
或者，病变评估调整部220f针对空白区间，根据夹着空白区间的两侧的非空白区间中的典型评估值，来计算用于表示病变程度的复合典型评估值以作为估计典型评估值，并将此估计典型评估值赋予给空白区间。此时，病变评估调整部220f使用两侧的非空白区间各自的长度信息和空白区间的长度信息、以及典型评估值，通过基于曲线拟合的插值，来计算空白区间中的估计典型评估值。
[0167]
如此一来，由于可以使用病变评估调整部220f在空白区间中确定估计典型评估值，因此除了可以评估器官的纵深方向上的病变扩散之外，在日后进行病变扩散的检查时，可以评估活组织在器官的纵深方向上的扩散的进展情况，或者后退情况。估计典型评估值的具体说明将在后面叙述。
[0168]
评估结果整合部220g整合作为评估结果的每个区间的典型评估值或估计典型评估值的数值、用于表示各区间中的典型评估值或估计典型评估值在区间的分布的图表、用于表示病变部位在纵深方向上的扩散的信息、病变部位的起始位置、终止位置或病变部位长度信息、以及病变部位在每个区间的级别强度的信息，作为一个或多个评估结果画面显示在监视器300上。
[0169]
图5为示出由图像处理单元220执行的、从图像获取到求出每个区间的典型评估值的流程的示例的图。
[0170]
首先，预处理部220a获取图像(步骤s10)，并执行上述处理。此时，将摄像位置信息处理部220c从位置测量系统250获取的图像摄像位置信息与取得的图像的摄像位置信息相对应地进行获取。由此，病变评估部220d使用此摄像位置信息来确定区间，即在预定空间中，所获取的图像是在器官内部的哪一个区间拍摄的图像(步骤s12)。另一方面，图像评估值计算部220b使用由预处理部220a处理过的图像来计算图像评估值(步骤s14)。
[0171]
另外，步骤s14并不限定于在步骤s12之后执行，还可以在步骤s12之前或同时执行。
[0172]
病变评估部220d根据计算出的图像评估值来决定典型评估值(步骤s16)。当图像
评估值为1个时，典型评估值是图像评估值，当图像评估值为2个以上时，典型评估值是每个区间的图像评估值的统计量，例如平均值、中间值、众值或最大值。由于病变程度在区间中最强，因此最大值更适合用于评估病变。此外，当典型评估值再现图像的同时计算典型评估值时，典型评估值可以是在各个区间的结尾处所计算出的图像评估值。
[0173]
病变评估调整部220f判断是否存在完全没有图像评估值并且未生成典型评估值的空白区间(步骤s18)。当存在空白区间时，病变评估调整部220f通过上述处理来决定估计典型评估值，并且将估计典型评估值赋予给空白区间(步骤s20)。
[0174]
更进一步地，预处理部220a根据外科医生或操作者的指令，来判断是否获取用于执行病变评估的图像(步骤s22)。预处理部220a为了获取图像而等待，直至停止获取图像。
[0175]
图6为作为器官示例即大肠的说明图。大肠从开口端(肛门)开始依次具备直肠、乙状结肠、降结肠、横结肠和升结肠。在下文中，将直肠称为sg5段，将乙状结肠称为sg4段，将降结肠称为sg3段，将横结肠称为sg2段，将直肠称为sg1段。
[0176]
一般情况下，将电子观测器100插入到作为升结肠的sg1段的最深部，并且从此处开始朝向开口端侧拉出。因此，电子观测器100以sg1段、sg2段、sg3段、
···
的顺序拍摄图像。
[0177]
图7为示出以往的评估结果的示例的图。图7所示的评估结果是横轴表示从sg5段到sg1段的位置、纵轴表示典型评估值的图表。图7中所示的示例示出了sg5段及s2段的典型评估值较高，sg5段以及s2段发生了炎症。段sg3、sg4是没有典型评估值的空白区间。
[0178]
图8为示出病变评估调整部220f的评估结果的调整示例的图。图8所示的结果与图7相同，是横轴表示从sg5段到1段的位置、纵轴表示典型评估值的图表。在图8所示的例子中，病变评估调整部220f将估计典型评估值赋予给作为空白区间的段sg3、sg4。在图8所示的例子中，病变评估调整部220f针对未生成典型评估值的空白区间(段sg3、sg4)，将作为位于比空白区间更靠近器官里侧的非空白区间的段sg2中的估计典型评估值赋予给空白区间的段sg3、sg4。
[0179]
如图8所示，即使在连续存在2个以上的空白区间的情况下，也可以将作为位于比空白区间更靠近器官里侧的非空白区间的段sg2中的典型评估值作为估计典型评估值赋予给段sg3、sg4。如此一来，之所以将作为位于比空白区间更靠近器官里侧的非空白区间的段sg2中的典型评估值作为空白区间的估计典型评估值来使用，是因为外科医生或操作者朝着与器官内的里侧方向相反的方向(从段sg1侧到段sg5侧的方向)一边移动电子观测器100一边观察显示在监视器300上的图像以检查病变程度，因此空白区间极有可能是里侧区间中病变程度的变化较小的区间。因此，可以将作为位于比空白区间更靠近器官里侧的非空白区间的段sg2中的典型评估值用作作为空白区间的段sg3、sg4中的估计典型评估值。
[0180]
此外，病变评估调整部220f针对未生成典型评估值的空白区间(段sg3、sg4)，也可以使用作为位于比空白区间更靠近器官里侧的非空白区间的段sg2中的图像评估值的一个。图9为示出病变评估调整部220f的评估结果的调整示例的图。图9所示的结果与图7相同，是横轴表示从sg5段到sg1段的位置、纵轴表示典型评估值的图表。在图中，段sg2中存在多个图像评估值(
“○”
)。
[0181]
如图9所示，当段sg2中存在多个图像评估值(
“○”
)时，段sg3、sg4的估计典型评估值并非典型评估值(
“●”
)，而是段sg2的图像评估值之一。
[0182]
另外，根据一实施方式，病变评估调整部220f将位于比空白区间更靠近器官里侧的非空白区间，即最靠近空白区间的、典型评估值的某个最邻近区间内的图像评估值，或者最邻近区间中的典型评估值，确定为估计典型评估值。最邻近区间内的图像评估值中的一个或最近邻区间中的典型评估值最邻近空白区间中的实际的图像评估值或典型评估值，其差异小，这在高精度地进行评估方面是优选的。
[0183]
根据一实施方式，优选地，图像或图像评估值与图像的拍摄时间或拍摄顺序信息相对应时，病变评估调整部220f将在对位于比空白区间更靠近器官里侧的非空白区间进行拍摄的图像中，与拍摄时间或拍摄顺序最靠后的图像相对应的图像评估值、或者在对位于比空白区间更靠近器官里侧的非空白区间进行拍摄的图像的图像评估值中，拍摄时间或拍摄顺序最靠后的图像评估值，确定为估计典型评估值。原本，如果评估了空白区间，则可以认为，最接近评估中使用的图像的拍摄时间或拍摄顺序的、并且与拍摄时间和拍摄顺序相对应的图像评估值接近空白区间中的图像评估值或典型评估值，因此与对位于比空白区间更靠近器官里侧的非空白区间进行拍摄的拍摄时间或拍摄顺序最靠后的图像相对应的图像评估值、或者对位于比空白区间更靠近器官里侧的非空白区间进行拍摄而得到的图像的图像评估值中，将拍摄时间或拍摄顺序最靠后的图像评估值确定为估计典型评估值，这在高精度地进行评估方面是优选的。
[0184]
图10为示出病变评估调整部220f的评估结果的调整示例的图。图10所示的结果与图7相同，是横轴表示从sg5段到sg1段的位置、纵轴表示典型评估值的图表。
[0185]
如图10所示，病变评估调整部220f针对作为空白区间的段sg3、sg4，将多个区间中夹着空白区间的两侧的非空白区间各自的典型评估值中的2个作为基准评估值，求出根据基准评估值而得到的复合典型值以作为用于表示病变程度的估计典型评估值，并且将此估计典型评估值赋予给空白区间。当在段sg2和段sg5之间典型评估值稍有变化时，考虑到稍有变化，将夹着作为空白区间的段sg3、sg4的两侧的非空白区间各自的典型评估值中的2个用作基准评估值，以求出估计典型评估值，这在高精度地进行评估方面是优选的。病变评估调整部220f例如使用2个基准评估值，通过利用直线的插值来求出复合典型值。
[0186]
病变评估调整部220f使用基于位于空白区间两侧的非空白区间中的一方的非空白区间的长度信息和空白区间的长度信息的合计长度信息而得到的第1加权系数、和基于位于两侧的非空白区间中的另一方的非空白区间的长度信息和空白区间的长度信息的合计长度信息而得到的第2二加权系数，将对2个基准评估值进行加权平均的加权平均值确定为估计典型评估值，这在段长度不恒定的段sg2～sg5中进行高精度的评估方面是优选的。空白区间和非空白区间的长度信息使用预先已知的长度。例如，当将段sg2中的典型评估值设为a2、将段sg5中的典型评估值设为a3时，并且基于段sg4～sg5的长度信息和段sg3的长度信息的合计长度信息而得到的第1加权系数为b5、并且基于段sg2的长度信息和段sg3的长度信息的合计长度信息而得到的第2加权系数为b2时(b2+b5＝1)，段sg3中的估计典型评估值可以表示为b5
·
a2+b2
·
a5。
[0187]
图11为示出病变评估调整部220f的评估结果的调整示例的图。图11所示的结果与图7相同，是横轴表示从sg5段到sg1段的位置、纵轴表示典型评估值的图表。
[0188]
如图11所示，病变评估调整部220f针对空白区间，根据夹着空白区间的两侧的非空白区间中的典型评估值，来计算用于表示病变程度的估计典型评估值，并将此估计典型
评估值赋予给空白区间。此时，病变评估调整部220f通过基于曲线拟合的插值，来计算空白区间中的估计典型评估值，该曲线拟合使用两侧的非空白区间各自的长度信息和空白区间的长度信息、以及非空白区间中的典型评估值。用于插值的算式使用预定算式，例如使用b样条函数或三次多项式的函数。以这种方式，由于使用段sg1～sg5的长度信息和非空白区间中的典型评估值来计算估计典型评估值，因此可以高精度地进行评估。空白区间和非空白区间的长度信息使用预先已知的长度。
[0189]
评估结果整合部220g构成为，生成用于与区间对应地表示典型评估值和估计典型评估值的评估结果画面。在这种情况下，在评估结果画面中，估计典型评估值优选地以能够与典型评估值区分开的显示方式来表示。例如，当用数字表示估计典型评估值和典型评估值时，改变颜色进行显示，而且，当如图8
‑
图11所示那样以图表来显示估计典型评估值和典型评估值时，可以将估计典型评估值的描绘点颜色设定为与典型评估值的描绘点颜色不同的颜色，也可以将估计典型评估值的描绘点形状设定为与典型评估值的描绘点形状不同的形状，也可以将空白区间的段区域的背景色设定为与非空白区间的段区域的背景色不同的颜色。
[0190]
另外，空白区间中的估计典型评估值也可以根据观察监视器300上所显示的图像的外科医生或操作者的主观判断，通过手动输入来设定。在这种情况下，使用操作面板208或未图示的鼠标或键盘等用户接口来进行手动输入。
[0191]
上述实施方式中的评估单元225设置在电子内窥镜用处理器200中，但是评估单元225也可以不设置在电子内窥镜用处理器200中。也可以是具有以下结构的数据处理装置：将电子观测器100的前端部插入器官内，将器官内部的活组织的多个图像提前存储在存储器中，播放此存储的图像，并且评估活组织的病变程度。在这种情况下，数据处理装置至少包括图2所示的图像评估值计算部220b、摄像位置信息处理部220c、病变评估部220d以及病变评估调整部220f。在这种情况下，优选地包括预处理部220a、病变部位位置计算部220e、以及评估结果整合部220g。数据处理装置例如由计算机构成。
[0192]
如上所述，根据电子内窥镜系统和数据处理装置，利用分别拍摄了图像的器官内部的摄像位置信息，对划分了所拍摄的器官内部的区域的多个区间的每一个，根据图像评估值计算图像评估值的典型评估值，但是对于没有典型评估值的空白区间，也将通过上述方法确定的估计典型评估值赋予给空白区间，因此除了能够评估活组织在器官的纵深方向的扩散之外，即使日后再次进行检查时，也可以评估病变进展或后退程度。
[0193]
在上文中，对本发明提供的电子内窥镜系统和数据处理装置进行了详细说明，但是本发明提供的电子内窥镜系统和数据处理装置并不限于上述实施方式，在不脱离本发明的主旨的范围内还可以进行各种改进和变化。
[0194]
符号说明
[0195]1ꢀꢀꢀꢀ
电子内窥镜系统
[0196]
100
ꢀꢀ
电子观测器
[0197]
102
ꢀꢀ
lcb(light carrying bundle)
[0198]
104
ꢀꢀ
配光透镜
[0199]
106
ꢀꢀ
物镜
[0200]
108
ꢀꢀ
摄像元件
[0201]
108a ir(infrared)截止滤光片
[0202]
108b 拜尔阵列滤色器
[0203]
112
ꢀꢀ
驱动器信号处理电路
[0204]
114
ꢀꢀ
存储器
[0205]
200
ꢀꢀ
处理器
[0206]
202
ꢀꢀ
系统控制器
[0207]
204
ꢀꢀ
存储器
[0208]
206
ꢀꢀ
时序控制器
[0209]
208
ꢀꢀ
操作面板
[0210]
210
ꢀꢀ
nic(network interface card)
[0211]
220
ꢀꢀ
图像处理单元
[0212]
220a 预处理部
[0213]
220b 图像评估值计算部
[0214]
220c 摄像位置信息处理部
[0215]
220d 病变评估部
[0216]
220e 病变部位位置计算部
[0217]
220f 病变评估调整部
[0218]
220g 评估结果整合部
[0219]
230
ꢀꢀ
光源部
[0220]
250
ꢀꢀ
位置测量系统
[0221]
300
ꢀꢀ
监视器
[0222]
400
ꢀꢀ
打印机
[0223]
500
ꢀꢀ
网络
[0224]
600
ꢀꢀ
服务器