检测装置、学习装置、检测方法、学习方法和程序的制作方法
【技术领域】
[0001] 本发明涉及检测装置、学习装置、检测方法、学习方法和程序等。
【背景技术】
[0002] 以往，公知有如专利文献1所公开的方法那样，照射容易被血液中包含的血红蛋 白吸收的窄带波长的照明光、从而对粘膜表面的毛细血管等进行强调显示的窄带光观察 (NBI)。在该窄带光观察中，期待为了进行食道区域的详细诊断或大肠的腺管开口形态（腺 管构造）观察而广泛进行的色素散布的代替观察法，通过减少检查时间和不必要的活检， 能够期待对检查高效化的贡献。
[0003] 但是，虽然窄带光观察能够进行血管的强调显示，但是很难对神经进行强调显示。 当在直肠全摘除手术或前列腺全摘除手术中保存神经的情况下，在摘除对象脏器时，需要 使对象脏器露出来进行摘除，以使得不会损伤以包围对象脏器的方式分布的神经，但是，由 于直径50~300 μ m的细神经为白色或透明，所以，在基于腹腔镜的放大观察中也很难进行 观察。因此，医师不得不依靠经验和感觉进行手术，存在损伤的可能性较高这样的不良情 况。着眼于包围对象脏器的神经存在于脂肪层内，提出了如下方法：为了使神经可视化，通 过提取位于神经周围的脂肪，将包围对象脏器的神经的损伤防患于未然。
[0004] 作为从图像中识别并提取特定区域的方法，在专利文献2中公开了使用学习的方 法。具体而言，进行如下处理：对应该提取的区域进行学习，使用通过该学习而求出的参数， 从输入图像中提取特定区域。
[0005] 现有技术文献
[0006] 专利文献
[0007] 专利文献1 :日本特开2011-224038号公报
[0008] 专利文献2 :日本特开2002-342758号公报
【发明内容】
[0009] 发明要解决的课题
[0010] 在取得相同特征作为图像时，当从摄像装置到对象的距离不同时，引起照明的照 射方式的差异或强度的差异等，有时示出不同的特性。当直接将与这些不同的特性对应的 特征量分类为同一集合进行学习时，在学习数据中，针对同一集合的特征量的偏差增大。其 结果，作为学习结果的判别基准的精度降低，导致检测精度降低。与此相对，通过伴随图像 取得而取得距离信息并进行检测处理，能够进行稳定的检测。在专利文献2中，作为机器人 的视觉识别系统，提出了使用图像和距离信息的系统。通过距离对取得图像进行归一化，进 行学习和识别处理。在该方法中，使用距离信息对根据距离而不同地取得的大小和图案的 精细度进行校正。
[0011] 但是，在专利文献2中，虽然记载了根据距离进行特征量的校正处理，但是未涉及 其校正程度的控制。一般情况下，基于距离（狭义地讲为相对于基准距离的距离变动）的 特征量的变动特性不一定是固定的。例如考虑如下情况：在d较小的情况下，相对于距离的 单位变动量的特征量的变动较小（例如特征量的变动用α X d表示），但是，在d较大的情 况下，相对于距离的单位变动量的特征量的变动较大（例如特征量的变动用满足β>α的 β X d表示）。
[0012] 这种情况下，很难通过特定的校正方法（例如使用一个式子进行归一化处理的方 法）对基于给定的被摄体距离的特征量变动进行校正。即，在专利文献2的简单方法中，在 基于距离的校正处理中，无法充分补偿特征量的变动，基于该校正处理的检测处理、学习处 理的精度降低。
[0013] 根据本发明的若干个方式，能够提供通过使用多个距离范围中的每个距离范围的 学习特征量进行检测处理而高精度地从图像中检测对象区域的检测装置、学习装置、检测 方法、学习方法和程序等。
[0014] 用于解决课题的手段
[0015] 本发明的一个方式涉及一种检测装置，该检测装置包括：图像取得部，其通过摄像 部的摄像而取得包含被摄体的像的图像；距离信息取得部，其取得基于所述摄像时的从所 述摄像部到所述被摄体的距离的距离信息；特征量计算部，其根据所取得的所述图像计算 与所述被摄体有关的特征量；学习特征量存储部，其针对根据从所述摄像部到所述被摄体 的所述距离而设定的多个距离范围，存储通过每个距离范围的学习处理而求出的与各距离 范围对应的学习特征量；以及检测部，其根据所述学习特征量、所述距离信息、所述特征量， 从所述图像中检测对象区域，所述检测部根据由所述距离信息取得部取得的所述距离信 息，从所述多个距离范围中确定与由所述特征量计算部计算出的所述特征量对应的距离范 围，根据与所确定的所述距离范围对应的所述学习特征量和由所述特征量计算部计算出的 所述特征量检测所述对象区域。
[0016] 在本发明的一个方式中，根据通过基于距离而设定的多个距离范围中的每个距离 范围的学习处理而求出的学习特征量和从进行摄像而得到的图像中取得的特征量，从图像 中检测对象区域。具有给定特性的被摄体的图像上的特征量可能由于距离的远近或被摄体 的凹凸构造等而变动，但是，由于使用根据距离而设定的多个距离范围，所以，能够抑制该 变动带来的影响，能够高精度地检测对象区域等。
[0017] 并且，本发明的另一个方式涉及一种学习装置，该学习装置包括：图像取得部，其 通过摄像部的摄像而取得包含被摄体的像的图像；距离信息取得部，其取得基于所述摄像 时的从所述摄像部到所述被摄体的距离的距离信息；特征量计算部，其根据所取得的所述 图像计算与所述被摄体有关的特征量；学习部，其根据由所述距离信息取得部取得的所述 距离信息设定多个距离范围，按照所设定的所述多个距离范围进行所述特征量的学习处 理；以及学习特征量存储部，其存储通过所述学习部中的所述学习处理而求出的学习特征 量。
[0018] 由此，在学习处理中，通过使用根据距离信息而设定的多个距离范围进行处理，能 够高精度地进行学习处理，能够使用该学习处理的结果高精度地进行检测处理等。
[0019] 并且，本发明的另一个方式涉及一种检测方法，该检测方法使计算机执行以下处 理：通过摄像部的摄像而取得包含被摄体的像的图像的处理；距离信息取得处理，取得基 于所述摄像时的从所述摄像部到所述被摄体的距离的距离信息；特征量计算处理，根据所 取得的所述图像计算与所述被摄体有关的特征量；学习特征量存储处理，针对根据从所述 摄像部到所述被摄体的所述距离而设定的多个距离范围，存储通过每个距离范围的学习处 理而求出的与各距离范围对应的学习特征量；以及检测处理，根据所述学习特征量、所述距 离信息、所述特征量，从所述图像中检测对象区域，作为所述检测处理，进行如下处理：根据 所述距离信息取得处理中取得的所述距离信息，从所述多个距离范围中确定与所述特征量 计算处理中计算出的所述特征量对应的距离范围，根据与所确定的所述距离范围对应的所 述学习特征量和所述特征量计算处理中计算出的所述特征量检测所述对象区域。
[0020] 并且，本发明的另一个方式涉及一种学习方法，该学习方法使计算机执行以下处 理：通过摄像部的摄像而取得包含被摄体的像的图像的处理；距离信息取得处理，取得基 于所述摄像时的从所述摄像部到所述被摄体的距离的距离信息；特征量计算处理，根据所 取得的所述图像计算与所述被摄体有关的特征量；学习处理，根据所述距离信息取得处理 中取得的所述距离信息设定多个距离范围，按照所设定的所述多个距离范围进行所述特征 量的学习；以及学习特征量存储处理，存储通过所述学习处理而求出的学习特征量。
[0021] 并且，本发明的另一个方式涉及一种程序，该程序使计算机执行以下步骤：通过摄 像部的摄像而取得包含被摄体的像的图像的步骤；取得基于所述摄像时的从所述摄像部到 所述被摄体的距离的距离信息的步骤；根据所取得的所述图像计算与所述被摄体有关的特 征量的步骤；针对根据从所述摄像部到所述被摄体的所述距离而设定的多个距离范围，存 储通过每个距离范围的学习处理而求出的与各距离范围对应的学习特征量的步骤；以及根 据所述学习特征量、所述距离信息、所述特征量，从所述图像中检测对象区域的步骤，在检 测所述对象区域的步骤中，进行如下处理：根据所述距离信息，从所述多个距离范围中确定 与所述特征量对应的距离范围，根据与所确定的所述距离范围对应的所述学习特征量和所 述特征量检测所述对象区域。
[0022] 并且，本发明的另一个方式涉及一种程序，该程序使计算机执行以下步骤：通过摄 像部的摄像而取得包含被摄体的像的图像的步骤；取得基于所述摄像时的从所述摄像部到 所述被摄体的距离的距离信息的步骤；根据所取得的所述图像计算与所述被摄体有关的特 征量的步骤；根据所述距离信息设定多个距离范围，按照所设定的所述多个距离范围进行 所述特征量的学习处理的步骤；以及存储通过所述学习处理而求出的学习特征量的步骤。
【附图说明】
[0023] 图1是包含本实施方式的检测装置的内窥镜装置的结构例。
[0024] 图2是根据距离而使特征量的变动特性不同的情况的例子。
[0025] 图3是第1实施方式的检测装置的结构例。
[0026] 图4是说明第1实施方式的学习处理的流程图。
[0027] 图5是说明第1实施方式的检测处理的流程图。
[0028] 图6是说明第1实施方式的变形例的检测处理的流程图。
[0029] 图7是第2实施方式的检测装置的结构例。
[0030] 图8是说明第2实施方式的学习处理的流程图。
[0031] 图9是说明第2实施方式的检测处理的流程图。
[0032] 图10(A)~图10(D)是说明学习处理的例子的图。
[0033] 图11(A)、图11⑶是说明基于被摄体的凹凸构造的特征量的变动的图。
[0034] 图12㈧是分开设置检测装置和学习装置的例子，图12⑶是检测装置包含学习 部的例子。
[0035] 图13是说明第1实施方式的处理的图。
[0036] 图14是说明第1实施方式的变形例的插值处理的图。
[0037] 图15是说明第2实施方式的处理的图。
[0038] 图16(A)~图16(F)是基于形态学处理的提取凹凸信息的提取处理的说明图。
[0039] 图17(A)~图17(D)是基于滤波处理的提取凹凸信息的提取处理的说明图。
【具体实施方式】
[0040] 下面，对本实施方式进行说明。另外，以下说明的本实施方式并不是不当限定权利 要求书所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必 须结构要件。
[0041] 1.本实施方式的方法
[0042] 首先，对本实施方式的方法进行说明。举出用于抑制神经损伤的脂肪检测的例子， 如上所述，从图像中求出与被摄体有关的某个特征量，使用所求出的特征量来检测期望被 摄体，进行这种处理是有用的。在脂肪检测的情况下，与被摄体有关的特征量是颜色、亮度、 色差等，在以下的说明中，也使用这些作为特征量的例子。但是，本实施方式的特征量不限 于颜色、亮度、色差等信息，也可以采用使用边缘检测等而取得的被摄体的形状信息等各种 信息。
[0043] 在这种判定处理、即期望被摄体的检测处理中，进行学习处理并使用其结果（以 下表记为学习结果，狭义地讲，也可以是分类模型）是有用的。对学习处理的具体例进行简 单说明。一个处理对象数据由一个特征量或多个特征量的组来表现。例如，如果将图像的 亮度值Y作为特征量，则一个处理对象数据由Y的值来表现，如果将彩色图像的像素值（R、 G、B)作为特征量，则一个处理对象数据由（R、G、B)这样的3个值的组来表现。但是，根据 图像计算出的特征量不限于