图像处理装置、程序和图像处理方法
【技术领域】
[0001 ] 本发明涉及图像处理装置、程序和图像处理方法等。
【背景技术】
[0002]在根据给定的时间间隔以时间序列的方式持续对静态图像进行摄像的情况下、通过多个图像网罗具有空间宽度的被摄体的情况下、或者对动态图像进行摄像后取得构成该动态图像的各图像作为静态图像的情况下等，取得时间或空间上连续的非常大量的图像(以下也记载为图像列)。在这种情况下，图像列中靠近(即时间或空间上靠近)的图像彼此是相似图像的可能性较高，在掌握所摄像的内容时检查大量的全部图像的必要性不高。本来，图像张数为数万张以上的情况也不稀奇，用户手动检查全部图像本身的负担很大。
[0003]因此，需要通过从图像列中删除一部分图像而精简为张数比原来的图像列的张数少的图像列(以下将该处理记载为图像精简处理)。例如在专利文献I中公开了如下的图像精简处理手法:通过提取图像列中的场景变化的交界的图像或代表图像列的图像，保留容易掌握图像列的内容的图像。
[0004]并且，在由内窥镜装置进行摄像而得到的活体内图像等中，假设该活体内图像中的病变区域在诊断等中的重要度高于其他区域的重要度。因此，如专利文献2所公开的那样，公知有从图像中检测病变区域的手法。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1:日本特开2009-5020号公报
[0008]专利文献2:日本特开2010-113616号公报
[0009]专利文献3:日本特开2011-24763号公报
[0010]专利文献4:日本特开2007-313119号公报
[0011]专利文献5:日本特开2010-115413号公报
[0012]专利文献6:日本特开2012-16454号公报
[0013]专利文献7:日本特开2011-234931号公报
【发明内容】
[0014]发明要解决的课题
[0015]在将活体内图像作为对象的情况下，由于病变区域的重要度、关注度较高，所以，例如考虑进行将通过专利文献2的手法检测到病变区域的图像保留在精简图像列中并删除其他图像的图像精简处理。但是，根据病例，有时在所取得的图像列的大部分图像中检测到病变区域，仅根据是否检测到病变区域来进行图像精简处理，有时没有效率(图像张数的削减效果低)。
[0016]因此，在对病变区域进行摄像而得到的图像群中，考虑通过专利文献I的手法进行图像精简处理。此时，例如在内窥镜观察这种医疗领域中应用图像精简技术的情况下，从避免疾患的漏看的观点来看，需要抑制产生由于删除图像而无法观察的病变区域。
[0017]并且，不希望无法观察的区域不限于病变区域。例如，在专利文献4中公开了检测活体内图像中的气泡区域的手法，在专利文献5中公开了检测残渣区域的手法。在气泡区域或残渣区域中，由于气泡或残渣对粘膜进行遮蔽，所以，不能说该区域适于观察。即，与该气泡区域、残渣区域相比，活体内图像中的不是气泡区域和残渣区域的区域是观察有用性较高的区域，应该抑制由于删除图像而无法观察的可能性。
[0018]并且，在专利文献6中公开了在图像中检测极端昏暗地拍摄到的暗部区域的手法，在专利文献7中公开了在图像中检测极端明亮进行摄像而得到的光晕区域的手法。在暗部区域或光晕区域中，由于像素值成为极端值，所以，被摄体的视觉辨认性较差，不能说该区域适于观察。即，与该暗部区域、光晕区域相比，图像中的不是暗部区域和光晕区域的区域是观察有用性较高的区域，应该抑制由于删除图像而无法观察的可能性。
[0019]如上所述，在将病变区域、未遮蔽粘膜的区域、视觉辨认性不差的区域这样的与图像中的其他区域相比观察有用性较高的区域定义为观察对象区域的情况下，可以说需要进行抑制产生由于删除图像而无法观察的观察对象区域的图像精简处理。
[0020]但是，当仅保留场景变化的交界的图像、或以是否容易直观观察精简后的图像列的观点进行图像精简时，产生由于删除图像而无法观察的观察对象区域，其程度依赖于图像的内容。即，存在无法对由于删除图像而无法观察的观察对象区域的产生程度进行控制的问题。
[0021]根据本发明的若干个方式，能够提供如下的图像处理装置、程序和图像处理方法等:根据图像间的变形信息和各图像的观察对象区域，执行抑制产生由于删除图像而无法观察的观察对象区域的图像精简处理。
[0022]用于解决课题的手段
[0023]本发明的一个方式涉及一种图像处理装置，该图像处理装置包括:图像列取得部，其取得具有多个构成图像的图像列；以及处理部，其进行删除所述图像列取得部取得的所述图像列的所述多个构成图像中的一部分而生成精简图像列的图像精简处理，所述处理部进行从所述多个构成图像的各构成图像中检测观察对象区域的处理，从所述多个构成图像中选择基准图像和判定对象图像，计算所述基准图像的变形估计对象区域与所述判定对象图像的所述变形估计对象区域之间的变形信息，根据所述基准图像的所述观察对象区域、所述判定对象图像的所述观察对象区域、所述变形信息，判定可否删除所述判定对象图像。
[0024]在本发明的一个方式中，在从各图像中检测观察对象区域后，根据基准图像的观察对象区域、判定对象图像的观察对象区域、基准图像与判定对象图像之间的变形信息，判定可否删除判定对象图像。由此，能够进行与无法观察的观察对象区域的程度对应的可否删除判定，与不考虑观察对象区域而进行使用变形信息的图像精简处理的情况相比，能够进行适当的图像精简处理等。
[0025]在本发明的一个方式中，也可以是，所述处理部通过对所述基准图像的所述观察对象区域进行使用所述变形信息的变形处理，求出所述判定对象图像中的由所述基准图像的所述观察对象区域覆盖的区域即观察对象覆盖区域，根据所求出的所述观察对象覆盖区域和所述判定对象图像的所述观察对象区域，判定可否删除所述判定对象图像。
[0026]由此，能够根据判定对象图像中的与由基准图像的观察对象区域覆盖的区域相当的观察对象覆盖区域，判定可否删除判定对象图像等。
[0027]在本发明的一个方式中，也可以是，所述处理部求出所述观察对象覆盖区域和所述判定对象图像的所述观察对象区域的共同区域即观察对象共同区域，计算所求出的所述观察对象共同区域在所述判定对象图像的所述观察对象区域中占据的比例即观察对象覆盖率，根据计算出的所述观察对象覆盖率判定可否删除所述判定对象图像。
[0028]由此，能够根据观察对象覆盖率，判定可否删除判定对象图像等。
[0029]在本发明的一个方式中，也可以是，在所述观察对象覆盖率为规定阈值以上的情况下，所述处理部判定为能够删除所述判定对象图像，在所述观察对象覆盖率小于所述规定阈值的情况下，所述处理部判定为不能删除所述判定对象图像。
[0030]由此，能够通过使用观察对象覆盖率的阈值判定处理来进行可否删除判定。
[0031]在本发明的一个方式中，也可以是，所述处理部计算观察对象丧失区域在所述判定对象图像中占据的比例即观察对象丧失区域占有率，根据计算出的所述观察对象丧失区域占有率判定可否删除所述判定对象图像，其中，所述观察对象丧失区域是所述判定对象图像的所述观察对象区域中的不是所述观察对象覆盖区域的区域。
[0032]由此，能够根据观察对象丧失区域占有率，判定可否删除判定对象图像等。
[0033]在本发明的一个方式中，也可以是，在所述观察对象丧失区域占有率小于规定阈值的情况下，所述处理部判定为能够删除所述判定对象图像，在所述观察对象丧失区域占有率为所述规定阈值以上的情况下，所述处理部判定为不能删除所述判定对象图像。
[0034]由此，能够通过使用观察对象丧失区域占有率的阈值判定处理来进行可否删除判定。
[0035]在本发明的一个方式中，也可以是，所述处理部使用所述判定对象图像的所述观察对象区域中的不是所述观察对象覆盖区域的区域即观察对象丧失区域，判定在所述判定对象图像中有无漏看关注区域的可能性，根据有无漏看所述关注区域的可能性，判定可否删除所述判定对象图像。
[0036]由此，能够从关注区域的漏看可能性的观点来判定可否删除判定对象图像等。
[0037]在本发明的一个方式中，也可以是，所述处理部通过判定所述观察对象丧失区域中是否包含有与所述关注区域对应的尺寸的区域，判定在所述判定对象图像中有无漏看所述关注区域的可能性。
[0038]由此，能够根据观察对象丧失区域中是否包含有与关注区域对应的尺寸的区域来判定关注区域的漏看可能性等。
[0039]在本发明的一个方式中，也可以是，所述处理部针对所述观察对象丧失区域进行使用与所述关注区域对应的构造要素的收缩处理，在所述收缩处理的结果为存在残留区域的情况下，视为存在漏看所述关注区域的可能性，判定为不能删除所述判定对象图像，在所述收缩处理的结果为不存在所述残留区域的情况下，视为不存在漏看所述关注区域的可能性，判定为能够删除所述判定对象图像。
[0040]由此，能够通过使用构造要素的收缩处理来判定关注区域的漏看可能性等。
[0041]在本发明的一个方式中，也可以是，所述处理部求出所述观察对象覆盖区域和所述判定对象图像的所述观察对象区域的共同区域即观察对象共同区域，计算所求出的所述观察对象共同区域在所述判定对象图像的所述观察对象区域中占据的比例即观察对象覆盖率，计算观察对象丧失区域在所述判定对象图像中占据的比例即观察对象丧失区域占有率，其中，所述观察对象丧失区域是从所述判定对象图像的所述观察对象区域中除去所述观察对象共同区域后得到的区域，根据计算出的所述观察对象覆盖率和所述观察对象丧失区域占有率判定可否删除所述判定对象图像。
[0042]由此，由于能够组合使用观察对象覆盖率和观察对象丧失区域占有率双方，所以，能够提高可否删除判定的判定精度等。
[0043]在本发明的一个方式中，也可以是，所述处理部判定为能够删除在基于所述观察对象覆盖率的判定和基于所述观察对象丧失区域占有率的判定中的至少一个判定中视为可删除的所述判定对象图像。
[0044]由此，由于是提高了判定为能够删除判定对象图像的可能性的组合，所以，能够提高图像张数的削减效果等。
[0045]在本发明的一个方式中，也可以是，所述处理部检测所述图像的除去遮蔽物区域以外的区域作为所述观察对象区域。
[0046]由此，能够检测除了遮蔽物区域以外的区域作为观察对象区域。
[0047]在本发明的一个方式中，也可以是，所述图像列是对活体内进行摄像而得到的活体内图像列，所述遮蔽物区域是所述图像的气泡区域或残渣区域。
[0048]由此，能够将气泡区域或残渣区域作为遮蔽物区域。
[0049]在本发明的一个方式中，也可以是，所述处理部检测所述图像的除去不适于观察图像信号的区域以外的区域作为所述观察对象区域。
[0050]由此，能够检测除了不适于观察图像信号的区域以外的区域作为观察对象区域。
[0051]在本发明的一个方式中，不适于观察所述图像信号的区域也可以是所述图像的暗部区域或光晕区域。
[0052]由此，能够将暗部区域或光晕区域作为不适于观察图像信号的区域。
[0053]在本发明的一个方式中，也可以是，所述图像列是对活体内进行摄像而得到的活体内图像列，所述处理部检测所述图像的病变区域或绒毛区域作为所述观察对象区域。
[0054]由此，能够检测病变区域或绒毛区域作为观察对象区域。
[0055]本发明的另一个方式涉及一种程序，该程序使计算机作为上述各部发挥功能。
[0056]本发明的另一个方式涉及一种图像处理方法，取得具有多个构成图像的图像列，进行从所述多个构成图像的各构成图像中检测观察对象区域的处理，从所述多个构成图像中选择基准图像和判定对象图像，计算所述基准图像的变形估计对象区域与所述判定对象图像的所述变形估计对象区域之间的变形信息，根据所述基准图像的所述观察对象区域、所述判定对象图像的所述观察对象区域、所述变形信息，判定可否删除所述判定对象图像，根据所述可否删除的判定结果，进行删除所述图像列的所述多个图像中的一部分而取得精简图像列的图像精简处理。
【附图说明】
[0057]图1(A)?图1(C)是说明在图像精简处理中使用病变区域的理由的图。
[0058]图2是说明在图像精简处理中使用病变区域的理由的另一个图。
[0059]图3是说明本实施方式的处理的图。
[0060]图4是图像处理装置的结构例。
[0061]图5是第I实施方式的可否删除判定部的结构例。
[0062]图6是说明本实施方式的处理的流程图。
[0063]图7是说明第I实施方式的可否删除判定处理的流程图。
[0064]图8(A)?图8(C)是说明基准图像和判定对象图像的选择手法的图。
[0065]图9是说明根据多个基准图像求出病变覆盖区域的处理的图。
[0066]图10(A)、图10⑶是说明使用第I基准图像和第2基准图像的可否删除判定处理的。
[0067]图1l(A)?图1UD)是说明第2实施方式的处理的图。
[0068]图12是第2实施方式的可否删除判定部的结构例。
[0069]图13是第2实施方式的可否删除判定部的另一个结构例。
[0070]图14是说明第2实施方式的可否删除判定处理的流程图。
[0071]图15是第3实施方式的可否删除判定部的结构例。
[0072]图16是说明第3实施方式的图像精简处理的流程图。
[0073]图17是图像处理装置的基本结构例。
[0074]图18是说明根据覆盖区域求出覆盖率的手法的图。