图像处理装置和立体图像观察系统的制作方法
【专利摘要】在立体图像中在比较的同时观察被摄体和重叠在该被摄体上的辅助显示的情况下，减少观察者的眼部疲劳。提供一种图像处理装置(2)，其具有：显示部(3)，其根据被摄体的两个视差图像，再现立体图像并进行显示；注视点检测部(4、5)，其对观察立体图像的观察者的注视点进行检测；视差计算部(6)，其计算检测出的注视点处的两个视差图像间的视差；以及辅助显示生成部(7)，其生成被赋予了与由视差计算部(6)计算出的视差相同视差的辅助显示，将所生成的辅助显示重叠到立体图像上，使显示部(3)进行显示。
【专利说明】
图像处理装置和立体图像观察系统
【技术领域】
[0001]本发明涉及图像处理装置和立体图像观察系统。
【背景技术】
[0002]以往，公知有如下装置:使用从与左右双眼对应的两个视点拍摄被摄体而得到的一对视差图像，使观察者看到被摄体的立体图像(例如，参照专利文献I)。专利文献I的装置具有如下功能:使观察者针对立体图像追加的文字、图形、符号等描绘物重叠显示在立体图像内的与被摄体同一进深方向的位置上。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2011-180779号公报
【发明内容】
[0006]发明所要解决的课题
[0007]观察者使注视点在立体图像内在进深方向上不同的位置之间移动时，需要使左右双眼的视线所成的会聚角变化。该会聚角的调节给观察者造成眼部疲劳。在专利文献I的情况下，每当使注视点在描绘物与被摄体之间移动时，产生会聚角的变化。因此，专利文献I的装置不适于以下用途:使注视点在描绘物那样的辅助显示与被摄体之间频繁往复，在对它们进行对比的同时观察被摄体。
[0008]本发明是鉴于上述问题而完成的，其目的在于，提供一种图像处理装置和立体图像观察系统，在被摄体与重叠到该被摄体上的辅助显示的立体图像中，即使在与辅助显示进行对比的同时观察被摄体的情况下，也能够减少观察者的眼部疲劳。
[0009]用于解决课题的手段
[0010]为了达到上述目的，本发明提供以下手段。
[0011]本发明的第I方式是一种图像处理装置，该图像处理装置具有:显示部，其根据拍摄被摄体而获取的两个视差图像，再现所述被摄体的立体图像并进行显示；注视点检测部，其检测对该显示部所显示的立体图像进行观察的观察者的注视点；视差计算部，其计算由该注视点检测部检测出的注视点处的所述两个视差图像间的视差；以及辅助显示生成部，其生成包含与所述被摄体相关的信息的辅助显示，将所生成的辅助显示重叠到所述立体图像上，使所述显示部进行显示，该辅助显示生成部根据由所述视差计算部计算出的视差，生成被赋予了与该视差相同的视差的所述辅助显示。
[0012]根据本发明的第I方式，由辅助显示生成部生成的辅助显示以重叠于被摄体的状态被显示在显示部上。因此，观察者能够在同一立体图像内在与辅助显示进行对比的同时观察被摄体。
[0013]在该情况下，由注视点检测部检测观察者在显示部所显示的立体图像中的注视点，由视差计算部计算两个视差图像间在注视点处的被摄体的视差。并且，由辅助显示生成部生成具有与注视点处的视差相同的视差的辅助显示，并将该辅助显示重叠到被摄体的立体图像上进行显示。由此，在立体图像中，将辅助显示显示在与观察者当前正关注的注视点相同的进深方向的位置上。因此，即使在与辅助显示进行对比的同时观察被摄体的情况下，也能够减少观察者的眼部疲劳。
[0014]在上述第I方式中，也可以是，所述注视点检测部具有:视线检测部，其检测所述观察者的左右双眼的视线；以及注视点计算部，其计算由该视线检测部检测出的两个视线的交点作为所述注视点。
[0015]这样，能够高精度地检测观察者的注视点。
[0016]在上述第I方式中，也可以是，所述注视点检测部从所述两个视差图像中检测所述观察者观察的对象物，例如对作为所述被摄体的活体进行处置的处置器械、或者存在于活体中的病变区域，并将检测出的对象物的位置作为注视点。
[0017]这样，由于仅利用图像处理就能对注视点进行检测，因此能够使装置结构简化。
[0018]在检测上述观察对象物的位置作为注视点的结构中，也可以是，所述注视点检测部存储拍摄了所述对象物的参照图像，并通过比较该参照图像和所述视差图像而从所述视差图像中检测所述对象物。
[0019]这样，能够利用简单的图像处理从视差图像内检测对象物。
[0020]在上述第I方式中，也可以是，所述辅助显示生成部在如下位置处显示所述辅助显示，该位置在沿着所述视差图像的平面的方向上不与由所述注视点检测部检测出的注视点重叠。
[0021]这样，能够防止辅助显示干涉到观察者正在观察的区域。
[0022]在不与注视点重叠的位置处显示上述辅助显示的结构中，也可以是，所述辅助显示生成部针对所述显示部的所述立体图像的显示区域，将显示所述辅助显示的多个规定的区域设定为候选，选择该多个候选中的、具有比所述注视点处的所述视差小的视差的区域，并在所选择的区域中显示所述辅助显示。
[0023]这样，由于选择了预先设定的区域的候选中的、在被摄体的近前处显示辅助显示的候选，因此，能够防止发生所谓的掩埋、即在被摄体的里侧显示辅助显示的情况。
[0024]在设定有上述多个候选的结构中，也可以是，所述辅助显示生成部对所述多个候选赋予优先级，并选择具有比所述注视点处的所述视差小的视差的区域中的、优先级最高的区域。
[0025]这样，能够在更恰当的区域中显示辅助显示。
[0026]在上述第I方式中，也可以是，所述辅助显示生成部生成表示作为所述被摄体的活体的活体信息测定值的显示，作为所述辅助显示，并且根据所述活体信息的测定值大小至少设定两个紧急度，在所述测定值对应于低紧急度的情况下，以通常的显示方式生成所述辅助显示，在所述测定值对应于高紧急度的情况下，以比所述通常的显示方式突出的显示方式生成所述辅助显示。
[0027]这样，能够使观察者进一步可靠地识别出对于观察者而言重要的信息即活体信息的测定值的异常。
[0028]在根据上述活体信息的测定值的紧急度来变更显示方式的结构中，也可以是，所述辅助显示生成部关于以所述突出的显示方式生成的辅助显示，在由所述注视点检测部检测出的注视点与该辅助显示一致的情况下，将显示方式变更为所述通常的显示方式。
[0029]这样，能够防止以下情况:观察者在辅助显示中确认到紧急度较高的情况后，还持续突出的显示，从而给观察者带来麻烦。
[0030]在上述第I方式中，也可以是，所述辅助显示生成部生成包含与所述被摄体的特定位置相关的信息的局部信息显示作为所述辅助显示，使所述显示部进行显示，并且根据由所述注视点检测部获取的所述注视点的轨迹，使所述辅助显示在平面方向上移动。
[0031]这样，在视差图像的视野发生变化，从而对象物在立体图像内发生了移动时，辅助显示也追随对象物而移动。因此，能够使观察者容易地识别对象物与辅助显示之间的对应关系。
[0032]在上述第I方式中，也可以是，所述注视点检测部通过随时间经过地存储检测出的注视点的位置，获取所述注视点的轨迹，所述辅助显示生成部生成包含与所述被摄体的特定位置相关的信息的局部信息显示、和从该局部信息显示朝向所述特定位置的箭头，作为所述辅助显示，向所述局部信息显示和所述箭头的基端赋予与所述注视点处的视差相同的视差，向所述箭头的前端赋予与所述特定位置处的视差相同的视差。
[0033]这样，在观察者正观察在进深方向上与特定位置不同的位置时，局部信息显示被显示在进深方向上与特定位置不同的位置处。在这种状况下，能够通过也在进深方向上延伸的箭头，使观察者容易地识别出局部信息显示与特定位置之间的对应关系。
[0034]本发明的第2方式是一种立体图像观察系统，该立体图像观察系统具有:摄影装置，其拍摄所述被摄体而获取两个视差图像；以及上述任意一个方式所述的图像处理装置。
[0035]本发明的第3方式是一种立体图像观察系统，该立体图像观察系统具有:摄影装置，其拍摄所述被摄体而获取两个视差图像；以及以上所述的图像处理装置，所述摄影装置获取通常图像和荧光图像作为所述视差图像，所述通常图像是向所述被摄体照射照明光并进行拍摄而得到的，所述荧光图像是向所述被摄体照射激励光而对来自设置于所述对象物的荧光体的荧光进行拍摄而得到的，所述注视点检测部检测所述荧光图像内的荧光区域作为所述对象物。
[0036]这样，能够通过简单的图像处理从作为视差图像的荧光图像内检测对象物。
[0037]发明的效果
[0038]根据本发明，能够起到如下效果:在被摄体与重叠到该被摄体上的辅助显示的立体图像中，即使在与辅助显示进行对比的同时观察被摄体的情况下，也能够减少观察者的眼部疲劳。
【专利附图】
【附图说明】
[0039]图1是本发明一个实施方式的立体图像观察系统的整体结构图。
[0040]图2是从显示部的上方观察到的通过图1的立体图像观察系统再现出的立体画像的图。
[0041]图3是第I变形例的立体图像观察系统的整体结构图。
[0042]图4是第2变形例的立体图像观察系统的整体结构图。
[0043]图5是示出基于第3变形例的立体图像观察系统的辅助显示的显示区域候选的图。
[0044]图6是从显示部的上方观察到的通过第3变形例的立体图像观察系统再现出的立体图像的图。
[0045]图7是从显示部的上方观察到的通过第3变形例的立体图像观察系统再现出的另I个立体图像的图。
[0046]图8是从显示部的上方观察到的通过第4变形例的立体图像观察系统再现出的立体图像的图。
[0047]图9A是从显示部的正面观察到的通过第5变形例的立体图像观察系统再现出的立体图像的图。
[0048]图9B是从显示部的上方观察到的通过第5变形例的立体图像观察系统再现出的立体图像的图。
【具体实施方式】
[0049]下面，参照附图对本发明一个实施方式的立体图像观察系统100进行说明。
[0050]如图1所示，本实施方式的立体图像观察系统100具有:摄影装置I，其对被摄体进行拍摄；以及图像处理装置2，其根据由该摄影装置I获取的被摄体的两个二维图像，再现被摄体的立体图像并进行显示。
[0051]摄影装置I例如是观察作为被摄体的被检者的体内组织的内窥镜(下面，称为内窥镜I)，具有与观察者的右眼和左眼对应的两个物镜(省略图示)。由摄影装置I使用两个物镜拍摄的两个二维图像是从不同的视点观察被摄体的视差图像。由这一对视差图像构成再现被摄体的立体图像所需的视差图像。
[0052]另外，摄影装置I也可以不使用两个物镜生成一对视差图像，而使用光瞳分割方式生成一对视差图像。即，也可以是，摄影装置I具有:单个物镜，其对被摄体的光学像进行成像；以及棱镜等光瞳分割部，其以光轴为中心，左右分割由该物镜所成的被摄体的光学像，摄影装置I通过分别拍摄由该光瞳分割部分割而成的两个光学像，获取一对视差图像。
[0053]图像处理装置2具有:显示部3，其从摄影装置I接收视差图像，将该视差图像显示为立体图像；视线检测部(注视点检测部)4，其检测观察该显示部3的观察者的左右双眼的视线；注视点计算部(注视点检测部)5，其对由该视线检测部4检测出的左右视线交叉的注视点进行计算；视差计算部6，其对由该注视点计算部5检测出的注视点处的视差图像的视差进行计算；以及辅助显示生成部7，其根据与被摄体相关的信息生成辅助显示，使该辅助显示重叠到被摄体的立体图像上，并使显示部3进行显示。
[0054]视线检测部4检测与显示部3正对的观察者的左右两个眼球的位置，并根据检测出的眼球的位置计算观察者的左右视线。作为检测眼球位置的手段，例如，使用设置在显示部3上并对观察者的左右眼球进行拍摄的照相机。也可以使用照相机以外的其他手段来检测眼球的位置。
[0055]注视点计算部5计算由视线检测部4检测出的观察者的左右视线交叉的位置，作为观察者当前正在关注的注视点。
[0056]视差计算部6计算左右视差图像间的、由注视点计算部5计算出的注视点处的视差。
[0057]辅助显示生成部7从测定被检者的活体信息(例如，心率、血压、体温)的活体信息测定装置8接收测定值，并生成示出接收到的测定值的辅助显示。并且，辅助显示生成部7生成显示辅助显示的左右的辅助显示用的视差图像。此时，辅助显示生成部7使得右边的辅助显示用的视差图像中的辅助显示与左边的辅助显示用的视差图像中的辅助显示之间的视差成为由视差计算部6计算出的视差。辅助显示生成部7向显示部3输出所生成的左右的辅助显示用的视差图像。
[0058]另外，辅助显示生成部7除了生成表示被检者的活体信息的测定值的显示以外，还可以生成表示其他内容的显示作为辅助显示9。例如，图像处理装置2可以生成由观察者输入的任意的字符串、网格、表示被摄体的尺寸的标尺、由其他摄影装置从另一角度拍摄被摄体而得的图像、作为诊断参考的图像等作为辅助显示9，并使显示部3进行显示。
[0059]显示部3将从辅助显示生成部7接收到的左右的辅助显示用的视差图像分别重叠到从摄影装置I接收到的左右的视差图像上，使用重叠后的视差图像来构建立体图像。
[0060]接着，对这样构成的立体图像观察系统100的作用进行说明。
[0061]在本实施方式的立体图像观察系统100中，通过作为摄影装置的内窥镜I对被检者的体内组织进行观察，并将所获取的图像作为立体图像显示给观察者。
[0062]首先，内窥镜I使用左右的物镜同时拍摄被检者的体内组织，由此获得视点不同的一对视差图像。所获取的一对视差图像被逐次发送给图像处理装置2，被转换成立体图像并由显示部3进行显示。
[0063]另一方面，通过活体信息测定装置8测定被检者的活体信息，并将该测定值发送给图像处理装置2。图像处理装置2生成示出从活体信息测定装置8接收到的各活体信息的测定值的辅助显示，并将该辅助显示重叠到体内组织的立体图像上进行显示。由此，观察者能够从同一立体图像中确认出被检者的体内组织和活体信息的测定值。
[0064]这里，如图2所示，图像处理装置2根据观察者当前正关注的立体图像上的注视点O,使辅助显示9显示在与注视点O处的视差为同一视差的位置上。即，由视线检测部4检测出对显示部3所显示的立体图像进行观察的观察者的视线L1、L2，注视点计算部5根据检测出的视线L1、L2计算观察者当前正关注的注视点O的位置。并且，由视差计算部6计算注视点O处的左右的视差图像间的视差，由辅助显示生成部7生成辅助显示用的视差图像，该辅助显示用的视差图像在与计算出的视差为同一视差的位置上显示有辅助显示9。
[0065]显示部3将右边的辅助显示用的视差图像重叠到右边的视差图像上，将左边的辅助显示用的视差图像重叠到左边的视差图像上，由重叠后的左右的视差图像构建立体图像。由此，将辅助显示9显示在进深方向上与观察者当前正关注的注视点O相同的位置上。图中的标号A、B表不由观察者操作的处置器械,标号X表不体内的组织，标号Y表不病变区域。
[0066]这样，根据本实施方式，根据观察者的视线L1、L2检测注视点0，将辅助显示9显示在进深方向上与该注视点O相同的位置上。因此，观察者能够在不使会聚角变化的情况下，从注视点O起移动视线L1、L2来观察辅助显示9。由此，具有以下优点:即使在频繁地查看辅助显示9的同时观察组织X或病变区域Y的情况下，也能够减少眼部疲劳。
[0067]这里，当辅助显示9逐次追随观察者的视线L1、L2的细微移动而在进深方向上移动时，该辅助显示9的频繁移动可能会给观察者造成麻烦。因此，也可以仅在观察者的注视点O在一定时间内留在大致同一位置时，使辅助显示9追随注视点O的移动而移动。由此，防止辅助显示9过度移动，减少给观察者造成的麻烦。
[0068]即，视差计算部6随时间经过地存储计算出的注视点O处的视差，在视差由于注视点O的移动而发生了变化时开始计时，在计时出了规定的时间的情况下，向辅助显示生成部7重新输出移动后的注视点O处的视差。辅助显示生成部7存储从视差计算部6接收到的视差，并使用所存储的视差继续生成辅助显示用的视差图像。并且，辅助显示生成部7在从视差计算部6接收到新的视差的情况下，将所存储的视差更新为新的视差，并使用该新的视差生成辅助显示用的视差图像。由此，在观察者的注视点O在一定时间内停留在大致同一位置时，对立体图像上的辅助显示9在进深方向上的位置进行变更。
[0069]另外，视差计算部6也可以不计测注视点O的移动后的时间，而计算注视点O处的视差在规定的时间窗内的平均值，并将计算出的视差的平均值输出到辅助显示生成部7。
[0070]由此，对于观察者的注视点O的细微移动，辅助显示9的追随变得迟钝，对于观察者的注视点O的较大程度的移动，辅助显示9十分灵敏地追随。这样，也能够防止辅助显示9过度移动，消除给观察者造成的麻烦。
[0071]接着，对上述立体图像观察系统100的变形例进行说明。
[0072](第I变形例)
[0073]第I变形例的立体图像观察系统200构成为，图像处理装置201将由摄影装置I获取的图像内的处置器械(对象物)A、B确定为观察者的注视点O。
[0074]如图3所示，在本变形例中，图像处理装置201具有处置器械检测部(注视点检测部)10，该处置器械检测部10从视差图像内检测由观察者操作的处置器械A、B，并追踪检测出的处置器械A、B。处置器械检测部10存储由操作者使用的处置器械A、B的图像作为参照图像，从视差图像内检索与参照图像一致或类似的区域。并且，处置器械检测部10计算相符区域的重心作为观察者的注视点O。检测出注视点O后的视差计算部6和辅助显示生成部7的处理如上所述。
[0075]根据这样构成的本变形例的立体图像观察系统200，操作者在使用处置器械A、B来处置病变区域Y时，注视处置器械A、B或处置器械A、B附近。因此，通过检测处置器械A、B作为注视点0，也能够以足够的精度检测观察者的注视点O。并且，由于仅利用图像处理来检测注视点0，因此与检测观察者的视线L1、L2来计算注视点O的结构相比，能够使装置结构简化。
[0076]在本变形例中，处置器械检测部10也可以通过从内窥镜I接收到的视差图像中检测设置于处置器械A、B的识别用的物质，来检测处置器械A、B。
[0077]例如，也可以向处置器械A、B中的至少一部分涂覆荧光涂料，从拍摄由该荧光涂料发出的荧光而得到的荧光图像中检测处置器械A、B。作为荧光涂料，为了使组织X的白色光图像中不包含荧光，优选为由紫外光或红外光激励的涂料。
[0078]内窥镜I以时分方式向体内的组织X照射用于获取白色光图像(通常图像)的白色光(照明光)、和用于获取荧光图像的紫外光或红外光，由此以时分方式获取白色光图像和荧光图像。或者，内窥镜I向体内的组织X同时照射白色光和红外光或紫外光，通过波长分离滤光器等对白色光和荧光进行分离，并分别检测白色光和荧光，由此同时获取白色光图像和荧光图像。
[0079]处置器械检测部10从内窥镜I接收作为视差图像的荧光图像，从荧光图像中提取具有比规定的阈值大的亮度值的区域作为处置器械A、B，并计算提取出的区域的重心位置作为注视点O。
[0080]由此，也能够使装置结构简化并且以足够的精度检测观察者的注视点O。
[0081](第2变形例)
[0082]第2变形例的立体图像观察系统300构成为，图像处理装置202将由摄影装置I获取的图像内的病变区域(对象物)Y确定为观察者的注视点O。
[0083]在本变形例中，如图4所示，图像处理装置2具有病变检测部(注视点检测部)11，该病变检测部11在从内窥镜I接收到的视差图像中提取病变区域Y，并计算提取出的病变部位Y的重心作为注视点O。病变检测部11存储拍摄各种病变区域而得的图像作为参照图像，在视差图像内检索与各参照图像一致或类似的区域，并计算相符区域的重心作为注视点O。
[0084]病变检测部11在提取出病变区域Y后，关于提取出的病变区域Y，通过持续进行一致的参照图像与病变区域Y之间的匹配来追踪病变区域Y，通过随时间经过地存储病变区域Y的重心位置而得到注视点O的轨迹。
[0085]在本变形例中，辅助显示生成部7生成与各病变区域Y相关的信息作为辅助显示9，使与该病变区域Y相关的辅助显示9显示在该病变区域Y的附近，在立体图像内使辅助显示9追随病变区域Y的移动。
[0086]S卩，辅助显示生成部7从病变检测部11接收表示发现了病变区域Y的信息，通过由观察者输入作为与该病变区域Y相关的信息的字符串而生成辅助显示(局部信息显示)9，并且，由观察者指定所生成的辅助显示9的显示区域。操作者进行的字符串的输入或显示区域的指定例如是使用辅助显示生成部7所具备的图形用户界面(GUI)而进行的。并且，辅助显示生成部7从病变检测部11接收注视点O的轨迹，使辅助显示9沿着与注视点O同样的轨迹移动。由此，在立体图像中，辅助显示9在相对于病变区域Y保持一定的位置关系的同时移动。
[0087]根据这样构成的本变形例的立体图像观察系统300，操作者在立体图像中存在病变区域Y的情况下，注视病变区域Y。因此，通过检测病变区域Y作为注视点0，也能够以足够的精度检测观察者的注视点O。并且，由于仅利用图像处理来检测注视点0，因此与检测观察者的视线L1、L2来计算注视点O的结构相比，能够使装置结构简化。并且，使内窥镜I在体内移动从而视野发生了变化时，对应于该视野的移动，辅助显示9也与对应的病变区域Y —起移动。因此，观察者能够容易地识别出辅助显示9与病变区域Y之间的对应关系。
[0088]在本变形例中，也可以是，图像处理装置2在移动辅助显示9的结果为在不恰当的位置上显示了辅助显示9的情况下，输出通知该情况的警报。例如，当辅助显示9溢出到显示部3的显示范围外侧的情况下、或者显示在与其他病变区域Y重叠的位置上的情况下，在立体图像上显示警报。在输出警报后，辅助显示生成部7关于该辅助显示9，使观察者再次指定显示位置，将其显示到再次指定的显示位置上。
[0089](第3变形例)
[0090]如图5所示，第3变形例的立体图像观察系统构成为，辅助显示生成部7从显示辅助显示9的区域候选12a?12h中选择I个，并在所选择的候选12a?12h的区域中显示辅助显示9。
[0091]在本变形例中，辅助显示生成部7存储有多个显示辅助显示9的区域候选12a?12h。由于观察者通常将观察对象的区域设置在立体图像的大致中央来进行观察，因此，成为候选12a?12h的区域优选以不与观察者的观察对象区域重叠的方式，被设定在视差图像的周边部的区域。
[0092]辅助显示生成部7对多个候选12a?12h分配优先级并进行存储。并且，辅助显示生成部7首先选择优先级最高的候选、例如候选12a，计算该候选12a的位置处的左右的视差图像之间的视差，并对计算出的视差与由视差计算部6计算出的注视点O处的视差进行比较。并且，在候选12a的位置处的视差比注视点O处的视差小的情况下，辅助显示生成部7使辅助显示9显示在该候选12a的区域中。
[0093]另一方面，在候选12a的位置处的视差比注视点O处的视差大的情况下，辅助显示生成部7选择下一个候选、例如候选12b，同样对下一个候选12b的位置处的视差与注视点O处的视差进行比较。下面，辅助显示生成部7反复相同的处理，直到找到候选的位置处的视差为注视点O处的视差以下的候选为止。由此，确定了在组织X的近前处显示辅助显示9的候选12a?12h。
[0094]根据这样构成的本变形例的立体图像观察系统，如图6所示，辅助显示9显示在比组织X靠近前处。由此，能够防止发生所谓的掩埋(参照该图中的虚线。)，即在立体图像中在组织X的里侧显示辅助显示9的情况。
[0095]在本变形例中，辅助显示生成部7也可以构成为，由观察者使用⑶I等手段，指定多个候选12a?12h中的显示辅助显示9的候选。该情况下，观察者根据立体图像内的组织X的形状，选定不发生掩埋的候选。
[0096]并且，在本变形例中，也可以是，辅助显示生成部7存储显示辅助显示9的规定的区域(例如，视差图像的周边部或下部等)来替代多个候选12a?12h，选定所存储的区域中的、视差比注视点O处的视差小的位置，并在所选定的位置处显示辅助显示9。这样，也与从多个候选12a?12h中选择I个的情况同样，能够防止辅助显示9的掩埋。
[0097]并且，在本变形例中，也可以是，设定显示辅助显示9的规定的区域，显示部3对组织X的立体图像的一部分进行编辑，使得在规定的区域中组织X被显示在辅助显示9的里侦牝由此，防止辅助显示9的掩埋。
[0098]该情况下，显示部3存储有显示辅助显示9的规定的区域，在该区域中的视差比注视点O处的视差大的情况下，向视差图像内的与规定的区域一致的区域赋予与注视点O处的视差相同的视差。由此，如图7所示，使立体图像的一部分平坦化。
[0099](第4变形例)
[0100]第4变形例的立体图像观察系统构成为，辅助显示生成部7关于各活体信息，根据其值的大小设定多个紧急度，根据紧急度改变显示方式。
[0101]在本变形例中，辅助显示生成部7在从活体信息测定装置8接收到的测定值对应于较低的紧急度的情况下，以通常的显示方式生成辅助显示9。另一方面，辅助显示生成部7在从活体信息测定装置8接收到的测定值对应于高紧急度的情况下，以比通常的显示方式突出的显示方式生成辅助显示9。作为突出的显示方式，例如，使用颜色的变更、放大显示、闪烁、旋转或振动等。并且，能够将紧急度设定为任意档。
[0102]根据这样构成的本变形例的立体图像观察系统，在心率或血压等活体信息中发生异常而紧急度变高的情况下，在立体图像中突出显示这些活体信息的辅助显示9。由此，具有如下优点:能够使观察者迅速并且可靠地识别到对于观察者而言重要的信息、即被检者的异常。
[0103]在本变形例中，辅助显示生成部7也可以构成为，确认观察者注视了突出的信息显示后，将突出的显示方式返回到通常的显示方式。即，辅助显示生成部7从注视点计算部5接收计算出的注视点O的位置，在该注视点O的位置与辅助显示9的显示区域一致的情况下，将该辅助显示9返回到通常的显示方式。这样，能够防止以下情况；在观察者确认到被检者的异常后，还不必要地继续突出显示辅助显示9，从而给观察者带来麻烦。
[0104]并且，在本变形例中，辅助显示生成部7也可以构成为，在从活体信息测定装置8接收到的活体信息的测定值对应于高紧急度的情况下，使该辅助显示9追随观察者的注视点O移动。
[0105]S卩，辅助显示生成部7在从活体信息测定装置8接收到的测定值对应于低紧急度的情况下，在规定的显示区域中显示辅助显示9。并且，在从活体信息测定装置8接收到的测定值的紧急度变高的情况下，辅助显示生成部7从注视点计算部5接收计算出的注视点O的位置，并在该注视点O的位置附近显示辅助显示9。
[0106]由此，如图8所示，辅助显示9例如从立体图像的周边部向观察者正关注的立体图像的中心部移动。并且，辅助显示生成部7计算注视点O的移动量，并将计算出的移动量赋予给辅助显示9，由此，使辅助显示9追随注视点O的移动。
[0107]这样，也可通过在观察者正关注的区域中强制加入包含对于观察者而言重要的信息的辅助显示9，使观察者可靠地识别该辅助显示9。
[0108]辅助显示9对注视点O的追随可以在持续规定时间后结束，也可以如上述那样在确认到观察者注视了辅助显示9后结束。在结束了辅助显示9对注视点O的追随后，可以使该辅助显示9返回到通常的显示区域，也可以使其消失。在使辅助显示9消失的情况下，为了使观察者更强烈地识别到该辅助显示9，可以使辅助显示9逐渐消失。
[0109](第5变形例)
[0110]第5变形例的立体图像观察系统构成为，辅助显示生成部7生成与组织X的特定位置相关的局部信息显示、和示出该局部信息显示所表示的特定位置的箭头，作为辅助显示9。
[0111]在本变形例中，辅助显示生成部7在视差图像内存在病变区域Y的情况下，生成与该病变区域Y相关的字符串(局部信息显示)和指向病变区域Y的箭头作为辅助显示9。例如，在病变区域Y为肿瘤的情况下，如图9A所示，辅助显示生成部7生成“肿瘤”这样的字符串9a、和指向该字符串9a所表示的肿瘤Y的位置的箭头％。字符串9a例如由观察者使用键盘输入。箭头9b的起点(箭头9b的基端)和终点(箭头9b的如端)在平面方向的位置例如由观察者使用辅助显示生成部7所具备的GUI来指定。
[0112]这里，辅助显示生成部7向箭头9b的起点赋予与字符串9a相同的视差，向箭头9b的终点赋予与作为特定位置的肿瘤Y相同的视差。并且，如图9B所示，辅助显示生成部7生成视差从起点朝向终点逐渐变化那样的箭头％。
[0113]在观察者关注肿瘤Y时，由于在立体图像中字符串9a显示在与肿瘤Y相同的进深方向位置上，因此能够容易地识别出字符串9a与肿瘤Y对应。但是，在观察者关注肿瘤Y以外的位置时，有时字符串9a显示在与肿瘤Y不同的进深方向位置上，从而难以识别出字符串9a与肿瘤Y对应。特别是，在立体图像内存在多个字符串9a的情况下，难以一眼就掌握字符串9a与特定位置之间的对应关系。
[0114]因此，根据本变形例的立体图像观察系统，通过显示从字符串9a朝向特定位置沿进深方向延伸的箭头％，观察者能够容易地识别字符串9a与哪个特定位置对应。
[0115]在本变形例中，也可以构成为辅助显示生成部7设定箭头9b的起点和终点。
[0116]为了识别存在于体内的组织X中的病变区域Y，有时使用内窥镜I的特殊光观察。图像处理装置2具有病变提取部(省略图示)，该病变提取部从内窥镜I接收特殊光图像，并从特殊光图像中提取病变区域。
[0117]内窥镜I具有获取体内的组织X的白色光图像的通常模式、和获取体内的组织X的特殊光图像的特殊模式，通过由观察者切换未图示的开关，对通常模式和特殊模式进行切换。特殊光图像例如为荧光图像、窄带光图像、红外光图像。在这些特殊光图像中，将病变区域设为与周边部不同的亮度值和色调来进行观察。
[0118]病变提取部提取相对于周边部具有高亮度值的区域、或具有与周边部不同的色调的区域作为病变区域。并且，辅助显示生成部7将箭头9b的起点设定为显示字符串9a的区域的端部，将箭头9b的终点设定为由病变提取部提取出的病变区域的中心。
[0119]根据这样构成的立体图像观察系统，观察者通过特殊模式确认病变区域的有无。在特殊光图像中确认到病变区域的情况下，通过病变提取部提取该病变区域，通过辅助显示生成部7生成指向该病变区域的箭头％，在立体图像中显示箭头％。在观察者切换成通常模式后，该箭头9b也持续显示在白色光图像的立体图像中。这样，不需要观察者进行的指定箭头％的起点和终点的操作，能够减轻观察者的负担。
[0120]并且，在本变形例中，辅助显示生成部7可以根据观察者的注视点O切换辅助显示9的显示与不显示。
[0121]该情况下，辅助显示生成部7从注视点计算部5接收计算出的注视点O的位置，在该注视点O的位置与病变区域Y的位置一致的情况下，在辅助显示用的视差图像中显示与该病变区域Y相关的字符串9a和箭头％。另一方面，在注视点O的位置从病变区域Y的位置偏移的情况下，从辅助显示用的视差图像中消除与该病变区域Y相关的字符串9a和箭头9b ο
[0122]这样，在与特定位置相关的辅助显示9中，与观察者当前正关注的特定位置相关的辅助显示9显示在立体图像中，观察者当前不需要的辅助显示9从立体图像中消失。由此，能够防止立体图像不必要地变得复杂。
[0123]标号说明
[0124]1:摄影装置
[0125]2:图像处理装置
[0126]3:显示部
[0127]4:视线检测部(注视点检测部)
[0128]5:注视点计算部(注视点检测部)
[0129]6:视差计算部
[0130]7:辅助显示生成部
[0131]8.活体信息测定装置
[0132]9:辅助显示
[0133]10:处置器械检测部(注视点检测部)
[0134]11:病变检测部(注视点检测部)
[0135]12a ?12h:候选
[0136]100:立体图像观察系统
[0137]A、B:处置器械
[0138]L1、L2:视线
[0139]O:注视点
[0140]X:组织(被摄体)
[0141]Y:病变区域
【权利要求】
1.一种图像处理装置，其中，所述图像处理装置具有: 显示部，其根据拍摄被摄体而获取的两个视差图像，再现所述被摄体的立体图像并进行显示； 注视点检测部，其检测对该显示部所显示的立体图像进行观察的观察者的注视点； 视差计算部，其计算由该注视点检测部检测出的注视点处的所述两个视差图像间的视差；以及 辅助显示生成部，其生成包含与所述被摄体相关的信息的辅助显示，将所生成的辅助显示重叠到所述立体图像上，使所述显示部进行显示， 该辅助显示生成部根据由所述视差计算部计算出的视差，生成被赋予了与该视差相同的视差的所述辅助显示。
2.根据权利要求1所述的图像处理装置，其中， 所述注视点检测部具有:视线检测部，其检测所述观察者的左右双眼的视线；以及注视点计算部，其计算由该视线检测部检测出的两个视线的交点作为所述注视点。
3.根据权利要求1所述的图像处理装置，其中， 所述注视点检测部从所述两个视差图像中检测所述观察者观察的对象物，并将检测出的对象物的位置作为注视点。
4.根据权利要求3所述的图像处理装置，其中， 所述注视点检测部存储拍摄了所述对象物的参照图像，并通过比较该参照图像和所述视差图像而从所述视差图像中检测所述对象物。
5.根据权利要求3或4所述的图像处理装置，其中， 所述对象物是对作为所述被摄体的活体进行处置的处置器械。
6.根据权利要求3或4所述的图像处理装置，其中， 所述对象物是存在于作为所述被摄体的活体中的病变区域。
7.根据权利要求1至6中的任意一项所述的图像处理装置，其中， 所述辅助显示生成部在如下位置处显示所述辅助显示，该位置在沿着所述视差图像的平面的方向上不与由所述注视点检测部检测出的注视点重叠。
8.根据权利要求7所述的图像处理装置，其中， 所述辅助显示生成部针对所述显示部的所述立体图像的显示区域，将显示所述辅助显示的多个规定的区域设定为候选，选择该多个候选中的、具有比所述注视点处的所述视差小的视差的区域，并在所选择的区域中显示所述辅助显示。
9.根据权利要求8所述的图像处理装置，其中， 所述辅助显示生成部对所述多个候选赋予优先级，并选择具有比所述注视点处的所述视差小的视差的区域中的、优先级最高的区域。
10.根据权利要求1至9中的任意一项所述的图像处理装置，其中， 所述辅助显示生成部生成表示作为所述被摄体的活体的活体信息的测定值的显示，作为所述辅助显示，并且根据所述活体信息的测定值大小至少设定两个紧急度，在所述测定值对应于低紧急度的情况下，以通常的显示方式生成所述辅助显示，在所述测定值对应于高紧急度的情况下，以比所述通常的显示方式突出的显示方式生成所述辅助显示。
11.根据权利要求10所述的图像处理装置，其中， 所述辅助显示生成部关于以所述突出的显示方式生成的辅助显示，在由所述注视点检测部检测出的注视点与该辅助显示一致的情况下，将显示方式变更为所述通常的显示方式。
12.根据权利要求1至11中的任意一项所述的图像处理装置，其中， 所述注视点检测部通过随时间经过地存储检测出的注视点的位置，获取所述注视点的轨迹， 所述辅助显示生成部生成包含与所述被摄体的特定位置相关的信息的局部信息显示作为所述辅助显示，使所述显示部进行显示，并且根据由所述注视点检测部获取的所述注视点的轨迹，使所述辅助显示在平面方向上移动。
13.根据权利要求1至12中的任意一项所述的图像处理装置，其中， 所述辅助显示生成部生成包含与所述被摄体的特定位置相关的信息的局部信息显示、和从该局部信息显示朝向所述特定位置的箭头，作为所述辅助显示，向所述局部信息显示和所述箭头的基端赋予与所述注视点处的视差相同的视差，向所述箭头的前端赋予与所述特定位置处的视差相同的视差。
14.一种立体图像观察系统，其中，所述立体图像观察系统具有: 摄影装置，其拍摄所述被摄体而获取两个视差图像；以及 权利要求1至13中的任意一项所述的图像处理装置。
15.一种立体图像观察系统，其中，所述立体图像观察系统具有: 摄影装置，其拍摄所述被摄体而获取两个视差图像；以及 权利要求3所述的图像处理装置， 所述摄影装置获取通常图像和荧光图像作为所述视差图像，所述通常图像是向所述被摄体照射照明光并进行拍摄而得到的，所述荧光图像是向所述被摄体照射激励光而对来自设置于所述对象物的荧光体的荧光进行拍摄而得到的， 所述注视点检测部检测所述荧光图像内的荧光区域作为所述对象物。
【文档编号】H04N7/18GK104335580SQ201380027833
【公开日】2015年2月4日 申请日期:2013年4月15日 优先权日:2012年6月14日
【发明者】初田和泉, 成濑真人, 原口雅史, 坂元静儿 申请人:奥林巴斯株式会社