生物图像的呈现装置、呈现方法、程序和呈现系统的制作方法

专利名称：生物图像的呈现装置、呈现方法、程序和呈现系统的制作方法
技术领域：
本发明涉及一种生物图像呈现装置(presentation device)、生物图像呈现方法、 程序以及生物图像呈现系统。本发明适用于图像处理领域。
背景技术：
通过将从离体组织切片的组织切片固定在载玻片上并在必要时对组织切片进行 染色来产生病理标本，并将其保存。通常，如果病理标本保存很长时间，则显微镜的可见度 由于组织切片的劣化或退色而劣化。病理标本用于在制作病理标本的诸如医院的机构以外 的机构进行诊断，并且病理标本通常通过邮寄递送。因此，递送病理标本会花费一定的时 间。考虑到这样的情况，提出了一种这样的计算机系统将病理标本中组织 切片的放大图像储存为图像数据，并将该放大的图像呈现在显示屏上(例如，参见 JP-T-2006-292999)。

发明内容
针对从离体组织的表层至深层的多个位置的组织切片来制作病理标本，然而，需 要进行复杂的作，以通过使用显示画面从与有关层不同的层的组织切片中寻找任何一层 的组织切片的特定细胞。为此，需要对从表层至深层的各个层析成像层(断层成像层， tomographic layer)的组织切片图像进行三维观。然而，当三维地观从表层至深层的各个层析成像层的组织切片图像时，各个层析 成像层的组织切片没有进行处理，例如切片、染色、固定等，所以组织切片是不相同的。为此，当从任意层析成像层的组织切片图像来显示不同层析成像层的组织切片图 像时，即使两种图像是相同的，有关组织切片图像也可能被观为完全不同的图像。从而，期望提供一种能够改善可见度的生物图像呈现装置、生物图像呈现方法、程 序以及生物图像呈现系统。本发明的实施方式提供了一种生物图像呈现装置。该装置包括获取单元，在作为 生物部位(biological region)的基准的轴上的多个位置处获取垂直于轴的截面的图像； 确定单元，从由获取单元获取的多个图像中，确定作为基准的图像和用于与作为基准的图 像比较的图像；提取单元，从作为基准的图像中提取出呈现等于或大于规定值的亮度值变 化的位置；检测单元，从用于比较的图像中检测出与由提取单元提取的位置相对应的位置； 分割单元，基于由提取单元提取的位置来分割作为基准的图像；映射单元(mapping unit), 将用于比较的图像映射至对应于作为基准的图像的各个分割区域的区域，同时进行修改(modifying，变形)使得与分割区域的形状一致；以及显示控制单元，通过使用作为基准的 图像和由映射单元映射的图像，切换并显示用于在显示区域中显示的图像。本发明的另一实施方式提供了一种生物图像呈现方法。该方法包括以下步骤在 作为生物部位的基准的轴上的多个位置处获取垂直于轴的截面的图像；从在获取图像的步 骤中获取的多个图像中，确定作为基准的图像和用于与作为基准的图像比较的图像；从作 为基准的图像中提取出呈现等于或大于规定值的亮度值变化的位置；从用于比较的图像中 检测与在提取位置的步骤中提取的位置相对应的位置；基于在提取位置的步骤中所提取的 位置来分割作为基准的图像；将用于比较的图像映射至与作为基准的图像的各个分割区 域相对应的区域，同时进行修改使得与分割区域的形状一致；以及通过使用作为基准的图 像和在映射用于比较的图像的步骤中映射的图像，切换并显示用于在显示区域中显示的图 像。本发明的又一实施方式提供了一种程序。该程序使计算机执行以下步骤在作为 生物部位的基准的轴上的多个位置处获取垂直于轴的截面的图像；从多个获取的图像中， 确定作为基准的图像和用于与作为基准的图像比较的图像；从作为基准的图像中提取呈现 等于或大于规定值的亮度值变化的位置；从用于比较的图像中检测与提取的位置相对应的 位置；基于所提取的位置来分割作为基准的图像；将用于比较的图像映射至与作为基准的 图像的每个分割区域相对应的区域，同时进行修改使得与分割区域的形状一致；以及通过 使用作为基准的图像和映射的图像，切换并显示用于在显示区域中显示的图像。本发明的又一实施方式提供了一种生物图像呈现系统。该系统包括显微镜和数据 处理器。数据处理器包括获取单元，其从显微镜获取在从生物部位切除的组织的深度方向 上的多个位置切片的组织切片的放大图像；确定单元，从通过获取单元获取的多个图像中， 确定作为基准的图像和用于与作为基准的图像比较的图像；提取单元，从作为基准的图像 中提取出呈现等于或大于规定值的亮度值变化的位置；检测单元，从用于比较的图像中检 测与由提取单元提取的位置相对应的位置；分割单元，基于由提取单元提取的位置来分割 作为基准的图像；映射单元，将用于比较的图像映射至与作为基准的图像的各个分割区域 相对应的区域，同时进行修改使得与分割区域的形状一致；以及显示控制单元，通过使用作 为基准的图像和由映射单元映射的图像而切换并显示用于在显示区域中显示的图像。根据本发明的实施方式，将比较图像映射至基于特征点的各个区域，同时与基准 图像的区域形状一致。为此，即使生物体各个截面的图像(层析图像)彼此对应但形状不 同，差异也可以被修正同时可以维持内部器官自身的形状。因此，当切换用于在显示区域中 显示的图像时，可以避免切换前和切换后的图像被观察为完全不同的图像，即使图像是相 同的。结果，可以实现能够改善可见度的生物图像呈现装置、生物图像呈现方法、程序以及 生物图像呈现系统。


图1是示意性地示出了生物图像呈现装置的构成的示图。图2是示出了在深度方向上固定有各组织切片的载玻片组的示意图。图3是示出了数据处理器的构成的框图。图4是示出了执行获取处理的CPU的功能构成的框图。
5
图5是示出了组织切片的每个区域的图像获取的示意图。图6是示出了执行图像处理的CPU的功能构成的框图。图7是示出了特征点的提取结果的照片。图8是示出了对应点的搜索的照片。 图9是示出了三角剖分(triangulation)的照片。图10是示出了三角形片(triangular patch)的映射的照片。
具体实施例方式在下文中，将描述本发明的实施方式。将按照以下顺序来提供描述。<1.实施方式〉[1-1.生物图像呈现装置的构成][1-2.数据处理器的构成][1_3·组织切片图像的获取处理][1-4.组织切片图像的图像处理][1-5.组织切片图像的显示处理][1-6.效果等]<2.其它实施方式><1.实施方式〉[1-1.生物图像呈现装置的构成]图1示出了生物图像呈现系统1。生物图像呈现系统1包括显微镜10和数据处理 器20。显微镜10具有其上设置有载玻片SG的表面(在下文中，还称作载片安装面 (slide setting surface))，并且包括相对于载片安装面可以平行或垂直(xyz轴方向)移 动的镜台(stage)(在下文中，也称作活动镜台)11。活动镜台11设置有将容纳在载玻片容器(未示出)中的多个载玻片SG逐个地设 定在载片安装面的安装位置的机构(在下文中，也称作载片安装机构)12。在该实施方式中，通过预定的固定方法将组织切片固定在载玻片SG上。如图2所 示，将在深度(深部分)方向上从生物体的离体组织切割的所有或部分组织切片固定在各 自的载玻片上，并且例如，从其上固定有表层侧(浅切割位置)组织切片的载玻片开始，按 顺序将载玻片容纳在载玻片容器中。组织切片在必要时进行染色。染色包括由HE(苏木精_伊红)染色、吉姆萨染色 或帕帕尼科拉乌染色表示的一般染色，以及诸如FISH(荧光原位杂交)或酶抗体技术的荧 光染色。光学系统13布置在活动镜台11的一个表面上，并且照明灯14布置在活动镜台11 的另一个表面上。照明灯14的光从在载片安装面上的安装位置处形成的开口，作为对于布 置在活动镜台11的一个表面上的生物标本SPL照明光而到达。显 10通过光学系统13的第一物 13A和第二物 13B，以预定的放大率来 放大通过照明光获得的组织切片的一部分的图像，并且在成像单元15的成像面上形成图像。
显 10还具有相对于荧光染色照射发光的发光源16。当从发光源16照 射发光时，显 10使发光被设置在第一物13A与第二物13B之间的二向色13C 反射并且指向第一物13A。显 10通过第一物13A将发光聚集在布置在活动台 11上的载玻片SG上。
当固定在载玻片SG上的生物标本SPL经历荧光染色时，荧光料由于发光而发 射光。由光发射产生的光(在下文中，也称作着色光)通过第一物 13A传到二向色 13C。着色光通过设置在二向色13C与第二物13B之间的吸收过滤板13D而到达第二物 13B。显 10通过第一物13A来放大着色光的图像，并且通过吸收过滤板13D来吸收 除了着色光之外的光(在下文中，也称作外光)。然后，显 10通过第二物 13B来放大 没有外光的着色光的图像，并在成像单元15的成像面上形成图像。数据处理20被构造成将在深度(深部分)方向上的多个位置处的离体组织的组 织切片(图2)的放大图像(在下文中，也称作放大的切片图像)存成预定格式的数据。因此，与保存载玻片SG本身相比，生物图像呈现系统1可以长期保存组织切片，而 不存在固定状态或着色状态劣化。数据处理20被配置为用于构造放大的切片图像的三维组合图像(在下文中，也 称作三维组织图像)，并且呈现三维组织图像或放大的切片图像。因此，生物图像呈现系统1可以呈现在不同的时间点离体组织的状态，并且结果， 可以精确地确定病理变化的侵入深度(侵入的程度)等。[1-2.数据处理器的构成]图3示出了数据处理器20的构成。数据处理器20具有各种硬件连接至CPU(中 央处理单元)21的构成，其执行生物图像显示系统1的全面控制。具体地，R0M(只读存储器)22、作为CPU 21的工作存储器的RAM(随机存取存储 器)23、缓冲存储器24、用于根据用户的操作输入命令的操作输入单元25、接口 26、显示单 元27和存储单元28通过总线29连接至CPU 21。ROM 22存储用于执行各种处理的程序。活动镜台11、载片安装机构12、照明灯14、 成像单元15和激发光源16通过预定的通信路径连接至接口 26。对于显示单元27，使用液晶显示器、EL (电致发光)显示器或等离子体显示器。对 于存储单元28，使用由HD (硬盘)、半导体存储器或光盘表示的磁盘。可以使用便携式存储 器，例如USB (通用串行总线)存储器或CF (紧凑式闪速)存储器。CPU 21从存储在ROM 22中的多个程序中，将与来自操作输入单元25的命令相对 应的程序加载到RAM 23上，并且根据加载的程序适当地控制缓冲存储器24、显示单元27和 存储单元28。CPU 21还被构造成根据加载的程序通过接口 26适当地控制活动镜台11、载片安 装机构12、照明灯14、成像单元15和激发光源16。[1-3.组织切片图像的获取处理]当从操作输入单元25接收放大的切片图像的获取命令时，根据与获取命令相对 应的程序，如图4所示，CPU 21起载片安装控制单元41、放大切片图像获取单元42和数据 存储单元43的作用。
载片安装控制单元41控制载片安装机构12以将容纳在载玻片容器中的多个载玻 片SG逐个地设置在载片安装面的安装位置。每当通过载片安装控制单元41来设置载玻片SG时，放大切片图像获取单元42就 获取固定在安装的载玻片SG上的组织切片的放大切片图像。具体地，作为第一步骤，放大切片图像获取单元42调整光学系统13的焦点位置以 及成像单元15的灵敏度。关于焦点位置的调整，例如，使用一种这样的方法，其中基于由从成像单元15输 出的拍摄数据表示的像素值来控制活动镜台11，使得光学系统13和成像单元15的成像面 在光轴方向上的相对位置改变。关于成像单元15的灵敏度的调整，例如，使用了这样的一种方法，其中改变照明 灯14或激发光源16的激发光的全部或部分照射量(光强度)、在成像单元15中的光时间 和孔径光阑的孔径比。作为第二步骤，例如，如图5所示，放大切片图像获取单元42沿着载片安装面移动 活动镜台11，使得将通过物镜13A和13B放大的组织切片ETS (放大的切片图像)分配给成 像范围AR。在图5中，分配给成像范围AR的组织切片ETS的区域并不与其它区域重叠，但 是相邻区域的一部分可能会与组织切片ETS的区域重叠。作为第三步骤，放大切片图像获取单元42通过使用分配给成像范围AR的区域的 获取数据来连接该区域，使得生成放大的切片图像。作为第四步骤，放大切片图像获取单元42产生放大的切片图像，作为针对每一水 平的不同分辨率的图像，并且根据预定的块(在下文中，也称作片(tile))来分割每一水平 的放大的切片图像。以这种方式，放大切片图像获取单元42被构造成产生固定在载玻片SG上的组织 切片的放大的切片图像，以对应应该在显示区域中显示的每一水平的分辨率。当产生与每一水平的分辨率相对应的放大的切片图像时，数据存储单元43产生 与定义水平的分辨率相对应的放大切片图像的缩小图像(在下文中，也称作缩略切片图 像)以及关于放大的切片图像的识别信息。数据存储单元43被构造成将与每一水平的分辨率相对应的放大的切片图像和缩 略的切片图像作为与识别信息有关的预定数据格式记录在存储单元28中。识别信息是包括例如载片号码、采集组织切片的人(患者)的名称、分配号码、性 别和年龄、采集日期等的信息。载片号码是例如根据组织切片采集的人，从其上固定有离体 组织的浅切割面的组织切片(早期切割的组织切片)的的载玻片开始按顺序给出的。作为获取识别信息的方法，例如，使用了这样的一种方法，其中识别信息从附着至 安装在安装位置的载玻片SG的条形码获取，或在预定的定时从操作输入单元25输入识别 信息。获取识别信息的方法并不限于该示例。以这种方式，当放大的切片图像的获取命令给定时，CPU 21被构造成将深度(深 部分)方向上多个切片面处的组织切片(图2)的放大图像存储为数据。[1-4.组织切片图像的图像处理]当上述获取处理结束时，根据关于图像处理 程序，如图6所示，CPU 21起三维图 像生成单元51和不同分辨率图像生成单元52的作用。
三维图像生成单元51从每个组织切片采集的人的各自切片面上的放大切片图像 产生三维图像，并且其被功能上分成图像确定单元61、模板匹配单元62、特征点提取单元 63、对应点检测单元64、分割单元65以及组织(texture)映射单元66。图像确定单元61从多个放大的切片图像中确定作为标准的放大切片图像(在下 文中，也称作标准层析图像)以及用于与标准层析图像比较的放大切片图像(在下文中，也 称作参考层析图像)。在该实施方式中，各自的放大切片图像按照从切割位置较浅的放大切片图像开始 的顺序被确定为标准层析图像，并且相对于标准层析图像的切割位置被定位在表层侧或深 层侧的放大切片图像被确定为参考层析图像。模板匹配单元62相对于基准层析成像层来定位参考层析成像层。对于定位方法， 例如，使用了一种这样的方法，其中参考层析图像平行移动或旋转，使得与标准层析图像处 的像素级的相关性最小化。特征点提取单元63通过使用被称为Harris角点(Harris corner)的提取算法来 提取亮度值的变化突出的位置(呈现等于或小于规定值的亮度值变化的位置)作为来自标 准层析图像的特征点。图7示出了从放大的切片图像提取的以黑点表示的特征点的照片。根据图7显而 易见的是，该提取算法的优点在于，没有特征点提取自呈现梯度(gradation)的部分。该提 取算法的优点还在于，对于待提取图片的旋转，它是稳定的。对应点检测单元64从参考层析图像检测出标准层析图像中对应于特征点的点 (在下文中，称作对应点)。具体地，作为第一步骤，对应点检测单元64将标准层析图像中的每个特征点顺序 地确定为关注对象的点(在下文中，称作关注点)。作为第二步骤，如图8所示，对应点检测单元64识别出确定的关注点AP周围的预 定尺寸的块(在下文中，称作关注块)ABL。对应点检测单元64基于对应于关注点AP的参考层析图像的位置，例如，通过归一 化相关法从尺寸大于关注块ABL的搜索范围AR中搜索出与关注块ABL具有最高相似度的 块。作为第三步骤，当块DBL相对于关注块ABL的最高相似度(相关值)等于或大于 设定值时，对应点检测单元64检测出相关块DBL的中心作为关注点AP的对应点XP。同时，当关注块ABL和块DBL的最高相似度(相关值)小于该设定值时，对应点检 测单元64被构造成确定，没有关注点AP的对应点XP并且删除关注点AP。因此，即使当因为在切割、染色和固定过程中组织切片损坏、膨胀/缩小或产生气 泡，通过特征点提取单元63提取没有作为组织形态的特征的部分作为特征点时，相关点也 可以通过对应点检测单元64删除。如上所述，三维图像生成单元51被构造成精确地提取真正具有作为组织形态的 特征的部分作为特征点。当检测出参考层析图像中的对应点时，分割单元65通过使用称作Delaimay三角 剖分法的分割算法将标准层析图像分割成具有特征点作为顶点的三角形区域(在下文中， 也称作三角形片)。
9
图9示出了分割标准层析图像的以黑线表示的分割边界的照片。根据图9显而易 见的是，作为特征点的数量，存在复杂的组织形态，并且更精细地分割了相关形态。组织映射单元66基于参考层析图像中的对应点来识别对应于标准层析图像的每 个三角形片的区域。如果组织切片损坏、膨胀/缩小或者产生气泡，则由于对应点和标准层 析图像的特征点的绝对位置不同，各个区域不与对应三角形片的形状一致。如图10所示，组织映射单元66将参考层析图像的每个像素映射到三维物体的对 应位置，同时修改每个区域以与对应三角形片的形状一致。因此，即使各自层析图像中的区域彼此对应但形状不同，在维持内部器官自身的 形状的同时差异也可以被修正。另外，离体组织在深层方向上的切割位置之间的间隙根据 试切割或技能而不同，并且差异反映在各自层析图像的区域的形状中，即使它们彼此对应， 但是在维持内部器官自身形状的同时这种差异也可以被修正。由于存在复杂的组织形态，因此修正单元(三角形片)变得更好，使得不管组织形 态的复杂性如何，均能确地维持层析成像层之间的内部官的形状。以这种方式，三维图像生成单元51被构造成针对每个组织切片采集的人映射在 各个切片面上的放大切片图像，并且将映射的放大切片图像(在下文中，也称作三维切片 图像)作为与识别信息有关的预定格式的数据存在存单元28中。为了比较，映射的放大切片图像包括其切割位置最浅的放大切片图像(标准层析 图像)。当从放大的切片图像中产生三维切片图像时，不同分率图像生成单元52产生 三维切片图像，作为每一水平的不同分率的图像，并且按照片来分割每一水平的三维切 片图像。不同分率图像生成单元52被构造成将对应于每一水平分率的三维图像作为与 识别信息相关的预定格式的数据存在存单元28中。[1-5.组织切片图像的呈现处理]当从作入单元25给出组织图像的呈现命令时，CPU 21根据对应于呈现命令 的程序，在显示单元27上显示画面(在下文中，也称作略图像)，所述画面示出了根据组 织切片采集的人存的略切片图像。当选择应该作为放大的切片图像显示的略切片图像时，CPU21根据作入单 元25的作来显示略切片图像和能移动略切片图像的指示。在这种情况下，CPU 21从对应于与用于选择的缩略切片图像有关的各自水平的分 辨率的放大切片图像中选择对应于初始分辨率的放大的切片图像。CPU 21从所选的放大切 片图像中读取对应于显示区域的部分(在下文中，也称作用于显示的图像)中的片，并显示 该片。当从操作输入单元25指定用于显示的位置时(当指示器的位置改变时)，CPU 21 基于指定的位置来读取用于显示的图像并显示该片。当指定用于显示的分辨率时，CPU 21基于指定时指示器的位置，从对应于指定分 辨率的放大切片图像中读取用于显示的图像中的片并显示该片。以这种方式，CPU 21被构造成根据来自操作输入单元25的指示，切换用于在显示 区域中显示的放大切片图像的表面方向中的位置或分辨率。
10
通过切换缩略画面或者在高于缩略画面的显示层的层中，将用于选择的缩略切片 图像、指示器以及用于显示的图像作为同一显示层显示。同时，当选择作为三维组织图像的用于显示的缩略切片图像时，CPU 21根据操作 输入单元25的操作来显示三维物体和能够移动三维物体的指示器。在这种情况下，CPU 21从对应于与用于选择的缩略切片图像有关的各个水平的分 辨率的三维切片图像中选择对应于初始分辨率和初始层析成像面的三维切片图像。CPU 21 从存储单元28中读取对应于来自所选的三维切片图像的显示区域的部分(在下文中，也称 作用于显示的图像)中的片并将该片显示在显示区域中。当从操作输入单元25指定用于显示的位置时(当指示器的位置改变时)，CPU 21 基于指定的位置，从存储单元28中读取来自对应于指定位置的层析成像面的三维切片图 像的用于显示的图像中的片。然后，CPU 21将从存储单元28读取的片显示在显示区域中。当指定用于显示的分辨率时，CPU 21基于在指定时间指示器的位置，在对应于指 定分辨率的三维切片图像之中，从在指定时间对应于层析成像面的三维切片图像读取用于 显示的图像中的片并且显示该片。如上所示，CPU 21被构造成根据来自操作输入单元25的指示，切换用于在显示区 域中显示的三维切片图像的深度方向或表面方向上的位置或者分辨率。通过切换缩略画面或者在高于缩略画面的显示层的层中，将三维物体、指示器以 及用于显示的图像作为同一显示层显示。在该实施方式中，当用于在显示区域中显示的图像被显示在显示区域中时，CPU 21根据当前用于显示的图像预测下一幅用于显示的图像(在下文中，也称作显示预测图 像)。CPU 21从存储单元28读取显示预测图像中的片，并将该片存储在缓冲存储器24中。然后，CPU 21从缓冲存储器24读取下一幅用于在显示区域中显示的图像中的与 显示预测图像相同的部分的片，从存储单元28中读取与显示预测图像不同的部分的片，并 且将该片显示在显示区域中。因此，CPU 21被构造成平稳地显示深度方向或层析成像面方向上用于显示的相邻 图像。[1-6 效果等]利用上述的构造，当获得在离体组织深度方向上多个位置处切割的组织切片的放 大切片图像时，生物图像呈现系统1映射放大的切片图像，同时按照三角形片修改放大的 切片图像(参见图10)。然后，生物图像呈现系统1根据来自操作输入单元25的指示，切换用于在显示区 域中显示的三维图像深度方向上的位置。因此，即使当各个层析图像中的区域彼此对应但形状或相对于离体组织在深度方 向上的切割位置之间的间隙不同时，生物图像显示系统1也可以修正差异同时维持内部器 官自身的形状。这种差异是由于在制作病理标本的过程中许多人为步骤(例如切割、染色、固定 等)而造成的。因此，放大的切片图像被映射，同时按照三角形片被修改，这对于病理标本 是尤其有用的。在荧光标记与组织的特定基因结合(FISH 荧光原位杂交)的病理标本的情况下，
11即使当荧光标记在深层方向上重叠时，生物图像呈现系统1也可以精确地检测出基因数量 的增加/减少。[2 其他实施方式]在上述实施方式中，获得了在生物体的离体组织的深度方向上多个位置切割的组 织切片的放大图像。然而，待获取的层析图像并不限于此。例如，在身体轴线上的多个位置，例如头部、胸部或腹部，都可以获得垂直于身体 轴线的截面的CT (计算断层照相法)图像、MRI (磁共振成像)图像、PET (正电子发射X射 线层析照相术)图像或超声图像。重要的是，在生物部位中作为基准的轴上的多个位置处， 获得了垂直于轴的截面的图像(层析图像)。关于层析图像的获取，使用放大切片图像获取单元42，其实时地从显微镜10获取 层析图像。然而，层析图像的获取单元并不限于此。例如，可以使用这样的获取单元，其在作为基准的轴上的多个位置处以不同的放 大率获取垂直于轴的截面的图像(层析图像)。利用该获取单元，可以将离体组织的状态呈 现在视图的更多点上，所以有用的是，其可以精确地确定病理变化的侵入深度(侵入的程
度)等o此外，可以使用这样的获取单元，其从数据存储介质中获取图像，其中存储表示作 为基准的轴上的多个位置处垂直于轴的截面的图像(层析图像)的数据。这种获取单元是 特别有用的，例如当获取层析图像的位置远离诊断位置时。此外，可以使用这样的获取单 元，其中从相应的装置(显微镜、CT装置、PET装置或超声装置)和数据存储介质中选择性 地获取层析图像，诸如放大的切片图像、CT图像、PET图像或超声图像。作为数据存储介质，例如，可以使用封装介质(如软盘、CD-ROM(只读型紧凑光盘) 或DVD (数字通用光盘))、或数据临时或永久存储的半导体存储器或磁盘。关于从数据存储 介质获取数据的方法，可以使用有线或无线通信媒体，例如局域网或因特网、或数字卫星广 播。在上述实施方式中，将各个放大的切片图像按照从切割位置较浅的放大切片图像 开始的顺序确定为标准层析图像。然而，最浅切割面的组织切片的放大切片图像等可以被 固定作为标准层析图像。在这种情况下，剩下的放大切片图像可以被确定为参考层析图像。标准层析图像并不限于单一层。例如，最浅切割面的组织切片的放大切片图像和 最深切割面的组织切片的放大切片图像可以被用作标准层析图像。在这种情况下，可以作 出应该指定标准层析图像的通知，并且由操作输入单元25选择的放大切片图像可以被确 定为标准层析图像。当各个放大的切片图像按照从切割位置较浅(或较深)的放大切片图像开始的顺 序被确定为标准层析图像时，参考层析图像是相对于标准层析图像的切割位置位于邻近表 层侧或深层侧的放大切片图像。在这种情况下，可以设定多个参考层析图像。当发生这种 情况时，可以获得更合适的特征点。确定标准层析图像和参考层析图像的方法并不限于示例，并且可以以多种方式进 行修改。在上述实施方式中，在给出组织切片图像的呈现命令之前，进行三维图像生成单 元51和不同分辨率图像生成单元52中的处理。然而，进行处理的时间并不限于该实施方式。例如，可以在从存储单元28读取用于在显示区域中显示的图像时进行处理。三维图像 生成单元51和不同分辨率图像生成单元52中的部分处理可以在给出组织切片图像的呈现 命令之前执行，并且剩下的处理可以在给出呈现命令之后执行。在上述实施方式中，根据操作输入单元25的指示(指示器的位置)来切换用于在 显示区域中显示的图像。然而，切换方法并不限于该实施方式。例如，可以使用这样的切换方法，其中从最外层或最深层以预定顺序，诸如光栅扫 描顺序来切换用于在显示区域显示的图像。利用该切换方法，如果在从操作输入单元25接 收到停止命令时用于显示的图像的切换停止，则与上述实施方式相比，相对于观察者的操 作可以被简化。在上述实施方式中，当从放大切片图像中提取特征点时，使用称作Harris角点 的提取算法。然而，提取算法并不限于此。例如，可以使用诸如Moravec、向量跟踪器、 SUSAN((Smallest Univalue Segment Assymilating Nucleus)) ^ SIFT(变尺度特征检测(Scale Invariant Feature Transformation))的提取算法。当然， 可以使用其它提取算法。可以使用任何算法，只要可以提取亮度值的变化突出的位置(呈 现等于或大于规定值的变化的位置)即可。在上述实施方式中，当分割放大切片图像时，使用称作Delaimay三角剖分的分割 算法。然而，分割算法并不限于此。例如，可以使用诸如Voronoi的分割算法。当然，可以 使用其它分割算法。可以使用任何算法，只要基于特征点能将图像分割成多个区域即可。虽然在上述实施方式中，单个缓冲存储器24连接至总线29，但也可以连接多个缓 冲存储器24。当发生这种情况时，不管用于显示的图像数据的量或显示移动速度如何，用于 显示的图像都可以平稳地移动。在上述实施方式中，三维图像通过总线29存储在数据处理器20的存储单元28 中。存储单元28可以不设置在数据处理器20中，而设置在数据处理器20的外部。相对于 存储单元28的数据的通信媒介并不限于总线29，并且例如，可以使用有线或无线通信媒介 (例如局域网或因特网、或数字卫星广播)。本发明可以用于基于生物技术的工业，例如生物实验、医学的开发和患者的随访。本领域的普通技术人员应当理解，根据设计要求和其它因素，可以进行各种变形、 组合、子组合以及改变，只要它们在所附权利要求书的范围内或其等同范围内。
1权利要求
一种生物图像呈现装置，包括获取单元，在作为生物部位的基准的轴上的多个位置处获取垂直于所述轴的截面的图像；确定单元，从由所述获取单元获取的多个图像中确定作为基准的图像和用于与所述作为基准的图像比较的图像；提取单元，从所述作为基准的图像中提取出现等于或大于规定值的亮度值变化的位置；检测单元，从所述用于比较的图像中检测与由所述提取单元提取的位置相对应的位置；分割单元，基于由所述提取单元提取的位置，分割所述作为基准的图像；映射单元，将所述用于比较的图像映射到与所述作为基准的图像的各个分割区域相对应的区域，同时进行修改使得与所述分割区域的形状一致；以及显示控制单元，通过使用所述作为基准的图像和由所述映射单元映射的图像，切换并显示用于在显示区域中显示的图像。
2.根据权利要求1所述的装置，其中，所述获取单元获取在从所述生物部位切除的组织中的深度方向上的多个位置处 切片的组织切片的放大图像。
3.根据权利要求2所述的装置，其中，对于每个由所述提取单元提取的位置，所述检测单元搜索相对于以相关位置为 基准的搜索块具有最大相似度的块，当所述相似度等于或大于设定值时，检测所述块的预 定位置作为所述对应位置，并且当所述相似度小于所述设定值时，删除所述位置。
4.根据权利要求2所述的装置，还包括显示单元分割单元，将所述作为基准的图像和由所述映射单元映射的图像分割为显示 单元块，其中，当所述用于在显示区域中显示的图像被显示时，所述显示控制单元根据当前图 像来预测用于显示的下一幅图像，将预测图像的所述显示单元块存储在缓冲存储器中，从 所述缓冲存储器中读取下一幅用于在显示区域中显示的图像中的、与所述预测图像相同的 部分的显示单元块，并且从存储单元中读取与所述预测图像不同的部分的显示单元块。
5.根据权利要求4所述的装置，其中，所述显示单元分割单元产生所述作为基准的图像和由所述映射单元映射的图 像，作为与多个水平的分辨率相对应的图像，并且将对应于各个水平的分辨率的图像分割 成所述显示单元块。
6.一种生物图像呈现方法，包括以下步骤在作为生物部位的基准的轴上的多个位置处获取垂直于所述轴的截面的图像； 从在获取图像的步骤中获取的多个图像中确定作为基准的图像和用于与所述作为基 准的图像比较的图像；从所述作为基准的图像中提取出现等于或大于规定值的亮度值变化的位置； 从所述用于比较的图像中检测与在提取位置的步骤中提取的位置相对应的位置； 基于在提取位置的步骤中所提取的位置来分割所述作为基准的图像；将所述用于比较的图像映射到与所述作为基准的图像的各个分割区域相对应的区域， 同时进行修改使得与所述分割区域的形状一致；以及通过使用所述作为基准的图像和在映射所述用于比较的图像的步骤中映射的图像，切 换并显示用于在显示区域中显示的图像。
7.一种程序，该程序使计算机执行以下步骤在作为生物部位的基准的轴上的多个位置处获取垂直于所述轴的截面的图像； 从多个获取的图像中确定作为基准的图像和用于与所述作为基准的图像比较的图像；从所述用作基准的图像中提取出现等于或大于规定值的亮度值变化的位置； 从所述用于比较的图像中检测与提取的位置相对应的位置； 基于所述提取的位置来分割所述作为基准的图像；将所述用于比较的图像映射到与所述作为基准的图像的各个分割区域相对应的区域， 同时进行修改使得与所述分割区域的形状一致；通过使用所述作为基准的图像和映射的图像，切换并显示用于在显示区域中显示的图像。
8.一种生物图像呈现系统，包括 显微镜；以及数据处理器，其中，所述数据处理器包括获取单元，从所述显微镜获取在从生物部位切除的组织的深度方向上的多个位置处切 片的组织切片的放大图像，确定单元，从由所述获取单元获取的多个图像中确定作为基准的图像和用于与所述作 为基准的图像比较的图像；提取单元，从所述作为基准的图像中提取出现等于或大于规定值的亮度值变化的位置；检测单元，从所述用于比较的图像中检测与由所述提取单元提取的位置相对应的位置；分割单元，基于由所述提取单元提取的位置来分割所述作为基准的图像； 映射单元，将所述用于比较的图像映射到与所述作为基准的图像的各个分割区域相对 应的区域，同时进行修改使得与所述分割区域的形状一致；以及显示控制单元，通过使用所述作为基准的图像和由所述映射单元映射的图像，切换并 显示用于在显示区域中显示的图像。
全文摘要
本发明涉及生物图像的呈现装置、呈现方法、程序及呈现系统。生物图像呈现装置包括获取单元，在作为生物部位的基准的轴上的不同位置处获取垂直于轴的截面的图像；确定单元，从获取的多个图像中确定基准图像和与基准图像比较的图像；提取单元，从基准图像中提取呈现等于或大于规定值的亮度值变化的位置；检测单元，从用于比较的图像中检测与由提取单元提取的位置相对应的位置；分割单元，基于由提取单元提取的位置来分割基准图像；映射单元，将用于比较的图像映射到与基准图像的每个分割区域相对应的区域，同时进行修改以与分割区域的形状一致；显示控制单元，通过使用基准图像和由映射单元映射的图像，切换并显示用于在显示区域中显示的图像。
文档编号G02B21/36GK101858835SQ20101014051
公开日2010年10月13日 申请日期2010年3月25日 优先权日2009年4月1日
发明者吉冈重笃, 福士岳步 申请人:索尼公司