信息处理装置、信息处理方法以及计算机可读介质的制作方法

专利名称：信息处理装置、信息处理方法以及计算机可读介质的制作方法
技术领域：
本发明涉及在医学、病理学、生物学、材料科学等领域中用来控制由显微镜所获得 的图像的显示的信息处理装置、方法以及计算机可读介质。
背景技术：
在医学、病理学等领域中，已经提出了一种将通过光学显微镜获得的活体的细胞、 组织、器官等的图像数字化以由医生或病理学者检查组织或基于数字化的图像来对病人进 行诊断的系统。例如，日本专利申请公开第2009-37250号(以下称为专利文献1)公开了一种方 法，其中，通过具有CCD(电荷耦合器件)的摄像机将由显微镜光学地获得的图像数字化，数 字信号被输入至控制计算机系统，并且在监控器上显示图像。病理学者在观看监控器上显 示的图像时进行检查(例如，参见专利文献1的第0027和0028段以及图5)。在这样的系统中，显示在监视器上的图像可以根据用户使用诸如鼠标的输入装置 所做出的操作的指令而改变。“改变”指的是，例如，图像的显示范围的移动、旋转、放大以及 缩小。通过这些操作，用户可以操作图像，好像用户在实际操作显微镜一样。这样的系统包 括一个其中将两个图像彼此并行地显示在一个屏幕上以通过用户将它们相互比较的系统。 该系统相对于图像中的任一个图像，根据由用户所做出的操作的指令来改变被输入指令的 图像。这里，在用户希望将相同的改变应用至两个图像的情况下，用户需要相对于各个图像 来做出相同操作的指令，这需要复杂的操作。鉴于上述情况，需要能够由用户有效地比较两个图像的信息处理装置、方法以及 计算机可读介质。

发明内容
在一个示例性实施方式中，信息处理装置包括处理器；显示设备，可操作地连接 至处理器；输入设备，可操作地连接至处理器；以及存储设备，可操作地连接至处理器，该 存储设备存储指令，所述指令使处理器与显示设备、输入设备和存储设备协作以执行以下 处理(a)显示与第一观察对象物相关联的第一图像，第一图像具有第一显示范围；(b)显 示与第二观察对象物相关联的第二图像，第二图像具有第二显示范围；(c)使用户能够改 变第一显示范围；以及(d)响应于第一显示范围的改变，同时改变第二显示范围。在一个示例性实施方式中，第一观察对象物与第二观察对象物不同。在一个示例性实施方式中，第一图像对应于观察对象物的第一切片，以及第二图 像对应于观察对象物的不同的第二切片。
在一个示例性实施方式中，第一图像具有第一分辨率，并且第二图像具有不同的
第二分辨率。在一个示例性实施方式中，指令使处理器(a)使用户能够将第一显示范围改变 为第三显示范围；以及(b)响应于第一显示范围的改变，同时将第二显示范围改变为第四 显示范围。在一 个示例性实施方式中，指令使处理器(a)使用户能够改变第二显示范围；以 及(b)响应于第二显示范围的改变，使第一显示范围保持不变。在一个示例性实施方式中，指令使处理器(a)将第一图像的至少一部分改变为 第一颜色；以及(b)将第二图像的至少一部分改变为第二不同的颜色。在一个示例性实施方式中，指令使处理器与输入设备协作以使用户能够(a)对 于第一图像，输入第一注释；以及(b)对于第二图像，输入不同的第二注释。在一个示例性实施方式中，指令使处理器通过显示覆盖第一图像的第三图像形成 叠加图像。在该示例性实施方式中，第三图像(a)具有第五显示范围；(b)与第二观察对象 物相关联；以及(c)对应于第二图像。在一个示例性实施方式中，指令使处理器与输入设备协作，以(a)使用户能够同 时改变第一显示范围和第五显示范围；以及(b)响应于第一显示范围和第五显示范围的改 变，同时改变第二显示范围。在一个示例性实施方式中，指令使处理器与输入设备协作，以(a)使用户能够改 变第二显示范围；以及(b)响应于第二显示范围的改变(i)同时改变第五显示范围；以及 ( )使第一显示范围保持不变。在一个示例性实施方式中，第一图像具有第一部分并且被设置为第一半透明图 像。在该示例性实施方式中，第三图像具有第二部分并且被设置为第二半透明图像。在该 示例性实施方式中，指令使处理器同时显示第一部分和第二部分，从而可以容易地在视觉 上识别出第一部分和第二部分中的每一个。在一个示例性实施方式中，指令使处理器与输入设备协作，以(a)对于显示的第 一图像，使用户能够设置第一控制点；(b)对于显示的第二图像，使用户能够设置第二控制 点，其中，第二控制点对应于第一控制点；以及(c)通过执行仿射变换使第一控制点的第一 形状与第二控制点的第二形状相一致。在一个示例性实施方式中，一种操作包含指令的信息处理装置的方法包括(a) 使显示设备显示与第一观察对象物相关联的第一图像，第一图像具有第一显示范围；(b) 使显示设备显示与第二观察对象物相关联的第二图像，第二图像具有第二显示范围；(C) 使处理器执行指令，以与输入设备协作，从而使用户能够改变第一显示范围；以及(d)响应 于第一显示范围的改变，使处理器执行指令以同时改变第二显示范围。在一个示例性实施方式中，该方法包括(a)使处理器执行指令，以与输入设备协 作，从而使用户能够将第一显示范围改变为第三显示范围；以及(b)响应于第一显示范围 的改变，能够使处理器执行指令以同时将第二显示范围改变为第四显示范围。在一个示例性实施方式中，该方法包括(a)使处理器执行指令，以与输入设备协 作，从而使用户能够改变第二显示范围；以及(b)响应于第二显示范围的改变，使处理器执 行指令以使第一显示范围保持不变。
在一个示例性实施方式中，该方法包括(a)使处理器执行指令以将第一图像的 至少一部分改变为第一颜色；以及(b)使处理器执行指令以将第二图像的至少一部分改变 为第二不同的颜色。

在一个示例性实施方式中，该方法包括使处理器执行指令，以与显示设备协作，从 而通过显示覆盖第一图像的第三图像来形成叠加图像。在该示例性实施方式中，第三图像 (a)具有第五显示范围；(b)与第二观察对象物相关联；以及(c)对应于第二图像。在一个示例性实施方式中，该方法包括(a)使处理器执行指令，以与输入设备协 作，从而使用户能够同时改变第一显示范围和第五显示范围；以及(d)响应于第一显示范 围和第五显示范围的改变，使处理器执行指令，以与显示设备协作，来同时改变第二显示范 围。在一个示例性实施方式中，该方法包括(a)使处理器执行指令以与输入设备协 作，从而使用户能够改变第二显示范围；以及(b)响应于第二显示范围的改变(i)使处理 器执行指令以同时改变第五显示范围；以及(ii)使处理器执行指令以使第一显示范围保 持不变。在一个示例性实施方式中，该方法包括(a)使处理器执行指令以将第一图像设 置为第一半透明图像，第一图像具有第一部分；(b)使处理器执行指令以将第三图像设置 为第二半透明图像，第三图像具有第二部分；以及(c)使处理器执行指令，以与显示设备协 作，来同时显示第一部分和第二部分，使得可以在视觉上识别出第一部分和第二部分中的
每一个。在一个示例性实施方式中，计算机可读介质存储指令，所述指令被构造为使信息 处理装置执行以下处理(a)显示与第一观察对象物相关联的第一图像，第一图像具有第 一显示范围；(b)显示与第二观察对象物相关联的第二图像，第二图像具有第二显示范围； (c)使用户能够改变第一显示范围；以及(d)响应于第一显示范围的改变，同时改变第二显 示范围。如上所述，根据本公开的实施方式，可以提供使用户能够有效地比较两个图像的 信息处理装置、信息处理方法以及计算机可读介质。本文描述了另外的特征和优点，并且它们从下面的详细描述和附图中将显而易 见。


图1是示出了根据第一示例性实施方式的包括信息处理装置的示例性计算机系 统的结构的框图。图2是用于说明当生成图像金字塔结构的图像组时所使用的示例性步骤的示意 图。图3是示出了示例性图像金字塔结构的概图。图4A和图4B是示出了两个示例性图像金字塔结构的概图。图5是示出了第一示例性实施方式中的示例性显示单元的示意图。图6是示出了根据第一示例性实施方式的处理单元的示例性功能结构(程序结 构)的框图。
图7A和图7B是均示出了第一示例性实施方式中的两个显示图像的示例性显示范 围的改变状态的示意图。图8是示出了根据第二示例性实施方式的处理单元的示例性功能结构(程序结 构)的框图。图9A、图9B和图9C是均示出了第二示例性实施方式中的两个显示图像的示例性 显示范围的改变状态的示意图。图10是示出了第三示例性实施方式中的叠加图像和独立图像的示例性生成过程 的数据流。图11是示出了第三示例性实施方式中的叠加图像和独立图像的示意图。图12是示出了根据第三示例性实施方式的处理单元的示例性功能结构(程序结 构)的框图。图13A、图13B和图13C是均示出了第三示例性实施方式中构成叠加图像和独立图 像的显示图像的示例性显示范围的改变状态的示意图。图14是示出了第四示例性实施方式中的叠加图像和独立图像的示例性生成过程 的数据流。图15是示出了第四示例性实施方式中的叠加图像和独立图像的示意图。图16是示出了第五示例性实施方式中的叠加图像和独立图像的示例性生成过程 的数据流。图17是示出了第五实施方式中的叠加图像和独立图像的示意图。图18A、图18B和图18C是均示出了第六实施方式中的两个显示图像上的仿射变换 的状态的示意图。图19A、图19B和图19C是均示出了在第七实施方式中被设置注释的两个显示图像 的示意图。
具体实施例方式下文中，将参照附图来描述本公开的示例性实施方式。[第一示例性实施方式][信息处理装置的结构]图1是示出了根据本公开的一个示例性实施方式的包括信息处理装置的示例性 计算机系统的结构的框图。作为信息处理装置，例如，使用了 PC(个人计算机)100。PC 100包括CPU(中央处理单元)101、R0M(只读存储器)102、RAM(随机存取存储 器)103、输入和输出接口(下文中，缩写为I/O接口)105以及将这些部件彼此相连接的总 线 104。显示单元106、输入单元107、存储单元108、通信单元109、驱动单元110等均连接 至 I/O 接口 105。显示单元106是使用液晶、EL(电致发光)、CRT (阴极射线管)等的显示设备。输入单元107为，例如，定点设备(pointing device)、键盘、触摸面板或其他操作 装置。在输入单元107包括触摸面板的情况下，触摸面板可以与显示单元106集成。存储单元108是诸如HDD (硬盘驱动器)、闪存和其他固态存储器的非易失性存储器。
驱动单元110是能够驱动诸如光学记录介质、软(注册商标)盘、磁性记录带和闪 存的可移动记录介质111的设备。相反，存储单元108通常被用作预先包含在PC 100中的 设备并主要驱动不可移动的记录介质。通信单元109是可连接至LAN(局域网)、WAN(广域网)等并且用于与另一设备进 行通信的调制解调器、路由器或者其他通信装置。通信单元109可以进行有线通信或无线 通信中的任 意一种。在许多情况下，通信单元109与PC 100分开使用。[图像金字塔结构]该示例性实施方式的信息处理装置(PC 100)基于由成像装置所捕获的观察目标 的图像，而生成图像金字塔结构。下文中，将描述图像金字塔结构。图2是用于说明当生成图像金字塔结构的图像组时所使用的示例性步骤的示图。 图3是示出了所生成的示例性图像金字塔结构50的概图。首先，通过扫描装置(未示出)来捕获观察目标15的图像，并生成数字图像数据。 在病理学领域中，通常，通过对活体的器官、组织或细胞、或者其一部分进行切片而获得的 物质为观察目标15。然后，具有光学显微镜功能的扫描装置捕获设置在载玻片上的观察目 标15的图像，以将由此获得的数字图像数据存储至扫描装置或其他存储装置中。由于该数 字图像数据将是在图像金字塔结构中具有最高倍率的原始图像数据51，因此该数字图像数 据以足够高的倍率被捕获。如图2所示，扫描装置或通用计算机(未示出)根据上述获得的原始图像数据51 而生成分辨率逐步减小的多个图像数据项。图2示出了从原始图像数据51缩小为图像数 据52的图像数据、进一步从图像数据52缩小为图像数据53的图像数据以及进一步从图像 数据53缩小为图像数据54的图像数据。应当注意，实际上，步骤数越多，分辨率越低，并且 生成了大量的图像数据项。成像装置或通用计算机以“片”为单位(例如，为预定大小的单 位)来存储这些图像数据项。一个片的大小例如为256X256(像素)。由此生成的图像数据项形成图3中所示的图像金字塔结构50，并且将它们存储在 例如信息处理装置的存储单元108等中。实际上，这些图像数据项仅必须在与分辨率信息 项相关联时被存储。应当注意，可以通过该示例性实施方式的信息处理装置来执行图像金 字塔结构50的生成和存储，并且该图像金字塔结构50在下文中表示从一个原始图像数据 生成的图像金字塔结构50。信息处理装置根据由用户做出的指令，而从图像金字塔结构50获取目标位置和 分辨率的图像，并将该图像显示在显示单元106上。下文中，将描述显示图像的原理。首先，信息处理装置中的CPU 101经由输入单元107从用户接收用于指定分辨率 的输入。响应于该指令，CPU 101从存储在存储单元108中的图像金字塔结构50中获得指 定的分辨率的图像数据E，并且相对于该图像数据E来设置预定的显示区域A。然后，将图 像数据E的对应于显示区域A的部分称作“显示图像”。在图3中，图像数据52为图像数据E。显示区域A为限定显示图像的虚拟区域， 其由CPU 101来处理，并被设置为图像数据E上的局部区域。图像数据E的对应于显示区 域A的一部分在显示单元106上被显示为显示图像。显示区域A的大小由像素的数目来确 定，并且即使当要设置的图像分辨率改变时，其也不改变。
在用户希望改变显示图像的显示范围的情况下，用户经由输入单元107将用于改 变显示范围的指令输入至信息处理装置。显示范围指的是将被显示在物理屏幕上的原始图 像数据的范围。这里，将描述由用户所指示的改变为显示图像的显示范围的移动、扩大(放 大)、收缩(缩小)以及旋转的情况。在用户希望移动显示图像的显示范围的情况下，用户通过输入单元107将期望的 移动距离和移动方向输入至信息处理装置。CPU 101在图像数据E上以指示的移动距离和 移动方向移动显示区域A，并且在显示单元106上显示对应于移动的显示区域A的部分图像 数据E作为新的显示图像。在用户希望旋转显示图像的显示范围的情况下，用户通过输入单元107将期望的 旋转中心坐标和期望的旋转角度输入至信息处理装置。CPUlOl使显示区域A绕着图像数 据E上的指示的旋转中心坐标旋转指示的旋转角度，并且在显示单元106上显示对应于旋 转的显示区域A的部分图像数据E作为新的显示图像。在用户希望放大显示图像的显示范围，S卩，放大显示图像的情况下，用户通过输入 单元107将显示图像的放大中心坐标和放大倍率输入至信息处理装置。在图像金字塔结构 50中，CPU 101在对应于指示的放大倍率的较高分辨率的图像数据(图像数据51)上移动 显示区域A。在这种情况下，与图像数据E上指示的放大中心坐标相对应的较高分辨率的 图像数据上的位置被设置为较高分辨率的图像数据的放大中心坐标，并且以这些放大中心 坐标作为中心来设置显示区域A的位置。此外，由于在这种情况下，显示区域A的尺寸被固 定，只有图像数据的分辨率增大，因此，放大了显示图像。应当注意，图2和图3均示出了显 示区域A'，其为当显示图像被放大时所获得的显示区域。

在用户希望缩小显示图像的显示范围，即，缩小显示图像的情况下，用户通过输入 单元107将显示图像的缩小中心坐标和缩小倍率输入至信息处理装置。在图像金字塔结构 50中，CPU 101在对应于指示的缩小倍率的较低分辨率的图像数据(图像数据53)上移动 显示区域A。在这种情况下，与图像数据E上所指示的缩小中心坐标相对应的较低分辨率的 图像数据上的位置被设置为较低分辨率的图像数据的缩小中心坐标，并且以这些缩小中心 坐标作为中心来设置显示区域A的位置。此外，由于在这种情况下，显示区域A的尺寸被固 定，只有图像数据的分辨率减小，所以缩小了显示图像。应当注意，图2和图3均示出了显 示区域A"，其为当缩小显示图像时所获得的显示区域。如上所述，观察目标15的图像通过信息处理装置而被显示在显示单元106上，并 根据用户相对于显示的观察目标15而做出的诸如移动、旋转、放大和缩小的改变指令，来 执行改变处理。下文中，如上所述的改变被统称为“相对于显示区域A的视角的改变”。[根据第一示例性实施方式的示例性信息处理装置的操作]下文中，将描述根据该示例性实施方式的示例性信息处理装置的操作。根据该示 例性实施方式的信息处理装置能够使用户进行两个图像之间的比较。这两个图像是从两 个通过捕获两个相应的具有高的空间相似性的观察目标15的图像而获得的图像金字塔结 构50中提取的图像。两个观察目标15例如是在通过将病理组织切片所获得的多个切片 (slice)中的通过不同的着色方法而被着色的两个相邻切片。图4是示出了将由用户进行 比较的两个图像金字塔结构50的概图。这里，图像金字塔结构50中的一个被称作“图像金 字塔结构50A”，而另一个图像金字塔结构被称作“图像金字塔结构50B”。应当注意，图像金字塔结构50A和图像金字塔结构50B可以从所谓的Z堆叠图像中生成，Z堆叠图像是通过 在改变焦距的同时捕获一个观察对象物的图像所获得的。[第一示例性实施方式中的两个图像的显示]当用户输入显示两个图像的指令以及期望的分辨率时，CPU 101相对于图像金字 塔结构50A的图像数据El来设置显示区域Al，并且还相对于图像金字塔结构50B的图像数 据E2来设置显示区域A2。显示区域Al的尺寸与显示区域A2的尺寸相同，并且显示数据 El的位置与显示数据E2的位置相同。CPU 101假定显示数据El的对应于显示区域Al的 部分为显示图像Dl (第一图像)，并且对显示数据E2的应于显示区域A2的部分为显示图像 D2(第二图像)。图5是示出了显示单元106的示意图。CPU 101在设置于RAM 103中的显示缓冲 器上展开显示图像Dl和显示图像D2。结果，显示图像Dl和显示图像D2被显示在显示单元 106的显示屏幕上。显示图像Dl和显示图像D2彼此横向并行地显示在显示单元106的显 示屏幕上。下文中，显示在显示图像Dl中的观察目标15 (即图像金字塔结构50A的观察目 标)被假定为第一观察目标15A，而显示在显示图像D2中的观察目标15 ( S卩，图像金字塔结 构50B的观察目标)被假定为第二观察目标15B。如上所述，显示图像Dl和显示图像D2均被显示在显示单元106上，从而能够使用 户对它们进行比较。[在第一示例性实施方式中由用户做出的显示范围的改变指令] 这里，将描述显示范围的改变。假定鼠标被用作输入单元107，在用户希望改变显 示图像Dl和显示图像D2的显示范围的情况下，用户经由鼠标(输入单元107)将改变显示 范围的指令输入至信息处理装置。例如，当鼠标被拖动到鼠标光标置于显示图像Dl上的状 态时，CPU 101接收指令的输入，以改变显示图像Dl的显示范围。类似地，当鼠标被拖动到 鼠标光标置于显示图像D2上的状态时，CPU 101接收指令的输入，以改变显示图像D2的显 示范围。在该示例性实施方式中，显示图像Dl的显示范围和显示图像D2的显示范围彼此 相配合而改变。具体地，伴随着用于改变显示图像Dl和D2中的一个的显示范围的指令，而 在另一显示图像的显示范围上自动地执行相同的改变。因此，用户不需要分别改变显示图 像Dl和显示图像D2的显示范围，从而可以有效地将显示图像Dl与显示图像D2相比较。[根据第一示例性实施方式的示例性信息处理装置的功能结构]图6是示出了在该示例性实施方式的信息处理装置中的对显示图像Dl和显示图 像D2执行改变处理的处理单元(图像处理单元)的功能结构的框图。如图6所示，处理单元 (图像处理单元)包括第一操作解释对象(first operation interpretation object) 121、 第二操作解释对象122、视角同步模块123以及存储在ROM 102、存储单元108等中并且当 由CPU 101读取时而进行操作的第一图像显示模块124和第二图像显示模块125。第一操作解释对象121基于改变作为并行显示的两个图像之一的显示图像Dl的 指令(该指令由用户经由输入单元107被输入)，而生成“改变视角的请求”，并且将该请 求提供给视角同步模块123。应当注意的是，“改变视角的请求”是由改变指令(change instruction)所输入的信息，例如，包含移动方向、移动距离等的信息的命令。第二操作解释对象122基于改变作为并行显示的两个图像中的另一个的显示图像D2的指令(该指令由用户经由输入单元107被输入)，而生成“改变视角的请求”，并且 将该请求提供给视角同步模块123。视角同步模块123同步地将由第一操作解释对象121和第二操作解释对象122中 的一个所提供的改变视角的请求提供给第一图像显示模块124和第二图像显示模块125。 应当注意，“对象”和“模块”指的是在程序中均具有特定功能的部分。第一图像显示模块124基于由视角同步模块123所提供的改变视角的请求，来改 变相对于图像金字塔结构50A的显示区域Al视角。

第二图像显示模块125基于由视角同步模块123所提供的改变视角的请求，来改 变相对于图像金字塔结构50B的显示区域A2视角。[在第一示例性实施方式中改变视角的操作]将描述功能结构在用户输入相对于显示图像Dl的改变指令的情况下的操作。当用户通过输入单元107输入相对于显示图像Dl的改变指令时，CPU 101基于上 述的功能结构来执行下面的控制。具体地，首先，第一操作解释对象121基于由用户输入的 改变指令，而生成改变视角的请求，并将该请求提供给视角同步模块123。视角同步模块123将改变视角的请求提供给第一图像显示模块124和第二图像显 示模块125。第一图像显示模块124基于已由视角同步模块123所提供的改变视角的请求， 来改变相对于图像金字塔结构50A的显示区域Al视角。第二图像显示模块125基于已由 视角同步模块123所提供的改变视角的请求，来改变相对于图像金字塔结构50B的显示区 域A2的视角。第一图像显示模块124和第二图像显示模块125均被提供了相同的改变视 角的请求，从而以相同的方式改变显示图像Dl和显示图像D2的显示范围。如上所述，基于相对于显示图像Dl的改变指令，显示图像Dl的显示范围和显示图 像D2的显示范围彼此相配合而改变。用户输入相对于显示图像D2的改变指令的情况与输入相对于显示图像Dl的改变 指令的情况相类似。具体地，当用户输入相对于显示图像D2的改变指令时，通过第二操作 解释对象122生成改变视角的请求。该改变视角的请求经由视角同步模块123而被提供给 第一图像显示模块124和第二图像显示模块125，并且显示图像D2的显示范围和显示图像 Dl的显示范围彼此相配合而改变。图7是均示出了显示图像Dl和显示图像D2的显示范围的改变状态的示意图。图 7A示出了显示范围没有改变的显示图像Dl和显示图像D2。图7B示出了显示范围发生改 变了的显示图像Dl和显示图像D2。应当注意的是，为便于理解，图7A和图7B分别示出了 简化的第一观察目标15A和简化的第二观察目标15B。随后的附图也是简化了的。在图7A中所示的显示图像Dl和显示图像D2中，当向显示图像Dl或显示图像D2 给出改变指令时，显示图像Dl的显示范围和显示图像D2的显示范围如箭头所表示的那样 相似地改变，从而显示出图7B中所示的显示图像Dl和显示图像D2。应当注意的是，在这种 情况下，相对于显示图像Dl的改变指令是朝向图中的右上方方向的移动。如上所述，根据该示例性实施方式，通过将相对于显示图像Dl和显示图像D2中的 一个的改变指令输入至信息处理装置，用户可以同时改变显示图像Dl的显示范围和显示 图像D2的显示范围，从而可以有效地将显示图像Dl和显示图像D2彼此相比较。相对于显示图像Dl和显示图像D2的空间改变的指令(该指令由用户输入)可以独立于图像金字塔结构50A和图像金字塔结构50B被存储，并且可以经由可移动记录介质或连接至信息处理装置的网络来给定和接收。CPU 101可以基于给定和接收的空间改变的 指令，来改变显示图像Dl和显示图像D2。通过这种结构，另一用户不需要另外进行参数的 输入操作。应当注意的是，网络或可移动记录介质相当于第一给定和接收单元。[第二示例性实施方式]将描述本公开的第二示例性实施方式。在该第二示例性实施方式中，将省略与第 一示例性实施方式中的那些部分相类似的部分的描述。在第二示例性实施方式中，仍将如 在第一示例性实施方式中那样获得的显示图像Dl和显示图像D2彼此相比较，但第二示例 性实施方式中的改变显示范围的模式与第一示例性实施方式中的模式不同。下文中，将描 述显示范围的改变。该示例性实施方式的信息处理装置响应于用户相对于显示图像Dl所做出的改变 指令，来改变显示图像Dl的显示范围和显示图像D2的显示范围，并且响应于相对于显示图 像D2的改变指令而仅改变显示图像D2的显示范围。因此，用户不需要分别改变显示图像 Dl和显示图像D2的显示范围。此外，可以根据显示图像Dl的显示范围的位置，而独立地校 正显示图像D2的显示范围的位置。[根据第二示例性实施方式的示例性信息处理装置的功能结构]图8是示出了在该示例性实施方式的示例性信息处理装置中的对显示图像Dl和 显示图像D2执行改变处理的处理单元(图像处理单元)的示例性功能结构的框图。如图8所示，处理单元(图像处理单元)包括第一操作解释对象201、第二操作解 释对象202、视角同步模块203、位置校正模块204以及存储在ROM 102、存储单元108等中 并且当由CPU 101读取时而操作的第一图像显示模块205和第二图像显示模块206。第一 操作解释对象201和第一图像显示模块205均具有与第一示例性实施方式相同的结构。基于由用户经由输入单元107所输入的改变指令，第二操作解释对象202生成相 对于显示图像D2 (为并行显示的两个图像中的一个)的用于位置校正请求，并且将该请求 提供给位置校正模块204。用于位置校正的请求与改变视角的请求基本上相同。视角同步模块203同步地将已由第一操作解释对象201提供的改变视角的请求提 供给第一图像显示模块205和第二图像显示模块206。位置校正模块204将由第二操作解释对象202提供的用于位置校正的请求提供给 第二图像显示模块206。第二图像显示模块206基于已由视角同步模块203所提供的改变视角的请求，来 改变相对于图像金字塔结构50B的显示区域A2的视角，并且基于已由位置校正模块204提 供的用于位置校正的请求，来改变相对于图像金字塔结构50B的显示区域A2的视角。[在第二示例性实施方式中改变视角的操作]将描述用户输入相对于显示图像Dl的改变指令的情况。当用户通过使用输入单元107输入相对于显示图像Dl的改变指令时，CPU 101基 于上述的功能结构来执行下面的控制。具体地，首先，第一操作解释对象201基于由用户输 入的改变指令，来生成改变视角的请求，并将该请求提供给视角同步模块203。视角同步模块203将改变视角的请求提供给第一图像显示模块205和第二图像显 示模块206。第一图像显示模块205基于已由视角同步模块203所提供的改变视角的请求，来改变相对于图像金字塔结构50A的显示区域Al的视角。第二图像显示模块206基于已 由视角同步模块203所提供的改变视角的请求，来改变相对于图像金字塔结构50B的显示 区域A2的视角。第一图像显示模块205和第二图像显示模块206被提供了相同的改变视 角的请求，从而使显示图像Dl的显示范围和显示图像D2的显示范围进行相同的改变。如上所述， 当用户输入相对于显示图像Dl的改变指令时，显示图像Dl的显示范围 和显示图像D2的显示范围彼此相配合而改变。接下来，将描述用户输入相对于显示图像D2 的改变指令的情况。当用户通过使用输入单元107输入相对于显示图像D2的改变指令时，CPU 101基 于上述的功能结构来执行下面的控制。具体地，首先，第二操作解释对象202基于由用户输 入的改变指令，而生成用于位置校正的请求，并将该请求提供给位置校正模块204。位置校正模块204将用于位置校正的请求提供给第二图像显示模块206。第二图 像显示模块206基于已由位置校正模块204提供的用于位置校正的请求，来改变关于图像 金字塔结构50B的显示区域A2的视角。结果，改变了显示图像D2的显示范围。应当注意 的是，由于没有将用于位置校正的请求提供给第一图像显示模块205，因此显示图像Dl的 显示范围没有改变。图9是均示出了显示图像Dl和显示图像D2的显示范围的改变状态的示意图。在 图9A中所示的显示图像Dl和显示图像D2中，当输入用于放大由虚线所表示的显示图像Dl 的区域的指令时，显示图像Dl和显示图像D2的显示范围如箭头所表示的那样被放大，并且 显示出图9B中所示的显示图像Dl和显示图像D2。如图9B所示，显示图像Dl的显示范围和显示图像D2的显示范围得到相同的改 变，因此，可能存在第一观察目标15A和第二观察目标15B之间的偏离被加强从而难以进行 它们之间的比较的情况。然后，当相对于显示图像D2而输入由图9B中的箭头所表示的方 向上的移动的指令时，只有显示图像D2的显示范围发生改变，并且如图9C所示，第一观察 目标15A和第二观察目标15B的相同的部分彼此并行地被显示，从而能够容易地进行比较。如上所述，根据该示例性实施方式，用户可以根据相对于显示图像Dl的改变指令 而同时改变显示图像Dl和显示图像D2的显示范围，并根据相对于显示图像D2的改变指令 而只改变显示图像D2的显示范围。结果，即使在当显示图像Dl和显示图像D2的显示范围 同时改变而加强了第一观察目标15A和第二观察目标15B之间的偏离时，也可以校正每个 显示的观察目标的位置，从而可以容易地将显示图像Dl和显示图像D2彼此相比较。应当注意的是，尽管在该示例性实施方式中，根据相对于显示图像Dl的改变指令 同时改变了显示图像Dl的显示范围和显示图像D2的显示范围，并且根据相对于显示图像 D2的改变指令只改变了显示图像D2的显示范围，但相反的情况也是可行的。具体地，可以 根据相对于显示图像D2的改变指令而同时改变显示图像Dl的显示范围和显示图像D2的 显示范围，并且根据相对于显示图像Dl的改变指令而只改变显示图像Dl的显示范围。[第三示例性实施方式]将描述本公开的第三示例性实施方式。在第三示例性实施方式中，将省略与第一 示例性实施方式和第二示例性实施方式中的那些部分相似的部分的描述。在该第三示例性 实施方式中仍将如在第一示例性实施方式和第二示例性实施方式中那样所获得的显示图 像Dl和显示图像D2彼此相比较，但该第三示例性实施方式中的显示显示图像的模式和改变显示范围的模式与第一示例性实施方式和第二示例性实施方式中的模式不同。[第三示例性实施方式中的两个图像的显示] 当用户输入显示两个图像的指令以及期望的分辨率时，如在第一示例性实施方式 中，CPU 101相对于图像金字塔结构50A的图像数据El设置显示区域Al，并且还相对于图 像金字塔结构50B的图像数据E2设置显示区域A2。图10是示出了显示在该示例性实施方式的显示单元106上的两个图像的生成过 程的数据流。如图10所示，CPU 101切出(cut out)显示数据El的对应于显示区域Al的一部 分作为显示图像Dl (St 301)，然后切出显示区域A2的对应于显示数据E2的一部分作为显 示图像D2(St 302)。CPU 101以叠加的方式合并被分别切出的显示图像Dl和显示图像D2， 并生成叠加图像D3 (St303)。显示图像D2没有叠加在显示图像Dl上，并且独立地构成独立 图像D4。以下将描述通过叠加实现的两个图像的合并。CPU 101在设置于RAM 103中的显示缓冲器上展开叠加图像D3和独立图像D4。结 果，叠加图像D3和独立图像D4被显示在显示单元106的显示屏幕上。图11是示出了显示 在显示屏幕上的叠加图像D3和独立图像D4的示意图。叠加图像D3和独立图像D4彼此横 向并行地显示在显示单元106的显示屏幕上。如上所述，叠加图像D3和独立图像D4被显示在显示单元106上。从而，用户可以 在参考显示在独立图像D4中的第二观察目标15B的同时来比较以叠加方式显示在叠加图 像D3中的第一观察目标15A和第二观察目标15B。[在第三示例性实施方式中由用户所做出的显示范围的改变指令]这里，将描述显示范围的改变。在用户希望改变显示为叠加图像D3的显示图像Dl 和显示图像D2的显示范围以及显示为独立图像D4的显示图像D2的显示范围的情况下，用 户经由鼠标将改变指令输入至信息处理装置。例如，当鼠标被拖动到鼠标光标置于叠加图 像D3上的状态时，CPUlOl接收相对于叠加图像D3的改变指令的输入。类似地，当鼠标被 拖动到鼠标光标置于独立图像D4上的状态时，CPU 101接收相对于独立图像D4的改变指 令的输入。该示例性实施方式的信息处理装置根据相对于叠加图像D3的改变指令，而改变 构成叠加图像D3的显示图像Dl和显示图像D2的相应显示范围以及作为独立图像D4的显 示图像D2的相应的显示范围，并且根据相对于独立图像D4的改变指令，而改变构成独立图 像D4的显示图像D2的显示范围。因此，用户不需要分别改变构成叠加图像D3的显示图像 Dl的显示范围、构成叠加图像D3的显示图像D2的显示范围以及构成独立图像D4的显示图 像D2的显示范围。另外，用户可以在叠加图像D3中精确地将第一观察目标15A和第二观 察目标15B叠加。[根据第三示例性实施方式的示例性信息处理装置的功能结构]图12是示出了在该示例性实施方式的示例性信息处理装置中的对显示图像Dl和 显示图像D2执行改变处理的处理单元(图像处理单元)的示例性功能结构的框图。如图12所示，处理单元(图像处理单元)包括第一操作解释对象301、第二操作解 释对象302、视角同步模块303、位置校正模块304以及存储在ROM 102、存储单元108等中 并且当由CPU 101读取时而操作的第一图像显示模块305和第二图像显示模块306。视角同步模块303和第二图像显示模块306具有与第二示例性实施方式相同的结构。 第一操作解释对象301基于由用户经由输入单元107输入的相对于叠加图像D3 的改变指令，而生成改变视角的请求，并且将该请求提供给视角同步模块303。第二操作解释对象302基于由用户经由输入单元107输入的改变指令，而生成相 对于独立图像D4的用于位置校正的请求，并将该请求提供给位置校正模块304。位置校正模块304将由第二操作解释对象302所提供的用于位置校正的请求同步 地提供给第一图像显示模块305和第二图像显示模块306。第一图像显示模块305基于已由视角同步模块303所提供的改变视角的请求，来 改变相对于图像金字塔结构50A的显示区域Al和图像金字塔结构50B的显示区域A2的视 角。此外，第一图像显示模块305基于已由位置校正模块304所提供的用于位置校正的请 求，来改变关于图像金字塔结构50B的显示区域A2的视角。[在第三示例性实施方式中改变视角的操作]将描述用户输入相对于叠加图像D3的改变指令的情况。当用户通过使用输入单元107输入相对于叠加图像D3的改变指令时，CPU 101基 于上述的功能结构来执行下面的控制。具体地，首先，第一操作解释对象301基于由用户输 入的改变指令而生成改变视角的请求，并将该请求提供给视角同步模块303。视角同步模块303将该改变视角的请求提供给第一图像显示模块305和第二图像 显示模块306。第一图像显示模块305基于已由视角同步模块303所提供的改变视角的请 求，改变相对于图像金字塔结构50A的显示区域Al的视角。第二图像显示模块306基于已 由视角同步模块303所提供的改变视角的请求，改变相对于图像金字塔结构50B的显示区 域A2的视角。第一图像显示模块305和第二图像显示模块306被提供了相同的改变视角 的请求，从而使构成叠加图像D3的显示图像Dl和显示图像D2的显示范围以及构成独立图 像D4的显示图像D2的显示范围进行相同的改变。如上所述，当用户输入相对于叠加图像D3的改变指令时，构成叠加图像D3的显示 图像Dl和显示图像D2的显示范围以及构成独立图像D4的显示图像D2的显示范围彼此相 配合而改变。接下来，将描述用户输入相对于独立图像D4的改变指令的情况。当用户通过使用输入单元107输入相对于独立图像D4的改变指令时，CPU 101基 于上述的功能结构来执行下面的控制。具体地，首先，第二操作解释对象302基于由用户输 入的改变指令而生成用于位置校正的请求，并将该请求提供给位置校正模块304。位置校正模块304将用于位置校正的请求提供给第一图像显示模块305和第二图 像显示模块306。第一图像显示模块305基于已由位置校正模块304所提供的位置校正的 请求，来改变相对于图像金字塔结构50B的显示区域A2的视角。第二图像显示模块306基 于已由位置校正模块304所提供的位置校正的请求，来改变相对于图像金字塔结构50B的 显示区域A2的视角。由于第一图像显示模块305和第二图像显示模块306被提供了相同 的位置校正的请求，从而使构成叠加图像D3的显示图像D2的显示范围与构成独立图像D4 的显示图像D2的显示范围进行相同的改变。由于第一图像显示模块305即使在接收到用 于位置校正的请求时也不改变相对于图像金字塔结构50A的显示区域Al的视角，因此构成 叠加图像D3的显示图像Dl的显示范围没有改变。图13是均示出了构成叠加图像D3的显示图像Dl和显示图像D2的显示范围以及构成独立图像D4的显示图像D2的显示范围的改变状态的示意图。在图13A中所示的叠加 图像D3和独立图像D4中，当相对于叠加图像D3而输入由箭头所表示的方向上的移动的指 令时，构成叠加图像D3的显示图像Dl和显示图像D2的显示范围以及构成独立图像D4的 显示图像D2的显示范围发生改变，从而显示出图13B中所示的叠加图像D3和独立图像D4。然后，当相对于如图13B中所示的独立图像D4而输入由箭头所表示的方向上的移 动的指令时，构成叠加图像D3的显示图像D2的显示范围以及构成独立图像D4的显示图像 D2的显示范围发生改变，并显示出图13C中所示的叠加图像D3和独立图像D4。结果，在叠 加图像D3中，第一观察目标15A和第二观察目标15B的位置可以被调整为使得基本上第一 观察目标15A和第二观察目标15B的相同的部分以如图13C所示的叠加方式被显示。如上所述 ，根据该示例性实施方式，用户可以根据相对于叠加图像D3的改变指 令，而同时改变构成叠加图像D3的显示图像Dl和显示图像D2的显示范围以及构成独立图 像D4的显示图像D2的显示范围，并且根据相对于独立图像D4的改变指令，而只改变构成 叠加图像D3和独立图像D4中的每一个的显示图像D2的显示范围。结果，用户可以在参考 显示在独立图像D4中的第二观察目标15B的同时比较以叠加方式显示在叠加图像D3中的 第一观察目标15A和第二观察目标15B。另外，用户可以调整彼此叠加的第一观察目标15A 和第二观察目标15B的位置，从而可以容易地将显示图像Dl和显示图像D2相互比较。[第四示例性实施方式]将描述本公开的第四示例性实施方式。在第四示例性实施方式中，将省略与第三 示例性实施方式中的那些部分相似的部分的描述。在第四示例性实施方式中仍将如在第三 示例性实施方式中那样获得的显示图像Dl和显示图像D2相互比较，但第四示例性实施方 式中的显示显示图像的模式与第三示例性实施方式中的模式不同。[第四示例性实施方式中的两个图像的显示]当用户输入显示两个图像的指令以及期望的分辨率时，如在第三示例性实施方式 中，CPU 101相对于图像金字塔结构50A的图像数据El设置显示区域Al，并且还相对于图 像金字塔结构50B的图像数据E2设置显示区域A2。图14是示出了显示在该示例性实施方式的显示单元106上的两个图像的生成过 程的数据流。如图14所示，CPU 101切出显示数据El的对应于显示区域Al的一部分作为显 示图像Dl (St 401)，然后切出显示数据E2的对应于显示区域A2的一部分作为显示图像 D2(St 402)。然后，CPU 101基于预先设置或者已由用户输入的α值(透射率)，来α混 合(alpha-blend)显示图像Dl和显示图像D2 (St 403)。通过α混合，生成了通过使显示 图像Dl和显示图像D2叠加所获得的叠加图像D3。此外，CPU 101还假定显示图像D2作为 独立图像D4。应当注意的是，在该示例性实施方式中，α值等同于显示控制信息。CPU 101在设置于RAM 103中的显示缓冲器上展开叠加图像D3和独立图像D4。结 果，显示图像Dl和显示图像D2均被显示在显示单元106的显示屏幕上。图15是示出了叠 加图像D3和独立图像D4的示意图。应当注意，在图15中，显示图像Dl和显示图像D2的 半透明状态由阴影来表示。叠加图像D3和独立图像D4彼此并行(例如，横向)地显示在 显示单元106的显示屏幕上。如上所述，由于显示图像Dl和显示图像D2被α混合，因此 第一观察目标15Α和第二观察目标15Β以预定的透射率叠加，并在叠加图像D3中被显示。另一方面，显示图像D2在独立图像D4中被实际显示。如上所述，叠加图像D3和独立图像D4被显示在显示单元106上。由于显示图像 Dl和显示图像D2被α混合在叠加图像D3中，因此显示图像Dl和显示图像D2可以被设置 为半透明图像，从而可以在视觉上识别第一观察目标15Α的一部分和第二观察目标15Β的 一部分，即使这些部分是彼此叠加的。此外，通过任意改变α值，可以容易地判断出关注的 一部分属于显示图像Dl和显示图像D2中的哪部分。在叠加图像D3和独立图像D4被如上所述地显示的情况下，如在第三示例性实施 方式中，输入相对于叠加图像D3或独立图像D4的改变指令，从而改变显示图像Dl和显示 图像D2的显示范围。用户可以在参考显示在独立图像D4中的第二观察目标15Β的同时来 比较以叠加方式显示在叠加图像D3中的第一观察目标15Α和第二观察目标15Β。另外，用 户可以调整彼此叠加的第一观察目标15Α和第二观察目标15Β的位置，从而可以容易地将 显示图像Dl和显示图像D2相互比较。应当注意的是，当相对于叠加图像D3或独立图像D4 而做出改变指令时，可以改变α值。由用户输入的应用至显示图像Dl和显示图像D2的参数(α值)可以独立于图像 金字塔结构50Α和图像金字塔结构50Β被存储，并且可以经由可移动记录介质或连接至信 息处理装置的网络来给定和接收。CPUlOl可以基于给定和接收的参数，来改变显示图像Dl 和显示图像D2的透射率。通过这种结构，另一用户不需要分别进行参数的输入操作。应当 注意的是，网络和可移动记录介质中的每一个均等同于第二给定和接收单元。[第五示例性实施方式]将描述本公开的第五示例性实施方式。在该第五示例性实施方式中，将省略与第 三示例性实施方式中的那些部分相似的部分的描述。在第五示例性实施方式中仍将如在第 三示例性实施方式中那样获得的显示图像Dl和显示图像D2相互比较，但第五示例性实施 方式中的显示显示图像的模式与第三示例性实施方式中的模式不同。[第五示例性实施方式中的两个图像的显示]当用户输入显示两个图像指令以及期望的分辨率时，如在第三示例性实施方式 中，CPU 101相对于图像金字塔结构50A的图像数据El设置显示区域Al，并且还相对于图 像金字塔结构50B的图像数据E2设置显示区域A2。图16是示出了显示在该示例性实施方式的显示单元106上的两个图像的生成过 程的数据流。如图16所示，CPU 101切出显示数据El的对应于显示区域Al的一部分作为显 示图像Dl (St 501)，然后切出显示数据E2的对应于显示区域A2的一部分作为显示图像 D2(St 502)。随后，CPU 101将显示图像Dl改变为单色图像(St 503)，并且通过将定义第 一单色调(tone)的色值1应用至单色显示图像D1，而将单色显示图像Dl改变为彩色图像 (St 504)。结果，生成了第一色调的显示图像D1。此外，CPU 101将显示图像D2改变为单 色图像(St 505)，并且通过将定义与第一色调不同的第二色调的色值1应用至单色显示图 像D2，而将单色显示图像D2改变为彩色图像(St506)。结果，生成了第二色调的显示图像 D2。然后，CPU 101通过加法器将彩色的显示图像Dl和显示图像D2相加(St 507)，并生成 叠加图像D3。此外，CPU 101设置显示图像D2作为独立图像D4。应当注意的是，色值在该 示例性实施方式中等同于显示控制信息。
18
CPU 101在设置于RAM 103中的显示缓冲器上展开叠加图像D3和独立图像D4。结 果，叠加图像D3和独立图像D4被显示在显示单元106的显示屏幕上。图17是示出了叠加 图像D3和独立图像D4的示意图。应当注意的是，在图17中，显示图像Dl和显示图像D2 的色调通过亮度差(明暗度)来表示。叠加图像D3和独立图像D4彼此并行(例如，横向) 地显示在显示单元106的显示屏幕上。如上所述，由于显示图像Dl和显示图像D2具有彼 此不同的单色调，因此第一观察目标15A和第二观察目标15B在叠加图像D3中均具有不同 的色调。另一方面，第二观察目标15B以原始色调显示在独立图像D4中。如上所述，叠加图像D3和独立图像D4被显示在显示单元106上。由于显示图像 Dl和显示图像D2在叠加图像D3中具有彼此不相同的单色调，因此用户可以容易地判断出 关注的一部分属于叠加图像D3中的显示图像Dl和显示图像D2的哪一个。在叠加图像D3和独立图像D4被如上所述地显示的情况下，如在第三示例性实施 方式中，输入相对于叠加图像D3或独立图像D4的改变指令，从而改变显示图像Dl和显示 图像D2的显示范围。用户可以在参考显示于独立图像D4中的第二观察目标15B的同时来 比较以叠加方式显示在叠加图像D3中的第一观察目标15A和第二观察目标15B。另外，用 户可以调整彼此叠加的第一观察目标15A和第二观察目标15B的位置，从而可以容易地将 显示图像Dl和显示图像D2相互比较。由用户输入的应用至显示图像Dl和显示图像D2的参数(色值)可以独立于图像 金字塔结构50A和图像金字塔结构50B被存储，并且可以经由可移动记录介质或连接至信 息处理装置的网络来给定和接收。CPUlOl可以基于给定和接收的参数来改变显示图像Dl 和显示图像D2的色调。通过这种结构，另一用户不需要分别进行参数的输入操作。应当注 意的是，网络和可移动记录介质中的每一个均等同于第二给定和接收单元。[第六示例性实施方式]将描述本公开的第六示例性实施方式。在第六示例性实施方式中，将省略与第三 示例性实施方式中的那些部分相似的部分的描述。在第六示例性实施方式中仍将如在第三 示例性实施方式中那样获得的显示图像Dl和显示图像D2彼此相比较，但第六示例性实施 方式中的显示显示图像的模式与第三实施方式中的模式不相同。[第六示例性实施方式中的两个图像的显示]当用户输入显示两个图像的指令以及期望的分辨率时，如第一示例性实施方式 中，CPU 101相对于图像金字塔结构50A的图像数据El设置显示区域Al，并且还相对于图 像金字塔结构50B的图像数据E2设置显示区域A2。CPU 101在显示单元106上显示显示图像Dl和显示图像D2。然后，CPU 101根据 用户经由输入单元107所做出的输入对显示图像Dl和显示图像D2中的一个或两者执行放 射变换。下文中，将描述该仿射变换。图18是均示出了在显示图像Dl和显示图像D2上的仿射变换的状态的示意图。在仿射变换中，使用配置在显示图像Dl和显示图像D2中的多个控制点。图18A示 出了其中设定了控制点的显示图像Dl和显示图像D2。如图18A所示，用户在显示图像Dl 中设定控制点Pl并在显示图像D2中设定控制点P2。控制点Pl被任意设定为包括显示图 像Dl的特征点的多个点。类似地，控制点P2被任意设定为包括显示图像D2的特征点的多 个点。控制点Pl和控制点P2被设定为彼此相对应的点。在图18A中，设定了九个控制点Pl和九个控制点P2。此外，在图18A中，第一观察目标15A和第二观察目标15B的端点、中 点、角部等被设定为显示图像Dl和显示图像D2中的特征点。应当注意的是，控制点Pl和 控制点P2的坐标等于显示控制信息。用户经由输入单元107提供输入以通知已完全设定了控制点。CPUlOl基于显示图 像Dl中的多个控制点Pl而生成TIN(三角的不规则网)，并且还基于显示图像D2中的多个 控制点P2而生成TIN。图18B通过虚线示出了生成的TIN。TIN是多个控制点作为顶点的 三角形。其形状接近于正三角形的三角形适用于上述三角形。尽管存在TIN生成方法的各 种原理，例如，可以使用将最小角最大化的原理，其中，要生成的三角形群的最小角被设定 为大于通过不同分割方法所获得的最小角。然后，CPU 101针对每个生成的三角形而在显示图像Dl上执行仿射变换，以使该 三角形的形状与显示图像D2的对应三角形的形状相一致。图18C示出了已进行了仿射变 换的显示图像D1。仿射变换是移动、旋转、横向反转、放大、缩小、剪切等中的任一种或者它 们中的一些的组合，并且其可以通过使用结构映射技术(texture mapping technique)来 执行。通过在TIN的每个三角形上执行仿射变换，第一观察目标15A的一部分和对应于第 一观察目标15A的这部分的第二观察目标15B的一部分可以彼此相叠加而同时抑制了图像 的失真。应当注意的是，尽管在这种情况下显示图像Dl发生变形，但显示图像D2可以代替 显示图像Dl而发生变形。此外，显示图像Dl和显示图像D2可以都发生变形。CPU 101使 变形的显示图像Dl和没有变形的显示图像D2叠加以生成叠加图像D3。另外，CPU 101将 没有变形的显示图像D2设定为独立图像D4。CPU 101在设置于RAM 103中的显示缓冲器上展开叠加图像D3和独立图像D4。结 果，叠加图像D3和独立图像D4被显示在显示单元106的显示屏幕上。由于显示图像Dl在 叠加图像D3中发生变形，使得第一观察目标15A与第二观察目标15B非常相类似，因此第 一观察目标15A和第二观察目标15B之间的对应部分以叠加的方式被显示，相应地，用户可 以容易地将第一观察目标15A和第二观察目标15B之间的对应部分彼此相比较。在叠加图像D3和独立图像D4被如上所述地显示的情况下，如在第三示例性实施 方式中，输入相对于叠加图像D3或独立图像D4的改变指令，从而改变显示图像Dl和显示 图像D2的显示范围。用户可以在参考显示于独立图像D4中的第二观察目标15B的同时来 比较以叠加方式显示在叠加图像D3中的第一观察目标15A和第二观察目标15B。另外，由 于用户可以调整彼此叠加的第一观察目标15A和第二观察目标15B的位置，因此可以容易 地将显示图像Dl和显示图像D2相互比较。由用户输入的用于使显示图像Dl或显示图像D2变形的参数(控制点的坐标等) 可以独立于图像金字塔结构50A和图像金字塔结构50B被存储，并且可以经由可移动记录 介质或连接至信息处理装置的网络来给定和接收。CPU 101可以基于给定和接收的参数而 使显示图像Dl和显示图像D2变形。通过这种结构，另一用户不需要另外进行参数的输入 操作。应当注意的是，网络和可移动记录介质中的每一个均等同于第二给定和接收单元。[第七示例性实施方式]将描述本公开的第七示例性实施方式。在第七示例性实施方式中，将省略与第一 示例性实施方式和第三示例性实施方式的那些部分相似的部分的描述。在第七示例性实 施方式中仍将如在第一示例性实施方式中那样获得的显示图像Dl和显示图像D2彼此相比较，但第七示例性实施方式中的显示显示图像的模式与第一示例性实施方式中的模式不 同。[第七示例性实施方式中的两个图像的显示]当用户输入显示两个图像的指令以及期望的分辨率时，如在第一示例性实施方式 中，CPU 101相对于图像金字塔结构50A的图像数据El设置显示区域Al，并且还相对于图 像金字塔结构50B的图像数据E2设置显示区域A2。CPU 101在设置于RAM 103中的显示缓冲器上展开显示图像Dl和显示图像D2。 结果，叠加图像D3和独立图像D4被显示在显示单元106的显示屏幕上。这里，可以存在为 显示在显示单元106上的显示图像Dl和显示图像D2设置注释的情况。注释指的是通过在 视觉上合并位置信息和内容信息所获得的注解。该位置信息由用户为图像中将被关注的点 (例如，存在疾病可能性的部分)所设置。该内容信息与位置信息相关联。图19是示出了被设置注释的显示图像Dl和显示图像D2的示意图。如图19A所 示，用户在显示图像Dl中设置注释附并在显示图像D2中设置注释N2。这里，如图19B所 示，CPU 101也在显示显示图像D2中显示注释Ni，并在显示图像Dl中显示注释N2。结果， 用户可以容易地将在显示图像Dl中设置注释附的第一观察目标15A的一部分与在显示图 像D2中没有设置注释的第二观察目标15B的对应部分相比较。类似地，用户可以容易地将 在显示图像D2中设置注释N2的第二观察目标15B的一部分与在显示图像Dl中没有设置 注释的第一观察目标15A的对应部分相比较。如在第一示例性实施方式或第二示例性实施方式中，输入相对于设置了注释m 和注释N2的显示图像Dl或者相对于设置了注释m和注释N2的显示图像D2的改变指令， 从而改变显示图像Dl和显示图像D2的显示范围。用户可以容易地在参考设置在显示图像 Dl和显示图像D2中的注释附和注释N2的同时来比较第一观察目标15A和第二观察目标 15B之间的对应部分。此外，如图19C所示，CPU 101可以使设置了注释m的显示图像Dl和设置了注释 N2的显示图像D2相互叠加，以生成叠加图像D3。在叠加图像D3中，显示附加在显示图像 Dl的注释附和附加在显示图像D2的注释N2。在这种情况下，CPU 101将设置了注释N2的 显示图像D2设置为独立图像D4。如在第三示例性实施方式中，相对于设置了注释m和注释N2的叠加图像D3或者 设置了注释N2的独立图像D4输入改变指令，从而改变显示图像Dl和显示图像D2的显示 范围。用户可以容易地在参考设置在叠加图像D3中的注释m和注释N2的同时来比较第 一观察目标15A和第二观察目标15B之间的对应部分。本公开不限于以上所述的示例性实施方式，并且在不背离本公开的主旨的前提下 可以进行修改。在上面的描述中，形成图像金字塔结构50的图像数据被存储在信息处理装置的 存储单元108中。然而，也可以采用与信息处理装置不同的计算机或服务器，以存储形成图 像金字塔结构50的图像数据，并且可以采用由用户用作终端装置的信息处理装置，以访问 不同的计算机或服务器来接收该图像数据。在这种情况下，服务器和作为终端装置的信息 处理装置等可以经由LAN、WAN等的网络而连接。特别地，WAN的使用允许实现远程病理学 (telepathology)、远程诊断等。在以上所述的示例性实施方式中，图像金字塔结构被用作
21有效改变显示范围的方法。然而，可以仅使用原始图像数据而无需使用图像金字塔结构来 改变显示范围。另外，例如，可以只使用一张图像数据来代替多片。在以上所述的示例性实施方式中，图像处理单元假定为CPU，但其不限于此。图像 处理单元例如可以为三维图形处理模块。应当理解的是，本文中所述的优选示例性实施方式的各种改变和修改对于本领域 技术人员是显而易见的。在不背离精神和范围并且不减少其预期优点的前提下，可以进行 这些改变和修改。因此，这些改变和修改旨在由所附权利要求所覆盖。
权利要求
1.一种信息处理装置，包括 处理器；显示设备，可操作地连接至所述处理器； 输入设备，可操作地连接至所述处理器；以及存储设备，可操作地连接至所述处理器，所述存储设备存储使所述处理器与所述显示 设备、所述输入设备和所述存储设备协作以执行以下处理的指令，以(a)显示与第一观察对象物相关联的第一图像，所述第一图像具有第一显示范围；(b)显示与第二观察对象物相关联的第二图像，所述第二图像具有第二显示范围；(c)能够使用户改变所述第一显示范围；以及(d)响应于所述第一显示范围的改变，同时改变所述第二显示范围。
2.根据权利要求1所述的信息处理装置，其中，所述第一观察对象物与所述第二观察 对象物不同。
3.根据权利要求1所述的信息处理装置，其中(a)所述第一图像对应于所述观察对象物的第一切片；以及(b)所述第二图像对应于所述观察对象物的不同的第二切片。
4.根据权利要求1所述的信息处理装置，其中(a)所述第一图像具有第一分辨率；以及(b)所述第二图像具有不同的第二分辨率。
5.根据权利要求1所述的信息处理装置，其中，所述指令在被所述处理器执行时，使得 所述处理器(a)使所述用户能够将所述第一显示范围改变为第三显示范围；以及(b)响应于所述第一显示范围的改变，同时将所述第二显示范围改变为第四显示范围。
6.根据权利要求1所述的信息处理装置，其中，所述指令在被所述处理器执行时，使所 述处理器(a)使所述用户能够改变所述第二显示范围；以及(b)响应于所述第二显示范围的改变，使所述第一显示范围保持不变。
7.根据权利要求1所述的信息处理装置，其中(a)所述第一图像的至少一部分被改变为第一颜色；以及(b)所述第二图像的至少一部分被改变为不同的第二颜色。
8.根据权利要求1所述的信息处理装置，其中，所述指令在被所述处理器执行时，使所 述处理器与所述输入设备协作以使得所述用户能够(a)对于所述第一图像，输入第一注释；以及(b)对于所述第二图像，输入不同的第二注释。
9.根据权利要求1所述的信息处理装置，其中，所述指令在被所述处理器执行时，使所 述处理器通过显示覆盖所述第一图像的所述第三图像而形成叠加图像，所述第三图像(a)具有第五显示范围；(b)与所述第二观察对象物相关联；以及(c)对应于所述第二图像。
10.根据权利要求9所述的信息处理装置，其中，所述指令在被所述处理器执行时，使所述处理器与所述输入设备协作，以(a)使所述用户能够同时改变所述第一显示范围和第五显示范围；以及(b)响应于所述第一显示范围和所述第五显示范围的改变，同时改变所述第二显示范围。
11.根据权利要求9所述的信息处理装置，其中，所述指令在被所述处理器执行时，使 所述处理器与所述输入设备协作，以(a)使所述用户能够改变所述第二显示范围；以及(b)响应于所述第二显示范围的改变(i)同时改变所述第五显示范围；以及( )使所述第一显示范围保持不变。
12.根据权利要求9所述的信息处理装置，其中(a)所述第一图像被设置为第一半透明图像，所述第一图像具有第一部分；(b)所述第三图像被设置为第二半透明图像，所述第三图像具有第二部分；以及(c)所述指令在被所述处理器执行时，使所述处理器同时显示所述第一部分和所述第 二部分，使得可以在视觉上识别出所述第一部分和所述第二部分中的每一个。
13.根据权利要求1所述的信息处理装置，其中，所述指令在被所述处理器执行时，使 所述处理器与所述输入设备协作，以(a)对于显示的所述第一图像，使所述用户能够设置第一控制点；(b)对于显示的所述第二图像，使所述用户能够设置第二控制点，其中，所述第二控制 点对应于所述第一控制点；以及(c)通过执行仿射变换使所述第一控制点的第一形状与所述第二控制点的第二形状相 一致。
14.一种操作包含指令的信息处理装置的方法，所述方法包括(a)使显示设备显示与第一观察对象物相关联的第一图像，所述第一图像具有第一显 示范围；(b)使所述显示设备显示与第二观察对象物相关联的第二图像，所述第二图像具有第 二显示范围；(c)使处理器执行所述指令以与输入设备协作，从而使所述用户能够改变所述第一显 示范围；以及(d)响应于所述第一显示范围的改变，使所述处理器执行所述指令，以同时改变所述第 二显示范围。
15.根据权利要求14所述的方法，所述方法包括(a)使所述处理器执行所述指令以与所述输入设备协作，从而使所述用户能够将所述 第一显示范围改变为第三显示范围；以及(b)响应于所述第一显示范围的改变，使所述处理器执行所述指令，以同时将所述第二 显示范围改变为第四显示范围。
16.根据权利要求14所述的方法，所述方法包括(a)使所述处理器执行所述指令以与所述输入设备协作，从而使所述用户能够改变所 述第二显示范围；以及(b)响应于所述第二显示范围的改变，使所述处理器执行所述指令，以使所述第一显示 范围保持不变。
17.根据权利要求14所述的方法，所述方法包括(a)使所述处理器执行所述指令，以将所述第一图像的至少一部分改变为第一颜色；以及(b)使所述处理器执行所述指令，以将所述第二图像的至少一部分改变为不同的第二颜色。
18.根据权利要求14所述的方法，包括使所述处理器执行所述指令，以操作所述显示 设备，从而通过显示覆盖所述第一图像的第三图像来形成叠加图像，所述第三图像(a)具有第五显示范围；(b)与所述第二观察对象物相关联；以及(c)对应于所述第二图像。
19.根据权利要求18所述的方法，包括(a)使所述处理器执行所述指令以与所述输入设备协作，从而使所述用户能够同时改 变所述第一显示范围和所述第五显示范围；以及(d)响应于所述第一显示范围和所述第五显示范围的改变，使所述处理器执行所述指 令以与所述显示设备协作，从而同时改变所述第二显示范围。
20.根据权利要求18所述的方法，包括(a)使所述处理器执行所述指令以与所述输入设备协作，从而使所述用户能够改变所 述第二显示范围；以及(b)响应于所述第二显示范围的改变(i)使所述处理器执行所述指令，以同时改变所述第五显示范围；以及 ( )使所述处理器执行所述指令，以使所述第一显示范围保持不变。
21.根据权利要求18所述的方法，包括(a)使所述处理器执行所述指令，以将所述第一图像设置为第一半透明图像，所述第一 图像具有第一部分；(b)使所述处理器执行所述指令，以将所述第三图像设置为第二半透明图像，所述第三 图像具有第二部分；以及(c)使所述处理器执行所述指令以与所述显示设备协作，从而同时显示所述第一部分 和所述第二部分，使得可以在视觉上识别出所述第一部分和所述第二部分中的每一个。
22.—种存储指令的计算机可读介质，所述指令被构造为使信息处理装置执行以下处理(a)显示与第一观察对象物相关联的第一图像，所述第一图像具有第一显示范围；(b)显示与第二观察对象物相关联的第二图像，所述第二图像具有第二显示范围；(c)使用户能够改变所述第一显示范围；以及(d)响应于所述第一显示范围的改变，同时改变所述第二显示范围。
全文摘要
本发明公开了信息处理装置、信息处理方法以及计算机可读介质。在一个示例性实施方式中，信息处理装置包括显示与第一观察对象物相关联的第一图像的显示设备。第一图像具有第一显示范围。在一个示例性实施方式中，显示设备显示与第二观察对象物相关联的第二图像。第二图像具有第二显示范围。在一个示例性实施方式中，信息处理装置使用户能够改变第一图像的第一显示范围。响应于第一显示范围的改变，信息处理装置同时改变第二图像的第二显示范围。
文档编号G06T1/00GK102129505SQ20101055732
公开日2011年7月20日 申请日期2010年11月23日 优先权日2009年11月30日
发明者重笃 吉冈, 直树 田上, 能宏 胁田 申请人:索尼公司