动图像18、已对位浮动图像 中的关注区域在画面中重叠显示。使用图像处理装置的人（用户）能够一边确认该显示一 边编辑。另外，在本说明书中，编辑只要没有特别限定，则还包括追加、修正及删除。
[0142] 〈结构及动作〉
[0143] 在实施方式3中，将对位的结果和关注区域的提取结果在画面中重叠显示。用户 从画面中目视确认各结果，将参照图像11和浮动图像12中的对应的界标（特征点）以手 动编辑。由此，能够将对位的结果编辑。
[0144] 除了将对位结果编辑的事项以外，其他结构与上述实施方式1及2是同样的，以下 以不同点为中心进行说明。另外，为了记载的方便，以下以对作为实施方式2说明的结构追 加了编辑对位结果的功能的结构为例进行说明。当然，对于作为实施方式1说明的结构也 同样能够追加。
[0145] 图9是表示有关实施方式3的图像处理装置的逻辑结构的框图。图9所示的图像 处理装置除了在上述实施方式2中说明的结构以外，还具备图像显示部21、界标手动修正 及输入部22。另外，在图9中，对位部10被省略了构成它的各构成要素（在图6中是1001 至1004)，但应理解为包含这些各构成要素。
[0146] 对于图像显示部21，供给参照图像11、浮动图像12、对应点位置信息15及已对位 浮动图像18。进而，对于图像显示部21，从关注区域提取部19及20供给关于关注区域的 信息。图像显示部21按照被供给的参照图像11和已对位浮动图像18,将参照图像11和已 对位浮动图像18重叠显示。此时，图像显示部21将提取出的参照图像11中的关注区域改 变其颜色而透射性地重叠显示在参照图像11之上。此外，图像显示部21按照被供给的浮 动图像12、对应点位置信息15及已对位浮动图像18,使用对位的结果对浮动图像12的关 注区域进行坐标变换，在已对位的浮动图像18之上，将关注区域改变颜色而透射性地重叠 在浮动图像12上。这些显示可以相互组合来进行。
[0147] 进而，图像显示部21将参照图像11、其关注区域和关注区域中的特征点透射性地 重叠显示。此外，图像显示部21将浮动图像12、其关注区域和关注区域中的特征点透射性 地重叠显示。当透射性地重叠显示时，改变颜色而显示。这样，通过将特征点也重叠显示， 能够通过目视来确认特征点提取和对应建立的结果。
[0148] 医生等用户一边观察显示在图像显示部21上的结果，一边检查是否正确地进行 了对位处理。在判断为没有正确地执行对位处理的情况下，用户使用界标手动修正及输入 部22,例如对判断为不正确的界标以手动进行编辑。作为通过手动编辑的结果而得到的编 辑后的对应点位置信息15被向对位部10输出。对位部10使用所取得的编辑后的对应点 位置信息15,使已变形的控制栅格进一步变形，将控制点移动量信息1001(图6)更新而向 浮动图像变形部17输出，将对位结果修正。
[0149] 通过手动编辑，对于图16所示的对应点对，例如在参照图像上编辑特征点坐标及 /或浮动图像上的特征点坐标。例如，将号码2的对应点对的特征点坐标编辑。编辑后的对 应点位置信息15具有这样被编辑的对应点对的信息。
[0150] 用户在判断为即使实施上述手动修正也没有正确地执行对位处理的情况下，使用 通过手动编辑得到的编辑后的对应点位置信息15将对位处理中的控制点的初始位置修 正，重新实施与步骤S104~S110 (图3)同样的对位处理。
[0151] 图像显示部21例如使用图2所示的图像生成部47和显示器52等显示设备构成。 此外，界标手动修正及输入部22既可以使用实现该功能的电路设备等硬件构成，也可以通 过由CPU等运算装置执行安装了该功能的程序来构成各功能。在此情况下，作为用于编辑 的手动输入，使用图2所示的输入装置51、输入控制部46。
[0152] 这样，在实施方式3中，将参照图像11、其关注区域、已对位浮动图像18和已对位 浮动图像中的关注区域重叠显示在画面上。由此，用户一边观察其显示结果一边将界标以 手动进行编辑，能够将控制点移动量信息1001进行调整并将对位的结果以手动修正。进 而，在判断为即使以手动实施编辑也没有正确地执行对位处理的情况下，能够使用通过手 动编辑得到的对应点位置信息15将对位处理中的控制点的初始位置修正而再次实施对位 处理。
[0153] 本发明并不限定于上述实施方式，包含各种变形例。上述实施方式1~3是为了 将本发明容易理解地说明而详细说明的，并不限定于必定具备所说明的全部结构。此外，也 可以将某个实施方式的结构的一部分替换为其他实施方式的结构。此外，也可以对某个实 施方式的结构添加其他实施方式的结构。此外，也可以关于各实施方式的结构的一部分追 加、删除、置换其他结构。
[0154] 上述各结构、功能、处理部、处理机构等也可以通过将它们的一部分或全部例如用 集成电路设计等来用硬件实现。此外，上述各结构、功能等也可以通过由处理器将实现各个 功能的程序解释并执行，而用软件来实现。实现各功能的程序、表、文件等信息可以保存在 存储器、硬盘、SSD (Solid State Drive)等的记录装置、1C卡、SD卡、DVD等记录介质中。
[0155] 标号说明
[0156] 10对位部
[0157] 11参照图像
[0158] 12浮动图像
[0159] 13图像采样部
[0160] 14特征点检测及对应建立部
[0161] 15对应点位置信息
[0162] 16控制栅格变形部
[0163] 17浮动图像变形部
[0164] 18已对位浮动图像
【主权项】
1. 一种图像处理装置，在多个图像之间进行对位，其特征在于，具备： 对位部，对上述多个图像中的作为浮动图像的图像配置控制栅格，通过使控制栅格中 的控制点移动，使上述浮动图像变形，并在与上述多个图像中的作为参照图像的图像之间 进行对位； 对应点设定部，从上述浮动图像和上述参照图像分别提取相互对应的特征点，从上述 浮动图像和上述参照图像分别求出与上述特征点对应的位置；以及 控制栅格变形部，按照与上述特征点对应的位置，将上述控制栅格变形。2. 如权利要求1所述的图像处理装置，其特征在于， 上述对位部在由上述控制栅格变形部将上述控制栅格变形后，使上述控制点移动而使 上述浮动图像变形。3. 如权利要求2所述的图像处理装置，其特征在于， 上述图像处理装置具备处理器； 上述对位部、上述对应点设定部及上述控制栅格变形部分别通过在上述处理器中执行 的程序实现。4. 一种图像处理装置，进行参照图像与浮动图像之间的对位，其特征在于，具备： 对应点设定部，从上述参照图像和上述浮动图像分别提取特征点，从上述参照图像和 上述浮动图像中分别搜索与各自的上述特征点对应的点的位置； 控制点设置部，对上述浮动图像设置控制点，以将上述浮动图像变形； 初始位置设定部，使用上述对应的点的位置，设定上述控制点的初始位置； 变换部，通过将上述浮动图像中的控制点的位置移动，使上述浮动图像变形； 采样部，从上述参照图像提取采样点； 提取部，提取与上述参照图像中的采样点对应的、变形后的上述浮动图像中的采样 占. 类似度计算部，使用由上述采样部提取的采样点和由上述提取部提取的采样点，计算 上述参照图像与变形后的上述浮动图像之间的类似度；以及 优化部，基于上述类似度，计算将在上述变换部中使用的控制点移动的量。5. 如权利要求4所述的图像处理装置，其特征在于， 上述图像处理装置具备区域提取部，该区域提取部在上述参照图像和上述浮动图像中 分别提取作为对位对象的区域； 上述对应点设定部从在上述参照图像和上述浮动图像中分别提取的各自的上述区域 提取特征点，并从各自的上述区域中搜索与该特征点对应的点的位置； 上述采样部从上述参照图像中的上述区域提取采样点； 上述类似度计算部使用所提取的采样点，计算上述参照图像中的区域与上述浮动图像 中的区域之间的类似度。6. 如权利要求5所述的图像处理装置，其特征在于， 由上述区域提取部提取的区域在上述参照图像和上述浮动图像中是具有关注的关注 区域。7. 如权利要求4所述的图像处理装置，其特征在于， 上述对应点设定部具备： 输入部，输入新的对应的点；以及 编辑部，将上述设定的对应点进行编辑。8. 如权利要求7所述的图像处理装置，其特征在于， 上述变换部使用由上述输入部输入的对应的点将上述控制点的位置移动，使上述浮动 图像变形。9. 一种图像处理方法，在参照图像与浮动图像之间进行对位，其特征在于，具备： 对应点设定步骤，从上述参照图像和上述浮动图像分别提取特征点，从上述参照图像 和上述浮动图像中分别搜索与各自的上述特征点对应的点的位置； 控制点设置步骤，对上述浮动图像设置控制点，以将上述浮动图像变形； 初始位置设定步骤，使用各自的上述对应的点的位置，设定上述控制点的初始位置； 变换步骤，通过将上述浮动图像中的控制点的位置移动，使上述浮动图像变形； 采样步骤，从上述参照图像提取采样点； 提取步骤，提取与上述参照图像中的采样点对应的、变形后的上述浮动图像中的采样 占. 类似度计算步骤，使用上述参照图像中的采样点和变形后的上述浮动图像中的采样 点，计算上述参照图像与上述浮动图像之间的类似度；以及 优化步骤，基于上述类似度，计算使在上述变换步骤中使用的控制点移动的量。10. 如权利要求9所述的图像处理方法，其特征在于， 上述对应点设定步骤、上述控制点设置步骤、上述初始位置设定步骤、上述变换步骤、 上述采样步骤、上述提取步骤、上述类似度计算步骤及上述优化步骤通过由设置在数据中 心中的服务器执行程序来实现，图像处理的结果发送至与上述服务器连接的客户端终端。
【专利摘要】一种图像处理装置，实施参照图像与浮动图像的对位，图像处理装置为了将浮动图像变形而对浮动图像设置控制栅格。图像处理装置从浮动图像和参照图像分别提取特征点。从参照图像和浮动图像中分别搜索与所提取的特征点对应的位置。使用搜索出的位置，设定设置在浮动图像上的控制栅格中的控制点的初始位置。提取出的特征点在参照图像和浮动图像各自中相互对应，是在各个图像中特征性的部分。
【IPC分类】G06T19/20, A61B6/03, G06T1/00
【公开号】CN105246409
【申请号】CN201380076740
【发明人】黎子盛, 栗原恒弥
【申请人】株式会社日立制作所
【公开日】2016年1月13日
【申请日】2013年6月6日
【公告号】US20160117797, WO2014196069A1