医用图像处理装置和医用图像处理方法

医用图像处理装置和医用图像处理方法
【专利摘要】一种医用图像处理装置，包括：取得部，将某一时相作为基准时相，从基准时相下的被检体的医用图像中，取得树状体的线结构作为基准线结构；计算部，基于基准时相下的所述被检体的医用图像和作为目标时相的其他时相下的所述被检体的医用图像，计算医用图像的构成要素从所述基准时相到所述目标时相的运动矢量；以及变换部，基于所述运动矢量对所述基准线结构进行变换，将变换后的所述基准线结构作为所述目标时相下的目标线结构。
【专利说明】
医用图像处理装置和医用图像处理方法
技术领域
[0001] 本发明涉及一种医用图像处理装置和医用图像处理方法，特别是涉及基于气道自 身的运动量对树状线结构进行变形的4D医用图像处理装置和医用图像处理方法。
【背景技术】
[0002] 近年来，为了对 COPD (Chronic Obstructive Pulmonary Disease :慢性阻塞性肺 疾病）、肺气肿、气管和支气管疾病等进行病症解析，需要对气管和支气管3D图像的不同时 相下取得的多个树状构造的图像进行位置配准。但是由于呼吸是一个动态运动的过程，因 此由于动态运动而带来数据处理解析上的误差。
[0003] 专利文献1公开了一种用于心脏的图像处理方法，通过该图像处理方法能够减少 处理时间并减少基于心脏跳动的解析误差。在该技术方案中提取多个时相下的心脏区域的 医用图像，根据该多个时相下的心脏区域的医用图像，插补出其他时相下的心脏区域的医 用图像。由此不需要如以往那样拍摄所有时相下的医用图像，能够减少摄影及数据处理的 时间。此外，通过选择心脏几乎没有运动的时相作为基准时相来计算其他时相下的动脉的 中心线构造，能够去除由于心脏运动而在图像中出现的误差。
[0004] 但是专利文献1中选取的心脏几乎没有运动的多个时相下的心脏区域中，包括心 脏处于收缩末期的心脏区域，当选取了收缩末期的心脏区域时，虽然动脉的中心线的提取 几乎不受影响，但对于毛细血管这样的细微血管的中心线的提取而言，由于心脏收缩末期 的毛细血管与其他时期的毛细血管相比变得更细，对其的检测精度变低，因此在基于收缩 末期的心脏区域而计算其他时相下的心脏区域的情况下，很容易出现毛细血管脉络丢失的 现象。即，专利文献1的图像处理方法并不适用于微细的管结构的提取。
[0005] 专利文献
[0006] 专利文献1 :日本特开2014-108208

【发明内容】

[0007] 本发明要解决的技术问题
[0008] 在对肺部区域的观察中，操作者有时会希望能够仅对气管自身在各时相下的形态 进行观察。但发明人发现在以往的技术中，呼吸周期中所提取的气管的图像除了包含其自 身的变化以外还包含由肺部运动带来的位置移动，也就是说，以往的技术中是对肺部区域 进行摄像而得到该区域在各时相下的3D图像，然后基于所取得3D图像提取各时相下的树 状结构（即气管和支气管）的中心线，但在呼吸运动中，肺部的收缩和扩张所引起的气道位 置的改变与气道本身收缩扩张的变化是混合在一起的，气道的实际变动量中不仅包含其自 身的运动量还包含有其随着肺部运动而产生的位置变化，因此有在直接对各时相下的气道 进行提取时不能够精确地反映气道自身的变化状态的情况。因此期望能够去除由肺部的收 缩和扩张引起的气道位置变化。
[0009] 此外，在对肺部区域的观察中，操作者有时希望能够精确地提取出支气管的末端 等较细微的管部，而通过现有技术的方案，不能精确地提取细微的管部。因此期望能够找到 一种可精确地提取整个管部的办法。
[0010] 用于解决技术问题的手段
[0011] 本发明是鉴于上述问题而提出的，其目的在于提供一种能够精确地检测气道自身 在各时相下的空间位置变化、并且能够将各时相下的包括细微的管道末端在内的整个气道 完整地再现的医用图像处理装置和医用图像处理方法。
[0012] 本发明的实施方式的医用图像处理装置的特征在于，包括：取得部，将某一时相作 为基准时相，从基准时相下的被检体的医用图像中，取得树状体的线结构作为基准线结构； 计算部，基于基准时相下的所述被检体的医用图像和作为目标时相的其他时相下的所述被 检体的医用图像，计算医用图像的构成要素从所述基准时相到所述目标时相的运动矢量； 以及变换部，基于所述运动矢量对所述基准线结构进行变换，将变换后的所述基准线结构 作为所述目标时相下的目标线结构。
[0013] 本发明的实施方式的医用图像处理方法的特征在于，包括如下步骤：取得步骤，将 某一时相作为基准时相，从基准时相下的被检体的医用图像中，取得树状体的线结构作为 基准线结构；计算步骤，基于基准时相下的所述被检体的医用图像和作为目标时相的其他 时相下的所述被检体的医用图像，计算医用图像的构成要素从所述基准时相到所述目标时 相的运动矢量；以及变换步骤，基于所述运动矢量对所述基准线结构进行变换，将变换后的 所述基准线结构作为所述目标时相下的目标线结构。
[0014] 技术效果
[0015] 通过采用本实施方式的医用图像处理装置和医用图像处理方法，能够去除由肺部 的收缩和扩张引起的气道位置变化而精确地检测气道自身的变化，并且，能够将各时相下 的包括细微的管道末端在内的整个气道完整地再现。
【附图说明】
[0016] 图1是表示本发明实施方式1的医用图像处理装置的模块图。
[0017] 图2是表示本发明实施方式1的医用图像处理装置的处理流程的流程图。
[0018] 图3是表示本发明实施方式1的取得部、计算部和变换部的动作的示意图。
[0019] 图4是表示本发明实施方式1的变形例的处理流程的流程图。
[0020] 图5A、图5B是对本发明实施方式1的变形例的重定位中心前和重定位中心后的中 心线的位置进行表示的示意图。
[0021] 图6是表示本发明实施方式2的医用图像处理装置的模块图。
[0022] 图7是表示本发明实施方式2的医用图像处理装置的处理流程的流程图。
[0023] 图8是表示本发明实施方式3的医用图像处理装置的模块图。
[0024] 图9是表示本发明实施方式3的医用图像处理装置的处理流程的流程图。
[0025] 图10A表示融合前的一对重叠状态下的掩模，图10B表示将重叠状态下的一对掩 模进行融合后的形态。
[0026] 图11A、图11B是作为对比例而表示进行了实施方式3的变换后提取的中心线树与 直接提取的中心线树之间的中心线匹配的情况的图。图11A是在某一吸气时相下进行了实 施方式3的变换后提取的带匹配标号的中心线树。图11B是在某一呼气时相下直接提取的 带匹配标号的中心线树。
[0027] 图12是表示本发明实施方式4的医用图像处理装置的模块图。
[0028] 图13是表示本发明实施方式4的医用图像处理装置的处理流程的流程图。
【具体实施方式】
[0029] 下面结合说明书附图详细说明本发明的【具体实施方式】。本发明中所示出的实施方 式只不过是例示，并不限定于实施方式所表示的构成。
[0030] 以下的实施方式中，以肺部区域中的气管和支气管为例进行具体说明。但是，本发 明不限定于对气管和支气管的树状构造进行处理，除了气管和支气管以外，也可以对其他 树状的结构例如脑神经和血管等的图像进行处理。
[0031] (实施方式1)
[0032] 图1是表示本发明实施方式1的医用图像处理装置的模块图。
[0033] 如图1所示，医用图像处理装置100包括拍摄部101、取得部102、计算部103、变换 部 104。
[0034] 拍摄部101对作为检查对象的被检体进行拍摄，得到被检体的时间序列上的多个 医用图像。以一个呼吸周期为例，所述多个医用图像为从吸气阶段的开始到呼气阶段的结 束为止的时期中、按照每一时相拍摄到的多个医用图像。所述医用图像中包括作为关注区 域的操作者感兴趣的区域。本实施方式中的关注区域为肺部区域，但并不限定于肺部区域。
[0035] 取得部102以时间序列上的某一时相作为基准时相P1，从基准时相P1下的肺部区 域中，取得树状线结构的气管和支气管的中心线C1作为基准线结构，但本实施方式的线结 构并不限定于中心线。取得中心线的方法也没有限定，可以是现有技术中的任一种方法。
[0036] 计算部103对基准时相P1下的肺部区域的构成要素和作为目标时相的其他各个 时相（P2、P3……Pn)下的肺部区域的构成要素进行配准，分别计算出肺部区域中的构成要 素从基准时相P1到其他各个时相（P2、P3……Pn)的运动矢量（V2、V3……Vn)。
[0037] 变换部104基于由计算部103计算出的从基准时相P1到其他各个时相（P2、 P3……Pn)的运动矢量（V2、V3……Vn)和由取得部102取得的基准时相P1下的肺部区域 的气道的中心线C1，将基准时相P1下的气道的中心线C1分别变换为作为目标时相的其他 各个时相（P2、P3......Pn)下的气道的中心线（C2、C3......Cn)。
[0038] 以下接着说明本实施方式的医用图像处理装置100的处理的流程。图2是表示本 发明实施方式1的医用图像处理装置的处理流程的流程图。
[0039] 医用图像处理装置100通过拍摄部101拍摄被检体在多个时相下的医用图像（步 骤S101)，该医用图像中包括观察者所关心的部位即关注区域，在本实施方式中为肺部区 域，但并不限定于肺部区域。
[0040] 在步骤S102中，取得部102以时间序列上的某一时相作为基准时相P1，从基准时 相P1下的肺部区域中，取得基准时相P1下的气道的中心线C1。取得中心线C1的方法没有 特别限定，可以是现有技术中的任一种方法。
[0041] 在步骤S103中，计算部103对基准时相P1下的肺部区域的构成要素和其他各个 时相（P2、P3……Pn)下的肺部区域的构成要素分别进行配准，计算肺部区域中各要素从基 准时相P1到其他各个时相（P2、P3……Pn)的运动矢量（V2、V3……Vn)。例如以运动矢量 V2的计算为例，计算部103对基准时相P1下的肺部区域的构成要素和时相P2下的肺部区 域的构成要素进行配准，计算出肺部区域中的各要素从时相P1到时相P2的运动矢量V2。 同样地，计算部103还计算出运动矢量V3、V4等。
[0042] 此外，上面所述的配准优选的是使用非刚体配准，其配准方法没有特别的限定，也 可以采用现有技术中的其他配准方法。
[0043] 上述步骤S102和步骤S103没有特定的执行顺序，既可以先执行步骤S102,也可以 先执行步骤S103,也可以同时执行步骤S102和S103。
[0044] 在步骤S104中，变换部104利用在步骤S102中由取得部102取得的基准时相P1 下的气道的中心线C1、和在步骤S103中由计算部103计算出的肺部区域中的各要素从基准 时相P1到其他各个时相（P2、P3……Pn)的运动矢量（V2、V3……Vn)，对中心线C1分别进 行变换，得到其他各个时相下的气道的中心线（C2、C3……Cn)。
[0045] 通过上述处理得到的变换后的中心线（C2、C3……Cn)为，去除了随肺部区域的运 动而产生的气道的位置移动的、仅表示气道自身运动的中心线。
[0046] 图3是表示本发明实施方式1的取得部、计算部和变换部的动作的示意图。如图 3所示，通过拍摄部拍摄被检体在多个时相下的医用图像，图3中左侧2个图像为在吸气阶 段拍摄到的图像，右侧2个图像为在呼气阶段拍摄到的图像，将最左侧的医用图像的拍摄 时相作为基准时相，利用取得部102从该时相下的肺部区域中，取得气道的中心线（图3中 仅示出管部模型而省略中心线的图示）作为基准线结构，并且利用计算部103对该时相下 的肺部区域的构成要素和右侧3个时相下的肺部区域的构成要素进行配准，分别计算出肺 部区域中的构成要素从最左侧的时相到右侧3个时相的运动矢量，基于由计算部103计算 出的从最左侧的时相到右侧3个时相的运动矢量和由取得部102取得的最左侧的时相下的 气道的中心线，利用变换部104将最左侧的时相下的中心线分别变换为作为目标时相的右 侧3个时相下的中心线。
[0047] 根据上述的处理过程，本实施方式不使用直接从目标时相下的作为关注区域的肺 部区域提取的气道的中心线，而使用从基准时相下的气道的中心线变换得到的目标时相下 的的气道的中心线，从而去除了由肺部区域的移动带来的气道位置的变化，由此能够消除 因气道位置变化造成的误差，只关注气道自身的变化，得到精度更高的医用图像。
[0048] 此外，将从图2中的"开始"到S104的步骤称为"A过程"。
[0049] (变形例）
[0050] 在实施方式1的变形例中，在步骤S104后，还通过变换部104将变换后的中心线 (C2、C3……Cn)重新定位到气道的中心，并进行平滑化处理。
[0051] 图4是表示本发明实施方式1的变形例的处理流程的流程图。
[0052] 在图4的"A过程"之后进行步骤S105。在步骤S105中，使用其他各个时相（P2、 P3……Pn)下的肺部区域的图像，在保持中心线上的规定的关键点的位置不变的情况下，将 关键点之间的连线上的各点都重定位到气道的中心。
[0053] 图5A、图5B是对本发明实施方式1的变形例的重定位中心前和重定位中心后的 中心线的位置进行表示的示意图。如图5A、图5B所示，将变换后的中心线与相对应的时相 下的肺部区域的图像组合，此时如图5A所示，变换后的中心线上的各点并不总是位于气道 的中心，有可能出现偏离。此时，保持中心线上的规定的关键点的位置不变，对各个关键点 之间的连接线上的规定点进行重定位。重定位时，对连接线上的每一规定点都在气道的宽 度方向上进行一次切片，可以使用snake算法按照一个切片一个切片的顺序使连接线上的 规定点分别定位到气道切片图像上的气道的中心位置。由此使各关键点之间的连接线上的 规定点重新定位到气道的中心，从而整条中心线成为图5B所示的重定位中心后的状态。重 定位中心线的方法并不限于此，只要能够将中心线重定位到气道的中心也可以使用其他方 法。
[0054] 在步骤S106中，使用其他各个时相（P2、P3……Pn)下的肺部区域的图像，在保持 中心线上的规定的关键点的位置不变的情况下，对变换后的中心线C2、C3……Cn的所有分 支进行平滑处理。例如，首先计算中心线C2的长度，然后设定规定的点间距，在保持中心线 C2上的规定的关键点的位置不变的情况下，按照规定的点间距生成新的点以替换原始的中 心线上的各点，从而实现中心线的平滑处理。但是平滑处理的方法并不限于此，只要能够实 现气道的中心线的平滑处理也可以使用其他方法。
[0055] 上述步骤S105和步骤S106的先后顺序没有限定，虽然本实施方式中为先进行重 定位中心再进行平滑处理，但也可以先进行平滑处理再进行重定位中心。
[0056] (实施方式2)
[0057] 图6是表示本发明实施方式2的医用图像处理装置的模块图。如图6所示，实施 方式2中的医用图像处理装置200除了包括医用图像处理装置100中的拍摄部101、取得部 102、计算部103、变换部104以外，还具备：关注区域提取部205和决定部206。其中，关注 区域提取部205不是必须的，可以省略。附图中赋予相同标号的部件表示与实施方式1相 同。下面仅说明不同点而省略相同部分的说明。
[0058] 关注区域提取部205从通过拍摄部101拍摄到的医用图像的构成要素中提取观察 者感兴趣的区域例如肺部区域，并将提取出的该区域作为关注区域。关注区域既可以是由 操作者手动指定的，也可以是基于计算机的计算而得到的规定区域。
[0059] 决定部206从对被检体进行拍摄的时间序列上的多个时相中决定一个时相作为 基准时相。取得部102根据决定部206所决定的基准时相P1，从基准时相P1下的肺部区 域中，取得树状线结构的气管和支气管的中心线C1作为基准线结构来进行接下来的从基 准时相P1下的气道的中心线C1到其他各个时相（P2、P3……Pn)下的气道的中心线（C2、 C3……Cn)的变换。
[0060] 关于基准时相的决定方法，可以基于提取出的关注区域的尺寸来决定，也可以基 于关注区域的像素值来决定，还可以根据关注区域的像素值，先计算出关注区域的平均密 度，再根据计算出的平均密度，决定基准时相。本发明的实施方式中可以基于肺部区域的尺 寸，决定作为所述基准时相的时相；也可以基于肺部区域的像素值，决定作为所述基准时相 的时相；也可以根据肺部区域的像素值先计算出平均肺密度，再根据计算出的平均肺密度， 决定基准时相。
[0061] 以下接着说明本实施方式的医用图像处理装置200的处理的流程。图7是表示本 发明实施方式2的医用图像处理装置的处理流程的流程图。
[0062] 医用图像处理装置200通过拍摄部201拍摄被检体在多个时相下的医用图像（步 骤S201)，该医用图像中包括观察者所关心的部位即关注区域，在本实施方式中为肺部区 域，但并不限定于肺部区域。接着，关注区域提取部205将作为关注区域的肺部区域从医 用图像中提取出来（步骤S202)。接着，决定部206基于肺部区域的参数来决定基准时相 P1 (步骤S203)，这里所说的肺部区域的参数是指，肺部区域的尺寸、肺部区域的像素值及 肺部区域的平均密度中的至少某一项。
[0063] 本实施方式中将最大吸气时相或最大呼气时相决定为基准时相。所述最大吸气时 相为吸气阶段中气管宽度最大的时相，所述最大呼气时相为呼气阶段中气管宽度最大的时 相。
[0064] 下面说明将最大吸气时相或最大呼气时相决定为基准时相的原因。
[0065]例如在呼气阶段（时相）的末端，由于肺部的收缩使得气道的某些细微的局部区 域难以被完整地提取，因此不希望直接提取这种时相下的气道的中心线。与此相对地，在最 大吸气时相或最大呼气时相这样的气道宽度最大的时相下，气道的中心线的提取最容易。 本实施方式中为了取得最完整且遗漏最少的气道的中心线，需要选择即使是细微的气道也 能够被最大程度提取的最大吸气时相或最大呼气时相，并将该时相作为基准时相来提取该 时相下的气道的中心线，以保证变换后的其他各个时相中的气道的中心线的完整性。
[0066] 通过将最大吸气时相或最大呼气时相决定为基准时相，本实施方式能够使包括细 微的局部区域在内的气道的所有的分支被完整提取，能够得到更完整、可靠性更高的气道 的观察图像。
[0067] 接下来，在步骤S204中，取得部102根据决定部206所决定的基准时相P1，从基 准时相P1下的肺部区域中，取得树状线结构的气管和支气管的中心线C1作为基准线结构， 并在步骤S205通过进行配准计算得到肺部区域中各要素从基准时相P1到其他时相（P2、 P3……Pn)的运动矢量（V2、V3……Vn)，在步骤S206中基于中心线C1和运动矢量（V2、 V3……Vn)，将中心线C1变换为其他各时相P2、P3……Pn下的气道的中心线（C2、C3…… Cn) 〇
[0068] 与实施方式1中的步骤S102和步骤S103同样地，实施方式2中的步骤S204和步 骤S205也没有特定的执行顺序，既可以先执行步骤S204,也可以先执行步骤S205,也可以 同时执行步骤S204和S205。
[0069] 此外，将从图7中的"开始"到S206的步骤称为"B过程"。
[0070] (变形例）
[0071] 作为实施方式2的变形例，可以与实施方式同样地，在步骤S206后，还通过变换部 104将变换后的中心线C2、C3……Cn重新定位到气道的中心，并进行平滑化处理。
[0072] 即在图7的"B过程"之后执行气道的中心线的重定位处理和平滑化处理，所述气 道的中心线的重定位处理和平滑化处理与实施方式1的变形例相同，此处省去说明。
[0073] (实施方式3)
[0074] 图8是表示本发明实施方式3的医用图像处理装置的模块图。
[0075] 如图8所示，实施方式3中具备：拍摄部301、取得部302、计算部303、变换部304、 比较部305。实施方式3与实施方式1相比，不同点在于：实施方式3中的取得部302、计算 部303、变换部304为实施方式1中的取得部102、计算部103、变换部104的变形，比较部 305为相对于实施方式1增加的部分。以下仅针对不同的部分进行说明。
[0076] 实施方式3中为了使基于比较部207的比较结果的精度更高，代替实施方式1中 的气管和支气管的中心线而使用将气管和支气管整体覆盖的掩模作为线结构，进行图像处 理，但也可以像实施方式1那样使用气管和支气管的中心线来进行图像处理。
[0077] 取得部302与取得部102的区别在于，取得部102仅取得基准时相P1下的气管和 支气管的线结构C1，而取得部302不仅取得基准时相P1下的气管和支气管的线结构Ml，还 取得其他各个时相（P2、P3……Pn)下的气管和支气管的线结构（M2i、M3i……Mni)作为临 时线结构。
[0078] 即，取得部302除了能够以时间序列上的某一时相作为基准时相P1、从基准时相 P1下的肺部区域中取得树状线结构的气管和支气管的掩模Ml作为基准线结构以外，还能 够取得其他各个时相（P2、P3……Pn)下的肺部区域中的树状线结构的气管和支气管的原始 掩模（M2i、M3i……Mni)作为临时线结构。所述临时线结构是指在后续的变换过程中会发 生变换的线结构。
[0079] 计算部303除了能够如实施方式1的计算部103那样地计算出肺部区域中的构成 要素从基准时相P1到其他各个时相（P2、P3……Pn)的运动矢量（V2、V3……Vn)以外，还 能够在由后述的比较部305得到的比较结果为大于阈值的情况下，对作为树状体的支气管 的指定分支进行局部刚性配准，由此计算出变换后的掩模（M2、M3......Μη)的指定分支上的 构成要素与从肺部区域中直接提取的原始掩模（M2i、M3i……Mni)的指定分支上的构成要 素之间的移动量。
[0080] 变换部304除了能够如实施方式1的变换部104那样、基于由计算部303计算出 的从基准时相P1到其他各个时相（P2、P3……Pn)的运动矢量（V2、V3……Vn)和由取得部 302取得的基准时相P1下的肺部区域的掩模M1、将基准时相P1下的掩模Ml分别变换为作 为目标时相的其他各个时相（P2、P3……Pn)下的掩模（M2、M3……Μη)以外，还能够在由后 述的比较部207得到的比较结果为阈值以下的情况下，使变换后的掩模和从肺部区域中直 接提取的原始掩模（M2i、M3i……Mni)融合而生成新的掩模（M2n、M3n……Mnn)，将所述新 的掩模作为其他各个时相（P2、P3......Pn)下的掩模。
[0081] 比较部305将变换后的掩模与从肺部区域中提取的原始掩模M2i、M3i……Mni进 行比较，将两者的相似度作为比较结果。相似度的计算可以通过如下的数学式1来进行。
[0082] [数学式1]
[0083]
[0084] 上述的式中的A为变换得到的其他各个时相（P2、P3......Pn)下的掩模，上述的 式中的B为从肺部区域中直接提取的其他各个时相（P2、P3……Pn)下的原始掩模（M2i、 M3i......Mni)，J为杰卡德系数（Jaccard index)，即相似度系数。
[0085] 按照通过比较部305得到的比较结果J与规定的阈值的大小关系，计算部303和 变换部304进行不同的处理。
[0086] 以下，接着说明本实施方式的医用图像处理装置300的处理的流程。图9是表示 本发明实施方式3的医用图像处理装置的处理流程的流程图。
[0087] 在步骤S301中，拍摄部301拍摄被检体在多个时相下的医用图像（步骤S301)。
[0088] 在步骤S302中，取得部302以时间序列上的某一时相作为基准时相P1，从基准 时相P1下的肺部区域中，取得树状线结构的气管和支气管的掩模Ml作为基准线结构，并 且取得其他各个时相（P2、P3……Pn)下的肺部区域中的气管和支气管的原始掩模（M2i、 M3i……Mni)作为临时线结构。
[0089] 在步骤S303中，计算部303对基准时相P1下的肺部区域中的构成要素和其他时 相（P2、P3……Pn)下的肺部区域中的构成要素分别进行配准，计算肺部区域中的各要素从 基准时相P1到其他时相（P2、P3……Pn)的运动矢量（V2、V3……Vn)。
[0090] 此外，上面所述的配准优选的是使用非刚体配准，其配准方法没有特别的限定，可 以采用现有技术中的配准方法。
[0091] 上述步骤S302和步骤S303没有特定的执行顺序，既可以先执行步骤S302,也可以 先执行步骤S303,也可以同时执行步骤S302和S303。
[0092] 在步骤S304中，变换部304利用在步骤S302中由取得部302取得的基准时相P1 下的掩模M1、和在步骤S303中由计算部303计算出的肺部区域中各要素从基准时相P1到 其他各个时相（P2、P3……Pn)的运动矢量（V2、V3……Vn)，对掩模Ml分别进行变换，得到 变换后的其他各时相下的掩模（M2、M3……Μη)。若以基准时相P1下的掩模Ml向时相P2 下的掩模M2的变换为例，则变换部206将对应于掩模Ml的运动矢量V2赋予给掩模Ml而 得到变换后的掩模，该掩模即为时相P2下的变换后的掩模M2。
[0093] 变换后的掩模(M2、M3……Μη)为去除了随肺部区域的运动而产生的气道的位置移 动的、仅表示气道自身运动的掩模。
[0094] 根据上述的处理过程，本实施方式去除了由肺部区域的移动带来的气道位置的变 化，由此能够消除误差带来的影响，只关注气道自身的变化，得到精度更高的医用图像。
[0095] 接着，比较部305将变换后的掩模（M2、M3……Μη)与从肺部区域中提取的原始掩 模（M2i、M3i……Mni)进行比较，将各个时相下的两个掩模之间的相似度即上述数学式1中 的J作为比较结果（步骤S305)，当J为阈值以下的情况下（步骤S306中为"是")，认为相 似度可以接受，此时，通过变换部304使变换后的掩模和从肺部区域中直接提取的原始掩 模融合而生成新的掩模（M2n、M3n......Mnn)，用所述新的掩模替换从肺部区域中直接提取的 原始掩模（步骤S308)。
[0096] 当J为大于阈值的情况下（步骤S306中为"否"），认为相似度不可以接受，此时， 通过计算部303在变换后的掩模（M2、M3……Μη)的指定分支与从肺部区域中提取的原始掩 模（M2i、M3i……Mni)的指定分支之间进行局部刚性配准来计算移动量，变换部304基于所 述移动量对变换后的掩模（M2、M3……Μη)进一步进行变换，之后，比较部305进行再次变换 后的掩模与从肺部区域中直接提取的原始掩模的比较（步骤S307)，在比较部305的比较结 果变为阈值以下之前，重复进行基于计算部303的局部刚性配准及基于变换部304的对变 换后的掩模的再变换。
[0097] 所述指定分支既可以由操作者根据显示在显示器上的两个掩模的各个分支上的 偏离程度来指定，也可以通过计算机自动识别两个掩模的各个分支上的偏离程度来指定。 [0098] 根据上述的处理过程，本实施方式在配准精度不可接受的情况，重复进行配准直 到配准精度可接受为止，从而能够提高配准的精度。
[0099] 此外本实施方式优选的是，将吸气时相和呼吸时相下的掩模融合而生成新的掩 模。此情况下，能够消除因例如吸气时相下提取的线结构中有遗漏或呼气时相下提取的线 结构中有遗漏等某一呼吸阶段的提取过程中有遗漏而造成的误差，得到更加完整的气道分 支的线结构。
[0100] 图10A表示融合前的一对重叠状态下的掩模，图10A中的深色部分表示对吸气时 相下的掩模进行变换而得到的呼气时相下的掩模，图10A中的浅色部分表示直接在同一呼 气时相下提取到的原始掩模。从图10A可以看出，由吸气时相下的掩模变换得到的呼气时 相下的掩模的分支比直接在同一呼气时相下提取出的掩模的分支要完整。
[0101] 图10B示出了将重叠状态下的一对掩模进行融合后的形态。
[0102] 此外，本实施方式中优选的是：在用新的掩模M2n、M3n......Mnn替换从肺部区域中 提取的原始掩模M2i、M3i……Mni (步骤S308)之后，从新的掩模M2n、M3n……Mnn中提取 新的气道的中心线C2n、C3n……Cnn，分别作为其他各个时相P2、P3……Pn下的气道的中心 线，之后对新的气道的中心线C2n、C3n……Cnn中的各个分支分配标号，将其与基准时相P1 下的带标号的气道的中心线进行匹配，获得表示两者匹配程度的匹配结果（步骤S309)。
[0103] 图11A、图11B是作为对比例而表示进行了本实施方式的变换后提取的中心线树 与直接提取的中心线树之间的中心线匹配的情况的图。图11A是在某一吸气时相下进行了 本实施方式的变换后提取的带匹配标号的中心线树。图11B是直接在某一呼气时相下提取 出的带匹配标号的中心线树。此时，图11B与图11A的中心线匹配结果为80%，图11B中用 圆圈标记的部分为与所述某一吸气时相下的带匹配标号的中心线树存在区别的部分。通过 比较图11B与图11A可以看出，某一时相下进行了本实施方式的变换后提取的中心线树与 其他时相下直接提取的中心线树相比，前者比后者得到的气道分支更加完整，由于后者在 某些气道分支上存在缺失，因此两者的中心线匹配仅为80%。
[0104] 之后，发明人按照本实施方式示出的方法将基准时相下的掩模变换为图11B所示 的呼气时相下的掩模，提取出该呼气时相下的中心线树，并对指定分支进行局部刚性配准， 在局部刚性配准后，重新进行图11A和图11B的中心线匹配，由于良好的配准精度，此时中 心线匹配的结果接近100%。
[0105] 根据两次中心线匹配的结果可知，通过本实施方式，能够得到更完整的气道分支 的线结构。另外，若在本实施方式中替代掩模而使用气道的中心线、即在步骤S302中通过 取得部302取得基准时相和其他各个时相下的气道的中心线，则在步骤S309中仅对新的气 道的中心线C2n、C3n……Cnn中的各个分支分配标号，将其与基准时相P1下的带标号的气 道的中心线进行匹配，获得表示两者匹配程度的匹配结果，而不需要提取中心线的步骤。
[0106] (实施方式4)
[0107] 图12是表示本发明实施方式4的医用图像处理装置的模块图。
[0108] 如图12所示，实施方式4中的医用图像处理装置400除了包括医用图像处理装置 300中的拍摄部301、取得部302、计算部303、变换部304和比较部305以外，还具备：关注 区域提取部406和决定部407。其中，关注区域提取部406不是必须的，可以省略。附图中 赋予相同标号的部件表示与实施方式3相同。下面仅说明不同点而省略相同部分的说明。
[0109] 关注区域提取部406从通过拍摄部301拍摄到的医用图像的构成要素中提取观察 者感兴趣的区域例如肺部区域，并将提取出的该区域作为关注区域。关注区域既可以是由 操作者手动指定的，也可以是基于计算机的计算而得到的规定区域。
[0110] 决定部407从对被检体进行拍摄的时间序列上的多个时相中决定一个时相作为 基准时相。取得部302根据决定部407所决定的基准时相P1，从基准时相P1下的肺部区域 中，取得树状线结构的气管和支气管的中心线Cl作为基准线结构来进行接下来的从基准 时相P1下的中心线C1到其他各个时相（P2、P3……Pn)下的中心线（C2、C3……Cn)的变 换。
[0111] 关于基准时相的决定方法，可以基于提取出的关注区域的尺寸来决定，也可以基 于关注区域的像素值来决定，还可以根据关注区域的像素值，先计算出关注区域的平均密 度，再根据计算出的平均密度，决定基准时相。本发明的实施方式中可以基于肺部区域的尺 寸，决定作为所述基准时相的时相；也可以基于肺部区域的像素值，决定作为所述基准时相 的时相；也可以根据肺部区域的像素值先计算出平均肺密度，再根据计算出的平均肺密度， 决定基准时相。
[0112] 以下接着说明本实施方式的医用图像处理装置400的处理的流程。图13是表示 本发明实施方式4的医用图像处理装置的处理流程的流程图。
[0113] 医用图像处理装置400通过拍摄部301拍摄被检体在多个时相下的医用图像（步 骤S301)。接着，关注区域提取部406将作为关注区域的肺部区域从医用图像中提取出来 (步骤S302)。接着，决定部303基于肺部区域的参数来决定基准时相P1 (步骤S303)，这里 所说的肺部区域的参数是指，肺部区域的尺寸、肺部区域的像素值及肺部区域的平均密度 中的至少某一项。
[0114] 本实施方式中将最大吸气时相或最大呼气时相决定为基准时相。所述最大吸气时 相为吸气阶段中气管宽度最大的时相，所述最大呼气时相为呼气阶段中气管宽度最大的时 相。
[0115] 将最大吸气时相或最大呼气时相决定为基准时相的理由与实施方式2相同，因此 省略说明。
[0116] 通过将最大吸气时相或最大呼气时相决定为基准时相，本实施方式能够使包括细 微的局部区域在内的气道的所有的分支被完整提取，能够得到更完整、可靠性更高的气道 的观察图像。
[0117] 本实施方式的接下来步骤与实施方式3相同，因此省略说明。
[0118] 根据以上实施方式1~4所述的结构，能够得到以下的效果。
[0119] 根据实施方式所涉及的医用图像处理装置，变换部利用由取得部取得的基准时相 P1下的线结构C1、和由计算部计算出的肺部区域中各要素从基准时相P1到其他各个时相 P2、P3……Pn的运动矢量V2、V3……Vn，将所述中心线C1分别变换为其他各个时相下的线 结构 C2、C3......Cn。
[0120] 所述变换后的线结构C2、C3……Cn为，去除了随肺部区域的运动而产生的气道的 位置移动的、仅表示气道自身运动的线结构，从而能够精确地检测气道自身的变化。
[0121] 此外，根据实施方式所涉及的医用图像处理装置，决定部基于肺部区域的尺寸、肺 部区域的像素值及肺部区域的平均密度中的至少某一项来决定基准时相。优选的是将最大 吸气时相或最大呼气时相决定为基准时相。
[0122] 从而实施方式能够使包括细微的局部区域在内的气道的所有的分支被完整地提 取，能够得到更完整、可靠性更高的气道的观察图像。
[0123] 此外，根据实施方式所涉及的医用图像处理装置，取得部不仅取得基准时相P1下 的气管和支气管的线结构Ml，还取得其他各个时相（P2、P3……Pn)下的气管和支气管的线 结构（M2i、M3i……Mni)作为临时线结构。变换部利用线结构Ml和运动矢量（V2、V3…… Vn)，将所述线结构Ml分别变换为其他各个时相下的线结构（M2、M3……Μη)，比较变换后的 线结构（M2、M3……Μη)和临时线结构（M2i、M3i……Mni)，在比较结果为阈值以下的情况 下，将两个线结构融合而生成新的线结构，在比较结果为大于阈值的情况下，对变换后的线 结构的指定分支重复进行局部刚性配准和再变换，直到比较结果变为阈值以下。
[0124] 从而实施方式能够提高配准的精度，进而能够使包括细微的局部区域在内的气道 的所有的分支被完整地提取，能够得到更完整、可靠性更高的气道的观察图像。
[0125] 此外，根据实施方式所涉及的医用图像处理装置，通过在线结构融合后，对新的线 结构的中心线与基准时相下的中心线进行匹配，能够验证配准过程的精度，从而保证了能 够取得更完整的气道分支的线结构。
[0126] 以上说明了本发明的各实施方式，但以上说明的实施方式只是作为例示，不意味 着对发明的范围进行限定。这些新的实施方式能够通过其他各种方式实施。另外，在不脱 离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式及其变形都包含在 发明的范围和主旨中，并且包含在权利要求的范围所记载的发明及与其均等的范围中。
【主权项】
1. 一种医用图像处理装置，其特征在于： 包括： 取得部，将某一时相作为基准时相，从基准时相下的被检体的医用图像中，取得树状体 的线结构作为基准线结构； 计算部，基于基准时相下的所述被检体的医用图像和作为目标时相的其他时相下的所 述被检体的医用图像，计算医用图像的构成要素从所述基准时相到所述目标时相的运动矢 量；以及 变换部，基于所述运动矢量对所述基准线结构进行变换，将变换后的所述基准线结构 作为所述目标时相下的目标线结构。2. 如权利要求1所述的医用图像处理装置，其特征在于： 所述取得部还取得所述目标时相下的所述医用图像的树状体的临时线结构； 所述医用图像处理装置还具备比较部， 所述比较部将变换后的所述基准线结构与所述临时线结构进行比较，在比较结果为阈 值以下的情况下，通过所述变换部使变换后的所述基准线结构和所述临时线结构融合而生 成新的线结构，将所述新的线结构作为所述目标时相下的目标线结构。3. 如权利要求2所述的医用图像处理装置，其特征在于： 在由所述比较部得到的比较结果为大于所述阈值的情况下，所述计算部针对所述树状 体的指定分支进行局部刚性配准来计算移动量，所述变换部基于所述移动量对变换后的所 述基准线结构进一步进行变换后，所述比较部再次进行变换后的所述基准线结构与所述临 时线结构的比较， 在比较部的比较结果变为所述阈值以下之前，重复进行基于所述计算部的所述局部刚 性配准及基于所述变换部的对变换后的所述基准线结构的再变换。4. 如权利要求2所述的医用图像处理装置，其特征在于： 所述基准线结构、所述临时线结构和所述目标线结构为所述树状体的管部的中心线。5. 如权利要求2所述的医用图像处理装置，其特征在于： 所述基准线结构、所述临时线结构和所述目标线结构为对树状体的管部的整体进行覆 盖的掩模。6. 如权利要求1或2所述的医用图像处理装置，其特征在于： 还具备决定部，所述决定部基于关注区域的尺寸，决定作为所述基准时相的时相。7. 如权利要求1或2所述的医用图像处理装置，其特征在于： 还具备决定部，所述决定部基于关注区域的像素值，决定作为所述基准时相的时相。8. 如权利要求7所述的医用图像处理装置，其特征在于： 所述决定部基于所述像素值，计算关注区域的平均密度，并根据计算出的所述关注区 域的平均密度决定作为所述基准时相的时相。9. 如权利要求6所述的医用图像处理装置，其特征在于： 所述决定部将最大吸气时相或最大呼气时相决定为所述基准时相。10. 如权利要求7所述的医用图像处理装置，其特征在于： 所述决定部将最大吸气时相或最大呼气时相决定为所述基准时相。11. 如权利要求1或2所述的医用图像处理装置，其特征在于： 所述计算部通过对所述基准时相与所述目标时相下的所述医用图像执行配准，计算所 述运动矢量。12. 如权利要求1或2所述的医用图像处理装置，其特征在于： 所述变换部基于所述目标时相下的所述医用图像，在保持所述目标线结构上的规定的 关键点的位置不变的情况下，使所述目标线结构的所有分支的中心线重定位到所述目标时 相下的所述树状体的管部的中心。13. 如权利要求1或2所述的医用图像处理装置，其特征在于： 所述变换部在保持所述目标线结构上的关键点的位置不变的情况下，对所述目标线结 构的所有分支进行平滑处理。14. 如权利要求1所述的医用图像处理装置，其特征在于： 所述变换部将对应于所述基准线结构的所述运动矢量赋予给所述基准线结构，并将按 照所述运动矢量运动后的线结构作为变换后的所述基准线结构。15. 如权利要求1所述的医用图像处理装置，其特征在于： 所述医用图像为3D医用图像。16. 如权利要求1所述的医用图像处理装置，其特征在于： 所述医用图像处理装置还具备关注区域取得部，所述关注区域取得部在所述医用图像 中提取关注区域的图像，仅对关注区域的图像进行图像处理。17. -种医用图像处理方法，其特征在于： 包括如下步骤： 取得步骤，将某一时相作为基准时相，从基准时相下的被检体的医用图像中，取得树状 体的线结构作为基准线结构； 计算步骤，基于基准时相下的所述被检体的医用图像和作为目标时相的其他时相下的 所述被检体的医用图像，计算医用图像的构成要素从所述基准时相到所述目标时相的运动 矢量；以及 变换步骤，基于所述运动矢量对所述基准线结构进行变换，将变换后的所述基准线结 构作为所述目标时相下的目标线结构。18. 如权利要求17所述的医用图像处理方法，其特征在于： 在所述取得步骤中还取得所述目标时相下的所述医用图像的树状体的临时线结构； 所述医用图像处理方法还包括比较步骤， 在所述比较步骤中将变换后的所述基准线结构与所述临时线结构进行比较，在比较结 果为阈值以下的情况下，通过所述变换步骤使变换后的所述基准线结构和所述临时线结构 融合而生成新的线结构，将所述新的线结构作为所述目标时相下的目标线结构。19. 如权利要求18所述的医用图像处理方法，其特征在于： 在由所述比较步骤得到的比较结果为大于所述阈值的情况下，在所述计算步骤中针对 所述树状体的指定分支进行局部刚性配准来计算移动量，在所述变换步骤中基于所述移动 量对变换后的所述基准线结构进一步进行变换后，在所述比较步骤中再次进行变换后的所 述基准线结构与所述临时线结构的比较， 在比较步骤的比较结果变为所述阈值以下之前，重复进行基于所述计算步骤的所述局 部刚性配准及基于所述变换步骤的对变换后的所述基准线结构的再变换。20. 如权利要求18所述的医用图像处理方法，其特征在于： 所述基准线结构、所述临时线结构和所述目标线结构为所述树状体的管部的中心线。21. 如权利要求18所述的医用图像处理方法，其特征在于： 所述基准线结构、所述临时线结构和所述目标线结构为对树状体的管部的整体进行覆 盖的掩模。22. 如权利要求17或18所述的医用图像处理方法，其特征在于： 还包括决定步骤，所述决定步骤中基于关注区域的尺寸，决定作为所述基准时相的时 相。23. 如权利要求17或18所述的医用图像处理方法，其特征在于： 还包括决定步骤，所述决定步骤中基于关注区域的像素值，决定作为所述基准时相的 时相。24. 如权利要求23所述的医用图像处理方法，其特征在于： 所述决定步骤基于所述像素值，计算关注区域的平均密度，并根据计算出的所述关注 区域的平均密度决定作为所述基准时相的时相。25. 如权利要求22所述的医用图像处理方法，其特征在于： 在所述决定步骤中将最大吸气时相或最大呼气时相决定为所述基准时相。26. 如权利要求23所述的医用图像处理方法，其特征在于： 在所述决定步骤中将最大吸气时相或最大呼气时相决定为所述基准时相。27. 如权利要求17或18所述的医用图像处理方法，其特征在于： 在所述计算步骤中通过对所述基准时相与所述目标时相下的所述医用图像执行配准， 计算所述运动矢量。28. 如权利要求17或18所述的医用图像处理方法，其特征在于： 在所述变换步骤中基于所述目标时相下的所述医用图像，在保持所述目标线结构上的 规定的关键点的位置不变的情况下，使所述目标线结构的所有分支的中心线重定位到所述 目标时相下的所述树状体的管部的中心。29. 如权利要求17或18所述的医用图像处理方法，其特征在于： 在所述变换步骤中在保持所述目标线结构上的关键点的位置不变的情况下，对所述目 标线结构的所有分支进行平滑处理。30. 如权利要求17所述的医用图像处理方法，其特征在于： 在所述变换步骤中将对应于所述基准线结构的所述运动矢量赋予给所述基准线结构， 并将按照所述运动矢量运动后的线结构作为变换后的所述基准线结构。31. 如权利要求17所述的医用图像处理方法，其特征在于： 所述医用图像为3D医用图像。32. 如权利要求17所述的医用图像处理方法，其特征在于： 所述医用图像处理方法还包括关注区域取得步骤，在所述关注区域取得步骤中，在所 述医用图像中提取关注区域的图像，仅对关注区域的图像进行图像处理。
【文档编号】G06T7/00GK106033603SQ201510104418
【公开日】2016年10月19日
【申请日】2015年3月10日
【发明人】王艳丽, 科斯塔斯·普莱克斯, 王艳华, 王少彬, 许敏丰, 赵建春, 陈颀, 马尔科·拉泽托
【申请人】东芝医疗系统株式会社