用于在至少一个界面中可视化对象的至少一个区的方法与流程

用于在至少一个界面中可视化对象的至少一个区的方法
1.本发明涉及一种用于可视化对象的至少一个区的方法，更具体来说，用于在至少一个界面中可视化患者的至少一个区的方法。
2.医学利用医学成像技术生成患者身体内部的图像以用于临床分析和医学干预，以及一些器官或组织的视觉表示。医学成像旨在揭示例如隐藏在皮肤和骨骼中的身体内部结构，以诊断和治疗疾病或准备任何手术。
3.例如通过计算机断层扫描(ct)、磁共振成像(mri)、正电子发射断层扫描(pet)或超声波生成的医学图像可以是2维(2d)或3维(3d)图像。3d图像可以从2d图像的堆栈中计算或直接获得。
4.每个图像包括像素(用于2d图像)或体素(用于3d图像)，值与所述图像的每个像素或体素的每个通道相关联。在例如单色图像的情况下，图像可以仅包括一个通道。相反，在彩色图像的情况下，图像可以包括多个通道，例如每个原色(红、绿、蓝)一个通道。通过扩展或类比，术语体素和像素可以用于2d或3d图像中的任何图像。
5.2d医学图像通常是允许放射科医生进行诊断、测量感兴趣的结构和评估治疗策略的基于切片的表示。然而，外科医生受益于在自然3d观看环境中，例如由虚拟和增强现实沉浸式可视化技术提供的环境中将患者详细地按比例表示为“化身”或“数字双胞胎”。
6.3d医学图像的体渲染通常用于多种医疗保健环境，但渲染图像的质量以及感兴趣的解剖结构之间的对比度很大程度上取决于应用于图像的传递函数的类型。
7.应用于图像的传递函数旨在通过修改所述表示的像素或体素的颜色(即发射特性)和透明度(也称为不透明度，即吸收特性)来修改所述图像的表示或渲染。
8.传统软件允许用户应用预定义的传递函数，所述传递函数将光学特性归因于像素或体素。此类预定义的传递函数并不总是适合于对应分析。
9.软件有时允许手动地调整传递函数的一些超参数。然而，所述传递函数的手动设计可能是一项冗长且耗时的任务，并且不一定导致针对相关情况的传递函数的最佳优化。
10.还需要使用不同界面来促进医学专家之间的通信。具体来说，训练放射科医生使用2d查看界面，而外科医生使用准确地模拟手术室中的患者的3d界面。这种互动可以受益于促进疾病诊断或手术准备的专业知识。
11.为了这些目的，本发明提出一种由计算机构件实施以在至少一个界面中可视化对象的至少一个区的方法，所述方法包括以下步骤：
[0012]-获得所述区的至少一个图像，所述图像包括至少一个通道，所述图像是包括像素或体素的2维或3维图像，值与所述图像的每个像素或体素的每个通道相关联，所述图像的表示显示在界面中，
[0013]-从用户获得至少一个注释，所述注释定义所述图像的一组选定像素或体素，
[0014]-基于所述选定像素或体素计算传递函数并且将所述传递函数应用于图像的每个通道的值，
[0015]-更新界面中的图像的表示，其中所述表示的像素或体素的颜色和透明度取决于传递函数。
[0016]
本发明适用于医学图像以及其它类型的图像。本发明不限于可视化患者身体的至少一个区。
[0017]
与现有技术相反，在本发明的情况下，传递函数不是仅通过手动地微调所述传递函数的超参数来预定义或修改的。实际上，在本发明中，图像的注释用于调整传递函数，因此调整图像的所得表示。这种过程被称为传递函数的半自动定义或参数化。
[0018]
传递函数的这种符合人体工程学的动态修改对于基于图像的内容快速地且最佳地修改传递函数是特别有效的。
[0019]
界面可以是图形用户界面(gui)。用户可以通过例如鼠标、键盘和/或虚拟现实控制器的至少一个控制器与界面交互。
[0020]
所述方法可以包括以下步骤：
[0021]-获得所述区的至少一个2维或2d图像，所述2d图像包括像素和至少一个通道，值与所述2维图像的每个像素的每个通道相关联，所述2d图像的表示显示在第一界面中，
[0022]-获得所述区的至少一个3维或3d图像，所述3d图像包括体素和至少一个通道，值与所述3d图像的每个体素的每个通道相关联，3d图像的体素中的至少一些对应于2d图像的一些像素，所述3d图像的表示显示在第二界面中，
[0023]-从用户获得至少一个注释，所述注释定义所述2d图像的一组选定像素或所述3d图像的一组选定体素，
[0024]-通过选择分别与所述2d或3d图像的选定像素或体素相对应的3d或2d图像的体素或像素，分别将2d或3d图像中选择的一组像素或体素的选择传播到3d或2d图像，
[0025]-基于所述2d图像的选定像素计算第一传递函数并且将所述第一传递函数应用于2d图像的每个通道的值，
[0026]-更新第一界面中的2d图像的表示，其中所述表示的像素的颜色和透明度取决于第一传递函数，
[0027]-基于所述3d图像的选定体素计算第二传递函数并且将所述第二传递函数应用于3d图像的每个通道的值，
[0028]-更新第二界面中的3d图像的表示，其中所述表示的体素的颜色和透明度取决于第二传递函数。
[0029]
根据这些特征，第一界面和2d图像的表示(或2d表示)可以适合于例如放射科医生的第一用户的需求，并且第二界面和3d图像的表示(或3d表示)可以适合于例如外科医生的第二用户的需求。
[0030]
以此方式，可能在2d或3d表示中的一个上看不见的待检测元素将有更好的机会在另一表示上检测到。因此，使用2d和3d界面两者的这种双重验证改进检测。当然，同一用户可以使用第一和第二界面两者，以可视化2d和3d表示两者并且与2d和3d表示两者交互。
[0031]
一组选定像素或体素从一个图像到另一图像的传播允许第一和第二传递函数的动态和同时调整。换句话说，一个界面上的注释对两个界面上的图像的表示都有影响。
[0032]
此外，根据上述特征，将注释(例如，感兴趣区域)从一个界面传递到另一界面。然而，传递函数不传递，此传递函数在用户的每个注释处针对每个界面重新计算。这允许以交互和动态的方式获得用于2d和3d界面中的每一个的最佳传递函数。
[0033]
这种行为促进界面之间的交互，例如两个用户之间的交互。
[0034]
可以通过以下方式更新对应图像的一组选定像素或体素：通过至少一个界面从用户获得至少一个额外注释。
[0035]
换句话说，对两个界面上的图像表示的更新可以是交互过程，其中每个连续的注释对所述表示具有影响。
[0036]
可以在2d界面或第一界面中选择一组像素并且可以在3d或第二界面中选择一组体素，在两个界面中选定的对应像素和体素的并集可以用于计算对应的第一和第二传递函数。
[0037]
在这种情况下，如果初始传递函数参数化不是最佳的，则可以在第一或第二界面中重新调整注释位置，并且传递函数重新参数化以允许朝向最佳图像表示收敛。
[0038]
所述注释可以涉及从一组选定像素或体素中添加或移除像素或体素。
[0039]
更具体来说，可以通过一个界面中的注释添加一些像素或体素，然而可以通过另一界面中的注释移除先前添加的一些像素或体素。
[0040]
可以根据以下步骤计算传递函数中的至少一个：
[0041]-选择第一感兴趣域a和第二感兴趣域b，每个域包括基于所述选定像素的一组像素或体素，
[0042]-分别基于第一感兴趣域a和第二感兴趣域b的像素或体素创建第一特征张量和第二特征张量，
[0043]-定义将通过与第一域a和第二域b相关联的特征的统计的最佳最大均值差异(mmd)区分第一域a与第二域b的统计测试，
[0044]-对于图像的每个像素或体素，用以下等式定义所述像素或体素的颜色c：
[0045][0046]
其中f*(v)是由以下等式定义的像素或体素v的值的见证函数
[0047][0048]
其中k是核，其定义表示与属于域a和yj的像素或体素xi相关联的特征和与像素或体素v相关联的特征之间的距离的值，其中m是a中的像素或体素的数目并且n是域b中的像素或体素的数目
[0049]-对于图像的每个像素或体素，用以下等式定义所述像素或体素的透明度t：
[0050][0051]
其中：
[0052]
ha(v)＝(k*ρ)(v)是具有核k的与第一域a的体素v相关联的特征的平滑密度，即核与特征密度的卷积，
[0053]
hb(v)＝(k*ρ)(v)是具有核k的与第一域a的体素v相关联的特征的平滑密度，即核与特征密度的卷积，以及
[0054]za,b
是标准化常数，确保max(z
a,b
)＝c，其中c≤1，即定义最大透明度因子的预定常
数。
[0055]
用于计算传递函数的方法需要很少计算能力并且适合于大量的应用。
[0056]
可以根据以下步骤计算传递函数中的至少一个：
[0057]-选择第一感兴趣域a和第二感兴趣域b，每个域包括基于所述选定像素的一组像素或体素，
[0058]-分别基于第一感兴趣域a和第二感兴趣域b创建第一特征张量和第二特征张量，
[0059]-将第一感兴趣域a和第二感兴趣域b中的像素或体素采样为具有和2na≤n
max
，其中na是第一域a中的样本像素或体素的数目，并且nb是第二域b中的样本像素或体素的数目，并且其中n
max
是预定值，
[0060]-对于图像的每个像素或体素，定义所述像素或体素的颜色c，其中f
*
(v)＝(βpa(v)+1)g(v)，作为属于域a的像素或体素的移位概率乘以所述像素或体素v的一个特征的值g(v)的归一化乘积。β是预定义常数。
[0061]-对于图像的每个像素或体素，用以下等式定义所述像素或体素的透明度t：
[0062][0063]
其中：
[0064]
ha(v)＝(k*ρ)(v)是具有核k的与第一域a的体素v相关联的特征的平滑密度，即核与特征密度的卷积，
[0065]
hb(v)＝(k*ρ)(v)是具有核k的与第一域a的体素v相关联的特征的平滑密度，即核与特征密度的卷积，以及
[0066]za,b
是标准化常数，确保max(z
a,b
)＝c，其中c≤1，即定义最大透明度因子的预定常数。
[0067]
用于计算传递函数的方法提供允许用户更好地识别表示中的感兴趣部分的性能，即使当此种识别在2d或3d图像上显得特别困难或不明确时也是如此。
[0068]
第一感兴趣域可以基于注释定义为一组选定像素或体素。
[0069]
第二感兴趣域可以基于注释自动地定义为不含有一组选定像素或体素中的像素或体素的另一组像素或体素。
[0070]
或者，第二感兴趣域可以基于互补注释定义为由用户选择的另一组像素或体素。
[0071]
对于对应感兴趣域的每个像素，每个特征张量可以定义从以下特征列表中选择至少一个特征值：
[0072]
·
像素或体素v的值，
[0073]
是像素或体素值的正则化梯度(在尺度l上)，正则化由高斯卷积执行，其中是零平均值和标准偏差l的高斯，并且i是图像栈，
[0074]
·sl
(v)是像素或体素v周围的大小为l的补丁的熵，
[0075]
·
是像素或体素v处的卷积图像的差异，
[0076]
其中(l1,l2)是与高斯相关联的两个尺度
[0077]
i是图像栈，
[0078]
·
σ
l
(v)是以像素或体素v为中心的大小为l的补丁的标准偏差，
[0079]
·
kl
l,m
(v)是以像素或体素v为中心的大小为l的补丁与大小为l+m的周围补丁之间的kullback-liebler距离，
[0080]
·
是以像素或体素v为中心的大小为l的补丁中的体素的中值，
[0081]
·
是在像素或体素v处的卷积图像的对数导数，
[0082]
·dp－umap,l,m
(v)是由以像素或体素v为中心的大小为l的补丁和大小为l+m的周围补丁的参数umap生成的潜在空间中的低维欧式距离。此特征用于专门的技术方案，其中已经组装医学图像数据库。参数umap已经在3个主轴(矢状、冠状和轴向)中的2d图像切片上的一组预定义的补丁大小上进行训练。已经进行训练以将补丁的维度减少到2d潜在空间。当评估距离时，l和l+m近似为用于训练的最接近值。
[0083]
·
(r,θ)
p-umap
(v)是由像素或体素v上的参数umap中心生成的像素或体素v在潜在空间上的极坐标，
[0084]
·sp-umap,l
(v)是像素v周围的大小为l的域的凸包表面
[0085]
所述核k可以从以下核列表中选择：
[0086]-[0087]-[0088]-[0089]-[0090]-[0091]
其中：
[0092]-x和x'是对应像素或体素的特征、大小高达8的向量，
[0093]-{σ,l,p,σb,σv,α,γ}是核的超参数，这些参数预定义或自动地设定或由用户设定。
[0094]
上述超参数可以由至少一个用户通过至少一个界面修改或设定。
[0095]
根据本发明，相同的医学图像或医学图像系列可以用于获得基于切片的2d图像和3d图像。
[0096]
所述医学图像系列可以是医学数字成像与通信(dicom)图像系列。
[0097]
3d图像的表示可以通过体积射线投射方法获得。
[0098]
第一界面可以显示在计算机屏幕上。
[0099]
第二界面可以显示在计算机屏幕上和/或虚拟现实(vr)装置的显示器上。所述vr装置可以包括立体的、运动跟踪的头戴式显示器和vr控制器。此种vr装置允许自然的3d可视化以及与3d图像表示的交互。
[0100]
上述半自动传递函数定义或参数化过程与额外的手动选项兼容。用户还可以与传
递函数交互和/或添加或移除传递函数的部分。用户可以在传递函数的特征空间中修改传递函数的形状，并且可以替换由自定义函数优化的函数。与优化传递函数相关联的所有参数都可以访问。
[0101]
在这种手动情况下，用户可以例如在第一或第二界面的专用界面或专用区域中手动地确定传递函数的透明度和颜色特性。此界面或区域由可交互的吸收曲线和对应颜色映射组成。
[0102]
传递函数的最简单形式是一维版本，其基于像素强度值将不透明度和颜色相关联。此传递函数的关键是像素强度值之间的不透明度和颜色方差的平滑度。因此，一维样条或高斯分布可以用于在颜色和各种函数之间转换以定义不透明度。
[0103]
1d界面或区域(在这种情况下，d指代传递函数的维度)可以允许使用用户受控样条或包含高斯、非对称高斯、对数正态、高斯混合等一组预定义模板函数来构建传递函数。可以独立地渲染透明度和颜色。
[0104]
虽然在许多情况下合适，但是传递函数的这种简单一维描述可能会引起关注，尤其是在高度异质的医疗数据中。实际上，如果体数据的不同部分碰巧具有相同的原始像素或体素强度值，则如上所述的一维传递函数无法区分体数据的不同部分。
[0105]
因此，可以使用二维传递函数，此传递函数考虑数据值(像素或体素值)和梯度幅度两者。这种方法允许看到体积的部分之间(例如，骨骼与组织之间)的界面，并且还可以更好地区分均质区域。
[0106]
二维传递函数的最常见形式是将像素或体素强度与梯度幅度(即，像素或体素强度的一阶导数)或拉普拉斯算子(即，像素或体素强度的二阶导数)相关的传递函数。在ct图像的情况下，例如，这些类型的传递函数特别适用于隔离例如皮肤和骨骼的组织。在这种类型的传递函数中，均质区域之间的界面在对应二维直方图中显示为圆弧。这允许对图像中的结构进行更完整的隔离(而不是分割)，因为梯度或拉普拉斯算子是用于优化表示的像素或体素强度的额外参数。
[0107]
2d界面或区域可以允许以与具有更复杂词典的1d界面或区域类似的方式来构建传递函数。界面或区域可以允许形状、函数和几何定界的组合使用来设计传递函数。
[0108]
根据本发明的实施例，可以通过至少一个管理器获得第一界面与第二界面之间的同步，所述至少一个管理器包括一组过程、类别和消息生成程序，所述过程、类别和消息生成程序与所述界面交互并同步所述界面，并且存储控制所述用户界面之间的可视化相关信息(例如，注释、传递函数、图像变换)的变量。
[0109]
管理器可以包括以所有用户界面可读的通用格式保存信息的数据存储装置。
[0110]
对于每种类型的可视化相关信息，可以存在单独的管理器。每个管理器实施以下通用功能中的至少一个或每一个：
[0111]-将数据从管理器数据存储装置导出为在应用程序外部可读的格式(例如，csv文本、png图像、stl网格)，
[0112]-将数据从应用程序外部导入到管理器数据存储装置(例如，csv文本、png图像、stl网格)，
[0113]-从至少一个界面接收数据并将所述数据存储到管理器数据存储装置中，并且通过此数据包含的视觉读出更新所有其它界面，
[0114]-从至少一个界面移除数据并从管理器数据存储装置移除所述数据，并且通过此数据移除的视觉读出更新所有其它界面，
[0115]-通过添加新的视觉元素(例如，地标、标尺测量、体积测量)来更新给定界面的视觉读出，
[0116]-通过移除现有视觉元素(例如，地标、标尺测量、体积测量)来移除给定界面的视觉读出。
[0117]
所存储的每个数据元素(例如，地标、标尺测量、体积测量等)可以具有与其相关联的唯一标识符，所述标识符用于确保每个界面之间的同步。
[0118]
用户可以使用鼠标或vr控制器在对应2d或3d界面中输入数据。位置信息以及鼠标或vr控制器中的按钮按下可以由输入处理程序接收，所述输入处理程序将其转录为动作。例如，用户点击2d图像切片中的特定区域可能会导致由地标的创建定义的动作。用户使用鼠标进行注释可能导致在2d表示中创建注释，并通过传播在3d表示中创建对应注释，并且对于使用vr控制器的注释创建，反之亦然。
[0119]
一个界面中的所有动作可能在另一界面中具有其对应动作。动作可以包含图像变换，例如区域裁剪、区域删除、方向调整以及缩放或变焦。另一种类型的动作可能是向图像添加注释，例如地标、标尺测量和每像素标记。类似地，注释的移除可以构成一个动作。动作可以对应于对传递函数的调整，所述传递函数控制2d表示或3d表示的视觉特性。也就是说，根据与像素或体素相关联的特征来调整图像的亮度、颜色和透明度。
[0120]
在创建动作之后，可以在界面更新中在相应界面上实现动作的视觉读出。例如，第一界面中创建地标的动作可以在第一界面中呈现地标的图形表示。
[0121]
界面更新之后可以是经由事件触发器引发事件，所述事件触发器向管理器通知用户动作。
[0122]
界面可以完全同步以确保两个界面与其相应用户之间的数据一致性和流线型通信。这样做的方式是通过使用管理器，所述管理器可以具有两个主要功能。管理器可以经由事件调用连接两个界面以确保一个界面中的动作在另一界面中显示。动作的创建可能在相应界面中引发事件，所述界面通知管理器然后进行处理。管理器然后可以从相应界面接收事件自变量并且依序执行两个操作。管理器首先可以将存储在自变量中的信息以两个界面类型可读的格式保存到集中式内部数据存储装置中。例如，此数据可以是注释或图像变换的位置。作为第二步骤，管理器可以在另一界面中引发事件并且可以发送相关自变量。这些自变量可以由界面更新单元接收并且可以直接转录成适当的图形元素。
[0123]
如上文所提及，管理器可以与每个类型的注释相关联。例如，管理器可以处理添加和移除地标，而单独的管理器可以处理传递函数改变。
[0124]
此种管理器是多个用户界面之间的数据相干性、一致性、同步和安全性的最佳手段。
[0125]
将来自不同用户界面的所有相关视觉信息以通用格式存储在集中位置的事实消除在各个界面中呈现的数据类型之间的冲突。
[0126]
一个用户界面中的动作(数据添加、移除、变换)的效果立即在每一其它界面中表示。
[0127]
数据导出始终保持一致，因为来自所有用户界面的注释都存储在一个集中位置。
[0128]
需要访问多种数据类型的函数(例如，需要访问标记像素或体素信息的传递函数)可以通过访问相关管理器类型来直接访问。
[0129]
放射科医生可以在第一界面(他们习惯的用户界面)中进行注释，并且完全相同的注释将在第二界面中以三维呈现以供外科医生理解，使得在可视化的注释中不存在歧义。另外，外科医生可以在第二界面中进行注释，并且相同的注释将在第一界面中呈现。第一界面的数据的用户导航可以以3个移动2d平面的形式在第二界面内可视化。鼠标在第一界面中的位置可以在第二界面内指示为高亮显示的球体。
[0130]
3d界面中的数据的用户导航可以以矢状面、轴向面和冠状面的自主移动的形式在2d界面内可视化。vr控制器的位置可以以移动彩色圆圈的形式指示。
[0131]
更一般来说，一个界面中的鼠标位置或vr控制器位置可以在另一界面中立即看到。
[0132]
集中式数据特征确保在不同用户界面中可视化的数据是正确数据。可以对管理器进行定制以确保模块化实施。管理器模型可以确保使用相同界面访问每个可视化相关信息。新特征的整合可能不需要改变管理器。这种抽象实现跨用户界面同步的新型数据类型的简单实施。
[0133]
管理器可以使用事件触发器以在添加或移除可视化相关数据类型时实时地更新所有界面。这确保所有界面上的数据类型的瞬时可视化。
[0134]
注释可以是叠加在视觉表示上的信息。也就是说，可以在第一或第二用户界面中表示相同的注释。虽然位置和定向的精度相同，但是它们的外观可以针对每个界面进行定制。以下描述用户可以在对应界面中添加或移除的一些注释。
[0135]
地标是用户在图像或表示中的特定像素或体素位置处放置的注释。它可以用球体、标志或箭头表示。
[0136]
标尺注释是叠加在图像或表示上的2d或3d距离测量。它通常由定义测量的两端之间的线表示。
[0137]
体积注释是3d图像或3d表示内的体积测量。它可以用球体、椭球体或其它3d几何形状显示。体积注释也可以充当测量区域的表面积的手段。
[0138]
标签是表示图像或表示中的个别像素或体素的注释。它可以用覆盖图像中的原始像素或体素的半透明颜色显示。
[0139]
边界框是用于识别图像或表示中的区域或对象的注释。它可以用2d图像或2d表示中的框轮廓以及3d图像或3d表示中的3d框显示。
[0140]
路径是在第一和第二界面中的任一个中定义的样条插值曲线，从而允许沿着其创建自动查看过程。路径可以在所有界面上呈现为彩色线。
[0141]
注释可以用于在体积图像堆栈内添加位置信息，并且确保其在2d图像或2d表示以及3d图像或3d表示中的适当可视化。此类注释可以包含关于肿瘤的数目(例如，使用地标)、肿瘤的大小(例如，使用标尺测量)、肿瘤体积(例如，经由体积注释)、地标的位置、感兴趣结构的自动或半自动分割和分割对象(手术器械、异物)的信息。
[0142]
使用例如地标和标尺测量的注释是放射科医生将医学图像中包含的临床信息传达给外科医生的手段。此类信息可以包含肿瘤的大小、体积和数目以及切除边缘。地标还可以指示感兴趣区域，例如肿瘤整形手术的候选血管、先天性心脏缺陷的存在以及骨折的精
确位置。
[0143]
外科医生可以对医学图像进行注释以计划手术姿势。例如，可以使用标尺和标记工具来确认切口平面的位置。对于腹腔镜手术，路径注释实现直观地可视化手术路径。
[0144]
2d表示或2d图像中的标记和边界框注释在定义另一界面的最佳传递函数方面起着关键作用。如上文所提及，标记或有界区域中包含的局部信息有效地指示可以容易地集成在传递函数参数化中的感兴趣区域(一组像素或体素)。如上文所提及的图像变换是对图像执行的几何编辑。
[0145]
图像变换可以包括图像裁剪或删除。
[0146]
图像裁剪涉及移除图像中的区域的外部。裁剪区域通常由例如正方形、立方体或球体的常见几何形状选择。
[0147]
裁剪域可以出现在第一和第二界面中并且可以从两个界面进行更改。界面的同步允许裁剪区域在所有界面上同时移动。
[0148]
图像删除涉及移除图像中的区域的内部。删除区域通常可以由例如正方形、立方体或球体的常见几何形状选择。
[0149]
图像转换为医学图像做好准备，以便专家不受阻碍地进行可视化。例如，通过裁剪例程，可以分离出感兴趣的特定区域或器官。删除例程可以允许移除与患者状况或病理学无关的区域。
[0150]
例如mri和ct扫描的医学图像通常捕获与患者状况或病理学无关的重要图像信息。例如，肝脏ct扫描捕获心脏、肠、肺和胸腔的信号，否则这些信号可能会模糊肝脏的期望可视化。在裁剪或删除图像的不相关部分时，在第一和第二界面中都可以实现清晰的医学可视化。
[0151]
此外，在许多情况下，图像(并且更具体来说，医学图像)是多通道的。例如，可以使用不同的采集参数或成像模态对同一患者的同一区进行多次成像。所述区的每个图像然后可以构成图像的通道。这可能是在同一时段内(例如，t1、t1注入、t2等)多次mri加权成像的情况。它还可以对应于同一患者通过mri和ct扫描进行成像的情况。
[0152]
多模态图像融合是将来自这些多个通道的信息相互关联的行为。
[0153]
图像融合可以使用通道执行。每个通道可以与专用传递函数相关联。
[0154]
通道和多传递函数可以由管理器处理。
[0155]
可以通过激活各个通道独立地可视化所有图像通道。
[0156]
可以通过激活多个通道来将图像通道的子集可视化在一起。
[0157]
可以将相关联传递函数应用于第二界面中的3d图像以获得3d表示。
[0158]
在第一界面中，可以融合多个图像通道。然而，实践是在第一界面中仅显示一个通道。
[0159]
可以同时将在一个图像通道中执行的注释传输到所述图像的所有通道。一个通道中的注释可以用于生成所有通道中的传递函数。可以将在一个通道中定义的传递函数应用于其它通道。
[0160]
当记录技术不能确保多模态成像的对准时，或当患者形态在不同成像之间改变时，可以使用可以定位在多个通道中的2d或3d表示或图像中的地标来更新程序，所述通道使用此类注释彼此重新对准。
[0161]
多模式图像融合可用于将不同图像序列或模态中包含的信息合并在一起，每个序列或模态定义一个通道。将这些类型的信息对准在一起可以增强对患者状况的了解。
[0162]
在前列腺成像的背景下，多序列实例将包含将t1加权mri中包含的互补信息与t2加权mri中的互补信息相关。在t2加权图像中，通常很好地界定前列腺。在t1加权图像中，特别描绘与血管相关的治疗效果的可视化。通过使用相同注释将这两种信息类型组合在一个可视化中可能会增强专家在评估治疗方案时的理解。
[0163]
多序列实例还可以包含在治疗期间在不同时间拍摄的同一患者的相关mri图像。例如，新辅助治疗前的乳腺mri可以与化疗后相关以评估肿瘤反应。在相同可视化中关联这两种类型的信息有助于乳腺癌外科医生定义正确的肿瘤切除边缘。
[0164]
多采集实例将包含mri和ct扫描序列的融合。在这种情况下，应用将用于评估肿瘤在骨组织中的浸润。增强的组织对比mri实现肿瘤的可视化，而ct扫描实现骨组织的清晰可视化。
[0165]
本发明还涉及一种计算机程序，所述计算机程序包括用于在软件由处理器执行时实施上述方法的至少一部分的指令。
[0166]
本发明还涉及一种计算机装置，包括：
[0167]-输入构件，其用于接收对象的区的至少一个图像，
[0168]-存储器，其用于至少存储前述计算机程序的指令，
[0169]-处理器，其访问存储器以读取前述指令并且随后执行前述方法，
[0170]-界面构件，其用于显示通过执行所述方法获得的图像的表示。
[0171]
本发明还涉及一种计算机可读非暂时性记录媒介，在所述计算机可读非暂时性记录媒介上记录计算机软件以在计算机软件由处理器执行时实施上述方法。
[0172]
本发明还涉及一种生成医学兴趣的患者解剖结构的3d模型的方法，其中所述方法包括：
[0173]-通过计算机构件实施如本文所公开的用于可视化对象的至少一个区的方法，其中所述对象显示在医学3d图像上并且是包括医学兴趣区的患者解剖结构，并且医学3d图像是磁共振(mri)图像、计算机断层扫描(ct)扫描图像、正电子发射断层扫描(pet)扫描图像，或数值处理的超声记录图像，并且
[0174]-例如使用虚拟现实构件，优选地虚拟现实头戴装置显示包含医学兴趣区的患者解剖结构的3d模型。
[0175]
在生成3d模型的方法的一些实施例中，用户在医学3d图像中提供至少一个注释，其中所述至少一个注释选择医学兴趣区中的像素或体素以改进所述区的可视化或/和感兴趣区的边界的可视化，和/或所述至少一个注释选择医学兴趣区之外的像素或体素以通过裁剪或删除例如感兴趣区中的周围组织、骨骼、肌肉或血管等干扰结构来实现图像变换。
[0176]
在一些实施例中，感兴趣区是或涵盖病变或病变组、肿瘤(尤其是癌症)或解剖异常的医学图像。
[0177]
用户可以是训练为可视化、注释从医学图像收集的数据和/或与从医学图像收集的数据交互的人，特别是医务人员。
[0178]
在所述方法的一些实施例中，使用原始3d图像成像数据或替代地使用分段3d图像数据生成3d模型。
[0179]
因此，本发明还涉及一种分析在先前从需要确定他/她的状况、疾病或健康状态的患者获取的医学3d图像中获得的3d模型的方法，其中所述方法包括：
[0180]-通过计算机构件实施如本文所公开的用于可视化对象的至少一个区的方法，其中所述对象是显示在医学3d图像并且包括医学兴趣区的患者解剖结构，并且医学3d图像是磁共振(mri)图像、计算机断层扫描(ct)扫描图像、正电子发射断层扫描(pet)扫描图像，或数值处理的超声记录图像，并且
[0181]-显示包含医学兴趣区的患者解剖结构的3d模型；
[0182]-基于3d模型的成像数据分析所显示的3d模型，具体来说可视化、标记、控制和/或测量度量，由此表征医学兴趣区中的患者解剖结构。
[0183]
本发明还涉及一种诊断或监测患者的状况、疾病或健康状态的方法，其中所述方法包括：
[0184]-实施如上文所公开的方法，
[0185]-收集与基于成像数据测量的度量相关的数据，其中所述度量实现映射患者的状况、疾病或健康状态的医学兴趣的形态、几何或位置特征。
[0186]
在一些实施例中，所收集的数据对于推断患者的状况、疾病或健康状态具有决定性。
[0187]
在一些实施例中，几何特征涵盖感兴趣区的体积比，特别是病变或肿瘤或解剖异常相对于解剖结构的体积的体积比。在一些实施例中，感兴趣区的位置特征涵盖所述区相对于解剖结构或其组成元件的轮廓的相对位置。
[0188]
在一些实施例中，形态、几何或位置特征实现多中心或多焦点感兴趣区，特别是多中心或多焦点病变的检测或可视化。
[0189]
在一些实施例中，在显示在3d模型上的感兴趣区的自然环境中评估形态、几何或位置特征，例如在存在所表示的血管、肌肉或其它组织的情况下，即，在不预处理所显示数据的情况下。在其它实施例中，在显示3d模型之前已经执行图像变换之后评估形态、几何或位置特征，这种变换涉及或包括剪切或删除干扰结构，例如感兴趣区中的周围组织、骨骼、肌肉或血管
[0190]
在一些实施例中，本发明的方法用于检测或监测作为患者体内的肿瘤(包含涵盖多个病变的肿瘤)的感兴趣区，其中在肿瘤在特定器官或其特定部分中的空间定位组中选择可视化或测量的度量；确定病变数目、肿瘤相对于受影响解剖结构或身体部位，特别是受影响器官的轮廓的位置；尤其确定肿瘤的界限(边缘)；确定肿瘤的体积或相应地肿瘤体积与包含肿瘤的器官的驻留体积的比率。在特定实施例中，肿瘤是乳腺癌。
[0191]
本发明的方法可以用于辅助与患者的状况、疾病或健康状态相关的医疗决策，用于辅助医疗术前计划，包含用于辅助准备手术。具体来说，所述方法可以用于放射学、手术特定主题、患者状况或疾病的临床诊断或监测中的应用。事实证明，手术领域的应用可以提高医学图像可视化和分析的准确性，从而为设计或实施手术策略提供有价值的数据和信息。因此，本发明可以应用于癌症治疗领域，具体来说诊断癌症或规划肿瘤整形手术，特别应用于通过手术治疗乳腺癌领域，而且更广泛地应用于创伤治疗领域，尤其是规划创伤手术、应用于治疗解剖疾病，例如特别是影响心脏解剖结构的心脏病、应用于肝病领域。本发明还可以应用于小儿外科手术或整形外科手术领域。
[0210]
其中：
[0211]-x和x'是对应像素或体素的特征-[0212]-{σ,l,p,σb,σv,α,γ}是核的超参数，这些参数预定义或自动地设定或由用户设定。
[0213]
上述超参数可以由用户通过至少一个界面修改或设定。
[0214]
最大均值差异依赖于在再生希尔伯特核空间(rkhs)中的嵌入概率度量的概念。嵌入概率度量是核方法的推广，它将输入空间的嵌入点作为rkhs中的元素进行处理。
[0215]
具有在可分离拓扑空间ξ上定义的概率p和连续正定实值核k(为对应rkhs)，p嵌入中作为μ
p
＝∫k(.,x)dp(x)，称为核均值。
[0216]
基于p的上述嵌入，我们在概率度量的空间上定义距离，即最大均值差异(mmd)，作为对应均值元素之间的距离，即，
[0217][0218]
我们将正则化密度，即特征直方图与核k(x,x
′
)＝kg(x-x
′
)的卷积定义为h(v)
[0219]
虽然特征可以适合于特定应用，但与堆栈l的体素相关联的常见特征是：
[0220]
·
像素或体素的值v，
[0221]
·
是像素或体素值的正则化梯度(在尺度l上)，正则化由高斯卷积执行，其中是零平均值和标准偏差l的高斯，并且i是图像栈，
[0222]
·sl
(v)是像素或体素v周围的大小为l的补丁的熵，
[0223]
·
是像素或体素v处的卷积图像的差异，
[0224]
其中(l1,l2)是与高斯相关联的两个尺度
[0225]
i是图像栈，
[0226]
·
σ
l
(v)是以像素或体素v为中心的大小为l的补丁的标准偏差，
[0227]
·
kl
l,m
(v)是以像素或体素v为中心的大小为l的补丁与大小为l+m的周围补丁之间的kullback-liebler距离，
[0228]
·
是以像素或体素v为中心的大小为l的补丁中的体素的中值，
[0229]
·
是在像素或体素v处的卷积图像的对数导数，
[0230]
·dp-umap,l,m
(v)是由以像素或体素v为中心的大小为l的补丁和大小为l+m的周围补丁的参数umap生成的潜在空间中的低维欧式距离。此特征用于专门的技术方案，其中已经组装医学图像数据库。参数umap已经在3个主轴(矢状、冠状和轴向)中的2d图像切片上的一组预定义的补丁大小上进行训练。已经进行训练以将补丁的维度减少到2d潜在空间。当评估距离时，l和l+m近似为用于训练的最接近值。
[0231]
·
(r,θ)
p-umap
(v)是由像素或体素v上的参数umap中心生成的像素或体素v在潜在空间上的极坐标，
[0232]
·sp-umap,l
(v)是像素v周围的大小为l的域的凸包表面
[0233]
取决于预期的运行时间，在2d图像或感兴趣的切片(放射科医生决定对数据进行注释的切片)或全体积3d图像中评估特征。它不会导致以下算法发生变化。
[0234]
根据以下步骤计算传递函数中的至少一个：
[0235]-选择第一感兴趣域a和第二感兴趣域b，每个域包括基于所述选定像素的一组像素或体素，
[0236]-分别基于第一感兴趣域a和第二感兴趣域b的像素或体素创建第一特征张量va和第二特征张量vb。对于对应的感兴趣域a或b的每个像素，每个特征张量va或vb定义从上述特征列表中选择的至少一个特征值。如果使用16位图形卡，则两个特征张量va或vb的总特征数目可以多达4个特征。如果使用32位图形卡，则两个特征张量va或vb的总特征数目可以多达8个特征。
[0237]
va或vb具有相应大小(na,ma)和(nb,mb)，其中
[0238]
na是域a的像素或体素的数目
[0239]
ma是域a的每个像素或体素的特征的数目
[0240]
nb是域b的像素或体素的数目
[0241]
mb是域b的每个像素或体素的特征的数目
[0242]
na可以不同于nb并且ma可以不同于mb。
[0243]-取决于机器限制，定义n
max
，即要考虑的像素或体素(a和b)的最大数目
[0244]-从上述预定义的核列表中选择一个核，并且使用以下定义和等式计算最佳mmd测试来区分a和b：
[0245]
具有见证函数f
*
(v)
∝
μ
p-μq以及即p的经验特征均值：
[0246]
φ(x)＝[
…
φi(x)
…
]是特征映射并且是函数的类别。
[0247]-对于图像的每个像素或体素，用以下等式定义所述像素或体素的颜色c：
[0248]
其中f
*
(v)是由以下等式定义的像素或体素v的值的见证函数
[0249][0250]
其中k是核，其定义表示与属于域a和yj的像素或体素xi相关联的特征和与像素或体素v相关联的特征之间的距离的值，其中m是a中的像素或体素的数目并且n是域b中的像素或体素的数目，
[0251]-计算由以下等式定义的颜色c和t：
[0252][0253][0254]
其中：
[0255]
ha(v)＝(k*ρ)(v)是具有核k的与第一域a的体素v相关联的特征的平滑密度，即核与特征密度的卷积，
[0256]
hb(v)＝(k*ρ)(v)是具有核k的与第一域b的体素v相关联的特征的平滑密度，即核与特征密度的卷积，并且
[0257]za,b
是标准化常数，确保max(z
a,b
)＝c，其中c≤1，即定义最大透明度因子的预定常数。
[0258]
在第二实施例或应用中，使用特征上的概率分布来定义传递函数。
[0259]
根据感兴趣特征与属于由一次性学习执行的结构(a,b)中的一个的体素的移位概率的乘积，算法定义像素或体素的颜色。
[0260]
此处，仅针对放射科医生和外科医生正在处理的数据进行学习。不从数据集执行学习。用于一次性学习的一些特征可以从在特定数据集上训练的推论中得出。
[0261]
定义以下核列表：
[0262]-[0263]-[0264]-[0265]-[0266]-[0267]
我们使用高斯过程定义二元分类器。我们将“标签”y＝+1与域a相关联，并且将“标签”y＝-1与域b相关联。我们定义潜在变量f(v)和物流函数
[0268]
其中是逻辑函数。我们定义v为标记的像素或体素的集合(对应于下文中的域(a,b))
[0269]
对于像素或体素v
*
，具有
[0270][0271]
其中p(f
*
|v,y,v
*
)＝∫p(f
*
|v,v
*
,f)p(f|v,y)df
[0272][0273]
其中：
[0274]
根据以下步骤计算传递函数中的至少一个：
[0275]-选择第一感兴趣域a和第二感兴趣域b，每个域包括基于所述选定像素的一组像素或体素，
[0276]-在计算平台上定义可以在过程上使用的最大数目的像素或体素n
max
[0277]-定义感兴趣的特征列表{
…gi
(v)
…
}
[0278]-分别基于第一感兴趣域a和第二感兴趣域b的像素或体素创建第一特征张量va和第二特征张量vb。对于对应感兴趣域a或b的每个像素，每个特征张量va或vb定义从第一实施例或应用的上述特征列表中选择的至少一个特征值。
[0279]-va或vb具有相应大小(na,ma)和(nb,mb)，其中
[0280]-na是域a的像素或体素的数目
[0281]-ma是域a的每个像素或体素的特征的数目
[0282]-nb是域b的像素或体素的数目
[0283]-mb是域b的每个像素或体素的特征的数目
[0284]-na可以不同于nb并且ma可以不同于mb。
[0285]-将(a,b)的体素或像素采样为具有和
[0286]
其中：
[0287]
是在域a中采样的像素或体素的数目
[0288]
是在域b中采样的像素或体素的数目
[0289]-将分类器定义为二元高斯过程分类器(p,π)
[0290]-计算拉普拉斯近似
[0291]-计算由以下等式定义的颜色c和t：
[0292]
其中f
*
(v)＝(βpa(v)+1)g(v)
[0293]
作为属于域a的像素或体素的移位概率乘以所述像素或体素v的一个特征的值g(v)的归一化乘积。β是预定常数。
[0294][0295]
其中：
[0296]
ha(v)＝(k*ρ)(v)是具有核k的与第一域a的体素v相关联的特征的平滑密度，即核与特征密度的卷积，
[0297]
hb(v)＝(k*ρ)(v)是具有核k的与第一域b的体素v相关联的特征的平滑密度，即核与特征密度的卷积，并且
[0298]za,b
是标准化常数，确保max(z
a,b
)＝c，其中c≤1，即定义最大透明度因子的预定常数。
[0299]
在软件实施方案中，针对上面定义的一组核运行上述过程。在至少一个界面内，对应用户可以改变核。默认地，可以显示核kg。
[0300]
如果标记的像素或体素数目非常少，则这种贝叶斯方法可以更好地概括结果。如果存在多个标记像素或体素，mmd(第一实施例或应用)将允许比贝叶斯方法(第二实施例或应用)更快的计算和更高的效率。