用于基于体积渲染的3d图像滤波和实时电影渲染的方法和系统的制作方法
【专利摘要】本发明公开了用于基于体积渲染的3D图像滤波和实时电影渲染的方法和系统。使用电影体积渲染生成3D体积的2D投影图像的集合。使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积。重构3D体积从使用电影渲染所生成的投影图像继承噪声抑制和结构增强，并且因而被非线性滤波。实时体积渲染可以使用体积射线追踪在重构3D体积上执行，并且重构3D体积的每一个投影图像是原始体积的电影渲染图像的近似。
【专利说明】用于基于体积這染的3D图像滤波和实时电影這染的方法和 系统
【背景技术】
[0001] 本发明设及减小图像中的噪声的图像滤波，并且更具体地设及基于体积擅染来抑 制噪声并增强3D图像中的感兴趣结构的3D图像滤波。
[0002] 图像噪声是任何成像设备固有的。体积图像中的图像噪声呈现不期望的伪像。现 有噪声减小和图像增强方法没有完全解决该问题。因而，期望更好的噪声减小和图像增强 算法。
[0003] 常规噪声减小方法大多基于信号处理理论。平滑滤波器对原始图像与表示低通滤 波器或平滑操作的掩模进行卷积。然而，平滑滤波器往往使图像模糊。各向异性扩散方法对 类似于热量方程的平滑偏微分方程进行求解W移除噪声而不会使图像的边缘模糊。中值滤 波器是非线性滤波器的示例，并且如果恰当地设计，该中值滤波器非常善于保留图像细节。 然而，中值滤波器更适用于椒盐图像噪声。
【发明内容】
[0004] 本发明提供用于基于体积擅染的3D图像滤波和实时电影体积擅染的方法和系统。 本发明的实施例执行基于3D图像滤波路径追踪的体积擅染W生成真实、电影擅染效果。
[0005] 在本发明的一个实施例中，使用电影体积擅染生成3D体积的2D投影图像的集合。 使用逆线性体积射线追踪算子从2D投影图像的集合生成所重构的3D体积。
[0006] 通过参照W下详细描述和附图，本发明的运些和其它优点将对于本领域普通技术 人员显而易见。
【附图说明】
[0007] 图1示出了使用射线追踪体积擅染和电影体积擅染所生成的投影图像的比较； 图2图示了根据本发明的实施例的用于基于体积擅染的3D图像滤波和实时电影体积擅 染的方法；W及 图3是能够实现本发明的计算机的高级框图。
【具体实施方式】
[000引本发明设及用于基于体积擅染的3D图像滤波和实时电影体积擅染的方法和系统。 在本文中描述本发明的实施例W给出对图像滤波和实时电影体积擅染方法的形象理解。数 字图像通常包括一个或多个对象(或形状)的数字表示。在本文中通常在标识和操纵对象的 方面描述对象的数字表示。运样的操纵是在计算机系统的存储器或其它电路/硬件中实现 的虚拟操纵。因而，要理解到，本发明的实施例可W使用存储在计算机系统内的数据而在计 算机系统内执行。
[0009]体积擅染是指用于显示3D体积的2D投影图像的技术。一种类型的体积擅染是基于 体积射线追踪。射线追踪体积擅染通过使用简单相机模型生成用于2D投影图像中的每一个 像素的射线来执行。贯穿3D图像体积W规律或自适应间隔对射线采样。体积数据在每一个 采样点处进行插值，在每一个采样点处应用转移函数W形成RGBA(红色、绿色、蓝色、a)样 本，将样本合成到射线的累积RGBA上，并且该过程针对每一个采样点重复直到射线离开体 积。射线的累积RGBA被转换成RGB颜色，其沉积在2D投影图像的对应像素中。2D投影图像通 过针对2D投影图像的每一个像素重复该过程而形成。体积射线追踪可W通过对3D体积f操 作的线性投影算子1、使用具有参数i的相机模型来描述W生成2D图像I，使得：
(1)。
[0010] 通过改变参数I，可W生成不同投影图像《I變。参数！指代用于投影图像的投影角 度。
[0011] 由于投影算子瑟是线性的，所W易于对算子求逆IT^。在给定所擅染图像的集合
小障况下，可W使用逆算子ir'3重构原始体积I。该逆过程原则上类似于 体积图像重构，并且可W表述为：
(2)。
[0012] 电影体积擅染是基于体积路径追踪。并非在射线上对从3D体积的观察进行积分， 而是通过在到达对象表面上的单个点的所有照度之上进行积分来执行电影体积擅染。该照 度然后通过表面反射系数函数而减小W确定多少照度将前往视点相机。该积分过程针对输 出2D投影图像中的每一个像素重复。电影体积擅染可W描述为使用非线性投影算子i的体 积路径追踪，所述非线性投影算子i使用具有参数§的相机模型对3D体积f操作，W生成2D 图像使得：
(3)。
[0013] 在使用电影体积擅染生成的所擅染图像f中，噪声被极大抑制并且结构被极大增 强。
[0014] 图1示出了使用射线追踪体积擅染和电影体积擅染所生成的投影图像的比较。如 图1中所示，图像102是使用射线追踪体积擅染生成的投影图像，并且图像104是使用电影体 积擅染生成的投影图像。如在图1中可W看到的，相比于使用射线追踪体积擅染生成的投影 图像102,在使用电影擅染所生成的投影图像104中噪声被极大减小并且解剖结构被增强。
[0015] 在计算方面，电影体积擅染比射线追踪体积擅染更耗费时间。射线追踪体积擅染 可W实时地执行(例如在通过患者的医疗图像的手术过程引导期间），而电影体积擅染典型 地由于其高计算成本而不能实时地执行。
[0016] 图2图示了根据本发明的实施例的用于基于体积擅染的3D图像滤波和实时电影体 积擅染的方法。图2的方法对诸如表示患者解剖体的医疗图像数据之类的3D图像数据进行 变换，W抑制噪声并增强图像数据中的感兴趣结构，并且生成具有抑制的噪声的2D投影图 像并增强来自3D图像数据的图像结构。参照图2,在步骤202处，接收3D体积。3D体积可W是 使用任何类型医疗成像模态所获取的患者的3D医疗图像体积，所述医疗成像模态诸如计算 机断层摄影(CT )、磁共振成像(MRI)、dynaCT、超声(US )、正电子断层摄影(PET)等。3D体积可 W直接从图像获取设备接收，所述图像获取设备诸如CT扫描仪、MRI扫描仪等，或者3D体积 可W通过之前存储在计算机系统的存储器或存储装置中的3D体积来接收。
[0017] 在步骤204处，使肋機性电影擅染算子Il从3D体积生成投影图像的集合。特别地， 利用针对投影角度参数辕的不同值来生成投影图像的集合：
运 导致使用电影擅染生成的2D投影图像的集合，其中噪声被抑制并且感兴趣结构被增强。
[001引在步骤206处，使用逆线性体积射线追踪算子巧"：^人投影图像的集合生成重构体积。 也就是说，通过将逆线性体积射线追踪算子蕊~&应用于使用非线性电影擅染算子i所生成的 投影图像的集合
农估计新体积
使得：
(4)。
[0019] 在方程(4)中，给定体积f是输入并且新体积P是输出。因而，步骤204和206可W被 视为在输入体积上执行非线性滤波。因为在所擅染的电影图像中噪声被极大抑制并且结构 被极大增强，从所擅染的电影图像重构的经非线性滤波的体积承相同特性（即经抑制 的噪声和增强的感兴趣结构）。例如，经滤波的体积龄可W例如通过在计算机系统的显示器 上显示经滤波的体积f而输出。
[0020] 在步骤208处，使用重构体积的体积射线追踪来执行重构体积的实时体积擅染。特 别地，线性体积射线追踪算子Il用于执行重构体积的体积擅染W生成2D投影图像f，使得：
(5)。
[0021] 通过将体积射线追踪体积擅染应用于经滤波的体积P，所擅染的图像f将非常接近 于来自原始体积的电影擅染图像!。在有利实施例中，步骤202、204和206可W在手术过程之 前执行W预先计算经滤波的体积P，并且步骤208可W在手术过程期间针对一个或多个投 影角度§实时执行。通过预先计算经滤波的体积P，使用射线追踪体积擅染所执行的实时擅 染可W生成非常接近于针对相同投影角度的原始体积的电影擅染图像的2D投影图像I。W 此方式，引起非实时执行的电影擅染的计算瓶颈可W消除，并且可W实时生成具有噪声抑 制和结构增强的电影擅染效果的2D投影图像。
[0022] 由步骤208中的实时体积擅染产生的2D投影图像可W例如通过在计算机系统的显 示器上显示2D投影图像而输出。投影图像可W在手术过程期间实时显示W引导用户执行手 术过程。图2的步骤208可W重复W执行多个不同投影角度§下的经滤波体积終的实时体积 擅染。在该情况中，针对每一个投影角度所生成的2D投影图像可W实时地显示。
[0023] W上描述的用于基于体积擅染的3D图像滤波和实时电影体积擅染的方法可W实 现在使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其它组件的计算机 上。在图3中图示了运样的计算机的高级框图。计算机302包含处理器304,其通过执行限定 运样的操作的计算机程序指令来控制计算机302的总体操作。计算机程序指令可W存储在 存储设备312(例如磁盘）中并且在期望计算机程序指令的执行时加载到存储器310中。因 而，图2的方法的步骤可W由存储在存储器310和/或存储装置312中的计算机程序指令限 定，并且由执行计算机程序指令的处理器304控制。图像获取设备302(诸如CT扫描设备)可 W连接到计算机302W将图像数据输入到计算机302。可能将图像获取设备320和计算机302 实现为一个设备。还可能的是，图像获取设备320和计算机302通过网络无线地通信。计算机 302还包括用于经由网络与其它设备通信的一个或多个网络接口 306。计算机302还包括能 够实现与计算机302的用户交互的其它输入/输出设备308(例如显示器、键盘、鼠标、扬声 器、按钮等）。运样的输入/输出设备308可W作为评注从图像获取设备320所接收的体积的 评注工具而与计算机程序的集合结合地使用。本领域技术人员将认识到，实际计算机的实 现也可W包含其它组件，并且出于说明目的，图3是运样的计算机的一些组件的高级表示。
[0024]前述【具体实施方式】要理解为在每一方面都是说明性和示例性而非约束性的，并且 本文公开的发明范围不是从【具体实施方式】来确定，而是从如根据专利法所准许的完整宽度 解释的权利要求来确定。要理解到，本文示出和描述的实施例仅仅说明本发明的原理，并且 本领域技术人员可W实现各种修改而不脱离本发明的精神和范围。本领域技术人员可W实 现各种其它特征组合而不脱离本发明的精神和范围。
【主权项】
1. 一种用于3D体积的基于体积渲染的滤波的方法，包括： 使用电影体积渲染生成3D体积的2D投影图像的集合；以及 使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积。2. 权利要求1的方法，其中使用非线性电影体积渲染算子生成3D体积的2D投影图像的 集合包括： 使用电影体积渲染针对多个投影角度中的每一个生成3D体积的相应2D投影图像。3. 权利要求1的方法，其中使用电影体积渲染生成3D体积的2D投影图像的集合包括： 使用非线性电影体积渲染算子生成3D体积的2D投影图像的集合。4. 权利要求3的方法，其中使用非线性电影体积渲染算子生成3D体积的2D投影图像的 集合包括： 使用非线性电影体积渲染算子针对多个投影角度中的每一个生成3D体积的相应2D投 影图像，其中非线性电影体积渲染算子通过对到达3D体积表面上的对应点的所有照度进行 积分并且通过表面反射系数函数减小所积分的照度来针对每一个相应3D投影图像中的多 个像素中的每一个计算像素值。5. 权利要求3的方法，其中使用逆线性体积射线追踪算子从2D投影图像的集合生成重 构3D体积包括： 通过将逆线性体积射线追踪算子应用于使用非线性电影体积渲染算子所生成的3D体 积的2D投影图像的集合来生成重构3D体积。6. 权利要求1的方法，还包括： 通过执行重构3D体积的体积射线追踪从重构3D体积生成投影2D图像。7. 权利要求1的方法，还包括： 通过执行重构3D体积的体积射线追踪在手术过程期间实时地从重构3D体积生成投影 2D图像。8. 权利要求7的方法，其中在手术过程之前执行生成2D投影图像的集合并且生成重构 3D体积。9. 权利要求7的方法，其中从重构3D体积生成的投影2D图像是来自3D体积的电影渲染 2D图像的近似。10. -种用于3D体积的基于体积渲染的滤波的装置，包括： 用于使用电影体积渲染生成3D体积的2D投影图像的集合的构件；以及 用于使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积的构件。11. 权利要求10的装置，其中用于使用非线性电影体积渲染算子生成3D体积的2D投影 图像的集合的构件包括： 用于使用电影体积渲染针对多个投影角度中的每一个生成3D体积的相应2D投影图像 的构件。12. 权利要求10的装置，其中用于使用电影体积渲染生成3D体积的2D投影图像的集合 的构件包括： 用于使用非线性电影体积渲染算子生成3D体积的2D投影图像的集合的构件。13. 权利要求12的装置，其中用于使用逆线性体积射线追踪算子从2D投影图像的集合 生成重构3D体积的构件包括： 用于通过将逆线性体积射线追踪算子应用到使用非线性电影体积渲染算子所生成的 3D体积的2D投影图像的集合来生成重构3D体积的构件。14. 权利要求1O的装置方法，还包括： 用于通过执行重构3D体积的体积射线追踪从重构3D体积生成投影2D图像的构件。15. 权利要求14的装置，其中从重构3D体积生成的投影2D图像是来自3D体积的电影渲 染2D图像的近似。16. -种存储用于3D体积的基于体积渲染的滤波的计算机程序指令的非暂时性计算机 可读介质，所述计算机程序指令在由处理器执行时使处理器执行包括以下各项的操作： 使用电影体积渲染生成3D体积的2D投影图像的集合；以及 使用逆线性体积射线追踪算子从2D投影图像的集合生成重构3D体积。17. 权利要求16的非暂时性计算机可读介质，其中使用非线性电影体积渲染算子生成 3D体积的2D投影图像的集合包括： 使用电影体积渲染针对多个投影角度中的每一个生成3D体积的相应2D投影图像。18. 权利要求16的非暂时性计算机可读介质，其中使用电影体积渲染生成3D体积的2D 投影图像的集合包括： 使用非线性电影体积渲染算子生成3D体积的2D投影图像的集合。19. 权利要求18的非暂时性计算机可读介质，其中使用逆线性体积射线追踪算子从2D 投影图像的集合生成重构3D体积包括： 通过将逆线性体积射线追踪算子应用于使用非线性电影体积渲染算子所生成的3D体 积的2D投影图像的集合来生成重构3D体积。20. 权利要求16的非暂时性计算机可读介质，其中所述操作还包括： 通过执行重构3D体积的体积射线追踪从重构3D体积生成投影2D图像。21. 权利要求16的非暂时性计算机可读介质，其中所述操作还包括： 通过执行重构3D体积的体积射线追踪在手术过程期间实时地从重构3D体积生成投影 2D图像。22. 权利要求21的非暂时性计算机可读介质，其中在手术过程之前执行生成2D投影图 像的集合以及生成重构3D体积的操作。23. 权利要求21的非暂时性计算机可读介质，其中从重构3D体积生成的投影2D图像是 来自3D体积的电影渲染2D图像的近似。
【文档编号】G06T15/08GK105957135SQ201610131865
【公开日】2016年9月21日
【申请日】2016年3月9日
【发明人】K.恩格尔, 周少华
【申请人】西门子公司