三维心脏超声虚拟内窥镜系统的制作方法

专利名称：三维心脏超声虚拟内窥镜系统的制作方法
三维心脏超声虚拟内窥镜系统
技术领域：
本发明涉及计算机医学成像和导航技术领域，特别是涉及一种三维心脏超声虚拟 内窥镜系统。
背景技术：
普通的内窥镜的存在诸多弊端，如病人因不适应内窥镜引起的咳嗽恶心甚至壁穿 孔、出血，没有经验的医生控制内窥镜在器官中移动时因迷失方向而增加病人的痛苦，以及 内窥镜自身结构原因无法到达人体内的很多重要部位。虚拟内窥镜是一种非创伤性技术， 能够避免普通内窥镜检查时给病人带来的痛苦，无出血、穿孔、感染等并发症。虚拟内窥镜 可重复操作，从任意角度和部位反复观察，并可轻易经过狭窄段去观察狭窄后的情况。目前 虚拟内窥镜在医学中的应用主要集中在具有空腔结构的器官上，如胃肠道、支气管、血管、 鼻腔、内耳等等。作为近年来发展的一项比较新的技术，国内外尚未见对婴儿复杂型先天畸形整体 心脏在虚拟现实环境中诊断和介入模拟的报道。这是由于心脏之类的器官内部解剖结构复 杂加之存在瓣膜运动，观察者进行观察和评价时，虚拟内窥镜不仅要提供交互实时多角度 观察，而且要求虚拟视点位置不断改变观察，对虚拟内窥镜系统存在较高的要求。

发明内容本发明的目的在于解决现有技术中存在的上述问题，提供一种三维心脏超声虚拟 内窥镜系统，以整体心脏的三维超声显示方式结合计算机虚拟内窥镜技术，使医生身临其 境地“进入”被检查患者的心脏内部进行检查观察。本发明的目的是通过以下技术手段实现的一种三维心脏超声虚拟内窥镜系统，包含数据采集单元，通过超声对心脏进行二维图像数据采集；图像预处理单元，对采集到的二维图像数据进行滤波处理和图像分割；三维视图重建单元，对经过预处理的图像数据进行三维视图重建；导航单元，设置一虚拟内窥镜视点，并允许该虚拟内窥镜视点在重建的三维视图 中进行任意角度的观察；以及测量单元，对所观察的特定部位的数据进行测量和分析。所述数据采集单元采用全容积法为整体心脏进行全容积采样。所述数据采集单元为彩色多普勒超声心动图仪。所述数据采集单元依次采集一组4个实时三维瓜瓣块后整合成一金字塔型整体 心脏数据集。所述数据采集单元依次采集一组4个实时三维瓜瓣块分别为0° 15°、15° 30°、30° 45°、45° 60°。所述整体心脏数据集包含了 一个心动周期的数据。
所述整体心脏数据集的数据通过插值和坐标变换后按照高度、宽度、深度和时间 的顺序排列并以DIC0M格式保存。所述图像预处理单元采用各向异性扩散法对二维图像进行滤波处理。在心脏的心肌轮廓方向使用高扩散参数滤波处理，在轮廓梯度方向使用低扩散参 数滤波处理。所述图像预处理单元采用阈值法进行图像分割。所述阈值法设置灰度阈值和梯度阈值。所述灰度阈值介于0 40之间。作为较佳的实施方式，所述灰度阈值设置为20。所述梯度阈值包含第一梯度阈值和第二梯度阈值。所述第一梯度阈值设置为3，第二梯度阈值设置为6。所述三维图像重建单元采用面绘制法和体绘制法对经过预处理的图像数据进行 三维可视化重建，虚拟视点移动时采用面绘制法，虚拟视点不移动时采用体绘制法。所述虚拟内窥镜的导航方式分为关键帧动画、自由导航以及指导路径导航。所述虚拟内窥镜视点通过调整视距和视角在重建的三维视图中进行任意角度的 观察。所述虚拟内窥镜视点移动时，三维视图沿着视线方向前进，产生待检器官组织结 构目标不断靠近观察者的放大的多帧图像。所述导航单元对虚拟内窥镜视点经过的路径保存并进行连续回放。
所述导航单元循环动态显示心脏内部组织结构的运动。所述测量单元测量特定部位的面积、最大径和最小径。本发明的有益效果在于，医生可以通过本发明在虚拟现实的模拟环境中、计算机 的协助下对患者心脏进行多方位的无创伤检查，减轻了病人的痛苦，此外，本发明也可用于 正式手术前的模拟手术中，为心外科医师的三维虚拟手术培训奠定基础，亦可应用于科研 和医疗教学中。

图1为本发明三维心脏超声虚拟内窥镜系统的框图；图2为本发明中全容积采样方式的数据采集示意图；图3为本发明三维心脏超声虚拟内窥镜系统的观察原理图。
具体实施方式下面结合实施例并参照附图对本发明作进一步描述。如图1所示，一种三维心脏超声虚拟内窥镜系统，包含数据采集单元10，通过超 声对心脏进行二维图像数据采集；图像预处理单元20，对采集到的二维图像数据进行滤波 处理和图像分割；三维视图重建单元30，对经过预处理的图像数据进行三维视图重建；导 航单元40，设置一虚拟内窥镜视点，并允许该虚拟内窥镜视点在重建的三维视图中进行任 意角度的观察；以及测量单元50，对所观察的特定部位的数据进行测量和分析。此外，三维 心脏超声虚拟内窥镜系统还包含中央处理器60。
5
如图2所示，数据采集单元10采用全容积法为整体心脏进行全容积采样，全容积 (Full Volume)采样方式又叫做宽角金字塔样显示方法，数据采集单元10采用彩色多普勒 超声心动图仪采样。数据采集单元10依次采集一组4个实时三维瓜瓣块后整合成一金字 塔型整体心脏数据集，一组4个实时三维瓜瓣块分别为0° 15°、15° 30°、30° 45°、45° 60°。图2为采样界面的示意图，左侧为瓜瓣块，右侧为彩色多普勒超声心动 图仪采样界面。如图3所示，为本发明三维心脏超声虚拟内窥镜系统的观察原理图。于步骤S101 中，初始二维图像重排。数据采集后整合成金字塔型全容积整体心脏数据集，图像经数字化 后用DIC0M格式存储至3D硬盘中。因此DIC0M格式内的数据已经按照实际数据的位置排 列，并且包含了一个心动周期的运动情况。全容积采样方式获取的数据存储在DICOM(digital image andcommunication on medicine)格式的文件中。DICOM文件是医学影像的专用存储格式，在CT、核磁共振、超声 等医学成像系统中广泛应用，全容积采集法在DIC0M标准下已经将采集的数据通过插值和 坐标变换后按照高度(Height)、宽度(Width)、深度(Depth)、时间(Time)的顺序排列存储 至DIC0M格式的数据中，直接将数据按时间分开即可，无需另外重建过程，其三维体数据大 小根据采集的情况而定。采样的初始心脏超声二维图像含有大量的噪声，能利用的图像特征往往因此受到 噪声的严重干扰，影响观察者对心内空间结构的理解，因此对斑点噪声的移除是超声图像 处理很重要的一步，合适的滤波方法能消除一部分干扰，为更准确地做出分割提供必要的 前提。从视觉角度看来，噪声在图像中呈现斑点分布状。它的形成主要是因为成像过程 中超声波的相互干涉作用，此外还与成像组织表面的粗糙程度有着密切的关系。医学图像 去噪技术是以一般数字图像处理技术为基础，但是医学图像本身具有自己一些鲜明的特 征，这些特征往往是医学图像所含有的特殊信息。在对医学图像进行去噪处理的时候必须 尽可能地保留这些特征，这就需要我们研究新的算法，使之在保留一般数字图像去噪性能 的基础上还能满足医学图像去噪的特殊要求。以婴儿心脏为例，由于婴儿的心脏较小，组织结构紧密，合适的算法可在保留细节 信息的同时又能滤去噪声，虚拟效果将会更贴近真实情况。为显示几个数据的三维滤波效 果，选取全容积采集法采样的小儿实时三维图像的四腔心切面，选择各向异性扩散法对心 脏图像进行初步滤波处理，在心肌轮廓方向使用高扩散参数和在轮廓梯度方向使用低扩散 参数，对原始图像进行滤波。由此，可以使滤波后斑点噪声得到有效的抑制，而重要的信息 (如四腔心结构、房室瓣和房间隔缺损)基本得以保持。对于超声心脏图像而言，可分为两个区域，心肌和心腔。在图像中灰度值较大的点 (白色区域)为肌肉，灰度值较小的点(黑色区域)为空腔。所以可以利用数据点的灰度来 设定灰度阈值。将小于某一个值的数据点认为是心腔，将不透明度值设为0 ；将大于某一个 值的点认为是心肌，将不透明度值设为1。基于梯度阈值的图像分割是利用边界点的梯度信息进行分割的方法，由于心肌和 心腔两个区域之间图像的梯度值较大，而相同区域内梯度值较小，所以可以用梯度对灰度 阈值的分类效果进行改进。采样梯度对心腔区域图像分割，梯度乘子小，相乘后的值也小，绘制的结果仍然是空腔；在心肌或心血管与心腔交界的表面区域，梯度乘子较大，绘制结果 将在梯度边界区域予以加强。对于每个点，分别取得它的灰度阈值和梯度阈值，将他们对应 的分段函数的值相乘，得到该点的不透明度值，然后进行叠加得到最终的图像。图像分割是指区分相邻组织结构特征的过程，由于实际的医学图像数据集提供的 断层切片图像除了包含特定组织外，还包含了其它的信息，必须将特定的组织、器官分割出 来才能实现重建。将医学图像中有特殊含义的不同区域分开是获得单个器官对象的关键 步骤，图像分割是医学图像处理的关键技术，是正常组织和病变组织的三维可视化、手术模 拟、手术导航等后继操作的基础，也是制约医学图像处理其他相关技术发展和应用的关键 技术。只有对三维数据进行准确的分割才能正确地进行三维重建，精确的、可重复的和自动 的分割是图像分割的最高目标，要做到在线动态地获取和融合具有变化形状和位置的活体 器官和组织的图像，必须开发功能更强大的算法，通过图像分割把感兴趣区域正确提取并 显示，为临床诊断和治疗提供可靠的依据。阈值法是最常见的一种图像分割方法，数据处理简单计算代价小且速度快，但需 要选择合适的灰度阈值和梯度阈值。三维数据场中的数据点的值对应二维图像中的灰度 值，由于体绘制方法能够在最大程度上保留图像的细节部分，所以灰度阈值的选择不宜过 大，仅需要将明显是心腔部分的数据设为0即可。为了在显示中将空腔和肌肉区分开，可以 设定灰度阈值在20左右，超出阈值部分认定为心脏肌肉不透明度值较大，小于阈值区域认 定为空腔，不透明度值较小可以设为零。灰度阈值不宜超过40，否则会导致细节处遗漏，或 者显示出“伪空腔”。另外梯度阈值也不宜过大，由于超声图像边界不清晰，所以边界梯度不 会很大。虽然梯度阈值会导致肌肉内部的显示出现半透明的情况，但这一部分并不影响观 察者对于患者病情的判断。本发明中采用了阈值法对超声图像进行分割，但阈值的取值有上限，不能过大，阈 值越大，越容易出现“伪空腔”。第一梯度阈值和第二梯度阈值分别取3和6对图像分割效 果较好。于步骤S102中进行三维视图重建。虚拟内窥镜系统应用于分析诊断，对成像质量 要求较高，最终目标是达到实时准确显示和交互操作的要求，对三维超声图像绘制研究表 明，面绘制与体绘制显示的综合利用将提高虚拟内窥镜的观察效果。在虚拟内窥镜视点导 航时可采用面绘制方法，成像快速图像清晰，在视点位置不移动时可采用体绘制方法，体绘 制可以显示细微的结构和形态，这样对感兴趣区域可以提供更加丰富和精确的信息，使观 察者得到更加满意的视野观察效果。于步骤S103中进行虚拟视点定位。感兴趣区域(region-of-interest R0I)是操 作者选择的观察区域范围，通过图像切割对每一帧断层像上R0I以内所有区域进行图像分 析，R0I以外区域在导航时将不列入可视化范围。根据心脏结构及运动特点，结合Van Praagh“节段分析法”，感兴趣区域设定三个， 分别为房室瓣区域、房室间隔区域和主、肺动脉区域。R0I范围根据观察对象决定，其中房室 瓣区域、房室间隔区域R0I选择宜大，主、肺动脉区域R0I选择宜小。通过步骤S104 S106不断对虚拟视点进行调整，于步骤S107中进行心内任意角 度观察。对R0I内观察对象三维重建后，通过调整视距(拖动鼠标右键)及调整视线方向 (拖动鼠标左键)，并置感兴趣的心内结构于可视化显示窗中心(拖动鼠标中键)，键盘操作
7与人工导航结合使三维重建图像沿着视线方向前进，产生被观察心内结构目标不断靠近观 察者和放大的多帧图像，并可从任意角度观察和在任意部位“漫游”。最后将观察过程以动 画形式保存，连续回放即可获得类似纤维内镜进动和转向直视观察效果的动态重建图像。检查心脏房室瓣区域时，模拟手术路径，从心房向心室方向三维显示，或从心尖向 心房方向观察，视点可从房室腔内任意点开始漫游，通过变动视距、调整视角，对视点前方 房室瓣组织结构进行动态的实时显示，完整地观察房室瓣形态和活动情况，对二尖瓣、三尖 瓣瓣环和瓣下结构及周围比邻结构的空间关系。检查心脏房室间隔区域时，视点定位于房、室间隔的两侧，视线与间隔组织或垂直 正视或成夹角侧面观察，如三维显示有间隔缺损，视点可通过移动鼠标右键和键盘控制向 缺损方向移动，观察缺损的解剖位置、形态、大小及与周围组织结构的关系，当视点快速推 进穿过缺损区域到达间隔的另一侧后，可反转视点，改变视距、视角后进一步观察间隔缺损 及相邻组织的空间结构。检查心脏大动脉区域时，以大动脉与心室连接处R0I为中心，视点位于心室腔内 向主、肺动脉观察，显示大动脉与心室的空间位置关系，实时显示主、肺动脉瓣瓣膜的活动 情况。对主动脉骑跨病例，视点移动至大动脉内，在大动脉根部向心室腔方向观察，显示大 动脉骑跨室间隔的比例，观察室间隔缺损的解剖位置。三维心脏超声虚拟内窥镜的诊断路径采用Van Praagh的先天性心脏病分段诊断 概念，将心脏分为心房、心室和大动脉三段进行分析诊断。虚拟观察视点首先分别进入右心房和左心房，从不同角度对房间隔区域观察， 对感兴趣的心内结构通过控制鼠标键改变观察的角度和视距，判断有无房隔缺损。诊断 ASD(atrial septal defect房间隔缺损)者，视点从右心房通过ASD到达左心房，观察左心 房心内结构。虚拟视点漫游在房室瓣区域时，在心房侧动态“俯视”观察房室瓣的运动、附着情 况及解剖形态，通过计算机人工导航，仿真内窥镜穿越房室连接区域，然后视点调头“仰视” 观察房室瓣区域组织结构活动，判定房室瓣，确定房室序列；接着视点转向房室间隔区域， 观察周围解剖结构，判断有无室间隔缺损。对大动脉区域的观察，视点置于大动脉与心室连接处的室隔侧或大动脉内侧，以 大动脉长轴为视线方向，人工导航视点，调整视距和视角观察主动脉或肺动脉瓣运动，判断 大动脉与心室的连接关系。此外，虚拟内窥镜的导航方式分为关键帧动画、自由导航以及指导路径导航。虚拟 内窥镜视点通过调整视距和视角在重建的三维视图中进行任意角度的观察。导航单元对虚 拟内窥镜视点经过的路径保存并进行连续回放，且导航单元可循环动态显示心脏内部组织 结构的运动。测量单元测量特定部位的面积、最大径和最小径。心脏超声虚拟内窥镜心内诊断不仅能应用到临床医疗，其诊断和测量功能还有望 应用于远程医疗。远程医疗是近年来发达国家在互联网络上开发的一项科研性医疗项目， 利用通讯技术、现代电子技术和计算机技术来实现各种医学信息的远程采集、传输、处理、 存储和查询。随着网络技术和虚拟现实技术的发展，利用网络资源，对心脏超声图像数据进 行远程传送和数据共享，经重建后的三维图像可以使远程操作者“漫游”在患者“心脏内”从 任意角度观察心腔内的解剖结构，对心内畸形部位进行诊断和定量分析。
8
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人 员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为 本发明的保护范围内。
权利要求
一种三维心脏超声虚拟内窥镜系统，其特征在于，包含数据采集单元，通过超声对心脏进行二维图像数据采集；图像预处理单元，对采集到的二维图像数据进行滤波处理和图像分割；三维视图重建单元，对经过预处理的图像数据进行三维视图重建；导航单元，设置一虚拟内窥镜视点，并允许该虚拟内窥镜视点在重建的三维视图中进行任意角度的观察；以及测量单元，对所观察的特定部位的数据进行测量和分析。
2.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述数据采集 单元采用全容积法为整体心脏进行全容积采样。
3.根据权利要求2所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述数据采集 单元为彩色多普勒超声心动图仪。
4.根据权利要求2所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述数据采集 单元依次采集一组4个实时三维瓜瓣块后整合成一金字塔型整体心脏数据集。
5.根据权利要求4所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述数据采集 单元依次采集一组4个实时三维瓜瓣块分别为0° 15°、15° 30°、30° 45°、 45° 60°。
6.根据权利要求4所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述整体心脏 数据集包含了 一个心动周期的数据。
7.根据权利要求6所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述整体心脏 数据集的数据通过插值和坐标变换后按照高度、宽度、深度和时间的顺序排列并以DICOM 格式保存。
8.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述图像预处 理单元采用各向异性扩散法对二维图像进行滤波处理。
9.根据权利要求8所述的三维心脏超声虚拟内窥镜系统，其特征在于，在心脏的心肌 轮廓方向使用高扩散参数滤波处理，在轮廓梯度方向使用低扩散参数滤波处理。
10.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述图像预处 理单元采用阈值法进行图像分割。
11.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述阈值法设 置灰度阈值和梯度阈值。
12.根据权利要求11所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述灰度阈 值介于0 40之间。
13.根据权利要求12所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述灰度阈 值设置为20。
14.根据权利要求11所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述梯度阈 值包含第一梯度阈值和第二梯度阈值。
15.根据权利要求14所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述第一梯 度阈值设置为3，第二梯度阈值设置为6。
16.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述三维图像 重建单元采用面绘制法和体绘制法对经过预处理的图像数据进行三维可视化重建，虚拟视点移动时采用面绘制法，虚拟视点不移动时采用体绘制法。
17.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述虚拟内窥 镜的导航方式分为关键帧动画、自由导航以及指导路径导航。
18.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述虚拟内窥 镜视点通过调整视距和视角在重建的三维视图中进行任意角度的观察。
19.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述虚拟内窥 镜视点移动时，三维视图沿着视线方向前进，产生待检器官组织结构目标不断靠近观察者 的放大的多帧图像。
20.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述导航单元 对虚拟内窥镜视点经过的路径保存并进行连续回放。
21.根据权利要求6所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述导航单元 循环动态显示心脏内部组织结构的运动。
22.根据权利要求1所述的三维心脏超声虚拟内窥镜系统，其特征在于，所述测量单元 测量特定部位的面积、最大径和最小径。
全文摘要
本发明提供了一种三维心脏超声虚拟内窥镜系统，包含数据采集单元，通过超声对心脏进行二维图像数据采集；图像预处理单元，对采集到的二维图像数据进行滤波处理和图像分割；三维视图重建单元，对经过预处理的图像数据进行三维视图重建；导航单元，设置一虚拟内窥镜视点，并允许该虚拟内窥镜视点在重建的三维视图中进行任意角度的观察；以及测量单元，对所观察的特定部位的数据进行测量和分析。通过本发明，观察者可以在模拟环境中对患者心脏进行多方位的无创伤检查，本发明广泛适用于医疗、实验以及教学。
文档编号A61B1/00GK101849813SQ20091004861
公开日2010年10月6日 申请日期2009年3月31日 优先权日2009年3月31日
发明者余建国, 孙锟, 王威琪, 薛海虹, 陈滨津 申请人:上海交通大学医学院附属新华医院;上海交通大学医学院附属上海儿童医学中心;复旦大学