专利名称：经食道心脏超声可视化仿真系统及方法
技术领域：
本发明属于医学图像分析处理、虚拟仿真技术领域，尤其是涉及一种用于经食道 心脏超声的教学及培训及计算机辅助外科手术的可视化仿真系统及方法。
背景技术：
心脏疾病的超声诊断一直是超声诊断领域的重点和难点，经食道超声心动图是心 血管疾病诊断、监测领域的新进展，为多种心脏病和大血管疾病的诊断提供了新的手段。心 脏结构和运动非常复杂，对检查者的空间思维能力和临床思维能力提出了更高的要求，因 此，如何经过高质量的培训，让医生能够迅速掌握超声心动图是非常重要的。国内外有很多 医生和学生们亟待培训，因此开发适用于培养心脏疾病超声诊断监测人员的培训装置和软 件系统十分必要。目前，国外已经开发出了经胸超声心动图的简易模拟教学设备，其中在专利号为 US2009/0130642的发明专利中，主要是对经胸方式获取超声图像进行培训，该模拟器通过 传感器获取数据的方式能够获取模拟探头的空间位置，与事先采集的经胸超声切面图像进 行匹配，显示三维心脏切面与对应的经胸超声图像，实现了对医生进行经胸超声图像采集 的模拟训练，但只有当培训人员使用探头力度适当时，才会显示清晰的经胸超声心动图。ZL 200710090595. 4的发明专利公开了一种虚拟经食道超声心动图系统及实现方 法，在临床教学和实际工作中，用于解决大量经食道超声心动像无法识别，经食道超声 心动图难于普及和掌握的问题。但是该系统和方法利用计算机三维重建技术建立的人体心 脏三维可视化数字模型比较简单且对心脏内部细微结构的分割不精细，再者心脏及内部器 官不能根据实际参数调整需求进行灵活变动，不能再现一个逼真的复合型心脏。另外是，系 统的虚拟探头为鼠标，临床医师和医学生操作使用时，跟真实的临床超声心脏检测截然不 同。英国伦敦大学医学院三位麻醉学家在2008年研发除了经食道超声模拟教学产 品，该产品包括解剖学心脏模型、经食道超声模拟器(模拟软件)、仿真人体模型。但由于所 述产品属于封闭的教学系统，临床经验不容易被积累，扩充，因而不利于教学和临床之间的 数据共享，不易于把临床经验随时补充到教学系统中去。日本的经食道超声模拟教学设备是由日本H R S Medical Systems Inc在2008年 成功研发，该产品包括了模拟探头、模拟人、图像数据库，但是没有实现三维可视化切面，而 TEE学习的关键是二维超声切面在三维可视化心脏上的体现，由于没有实现开放式建模，因 此很难进一步提升到临床手术辅助。
发明内容
本发明的目的在于克服现有技术的不足，提供一种经食道心脏超声可视化仿真系 统及方法，与临床超声心脏检测诊断的环境与操作相同，该系统和方法实现了采集经食道 超声切面时的姿态数据与三维可视化心脏切面一一匹配，实现了对心脏疾病的病理挖掘，
4并给出对应的超声切面与虚拟三维心脏模型的空间位置关系，结合对应的相关知识和病情 资料进行计算机辅助临床诊疗决策，并进行可视化显示及教学。本发明所述经食道心脏超声可视化仿真系统，包括智能体模、心脏超声图像仿真 采集装置、与心脏超声图像仿真采集装置相连的计算机和经食道超声探头姿态数据采集装 置；所述智能体模包括模体及模体内设置的三维仿真模拟心脏、模拟食道及胃，所述经食道 超声探头姿态数据采集装置设置在智能体模的咽喉部位，其信号输出端与计算机连接；心 脏超声图像仿真采集装置用于模拟采集心脏超声图像，并将所采集到的心脏超声图像传送 给计算机；经食道超声探头姿态数据采集装置和传感器在心脏超声图像仿真采集装置采集 心脏超声图像时，用于同步采集心脏超声图像仿真采集装置的探头姿态数据，并将所采集 到的探头姿态数据传送给计算机，计算机用于对接收到的心脏超声图像和探头姿态数据进 行分析处理，并进行可视化教学及培训。为了更准确的确定心脏超声图像仿真采集装置在智能体模内的位置，本发明在智 能体模内还设置了传感器，所述传感器至少为一个，其信号输出端与计算机连接，在心脏超 声图像仿真采集装置采集心脏超声图像时，用于同步采集心脏超声图像仿真采集装置的探 头姿态数据。上述经食道心脏超声可视化仿真系统中，所述经食道超声探头姿态数据采集装置 优选以下结构经食道超声探头姿态数据采集装置包括环形磁套、转轴组件、套环和传感器 套件；套环安装在环形磁套内，心脏超声图像仿真采集装置的探头插入套环的内孔并从套 环内控伸出，转轴组件安装在环形磁套内，其构件包括转轴、转轴支承座和安装在转轴上的 摩擦轮，所述转轴组件中的摩擦轮与心脏超声图像仿真采集装置的探头相接触；传感器套 件包括角度传感器、位移传感器和弹性压紧机构，角度传感器位于套环的外侧并与套环接 触，位移传感器靠近转轴组件安装，弹性压紧机构沿心脏超声图像仿真采集装置的探头周 边安装；所述角度传感器和位移传感器的信号输出端与计算机连接。所述角度传感器和位移传感器包括磁环、磁传感接收器和逻辑处理器，逻辑处理 器采用微控制器构架平台来做核心处理单元，用于对各种数据进行处理，并实现与计算机 的通信传输控制；传感器的电源部分包括电源稳压电路和滤波电路，接口部分包括电压转 换电路和接口保护电路。本发明所述经食道心脏超声可视化仿真系统中，其心脏超声图像仿真采集装置的 图像采集卡术端配有S-Video端子，用于输出心脏超声图像仿真采集装置的探头采集超声 图像时的超声图像拷贝；所述计算机的主板带有COM 口，且插有带S-Video端子的采集卡。本发明所述经食道心脏超声可视化仿真系统中，其经食道超声探头姿态数据采集 装置还要与心脏超声图像采集装置配合，获取经食道超声心动图和心脏超声图像采集装置 的探头姿态数据，用于建立心脏超声图像采集装置的探头姿态数字化信息与经食道超声心 动图的对应关系，因此，经食道超声探头姿态数据采集装置的前端设置了柔性清洁构件，用 于清洁将心脏超声图像采集装置的探头插入体内检测时所沾带出的体液。本发明所述经食道心脏超声可视化仿真方法包括以下步骤第一步、利用心脏超声图像采集装置的探头和经食道超声探头姿态数据采集装 置，同步实时获取经食道超声心动图和心脏超声图像采集装置的探头姿态数据，将所获取 的心脏超声图像采集装置的探头姿态数据与经食道超声心动图建立一一对应的关系，并存
5入计算机的数据库中；第二步、在构建的标准虚拟复合心脏模型的基础上，通过对医学图像数据信息的 分析和处理，依据实际获取参数的值，实时构建三维可视化开放式复合心脏，把心脏不同病 理特征的数学模型以可视化的方式形象地表现出来；第三步、在进行模拟训练时，将经食道超声探头姿态数据采集装置设置在智能体 模的咽喉部位，或将经食道超声探头姿态数据采集装置设置在智能体模的咽喉部位，并将 传感器设置在智能体模内，然后将心脏超声图像仿真采集装置的探头穿过经食道超声探头 姿态数据采集装置伸入智能体模内，所述经食道超声探头姿态数据采集装置实时获取心脏 超声图像仿真采集装置的探头姿态数字化信息，并将该信息送入计算机中，计算机根据实 时获取的心脏超声图像仿真采集装置的探头姿态数字化信息和第一步建立的心脏超声图 像采集装置的探头姿态数字化信息与经食道超声心动图之间的一一对应关系，调出计算机 数据库中存储的与心脏超声图像采集装置探头姿态数字化信息所对应的经食道超声心动 图，同时在三维可视化开放式复合心脏模型上显示虚拟切面和虚拟探头的位置，然后对模 拟训练时采集的经食道超声心动图进行处理，对二维或三维超声图像进行数据测量，提取 心脏图像形变数据并在三维可视化开放式复合心脏模型上表现，结合心脏疾病专家知识 库，构建典型心脏疾病病理挖掘模型，实现对心脏疾病的病理挖掘，并给出对应的超声切面 与三维可视化开放式复合心脏模型的空间位置关系，结合对应的相关知识和病情资料进行 计算机辅助教学中的临床诊疗决策，并进行可视化显示。与现有技术相比，本发明的有益效果是解决了现有技术中提到的几个关键问题 首先，经食道超声探头姿态数据采集装置实现了对经食道超声心动像的姿态数据采 集，实现了与经食道超声心动图的一一匹配，经食道超声探头姿态数据采集装置既能够让 临床教学和培训医生及医学生们随时了解心脏超声切面的具体位置参数，又能够安装到智 能体模里面进行模拟教学，同时能够实时获取探头的姿态数据，这样更有利于实习医生和 医学生们能够得到更好的培训。第二，建立了对典型心脏疾病建立病例挖掘规则，实现病理 挖掘功能，能够更好地对实习医生进行临床模拟培训。第三，智能体模、经食道超声探头姿 态数据采集装置及心脏超声图像仿真采集装置、经食道超声可视化教学系统等实现了人机 互动式的临床模拟环境，实现了不同病理情况下的三维心脏的自由变形。这样更有利于实 习医生和医学生们学习和掌握心脏超声心动图，也更能帮助实习医生更深刻地理解不同病 理情况下，三维心脏的相应的形变情况。本发明提供了一种经食道心脏超声可视化仿真系统及方法，研发设计了经食道超 声心动图模拟培训设备，解决了医院急需经食道超声心动图模拟培训设备的需求，通过智 能体模、心脏超声图像仿真采集装置、经食道超声探头姿态数据采集装置等，构建三维可视 化开放式复合心脏以及经食道超声可视化教学系统的设计与研发，能清晰完整的仿真显示 各种心脏切面角度的内外部三维结构及其对应的超声心动图，实现了经食道超声切面与三 维可视化心脏切面一一匹配。通过心脏可视化教学系统，分析不同推荐经食道二维超声切 面对应的三维可视化心脏切面模型，有利于学员建立起空间感。为了培训学员对心脏疾病 的经食道超声切面的正确识别，针对不同心脏疾病确定了不同数学模型，实现了对心脏疾 病的病理挖掘，建立了一系列病理推断规则，形成专家知识库，并给出了对应的超声切面的 3D切面模型以及对应的相关知识和病情的介绍，使用医生和医学生们通过本发明装置和软
6件系统来模拟学习及可视化教学与培训，通过模拟教学设备操作，能提高其对不断变换的 超声切面结构的感官理解，实现辅助医生和医学生们在临床技能教学培训中对心脏疾病的 病理决策分析，提高医学教学水平，最终达到提高现代医疗水平的目的。基于目前各大医院对经食道心脏超声医学可视化教学培训的迫切需求，本发明结 合医学图像处理、虚拟仿真技术、传感器技术以及数据挖掘技术，完全实现了对经食道超声 心动像分析处理的整个流程，实现了经食道超声的模拟教学及培训。该发明通过经食 道超声探头姿态数据采集装置、心脏超声图像仿真采集装置和经食道超声可视化仿真系统 实现了超声图像的姿态数据采集，包括了对探头的旋转角度参数、伸缩参数以及探头屈伸 等参数的采集，通过姿态数据与超声图像的一一匹配，实现对经食道超声图像采集的教学 模拟。同时，该发明建立了心脏疾病专家知识库，构建了典型心脏疾病病理挖掘模型，实现 了对心脏疾病的病理挖掘，虚拟技术的设计能为超声医生提供操作方便、人机互动，适合多 平面经食道超声心动图的特点的虚拟环境。本发明利用磁编码器实现了探头伸缩度以及旋 转角度的数据获取，利用光学原理实现了探头屈伸度的数据获取，研发设计了经食道超声 可视化仿真教学系统。通过使用该模拟培训系统，实习医生和医学生们将探头经食道插入智能体模内， 可以得到不同的参数值及各参数值对应的不同心脏三维可视化模型，并且可以看到经食道 心脏超声心动像及心脏超声操作的全部过程，及其各个心脏剖面对应超声方向的3D 切面模型及对应的相关知识介绍，用于帮助临床医生和医学生们掌握不同食道深度和角度 及各参数情况下的经食道超声心动像的详细结构，有利于提高他们对心脏内部结构的 感性认识及经食道超声心动图诊断及疾病的准确性的提高。另外，临床医生和医学生们采 用本发明进行培训后，可掌握不同深度和角度经食道超声心动像的解剖结构，有利于 经食道超声心动图的普及和提高经食道超声心动图诊断心脏疾病的准确性，间接提高临床 工作效率，从而避免增加患者的痛苦，减少并发症的发生率。
图1是本发明所述经食道心脏超声可视化仿真系统结构示意图；图2是本发明所述经食道心脏超声可视化仿真系统中的经食道超声探头姿态数 据采集装置的结构示意图；图3是图2的侧视图。图中，1-智能体模、2-经食道超声探头姿态数据采集装置、3-心脏超声图像仿真 采集装置、4-三维仿真模拟心脏、5-模拟食道及胃、6-传感器、7-计算机、8-环形磁套、 9_转轴组件、10-传感器套件、11-摩擦轮、12-转轴、13-转轴支承座、14-角度传感器、 15-位移传感器、16-弹性压紧机构、17-柔性清洁构件、18-套环。
具体实施例方式下面结合附图对本发明所述经食道心脏超声可视化仿真系统及方法作进一步说 明。实施例1本实施例中，经食道心脏超声可视化仿真系统的结构如图1所示，包括智能体模1、心脏超声图像仿真采集装置3、与心脏超声图像仿真采集装置相连的计算机7、经食道超 声探头姿态数据采集装置2和传感器6。所述智能体模1包括模体及模体内设置的三维仿真模拟心脏4、模拟食道及胃5， 智能体模的头部和胸部全部采用透明塑料，头部的口腔可以活动，可张开关闭，头部和颈部 可分开，能保证经食道超声探头姿态数据采集装置和传感器置入和拆卸，可以直接观看到 食道和胸腔内逼真的脏器结构，并能看到插管在食管和胃部的位置，其外部可穿戴衣服。所述经食道超声探头姿态数据采集装置2的结构如图2、图3所示，包括环形磁套 (8)、转轴组件9、套环18和传感器套件10 ；套环18安装在环形磁套8内，心脏超声图像仿 真采集装置3的探头插入套环的内孔并从套环内控伸出，转轴组件9安装在环形磁套8内， 其构件包括转轴12、转轴支承座13和安装在转轴上的摩擦轮11，所述转轴组件中的摩擦轮 11与心脏超声图像仿真采集装置3的探头相接触，当心脏超声图像仿真采集装置3的探头 运动时，即可使摩擦轮转动；传感器套件10包括角度传感器14(用于检测心脏超声图像仿 真采集装置3的探头的旋转角度)、位移传感器15 (用于检测心脏超声图像仿真采集装置3 的探头的位移)和弹性压紧机构16 (用于检测心脏超声图像仿真采集装置3的探头定位)， 角度传感器14位于套环18的外侧并与套环接触，位移传感器15靠近转轴组件9安装，弹性 压紧机构16包括对心脏超声图像仿真采集装置3的探头施压的构件和弹簧，沿心脏超声图 像仿真采集装置3的探头周边安装；所述角度传感器14和位移传感器15的信号输出端与 计算机(7)连接，其结构包括磁环、磁传感接收器和逻辑处理器，逻辑处理器采用微控制器 构架平台来做核心处理单元，用于对各种数据进行处理，并实现与计算机的通信传输控制， 其电源部分包括电源稳压电路和滤波电路，接口部分包括电压转换电路和接口保护电路所 述角度传感器和位移传感器既可购买，也可自己制作。本实施例所述经食道心脏超声可视化仿真系统中，其经食道超声探头姿态数据采 集装置还要与心脏超声图像采集装置配合，获取经食道超声心动图和心脏超声图像采集装 置的探头姿态数据，用于建立并心脏超声图像采集装置的探头姿态数字化信息与经食道超 声心动图的对应关系，因此，经食道超声探头姿态数据采集装置的前端设置了柔性清洁构 件17，用于清洁将心脏超声图像采集装置的探头插入体内检测时所沾带出的体液，所述柔 性清洁构件17可以用泡沫材料制作。所述计算机7安装有经食道心脏超声可视化仿真系统软件，所述软件主要用于经 食道心脏超声可视化仿真教学及培训，主界面包括超声心动像及探头姿态数据，三维 可视化开放式复合心脏模型及虚拟探头、相关知识和病情资料等，其该软件系统的数据库 中储存有心脏超声图像采集装置的探头姿态数字化信息与经食道超声心动图之间对应关 系的数据资料。所述心脏超声图像仿真采集装置3可以是经食道超声仪，或其他超声仪，具有可 以伸入智能体模内进行探测的经食道超声探头3和与超声探头连接的导管。其图像采集卡 采用型号Microview V200，在其末端配有S-Video端子，用于输出心脏超声图像仿真采集 装置的探头采集超声图像时的超声图像拷贝，即具备了超声仪器采集图像的实时多路输出 的功能。同时，可在计算机1或准系统(主板带有COM 口)插有带S-Video端子的采集卡， COM 口负责接收经食道超声探头姿势数据采集装置实时反馈的姿态参数的通信，S-Video 端子同时抓取超声仪器的超声图像，即可做到超声图像与探头姿态的同步化。
本实施例中，经食道心脏超声可视化仿真系统中各部件、器件的组装方式如下经 食道超声探头姿态数据采集装置2设置在智能体模的咽喉部位，其信号输出端与计算机7 连接；心脏超声图像仿真采集装置3的探头穿过经食道超声探头姿态数据采集装置伸入智 能体模的食道及胃5，其信号输出端与计算机7连接；传感器6在食管上段、食管中段和经 胃底三个主要位置设置的，用来获取探头在经食道检查时，在食管和胃里的位置信息，帮助 学员了解探头的所在的位置。本实施例中，经食道心脏超声可视化仿真系统的工作原理是通过经食道超声探 头姿态数据采集装置2和传感器6获取心脏超声图像仿真采集装置3的探头的不同姿态参 数值，经食道超声探头姿态数据采集装置2中的角度传感器14用于检测心脏超声图像仿真 采集装置3的探头的旋转角度，其位移传感器15用于检测心脏超声图像仿真采集装置3的 探头的位移，传感器6在食管上段、食管中段和经胃底三个主要位置设置的，用来获取心脏 超声图像仿真采集装置3的探头在经食道检查时，在食管和胃里的位置信息，因此心脏超 声图像仿真采集装置3探头在智能体模胸表面的位置、方向、坡度以及范围参数探头经食 道深度L、探头经食道旋转角度R、探头超声发射器的前曲后伸参数α、探头超声发射器的 左右曲参数β及扇面旋转角Y等信息均能获得。实施例2本实施例使用实施例1所述经食道心脏超声可视化仿真系统，对经食道心脏超声 可视化仿真方法作进一步说明。本实施例中，经食道心脏超声可视化仿真方法的步骤如 下第一步、利用心脏超声图像采集装置的探头和经食道超声探头姿态数据采集装置 2，同步实时获取经食道超声心动图和心脏超声图像采集装置的探头姿态数据，将所获取的 心脏超声图像采集装置的探头姿态数据与经食道超声心动图建立一一对应的关系，并存入 计算机7的数据库中；第二步、在构建的标准虚拟复合心脏模型(该模型通过3D建模软件和心脏的医学 特征提取实现)的基础上，通过对医学图像数据信息的分析和处理，依据实际获取参数的 值，实时构建三维可视化开放式复合心脏，把心脏不同病理特征的数学模型以可视化的方 式形象地表现出来；本发明采用快速的可视化算法并利用通用3D建模软件以及DXD技术实现从标准 虚拟复合心脏模型到三维可视化开放式复合心脏的构建以及三维可视化开放式复合心脏 的形变控制。在已经建好的标准虚拟复合心脏模型之上进行二次变形，是一种从“一般到具体” 的三维建模方法，因此对原始图像的依赖程度远不如三维重建技术那么强。更重要的是能 够帮助参加培训学习的医生在大脑中更加形象逼真的重现心脏的三维模型，通过对经食道 超声心动图三维可视化模拟系统的研究和设计，让医生对心脏病的决策诊断起到实质性的 效果。三维可视化开放式复合心脏的构建以及三维复合心脏的形变控制采用以下步骤 实现①提取心电兴奋序列作为力学分析数据来源。②获得仿真形变数据。
③把这些数据在三维心脏上以可视化的方式表现，构造三维可视化心脏。④图像识别获取超声切面旋转角度。第三步、在进行模拟训练时，将经食道超声探头姿态数据采集装置2设置在智能 体模的咽喉部位，传感器6在智能体模的食管上段、食管中段和经胃底三个主要位置设置， 心脏超声图像仿真采集装置3的探头穿过经食道超声探头姿态数据采集装置伸入智能体 模的食道及胃5 ；所述经食道超声探头姿态数据采集装置2实时获取心脏超声图像仿真采 集装置3的探头姿态数字化信息，并将该信息送入计算机7中，计算机7根据实时获取的心 脏超声图像仿真采集装置3的探头姿态数字化信息和第一步建立的心脏超声图像采集装 置的探头姿态数字化信息与经食道超声心动图之间的一一对应关系，调出计算机7数据库 中存储的与心脏超声图像采集装置探头姿态数字化信息所对应的经食道超声心动图，同时 在三维可视化开放式复合心脏模型上显示虚拟切面和虚拟探头的位置，然后对模拟训练时 采集的经食道超声心动图进行处理，对二维或三维超声图像进行数据测量，提取心脏图像 形变数据并在三维可视化开放式复合心脏模型上表现，结合心脏疾病专家知识库，构建典 型心脏疾病病理挖掘模型，实现对心脏疾病的病理挖掘，并给出对应的超声切面与三维可 视化开放式复合心脏模型的空间位置关系，结合对应的相关知识和病情资料进行计算机辅 助教学中的临床诊疗决策，并进行可视化显示。其中，利用计算机7对模拟训练时采集的经食道超声心动图进行处理部分。对二 维图像进行数据测量，提取心脏图像形变数据以及在三维可视化开放式复合心脏模型上的 体现。本发明中需要对心脏的二维图像进行识别，提取二维图像的特征数据(包括心腔形 变数据等)。对于二维图像的识别包括了图像预处理，图像轮廓提取以及图像测量、可视化 显示四个步骤来实现。①图像预处理包括了图像增强，二值化处理等预处理过程。②图像轮廓提取，用于对提取心房、心室的轮廓，采用基于最优几何模型的心脏超 声图像分割方法实现。③图像测量实时计算出心房、心室收缩和舒张数据。④图像识别获取超声切面旋转角度。在进行图像采集时，可对食道上段、中断以及下端，还有经胃底进行经食道超声切 面图像采集，与此同时，数据采集装置在进行图像采集的同时也同步获取了超声切面对应 的探头姿态参数。实际操作经食道探头的过程中，伴随传感器感应探头的实时姿态变化，利 用COM接口，“问答式”反馈五个参数L、R、α、β、Y。在心脏超声图像仿真采集装置3中，本发明提出的基于最优几何模型的心脏超声 图像分割方法分为五个步骤，描述如下①选择一种经典分割方法来分割图像，同时定义该方法所需使用参数的变化范围。②在参数范围中选择一数值，使用该值利用所选分割方法分割图像，致使原始图 像被分割成两个以上的区域。③遍历所有分割出的区域，并将每个区域二值化处理。④提取每个二值化区域的边界像素坐标集合，利用该集合数据，可判定该区域与 先验几何特征的匹配程度；最终，每个分割后的区域都可算得一个与先验几何特征关联的
10
⑤如果①中所定义的分割方法参数范围还有未使用的参数，则选取它重新执行② 步到④步。否则，选取一个具有最大“几何模型符合度”的区域作为最终的分割结果。上述②步到④步可用如下公式描述F为基于最优几何模型的图像分割整体过程；f是所选择的经典图像分割方法；Pi 是f的所选取的某个参数值；P是预先定义的分割参数值变化范围，其中包含M个可选值；G 为分割目标区域的粗略估计先验几何模型。经过选Spi的一次处理，产生的结果是包含N个元素的二维向量集合，每个元素 表示为(&,」，gi,j)，其中N的数值随着所选取的 ^Π Pi变化。！？吣是^ 》所分割出的第 j个区域；&,」是Ri,」的“几何模型符合度”。第⑤步骤同样可描述为如下公式，其中R为所求的最终分割结果在上述介绍中，计算gy是一个关键环节。如果某些边界像素值没有“贡献于”该 区域的预定义几何模型，对于该区域的“几何模型符合度”来说，这些边界像素可视为错误 数据。在经食道心脏超声可视化教学系统方面，该教学系统能实时反馈的(L，R，α，β， Y )参数可在3D场景中反映出当前3D心脏模型、3D食道模型及3D超声探头模型的真实姿 态。除展示经食道心脏超声诊断病理的20个常用超声切面影像外，还有对应超声方向的3D 切面模型及对应的相关知识介绍。在显示屏的左上窗口展示切面的3D模型及探头相关位置，可Χ、Υ、Ζ三轴向微转查 看及鼠标拖动任意轴旋转及缩放，及匹配超声心脏运动状态产生动画效果。在显示屏的右上窗口展示该处切面的超声影像，具体分为黑白超声、彩色超声及 黑白彩色对比超声。超声影像切面与3D模型探头扇状标识有颜色对应匹配关系。同时，为 满足教学讲解要求，加入了 “帧播放”，“讲解注释编辑”及“超声影像保存”相关功能。在显示屏的下窗口为讲解窗口，具体分为“教学说明”，“获取该超声图像的方式”， “该超声图像中可辨认的结构”及“该超声图像可诊断的病例”。软件基于WPF(Windows Presentation Foundation)平台开发，WPF 用于为不同用 户界面提供统一的显示系统，为所有的这些用户界面提供一致的技术基础，同时，WPF采用 更为先进的方法，支持视频、动画、二维或三维图形以及各种类型的文档，还为桌面客户端 和浏览器客户端提供了通用基础。所有的3D模型为标准的3D模型文件格式一OBJ格式，适合用于3D模型之间的互 导，支持多边形、直线、表面及自由形态曲线。WPF 3D显示及相关操作使用System. Windows. Media. Media3D名字空间，模型为 GeometryModel 3D类对象，解析OBJ顶点坐标、纹理坐标及法向到该对象的MeshGeometry3D 属性，再设置其纹理及光照及视角，即可显示模型。
11
3D 模型的动画操作使用 System. Windows. Media. Animation. AnimationTimeline 名字空间。随着超声图像的心脏运动频率，设置Timeline对象的Duration属性；随着超声 图像的心脏结构空间变化范围，设置3D模型关键节点坐标的关键帧位置Point3D属性。超声图像功能使用WPF中MediaElement控件，可控制播放。超声图像添加注释编 辑，使用了图层技术，将Canvas置于MediaElement之上，Canvas添置各类Geometry对象 即可。探头相关位置，海量超声影像图，20处心脏切面的相关文字说明。该软件系统设计的目的是配合智能体模，在实际培训操作中产生真实、直观、生动 及便利的教学效果。软件后台数据库包括3D心脏模型，3D心脏切面模型，3D超声探头模 型，超声切面形变参数经食道超声切面图像，3D心脏切面模型及数据库建表时存储了(L， R, α,β,γ)参数及对应的超声图像，随着反馈参数参与表查询，实时显示对应姿态的超声 图像。软件系统实现了二维超声切面与三维可视化心脏虚拟切面的同步显示，随着培训人 员使用模拟探头操作体模所反馈的探头姿态参数，显示对应姿态的超声图像，在心脏超声 图像仿真采集装置3的探头经食道的20个关键位置，通过获取心脏超声图像仿真采集装置 3的探头姿态数据与临床采集(采集方法见本实施例所述的经食道心脏超声可视化仿真方 法的操作步骤一)后存入到数据库里面的姿态数据进行匹配显示超声切面影像，同时还有 对应超声切面的3D虚拟切面模型以及对应的相关知识介绍。本发明并不局限于前述的具体实施方式
。本发明扩展到任何在本说明书中披露的 新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
1权利要求
一种经食道心脏超声可视化仿真系统，包括智能体模(1)、心脏超声图像仿真采集装置(3)、与心脏超声图像仿真采集装置相连的计算机(7)，其特征在于还包括经食道超声探头姿态数据采集装置(2)，所述智能体模包括模体及模体内设置的三维仿真模拟心脏(4)、模拟食道及胃(5)，所述经食道超声探头姿态数据采集装置(2)设置在智能体模的咽喉部位，其信号输出端与计算机(7)连接；心脏超声图像仿真采集装置(3)用于模拟采集心脏超声图像，并将所采集到的心脏超声图像传送给计算机(7)；经食道超声探头姿态数据采集装置(2)和传感器(6)在心脏超声图像仿真采集装置(3)采集心脏超声图像时，用于同步采集心脏超声图像仿真采集装置(3)的探头姿态数据，并将所采集到的探头姿态数据传送给计算机(7)，计算机(7)用于对接收到的心脏超声图像和探头姿态数据进行分析处理，并进行可视化显示。
2.根据权利要求1所述的经食道心脏超声可视化仿真系统，其特征在于还包括传感器 (6)，所述传感器(6)至少为一个，设置在智能体模(1)内，其信号输出端与计算机(7)连 接，在心脏超声图像仿真采集装置(3)采集心脏超声图像时，用于同步采集心脏超声图像 仿真采集装置(3)的探头姿态数据。
3.根据权利要求1或2所述的经食道心脏超声可视化仿真系统，其特征在于所述经食 道超声探头姿态数据采集装置(2)包括环形磁套(8)、转轴组件(9)、套环(18)和传感器套 件(10)；套环(18)安装在环形磁套(8)内，心脏超声图像仿真采集装置(3)的探头插入套 环的内孔并从套环内孔伸出，转轴组件(9)安装在环形磁套(8)内，其构件包括转轴(12)、 转轴支承座(13)和安装在转轴上的摩擦轮(11)，所述转轴组件中的摩擦轮(11)与心脏超 声图像仿真采集装置(3)的探头相接触；传感器套件(10)包括角度传感器(14)、位移传感 器(15)和弹性压紧机构(16)，角度传感器(14)位于套环(18)的外侧并与套环接触，位移 传感器(15)靠近转轴组件(9)安装，弹性压紧机构(16)沿心脏超声图像仿真采集装置(3) 的探头周边安装；所述角度传感器(14)和位移传感器(15)的信号输出端与计算机(7)连 接。
4.根据权利要求1或2所述的经食道心脏超声可视化仿真系统，其特征在于所述心 脏超声图像仿真采集装置(3)的图像采集卡末端配有S-Video端子，用于输出心脏超声图 像仿真采集装置(3)的探头采集超声图像时的超声图像拷贝；所述计算机(7)的主板带有 COM 口，且插有带S-Video端子的采集卡。
5.根据权利要求3所述的经食道心脏超声可视化仿真系统，其特征在于所述心脏超声 图像仿真采集装置(3)的图像采集卡末端配有S-Video端子，用于输出心脏超声图像仿真 采集装置(3)的探头采集超声图像时的超声图像拷贝；所述计算机(7)的主板带有COM 口， 且插有带S-Video端子的采集卡。
6.根据权利要求1或2所述的经食道心脏超声可视化仿真系统，其特征在于在经食道 超声探头姿态数据采集装置(2)前端设置有柔性清洁构件(17)。
7.—种经食道心脏超声可视化仿真方法，其特征在于包括以下步骤第一步、利用心脏超声图像采集装置的探头和经食道超声探头姿态数据采集装置(2)， 同步实时获取经食道超声心动图和心脏超声图像采集装置的探头姿态数据，将所获取的心 脏超声图像采集装置的探头姿态数据与经食道超声心动图建立一一对应的关系，并存入计 算机(7)的数据库中；第二步、在构建的标准虚拟复合心脏模型的基础上，通过对医学图像数据信息的分析 和处理，依据实际获取参数的值，实时构建三维可视化开放式复合心脏，把心脏不同病理特 征的数学模型以可视化的方式形象地表现出来；第三步、在进行模拟训练时，将经食道超声探头姿态数据采集装置(2)设置在智能体 模的咽喉部位，或将经食道超声探头姿态数据采集装置(2)设置在智能体模的咽喉部位， 并将传感器(6)设置在智能体模(1)内，然后将心脏超声图像仿真采集装置(3)的探头穿 过经食道超声探头姿态数据采集装置(2)伸入智能体模内，所述经食道超声探头姿态数据 采集装置(2)实时获取心脏超声图像仿真采集装置(3)的探头姿态数字化信息，并将该信 息送入计算机(7)中，计算机(7)根据实时获取的心脏超声图像仿真采集装置(3)的探头 姿态数字化信息和第一步建立的心脏超声图像采集装置的探头姿态数字化信息与经食道 超声心动图之间的一一对应关系，调出计算机(7)数据库中存储的与心脏超声图像采集装 置探头姿态数字化信息所对应的经食道超声心动图，同时在三维可视化开放式复合心脏模 型上显示虚拟切面和虚拟探头的位置，然后对模拟训练时采集的经食道超声心动图进行处 理，对二维或三维超声图像进行数据测量，提取心脏图像形变数据并在三维可视化开放式 复合心脏模型上表现，结合心脏疾病专家知识库，构建典型心脏疾病病理挖掘模型，实现对 心脏疾病的病理挖掘，并给出对应的超声切面与三维可视化开放式复合心脏模型的空间位 置关系，结合对应的相关知识和病情资料进行计算机辅助教学中的临床诊疗决策，并进行 可视化显示。
全文摘要
一种经食道心脏超声可视化仿真系统，包括智能体模、心脏超声图像仿真采集装置、与心脏超声图像仿真采集装置相连的计算机和经食道超声探头姿态数据采集装置；心脏超声图像仿真采集装置用于模拟采集心脏超声图像，并将所采集到的心脏超声图像传送给计算机；经食道超声探头姿态数据采集装置和传感器在心脏超声图像仿真采集装置采集心脏超声图像时，用于同步采集心脏超声图像仿真采集装置的探头姿态数据，并将所采集到的探头姿态数据传送给计算机，计算机用于对接收到的心脏超声图像和探头姿态数据进行分析处理，并进行可视化显示。
文档编号G09B9/00GK101916333SQ20101025181
公开日2010年12月15日 申请日期2010年8月12日 优先权日2010年8月12日
发明者付忠良, 姚宇, 宋海波, 李昕, 王伟东, 苗青, 赵向辉 申请人:四川大学华西医院;中科院成都信息技术有限公司