医学影像远程交流系统、服务器端、终端的制作方法
【专利摘要】本发明公开了一种基于B/S结构的连续断层医学影像远程交流系统，及用于医学影像远程交流的远程服务器端和远程终端。本发明中的3D影像的合成是由远程服务器端来完成，以便于共享，从而在不需要网页客户端预先安装任何软件或插件，以不需特定硬件配置下，也能够对连续断层影像的伪三维浏览和处理；另一方面基于Web的在线影像交流模式，使得参与的用户不受地域的限制，即能够同时实现多方在线“手对手”交流。
【专利说明】医学影像远程交流系统、服务器端、终端
【技术领域】
[0001]本发明涉及网络通信技术，尤其涉及一种基于B/S结构的医学影像远程交流系统，及用于该基于B/S结构的医学影像交流的远程服务器端及远程终端。
【背景技术】
[0002]当今，远程医学图像在医学会诊、教学、病人知情权等方面扮演着重要的角色。目前，远程医疗已开始在部分大医院与区县医疗机构建立起来，并在危重病人抢救、汶川地震抢险等方面取得了很好的效果。
[0003]现有远程医疗是建立在专用的网络环境、高昂的配套设备、以及特定的用户群体之间的，其高昂的成本却不是所有医疗机构和社区医疗服务单位能够承受的。现有远程医疗的原理主要是利用视频进行交流，或者将医学影像数据打包传输后医生各自进行诊断最后将结果进行反馈。这种方式不支持直观地在影像上进行实时细节交流，并且，由于主要采用点对点的会诊方式，因此也限制了更多医生、专家在各自地理位置便捷地参与。另一方面，由于向患者提供的材料一般都是胶片或者纸质打印材料，使得患者无法得到直观的病灶可视图解读，因此，当患者藉此到其他医疗机构咨询或就诊时，往往需要重新进行影像检查，从而增加病人开销，同时也浪费医疗资源。
【发明内容】
[0004]有鉴于此，本发明提供了一种基于B/S结构的医学影像远程交流系统，及用于该基于B/S结构的医学影像交流的远程服务器端及远程终端，使得多客户端可以加入讨论，并且可以互动的在线同步勾画，并不损伤原始图像、不受网络安全限制、不要求在客户端安装任何软件或插件、不局限于单一操作系统、客户端不需要特别硬件支持、3D数据不需在客户端重建、参与交流的客户端之间不依赖专用网络，具备良好的实时性和稳定性、确保网页无刷新实时同步效果。
[0005]本发明通过以下技术手段解决上述技术问题：
[0006]本发明提供了用于医学影像远程交流的远程服务器端，包括
[0007]存储模块，用于存储远程终端预先上传来的连续横断层影像集；
[0008]B/S交流模块，用于接收任一在线远程终端发送来的浏览请求或交流数据，该交流数据包括浏览跟踪数据和/或标注数据；
[0009]影像处理模块，用于根据VTK技术将所存储的连续横断层影像集进行3D影像合成，以及根据所述浏览请求或所述浏览跟踪数据，结合VTK技术进行2D影像映射，并控制所述B/S交流模块将映射得到的2D影像发送给在线的各个远程终端。
[0010]进一步地，所述交流数据以XML文件格式存储的。
[0011]进一步地，所述影像处理模块包括：
[0012]VTK影像处理子模块，用于根据VTK技术将所存储的连续横断层影像集进行3D影像合成，并根据所述浏览请求或所述浏览跟踪数据，结合VTK技术进行2D影像映射；[0013]处理器，用于控制所述B/S交流模块分别发送映射得到的所述影像数据和所述交流数据，其中，该影像数据表示为栅格图像，该交流数据表示为矢量图像。远程服务器端，其特征在于，还包括：
[0014]更进一步地，所述远程服务器端还包括瓦片化模块，用于采用GIS瓦片式切图算法对映射得到的2D影像进行预处理，并将处理结果以“金字塔”结构存储。
[0015]本发明还提供了一种用于医学影像远程交流的远程终端，包括控制模块，用于生成浏览请求；B/S交互模块，用于将所述控制模块生成的浏览请求，以及接收所述远程服务器端发送来的，根据该浏览请求结合VTK技术进行2D影像映射得到的2D影像；显示模块，用于根据所述控制模块的控制命令，显示所述B/S结构交流模块所接收的2D影像。
[0016]进一步地，所述用于医学影像远程交流的远程终端，还包括：
[0017]记录模块，用于记录用户对当前显示的2D影像进行的浏览操作和/或标注操作，得到交流数据，该交流数据包括浏览跟踪数据和/或标注数据；则
[0018]所述B/S交互模块还用于将所述记录模块所得到的交流数据发送给所述远程服务器端，或者接收所述远程服务器端转发来的，由其它远程终端发送的交流数据，以及当所述交流数据包括浏览跟踪数据时，接收所述远程服务器端发送来的，根据所述浏览跟踪数据结合VTK技术重新进行2D影像映射得到的2D影像；
[0019]影像处理模块，用于根据所述B/S交互模块所接收的重新映射得到的2D影像对当前显示的2D影像进行更新，和/或当所述交流数据包括标注数据时，根据所述标注数据进
行影像重绘。
[0020]进一步地，所述交流数据以XML文件格式存储。
[0021]更进一步地，所述影像处理模块具体包括：
[0022]更新子模块，用于根据所述重新映射得到的2D影像对当前显示的2D影像进行更新；
[0023]解读子模块，用于对XML文件格式的交流数据进行解读；
[0024]影像重绘子模块，用于结合VML画板思路以层的形式，根据解读得到的信息进行
影像重绘。
[0025]相应地，本发明还提供了一种基于B/S结构的医学影像远程交流系统，包括上述的远程服务器端，以及与该远程服务器端相连的至少一个上述的远程终端，其中，
[0026]所述远程终端用于当其在线时，向所述远程服务器端发送浏览请求，以及接收并显示所述远程服务器发送来的，根据所述浏览请求结合VTK技术进行2D影像映射得到的2D
影像；
[0027]所述远程服务器端用于根据预先存储的连续横断层医学影像集进行3D影像合成，且当接收到所述远程终端发送来的浏览请求时，根据所述浏览请求结合TVK技术进行2D影像映射，并向在线的各个远程终端发送映射得到的2D影像。
[0028]进一步地，所述远程终端还用于记录用户的浏览操作和/或标注操作，得到交流数据，该交流数据包括浏览跟踪数据和/或标注数据，并将该交流数据发送给所述远程服务器端，或接收所述远程服务器端转发来的，由其它远程终端发送的交流数据，以及接收并显示所述远程服务器发送来的，根据所述浏览跟踪数据结合VTK技术进行2D影像映射得到的2D影像，且当所述交流数据中包括标注数据时，根据所述标注数据进行影像重绘；所述交流数据以XML文件格式存储；
[0029]所述远程服务器端还用于接收任一在线远程终端发送来的交流数据，并将该交流数据转发给其它各个在线远程终端，且当该交流数据包括浏览跟踪数据时，根据所述浏览跟踪数据，并结合VTK技术重新2D影像映射，并将重新映射得到的2D影像发送给各个在线的远程终端。
[0030]实施本发明的有益效果：
[0031]实施本发明的基于B/S结构的医学影像远程交流系统，及远程服务器端和远程终端，使得多客户端同时参与，并且多客户端可以互动的在线同步勾画，并不损伤原始图像、不受网络安全限制、不要求在客户端安装任何软件或插件、不局限于单一操作系统、客户端不需要特别硬件支持、3D数据不需在客户端重建、参与交流的客户端之间不依赖专用网络，具备良好的实时性和稳定性、确保网页无刷新实时同步效果。
【专利附图】
【附图说明】
[0032]下面结合附图和实施例对本发明作进一步描述。
[0033]图I为本发明的一种基于B/S结构的医学影像远程交流方法的一实施例的流程图；
[0034]图2为本发明的一种基于B/S结构的医学影像远程交流方法的又一实施例的流程图；
[0035]图3为本发明的一种用于医学影像远程交流的远程服务器端的一实施例的功能模块图；
[0036]图4为本发明的一种用于医学影像远程交流的远程终端的一实施例的功能模块图；
[0037]图5为本发明的一种医学影像远程交流系统的一实施例的功能模块图；
[0038]图6为反应本发明的一种基于B/S结构的医学影像远程交流系统中多个远程终端通过远程服务器端进行交互的流程示意图；
[0039]图7为反应本发明的一种基于B/S结构的医学影像远程交流系统的多个远程终端通过远程服务器端进行信息交互的一实施例的流程图。
【具体实施方式】
[0040]以下将结合附图对本发明进行详细说明。
[0041]实施例一
[0042]参见图1，为本发明的一种基于B/S结构的医学影像远程交流方法的一实施例的流程图。本实施例的远程交流方法是基于一种基于B/S结构的医学影像在线交流系统实现的，该系统包括远程服务器端，以及连接至该远程服务器端的至少一个远程终端，本实施例中该基于B/S结构的医学影像远程交流方法具体包括步骤：
[0043]S11，远程服务器端结合VTK技术将预先存储的连续横断层医学影像进行3D影像合成。具体实施时，该连续横断层医学影像集是由通过网络与远程服务器端相连的一个或者多个远程终端预先上传的，或者通过移动硬盘等方式将医学影像集预先拷贝至该远程服务器端。由于VTK (Visualization Toolkit,可视化工具包)是一个面向对象、功能全面的可视化和图形图像处理开发包。因此，本实施例中将结合VTK技术来实现三维可视化。本实施例中，远程服务器端接收到连续横断层影像集后，则进行影像集管理，即根据B/S结构三维影像成像原理，构建连续横断层影像3D空间离散存储与2D映射模块，并结合VTK技术进行3D影像合成。在一具体实施例中，该远程服务器端通过采用VTK工具包，对三维重建的
实现采用经典的移动立方体法（Marching Cubes, MC算法）[6]-一种用于面绘制的算法。
在VTK中，图像绘制是流水线操作模式（Pipeline):首先用VtkBmpReader类将BMP序列图像（即经过步骤SI I切割得到的横断层医学影像切片集)读入为数据源(针对DICOM图像，可选用VtkDICOMImageReader类处理，其他图像格式以此类推）；vtkContourFi11er类依据等值面值域实现等值面的提取；用VtkPolyDataMapper类将数据映射为几何图像,最终交由vtkActor类生成实体,并由vtkRenderer对实体绘制最终显示。
[0044]本实施例中该远程服务器端合成3D影像后，将建立针对该3D影像建立一个“讨论主题”，并向连接至该远程服务器端的各个远程终端发送短信邀请，若需要加入讨论，则用户直接通过其远程终端反馈一个加入的信号即可加入，从而形成系统门户列表(包括所有加入的用户信息及其对应的远程终端）并显示，且整个系统进入实时讨论进程。
[0045]S12，该远程服务器端接收任一在线远程终端发送来的浏览请求。
[0046]S13，该远程服务器端根据步骤S12中接收的浏览请求，并结合VTK技术进行2D影像映射。具体实施时，该远程服务器端根据建立的2D映射模块将合成的3D影像进行2D影像映射，即根据浏览请求，转化为3D效果的2D影像。
[0047]S14，该远程服务器端向在线的各个远程终端发送映射得到的2D影像。具体实施时，该远程服务器端将预先建立的系统门户列表将映射得到的2D影像发送给各个在线的远程终端。
[0048]进一步地，为便于进行实时细节讨论，本实施例的该基于B/S结构的医学影像远程交流方法还包括步骤：
[0049]S15，该远程服务器端接收任一在线远程终端发送来的交流数据。本实施例中该交流数据是指由远程终端记录用户对当前显示的2D影像进行的一系列浏览操作和/或标注操作等，而得到的数据，其包括标注数据和/或浏览跟踪数据。其中标注数据是指记录对当前显示的2D影像的勾画数据、文字注释等操作而得到的数据，浏览追踪数据是指记录对当前显示的2D影像的旋转、翻转、放大或缩小等浏览操作，而得到的数据。由于用户可能只对当前显示的2D影像进行旋转、放大或缩小等浏览操作，也可能只对当前显示的2D影像进行勾画、添加文字标注等标注操作，还可能同时对当前显示的2D影像进行翻转等浏览操作，也进行勾画等标注操作，因此，该交流数据因用户的不同操作而包含不同的数据，即可只包括浏览跟踪数据，也可能只包含标注数据，还可能同时包括浏览跟踪数据和标注数据。在一具体实施例中，该交流数据既包括浏览跟踪数据，也包括标注数据，后续实施例中也以此为例进行说明。
[0050]本实施例中该服务器端接收到远程终端发送来的交流数据后，将其存储，若后续继续接收到新的交流数据，则根据接收的新交流数据进行更新。
[0051]为实现符合影像诊断实际需求为目的，快速、有效、准确地实现三维影像的浏览、标注及操作回放功能，进一步地，本实施例中结合XML技术，记录用户对三维影像的每次旋转、缩放、移动等浏览操作，以及在三维模型某个视角进行文字、线条的标注操作，并以XML文档方式存档为交流信息，即通过建立起XML操作事件层次关系模型，对操作事件、书签事件进行有效存储管理，即本实施例中该远程终端发送来的该交流数据是以XML文件格式存储和发送的。
[0052]S16，该远程服务器端将上述的交流数据转发给其它各个在线的远程终端。
[0053]在一具体实施例中，该交流数据是以XML文件格式传输的，且该交流数据即包括了浏览跟踪数据，也包括了标注数据。当然，在另一具体实施例中，该交流数据也可只包括浏览跟踪数据和标注数据中的一种。
[0054]S17，该远程服务器端根据上述的交流数据中的浏览跟踪数据，并结合VTK技术重新进行2D影像映射，执行步骤S14。在一具体实施例中，由于该交流数据中包括了浏览跟踪数据，即用户对当前的影像进行了翻转、放大或者缩小等操作，因此，该服务器需要根据该浏览跟踪数据重新进行2D影像映射，并发送给各个远程终端，以实时更新。
[0055]为实现在低带宽情况下影像与交流信息的实时收发提供支持，本实施例的医学影像远程交流方法结合了 GIS (地理信息系统）的工作模式和设计思想，即将影像数据与交流数据进行分离，即分别发送映射得到的2D影像，如步骤S17，和交流数据，如步骤S16，并且根据各自的特点，将2D影像表示为栅格图像，将交流数据表示矢量图像。
[0056]当面对高分辨率的断层影像时，如单帧即是高分辨的数字化虚拟人切片等，为了进一步减少网络传输量，本实施例中在执行步骤S14之前，即将映射得到2D影像发送给远程终端之前，还包括步骤：
[0057]S18，该远程服务器端结合GIS瓦片切图算法对映射得到的2D影像进行预处理，并将预处理结果存储为“金字塔”结构。
[0058]为满足人眼观察以及图片快速传输的要求，本实施例中采用瓦片技术思想，即将高分辨率医学影像数据预先划分层级切`割成若干瓦片存储，以便观察者按需提取瓦片，从而服务于“按需传输”原则以提高传输效率。因此，本实施例中，远程服务器端向在线的各个远程终端发送分离得到的影像数据之前，采用GIS瓦片式切图算法对分离得到的影像数据（即栅格图像)进行预处理，得到“金字塔”结构的瓦片式断层影像切片集。即根据医学影像的观察特点，采取固定瓦片格分辨率和固定层数的方式对分离得到的栅格图像进行规格化处理，以切割成“金字塔”存储结构，而当远程服务器端收到访问请求时，瓦片影像以链接图片的方式快速定位并进行传输
[0059]在一具体实施例中，为便于公式化处理和降低逻辑复杂度，对图像分辨率可调整为纵横等像素设计模式，得到符合医学影像传输需求的公式，其推导过程如下所示：
[0060]假设原始图像分辨率为HipxXmpx (纵横等像素，不足处可用O值填充，下同)，瓦片格分辨率为tpx X tpx，客户端显示窗口像素分辨率为ScreenpxX Screenpx,图层编号为n，原始图像中每个像素点灰度值占用grey个字节(区分8位、16位、24位等图像)。其公式推导如下：
[0061]客户端屏幕窗口显示每次所需瓦片数ScreenTiIeNum= (Screenpx/tpx)2
[0062]第η层图像所含瓦片格数tileNumOi)=#1^
[0063]第η 层图像完整文件大小（单位 KB) imgLen (n) =tiIeNum(η) · mpx2 · grey/1024
[0064]第n层图像需要网络传输的有效瓦片格数(可见瓦片格数）
【权利要求】
1.一种用于医学影像远程交流的远程服务器端，其特征在于，包括 存储模块，用于存储远程终端预先上传来的连续横断层影像集； B/S交流模块，用于接收任一在线远程终端发送来的浏览请求或交流数据，该交流数据包括浏览跟踪数据和/或标注数据； 影像处理模块，用于根据VTK技术将所存储的连续横断层影像集进行3D影像合成，以及根据所述浏览请求或所述浏览跟踪数据，结合VTK技术进行2D影像映射，并控制所述B/S交流模块将映射得到的2D影像发送给在线的各个远程终端。
2.如权利要求1所述的用于医学影像远程交流的远程服务器端，其特征在于，所述交流数据以XML文件格式存储的。
3.如权利要求2所述的用于医学影像远程交流的远程服务器端，其特征在于，所述影像处理模块包括： VTK影像处理子模块，用于根据VTK技术将所存储的连续横断层影像集进行3D影像合成，并根据所述浏览请求或所述浏览跟踪数据，结合VTK技术进行2D影像映射； 处理器，用于控制所述B/S交流模块分别发送映射得到的所述影像数据和所述交流数据，其中，该影像数据表示为栅格图像，该交流数据表示为矢量图像。
4.如权利要求3所述的用于医学影像远程交流的远程服务器端，其特征在于，还包括： 瓦片化模块，用于采用GIS瓦片式切图算法对映射得到的2D影像进行预处理，并将处理结果以“金字塔”结构存储。
5.一种用于医学影像远程交流的远程终端，其特征在于，该远程终端通过网络连接至远程服务器端，包括： 控制模块，用于生成浏览请求； B/S交互模块，用于将所述控制模块生成的浏览请求，以及接收所述远程服务器端发送来的，根据该浏览请求结合VTK技术进行2D影像映射得到的2D影像； 显示模块，用于根据所述控制模块的控制命令，显示所述B/S结构交流模块所接收的2D影像。
6.如权利要求5所述的用于医学影像远程交流的远程终端，其特征在于，还包括： 记录模块，用于记录用户对当前显示的2D影像进行的浏览操作和/或标注操作，得到交流数据，该交流数据包括浏览跟踪数据和/或标注数据；则 所述B/S交互模块还用于将所述记录模块所得到的交流数据发送给所述远程服务器端，或者接收所述远程服务器端转发来的，由其它远程终端发送的交流数据，以及当所述交流数据包括浏览跟踪数据时，接收所述远程服务器端发送来的，根据所述浏览跟踪数据结合VTK技术重新进行2D影像映射得到的2D影像； 影像处理模块，用于根据所述B/S交互模块所接收的重新映射得到的2D影像对当前显示的2D影像进行更新，和/或当所述交流数据包括标注数据时，根据所述标注数据进行影像重绘。
7.如权利要求6所述的用于医学影像交流的远程终端，其特征在于，所述交流数据以XML文件格式存储。
8.如权利要求6所述的用于医学影像远程交流的远程终端，其特征在于，所述影像处理模块具体包括：更新子模块，用于根据所述重新映射得到的2D影像对当前显示的2D影像进行更新； 解读子模块，用于对XML文件格式的交流数据进行解读； 影像重绘子模块，用于结合VML画板思路以层的形式，根据解读得到的信息进行影像重绘。
9.一种基于B/S结构的医学影像远程交流系统，其特征在于，包括如权利要求1至4中任意一项所述的远程服务器端，以及与该远程服务器端相连的至少一个如权利要求5至8中任意一项所述的远程终端，其中， 所述远程终端用于当其在线时，向所述远程服务器端发送浏览请求，以及接收并显示所述远程服务器发送来的，根据所述浏览请求结合VTK技术进行2D影像映射得到的2D影像； 所述远程服务器端用于根据预先存储的连续横断层医学影像集进行3D影像合成，且当接收到所述远程终端发送来的浏览请求时，根据所述浏览请求结合TVK技术进行2D影像映射，并向在线的各个远程终端发送映射得到的2D影像。
10.如权利要求9所述的基于B/S结构的医学影像远程交流系统，其特征在于， 所述远程终端还用于记录用户的浏览操作和/或标注操作，得到交流数据，该交流数据包括浏览跟踪数据和/或标注数据，并将该交流数据发送给所述远程服务器端，或接收所述远程服务器端转发来的，由其它远程终端发送的交流数据，以及接收并显示所述远程服务器发送来的，根据所述浏览 跟踪数据结合VTK技术进行2D影像映射得到的2D影像，且当所述交流数据中包括标注数据时，根据所述标注数据进行影像重绘；所述交流数据以XML文件格式存储； 所述远程服务器端还用于接收任一在线远程终端发送来的交流数据，并将该交流数据转发给其它各个在线远程终端，且当该交流数据包括浏览跟踪数据时，根据所述浏览跟踪数据，并结合VTK技术重新2D影像映射，并将重新映射得到的2D影像发送给各个在线的远程终端。
【文档编号】H04L29/08GK103488904SQ201310449170
【公开日】2014年1月1日 申请日期:2013年9月27日 优先权日:2013年9月27日
【发明者】乔梁, 陈欣, 邱明国, 郑伟 申请人:中国人民解放军第三军医大学