专利名称：二维图像序列三维重建方法
技术领域：
本发明涉及的是一种用于图像处理技术领域的图像重建的方法，特别是一种二维图像序列三维重建方法。
背景技术：
二维图像序列是指表示物体不同位置截面信息的一系列二维图像，它们的大小、分辨率和颜色信息都相同，而且图像所表现的位置在空间上是相邻的，所以二维图像序列具备物体的部分三维特征，如核磁共振设备采集的人体器官断层扫描图像序列。二维图像序列的三维重建是根据输入的断层图像序列，经分割和提取后，构建出待建组织的三维数据。这可以展现物体的三维结构和形态，从而提供很多用传统手段无法获得的信息。
三维重建的算法已经有很多种，典型的有以下四种等值面绘制法、直接体绘制法、最大强度投影法和非真实感绘制法。这些方法适用于不同特征的二维图像序列，综合起来使用会得到很好的三维显示效果。经文献检索发现，H.Hauser，L.Mroz，G.I.Bischi，M.E.Groller在IEEE Transactions onVisualization And Computer Graphics(《IEEE可视化及计算机图形学》)7(3)242-252，July-September 2001上发表的“Two-Level Volume Rendering”(《两层体绘制算法》)一文提出了一种两层体绘制算法，该算法综合利用了上述的四种三维重建方法，利用各种算法的特点，在物体中不同的对象上进行实现，最大程度上显示了三维物体。但是该算法存在着下列缺点(1)不同的物体有不同的数据特征，从而可以对应使用不同的三维重建方法，但该文并没有给出如何根据不同的对象来选择不同的方法，这一点在三维绘制中很重要；(2)该文使用的是单一绘制通道，这在绘制三维物体时的计算量很大，不适宜在普通的个人计算机上使用；(3)该算法绘制出来的三维物体是一个统一的整体，无法直观的观察物体的内部结构。
发明内容
本发明针对背景技术的不足之处，提出一种二维图像序列三维重建方法，利用已分割出对象的二维图像序列，针对各对象的数据特征，采用不同的三维重建算法，使其能够充分利用各算法的优点，并使用多个绘制模型优化绘制效率，从而自二维图像序列中很好的重建出三维物体，并实现对三维物体的切割，显示其内部的信息。
本发明是通过以下技术方案实现的，本发明步骤如下步骤一对二维图像序列进行分割，分割出图像序列中感兴趣的对象，将分割后的图像序列构造成一个三维体数据，并按对象的特征进行分类，构造对象表；步骤二根据步骤一处理好的图像序列，建立三维显示的全局绘制模型和局部绘制模型，其中全局绘制模型用于图像序列的整体三维重建，局部绘制模型用于图像数据中具体对象的三维重建；步骤三按步骤二建立的全局和局部绘制模型对二维图像序列进行三维重建，对步骤一建立的三维体数据，应用全局绘制模型，然后根据步骤一建立的对象表，对体数据中的各个对象应用局部绘制模型；步骤四采用光照、渲染、透视、色彩和不透明度增减这些计算机绘制手段将三维物体绘制出来并显示在计算机屏幕上；步骤五在步骤四中绘制出的三维物体中放置两个切割平面，自由平移和旋转切割平面，实现对三维物体进行任意方向的切割，以观察物体的内部信息。
以下对本发明作进一步的说明，具体内容如下所述的步骤一，具体为(1) 采用基于灰度的FuzzyConnectness(模糊连通性)图像分割算法分割二维图像序列，获得图像内的各个对象。
(2) 将分割后的二维图像序列构造成一个三维体数据，即三维空间中的一个长方体，上下两层切片中，每八个相邻像素点构成的一个空间立方体(体素)是空间体数据的最小单位。
(3) 构造对象表，每一表项代表二维图像序列的一个切片，各表项包括该切片内的所有对象，各对象则包含属于该对象的所有体素的位置、灰度值、不透明度和颜色对照表，各体素拥有同一对象ID。分析各对象的特征，标记适用的三维重建算法。如对象有明显的边界，则用等值面绘制法；如对象的内部信息比较重要，则用直接体绘制法；如对象为血管，则用最大强度投影法；如需表现对象在图像中未显示的隐藏信息，则用非真实感绘制法。
所述的步骤二，具体为(1) 对二维图像序列建立全局绘制模型，采用光线投射法的思想，即按照视线的方向投射一条光线穿过体数据，在光线上按照一定的步长取采样点，将各采样点按射线的方向进行叠加，即绘制出三维物体；(2) (1)中所取的采样点不会都位于同一对象之中，根据对象的特征，建立不同的绘制模型。按对象表中所标记的算法，建立各算法的绘制模型。
所述的步骤三，具体为(1) 将全局绘制模型应用到三维体数据之中，计算各投射光线上的采样点，由采样点所处体素的对象ID来区分对象，将对象作为全局绘制模型中的基本单位；(2) 按照对象表，根据对象表中各对象所适用的算法，将各局部绘制模型分别应用于各对象。
(3) 将全局模型中的各条光线进行叠加，计算每条光线叠加后的色彩和不透明度，绘制出最后的三维物体。
本发明方法主要具有以下特点和作用(1)综合了全局特征和局部特征来绘制三维数据，优化了效率；(2)强调了数据特征，针对不同数据特征的对象和采用与之相适应的各重建算法，完善了绘制效果，增强了数据信息。本发明适用于需要仔细了解图像中各物体特征的场合，所采用的图像中应该有复杂的数据特征，只有通过仔细的分析才能提取出其中的感兴趣区域。
具体实施例方式
结合本发明方法的具体内容提供以下实施例核磁共振设备采集的人体器官二维图像序列是满足具有多种复杂特征的二维断层扫描图像序列。在实际应用中，医生通过观察该序列中每张图像所表现出来的特征来判断人体各组织器官的位置，重点确定病变组织的位置，从而制定出射线治疗和手术的方案。本发明可以应用在这种场合。
本实例所使用的二维图像序列为某某医院利用马可尼医疗设备公司1.5T核磁共振影像设备(Eclipse 1.5T，Marconi Medical Systems，Inc，)采集的17岁男孩的腿部(含骨肉瘤)的二维图像序列。
运行本发明方法的设备为普通个人计算机，其具体配置为P42.0G，256M内存，80G硬盘。软件平台为Windows 2000以及一个自设计的数字影像处理系统。
具体实施情况如下步骤一，分割出二维图像序列中的感兴趣区域并构造对象表(1) 对步骤一得到的图像数据，采用基于灰度的FuzzyConnectness图像分割算法，分割出感兴趣组织，如肌肉、血管、骨头以及骨肉瘤组织，其中肿瘤组织包括肿瘤实质、坏死和肿瘤骨；(2) 将分割后的二维图像序列建成为一个三维空间立方体，每个像素则成为空间中的一个点，每相邻两层间的八个相邻点就构成一个空间立方体，即体素，它是空间数据中的最小单位；(3) 对分割出的对象构造对象表，将每一切片上的所有对象作为一个表项，对象则按链表的方式连接起来，链表项包括对象中所有体素的位置信息、灰度值、不透明度和颜色对照表。分析各个对象的特征，并标记相适应的三维重建算法。对于有明显边界特征的对象，即对象边界像素的灰度值与外相邻像素的灰度值差异很大，则标记为使用等值面绘制算法，实例中采用移动立方体法；对于需要表现内部信息的对象，则标记为使用直接体绘制算法，实例中采用光线投射法；对于灰度值较大的对象，如血管，采用最大强度投影法；对于需要表现图像没有表达出来的隐藏信息的对象，采用非真实感绘制法。
步骤二，建立全局绘制模型和局部绘制模型(1) 从视线的方向引出光线穿过由二维图像序列构成的三维空间长方体，按一定的步长在光线上采样取点，并按三线性插值算法计算这些采样点的灰度值；(2) 对(1)中所取的各采样点，根据对象表，统计各采样点所处的对象在对象表中标记的算法种类，并建立各算法的绘制模型。对于移动立方体法，在对象中建立等值面，并用三角形拟合等值面；对于光线投射法，则按光线的方向叠加各采样点的色彩和不透明度；对于最大强度投影法，也是按光照模型，只是取光线上最大的灰度的像素点；对于非真实感绘制法，设置色彩和不透明度的转换方程，增强图像的特征信息。
步骤三，对于步骤一中建立的三维数据，应用全局绘制模型和局部绘制模型(1) 在全局绘制模型中输入步骤一中建立的三维体数据，开始计算各投射线所经过的采样点，以采样点所处体素在对象表中的对象ID来区分所处的对象，将对象看作基本单位；(2) 对于各个对象所对应的局部绘制模型，将对象数据输入，各自计算绘制过程；(3) 在全局模型上，对整条光线上的像素进行叠加，合成像素的色彩和不透明度，合成公式是Cacc＝(1-Oacc)CnewOnew+CaccOacc＝(1-Oacc)Onew+Oacc①其中，Cnew和Onew表示沿着叠加顺序最新遇到的体素的色彩与非透明度，等号左边的Cacc和Oacc是叠加后的色彩和不透明度，等号右边的Cacc和Oacc是上次叠加后的色彩和不透明度。
步骤四，利用计算机绘制手段，在计算机屏幕上显示三维物体利用OpenGL(一种到图形硬件的软件接口)，对绘制结果进行光照、渲染、上色、添加不透明度以及转换视角等计算机绘制操作，在计算机屏幕上显示最终的三维图像。
步骤五，对步骤四得到的三维物体进行任意切割(1)在三维物体中放置两个切割平面，初始位置为物体的中心，相互垂直放置；(2)分别平移或旋转两个平面，计算两平面的相交区域，把三维体数据模型中在该区域中的相应部分去除，得到切割后的三维图像，可以显示三维物体的内部信息。
本发明方法取得了较好的实施效果最终结果图像显示出了骨肉瘤组织、肌肉、血管、骨头以及皮肤，病变组织在腿部的位置很清楚。并且可以对三维图像进行任意方向和角度的切割，通过切割，内部组织的信息也得到了直观的显示。
权利要求
1.一种二维图像序列三维重建方法，其特征在于，步骤如下步骤一对二维图像序列进行分割，分割出图像序列中感兴趣的对象，将分割后的图像序列构造成一个三维体数据，并按对象的特征进行分类，构造对象表；步骤二根据步骤一处理好的图像序列，建立三维显示的全局绘制模型和局部绘制模型，其中全局绘制模型用于图像序列的整体三维重建，局部绘制模型用于图像数据中具体对象的三维重建；步骤三按步骤二建立的全局和局部绘制模型对二维图像序列进行三维重建，对步骤一建立的三维体数据，应用全局绘制模型，然后根据步骤一建立的对象表，对体数据中的各个对象应用局部绘制模型；步骤四采用光照、渲染、透视、色彩和不透明度计算机绘制手段将三维物体绘制出来并显示在计算机屏幕上；步骤五在步骤四中绘制出的三维物体中放置两个切割平面，自由平移和旋转切割平面，实现对三维物体进行任意方向的切割，以观察物体的内部信息。
2.根据权利要求1所述的二维图像序列三维重建方法，其特征是，所述的步骤一，具体为(1)采用基于灰度的FuzzyConnectness图像分割算法分割二维图像序列，获得图像内的各个对象；(2)将分割后的二维图像序列构造成一个三维体数据，即三维空间中的一个长方体，上下两层切片中，每八个相邻像素点构成的一个空间立方体是空间体数据的最小单位；(3)构造对象表，每一表项代表二维图像序列的一个切片，各表项包括该切片内的所有对象，各对象则包含属于该对象的所有体素的位置、灰度值、不透明度和颜色对照表，各体素拥有同一对象ID，分析各对象的特征，标记适用的三维重建算法，如对象有明显的边界，则用等值面绘制法；如对象的内部信息比较重要，则用直接体绘制法；如对象为血管，则用最大强度投影法；如需表现对象在图像中未显示的隐藏信息，则用非真实感绘制法。
3.根据权利要求1所述的二维图像序列三维重建方法，其特征是，所述的步骤二，具体为(1)对二维图像序列建立全局绘制模型，按照视线的方向投射一条光线穿过体数据，在光线上按照一定的步长取采样点，将各采样点按射线的方向进行叠加，即绘制出三维物体；(2)所取的采样点不会都位于同一对象之中，根据对象的特征，建立不同的绘制模型，按对象表中所标记的算法，建立各算法的绘制模型。
4.根据权利要求1所述的二维图像序列三维重建方法，其特征是，所述的步骤三，具体为(1)将全局绘制模型应用到三维体数据之中，计算各投射光线上的采样点，由采样点所处体素的对象ID来区分对象，将对象作为全局绘制模型中的基本单位；(2)按照对象表，根据对象表中各对象所适用的算法，将各局部绘制模型分别应用于各对象；(3)将全局模型中的各条光线进行叠加，计算每条光线叠加后的色彩和不透明度，绘制出最后的三维物体。
全文摘要
一种二维图像序列三维重建方法，用于图像处理技术领域。步骤如下对二维图像序列进行分割，分割出图像序列中感兴趣的对象，将分割后的图像序列构造成一个三维体数据，并按对象的特征进行分类，构造对象表；根据处理好的图像序列，建立三维显示的全局绘制模型和局部绘制模型；按全局和局部绘制模型对二维图像序列进行三维重建，对建立的三维体数据应用全局绘制模型，然后根据对象表中的各个对象应用局部绘制模型；采用计算机绘制手段将三维物体绘制出来并显示在计算机屏幕上；在三维物体中放置两个切割平面，自由平移和旋转切割平面，实现对三维物体进行任意方向的切割。本发明能充分利用各算法的优点，自二维图像序列中很好的重建出三维物体。
文档编号G06T11/00GK1588452SQ200410053489
公开日2005年3月2日 申请日期2004年8月5日 优先权日2004年8月5日
发明者李明禄, 梅炯, 孙皓, 赵永强 申请人:上海交通大学