专利名称：实时超声宽视野成像方法
实时超声宽视野成像方法技术领域 本发明涉及超声图像处理技术，具体地说，涉及对超声图像序列的匹配拼接，扫描过程中 实时生成宽视野图像。
背景技术：
对于常规的超声成像，由于受探头尺寸的影响，扫描过程中，能观察到的是当前探头所在位 置的有限断面的图像，当探头移过，新位置的图像代替原来位置的图像，原来位置的图像不再可见。诊断 过程中，操作者只能凭借想象来得到扫描区域的全景。实时宽视野成像方法在对大器官和瘤体的显示与测 呈、对复杂病变整体的研究方面具有独特优势探头在目标表面移动的过程中，将得到的各帧图像拼接起 来，形成一个大范围的、宽视野的图像，操作者可以直接观察整个扫描区域的全景结果，而且可以反复观 察扫描和拼接的过程，对拼接后的图像，还可以进行放大、縮小、旋转、增强和拼接过程回放等后期处理， 进一步方便了诊断，提高诊断精度。图1表达了实时宽视野成像的流程。超声宽视野成像要解决的主要问题是高速、准确的图像匹配，较高质量的图像拼接。要尽可能减少 图像相邻帧之间的误配，降低拼接图像的几何失真，使拼接结果尽量接近真实，便于诊断，同时还要保证 成像速度。图像匹配方法主要包括基于模板的匹配和基于特征的匹配，两种思路各有优势。超声诊断过程中，探 头在目标位置以相对均匀的速度移动，相邻两帧间的位移不大，且变形较小，图2给出了示意，其中l表 示前一帧，2表示当前帧。但是传统的匹配方法没有考虑超声图像的成像特点和诊断时的扫描方式，如果 用于超声的实时宽视野成像，不能兼顾准确性和实时性。精确的匹配方法会因计算量过大不能达到实时， 而速度满足实时要求的算法，匹配结果又没有足够的准确度。传统使用模板匹配的方法，每个模板块大范 围搜索匹配时计算量很大，而一些降低计算量的优化策略(如先确定大致范围，再在局部搜索准确结果)， 则常常因为收敛到错误的局部极值处，严重损失了匹配准确度。此外，每帧超声图像从上到下，偏中上的 部分成像质量较好，变形较小，而偏下的部分则相反；每帧超声图像从中间到两侧，中间部分图像质量较 好，两侧接近边界处图像质量逐渐降低。匹配中应区分使用不同区域的信息；拼接过程中，如果每帧图像 都直接按照变换关系拼接到目标位置，则很难获得高质量的宽视野图像。
发明内容
本发明充分考虑超声图像的成像特点和诊断时的扫描方式，提出了一种实时超声宽视野成像 方法。通过较低的实现成本，在超声诊断过程中，边扫描边实时生成宽视野图像。本发明的基本思路为首先使用当前帧图像匹配前一帧图像，在当前帧图像上有规律的选取符合要求 的模板，分别在前一帧的对应位置附近搜索匹配，获得模板的位置对应关系；然后利用选取的模板间的几 何约束，由这些模板的位置对应关系计算当前帧图像到前一帧图像的刚体变换关系，并判断是否适合拼接; 再由当前帧图像到前一帧图像的变换关系计算当前帧图像到拼接目标的变换关系；最后由计算出的变换关系，拼接当前帧的有效图像的一部分到目标位置；反复执行这一过程，实时生成宽视野图像。实现本发明思路的技术方案是，利用超声诊断时的成像特点和扫描方式，提供一种快速、准确的图像 匹配和拼接方法，在扫描过程中，实时生成宽视野图像。包括反复执行的步骤A. 在当前帧中取有效矩形图像块，并在该矩形块中均匀有规律的选取多个小矩形(也可以取其它形 状)块作为匹配模板块，并对各个模板块进行质量判断，剔除不适合的模板块(或按质量赋一个 权值)；B. 每个有效的模板块在前一帧中给定范围内搜索匹配，找到最匹配的对应位置；C. 根据已知的几何约束，给每个有效模板的匹配结果赋一个权值；D. 由各个有效模板块的对应位置关系和权重，拟合当前帧相对前一帧的刚体变换关系，并根据计算 结果判断当前帧是否适合拼接到目标，如果不适合，则抛弃当前帧，使用下一帧重新开始匹配；E. 由已知的前一帧相对拼接目标的变换关系，以及当前帧相对前一帧的变换关系，计算当前帧相对 拼接目标的变换关系；F. 取当前帧的有效图像的一部分，拼接到目标位置； 其特征在于步骤A中的模板块是在固定位置，有规律的选取的。步骤B中，每个有效模板块的搜索位置固定，范围有限，很大程度上降低了计算量。 步骤C中以步骤A中给定的位置关系作为几何约束，判断匹配结果赋一个权值，用于保证图像刚体变 换关系计算的鲁棒性。步骤D、 F用于获得好的拼接效果，提高宽视野成像质量。采用上述方案，可以在当前主流的计算平台上，实时生成高质量的宽视野图像。
图1是实时超声宽视野成像简要流程示意2是扫描过程中相邻两帧间变换关系示意图 图3是一个具体实施例的流程示意图 图4是图像有效矩形块和小的模板块的选取示意图 图5是有效模板在前一帧中搜索匹配示意图具体实施方式
现在结合附图，描述本发明的一个实施例。实时宽视野成像的流程由图1描述。每次在帧缓冲中获取当前帧图像，然后用当前帧图像和前一帧图 像匹配，并按匹配结果拼接当前帧图像的一部分到目标位置。诊断扫描过程中，反复执行这个操作，实时 显示当前的宽视野成像。当扫描结束，可以对最终的宽视野图像进行后期处理，如放大、縮小等。本发明利用超声诊断时的成像特点和扫描方式，提供一种实现成本低的，快速、准确的图像匹配和拼接方法，在扫描过程中，实时生成宽视野图像。包括反复执行的步骤-A. 在当前帧中取有效矩形图像块，并在该矩形块中均匀有规律的选取多个小矩形(也可以取其它形 状)块作为匹配模板块，并对各个模板块进行质量判断，剔除不适合的模板块(或按质量赋一个 权值)；B. 每个有效的模板块在前一帧中给定范围内搜索匹配，找到最匹配的对应位置；C. 根据已知的几何约束，给每个有效模板的匹配结果赋一个权值；D. 由各个有效模板块的对应位置关系和权重，拟合当前帧相对前一帧的刚体变换关系，并根据计算 结果判断当前帧是否适合拼接到目标，如果不适合，则抛弃当前帧，使用下一帧重新开始匹配；E. 由已知的前一帧相对拼接目标的变换关系，以及当前帧相对前一帧的变换关系，计算当前帧相对 拼接目标的变换关系；F. 取当前帧的有效图像的一部分，拼接到目标位置；本实施例的具体步骤通过图3所示的流程表示。在步骤A中对匹配模板块的选取如图4所示，在当前 帧的有效图像区域3的中间部分，取有效的矩形图像块4，在4的中上部均匀的选取四行到六行，每行四 至五列的小模板块5，这些小模板块一般取为矩形，也可以取其它形状。本实施例中，每个模板块的宽高 可以取为(像素数)16X16、 32X32、 48X48、 64X64等，兼顾计算速度和结果的稳定性， 一般取每个模 板块的大小为48X48像素。选取的模板块要进行质量判断，剔除质量较差的块(如过于均匀、所有像素接近黑色或白色等)，以 减少错误匹配，增强匹配稳定性。若按质量赋权值，质量差的赋较小权值，质量好的赋较大权值，则两帧 图像整体拟合时使用的权值，是质量权值和步骤C中的匹配结果权值的乘积。。取定的各个有效模板块，分别在前一帧中对应位置附近搜索匹配。在当前的常规计算平台上，要满足 实时成像要求， 一般需要降低模板搜索匹配的计算量。由于超声扫描成像相邻两帧间位移不大，变形较小， 因此每块模板限定在小范围内搜索匹配(如向前15像素、向后15像素，向上8像素、向下8像素的范围)。 图5给出了示意，其中7表示当前模板，6表示当前模板在前一帧中的搜索范围。进一步提高匹配速度的 方法是，使用合适的匹配规则和加速方法。在本实施例中，使用计算当前模板和前一帧对应位置处的像素值的绝对差和的方法，绝对差和表示为&iD-Zi/, - g, i，其中/;表示当前模板的第/个像素的灰度值，g,表示前一帧中对应位置处的像素灰度值。在整个搜索范围内，SAD值最小的位置，认为是当前模板在前一帧中最匹配的位置。实际计算时使用并行加速，运算速度一般可以提高5 8倍，完全可以满足实时成 像对匹配速度的要求。除本实施例中的方法，还有(不限于)使用相关系数匹配的方法，在特定平台上加 速计算，可以得到基本相同的结果。每个有效模板块在前一帧中计算，找到一个认为最匹配的位置。每个有效模板在当前帧中的坐标和前 一帧中对应的最匹配位置的坐标构成了对应点对。由这些点对的关系拟合出当前帧到前一帧的变换关系。两帧间的变换关系使用刚体变换模型，每个点对间的变换表示为cosP -sin《 sin^ cos^其中(义',，}^)表示当前帧中有效模板的坐标，(I,，y)表示在前一帧中对应最匹配位置的坐标，6>表示旋转角度，(i'o,:r'fl)表示平移量。各个有效模板的匹配结果中，有时会有少量错误匹配结果，这些错误的匹配结果会降低拟合结果的鲁 棒性。本发明通过选取有效模板时已知的几何关系，给每个有效模板的匹配结果赋一个权值，匹配点对分 别按权重大小参加拟合。本实施例中，各个有效模板间的距离已知。假设当前帧中有两个有效模板的位置分别为a、 b，它们在前一帧中对应的正确匹配位置为A、 B。因为两帧间使用刚体变换模型，所以A、 B 间的距离应等于a、 b间的距离。若A、 B间的距离与应有的距离偏离越远，则匹配错误的可能性越大，在 拟合中的权重就越小。本实施例中，(不限于)定义每个点对的权重为高斯函数的叠加e-(浙X/,j))W其中求和内的点J表示与/在同一行或在同一列的点，—tfo"/, J)表示/和J间的距离与它们的对应有效模板/和j'间的距离之差，cr决定了高斯函数的开口宽度，用于调节权重的差异程度。权重计算结果 不需要高精度，只要能够区分各个小模板块搜索匹配结果的重要性即可，因此可以通过离散化和预先计算 査找表的方法提高运算速度。使用上面给出的点对间的变换关系和每个匹配点对的权重，使用加权最小二乘拟合出当前帧和前一帧 的变换关系，然后对结果进行判断。如果当前帧相对前一帧的变换量小于给定的阈值，则抛弃当前帧，使 用下一帧与前一帧匹配，直至找到适合拼接到目标的帧。这样做的目的是避免无意义的叠压，降低成像结 果的失真程度。如果当前帧适合拼接到目标，则由当前帧相对前一帧的变换关系计算出当前帧相对拼接目标的变换关 系。这是一个递推的过程前一帧相对拼接目标的变换关系是己知的，结合本次匹配的结果计算出当前帧 相对拼接目标的变换关系，后一帧与当前帧匹配时，当前帧相对拼接目标的变换关系又是已知的。按当前 帧到拼接目标的变换关系，取当前帧的有效图像的中间部分的矩形区域(即质量好、变形小的部分)拼接 到目标。本实施例中，拼接时兼顾计算速度和成像质量，使用双线性差值方法。实际计算时，为了进一步 提高计算速度，对双线性差值过程进行加速，可以(不限于)使用整数化方法。本发明的一个实施例在PC平台上实现，经过实验验证，不需任何额外硬件辅助，可以在使用超声设 备扫描诊断的过程中，实时生成高质量的宽视野图像。
权利要求
1.一种实时超声宽视野成像方法，用于在超声扫描诊断过程中，实时匹配拼接生成宽视野图像，包括反复执行的步骤A.在当前帧中取有效矩形图像块，并在该矩形块中均匀有规律的选取多个小矩形(也可以取其它形状)块作为匹配模板块；B.每个有效的模板块在前一帧中给定范围内搜索匹配，找到最匹配的对应位置；C.根据已知的几何约束，给每个有效模板的匹配结果赋一个权值；D.由各个有效模板块的对应位置关系和权重，拟合当前帧相对前一帧的刚体变换关系；E.由已知的前一帧相对拼接目标的变换关系，以及当前帧相对前一帧的变换关系，计算当前帧相对拼接目标的变换关系；F.取当前帧的有效图像的一部分，拼接到目标位置；其特征在于步骤A中的模板块是在固定位置，有规律的选取的；步骤B中，每个有效模板块的搜索位置固定，范围有限，降低计算量；步骤C中以步骤A中给定的位置关系作为几何约束，判断匹配结果赋一个权值，用于保证图像刚体变换关系计算的鲁棒性；步骤D、F用于获得好的拼接效果，提高宽视野成像质量。
2. 根据权利要求1中所述的实时超声宽视野成像方法，其特征在于步骤A中模板选定后，进行质量判断，剔除质量差的模板，提高匹配稳定性。
3. 根据权利要求1中所述的实时超声宽视野成像方法，其特征在于步骤A中模板选定后，进行质量判断，按质量给各个模板赋一个权值。在步骤D中使用的权值 为模板质量权值和步骤c中匹配结果权值的乘积。
4. 根据权利要求1中所述的实时超声宽视野成像方法，其特征在于步骤D中计算出当前帧相对前一帧的变换关系后，根据计算结果判断当前帧是否适合拼接到目标，如果不适合，则抛弃当前帧，使用下一帧重新开始匹配。
全文摘要
一种实时超声宽视野成像方法，用于在超声扫描诊断过程中，实时匹配拼接生成宽视野图像，包括反复执行的步骤在当前帧有效图像的矩形块中有规律的选取多个小模板块，并判断质量，剔除不合适的模板块；这些小模板块分别在前一帧中搜索匹配找到最匹配的对应位置；根据已知的几何约束，给每个有效模板的匹配结果赋一个权值；然后拟合出当前帧相对前一帧的变换关系，并根据计算结果判断当前帧是否适合拼接到目标，如果不适合，则抛弃当前帧，使用下一帧重新开始匹配；由已知的前一帧相对拼接目标的变换关系，以及当前帧相对前一帧的变换关系，计算当前帧相对拼接目标的变换关系；取当前帧的有效图像的一部分，拼接到目标位置。采用本发明的方法，可以通过较低的实现成本，获得较高质量的实时宽视野成像。
文档编号A61B8/13GK101254120SQ20081010204
公开日2008年9月3日 申请日期2008年3月17日 优先权日2008年3月17日
发明者娉 唐, 姚克纯, 曾庆业, 杰 王 申请人:北京好望角图像技术有限公司