专利名称：影像序列自动拼接方法与装置以及拼接系统的制作方法
技术领域：
本发明涉及一种影像处理技术，特别是涉及一种自动拼接影像序列以便合成一幅
全景影像的方法与装置。
背景技术：
大尺寸对象的完整影像(例如X射线影像，甚至完整的人体X射线影像)，对于骨 科手术、矫形或整形治疗等具有重要作用。然而，由于例如X射线成像系统中的平板探测器 (针对DR系统)或成像板(针对CR系统)等成像器件的尺寸所限，以及现有成像技术的其 他限制，只能对大尺寸的对象进行多次体位拍摄，再利用影像处理技术将得到的各个体位 影像合成为一幅全景影像。 但是，多次拍摄会造成如下一些问题一是不同体位两次曝光的曝光剂量不同，导 致相邻影像重叠区域的灰度分布不一致；二是病人体内器官运动(例如呼吸引起的肺运 动、心脏自主运动变化、大小肠的蠕动、膀胱的生理收縮等)导致先后拍摄的组织影像存在 差异；三是拍摄条件等因素的变化会带来微小的失真。这些问题给影像的正确拼接带来了 困难。另外，由于医学影像的数据量通常非常庞大，传统的灰度或梯度全局搜索非常耗时， 从而给医学影像的动态、实时应用带来挑战。 以X射线影像为例，现有的拼接技术主要有两大类， 一类是依赖于专门设备在每 张X射线影像上设置明显标记，然后手动或自动识别该标记来实现影像拼接；另一类为 自动拼接，其中一种是依赖于设备的固有特征(如CR成像板重叠特征)的拼接方式，利 用多尺度下不同的解剖体位影像并使用不同的算法或参数实现拼接；还有一种是只依赖 于影像特征的影像拼接技术，但是准确率并不高，常常需要手动进一步修正和校正。近年 来，图像全景拼接技术发展很迅速，虽然提出了一种使用尺度不变的特征变换理论(Scale Invariant FeatureTransform :SIFT)进行全景拼接的技术，但是，成功用于X射线影像全 景拼接的情况并未见报道。 针对现有医学影像全景拼接技术依赖特定的辅助手段(如标记或人机交互)或只 针对某类特定影像的现实，有必要提供一种不依赖于辅助手段而自动且准确地实现影像拼 接的方法与装置。
发明内容
本发明的目的是为了克服现有技术存在的缺陷，提供一种不依赖于辅助手段而自 动实现影像拼接的方法与装置以及拼接系统。为了实现这一目的，本发明所采取的技术方 案如下。 按照本发明实施例的第一方面，提供一种影像拼接方法，包括检测步骤，用于检 测相邻影像上的组织边缘；选择步骤，用于计算所检测到的相邻影像上组织边缘线的相似 性，并根据相似性选取最佳边缘线对；以及拼接位置获取步骤，根据选取的最佳边缘线对， 确定相邻影像的拼接位移量，从而确定拼接位置，以便进行影像拼接。
按照本发明实施例的第二方面，提供一种影像拼接装置，包括检测模块，用于检 测相邻影像上的组织边缘；选择模块，用于计算所检测到的相邻影像上组织边缘线的相似 性，并根据相似性选取最佳边缘线对；以及拼接位置获取模块，根据选取的最佳边缘线对， 确定相邻影像的拼接位移量，从而确定拼接位置，以便进行影像拼接。 按照本发明实施例的第三方面，提供一种影像拼接系统，包括按照本发明实施例 第二方面的影像拼接装置。 按照本发明实施例的方法与装置实现简单，能够对医学影像序列进行有效的拼 接。 下面将结合附图并通过具体的实施例对本发明进行进一步说明。
图1是按照本发明实施例的影像拼接方法的流程图； 图2是按照本发明实施例的线性相似性检测的流程图； 图3是按照本发明实施例的边缘线对选取和拼接位移量确定的流程图； 图4是按照本发明实施例的选取最佳边缘线对的示意图； 图5是按照本发明实施例的拼接位置校正的流程图； 图6是按照本发明实施例的方法合成的人体全景影像； 图7是按照本发明实施例的影像拼接装置的结构示意图。
具体实施例方式
如图1所示，按照本实施例的影像拼接方法主要包括检测步骤105、选择步骤109、 以及拼接位置获取步骤111。另外，还可选地包括縮放步骤103、刷选步骤107、校正步骤 113、以及合成步骤115。采用按照本实施例的影像拼接方法对影像进行处理的具体过程如 下 首先，输入相邻影像(步骤101)，可以根据需要将影像縮放为原来影像的1/2U/4 或者1/8 (步骤103)，以加快计算速度，一般情况优选地使用1/8 ;另外，对于放大倍率不同 的影像通过縮、放使其大小一致。如果影像像素是高位的，例如12bit或14bit的影像，可 以将其线性转换为8bit影像。依次对相邻的影像进行检测(步骤105)，获取相邻影像之间 的拼接位移量。 在进行影像上的组织边缘检测时(步骤105)，利用边缘检测算子对縮放后的影像 进行边缘检测(当然，视实际情况也可以是没有进行縮放的影像)，以生成二值影像。所用 边缘检测算子包括但不限于Sobel、 Prewitt、 Roberts、 LOG、 Zerocross和Canny等边缘检 测算子，优选地使用Ca皿y算子。以Ca皿y算子为例，首先对影像使用Guass滤波，以改善 噪声对后续检测的影响，然后使用Ca皿y算子检测影像边缘，获取影像的边缘二值图像。
对检测到的组织边缘线还可以进行有效性刷选(步骤107)，将有效的边缘线用于 下一步处理。当然，该有效性刷选步骤也可以根据实际需要而不进行。对检测得到的影像 边缘线(直线和/或曲线)进行提取时，通过Ca皿y算子检测影像边缘点，许多边缘点是连 接成线段的，需要对这些线段进行提取。 一般考虑预提取线段应该有一定的长度(线上包 含的连续像素点的个数)，这一长度一般不能少于某个值(例如在縮小成的大小300*300左右影像可以取10个像素)，原因是只有较长的线才有自己的特征。这一过程可以用直线 上的点跟踪(Tracking)的方法进行。为减少边缘线数量，可以只获取偏于竖直方向的边缘 线，具体操作中如通过限制边缘线上的点的下一个连接点必须是二值影像上下一行的邻域 上点。 然后，计算所检测到的相邻影像上组织边缘线的相似性，并根据相似性选取最佳 边缘线对(步骤109)。在该步骤中，计算并表征两幅相邻影像上的通过检测获得的边缘线 的最佳相似边缘线对(一幅影像上边缘线的部分或全部相对于另一幅影像的边缘线的部 分或全部最相似的线对)。这一步骤可以采用相关性度量值和/或曲率检测来表征。如图 2所示，具体做法是，将相邻影像(即上幅影像和下幅影像)的左、右侧(相对于影像中心的 左、右侧)边缘线相对地上下平移，获取重叠部分(要求重叠的长度要大于一个阈值，视图 像大小而定，例如在縮小成大小为300*300左右影像可以取IO个像素)，那么重叠部分的 线段就构成了线对。对线对分别做相关性计算以获得相关性度量值，同时可分别计算其曲 率，那么相关性度量值最大和/或曲率最小差异的线对就是最佳线对。需要指出的是，还有 其他的方法或方案代替"互相关"来表征曲线相似性度量值的方法或方案，例如互信息、最 大熵原则、最小均方法差等，也是可行的。随后，根据设置的阈值来选取最佳边缘线对。如 图3所示，对影像左边的边缘线对判断其相关性度量值是否大于某个阈值Cor_TH，也可以 判断其曲率差异是否小于某个阈值CurJU也可以合并使用。同样对影像右边的边缘线对 也进行上述判断。 另外，在选择步骤109中，可以对相邻影像上单侧的组织边缘线进行相似性计算， 并选取单侧最佳边缘线对来获取拼接位置；或者，也可以对相邻影像上两侧的组织边缘线 进行相似性计算，并从两侧分别选取最佳边缘线对来获取拼接位置。从相邻影像单侧选取 最佳边缘线对时，针对相邻影像其中之一的一侧的每条边缘线，逐一计算与相邻影像中另 一幅影像同一侧的所有边缘线的相似性值，将相似性值最大的线对选取为最佳边缘线对， 或者将满足相似性阈值的线对选取为最佳边缘线对。在相似性值最大或满足相似性阈值的 线对为多个时，如果根据这些最佳边缘线对获得的拼接位置很接近，则取平均值；否则，分 别在各自的拼接位置进行局部灰度分析以确定最佳边缘线对。 在选择步骤109中，从相邻影像两侧选取最佳边缘线对时，为了更好的说明，对边 缘线进行标注。如图4所示，相邻影像中第一幅影像左面边缘线从上往下数，分别记为图1 左1、图1左2、图1左3、图1左4。同样就有图1右1、图1右2、图1右3、图2左1、图2 左2、图2左3、图2右1、图2右1。以左边为例，为第一幅影像的左四条有效边缘线，依次 从第二幅影像的左边三条边缘线中找出每条的最佳线对，共有四个线对，寻找方法可以通 过计算相似性(相似性表达可以是最大相关度量值、曲率、最小均方法差等等)，找到边缘 线的最佳线对(图1左1，图2左1)、(图1左2，图2左2)、(图1左3，图2左2)、(图1 左4，图2左1)。同时记录它们的相似性值Si，依次分别是O. 75、0. 99、0. 9、0. 99。
计算相似性时，因为影像1的边缘线可能仅仅部分和影像2同侧的某条边缘线具 有很大相似性，反之也同样，例如边缘线图1左1和图2左1的部分具有相似性。所以计算的 时候要固定一条边缘线不动，另一条边缘线不断逐像素沿着固定边缘线上下方向平移，每 移动一次像素需要计算一下交叠部分线段的相似性，取具有最大相似性的重叠状态的相似 性值就是这组线对的相似性值，记录这个相似性值Si，以及交叠部分的起点在影像上的竖直位置yi和y2，影像的高设为H，那么影像拼接位置的竖直相对平移量为shift_y = H_yi+y2 以及交叠线段像素在影像上横坐标差值的均值，记为shift_x，该值就是边缘线间的水平平 移量，也是影像拼接位置的水平相对平移量。 只有相似性值满足一定阈值的最佳相对才是有效的。例如取阈值Sth = 0. 95，那 么上述例子显然只有(图1左2，图2左2)、(图1左4，图2左1)有效最佳线对。同样，可 以得到右侧有效最佳线对(图1右1，图2右1)、(图1右3，图2右1)。
接下来，根据选取的最佳边缘线对，确定相邻影像的拼接位移量，从而确定拼接位 置，以便进行影像拼接(步骤lll)。同样，如图3所示，在该步骤中，对检测得到的影像左边 边缘线对和右边边缘线对，得到曲线对的边缘线在影像上的坐标位置。两条曲线对最相似 部分的起点应该被认为是两幅影像的拼接点，从而获得影像拼接位移量( 一般可分为水平 方向和垂直方向的拼接位移量)。接着，对比通过左边边缘线对和右边边缘线对获取的拼 接位移量是否具有一致性或者说微小差异(拼接位置仅仅相差若干个像素，例如2个像素 等)。满足最小差异的左、右边缘线对的拼接位移量均值为该相邻影像的拼接位置，一般可 分为水平方向和垂直方向的拼接位置。需要说明的是，其中线对选取和拼接位置的确定可 以联合进行，正如图3所示。对多组左、右边缘线对可以选取最佳组合，例如左、右偏移量最 小差异的左、右边缘线对组合。需要强调的是，如果不能获取左、右最小差异直曲线组合，应 该选取最佳单侧线对为输出。当然，也可以直接对相邻影像上单侧的组织边缘线进行相似 性计算，并选取单侧最佳边缘线对。 再接下来，通过计算影像重叠区域的相似性，根据最大相关测度值调整所确定的 拼接位置，以得到最佳拼接位置(步骤113)。如图5所示，在该步骤中利用所得到的拼接位 置(块501)，在待拼接影像上划定一定范围进行进一步分析(块503)，让拼接影像在这个 小范围内逐像素移动(块505)，提取影像重叠区域(块507)，对影像的像素灰度值做相似 性检测(块509)，获得最大相关测度值的为最佳拼接位置(块511)。像素灰度值相似性检 测，可以采取相关检测获取最大相关测度值的位置，也可以通过分析直方图，获取最相似的 归一化直方图分布的位置(或者说归一化直方图曲线形状最大相似性)，也可以采取别的 灰度分布相似性评价方法来获取最佳拼接位置。需要说明的是，这里的待拼接影像可以是 原影像也可以经过縮放的影像，具体采用何种影像取决于输出影像的大小。另外，拼接位置 的校正既可以利用灰度影像进行，也可以利用梯度影像来进行；其中还可以使用互信息、最 大熵原则、或者最小均方差计算相似性。还需要说明的是，也可以视实际情况是否需要而不 进行校正步骤。 利用影像序列一次检测到的最佳拼接位置，根据需要还可选地进行全景影像图合 成(步骤115)，其中图6示出了按照本发明实施例的方法合成的人体全景影像。
如图7所示，按照本实施例的影像拼接装置主要包括检测模块705、选择模块709、 以及拼接位置获取模块711。另外，还可选地包括縮放模块703、刷选模块707、校正模块 713、以及合成模块715。其中縮放模块703用于对待检测的相邻影像进行縮小或放大；检 测模块705用于检测相邻影像上的组织边缘；刷选模块707用于对检测到的组织边缘线进 行有效性刷选，将有效的边缘线用于下一步处理；选择模块709用于计算所检测到的相邻 影像上组织边缘线的相似性，并将满足相似性阈值的边缘线对选取为最佳边缘线对；拼接 位置获取模块711根据选取的最佳边缘线对，确定相邻影像的拼接位移量，从而确定拼接位置，以便进行拼接；校正模块713用于计算影像重叠区域相似性，根据最大相关测度值调 整所确定的拼接位置，以得到最佳拼接位置；合成模块715利用影像序列各相邻影像拼接 位移量，合成全景影像。 按照本发明实施例的影像拼接系统包括按照本发明实施例的影像拼接装置，可 以通过硬件模块、软件模块、固件模块、或者其组合，将按照本发明实施例的影像拼接装置 实现在影像拼接系统中，使得该系统可以按照本发明实施例的影像拼接方法对影像进行拼 接，以及还可进一步合成全景影像。 适于按照本发明实施例的影像拼接方法与装置以及系统进行拼接的医学影像包 括但不限于X射线影像、超声影像、核磁共振影像等等。 以上通过具体的实施例对本发明进行了说明，但本发明并不限于这些具体的实施 例。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等，例如将上 述实施例中的一个步骤或模块(如选择、拼接位置获取步骤或模块等)分为两个或更多个 步骤或模块来实现，或者相反，将上述实施例中的两个或更多个步骤或模块的功能放在一 个步骤或模块中来实现。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范 围之内。另外，本申请说明书和权利要求书所使用的一些术语，例如"左"、"右"、"水平"、"垂 直"等等，都是相对的，并不是限制，仅仅是为了便于描述。
权利要求
一种影像拼接方法，其特征在于，包括检测步骤，用于检测相邻影像上的组织边缘；选择步骤，用于计算所检测到的相邻影像上组织边缘线的相似性，并根据相似性选取最佳边缘线对；以及拼接位置获取步骤，根据选取的最佳边缘线对，确定相邻影像的拼接位移量，从而获取拼接位置；其中根据获取的拼接位置，实现相邻影像的拼接。
2. 根据权利要求1所述的影像拼接方法，其特征在于，还包括刷选步骤，用于对检测到的组织边缘线进行有效性刷选，将有效的边缘线用于下一步 处理。
3. 根据权利要求1所述的影像拼接方法，其特征在于，还包括校正步骤，通过计算影像重叠区域的相似性，根据最大相关测度值调整所确定的拼接 位置，以得到最佳拼接位置。
4. 根据权利要求3所述的影像拼接方法，其特征在于利用灰度影像或梯度影像来进 行校正。
5. 根据权利要求3所述的影像拼接方法，其特征在于其中通过分析直方图，根据最 相似的归一化直方图分布调整所确定的拼接位置，以得到最佳拼接位置或者，通过使用互 信息、最大熵原则、或者最小均方差计算相似性调整所确定的拼接位置，以得到最佳拼接位置。
6. 根据权利要求1所述的影像拼接方法，其特征在于，还包括 合成步骤，利用影像序列各相邻影像拼接位移量，合成全景影像。
7. 根据权利要求1所述的影像拼接方法，其特征在于，还包括縮放步骤，用于对待检测的相邻影像进行縮小或放大；其中对于放大倍率不同的影像 通过縮放使其大小一致。
8. 根据权利要求1至7其中之一所述的影像拼接方法，其特征在于 在所述检测步骤中，利用边缘检测算子进行边缘检测；其中边缘检测算子包括Sobel、Prewitt、 Roberts、 L0G、 Zerocross、以及Ca皿y算子。
9. 根据权利要求1至7其中之一所述的影像拼接方法，其特征在于在所述选择步骤中，计算相邻影像上组织边缘线的相似性包括计算相关度量值、曲率 和最小均方差的其中一项或多项。
10. 根据权利要求1至7其中之一所述的影像拼接方法，其特征在于 在所述选择步骤中，对相邻影像上单侧的组织边缘线进行相似性计算，并选取单侧最佳边缘线对来获取拼接位置；或者，对相邻影像上两侧的组织边缘线进行相似性计算，并从 两侧分别选取最佳边缘线对来获取拼接位置。
11. 根据权利要求IO所述的影像拼接方法，其特征在于在所述选择步骤中，从相邻影像单侧选取最佳边缘线对时，针对相邻影像其中之一的 一侧的每条边缘线，逐一计算与相邻影像中另一幅影像同一侧的所有边缘线的相似性值， 将相似性值最大的线对选取为最佳边缘线对，或者将满足相似性阈值的线对选取为最佳边 缘线对。
12. 根据权利要求11所述的影像拼接方法，其特征在于在相似性值最大或满足相似性阈值的线对为多个时，如果根据这些最佳边缘线对获得 的拼接位置很接近，则取平均值；否则，分别在各自的拼接位置进行局部灰度分析以确定最 佳边缘线对。
13. 根据权利要求IO所述的影像拼接方法，其特征在于在所述选择步骤中，从相邻影像两侧选取最佳边缘线对时，针对相邻影像其中之一的 每一侧的每条边缘线，逐一计算与相邻影像中另一幅影像同一侧的所有边缘线的相似性 值，将满足相似性阈值的线对选取为该侧的最佳边缘线对；其中将两侧拼接位置差异最小 的线对选取为最佳边缘线对组。
14. 根据权利要求13所述的影像拼接方法，其特征在于将相邻影像上最佳边缘线对的起点作为相邻影像的拼接点，从而获得影像拼接位移 量；然后，对比相邻影像两侧的边缘线对的拼接位移量是否具有微小差异，将满足微小差异 的相邻影像两侧的边缘线对的拼接位移量均值作为该相邻影像的拼接位置；其中微小差异 是指相差若干个像素。
15. —种影像拼接装置，其特征在于，包括 检测模块，用于检测相邻影像上的组织边缘；选择模块，用于计算所检测到的相邻影像上组织边缘线的相似性，并根据相似性选取 最佳边缘线对；以及拼接位置获取模块，根据选取的最佳边缘线对，确定相邻影像的拼接位移量，从而确定 拼接位置，以便进行拼接。
16. 根据权利要求15所述的影像拼接装置，其特征在于，还包括刷选模块，用于对检测到的组织边缘线进行有效性刷选，将有效的边缘线用于下一步 处理。
17. 根据权利要求15所述的影像拼接装置，其特征在于，还包括校正模块，用于计算影像重叠区域相似性，根据最大相关测度值调整所确定的拼接位 置，以得到最佳拼接位置。
18. 根据权利要求15所述的影像拼接装置，其特征在于，还包括 合成模块，利用影像序列各相邻影像拼接位移量，合成全景影像。
19. 根据权利要求15所述的影像拼接装置，其特征在于，还包括 縮放模块，用于对待检测的相邻影像进行縮小或放大。
20. —种影像拼接系统，其特征在于，包括权利要求15至19任一项所述的影像拼接装
全文摘要
本发明公开了一种影像拼接方法与装置以及拼接系统，其中所述方法主要包括检测步骤，用于检测相邻影像上的组织边缘；选择步骤，用于计算所检测到的相邻影像上组织边缘线的相似性，并将满足相似性阈值的边缘线对选取为最佳边缘线对；以及拼接位置获取步骤，根据选取的最佳边缘线对，确定相邻影像在水平方向和垂直方向的拼接位移量，从而确定在水平方向和垂直方向的拼接位置；其中根据获取的拼接位置，实现相邻影像的拼接。按照本发明实施例的方法与装置实现简单，能够对医学影像序列进行有效的拼接。
文档编号G06T7/00GK101739674SQ20081021739
公开日2010年6月16日 申请日期2008年11月19日 优先权日2008年11月19日
发明者饶玉明 申请人:深圳迈瑞生物医疗电子股份有限公司