在高维空间中检测对象的系统和方法

专利名称：在高维空间中检测对象的系统和方法
技术领域：
本发明涉及用于在高维空间中检测对象的系统和方法，并且更特别地，涉 及用于^ffl，空间学习来在高维空间中检测)^的系统和方法。
背景技术：
许多三维(3D)检测和分割问题面临在高维空间进行搜索。例如，3D相 似变换的特征在于九个参数三个，参数，三个方向参数以^H个尺度参数。 搜索齡空间来检测鄉非常昂贵。即使涉及由粗到精的策略，麟所有这些 参数在计算上被禁止。此外，j顿针对带有如此多参数的膽的正例和反例来 训练有鉴别能力的分类劉艮具有挑战性，因为硬件柳艮制一次仅允许相对小的 数目的负数(negative)(大约106)。为了处理所有可能的反例，不得不使用多 级自举，从而使^^h系统甚至更慢。但是，当所要检测的膽以凝巾方式自然对准时，存在多种情况。例如， 图片中的大多数面部都近1^7K平并且近似具有相同的肤色。类似地，CT扫描 中的大多数心脏近似具有相同的大小和方向。需要一种方法，用于在高维空间中快速检测赠，其中该搜索空间可大大被减小而鹏^i确的结果。发明内容公开了一种用于在高维图像空间中检测对象的系纟蘇卩方法。接tl^t象的三维图像。第一分类器在所3zfem中'iMi置的職空间中被训练，其产生预定数目的候M象中心位置。第二分类親皮训练来从预定数目的候自象中'IM^置 中识别潜在的对象中^、位置和方向并且维持戶皿候皿象中心位置的子集。第三分类親皮训练来从谢lM^象中^啦置的子集中识别所，象中心的潜在位置、方向和，。识别戶; ^tm的单个^^m姿态。


本发明的im实施方式将参照附图在下文进行更加详细的说^^，其中同样的参，号指示相似的元件图i是根据本发明的用于实te高维空间中'i^i检测)^的示例性系统的 方框图；图2示出根据本发明的方面的用于4顿，空间学习来训练分类器的投影分布；图3是描绘根据本发明的实施方式的在计對几断层扫描图像中检测左心室 的流程图；图4是示出被执行来根据本发明的方面4顿纖空间学习而检测左心室的 步骤的功能方框图；图5示出作了被注解的(annotated)对象的例子；图6示出根据本发明的方面的LV中心定位方法的功能OT图；图7是根据本发明的方面的LV中心和方向检测方法的功能方框图；以及图8示出MSL在医学成像的数个其4Mm检测问题中的应用。
具体实施方式
本发明涉及一种用于在高维图像空间中检测)^的系统和方法。图1示出根据本发明的示例性实施方式的用于在高维图像空间中检测m的系统100。在此说明的例子将涉及在三维医学图像中检测解剖学结构。然而，本领域技术 人员应理解，所述方法和系统并不限于检测解剖学结构，而是可^ffl于检测诸 如面部、行人、车辆以及^I标志的其4Wa，而不偏离本发明的范围和精神。 如图1中戶标，系统100包括釆集设备105、个人计^m (PC) 110和操作者 控制台115， ^H^iM有线或无线网络120连接。采集设备105可以是计^m断层扫描(CT)成像设备或诸如磁共振(MR) 扫描仪或超声波扫描仪的任何其H维(3D)高分辨率成像设备。可以是便携式 上型计算机、医学诊断成像系统或影像存档和通讯系统(pacs)数据管理站的pc 110包,接到输入设备150和输出设备155的中 央处理单元(cpu) 125和存储器130。所述cpu 125包^Ji^空间学习模块 145，该边缘空间学习模决145包括将在此后讨论的一种或多种用于在三维医 学图像中检湖蠏剖学结构的方法。尽管戶;Mii^空间学习模块145被示在cpu 125之内，但^^^ii^空间学习模块145也可以位于cpu 125之外。存储器130包括随机存取存储器(ram) 135和只皿储器(rom) 140。 存储器130也可以包括自库、M驱动器、磁带驱动器等等或者是它们的组 合。戶脱ram 135起舰存储器的作用，iM^存储器保存在执行cpu 125 中的，旨期间的 并被用作工作区。所述rom 140起禾歸存储器的作用， 该禾M0存储器用于保存在cpu125中所执行的禾歸。戶7M输入150由M:、鼠 标等等构成，而戶腿输出155贝岫液晶显示器(lcd)、阴丰謝线管(crt) 显示器、打印机等等构成。戶皿系统100的操作可由操作者控制台115来控制，该操作者控制台115 包括控制器165(例如離)和显示器160。戶脱操作者控制台115与戶腿pc 110 和戶舰采集设备105进《预信，使得由采集设备105所麟的图像娜可由pc 110再现并在显示器160上鄉见察。当缺少戶;f^作者控制台115时，舰例 如《顿输入设备150和输出设备155顿行由控带擺165和显示器160所执行 的某些任务，所述pc 110可被配置来操作和显示由采集设备105所提供的信 息。戶;f^操作者控制台m还可以包括倒可适当的图像再现系嫩工j/应用程 序，这些图像再mm嫩工具/应用，能处s^捕获的图像数据集(或其部分)的数字图像数据，以0示器160上生成并显示图像。更确切地说，图像再现系统可以是提供医学图像数据的再现和可视化的应用程序，并且 用,在 通用或专用计^mi作站战行。戶腿pc no也可以包括战图像再i縣敏工具/应用辦。職空间学习(msl)禾iJ用大多M^具有某^g不变的属性(例如， ct图像中的心脏近似具有相同的大小和方向)这一事实。同样地，通过在其 中仅考詹某些参数而其余的参数被整合出去的，空间中进行检测来排除大部 分空间。当要检测的鄉以凝中方式自然对准时，也可能存在多种情况。这种 自然的对准可被用于以如图2中所示的投影分布来训练分类器，这种投影分布存在于较小维度的边缘空间(例如，3参数的左心室中A必置空间，而不是9 参数的左心室相似变换空间)上。然后，基于训练过的，空间分类器，搜索空间可被限制为其到m^i^空间的鄉具有高概率值的l^^物。在MSL中，分类M,空间上被训练，在该，空间中，其中某 量被忽略。例如，在户(y)上被训练的分类器可快速排除大部分搜索空间。另一个分类驗其余空间上被训练，以获得最终的分类结果。现在在其中执行在计算机断层扫描(CT)图像中检观佐心室(LV)的例 子的上下文中对本发明的实M式进行说明。MSL被用于在3D CT图像中检 测LV直到相似变换。图3示出描绘根据本发明的用于检测LV的示例性方法 的流程图。图4是示出被执行来根据本发明的方面j顿纖空间学习而检测LV的步骤的功能方框图。接收LV的图像(402)。分类^ffi来找到LV中心的3D腿i-(x, y, z) (步骤302， 404)。该分类驗LV中,lM^g的職空间中被训练。对^f^3D 输入 ,最好的400个皿被保留用，一iHff古(步骤304)。本领域技术 人员应理解，在不偏离本发明的范围和精神的情况下，为进一^iff古所保留的 ^g的数目可以变化。对于400个fl^i位置，另一分类^l細于保持LV的最有希望的3D腿和方向(x, e Mx, y, z， ep 92, e3)(步骤306， 406)。因此，这个分类 位置和方向的6维边缘空间中被训练。最佳的50个fl^^M和方向被保留用于进一對刊古。本领域技术人员应離，在不偏离本发明的范围和衞中的情况下， 被保留用于进一^i平估的候选位置和方向的数目可以变化。最后，训练过的分类親細于检测LV鼓9维相似变换(也就是，健、方向和尺度)(步骤308， 408)7Mx， e ， sXx, y， z, e,， 9 2， e3，Sl,s2，s3) (1)单个候选物是这个阶段的输出(步骤310)。训练集包括多个图像体积。训练图像^f只中的每个LV的皿都JOT包括 514个点的3D网格进行注解。图5示出已经利用3D网格502和相应的边界框 504謝亍a^的LV的例子。LV顶点、A3C平面以^i轴l細于将M皿彼jt树准。对所对准的皿执行主成分分析(PCA)，并且最佳的50个PCA 基点(base) l細来描述皿可变性。现在将对图3和图4中所描述的方法进行更加详细的说明。为了检测LV 中心位置402，基于3D哈尔(Haar)特征来训练分类器。针对更好的 对 准和性能，LV中心在被二7細样(subsample)为3mm的体素大小的图像体积 中进行检测。在这一^f,率下，体积具有近似50X50X60个体素的大小。所 述训练集包括多个图像体积(例如，100个图像^i口、)，所有图像M只的大小均 被调整为3mm体素大小。3D哈尔滤波器在以采样位置为中心的、大小为31X31X31个体素的水平立方体之内被选择。大约ioooo个哈尔特征的集合ira择用于训练。通过增加由距其真实位置的l一2个体素干扰的正m^增加正数的数目,用于稳定。这 允许大约6000个正数从100个训练体积中获得。超巨离真正中'tM體至少5 个体素的距离处，负数在图像体积之内随机l雌择。大约一百万个负数禾細于 训练。概率升高树(Probabilistic Boosting Tree, PBT)被用于训乡斜口检测，因为该 概率升高树针对^样本返回0到1之间的概率。所述PBT在于2006年3月 2日提交的、序列号为11/366,722并且标题为"Probabilistic Bossting Tree Framework for Learning Discriminative Models (用于学习W^别力的t,的概率升高树框架)"的共同待决的专利申请中被详细说明，该专利申请全文并入以 作参考。PBT利用五个级别训练，这五个级别中的前两个级别被实施为级联。图6图解说明示出基本LV中心检测方法的功能滩图。输入图像^f只602 以3讓体素^fjf率来调整大小。LV中心检测在图像^^只604中f柳3D哈尔 特征。所述哈尔特征在通过以样本位置为中心的虚线所示的、大小为31X31 X31个体素的框内被选择。检测结果是围绕真正的中心隨606的小斑±刺本 素。最佳的400个位置被保留用于进一斜啊古，而其余的錢贝做舍弃。这一级别的i啊古指示，所有真正的中'iMffl均在这400个^j^位置中。该方法夂m置的搜索空间从50X50X60=150000减少到400，这减少了大于300的量级。 第二分类器在位置和方向(x, e )的6维空间中工作。该空间被限制到值(x,9 )，针对该值(x， e),位置x在由所述^a检测器获得的400个候选物中，并且因此该6维空间已经被縮小了 300多倍。图7是其中发现了戶;M隨的方向的方法的功能滩图。要针对其找到方向的位置舰中心检测方 fefe确定，该方法得到一串检测到的中心702。 LV方 向检测4柳3D曲率特征来检测方向704。 ^MT征被计算为大小为24 X 24X 24个体素的框内的特定体素位置，被平移和鄉虔转样本的^1和方向。在戶腿 框之内，戶腿^g在9X9X9的点阵上被组纟尸應来，因此有其中齢十算特征的 729个不同的位置。在这雖置的齡位置处，有梯度、最小和最大曲率、主 方向和^IR娜的71种不同的组合(斜B、乘积、商、反三角函数等等)。这 给出729X71=51759 ，征。此外，存:^H个，3mm、 6mm和12 mm， 以这些尺度来计算这醜征，从而获得总共大约150000伟征。正数和负数 丰雌择为健x絲自第一阶段的400个fi魏物中。最佳的50个》魏物^ W 被保留用于进一^iff古706。出现的重要问题是如何获得样本与真实瞎况之间的有意义的距离。诞巨离 将被用于产生所述正数和负数，因为那些确实,于真实情况的样本应当被视 为正数，而那離出某个阈值的样本贝提负数。为了计算距真实情况的距离，^样本(x,e)被增加由所述训练数据的统 计数字获得的平均尺度V j柳得到的相似变换7Mx， 6 ， So),获得，被改变 的平均形状。所述平均形状在对98个训练形状执行普罗克拉斯提斯 (Procrustes)分析时获得。因此，在相应的尺度被改变的平均微之间的点到 点的平均距离为两个样本之间的距离。戶脱正数 择为具有最多为6mm的距离，而戶腿负数超少为15mm 的距离处。由戶;^检测器的输出，最佳的50个候选物&e)被保持，而其余 的麟舰舍弃。搜索空间的维数再次被增加，以增加lv尺度。相似变换r=(x, e, s泡于9维空间中，但是前6维(x， 0 )被限制为仅仅取由上一阶段获得的50个值。相同的特征样本库如在lv方向检测阶段中那稱劍OT，而今的不同点在于，对 于針样农x, e, s)，其中这醜征被计算的膨见在为& e ， 4/3s)。在这个阶段之后选择单个織物。相似的对去可，細于检测左心房(la)。为了在2D中检测ia直到相似 变换，搜索5维空间健(x^y)、方向e和尺度(s，a)(鹏和纵横比)。使 用msl方法，对三个分类器进行训练。第一分类親皮训练来检测ia隨。因为超声波数据中的LA在大小上展示出很;^度的^性，所以也以小、中 和大三个皿估计非常粗略的大小。最佳的iooo个候选物被保留用 —步 处理。第二分类:^皮训练彩十对旨f^^物推断LA方向和一个尺度参数。然 后，最佳的iooo个候选物被保留用于进一步处理。最后的分类辦皮训练来针 对1000个l魏物中的每一个推断纵横比，并且最佳的20个^i!)的平均值樹艮 告为检测结果。MSL魏用的方法并且可棚于医学成像中的多个具有挑战性的2D和3D X^m检测和分割任务。图8示出应用MSL在X射线图像中检测导管尖端(802)、 在腹部CT中检测回盲瓣(804)和肝脏(806)、 ^g声波图像中检测心室(808) 以及在MRI中检测心室(810)。已经说明了用于在高维空间中检测，的系辦Q方法的实施方式，但是应 注意，本领域技术人员可以根据上述教导进行修改和变型。因此，应WS所 公开的本发明的特定实施方式中可进行改变，这些改变在如由所附权利要求所 定义的本发明的范围和精神之内。因此，已经按专利法的要求详细并具体地描 述了本发明，所要求保护的和需要专利证书保护的内容在随附的权利要求中被
权利要求
1. 一种用于在高维图像空间中检测对象的方法，其包括接收对象的三维图像；在对象中心位置的边缘空间中训练第一分类器，其产生预定数目的候选对象中心位置；训练第二分类器来从预定数目的候选对象中心位置中识别潜在的对象中心位置和方向并维持所述候选对象中心位置的子集；训练第三分类器来从所述候选对象中心位置的子集中识别所述对象中心的潜在的位置、方向和尺度；以及识别对象的单个候选对象姿态。
2、 如权利要求l所述的方法，其中，1顿在戶腐图像中被二7娜样的3D 哈尔特W臓第—分类器进CT练。
3、 如权利要求2所述的方法，其中，使用概率升高树来训练所述3D哈尔特征。
4、 如权利要求1所述的方法，其中，《顿曲率特征棘戶脱第二分类器 謝刊條。
5、 如权利要求4所述的方法，其中，戶腐第二分类驗健和方向的六 维空间中工作。
6、 如权利要求1所述的方法，其中，戶脱第三分类驗健、方向和尺 度的九维空间中被训练。
7、 如权利要求1所述的方法，其中，所舰象为左心室。
8、 如权利要求l所述的方法，其中，所舰象为左心房。
9、 如权利要求7戶腿的方法，其中，戶腿3D图像为3D计對几断层扫描图像。
10、 一种用于在高维图像空间中检测赠的系统，其包括 用于捕W^的三维图像的采集设备；接ilW象的所捕获的三维图像的处理器，所述处理器对每幅图像执行下述 歩骤^tm中心位置的边缘空间训练第一分类器，其产生预定数目的候选训练第二分类器来从戶腿预定数目的候舰象中^必置中识别潜在的赠中《，和方向并维持戶;M^^tm中^vlig的子集训练第三分类器来从戶脱候舰象中心位置的子集中识别戶; ^t^的潜在的位置、方向和尺度；以及 识别鄉的单^flM^姿态；以及用于显示所检测到的对象的显示器。
11、 如权利要求10戶脱的系统，其中，j顿在戶脱图像中被二次抽样的3D哈尔特舰臓第一分类器进,练。
12、 如权利要求11所述的系统，其中，4柳概率升高树来训练所述3D 哈尔特征。
13、 如权利要求io戶脱的系统，其中，4顿曲率特征舰戶;Mm二分类器进ffl職。
14、 如权利要求13戶脱的系统，其中，戶腿第二分类驗^S和方向的 六维空间中工作。
15、 如权利要求10戶腿的系统，其中，0f^第三分类器在位置、方向和 尺度的九维空间中被训练。
16、 如权利要求10戶腿的系统，其中，戶;Mx^为左心室。
17、 如权利要求10戶脱的系统，其中，鄉为左心房。
18、 如权利要求16戶脱的系统，其中，戶脱3D图像为3D if^t几断层扫描图像。
全文摘要
公开了一种用于在高维图像空间中检测对象的系统和方法。接收对象的三维图像。在对象中心位置的边缘空间内训练第一分类器，其产生预定数目的候选对象中心位置。训练第二分类器来从所述预定数目的候选对象中心位置中识别潜在的对象中心位置和方向并维持所述候选对象中心位置的子集。训练第三分类器来从所述候选对象中心位置的子集中识别所述对象中心的潜在的位置、方向和尺度。识别出对象的单个候选对象姿态。
文档编号G06K9/62GK101261735SQ20071019444
公开日2008年9月10日 申请日期2007年9月28日 优先权日2006年9月28日
发明者A·巴布, B·乔治斯库, D·科马尼丘, J·杨, Y·郑 申请人:美国西门子医疗解决公司