基于三维虚拟图像的超声图像自动标注方法及系统的制作方法
【专利摘要】本发明提供一种基于三维虚拟图像的超声图像自动标注方法及系统,该方法包括以下步骤：显示三维虚拟器官图像和超声探头图像；显示二维图像化标注图像和文字性的标注序列；选择器官参考点；记录参考点的空间位置信息；实时修改参考点的空间位置信息；根据参考点和超声探头的位置信息实时自动修改三维虚拟器官图像和超声探头图像；实时自动更新二维图像化标注图像和文字性的标注序列；同时显示二维超声图像和三维空间中的超声图像序列。实施本发明的基于三维虚拟图像的超声图像自动标注方法及系统在进行超声探测扫描的过程中自动对超声图像的位置进行标注，无需手动输入，减少了操作者的重复性工作，同时还提高了标注的准确性。
【专利说明】基于三维虚拟图像的超声图像自动标注方法及系统
【技术领域】
[0001]本发明涉及超声成像领域，更具体地说，涉及一种基于三维虚拟图像的超声图像自动标注方法及系统。
【背景技术】
[0002]在临床医学上，超声波由于具有无电离辐射、非侵入性、低成本、实时显示等诸多优点，成为最重要的成像手段之一，被广泛应用于人体成像扫描中。对于超声成像检测，一个重要的问题是如何正确地标注器官超声图像的空间位置。美国放射学会(AmericanCollege of Radiology，ACR)指出，所有超声图像必须被正确地标识其位置信息。由于后续的疾病评估、诊断和治疗都需要参考超声图像的位置标注，因此，临床医生在对人体器官进行扫描的过程中正确而快速地记录位置信息是十分必要的。
[0003]超声扫描过程很大程度 依赖于操作者的经验以及受训情况。在临床扫描过程中，临床医生一手握住超声传感器进行扫描，另一只手控制超声仪器。当需要对一幅图像进行保存的时候，医生冻结显示画面并对图像进行标注。临床上常用的标注方法包括:通过人体器官二维图像化标注图像和文字性的标注序列进行空间位置的标识。这个标注过程需要医生将手从超声传感器上撤离，再进行一系列的手动操作。因此，对图像进行标注对医生来说是一项劳累耗时并且重复繁琐的任务。此外，手动标注会包含医生对图像空间位置的个人估计，导致标注的正确性降低甚至出现严重错误。尤其对于有多个病灶的病人，操作者扫描完成后，再凭借记忆对多个病灶进行标注，极易发生遗漏病灶或者错误标注的操作。
[0004]为了避免在超声扫描过程中一系列复杂的手部动作，研究者开发出若干的方法及系统以实现通过简单的手部操作对图像位置进行标注。专利W02006/038182 Al公开了一种超声诊断图像系统，包括一个超声图像显示器和一个用于显示超声图像标注的触控显示屏。通过这个系统，操作者在观看超声图像的同时通过简单的点击触控显示屏上的相关点，实现图像位置的记录。US 2006/0174065 Al公开了一种简化标注步骤的方法和系统，通过结合一个用户输入装置和一个光标模式切换开关，可以选择屏幕上光标为移动模式还是标注模式，使用者无需将手撤离输入设备，仅以极小的手部动作就能完成图像的标记。
[0005]临床图像标注方法通常包括两部分:人体器官二维图像化标注图像和文字性的标注序列。在传统的标注方法中，这两种标注方法是互相独立的，这样的装置使用起来费时费力，还会增加出错的风险。为了克服上述问题，US6，675，038 B2提供了一种在对乳房进行超声成像探测中进行位置标记的方法、系统和计算机产品。该专利公开了这样的方案:基于操作者所标注的图像化标注图像，文字性标注将自动生成并跟随图像标记连续更新。在专利W02010/052598 Al中，两种标注相互联系，操作者仅需操作一种标注方式，另外一种标注方式将自动生成并且随之更新。
[0006]上述的专利以及现有的技术中，采用的是半自动的超声图像标注方法，依然无法避免手动的操作，既不能完全避免因为人为因素引入的错误风险。因此现在急需一种全自动的，能够连续进行多病灶超声图像标注的方法，以实现减少超声扫描时间，降低超声图像标注错误的风险。
【发明内容】
[0007]本发明针对现有技术中无法对超声图像进行全自动和连续性的标注，提供一种基于三维虚拟图像的超声图像自动标注方法及系统。
[0008]本发明解决上述技术问题的方案如下:提供一种基于三维虚拟图像的超声图像自动标注方法，包括以下步骤:
[0009]显示三维虚拟器官图像和超声探头图像；
[0010]显示二维图像化标注图像和文字性的标注序列；
[0011]选择器官参考点；
[0012]记录参考点的空间位置信息；
[0013]实时修改参考点的空间位置信息；
[0014]根据参考点和超声探头的位置信息实时自动修改三维虚拟器官图像和超声探头图像；
[0015]实时自动更新二维图像化标注图像和文字性的标注序列；
[0016]同时显示二维超声图像和三维空间中的超声图像序列。
[0017]本发明的基于三维虚拟·图像的超声图像自动标注方法，还包括:当切换至多感兴趣区域记录模式时，操作者每发现一个感兴趣区域，点击即可在二维或三维标注图像上记录该感兴趣区域。当扫描完成时，所有病灶位置信息即被记录在标注图像上。
[0018]本发明的基于三维虚拟图像的超声图像自动标注方法，在二维图像化标注图像上记录感兴趣区域时，所用标记符为箭头或者其他能标识图像位置的标记符。
[0019]本发明的基于三维虚拟图像的超声图像自动标注方法，在三维虚拟器官标注图像上记录感兴趣区域时，所用标记符为三维虚拟超声探头图像或者其他能够标识图像位置的标记符。
[0020]本发明的基于三维虚拟图像的超声图像自动标注方法，对于每一个标记符，按照其出现的时间顺序，依次编号并且显示该编号。该编号可让操作者很清楚方便地查看病灶的数量及位置。
[0021]本发明的基于三维虚拟图像的超声图像自动标注方法，在操作者点击完成感兴趣区域标识时，三维空间中的超声图像序列中对应的超声图像，被自动以标记符标识出来。通过该标识方法，多病灶的位置及其超声图像被一一对应。
[0022]本发明的基于三维虚拟图像的超声图像自动标注方法，用于标识三维空间中的超声图像序列中的感兴趣超声图像的标记符为箭头或者其他能够标识图像的标记符。
[0023]本发明的基于三维虚拟图像的超声图像自动标注方法，还包括保存超声图像及其标注图像，用于后期查看。
[0024]本发明的基于三维虚拟图像的超声图像自动标注方法，三维虚拟器官图像和超声探头图像通过器官图像数据库和探头数据库得到；或者通过扫描得到器官和超声探头的形态结构得到。
[0025]本发明的基于三维虚拟图像的超声图像自动标注方法，在通过器官图像数据库和超声探头数据库生成三维虚拟图像时，依据真实器官尺寸自动选择或由操作者手动选择。[0026]本发明的基于三维虚拟图像的超声图像自动标注方法，器官图像数据库和超声探头数据库中的图像通过预先对不同尺寸的器官和超声探头进行绘制储存形成或者通过扫描不同尺寸的器官和探头的形态结构再进行储存形成。
[0027]本发明的基于三维虚拟图像的超声图像自动标注方法，参考点的空间位置通过扫描前放置超声探头于选定的人体器官参考点上获得，参考点的位置根据人体的位置变化进行实时更新。
[0028]本发明的基于三维虚拟图像的超声图像自动标注方法，二维超声图像和三维空间中超声图像序列是互相关联的，两者同时生成和自动修改；当一张超声图像作二维超声图像显示时，其同时被在三维超声图像序列中标记出来；而当一张超声图像被在三维超声图像序列中选中时，其同时作二维超声图像显示。
[0029]本发明的基于三维虚拟图像的超声图像自动标注方法，超声探头位置信息由两部分组成:超声探头相对于人体器官参考点的空间位置坐标和超声探头的倾斜角度信息。
[0030]本发明还提供一种基于三维虚拟图像的超声图像自动标注系统，包括:计算机终端，用于生成和修改自动标注；在计算机终端内的三维虚拟图像生成单元，用于生成三维虚拟器官图像和超声探头图像；与计算机终端分别通信连接的超声波扫描仪和空间传感器控制单元，其中超声波扫描仪带有超声探头；空间传感器控制单元连接两个空间传感器(第一空间传感器和第二空间传感器)；第一空间传感器固定在超声波扫描仪的超声探头上，第二空间传感器固定在人体上；所述三维虚拟图像生成单元依据超声探头、第一空间传感器和第二空间传感器的探测结果生成三维虚拟器官图像和超声探头图像；第一空间传感器和第二空间传感器还产生器官参考点的空间位置信息，计算机终端根据参考点和超声探头的位置信息实时自动修改三维虚拟器官图像和超声探头图像。
[0031]本发明的基于三维虚拟图像的超声图像自动标注系统还包括一个在计算机终端内的多感兴趣区域标识模块，用于标识感兴趣区域于二维或三维标注图像上以及在三维空间中的超声图像序列中标识对应的超声图像。
[0032]实施本发明的基于三维虚拟图像的超声图像自动标注方法及系统，在进行超声探测扫描的过程中自动对图像进行标注，无需手动输入，减少了操作者的重复性工作，同时不需要依赖于操作者的人为判断进行标注，提高了标注的准确性。多病灶标注方法和系统的引入，杜绝了遗漏病灶及凭记忆标注多病灶所造成的错误。
【专利附图】
【附图说明】
[0033]以下结合附图，对本发明进行说明，其中:
[0034]图1为本发明基于三维虚拟图像的超声图像自动标注系统的逻辑框图；
[0035]图2为本发明超声探头的结构示意图；
[0036]图3为本发明具体工作示意图；
[0037]图4为本发明对超声扫描图像进行标注的流程图；
[0038]图5为本发明一则参考点选择的示意图；
[0039]图6为本发明带有三维标记的超声显示结果；
[0040]图7.a为本发明带有多个三维标记的超声显示结果的三维虚拟标注图像；
[0041]图7.b为本发明带有多个三维标记的超声显示结果的二维图像化标注图像；[0042]图7.c为本发明带有多个三维标记的超声显示结果的超声扫描图像序列；
[0043]图7.d为本发明带有多个三维标记的超声显示结果的二维超声扫描图像。
【具体实施方式】
[0044]以下通过附图和具体实施例对本发明进行说明。
[0045]本发明可对各种器官进行超声扫描和成像标注，以下以乳房的超声成像为例进行说明。
[0046]如图1所示为本发明的三维虚拟图像的超声图像自动标注系统的逻辑框图，包括:计算机终端300 ;与计算机终端分别通信连接的超声波扫描仪100和空间传感器控制单元200，其中超声波扫描仪带有超声探头101 ;空间传感器200控制单元连接两个空间传感器(第一空间传感器201和第二空间传感器202);第一空间传感器201固定在超声波扫描仪的超声探头101上，如图2所示；第二空间传感器202将贴在探测的身体上。
[0047]图3为图1的一则具体工作情况。第二空间探测器贴在探测者的胸口正中，第一空间探测器固定在超声探头上，在进行超声扫描的时候，第一空间探测器和第二空间探测器向空间传感器控制单元反馈探测到的位置信息，空间传感器控制单元将位置信息发送至计算机终端，计算机终端依据位置信息计算超声探头相对于人体器官的具体位置和具体角度。
[0048]同时，超声波扫描仪通过超声探头获得对器官的扫描图像，并将扫描图像发送到计算机终端。计算机终端依据获得的超声扫描图像与空间位置信息进行图像的标记。
[0049]具体的，对超声扫描图像进行标注的过程如图4所示:
[0050]显示三维虚拟器官图像和超声探头图像；三维虚拟器官图像和探头图像是通过器官图像数据库和探头数据库得到，或通过扫描器官得到和超声探头形态结构得到；
[0051]显示二维图像化标注图像和文字性的标注序列；图像化的标注包括但不限于:探头的位置、扫描区域的位置等；文字性的标注包括但不限于:探头的位置、扫描区域的位置、扫描的方式等；
[0052]选择器官参考点；参考点的选择可依据具体要扫描什么器官来决定，如图5给出了一种在对乳房进行超声扫描时的参考点选定，在图5中选定了 4个参考点(1，2，3,4)；
[0053]记录参考点的空间位置信息，通过将超声探头放置于参考点上，由第一空间探测器可得到每个参考点的位置信息；
[0054]实时修改参考点的空间位置信息；依据第二空间探测器探测到的被探测者身体位置信息变化所进行实时修改参考点；
[0055]根据参考点和超声探头的位置信息实时自动修改三维虚拟器官图像和超声探头图像；
[0056]实时自动更新二维图像化标注图像和文字性的标注序列；
[0057]同时显示二维超声图像和三维空间中的超声图像序列。
[0058]在实时扫描过程中，当一个病灶发现时，操作者点击即可将此病灶的位置记录于标注图像上。记录完成后，实时扫描可继续进行。当整个扫描过程完成后，所有病灶的位置信息即被记录于标注图像上，从而避免了根据记忆记录多病灶位置错误的出现。
[0059]由于引入了参考点，使得虚拟图像与现实的人体相对应的位置联系起来，超声探头的现实位置也能通过等比例的缩放在虚拟图像中得到显示，从而实现虚拟图像的标注。
[0060]如图6所示，给出了一种带有标记的超声显示结果。该结果是通过计算机终端中的软件实现的。在该显示的结果中，同时显示了三维空间中的超声扫描图像序列500、二维的超声扫描图像600以及三维虚拟标注图像401、二维图像化标注图像403和文字性标注序列 402。 [0061]如图7.a~图7.d所示，给出了一种带有多病灶标记符的超声显示结果。该结果中，图7.a对应图6的三维虚拟标注图像401、图7.b对应图6的二维图像化标注图像403、图7.c对应图6的超声扫描图像序列500、图7.d对应图6的二维超声扫描图像600。三维虚拟标注图像利用虚拟超声探头图像标识了每个记录的病灶的位置(在图7.a中给出了 5个位置的病灶)。在图7.b的二维图像化标注图像中，利用箭头标识了同样的病灶的位置。同时，这些病灶在图7.c的三维空间中的超声扫描图像序列中被箭头一一标出。所有标记符按其标识时间被编以序号。具体的，每一个病灶在图7.d对应的二维超声扫描图像依次显不O
[0062]通过对图像进行标注可以在操作者进行扫描探测的时候给操作者进行辅助的引导，还能直观的显示出所获得的超声扫描图像与人体位置的对应关系。在此实施例中，标注的产生过程如下:
[0063]超声探头首先对所有的参考点进行扫描探测，以获得超声探头放置于参考点上时的位置信息；
[0064]超声探头正常地进行扫描探测，结合第一空间探测器和第二空间探测器获得超声探头的位置，同时比对参考点的位置信息，得到当前超声探头相对各参考点的位置信息；
[0065]依据当前超声探头相对各参考点的位置信息，在三维和二维虚拟图像上标注探头的位置并给出文字性的标注序列。
[0066]以上仅为本发明【具体实施方式】，不能以此来限定本发明的范围，本【技术领域】内的一般技术人员根据本创作所作的均等变化，以及本领域内技术人员熟知的改变，都应仍属本发明涵盖的范围。
【权利要求】
1.一种基于三维虚拟图像的超声图像自动标注方法，其特征在于，所述方法包括以下步骤: 显示三维虚拟器官图像和超声探头图像； 显示二维图像化标注图像和文字性的标注序列； 选择器官参考点； 记录参考点的空间位置信息； 实时修改参考点的空间位置信息； 根据参考点和超声探头的位置信息实时自动修改三维虚拟器官图像和超声探头图像； 实时自动更新二维图像化标注图像和文字性的标注序列； 同时显示二维超声图像和三维空间中的超声图像序列。
2.根据权利要求1所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，所述方法还包括:在二维或三维标注图像上选择并标注多感兴趣区域。
3.根据权利要求2所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，在二维图像化标注图像上选择并标注感兴趣区域时，所用标记符为箭头。
4.根据权利要求2所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，在三维虚拟器官标注图像上选择并标注感兴趣区域时，所用标记符为三维虚拟超声探头图像。
5.根据权利要求2所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，所述方法还包括:对于每一个标记符，按照其出现的时间顺序，依次编号并且显示该编号。
6.根据权利要求2所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，完成标注感兴趣区域标识时，三维空间中的超声图像序列中对应的超声图像，被自动以标记符标识出来。
7.根据权利要求6所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，用于标识三维空间中的超声图像序列中的感兴趣超声图像的标记符为箭头。
8.根据权利要求1所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，所述方法还包括:保存图像，用于后期查看。
9.根据权利要求1所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，三维虚拟器官图像和超声探头图像通过器官图像数据库和探头数据库得到；或者通过扫描器官和超声探头的形态结构得到。
10.根据权利要求9所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，在通过器官图像数据库和超声探头数据库生成三维虚拟器官图像时，依据真实器官尺寸自动选择生成或由操作者手动选择生成。
11.根据权利要求9所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，器官图像数据库和超声探头数据库中的图像通过预先对不同尺寸的器官和超声探头进行绘制储存形成或者通过扫描不同尺寸的器官和探头的形态结构再进行储存形成。
12.根据权利要求1所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，参考点的空间位置通过扫描前放置超声探头于选定的人体器官参考点上获得，参考点的位置根据人体的位置变化进行实时更新。
13.根据权利要求1所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，位置信息由两部分组成:超声探头相对于人体器官参考点的空间位置坐标和超声探头的倾斜角度。
14.根据权利要求1所述的基于三维虚拟图像的超声图像自动标注方法，其特征在于，所述二维超声图像和三维空间中超声图像序列互相关联，同时生成和自动修改。
15.一种基于三维虚拟图像的超声图像自动标注系统，其特征在于，所述系统包括: 计算机终端(300)，用于生成和修改自动标注； 在计算机终端内的三维虚拟图像生成单元，用于生成三维虚拟器官图像和超声探头图像； 与计算机终端分别通信连接的超声波扫描仪(100 )和空间传感器控制单元(200 )，其中超声波扫描仪带有超声探头(101)； 与空间传感器控制单元连接的第一空间传感器(201)和第二空间传感器(202);第一空间传感器(201)固定在超声波扫描仪的超声探头(101)上，第二空间传感器(202)固定在人体上； 所述三维虚拟图像生成单元依据超声探头、第一空间传感器(201)和第二空间传感器(202)的探测结果生成三维虚拟器官图像和超声探头图像；第一空间传感器(201)和第二空间传感器(202)还产生器官参考点的空间位置信息，计算机终端(100)根据参考点和超声探头的位置信息实时自动修改三维虚拟器官图像和超声探头图像。
16.根据权利要求15所述的基于三维虚拟图像的超声图像自动标注系统，其特征在于，所述系统还包括一个在计算机终端(100)内的多感兴趣区域标识模块，用于标识感兴趣区域于二维或三维标注图像上以及在三维空间中的超声图像序列中标识对应的超声图像。
【文档编号】A61B8/00GK103565470SQ201210279869
【公开日】2014年2月12日 申请日期:2012年8月7日 优先权日:2012年8月7日
【发明者】郑永平, 姜娓娓 申请人:香港理工大学