专利名称：用于在射线照相图像中识别标记的方法
用于在射线照相图^f象中识别标记的方法发明领域本发明通常涉及用于处理射线照片的技术，更具体地，涉及在射线 照相图像中自动识别标记的技术。
背景技术：
用于捕获射线照相图像的装置通常包括两个主要部件。 一个是适于 沿设定的轴产生射线束的射线管，另一个是设置在射线束的路径上以捕 获射线的射线接收机。射线接收机可以配置有胶片、存储荧光片/盒(storage phosphor sheet/cassette)(计算机射线摄影或CR )、或 者电子装置(直接射线摄影或DR)。要研究的解剖体放置在射线管和接 收机之间。当射线穿过该解剖体并且照到接收机上时，产生该解剖体的 射线照相图像。在对射线照相图像的常规评估中，通常希望得到患者在曝光过程中 的相对位置。结果，常常使用具有铅制成的字母或符号的标记。该标记 放置在射线的路径上，例如在接收机上，使得射线照相图像带有这些字 母/符号的印记。 一般来说，使用标准化的缩写来制成标记，指示正在 进行射线照相是患者身体的左部还是右部，获取的是哪个投影，和/或 患者的位置。在一些情况中，标记也可以包含代表进行射线照相研究的 医院、诊所或医疗场所的符号。希望识别射线照相图像中的标记，因为标记提供了正确显示射线照 片的有用信息。例如，通常使用左标记和右标记来标识身体部分的侧 (side)。如果这种信息-故忽略并且不正确地显示了图像，误诊会造成 严重的损害。在胸部射线照相图像的情况中，错误的侧信息可能导致不 在呈现肺结节的肺上进行活组织切片检查，而是在另 一个健康的肺上进 4亍活组织;险查。识别/认出标记的另 一个优势是其有助于提供在图片存档及通信系 统(PACS)、放射信息系统(RIS)和医院信息系统(HIS)中存储和管 理图像所需的信息。例如，在乳房X线照相中，通常需要标记来指定图像采集过程中的凸起(projection)。为了适当地存储和检索图像，在 DIC0M报头中也需要该凸起。目前，这个信息由技术专家手动输入。申 请人已经意识到如果可以自动识别该标记并将其填入到DIC0M报头中， 将减少输入时间和贴错标签或未贴标签的图像的发生，因此大大改进了 工作流程。Egmont-Petersen等(，，Recognition of radiopaque markers in X-ray images using neural network as nonlinear filter" ， Pattern Recognition Letter, Vol. 20， pp521-533， 1999 )发展了 一种基于神经 网络识别血管焚光电影照相图像中的标记的方法。然而，他们的标记是 小金球，并且在图像中总是表现为圆对称的形状，这与本发明中涉及的 标记完全不同。此外，他们的标记用作定位解剖结构的标志；相反，射 线照相图像标记可以用来识别检查条件并且通常具有与检查条件相关 的语义。由于不同的目的，Egmont - Petersen的方法并不适于本发明的 问题。2002年3月12日授予Hufe等的题为"DIGITAL IMAGE ORIENTATION MARKER"的US专利No. 6354737公开了 一种在曝光后产生用于数字射线 照相的取向标记的方法。这个标记是由多个沿预定图案的多行和多列排 成阵列的像素组成的。因此，没有必要识别/认出这种标记。在图像识别和检索的领域，已经提出一些方法识别商标。例如，Jian 等("shape-based retrieval: A case study with trademark image databases" ， Pat tern Recogni t ion, Vol. 31， No. 9， pp 1 369-1 390， 1998 ) 提出了一种补充常规的基于文本的检索系统的基于对象形状信息的商 标图像数据库检索的方法。Hsieh等("Multiple classifiers for color flag and trademark image retrieval" ,IEEE transaction on image processing, Vol. 10， No. 6， pp938-95 0， 2001 )提出了一种基于区域的多 分类器彩色图像检索系统。由于商标图像的特点，虽然上述的这些方法 可能已经在它们特定的应用中取得了一定程度的成功，但是这些方法并 不适于直接识别射线照相图像中的标记，因为与商标图像相比，射线照 相图像呈现出更为复杂的特征。首先，射线照相图像是灰度图像，而商 标图像通常是二值图像或具有非常有限的彩色/灰度级的图像。其次， 射线照相图像包括更多的图像内容，诸如瞄准区域(collimation area )、 直接曝光区域和诊断相关区域。标记是图像中的 一个很小的区域并且需要在识别之间被检测；否则它的信息就被其他图像区域完全覆盖。然而， 对于商标图像，由于商标通常占据整幅图像，可以直接在图像上进行识 别。因此，需要一种在射线照相图像中自动识别标记的方法。这样的方 法应该具有鲁棒性并且适于适应射线照相图像中的变化。发明内容本发明的一个目的在于提供识别射线照相图像中标记的自动化方法。本发明的另 一 目的在于提供 一 种根据其标记正确显示射线照片的 方法。本发明的又一 目的在于提供一种自动从标记中提取合适的信息从 而这个信息可以被存储在图像报头中的方法。这些目的仅由说明性示例给出，并且这些目的是本发明的一个或多 个实施例的示范。公开的本发明固有地实现的其他希望的目的和优势对 本领域的技术人员是显而易见的。本发明由随附的权利要求限定。在本发明中， 一种方法包括两个步骤在输入的射线照相图像中检 测标记区域以及在射线照相图像中识别该标记。检测标记区域的步骤包 括将输入的射线照相图像分割成瞄准区域、直接曝光区域和诊断相关区 域，对所有诊断相关区域加标签并且定位标记区域。识别标记的步骤由 光学字符识别或标记图像匹配来完成。如果需要，然后可以显示射线照 相图像并且根据从标记获得的信息更新图像报头。根据本发明的 一 个方面，提供了 一种自动识别射线照相图像中的标 记的方法。该方法包括以下步骤访问数字形式的射线照相图像；将该 数字图像分割成多个区域；从该多个区域中检测标记区域；并且识别放 置在该标记区域内的标记以确定标记的语义。根据本发明的另 一 方面，提供了 一种自动识别射线照相图像中的标 记的方法。该方法包括以下步骤访问数字形式的射线照相图像；将该 数字图像分割成多个区域；对该多个区域的每一个加标签；通过在该多 个一皮加标签的区域中的一个内定位标记来识别标记区域；,人数字图^象提 取标记区域；将该标记区域转换成标准位置；将该标记区域与目标标记 对准；计算该标记区域和目标标记之间的相似性度量；用其他目标标记重复对准和计算的步骤；确定多个目标标记中的哪一个计算出最高的相 似性度量；以及将计算出最高相似性度量的这 一 个目标标记识别为标 i己，以识别i吾义。附图i兌明如附图所示，从本发明实施例的以下更具体的描述中可以清楚看到 本发明的前述以及其他目的、特征和优势。附图的元素不一定相对于彼 jt匕成比例。
图1A和1B示出了说明根据本发明的识别射线照相图像中的标记的自动化方法的流程图。图2A- 2H示出了具有不同标记的射线照相图像的简图。图3A-3E示出了说明分割步骤的简图。图3A示出了原始图像。图3B-3D分别示出了瞄准区域、直接暴光区域和诊断相关区域。图3E示出了分割的图像的最终结果。图4是示出根据本发明的检测射线照相图像中的标记区域的方法的 流程图。图5A和5B是示出确认标记区域的简图。图5A示出了标记区域图 像。图5B是该标记区域图像的亮度直方图。图6是示出使用标记图像匹配识别标记的方法的流程图。
具体实施方式
以下参考附图对本发明优选实施例进行具体描述，其中在附图中相 同的参考数字表示每个附图中相同的结构单元。本发明旨在一种用于自动识别射线照相图像中的标记的方法。也就 是说，检测标记和理解/识别其语义/意义。图1A和1B示出了说明根据本发明的自动化方法的流程图。根据本发明的方法的一个实施例在图1A中示出。如图1A所示，该 方法包括几个步骤，包括以数字形式获取/访问射线照相图像(步骤 10);才企测该射线照相图像中的标记区域(步骤11 );以及识别标记(步 骤12)。下面将更具体地描述这些步骤。在本发明的又一实施例中，如图1B的流程图所示，在步骤ll的标 记检测之前可以进行其他步骤。这个其他步骤(在图1B中记为步骤13)是射线照相图像的分割，下面将更具体地对其进行描述。开始，在步骤IO,获取射线照相图像，其为数字图像。可以直接使 用本领域技术人员已知的冲莫态(例如MRI或DR )或者间接通过本领域技 术人员已知的方式(例如通过模拟射线胶片图像的数字化)来获取该数 字图像。图2A-2H示出了一些射线照相图像。在这些射线照相图像中，使 用不同的标记来指定相关的图像信息，并且它们出现在图像的任意位 置。例如，在图2A-2C中，标记位于图像的左上部分(如图所示)。 图2H中位于图像的右下部分。图2G的标记包括字母和符号。为了在射线照相图像中找到这些标记，可以采用图像分割(步骤 13)。分割方法对本领域技术人员是已知的。 一种已知的分割方法是从 图像直方图中找到两个阈值，然后使用它们将图像分割成瞄准区域、直 接曝光区域和诊断相关区域。图3A-3E示出了说明分割步骤的简图。 图3A示出了 (一只脚的)的原始图像的示范性射线照片，并且图3B到 3D分别示出了从分割得到的瞄准区域、直接曝光区域和诊断相关区域。一旦分割了图像，就可以通过将瞄准区域和直接曝光区域中的像素 设为预定的背景值(例如等于0)来从图像中去除这些区域，但是诊断 相关区域中的像素保持不变。作为这个步骤的结果，分割的图像仅包括 解剖体和标记区域，如图3E所示。图3E示出了被分割的图像的最终结 果。如上所述，在步骤11完成才全测射线照相图像中的标记区域。现在 参考图4,根据本发明的一个实施例，通过首先对分割的图像中的所有 区域加标签(步骤41),然后定位图像中的标记区域(步骤42)来完 成射线照相图像中标记区域的检测。在本发明的 一个实施例中，通过给每个区域分配唯一的整数来实现 步骤41的图像加标签，并且最大的整数标签通常给出图像中的区域数 目。这个实施例的实施方式可以如下所述来完成(1)第一遍(pass):逐行搜索整个图像I,并且给每个非背景像 素I (x, y)分配非零值(标签)v。值v是根据该像素的邻像素(例如 4邻域或8邻域)的标签来选才奪的。(a)如果所有的邻像素都是背景像素，I (x, y)被分配一个新的 未使用的标签。(b) 如果只有一个邻像素具有非零标签，将这个标签分配给像素I(x, y)。(c) 如果在邻像素中有多于一个非零像素，则将最小标签分配给 像素I (x， y)并且将所有相等的标签存入等值表中。(2)第二遍在第一遍期间对图像中的所有区域像素加了标签， 但是一些区域包含具有不同标签(由于标签冲突)的像素。再次扫描整 个图像，并且使用等值表信息(例如，等值类中的最小值)来重新对像 素力口标签。注意本发明并不限于使用这个实施例来进行区域加标签。也可以采 用其他本领域技术人员已知的合适的算法。定位射线照相图像中的标记区域的步骤42可以通过评估所有被加 标签的区域的尺寸来完成。根据本发明的优选实施例，区域的尺寸由区 域中的像素的总数目确定。具有大尺寸的区域通常对应于射线照相图像 中的解剖体，而仅包含几个像素的区域通常是图像中的噪声。为了便于 评估，可以采用两个阈值。 一个是上限阈值，其将解剖体区域与剩余区 域分开。另一个是下限阈值，用于去除所有噪声区域。具有介于这两个 阈值之间的尺寸的区域被认为是标记区域的候选区域。下一步是找出哪个候选区域是标记区域。图5A示出了示范性标记 区域图像。通常，标记由铅制成，具有不透X射线的部分和透X射线的 部分。这些部分导致射线照相图像中的不同亮度。透X射线的部分允许 X射线从其中穿过，类似于直接暴光区域。因此它们在射线照相图像中 具有低亮度(示为黑像素)。相反，不透X射线的部分阻挡X射线束的 路径，因此它们在射线照相图像中呈现出高亮度(示为白像素)，类似 于瞄准区域。由于这个区别，标记区域的亮度直方图显示了两个峰，如 图5B中所示。因此，确认步骤是检查候选区域的亮度直方图中的这个 特性。如果在直方图中找到两个或更多个峰，如图5B中所示，该区域 可能包括标记；否则，拒绝该区域并把其当作噪声处理。根据识别要求和标记特征，识别标记可以通过包括光学字符识另'J (OCR)和标记图像匹配在内的几种方法来完成。光学字符识别将标记图像转换成计算机可以操作的形式(例如转换 成ASCII码)，然后进^f亍识别。与光学字符识别不同，标记图像匹配通过将标记区域的相似性与目标标记图像匹配来进行识别。如果它们完全匹配或者高度/基本相关， 则将标记区域识别为目标标记。这个方法对于识别标记图^f象中的符号尤 其适用，因为大多数符号难以转换成计算机代码。现在参考图6,其示出了说明使用标记图像匹配来识别标记(步骤 12)的方法的流程图。标记图像匹配包括三个步骤从射线照相图像中 提取标记区域(步骤61);将标记区域转换成标准位置(步骤62); 以及将标记区域图像与目标标记图像对准并且计算它们的相似性(步骤 63)。对于步骤61,从射线照相图像提取标记区域图像并对其进行归一 化。可以在标记区域图像上进行阈值处理，以简化/帮助匹配复杂度； 仅当其不降低识别精确度的时候才进行这个处理。在步骤62,标记区域图像被转换为标准位置。在转换后，标记区域 图像的比例和位置类似于目标标记图像的比例和位置。最后在步骤63,标记区域;故对准到目标标记图像，并且计算这两个 图像之间的相似性。在计算相似性的过程中，为了找到最佳匹配位置， 允许对标记区域进行大小调整、旋转和平移。可以使用本领域技术人员已知的方法完成相似性度量。 一个实现相 似性度量的技术是相关系数，其中相关系数越高，匹配越好。可选地， 可以采用诸如根据神经网络或模糊推理计算出的置信度之类的其他技 术来提供相似性度量。注意也可以在原始图像上而不是在分割后的检测到的标记区域上 直接使用模板匹配来检测和识别标记。这要求在整个图像上搜索最佳匹 配，其运算强度大。目标标记图像由进行射线照相图像研究的医院、诊所或医疗场所定 义。根据本发明，提供了一种工具帮助用户管理标记。这个工具包括三 个基本功能。第一个功能是将输入的标记转换并存储为数字格式(例如 标记图像)。第二个功能是保持与标记相关的信息。为了实现这个目的， 可以提供标记图像数据库。在这个数据库中，用户可以添加和/或编辑 与每个标记相关的注释。第三个功能旨在输出标记信息。信息可以基于 图像报头的要求从注释中提取，然后填入到图像报头中(例如DIC0M图 像报头)。在识别过程中，可以装入数据库中的每个标记并作为用于图像匹配的目标标记图像对待。该方法选择具有最高相似性度量的标记图像作为 识别结果并且将其分配给射线照相图像。可以保存最佳匹配参数并且将 其用于射线照相图像的进一步研究。例如，比例可以帮助确定图像设备 的放大因子。使用本领域技术人员已知的方法可以实现光学字符识别。 一旦识别了标记，其信息可以用于显示该图像，或者根据挂片协议(hanging protocol )来安排图像顺序。例如，左或右标记提供了关于 是否需要水平翻转图像的信息，并且凸起信息可以用于确定何时何地显 示射线照相图像。此外，标记的信息(诸如凸起)可以提供图像绘制的 优先选择，并且帮助绘制满足特定地点要求的图像。另外，与图像采集 有关的信息可以用于质量保证。基于用户的要求，从标记中提取的输出信息可以放置/存储在进行 PACS和RIS/HIS中的图像存储和管理所需的DICOM报头或其他图像报头 (或相关元数据)中。本发明可以例如在计算机程序产品中实施。计算机程序产品可以包 括一个或多个存储介质，例如诸如磁盘(例如软盘)或磁带的磁存储 介质；诸如光盘、光带或计算可读条形码的光学存储介质；诸如随机存 取存储器UAM)、或只读存储器(ROM)的固态电子存储设备；或者任 何其他用来存储计算机程序的物理设备或介质，所述计算机程序具有用 于控制一个或多个计算机实施根据本发明的方法的指令。本发明的系统包括可编程计算机，其包括微处理器、计算机存储器 和存储在所述计算机存储器中用于执行上述方法的步骤的计算机程序。 该计算机具有可操作地连接到微处理器的存储器接口 。这可以是在接受 可移动存储器的驱动器上的端口 (诸如USB端口)，或者一些其他允许 访问照相机存储器的设备。该系统包括数字照相机，该数字照相机具有 与存储器接口兼容的存储器。如果需要，可以使用胶片照相机和扫描仪 取代数字照相机。可以配备图形用户界面(GUI)和用户输入单元(诸 如鼠标和键盘)作为计算机的一部分。
权利要求
1.一种自动识别射线照相图像中的标记的方法，包括以下步骤访问数字形式的射线照相图像；将该数字图像分割成多个区域；从该多个区域中检测标记区域；以及识别放置在该标记区域内的标记以确定标记的语义。
2. 权利要求1的方法，还包括将标记的语义与该射线照相图像相 关的步骤。
3. 权利要求2的方法，其中相关的步骤是通过以DIC0M格式存储 该i吾义来完成的。
4. 权利要求1的方法，其中检测标记区域的步骤是由以下步骤完 成的对该多个区域中的每一个加标签；以及通过定位该多个^l加标签的区域中的一个内的标记来识别标记区域。
5. 权利要求1的方法，其中识别标记的步骤是使用光学字符识别 或标记图^f象匹配来完成的。
6. 权利要求5的方法，其中使用标记图像匹配来识别标记的步骤 是通过以下步骤完成的从数字图像中提取标记区域； 将该标记区域转换成标准位置； 将该标记区》或与目标标i己对准； 计算该标记区域与该目标标记之间的相似性度量； 用其他目标标记重复对准步骤和计算步骤；以及 确定哪个目标标记计算出最高的相似性度量。
7. 权利要求6的方法，其中计算相似性度量的步骤是通过从神经 网络或模糊推理引擎计算相关系数或置信度来完成的。
8. 权利要求6的方法，其中提供数据库以管理该多个目标标记并 且该方法还包括以下步骤以数字形式转换并存储该多个目标标记以产生相关信息； 在数据库中保持该相关信息；输出图像存储和管理所需要的相关信息。
9. 权利要求l的方法，还包括使用标记的语义显示图像的步骤。
10. 权利要求l的方法，还包括使用语义相对于其他射线照相图像 安排该射线照相图像的步骤。
11. 权利要求1的方法，还包括使用语义绘制射线照相图像的步骤。
12. —种自动识别射线照相图像中的标记的方法，包括以下步骤 访问数字形式的射线照相图像；将该数字图像分割成多个区域； 对该多个区域中的每一个加标签；通过定位该多个^皮加标签的区域中的一个内的标记来识另)J标记区域；从该数字图像中提取该标记区域； 将该标记区域转换为标准位置； 将该标记区域与目标标记对准； 计算该标记区域与该目标标记之间的相似性度量；用其他目标标记重复对准步骤和计算步骤；确定该多个目标标记中的哪一个计算出最高的相似性度量；以及将计算出最高相似性度量的该 一 个目标标记识别为标记以识别语义,
13. 权利要求12的方法，还包括使用标记的语义显示图像的步骤。
14. 权利要求12的方法，还包括使用语义相对于其他射线照相图 像安排该射线照相图像的步骤。
15. 权利要求12的方法，还包括使用语义绘制射线照相图像的步骤。
16. 权利要求12的方法，还包括将标记的语义与射线照相图像相 关的步骤。
17. 权利要求16的方法，其中相关的步骤是通过以DIC0M格式存 储语义来完成的。
18. —种计算机存储产品，具有至少一个计算机存储介质，其中存 储有使得一个或多个计算机执行权利要求1的方法的指令。
全文摘要
一种自动识别射线照相图像中的标记的方法，包括以下步骤访问数字形式的射线照相图像；将该数字图像分割成多个区域；从该多个区域中检测标记区域；以及识别放置在该标记区域内的标记以确定标记的语义。
文档编号G06T7/00GK101248456SQ200680027320
公开日2008年8月20日 申请日期2006年7月11日 优先权日2005年7月25日
发明者H·罗 申请人:伊斯曼柯达公司