专利名称：使用放射学描述符的报告查看器的制作方法
何肿块或病变的位置识别信息，例如，偏侧性=右；钟点位置或区域=5点钟位置；深度=前部。“位置”框146下方的下一框名为“肿块特性”并包括图表122中识别的肿块或病变的BIRADS描述符，例如形状=小叶状；边缘=模糊；密度修正(modifier)=高密度。也可以包括其他的框，例如具有诸如“皮肤收缩”、“术后伤疤”等的类别的名为“相关发现”的框150。此外，可以示出关键放射学图像，例如X射线乳房摄影图像170。为最优地使用这种系统，传统(legacy)研究需按相同方式标注。传统研究是指在引入像BIRADS的系统之前诊断过并记载为自由或非结构化文本报告的研究。实际上，由于质量依从问题、成本和缺乏资源，传统研究通常不会“重新标注”。但是，医师需要检阅先前的研究或报告，并将其同当前的研究/报告比较。手工比较先前报告与当前报告费时且易于产生可能的注释错误或遗漏注释用于适当的比较和诊断所需的一些信息。
为了从使用像BIRADS的系统中真正获益，医师需要同时高效阅读并使用传统非结构化自由文本报告和结构化BIRADS发现。这需要一种在“新的”结构化数据与“旧的”纯文本报告之间进行调停的方法，在“新的”结构化数据中描述符或发现选自一组有限或预定义的描述符或发现；而“旧的”纯文本报告亦称为自由文本报告或非结构化文本报告，其中可以使用任何词语、描述符、或发现，而无任何限制，亦即，不限于任何一组特定或预定义的词语、描述符或发现。相应地，医师需要同时高效阅读并使用传统非结构化自由文本报告和结构化BIRADS发现。此外，还需要在诸如BIRADS的“新的”结构化数据与“旧的”纯文本报告之间进行调停。本系统、方法、装置以及设备(以下统称系统，除非语境指示其他)的一个目的是克服常规系统和设备的缺点，包括协助准备适当的研究/报告和诊断，这考虑了相关的先前研究，例如以与当前研究相比较，例如通过建议与所选BIRADS标注相关的先前研究，并且通过高亮显示与所选BIRADS标注相关的句子或句群的片段。说明性实施例包括一种用于查看结构化报告的方法和报告查看器，该查看器包括执行所述方法的处理器和/或各种引擎和模块，结构化报告例如为使用选自预定义描述符列表、例如BIRADS描述符的描述符描述放射学图像的医学报告,所述方法包括如下动作打开医学报告；以及响应于所述打开的动作，由处理器搜索与所述医学报告的描述符相关的另外的报告，并且高亮显示所述另外的报告中与从所述描述符导出的关键词匹配的词语和/或句子。所述医学报告和所述另外的报告可以与正被高亮显示的词语和/或句子同时显示。所述另外的报告可以选自通过搜索找到的多个报告。另外，所述另外的报告包括非结构化文本报告，而所述方法还包括将所述描述符映射到所述文本报告这的发现并高亮显示该发现。所述打开的动作可以包括用户选择所述描述符的动作，其中响应于所述选择的动作执行所述搜索和高亮显示的动作。此外，可以响应于所述打开的动作从第一报告中自动提取所述描述符。所述医学报告可以包括用所述描述符标注的图像，并且可以响应于所述打开的动作从所述图像中自动提取所述描述符。所述搜索可以包括由报告分析器分析所述另外的报告以获得解释；由本体引擎将所述描述符翻译成关键词；并且由推理及匹配引擎将所述关键词与所述解释进行匹配以识别与该关键词匹配的解释。此外，所述分析可以包括将所述另外的报告分割成区段；识别所述区段中的句子；将所述句子中的词语进行分组以形成每一句的分组词；从所述分组词中确定所述每一句的模态和偏侧性；并且将所述每一句的模态和偏侧性映射成模态词和偏侧性词以获得所述解释。由本体引擎进行翻译例如可以包括将所述描述符进行解析以获得与所述描述符相对应的特性列表；使用访问本体数据库的映射器将每一特性与语义相关词进行关联；并且提取所述语义相关词的词干以获得所述关键词。另外的实施例包括计算机程序产品，该产品包括存储于实体计算机可读介质上的非临时性计算机数据，所述计算机程序产品包括被配置成执行根据所述方法的所述动作中的一个或多个的程序代码，所述方法用于查看使用一组有限或预定义描述符、例如BIRADS描述符生成和/或标注的报告。从下文、权利要求以及附图中将能更好地理解本发明的装置、系统以及方法的这些及其他特征、方面以及优点，在附图中
图I示出了使用结构化BIRADS数据以标注图像的常规报告；图2A示出了根据本系统的一个实施例自动关联并同时显示的报告的视图；图2B更详细地示出了图2A中的BIRADS⑶I ;图3示出了说明根据本系统的一个实施例的各部件间有交互流的系统的框图；图4示出了说明根据本系统的另一实施例的各部件间有交互流的系统的框图；图5示出了说明根据本系统的又一实施例的各部件间有交互流的系统的框图；图6示出了根据本系统的一个实施例的高亮显示的非结构化报告的说明性示例，在报告中闻売显不相关部分；图7示出了根据本系统的一个实施例的如图3-4所示的本体引擎的说明性实施例；图8示出了根据本系统的一个实施例的如图3-4所示的报告分析器的说明性实施例；图9示出了根据本系统的一个实施例的说明性图形用户界面；以及
图10示出了根据本系统的实施例的系统的一部分。下文描述了说明性实施例，这些实施例结合附图将证明上述特征和优点以及另外的特征和优点。在下面的描述中，出于解释而非限制目的，详细说明了体系结构、界面、技术、元件属性等。但是，本领域技术人员将能领会到，没有这些细节的其他实施例仍将落在权利要求书的范围之内。而且，为了清楚起见，公知设备、电路、工具、技术以及方法的详细描述不再赘述，以防止模糊了对本系统的描述。人们应当理解，附图出于说明目的而并不代表本系统的范围。在附图中，不同附图中同样的附图标记可以指代相似的元件。为了简化对本系统的描述，本文所用的术语“操作耦合”、“耦合”及其近义词指的是根据本系统能够进行操作的各设备和/或其部分之间的连接。例如，操作耦合可包括使得两个或更多设备和/或其部分之间能够建立单向和/或双向通信路径的所述设备之间的有线连接无线连接的一个或多个耦合。例如，操作耦合可包括使得处理器、存储器、服务器以及诸如解析器、分割器、映射器和/或词干提取器的其他设备之间能够进行通信的有线和/或无线耦合。本文所用的术语再现(rendering)及其近义词指的是提供诸如数字媒体的内容，使得至少一个用户通过感官可以感知到该内容，其中，数字媒体例如可包括标注有用于选择和标注图像的期望部分的描述符、描述符列表等的图像，并且感官例如为视觉和/或听觉。例如，本系统可以在显示器设备上再现用户界面以便对用户可以看到并与之进行交互。此外，本系统可以在再现听觉输出的设备(例如，诸如扩音器的扬声器)和再现视觉输出的设备(例如，显示器)两者上再现音频视觉内容。为简化讨论，术语内容及其近义词将用于并应理解为包括音频内容、视觉内容、音频视觉内容、文本内容和/或其他内容类型，除非明确意指特定内容类型，如可容易领会到的。可以使用操作耦合到控制显示环境的一个或多个处理器的任意类型的人-处理器界面设备来实现用户与计算机环境交互以及对计算机环境的操控。用户界面(UI)的通常界面设备，例如图形用户界面(GUI)为鼠标、轨迹球、键盘、触敏显示器、定点设备(例如，笔)等。例如，鼠标可由用户在平面工作空间中移动以移动虚拟对象，例如指针，其以用户操控的位置与指针的描述位置之间的直接映射的方式描述于二维显示器表面上。这通常称为位置控制，其中所描述对象的运动与用户操作的运动直接相关。 根据本系统实施例的这种GUI例如为可通过可以用户调用的计算机程序提供的GUI，例如该计算机程序经用户调用以使用户能够选择和/或分类/标注内容，该内容例如为标注有描述符的图像或具有闻売显不部分的文本内容。图2A示出了根据本系统和方法的一个实施例自动相关联并同时显示的报告视图200。如图2A所示，在图2A右侧所示的一个当前研究210 (也称为参考研究)中，使用由选自BIRADS⑶I 230的BIRADS描述符220来描述图像中的病变，在BIRADS⑶I 230中使用像Integral Breast 或由其他系统的系统用BIRADS描述符220来标注图像，其他系统例如描述于 Wittenberg 等人的题为 “Complete Digital Iconic and Textual Annotationfor Mammography” 的出版物，其可以在万维网 “sunsite. informatik. rwth-aachen. de/Publications/CEUR-WS/Vol-283/p091.pdf”上获得，该出版物以全文引用方式并入本文，并公布于 CEUR Workshop Proceedings 的名为“Bildverarbeitung fur die Medizin，，的书(2007年三月，慕尼黑，第283卷，91-95页)。为了更清楚，图2B单独示出了 BIRADS⑶I。当前或参考研究210可以是包括BIRADS研究的任何期望或选定的研究，其中描述符选自一组有限或预定义/预先确定的描述符。简单起见，参考研究210将称为BIRADS研究，但应理解，参考研究210可以要与本文称为先前研究的不同的相关和/或选定研究相比较的任何期望和/或选定研究。在图2A左侧，示出了传统系统中使用非结构化或自由/纯文本的一个先前研究的文本报告240,其中对描述符或词语没有任何限制,并且该文本报告例如可以由检阅图像的放射医师口述完成。为了更清楚，图6单独示出了文本报告240，其中不是由框环绕与BIRADS描述符匹配的文本，而是高亮显示所匹配的文本。先前研究可不一定在时间上早于当前或参考研究210，而可以是任何研究，例如具有自由或非结构化文本的研究。本系统自动找到与当前研究210相关的先前研究240，并将先前研究240中与BIRADS描述符匹配的部分关联到选自BIRADS⑶I 230的BIRADS描述符和/或到包括标注BIRADS的描述符的当前研究/图像。例如，本系统自动找到与当前乳房研究的相同患者的乳房检查相关的先前研究列表，其按任何期望或选定顺序排序，例如按日期排序。搜索或自动提取可缩小到包括诸如模态和/或偏侧性的属性，其可由用户从BIRADS描述符选择或自动提取。例如，当模态为“超声”(US)而偏侧性为“右”时，然后自动提取特定患者的包括US和右侧乳房信息(例如，文本和/或图像)的现有报告，例如，使用文本和/或图像识别设备或算法来进行自动提取，其中这些报告的最新报告可以被认为是最相关的先前报告。可替代地或附加地，先前研究240可以是用户选择以关联并高亮显示与BIRADS描述符相关或匹配的相关词语、句子和/或词组和句群，BIRADS描述符可以是用户从标注BIRADS描述符的图像选择或自动提取的。也应当理解，本系统还能用于比较其他患者研究与当前研究。根据包括描述病变的图像上该病变的标注、例如BIRADS标注的当前研究的模态，医师需要知道哪些先前研究报告具有与当前标注/研究相同的模态，在该图像中可以将这些BIRADS标注叠加在该图像上。对于乳腺癌而言，使用X射线的乳腺摄影(MAM)、超声成像(US)以及磁共振成像(MRI)都是常用模态。其次，医师需要打开包括相同模态的那些先前研究的报告并阅读报告内容。通常报告包含多种模态的发现。对于乳腺癌报告而言，可以在同一文档中报告乳腺摄影发现和超声发现。医师需要找到这样的句子，其中利用相同模态的先前研究中描述了使用当前研究、例如使用BIRADS标注的病变。亦即，如果当前模态为US或超声，并且先前研究包括与MAM和US两者相关的文本，则医师需要找到与US相关的文本，而不是与MAM相关的文本。在找到与当前标注的病变相关的先前报告后，医师将在·尺寸、形状、边缘、密度等方面比较病变的进展。如可容易领会到的，手工执行这样的任务费时且易于出错。本系统及方法通过找到并建议与选定BIRADS标注相关的先前研究，并通过高亮显示与选定BIRADS标注相关的句子片段来帮助医师执行上述任务。因而，在先前示例中，如果当前报告或研究是患者右侧乳房的US研究，则找到并建议先前相关报告，其中如果这些先前报告包括与该患者右侧乳房的US研究相关的研究或文本则认为这些先前报告是相关的。在相关先前报告包括使用US和MAM模态两者对患者左右两侧乳房的研究的情况下，仅高亮显示该先前报告中与当前研究相关的部分，即，仅高亮显示与右侧乳房的US相关的部分。因而，不会高亮显示先前报告中与左侧乳房相关的或者与右侧乳房的MAM相关的部分，因为这些部分不与针对患者右侧乳房的US研究的当前研究相关。个人单独通读一批文本报告以识别与选定标注(例如，US、患者X的右侧乳房)相关的句子是有挑战性的。为了协助医师识别相关句子，本系统及方法自动搜索、建议和/或提供相关的先前研究，例如示于图2A右侧具有自由或纯文本/非结构化文本报告的先前研究240,以及自动闻売显不与不于图2A右侧的当如研究210的标注、例如BIRADS标注相关的句子。在该实施例中，例如通过用(一个或多个)框25环绕选定先前研究230的相关句子来高亮显示该相关句子。人们应能理解，高亮显示能够包括如下方式中的至少一个或者如下方式的任意组合改变诸如(一个或多个)词语和/或句子的选定报告内容的版面(appearance)以别于其他报告部分，或者在选定报告或(一个或多个)内容部分上喷涂和/或叠加有色背景，或者用(一个或多个)边块或框环绕内容的(一个或多个)选定部分。除了自动选择相关的先前研究230之外，本系统可以选择任何期望的研究以与当前或参考研究进行比较，例如与以BIRADS标注的研究210、亦称为BIRADS研究210进行比较。本系统可以包括处理器或控制器，其被配置成在显示器或监视器上利用包括供用户选择的先前研究列表的菜单呈现界面、例如显示图形用户界面(GUI)。所呈现的先前研究列表可以按选定的(一个或多个)标准排序，例如按日期、检查类型、模态和/或相关性、或重要性进行排序，如先前研究中指出或与先前研究相关联的元数据指出。在许多现存应用程序中能够找到对文档进行的基于关键词的闻売显不。例如，使用网络浏览器(IE)，用户能够在网页中搜索关键词并且应用程序能够高亮显示关键词的所有出现。不是高亮显示关键词的所有出现，本系统将病变的选定BIRADS描述符映射或翻译为语法上、语义上以及临床上相关的词语，这些词然后用于确定并高亮显示被确定为与添加至图像的选定BIRADS描述符或BIRADS标注更相关的相关句子和/或相关词语的部分或相关词组。例如，如果图像是关于右侧乳房的，则不会高亮显示自由形式或非结构化文本中“乳房”的所有出现。相反，高亮显示局限于与右侧乳房相关联的“乳房”，其中不会高亮显示与左侧乳房相关联的“乳房”的出现。因而，本系统将第一描述符与当前报告的至少一个其他描述符进行关联以确定并高亮显示先前报告中的相关词语或句子。例如，“乳房”可以与“右侧”或(偏侧性，右)相关联，从而使得并不是高亮显示先前报告中乳房的所有出现，而只高亮显示与“右侧乳房”相关联的乳房的出现。另外的描述符可以与第一描述符或“乳房”相关联，例如超声或(1旲态，us),因此,仅闻売显不与“右侧乳房”和超声或US相关联的乳房的出现，而并不高亮显示先前报告中“右侧乳房”和超声或X射线乳房摄影或MAM的出现。此外，通常情况是放射医师仅在首句明确提及病变的位置(例如，“右侧乳房”)而在随后的 句子中不再重复位置信息。本系统分配随后的句子涉及相同病变，因而应同样进行高亮显示，如本系统所述。图3示出了说明根据本系统实施例的在彼此操作耦合在一起的系统部件之间具有交互流的系统300的框图。如图3所示，所述系统包括报告分析器310，其可为自然语言语义处理模块，该模块接收并转换非结构化放射学报告315为系列解释320集以输出。每个解释320都与模态属性相关联，模态属性指示从其中识别发现的图像研究的类型(例如，诸如乳房摄影的X射线、超声、MRI以及其他成像类型)，其中发现可以是给定的BIRADS描述符并称为BIRADS发现，该发现例如可以从所研究的图像中自动找到或者由阅读该图像的放射医师提供。每个解释320具有属性，如果有的话，属性描述病变的各个方面，例如，偏侧性、位置、深度、形状和/或其他属性，例如图2B中BIRADS超声⑶I 230所示。系统300还包括本体引擎330，该引擎接收描述符或描述图像内容的发现335，图像内容例如为图像中乳房的病变，例如该引擎接收从图像的自动机器分析自动生成和/或由阅读该图像的放射医师提供的BIRADS描述符。本体引擎330将至少一个BIRADS描述符翻译成语法上和语义上相关的关键词340的列表。例如，诸如“偏侧性”的BIRADS描述符被翻译成侧部、侧面、边缘、边界、右侧、R、左侧、L以及其他同义词及缩写。如图3所示，系统300还包括操作耦合到报告分析器310和本体引擎330的推理及匹配引擎350。推理及匹配引擎350将BIRADS发现翻译成一组搜索提示，其中BIRADS发现可以是一组分组BIRADS描述符，并且将搜索提示与报告分析器310提供的解释320相匹配以确定或识别匹配的或相关的解释355。例如，超声(US )B IRADS发现可以包括像(模态，US )、(偏侧性，右)、(位置，IO点钟方向)这样的描述符。“US”被语义映射成像“超声”、“回波”、“回波的”这样的词语；“右”被语义映射成“右侧乳房”、“右侧”、“左侧腋窝” ；“ 10点钟方向”被语义映射成“上象限”和“内上象限”。下述引用中第二句的解释“执行双侧乳房超声。在右侧乳房的10点钟方向处，出现两个相邻的囊肿，测量合计I. lcmX4. Omm……，”可以包括(模态，US)和(偏侧性，右)。这些解释，g卩，(模态，US)和(偏侧性，右)，匹配了超声BIRADS发现的模态、偏侧性以及位置描述符，因此，高亮显示该引用和/或该引用的第二句。推理及匹配引擎350还操作耦合到用户界面显示引擎360。具体而言，推理及匹配引擎350向用户界面显示引擎360输出经匹配或识别的相关解释355。用户界面显示引擎360提供其输出365至监视器370以显示报告315，其中根据与由推理及匹配引擎350确定的BIRADS发现匹配的所识别的相关解释355而高亮显示该报告的相关(或匹配)片段。如图2和图9所示，具有自由或非结构化文本的高亮显示的先前报告240、40与同先前或非结构化报告的高亮显示部分相关联的BIRADS描述符(例如，图9中950、960)进行并排显示。与先前或非结构化报告的高亮显示部分并发或同时示出的BIRADS描述符可以被显示为附加标注，该标注附加至由BIRADS描述符和/或BIRADS发现描述的图像。图4示出了与图3所示系统300泪水的另一系统400，特别地，图4的系统400包括搜索、发现以及识别多个自由文本或非结构化文本报告415,其中报告分析器310输出多个报告415的解释420，并且其中图4的系统400进一步分析解释420和关键词340以由推 理及匹配引擎350找到或识别与BIRADS发现匹配的相关报告和解释455。在该实施例中，用户界面显示引擎360的输出465包括具有高亮显示的相关解释的报告列表。具有该报告列表的这一输出465被提供给用户界面选择引擎470以供用户在列表或报告中进行选择。一旦用户选择了一报告，在监视器370上显不选定报告475。图5示出了又一系统500，其中从选定内容、例如图像中自动提取描述符或内容属性，而不是例如由系统用户或放射医师提供描述符或内容属性。在这一说明性实施例中，例如，当BIRADS描述符不可用时，根据DICOM图像的模态/偏侧性属性显示一个先前报告的相关句子。众所周知，医学数字影像和通信标准(DICOM)是在计算机之间分配并查看医学图像和其他医学信息，以使在来自不同制造商的诊断和治疗装置及系统之间能够进行数字通信的工业标准。DICOM图像的内容属性例如可以从内容自身和/或从与图像文件相关联的元数据提取。例如，图像属性可以使用利用计算机视觉和/或识别及提取算法的计算机图像和/或文本分析器及识别器以例如检测并识别乳房图像中的病变来进行自动提取。可替代地或附加地，这种算法和/或计算机视觉可用于通过检测、辨认和/或识别添加到图像的标注或文本来自动提取属性。图5包括与图3-4所示的那些相类似的部件。虽然类似于图3，图5示出了接收一个报告315并提供解释320的报告分析器310，但是应当理解，报告分析器310可以接收并分析若干报告415以产生多个报告451的解释420，如参考图4所述。如图5所示，属性提取器，例如DICM属性提取器530被配置成从选定的DICOM文件或图像535、例如从元数据或从内容本身提取属性，例如使用包括计算机视觉的图像分析方法来提取属性。DICOM属性提取器530提取并提供属性340给推理及匹配引擎350。例如，所提取的属性或关键词340可以是模态、偏侧性以及DICOM文件或DICOM文件内容的其他属性，例如DICOM文件中包括的乳房图像中关于病变的描述和位置。类似于图3的系统300，推理及匹配引擎350将来自报告分析器310的解释320与所提取的属性340进行比较，并识别与所提取的属性或关键词340匹配的(报告315的)相关解释355。相关或匹配的报告解释355被提供给用户界面显不引擎360,该引擎闻売显不该相关解释并将具有闻売显不的相关解释的报告365提供给监视器370以进行显示。图6示出了高亮显示的非结构化报告600的说明性示例，该报告类似于图2A的非结构化报告240，其中高亮显示与BIRADS描述符/发现匹配的相关部分(而不是如图2A所示由框250环绕)。在图6所示的示例中，BIRADS发现包括具有右外上象限中右侧乳房上局限性病变的超声发现。本系统的这一实施例高亮显示非结构化报告600中为超声特异性的句子，并高亮显示与BIRADS描述符/发现匹配的相关关键词。特别地，不会高亮显示描述乳房摄影发现的句子；病变被语义映射成“结节密度”并被高亮显示；并不高亮显示左侧乳房的超声发现。图7示出了图3-4所示的本体引擎330的说明性实施例。如图7所示，本体引擎330包括解析器或解析模块710，其接收BIRADS发现335并将这些发现解析为包括文本串的描述符连同与所述描述符相对应的特性715列表。特性例如为“偏侧性左侧乳房”、“位置内上象限”、“形状不规则”、“边缘非局限性”以及其他BIRADS描述符。解析的BIRADS发现、描述符或特性被提供给映射器或映射模块720，该模块720访问本体数据库730，该数据库可以是位于远程但操作耦合到映射器720的本体服务器，或者可以是存储于本系统的 本地存储器中并操作耦合到映射器720的数据。本体数据库730包括词语、同义词以及缩写等等。映射器720将BIRADS发现335的每个特性715与匹配特性715的语义相关词735相关联，语义相关词735例如包括同义词和/或缩写。由词干提取器提取相关词735的词干以将相关词735减少至其词干、词基或词根，例如从词中去除词尾以获得根词。例如，词干提取器740从像“searching”或“searcher”的词语中识别词根“search”。其他示例包括提取“heterogeneously”的词干以获得词干“heterogeneous”并且提取“shadowing”的词干以获得词干“shadow”，“shadowing”可以是超声发现的“后方回声”特性的值。词根提取器740向如图3-4所示的推理及匹配引擎350输出称为关键词340的词干，例如，具有语义关联的提取词干后的特性的向量。图8示出了图3-4所示的报告分析器310的说明性实施例。如图8所示，报告分析器310包括模板化或分割模块810，该模块接收自由文本或非结构化文本报告315并将所述报告分割成分段区段815(例如标题、病史、程序、发现以及观感(impression))、段落以及句子。分段区段815被提供给句子分割模块820，其识别分段区段815中的句子。对于每一分段区段815而言，句子分割模块820向解析器或解析模块830提供每区段的句子列表825。解析器830使用存储于存储器或数据库840中的语法规则以将所接收的句子825进行语法处理并将其解析为词语和句子，并将句子中的词语分组成语法结构835。例如，语法规则用于根据语法规则描述诸如英语的给定语言的语法，其中处理器被配置成解析、分开和/或分离自然语言句成其组成部分和/或类别，例如N、V、P类别，并且将句子中的词语分配N、V、P类别。使用规则对词语进行分组并将词组映射成语法结构的一个示例包括NVNP，其描述了句子包括名字短语N、动词V、又一名词短语N以及介词短语P。名词短语用于语义映射850，其中名词与医学本体860相匹配，以确定该名词是否为医学术语，并确定其语义类别(例如，解剖学、疾病学、程序等)。语义映射850例如从表不于报告相关联的图像的研究的DICOM数据中确定该报告的模态。如果基础结构不允许访问该数据，则能够从报告的标题信息确定或推断述模态(例如，MAM/US/MRI)。典型地，标题例如包括下列指示包括右侧乳房的X射线乳房摄影和超声成像信息两者的文件或报告的“右侧乳房摄影乳房超声(R MAM BREAST ULTRASOUND)”，或者指示右侧乳房的X射线乳房摄影信息的“右侧乳房摄影单侧数字诊断(R MAM UNILATDIGITAL DIAGNOSTIC)”。语义映射模块850接收来自解析器830的语法结构835并将每个模态映射成模态特异性关键词的选集，所述模态特异性关键词用于发现讨论的起始点。讨论包括所有与特定模态相关的连续句子。模态被分配给一个讨论的所有句子。具体而言，语义映射模块850使用存储于存储器860中包括医学术语的医学本体，来检测从解析器830接收的每个语法结构的医学术语，这包括将模态映射为模态特异性关键词。语义映射模块850的输出855操作耦合到过滤模块870，并包括所检测到的每个语法结构的医学术语。这些检测到的医学术语855通过过滤模块870过滤以将解释列表320提供给如图3-4所示的推理及匹配引擎350。报告分析器310亦可称为自然语言处理模块，其用于解释句子。提取的解释320通常包括括从图像检测的问题、身体位置、修正等。例如，医学语言提取及编码系统(MEDLEE)可用于生成这样的解释。此外，由语义映射模块850导 出的模态关键词经自然语言处理模块或报告分析器310指定给解释320。回到图7，使用本体服务器370将包括在BIRADS发现335中的每个BIRADS描述符、典型为一对文本串在语法和语义上翻译成关键词。首先由词干提取器730将选定BIRADS描述符的特性或描述符名称和值进行词干提取。例如，乳房摄影发现可包括描述符列表。一个描述描述了病变的一个方面。例如，“偏侧性”可以是描述符的名称，其值可以是“左侧”、“右侧”、“两侧”以及“无”。该描述符(即“偏侧性”)描述了病变位于乳房的哪侧。其他常用的描述符例如包括“深度”、“位置”以及“钙化特征”。词干用作第一类关键词。例如，可以使用常规的Porter词干提取器(Porter Stemmer)0其次，由映射模块720对特性名称和值进行语义映射。作为说明性示例，病变的位置通常特征在于由象限和钟点位置。使用本体引擎330，将左侧乳房的9到12点钟位置映射到左侧乳方的内上象限而将右侧乳房的9到12点钟位置映射到右侧乳房的外上象限。此外，“肿块”被映射为“病变”，其为使用常规统一医学语言系统/医学系统命名法(UMLS/SN0MED )本体的更一般概念。对所有导出的关键词进行词干提取。执行下列动作以将BIRADS标注映射到文本报告中的发现。BIRADS标注例如可自动地或由阅读图像的放射医师手工地提供或添加给(例如，乳房)图像。I.使用报告分析器或自然语言处理模块310，由分割器820将报告315分割成区段(标题、病史、程序、发现以及观感)、段落以及句子。报告315的模态可以从研究的DICOM数据获得。如果IT基础结构不允许访问该数据，从报告的标题信息确定模态(MAM/US/MRI )。典型地，标题如下“右侧乳房摄影乳房超声(R MAM BREAST ULTRASOUND)”、“右侧乳房摄影单侧数字诊断(R MAM UNILAT DIGITAL DIAGNOSTIC)”。2.由语义映射模块850将每一模态映射到模态特异性关键词的选集，该关键词用于发现讨论的起始点，其中讨论包括所有与特定模态相关的连续句子。模态被分配给一个讨论的所有句子。3.自然语言处理模块310用于解释句子。提取的解释通常包括问题、身体位置、修正的描述。这种情况下MEDLEE可用于生成这样的解释。此外，步骤2中导出的模态信息被指定给解释。4.使用本体服务器330将每个BIRADS描述符、典型为一对文本串在语法和语义上翻译成关键词。由解析器710将BIRADS发现和/或描述符进行解析以获得BIRADS描述符的特性列表。例如由映射器720将每个特性的名称和值进行语义映射以获得与每个特性相关联的语义相关词，例如同义词和/或缩写。然后由词干提取器740将选定BIRADS描述符的特性名称和值进行词干提取。词干用作第一类关键词。例如，这里可以使用Porter词干提取器。如愿意，可以执行多次映射及/或词干提取，其中，例如，选定BIRADS描述符的特性名称和值首先经映射器语义映射以找到相关词，然后该词经词干提取器进行词干提取。接下来，将所找到或确定的相关词或语义关联进行词干提取以获得具有经词干提取的语义关联的经词干提取的特性的向量。a.病变的位置通常特征在于象限和钟点位置。使用本体引擎，将左侧乳房的9到12点钟位置映射为左侧乳房的内上象限，而将右侧乳房的9到12点钟位置映射为右侧乳房的外上象限。 b. “肿块”被映射为更一般的概念“病变”，例如，使用UMLS/SN0MED本体来执行这种映射。c.将所有导出的关键词进行词干提取。5.当用户选择可包括多种BIRADS描述符的BIRADS发现时，本系统估算指示每一讨论的每一句与选定BIRADS发现的匹配有多好的数值相关分值。a. 一个直接方式是计算一句话中步骤4导出的词干的出现数量。该数量越大，句子越相关。b.临床上更加相关的方法是根据解释将句子与BIRADS发现相匹配。在该方法中，解释被当作与BIRADS发现相同的BIRADS空间中的特征向量。例如，句子的解释能够以BIRADS发现相同的方式被建模为包括模态、偏侧性、位置、边缘等的特性的向量。为了计算关于BIRADS发现的句子的数值相关分值，将解释向量中的特性匹配到BIRADS发现的特性如果特性的值相同，该属性的匹配分值为I ;否则为O。此外，给特性分配权重对于当前临床语境特性越重要，权重越高。关于BIRADS发现的句子的相关分值是权重与特性匹配分值的乘积和。6.⑶I部件高亮显示具有最高相关分值的(一个或多个)句子。图9示出了⑶I900，其包括并排的BIRADS⑶I 910和先前报告940，其中BIRADS⑶I 910用于选择BIRADS描述符和/或发现，并且先前报告940可以由用户选择或从先前报告自动提取，如上所述。图9示出了⑶I 900，其显示出在从BIRADS⑶I 910选择系统中的(一个或多个)BIRADS发现时，先前文本报告940中的相关文本被高亮显示并挨着当前、参考、第一或结构化研究910并排示出，研究910包括与先前或非结构化报告的高亮显示部分相关联的BIRADS描述符。因而，响应于选择包括诸如模态“US” 950和偏侧性“右侧” 960的BIRADS的选定或提取的描述符的BIRADS发现，自动高亮显示先前文本报告中的相关文本。在图9中，超声“US”图像中病变的BIRADS标注包括于标签“Ml ”965中，并包括描述符菜单列表，例如“病变的解剖学位置”970、“肿块特征”972、“周围组织”974、“钙化”976、“血管分布”978、“测量结果” 980、以及“对该发现的评定” 982。在进行菜单选择时，显示另外的描述符以供用户选择，例如示出针对“病变的解剖学位置”菜单982的另外的描述符，其中提供诸如“偏侦时生”984、“深度”986和“位置”988的描述符以供用户进一步选择描述符，其中“右侧”960选自另外的菜单990。如图9所示，可以以不同的方式高亮显示先前报告940的不同部分。例如，使用主任前景颜色的第一颜色高亮显示具有相同偏侧性的发现，如图9中用框992、994所示，这包括图9中虚线下划线所示的“右侧乳房”，并且使用诸如与第一颜色不同的背景颜色的第二颜色低亮显示超声发现，如图9中用框996所示，这包括图9中虚线下划线所示的“超声”。图10示出了根据本系统实施例的查看系统1000的一部分。例如，本系统的一部分可以包括处理器1010，该处理器操作耦合至存储器1020、显示器1030以及用户输入设备1040。存储器1020可以是用于存储应用数据以及与所描述操作相关的其他数据的任意类型设备。应用数据及其他数据由处理器1010接收以配置(例如，编程)该处理器1010以执行根据本系统的操作动作。如此配置的处理器1010成为特别适用于根据本系统执行的专用机器。 所述操作动作可以包括对内容进行请求、选择、提供和/或再现，例如显示用诸如BIRADS描述符的结构化描述符和/或相关自由文本或非结构化文本报告标注的图像。用户输入1040可以包括键盘、鼠标、轨迹球或包括触敏显示器的其他设备，这些可以独立的或作为系统的一部分，例如作为个人计算机、个人数字助理、移动电话、机顶盒、电视机或用于经由任何可操作链路与处理器1010通信的其他设备的一部分。用户输入设备1040可以用于与处理器1010交互，包括能够在Π内进行交互，如本文所述。显然，处理器1010、存储器1020、显示器1030和/或用户输入设备1040可以全部或部分地作为计算机系统或其他设备的一部分，其他设备例如客户端和/或服务器，如本文所述。本系统的方法特别适合于由计算机软件程序执行，这种程序例如包含与由本系统描述和/或预见的各个步骤或动作这的一个或多个相对应的模块。当然，这种程序可以嵌入到计算机可读介质中，例如集成芯片、外设或存储器，存储器例如为存储器1020或耦合至处理器1010的其他存储器。例如，本系统的各种部件，例如报告分析器、本体引擎、推理及匹配引擎、UI和显示引擎以及解析器、映射器和词干提取器可以是由处理器1010执行的软件模块，和/或配置成执行所期望功能的硬件设备。因而，本系统所期望的部件和模块可以实施为软件；硬件；固件；软件、硬件和/或固件的组合；和/或以其他方式实施。图3-5和图7-8、4所示的模块可以共同位于单一处理单元内。处理器1010可以包括多种处理单元，并且这些处理单元中的一些可以彼此远程定位，其中各种模块可以与其他模块远程定位，而各模块之间的工作通信可以经由一个或多个有线和/或无线通信链路实现。包含于存储器1020中的程序和/或程序部分配置处理器1020以实施本文所述的方法、可操作动作以及功能。存储器例如可以分布于客户端和/或服务器之间，或是本地的，并且其中可以提供附加处理器的处理器1010可以是分布式的或单体的，。所述存储器可以实施为电子、磁性、或光学存储器，或这些的任意组合或者其他类型的存储设备。此外，术语“存储器”应被广义解释为包括能够从由处理器1010可访问的可寻址空间读取或写入到由处理器1010可访问的可寻址空间的任何信息。按此定义，例如，通过网络1250和/或服务器可访问的信息仍在存储器之内，因为处理器1010可以从网络信息以进行根据本系统的操作，例如可驻留在服务器中的各种数据库检索，例如为本体数据库或服务器730、语法规则数据库或服务器840和/或医学本体数据库或服务器860。处理器1010可用于提供控制信号和/或响应于来自用户输入设备1040的输入信号以及响应于网络上其他设备执行操作，并执行存储于存储器1020中的指令。处理器1010可以是(一个或多个)专用集成电路或通用集成电路。此外，处理器1010可以是用于根据本系统执行的专用处理器，或者可以是通用处理器，其中，只有许多功能中的一个操作用于根据本系统执行。处理器1010可以利用程序部分、多种程序片段操作，或者可以是利用专用集成电路或多用途集成电路的硬件设备。尽管本系统已经参考医学系统、例如MAM/US/MRI成像系统进行了描述，但是人们也能预见到，本系统能够扩展到其他成像系统、查看系统、报告系统以及分析系统等等。相应地，本系统可用于自动找到相关自由文本报告并高亮显示与结构化描述符香港的词语和句子，该描述符由用户选择或从标注有这种描述符的图像自动提取，其中并不一个词语的所有出现都被词语高亮显示，而仅仅高亮显示相关出现，如上所述。
本发明的一些附加优点和特征对于研究本公开的本领域技术人员而言是明显的，或者可以由采用本发明的新系统和方法的人想到，首要的例如是在具有结构化和/或结构文本或标注的各种报告之中的更快、更简单且更可靠的相互关联。本领域技术人员确实能够想到本系统的进一步变型，并且权利要求书涵盖了这些变型。通过本系统的操作，自动相互关联与共同图像相关的不同报告，该图像例如为受检查乳房的图像，其中选择所期望的描述符、例如BIRADS描述符自动导致找到相关报告并高亮显示所获得或找到的报告中的相关词语和句子。附加地或可替代地，自动或响应于用户动作(例如“找到”命令)，打开或选择包括描述图像的描述符的报告，和/或打开包括已标注描述符的图像，导致搜索并找到与选定图像或报告相关的相关报告，以及高亮显示在与包括描述符的选定报告相关的所找到报告中的相关词语和句子。当然，应当领会到，根据本系统、设备和方法，上述实施例或过程中的任何一个可与一个或多个其他实施例和/或过程相组合，或分离的，和/或在分立设备或设备部分之中执行。最后，上述讨论仅仅旨在说明本系统和方法，而不应被解释为将权利要求书限制到任何具体实施例或任何具体组实施例。因而，虽然已经参考示范性实施例详细描述了本系统，但是也应领会到，在不脱离如权利要求书所提出的本系统的更宽且意旨的精神和范围的情况下，本领域技术人员可以设计出众多的变型和替代实施例。相应地，说明书和附图应被看作是说明性而并不意在限制权利要求书的范围。在解释权利要求书时，应当理解a)用词“包括”并不排除存在除了给定权利要求中列出的那些以外的元件或动作；b)元件前的词语“一”或“一个”并不排除存在多个这样的元件；c)权利要求书中的任何附图标记并不限制权利要求书的范围；d)若干“模块”可以表示为相同物品或者相同硬件或软件实施的结构或功能；e)所公开的任何元件可以包括硬件部分(例如，包括分离的和集成的电子电路)、软件部分(例如，计算机程序)及其任意组合；f)硬件部分可以包括模拟或数字部分中的一个或两者；
g)所公开的任何设备或其部分可以合并为或分离成另外的部分，除非有特别说明；h)并不旨在要求动作或步骤的具体序列，包括流程图中描绘的动作顺序，除非有特别说明；以及
i)术语“多个”元件包括两个或更多所要求保护的元件，并未暗示任何具体范围或数量的元件；亦即，多个元件可以少如两个元件，并且可以包括很大数量的元件。
权利要求
1.一种用于查看使用选自预定义描述符列表的描述符来描述放射学图像的医学报告的方法，该方法包括如下动作 打开所述医学报告；并且 响应于所述打开的动作，执行如下另外的动作 由处理器搜索与所述医学报告的所述描述符相关的另外的报告；并且高亮显示所述另外的报告中与从所述描述符导出的关键词匹配的词语和句子中的至少一个。
2.根据权利要求I所述的方法，其中，所述搜索的动作包括如下动作 由报告分析器分析所述另外的报告以获得解释； 由本体引擎将所述描述符翻译成所述关键词；并且 由推理及匹配引擎将所述关键词与所述解释进行匹配以识别与所述关键词相匹配的解释。
3.根据权利要求2所述的方法，其中，所述分析的动作包括如下动作 将所述另外的报告分割成区段； 识别所述区段中的句子； 将所述句子中的词语进行分组以形成每一句的分组词； 从所述分组词中确定所述每一句的模态和偏侧性；并且 将所述每一句的所述模态和偏侧性映射为模态词和偏侧性词以获得所述解释。
4.根据权利要求2所述的方法，其中，所述翻译的动作包括如下动作 将所述描述符进行解析以获得与所述描述符相对应的特性列表； 使用访问本体数据库的映射器将每一特性与语义相关词进行关联；并且 提取所述语义相关词的词干以获得所述关键词。
5.根据权利要求I所述的方法，还包括如下动作从通过所述搜索的动作找到的多个报告中选择所述另外的报告。
6.根据权利要求I所述的方法，还包括如下动作将所述医学报告和所述另外的报告与正被高亮显示的所述词语和句子中的至少一个同时显示。
7.根据权利要求I所述的方法，其中，所述打开的动作包括由用户选择所述描述符的动作，并且其中，响应于所述选择的动作执行所述搜索和高亮显示的动作。
8.根据权利要求I所述的方法，其中，响应于所述打开的动作从第一报告中自动提取所述描述符。
9.根据权利要求I所述的方法，其中，所述医学报告包括标注有所述描述符的图像，并且响应于所述打开的动作从所述图像中自动提取所述描述符。
10.根据权利要求I所述的方法，其中，所述描述符为BIRADS描述符。
11.根据权利要求I所述的方法，其中，所述另外的报告包括非结构化文本报告，所述方法还包括如下动作将所述描述符映射到所述文本报告中的发现并且高亮显示该发现。
12.—种计算机程序产品，其包括包括存储于实体计算机可读介质上的非临时性计算机数据，所述计算机程序产品包括被配置成执行权利要求I所述的方法的程序代码。
13.一种报告查看器，包括被配置成执行如下动作的处理器 打开使用选自预定义描述符列表的描述符来描述放射学图像的医学报告；并且响应于所述打开的动作，执行如下另外的动作 搜索与所述医学报告的所述描述符相关的另外的报告；并且 高亮显示所述另外的报告中与从所述描述符导出的关键词匹配的词语或句子中的至少一个。
14.根据权利要求13所述的报告查看器，其中，所述处理器被进一步配置成 分析所述另外的报告以获得解释； 将所述描述符翻译成关键词；并且 将所述关键词与所述解释进行匹配以识别与所述关键词匹配的解释。
15.根据权利要求13所述报告查看器，其中，所述处理器被进一步配置成 将所述另外的报告分割成区段； 识别所述区段中的句子； 将所述句子中的词语进行分组以形成每一句的分组词； 从所述分组词确定所述每一句的模态和偏侧性；并且 将所述每一句的所述模态和偏侧性映射为模态词和偏侧性词以获得所述解释。
16.根据权利要求13所述的报告查看器，其中，所述处理器被进一步配置成 将所述描述符进行解析以获得与所述描述符相对应的特性列表； 使用本体数据库将每个特性与语义相关词进行关联；并且 提取所述语义相关词的词干以获得所述关键词。
17.根据权利要求13所述的报告查看器，其中，所述处理器被进一步配置成将所述医学报告和所述另外的报告与在所述另外的报告中正被高亮显示的所述词语和句子中的至少一个同时显不。
18.根据权利要求13所述的报告查看器，其中，所述处理器被进一步配置成提供用户界面以供用户选择所述描述符，并且响应于所述选择的动作执行所述搜索和所述高亮显示的动作。
19.根据权利要求13所述的报告查看器，其中，所述处理器被进一步配置成响应于所述打开的动作从所述医学报告中自动提取所述描述符。
20.一种报告查看器，包括 本体引擎，其被配置成从医学报告中接收描述符并且将所述描述符翻译成关键词，所述描述符选自一组预定义描述符； 报告分析器，其被配置成分析包括文本的另外的报告以获得所述文本的解释；以及推理及匹配引擎，其被配置成将所述关键词与所述解释进行匹配以识别与所述关键词匹配的一组解释。使用放射学描述符的报告查看器
本系统大体涉及一种报告查看器，具体而言，涉及一种查看使用一组预先确定的放射学描述符的报告的智能报告查看器及其操作方法，放射学描述符例如为BIRADS (乳房成像报告及数据系统)中使用的描述符，称之为医学成像系统中使用的BIRADS描述符。
医师(例如，放射医师和肿瘤医师)正在处理数量不断增加的信息以最优地诊断和治疗患者。例如，癌症患者频繁经受成像检查，随着时间的过去他们在其医疗记录中获得大量研究。在例如使用乳房摄影或超声对乳房进行成像后，放射医师观察(一幅或多幅)图像并使用当前图像和先前报告、用于与当前图像比较的图像或者检查(检验)书写提供关于(一幅或多幅)图像所示乳房健康的意见的报告。亦即，每当医师阅读新的检查(检验)时，他们需要将当前检验与先前的进行比较，以便确定以前识别的病变的进展，并且若有的话，发现新的病变。此任务需要医师阅读、解释并关联图像和/或报告中的发现，包括将当前图像和/或报告与先前图像和/或报告进行比较，这既在工作流程方面费时，又给临床带来了挑战。
已经提出的方案有助于医师更容易地执行此类任务。美国放射医师学院(American College of Radiologists, ACR)已经制定出用于为使用例如乳房摄影的图像定等级的标准，该标准称为BIRADS。BIRADS被设计为使用标准词汇表以结构化方式记载乳腺癌研究。系统已经被开发成使用BIRADS准备乳腺癌患者的放射学报告。
BIRADS被设计为使用标准词汇表以结构化方式记载乳腺癌研究。PhilipsHealthcare 的Integral Breast 产品允许放射医师根据BIRADS在图像上标注病变，并将标注存储在数据库中。下次当放射医师阅读复发患者的研究时，他们能够查看标注有发现的先前图像，而无需阅读整个关联的文本报告。此举显著节省了阅读时间。
图I示出了使用BIRADS标注图像的报告100，该报告包括各种区段，例如患者信息区段110、研究概况区段120、总体结论区段130以及“发现I细节”区段140，“发现I细节”区段140包括BIRADS发现及描述符，描述符例如选自图I右侧所示的GUI 160的菜单和/或列表。患者信息区段110包括患者识别信息和其他相关信息，例如姓名和分配给该患者的ID号；性别、出生日期和该患者的相关病史；以及报告请求者。研究概况区段120示出了具有任何检测到的病变的患者的右侧和左侧乳房的正视图和侧视图的图表122 ;以及图表122上的框124内所示的医师或放射医师的姓名、研究日期和其他扫描信息；以及图表122下方的框126内的其他数据和发现，例如注释为极端稠密的乳房密度。
总体结论区段130包括注释和建议，其中示出了三个框条目，例如，第一框132包括“右侧乳房检测到的大肿块。此外，双乳存在若干钙化。”第二框134包括例如指示为“4A”的“总体BI-RADS评定类别”，其中BI-RADS类别4表明“可能恶性”，“可疑异常”；和/或“非乳腺癌特征，但有相当的可能性为恶性，应考虑活检”。图I所示的总体结论区段130的第三框136可能指示“随诊建议靶向US (超声)，如为阴性，则补做MRI”。
发现I细节区段140包括具有发现类型与肿块信息的框142，例如指示“低可疑度”的BIRADS评定类别4A。框142下方再次示出了乳房图表122，该图表122还包括添加的(一个或多个)标注144。“位置”框146位于图表122下方并包括在图表122中识别的任
全文摘要
一种用于查看使用选自预定义描述符列表的描述符描述放射学图像的医学报告的方法和报告查看器，包括如下动作打开所述医学报告；并且响应于所述打开的动作，搜索与所述医学报告的描述符相关的另外的报告，并且高亮显示所述另外的报告中与从所述描述符导出的关键词相关的词语和/句子。所述医学报告和所述另外的报告可以与正被高亮显示的所述词语和/或句子同时显示。所述另外的报告可以包括非结构化文本报告，并且所述方法还包括将所述描述符映射到所述文本报告中的发现，并高亮显示所述发现。
文档编号G06F19/00GK102844761SQ201180019530
公开日2012年12月26日 申请日期2011年3月29日 优先权日2010年4月19日
发明者钱悦晨, M·塞芬斯特, G·R·伊斯内尔 申请人:皇家飞利浦电子股份有限公司