用于物理活检标记物检测的实时AI的制作方法

用于物理活检标记物检测的实时ai
1.相关申请的交叉引用
2.本技术于2021年2月19日被作为pct国际专利申请提交，并要求于2020年2月21日提交的序列号为62/979851的美国临时专利申请的优先权的权益，该美国临时专利申请的全部公开内容通过引用完全并入本文。


背景技术：

3.在乳房活检期间，可将物理活检部位标记物部署到一个或多个患者乳房中。如果包括标记物的乳房组织的病理在之后被确定是恶性的，则经常为患者建议手术途径。在针对手术途径的咨询期间，医疗专业人员尝试使用超声设备来定位标记物。出于一个或多个原因，医疗专业人员经常不能够定位所部署的标记物。因此，可能需要实施额外的成像，或可能需要在患者乳房中部署额外的标记物。
4.本文所公开的方面正是针对上述和其它整体考虑而做出的。而且，尽管可能讨论相对具体的问题，但应理解示例不应限于解决在本公开的“背景技术”中或其它地方指明的具体问题。


技术实现要素：

5.本公开的示例描述用于实施用于物理活检标记物检测的实时人工智能(ai)的系统和方法。在一些方面，可使用针对一个或多个活检部位标记物的物理特征来训练超声系统的ai部件。经过训练的ai可被配置为识别所部署的标记物。当将关于所部署的标记物的特征的信息输入超声系统中时，经过训练的ai可处理所接收的信息，以创建该标记物的一个或多个估计的图像或识别该标记物的回声属性。在包括所部署的标记物的部位的超声期间，ai可使用该估计的图像和/或识别到的属性来检测所部署的标记物的形状和位置。
6.本公开的方面提供一种系统，该系统包括：至少一个处理器；以及，耦合到所述至少一个处理器的存储器，该存储器包括计算机可执行指令，所述计算机可执行指令在被所述至少一个处理器执行时实施下述方法，该方法包括：接收针对一个或多个活检标记物的第一数据组；使用第一数据组来训练人工智能(ai)模型；接收针对所部署的活检标记物的第二数据组；将第二数据组提供给经过训练的ai模型；以及，使用该经过训练的ai模型来基于第二数据组实时识别所部署的活检标记物。
7.本公开的方面还提供一种方法，该方法包括：由成像系统接收针对活检标记物的第一数据组，其中该第一数据组包括该活检标记物的形状描述和针对该活检标记物的标识符；将第一数据组提供给与该成像系统关联的人工智能(ai)部件，其中第一数据组被用来训练该ai部件在活检标记物被部署在部署部位时检测该活检标记物；由成像系统接收针对活检标记物的第二数据组，其中该第二数据组包括活检标记物的形状描述或针对活检标记物的标识符中的至少一个；将该第二数据组提供给ai部件；由成像系统接收部署部位的图像组；以及，基于第二数据组，使用ai部件来在部署部位的图像组中实时识别活检标记物。
8.本公开的方面还提供一种计算机可读介质，其存储计算机可执行指令，所述计算
机可执行指令在被执行时使得计算系统实施下述方法，该方法包括：由成像系统接收针对活检标记物的特征，其中所述特征包括以下中的至少两个：活检标记物的形状描述、活检标记物的图像或针对活检标记物的标识符；将接收到的特征提供给与该成像系统关联的人工智能(ai)部件，其中训练该ai部件在活检标记物被部署在部署部位时检测活检标记物；由成像系统接收该部署部位的一个或多个图像；将该一个或多个图像提供给ai部件；由ai部件将该一个或多个图像与接收到的特征进行比较；以及，基于该比较，由ai部件在部署部位的一个或多个图像中实时识别活检标记物。
9.本“发明内容”是为了以简化的形式介绍在“具体实施方式”中进一步描述的概念的选集而提供的。本“发明内容”部分并非旨在指明所要求保护的主题的关键特征或必要特征，也不旨在被用来限制所要求保护的主题的范围。示例另外的方面、特征和/或优点一部分在下文说明中陈述，一部分也从本说明书中显而易见，或是可通过实践本公开而得知。
附图说明
10.非限制性且非详尽的示例是参照以下附图描述的。
11.图1示出用于实施如本文中所述的用于物理活检标记物检测的实时ai的一个示例系统的概图。
12.图2示出用于实施如本文中所述的用于物理活检标记物检测的实时ai的一个示例图像处理系统的概图。
13.图3示出用于实施如本文中所述的用于物理活检标记物检测的实时ai的一个示例方法。
14.图4示出其中可实施本实施例中的一个或多个的适宜操作环境的一个示例。
具体实施方式
15.医学成像已成为一种广泛使用的工具，以用于识别和诊断人体内例如癌症或其它疾病的异常情况。比如乳腺x射线摄影和断层摄影的医学成像方法是对乳房成像以筛查或诊断乳房内的癌症或其它病变的特别有用的工具。断层摄影系统是允许基于有限角度断层摄影的高分辨率乳房成像的乳腺x射线摄影系统。断层摄影通常产生贯穿乳房整个厚度的乳房的不同断层或切片中的每个的多个x射线图像。与传统的二维(2d)乳腺x射线摄影系统相比，断层摄影系统获得一系列x射线投影图像，每个投影图像均在x射线源沿着在乳房上方的路径(比如圆弧)移动时在不同的角位移处获得。与常规的计算机断层扫描(ct)相比，断层摄影通常基于在乳房周围x射线源的有限角位移处获得的投影图像。断层摄影减少或消除了由2d乳腺x射线摄影成像中存在的组织重叠和结构噪声引起的问题。超声成像是另一种用于对乳房成像的特别有用的工具。与2d乳腺x射线摄影图像、乳房ct和乳房断层摄影相比，乳房超声成像不会给患者输送有害的x射线辐射剂量。而且，超声成像能够通过手动、徒手或自动扫描来收集2d和3d图像，产生主要或补充的乳房组织和病变的信息。
16.在某些情况下，当在乳房内识别到异常时，可能会进行乳房活检。在乳房活检期间，医疗专业人员(例如技术人员、放射科医生、医生、执业医师、外科医生等)可能会将活检部位标记物部署到乳房中。如果包含标记物的乳房的乳房组织病理在之后被确定是恶性的，则经常为患者建议手术途径。在手术途径咨询期间，医疗专业人员可能尝试确认之前的
医疗专业人员的已有诊断/建议。该确认可能包括尝试使用成像设备(例如超声设备)来定位标记物。由于一个或多个原因，医疗专业人员经常不能定位所部署的标记物。例如，所部署的标记物可能提供较差的超声可见性。作为另一示例，医疗专业人员的超声设备的质量可能不足以充分检测和/或显示标记物。作为又一示例，医疗专业人员可能并不精于解读超声图像。当所部署的标记物不能被医疗专业人员定位时，可能需要进行额外的成像，或者可能需要在患者的乳房中部署额外的标记物。在这两种情况下，患者的用户体验都会受到严重且不利的影响。
17.在其它示例中，之前已做过其中部署了标记物的活检的患者可能返回以进行后续成像，包括在超声下的后续筛查和诊断成像。在随后的筛查中，医疗专业人员可能尝试确认之前的异常已经进行了活检。该确认可能包括尝试使用成像设备(例如超声设备)来定位标记物。由于与上文类似的原因，医疗专业人员可能不能定位所部署的标记物。因此，可能需要额外的成像，或者可能为患者安排不必要的程序。
18.为了解决关于不能检测的所部署的标记物的问题，本公开描述了用于实施用于物理活检标记物检测的实时人工智能(ai)的系统和方法。在一些方面中，可从多个数据源收集针对一个或多个活检部位标记物的第一特征组。数据源的示例可包括网络服务、数据库、平面文件等。第一标记物特征组可包括但不限于：形状和/或尺寸、纹理、类型、制造商、表面反射、编号、材料或构成属性、频率特性、品牌或型号(或其它标记物标识符)、密度和/或韧性属性。第一标记物特征组可以作为输入提供给ai模型。如本文中所使用的“ai模型”可指称预测性或统计性的实用程序或程序，其可被用来确定一个或多个字符序列、类、对象、结果集或事件上的概率分布，和/或从一个或多个预测因子预测响应值。ai模型可以基于或合并一个或多个规则集、机器学习、神经网络、增强学习等。第一标记物特征组可被用来训练ai模型在一个或多个医学成像模态中识别图案和物体，比如活检部位标记物。
19.在一些方面，经过训练的ai模型可以接收针对部署/置入在患者乳房中的活检部位标记物的第二标记物特征组。第二标记物特征组可以包括或涉及第一特征组中的特征的一个或多个(例如形状和/或尺寸、纹理、类型、制造商、表面反射、编号、材料或构成属性等)。第二标记物特征组还可以包括不在第一特征组中的信息，例如新的或失效的标记物、最佳图像数据可视化的指示标识等。第二标记物特征组可以从比如医疗专业报告或笔记、病历或其它医院信息系统(his)数据的数据源接收或收集。经过训练的ai模型可以评估第二特征组，以确定第二特征组与第一特征组之间的相似性或相关性。该评估例如可以包括识别标记物的形状、识别或获取识别到的标记物型号的2d/3d图像或标识符、使用标记物的2d图像来构建标记物的3d图像/模型、生成如部署在环境中的标记物的图像、估计标记物和/或环境的反射属性(例如声波阻抗、标记物的回声反射性、组织的回声反射性等)、识别针对标记物的估计频率范围等。基于该评估，经过训练的ai模型可以生成包括在该评估期间所识别/生成的信息的输出。在一些方面，可以将该输出的至少一部分提供给用户。例如，经过训练的ai模型可以访问与活检程序(例如活检日期、放射科医生姓名、置入位置等)和/或标记物(例如，形状、标记物标识符、材料等)有关的信息。所访问的信息的至少一部分可不包括在第二标记物特征组中。基于所访问的信息，经过训练的ai模型可以输出(或使得输出)包含所访问的信息的综合报告。
20.在一些方面，在评估第二标记物特征组之后，可以使用与ai模型相关联的成像设
备来对对应于第二标记物特征组的标记物的标记物部署部位成像。对标记物部署部位成像可以生成一个或多个图像或视频，和/或与该成像相关的数据(例如成像设备的设置、患者数据等)。通过成像设备收集的图像和数据可以由ai模型实时(在成像期间)评估。评估可以包括将成像设备所收集的图像和数据与ai模型针对第二标记物特征组生成的输出进行比较。当确定成像设备的数据与ai模型的输出之间的匹配时，可以识别所部署的标记物的位置。在至少一个方面，ai模型在使用图像设备对标记物部署部位成像之前可能没有接收或评估第二标记物特征组。在这样的方面，ai模型可基于第一标记物特征组实时评估成像设备所收集的图像和数据。
21.在一些方面，当确定匹配时，ai模型可以使得生成所部署的标记物的一个或多个图像。该一个或多个图像可包括标记物已被识别的指示标识。该指示标识的示例可包括在所显示的图像中突出显示识别到的标记物或改变其颜色、播放音频剪辑或替代的声音信号、显示指向识别到的标记物的箭头、圈出识别到的标记物、提供匹配可信度值、提供触觉反馈等。图像还可包括与所部署的标记物相关联的补充信息，比如标记物的尺寸或形状、标记物的类型或制造商、标记物检测的可信度等级和/或患者或检查程序的数据。该补充信息可以使用例如图像叠加或内容混合技术来在图像中呈现。
22.因此，本公开提供了多种技术益处，包括但不限于：增强活检标记物的检测、使用实时ai系统来分析医学图像、基于物体形状增强回声物体的可见性、生成标记物和/或包括该标记物的环境的3d模型、生成识别到的标记物的实时指示标识和减少对额外成像和标记物放置的需求等。
23.图1示出用于实施如本文所述的用于物理活检标记物检测的实时ai的一个示例系统的概图。所图示的示例系统100是相互依赖的部件的组合，这些部件交互以形成用于自动化临床诊断工作流程决策的集成系统。该系统的部件可以是硬件部件(例如用来执行/运行操作系统(os))，或在该系统的硬件部件上实施和/或由该系统的硬件部件执行的软件部件(例如应用程序、应用程序编程接口(api)、模块、虚拟机、运行时库等)。在一个例子中，示例系统100可以为软件部件提供环境以便软件部件运行、遵守为操作设置的约束条件和利用系统100的资源或设施。例如，软件可以在比如个人计算机(pc)、移动设备(例如智能设备、移动电话、平板电脑、笔记本电脑、个人数字助理(pda)等)和/或任何其它电子设备的处理设备上运行。作为处理设备操作环境的一个例子，可参照图4中描绘的示例操作环境。在其它示例中，本文公开的系统的部件可分布在多个设备上。例如，可以在客户端设备上输入输入的信息，并且可以使用网络中的其它设备(例如一个或多个服务器设备)来处理或访问信息。
24.作为一个示例，系统100可以包括图像处理系统102、一个或多个数据源104、网络106和图像处理系统108。本领域技术人员会理解比如系统100的系统的规模可以变化，并且可包括比图1中所描述的更多或更少的部件。例如，在一些例子中，图像处理系统102和一个或多个数据源104的功能和部件可被集成到单个处理系统中。替代地，图像处理系统102和/或图像处理系统108的功能和部件可分布在多个系统和设备上。
25.图像处理系统102可被配置为提供针对一种或多种成像模态(比如超声、ct、磁共振成像(mri)、x射线、正电子发射扫描(pet)等)的成像。图像处理系统102的例子可包括医学成像系统/设备(例如x射线设备、超声设备等)、医学工作站(例如图像采集工作站、图像
检查工作站等)等。在一些方面，图像处理系统102可从比如一个或多个数据源104的第一数据源接收或收集针对一个或多个活检部位标记物的第一特征组。第一数据源可表示一个或多个数据源，并且可经由比如网络106的网络访问。第一特征组可包括比如标记物的形状、尺寸、纹理、类型、制造商、编号、材料、构成、密度、厚度、韧性、频率特征和反射率等特征。在至少一个例子中，可接收或收集多个特征组。在这样的例子中，每个特征组可对应于活检部位标记物的不同部分或层。一个或多个数据源104可包括本地和远程源，比如网络搜索实用程序、基于网络的数据储存库、本地数据储存库、平面文件等。在一些例子中，一个或多个数据源还可包括由用户手动提供的数据/知识。例如，用户可访问用户界面来将活检部位标记物的特征手动输入到图像处理系统102中。图像处理系统102可将第一特征组提供给图像处理系统102所包括的或可访问的一个或多个ai模型或算法(未示出)。第一特征组可被用来训练ai模型检测所部署的标记物。
26.在一些方面，图像处理系统102可接收或收集针对所部署的活检部位标记物的第二特征组。例如，该活检部位标记物可能已由医疗专业人员部署在医疗患者的乳房中。第二特征组可例如包括第一特征组中的一个或多个特征，并且可从第二数据源收集。第二数据源可表示一个或多个数据源，并且可经由比如网络106的网络访问。第二数据源的例子可包括放射诊断报告、病历或其它his数据。图像处理系统102可提供第二特征组给经过训练的ai模型。经过训练的ai模型可以评估第二特征组，以便识别活检部位标记物的形状、名称、标识符、材料或构成，或者以便从不同角度和视角构建活检部位标记物或活检部位标记物环境的一个或多个图像。此外，经过训练的ai模型可评估第二特征组，以便估计活检部位标记物和/或环境的共振频率值或反射属性。基于该评估，经过训练的ai模型可生成输出，该输出包含在该评估期间所识别/生成的信息。例如，该输出可以是包括表示活检部位标记物的不同视角的图像组的数据结构。
27.在一些方面，图像处理系统102可包括用于生成针对一种或多种成像模态的图像数据的硬件(未示出)。该硬件可包括被配置为识别、收集和/或分析图像数据的图像分析模块。例如，该硬件可被用来生成针对活检标记物部署部位的实时患者图像数据。在其它方面，图像处理系统102可通信地连接(或可连接)到比如图像处理系统108的图像分析设备/系统。该图像分析设备/系统可在图像处理系统102的计算环境的内部或外部。例如，
28.如关于图像处理系统102所描述的一样，图像处理系统108可被配置为提供针对一种或多种成像模态的成像。图像处理系统108还可包括经过训练的ai模型，或被配置为执行经过训练的ai模型的至少一部分功能。在一些方面，图像处理系统108可在图像处理系统102的计算环境的内部或外部。例如，图像处理系统102和图像处理系统108可共同位于相同的医疗环境(例如医院、影像中心、外科中心、诊所、医务室)中。替代地，图像处理系统102和图像处理系统108可位于不同的计算环境中。该不同的计算环境可能位于或可能不位于分开的地理位置。当不同的计算环境位于分开的地理位置时，图像处理系统102和图像处理系统108可以经由网络106通信。图像处理系统108的例子可至少包括关于图像处理系统102讨论的那些设备。作为一个例子，图像处理系统108可以是连接到图像处理系统102并被配置为生成实时多模态的患者影像数据(例如超声、ct、mri、x射线、pet)的多模态工作站。该多模态工作站还可被配置为执行对部署的活检部位标记物的实时检测。由图像处理系统102识别/收集的图像数据可被传输或导出到图像处理系统108以供分析、呈现或操作处理。
29.图像处理系统102和/或图像处理系统108的硬件可被配置为与经过训练的ai模型通信和/或交互。例如，可以将患者图像数据提供给经过训练的ai模型或供其访问。在访问患者图像数据时，ai系统可实时评估患者图像数据，以促进对所部署的标记物的检测。该评估可包括使用一种或多种匹配算法，并且可提供视觉、听觉或触觉反馈。在一些方面，所描述的评估方法可以使医疗专业人员能够快速准确地定位所部署的标记物，同时最小化对部署部位的额外成像和部署额外的标记物。
30.图2示出用于实施如本文所述的用于物理活检标记物检测的实时ai的示例图像处理系统200的概图。由图像处理系统200实施的活检标记物检测技术可包括图1中描述的标记物检测技术和内容的至少一部分。在替代示例中，包括多个计算设备(每个都包括比如处理器和/或存储器的部件)的分布式系统可分别执行系统100和200中描述的技术。关于图2，图像处理系统200可包括用户界面202、ai模型204和成像硬件206。
31.用户界面202可被配置为接收和/或显示数据。在一些方面，用户界面202可从一个或多个用户或数据源接收数据。数据可以作为自动化过程的一部分和/或作为手动过程的一部分来接收。例如，用户界面202可响应于每日数据传输脚本的执行而从一个或多个数据储存库接收数据，或者经批准的用户可手动将数据输入到用户界面202中。数据可能与一个或多个活检标记物的特征有关。示例标记物特征包括标识符、形状、尺寸、纹理、类型、制造商、编号、材料、构成、密度、韧性、频率特征、反射率、生产日期、质量等级等。用户界面202可提供用于查看、操作和/或存储接收到的数据的功能。例如，用户界面202可以使用户能够对接收到的数据进行分组和分类，或者将接收到的数据与之前接收到的/历史的数据进行比较。用户界面202还可提供用于使用数据来训练比如ai模型204的ai系统或算法的功能。该功能可包括加载操作用于处理数据和/或提供数据作为ai系统或算法的输入。
32.ai模型204可被配置为(或是可配置为)检测所部署的活检标记物。在一些方面，ai模型204可能够访问由用户界面202接收的数据。在访问数据时，可以使用一种或多种训练技术将访问的数据应用于ai模型204。这样的训练技术对于本领域技术人员来说是已知的。将访问的数据应用于ai模型204可以训练ai模型204来在提供了一个或多个标记物特征作为输入时提供一个或多个输出。在一些方面，经过训练的ai模型204可以通过用户界面22接收附加数据。该附加数据可以与具体活检标记物的特征有关。在一些例子中，具体活检标记物的特征可能已经在用来训练ai模型204的数据中表示了。在这样的例子中，经过训练的ai模型204可使用具体活检标记物的一个或多个特征来生成一个或多个输出。该输出可例如包括具体活检标记物的形状、具体活检标记物的2d影像、具体活检标记物的3d模型、具体活检标记物的反射属性或具体活检标记物的共振频率。
33.成像硬件206可被配置为收集患者图像数据。在一些方面，成像硬件206可表示用于收集针对患者的一个或多个图像和/或图像数据的硬件。成像硬件206可包括被配置为识别、收集和/或分析图像数据的图像分析模块。替代地，成像硬件206可与被配置为识别、收集和/或分析图像数据的图像分析设备/系统通信。成像硬件206可将所识别/收集的图像数据传输给图像分析设备/系统以供分析、呈现和/或操作处理。成像硬件206的例子可包括医学成像探测器，比如超声探测器、x射线探测器等。成像硬件206可被用来确定部署在患者体内的活检标记物的位置。在一些例子中，成像硬件206可生成实时患者图像数据。该实时患者图像数据可被提供给ai模型204或可供其访问。在一些方面，成像硬件206还可被配置为
提供已检测到活检标记物的指示标识。例如，成像硬件206可包括为用户(例如医疗专业人员)提供视觉、听觉和/或触觉反馈的软件。当ai模型204在成像硬件206收集图像数据期间检测到活检标记物时，ai模型204可以给成像硬件206传输命令或指令组。该命令/指令组可以使硬件为用户提供视觉、听觉和/或触觉反馈。例如，可通过增强图像将标记物的视觉指示标识显示给用户。在该增强图像中，可使用一种或多种失真技术(aliasing techniques)来增强标记物的可见性。例如，在增强图像中，标记物可能看起来更亮或更白，可能以不同的颜色出现，或者可能看起来轮廓被标出。替代地，增强图像可包括表示标记物的2d或3d符号。例如，可以显示标记物的3d表现物。该3d表现物可包括标记物和/或标记物的周围环境。该3d表现物可被配置为由用户操作(例如旋转、倾斜、放大/缩小等)。在至少一个例子中，视觉指示标识可包括与标记物相关联的附加信息，比如标记物属性(例如标识符、尺寸、形状、制造商)、标记物检测的可信度分数或概率(例如指示检测到的物体有多接近地匹配已知标记物)或患者数据(例如患者标识符、标记物置入日期、过程笔记等)。可例如使用一种或多种图像叠加或内容混合技术来在增强图像中呈现附加信息。
34.已描述了可以由本文公开的方面采用的不同系统，本公开现在将描述可由本公开的不同方面执行的一种或多种方法。在一些方面，方法300可由示例系统执行，比如图1的系统100或图2的图像处理系统200。在一些例子中，方法300可以在包括被配置为存储和执行操作、程序或指令的至少一个处理器的这样的设备上执行。然而，方法300不限于这样的例子。在其它例子中，方法300可以在应用程序或服务上执行以实施用于物理活检标记物检测的实时ai。在至少一个例子中，方法300可以由比如网络服务/分布式网络服务(例如云服务)的分布式网络的一个或多个部件执行(例如计算机实施的操作)。
35.图3示出用于实施如本文所述的用于物理活检标记物检测的实时ai的一个示例方法300。示例方法300起始于操作302，在该操作中接收包括针对一个或多个活检部位标记物的特征的第一数据组。在一些方面，可从一个或多个数据源(比如一个或多个数据源104)收集与一个或多个活检部位标记物有关的数据。该数据可包括标记物识别信息(例如产品名称、产品标识符或序列号等)、标记物属性信息(例如形状、尺寸、材料、纹理、类型、制造商、反射率、编号、构成、频率特征等)、标记物图像数据(例如标记物的一个或多个图像)和补充的标记物信息(例如生产日期、召回或咨询通知、最佳或兼容的成像设备等)。例如，可从生产和/或部署标记物的不同公司收集针对多个活检部位标记物的数据。可以将该数据聚合和/或组织成单个数据组。在一些方面，可以自动、手动或以自动和手动的某种组合形式来收集数据。例如，医疗专业人员(例如，放射科医师、外科医生或其他医师，技术人员、执业医师，或按其指示行事的人)可访问能够访问标记物数据的标记物应用程序或服务。该医疗专业人员可以手动识别，和/或请求包括针对标记物供应商的选集的标记物数据的数据组。替代地，标记物应用程序或服务可以将标记物数据作为预定计划(例如根据每晚或每周脚本)的一部分自动传输给医疗专业人员(或与其相关联的系统/设备)。
36.在操作304中，用第一数据组来训练ai模型。在一些方面，可将从数据源收集的第一数据组提供给数据处理系统，比如图像处理系统200。数据处理系统可包括或能够访问一个或多个机器学习模型，比如ai模型204。数据处理系统可将第一数据组提供给机器学习模型之一。使用第一数据组，可训练机器学习模型将标记物识别信息(和/或上文所述的补充的标记物信息)与对应的标记物属性信息进行关联。例如，可训练机器学习模型基于标记物
的名称、标记物的标识符或标记物形状的标签/名称来识别标记物的形状(例如，“q”标记物可以指形状类似于“q”的标记物)。在一些方面，训练机器学习模型可以包括获取或构建针对标记物的一个或多个2d图像或3d模型。例如，第一数据组可包括标记物的2d图像。基于该2d图像，机器学习模型可采用图像构建技术从不同视角/角度构建标记物的额外2d图像。所构建的2d图像可被用来构建标记物和/或标记物的周围环境的3d模型。所构建的图像和模型数据可由机器学习模型和/或数据处理系统存储。在至少一个例子中，存储图像/模型数据可包括将标记物的图像/模型数据和对应的标记物标识符添加到数据存储(比如数据库)。
37.在步骤306中，接收包括针对活检部位标记物的特征的第二数据组。在一些方面，可从比如放射诊断报告、病历或医疗专业人员的个人知识等一个或多个数据源收集关于具体活检部位标记物的数据。该具体活检部位标记物可被部署在患者的活检部位(或任何其它部位)，比如患者的乳房中。在一些方面，标记物数据可包括包括在第一数据组中的数据或关于第一数据组中的数据的数据(例如标记物识别信息、标记物属性信息、标记物图像数据等)。例如，第二数据组中的标记物数据可以是形状识别符“螺旋开瓶器形”。作为另一例子，第二数据组中的标记物数据可以是产品代码(例如351220)。作为又一例子，第二数据组中的标记物数据可以是针对活检部位标记物的材料或构成的频率特性。
38.在其它方面，该标记物数据可包括不包括在第一数据组中的数据，或不用来训练ai模型的数据。例如，标记物数据可对应于新释放或已失效的标记物，或由未在第一数据组中提供的标记物生产商创建的标记物。此外，标记物数据可能就是不正确的(例如，错误录入或错误施加给该标记物)。作为另一例子，标记物数据可包括图像数据的优化或增强可视化的指示标识。例如，可施加视觉、听觉或触觉的注释或指示标识给图像数据，以指示用于查看所部署的标记物的优化可视化。该优化可视化可提供一致的光密度/信噪比和推荐用于查看所部署的标记物的扫描平面或角度。该优化可视化的指示标识可辅助医疗专业人员在解读成像数据(比如超声图像、x射线图像等)的同时定位和查看所部署的标记物。
39.在操作308中，将第二数据组作为输入提供给ai模型。在一些方面，可将标记物数据的第二数据组提供给数据处理系统。数据处理系统可将第二数据组提供给经过训练的机器学习模型，比如在操作304中描述的机器学习模型。经过训练的机器学习模型可评估第二数据组的标记物数据，以识别对应于由标记物数据指示的标记物的信息。例如，第二数据组中的标记物数据可以是形状标识符“螺旋开瓶器形”。基于该标记物数据，经过训练的机器学习模型可确定对应于“螺旋开瓶器形”标记物的一个或多个图像。确定图像可包括实施在例如本地数据存储中查找“螺旋开瓶器形”这个术语和接收对应图像。替代地，确定图像可包括生成针对“螺旋开瓶器形”标记物的一个或多个期望的图像。例如，基于“螺旋开瓶器形”标记物的图像，经过训练的机器学习模型可构建标记物的形状和部署位置的估计的图像。作为另一例子，第二数据组中的标记物数据可以是针对由镍钛诺构成的标记物的频率特性。基于该标记物数据，经过训练的机器学习模型可确定当使用具体成像模态(例如超声、x射线、ct等)检测到镍钛诺物体时期待识别的频率范围。
40.在一些方面，该标记物数据可包括经过训练的机器学习模型并未在其上训练过的数据。例如，经过训练的机器学习模型可能没有将形状标识符“螺旋开瓶器形”与经过训练的机器学习模型已知的任何数据进行关联。在这样的例子中，经过训练的机器学习模型可
接合使用比如“螺旋开瓶器形”、“标记物”和/或“图像”等术语的一个或多个搜索实用程序、基于网络的搜索引擎或用于搜索数据源(在数据处理系统的内部或外部)的远程服务。在识别针对“螺旋开瓶器形”标记物的一个或多个图像时，经过训练的机器学习模型可使用该图像作为输入来进一步训练该经过训练的机器学习模型。
41.在操作310中，可基于第二数据组识别所部署的活检部位标记物。在一些方面，数据处理系统可包括(或能够访问)成像设备，比如成像硬件206。成像设备可被用来收集针对活检部位标记物的部署位置的图像数据和/或视频数据。例如，数据处理系统可包括超声传感器(探测器)和对应的超声图像收集和处理软件。由于超声传感器围绕患者的乳房上方(例如活检部位标记物的部署位置)扫过，超声软件实时收集声波图像。在一些方面，可将收集到的图像数据和/或视频数据的至少一部分提供给经过训练的机器学习模型。经过训练的机器学习模型可针对第二数据组评估该图像/视频数据。例如，从以上例子继续，随着图像的收集，可将声波图像提供给经过训练的机器学习模型。替代地，经过训练的机器学习模型可以与数据处理系统集成，以使得随着声像图像的收集进行，经过训练的机器学习模型可访问声波图像。使用图像比较算法，经过训练的机器学习模型可实时地将声波图像中的一个或多个与对应于第二数据组中的数据的图像(例如“螺旋开瓶器形”标记物的图像，如由经过训练的机器学习模型在操作308中识别的那样)进行比较。
42.在一些方面，经过训练的机器学习模型可识别所收集的图像数据和/或视频数据与第二数据组之间是否匹配。基于该匹配，可以提供匹配的指示标识。例如，在确定针对第二数据组的图像中的至少一个与声波图像数据之间的匹配时，经过训练的机器学习模型或数据处理系统可提供该匹配的指示标识。该匹配的指示标识可通知成像设备的用户已识别到所部署的活检标记物。该指示标识的例子可包括但不限于在声波图像数据中突出显示识别到的标记物或改变其颜色、播放音频剪辑或替代的声音信号、在声波图像数据中显示指向识别到的标记物的箭头、在声波图像数据中圈出识别到的标记物、提供指示针对第二数据组的存储图像与声波图像数据之间的相似度的匹配可信度值、通过成像设备提供触觉反馈等。
43.图4示出用于实施如图1中所述的用于物理活检标记物的检测的实时ai的一个示例性适宜操作环境。在其最基本的配置中，操作环境400通常包括至少一个处理单元402和存储器404。取决于计算设备的确切配置和类型，存储器404(存储指令以执行本文公开的x技术)可以是易失性的(比如ram)、非易失性的(比如rom、闪存等)或这两者的某种组合。该最基本的配置在图4中由虚线406示出。此外，环境400还可包括存储设备(可移动存储设备408和/或不可移动的存储设备410)，该存储设备包括但不限于磁盘或光盘或卡带。类似地，环境400还可具有一个或多个输入设备414，比如键盘、鼠标、笔、语音输入装置等，和/或具有一个或多个输出设备416，比如显示器、扬声器、打印机等。在该环境中还可包括一个或多个通信连接412，比如lan、wan、点对点等。在一些实施例中，这些连接可以是可操作的，以促进点对点通信、面向连接的通信、无连接通信等。
44.操作环境400通常至少包括某种形式的计算机可读介质。计算机可读介质可以是处理单元402或包括操作环境的其它设备可访问的任何可用介质。作为举例而非限制，计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质包括在用于存储比如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术中实施的易失性和
非易失性、可移动和不可移动的介质。计算机存储介质包括：ram、rom、eeprom、闪存或其它存储技术；cd-rom、数字通用光盘(dvd)或其它光学存储装置；盒式磁带、卡式磁带、磁盘存储或其它磁性存储装置；或可被用来存储所期望信息的任何其它非暂态介质。计算机存储介质不包括通信介质。
45.通信介质在比如载波或其它传输机制的调制数据信号中体现为计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。术语“调制数据信号”指在其特征中可设置或改变一个或多个特征以对信号中的信息编码的这样的信号。作为举例而非限制，通信介质包括比如有线网络或直接有线连接等有线介质，以及比如声学、rf、红外线、微波和其它无线介质的无线介质。上述中的任意项目的组合也应包括在计算机可读介质的范围内。
46.操作环境400可以是在使用与一个或多个远程计算机的逻辑连接的联网环境中操作的单个计算机或设备。作为一个具体例子，操作环境400可以是诊断或成像推车、架或手推车。远程计算机可以是个人计算机、服务器、路由器、网络pc、对等设备或其它共享网络节点，并且通常包括上述中的许多或全部以及并未提及的其它设备。逻辑连接可包括可用通信介质支持的任何方式。这样的联网环境在办公室、企业级计算机网络、内联网和互联网中十分常见。
47.可以使用软件、硬件或软件和硬件的组合来采用本文描述的实施例，以实施和执行本文中公开的系统和方法。尽管在整个公开内容中已经将具体设备引述为执行具体功能，但是本领域技术人员理解这些设备是出于示例性目的而提供的，并且可以采用其它设备来执行本文中公开的功能而不背离本公开的范围。
48.本公开参照附图描述了本技术的一些实施例，在附图中仅示出了一些可行的实施例。然而，其它方面可以以许多不同的形式来实施，而不应被解释为限于在此阐述的实施例。相反，提供这些实施例是为了使本公开详细和完整，并且向本领域技术人员充分传达可行实施例的范围。
49.尽管在本文中描述了具体实施例，但本技术的范围不限于这些具体实施例。本领域技术人员会认识到在本技术的范围和精神内的其它实施例或改进。因此，具体结构、行为或介质仅作为示例性实施例而公开。本技术的范围由所附权利要求和其中的任何等同来限定。