用于中间解剖的系统和方法与流程

本主题公开涉及用于医疗诊断的成像。更特别地，本主题公开涉及使用参考图像的组织标本的自动化显微解剖（中间解剖）。

背景技术：

在分析诸如组织切片、血液、细胞培养等的生物标本时，将生物标本安装在载片上，用着色剂和生物标记的一个或多个组合进行着色，并观察所得出的分析物（assay）或对所得出的分析物成像以用于进一步分析。观察分析物使得能够实现各种过程，包括疾病诊断、对治疗的反应的评估以及抵御疾病的新药品的开发。分析物包括结合到抗体的一个或多个着色剂，所述抗体联结到蛋白质、蛋白质片段或标本中的其它感兴趣对象。在着色之后，可以对分析物成像以便进一步分析组织标本的内容。另外，可以将来自同一组织块的所述组织标本的相邻切片安装在第二载玻片上，此后将其称为研磨载片，并且可以解剖感兴趣的特定区域以用于进一步分析。例如，解剖安装在载片上的肿瘤样本通常用于富集癌细胞，以便在随后的生物化学表征时生成更好的信噪比。许多临床实验室出于实践原因并且为了避免激光显微解剖系统的开支和困难而利用手动解剖。不幸的是，手动方法经常缺乏分辨率和过程文档资料。

现存的安装在载片上的组织中间解剖系统（诸如由avanscibio（rtm）制造的那些（详见http://avansci-bio.com/uploads/cdp-08_mesodissection_system_flyer_rev_1.pdf））提供了比手动方法更好的精度，同时还提供了数字图像指导和电子过程文档资料。中间解剖系统可以包括微组织研磨，其采用专用的一次性研磨刀头，其同时分发液体、从安装在载片上的组织表面切割组织并将液体与被移位的组织片段一起抽出。中间解剖仪器还包括光学成像系统组件——其具有用以保持各组织载片的移动的x-y载台，其中各组织载片中的一个（通常是h&e载片）被加载到载台上并对其成像以便用户描画注释的轮廓。该载片称为参考载片。要解剖的组织载片（因此称为研磨载片）也被加载到载台上，并对其进行实况图像捕捉以用于组织提取。这些中间解剖系统还可以提供软件接口以用于使得能够实现感兴趣区域的注释以及在参考的图像和对应于连续切割的组织切片的研磨载片之间手动转移注释，从而使得能够进一步指导解剖和生成过程的电子记录。

虽然现存的中间解剖系统比手动解剖方法更有效且更适用于解剖病理学样本的生物标记分析，但是它们仍然在创建用于当在参考载片上概述的注释被通过手动交互的图像对齐和注释映射程序映射到研磨载片时的研磨的注释的领域中有所不足，并且该系统不具有将注释从多个参考载片转移的能力，这导致了在用被以其它形式的组织讹误了的原始数据来刮去组织相对于仅从在生物上特定的区获得组织期间的不准确性，并且还不具有在从输入载片到已研磨输出组织以及其任何进一步分析的工作流过程的全部组成部分期间准确地跟踪生物标本的能力。

技术实现要素：

本主题公开通过提供用于生物标本和组织载片的中间解剖的系统、计算机实现的方法和临床工作流程而解决了上面识别出的问题，所述工作流程包括导入一个或多个具有注释的参考载片，使用标记间配准算法来将所述注释自动映射到研磨载片的图像，以及从在所述研磨载片中所选择的区域来解剖所注释的组织用于分析，同时并行地使用诸如条形码之类的唯一标识符跟踪所述载片、数据和分析。

在一个示例性实施例中，本主题公开提供了一种用于中间解剖的系统或仪器，其包括：处理器；以及被耦合到所述处理器的存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令当被所述处理器执行时促使所述处理器实行包括以下的操作：导入参考图像连同一个或多个注释，其中所述参考图像是从在全载片扫描器上扫描的参考载片数字化而来的，并且其中所述注释是使用被耦合到所述全载片扫描器的全载片查看器接口生成的，以及将所述一个或多个注释自动配准到要研磨的组织标本载片的实况捕捉上，其中基于所述一个或多个注释来解剖从所述组织标本载片提取的组织，从而得到研磨的组织样本。

根据该实施例，所述操作还可以包括基于所述一个或多个注释生成研磨注释。所述操作还可以包括导入多个已注释的参考图像。所述研磨注释还可以是基于对应于所述多个已注释的参考图像的多个注释的任何组合而生成的。所述操作还可以包括将所述研磨注释反向映射到所述已注释的参考图像。当所述参考载片被以不同于所述组织标本载片的方式着色时，所述配准可以使用标记间配准。当所述参考载片被以与所述组织标本载片相同的着色剂着色时或者当所述参考载片被用作所述组织标本载片时，所述配准可以使用同标记配准。所述一个或多个注释可以包括描绘一个或多个感兴趣区的任何几何表示的一个或多个组合。所述参考图像可以具有与所述实况捕捉不同的分辨率。所述仪器还可以包括跟踪部件，用于将所述一个或多个注释与所述研磨的组织样本相关联。所述操作还可以包括将所述一个或多个注释和所述研磨的组织样本与生物标本相关联。所述关联可以包括使用标本水平处的唯一标识符以及附加地针对每个组织载片。所述操作还可以包括提供用户接口以调用自动化配准算法、注释的逻辑操纵以及在所述实况图像上调整所述一个或多个注释的所述配准。

在另一示例性实施例中，本主题公开提供了一种用以存储计算机可读代码的有形的非暂时性计算机可读介质，所述计算机可读代码被处理器执行以实行包括以下的操作：基于多个参考注释生成用于研磨组织标本的研磨注释，以及使用所述研磨注释来研磨所述组织标本，其中所述研磨注释是基于在外部全载片扫描器上生成的注释到所述组织标本的实况捕捉上的自动配准生成的。所述有形非暂时性计算机可读介质可以用在如上所述的用于中间解剖的仪器中。

在又一示例性实施例中，本主题公开提供了一种用以存储计算机可读代码的有形非暂时性计算机可读介质，所述计算机可读代码被处理器执行以实行包括以下的操作：自动配准多个参考注释与要解剖的组织样本的实况捕捉的图像，其中所述多个参考注释是从全载片扫描器导入的，以及基于所述自动配准的结果来生成研磨注释以用于所述组织样本的解剖。所述有形非暂时性计算机可读介质可以用在如上所述的用于中间解剖的仪器中。

在又一示例性实施例中，本主题公开提供由所述系统执行的方法。因此，关于系统和计算机可读介质公开的特征应被相应地理解为关于方法被公开。

附图说明

图1描绘根据本主题公开的示例性实施例的用于使用中间解剖进行组织分析的工作流程的主模块。

图2描绘根据本主题公开的示例性实施例的用于自动化中间解剖的系统。

图3描绘根据本主题公开的示例性实施例的用于自动化中间解剖的方法。

图4a-4b描绘根据本主题公开的示例性实施例的被跟踪且与电子病历（epr）相关联的组织和信息。

具体实施方式

本主题公开提供了用于生物标本和组织载片的中间解剖的仪器或系统、计算机实现的方法和临床工作流程，其包括导入一个或多个具有注释的参考载片，使用标记间配准算法来将所述注释自动映射到研磨载片的图像，以及从在所述研磨载片中选择的区域来解剖所注释的组织单独地或共同地用于分析，同时并行地使用诸如条形码之类的唯一标识符跟踪数据和分析。通过以电子方式将在研磨载片上执行的注释与从研磨载片提取的研磨组织相关联来使得能够实现跟踪，并且如本文中进一步描述的那样。

图1描绘用于使用中间解剖进行组织分析的工作流程100的主模块。工作流程100可以利用多个子系统来执行诸如用于临床数字病理学的工作流程的操作。例如，工作流程100可以包括成像子系统101，其用于生成一个或多个分析物的图像。成像子系统101可以包括数字显微镜或具有成像组件的全载片扫描器，并且可以取决于所生成的图像的类型。例如，样本可能借助于应用包含与用于亮视野成像的显色着色剂或用于荧光成像的荧光团相关联的一个或多个不同生物标记的着色分析物而已被着色，成像子系统101包括亮视野rgb相机或其它捕捉机构或荧光成像系统中的一个或多个。成像子系统101还可以生成对应于组织块的连续切片的多个图像，所述组织块诸如为了诊断癌症的目的或出于某其它目的而取得的活组织。每个连续切片可以安装在单独的载片上并用着色剂和生物标记的不同组合来着色，从而得到描绘相邻组织切片的多个图像。一个这样的图像可以是苏木精和伊红（h&e）分析结果。成像子系统101还可以包括被附连到如本文中进一步描述的研磨子系统105的相机。

系统100还可以包括注释子系统103以用于使得能够选择从成像子系统101获取的图像的各部分（诸如感兴趣区域或对象）的注释。可以在例如参考载片图像（诸如h&e载片）上执行注释，以便在h&e载片上指示感兴趣区域用于随后的扫描、分析或配准操作。注释可以自动地执行，即通过诸如通过使用图像分析操作基于来自病理学家的输入来检测感兴趣区，或者注释可以通过提供经由用户接口向病理学家或其它用户描绘从成像子系统101获取的一个或多个图像的用户接口来实现。例如，注释子系统103可以与成像子系统101集成以形成数字病理学工作站，诸如当今商业上可用的那些。

可以调用配准子系统105来将这些注释配准或映射到相邻组织切片的载片。例如，可以调用配准子系统105以将注释从参考载片图像（诸如h&e载片）转移到研磨载片的图像（例如，在中间解剖系统上捕捉的研磨载片的实况图像），使得从研磨载片中解剖在h&e载片上注释的感兴趣区域用于进一步分析。配准操作可以包括跨利用着色剂和标记的不同组合跨分析物来配准或转移注释的能力，包括将任何着色的载片的图像配准到未着色的载片的能力。参考共同受让且共同未决的欧洲专利申请wo2014140070a2进一步描述了这样的同标记和标记间配准和注释方法，藉此将所述申请的内容通过引用整体地并入到本文中。所并入的专利申请的相关部分描述了一种计算机化的图像配准过程，其包括从单个患者的相邻组织切片的一组数字图像中选择第一组织切片的第一数字图像，从该组中选择第二组织切片的第二数字图像，匹配所述第一数字图像与所述第二数字图像之间的组织结构，以及自动地将所述第一数字图像上的绘制的注释映射到所述第二数字图像。所述第一数字图像可以导出自使用一着色剂和成像模式获得的图像，并且所述第二数字图像可以导出自使用相比于所述第一数字图像的不同着色剂、不同成像模式或二者都不同而获得的图像。所述着色剂可以选自苏木精和伊红着色剂（h&e着色剂）、免疫组织化学着色剂（“ihc”着色剂）或荧光着色剂。所述成像模式可以选自亮视野显微术或荧光显微术。匹配的组织结构可以包括粗略配准模式，其包括：从所述第一数字图像生成第一灰度级组织前景图像以及从所述第二数字图像生成第二灰度级组织前景图像，从所述第一灰度级组织前景图像计算第一组织二值边缘图以及从所述第二灰度级组织前景图像计算第二组织二值边缘图，计算全局变换参数以对齐所述第一二值边缘图和所述第二二值边缘图，以及，基于所述全局变换参数将所述第一数字图像和所述第二数字图像映射到涵盖所述第一和第二数字图像二者的共同的大网格。计算全局变换参数还可以包括使用基于时刻的映射方法来生成所述第一二值边缘图与所述第二二值边缘图之间的仿射映射。可以使用精细配准模式来细化所述第一数字图像和所述第二数字图像的对齐。所述精细配准模式包括：注释所述第一数字图像，将所述共同大网格上的所述注释映射到所述第二数字图像中的对应位置，以及基于所述二值组织边缘图使用倒角距离匹配来更新所述位置。可以使用所述组织边缘二值图的裁剪版，并且所述方法还可以包括选择相对于粗略模式配准改进了匹配的最小成本窗口。

由配准子系统105执行的另一示例性配准方法包括基于线的配准操作，包括用线段对在载片中反映出的组织样本的边界区进行建模，然后在组织样本之间（即，在载片图像之间）匹配线段集以获得总体全局变换（即粗略匹配）。在一些实施例中，基于线的粗略匹配方法甚至能够在图像之间不匹配的情况下（例如，磨损效应，当由用于高分辨率扫描的扫描器拾取的物理载片的区域在相邻切片之间变化、旋转多达190度并且水平竖直翻转时可能发生的感兴趣区域不匹配），诸如当在两个图像之间大于50%的线可能匹配时对齐图像。在另外的实施例中，可以执行涉及到在梯度量值图像上进行的归一化的、基于相关的块匹配的附加的更精细的子图像配准过程以计算全局对齐的图像之间的局部细化。参考共同受让且共同未决的美国专利申请61/885024进一步描述了该配准方法，藉此将所述申请的内容通过引用整体地并入到本文中。

上面详述的配准方法具有配准已着色（h&e、ihc等）或未着色的载片的一般能力。可以使用任何其它配准方法，只要其跨具有不同着色剂的图像以使得能够基于已注释的参考载片实现感兴趣区域的精确研磨或使得能够实现已着色和未着色载片的配准的方式提供注释的自动化映射，包括将已着色组织载片配准到未着色组织载片的能力。一般地，本主题公开还提供扫描高分辨率参考载片并将其导入到现存中间解剖系统中的能力，从而改进从高分辨率参考载片向用于研磨载片的研磨注释转移注释的能力。

研磨子系统107用于基于上述注释研磨或解剖组织载片的各部分。在共同受让且共同未决的专利申请wo2012102779a2描述了示例性研磨子系统，藉此将所述申请的内容通过引用整体地并入到本文中。概括来说，该参考文献公开了用于选择性地从样本中提取材料的设备、系统和相关联的方法，其中在一个方面中，例如，一种用于选择性地从样本（诸如生物样本）中提取材料（诸如生物材料）的方法可以包括识别要从样本中提取的材料区，对所述材料区应用提取工具以使材料从所述样本分裂，以及在所述材料区处分发液体。该方法还可以包括从所述样本抽出所述液体和所分裂的材料。

可以使用如本文中描述的中间解剖系统来执行该研磨。中间解剖系统可以包括诸如组织载片之类的被附着到能够实现受控的x和y轴移动的载台（即，x-y载台）的对象，使得其可以相对于固定的旋转切割刀头被驱动，从而对所述对象塑形。塑料研磨刀头可以同时分发液体、切割组织并将组织碎片从载玻片的表面抽出。因为组织相比于玻璃相对较软，因此可以使用受弹簧压力控制的系统使得刀片停留在载片表面上以足够的向下力来切割通过组织而滑过载玻片。从载玻片研磨组织还提供将数字显微镜或相机置于载片下方以便查看过程、引导解剖和生成数字文档资料的机会。研磨子系统107可以包括提供接口来以数字方式指示aoi并保存解剖参考图像的软件。然而现有技术的中间解剖系统仅导入标准格式（诸如.jpg、.png、.bmp等）的解剖参考图像来提供用于单个参考图像到来自连续组织切片（研磨载片）的实况视图的手动指导的对齐的接口以使得能够实现感兴趣区域的转移以覆盖实况图像并指导解剖，本主题公开使用同标记或标记间配准算法提供了从参考载片的图像到研磨载片的实况捕捉的注释的自动化映射以使得能够实现更精确的解剖。自动化配准和映射过程还使得有可能容易地将注释从多个参考图像转移。此外，将注释和配准操作与研磨子系统合并使得能够实现可以解剖的更大范围的组织载片，而不像仅公开了解剖未着色组织的现有技术那样。例如，不同类型的已着色分析物可以经受使用参考载片注释的中间解剖，并且针对每个分析物，可以在解剖之前移除分析物的盖玻片，而不像仅解剖来自尚未附着盖玻片的未着色载片的组织的现存系统那样。

最后，分析子系统109对已研磨组织切片执行分析。这可以是任何类型的分析，诸如用于临床和研究目的的分子（pcr、qtpcr等）和/或基因序列分析。可以使用将注释与从其制备参考载片和研磨载片的组织样本或块相链接的跟踪机构来跟踪分析结果，并对组织载片、已研磨的组织和已研磨的组织容器进行预图像分析或图像后分析和解释，关联这些与正分析的生物标本，以及将分析结果添加到与生物标本相关联的数据库，如参考图4进一步描述的那样。

图2描绘根据本主题公开的示例性实施例的用于自动化中间解剖的系统200。系统200包括存储器210，其存储由被耦合到计算机216的处理器215执行的多个处理模块或逻辑指令。来自成像或输入模块201的输入可以触发所述多个处理模块中的一个或多个的执行。成像/输入模块201可以包括成像子系统（诸如参考图1描述的子系统101），或者可以包括用户输入以及通过网络从网络服务器或数据库提供的输入以用于存储并稍后由计算机216检索。除了处理器215和存储器210之外，计算机216还包括用户输入和输出设备，诸如键盘、鼠标、触笔和显示器/触摸屏。如在以下讨论中将解释的，处理器215执行存储在存储器210上的逻辑指令，从而使用注释/参考导入模块211实行从成像/输入模块201导入参考图像和注释，使用配准和映射模块212将注释从一个或多个参考图像转移或映射到经受解剖的组织切片的图像，使用研磨模块213基于所述注释来中间解剖组织样本的研磨载片，以及使用跟踪模块214来执行跟踪从参考信息的导入到研磨组织到标签容器中以用于分析的输出的过程的每个步骤。

从成像/输入201接收的数据或“输入数据”包括一个或多个参考图像。可以以由用户指定的任何放大水平来扫描参考图像，并且参考图像可以从任何类型的生物特征来描绘，诸如h&e或任何其它ihc、ish、细胞学（小便器、血液涂片薄制备、风干、触摸制备、细胞块）ctc和/或感兴趣的血液学载片。输入数据还可以包括用于导入图像的注释。注释可以在被输入到系统200中之前在外部数字病理学工作站上生成。例如，注释可以在全载片图像管理系统（诸如virtuoso（rtm）或scanscope（rtm））上生成为.xml文件或者被生成为从服务器或从来自网络服务器的数据存储导入的以json或二进制数据或与模块211和212兼容的任何文本格式的形式的注释数据，并被注释/参考导入模块211接收。注释可以使用用于检测和/或分割（一个或多个）参考图像内的感兴趣区域的图像分析算法来生成。注释可以描绘在其处特定的生物标记表达或特定的一组生物标记表达较高的临床相关区（诸如免疫区、肿瘤区或肿瘤子区）。注释可以是肿瘤的完整区或子区，或者任何其它在生物上有意义的非肿瘤组成，诸如淋巴区、异质区、ihc标记子类型区等。自动化图像分析算法可以检测期望的组织类型，诸如h&e载片中的肿瘤、淋巴区等，或者ihc已着色载片中的高标记表达的热点，比如任何肿瘤、免疫或血管标记肿瘤标记、免疫标记等。

除了参考图像和注释之外，经由成像/输入模块201接收的输入数据还可以包括关于目标组织类型或对象以及对着色和/或成像平台的识别的信息。输入信息还可以包括那些特定抗体分子以及多少特定抗体分子联结到组织上的特定的联结地点或目标（诸如特定免疫细胞的肿瘤标记或生物标记）。输入到系统200中的附加信息可以包括与着色平台相关的任何信息，包括在着色中使用的化学品的浓度、在着色中应用于组织的化学品的反应时间和/或组织的预分析条件，诸如组织年龄、固定方法、持续时间、如何嵌入、切割样本等等。

注释/参考导入模块211接收参考图像和注释并将其准备用于经由配准和映射模块212配准和/或映射到研磨载片的实况图像。研磨载片可以是意图被解剖的组织载片。例如，注释可以被导入为.xml文件，或者xml和图像文件的任何组合，以使得能够将注释转译成使得能够将注释映射到研磨载片的图像的格式。注释数据可以包括关于多边形、矩形、圆形或椭圆形、随手绘制的、标签区掩盖、以及注释轮廓（包括和排除感兴趣的区或区域）的任何几何信息。可以导入来自多个参考图像的注释，以使得能够从研磨载片解剖多个感兴趣区域。可以导入以不同放大率和分辨率绘制的注释。例如，可以导入在高分辨率（20x或40x）图像上绘制的注释以改进研磨质量。还可以在系统200自身内通过例如使用如上所述的自动化图像分析算法来生成注释。可以手动地生成、通过其它图像分析算法自动地生成或者手动和算法混合地生成参考载片上的注释。类似地，被发送用于在研磨载片上研磨的注释可以是a）从参考载片映射的、b）用户绘制的、以及c）由图像分析算法自动生成的注释的任何组合。此外，输入高分辨率参考载片、其相关联的注释以及将它们导入到现存的中间解剖系统中的能力使得能够实现将所导入的和在中间解剖系统注释上对它们进行的任何手动或自动化的编辑配准或映射到所获取的研磨载片的实况图像，从而以适用于研磨载片的分辨率生成研磨注释。

跟踪模块214跟踪与组织块和组织载片相关联的任何信息（比如来自实验室信息系统（lims）的患者信息，关于生物标本的临床或研究学习信息，着色平台和着色协议信息，数字扫描信息）、导入的参考图像和对应的注释、与由研磨模块213执行的特定研磨操作相关联的研磨载片图像和特定研磨注释、从不同的已注释区单独地或共同地收集已研磨组织的已研磨组织容器、以及单独地或者组合地对其进行的分子和基因序列分析以及相关联的报告，如关于图4进一步地描述的那样。在研磨之前，配准和映射模块212将来自每个参考载片的注释映射到研磨载片的实况图像。该自动化配准可以使用本文中描述并在上文中并入的参考文献中的标记间或同标记配准方法中的一个或多个。例如，如果参考载片和研磨载片是相同载片或具有相同的着色剂类型则使用同标记配准方法。导入参考图像和注释消除了对将参考载片加载到现存中间解剖系统的成像平台的需要。可以从外部系统仅导入图像数据和注释。此外，来自以不同方式着色的参考载片的注释的通用导入使得一旦移除了盖玻片就不仅能够中间解剖未着色的组织载片，还能够中间解剖已着色的组织载片。在本主题公开的一些实施例中，被用作参考图像的相同组织也可以用于研磨目的。附加地，导入多个参考图像以及它们的注释的能力使得能够实现从多个参考图像到单个或多个研磨载片的注释的映射以用于组织解剖。例如，在给定了来自一患者的其中可以单独地数字化和注释多个单独的生物标记载片（诸如h&e、er、pr、her2、ish等）的组织块的情况下，可以导入这些图像和相关联的注释的任何期望的组合并将它们自动配准和映射到研磨载片的图像。除了将来自参考图像的注释映射到研磨载片图像之外，配准和映射模块212还可以提供接口以在研磨之前微调或调整注释。

研磨模块213通过遵循从（一个或多个）参考图像映射到研磨载片的实况图像的注释来对研磨载片执行解剖。研磨载片的实况图像可以由与研磨模块213通信的另一成像设备（未示出）来捕捉。研磨模块213还可以确定针对研磨的必要度量，包括基于注释确定研磨载片上的最佳研磨路径，以及确定所需移液管的直径和要对打算用于解剖的组织分发的流体的最佳体积。该基于生成自参考注释的配准和映射的研磨注释的自动化研磨降低了技术人员或人类操作者手动地注释研磨载片图像的负担。此外，为了使得能够实现灵活的功能性且出于不同目的，研磨模块213可以调用配准/映射模块212来将研磨注释（即，从已研磨载片中解剖的区）反向映射到参考载片。可以清楚地指示这些已研磨区并将其以图形方式覆盖在参考图像中的每一个上。所映射的已研磨注释可以用于辅助选择用于组织分析的附加区或注释用于进一步研磨的更多区。可以通过将已研磨注释存储到存储器210并检索和反向配准到已使用的参考载片或者用于来自相邻连续切片的任何其它附加组织载片的组来使得能够实现这样的反向映射。在实况图像上、从而在中间解剖系统的相机（即，用于捕捉研磨载片的实况图像的同一相机）坐标系中、与最初用于生成参考图像的相机坐标系对照地指定研磨注释。在研磨过程之前或在其期间对研磨注释执行的任何调整都可以被反向配准到（一个或多个）原始参考载片。因此改进了跨平台的注释和配准。此外，正研磨的载片可以与用于生成参考图像的载片相同，从而使得能够将来自研磨的注释更新回到参考图像注释，从而使得能够实现在参考图像上的更准确的注释。为了将来自研磨图像的研磨注释反向映射到参考图像中的每一个，可以调用本文中描述的自动化配准操作。已研磨图像和已研磨注释也是所跟踪的信息的一部分。

如上所述，模块包括由处理器105执行的逻辑。如本文中使用且遍及本公开的“逻辑”指的是具有可以被应用以影响处理器的操作的指令信号和/或数据的形式的任何信息。软件是此类逻辑的一个示例。处理器的示例是计算机处理器（处理单元）、微处理器、数字信号处理器、控制器和微控制器等。逻辑可以由存储在计算机可读介质（诸如存储器210）上的信号形成，所述计算机可读介质在示例性实施例中可以是随机存取存储器（ram）、只读存储器（rom）、可擦/电可擦可编程只读存储器（eprom/eeprom）、闪速存储器等。逻辑还可以包括数字和/或模拟硬件电路，例如，包括逻辑和、或、异或、与非、或非和其它逻辑操作的硬件电路。逻辑可以由软件和硬件的组合形成。在网络上，逻辑可以被编程在服务器或服务器复合体上。特定的逻辑单元不限于网络上的单个逻辑位置。此外，所述模块不需要以任何特定顺序来执行。每个模块可以在需要被执行时调用另一模块。

图3描绘根据本主题公开的示例性实施例的用于自动化中间解剖的方法。图3的方法可以由图2中描绘的模块的任何组合或者任何其它模块组合来执行。不需要以所示的特定顺序来执行在该方法中列出的步骤。该方法可以自以下各项的任何组合的输入s301开始：由病理学家给出的生物问题/询问的诊断、启用跟踪的患者或生物标本信息以及与该组织标本（组织块、患者异种移植物等）相关联的组织切片的已注释（或未注释）的参考图像。可以以由病理学家指定的任何放大水平来扫描参考图像，并且参考图像可以从任何类型的生物特征来描绘，诸如h&e或任何其它ihc、ish、细胞学（小便器、血液涂片薄制备、风干、触摸制备、细胞块）ctc和/或感兴趣的血液学载片。输入数据还可以包括用于参考图像的注释。

导入（s302）输入参考图像的注释。注释可以在被导入之前已在外部数字病理学工作站上生成。注释可以使用用于检测和/或分割（一个或多个）参考图像内的感兴趣区域的图像分析算法来生成。注释可以描绘在其处特定的生物标记表达较高的临床相关区（诸如免疫或肿瘤区）。注释可以是肿瘤的完整区或子区，或者任何其它在生物上有意义的非肿瘤组成，诸如淋巴区、异质区、ihc标记子类型区等。自动化图像分析算法可以检测期望的组织类型，诸如h&e载片中的肿瘤、淋巴区等，或者ihc已着色载片中的高标记表达的热点，比如任何肿瘤、免疫或血管标记肿瘤标记、免疫标记等。可以准备注释以将其配准和/或映射到研磨载片的实况图像。例如，注释可以被导入为.xml文件，或者xml和图像文件的任何组合，以使得能够将注释转译成使得能够将注释映射到研磨载片的图像的格式。

可以导入来自多个参考图像的注释，以使得能够从研磨载片解剖多个感兴趣区域。例如，用于研磨的注释可以从在一个或多个参考载片上指定的注释的排列或组合来生成。研磨注释可以是用户指定的、组织类型特定的以及问题特定的——即，被生成以回答在特定组织类型（诸如乳腺癌、肺癌、前列腺癌、结直肠癌等）中的特定的生物问题（比如肿瘤异质性、ihc4、免疫得分、肿瘤区分析、肿瘤周围区分析、肿瘤微环境评估等）。例如，如果共同表达分析是重要的，则在标记参考载片中的每一个上指定单独的标记注释。在这种情况下，用以指示用于共同表达分析的特定区域的研磨注释是来自多个单独的载片注释的这些注释的逻辑交集。类似地，如果生物兴趣是包括来自全部标记的全部的已注释区，那么研磨注释是单独的（一个或多个）参考载片注释的逻辑并集。例如，对于乳腺癌患者，典型的连续ihc载片包括h&e载片、er标记的载片、kr和pr标记的载片、ki-67标记的载片和her2标记的载片，每一个都具有针对其相应标记的表达的分离的注释。例如，在h&e载片中可以注释肿瘤和淋巴区。病理学家或生物学家可能对er阳性和pr阴性或者全部标记都为pr阳性和ki-67阴性的区或者用于分析的区的任何逻辑组合感兴趣。可以指定这些条件的多种组合以便自动生成研磨注释。在另一示例中，在给定了与组织块相关联的h&e载片、brafv600e着色的ihc载片的相邻的连续切片和pten着色的ihc载片的相邻的连续切片以及要识别在其中有brafv600e表达而没有pten表达的区的面积的生物问题的情况下，该方法可以分别识别（来自brafv600e载片的）brafv600e表达区和（来自pten载片的）pten非表达区，并且识别其中这些区域重叠在h&e载片上的区。所得出的研磨注释将会包括在h&e载片上的要中间解剖的这些重叠区域。可以指定肿瘤标记的任何组合或表达（诸如阳性/阴性）的组合以进一步理解组织标本的肿瘤环境。因此，如由潜在的生物问题所指示的，可以使用注释的若干逻辑排列和组合来构建该组研磨注释。研磨注释是由研磨系统用来将来自研磨载片中的每一个的组织提取到如本文中进一步描述的指定的组织容器中的研磨注释。此外，与参考载片一起导入并用于生成研磨注释的以较高的放大水平绘制的注释确保了以最小的原始数据（研磨组织）讹误来执行较高质量的研磨操作以用于分析。

研磨载片被设置在研磨载台或平台上，并且使用被耦合到该研磨载台或平台的相机314来对其成像（s303）。研磨图像通常为实况捕捉。研磨载片可以是未着色或已着色的任何组织载片，并且可以与用于生成参考图像中的一个或多个的组织载片相同。在步骤s302中导入的注释可以被配准（s304）并映射到研磨载片的实况图像。该自动化配准可以使用本文中描述并在上文中并入的参考文献中的标记间或同标记配准方法中的一个或多个。例如，如果参考载片和研磨载片是相同载片或具有相同的着色剂类型则使用同标记配准方法。此外，来自以不同方式着色的参考载片的注释的通用导入使得一旦移除了盖玻片就不仅能够中间解剖未着色的组织载片，还能够中间解剖已着色的组织载片。在本主题公开的一些实施例中，被用作参考图像的相同组织也可以用于研磨目的。此外，导入多个参考图像以及它们的注释的能力使得能够实现从多个参考图像到单个或多个研磨载片的注释映射以用于组织解剖。例如，在给定了来自一患者的其中可以单独地数字化和注释多个单独的生物标记载片（诸如h&e、er、pr、her2、ish等）的组织块的情况下，可以导入这些图像和相关联的注释的任何期望的组合并将它们自动配准和映射到研磨载片的图像。除了将来自参考图像的注释映射到研磨载片图像之外，还可以提供接口以在研磨之前微调或调整注释。

可以准备（s305）容器以接收来自研磨操作的已研磨组织。该容器可以被标记有对于诊断中的生物标本的记录来说唯一的标识符，从而使得能够跟踪已研磨组织以及已研磨组织与特定注释和参考载片的关联。这确保了每个导入的参考图像和注释都正确地与特定的研磨操作和所得出的已研磨组织相关联，其全部都可以与电子病历相关联。可以基于研磨注释使用基于研磨注释的诸如研磨载片上的最佳研磨路径或所需移液管直径和针对打算用于解剖的组织要分发的液体的最佳体积之类的度量来解剖（s306）研磨载片。如上所述，可以使用输入注释的若干逻辑排列和组合来构建由研磨操作（s306）用来钻孔并将来自研磨载片的组织提取到指定的组织容器或一组组织容器中的该组研磨注释。经解剖的组织可以被研磨到以与特定的注释相关联的方式标记的特定容器中以确保组织和其相关联的分析的正确跟踪。

对研磨载片执行的研磨操作的任何组合可以被转换成注释并被反向映射到（s307）参考载片中的一个或多个。例如，来自第一参考载片的注释可以用于研磨该研磨载片，并且可以将相同注释反向映射到第二参考载片或到同一参考载片。可以研磨来自多个参考载片的注释的组合并随后将其反向映射到单个参考载片。经更新的参考载片注释可以用于辅助选择用于组织分析的附加区或注释用于进一步研磨的更多区。可以通过跟踪和存储已研磨注释并检索和反向配准到已使用的参考载片或者用于来自相邻连续切片的任何其它附加组织载片的组来使得能够实现这样的反向映射。该方法结束（s309）于卸载具有已研磨组织的被跟踪的容器。

图4a描绘根据本主题公开的示例性实施例的被跟踪且与电子病历（epr）相关联的信息。如本文中描述的，患者数据和信息可以通过对上述工作流的每个组成加条形码（或使用等价的唯一标记系统）并将其记录在epr440中来跟踪。例如，参考载片和其对应的注释441与epr440相关联。与参考载片441对应于相同连续切片的研磨载片442也与epr440相关联。重要的是，使用相同的条形码或如相关联的一组条形码来跟踪用于接收来自研磨载片442的已研磨组织的容器443，并且该已研磨组织的任何得出的分析数据444也用相同的条形码来跟踪。因此，单个epr440维持使用本文中描述的准确的注释配准和研磨操作增强了的全部分析和过程信息。图4b描绘出所提取或解剖的组织样本的加了条形码的容器。虽然本文中描述了条形码，但是可以使用用于跟踪和/或加标签的其它方法，诸如rfid等。

因此，所公开的操作缓解了现有研磨系统上的冗长的手动注释抄写，同时避免了基于组织特定的分析数据的混合或讹误而产生的错误，从而使得整个系统在预临床和临床设置中以及在药物开发和药物开发实验研究中的大容量使用中可稳健地操作。此外，除了诸如解剖或临床病理学、蔓延/肺癌诊断等之类的医疗应用之外，也可以执行相同的方法以分析其它类型的样本，诸如地质学或天文学数据的远程感测等。本文中公开的操作可以被导入到硬件图形处理单元（gpu）中，以使得能够实现多线程的并行实现。

计算机通常包括已知组件，诸如处理器、操作系统、系统存储器、存储器存储设备、输入输出控制器、输入输出设备以及显示设备。相关领域的普通技术人员还将理解的是，有许多可能的计算机配置和组件，并且还可以包括高速缓冲存储器、数据备份单元以及许多其它设备。输入设备的示例包括键盘、光标控制设备（例如，鼠标）、麦克风、扫描器等。输出设备的示例包括显示设备（例如，监控器或投影器）、扬声器、打印机、网卡等。显示设备可以包括提供视觉信息的显示设备，该信息通常可以在逻辑上和/或物理上被组织为像素阵列。也可以包括接口控制器，其可以包括各种已知的或未来的用于提供输入和输出接口的软件程序中的任何。例如，接口可以包括一般称为“图形用户接口”（通常称为gui）的向用户提供一个或多个图形表现的接口。通常启用接口以接受使用相关领域普通技术人员已知的输入或选择部件的用户输入。接口还可以是触摸屏设备。在相同或替换实施例中，在计算机上的应用可以采用包括称为“命令行接口”（通常称为cli）的接口。cli通常提供应用和用户之间的基于文本的交互。通常，命令行接口通过显示设备作为文本行来呈现输出并接收输入。例如，一些实现可以包括称为“壳（shell）”的接口，诸如相关领域普通技术人员已知的unixshell或采用面向对象型编程架构（诸如微软.net框架）的微软windowspowershell。

相关领域普通技术人员将领会到的是，接口可以包括一个或多个gui、cli或其组合。处理器可以包括商业上可得到的处理器，诸如由英特尔公司制造的赛扬、酷睿或奔腾处理器，由sun微系统制造的sparc处理器，由amd公司制造的速龙、闪龙或皓龙处理器，或者其可以是现在可得到或将来可得到的其它处理器中的一个。处理器的一些实施例可以包括称为多核处理器和/或被启用以在单个或多个核心配置中采用并行处理技术的处理器。例如，多核架构通常包括两个或更多个处理器“执行核心”。在本示例中，每个执行核心可以作为启用多线程并行执行的独立的处理器来实行。此外，相关领域普通技术人员将领会的是，处理器可以被配置成通常称为32或64位架构的处理器，或者现在已知或在将来可能开发的其它架构配置。

处理器通常执行操作系统，其可以例如是来自微软公司的windows型操作系统；来自苹果计算机公司的maxosx操作系统；可从许多销售商或称为开源的提供者得到的unix或linux型操作系统；另一或未来的操作系统；或其某组合。操作系统以公知方式与固件和硬件对接，并促进处理器协调并执行可以以各种编程语言编写的各种计算机程序的功能。操作系统通常与处理器合作来协调并执行计算机的其它组件的功能。操作系统还提供调度、输入输出控制、文档和数据管理、存储器管理以及通信控制和相关服务，这些全部都根据已知技术。

系统存储器可以包括各种已知的或未来的存储器存储设备中的任何，其可以用于存储期望的信息并且可以由计算机访问。计算机可读存储介质可以包括以任何方法或技术实现的用于存储信息（诸如计算机可读指令、数据结构、程序模块或其它数据）的易失性和非易失性、可移动和不可移动介质。示例包括任何通常可用的随机存取存储器（ram）、只读存储器（rom）、电可擦可编程只读存储器（eeprom）、数字通用盘（dvd）、磁性介质（诸如常驻硬盘或带）、光学介质（诸如读和写紧凑盘）或其它存储器存储设备。存储器存储设备可以包括各种已知或未来设备中的任何，包括紧凑盘驱动、磁带驱动、可移动硬盘驱动、usb或闪驱或软盘驱动。此类存储器存储设备通常从程序存储介质（诸如相应地，紧凑盘、磁带、可移动硬盘、usb或闪驱或软盘）读取和/或向其写入。这些程序存储介质或现在使用中或稍后可能开发的其它程序存储介质中的任何可以被视为计算机程序产品。如将领会到的，这些程序存储设备通常存储计算机软件程序和/或数据。计算机软件程序（也称为计算机控制逻辑）通常被存储在连同程序存储设备一起使用的系统存储器和/或与存储器存储设备中。在一些实施例中，计算机程序产品被描述成包括具有存储于其中的控制逻辑（计算机软件程序，包括程序代码）的计算机可用介质。所述控制逻辑当由处理器执行时促使处理器实行本文中描述的功能。在其它实施例中，主要使用例如硬件状态机来在硬件中实现一些功能。实现硬件状态机以便执行本文中描述的功能对于相关领域中技术人员将是显而易见的。输入输出控制器可以包括各种已知的用于接受并处理来自用户的信息的设备中的任何，不论所述用户是人类还是机器，不论所述用户是本地的还是远程的。此类设备包括例如调制解调卡、无线网卡、网络接口卡、声卡或用于各种已知输入设备中的任何的其它类型的控制器。输出控制器可以包括用于各种已知的用于向用户呈现信息的显示设备中的任何的控制器，不论所述用户是人类还是机器，不论所述用户是本地的还是远程的。在当前描述的实施例中，计算机的功能元件经由系统总线与彼此通信。计算机的一些实施例可以使用网络或其它类型的远程通信来与一些功能元件通信。如对于相关领域中技术人员来说将显而易见的，仪器控制和/或数据处理应用，如果实现在软件中的话，可以被加载到系统存储器和/或存储器存储设备中并从其中执行。仪器控制和/或数据处理应用中的全部或部分还可以驻留在只读存储器或存储器存储设备的类似设备中，这样的设备不要求仪器控制和/或数据处理应用最先通过输入输出控制器来加载。相关领域中技术人员将理解的是，仪器控制和/或数据处理应用或其部分可以由处理器以已知方式加载到系统存储器或高速缓冲存储器或二者中以便有利于执行。此外，计算机可以包括存储在系统存储器中的一个或多个库文件、实验数据文件和内部客户端。例如，实验数据可以包括与一个或多个实验或分析物相关的数据，诸如检测信号值或与一个或多个合成测序（sbs）实验或过程相关联的其它值。此外，内部客户端可以包括被启用以使用网络访问另一计算机上的远程服务的应用，并且可以例如包括一般称为“网络浏览器”的应用。在本示例中，一些通常采用的网络浏览器包括可从微软公司得到的微软internetexplorer，来自mozilla公司的mozillafirefox，来自苹果计算机公司的safari，来自谷歌公司的谷歌chrome，或当前在本领域中已知或将来要开发的其它类型的网络浏览器。此外，在相同或其它实施例中，内部客户端可以包括被启用以经由网络访问远程信息的专用软件应用（诸如用于生物应用的数据处理应用）或者可是其具有的元件。

网络可以包括本领域普通技术人员公知的许多各种类型的网络中的一个或多个。例如，网络可以包括局域网或广域网，其可以采用适用于通信的通常称为tcp/ip协议的协议。网络可以包括包含世界范围的互连计算机网络系统（通常称为互联网）的网络，或者也可以包括各种内联网架构。相关领域中普通技术人员还将领会到的是，在联网环境中的一些用户可能更喜欢采用一般称为“防火墙”（有时也称为分组过滤器或边界保护设备）的技术来控制从和到硬件和/或软件系统的信息通信量。例如，防火墙可以包括硬件或软件元件或者其某种组合，并且通常被设计成执行由用户（诸如例如，网络管理员等）落实的安全策略。