深度学习体积定量方法和设备与流程

相关申请的交叉引用

本申请要求于2017年7月28日提交的美国临时申请序号62/538,460的优先权，其内容通过引用整体地并入本文。

本公开涉及用于测试样本的方法和设备，并且更具体地，本公开涉及用于确定样本中的一种或多种成分的量的方法和设备。

背景技术：

自动化测试系统可以使用一种或多种试剂来进行化验或临床分析以识别样本中的分析物或其他组分，诸如尿液、血清、血浆、间质液、脑脊髓液等。出于方便和安全原因，此类样本通常被包含在样本容器(例如，样本收集管)内。测试反应生成各种变化，所述各种变化可以被读取和/或操纵以确定包含在样本中的分析物或其他组分的浓度，该浓度可以在一些实施例中指示患者的疾病状态。

自动测试技术中的改进已伴随着由称作实验室自动化系统(las)的自动化样本制备系统进行的预分析样本制备和处理操作中的对应进步，所述预分析样本制备和处理操作诸如分选、批制备、将样本容器离心以使样本成分分开、移除盖以便于流体进入等。las还可以将样本容器中的样本自动地输送到许多样本处理站，使得可以在其上执行各种操作(例如，预分析或分析测试)。

las可以处理包含在可以具有不同大小(例如，直径和高度)的标准贴条形码标签的样本容器中的许多不同的样本。条形码标签可以包含登记编号，所述登记编号可以包含患者信息或者与患者信息相关，同时其他信息可能已连同测试订单一起被送入到医院的实验室信息系统(lis)中。操作者可以将贴标签的样本容器放置到las系统上，所述las系统可以自动地为样本容器规定路线以进行预分析操作(诸如离心、去盖和/或等分试样制备)，并且全部都在样本实际地通过也可以是las的一部分的一个或多个分析器(临床化学或化验仪器)经受临床分析或化验之前进行。

对于某些测试，诸如血清或血浆部分(通过离心从全血获得)之类的生物液体可以经受分析。在其中样本是全血的情况下，可以将分离胶（gelseparator）添加到样本容器以帮助使沉降血部分与血清或血浆部分分开。在预处理之后，可以将样本容器输送到适当的分析器，所述适当的分析器可以从样本容器中提取样本的生物流体的一部分(例如，血清或血浆部分)并且在反应器皿中(例如，比色杯)将该流体与一种或多种试剂及可能其他材料组合。然后可以通过使用光度或荧光吸收读数、使用询问辐射的射束等来执行分析测量。测量允许确定端点或速率或其他值，据此使用众所周知的技术来确定生物流体中的分析物或其他组分的量。知道存在于样本容器中的生物流体的体积是有利的，使得可以确定是否存在足够的流体来进行订制的测试，但是还可以在一些情况下使用这样的体积来指示有关患者的疾病状态的信息。

在一些生物流体中，样本中的各个部分(例如，沉降部分、血清或血浆部分和分离胶(若使用的话))之间的界限可能难以使用现有方法来确定。因此，所得血清或血浆部分的体积或沉降血部分(sbp)和血清或血浆部分(spp)的相对量可能难以确定。此外，当有如此多不同类型和大小的样本容器被呈现给las时，准确地确定包含在样本容器中的生物流体的体积是有挑战性的。此外，使这种情形恶化的是在某些情况下，生物流体可能被一个或多个包含信息的标签完全地或部分地隐藏。

为了解决这种标签遮挡问题，一些系统(诸如miller的美国专利公开no.2012/0140230中描述的那些)描述了使样本容器旋转以找到未被标签遮挡的观察窗口并且然后使用光学成像系统来测量成分的相对量。然而，此类系统可能不太容易实现自动化。

由于在确定包含在样本中的各种成分的量时遇到的困难，所以存在对于被适配成容易地确定生物流体的一种或多种成分的体积的方法和设备的未满足需要。

技术实现要素：

根据第一方面，提供了一种对包含在样本容器内的样本进行定量的方法。所述方法包括：在成像位置处提供样本容器，所述样本容器包含所述样本；捕获所述样本的多个高动态范围图像并且将所述多个高动态范围图像存储为图像数据；利用神经网络对所述图像数据进行操作；以及利用所述神经网络将所述样本分类成以下各项中的一个：多个体积类，以及所述样本的体积。

根据另一方面，提供了一种被适配成对样本的体积进行定量的质量检查模块。所述质量检查模块包括：一个或多个图像捕获装置，所述一个或多个图像捕获装置被配置成在具有不同标称波长的多个光谱下、在多次曝光下并从一个或多个视点捕获所述样本的图像；以及计算机，所述计算机可操作地耦合到所述一个或多个图像捕获装置并可操作来：从在所述不同曝光下且在所述多个光谱中的每一个下的所述图像中选择最佳曝光像素并且针对所述多个光谱中的每一个生成最佳曝光图像数据，利用神经网络对所述图像数据进行操作；并且利用所述神经网络将所述样本分类成以下各项中的一个：多个体积类，以及所述样本的体积。

在又一个方面，提供了一种样本测试设备。所述样本测试设备包括：轨道；以及位于所述轨道上的质量检查模块。所述质量检查模块包括：一个或多个图像捕获装置，所述一个或多个图像捕获装置被配置成在具有不同标称波长的多个光谱下、在多次曝光下并从一个或多个视点捕获所述样本的图像，以及计算机，所述计算机被配置并可操作来：从在所述多次不同曝光下且在所述多个光谱中的每一个下的所述图像中选择最佳曝光像素以针对所述多个光谱和一个或多个视点中的每一个生成最佳曝光图像数据，并且利用神经网络对所述图像数据进行操作以利用所述神经网络将所述样本分类成以下各项中的一个：多个体积类，以及所述样本的体积。

通过图示许多示例实施例和实施方式，包括为了执行本发明而设想的最佳模式，本发明的其他的方面、特征和优点可以容易地显而易见。本发明还可以有其他和不同的实施例，并且完全在不脱离本公开的范围的情况下，可以在各个方面修改本发明的若干细节。因此，附图和描述将被认为在性质上是说明性的，而不认为是限制性的。本公开将涵盖落入权利要求的范围内的所有修改、等同物和替代方案。

附图说明

在下面描述的附图仅用于说明性目的，而不一定按比例绘制。附图不旨在以任何方式限制本发明的范围。

图1图示根据一个或多个实施例的样本测试设备的顶部示意图，所述样本测试设备包括被配置成确定样本体积的一个或多个质量检查模块以及一个或多个分析器。

图2图示根据一个或多个实施例的包括样本的贴标签的样本容器的侧视图，所述样本可以是通过使用样本体积定量方法所定量的体积。

图3a图示根据一个或多个实施例的贴标签的样本容器的侧视图，所述贴标签的样本容器包括血清或血浆部分、沉降血部分和分离胶的样本成分，其中的每一种均可以通过样本定量方法来进行定量。

图3b图示根据一个或多个实施例的实际的样本容器的侧视图相片，所述实际的样本容器包括血清或血浆部分、沉降血部分和分离胶，其中的每一种均可以被成像并且是通过样本体积定量方法所定量的体积。

图4a图示根据一个或多个实施例的质量检查模块的示意顶视图，所述质量检查模块被配置成捕获并分析多个图像以便对样本的体积进行定量。

图4b图示根据一个或多个实施例的沿着截面线4b-4b截取的图4a的质量检查模块的示意侧视图。

图5a图示根据一个或多个实施例的被配置成对样本的一种或多种成分的体积进行定量的质量检查模块的功能组件的框图。

图5b图示根据一个或多个实施例的包括神经网络的质量检查模块的组件的详细框图，所述神经网络被配置成对包含在样本中的血清或血浆部分的体积进行定量。

图5c图示根据一个或多个实施例的包括神经网络的质量检查模块的组件的框图，所述神经网络被配置成对包含在样本容器中的血清或血浆部分、沉降血部分和分离胶中的所有三种的体积进行定量。

图5d图示根据一个或多个实施例的来自视点的侧向图像以及用于相应的血清或血浆部分、沉降血部分和分离胶的有界框。

图5e图示根据一个或多个实施例的查找表。

图6a图示根据一个或多个实施例的训练配置中的质量检查模块的组件的框图，所述训练配置包括被配置成直接地对样本的体积进行定量的神经网络。

图6b图示根据一个或多个实施例的测试配置中的质量检查模块的组件的框图，所述测试配置包括被配置成直接地对样本的体积进行定量的神经网络。

图7a图示根据一个或多个实施例的来自视点1的包括样本的样本容器的侧视图图像并且图示被标签遮挡的第一程度。

图7b图示根据一个或多个实施例的来自视点2的包括样本的样本容器的侧视图图像并且图示被标签遮挡的第二程度。

图7c图示根据一个或多个实施例的来自视点3的包括样本的样本容器的侧视图图像并且图示被标签遮挡的第三程度。

图7d图示根据一个或多个实施例的图示各种视点1-3的质量检查模块的顶视图图像。

图8是根据一个或多个实施例的对样本的体积进行定量的方法的流程图。

具体实施方式

在第一广泛方面中，本公开的实施例提供了被配置并可操作来对样本的一种或多种成分的体积特性进行定量的设备、系统和方法。特别地，所述设备、系统和方法被配置并可操作来确定血清或血浆部分、沉降血部分或分离胶(若使用的话)的体积。通过精确地知道血清或血浆部分的体积，这允许预先检查或者验证使得在对特定样本订制多个测试时在样本容器中将有足够量的血清或血浆部分存在以便执行测试。准确地知道血清或血浆部分和沉降血部分的体积特性还使得能够生成其之间的比率，这可指示患者的疾病状况。类似地，知道沉降血细胞部分的体积也可指示患者的疾病状态。

如本文所描述的，样本可以被收集在样本容器(诸如采血管)中并且在分开(例如，使用离心法分离)之后包括沉降血部分及血清和血浆部分。沉降血部分由聚集并与血清或血浆部分分开的血细胞组成，所述血细胞诸如白色血细胞(白细胞)、红色血细胞(红细胞)和凝血细胞(血小板)。通常在样本容器的底部处发现沉降血部分。血清或血浆部分是血的液体成分，其不是沉降血部分的一部分。通常在沉降血部分上方发现血的液体成分。血浆和血清主要在凝血成分(主要是纤维蛋白原)的含量方面不同。血浆是不凝结液体，然而血清指代已被允许在内源性酶或外源性成分的影响下在一定程度上凝结的血浆。在一些样本容器中，可以使用分离胶(例如塞栓（plug）)，其在分离期间将它本身定位在沉降血部分与血清或血浆部分之间。它用作两个部分之间的屏障并防止其再混合。

依照一个或多个实施例，样本定量方法可以作为预分析测试方法(即，作为预筛选方法)被执行。例如，在一个或多个实施例中，可以连同针对干扰物的存在来表征样本一起或者在样本在分析器上经受例行分析之前执行样本定量方法。特别地，本公开的一个或多个实施例提供用于样本的体积定量作为用于进一步分析测试的前提。如本文所描述的，可以在质量检查模块处确定样本的体积定量。质量检查模块是使得能够检查样本或样本容器的一个或多个方面的装置，所述方面通常与可能对订制的测试或患者的疾病状况有影响的样本或容器的总体质量有关。质量检查模块可以包括被布置成提供样本容器的一个或多个数字图像(诸如来自不同的侧向视点的图像)的一个或多个图像捕获装置(例如，多个数码相机等)。

作为主要目标，定量方法涉及血清或血浆部分以及可能样本的其他成分(例如，沉降血部分和/或分离胶)的体积的精确或快速定量。在一些实施例中，可以使用高动态范围(hdr)图像处理来执行体积定量。依照一个有利的方面，可以在没有分割步骤的情况下根据图像数据直接地执行体积定量。

在体积定量方法已确定了存在于样本中的一种或多种成分的体积之后，所生成的hdr数据集可以用于确定关于样本的进一步信息，诸如以确定干扰物的存在，所述干扰物诸如血清或血浆部分中的溶血、黄疸和/或血脂(在下文中为“hil”)。

在一些实施例中，质量检查模块被配置成执行直接体积定量方法。可以将质量检查模块作为其中轨道将样本输送到一个或多个分析器的实验室自动化系统(las)的一部分来提供，并且质量检查模块可以被设置在介于样本装载站与一个或多个分析器之间的轨道上或者与其相邻。在具体实施例中，质量检查模块被设置在轨道上，诸如在样本装载站处或者在沿着轨道的另一位置处，使得在轨道上的同时可以对样本进行体积定量。

包括hdr数据处理的体积定量方法可以包括在质量检查模块处在多次曝光(例如，曝光时间)下并且在被具有不同标称波长的多个光谱相继地照射的同时捕获多个图像。在一些实施例中，可以使用被布置成从不同的视点捕获图像的多个图像捕获装置来获得多个图像。可以在将不同光源用于照射(例如，样本的背光照明)的同时完成在多个光谱(例如，颜色)下拍摄一个或多个图像。例如，可以使用红色光源(r)、绿色光源(g)和蓝色光源(b)。替换地或附加地，可以使用白色光源(wl)、近红外(nir)或红外(ir)光源和/或紫外光源(uv)。

可以通过质量检查模块来获得针对每个光谱的多次曝光下的图像。例如，可以在每个光谱下获得不同曝光下的4至8个或更多个图像。曝光可以基于照明强度和图像捕获装置的特征而变化。

将在本文中参考图1至图8描述样本直接体积定量方法、被配置成执行体积定量方法的质量检查模块以及包括一个或多个质量检查模块的样本测试系统的进一步细节。

图1示出能够自动地处理样本容器102(例如，样本收集管—参见图2和图3a)中的多个样本容器的样本测试设备100。样本容器102可以在输送到一个或多个分析器(例如，分别布置在样本测试设备100周围的第一分析器106、第二分析器108和第三分析器110)并由所述一个或多个分析器分析之前被包含在设置在装载区域105处的一个或多个支架104中。应该显而易见的是，可使用更多或更少数量的分析器。分析器106、108、110可以是临床化学分析器和/或化验仪器等的任何组合。样本容器102可以各自是通常透明或半透明的容器，诸如采血管、测试管、样品杯、比色皿或其他通常明净的玻璃或塑料容器。可以使用其他适合的容器。最常见的配置是采血管。

通常，可以在样本容器102中将要被自动地处理的样本212(图2和图3a)提供给样本测试设备100，所述样本容器102可以被盖214(图2和图3a)盖住。盖214可以具有不同的形状和/或颜色(例如，红色、宝蓝色、浅蓝色、绿色、灰色、棕褐色、黄色或组合)，这在样本容器102被用于什么测试、样本容器102中的添加剂的类型等方面可能具有意义。可以使用其他颜色。

样本容器102中的每一个均可以被提供有识别信息218i(即，标记)，诸如可以在样本测试设备100周围的各个位置处机器读取的条形码、字母、数字、字母数字或其组合。例如，识别信息218i可以指示或者可以以其他方式经由实验室信息系统(lis)147与患者的识别以及要对样本212完成的测试或其他信息相关。可以将这样的识别信息218i通常设置在粘附到样本容器102的侧面或者以其他方式设置在样本容器102的侧面上的标签218上。标签218通常不一直围绕样本容器102或者完全沿着样本容器102的长度延伸。然而，在一些实施例中多个标签218可以被粘附，并且可以彼此稍微重叠。因此，尽管标签218可能遮挡观察样本212的一些部分，但是仍然可以从某些视点看得见样本212的一些其他部分。

样本212可以包括包含在管215内的血清或血浆部分212sp和沉降血部分212sb。可以在血清和血浆部分212sp上方提供空气216并且它们之间的线或界线在本文中被定义为液体-空气界面(la)。如图2中所示血清或血浆部分212sp与沉降血部分212sb之间的分界线在本文中被定义为血清-血界面(sb)。空气212a与盖214之间的界面在本文中被称为作为管-盖界面(tc)。

在使用分离胶313的情况下，在图3a中示出了血清或血浆部分212sp与分离胶313之间的血清凝胶界面sg。在图3a中还示出了沉降血部分212sb与分离胶313之间的血凝胶界面bg。在每种情况下，样本容器102的壁厚是tw，样本容器102的外部宽度是w并且样本容器102的内部宽度是wi。管的高度(ht)被定义为从管215的最底部到盖214的底部的高度。

更详细地，样本测试设备100可以包括可以在上面安装或者支撑轨道121的基座120(例如，框架或其他结构)。轨道121可以是有轨轨道(例如，单轨轨道或多轨轨道)、输送机带、输送机链、可动平台的合集或任何其他适合类型的输送机构。轨道121可以是圆形、蛇形或任何其他适合的形状。在一些实施例中轨道121可以是闭合轨道(例如，环形轨道)。轨道121可以在操作中将样本容器102中的个别样本容器输送到绕轨道121隔开的位置，同时驻留在承载器122中。

承载器122可以是可以被配置成在轨道121上承载单个样本容器102的无源非电动圆盘，或者可选地包括板载驱动电机(诸如被编程为绕轨道121移动并停止在轨道121周围的预编程位置处的线性电机)的自动化承载器。承载器122可以各自包括被配置成使样本容器102保持在限定直立位置中的保持器122h(图4a-4b)。保持器122h可以包括任何适合的构造，并且可以包括将样本容器102固定在承载器122中的多个指状或片弹簧，但是包括横向可动性或柔性以允许容纳要接纳在其中的不同大小(例如，直径)的样本容器102。在一些实施例中，承载器122可以从装载区域105离开，所述装载区域105具有在那里分级的一个或多个支架104。在一些实施例中，装载区域105可以起到在预筛选和/或分析完成之后允许将样本容器102从承载器122卸载的双重功能。另外，可以在轨道121上别处提供卸载通道。

机器人124可以被设置在装载区域105处并且可以被配置成抓住位于一个或多个支架104处的样本容器102并且将样本容器102装载到承载器122上，诸如在轨道121的输入通道上或者在轨道121上别处。机器人124还可以被配置成在预筛选或分析完成时从承载器122移除样本容器102。机器人124包括能够进行x和z、y和z、x、y和z、r和θ或r、θ和z运动的一个或多个(例如，至少两个)机器人臂或组件。机器人124可以是龙门机器人、多关节机器人、r-θ机器人或其他适合的机器人，其中机器人124可以被配备有被调整大小以拾放样本容器102的机器人抓手手指。

在被装载到轨道121上时，由承载器122承载的样本容器102可以前进到离心机125(例如，自动化离心机)，所述离心机125可以被配置成执行样本212的分离。可以通过流入通道或其他适合的机器人来使承载样本容器102的承载器122转向到离心机125。在被离心之后，样本容器102可以在流出通道上离开，或者以其他方式被机器人移除，并且在轨道121上继续。在所描绘的实施例中，可以接下来将承载器122中的样本容器102输送到要在本文中参考图4a-4b进一步描述的质量检查模块130。

质量检查模块130被配置和适配成确定并提供包含在样本容器102中的样本212的直接体积定量。质量检查模块130还可以被配置用于确定干扰物的存在，所述干扰物诸如包含在样本212中的溶血(h)、黄疸(i)和/或血脂(l)中的一种或多种。一旦样本被体积定量，并且确定了存在足够量的血清或血浆部分212sp用于订制的测试，就可以预筛选样本212是否有干扰物，并且如果被发现是正常的(n)或者具有足够低的hil指数，则可以运送样本212以在将每个样本容器102送还到装载区域105以便卸载之前在一个或多个分析器(例如，分析器106、108和/或110)中被分析。

在一些实施例中，可以在自动化样本测试设备100上设置远程站132。远程站132未直接地链接到轨道121。例如，独立机器人133(虚线所示)可以将包含样本212的样本容器102承载到远程站132并且在测试/处理之后送还它们。可选地，可以手动地移除并送还样本容器102。远程站132可以用于测试以得到某些组分(诸如溶血水平)，或者可以被用于进一步处理，诸如以通过一种或多种添加剂来降低血脂水平等。可以在远程站132处完成其他测试或处理。进一步地，可以在轨道121周围布置附加站(未示出)，诸如去盖站、等分试样制备等。

样本测试设备100可以在轨道121周围的一个或多个位置处包括许多传感器116。例如，传感器116可以用于借助于读取放置在样本容器102上的识别信息218i(图2)来检测沿着轨道121的样本容器102的位置。可以使用用于跟踪位置的其他手段。所有传感器116都可以与计算机143对接，使得可以始终适当地知道每个样本容器102的位置。

离心机125及分析器106、108、110中的每一个通常可以被配备有被配置成从轨道121移除承载器122的机器人机构和/或流入通道以及被配置成将承载器122再加入到轨道121的机器人机构和/或流出通道。

样本测试设备100可以由计算机143控制，所述计算机143可以是基于微处理器的中央处理单元cpu，具有适合的存储器以及用于操作各种系统组件的适合的调节电子装置、驱动器和软件。用于要针对本文描述的体积表征方法执行的图像处理的计算机143可以包括具有足够的处理能力、适合的ram和适合的存储装置的cpu、gpu或其组合。在一个示例中，计算机143可以是具有一个或多个gpu、8gbram或更多ram以及太字节或更多的存储装置的配备多处理器的个人计算机(pc)。在另一示例中，计算机143可以是在并行模式下操作并且包括8gbram或更多ram和适合的存储装置的配备gpu的pc或可选地配备cpu的pc。在一些实施例中，可以使用多个计算机，一个相对更强大的计算机用于cnn的训练并且一个计算机用于执行如本文所描述的测试和体积表征方法。适合的处理器可以包括intel®xeon®处理器、intel®core™处理器系列和intel®atom™处理器系列或甚至可从nvidia®获得的包括arm®cortex®a9r4cpu的低能耗tegra®片上系统(s-oc)。可以使用其他适合的处理器。可以使用基于windows、linux和osx的操作系统。

计算机143可以作为样本测试设备100的基座120的一部分被收容，或者与样本测试设备100的基座120分开。计算机143可以操作来经由编程指令控制承载器122来回装载区域105的移动、绕轨道121的运动、来回离心机125的运动。计算机143或单独的计算机可以控制离心机125的操作、来回自质量检查模块130的运动以及质量检查模块130的操作以及来回每个分析器106、108、110的运动及每个分析器106、108、110的操作以便执行各种类型的测试(例如化验或临床化学)。

对于除质量检查模块130以外的所有模块，计算机143可以根据软件、固件和/或硬件命令或电路(诸如在由纽约州塔里敦的西门子医疗诊断公司出售的dimension®临床化学分析器上使用的那些)来控制样本测试设备100，并且这种控制对基于计算机的机电控制编程领域的技术人员而言是典型的并且将在此不再赘述。然而，可以使用用于控制样本测试设备100的其他适合的系统。如将在本文中详细地描述的，可以由计算机143根据基于神经网络的方法来提供对用于导出直接体积定量的质量检查模块130的控制。

可以使用计算机接口模块(cim)145来实现本公开的实施例，所述计算机接口模块(cim)145允许用户容易地且快速地访问各种控制屏幕和状态显示屏幕。这些控制和状态屏幕可以描述用于样本212的预筛选、制备和分析的多个相关的自动化装置的一些或所有方面。可以采用cim145来提供关于多个相关的自动化装置的操作状态的信息以及描述任何样本212的位置及要对样本212执行或者正在对样本212执行的预筛选和测试的状态的信息。cim145因此被适配成便于操作者与样本测试设备100之间的交互。cim145可以包括被适配成显示包括图标、滚动条、框和按钮的菜单的显示屏幕，操作者可以通过所述菜单来与样本测试设备100对接。

依照本公开的一个方面，预筛选样本212可以允许对血清或血浆部分212sp和沉降血部分212sb的相对量进行准确且直接的体积定量，但是还可以提供分离胶313的体积。这种体积定量确保如果没有足够量的血清或血浆部分212sp可用于执行所有订制的测试，则可使样本212停止继续进行到一个或多个分析器106、108、110。如果体积短缺，则可以订制附加抽取。此外，可以快速地确定对血清或血浆部分212sp与沉降血部分212sb的比率的快速且准确的确定。

参考图4a-4b，示出并描述了质量检查模块130的第一实施例。质量检查模块130可以被配置和适配成在由一个或多个分析器106、108、110分析之前自动地对样本的一种或多种成分的体积进行定量(例如，对血清或血浆部分212sp的体积、沉降血部分212sb的体积、分离胶313的体积、前述的任何两种或所有三种进行定量)。以这种方式进行体积预筛选允许确定液体部分(例如，样本212的血清或血浆部分212sp)的足够量（例如，体积）可用，从而避免浪费宝贵的分析器资源。

除了其中血清或血浆部分212sp的体积和沉降血部分212sb的体积被定量的样本定量方法之外，还可以在质量检查模块130处对包含在样本容器102中的样本212进行其他检测方法。

现在参考图1、图4a和图4b，示出了被配置成确定样本体积并且包括多个图像捕获装置440a-440c的质量检查模块130的第一实施例。示出了三个图像捕获装置440a-440c，但是可使用一个、两个或更多个或甚至四个或更多个图像捕获装置。图像捕获装置440a-440c可以是能够捕获数字图像(即，像素化图像)的常规数码相机、电荷耦合器件(ccd)、光电检测器的阵列、一个或多个cmos传感器等。例如，三个图像捕获装置440a、440b、440c被图示在图4a中并且被配置成从三个不同的侧向视点捕获数字图像。

每个图像捕获装置440a、440b、440c可以是能够捕获具有任何适合的图像大小的数字像素化图像的装置。作为示例，图像大小在一个实施例中可以是大约高2560个像素×宽694个像素，而在另一实施例中是大约高1280个像素×宽384个像素。可以使用其他像素密度和高度与宽度的比率。

来自多个视点的包含诸如血清或血浆部分212sp和沉降血部分212sb的样本成分的样本容器102的示例图像740a-740c被示出在图7a-7c中。每个图像捕获装置440a-440c可以被配置并可操作来捕获样本容器102的至少一部分和样本212的至少一部分的侧向图像。例如，图像捕获装置440a-440c可以捕获盖214的全部或部分、管215的全部或部分以及样本212的全部或部分。最终，根据多个图像，可确定样本212的相应的生物流体成分的体积。在一些实施例中，可以生成并使用合成模型来做出最终确定或者确认由单独的图像捕获装置440a-440c关于样本212的体积定量所做出的确定。例如，可以在一些实施例中将各种视点的体积结果平均。可以忽略离群值。

在图4a和图4b中所示的实施例中，视点可以间隔开，使得如图所示，当使用三个图像捕获装置440a、440b、440c时，视点可以彼此近似相等地间隔开，诸如彼此间隔开大约120度。如描绘的，可以围绕轨道121布置图像捕获装置440a-440c。可以使用多个图像捕获装置440a-440c的其他布置和间距。以这种方式，可以在样本容器102正驻留在承载器122中的同时拍摄样本212的图像，而不必使样本容器102旋转以找到适合的视图窗口以进行成像。在三个视点情况下，这些视点中的至少一个应该提供样本212的无阻视图。在一些实施例中，被捕获的图像可能在边缘处彼此稍微重叠。

在一个或多个实施例中，可以将承载器122停止在质量检查模块130中的预定位置处，诸如在从图像捕获装置440a-440c中的每一个起的法向向量相交的点处。此位置在本文中被称为成像位置432。在一些实施例中，可以提供门以将承载器122停止在成像位置432处，使得可以捕获良好质量的图像。在其他实施例中，承载器122可以包括线性电机，所述线性电机被配置成如所编程的那样停止在期望位置处，诸如在成像位置432处。在其中在质量检查模块130处有门的实施例中，可以使用一个或多个传感器(例如，传感器116)来确定承载器122存在于质量检查模块130处。

图像捕获装置440a-440c可以被设置为接近于图像窗口(即，包括成像位置432的区域)并且被训练或者聚焦以捕获图像窗口，其中可以停止样本容器102，使得样本容器102近似地位于图像窗口的中心中。如所配置的，图像捕获装置440a-440c可捕获包括所有血清或血浆部分212sp、所有沉降血部分212sb、所有分离胶313(若存在的话)以及盖214的一些或全部和可能管215的最底部的图像。

在操作中，可以响应于通信线路443a-443c中提供的触发信号而触发并捕获每个图像，所述触发信号可以由计算机143基于预先配置的图像捕获协议或序列来发送。所捕获的图像中的每一个均可以由计算机143根据本文提供的定量方法的一个或多个实施例来处理。特别地，高动态范围(hdr)处理可以用于捕获并处理图像和关联的图像数据以便对样本212进行体积定量。

更详细地，在样本212(例如，通过分离分开的样本212)被发出具有不同标称波长的不同光谱的不同光源并从不同的视点照射的同时，可以在质量检查模块130处在多次不同曝光(例如，曝光时间)下顺序地捕获样本212的多个图像。例如，每个图像捕获装置440a-440c可以在一个或多个光谱(例如，红色(r)、绿色(g)和蓝色(b)光)下在不同曝光时间下拍摄4至8个或更多个图像。针对所有图像捕获装置440a-440c，可以对每个光谱的不同曝光下的图像进行背光照明并顺序地拍摄。例如，可以针对每个视点以循环方式捕获图像。可以以任何适合的曝光增量捕获其他数量的图像。

在一个实施例中，可以通过使用不同颜色的光源444a-444c照射样本212来完成多个波长图像。在第一实施例中光源444a-444c可以是背光源，并且可以背光照明样本容器102(如图4a-4b中所示)。特别地，当相应的光源444a-444c从所关联的图像捕获装置440a-440c的视角来看被布置在成像位置432后面时提供背光照明。可选地，光源可以前光照明样本容器102，诸如通过被布置在相应的图像捕获装置440a-440c上方、下方或侧面。在一些实施例中，可以与光源444a-444c相结合地使用光扩散器和/或滤光器。在于2016年1月28日提交的标题为“methodsandapparatusforcharacterizingaspecimencontainerandspecimen”的美国临时申请62/288,381中描述了适合的背光照明源。

例如，为了捕获具有第一光谱的图像，可以使用三个红色光源(光谱范围为大约+/-35nm的大约450nm的标称波长)来从三个横向地隔开的位置顺序地照射样本212。通过单独的光源444a-444c进行的红色照射可以随着在不同曝光时间下的多个图像(例如，4至8个或更多个图像)被每个图像捕获装置440a-440c顺序地捕获而发生。在一些实施例中，曝光时间例如可以介于大约1ms与256ms之间。例如，可以使用8ms、32ms、128ms和156ms的四个曝光时间。可以使用其他数量和长度的曝光时间。可以使用用于改变图像曝光的其他适合的光学手段。

在每个实施例中，质量检查模块130可以包括可以至少部分地包围或者覆盖轨道121的外壳446，并且样本容器102可以在图像拍摄期间位于外壳446内部，使得外部照明(例如，环境或室内光)被最小化。外壳446可包括一个或多个门446d以允许承载器122进入到外壳446中和/或从外壳446离开。在一些实施例中，顶板可包括开口446o以允许样本容器102被包括机器人抓手手指的机器人从上方装载到承载器122中。在一些实施例中，外壳446的内壁表面可以是黑色的。

一旦红色照射的图像被捕获，就可以关闭红色光源444a-444c并且可以顺序地打开另一光谱的光，例如绿色光源444a-444c(光谱范围为大约+/-35nm的大约560nm的标称波长)，并且可以通过布置在不同的侧向视点处的每个图像捕获装置440a-440c来在该波长下捕获在不同曝光时间下的多个图像(例如，4至8个或更多个图像)。可以针对每个图像捕获装置440a-440c用蓝色光源444a-444c(光谱范围为大约+/-35nm的大约635nm的标称波长)重复这个。可以使用更多或更少的波长或除rgb以外的不同颜色。可以通过任何适合的手段来实现具有不同波长的光源444a-444c，诸如经由例如可交换滤光器的使用，或者例如可被选择性地打开和关闭的不同颜色的光源组。可以使用用于生成不同光谱(彩色)照明的其他手段。

在上述每一项中，可以快速相继地获得针对每个相应的波长(例如，r、g和b)在多次曝光时间下拍摄的多个图像，使得例如可以在不到大约2s内获得来自多个视点针对样本212的图像的整个合集。作为示例而不作为限制，在使用三个图像捕获装置440a、440b、440c并且利用包括rgb源组的光源444a-444c背光照明的三个视点处针对每个波长的四个不同曝光图像将导致4个图像×3种颜色×3个相机=36个图像被快速相继地拍摄。图像数据可以被存储在计算机143的存储器中并随后处理以由此如本文所描述的那样对样本212进行体积定量。

现在将参考图5a，其描述了体积定量设备500的功能组件。体积定量设备500可以通过在502中在成像位置432处提供包括样本212的样本容器102来涉及图像捕获。此后，如上所述在504中捕获hdr图像。为了减少数据输入量，可以在505中预处理hdr图像的图像数据。例如，预处理可以涉及从针对每个光谱的不同曝光下的多个捕获的图像中选择最佳曝光像素及其针对每个图像捕获装置440a-440c的归一化，以便针对每个光谱(例如，r、g和b)并针对每个图像捕获装置440a-440c生成最佳曝光图像数据。此预处理阶段提供图像合并，使得更少的图像需要被处理。

合并包括针对来自每个图像捕获装置440a-440c的曝光时间图像的每个对应的像素，从不同曝光时间图像的每一个中选择展示最佳图像强度的像素。例如，可以将最佳图像强度定义为落在预定强度范围(例如，在0-255的尺度上介于180-254之间的强度)内的像素。然而，能使用其他适合的范围。如果两个图像的对应位置中的多于一个像素被确定将被最佳曝光，则可选择两者中的较高者。结果是针对每个图像捕获装置440a-440c的多个合并彩色图像数据集(例如，r、g、b)，其中所有像素都针对图像捕获装置440a-440c被最佳曝光(例如，每光谱一个图像数据集(例如，r、g、b))。然后可以通过曝光时间来使用于每个像素的最佳曝光强度值归一化，使得每个合并图像中的所有像素不管曝光时间都被归一化。

作为质量检查模块130的校准的一部分，可以在506中捕获没有样本容器102或承载器122的可选参考图像。以这种方式，可以容易地从每个图像数据集中移除背景像素从而仅留下前景图像。还可以在505中在hdr图像的预处理期间完成这种可选的背景减少。例如，针对每个曝光时间和照明条件(例如，r、g、b)的参考图像可以由质量检查模块130在执行样本体积定量方法之前拍摄。可以使用用于背景移除的其他适合的手段。

对于包括最佳曝光像素的每个合并图像数据集，着手表征方法以输出以下各项中的一个：1)直接体积，或2)体积类，其可以通过任何适合的手段(诸如查找表等)被容易地转换为体积值。特别地，图像数据集被作为直接输入提供给包括神经网络535的体积确定模型。如图5b和图5c中所示，可以提供包括一个或多个卷积神经网络(诸如cnna、cnnb和/或cnnc)的神经网络535。cnn可以各自是被训练来对样本212的一种或多种成分的体积或体积类进行定量的预训练的卷积神经网络(cnn)。

特别地，在图5b和图5c的实施例中，cnn535的输出用于导出526中的血清或血浆部分212sp(或526a中的血清或血浆部分212sp、526b中的沉降血部分212sp或526c中的分离胶313)的体积类，其然后可经由查找表等的使用输出体积值。在其他实施例中，可以像将在图6b中描述的那样直接地从cnn635输出体积。在任何情况下，体积定量是在没有任何种类的分割过程的情况下完成的，其中首先在测试样本212上确定作为血清或血浆部分212sp的测试样本212的边界的几何界限。因此，可以根据图像的输入数据容易地且直接地实现体积定量。

例如，本文描述的cnn可以使用任何适合的科学计算框架、程序或工具箱来编码，所述任何适合的科学计算框架、程序或工具箱诸如可从西雅纳伯克利视觉和学习中心(bvlc)获得的caffe、用于涉及多维数组的数学表达式的快速计算的python框架、可从torch谷歌公司获得的tensorflow以及可从加利福尼亚州圣塔克拉拉的英特尔公司获得的数学内核库(mkl)(其是针对基于cpu的神经网络计算的优化数学库)等。

现在参考图5a和图5c，神经网络535可以包括一个或多个卷积神经网络cnna、cnnb、cnnc，其可以处理图像数据并在529或529sp中输出血清或血浆部分的体积，在529sb中输出沉降血部分的体积，和/或在529gs中输出分离胶313的体积。为了体积确定的容易，可以将单独地训练的cnn用于样本212的每种具体成分的体积定量。

对于cnn(例如，cnna、cnnb、cnnc)中的每一个，使用多组训练示例来训练单独的cnn。可以通过与作为训练输入的训练图像一起为每个cnn提供地面实况标签507来训练cnn(例如，cnna、cnnb、cnnc)。地面实况标签507被定义为来自特定cnn的可能结果(例如，直接体积或体积类)。例如，地面实况标签507可以是例如cnn可以被配置成映射到的10至10,000个不同的体积或体积类结果。其他实施例可以使用诸如介于100到1,000个不同的体积或体积类结果之间或甚至介于100到500个不同的体积或体积类结果之间的更少训练。结果之间的分度可以不是线性的，并且因此训练后的结果的间距可能被更集中到公共体积的区域中。例如，如图5b中所示，cnna被配置有体积类spp1-sppn的1至n个地面实况标签作为结果，然而在图6a中，地面实况标签将是针对spp体积1至spp体积n的训练值，其是作为可由cnn635直接地输出并映射到的结果的体积值。

在每种情况下，cnn535、635的训练涉及输入包括用于每个cnn的相关联训练注释的大量训练图像(例如500至10,000或更多的数字图像数据集)。例如，用于每个cnn的训练注释508可以包括图形轮廓，诸如训练边界框236a、236b、236c(例如矩形)，如图5d中虚线所示，识别正在图像内训练的（一种或多种）特定生物流体成分(例如，血清或血浆部分212sp、沉降血部分212sbp和分离胶313)的图形位置。训练注释508可以进一步包括表示包括在每个具体训练边界框236a、236b、236c内的体积的体积的标量值。因此，训练注释508可以包括图式地描画已知体积的多个训练样本中的各个区域(例如，212spp、212sbp、313)以及用于每个训练边界框236a、236b、236c的标量体积值。训练样本可以具有血清或血浆部分212sp、沉降血部分212sb和分离胶313的各种样本体积、被标签218遮挡的各种程度、是否包含分离胶313、样本容器102的不同大小(例如，不同的直径和高度)等。

一旦cnn535、635被适当地训练使得cnn按足够高的置信度(例如98%或甚至>99%)确定正确的结果，那么就可以使用质量检查模块130和体积定量方法来确定样本212的一种或多种成分的体积作为在分析器上(例如，在分析器106、108和/或110上)进行实际的样本测试之前进行的预筛选测试方法的一部分。测试cnn模型将没有已被训练的地面实况输入。

如图5b中所示，实施例被配置成输出血清或血浆部分212sp的体积类(例如，spp1至sppn)。更详细地，cnn535可以包括适合数量的工作层以提供深度学习。例如，所描述的cnn架构可以被用于使用64×64补片（patch）(64个像素×64个像素)进行体积分类。然而，可以使用其他补片大小，诸如31个像素×31个像素。对于体积定量任务，可以例如选择cnn535的三个主要工作层。包括卷积层和池化层的第一工作层538可以提取非常局部的结构边缘；同样包括卷积层和池化层的第二工作层540可以学习纹理，其是边缘的组合；并且在一些实施例中，甚至第三工作层542(其可以是可选的)可以形成区域的各部分。cnn535的层538、540、542中的每一个均受益于已从hdr图像处理中提供的多通道(例如，多光谱、多次曝光)图像数据。在各种输入通道上的这些计算，诸如在使用3个输入层(例如，包括hdr的rgb光谱分量)时，可固有地被处理并且可通过深度学习网络来表示。这种框架自然地集成低级、中级和高级特征，并且可操作来在526中将适合的分类提供到各种体积类输出选项中。

cnn535的架构可以包括卷积层(conv)、池化层(pool)和全连接层(fc—否则称为“内积”)的各种组合。例如，一个实施例，cnn535可以包括包含卷积层、池化层、最终卷积层以及至少一个且可选地两个全连接层fc的架构。可以在cnn535中包括损失层，诸如softmax。例如，损失层可以是softmax，因为cnn535的解是从所述多个体积类(spp1-n)中选择的一种分类，即，其中为每个通道输出提供置信度(通道输出被示出为框1-n)并且表决方案可以选择一种输出配置。在一些实施例中，可以使用适配的cnn架构，诸如依次使用conv-pool-conv-pool-conv-pool-conv-fc-fc-softmax。可设置诸如滤波器大小和步幅的参数作为当设立并训练cnn535时的参数调谐的一部分。

图6a和图6b图示相应的直接地输出体积的训练cnn635a和测试cnn635b。该架构可以如先前所描述的。然而，在一些实施例中，cnn635a、635b可以可选地包括relu，其是修正器和激活函数(也称为斜坡函数)，其使得网络能够被扩展。已示出relu作为非线性的使用以使得能够在没有无监督预训练的情况下训练深度监督神经网络。例如在样本成像的情况下，修正线性单位(relu)允许在大且复杂的数据集上对深度神经网络架构进行更快且有效的训练。特别地，训练cnn635a包括损失层l，诸如欧几里得损失层。测试cnn635b包括最终卷积层(conv)和一个或多个全卷积层fc，所述一个或多个全卷积层fc可直接地映射到626中的单个体积(例如，映射到spp体积1至spp体积n中的一个)。例如，可以作为输出被映射到的所述多个体积的数量可以包括介于10至10,000、100至1,000或甚至100至500之间。可以使用其他数量。

在训练和测试两者中，使用滑动窗口或补片，其中样本212的每个区域用cnn535、635a、635b进行分类，并且每个补片对预定义输出选项中的一个或多个给出响应。候选然后通过表决方案或者通过输出到结果向量被分类为预定义选项(体积类或体积)中的一个或多个。

在图5b和图5c的第一实施例中，针对各个区域的体积分类产生针对样本212的每个成分的一个且仅一个结果526或526a-526c以及针对每个可能结果的置信度水平，其例如可以被归一化为1。为每个视点提供一个这样的结果。所报告的用于每个视点的配置是具有最高置信度水平(cl)的体积分类。这些结果可以被单独地或者作为平均值报告。进一步地，如果对于订制的测试存在不足的体积，则可以向las的操作者和/或向lis147提供警告。此外，可以将血清或血浆部分212sop和沉降血部分212sb的体积结果和成分的比率立即报告给lis147。

在被适当地训练之后，对于被测试的每个样本212，合并数据集537被输入到cnna535、635b并且由cnna535、635b进行操作。已在训练期间先前输入并建立了地面实况标签507。cnn535、635b将按相对高的置信度(例如，>98%)收敛到通过地面实况标签507所确立的体积类结果526或体积626中的一个。例如，在所描绘的图5b的示例中，表决方案已选择通道7。因此，cnna535已按所有通道输出1-n中的最高置信度(例如，0.991的置信度)收敛到体积类结果spp7。然后可以引用查找表539以提取已针对每个体积类结果526在查找表539(参见图5e)中预先填充的对应体积值529。

来自其他视点的图像数据集的附加处理也可以提供体积值并且可以将来自所有视点的体积值输出平均以提供对样本的血清或血浆部分212sp和/或其他成分的体积的极好估计。因此，应该显而易见的是，在本文中描述并由质量检查模块130执行的基于神经网络的定量方法可以导致对样本212的血清或血浆部分212sp的快速体积定量。

在图8中示出了根据一个或多个实施例的体积定量方法800的流程图。首先，包括可以通过承载器122承载的样本212的样本容器102被设置在质量检查模块(例如，质量检查模块130)的成像位置432处。用于训练的质量检查模块130可以是被用于测试的相同模块。在802处捕获包括包含样本212的血清或血浆部分212sp的样本212的样本容器102的多个图像。图像还可以包括沉降血部分212sb和分离胶313(若存在的话)。多个图像可以是像本文所描述的那样在多次不同曝光下并在多个不同光谱下拍摄的多光谱图像。此外，可以如上所述通过不同的图像捕获装置440a-440c来从多个视点捕获图像。

为了体积定量，可以使用质量检查模块130的背光设置，并且可以将多个图像存储在计算机143的存储器中。根据这些图像，在804的预处理数据中，可以可选地在806的背景移除中移除背景以降低计算负担。可以通过扣除先前拍摄的对应参考图像(例如，在506中—参见图5a)来完成806中的背景移除。因此，背景的移除仅留下与前景相关联的数据以供处理并减少总体计算。

在804的预处理数据中，可以合并在照射的每个波长(例如，4至8次曝光)下的每个图像数据集的数据。合并涉及按照曝光选择最佳曝光像素并且按照波长且针对每个视点将所有选择的图像数据合并成一个图像数据集，然后像上面所讨论的那样使所有选择的数据归一化。在图像合并过程期间，在每个光谱(r、g和b)下且针对每个图像捕获装置440a-440c的各种曝光图像被逐像素审查以确定已被最佳曝光的那些像素。对于每个对应的像素位置，任何最佳曝光像素中的最好像素被选择和归一化并且包括在针对每个光谱和图像捕获装置400a-440c的最佳曝光图像数据集中。因此，在预处理数据804中的图像合并之后，针对每个光谱(r、g和b)且针对每个图像捕获装置440a-440c产生一个最佳曝光图像数据集。hdr图像处理的使用可以用来丰富图像关于反射和吸收的细节。这可以使体积定量变得更精确。

在808中，针对每个光谱和每个图像捕获440a-440c的图像数据集被输入到cnn535并且由cnn535进行操作(处理)，所述cnn535已在先前的训练方法中被适当地训练以能够对样本212的一种或多种成分的体积进行定量。

作为来自cnn535的输出，在810中，可以确定样本212的一种或多种组分的体积的定量。在一些实施例中，来自cnna的输出是血清或血浆部分212sp的体积类(参见图5b)。在另一实施例中，来自cnnb的输出是沉降血部分212sbp的体积类(参见图5c)。在又一个实施例中，来自cnnc的输出是分离胶313的体积类(参见图5c)。在另一实施例中，可以将被配置成输出沉降血部分212sbp的体积类的cnnb配置为像图5b一样的独立模型。在另一实施例中，可以将被配置成输出分离胶213的体积类的cnnc配置为像图5b一样的独立模型。

在一些实施例中，来自cnn635b的输出是血清或血浆部分212sp的体积(参见图6b)。相同的cnn能作为像图6b一样的独立模型被配置成输出沉降血部分212sbp的体积。同样地，相同的cnn能被配置成输出分离胶213的体积。

在812中，当来自cnna的输出是体积类时，那么提供对从cnna535输出的样本的体积类的后处理以获得血清或血浆部分212sp的体积。后处理可以访问如图5e中所示的查找表539以确定样本212中的血清或血浆部分212sp的实际体积值。可访问类似的查找表539a、539b、539c以在cnn535包括一个合并网络的形式时像图5c中所示的那样确定血清或血浆部分212sp的实际体积值、沉降血部分212sb的实际体积值和分离胶313的实际体积值。因此，应该理解的是，图8中描述的方法800同样地适用于确定沉降血部分212sb或分离胶313的体积。只需将图8中的单词“血清或血浆部分”与“沉降血部分”或“分离胶”交换。

虽然质量检查模块130已在图1中被示出为被定位为使得预筛选紧接在离心机125上进行离心之后被执行，但是在一些实施例中将此特征直接地包括在分析器(例如，分析器106、108和/或110)上或者在沿着轨道121的其他地方处可能是有利的。此外，在一些实施例中，可以在将支架104装载到装载区域105中之前执行离心，使得在一些实施例中，质量检查模块130可以位于装载区域105处并且机器人124一将样本容器102装载到承载器122中或者甚至在那之前就可执行质量检查。

虽然本公开易受各种修改和替代形式影响，但是具体系统和设备实施例及其方法已作为示例被示出在附图中并在本文中进行了详细地描述。然而，应该理解的是，不旨在将本公开限于所公开的特定设备或方法，而是相反，意图是为了涵盖落入权利要求的范围内的所有修改、等同物和替代方案。