用于实验室自动化的侧视样品管图像中的条形码标签检测的制作方法

相关申请的交叉引用

本申请要求题为“barcodetagdetectioninviewsampletubeimagesforlaboratoryautomation”、2015年2月17日提交的美国临时申请序列号62/117,270的优先权，该临时申请的公开内容在此通过引用整体地结合于本文。

本申请涉及美国专利申请公布no.us2016/0025757以及国际公布no.wo2015/191702中描述的若干概念，其通过引用整体地结合于本文。

本发明一般涉及检测条形码标签的状况，以及更特别地，涉及利用侧视样品管图像来对样品管上的条形码标签的状况进行分类。

背景技术：

条形码标签频繁地用于临床实验室自动化系统中的样品管上来唯一地识别和追踪样品管，以及通常是将患者与在特定样品管内部的样品相关联的仅有的手段。通过正常的每日使用，条形码标签的状况可能退化，包括撕裂、剥离、褪色及其他变形。这样的退化阻碍了实验室自动化系统使样品管处理流线化。

因此，需要检测样品管上的条形码标签状况来使先进的临床实验室自动化系统中的样品管处理流线化。还需要使这样的分类是自动化的、高效的且不引人注目的。

技术实现要素：

实施例针对根据侧视图像检测样品管上的条形码标签状况以使先进的临床实验室自动化系统中的样品管处理流线化。

附图说明

在结合附图阅读时，根据以下详细描述最佳地理解本发明的前述和其他方面。出于说明本发明的目的，附图中示出了当前优选的实施例，然而要理解的是，本发明不限于所公开的具体手段。附图中包括以下各图：

图1是根据实施例的示例性管表征站的表示，样品管被转移到该管表征站以用于根据侧视图像检测样品管上的条形码标签状况；

图2是根据实施例的具有条形码标签的示例性样品管的描绘。

图3图示了根据实施例的用于条形码标签检测的利用若干并行的低级别提示的工作流程，该低级别提示被组合成中级别表示。

图4是根据实施例的条形码标签的状况的表示。

图5图示了根据实施例的用于检测条形码标签状况的低级别提示的使用。

图6图示了根据实施例的用于检测条形码标签状况的附加的低级别提示的使用。

具体实施方式

实施例针对根据侧视图像对样品管上的条形码标签状况进行分类，以使先进的临床实验室自动化系统中的样品管处理流线化。根据本文提供的实施例，条形码标签状况的分类有利地导致对有问题的条形码标签的自动化检测，允许系统或用户采取必要的步骤来修复该有问题的条形码标签。例如，识别出的具有有问题条形码标签的样品管可以被派送到与正常管处理过程分开的单独工作流程，以修正有问题的条形码标签。

根据本文提供的实施例的方法使得能够实现管图像中的条形码标签检测，以得出关于标签状况的自动化的判定。条形码标签的状况可以被分类成类别好（ok）、警告（warning）和错误（error）。根据实施例，该三个类别中的每个都被划分成附加子类别的列表，以使得能够实现关于条形码标签的质量的细化判定。这些子类别覆盖了标签质量的个体特性，例如诸如完好的、撕裂的、损坏的、折叠的、歪斜的、变形的或染色的。可以使用附加的或替换的类别和子类别。

根据实施例，利用管表征站（tcs）来得到用于对样品管上的条形码标签状况进行分类的侧视图像。该tcs使得能够实现对用于每个管的三个图像的同时收集，导致了用于每个管的360度侧视图。所提出的方法是基于被监督场景理解概念，导致了将每个像素解释成其语义含义。根据实施例，与管模型提取提示相结合地利用了用于状况识别的两个并行的低级别提示。然后将语义场景信息整合到中级别表示中，以用于向三个状况类别之一中进行最终决策（finaldecisionmaking）。

语义分割着重于关于所定义的语义对象标记来解释图像域中的每个像素。由于像素级分割，对象边界可以被准确地捕获。对基准数据集的评估表明了所监督的概念在可靠性和分类准确性方面表现得最好。通常，这些方法基于训练和测试阶段，将各种层级和分级下导出的复杂的和组合的特征描述符考虑在内。

通过使用tcs采集图像三元组。条形码标签的状况可以在位置、取向、附着质量以及条形码可读性方面不同。条形码标签状况的检测要求关于管模型准确地捕获空间和外观特征的中级别表示。该中级别表示根据在相关图像结构上单独地训练和评估的各种并行的低级别提示捕获多视图信息（例如来自图像三元组的360度视图）。

图1是根据实施例的示例性管表征站的表示，样品管被转移到该管表征站以用于根据侧视图像对样品管上的条形码标签状况进行分类。样品管可以从例如抽屉系统转移到tcs，在所述抽屉系统中存储了管托盘和其上所包含的样品管。在实施例中，为试管内诊断（ivd）环境中的样品处理者在工作范围（workenvelope）内提供一个或多个抽屉。样品管可以经由可在抽屉系统与tcs之间移动的臂来转移到tcs。

tcs包括三个相机，每个都被配置成捕获特定样品管的图像以一起捕获全360度视图。

图2是具有条形码标签的示例性样品管的描绘。如所示，管模型类型和条形码标签状况可以在样品管之间显著地不同。

输入数据：用于系统的输入数据包括示出管的全360度视图的三个图像。

概述：所提出的方法将管图像的三元组当作输入，并且针对条形码标签的状况（好、警告、错误）输出标记。图3示出所提出的工作流程：利用了组合成中级别表示的若干并行的低级别提示。该表示捕获多视图信息并且被用于关于条形码标签状况的最终决策。低级别提示包括分别向条形码/标签和背景区域以及好对比坏区域中的单独的语义分割。附加的低级别提示支持管模型的提取并且提供用于生成中级别表示的重要的空间信息。所提出的方法不限于这些特定提示并且可以被延伸到附加的或替换的提示。所提出的概念基于训练和评估阶段，需要用于训练阶段的被标记的输入数据。

图4是根据实施例的按类别的条形码标签状况的表示以及覆盖标签质量的个体特性的子类别。

低级别提示：语义分割：所提出的概念基于在监督模式中运行的多重提示。这些提示广泛利用了在像素级上训练和评估的补充的特征描述符（比如颜色和取向直方图）、统计描述符以及近似的局部二元模式。由于期望短响应时间，所提出的概念利用高效图像结构（比如积分图像）以及使用快速分类器（比如随机判定树或判定树）。所述训练阶段需要被标记的输入数据：由于像素级分类，可以通过使用笔画的图像区域注释来快速地完成注释。训练必须被执行一次并且包括来自不同采集的具有各种特性的数据。单独地对于每个低级别提示而言，单独的随机森林分类器被训练用于二元（好/坏区域）以及多类别任务（条形码/标签/背景区域）。在运行时间期间，经训练的分类器关于经训练的语义类别提供像素级上的可能性。这些分类器响应作为用于最终决策的有识别力的属性而被直接地整合到中级别表示中。图5图示了应用于样品管的语义分割低级别提示的示例性响应。

低级别提示：管模型提取：为了提供用于数据聚集的空间信息，使用了图像中的经分割的管区域和一些支持区段。可以通过使用经校准的三维机构和外部管检测信息（即，将管的几何结构渲染到图像中）来得出所述管模型，或者也可以单独地根据图像来提取所述管模型（即，通过使用鲁棒线检测方法和逻辑处理或推理来对管边界进行鲁棒提取）。在图像中使管模型被分割，使得能够实现将管和相邻区域分成更小的块区（patch）。这些块区用来聚集来自低级别提示的分类器响应和直接来自图像的信息。图6图示了应用于样品管的管模型提取低级别提示的示例性响应。

中级别表示：为了得出针对条形码标签状况的最终判定，所提出的方法利用了将低级别提示响应聚集到中级别表示中，这可以被看作用于输入图像的三元组的描述符。该描述符包括但不限制于：分类器响应以及在管模型分割的支持下所提取的图像特征（例如取向信息和颜色统计信息）。由于该表示包括来自多重视图的信息，因此应用了根据所覆盖条形码区域的尺寸的数据序列排序。

条形码标签状况分类：为了得出状况的最终类别标记，使用了诸如随机判定树或支持向量机（svm）之类的分类器。分类的细化导致了子类别并且可以通过附加的分类阶段或直接在中级别表示上完成。

控制器被提供用于管理对由相机拍摄的图像的图像分析，以用于根据侧视图像对样品管上的条形码标签状况进行分类。根据实施例，该控制器可以是样品处理器的一部分，其被用在试管内诊断（ivd）环境中以在存储位置到分析者之间对管托盘和管进行处理和移动。一个或多个存储器设备可以与控制器相关联。该一个或多个存储器设备可以在控制器内部或外部。

尽管已经参照示例性实施例描述了本发明，但本发明不限于此。本领域技术人员将认识到的是，可以对本发明的优选实施例做出许多改变和修改，并且可以在不偏离本发明真实精神的情况下做出这样的改变和修改。因此所意图的是，所附权利要求被理解为覆盖落入本发明真实精神和范围之内的所有这样的等同变化。