基于高光谱成像检查医药物品的制作方法

本发明涉及基于高光谱成像检查医药物品，特别是包括药物的袋，并且特别但不是唯一的，涉及基于高光谱成像检查医药物品的方法和系统以及执行这种方法的计算机程序产品。

背景技术：

1、根据处方向病人提供药物。特别是患有慢性病的人需要周期性地长期服用相同的药。病人经常需要服用不同的药物组合，即，药丸、药片和/或胶囊。为了便于为病人开具处方，可以根据处方使用自动包装系统将药品包装进袋中(例如，透明塑料袋、吸塑或袋子)。不正确的处方包装可能会导致病人服用错误的药物(组合)或不正确的药物剂量，这可能对病人的健康有害。

2、为了降低故障率，医药物品由检查系统进行检测，该系统被配置为使用图像处理系统检查医药物品，其中，医药物品可以表示例如药丸和/或药片、胶囊、安瓿或包括医药物品的包、吸塑或袋。这种检查系统的一个示例在ep 2951563中已知。为了扩展这种检查系统的功能，可以考虑其他检查技术。例如，us2014/0319351描述了基于近红外nir高光谱成像检查布置在吸塑包装中的药丸的在线系统的示例。该检查系统用卤素灯的光来照明吸塑包装中的药丸，然后高光谱图像传感器检测近红外光谱中15个波段的15个响应值。对响应值进行处理以确定属于药丸响应的响应值的部分。然后将这些部分与参考进行比较，以确定药丸是否包含正确的成分。

3、然而，为医药袋建立包括上述高光谱分析能力的准确的高吞吐量检查系统(例如，能够每小时检查10,000袋或更多的检查系统)由于几个原因而具有挑战性。与在吸塑包装中以有序方式在空间上布置一种大小、形状和成分的药丸或胶囊相比，医药袋中的医药物品可以包括不同大小、形状和成分的不同医药物品，它们在空间上以随机的顺序分布。医药物品可能被布置在它们的侧面，彼此相邻或(部分)相互覆盖，而透明袋材料可能在测量数据中引入误差。

4、此外，药物的nir响应是相对较弱的信号，因为大多数药物主要是由相同的原料(涂层、粘合剂材料等)组成的，这些原料通常占药片质量的大部分。因此，为了区分不同的药物，每个像素需要大量的光谱响应值(例如，几百个或更多)，而不是像现有技术中提到的15个值。在这种情况下，高光谱图像数据通常包括需要实时分析的相当数据量的数据块(数据堆)(例如，每张图片超过100m字节)。现有技术中用于处理成像的药物袋的高光谱数据的方法并不适合这一目的。

5、因此，本领域需要改进的检查药品袋的方法和系统，特别是基于电磁波谱近红外部分中的高光谱成像来检查药品袋的方法和系统，这允许准确、实时、高吞吐量地检查药品袋。

技术实现思路

1、如本领域技术人员将理解的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全的硬件实施例、完全的软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例的形式，这些实施例在本文都可以被总体称为“电路”、“模块”或“系统”。本公开中描述的功能可以作为由计算机的微处理器执行的算法来实施。此外，本发明的各方面可以采取在一种或多种计算机可读介质中包含的计算机程序产品的形式，该介质具有在其上包含的计算机可读程序代码(例如，存储)。

2、参考本技术实施例描述的方法、系统、模块、功能和/或算法可以用硬件、软件、或硬件和软件的组合来实现。方法、系统、模块、功能和/或算法可以以集中方式在至少一个计算系统中实现，或者以不同的元件分布在几个互连的计算系统上的分布式方式实现。适于进行本技术中描述的实施例(或其部分)的任何种类的计算系统或其他设备都是适合的。典型的实施方式可以包括一个或多个数字电路，诸如专用集成电路(asic)、一个或多个现场可编程门阵列(fpga)和/或一个或多个处理器(例如，x86、x64、arm、pic和/或任何其它适合的处理器架构)以及相关联的支持电路(例如，存储、dram、闪存、总线接口电路等)。每个分立的asic、fpga、处理器或其它电路可以被称为“芯片”，并且多个这样的电路可以被称为“芯片组”。在实施方式中，可编程逻辑器件可以设置有快速ram，特别是块ram(bram)。另一种实施方式可以包括其上存储有一行或多行代码的非暂时性机器可读(例如，计算机可读)介质(例如，闪存驱动器、光盘、磁存储盘或类似)，当由机器执行时，使机器进行如本公开中所描述的过程。

3、附图中的流程图和框图可以表示本发明的各种实施例的方法、系统和/或模块的可能实施方式的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示模块、段或代码的一部分，其可以作为软件、硬件或软件和硬件的组合来实施。

4、还应当注意的是，在一些替代实施方式中，框中记录的功能可以不按附图中记录的顺序发生。例如，连续示出的两个框实际上可以基本同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还应当注意的是，框图和/或流程图中的每个框以及框图和/或流程图中的框的组合能够由基于专用硬件的系统来实施，该系统执行特定功能或动作，或由专用硬件和计算机指令的组合来实施。

5、本技术实施例的目标是提供医药包的有效和准确的检查方法，所述医药包包含一个或多个医疗物品(例如，药丸和/或胶囊)。

6、特别地，本技术实施例的目标是在医药检查系统中使用高光谱成像，使得该系统能够区分医药物品，所述医药物品对人眼看来相同(例如相同的颜色和形状)，因此无法通过分析医药物品的可见光谱的图像数据来区分。对于准确的医药物品检查系统来说，基于物质(成分)准确区分药物(medication)的能力是非常重要的，因为大量的药物在视觉上区别并不明显(经常是圆形、白色药片)。

7、高光谱成像的技术优势可以包括高光谱分辨率(>200个波段，而不是rgb多光谱成像的三个传统颜色波段)，其允许在可见光谱中检测其他相似物品的差异。此外，其允许基于电磁波谱的非可见部分(近红外部分)来辨别不同的药物。

8、在一个方面，本发明可以涉及一种检查医药物品的方法，包括：捕捉医药物品的图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物，该图像具有第一空间分辨率；捕捉该袋中的医药物品的高光谱图像数据，该高光谱图像数据具有小于第一空间分辨率的第二空间分辨率；确定第一空间分辨率的图像中的像素斑点，每个像素斑点表示医药物品中的一个；基于第一空间分辨率的图像中的像素斑点中的至少一个，从高光谱图像数据中选择至少一个高光谱图像数据部分；基于高光谱图像数据部分确定高光谱指纹，该高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，将高光谱指纹与一个或多个参考指纹进行比较。

9、在一个实施例中，高光谱图像数据的捕捉可以包括将医药物品暴露于具有连续光谱的光，所述连续光谱优选是电磁波谱的可见光和/或近红外域中的连续光谱。

10、在一个实施例中，高光谱数据可以包括像素，每个像素与多个光谱值相关联，优选地多个光谱值包括电磁波谱的可见光和/或近红外域中的光谱值。

11、在一个实施例中，一个或多个单波段或多波段图像可以包括像素的2d网格，每个像素与一个或几个光谱值相关联，所述一个或几个光谱值优选是从一个或多个光谱值(例如，rgb值和/或红外值)中选出的光谱值。

12、在一个实施例中，高光谱图像数据可以包括线扫描高光谱图像数据，该线扫描高光谱图像数据包括像素行。

13、在一个实施例中，该方法还可以包括：基于分割算法，定位与图像中一个或多个医药物品相关联的一个或多个像素组。

14、在一个实施例中，选择一个或多个高光谱图像数据部分可以包括：将该一个或多个像素组中的每一个映射到高光谱图像数据的像素上。

15、在一个实施例中，在选择一个或多个高光谱图像数据部分之前，可以执行以下一个或多个步骤：使用算法，优选聚类算法，从一个或多个高光谱图像数据中去除背景像素(异常值)；以及，从一个或多个高光谱图像数据中去除被镜面反射污染和/或过度曝光的像素。

16、在一个实施例中，确定一个或多个高光谱指纹还可以包括：降低一个或多个高光谱图像数据部分的维度，优选基于pca方法，降低一个或多个高光谱图像数据部分的维度；以及，基于一个或多个降低的高光谱图像数据部分中的至少一个来确定指纹。

17、在一个实施例中，使用相机系统来捕捉一个或多个单波段或多波段图像和高光谱图像数据，优选地相机系统包括多光谱相机，以及可选的单波段或多波段相机，诸如单色或彩色相机。

18、在一个实施例中，高光谱图像数据可以是使用高光谱线扫描相机捕捉的，其中，在捕捉过程中，医药物品相对于高光谱线扫描相机移动，更优选地医药物品移动通过相机系统的视场。

19、在另一个方面，本发明可以涉及一种用于控制医药检查装置的模块，该医药检查设备包括相机系统，该模块包括具有在其中包含的计算机可读程序代码的计算机可读存储介质，以及耦合到该计算机可读存储介质的处理器，优选微处理器，其中，响应于执行该计算机可读程序代码，该处理器被配置为进行可执行操作，包括：捕捉医药物品的图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物，该图像具有第一空间分辨率；捕捉该袋中的医药物品的高光谱图像数据，该高光谱图像数据具有小于第一空间分辨率的第二空间分辨率；确定第一空间分辨率的图像中的像素斑点，每个像素斑点表示医药物品中的一个；基于第一空间分辨率的图像中的像素斑点中的至少一个，从高光谱图像数据中选择至少一个高光谱图像数据部分；基于高光谱图像数据部分确定高光谱指纹，该高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，将高光谱指纹与一个或多个参考指纹进行比较。

20、在进一步的方面，本发明可以涉及一种医药物品检查设备，包括：相机系统，以及计算机可读存储介质，具有在其中包含的至少一部分程序；以及，计算机可读存储介质，具有在其中包含的计算机可读程序代码，以及耦合到计算机可读存储介质的处理器，优选微处理器，其中，响应于执行计算机可读程序代码，处理器被配置为进行可执行的操作，包括：捕捉医药物品的图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物，该图像具有第一空间分辨率；捕捉该袋中的医药物品的高光谱图像数据，该高光谱图像数据具有小于第一空间分辨率的第二空间分辨率；确定第一空间分辨率的图像中的像素斑点，每个像素斑点表示医药物品中的一个；基于第一空间分辨率的图像中的像素斑点中的至少一个，从高光谱图像中选择至少一个高光谱图像数据部分；基于高光谱图像数据部分确定高光谱指纹，该高光谱指纹指示医药物品中一种或多种化合物的光谱响应；以及，将高光谱指纹与一个或多个参考指纹进行比较。

21、在一个实施例中，高光谱数据可以使用高光谱相机确定，该高光谱相机可以被配置为在光谱的近红外(nir)部分中检测成像区域的光谱响应。在另一个实施例中，高光谱相机可被配置为在光谱的可见光和nir部分两者中检测成像区域的光谱响应。在这种情况下，高光谱相机可以在可见光范围和nir范围两者内生成图像数据。如果高光谱相机被配置为同时为每个像素生成nir和可见光谱值两者，就不再需要单独的多光谱相机(例如，rgb或rgb/ir相机)。在这种情况下，可以从高光谱数据堆中提取可见光谱中一个或多个波长的光谱值的一个或多个切片。因此，在该实施例中，可以从高光谱图像数据中得到单色或多色图像。基于该彩色图像，可使用标准的图像处理算法检测和定位医疗物品(例如，药丸)。

22、在一个实施例中，相机系统可以包括高光谱相机和用于照明高光谱相机的成像区域的灯。在一个实施例中，灯可以包括外壳和照明源。在一侧，外壳可以包括允许光从外壳射出并照明医药物品的孔。通常，照明源可以被配置为生成连续光谱的光(诸如卤素灯或光)。这样的照明源会生成大量的热量。因此，在一些实施例中，外壳可以包括可以连接到冷却系统(例如，空气冷却系统)的出口。这样，就能够产生流动(例如，空气流动)，其中热量从孔向出口传输。这样，就可以避免由照明源产生的热量增加其周围的温度。

23、本发明还可以涉及一种检查医药物品的方法，包括：捕捉医药物品的单波段图像或多波段图像，所述医药物品优选是随机布置在袋中的不同形状、大小和/或成分的药物；捕捉该袋中的医药物品的高光谱图像数据；确定单波段图像或多波段图像中的像素斑点，每个像素斑点表示医药物品中的一个；基于单波段图像或多波段图像中的像素斑点中的至少一个，从高光谱图像数据中选择至少一个高光谱图像数据部分；基于该高光谱图像数据部分确定高光谱指纹，该高光谱指纹表示医药物品中一种或多种化合物的光谱响应；以及，将该高光谱指纹与一种或多种参考指纹进行比较。

24、本发明还可以涉及一种计算机程序产品，其包括软件代码部分，该计算机程序产品被配置为当在计算机的存储器中运行时，执行根据上述任何过程步骤的方法步骤。

25、将参考附图进一步示出本发明，附图将示意性地示出根据本发明的实施例。可以理解的是，本发明不以任何方式限制于这些具体的实施例。