药品检测方法、装置、电子终端及存储介质与流程

本发明涉及药品发放技术领域，尤其涉及一种药品检测方法、装置、电子终端及存储介质。

背景技术：

在医院的药房中，通常都会设置有发药系统，该发药系统通常会设置有出药口，该发药系统会从该出药口送出预设类型的药品，可以理解的是，该发药系统有可能会出错，即该药品与该预设类型有可能不对应，在现有技术中，通常都是通过人工检查来纠正该错误，可以理解的是，该方法不仅耗费人力，且错误的概率也较大。

因此，设计一种能够进行错误纠正的药品检测方法，就成为一个亟待解决的问题。

技术实现要素：

本发明的目的在于提供一种药品检测方法、装置、电子终端及存储介质。

为了实现上述发明目的之一，本发明一实施方式提供了一种用于发药系统的药品检测方法，包括以下步骤：获取目标药品类型及对应的若干模板图片，其中，每个模板图片中均包含有所述目标药品类型对应的药品的药盒中的一个外侧面；基于所述目标药品类型、控制所述发药系统送出目标药品，并拍摄包含目标药品的的药盒的药盒图片；在确定任一模板图片与所述药盒图片匹配时，所述发药系统送出正确的目标药品。

作为本发明一实施方式的进一步改进，所述“确定任一模板图片与所述药盒图片匹配”具体包括：持续从所述若干模板图片中选择出一个未处理模板图片，判断未处理模板图片与药盒图片是否匹配，直至未处理模板图片与药盒图片匹配或者所述若干模板图片均已经被处理。

作为本发明一实施方式的进一步改进，所述“判断未处理模板图片与药盒图片是否匹配”具体包括：分别获取未处理模板图片的多个第一特征点、所述药盒图片对应的多个第二特征点，从多个第一、第二特征点中、获取未处理模板图片和药盒图片中的最邻近的若干匹配特征点；基于所述若干匹配特征点、获取所述药盒图片到所述模板图片的变换矩阵，利用所述变换矩阵对所述药盒图片进行处理，之后再进行投射变换处理，得到待比对图片；判断待比对图片与未处理模板图片是否匹配。

作为本发明一实施方式的进一步改进，所述“判断待比对图片与未处理模板图片是否匹配”具体包括：从未处理模板图片中、选择外侧面对应的图像区域中的若干第一点；当存在任意的第一点在待比对图片中不在对应的第二点时，则待比对图片与未处理模板图片不匹配。

作为本发明一实施方式的进一步改进，在每个模板图片中，外侧面对应的图片区域呈矩形；在待比对图片中，若干第一点包含有：分别位于所述外侧面的四个边界上的多个点；所述“判断待比对图片与未处理模板图片是否匹配”还包括：从所述待比对图片选择与若干第一点对应的若干第二点，当若干第二点构成第二矩形、且若干第一点构成的第一矩形与第二矩形的面积之间的差值的绝对值≤预设差值时，确定待比对图片与未处理模板图片匹配。

作为本发明一实施方式的进一步改进，所述“分别获取未处理模板图片的多个第一特征点、所述药盒图片对应的多个第二特征点”具体包括：基于surf算法，分别获取未处理模板图片的多个第一特征点、所述药盒图片对应的多个第二特征点。

作为本发明一实施方式的进一步改进，所述“从多个第一、第二特征点中、获取未处理模板图片和药盒图片中的最邻近的若干匹配特征点”具体包括：基于knn算法，从第一、第二特征点中、获取未处理模板图片和药盒图片中的最邻近的匹配特征点。

本发明实施还例提供了一种用于发药系统的药品检测装置，包括以下模块：模板图片获取模块，用于获取目标药品类型及对应的若干模板图片，其中，每个模板图片中均包含有所述目标药品类型对应的药品的药盒中的一个外侧面；药盒图片获取木块，用于基于所述目标药品类型、控制所述发药系统送出目标药品，并拍摄包含目标药品的的药盒的药盒图片；处理模块，用于在确定任一模板图片与所述药盒图片匹配时，所述发药系统送出正确的目标药品。

本发明实施例还提供了一种存储介质，存储有程序指令，所述程序指令被执行时实现上述药品检测方法。

本发明实施例还提供了一种电子终端，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现本发明实施例还提供了药品检测方法。

相对于现有技术，本发明的技术效果在于：本发明实施例提供一种药品检测方法、装置、电子终端及存储介质，所述药品检测方法包括：以下步骤：获取目标药品类型及对应的若干模板图片，其中，每个模板图片中均包含有所述目标药品类型对应的药品的药盒中的一个外侧面；基于所述目标药品类型、控制所述发药系统送出目标药品，并拍摄包含目标药品的的药盒的药盒图片；在确定任一模板图片与所述药盒图片匹配时，所述发药系统送出正确的目标药品。从而能够自动识别发药错误。

附图说明

图1是本发明实施例中的发药系统的一种结构示意图；

图2是本发明实施例中的药品检测方法的流程示意图。

具体实施方式

以下将结合附图所示的各实施方式对本发明进行详细描述。但这些实施方式并不限于本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

本文使用的例如“上”、“上方”、“下”、“下方”等表示空间相对位置的术语是出于便于说明的目的来描述如附图中所示的一个单元或特征相对于另一个单元或特征的关系。空间相对位置的术语可以旨在包括设备在使用或工作中除了图中所示方位以外的不同方位。例如，如果将图中的设备翻转，则被描述为位于其他单元或特征“下方”或“之下”的单元将位于其他单元或特征“上方”。因此，示例性术语“下方”可以囊括上方和下方这两种方位。设备可以以其他方式被定向(旋转90度或其他朝向)，并相应地解释本文使用的与空间相关的描述语。

本发明实施例一提供了一种用于发药系统的药品检测方法，这里，该发药系统的具体结构可以如图1所示，包括：储药装置、传送带装置和发药装置，该储药装置设置有出药口且能够存储药品，当接收到目标药品类型时，该储药装置从出药口送出药品，之后药品会掉落到传送带装置上，传送带装置能够将该药品传送到发药装置，之后发药装置就能够将药品分发出去。该摄像头能够对出药口所送出的药品进行拍摄，例如，当药品被送出出药口时，会掉落到传动带装置上，此时，摄像头就能够进行拍摄了。可选的，该摄像头上设置有灯泡，在环境比较暗淡的时候，可以打开该灯泡；该药品为盒装药；可选的，该传送带装置与出药口的连接处的正上方可以设置该摄像头，且摄像头中的镜头正对传送带装置，从而能够降低照片歪的概率。

如图2所示，包括以下步骤：

步骤201：获取目标药品类型及对应的若干模板图片，其中，每个模板图片中均包含有所述目标药品类型对应的药品的药盒中的一个外侧面；这里，在实际中，一般的药品都是使用药盒来包装的，该药盒通常为方盒，具有六个外侧面，每个外侧面都印刷有图案或文字等信息，每个模板图片可以为拍摄一个外侧面所得到的照片；这里，在实际中，药品的药盒有可能会有多个样式，因此，可以对所有样式的药盒的每个侧面都拍照，然后，可以将得到的所有照片作为该药品的对应的模板图片。

步骤202：基于所述目标药品类型、控制所述发药系统送出目标药品，并拍摄包含目标药品的的药盒的药盒图片；这里，该发药系统会从其内部的存储空间中获取该目标药品类型对应的药品，并送出。此时，可以控制摄像头拍摄该目标药品对应的药盒的药盒照片。可选的，该目标药品从出药口掉落时，会掉落在传送带装置上，此时，可以等该药盒静止之后，再控制摄像头拍摄目标药品的药盒的外侧面的图片，

步骤203：在确定任一模板图片与所述药盒图片匹配时，所述发药系统送出正确的目标药品。这里，可以理解的是，只要该药盒图片能够与任一的模板图片匹配，则该目标药品类型与该药品相对应，则，药发药系统送出了正确的目标药品。

这里，可选的，药盒的外侧面通常是一个矩形，为了便于进行比对，模板图片中会有一个区域对应到其包含的外侧面，为了处理方便，可以令该区域为一个矩形区域，如果不为矩形区域则可以对图像进行水平校正处理。同样的，药盒图片也有可能是歪的，因此，该药盒图片中可能包含有若干个外侧面，可以选择药盒图片中的最清晰的外侧面，然后对该药盒图片进行水平校正处理，使得该最清晰的外侧面对应的区域为矩形，药盒图片变歪的原因可能为：(1)拍摄时镜头不正，拍出来的图像是有平面倾斜角的；(2)拍摄时镜头水平面和药盒的上侧面不是平行的，导致拍摄的图像透视变形。

对图像进行水平校正处理的步骤可以具体包括：(1)药盒的外侧面通常为一个矩形，因此，该矩形具有两个相互平行的侧边，因此，可以利用hough变化检测出这两条侧边，然后可算出整个药盒图片的平面倾斜角度，然后再根据坐标系做矩阵运算，对所有像素点进行几何变化，实现药盒图片的水平校正。(2)还可以使用透视变形，即通过药盒的外侧面的相对的两侧边的坐标计算变换，在完成水平倾斜校正之后，再对两侧边进行坐标计算变换，同时完成透视变形校正和缩放变形校正，具体可以为：对药盒图像进行灰度化处理→消除噪音处理→二值化处理→角点坐标化→水平面倾斜校正→透视变形校正→缩放变形校正→得到校正图像。

本实施例中，所述“确定任一模板图片与所述药盒图片匹配”具体包括：持续从所述若干模板图片中选择出一个未处理模板图片，判断未处理模板图片与药盒图片是否匹配，直至未处理模板图片与药盒图片匹配或者所述若干模板图片均已经被处理。这里，由于该模板图片的数量可能为多个，因此，可以一个接着一个对该模板图片进行处理，如果有一个模板图片与药盒图片匹配，则述发药系统送出正确的目标药品；而如果，在对所有的模板图片都进行处理之后，仍然没法发现一个与药盒图片相匹配的模板图片，则表示发药系统送出错误的目标药品。

本实施例中，所述“判断未处理模板图片与药盒图片是否匹配”具体包括：

分别获取未处理模板图片的多个第一特征点、所述药盒图片对应的多个第二特征点，从多个第一、第二特征点中、获取未处理模板图片和药盒图片中的最邻近的若干匹配特征点；

基于所述若干匹配特征点、获取所述药盒图片到所述模板图片的变换矩阵，利用所述变换矩阵对所述药盒图片进行处理，之后再进行投射变换处理，得到待比对图片；

判断待比对图片与未处理模板图片是否匹配。

这里，第一、第二特征点分别为未处理模板图片和药盒图片的图像特征，在实际中，模板图片和药盒图片的拍摄角度和方位等有可能不相同，因此，可以使用surf(speeduprobustfeature)算法进行相应的处理，从而能够可以对药盒图片进行图形变换处理和投射变换处理，并得到待比对图片，可以理解是，该待比对图片与未处理模板图片的拍摄角度和方位是相同的，之后，可以获得这两个图片的特征描述子，然后根据描述子的相似程度对两幅图像的特征之间进行匹配

可选的，可以使用opencv中的findhomography函数来得到转换矩阵，使用perspectivetransform来进行投射变换处理。

本实施例中，所述“判断待比对图片与未处理模板图片是否匹配”具体包括：从未处理模板图片中、选择外侧面对应的图像区域中的若干第一点；当存在任意的第一点在待比对图片中不在对应的第二点时，则待比对图片与未处理模板图片不匹配。这里，如果待比对图片与未处理模板图片之间是匹配的，则在未处理模板图片中，外侧面对应的图像区域中的所有的点，在待比对图片中，都应该存在对应的点，反之，如果存在任意的第一点在待比对图片中不在对应的第二点时，则待比对图片与未处理模板图片不匹配。

本实施例中，在每个模板图片中，外侧面对应的图片区域呈矩形；在待比对图片中，若干第一点包含有：分别位于所述外侧面的四个边界上的多个点；所述“判断待比对图片与未处理模板图片是否匹配”还包括：从所述待比对图片选择与若干第一点对应的若干第二点，当若干第二点构成第二矩形、且若干第一点构成的第一矩形与第二矩形的面积之间的差值的绝对值≤预设差值时，确定待比对图片与未处理模板图片匹配。这里，由于若干第一点包含有位于所述外侧面的四个边界上的点，在若干第一点能够构成一个矩形，相应的，若干第二点也应该能够构成一个矩形，且这两个矩形的面积应该差不多，即有些误差，但差值的绝对值很小(即差值的绝对值≤预设差值，预设差值≥0)相等。可选的，所述“若干第一点构成的第一矩形与第二矩形的面积之间的差值的绝对值≤预设差值”可以包括：|第一矩形的面积-第二矩形的面积|/第一矩形的面积≤20％；或者|第一矩形的面积-第二矩形的面积|/第二矩形的面积≤20％。。

本实施例中，所述“分别获取未处理模板图片的多个第一特征点、所述药盒图片对应的多个第二特征点”具体包括：基于surf(speeduprobustfeature)算法，分别获取未处理模板图片的多个第一特征点、所述药盒图片对应的多个第二特征点。surf算法可以视为加速版的sift算法。具有以下特点：使用积分图像完成图像卷积(相关)操作，使用hessian矩阵检测特征值，使用基于分布的描述符(局部信息)；其步骤通常为：特征提取，特征匹配和放射变换。

本实施例中，所述“从多个第一、第二特征点中、获取未处理模板图片和药盒图片中的最邻近的若干匹配特征点”具体包括：基于knn(k-nearestneighbor)算法，从第一、第二特征点中、获取未处理模板图片和药盒图片中的最邻近的匹配特征点。这里，如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。knn算法的基本步骤可以包括：1、准备数据，对数据进行预处理；2、计算测试样本点(也就是待分类点)到其他每个样本点的距离；3、对每个距离进行排序，然后选择出距离最小的k个点；4、对k个点所属的类别进行比较，根据少数服从多数的原则，将测试样本点归入在k个点中占比最高的那一类。

本发明实施例二提供了一种用于发药系统的药品检测装置，包括以下模块：

模板图片获取模块，用于获取目标药品类型及对应的若干模板图片，其中，每个模板图片中均包含有所述目标药品类型对应的药品的药盒中的一个外侧面；

药盒图片获取木块，用于基于所述目标药品类型、控制所述发药系统送出目标药品，并拍摄包含目标药品的的药盒的药盒图片；

处理模块，用于在确定任一模板图片与所述药盒图片匹配时，所述发药系统送出正确的目标药品。

本发明实施例三提供了一种存储介质，存储有程序指令，所述程序指令被执行时实现如实施例一中所述的药品检测方法。

本发明实施例四提供了一种电子终端，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如实施例一中所述的药品检测方法。

应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。