基于机器视觉的定量药物分拣系统

本发明涉及机器视觉技术领域，具体来说，是基于机器视觉的定量药物分拣系统。

背景技术：

现有技术中，将机器视觉及机械臂技术应用于药物分配还很少，主要通过机器视觉技术识别药物盒上的标签，从而对药品进行分类。但这些方法无法实现按药品按颗粒数进行定量分拣，不能满足不同患者用药量的实际需求。

技术实现要素：

本发明的目的是提供基于机器视觉的定量药物分拣系统，以解决现有技术中存在的问题。

本发明的目的是这样实现的：基于机器视觉的定量药物分拣系统，包括如下部分：

控制模块，用于处理接收到的信息，并发出控制命令；

机械臂，受控制模块控制，具有抓手；

视觉检测模块，用于实现对药品、药杯的可见光图像的采集；

数据库模块，通过对可见光图像的处理，获得相应的边缘特征集合，然后将得到的特征集送至建立好的深度卷积神经网络进行数据训练，得到分拣使用的数据库；

运动规划模块，分为路径规划部分和抓取动作规划部分，所述路径规划部分用于进行机械臂的路径规划，所述抓取动作规划部分根据得到的目标边缘和深度信息通过比例换算得到物体的实际大小，最后根据物体的实际大小决定机械臂抓手在抓取时张开的角度；

其中，所述控制模块对视觉检测模块采集的图像进行分析，然后由运动规划模块规划机械臂的运动路径并实现抓取，最后对视觉检测模块采集的药杯内图像进行分析比对，以控制各模块完成操作。

本发明的有益效果在于：

主要采用机器视觉识别和机械臂共同实现对颗粒药物的抓取与定量分配，能灵活根据药量需求调整取药数量，从而提高护士的工作效率，降低分配的错误率，保证患者服用药物剂量的准确性，且药物分配可完全在无菌环境下实现，能保证药品的清洁度。

附图说明

图1是本发明的系统流程图。

图2是本发明的系统框架图。

具体实施方式

下面结合附图1-2和具体实施例对本发明进一步说明。

如图1-2所示，基于机器视觉的定量药物分拣系统，包括如下部分：

控制模块，用于处理接收到的信息，并发出控制命令；

机械臂，受控制模块控制，具有抓手；

视觉检测模块，用于实现对药品、药杯的可见光图像的采集；

数据库模块，通过对可见光图像的处理，获得相应的边缘特征集合，然后将得到的特征集送至建立好的深度卷积神经网络进行数据训练，得到分拣使用的数据库；

运动规划模块，分为路径规划部分和抓取动作规划部分，路径规划部分用于进行机械臂的路径规划，抓取动作规划部分根据得到的目标边缘和深度信息通过比例换算得到物体的实际大小，最后根据物体的实际大小决定机械臂抓手在抓取时张开的角度。

其中，控制模块对视觉检测模块采集的图像进行分析，然后由运动规划模块规划机械臂的运动路径并实现抓取，最后对视觉检测模块采集的药杯内图像进行分析比对，以控制各模块完成操作。

上述视觉检测模块包括摄像头，本实施例中摄像头选用双目深度摄像头。

上述视觉检测模块的摄像头安装在机械臂附近并不干涉机械臂的工作位置。

上述视觉检测模块在使用时，通过摄像头采集可见光图像，将边缘特征信息及深度信息反馈至控制模块；在机械臂完成抓取后，视觉检测模块的摄像头采集药杯内图像，在控制模块进行数量信息比对。

上述运动规划模块的路径规划部分通过强化学习的q-learning算法实现机械臂的路径规划。

以机械臂的底座中心为坐标原点构建三维坐标系，并将周围环境添加到三维坐标系中，周围环境包括药品位置和药杯位置，并进行各部件位置的初始化。

上述视觉检测模块在使用时，采用canny算子提取rgb图像的边缘特征，然后将边缘特征发送至数据库进行比对和判断；如果数据符合数据库的训练结果，则对采集的深度图和rgb图进行处理，获得目标的位置和大小数据。

上述视觉检测模块的摄像头采集药杯内图像，控制模块使用halcon库算法分析药品数量，完成比对。

本实施例利用halcon库算法中的算子对药品图像进行分析，从而计算药品数量，主要包括以下算子：bin_threshold(自动阈值分割)；complement(求反)；closing_circle(闭运算)；fill_up_shape(空洞填充)；distance_transform(欧氏距离函数的距离变换)；invert_image(图像取反)；scale_image_max(增加对比度)；gauss_image(高斯平滑处理)；watersheds_threshold(分水岭算法)；count_obj(计数)。

本实施例在实施时，按照如下步骤：

1、系统平台架设，将机械臂固定起来，将双目深度摄像头用支架安装在机械臂附近不影响工作的位置；

2、系统初始化，建立一个以机械臂的底座中心为坐标原点的三维坐标系，并将周围环境添加到坐标系中(如药品位置，药杯位置)，进行各部件位置的初始化；

3、采集机械臂、药品图像，通过双目深度摄像头同时采集rgb与深度图像，将采集的rgb图发送给控制模块；

4、分析图像，采用canny算子提取rgb图像的边缘特征，然后将特征发送至数据库进行比对和判断，如果数据符合数据库的训练结果，则对采集的深度图和rgb图进行处理，获得目标的位置和大小数据；

5、规划路径，结合相机所在的坐标位置、图像的深度信息以及得到的边缘特征信息，采用比例换算，在坐标系中建立目标物体的模型，利用q-learning算法规划机械臂初始位置与目标位置之间的路径，将每次运动后的位置状态作为state，即每次运动后对机械臂的输入，每次动作过程中机械臂各关节的运动作为action，每次预判位置与目前所处位置之间的空间关系作为reward，即在每次运动中对于机械臂运动规划的反馈，每次的位置所处坐标系作为environment，接收action，返回state和reward；

6、抓取，机械臂到达目标位置后，控制模块依据建立的物体模型大小，发送给机械臂张开抓手的指令，机械臂接收指令并完成抓取，随后，再次利用强化学习算法规划当前所在位置与目的地的路径，完成转移、复位和初始化。

7、分析图像，利用双目深度摄像头采集药杯内图像，控制模块使用halcon库算法分析药品数量，完成比对。

如图1所示为本系统的控制逻辑示意图，首先，从后台数据库中获取分配信息，包括患者信息、床号、药品种类、药品数量等。然后，通过视觉检测模块，采集药品、药杯的图像信息发送给控制模块，由控制模块进行路径规划，并驱使机械臂完成抓取。再由视觉检测模块，检测药杯内药品数量，由控制模块判断是否达到要求，若不符合，则重新计算抓取数量；若符合，则等待下一个抓取目标。

以上是本发明的优选实施例，本领域普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本发明总的构思的前提下，这些变换或改进都应当属于本发明要求保护范围之内。