基于机器视觉的仓库自动巡检系统及方法与流程

本发明涉及智能物流技术领域，更具体地说，涉及基于机器视觉的仓库自动巡检系统及方法。

背景技术

机器视觉，通俗来讲，就是用机器代替人眼来做测量和判断，其核心理论为图像处理，是一门涉及诸多领域的交叉学科，广泛应用在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合。其通过图像摄取装置将被摄取目标转换成图像信号，传送给图像处理系统，然后根据像素分布和亮度、颜色等信息，进行运算来抽取目标的特征，例如面积、长度、数量、位置等，最后根据预设的判断来输出结果，如尺寸、角度、偏移量、个数、合格或不合格、有或无等。

仓库管理系统中的盘点是是指定期或临时对库存商品的实际数量进行清查、清点的作业，即为了掌握货物的流动情况(入库、在库、出库的流动状况)，对仓库现有物品的实际数量与保管账上记录的数量相核对，以便准确地掌握库存数量。盘点方式通常有两种:一种是定期盘点，即仓库的全面盘点，是指在一定时间内，一般是每季度、每半年或年终财务结算前进行一次全面的盘点，由货主派人同仓库保管员、商品会计一起进行盘点对账；二是临时盘点，即当仓库发生货物损失事故，或保管员更换，或仓库与货主认为有必要盘点对账时，组织一次局部性或全面的盘点。实践表明，仓库盘点的误差中约65％是由于人为原因，人工手工录单，容易发生人工录入错误从而导致盘点错误。

仓储在企业的整个供应链中起着至关重要的作用，如果不能保证正确的进货和库存控制及发货，将会导致管理费用的增加，服务质量难以得到保证，从而影响企业的竞争力。仓库盘点管理目前最常采用的是人工进行盘点，需要多个部门的配合，仓库部主要负责组织、实施仓库盘点作业、最终盘点数据的查核，校正，盘点总结；财务部需要负责稽核仓库盘点作业数据，以反馈其正确性。整个过程涉及的人员比较多，工作复杂程度大，无法准确把握盘点的准确率，造成盘点误差不能在一个确定的范围内，不可控制。传统简单、静态的仓储管理已无法保证企业各种资源的高效利用。如今的仓库作业和库存控制作业已十分复杂化多样化，仅靠人工记忆和手工录入，不但费时费力，而且容易出错，给企业带来巨大损失。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的缺陷，提供基于机器视觉的仓库自动巡检系统及方法，其能够不依靠人力进行仓库盘点，不但节约了人力、提高了盘点准确性，而且能够及时提供报警信息，使仓库补货及时。

本发明解决其技术问题所采用的技术方案是：一方面，构造基于机器视觉的仓库自动巡检系统，包括：智能巡检机器人、监控巡检计算机和报警单元

所述智能巡检机器人，用于获取货架内的货物信息；

所述监控巡检计算机，用于控制智能巡检机器人到达货架内的指定货物单元获取相应货物信息；并分析处理所述货物信息，根据处理后的货物信息控制报警单元；

所述报警单元，用于产生报警信息；

所述智能巡检机器人与监控巡检计算机无线相连；

所述监控巡检计算机的输出端与报警单元的输入端相连。

另一方面，构造基于机器视觉的仓库自动巡检方法，包括：

监控巡检计算机控制智能巡检机器人到达货架内的指定货物单元；

智能巡检机器人获取指定货物单元的货物信息，并将货物信息传送至监控巡检计算机；

监控巡检计算机分析处理智能巡检机器人传送的货物信息，并根据处理后的货物信息判断是否驱动报警单元；

若监控巡检计算机判定驱动报警单元，则报警单元产生报警信息；

若监控巡检计算机判定不驱动报警单元，则报警单元不启动。

在本发明中，由智能巡检机器人代替人工对仓库进行巡检；智能巡检机器人受中控巡检计算机的控制可以在仓库的货架中自动到达指定的货物单元。然后智能巡检机器人获取图像信息后上传至中控巡检计算机，由中控巡检计算机判定是否出发报警信息。因此，本发明可以节约仓库盘点的人力，提高盘点准确性；还能够及时补充仓库货物，降低了企业因为缺货而产生生产停止或者顾客服务水平下降的风险，保障企业的日常运营生产的稳定性。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的系统结构示意图；

图2是本发明实施例中智能巡检机器人与货架的构示意图；

图中：货架1、智能巡检机器人2(其中：图像采集单元2.1、图像采集卡2.1.1、摄像头2.1.2、转向装置2.1.3、伸缩装置2.1.4、行走单元2.2、行走轮2.2.1、红外传感器2.2.2、电源2.2.3、无线传输单元2.3、微控制器2.4)、中控巡检计算机3(其中：图像处理单元3.1、控制器3.2)、无线通讯单元4、报警单元5(其中：灯具驱动单元5.1、预警提示灯5.2)。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

如图1和2所示，在本发明的基于机器视觉的仓库自动巡检系统，包括：智能巡检机器人2、监控巡检计算机3和报警单元5；

所述智能巡检机器人2，用于获取货架1内的货物信息；

所述监控巡检计算机3，用于控制智能巡检机器人2到达货架1内的指定货物单元获取相应货物信息；并分析处理所述货物信息，根据处理后的货物信息控制报警单元5；

所述报警单元5，用于产生报警信息；

所述智能巡检机器人2与监控巡检计算机3无线相连；

所述监控巡检计算机3的输出端与报警单元5的输入端相连。

货架1即需要进行盘点的货物，货物按一定的存取规则存储在仓货架1上不同货物单元。

进一步地，所述巡检系统还包括：无线通讯单元4，所述无线通讯单元4分别与智能巡检机器人2和监控巡检计算机3相连。

无线通讯单元4包括发射机、接收机。无线通讯单元4可以将监控巡检计算机3发出的指令发送给智能巡检机器人2的无线传输单元2.3，可以接收智能巡检机器人2发送的图片和位置等信息。

更进一步地，所述智能巡检机器人2包括：图像采集单元2.1、行走单元2.2、无线传输单元2.3和微控制器2.4；

所述微控制器2.4分别与图像采集单元2.1、行走单元2.2和无线传输单元2.3相连；

所述无线传输单元2.3与图像采集单元2.1相连；

所述无线传输单元2.3与无线通讯单元4无线相连；

所述微控制器2.4，用于控制行走单元2.2，使得智能巡检机器人2在货架1内移动；并控制图像采集单元2.1获取货架1内的货物信息；

所述监控巡检计算机3通过无线通讯单元4和无线传输单元2.3向微控制器2.4发出控制指令。

图像采集单元2.1为一部耐高温的ccd相机。在智能巡检机器人2的顶端安装ccd相机和照明灯，该ccd相机具有转向装置2.1.3和伸缩装置2.1.4，因此，ccd相机可以跟据物体的不同位置进行伸缩移动进行拍摄。

微控制器2.4是安装在智能巡检机器人2内部的控制面板，对机器人的行走、移动、拍摄和传输等行为进行控制。

无线传输单元2.3包括发射机、接收机。无线传输单元2.3可以将图像采集单元2.1采集到的图像信息通过无线通讯单元4实时上传到中控巡检计算机3。

再进一步地，所述图像采集单元2.1包括：图像采集卡2.1.1和摄像头2.1.2；图像采集卡2.1.1安装在智能巡检机器人2的内部；

所述摄像头2.1.2，用于获取货架1内的货物信息；

所述图像采集卡2.1.1，用于存储所述货物信息；

所述摄像头2.1.2与微控制器2.4相连；

所述监控巡检计算机3包括：图像处理单元3.1和控制器3.2；

所述图像处理单元3.1，用于处理所述货物信息；

所述控制器3.2，用于控制智能巡检机器人2到达货架1内的指定货物单元获取相应货物信息，并根据处理后的货物信息控制报警单元5；

所述控制器3.2通过无线通讯单元4和无线传输单元2.3，与微控制器2.4相连；

所述图像处理单元3.1通过无线通讯单元4和无线传输单元2.3，与图像采集卡2.1.1相连。

ccd相机将拍摄到的图像传递给图像采集卡2.1.1，图像采集卡2.1.1将获取的货物存储图像数据通过图片数据格式输送到图像处理单元3.1的信息输入接口。

图像处理单元3.1可为一台计算机，配置matlabr2016版本与arm处理器。

还进一步地，所述行走单元2.2包括：行走轮2.2.1、红外线传感器2.2.2和电源2.2.3；

所述行走轮2.2.1，用于智能巡检机器人2的移动；

所述红外线传感器2.2.2，用于确认和传输智能巡检机器人2的位置信息；

所述电源2.2.3，用于提供智能巡检机器人2的电能；

所述红外线传感器2.2.2通过微控制器2.4、无线通讯单元4和无线传输单元2.3与控制器3.2进行信息交互。

红外线传感器2.2.2进行智能巡检机器人2的定位，可以实现避让，避免智能巡检机器人2与障碍物相撞，将智能巡检机器人2的实时位置上传到中控巡检计算机3。

又进一步地，所述报警单元5包括：灯具驱动单元5.1和预警提示灯5.2；

所述灯具驱动单元5.1与图像处理单元3.1相连。

预警提示灯5.2包括小型led显示屏和xd1-6.3v指示灯，小型led显示屏安装在每个货物单元上通过无线传输实时与中控巡检计算机3相连。xd1-6.3v指示灯安装在中控巡检计算机3所处的中控室。

根据上述基于及其视觉的仓库自动巡检系统的结构，按上述方案，智能巡检机器人2获取到存储在货物单元托盘上的货物的图像后，需要将图像上传到中控巡检计算机3中，利用中控巡检计算机3对图像进行处理、分析和理解，通过目标区域匹配的sar目标识别方法，实现对图像的再认，获得货物单元所存储货物的属性，通过图片特征与属性规则库匹配得到该托盘存储货物数量，待所有货物盘点完毕后，将同种货物数量相加与该货物的安全库存进行对比，如果小于等于安全库存表示需要进行补货，当监测到货物数量小于等于安全库存时，中控巡检计算机3的控制器3.2信息输出并通过报警单元5开启xd1-6.3v指示灯，货物单元上的小型led显示屏显示缺货数量。当监测到货物数量与保管账上记录的数量不相符时，报警单元5也发出警报。

预警提示灯5.2自动点亮，同时生成一组信息传递给无线通讯单元4，无线通讯单元4的显示屏上也会弹出警告标志，提醒工作人员某货物需要进行补货，或者出现实物与账面货物数量不符合。

本发明所述的基于机器视觉的仓库自动巡检方法，包括：

监控巡检计算机3控制智能巡检机器人2到达货架1内的指定货物单元；

智能巡检机器人2获取指定货物单元的货物信息，并将货物信息传送至监控巡检计算机3；

监控巡检计算机3分析处理智能巡检机器人2传送的货物信息，并根据处理后的货物信息判断是否驱动报警单元5；

若监控巡检计算机3判定驱动报警单元5，则报警单元5产生报警信息；

若监控巡检计算机3判定不驱动报警单元5，则报警单元5不启动。

进一步地，所述智能巡检机器人2获取指定货物单元的货物信息，并将货物信息传送至监控巡检计算机3，具体包括：

当智能巡检机器人2到达货架1内的指定货物单元后，智能巡检机器人2中图像采集单元2.1的摄像头2.1.2拍摄指定货物单元上的货物照片；

智能巡检机器人2中图像采集单元2.1的图像采集卡2.1.1将指定货物单元的货物照片进行储存；

图像采集卡2.1.1将指定货物单元的货物照片传送至监控巡检计算机(3)的图像处理单元3.1。

更进一步地，所述监控巡检计算机3分析处理智能巡检机器人2传送的货物信息，具体包括：

图像处理单元3.1对图像采集卡2.1.1传送的指定货物单元的货物照片基于目标区域匹配的sar目标识别方法进行处理，得到所述指定货物单元上存放货物的数量；

所述监控巡检计算机3根据处理后的货物信息判断是否驱动报警单元5，具体包括：

图像处理单元3.1根据指定货物单元上存放货物的数量，统计货架1内同一种类货物的数量；

若货架1内同一种类货物的数量小于等于安全库存时，则判定驱动报警单元5；

若货架1内同一种类货物的数量大于安全库存时，则判定不驱动报警单元5。

再进一步地，所述图像处理单元3.1对图像采集卡2.1.1传送的指定货物单元的货物照片基于目标区域匹配的sar目标识别方法进行处理，具体包括：

步骤1、从所述货物照片中提取二值化目标区域；具体如下：

对原始sar图像(指定货物单元的货物照片)进行直方图均衡化，将其动态范围变换到[0，1]；

对直方图均衡化的图像进行均值滤波；

采用门限法进行图像分割，门限值一般取0.8；

针对目标区域可能出现的微小断裂和空洞以及背景杂波的影响，采用数学形态学运算进行消除。

步骤2、根据货物照片中提取二值化目标区域和所盘点货物的类别名称，从模板库中获取对应的各模板照片，并计算所述模板照片的目标区域；

步骤3、计算货物照片的二值化目标区域与各模板照片的目标区域的残差；

步骤4、根据货物照片的二值化目标区域与各模板照片的目标区域的残差，得到货物照片的二值化目标区域与各模板照片的目标区域的残差的匹配度。基于目标区域残差的匹配度的计算公式为：

公式(1)中，cf,s：目标区域残差的匹配度；

f：待识别图像；

g：模板图像；

m：目标区域横坐标；

n:目标区域纵坐标；

sf：待识别图像的目标区域像素个数；

sg：模板图像目标区域的像素个数；

se：待识别图像与模板图像的目标区域残差的像素个数；

待识别图像与模板图像的目标区域某点残差的像素

fbit(m,n)：待识别图像的目标区域某个像素；

gbit(m,n)：模板图像目标区域某个像素。

区域残差的像素数量反映了相似度的大小，当待识别图像的目标区域与模板图像的目标区域无交集时，此时匹配度为0；当待识别图像与模板图像的目标区域完全重合时，匹配度为1。在本实施例中，所述待识别图像指的是当前指定货物单元的货物照片。

步骤5、根据所述匹配度，确定当前货物照片内货物类型；

步骤6、根据当前货物照片内货物类型，以及各模板照片的目标区域所代表的货物数量，来确定当前货物照片所包含的货物数量。

在本发明所述的方法中：

智能巡检机器人2接受到中控巡检计算3机的指令，寻找待盘点的货物的位置；

通过图像采集单元2.1获取货物单元托盘上存储货物的图像；

将图像采集单元2.1传来的图像导入图像处理单元3.1中，基于目标区域匹配的sar目标识别方法得到货物属性，对比属性规则库得到单个托盘上货物的库存数量，统计同类货物所有货物的存储量，以此判断仓库实际存储情况；

当存储量小于安全库存时，信息输出并通过报警单元5进行预警。

其中，机器视觉与机器语言转换规则，具体如下：

确定每种货物的存储情况；

利用智能巡检机器人2获取货物各种情况(托盘上满货时，托盘上被取走一件货时，等等)下的存储的图像；

根据不同的存储图像，设置属性规则库，托盘满载时的图片所对应的数量即满载数量，以此类推(一个托盘满载可放4件货物，那该情况下所得到的图片所对应的数量即4)。

本发明的有益效果在于：

本发明模拟了人类视觉处理景物的方式，对仓库存储的货物进行自动巡检盘点，降低了人工盘点录单产生错误率，从而降低盘点错误率，保障企业正常生产运作的稳定性。保证正确的进货和发货，降低货物管理费用，使服务质量得到保证，从而提高企业的竞争力。通过自动巡检盘点降低了劳动力的使用情况，可以节省劳动力，使盘点工作复杂程度降低，不受时间约束，可进行24小时的盘点，保证企业各种资源的高效利用。

通过将图像采集单元2.1在特定位置以特定的角度采集货物图像，通过图像处理单元3.1可以快速精确的测出货物存储量，企业可以及时进行补货纠正，可快速的进行仓库现有物品的实际数量与保管账上记录的数量的核对，以便准确地掌握库存数量。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。