基于AR与枪球联动的高位物料可视化方法与流程

基于ar与枪球联动的高位物料可视化方法
技术领域
1.本发明涉及图像处理技术领域，具体涉及基于ar与枪球联动的高位物料可视化方法。


背景技术：

2.随着物流行业的价值逐渐被重视，物流仓储成为热点之一，但是由于我国物流仓储业起步较晚，传统物流仓储的以下痛点制约着行业的发展：
3.1、效率低下，效率低下的情况主要出现在仓库刚刚开始运作的阶段或新的工作人员进入仓库，由于工作人员对仓库布局、货物摆放、工作流程等不是很熟悉，人员之间缺乏了解和工作默契，或因为前期设备、人员准备不重复，导致订单不能有效准时备货和发货。
4.2、库存混乱，库存混乱的第一个表现就在于库存不准确，当工作人员根据订单备货时，无法在相应的位置找到对应的货物，导致仓库运转效率低下，同时出现不必要的错误和损失；
5.3、盘点商品太多，出入库数据不准确，盘点可以挽救，若遇到大量数据需要盘点，盘点的过程不会有趣，甚至枯燥，并由于人工清点容易出现误差。
6.随着ar物流管理技术的出现，大幅度降低的仓储成本以及提高了效率性和准确性，员工佩戴上ar智能眼镜后(可自由选择是否搭配扫码指环)，利用摄像机所采集得到的图像，实现对货物进行二维码、条码、标签、文数字ocr等进行识别，匹配对应的货物信息，员工可以在眼镜端看到相关仓储信息或者作业工单，实现智能视觉分拣与仓储管理。
7.在采集图像过程中，由于获取在仓库内都是摆放在物料架上的，因此，对每个物料进行图像采集时，由于物料摆放的不规则，且相机的采集范围是有限的，故位于物料架上的高位置的物料作为高位物料，在物料图像采集时是通过相机对物料图像获取，然而高位物料与相机正对的物料中的条码尺寸视觉差异大，导致在对应条码识别时可能并不能准确识别，进而无法准确获取高位处的物料信息，影响物料的收发货，从而导致经济损失。
8.因此，需要提供基于ar与枪球联动的高位物料可视化方法，予以解决上述问题。


技术实现要素：

9.本发明提供基于ar与枪球联动的高位物料可视化方法，以解决现有的问题。
10.本发明的基于ar与枪球联动的高位物料可视化方法采用如下技术方案：该方法包括：
11.获取物料架上所有物料的全局图像及物料架上的高位物料图像；
12.获取高位物料图像中每个物料的条码图像，并获取条码图像的中条码线与水平方向的夹角值；
13.获取条码图像的边缘图像并得到边缘图像的霍夫图像，并获取霍夫图像中各个霍夫点的极角值，计算霍夫点的极角值与该霍夫点对应的条码线与水平方向的夹角值的差值绝对值；
14.获取霍夫图像中各个霍夫点的霍夫值，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值；
15.根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点，对所有目标霍夫点进行密度聚类得到多个目标霍夫点类别，将每个目标霍夫点类别中的中心点对应的目标霍夫点作为最终霍夫点，获取每个最终霍夫点对应的最终条码线；
16.计算每两条相邻的最终条码线之间的平均灰度值，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化，并得到条码图像的二值图像，获取二值图像对应的物料信息；
17.将每个二值图像对应的物料信息投影至全局图像中对应的物料区域并传输至ar眼镜进行可视化。
18.优选的，获取物料架上所有物料的全局图像及物料架上的高位物料图像的步骤包括：
19.采用枪式相机采集物料架上所有物料的全局图像；
20.采用智能球摄像机获取物料架上高位物料图像。
21.优选的，利用模板匹配的方法获取高位物料图像中每个物料上的条码图像。
22.优选的，获取条码图像的中条码线与水平方向的夹角值的步骤包括：
23.获取条码图像的边缘图像；
24.获取边缘图像中的所有连通域，并获取每个连通域的中心点坐标；
25.根据所有连通域的中心点坐标利用主成分分析算法得到最小特征值对应的目标主成分方向；
26.对目标主成分方向进行奇异值分解得到第一特征值和第二特征值；
27.将第一特征值与第二特征值的比值作为条码图像中的条码线的斜率；
28.根据条码线的斜率得到条码线与水平方向的夹角值。
29.优选的，霍夫点对应的霍夫值为霍夫点对应的条码线经过边缘图像中有值像素点个数。
30.优选的，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值的公式：
31.pn＝exp(-cn)
×fn
32.式中，pn表示霍夫点n属于条码图像中条码线的概率值；
33.cn表示霍夫点n的极角值与霍夫点n对应的条码线与水平方向的夹角值的差值绝对值；
34.fn表示霍夫点n的霍夫值。
35.优选的，根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点的步骤包括：
36.对所有霍夫点对应的属于条码图像中条码线的概率值进行二分类；
37.分别获取两个分类内概率值的平均值；
38.将两个分类对应的平均值中大的平均值对应的霍夫点记为目标霍夫点，反之，则记为噪声点。
39.优选的，利用dbscan算法密度聚类对所有目标霍夫点进行密度聚类得到多个目标
霍夫点类别。
40.优选的，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化的步骤包括：
41.根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二分类得到两类像素点；
42.将两类像素点中像素点灰度值大于平均灰度值的像素点类别中像素点的灰度值置为1；
43.将两类像素点中像素点灰度值小于平均灰度值的像素点类别中像素点的灰度值置为0。
44.本发明的有益效果是：本发明的基于ar与枪球联动的高位物料可视化方法，通过枪机相机采集全局图像，智能球摄像机采集每个物料的局部信息，然后通过图像处理技术对每个物料的局部条码信息进行处理，对条码图像的条码线进行准确获取并进行增强，从而得到增强后的条码图像的二值图，利用条码图像的二值图实现对条码图像的二值图中的物料信息获取，同时将物料信息投影至全局图像中对应的物料区域并传输至ar眼镜进行可视化，从而实现了对高位物料的条码图像信息进行精确识别，从而提高物料信息可视化的精准度，进一步避免产生积极损失。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1为本发明的基于ar与枪球联动的高位物料可视化方法的实施例总体步骤的流程图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.本发明的基于ar与枪球联动的高位物料可视化方法的实施例，本实施例的应用场景为：在仓库物料的物流信息中，采用基于ar眼镜的可视化，枪式相机和球机相机相互配合，枪击相机用于采集全局图像，球机相机用于方法采集局部图像，如图1所示，该方法包括：
49.s1、获取物料架上所有物料的全局图像及物料架上的高位物料图像，具体的，采用枪式相机采集物料架上所有物料的全局图像，采用智能球摄像机获取物料架上高位物料图像，其中，物料架上的高位物料图像指的是枪式相机的采集范围是有限的，故位于枪式相机的采集范围边缘的物料作为高位物料，然后利用智能球摄像机转动获取物料架上位于全局图像边缘的高位物料区域图像，从高位物料区域图像中得到每个高位物料图像。
50.s2、获取高位物料图像中每个物料的条码图像，并获取条码图像的中条码线与水平方向的夹角值。
51.具体的，先从高位物料图像中得到每个高位物料图像，获取利用模板匹配的方法获取每个高位物料图像中每个物料上的条码图像，模板匹配为现有技术，本实施例不再赘述，其中，获取条码图像的中条码线与水平方向的夹角值的步骤：获取条码图像的边缘图像；获取边缘图像中的所有连通域，并获取每个连通域的中心点坐标；其中，由于本实施例中的第i个高位物料的条码图像对应边缘图像中所得到的所有连通域中心点坐标为二维数据，所以对第i个高位物料的条码图像对应的边缘图像中所得到的所有连通域的中心点坐标利用主成分分析算法得到两个主成分方向，其中，将最小特征值对应的主成分方向作为目标主成分方向；对目标主成分方向进行奇异值分解(svd分解算法)得到第一特征值和第二特征值；将第一特征值与第二特征值的比值作为条码图像中的条码线的斜率；根据条码线的斜率得到条码线与水平方向的夹角值，即通过反正切三角函数，将斜率转化为角度制得到条码线与水平方向的夹角值。
52.s3、获取条码图像的边缘图像并得到边缘图像的霍夫图像，并获取霍夫图像中各个霍夫点的极角值，计算霍夫点的极角值与该霍夫点对应的条码线与水平方向的夹角值的差值绝对值，具体的，对条码图像进行边缘检测得到边缘图像，并将边缘图像转化至霍夫空间得到霍夫图像，由于霍夫图像中各个霍夫点的极角值，为极坐标轴中的极角值，当极角值与霍夫点对应的条码线与水平方向的夹角值的差值绝对值czn越小，则说明该霍夫点对应的直线越可能是该高位物料的条码图像中的条码线。
53.s4、获取霍夫图像中各个霍夫点的霍夫值，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值，具体的，霍夫图像中各个霍夫点的霍夫值在本实施例中为霍夫空间中各点对应的值，在本实施例中，将霍夫图像中各个点定义为霍夫点，每个点对应的值为霍夫值，具体的，霍夫点对应的霍夫值为霍夫点对应的条码线经过边缘图像中有值像素点个数，其中，根据每个霍夫点对应的霍夫值、差值绝对值计算每个霍夫点属于条码图像中条码线的概率值的公式：
54.pn＝exp(-cn)
×fn
55.式中，pn表示霍夫点n属于条码图像中条码线的概率值；
56.cn表示霍夫点n的极角值与霍夫点n对应的条码线与水平方向的夹角值的差值绝对值，cn越小，则说明该霍夫点对应的直线越可能是高位物料的条码线，由于cn越小，越能表示第n个霍夫点是高位物料的条码线的概率越大，所以采用exp(-x)负相关映射函数，使得czn越小；
57.fn表示霍夫点n的霍夫值，fn值越大，则越可能表示当前第n个霍夫点在对应高位物料的条码图像的边缘图像中越可能是表示一条直线，如果霍夫值fn越低，则表示当前第n个霍夫点在该高位物料中的条码图像对应的边缘图像中所对应直线的有值像素点个数越少，很可能是噪声，这里需要说明的是，噪声点相对于边缘点的数量肯定是少的，因此，根据像素点的数量判断噪声点和边缘点。
58.s5、根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点，对所有目标霍夫点进行密度聚类得到多个目标霍夫点类别，将每个目标霍夫点类别中的中心点对应的目标霍夫点作为最终霍夫点，获取每个最终霍夫点对应的最终条码
线，从而得到条码图像的每条最终条码线，并实现了对条码图像的增强，为后续准确识别条码信息提供依据。
59.具体的，在步骤s4的计算每个霍夫点属于条码图像中条码线的概率值的公式中对霍夫值fn的分析能得到霍夫值fn越低，则表示当前第n个霍夫点在该高位物料中的条码图像对应的边缘图像中所对应直线的有值像素点个数越少，很可能是噪声，判断依据为噪声点相对于边缘点的数量是少的，故，当霍夫值fn越低时，对应的概率值越小，故根据每个霍夫点属于条码图像中条码线的概率值确定所有条码线对应的目标霍夫点，具体的，对所有霍夫点对应的属于条码图像中条码线的概率值进行二分类，具体的，采用k-means算法对所有霍夫点对应的属于条码图像中条码线的概率值进行二分类，分别获取两个分类内概率值的平均值；将两个分类对应的平均值中大的平均值对应的霍夫点记为目标霍夫点，反之，则记为噪声点。
60.具体的，利用dbscan算法密度聚类对所有目标霍夫点进行密度聚类得到多个目标霍夫点类别，其中，在密度聚类时，选择窗口大小为邻域半径r＝3，邻域中数据对象数目阈值m＝3的dbscan密度聚类算法，其中r＝3，m＝3，是一个超参数，可由实施者根据具体实施场景进行调整，并将二分类的概率值中概率值p大类别内的霍夫点所对应的二维坐标点和概率值p作为dbscan密度聚类算法的输入，得到聚类后的每个目标霍夫点类别。
61.s6、计算每两条相邻的最终条码线之间的平均灰度值，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化，并得到条码图像的二值图像，获取二值图像对应的物料信息。
62.具体的，根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二值化的步骤包括：根据每个平均灰度值对其对应的两条相邻的最终条码线上的像素点进行二分类得到两类像素点；将两类像素点中像素点灰度值大于平均灰度值的像素点类别中像素点的灰度值置为1；将两类像素点中像素点灰度值小于平均灰度值的像素点类别中像素点的灰度值置为0，从而得到条码图像的二值图像，并获取条码图像的二值图像对应的物料信息。
63.s7、将每个二值图像对应的物料信息投影至全局图像中对应的物料区域并传输至ar眼镜进行可视化。
64.综上所述，本发明提供基于ar与枪球联动的高位物料可视化方法，通过枪机相机采集全局图像，智能球摄像机采集每个物料的局部信息，然后通过图像处理技术对每个物料的局部条码信息进行处理，对条码图像的条码线进行准确获取并进行增强，从而得到增强后的条码图像的二值图，利用条码图像的二值图实现对条码图像的二值图中的物料信息获取，同时将物料信息投影至全局图像中对应的物料区域并传输至ar眼镜进行可视化，从而实现了对高位物料的条码图像信息进行精确识别，从而提高物料信息可视化的精准度，进一步避免产生积极损失。
65.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。