一种智慧托盘及其智能定位追踪方法与流程

本发明属于视频监控技术领域，尤其是指一种智慧托盘及其智能定位追踪方法。

背景技术：

当今物流行业发展迅猛，越来越多托盘在仓库室内等条件下被使用，然而由于仓库室内环境复杂程度越来越大，致使人们对仓库内的托盘位置进行信息化管理的需求不管提高，与此同时也带动了仓库视频监控技术的发展。由于智能仓库对托盘信息的获取以及定位的需求越来越强烈，而视频监控技术所具有直观性、实时性和高效性等优点，让仓库内视频监控开始突破传统监视和防盗的职权。

另外，现有技术的室内定位技术主要包括超声波定位、wifi定位技术、红外线定位技术和蓝牙定位技术等，但是上述定位技术依然存在某些方面缺陷，例如超声波定位技术需要布置大量测试设备，使得成本较高；蓝牙定位技术则适用小范围内的定位，wifi定位技术抗干扰能力比较弱且定位精度不高，红外线定位技术则由于成本较高，难以在仓库环境下大面积覆盖使用。

技术实现要素：

本发明的目的在于针对上述问题，提供一种系统简单、投入成本低和准确可靠的智慧托盘及其智能定位追踪方法。

本发明的目的可采用以下技术方案来达到：

一种智慧托盘，包括若干托盘、标识牌、摄像头和控制装置，所述标识牌安装于所述托盘上，所述摄像头设于托盘的上方而对托盘和标识牌进行图像拍照，所述摄像头的输出端与控制装置的输入端连接，摄像头发送图像信息发送到控制装置，控制装置接收图像信息而定位并追踪托盘的位置。

进一步地，所述控制装置包括对托盘和标识牌进行定位的定位模块，以及对托盘和标识牌进行追踪的追踪模块。

进一步地，所述控制装置为单片机或plc。

一种智慧托盘及其智能定位追踪方法，包括以下步骤：

步骤1、在每个托盘上安装标识牌，标识牌上设有相应托盘的识别码信息，摄像头全方位拍摄仓库的各个角落。摄像头将拍摄的图像信息实时传输到控制装置；

步骤2、利用边缘检测法对图像进行处理，以获取到托盘的图像信息，把托盘区域标记出来；

步骤3、根据投影算法确定标识牌的垂直和水平边界，以得到多个具有波峰曲线的图像，并利用多个图像构成候选标识牌集；

步骤4、利用峰值查找法，把最佳标识牌从候选标识牌集中提取出来；

步骤5、利用打分排序法，对候选标识牌集进行归一化处理，取出最高得分作为标识牌的位置图像，以获得标识牌的位置；

步骤6、将已获得位置的标识牌的水平和竖直长度等分为9等分，分别选取标识牌边缘上的点和水平与竖直等分时所交叉的点，重复该步骤，直到均匀获取到所需的多个交叉点；

步骤7、通过金字塔光流法把标识牌的多个交叉点的边界信息镜像到扩展图像，并构建金字塔图像集合，使用图像缩放算法构成金字塔模型，并通过光流方程求解得到预测点集；

步骤8、釆用欧氏距离计算点集相似度，对求取的欧氏距离进行排序，选取中值作为求取点集位移大小的阈值，把求取的欧氏距离小于阈值的初始点集和光流法预测点集找出来，并分别求取这些像素点的位移；

步骤9、把跟踪正确点的位移按照大小进行排序，取位移的中值作为标识牌的移动距离，根据中值位移更新标识牌目标；如果能够跟踪到托盘目标，则继续使用金字塔光流法跟踪，直到托盘目标离开跟踪视线范围，从而实现对托盘的定位和跟踪。

进一步地，所述步骤2的具体内容为：

用像素点间的距离来反映两个像素点之间相似程度，距离越小则表示两个像素之间的差异越小；在图像边缘处选取像素点a和b，利用距离公式并计算出两者之间距离的局部极值；式中，d表示两个像素间的距离，v表示像素值，ni表示以i为中心像素的小邻域，nj表示以j为中心的小邻域。

进一步地，所述步骤3的具体内容为：

选取前5个最大峰值对应的标识牌区域，组成25个候选标识牌的集合。

进一步地，所述步骤5的具体内容为：

利用公式对获得的候选区域根据区域里面所包含的像素信息进行打分,其中∑v为标识牌区域内的二值化像素和，s为标识牌区域的面积；然后取归一化分数最高候选标识牌作为标识牌目标，滤除掉噪声的干扰，获得标识牌位置。

进一步地，所述步骤7的具体内容为：

两次使用金字塔光流法来预测点集，第一次使用金字塔光流法是把从定位模块获取的点集作为原始点集，预测这些点在下一帧图像中的可能位置，第二次使用金字塔光流法是把第一次预测到的点集作为原始点集，反向预测原始点集在原始图像中的位置，得到三组特征点集合。

进一步地，所述步骤8的具体内容为：

选取预测对的反向预测点集合与初始选取的特征点集合计算它们的相似度，釆用欧氏距离计算点集相似度。

进一步地，所述金字塔光流法为把图像中的所有像素点赋予一个速度矢量，构成一个图像速度场；然后在运动的一个特定时刻，利用投影方法得到图像上的一点和三维物体上某一点的对应关系；然后结合图像中所有像素点的速度矢量，对图像中的移动物体进行检测；如果图像中不存在移动的物体，则整幅图像上的光流矢量呈现出连续变化，如果图像中存在移动物体，则移动物体的光流矢量肯定不同于图像中其它像素点的光流矢量，由此可以判断出移动目标的位置。

实施本发明，具有如下有益效果：

1、本发明在每个托盘显著位置上安装标识牌。标识牌上刻录有托盘的识别码信息，然后在仓库内顶部安装多个高清摄像头，保证摄像头可全方位拍摄仓库各个角落。摄像头与控制装置相连而将拍摄的图片信息实时传输到控制装置中。控制装置根据接收到的图片信息对图片进行识别，以及对托盘进行跟踪定位，实时定位出托盘的位置信息，具有系统简单、投入成本低和准确可靠的优点。

2、本发明采用多种数学模型和算法对托盘的移动进行定位和追踪，系统支行稳定，能更加准确地进行定位和追踪，准确性高，无需采用多种硬件进行检测定位和追踪，极大地减少了系统所需的硬件成本，系统简单、投入成本低和准确可靠。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明智慧托盘及其智能定位追踪方法的结构示意图；

图2是本发明智慧托盘及其智能定位追踪方法的实施例的步骤7的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

参见图1，本实施例涉及一种智慧托盘，包括若干托盘1、标识牌2、摄像头3和控制装置，所述标识牌2安装于所述托盘1上，所述摄像头3设于托盘1的上方而对托盘1和标识牌2进行图像拍照，所述摄像头3的输出端与控制装置的输入端连接，摄像头3发送图像信息发送到控制装置，控制装置接收图像信息而定位并追踪托盘1的位置。所述控制装置为单片机或plc。

在每个托盘1显著位置上安装标识牌2。标识牌2上刻录有托盘1的识别码信息，然后在仓库内顶部安装多个高清摄像头3，保证摄像头3可全方位拍摄仓库10各个角落。摄像头3与控制装置相连而将拍摄的图片信息实时传输到控制装置中。控制装置根据接收到的图片信息对图片进行识别，以及对托盘1进行跟踪定位，实时定位出托盘1的位置信息，具有系统简单、投入成本低和准确可靠的优点。

所述控制装置包括对托盘1和标识牌2进行定位的定位模块，以及对托盘1和标识牌2进行追踪的追踪模块。控制装置的定位模块和追踪模块通过摄像头3分别对托盘1和标识牌2进行定位和追踪。

本实施例还提供了一种智慧托盘1及其智能定位追踪方法，包括以下步骤：

步骤1、在每个托盘1上安装标识牌2，标识牌2上设有相应托盘1的识别码信息，摄像头3全方位拍摄仓库的各个角落；摄像头3将拍摄的图像信息实时传输到控制装置；高清摄像头3会不断地对仓库内进行摄像，图像信息传输到控制器内部后首先进入到定位模块中。

步骤2、利用边缘检测法对图像进行处理，以获取到托盘1的图像信息，把托盘1区域标记出来；定位模块对图片进行边缘检测处理之后，获取到托盘1的图像信息，可以较准确的把托盘1区域标记出来，从而降低仓库内部照明灯以及自然光线等噪声的干扰。用像素点间的距离来反映两个像素点之间相似程度，距离越小则表示两个像素之间的差异越小；在图像边缘处选取像素点a和b，利用距离公式并计算出两者之间距离的局部极值；式中，d表示两个像素间的距离，v表示像素值，ni表示以i为中心像素的小邻域，nj表示以j为中心的小邻域。

边缘检测方法的具体步骤：

1)接收图像信息并对系统各个参数初始化：图像尺寸m,n；高斯白噪声图像i；研究像素点位置(i，j)；图像i中20×20区域内其他点的位置(id，jd)；控制变量iv；距离图d；区域距离图d1；

2)将高斯白噪声图像i读取进来；

3)计算图像尺寸，并对m,n进行赋值；

4)把图像划分为不相重叠的20×20区域，如果不能整除，那些剩余像素可以向图像内部扩展，或是根据剩余面积重新以20行或是20列为基准来分块；

5)在每个20×20的区域内，依据计算公式：

计算以研究点(i，j)为中心的7×7区域与20×20区域内其他以(id，jd)为中心的7×7区域的距离d(iv)；

6)当采用的图像处理器速度足够快，并行计算能力强时，可以在以(i，j)为中心20×20区域内，计算以(i，j)为中心的7×7区域与20×20区域内其他以(id，jd)为中心的7×7区域的距离d(iv)，其中距离的计算按照式进行；

7)等待以(i，j)为中心的7×7区域与20×20区域内其他以(id，jd)为中心的7×7区域的距离d(iv)计算完成；

8)求d(iv)的平均值并将其值赋给d(i，j),等待全图中所有m×n个像素点计算完成；

9)由d的最大值对d进行归一化，所求得的d即为距离图。

步骤3、根据投影算法确定标识牌2的垂直和水平边界，以得到多个具有波峰曲线的图像，并利用多个图像构成候选标识牌2集。选取前5个最大峰值对应的标识牌2区域，组成25个候选标识牌2的集合。因为这些波峰处标识牌2出现的可能性最大，但由于很多噪声引起的波峰也会对应着非标识牌2区域。为了避免可能是由于噪声的影响，采用根据标识牌2的宽高比排除一些对应非标识牌2区域的峰值，从而更加准确的定位到标识牌2区域。

投影算法具体步骤如下：

1)对图像f(xj，yi)从上至下进行遍历，求取每一列的所有像素点的像素值之和，得到一个一维函数f(yi)。

2)然后利用求和公式得到水平投影的表达式：

从而可以判断托盘1识别码的竖直边界，其中f(yi)为图像中每一列的白色像素的统计，其中n为图像宽度；

3)计算函数f(yi)极值，其中所对应的极值点对应着托盘1识别码区域，而其中f(yi)的函数值趋近于0的地方，对应着非托盘1识别码区域；

4)绘制函数f(yi)的图像，f(yi)取值为非零代表着图像竖直方向存在白色像素点，而f(yi)取值为零代表着竖直方向没有白色像素点，可以判定此区域为非托盘1识别码区域。

5)然后对图像f(xj，yi)从左至右开始遍历，利用公式

求取每一行的所有像素点的像素值之和，得到一维函数f(xj),从而判断托盘1识别码的水平边界。

步骤4、利用峰值查找法，把最佳标识牌2从候选标识牌2集中提取出来；

步骤5、利用打分排序法，对候选标识牌2集进行归一化处理，取出最高得分作为标识牌2的位置图像，以获得标识牌2的位置，从而精确获得标识牌2的精确位置。利用公式对获得的候选区域根据区域里面所包含的像素信息进行打分,其中∑v为标识牌2区域内的二值化像素和，s为标识牌2区域的面积；然后取归一化分数最高候选标识牌2作为标识牌2目标，便可滤除掉自然光线、照明灯光等噪声的干扰，获得精确的标识牌2位置。

步骤6、将已获得位置的标识牌2的水平和竖直长度等分为9等分，分别选取标识牌2边缘上的点和水平与竖直等分时所交叉的点，重复该步骤，直到均匀获取到所需的多个交叉点；具体的，如图2所示，在得到标识牌2精确位置后，图像信息传入进入跟踪模块中，根据定位模块中定位到标识牌2的精确区域，将标识牌2区域水平和竖直等分为9等分，分别选取这些边缘上的点和水平与竖直等分时所交叉的点，从而保证选取的特征点包含了标识牌2的全部特征信息，重复此法从中依据坐标位置均匀获取100特征点。

步骤7、通过金字塔光流法把标识牌2的多个交叉点的边界信息镜像到扩展图像，并构建金字塔图像集合，使用图像缩放算法构成金字塔模型，并通过光流方程求解得到预测点集；具体的，两次使用金字塔光流法来预测点集，第一次使用金字塔光流法是把从定位模块获取的点集作为原始点集，预测这些点在下一帧图像中的可能位置，第二次使用金字塔光流法是把第一次预测到的点集作为原始点集，反向预测原始点集在原始图像中的位置，得到三组特征点集合。

在采用金字塔光流法时，把图像中的所有像素点赋予一个速度矢量，构成一个图像速度场；然后在运动的一个特定时刻，利用投影方法得到图像上的一点和三维物体上某一点的对应关系；然后结合图像中所有像素点的速度矢量，对图像中的移动物体进行检测；如果图像中不存在移动的物体，则整幅图像上的光流矢量呈现出连续变化，如果图像中存在移动物体，则移动物体的光流矢量肯定不同于图像中其它像素点的光流矢量，由此可以判断出移动目标的位置。

步骤8、选取预测对的反向预测点集合与初始选取的特征点集合计算它们的相似度，釆用欧氏距离计算点集相似度，对求取的欧氏距离进行排序，选取中值作为求取点集位移大小的阈值，把求取的欧氏距离小于阈值的初始点集和光流法预测点集找出来，并分别求取这些像素点的位移；

步骤9、把跟踪正确点的位移按照大小进行排序，取位移的中值作为标识牌2的移动距离，根据中值位移更新标识牌2目标；如果能够跟踪到托盘1目标，则继续使用金字塔光流法跟踪，直到托盘1目标离开跟踪视线范围，从而实现对托盘1的定位和跟踪。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。