基于单目视觉的传送带上产品实时定位系统和方法
【技术领域】
[0001] 本发明涉及机器视觉定位技术领域，特别是一种基于单目视觉的传送带上产品实 时定位系统和方法。
【背景技术】
[0002] 基于机器视觉的目标产品的定位技术以光学为基础，融入了图像处理技术、光电 子学、计算机技术等现代科学技术。现在，基于机器视觉的目标定位技术主要分为两类，双 目视觉结构系统和单目视觉结构系统。运用较为广泛的双目视觉系统精度较高，但系统复 杂；与之相比，单目视觉结构系统虽精度不如双目视觉系统，但胜在系统结构简单，因此在 工业生产以其低成本，操作简单而也被广泛应用。
[0003] 在定位过程中，对产品的识别尤为重要，传统的目标识别主要使用特征提取和匹 配，但要识别出一个产品，必须知道这个产品在图像中体现出的特征，但在实际成产状态 中，产品的特征的种类繁多，选取较为麻烦，而且还有可能这些特征点在平面定位不能作为 产品定位点。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种基于单目视觉的传送带上产品实时定位 系统和方法，可以克服现有技术中采用特征提取定位方式的不足，实现产品在传送带上的 精确定位。
[0005] 为解决上述技术问题，本发明所采用的技术方案是：基于单目视觉的传送带上产 品实时定位系统，包括摄像机，在传送带首端上方设有一个摄像机，摄像机与计算机连接。
[0006] 在静止的传送带的定位区域内放置有标定板。
[0007] 一种采用上述的基于单目视觉的传送带上产品实时定位系统进行产品定位的方 法，包括以下步骤： 一、 计算摄像机的内参数，建立世界坐标系得到外参数和基础矩阵； 二、 测量出摄像机的在传送带平面上的投影点的世界坐标； 三、 根据定位要求，产生一个四边形二值化的图片，作为取景框图片； 四、 对图片进行边缘检测，并和取景框图片进行与运算，得到只有产品的边缘的图片； 五、 运用行扫描方式，自动分离产品； 六、 对图片中单个产品进行列扫描得到产品的下边界； 七、 计算出图片中下边界各点的世界坐标，计算出世界坐标系各点沿传送带至投影点 的距离，找出最近的一点和距离，该最近的一点即为定位点和定位距离； 通过以上步骤实现产品实时定位。
[0008] 优选的方案中，传送带启动前，固定摄像机，在静止的传送带平面上，在要求的定 位范围内放置一个标定板，通过摄像机获取多张含有各个角度的标定板清晰成像的图片， 运用matlab工具箱toolbox_calib计算得到摄像机的内参数； 并且以选取标定板一个格点为坐标原点O点，建立世界坐标系OXYZ，其中X轴平行于传 送带运动方向，Y轴垂直于传送带运动方向，Z轴垂直于传送带平面，在后续过程中保持摄 像机的位置不变； 测量出摄像机投影在传送带平面上点的世界坐标（X。，Y。，0)。
[0009] 优选的方案中，对摄像机获取的图像分帧处理，分离含有标定板的图片和含有 传送带的图片并保存下来，结合第二步中建立的世界坐标系，再次利用matlab工具箱 toolbox_calib计算出摄像机外参数和基础矩阵：
【主权项】
1. 基于单目视觉的传送带上产品实时定位系统，包括摄像机（I)，其特征是：在传送带 (5 )首端上方设有一个摄像机（1)，摄像机（1)与计算机（2 )连接。
2. 根据权利要求1所述的基于单目视觉的传送带上产品实时定位系统，其特征是：在 静止的传送带（5)的定位区域（4)内放置有标定板。
3. -种采用权利要求1~2任一项所述的基于单目视觉的传送带上产品实时定位系统 进行产品定位的方法，其特征是包括以下步骤： 一、 计算摄像机的内参数，建立世界坐标系得到外参数和基础矩阵； 二、 测量出摄像机的在传送带平面上的投影点（C)的世界坐标； 三、 根据定位要求，产生一个四边形（abed)二值化的图片，作为取景框图片； 四、 对图片进行边缘检测，并和取景框图片进行与运算，得到只有产品的边缘的图片； 五、 运用行扫描方式，自动分离产品； 六、 对图片中单个产品进行列扫描得到产品的下边界； 七、 计算出图片中下边界各点的世界坐标，计算出世界坐标系各点沿传送带至投影点 (C)的距离，找出最近的一点和距离，该最近的一点即为定位点和定位距离； 通过以上步骤实现产品实时定位。
4. 根据权利要求3所述的一种产品定位的方法，其特征是：传送带启动前，固定摄像 机，在静止的传送带平面上，在要求的定位范围内放置一个标定板，通过摄像机获取多张含 有各个角度的标定板清晰成像的图片，运用matlab工具箱toolbox_calib计算得到摄像机 的内参数； 并且以选取标定板一个格点为坐标原点O点，建立世界坐标系OXYZ，其中X轴平行于传 送带运动方向，Y轴垂直于传送带运动方向，Z轴垂直于传送带平面，在后续过程中保持摄 像机的位置不变； 测量出摄像机投影在传送带平面上（C)点的世界坐标（X。，Y。，0)。
5. 根据权利要求3所述的一种产品定位的方法，其特征是：对摄像机获取的图像分帧 处理，分离含有标定板的图片和含有传送带的图片并保存下来，结合第二步中建立的世界 坐标系，再次利用matlab工具箱toolbox_calib计算出摄像机外参数和基础矩阵：
6. 根据权利要求3所述的一种产品定位的方法，其特征是：在含有传送带的图片中，确 定出一个四边形（abed)框，仅使图片中的传送带平面尽可能落在四边形（abed)内，记录四 边形的四个角的像素坐标，运用matlab中的roipoly函数产生一个（abed)四边形二值化 的图片，作为取景框图片。
7. 根据权利要求6所述的一种产品定位的方法，其特征是：取走标定板，启动传送带， 通过摄像机获取含有产品（3)的图片，进行分帧处理； 利用canny算子，设置合适的阈值对摄像机中含有产品（3)的每一帧图片进行边缘检 测，得到含有产品边缘的二值化图片； 处理后的含有产品边缘的二值化图片分别和取景框图片进行与运算，得到只含有产品 的边缘的图片。
8. 根据权利要求7所述的一种产品定位的方法，其特征是：运用find函数找出含有产 品的边缘的图片中所有白色点的像素坐标（X，y)，从而确定出了 y的最大值j和最小值i ; 然后在含有产品的边缘的图片运用find函数以第i-Ι行为起始点开始向下逐行扫描， 第一个扫描到有白点的一行，是第一个产品所在区域的起始行，然后向下继续扫描，直到第 k行以及在第k行到第k+5行之间均没有白点时，则k-Ι是第一个产品所在区域的终止行， 第一产品所在区域是第i行到第k-Ι行；然后以第k+5行为起始点扫描确定出第二个产品 的起始行，终止行和所在区域，依次下去可以逐个确定图片所有产品的区域，最后根据第m (m=l，2, 3...)个区域的起始行和终止行，运用find函数从坐标（X，y)中找出该区域中所有 白点的像素坐标，这就是第m个产品所有点像素坐标，通过上述逐行扫描实现自动化分离 广品； 确定出第m个产品所有点像素 X轴坐标的最大值s和最小值t，在第m个区域范围内运 用find函数从t列到s列进行逐列扫描，找出该区域中每一列中所有白点像素 y轴坐标值 最大的一点，即边界点（u，V)，这些边界点构成第m个产品下边界。
9. 根据权利要求8所述的一种产品定位的方法，其特征是：运用摄像机的基础矩阵计 算出第m个产品的下边界中各点世界坐标，根据由空间三维坐标到摄像机平面二维坐标映 射关系，取Z=O后，得到摄像机成像平面二维坐标到空间传送带平面中二维坐标映射关系：
其中u，V分别是图像中第m个产品下边界各点像素坐标；是缩放因子；H是基础矩阵； X、Y是图像中该点对应在传送带平面上世界坐标。
10. 根据权利要求9所述的一种产品定位的方法，其特征是：根据所求出的第m个产品 所有下边界点的世界坐标系中X轴坐标中，运用matlab中min函数求出最小的X轴坐标 Xmin，计算出摄像机和产品沿传送带的定位距离L，即可实现传送带上产品的实时定位： L = Ixaja-Xt I 其中Xc是摄像机的在传送带平面上的投影点（C)的X轴坐标。
【专利摘要】基于单目视觉的传送带上产品实时定位系统，包括摄像机，在传送带首端上方设有一个摄像机，摄像机与计算机连接。在静止的传送带的定位区域内放置有标定板。一种基于单目视觉的传送带上产品实时定位系统进行产品定位的方法，包括以下步骤：建立世界坐标系；测量出摄像机的在传送带平面上的投影点的世界坐标；产生一个取景框图片；对图片进行边缘检测，得到只有产品的边缘的图片；运用行扫描方式分离产品；对图片中单个产品进行列扫描得到产品的下边界；计算出图片中下边界各点的世界坐标，计算出世界坐标系各点沿传送带至投影点的距离，找出最近的一点和距离，该最近的一点即为定位点和定位距离；通过以上步骤实现基于单目视觉的产品实时定位。
【IPC分类】B65G43-00
【公开号】CN104760812
【申请号】CN201510087650
【发明人】曾曙光, 吴磊, 黎涛, 陶雄, 叶剑飞
【申请人】三峡大学
【公开日】2015年7月8日
【申请日】2015年2月26日