平线Lh和船槽舱位边缘垂直线Lvi和LV2，计算水平 直线和垂直直线的交点，结果得至ljP= {P^Pd，其中Pi为直线Lh和直线LV1的交点，P2为直线 Lh和直线Lv2的交点，重复船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测及船 槽舱位边缘直线检测步骤，得到另外一组双目摄像头的船槽舱位图像^中的船槽舱位水平 边缘直线和垂直边缘直线，进一步得图像? 2中的直线交点P3和P4,其中点P3与点P!对应，点P4 和点P2对应，这四个点构成了船槽舱位的整体边缘轮廓； 所述船槽舱位分段及船槽定位：根据船槽安装工艺的标准，量出船槽的实际宽度为 length，根据式⑵，利用船槽舱位的四个顶点?1、?2、？3、? 4计算出船槽舱位的长度0:(2) 其中I PiP21为点PJ|」P2的距离，IP3P41为点P 3到点P4的距离，得到的四个顶点用于标识船 槽的具体位置，即能定位船槽。2. 根据权利要求1所述的一种基于视觉扫描的船槽定位方法，其特征在于所述船槽舱 位图像拼接具体步骤如下： 步骤1.1:当船槽舱位图像序列f中有两张船槽舱位图像时，就启动图像拼接算法； 步骤1.2:从图像序列f中获取相邻的两张船槽舱位图像f#Pf2,再分别利用SIFT算法提 取图像的SIFT特征； 步骤1.3:利用K-D Tree和BBN算法，对步骤1.2提取的两张船槽舱位图的SIFT特征匹配 点进行查询； 步骤1.4:利用RANSAC算法筛选步骤1.3所查询的特征匹配点并计算变换矩阵H，该变换 矩阵表示两张图像的重叠区域； 步骤1.5:利用步骤1.4得到的变换矩阵H、图像f#Pf2进行图像拼接，得到拼接图Fi，并 将图像拼接过程分为三部分：（1)取图像f2经变换矩阵Η变换生成一张新图像作为拼接图Fi 的初始图像；（2)取图像fi和图像f2重叠区域的加权平均作为拼接图像h的中间部分；（3)取 图像fi去掉重叠区域的剩余部分作为拼接图像Fi的左边部分，其中加权平均的权重选择根 据图像f#Pf 2重叠区域的宽度以及重叠区域中的点到重叠区域左边界和右边界的距离来计 算重叠区域的像素值Pixeb，具体见式(3):(?其中cU为图像重叠区域 中的点到左边界的距离，cb为图像重叠区域中的点到右边界的距离，为重叠区域中的 点在图像心中的像素值，为重叠区域中的点在图像f2中的像素值。3.根据权利要求1所述的一种基于视觉扫描的船槽定位方法，其特征在于所述船槽舱 位边缘直线检测具体步骤如下： 步骤2.1:对船槽边缘的水平线进行检测，首先通过判断直线k的斜率，过滤直线斜率不 满足IK | < 0.087的直线，得到直线候选集合Lsh = {Lshk | k = 1，2，…，Nh}，Nh为过滤后直线的 总数;其次把直线候选集合Lsh中斜率相同的且平行直线之间的距离d满足cK 4的直线聚为 一类，得到直线聚合类Lch= {Lchr |r = l，2，···，Qh}，Lchr表示第r个直线聚合类，Qh为直线聚 合类的数量;再利用最小二乘法分别对每个直线聚合类中的直线进行拟合，结果得到一个 直线集合Lfh= {Lfhr |r=l，2,…，Qh}，Qh为直线拟合后的直线总数，Lfhr表示由直线聚合类 Lchr拟合得到的直线；最后利用在图像^区域内直线Lfhr所经过的像素点灰度值构成集合 并计算该集合的方差，进一步得到直线集合Lfh对应的灰度值方差集合Var，获取Lfh中灰度 值方差最小的直线即为船槽舱位水平边缘直线Lh; 步骤2.2:对船槽舱位边缘垂直线进行检测，首先通过判断直线k的斜率，保留直线斜率 满足|K | 2 11.43的直线，进一步得到直线候选集合Lsv= {Lsvk| k=l，2,…，NV}，NV为过滤后 直线的总数;其次把直线候选集合Lsv中斜率相同的且平行直线之间的距离d满足cK 4的直 线聚为一类，得到直线聚合类Lcv= {Lcvr I r=l，2,…，QV}，Lcvr表示第r个直线聚合类，Qv为 直线聚合类的总数，再利用最小二乘法分别对每个直线聚合类的直线进行拟合，结果为直 线集合Lfv = {Lfvr I r = 1，2,…，QV}，QV为直线拟合后的直线总数，Lfvr表示由直线聚合类 Levr拟合得到的直线;进一步利用LfVr在图像F1中的位置，过滤图像中间区域内的垂直线， 结果得到直线集合Lbv= {Lbvr I r = 1，2，…，Tv}，Tv为过滤垂直线后的直线总数;最后利用在 图像Fi区域内直线LbVr所经过的像素点灰度值构成集合并计算该集合的方差，进一步得到 直线集合Lbv对应的灰度值方差集合Var，获取Lbv中灰度值方差最小的两条直线即为船槽 舱位垂直边缘直线LvdPLv 2; 步骤2.3:利用步骤2.1和步骤2.2检测到的船槽舱位边缘水平直线Lh以及垂直直线LV1 和Lv2,分别计算水平直线和垂直直线的交点，结果得到P= {Pi，P2}，其中Pi为直线Lh和直线 1^:的交点，p2为直线Lh和直线Lv2的交点； 步骤2.4:重复步骤2.1-2.3，得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位 水平边缘直线和垂直边缘直线，进一步得图像?2中的直线交点P3和P4,其中点P3与点Pi对应， 点P4和点P2对应，这四个点构成了船槽舱位的整体边缘轮廓。4.根据权利要求1所述的一种基于视觉扫描的船槽定位方法，其特征在于船槽舱位分 段按照船槽宽度进行分段，具体步骤如下： 步骤3.1:首先将APi和点P3的坐标保存到第一个船槽Ei*，其次从坐标APi开始，在对 应的直线PiP2上找到第一个和点P!之间的距离等于船槽宽度length的点A，同理，从坐标点 P3开始，在对应的直线P3P4上找到第一个和点P3之间的距离等于船槽宽度length的点B，同 时保证直线AB和直线PiP 3的斜率相同； 步骤3.2:将步骤3.1找到的点A和点B保存到第一个船槽Ei*，则在船槽实体Ei*包含点 Pi、P3、A、B，这四个点标识了第一个船槽的位置，再将存到船槽队列E = {Ei | i = 1，2，…， K}中，其中K为船槽的总个数;进一步将点A和点B保存到第二个船槽E2*，再按照步骤3.1的 方法，找到属于第二个船槽的另外两个顶点，循环整个过程，直到点P 2和点P4为止，最后得到 一个船槽队列E，船槽队列中的每个船槽包括四个顶点，这四个顶点标识船槽的具体位置， 即可定位船槽。
【专利摘要】一种基于视觉扫描的船槽定位方法，属于计算机视觉技术和图像处理结合技术领域。该方法包括集装箱船槽舱位扫描、船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测、船槽舱位边缘直线检测、船槽舱位分段及船槽定位。本发明通过采用上述技术，得到的一种基于视觉扫描的船槽定位方法，用于船槽的定位，改善传统以人工引导为主的集装箱装卸工作模式，提升了船舶集装箱装卸数字化和智能化水平，极大方便了司机远程操控船舶的集装箱装卸作业，提高作业效率并提高集装箱装卸工作的安全性，是一项改善生产和工作环境的多赢工程，对提高作业效率、降低成本非常有利。
【IPC分类】G06K9/46, G06T7/00, G06T3/40
【公开号】CN105719241
【申请号】CN201610056807
【发明人】高飞, 令狐乾锦, 李定谢尔, 童伟圆, 卢书芳, 毛家发
【申请人】浙江工业大学
【公开日】2016年6月29日
【申请日】2016年1月27日