一种自然场景下的船牌检测方法与流程
本发明涉及计算机应用技术领域及目标检测领域，特别是涉及一种自然场景下的船牌检测方法。
背景技术：
近年来，随着港口经济日益繁荣发展，渔业工程与航运工程的规模不断扩大，船舶数量不断增加，与此同时，海上非法走私、非法捕鱼等行为也随之涌现。由于经常存在人工关闭ais逃避监管的情况，传统的人工检测时效性差、危险性强，难以实现船只的有效监管。为了强化管理的维度与力度，港口区域架设了大量的高清监控摄像头，可以远距离捕获海上船只的视频图像，为后期执法提供直接证据，所以船牌检测技术越来越重要。
当下车牌检测技术发展迅速，运用广泛，如小区车辆管理，交通路口违规检测等，但这种技术并没有很好的应用到船牌检测中。由于船牌标准未统一，船牌悬挂位置不统一，船牌背景颜色与字符颜色多种多样，且理想情况下用摄像机拍摄的船牌图像是一个矩形，但是由于船只通过航道时,其位置的不确定性和摄像装置的放置因素所引发的摄像机与船牌之间的角度变化，不可避免地使拍摄的图像产生比较明显的畸变和倾斜现象。这种不同程度的图像变形会对检测系统带来不利影响，容易造成字符误分割，从而导致了船牌识别率的下降。所以车牌检测技术难以直接移植到船牌检测中，导致船牌检测相关研究较少且技术不成熟。
因此，为解决以上问题，需要一种基于深度学习的船牌检测方法，能够避免现有技术中的船牌检测技术存在精度低、速度慢、效果差的技术问题。
技术实现要素：
为了克服现有技术的不足，本发明提供一种自然场景下的船牌检测方法，可以有效提高船牌检测的速度和准确率。
本发明解决其技术问题所采用的技术方案如下：
一种自然场景下的船牌检测方法，包括以下步骤：
s1：数据获取：通过摄像头采集船舶的视频；
s2：数据处理：对采集到的视频进行处理，得到含有船牌的图片；
s3：数据标准：对含有船牌图片进行标注；
s4：模型训练：训练船牌检测模型-r2cnn模型；
s5：模型测试：用训练好的模型对船牌图片进行检测，获得船牌的位置，面积和得分，通过筛选后，得到完整船牌图片；
优选地，所述步骤s1中，利用摄像头采集船舶的视频，视频来源为港口进出船舶、码头进出船舶、海上航行船舶和岸边停靠船舶。
所述步骤s2中，包括以下步骤：
s2-1：使用数字图像方法处理视频，获取视频中含有船只的时刻，并隔0.5s保存图片，数字图像方法包括帧间差分法、光流法或背景减法；
s2-2：人工筛选出含有船牌的图片。
所述步骤s3中，训练船牌检测模型-r2cnn模型，将含有船牌图片都变换成1920*1080大小，通过标注软件标定船牌边框，标签类别设为‘ship_card’，生成xml文件。
所述步骤s3中，包括以下步骤：
s3-1:将图片输入resnet101中，提取图片特征，输出两个不同大小的featuremap；
s3-2:分别通过两个不同的scale和ratio的rpn模块生成多个anchorboxes，通过softmax判断属于船牌前景或者背景，再利用边框回归修正anchors，获得较精确的proposals；
s3-3:生成的proposals通过roipooling层，得到固定大小的proposalfeaturemaps；
s3-4:对proposalfeaturemaps进行分类，利用全连接层与softmax进行具体类别的分类；同时，利用l1loss完成两次边框回归操作获得物体的精确位置，计算损失函数，同时更新整个网络的参数，得到训练模型，训练损失包括有无船牌的二分类损失、水平框的回归损失和倾斜框的回归损失，计算式如下：
式中，t是类别真实标签，p是由softmax函数计算出的船牌与背景类别的概率，v＝(vx，vy，vw，vh)是truth轴对齐边界框回归目标的元组，包括中心点的坐标及其宽度和高度，
lcls(p，t)表示分类损失，
所述步骤s4中，将图片变换成1280*720大小，传入好的模型中，得到图中可能存在的船牌位置，大小与置信度，模型置信度>0.8，船牌自身特性为长>宽，对于不符合上述条件的情况删除错误船牌框，得到最后的船牌。
本发明的有益效果为：由于自然场景多样，船只类型、大小等都不相同，用传统的方法很难对所有场景下的船牌进行准确的检测。本发明选取了不同场景、不同类型、不同大小等各种特征的船牌作为训练数据并进行标注，取得了丰富的训练样本。本发明利用深度学习模型r2cnn检测船牌，与传统手动提取特征的方法和利用简单神经网络的方法相比，能检测多角度船牌，节省了检测时间并且提高了准确率。
附图说明
图1为本发明实施例的一种自然场景下的船牌检测方法的流程图；
图2为本发明实施例的r2cnn算法流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的描述。
参照图1和图2，一种自然场景下的船牌检测方法，包括以下步骤：
s1：数据获取：通过港口摄像头采集船舶的视频；
s2：数据处理：对采集到的视频进行处理，得到含有船牌的图片；
s3：数据标准：对含有船牌图片进行标注；
s4：模型训练：训练船牌检测模型；
s5：模型测试：用训练好的模型对船牌图片进行检测，获得船牌的位置，面积和得分，通过筛选后，得到完整船牌图片；
优选地，所述步骤s1中，利用摄像头采集进出港口船舶的视频。
所述步骤s2中，包括以下步骤：
s2-1：使用帧间差分法处理视频，获取视频中含有船只的时刻，并隔0.5s保存图片；
d(x，y)为连续两帧图像之间的差分图像，i(t)和i(t-1)分别为t和t-1时刻的图像，t为差分图像二值化时选取的阈值，d(x，y)＝1表示前景，d(x，y)＝0表示背景。
s2-2：人工筛选出含有船牌的图片，图片包含不同天气，不同船只类型，不同船牌类型。
所述步骤s3中：将含有船牌图片都变换成1920*1080大小，通过软件精灵标注助手标定船牌边框，使用多边形框标注，对图片中船牌标定4个点，包围整个船牌，标签类别为‘ship_card’，生成xml文件，并按照9:1的比例得到训练集跟测试集；图片大小包括但不限于1920*1080，标注软件包括但不限于精灵标注助手。
所述步骤s3中，如图2所示，包括以下步骤：
s3-1:将图片输入resnet101中，提取图片特征，将c4层做下采样操作后和c5层相加得到p1层，将c4层做上采样操作和c3层相加得到p2层，输出两个不同大小的featuremap；
s3-2:将p1层输入scale为[256]，ratio为[1,1/2,2,3,1/3,4,1/4,5,1/5,6,1/6,7,1/7]的rpn1中，将p2层输入scale为[64]，ratio为[1,1/2,2,3,1/3,4,1/4]的rpn2中，生成多个anchorboxes，通过softmax判断属于船牌前景或者背景，再利用边框回归修正anchors，获得较精确的proposals；
s3-3:生成的proposals通过roipooling层，poolingsize设为7*7和3*11，得到固定大小的proposalfeaturemaps；
s3-4:classification将proposalfeaturemaps进行分类，利用全连接层与softmax进行具体类别的分类；同时，利用l1loss完成两次边框回归操作获得物体的精确位置，一次是水平回归，一次是旋转回归，计算损失函数，同时更新整个网络的参数，得到训练模型，训练损失包括有无船牌的二分类损失(softmaxloss)、水平框的回归损失(regressionloss)和倾斜框的回归损失(rotationalregressionloss)，计算式如下：
式中，t是类别真实标签，p是由softmax函数计算出的船牌与背景类别的概率，v＝(vx，vy，vw，vh)是truth轴对齐边界框回归目标的元组，包括中心点的坐标及其宽度和高度，
lcls(p，t)表示分类损失，
所述步骤s4中，将图片变换成1280*720大小，传入好的模型中，得到图中每个船牌位置，大小与置信度，模型置信度>0.8，船牌自身特性为长>宽，对于不符合上述条件的情况删除错误船牌框，将最后的船牌图片保存。
如上所述为本发明一种自然场景下的实施例介绍，本发明通过标注含船牌图片制作训练数据，通过深度学习模型r2cnn训练得到船牌检测模型，再使用模型检测图片中船牌具体位置，并保存船牌图片。本发明相比于传统手动提取特征的方法和简单的神经网络方法，不仅能检测多角度船牌，而且具有检测速度快和准确率高的优势。
以上所述，仅为本发明专利较佳的实施例，对本发明而言仅仅是说明性，而非限制性，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！