基于位置预测与颜色相似性的船只跟踪方法与流程
本发明涉及一种船只跟踪方法，更具体的说是涉及一种基于位置预测与颜色相似性的船只跟踪方法。
背景技术：
船只跟踪技术在海洋领域具有十分重要的地位，通过船只跟踪技术，人们便可了解到船只在旷阔海上的具体位置，如此便可根据船只的位置情况作出相应的调整，使得船只能够更好的在海上航行。
现有的对于船只进行跟踪的技术主要是通过定位技术来实现的，即船只每隔一段时间发送位置给卫星，卫星将船只发送过来的多个位置进行连接，如此构成一条船只的行驶路线，这样完成对于船只的位置跟踪操作，然而这种方式的跟踪操作由于信号传输的延时性，对于船只的位置跟踪就会有一定的滞后性，这样对于一些精细化操作的时候，现有的船只跟踪技术就显得不够适用。
技术实现要素：
针对现有技术存在的不足，本发明的目的在于提供一种不会滞后的基于位置预测与颜色相似性的船只跟踪方法。
为实现上述目的，本发明提供了如下技术方案：一种基于位置预测与颜色相似性的船只跟踪方法，包括如下步骤：
步骤一，通过无人机航拍需要跟踪的船只视频，提取视频中需要跟踪的船只在第t帧中的p(x，y)和(w，h)，其中，t为任意常数，p(x，y)为中心像素坐标点，w为宽，h为高；
步骤二，基于船只检测方法检测t+1帧图像；
步骤三，基于步骤一中提取的p(x，y)和(w，h)预测矩形区域r；
步骤四，在r中搜索需要跟踪的船只，若搜索到需要跟踪的船只，则更新该船只的p(x，y)、(w，h)和时间序列后返回步骤一，若未搜索到需要跟踪的船只，则继续下一步；
步骤五，判断需要跟踪的船只是否已离开图像，若已离开图像则停止跟踪并记录船只的轨迹，若未离开图像则继续下一步；
步骤六，继续判断检测船只是否连续丢失若干帧，若是则继续下一步，若不是则返回步骤二；
步骤七，继续判断该船只是否为非船只物体，若是则停止跟踪并结束，若不是则停止跟踪并记录船只的轨迹。
作为本发明的进一步改进，所述步骤三中矩形区域r的预测步骤如下：
步骤三一，提取航拍图像的宽度×高度，设定相应的检测窗口；
步骤三二，基于步骤三一提取的宽度×高度利用以下公式定义矩形区域r：
r:{(xt+1,yt+1)|xt+1∈[xt±αw]∩[1,imgw],yt+1∈[yt±αh]∩[1,imgh]}；
其中，imgw×imgh是航拍图像的宽度×高度，α是比例因子，w为检测窗口的宽度，h为检测窗口的高度，(xt+1，yt+1)为矩形区域r中任一点的坐标，(xt，yt)是船只在图像中的像素坐标点的x轴坐标和y轴坐标。
作为本发明的进一步改进，所述步骤四中搜索需要跟踪的船只具体步骤为对检测到的预测区r内的船只进行比对筛选。
作为本发明的进一步改进，所述步骤四中的筛选步骤如下：
步骤四一，绘制t帧和t+1时矩形区域r所形成的图像p和图像p′的颜色直方图；
步骤四二，将获取到的t帧时图像p和t+1帧时图像p′的颜色直方图进行相似性匹配，并计算相似性匹配值s(p，p′)，同时判断s(p，p′)是否大于预设的阈值，若大于则表示t帧图像内的船只与t+1帧图像内的船只为同一只，则判断为搜索到需要跟踪的船只。
作为本发明的进一步改进，所述步骤四二中的相似性匹配值s(p，p′)由以下公式计算得到：
式中，ci(p，p′)为颜色直方图相似性，取值在0-1之间。
作为本发明的进一步改进，所述颜色直方图相似性ci(p，p′)由以下公式计算得出：
其中，n是直方图维数；
作为本发明的进一步改进，所述图像p中加权平均像素值i出现的频率
其中，si(p)是像素强度值i在图像p中出现的频数。
作为本发明的进一步改进，所述步骤五、步骤六和步骤七的具体判断步骤如下：步骤五一，首先对任一被跟踪的船只i定义如下数据结构：
其中，
id：每只船唯一的标记；
pj：在第j帧中船只i的中心坐标；
tracks：船只i的轨迹，其中n为船只的轨迹个数或记录的帧数；
trackeri：记录船只i跟踪信息的结构体；
grayhist：船只i四个通道的直方图；
numct：船只i被连续成功跟踪的次数(帧数)；
numcf：船只i连续跟踪失败的次数(帧数)；
步骤五二，判断需要跟踪的船只是否已离开图像，判断条件如下：
其中，exit表示船只已经离开条件，tn是一个常量并且被设置为120帧，tcf为一个常量，根据经验其值设置为10，n为船只被连续跟踪的总帧数；numcf为船只未被连续跟踪的帧数；
步骤五三，判断该船只是否为非船只物体，判断条件如下：
其中，deleti为非船只条件，tcf是一个常量，根据经验其值设置为10，n为船只被连续跟踪的总帧数；numcf为船只未被连续跟踪的帧数。
本发明的有益效果，通过步骤一至步骤七的设置，便可通过无人机所拍摄到的船只视频进行取帧分析，然后通过设置预测矩形区域的方式来对船只接下来的位置进行预测，如此相比于现有技术中采用gps定位跟踪的跟踪技术，在跟踪的过程中实现了对于船只位置的预测，如此便不会因为信号传输需要时间导致的位置延迟滞后的问题，能够有效的实现对于船只的精细化定位。
附图说明
图1为本发明的基于位置预测与颜色相似性的船只跟踪方法的流程图。
具体实施方式
下面将结合附图所给出的实施例对本发明做进一步的详述。
参照图1所示，本实施例的一种基于位置预测与颜色相似性的船只跟踪方法，包括如下步骤：
步骤一，通过无人机航拍需要跟踪的船只视频，提取视频中需要跟踪的船只在第t帧中的p(x，y)和(w，h)，其中，t为任意常数，p(x，y)为中心像素坐标点，w为宽，h为高；
步骤二，基于船只检测方法检测t+1帧图像；
步骤三，基于步骤一中提取的p(x，y)和(w，h)预测矩形区域r；
步骤四，在r中搜索需要跟踪的船只，若搜索到需要跟踪的船只，则更新该船只的p(x，y)、(w，h)和时间序列后返回步骤一，若未搜索到需要跟踪的船只，则继续下一步；
步骤五，判断需要跟踪的船只是否已离开图像，若已离开图像则停止跟踪并记录船只的轨迹，若未离开图像则继续下一步；
步骤六，继续判断检测船只是否连续丢失若干帧，若是则继续下一步，若不是则返回步骤二；
步骤七，继续判断该船只是否为非船只物体，若是则停止跟踪并结束，若不是则停止跟踪并记录船只的轨迹，在使用本实施例的方法预测船只的过程中，只需要依次执行步骤一至步骤七即可，并且在通过步骤一至步骤七检测跟踪船只的过程中，主要是通过检测t帧图像和t+1帧图像内是否有船只的方式来实现对于船只运动轨迹的相关预测，如此相比于现有技术中采用gps定位技术来实现对于船只的跟踪技术，避免了因为位置信号传输时间导致的定位位置滞后性较强的问题，其中步骤三至步骤七即为步骤二中的船只检测方法。
作为改进的一种具体实施方式，所述步骤三中矩形区域r的预测步骤如下：
步骤三一，提取航拍图像的宽度×高度，设定相应的检测窗口；
步骤三二，基于步骤三一提取的宽度×高度利用以下公式定义矩形区域r：
r:{(xt+1,yt+1)|xt+1∈[xt±αw]∩[1,imgw],yt+1∈[yt±αh]∩[1,imgh]}；
其中，imgw×imgh是航拍图像的宽度×高度，α是比例因子，w为检测窗口的宽度，h为检测窗口的高度，(xt+1，yt+1)为矩形区域r中任一点的坐标，(xt，yt)是船只在图像中的像素坐标点的x轴坐标和y轴坐标，一般来说需要知道船只的运动方向和速度才能预测船只在下一帧的位置，但是这种数据很难从uav视频中获得。为了解决这个问题，本实施例中先随机设置了一个矩形区域r作为搜索区域，其长宽比等于船只检测算法输出的检测窗口的长宽比。检测窗口大约为图像中船只的最小外接矩形，这个窗口是可以根据船只在图像中的大小自动调整。如果检测窗口大小是w×h(w和h分别表示窗口的宽和高)，目标船只ci在第t帧图像中的像素坐标是(xt，yt)，则船只ci在第t+1帧内可能出现的位置是一个矩形区域r，并且通过该公式对r进行了定义
r:{(xt+1,yt+1)|xt+1∈[xt±αw]∩[1,imgw],yt+1∈[yt±αh]∩[1,imgh]}
上述公式通过定义矩形左上、右上、左下、右下四个点的坐标(xt-αw，yt-αh)，(xt-αw，yt+αh)，(xt+αw，yt-αh)和(xt+αw，yt+αh)唯一确定了矩形区域r。由于某只船ci在未被跟踪前无法获取其行驶方向，因此矩形预测区域r需要能够覆盖目标船只前后左右的区域。在上述公式中，比例因子α是一个默认值为1的参数。但如果矩形区域太小，在其内部找不到匹配船只时这个值可以扩大；反之，若区域r过大以致搜索到的船只较多时，可将α的值调小以缩小r的范围。此外，符号“∩”用于约束区域，使其坐标范围始终位于航拍图像范围内，如此便可有效的实现对于矩形区域r的预测，且整体预测过程通过公式实现了数字化操作。作为改进的一种具体实施方式，所述步骤四中搜索需要跟踪的船只具体步骤为对检测到的预测区r内的船只进行比对筛选，通过对比筛选的方式便能够有效的搜索出需要跟踪的船只了。
作为改进的一种具体实施方式，所述步骤四中的筛选步骤如下：
步骤四一，绘制t帧和t+1时矩形区域r所形成的图像p和图像p′的颜色直方图；
步骤四二，将获取到的t帧时图像p和t+1帧时图像p′的颜色直方图进行相似性匹配，并计算相似性匹配值s(p，p′)，同时判断s(p，p′)是否大于预设的阈值，若大于则表示t帧图像内的船只与t+1帧图像内的船只为同一只，则判断为搜索到需要跟踪的船只，通常在预测区域r内会有多只船被同时检测到，为了找到前一帧的同一只船需要对预测区域r内的船只进一步筛选，本实施例中采用颜色直方图相似性匹配方法寻找目标船只，颜色直方图具有对图像的平移、旋转不变的优点，并且最终的比对结果通过一个相似性匹配值s(p，p′)体现出来，在判断两个船只的相似度的时候，就只需要判断相似性匹配值s(p，p′)是否大于设定阈值即可，使得最终确定流程更为的简单快捷。
作为改进的一种具体实施方式，所述步骤四二中的相似性匹配值s(p，p′)由以下公式计算得到：
式中，ci(p，p′)为颜色直方图相似性，取值在0-1之间，通过上述公式便可有效的计算出相应的相似性匹配值s(p，p′)，然后通过对于相似性匹配值s(p，p′)的大小进行判断就可以有效的确定判定两只船之间是否属于同一只船。
作为改进的一种具体实施方式，所述颜色直方图相似性ci(p，p′)由以下公式计算得出：
其中，n是直方图维数；
表1船与船间颜色直方图相似度
当在区域r中进行候选船只搜索时，有可能会同时搜索到两辆颜色(直方图)非常相似的船(如两只白色或灰色的船)，该情况下所提出的颜色直方图匹配方法无法有效的找出目标船只，这是本文船只跟踪算法的一个不足。但根据我们的观察，在预测区域r内同时搜索到两只船并且颜色直方图完全相似的概率非常小，这是因为船只在行驶时都会与旁边的船保持一个安全距离，因而区域r内通常只有一只船会被搜索到。另一方面，本文所提出的方法考虑了四个通道的颜色直方图相似性，可以提高对不同船只的区分度。
作为改进的一种具体实施方式，所述图像p中加权平均像素值i出现的频率
其中，si(p)是像素强度值i在图像p中出现的频数，通过上述公式，便可利用i在图像p中出现的频数来计算出i在图像p中出现的频率，整体计算过程简单快捷。作为改进的一种具体实施方式，所述步骤五、步骤六和步骤七的具体判断步骤如下：
步骤五一，首先对任一被跟踪的船只i定义如下数据结构：
其中，
id：每只船唯一的标记；
pj：在第j帧中船只i的中心坐标；
tracks：船只i的轨迹，其中n为船只的轨迹个数或记录的帧数；
trackeri：记录船只i跟踪信息的结构体；
grayhist：船只i四个通道的直方图；
numct：船只i被连续成功跟踪的次数(帧数)；
numcf：船只i连续跟踪失败的次数(帧数)；
步骤五二，判断需要跟踪的船只是否已离开图像，判断条件如下：
其中，exit表示船只已经离开条件，tn是一个常量并且被设置为120帧，tcf为一个常量，根据经验其值设置为10，n为船只被连续跟踪的总帧数；numcf为船只未被连续跟踪的帧数；
步骤五三，判断该船只是否为非船只物体，判断条件如下：
其中，deleti为非船只条件，tcf是一个常量，根据经验其值设置为10，n为船只被连续跟踪的总帧数；numcf为船只未被连续跟踪的帧数，一只船开始被跟踪后，对应的tracker将会被产生。在一些帧中，船只检测结果中的一部分为非船只物体，这些误检的物体只在某帧中偶尔被检测到，因此基于这个特性可以剔除这类误检和误跟的物体，其判断条件如下所示：
其中，tcf是一个常量，根据经验其值设置为10。式中的条件表示对一个被跟踪的物体，如果其被跟踪丢失的帧数超过tcf帧图像，则表明其为误检的非船只物体，需要剔除该物体对应的tracker里保留的信息。该伪船只剔除操作可以降低船只跟踪算法的误跟率，同时提高船只检测的精度。
当船只离开视野后其跟踪过程将停止，因此需要设定条件判别船只是离开视野而不是跟踪丢失或非船只，船只的“exit”操作根据下述条件判别：
其中，tn是一个常量并且被设置为120(视频帧率为24帧/秒，120帧即5秒钟)。本式意味着如果一只船在连续tcf都未能被再次检测到并且船只被连续跟踪的总帧数n大于tn，则该跟踪丢失的船只i被认为已离开视野。船只轨迹在跟踪完成(船只离开视野)后将被跟踪并写入文本文档用于后续分析。
当船只被成功跟踪后，其直方图与位置会被更新成当前帧的数据，然后算法会继续在下一帧中搜索目标船只的最佳匹配，直到船只离开航拍相机的视野。船只在被跟踪的过程中，算法会实时记录船只在每帧中的位置与图像帧信息(即时间序列)，当船只离开视野后算法会将船只轨迹进行输出。需要强调的是本研究所提出的船只跟踪算法可以进行多船只同时跟踪。
综上所述，本实施例的跟踪方法，实现了预测比对跟踪，相比于现有技术中采用gps定位跟踪的方式，避免了出现跟踪位置滞后的问题，提升了海上船只的跟踪精度。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！