一种岸边走私行为检测方法、装置及存储介质与流程

1.本技术涉及计算技术领域，尤其涉及一种岸边走私行为检测方法、装置和存储介质。


背景技术：

2.当前，我国疫情形势总体平稳，但境外疫情仍在高位流行，病毒不断变异，境外疫情输入我国的风险持续存在。面对严峻复杂的境外疫情输入形势，仍有走私分子抱着疫情爆发期间警力不足的侥幸心理，铤而走险，在水域实施违法犯罪活动。然而，传统的水域监控系统采用人工视频巡察方式存在一定局限性，现有技术不能实时尤其在夜间对岸边走私行为进行实时检测。


技术实现要素：

3.针对上述技术问题，本技术实施例提供了一种岸边走私行为检测方法、装置及存储介质，用以实时对岸边走私行为进行实时检测，提高监管的效率。
4.第一方面，本技术实施例提供的一种岸边走私行为检测方法，包括：
5.获取船只位置信息；
6.确定水域和陆地的分界线；
7.根据所述船只位置信息和分界线判断所述船只是否在岸边停靠；
8.当判断所述船只在岸边停靠时，检测人员的移动状态信息；
9.根据所述人员的移动状态信息，确定所述船只的过船状态；
10.若所述船只的过船状态为连续的过船行为，则提取靠近过船人员和远离过船人员的人体关键点信息；
11.根据所述人体关键点信息检测所述人员是否存在走私搬货行为；
12.若检测到所述人员存在走私搬货行为，则获取距离所述船只停靠点在预设范围内的车辆信息；
13.若人员与所述车辆的距离小于预设的距离阈值，则确定所述人员的姿态；
14.若所述人员的姿态为搬运状态，则判断所述车辆存在运货物行为；
15.若所述车辆的运货物行为持续时间大于预设的时间阈值，则根据所述车辆信息判定所述车辆是否存在走私运货行为。
16.优选的，所述获取船只位置信息包括：
17.确定岸边船只检测模型；
18.根据所述船只检测模型获取距离岸边在预设第二距离之内的船只信息；
19.根据所述船只信息确定所述船只位置信息；
20.其中，所述确定岸边船只检测模型包括：
21.收集检测水域夜间过往船只的图像；
22.根据所述过往船只的图像对船只进行标注；
23.使用标注好的图像进行训练得到所述岸边船只检测模型。
24.进一步的，所述根据所述船只信息确定所述船只位置信息包括：
25.所述船只信息为(xb,yb,wb,hb)，岸边监控视频图像的尺寸为(w,h)，则所述船只位置信息(x
tb
,y
tb
)为：
[0026][0027][0028]
其中，c
θ
为所述岸边监控视频图像的摄像头安装位置确定的角度修正常数；ch为所述摄像头安装位置确定的过度修正常数；c1为历史数据训练得到的映射修正常数；c
t
为历史数据训练得到的偏移修正常数；cu为历史数据训练的到的上界面修正常数；cd为历史数据训练得到的下界面修正常数；xb为所述船只在所述监控视频图像内识别方框左上角的横坐标；yb为所述船只在所述监控视频图像内识别方框左上角的纵坐标；wb为所述船只在所述监控视频图像内识别方框的宽；hb为所述船只在所述监控视频图像内识别方框的高；w为所述监控视频图像的宽，h为所述监控视频图像的高；x
tb
为船只的横坐标；y
tb
所述船只的纵坐标。
[0029]
优选的，所述确定水域和陆地的分界线包括：
[0030]
所述分界线为ax+by+c＝0；
[0031]
其中a为横坐标系数，b为纵坐标系数，c为常数；
[0032]
进一步的，所述根据所述船只位置信息和分界线判断所述船只是否在岸边停靠包括：
[0033]
获取当前时刻的船只位置信息；
[0034]
对当前时刻之前的nb帧监控图像，计算第i帧监控图像中船只的位置与当前时刻船只的位置之间的距离得分并计算全部帧监控图像的距离总得分gd；
[0035]
若gd＞tsd则判定所述船只在岸边停靠；
[0036]
其中，所述由下列公式确定：
[0037][0038]
所述gd由以下公式确定：
[0039][0040]
i为监控图像帧编号，为船只距离水域陆地分界线的距离，nb为监控图像的总帧号，tsd为预设的距离总得分阈值，ts
bd
为预设的第一距离阈值。
[0041]
优选的，所述当判断所述船只在岸边停靠时，检测人员的移动状态信息包括：
[0042]
获取从检测到船只在岸边停靠的时间ts为起点每隔时间ty获取长度为t
x
的时间窗视频内全部移动状态人员的第一轨迹信息；
[0043]
将所述第一轨迹信息中满足以下公式的移动状态人员的轨迹信息提取出来得到第二轨迹信息：
[0044][0045]
其中，xg是所述移动状态人员的横坐标，yg是所述移动状态人员的纵坐标，ts
dg
是预设的第二距离阈值，x
tb
为船只的横坐标；y
tb
所述船只的纵坐标。
[0046]
对所述第二轨迹信息中所述移动状态人员的轨迹信息按照时间先后顺序排列，划分为第一轨迹集合{(x
p1i
,y
p1i
)}和第二轨迹集合{(x
p2j
,y
p2j
)}，其中所述第一轨迹集合中的点对应的时间小于tm，所述第二轨迹集合中的点对应的时间大于等于tm，所述tm为所述第二轨迹信息中距离停靠点距离最小的轨迹点对应的时间；
[0047]
计算所述第一轨迹集合内每一个轨迹点距离停靠点的距离dp1i并按照对应的时间排序得到元素个数为n的第一距离集合{dp1i}，其中i为所述第一轨迹集合内轨迹点的编号，n为所述第一轨迹集合内轨迹点的总数量；
[0048]
提取所述第一距离集合{dp1i}中前n-ω+1个元素组成基础距离集合{dp1,dp2,
···
,dp
n-ω+1
}；
[0049]
从所述基础距离集合{dp1,dp2,
···
,dp
n-ω+1
}中提取一个元素dpm与所述第一距离集合{dp1i}中的后ω-1个元素{dp
n-ω+2
,dp
n-ω+3
,
···
,dpn}组成n-ω+1个第二距离集合{dpm,dp
n-ω+2
,
···
,dpn}，其中m大于等1小于等于n-ω+1，ω为设定的集合分割常数；
[0050]
根据下列公式计算第k个所述第二距离集合的趋势得分：
[0051]
k大于等于1小于等于n-ω+1，j大于等于1小于等于ω-1；
[0052]
其中，c
max
为根据历史数据训练得到的上界修正常数，c
min
为根据历史数据训练得到的下界修正常数；
[0053]ce
为根据历史数据训练得到的修正常数；
[0054]
根据以下公式计算相邻两个所述第二距离集合的趋势差得分：
[0055]
ts
gd
为预设的趋势差异阈值，s大于等于1小于等于n-ω；
[0056]
根据以下公式计算整体的趋势差得分：
[0057][0058]
若gf＞ts
gf
则判定所述人员轨迹为远离轨迹，若gf＜-ts
gf
则判定所述人员轨迹为靠近轨迹，若gf≥-ts
gf
且gf≤ts
gf
则判定所述人员轨迹为徘徊轨迹；其中ts
gf
为预设的轨迹识别阈值。
[0059]
优选的，所述检测人员的移动状态信息包括：
[0060]
通过黑光摄像设备使用训练好的夜间人员检测模型获取岸边陆地区域出现的人员信息(x
p
,y
p
,w
p
,h
p
)，并提取所述人员的特征向量；
[0061]
提取当前检测帧的前一帧图像，根据余弦相似度计算所述前一帧图像中与所述人员相似度最大的人员信息(x1
p
,y1
p
,w1
p
,h1
p
)；
[0062]
提取当前检测帧的前n帧图像，根据余弦相似度计算所述前n帧图像中与所述人员相似度最大的人员信息(xn
p
,yn
p
,wn
p
,hn
p
)，其中n大于1且小于图像数量；
[0063]
若满足以下公式则判断所述人员处于移动状态：
[0064][0065]
其中，ts
np
为预设的第三阈值；
[0066]
x1
p
和xn
p
为所述人员识别方框左上角的横坐标，y1
p
和yn
p
为所述人员识别方框左上角的纵坐标，w1
p
和wn
p
为所述人员识别方框的宽，h1
p
和hn
p
为所述人员识别方框的高。
[0067]
优选的，根据以下方式判定所述船只的过船状态为连续的过船行为：
[0068]
当所述第一轨迹集合为靠近轨迹，所述第二轨迹集合为远离轨迹时，判定所述移动状态人员的轨迹信息为过船行为；
[0069]
当所所述移动状态人员的轨迹信息为过船行为时，以距离停靠点最近的轨迹点对应的时间为起始时间，根据时间轴将所述轨迹信息划分为n
gj
个等长的时间段，统计每个时间段内轨迹信息的数量ngi，其中i为所述时间段的序号，i大于等于1小于等于n
gj
；
[0070]
若满足以下公式则判定为所述船只的过船状态为连续的过船行为：
[0071][0072]
其中，ts
db
为预设的波动阈值；
[0073]
k大于等于1小于等于n
gj
。
[0074]
进一步的，所述根据所述人体关键点信息检测所述人员是否存在走私搬货行为包括：
[0075]
使用训练好的搬运状态检测模型对所述人员的姿态进行判断，当所述人员为搬运状态时，判定为检测帧存在走私搬货行为；
[0076]
其中，所述人体关键点信息包括以下之一或者组合脖子，肩膀或者手腕。
[0077]
进一步的，所述若所述车辆的运货物行为持续时间大于预设的时间阈值，则根据所述车辆信息判定所述车辆是否存在走私运货行为包括：
[0078]
获取停留时间大于预设时间阈值的所述车辆位置(xd1,yd1)，获取所述车辆离开岸边区域的位置(xd2,yd2)以及所述车辆进入岸边区域的位置(xd3,yd3)；
[0079]
计算所述车辆的异常得分g
ce
；
[0080]
当检测到车辆异常得分g
ce
大于预设的车辆异常得分阈值时，判定车辆存在走私运货行为；
[0081]
其中，根据以下公式计算所述车辆的异常得分g
ce
：
[0082]gce
＝g
od
(g
lo
+g
jd
)；
[0083][0084][0085][0086]
其中a
23
＝xd
2-xd3，a
12
＝xd
1-xd2，a
13
＝xd
1-xd3，a
21
＝xd
2-xd1，b
23
＝yd
2-yd3，b
12
＝yd
1-yd2，b
13
＝yd
1-yd3，b
21
＝yd
2-yd1；ts
l1
为预设的第四阈值，ts
l2
为预设的第五阈值，且ts
l2
＞ts
l1
；ts
θ1
为预设的第六阈值，ts
θ2
为预设的第七阈值，且ts
θ2
＞ts
θ1
；c
od
为根据历史数据训练得到的修正常数，m
od
为预设的第八阈值。
[0087]
使用本发明提供的岸边走私行为检测方法，首先根据历史数据训练得到岸边船只检测模型、夜间人员检测模型和搬运状态检测模型；然后根据船只检测模型实时获取船只的位置信息，根据水域和陆地的分界线判断船只是否在岸边停靠；若船只在岸边停靠，则根据夜间人员检测模型检测人员的移动状态信息；然后根据人员移动状态信息，确定船只的过船状态；最后根据搬运状态检测模型，以及车辆信息，判断车辆是否存走私运货行为。使用本发明的方法，实现实时尤其在夜间对岸边走私行为进行实时检测，从而提高了监管的效率和准确度。
[0088]
第二方面，本技术实施例还提供一种岸边走私行为检测装置，包括：
[0089]
图像采集模块，被配置用于采集岸边监控区域的图像和视频；
[0090]
检测模块，被配置用于根据所述图像采集模块采集的图像和视频，检测岸边走私行为，所述检测岸边走私行为包括：
[0091]
获取船只位置信息；
[0092]
确定水域和陆地的分界线；
[0093]
根据所述船只位置信息和分界线判断所述船只是否在岸边停靠；
[0094]
当判断所述船只在岸边停靠时，检测人员的移动状态信息，所述移动状态信息包括靠近过程、远离过程或者徘徊过程；
[0095]
根据所述人员的移动状态信息，确定所述船只的过船状态；
[0096]
若所述船只的过船状态为连续的过船行为，则提取靠近过船人员和远离过船人员
的人体关键点信息；
[0097]
根据所述人体关键点信息检测所述人员是否存在走私搬货行为；
[0098]
若检测到所述人员存在走私搬货行为，则获取距离所述船只停靠点在预设范围内的车辆信息；
[0099]
若人员与所述车辆的距离小于预设的距离阈值，则确定所述人员的姿态；
[0100]
若所述人员的姿态为搬运状态，则判断所述车辆存在运货物行为；
[0101]
若所述车辆的运货物行为持续时间大于预设的时间阈值，则根据所述车辆信息判定所述车辆是否存在走私运货行为。
[0102]
第三方面，本技术实施例还提供一种岸边走私行为检测装置，包括：存储器、处理器和用户接口；
[0103]
所述存储器，用于存储计算机程序；
[0104]
所述用户接口，用于与用户实现交互；
[0105]
所述处理器，用于读取所述存储器中的计算机程序，所述处理器执行所述计算机程序时，实现本发明提供的岸边走私行为检测方法。
[0106]
第四方面，本技术实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现本发明提供的岸边走私行为检测方法。
附图说明
[0107]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0108]
图1为本发明实施例提供的岸边走私行为检测方法示意图之一；
[0109]
图2为本发明实施例提供的岸边走私行为检测方法示意图之二；
[0110]
图3为本发明实施例提供的岸边走私行为检测装置示意图之一；
[0111]
图4为本发明实施例提供的岸边走私行为检测装置示意图之二。
具体实施方式
[0112]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0113]
下面对文中出现的一些词语进行解释：
[0114]
1、本发明实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0115]
2、本技术实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
[0116]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，并不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0117]
需要说明的是，本技术实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
[0118]
实施例一
[0119]
参见图1，本技术实施例提供的一种岸边走私行为检测方法示意图，如图1所示，该方法包括步骤s101到s103：
[0120]
s101、获取船只位置信息；
[0121]
s102、确定水域和陆地的分界线；
[0122]
s103、根据所述船只位置信息和分界线判断所述船只是否在岸边停靠；
[0123]
s104、当判断所述船只在岸边停靠时，检测人员的移动状态信息；
[0124]
s105、根据所述人员的移动状态信息，确定所述船只的过船状态；
[0125]
s106、若所述船只的过船状态为连续的过船行为，则提取靠近过船人员和远离过人员的人体关键点信息；
[0126]
s107、根据所述人体关键点信息检测所述人员是否存在走私搬货行为。
[0127]
作为一种优选示例，本发明s101中获取船只位置信息可以为：
[0128]
确定岸边船只检测模型；
[0129]
根据所述船只检测模型获取距离岸边在预设第二距离之内的船只信息；
[0130]
根据所述船只信息确定所述船只位置信息；
[0131]
其中，所述确定岸边船只检测模型包括：
[0132]
收集检测水域夜间过往船只的图像；
[0133]
根据所述过往船只的图像对船只进行标注；
[0134]
使用标注好的图像进行训练得到所述岸边船只检测模型。
[0135]
作为一种优选示例，上述步骤根据所述船只信息确定所述船只位置信息可以包括：
[0136]
所述船只信息为(xb,yb,wb,hb)，岸边监控视频图像的尺寸为(w,h)，则所述船只位置信息(x
tb
,y
tb
)为：
[0137][0138][0139]
其中，c
θ
为所述岸边监控视频图像的摄像头安装位置确定的角度修正常数；ch为所述摄像头安装位置确定的过度修正常数；c1为历史数据训练得到的映射修正常数；c
t
为历史数据训练得到的偏移修正常数；cu为历史数据训练的到的上界面修正常数；cd为历史数据训练得到的下界面修正常数；xb为所述船只在所述监控视频图像内识别方框左上角的横坐标；yb为所述船只在所述监控视频图像内识别方框左上角的纵坐标；wb为所述船只在所述监控视频图像内识别方框的宽；hb为所述船只在所述监控视频图像内识别方框的高；w为所述
监控视频图像的宽，h为所述监控视频图像的高；x
tb
为船只的横坐标；y
tb
所述船只的纵坐标。
[0140]
作为一种优选示例，s102中，确定水域和陆地的分界线可以为：
[0141]
分界线为ax+by+c＝0；
[0142]
其中a为横坐标系数，b为纵坐标系数，c为常数。
[0143]
作为一种优选示例，s103中，根据所述船只位置信息和分界线判断所述船只是否在岸边停靠包括：
[0144]
获取当前时刻的船只位置信息；
[0145]
对当前时刻之前的nb帧监控图像，计算第i帧监控图像中船只的位置与当前时刻船只的位置之间的距离得分并计算全部帧监控图像的距离总得分gd；
[0146]
若gd＞tsd则判定所述船只在岸边停靠；
[0147]
其中，所述由下列公式确定：
[0148][0149]
所述gd由以下公式确定：
[0150][0151]
i为监控图像帧编号，为船只距离水域陆地分界线的距离，nb为监控图像的总帧号，tsd为预设的距离总得分阈值，ts
bd
为预设的第一距离阈值。
[0152]
也就是说，本发明s101到s103中，处理过程如下：
[0153]
收集检测水域夜间过往船只的图像，对船只进行标注，使用标注好的图像进行训练得到岸边船只检测模型；
[0154]
通过岸边部署的光电设备使用训练好的岸边船只检测模型获取岸边水域内的船只信息(xb,yb,wb,hb)，根据视频图像的尺寸信息(w,h)，获取船只的相对位置信息(x
tb
,y
tb
)，
[0155]
其中，
[0156][0157][0158]
根据视频画面中水域及陆地的分布得到水域陆地分界线ax+by+c＝0，当检测到船只的相对位置信息(x
tb
,y
tb
)满足：
[0159]
其中tsb为预设的判断阈值。
[0160]
则判定船只靠近岸边，并获取当前帧前nb帧图像计算图像中船只距离当前船只的距离db，当db小于预设的第一距离阈值时添加船只得分gb＝1，gb默认为0，当时，判定船只在岸边停靠，并将船只相对位置作为停靠点的位置信息
(x
tb
,y
tb
)。其中，ts
bd
为预设的第一距离阈值。
[0161]
作为一种优选示例，本发明实施例s104中，当判断所述船只在岸边停靠时，检测人员的移动状态信息包括：
[0162]
获取从检测到船只在岸边停靠的时间ts为起点每隔时间ty获取长度为t
x
的时间窗视频内全部移动状态人员的第一轨迹信息；
[0163]
将所述第一轨迹信息中满足以下公式的移动状态人员的轨迹信息提取出来得到第二轨迹信息：
[0164][0165]
其中，xg是所述移动状态人员的横坐标，yg是所述移动状态人员的纵坐标，ts
dg
是预设的第二距离阈值，x
tb
为船只的横坐标；y
tb
所述船只的纵坐标。
[0166]
对所述第二轨迹信息中所述移动状态人员的轨迹信息按照时间先后顺序排列，划分为第一轨迹集合{(x
p1i
,y
p1i
)}和第二轨迹集合{(x
p2j
,y
p2j
)}，其中所述第一轨迹集合中的点对应的时间小于tm，所述第二轨迹集合中的点对应的时间大于等于tm，所述tm为所述第二轨迹信息中距离停靠点距离最小的轨迹点对应的时间；
[0167]
计算所述第一轨迹集合内每一个轨迹点距离停靠点的距离dp1i并按照对应的时间排序得到元素个数为n的第一距离集合{dp1i}，其中i为所述第一轨迹集合内轨迹点的编号，n为所述第一轨迹集合内轨迹点的总数量；
[0168]
提取所述第一距离集合{dp1i}中前n-ω+1个元素组成基础距离集合{dp1,dp2,
···
,dp
n-ω+1
}；
[0169]
从所述基础距离集合{dp1,dp2,
···
,dp
n-ω+1
}中提取一个元素dpm与所述第一距离集合{dp1i}中的后ω-1个元素{dp
n-ω+2
,dp
n-ω+3
,
···
,dpn}组成n-ω+1个第二距离集合{dpm,dp
n-ω+2
,
···
,dpn}，其中m大于等1小于等于n-ω+1，ω为设定的集合分割常数；
[0170]
根据下列公式计算第k个所述第二距离集合的趋势得分：
[0171]
k大于等于1小于等于n-ω+1，j大于等于1小于等于ω-1；
[0172]
其中，c
max
为根据历史数据训练得到的上界修正常数，c
min
为根据历史数据训练得到的下界修正常数；
[0173]ce
为根据历史数据训练得到的修正常数；
[0174]
根据以下公式计算相邻两个所述第二距离集合的趋势差得分：
[0175]
ts
gd
为预设的趋势差异阈值，s大于等于1小于等
于n-ω；
[0176]
根据以下公式计算整体的趋势差得分：
[0177][0178]
若gf＞ts
gf
则判定所述人员轨迹为远离轨迹，若gf＜-ts
gf
则判定所述人员轨迹为靠近轨迹，若gf≥-ts
gf
且gf≤ts
gf
则判定所述人员轨迹为徘徊轨迹；其中ts
gf
为预设的轨迹识别阈值。
[0179]
作为一种优选示例，所述检测人员的移动状态信息包括：
[0180]
通过黑光摄像设备使用训练好的夜间人员检测模型获取岸边陆地区域出现的人员信息(x
p
,y
p
,w
p
,h
p
)，并提取所述人员的特征向量；
[0181]
提取当前检测帧的前一帧图像，根据余弦相似度计算所述前一帧图像中与所述人员相似度最大的人员信息(x1
p
,y1
p
,w1
p
,h1
p
)；
[0182]
提取当前检测帧的前n帧图像，根据余弦相似度计算所述前n帧图像中与所述人员相似度最大的人员信息(xn
p
,yn
p
,wn
p
,hn
p
)，其中n大于1且小于图像数量；
[0183]
若满足以下公式则判断所述人员处于移动状态：
[0184][0185]
其中，ts
np
为预设的第三阈值；
[0186]
x1
p
和xn
p
为所述人员识别方框左上角的横坐标，y1
p
和yn
p
为所述人员识别方框左上角的纵坐标，w1
p
和wn
p
为所述人员识别方框的宽，h1
p
和hn
p
为所述人员识别方框的高。
[0187]
作为一种优选示例，本发明实施例s105，根据以下方式判定所述船只的过船状态为连续的过船行为：
[0188]
当所述第一轨迹集合为靠近轨迹，所述第二轨迹集合为远离轨迹时，判定所述移动状态人员的轨迹信息为过船行为；
[0189]
当所所述移动状态人员的轨迹信息为过船行为时，以距离停靠点最近的轨迹点对应的时间为起始时间，根据时间轴将所述轨迹信息划分为n
gj
个等长的时间段，统计每个时间段内轨迹信息的数量ngi，其中i为所述时间段的序号，i大于等于1小于等于n
gj
；
[0190]
若满足以下公式则判定为所述船只的过船状态为连续的过船行为：
[0191][0192]
其中，ts
db
为预设的波动阈值；
[0193]
k大于等于1小于等于n
gj
。
[0194]
也就是说，本步骤s105中，当两个集合{(x
p1i
,y
p1i
)}，{(x
p2j
,y
p2j
)}其中时间靠前的一个为靠近轨迹，靠后的一个为远离轨迹时判定人员轨迹为过船轨迹，以距离停靠点最近的轨迹点对应的时间为轨迹时间，将时间轴划分为n
gl
个等长时间段，根据轨迹时间将过船轨迹分组统计每个时间段内的轨迹数量ng，得到数量集合
[0195]
当上述数量集合满足以下公式时判定在检测时刻存在连续的过船行为：
[0196][0197]
ts
db
为预设的波动阈值。
[0198]
作为一种优选示例，本发明实施例的s107中，所述根据所述人体关键点信息检测所述人员是否存在走私搬货行为包括：
[0199]
使用训练好的搬运状态检测模型对所述人员的姿态进行判断，当所述人员为搬运状态时，判定为检测帧存在走私搬货行为；
[0200]
其中，所述人体关键点信息包括以下之一或者组合脖子，肩膀或者手腕。
[0201]
也就是说，s107中，收集人员搬运货物图像，对人员的关键点信息进行标注，根据标注计算各关键点与头部的距离以及与头部的连线与身体躯干组成直线的夹角，将距离与夹角组成特征向量进行训练得到搬运状态检测模型。当检测到连续的过船行为时，提取靠近过程及远离过程内人员图像中的人体关键点信息(例如脖子、肩膀、手腕等)使用训练好的搬运状态检测模型对人员的姿态进行判断，当检测到过船轨迹为疑似搬运状态时，判定为检测帧存在走私搬货行为。
[0202]
实施例二
[0203]
参见图2，本技术实施例提供的一种岸边走私行为检测方法示意图，如图2所示，该方法包括步骤s201到s211：
[0204]
s201、获取船只位置信息；具体同s101，在此不再赘述；
[0205]
s202、确定水域和陆地的分界线；具体同s102，在此不再赘述；
[0206]
s203、根据所述船只位置信息和分界线判断所述船只是否在岸边停靠；具体同s103，在此不再赘述；
[0207]
s204、当判断所述船只在岸边停靠时，检测人员的移动状态信息；具体同s104，在此不再赘述；
[0208]
s205、根据所述人员的移动状态信息，确定所述船只的过船状态；具体同s105，在此不再赘述；
[0209]
s206、若所述船只的过船状态为连续的过船行为，则提取靠近过船人员和远离过船人员的人体关键点信息；具体同s106，在此不再赘述；
[0210]
s207、根据所述人体关键点信息检测所述人员是否存在走私搬货行为；若是则执行s208，否则执行s201；
[0211]
s208、获取距离所述船只停靠点在预设范围内的车辆信息；
[0212]
s209、若人员与所述车辆的距离小于预设的距离阈值，则确定所述人员的姿态；
[0213]
s210、若所述人员的姿态为搬运状态，则判断所述车辆存在运货物行为；
[0214]
s211、若所述车辆的运货物行为持续时间大于预设的时间阈值，则根据所述车辆信息判定所述车辆是否存在走私运货行为。
[0215]
也就是说，本实施例s208到s211中，在检测到疑似走私搬货行为时，获取岸边标记为区域内(即距离所述船只停靠点在预设范围内)车辆的相关信息，在停靠点的标记为区域内对货车根据特征进行检测，获取停靠点的标记为区域内的车辆信息，对过船轨迹内的人员进行跟踪，得到搬货人员活动区域，当检测车辆位置与人员区域的最小距离小于预设的
距离阈值，提取小于预设的距离阈值的人员信息，当检测到人员姿态为搬运状态时，判定车辆存在运货物行为，运货物行为持续时间超过预设的时间阈值时判定存在走私运货行为。
[0216]
具体的，本实施例s211中，若所述车辆的运货物行为持续时间大于预设的时间阈值，则根据所述车辆信息判定所述车辆是否存在走私运货行为包括：
[0217]
获取停留时间大于预设时间阈值的所述车辆位置(xd1,yd1)，获取所述车辆离开岸边区域的位置(xd2,yd2)以及所述车辆进入岸边区域的位置(xd3,yd3)；
[0218]
计算所述车辆的异常得分g
ce
；
[0219]
当检测到车辆异常得分g
ce
大于预设的车辆异常得分阈值时，判定车辆存在走私运货行为；
[0220]
其中，根据以下公式计算所述车辆的异常得分g
ce
：
[0221]gce
＝g
od
(g
lo
+g
jd
)；
[0222][0223][0224][0225]
其中a
23
＝xd
2-xd3，a
12
＝xd
1-xd2，a
13
＝xd
1-xd3，a
21
＝xd
2-xd1，b
23
＝yd
2-yd3，b
12
＝yd
1-yd2，b
13
＝yd
1-yd3，b
21
＝yd
2-yd1；ts
l1
为预设的第四阈值，ts
l2
为预设的第五阈值，且ts
l2
＞ts
l1
；ts
θ1
为预设的第六阈值，ts
θ2
为预设的第七阈值，且ts
θ2
＞ts
θ1
；c
od
为根据历史数据训练得到的修正常数，m
od
为预设的第八阈值。
[0226]
使用本发明提供的实施例一或者实施例二的岸边走私行为检测方法，首先根据历史数据训练得到岸边船只检测模型、夜间人员检测模型、搬运状态检测模型和走私运货检测模型；然后根据船只检测模型实时获取船只的位置信息，根据水域和陆地的分界线判断船只是否在岸边停靠；若船只在岸边停靠，则根据夜间人员检测模型检测人员的移动状态信息；然后根据人员移动状态信息，确定船只的过船状态；根据搬运状态检测模型，判断人员是否存在走私搬运行为；最后根据走私运货检测模型，以及车辆信息，判断车辆是否存走私运货行为。使用本发明的方法，实现实时尤其在夜间对岸边走私行为进行实时检测，从而
提高了监管的效率和准确度。
[0227]
实施例三
[0228]
基于同一个发明构思，本发明实施例还提供了一种岸边走私行为检测装置，如图3所示，该装置包括：
[0229]
图像采集模块301，被配置用于采集岸边监控区域的图像和视频；
[0230]
检测模块302，被配置用于根据所述图像采集模块采集的图像和视频，检测岸边走私行为，所述检测岸边走私行为包括：
[0231]
获取船只位置信息；
[0232]
确定水域和陆地的分界线；
[0233]
根据所述船只位置信息和分界线判断所述船只是否在岸边停靠；
[0234]
当判断所述船只在岸边停靠时，检测人员的移动状态信息，所述移动状态信息包括靠近过程、远离过程或者徘徊过程；
[0235]
根据所述人员的移动状态信息，确定所述船只的过船状态；
[0236]
若所述船只的过船状态为连续的过船行为，则提取靠近过船人员和远离过船人员的人体关键点信息；
[0237]
根据所述人体关键点信息检测所述人员是否存在走私搬货行为；
[0238]
若检测到所述人员存在走私搬货行为，则获取距离所述船只停靠点在预设范围内的车辆信息；
[0239]
若人员与所述车辆的距离小于预设的距离阈值，则确定所述人员的姿态；
[0240]
若所述人员的姿态为搬运状态，则判断所述车辆存在运货物行为；
[0241]
若所述车辆的运货物行为持续时间大于预设的时间阈值，则根据所述车辆信息判定所述车辆是否存在走私运货行为。
[0242]
作为一种优选示例，检测模块302还被配置用于根据以下步骤获取船只位置信息：
[0243]
确定岸边船只检测模型；
[0244]
根据所述船只检测模型获取距离岸边在预设第二距离之内的船只信息；
[0245]
根据所述船只信息确定所述船只位置信息；
[0246]
其中，所述确定岸边船只检测模型包括：
[0247]
收集检测水域夜间过往船只的图像；
[0248]
根据所述过往船只的图像对船只进行标注；
[0249]
使用标注好的图像进行训练得到所述岸边船只检测模型。
[0250]
作为一种优选示例，检测模块302还被配置用于根据所述船只信息确定所述船只位置信息：
[0251]
所述船只信息为(xb,yb,wb,hb)，岸边监控视频图像的尺寸为(w,h)，则所述船只位置信息(x
tb
,y
tb
)为：
[0252][0253]
[0254]
其中，c
θ
为所述岸边监控视频图像的摄像头安装位置确定的角度修正常数；ch为所述摄像头安装位置确定的过度修正常数；c1为历史数据训练得到的映射修正常数；c
t
为历史数据训练得到的偏移修正常数；cu为历史数据训练的到的上界面修正常数；cd为历史数据训练得到的下界面修正常数；xb为所述船只在所述监控视频图像内识别方框左上角的横坐标；yb为所述船只在所述监控视频图像内识别方框左上角的纵坐标；wb为所述船只在所述监控视频图像内识别方框的宽；hb为所述船只在所述监控视频图像内识别方框的高；w为所述监控视频图像的宽，h为所述监控视频图像的高；x
tb
为船只的横坐标；y
tb
所述船只的纵坐标。
[0255]
作为一种优选示例，
[0256]
所述确定水域和陆地的分界线包括：
[0257]
所述分界线为ax+by+c＝0；
[0258]
其中a为横坐标系数，b为纵坐标系数，c为常数。
[0259]
作为一种优选示例，检测模块302还被配置用于根据所述船只位置信息和分界线判断所述船只是否在岸边停靠：
[0260]
获取当前时刻的船只位置信息；
[0261]
对当前时刻之前的nb帧监控图像，计算第i帧监控图像中船只的位置与当前时刻船只的位置之间的距离得分并计算全部帧监控图像的距离总得分gd；
[0262]
若gd＞tsd则判定所述船只在岸边停靠；
[0263]
其中，所述由下列公式确定：
[0264][0265]
所述gd由以下公式确定：
[0266][0267]
i为监控图像帧编号，为船只距离水域陆地分界线的距离，nb为监控图像的总帧号，tsd为预设的距离总得分阈值，ts
bd
为预设的第一距离阈值。
[0268]
作为一种优选示例，检测模块302还被配置用于检测人员的移动状态信息：
[0269]
获取从检测到船只在岸边停靠的时间ts为起点每隔时间ty获取长度为t
x
的时间窗视频内全部移动状态人员的第一轨迹信息；
[0270]
将所述第一轨迹信息中满足以下公式的移动状态人员的轨迹信息提取出来得到第二轨迹信息：
[0271][0272]
其中，xg是所述移动状态人员的横坐标，yg是所述移动状态人员的纵坐标，ts
dg
是预设的第二距离阈值，x
tb
为船只的横坐标；y
tb
所述船只的纵坐标。
[0273]
对所述第二轨迹信息中所述移动状态人员的轨迹信息按照时间先后顺序排列，划分为第一轨迹集合{(x
p1i
,y
p1i
)}和第二轨迹集合{(x
p2j
,y
p2j
)}，其中所述第一轨迹集合中的点对应的时间小于tm，所述第二轨迹集合中的点对应的时间大于等于tm，所述tm为所述第
二轨迹信息中距离停靠点距离最小的轨迹点对应的时间；
[0274]
计算所述第一轨迹集合内每一个轨迹点距离停靠点的距离dp1i并按照对应的时间排序得到元素个数为n的第一距离集合{dp1i}，其中i为所述第一轨迹集合内轨迹点的编号，n为所述第一轨迹集合内轨迹点的总数量；
[0275]
提取所述第一距离集合{dp1i}中前n-ω+1个元素组成基础距离集合{dp1,dp2,
···
,dp
n-ω+1
}；
[0276]
从所述基础距离集合{dp1,dp2,
···
,dp
n-ω+1
}中提取一个元素dpm与所述第一距离集合{dp1i}中的后ω-1个元素{dp
n-ω+2
,dp
n-ω+3
,
···
,dpn}组成n-ω+1个第二距离集合{dpm,dp
n-ω+2
,
···
,dpn}，其中m大于等1小于等于n-ω+1，ω为设定的集合分割常数；
[0277]
根据下列公式计算第k个所述第二距离集合的趋势得分：
[0278]
k大于等于1小于等于n-ω+1，j大于等于1小于等于ω-1；
[0279]
其中，c
max
为根据历史数据训练得到的上界修正常数，c
min
为根据历史数据训练得到的下界修正常数；
[0280]ce
为根据历史数据训练得到的修正常数；
[0281]
根据以下公式计算相邻两个所述第二距离集合的趋势差得分：
[0282]
ts
gd
为预设的趋势差异阈值，s大于等于1小于等于n-ω；
[0283]
根据以下公式计算整体的趋势差得分：
[0284][0285]
若gf＞ts
gf
则判定所述人员轨迹为远离轨迹，若gf＜-ts
gf
则判定所述人员轨迹为靠近轨迹，若gf≥-ts
gf
且gf≤ts
gf
则判定所述人员轨迹为徘徊轨迹；其中ts
gf
为预设的轨迹识别阈值。
[0286]
所述检测人员的移动状态信息包括：
[0287]
通过黑光摄像设备使用训练好的夜间人员检测模型获取岸边陆地区域出现的人员信息(x
p
,y
p
,w
p
,h
p
)，并提取所述人员的特征向量；
[0288]
提取当前检测帧的前一帧图像，根据余弦相似度计算所述前一帧图像中与所述人员相似度最大的人员信息(x1
p
,y1
p
,w1
p
,h1
p
)；
[0289]
提取当前检测帧的前n帧图像，根据余弦相似度计算所述前n帧图像中与所述人员相似度最大的人员信息(xn
p
,yn
p
,wn
p
,hn
p
)，其中n大于1且小于图像数量；
[0290]
若满足以下公式则判断所述人员处于移动状态：
[0291][0292]
其中，ts
np
为预设的第三阈值；
[0293]
x1
p
和xn
p
为所述人员识别方框左上角的横坐标，y1
p
和yn
p
为所述人员识别方框左上角的纵坐标，w1
p
和wn
p
为所述人员识别方框的宽，h1
p
和hn
p
为所述人员识别方框的高。
[0294]
作为一种优选示例，检测模块302还被配置用于根据以下方式判定所述船只的过船状态为连续的过船行为：
[0295]
当所述第一轨迹集合为靠近轨迹，所述第二轨迹集合为远离轨迹时，判定所述移动状态人员的轨迹信息为过船行为；
[0296]
当所所述移动状态人员的轨迹信息为过船行为时，以距离停靠点最近的轨迹点对应的时间为起始时间，根据时间轴将所述轨迹信息划分为n
gj
个等长的时间段，统计每个时间段内轨迹信息的数量ngi，其中i为所述时间段的序号，i大于等于1小于等于n
gj
；
[0297]
若满足以下公式则判定为所述船只的过船状态为连续的过船行为：
[0298][0299]
其中，ts
db
为预设的波动阈值；
[0300]
k大于等于1小于等于n
gj
。
[0301]
作为一种优选示例，检测模块302还被配置用于根据所述人体关键点信息检测所述人员是否存在走私搬货行为：
[0302]
使用训练好的搬运状态检测模型对所述人员的姿态进行判断，当所述人员为搬运状态时，判定为检测帧存在走私搬货行为；
[0303]
其中，所述人体关键点信息包括以下之一或者组合脖子，肩膀或者手腕。
[0304]
作为一种优选示例，检测模块302还被配置用于根据所述车辆信息判定所述车辆是否存在走私运货行为：
[0305]
获取停留时间大于预设时间阈值的所述车辆位置(xd1,yd1)，获取所述车辆离开岸边区域的位置(xd2,yd2)以及所述车辆进入岸边区域的位置(xd3,yd3)；
[0306]
计算所述车辆的异常得分g
ce
；
[0307]
当检测到车辆异常得分g
ce
大于预设的车辆异常得分阈值时，判定车辆存在走私运货行为；
[0308]
其中，根据以下公式计算所述车辆的异常得分g
ce
：
[0309]gce
＝g
od
(g
lo
+g
jd
)；
[0310]
[0311][0312][0313]
其中a
23
＝xd
2-xd3，a
12
＝xd
1-xd2，a
13
＝xd
1-xd3，a
21
＝xd
2-xd1，b
23
＝yd
2-yd3，b
12
＝yd
1-yd2，b
13
＝yd
1-yd3，b
21
＝yd
2-yd1；ts
l1
为预设的第四阈值，ts
l2
为预设的第五阈值，且ts
l2
＞ts
l1
；ts
θ1
为预设的第六阈值，ts
θ2
为预设的第七阈值，且ts
θ2
＞ts
θ1
；c
od
为根据历史数据训练得到的修正常数，m
od
为预设的第八阈值。
[0314]
需要说明的是，本实施例提供的检测模块302，能实现实施例二中步骤s201到s211包含的全部功能，解决相同技术问题，达到相同技术效果，在此不再赘述；
[0315]
需要说明的是，实施例三提供的装置与实施例二提供的方法属于同一个发明构思，解决相同的技术问题，达到相同的技术效果，实施例三提供的装置能实现实施例二的所有方法，相同之处不再赘述。
[0316]
实施例四
[0317]
基于同一个发明构思，本发明实施例还提供了一种岸边走私行为检测装置，如图4所示，该装置包括：
[0318]
包括存储器402、处理器401和用户接口403；
[0319]
所述存储器402，用于存储计算机程序；
[0320]
所述用户接口403，用于与用户实现交互；
[0321]
所述处理器401，用于读取所述存储器402中的计算机程序，所述处理器401执行所述计算机程序时，实现：
[0322]
获取船只位置信息；
[0323]
确定水域和陆地的分界线；
[0324]
根据所述船只位置信息和分界线判断所述船只是否在岸边停靠；
[0325]
当判断所述船只在岸边停靠时，检测人员的移动状态信息；
[0326]
根据所述人员的移动状态信息，确定所述船只的过船状态；
[0327]
若所述船只的过船状态为连续的过船行为，则提取靠近过船人员和远离过船人员的人体关键点信息；
[0328]
根据所述人体关键点信息检测所述人员是否存在走私搬货行为；
[0329]
若检测到所述人员存在走私搬货行为，则获取距离所述船只停靠点在预设范围内的车辆信息；
[0330]
若人员与所述车辆的距离小于预设的距离阈值，则确定所述人员的姿态；
[0331]
若所述人员的姿态为搬运状态，则判断所述车辆存在运货物行为；
[0332]
若所述车辆的运货物行为持续时间大于预设的时间阈值，则根据所述车辆信息判定所述车辆是否存在走私运货行为。
[0333]
其中，在图4中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器401代表的一个或多个处理器和存储器402代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器401负责管理总线架构和通常的处理，存储器402可以存储处理器401在执行操作时所使用的数据。
[0334]
处理器401可以是cpu、asic、fpga或cpld，处理器401也可以采用多核架构。
[0335]
处理器401执行存储器402存储的计算机程序时，实现实施例一中的任一岸边走私行为检测方法。
[0336]
需要说明的是，实施例三提供的装置与实施例一提供的方法属于同一个发明构思，解决相同的技术问题，达到相同的技术效果，实施例三提供的装置能实现实施例一的所有方法，相同之处不再赘述。
[0337]
本技术还提出一种处理器可读存储介质。其中，该处理器可读存储介质存储有计算机程序，所述处理器执行所述计算机程序时实现实施例一中的任一岸边走私行为检测方法。
[0338]
需要说明的是，本技术实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0339]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0340]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0341]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0342]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精
神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。。