一种基于大数据分析的嫌疑船舶线索追查方法与流程

1.本发明属大数据分析系统领域，具体涉及一种基于大数据分析的嫌疑船舶线索追查方法。


背景技术：

2.相对于陆地，绝大多数水上活动必须以船舶为交通工具才能开展，这就给水上治安防控工作带来了一定的制约。而且我国水域辽阔，海岸线绵长，现有的水上警力资源难以达到全覆盖的理想状态。因此，如何利用现代科学技术，在有限的资源条件下完成更高效、更精确的水上治安防控体系建设，成为必须攻克的一个难题。其中，如何从大量船舶中找出可疑船舶，如何记录有效的线索证据成了重中之重。传统的可疑船舶排查手段难以满足当下，主要表现在：
3.1)干扰信息过多，排查范围太大。通常，对于水运繁荣的地区，船舶数量很大，尤其是内河入海口、重要中转海港等水域，其平均实时在线船舶数量可能成千上万。它们一天所产生的总航迹点数量就高达数以亿计，其中真正可疑行为所涉及的航迹点仅占十万分之一，百万分之一。不依靠大数据分析处理技术，难以快速高效地完成从海量原始数据中发现有用线索。
4.2)线索零散杂乱，无法快速归类检索。原始航迹的记录是按时间先后顺序存储，并未按船舶归类存储。传统的数据存储方式，在进行数据查找时，同一艘船的航迹点需要到多个物理存储块中读取数据。其间的io耗时将拖慢系统整体运转效率。


技术实现要素：

5.发明目的：本发明的目的是实现基于大数据的违法船舶追查方法，其实质是解决可疑违法船舶的判别及证据线索采集的技术问题，为打击水上违法犯罪活动和构建水上治安防控体系提供技术支持。
6.本发明具体提供了一种基于大数据分析的嫌疑船舶线索追查方法，包括如下步骤：
7.步骤1，检测违法行为特征；
8.步骤2，检测可疑目标；
9.步骤3，针对可疑目标形成完整证据报告。
10.步骤1包括如下步骤：
11.步骤1-1：接收传入参数；
12.步骤1-2：接入大数据平台；
13.步骤1-3：梳理数据船舶完整航迹；
14.步骤1-4：基于航迹分析船舶的行为特征；
15.步骤1-5：结果数据入库保存；
16.步骤1-1包括：
17.通过系统定时任务调用启动脚本的方式来启动违法行为特征检测，接收传入参数，传入参数由启动脚本里提供，传入参数的内容包括开始时间戳和结束时间戳，用于约束本次特征检测涉及航迹数据的时间范围。
18.步骤1-2包括：连接mongodb数据库，mongodb数据库为存储有海量航迹数据的大数据平台，从原始航迹库表中读取数据。
19.步骤1-3包括：基于目标船舶的唯一标识，从原始航迹库表中提取目标的连续航迹，如果目标船舶含有ais(船舶自动识别系统，automatic identification system)信息，则目标的唯一标识与mmsi(水上移动通信业务标识码，maritime mobile service identify)号相关；如果目标船舶不含有ais信息，即仅有雷达数据，则目标的唯一标识仅与雷达源和首次发现目标的时间戳相关。
20.步骤1-4包括：如果船舶ais关机，则航迹数据的mmsi号为0；如果两个船舶存在过驳行为，则两个船舶的航迹数据在时间和空间两个维度都呈现出相近交集的状态。
21.步骤1-5包括：将步骤1-4中特征分析得到的结果数据存入数据库，针对不同的行为特征，创建独立的特征结果库表，(例如：过驳记录库表、靠泊记录库表、ais关机记录库表等)；
22.对于持续类特征(比如高速航行就是持续类特征)，如果船舶自动识别系统ais未开机，目标船舶会持续一段时间处于无船舶自动识别系统ais信号状态，先判断船舶自动识别系统ais未开机的特征结果库表里是否存在目标数据，所述目标数据是上一次检测时已经检出的船舶自动识别系统ais未开机船舶数据，如果已存在，则更新目标数据的状态持续时间或者结束时间；如果不存在，则将这条船舶自动识别系统ais未开机数据插入数据库中。
23.步骤2包括如下步骤：
24.步骤2-1：接入可疑目标类型检测请求，接收本次检测目标类型；
25.步骤2-2：分解违法活动：如果一种违法活动包含了两种以上违法行为特征，则将违法活动的判断分解为两种以上违法特征的组合判断，具备违法行为特征的船舶就具有了从事对应违法活动的嫌疑；
26.步骤2-3：两种以上特征组合检索：依据步骤2-2中的行为特征，到相应的特征结果库表中读取数据，并对各种数据进行组合、关联、条件过滤操作，从而得到结果数据，结果数据即为同时符合两种以上特征条件的可疑船舶信息；
27.步骤2-4：多条件筛选，缩小目标范围：通过软件交互界面设置起止时间范围、区域范围，对步骤2-3中的结果数据进行过滤筛选；
28.步骤2-5：通过表格或海图态势界面等方式展示过滤筛选后得到符合要求的可疑船舶检测结果。
29.步骤3包括如下步骤：
30.步骤3-1：传入证据链的时间范围：
31.当有起止时间参数传入时，可通过配置文件等形式传入参数来搜集、组织证据；否则，采用默认设定，以最近一周作为时间范围去生成证据链；
32.步骤3-2：提取船舶唯一id作为关键key：
33.从步骤2-4过滤筛选的结果中，选择一艘船舶作为取证的目标对象，提取该船舶的
唯一标识id作为后续各类证据形成操作的关键key；
34.步骤3-3：获取目标船舶详细信息：
35.根据步骤3-2中获得的唯一标识id，从船舶静态库表中获取目标船舶的详细信息；
36.步骤3-4：生成航行轨迹证据：
37.根据步骤3-2获得的唯一标识id，从原始航迹库表中提取目标对象的所有航迹点，将所有航迹点按时间顺序排列，得到目标对象的航行轨迹证据；
38.步骤3-5：生成过驳记录证据：
39.根据步骤3-2获得的唯一标识id，从过驳记录库表里检索与目标船舶存在过驳可能的所有船舶信息，并将所述船舶信息按过驳事件的先后顺序排列，得到目标船舶的过驳证据；
40.步骤3-6：生成靠泊记录证据：
41.根据步骤3-2获得的唯一标识id，从靠泊记录库表里检索目标船舶曾经可能的靠泊记录，并将靠泊点与靠泊点附近码头信息进行关联，生成靠泊记录证据；
42.步骤3-7：生成船舶自动识别系统ais关机记录证据：
43.根据步骤3-2获得的唯一标识id，从船舶自动识别系统ais关机记录库表里检索单位时间内两次以上故意关闭船舶自动识别系统ais船载设备的可疑目标，将关机的时间、坐标、时长信息合成证据链；
44.步骤3-8：生成告警记录证据：
45.根据步骤3-2获得的唯一标识id，在告警记录库表里检索目标对象所有异常告警记录；
46.步骤3-9：生成视频图像证据：
47.根据步骤3-2获得的唯一标识id，在船舶抓拍系统和nvr硬盘录像机中检索目标对象的相关图像及视频资料；
48.步骤3-10：整合证据，形成报告。
49.整合上述的两种以上证据，形成一份完整的嫌疑船舶线索分析报告。
50.基于大数据平台，系统通过对历史航迹进行分析、计算、抽稀、聚类等一系列数据加工处理，生成各种嫌疑船舶线索。根据各类嫌疑船舶的判别方式和流程，设计并训练相应的可疑行为特征检测模型。然后利用两种以上行为特征检测的结果进行有机组合，共同构成了嫌疑船舶行为检测结果。最后系统再与执法部门通过其他情报途径获得的可疑线索进行整合，系统生成一份高可信度高精准度的嫌疑船舶分析报告。
51.有益效果：本发明可充分利用历史航迹资源，深度挖掘数据潜力，对ais关机船舶、高速航行船舶、非正常时段航行船舶、轨迹异常船舶、过驳船舶等可疑目标有着较好的检测效果。本发明能帮助水上执法机构人员快速辨别水上可疑船舶目标，高效整合可疑船舶的各类信息，维护地区水域的安全和稳定。
附图说明
52.下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
53.图1是本发明嫌疑船舶线索追查流程图。
54.图2是本发明违法行为特征检测的流程图。
55.图3是本发明可疑目标检测的流程图。
56.图4是本发明嫌疑船舶分析报告生成的流程图。
具体实施方式
57.实施例
58.如图1所示，本发明提供了一种基于大数据分析的嫌疑船舶线索追查方法，主要包括：违法行为特征检测、可疑目标检测和可疑目标证据报告生成三个部分。
59.(1)违法行为特征检测
60.违法行为特征检测程序为后台长期运行的软件，持续不断的对航迹原始数据进行分析处理，输出满足违法行为特征要求的船舶数据，并将结果保存进数据库。下面说明违法行为特征检测的具体实现方法，过程参见图2，具体步骤为：
61.步骤1-1：接收传入参数
62.通过系统定时任务调用启动脚本的方式来启动违法行为特征检测程序，程序首先接收传入参数。传入参数由启动脚本里提供，内容为开始时间戳和结束时间戳，用于约束本次特征检测涉及航迹数据的时间范围。
63.步骤1-2：接入大数据平台(mongodb数据库)
64.违法行为特征检测程序连接数据库，所连接的数据库为存储有海量航迹数据的大数据平台，该应用程序需要从原始航迹库表中读取数据，并将数据处理结果存入相应的结果库表中。
65.步骤1-3：梳理数据船舶完整航迹
66.基于目标的唯一标识，从离散交错的原始航迹数据中梳理该目标的连续航迹。如果该目标含有ais信息，则其唯一标识与mmsi号相关；如果该目标不含有ais信息，即仅有雷达数据，则其唯一标识仅与雷达源和首次发现目标的时间戳相关。
67.步骤1-4：基于航迹分析船舶的某种行为特征
68.船舶的宏观行为都会通过航迹数据以某种特征表征出来，主要可疑特征判别规则如下：
69.1)若两船存在过驳行为(即持续一段时间内低速且靠得很近)，则两船的航迹数据在时间和空间两个维度都呈现出“相近交集”的状态；
70.2)若某船ais关机，则其航迹数据的mmsi号为0；
71.3)若船舶到码头靠泊，则其航迹点长期停留在码头水域，且其航迹点聚合结果较统一，或者其航迹到码头附近就不再更新；
72.4)若某船突然ais开机，则其连续航迹的起始点的时间和其上一段连续航迹的结束点的相距较大(两时刻之差大于30分钟)。
73.5)若某船突然在其非工作时间航行，则该船的非正常航行时间段和历史航行时间段偏离较大。
74.步骤1-5：结果数据入库保存
75.为方便后续的线索梳理和嫌疑等级评估，需要将步骤1-4中特征分析得到的结果数据存入数据库。因为嫌疑船舶的行为特征有很多，且相互之间存在大量独立属性，所有针
对不同的行为特征，创建独立的特征结果库表。
76.对于某些持续类特征，会先判断特征结果库表里是否存在该目标数据(即上一次检测时已经检出)。若已存在，则更新目标数据的状态持续时间(或者结束时间)；若不存在，则将该结果数据插入数据库中。
77.(2)可疑目标检测
78.不同的违法活动呈现出不同的行为特征。因此，在侦办不同案件时，针对嫌疑目标的违法行为活动分解出若干种行为特征。然后根据数据库中存储的相应特征检测结果进行多条件组合筛选，即可获得嫌疑目标。下面说明可疑目标检测的实现过程，参见图3，具体步骤为：
79.步骤2-1：接入可疑目标类型检测请求
80.可疑目标检测程序启动后，先接收本次检测目标类型(即确定本次检测违法活动是非法捕鱼、水上走私、涉油、非法采砂等违法活动中的哪一种)。
81.步骤2-2：分解违法活动
82.确定违法活动后，系统会将其分解成若干种违法行为特征。即表示具备这些行为特征的船舶就具有了从事此项违法活动的嫌疑。例如夜间走私船舶的行为可分解为夜间航行、非正常时段航行、高速航行、码头靠泊、航迹线路异常、过驳、ais关机等行为特征。
83.步骤2-3：两种以上特征组合检索
84.依据步骤2-2中的行为特征，到相应的特征库表中读取数据，并对各种数据进行组合、关联、条件过滤等操作。其结果数据为同时符合两种以上特征条件的船舶信息。
85.步骤2-4：多条件筛选，缩小目标范围
86.设置起止时间范围、区域范围，对步骤2-3中的结果进行过滤筛选。
87.步骤2-5：可疑目标检测结果展示
88.(3)针对可疑目标形成完整证据报告
89.执法机关对可疑目标所需求关联证据范围很广，包括历史航迹、靠泊过的港口码头、接触过的其他船舶等，涉及时间、经纬度坐标、船舶信息、码头信息等两种以上数据类型。系统将以上内容汇总到一份完整的检测报告中，反馈给使用者。下面说明完整证据报告的生成流程，过程参见图4，具体步骤为：
90.步骤3-1：传入证据链的时间范围
91.当有起止时间参数传入时，程序将依据传入参数来搜集、组织证据。若没有参数传入，程序将采用默认设定，以最近一周作为时间范围去生成证据链。
92.步骤3-2：提取船舶唯一id作为关键key
93.从检测结果中，选择一艘船舶作为取证的目标对象。提取该船的唯一标识id作为后续各类证据形成操作的关键key。
94.步骤3-3：获取目标船舶详细信息：
95.程序根据步骤3-2中获得的唯一id号，从船舶静态库表中获取该目标的详细信息，例如船长、船宽、中英文名、mmsi号、呼号等。
96.步骤3-4：生成航行轨迹证据
97.根据步骤3-2获得的唯一id号，可以从航迹库表中提取目标对象的所有航迹点。将这些航迹点按时间顺序排列，即可得到该目标的航行轨迹证据。
98.步骤3-5：生成过驳记录证据
99.根据步骤3-2获得的唯一id号，可以从过驳记录库表里检索与该目标存在过驳可能的所有船舶信息，并将这些信息按“过驳事件”的先后顺序排列，即可得到该目标的过驳证据。
100.这里的过驳并非真实过驳，特指两船在连续一段时间里靠得很近，具备过驳的条件。非法过驳是水上违法活动的一种常见行为特征。
101.步骤3-6：生成靠泊记录证据
102.根据步骤3-2获得的唯一id号，可以从靠泊记录库表里检索目标对象曾经可能的靠泊记录。并将这些靠泊点与其附近码头信息进行关联，继而生成靠泊记录证据。
103.靠泊位置由航迹点数据分析求得。靠泊点可能是某个港口码头，也可能并不是码头。
104.步骤3-7：生成ais关机记录证据
105.根据步骤3-2获得的唯一id号，可以从ais关机记录库表里检索经常故意关闭ais船载设备的可疑目标，将其关机的时间、坐标、时长等信息合成证据链。
106.这里的关机是指在信号稳定区域内的关机，ais信号覆盖区域边沿的不纳入考虑范围
107.步骤3-8：生成告警记录证据
108.根据步骤3-2获得的唯一id号，在告警记录库表里检索目标对象所有异常告警记录。
109.步骤3-9：生成视频图像证据
110.根据步骤3-2获得的唯一id号，在船舶抓拍系统和nvr硬盘录像机中检索目标对象的相关图像及视频资料。
111.步骤3-10：整合证据，形成报告
112.整合上述的两种以上证据，形成一份完整的嫌疑船舶线索分析报告。
113.具体实现中，本技术提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于大数据分析的嫌疑船舶线索追查方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
114.本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机。muu或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
115.本发明提供了一种基于大数据分析的嫌疑船舶线索追查方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以
实现。