基于多源数据的巡游出租车异常行为告警方法及智能设备与流程

本发明属于智能交通，具体涉及基于多源数据的巡游出租车异常行为告警方法及智能设备。

背景技术：

1、随着城市的不断发展，城市交通的短板也逐步浮现，城市交通中公路客运对于乘客来说没有足够的自主性以及个性化，已有的城市交通已经无法很好的满足人们的需求，目前的城市交通还是无法满足人们定制化、个性化出行方面的需求；

2、所以，具备定制化和个性化的网络约车服务(简称网约车)成为了用户出行的一个重要方式。网约车/出租车可满足用户在不同出行场景中的使用需求，在短时间内迅速占据了大量的用户市场，也为用户出行带来了极大的便利，网约车平台将人、出租车和私家车连接起来，形成一个“人-车”自主连接的服务网，满足了人们的需求并且极大的填补了城市交通的短板，随着网约车逐渐被广大群众认可，乘坐网约车/出租车的消费者越来越多。

3、但是，网约车平台对网约车/出租车的监管力度不够在网约车/出租车的运行过程中，不少网约车/出租车驾驶员异常状态也时有发生，例如：乘客在打车的时候，网约车/出租车驾驶员没有按照推荐的行驶路线行驶，造成乘客行程时间紧张，乘客体验乘车体验较差；或者网约车驾驶员抽烟、打电话、未系安全带、打哈欠等异常状态，不但会降低乘客的出行体验，而且会侵犯乘客的人身安全，亦或者网约车/出租车驾驶员为了时长费或者为了躲避新订单故意开慢车，造成乘客行程时间紧张甚至行程延误；

4、对此，现有技术中对网约车/出租车中乘客的保护告警措施一般为：根据网约车/出租车所行驶的路线的历史行驶时长数据，或历史路况数据预估网约车/出租车的当前行驶时长，并根据预估的行驶时长和实际行驶时长的比较结果，确定网约车/出租车辆是否存在拖沓行驶、绕路等异常行驶行为，然而，同一段路在每天的路况都可能是变化的，根据历史路况数据预估的行驶时间不够准确，无法预防和预测违规行为发生，所以，现有技术难以对网约车/出租车在服务过程中存在的异常行为进行检测和告警。

技术实现思路

1、针对上述现有技术的不足，本技术提供基于多源数据的巡游出租车异常行为告警方法及智能设备。

2、第一方面本技术提出了基于多源数据的巡游出租车异常行为告警方法，包括以下步骤：

3、通过车辆监管平台获取目标巡游出租车的车辆运营数据；

4、将所述车辆运营数据按照不同的数据来源划分为视频监控数据、载客订单数据和订单时间内的车内录音数据；

5、对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为；

6、通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为；

7、根据判断出的异常驾车行为/异常行驶行为发出告警信息。

8、在一些实施例中，所述对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，包括：

9、所述视频监控数据包括至少两个监控视角的视频监控数据，将所述视频监控数据的按照不同监控视角划分为第一视角数据和第二视角数据；

10、分别对所述第一视角数据和所述第二视角数据中的重叠监控区域的数据进行数据标注；

11、对所述第一视角数据进行特征提取，获得所述第一视角数据中未标注数据对应的第一非重叠监控特征数据和已标注数据对应的第一重叠监控特征数据，对所述第二视角数据进行特征提取，获得所述第二视角数据中未标注数据对应的第二非重叠监控特征数据和已标注数据对应的第二重叠监控特征数据；

12、对所述第一非重叠监控特征数据和第二非重叠监控特征数据进行多通道特征融合，得到第一特征融合数据，对所述第一重叠监控特征数据和第二重叠监控特征数据进行空间域特征融合，得到第二特征融合数据。

13、在一些实施例中，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为，包括：

14、对所述第一特征融合数据和第二特征融合数据进行权重特征融合，得到特征表达，根据所述特征表达，确定异常驾车行为。

15、在一些实施例中，所述通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，包括：

16、从所述实际订单路线信息中获取实际行驶路线，从所述推荐路线信息中获取最短时间路线和最短路径路线，所述最短时间路线为乘客上车点与订单终点之间交通拥堵指数最小的路线，所述最短路径路线为乘客上车点与订单终点之间里程最少的路线；

17、通过所述实际行驶路线除以所述最短时间路线得到最短时间里程差异率，通过所述实际行驶路线除以所述最短路径路线得到最短路径里程差异率。

18、在一些实施例中，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为，包括：

19、将所述最短时间里程差异率和最短路径里程差异率分别与所述预设阈值进行对比，若所述最短时间里程差异率和最短路径里程差异率均超过所述预设阈值，则筛选出所述实际订单路线信息对应的载客订单；

20、调取所述载客订单对应的车内录音数据，对所述车内录音数据进行语音识别，若识别结果中包括预设关键词，则不存在异常行驶行为，若识别结果中不包括预设关键词，则存在异常行驶行为。

21、在一些实施例中，所述调取所述载客订单对应的车内录音数据，对所述车内录音数据进行语音识别，若识别结果中包括预设关键词，则不存在异常行驶行为，若识别结果中不包括预设关键词，则存在异常行驶行为，包括：

22、根据预设的语音识别方式，对所述车内录音数据中的语音信息间语音识别；

23、判断车内录音数据中是否包括乘客指引路线的预设关键词，所述预设关键词包括乘客指引路线/乘客指示变更路线的关键词；若包括所述预设关键词，则认为当前场景为乘客指路，不存在异常行驶行为；若识别结果中不包括所述预设关键词，则判断存在异常行驶行为。

24、在一些实施例中，所述根据判断出的异常驾车行为/异常行驶行为发出告警信息，包括：

25、对发出告警信息的车辆进行定位，启动距离该车辆所在位置最近的监控摄像装置进行跟踪拍摄及定位，绘制该车辆的行驶路线，并将该车辆的车辆信息、所在位置、跟踪拍摄图片以及行驶路线作为告警信息；

26、将所述告警信息同时发送给所述车辆监管平台以及乘客。

27、第二方面本技术提出基于多源数据的巡游出租车异常行为告警智能设备，包括数据获取模块、数据分类模块、异常驾车行为识别模块、异常行驶行为识别模块和告警模块；

28、所述数据获取模块，用于通过车辆监管平台获取目标巡游出租车的车辆运营数据；

29、所述数据分类模块，用于将所述车辆运营数据按照不同的数据来源划分为视频监控数据、载客订单数据和订单时间内的车内录音数据；

30、所述异常驾车行为识别模块，用于对所述视频监控数据中不同的监控区域进行特征提取得到对应监控区域的监控特征数据，对所述监控特征数据进行特征融合得到特征融合数据，对所述特征融合数据进行特征分析，根据特征分析结果判断异常驾车行为；

31、所述异常行驶行为识别模块，用于通过所述载客订单数据获取实际订单路线信息和推荐路线信息，根据所述实际订单路线信息和推荐路线信息计算得到里程差异率，将所述里程差异率与预设阈值进行判断，如果超过预设阈值，则通过所述车内录音数据进行分析，根据分析结果判断异常行驶行为；

32、所述告警模块，用于根据判断出的异常驾车行为/异常行驶行为发出告警信息。

33、第三方面本技术提出一种电子装置，包括存储器、处理器以及存储在所述存储器中并且可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

34、第四方面本技术提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法步骤。

35、本发明的有益效果：

36、通过里程差异率判定潜在绕路行为，同时通过语音识别对潜在绕路行为进行最终判定，摆脱了对gps数据的依赖，同时考虑到了在实际的时间、道路拥堵以及乘客需求等情况下对行驶路径的选择，绕路判定的准确性更高，提高异常行驶行为判断准确率；并且通过多个监控角度对车内状态进行监控可以减少摄像头的盲区，实现对网约车的驾驶员进行大角度的行为检测，且更有助于对异常驾车行为进行判断。