一种智能仿生警察系统的制作方法

本发明属于警察系统技术领域，特别涉及一种智能仿生警察系统。

背景技术：

道路交通违法行为现象在今天依然普遍存在，对这一现象，国内许多城市还是通过人工进行管理。随着社会的发展，迫切需要一种新的管理方法来提升管理效率和管理效果。在今天的人工智能时代，通过智能化的仿生管理模式，实现对即时性道路交通违法行为人进行有效的监督管理，是当今社会发展的必然趋势。

技术实现要素：

本发明的目的就在于为了解决上述问题而提供一种智能仿生警察系统，解决了现有的设备存在的缺点。

为了解决上述问题，本发明提供了一种技术方案：

一种智能仿生警察系统，包括硬件部分和软件部分，所述硬件部分由系统硬件输入接口和系统硬件输出接口组成，所述硬件输入接口由视频输入模块、信号灯输入模块和采集输入模块组成，所述系统硬件输出接口由仿生输出模块、光信号输出模块和图像信息输出模块组成，所述软件部分由主执行模块、视频输入模块、卷积神经网络模块、循环神经网络模块、行人和非机动车驾驶人编号识别模块、行人和非机动车驾驶人轨迹合成模块、行人和非机动车驾驶人行为预测模块、行人和非机动车驾驶人行为检测模块、信号灯规则处理模块、违规或表扬行为处理模块、违规或表扬行为展示模块、违规或表扬行为语音播报模块、违规行为当事人相貌采集模块、联网身份识别模块、违规或表扬行为记录模块、联网数据同步模块、实时视频传输模块和实时视频保存定时清除模块组成。

作为优选，所述视频输入模块与卷积神经网络模块连接，所述卷积神经网络模块与循环神经网络模块连接，所述循环神经网络模块与行人和非机动车驾驶人编号识别模块连接，所述非机动车驾驶人编号识别模块与行人和非机动车驾驶人轨迹合成模块连接，所述非机动车驾驶人轨迹合成模块分别与行人和非机动车驾驶人行为预测模块和行人和非机动车驾驶人行为检测模块连接，所述行人和非机动车驾驶人行为预测模块和行人和非机动车驾驶人行为检测模块均与违规或表扬行为处理模块连接，所述违规或表扬行为处理模块与信号灯规则处理模块连接，所述信号灯规则处理模块与信号灯信号输入模块连接，所述违规或表扬行为处理模块分别与违规或表扬行为展示模块、违规或表扬行为语音播报模块、违规行为当事人相貌采集模块和实时视频传输模块连接，所述违规行为当事人相貌采集模块与联网身份识别模块连接，所述联网身份识别模块连接与违规或表扬行为记录模块连接，所述违规或表扬行为记录模块连接与联网数据同步模块连接，所述实时视频传输模块与实时视频保存定时清除模块连接。

作为优选，所述视频输入模块和采集输入模块均由行人检测摄像头、高速行人与非机动车驾驶员检测摄像头预处理模块和高速行人与非机动车驾驶员检测摄像头拍摄模块组成。

作为优选，所述信号灯输入模块由信号灯模拟信号解析模块、信号灯模拟信号输入模块、计算机、信号灯和ttl转usb模块组成组成。

作为优选，所述光信号输出模块由高清视频显示图像分割处理模块和高清视频显示屏组成。

作为优选，所述图像信息输出模块由千兆交换机、光纤收发模块、联网数据同步保存模块和联网行人与非机动车人脸识别检测模块组成。

作为优选，所述违规或表扬行为视频展示模块由计算机和显示屏组成，所述违规或表扬行为语音播报模块由计算机和音响组成，所述违规行为当事人相貌采集模块由计算机和高清摄像头组成。

作为优选，所述实时视频传输模块、联网数据同步模块和实时视频保存定时清除模块均由计算机和中央服务器组成，所述联网身份识别模块由计算机、中央服务器和中央数据库组成。

本发明的有益效果：本项目在人工智能技术基础上，通过机器学习模型和实践相结合，运用改进的智能神经网络模型，以及对训练数据的研究，结合硬件设计开发，模仿交通警察的日常道路交通管理行为。具体是，将智能监控报警、道路交通违法信息采集、人脸身份识别、智能语音提示、智能语音制止、智能语音表扬、视频抓拍、预置哨声提醒、人工喊话、道路交通违法当事人的身份曝光等方式，集成到仿生警察模型中，从而对行人、非机动车驾驶人的道路交通违法行为进行有效管理，达到仿真警察的管理效果，实现道路交通秩序的进一步好转，提升人们的道路交通规则意识。本套软件驱动仿生警察模型具有智能仿生功能、可替代人工管理、实现全天候对行人和非机动车驾驶人的道路交通违法行为的日常管理。

附图说明：

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1为本发明的整套系统软硬件结合模块化连接框图；

图2为本发明的软件算法流程框图。

具体实施方式：

如图1-2所示，本具体实施方式采用以下技术方案：一种智能仿生警察系统，包括硬件部分和软件部分，所述硬件部分由系统硬件输入接口和系统硬件输出接口组成，所述硬件输入接口由视频输入模块、信号灯输入模块和采集输入模块组成，所述系统硬件输出接口由仿生输出模块、光信号输出模块和图像信息输出模块组成，所述软件部分由主执行模块、视频输入模块、卷积神经网络模块、循环神经网络模块、行人和非机动车驾驶人编号识别模块、行人和非机动车驾驶人轨迹合成模块、行人和非机动车驾驶人行为预测模块、行人和非机动车驾驶人行为检测模块、信号灯规则处理模块、违规或表扬行为处理模块、违规或表扬行为展示模块、违规或表扬行为语音播报模块、违规行为当事人相貌采集模块、联网身份识别模块、违规或表扬行为记录模块、联网数据同步模块、实时视频传输模块和实时视频保存定时清除模块组成。

其中，所述视频输入模块与卷积神经网络模块连接，所述卷积神经网络模块与循环神经网络模块连接，所述循环神经网络模块与行人和非机动车驾驶人编号识别模块连接，所述行人和非机动车驾驶人编号识别模块与行人和非机动车驾驶人轨迹合成模块连接，所述非机动车驾驶人轨迹合成模块分别与行人和非机动车驾驶人行为预测模块和行人和非机动车驾驶人行为检测模块连接，所述行人和非机动车驾驶人行为预测模块和行人和非机动车驾驶人行为检测模块均与违规或表扬行为处理模块连接，所述违规或表扬行为处理模块与信号灯规则处理模块连接，所述信号灯规则处理模块与信号灯信号输入模块连接，所述违规或表扬行为处理模块分别与违规或表扬行为展示模块、违规或表扬行为语音播报模块、违规行为当事人相貌采集模块和实时视频传输模块连接，所述违规行为当事人相貌采集模块与联网身份识别模块连接，所述联网身份识别模块连接与违规或表扬行为记录模块连接，所述违规或表扬行为记录模块连接与联网数据同步模块连接，所述实时视频传输模块与实时视频保存定时清除模块连接。

其中，所述视频输入模块和采集输入模块均由行人检测摄像头、高速行人与非机动车驾驶员检测摄像头预处理模块和高速行人与非机动车驾驶员检测摄像头拍摄模块组成。

其中，所述信号灯输入模块由信号灯模拟信号解析模块、信号灯模拟信号输入模块、计算机、信号灯和ttl转usb模块组成组成，便于将信号灯信号输入的电平转换为usb可传输的形式，具体就是输入5v电压时，将usb的tx端变成高电平输出给计算机。

其中，所述光信号输出模块模块由高清视频显示图像分割处理模块和高清视频显示屏组成，便于将视频实时的放映到室外大显示屏上。

其中，所述图像信息输出模块模块由千兆交换机、光纤收发模块、联网数据同步保存模块和联网行人与非机动车人脸识别检测模块组成，。

其中，所述违规或表扬行为视频展示模块由计算机和显示屏组成，所述违规或表扬行为语音播报模块由计算机和音响组成，所述违规行为当事人相貌采集模块由计算机和高清摄像头组成，便于将捕捉到的违规行为用红色框进行标识、表扬行为由蓝色框进行标识，并且是捕捉到的违规或表扬行为用对应的语音并在音响上播报。

其中，所述实时视频传输模块、联网数据同步模块和实时视频保存定时清除模块均由计算机和中央服务器组成，所述联网身份识别模块由计算机、中央服务器和中央数据库组成，将采集到的相貌接由网络传输到中央数据库中，与数据库中的数据进行比对并判定相貌的具体身份信息。

所述软件各模块实施实例方式如下：

主执行模块：主要包：无

主要类：无

主要函数：main()无输入，无输出；

视频输入模块：

主要包：video_capture

主要类：video_capture

主要函数：__init__(id):输入：int，输出：video_capture类

输入所需摄像头所对应的id编号即可获得该摄像头所对应的video_capture类

主要函数：read():输入：无，输出float数组

获取其本身类的当前时刻图片

主要函数：release():输入：无，输出：无

关闭其本身类的资源占用；

卷积神经网络模块：

主要包：conv_net

主要类：conv_net，bbox

主要函数：__init__(net_model):输入：model文件，输出：无

输入所需model文件即可生成对应的conv_net类

主要函数：result(input):输入：float数组，输出float数组

获取其本身类的当前时刻图片所对应的卷积神经网络计算出的特征值；

循环神经网络模块：

主要包：relative_net

主要类：relative_net

主要函数：__init__(net_model):输入：model文件，输出：无

输入所需model文件即可生成对应的relative_net类

主要函数：result(input):输入：float数组，输出bbox类

获取其本身类的当前时刻图片所对应的循环神经网络计算出的当前目标所在区域对应的bbox类对象；

行人和非机动车驾驶人编号识别模块：

主要包：tracker

主要类：track，tracker

主要函数：__init__():输入：无，输出：无

创建track和tracker类

主要函数：predict():输入：无，输出：bbox类

获取其本身类的前一时刻bbox所对应的后一时刻的bbox预测值

主要函数：update(bbox):输入：bbox类，输出：track类

将tracker类中的bbox进行更新，并输出对应track类；

行人和非机动车驾驶人轨迹合成模块：

主要包：tracker_mix

主要类：track_mix，tracker_mix，tracking

主要函数：__init__():输入：无，输出：无

创建track_mix和tracker_mix类

主要函数：update(track):输入：track类，输出：track_mix类

将tracker_mix类中的track进行更新，并输出对应track_mix类

主要函数：tracking():输入：无，输出：tracking类

将tracker_mix类中的track进行调用并得到对应编号人的轨迹；

行人和非机动车驾驶人行为预测模块：

主要包：predict_net

主要类：predict_net,action

主要函数：__init__(net_model):输入：model文件，输出：无

输入所需model文件即可生成对应的predict_net类

主要函数：result(tracking):输入：tracking类，输出action类

获取其本身类的当前编号人的轨迹所对应的神经网络计算出的行为类型；

行人和非机动车驾驶人行为检测模块：

主要包：action_detection

主要类：action_detection，action

主要函数：__init__():输入：无，输出：无

创建action_detection类

主要函数：detection(track):输入：track类，输出：track_mix类

将tracker_mix类中的track进行更新，并输出对应track_mix类

主要函数：tracking(tracking):输入：tracking类，输出action类

获取其本身类的当前编号人的轨迹所对应的行为检测结果；

信号灯规则处理模块：

主要包：traffic_light_deal

主要类：traffic_light_deal，traffic_light_status

主要函数：__init__(com_id):输入：string，输出：无

通过对应的com值创建traffic_light_deal类

主要函数：deal():输入：无，输出：traffic_light_status类

将自身类中的串口信号进行读取，并根据实际需求转化成输出对应traffic_light_status类；

主要函数：release():输入：无，输出无

关闭其本身类的资源占用；

违规或表扬行为处理模块：

主要包：action_deal

主要类：action_deal，deal_result

主要函数：__init__():输入：无，输出：无

创建action_deal类

主要函数：deal(traffic_light_status，action):输入：traffic_light_status类，action类，输出：deal_result类

根据当前信号灯情况与当前行人的行动来判断对于该行人的处理结果；

违规或表扬行为展示模块：

主要包：deal_show

主要类：deal_show

主要函数：__init__():输入：无，输出：无

创建deal_show类

主要函数：show(frame，bbox):输入：float数组，bbox类，输出：无

将当前视频图片附加上人物框一起显示到屏幕上

主要函数：release():输入：无，输出无

关闭其本身类的资源占用；

违规或表扬行为语音播报模块：

主要包：sound_output

主要类：sound_output

主要函数：__init__(com_id):输入：string，输出：无

通过对应的com值创建sound_output类

主要函数：play(deal_result):输入：deal_result类，输出：无

将所需播报的行为播放到对应的音响上

主要函数：release():输入：无，输出无

关闭其本身类的资源占用；

违规行为当事人相貌采集模块：

主要包：face_shot

主要类：face_shot

主要函数：__init__(com_id):输入：string，输出：无

通过对应的com值创建face_shot类

主要函数：shot(bbox):输入：bbox类，输出：无

将对应框内人的相貌进行拍摄并剪辑出来

主要函数：release():输入：无，输出无

关闭其本身类的资源占用；

联网身份识别模块：

主要包：on_net_detection

主要类：on_net_detection，callback

主要函数：__init__(url):输入：string，输出：无

通过对应的url值创建face_shot类

主要函数：upload(picture，callback):输入：float数组，callback类，输出：无

将拍摄到的图片进行上传，并通过callback得知上传结果

主要函数：release():输入：无，输出无

关闭其本身类的资源占用；

违规或表扬行为记录模块：

主要包：deal_result_save

主要类：deal_result_save

主要函数：__init__():输入：无，输出：无

创建deal_result_save类

主要函数：save(deal_result，fp):输入：deal_result类，file类，输出：无

将对应行为进行记录，并保存到指定目录下

主要函数：release():输入：无，输出无

关闭其本身类的资源占用；

联网数据同步模块:

主要包：deal_result_update

主要类：deal_result_update,callback

主要函数：__init__(url):输入：string，输出：无

通过对应的url值创建deal_result_update类

主要函数：update(deal_result，callback):输入：deal_result类，callback类，输出：无

将对应行为上传到指定服务器上，并通过callback得知上传结果

主要函数：release():输入：无，输出无

关闭其本身类的资源占用；

实时视频传输模块：

主要包：video_transmit

主要类：video_transmit,video_transmit_server

主要函数：__init__(ip):输入：string，输出：无

通过对应的ip值创建video_transmit类

主要函数：play():输入：无，输出：float数组

将对应ip上的主机的桌面传输到服务器端

主要函数：release():输入：无，输出无

关闭其本身类的资源占用；

实时视频保存定时清除模块：

主要包：video_save_and_clear

主要类：video_save_and_clear

主要函数：__init__():输入：无，输出：无

创建video_save_and_clear类

主要函数：save_and_clear(video,fp,time):输入：float数组，file类，int，输出：无

将对应视频保存到指定位置，设定删除时间，到时间时回调并删除

主要函数：release():输入：无，输出无

关闭其本身类的资源占用。

具体的：一种智能仿生警察系统，使用时，通过视频输入模块将行人和非机动车驾驶人行为拍摄下来，在此步仅仅是拍摄视频，没有任何的视频处理，然后卷积神经网络模块将图像中的特征提取出来，根据提取的特征判断当前位置的对象是不是行人和非机动车驾驶人，循环神经网络模块将由卷积神经网络模块中提取出来特征进行上下文对应，来判断当前图像中的行人和非机动车驾驶人是否为行人和非机动车驾驶人，理论上直接通过卷积神经网络一样能判断是否为行人和非机动车驾驶人，但是由于行人和非机动车驾驶人存在遮挡与角度变换等问题，故加入之前的图片能有效的解决这个问题，通过之前的图片中的其他特征反映到当前图片上以达到更好的效果，然后行人和非机动车编号识别模块将由卷积神经网络输出的结果与前一幅图片进行比对，对比行人和非机动车驾驶人的位置与相似度，从而得出前一幅图片中的行人和非机动车驾驶人在后一幅图片的位置，并将前后图像中同一人用同一编号表示，然后行人和非机动车驾驶人轨迹合成模块将同一编号的行人和非机动车驾驶人在每张图所在的位置进行连接，从而得出行人和非机动车驾驶人的运动轨迹，行人和非机动车驾驶人行为预测模块将行人和非机动车驾驶人的运动轨迹用全连接神经网络进行预训练后得到的规律，即满足某种规律的运动轨迹将在此模块获得对应的预测的输出，行人和非机动车驾驶人行为检测模块将行人和非机动车驾驶人的运动轨迹与具体的条件进行比对，例如判断行人和非机动车驾驶人是否在区域内、判断行人和非机动车驾驶人是否走过某条线等，违规或表扬行为处理模块将具体行为或预测行为与预设置的规则进行对比，例如如果在红灯时穿过斑马线的行人和非机动车驾驶人进入线时，则判定其闯红灯，诸如此类，信号灯规则处理模块将信号灯信号的输入转换为具体的事件，例如信号输入一个高电平代表当前红灯，类似这样的转换，信号灯信号输入模块将信号灯信号输入的电平转换为usb可传输的形式，具体就是输入5v电压时，将usb的tx端变成高电平输出给计算机，违规或表扬行为视频展示模块将捕捉到的违规行为用红色框进行标识、表扬行为由蓝色框进行标识，同时将视频实时的放映到室外大显示屏上，违规或表扬行为语音播报模块将捕捉到的违规或表扬行为用对应的语音并在音响上播报，违规行为当事人相貌采集模块将被红色框标识的当事人的正面用高清摄像头进行捕捉拍摄，图像捕捉完成后由计算机将其相貌采集，实时视频传输模块将带有红蓝色框的视频接由网络传输到中央服务器上以便进行人工审查与核实，联网身份识别模块将采集到的相貌接由网络传输到中央数据库中，与数据库中的数据进行比对并判定相貌的具体身份信息，违规或表扬行为记录模块将违规或表扬行为对应的行人检测摄像头截取的图片与高清摄像头正面拍摄截取的图片接由网络传输到中央数据库以留作案底，联网数据同步模块将以上传成功的图片，视频等从计算机中去除，实时视频保存定时清除模块将超过保存时长的视频从中央数据库中清除。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。