一种步行安全综合管理系统及方法与流程

本发明涉及步行安全领域，具体涉及一种步行安全综合管理系统及方法。

背景技术：

随着国家经济的不断发展，交通事故引发的惨案也在不断上升。行人过马路不注意来往车辆，家长过马路没有注意照看孩子等发生意外的案例数不胜数。科技的发展使得智能手机越来越智能，它几乎已经成为人们离不开的一个物件，“低头族”也随之而来。“低头族”们醉心徜徉在方寸屏幕的世界，似乎丝毫没有意识到这种行为可能带来的种种危害。

世界卫生组织在一份报告中明确指出:对于老年人健康来说,跌倒是一个重要影响因素。跌倒的发生率，对于医院或者看护机构里的老年人，则会更高。而在跌倒发生后，如果不能在一个小时之内接受到有关方面的救援，将造成严重的后果,并且也会增加近六成的医疗费用。所以，在世界老龄化浪潮来临的今天，如果不能实现更为行之有效的监控保护措施，每年因为跌倒产生的疾病等各方面负担将会对老年人来说越来越重。

在我国，还有这样一群人，那就是弱视力人群。可是我们在现实中却看不到几个视力极低的行人，主要是因为面向弱视群体的辅助出行设备大多昂贵且功能单一，不能很好地帮助弱视群体独立出行。

对于这些问题，我们虽然不能完全阻止其发生，但是我们可以采取一些措施来降低其发生的可能性。因此，亟需提出一种适用于各种人群的提高出行安全系数的设备及方法。

技术实现要素：

针对现有技术中存在的缺陷，本发明的目的在于提供一种步行安全综合管理系统及方法，具有视觉目标识别、智能场景分析提醒、智能跟随、智能避障、摔倒报警等功能，及时进行安全提醒。

为实现上述目的，本发明采用的技术方案如下：

一种步行安全综合管理系统，包括：互相连接的控制中心和树莓派，与所述控制中心直接连接的摄像头视频采集模块和语音播报模块，与所述树莓派连接的电机模块，

所述摄像头视频采集模块用于在所述控制中心的控制下通过摄像头采集用户前方画面的图像发送至所述控制中心；

所述控制中心用于对接收到的图像进行目标识别和场景分析，得到用户前方场景中的各种障碍物及各种障碍物与用户之间的相对位置关系，还根据各种障碍物与用户之间的相对位置关系分析得到避障方向；

所述语音播报模块用于在所述控制中心的控制下通过喇叭提醒用户前方场景中的各种障碍物和避障方向；

所述控制中心还用于通过所述树莓派向所述电机模块发送控制信号；

所述电机模块用于接收所述控制信号，并通过电机控制随行设备对用户进行实时跟踪；

其中，所述控制中心、所述树莓派、所述摄像头、所述电机和所述喇叭均设置在所述随行设备上。

进一步，如上所述的一种步行安全综合管理系统，所述控制中心包括：

目标识别模块，用于接收所述摄像头视频采集模块发送的图像，通过ssd目标检测算法对接收到的图像进行目标识别，识别得到用户前方场景中的各种障碍物；

场景分析模块，用于接收所述摄像头视频采集模块发送的图像，对接收到的图像进行场景分析，分析得到用户前方场景中各种障碍物与用户之间的相对位置关系。

进一步，如上所述的一种步行安全综合管理系统，还包括：与所述控制中心连接的摔倒检测模块，用于通过用户随身携带的终端设备内的加速度传感器检测摔倒姿势，并在确定摔倒时向所述控制中心发送信号，通过所述控制中心控制所述摄像头开始录像。

进一步，如上所述的一种步行安全综合管理系统，还包括：与所述树莓派连接的超声波测距模块，用于通过超声波测距传感器检测所述随行设备前方是否出现障碍物以及与障碍物之间的距离，并将检测结果通过所述树莓派发送至所述控制中心。

进一步，如上所述的一种步行安全综合管理系统，还包括：与所述控制中心连接的紧急通讯模块，用于当所述随行设备丢失跟踪目标时，对跟踪目标进行重定位，确定丢失时进行及时报警。

进一步，如上所述的一种步行安全综合管理系统，所述控制中心为zigbee开发板，所述zigbee开发板与所述摄像头视频采集模块、所述语音播报模块和所述树莓派之间通过i/o接口连接，所述zigbee开发板与所述紧急通讯模块之间通过uart接口连接。

一种步行安全综合管理方法，包括：

s1、摄像头视频采集模块在控制中心的控制下通过摄像头采集用户前方画面的图像发送至所述控制中心；

s2、所述控制中心对接收到的图像进行目标识别和场景分析，得到用户前方场景中的各种障碍物及各种障碍物与用户之间的相对位置关系，还根据各种障碍物与用户之间的相对位置关系分析得到避障方向；

s3、语音播报模块在所述控制中心的控制下通过喇叭提醒用户前方场景中的各种障碍物和避障方向；

s4、所述控制中心通过所述树莓派向电机模块发送控制信号，使得所述电机模块通过电机控制随行设备对用户进行实时跟踪。

进一步，如上所述的一种步行安全综合管理方法，步骤s2具体包括：

所述控制中心接收所述摄像头视频采集模块发送的图像，通过ssd目标检测算法对接收到的图像进行目标识别，识别得到用户前方场景中的各种障碍物；

对接收到的图像进行场景分析，分析得到用户前方场景中各种障碍物与用户之间的相对位置关系。

进一步，如上所述的一种步行安全综合管理方法，步骤s4之后，还包括：

摔倒检测模块通过用户随身携带的终端设备内的加速度传感器检测摔倒姿势，并在确定摔倒时向所述控制中心发送信号，通过所述控制中心控制所述摄像头开始录像；

紧急通讯模块当所述随行设备丢失跟踪目标时，对跟踪目标进行重定位，确定丢失时进行及时报警。

进一步，如上所述的一种步行安全综合管理方法，所述控制中心为zigbee开发板，所述zigbee开发板与所述摄像头视频采集模块、所述语音播报模块和所述树莓派之间通过i/o接口连接，所述zigbee开发板与所述紧急通讯模块之间通过uart接口连接。

本发明的有益效果在于：本发明所提供的系统及方法，具有视觉目标识别、智能场景分析提醒、智能跟随、智能避障、摔倒报警等功能，及时进行安全提醒。在发生紧急情况时，还可以自动录像以及报警，即时求助，减少意外的发生。

附图说明

图1为本发明实施例中提供的一种步行安全综合管理系统的结构图；

图2为本发明实施例中提供的一种步行安全综合管理系统的结构框架图；

图3为本发明实施例中提供的超声波测距模块的超声波时序图；

图4为本发明实施例中提供的电机模块的电路图；

图5为本发明实施例中提供的一种步行安全综合管理方法的流程图；

图6为本发明实施例中提供的一种步行安全综合管理方法的主控程序流程图。

具体实施方式

下面结合说明书附图与具体实施方式对本发明做进一步的详细说明。

如图1所示，一种步行安全综合管理系统，包括：互相连接的控制中心1和树莓派2，与控制中心1直接连接的摄像头视频采集模块3和语音播报模块4，与树莓派2连接的电机模块5，

摄像头视频采集模块3用于在控制中心1的控制下通过摄像头采集用户前方画面的图像发送至控制中心1；

控制中心1用于对接收到的图像进行目标识别和场景分析，得到用户前方场景中的各种障碍物及各种障碍物与用户之间的相对位置关系，还根据各种障碍物与用户之间的相对位置关系分析得到避障方向；

控制中心1包括：

目标识别模块，用于接收摄像头视频采集模块3发送的图像，通过ssd目标检测算法对接收到的图像进行目标识别，识别得到用户前方场景中的各种障碍物；

通过使用深度学习的多类目标检测算法ssd，用来感知出摄像头所拍摄到的画面中的人、机动车、非机动车等，准确地提醒用户在前方出现的障碍物类别，以便用户能够寻求帮助或避让，提高用户出行质量和安全系数。

场景分析模块，用于接收摄像头视频采集模块3发送的图像，对接收到的图像进行场景分析，分析得到用户前方场景中各种障碍物与用户之间的相对位置关系。

通过分析摄像头采集到的画面，感知用户身边的不同物体，如：其他行人、机动车、非机动车等，并将空间平面化，在平面上近似计算出其与目标物的相对位置及距离远近。

语音播报模块4用于在控制中心1的控制下通过喇叭提醒用户前方场景中的各种障碍物和避障方向；

在检测到障碍物并且使用计算机目标识别算法识别障碍物类型之后，会使用语音播报模块4提醒用户合适的前方有人、附近有人、前方有车、附近有车等等，从而可以让用户更安全地行走，并在紧急情况下向行人求助。当遇到障碍物时能够及时提醒使用者障碍物类型以及避障方向，使用者可以清楚准确地听到语音播报的内容。

控制中心1还用于通过树莓派2向电机模块5发送控制信号；

电机模块5用于接收控制信号，并通过电机控制随行设备对用户进行实时跟踪；

其中，控制中心1、树莓派2、摄像头、电机和喇叭均设置在随行设备上。

控制中心1为zigbee开发板，zigbee开发板与摄像头视频采集模块3、语音播报模块4和树莓派2之间通过i/o接口连接，zigbee开发板与紧急通讯模块之间通过uart接口连接。

如图2所示，系统的整个硬件框图是以zigbee开发板为核心，向外扩展而成。包括摄像头视频采集模块，对用户进行提醒的语音播报模块，还有树莓派最小系统都通过i/o口与zigbee开发板相连，同时通过树莓派对超声波测距模块和电机模块进行控制。

本系统还包括：与控制中心连接的摔倒检测模块，用于通过用户随身携带的终端设备内的加速度传感器检测摔倒姿势，并在确定摔倒时向控制中心发送信号，通过控制中心控制摄像头开始录像。

用户随身携带的zigbee结点控制一个加速度传感器。当用户摔倒时，zigbee开发板检测到下落加速度很大，向随行设备上的zigbee结点发送信号。随行设备随即控制摄像头开始录像并保存在远程服务器上。当用户随身携带的zigbee结点检测到下落加速度很大时，立即向随行设备发送信号。随行设备开始录像，记录摔倒后20秒内的环境情况。

本系统还包括：与树莓派连接的超声波测距模块，用于通过超声波测距传感器检测随行设备前方是否出现障碍物以及与障碍物之间的距离，并将检测结果通过树莓派发送至控制中心。与控制中心连接的紧急通讯模块，用于当随行设备丢失跟踪目标时，对跟踪目标进行重定位，确定丢失时进行及时报警。

在随行设备的行进过程中，可能会有一些障碍物的出现，这时需要准确对障碍物的位置进行判断，计算机视觉的目标跟踪算法并不能解决障碍物的问题，所以本发明采用超声波测距模块进行检测前方是否出现障碍物，当检测到障碍物时跟踪继续进行，小车自动避障，通过小车摄像头的旋转始终跟随目标物，使得避障过程中目标物并不会丢失，提高了随行设备能在不丢失跟踪目标的情况下完成避障的效率。在实际测试中，有可能会因为路况原因导致避障后跟踪目标丢失或者人走得太快而导致跟踪目标丢失，当丢失时间达到一定限额后，随行设备会通过蜂鸣器发出语音报警—“主人主人我丢了”来提醒目标物人为找回随行设备，同时随行设备会重定位跟踪目标，如果找到跟踪目标，则报警声停止，重新跟随，反之，继续报警。

超声波测距原理如下：

超声波是一种频率比较高的声音，指向性强。主要测量声波在发射后遇到障碍物反射回来的时间，根据发射和接收的时间差以及超声波在空气中的传播速度计算出发射点到障碍物的实际距离。

测距的公式表示为：l＝c×t，式中l为测量的距离长度；c为超声波在空气中的传播速度；t为测量距离传播的时间差(t为发射到接收时间数值的一半)。已知超声波速度c＝344m/s(20℃室温)。

超声波在传播过程中，传播速度会出现误差，其传播速度受空气的密度所影响，空气的密度越高，超声波的传播速度越快，而空气的密度又与温度有着密切的关系,近似公式为：c＝c0+0.607×t℃，式中：c0为零度时的声波速度332m/s；t为实际温度(℃)。

对于超声波测距精度要求达到1mm时，就必须把超声波传播的环境温度考虑进去。

如图3所示，超声波测距模块具体实现如下：

(1)采用io触发测距，给控制端输入至少10us的高电平信号；

(2)模块自动发送8个40khz的方波，自动检测是否有信号返回；

(3)有信号返回，接收端输出高电平信号，高电平持续的时间就是超声波从发射到返回的时间；

(4)测试距离＝(高电平时间*声速(340m/s))/2。

假设随行设备为四轮驱动小车，控制中心控制如图4所示的电机模块，使得随行设备运动，具体如下：

zigbee开发板向树莓派发出如下控制信号：

(1)调速：通过树莓派给en1和en2端口不同占空比的pwm信号来改变左右轮转速。

(2)前进：在en1和en2端口都为高电平的条件下，通过树莓派给in1端口低电平，in2端口高电平使左车轮向前转动，给in3端口高电平，in4端口低电平使右轮向前转动。

(3)停止：通过树莓派给en1和en2端口低电平，使电机不使能。

(4)左转：在en1端口为低电平，en2端口高电平的条件下，即左电机不使能，右电机使能，通过树莓派给in3端口高电平，in4端口低电平，使右轮向前转动，左轮不动。

(5)右转：在en1端口为高电平，en2端口低电平的条件下，即左电机使能，右电机不使能，通过树莓派给in1端口低电平，in2端口高电平，使左轮向前转动，右轮不动。

本系统以zigbee开发板为控制中心，在此次设计完成之后我们对其各个模块的各项功能进行了测试，测试方案如下：

1、zigbee开发板测试

在测试这个主芯片的时候，将编写好的程序烧入主控板，然后检测每个管脚的电压，我们还将其它的模块与它相连来测试他们是否正常工作。

测试结果：在芯片正常供电，把程序烧入主控板后，管脚电压正常，与之相连的模块也可以正常工作，实现自身的功能。

2、树莓派控制随行设备运动测试

在空旷的场地上，把zigbee开发板、扩展板和摄像头的组件放在随行设备上，测试出合适的pwm占空比让随行设备直行，并且让其能够跟上人行走的速度。

测试结果：在随行设备直行时，占空比为6/20可刚好跟上人行走的速度。

3、摄像头视频采集测试

将摄像头与树莓派相连后，将摄像头采集到的画面通过pythonsocket信号传输，将采集到的画面传送到远程服务器端。

测试结果：远程显示可出现摄像头采集的画面，但是分辨率不是很高。

4、目标跟踪测试

在随行设备跟踪过程中不设置障碍物，同时让跟踪目标匀速地走直线或者z字形路线或者s形路线，或者有其他人出现在摄像头画面中进行干扰，测试随行设备的跟踪效果。

测试结果：整体效果良好，随行设备能够较好地完成跟踪任务，但是如果外界光线太强会使摄像头成像过度曝光，从而影响跟踪效果。

5、超声波测距模块测试

将超声波测距模块接到zigbee上，使模块正常工作，改变人体距此模块的距离，将其最后算出的结果显示在pc机上。

测试结果：在该模块正常工作后，可以利用自身发出的超声波检测出在一定角度和距离内离自己最近的障碍物的距离，当有人走近并且周围无其他障碍物时，检测到的距离会随着人的走近逐渐减小，检测的最大距离大约在3米，超过3米后显示在pc机上的距离会异常大。并且由于超声波的直线发射以及接收，只能检测到某一个方向上的障碍物距离。

6、避障测试

将一个障碍物放置在随行设备正前方，开始时让随行设备直线前进，测试随行设备的避障效果。

测试结果：避障情况受摩擦力和障碍物大小的影响，同时为了保证避障过后，跟踪目标的不丢失，需要随行设备避障过后回复原来的行进方向，所以需要随行设备避障时先转一定角度，直行一段距离后回转一定角度，由此可达到最佳的避障效果。

7、目标识别和场景分析测试

对摄像头采集到的画面进行目标识别和场景分析测试，检测画面中的行人、机动车、非机动车等，并计算出其与用户的相对位置，距离远近。

测试结果：在摄像头所采集到的画面中可以准确识别出画面中较近的行人或车辆等，较远的行人识别准确率不高，有行人特征的非行人物体也有可能会被检测到。

8、语音播报模块测试

在语音播报模块通电正常工作之后，改变前方，左方，右方障碍物类别以及距离，判断语音播报模块播报内容是否内容正确，清晰，易于识别。

测试结果：在该模块正常工作后，对三方障碍物距离进行比较，左方距离较大时会播报向左，右方距离较大时会播报向右，前方距离最大并且没有人时会播报向前，前方距离最大但是有人时会播报附近有人，音量足够大，吐字清晰，播报及时。

在对该系统进行测试时使用到的仪器和设备，具体如下:

1、博创zigbee开发板1套

2、zigbee下载调试板1块

3、树莓派3b+板1块

4、超声波测距模块hcsr041个

5、sg90舵机1个

6、摄像头1个

7、语音播报模块1个

8、组装小车1台

9、pc机1台

10、usb仿真器1个

如图5所示，一种步行安全综合管理方法，包括：

s1、摄像头视频采集模块在控制中心的控制下通过摄像头采集用户前方画面的图像发送至控制中心；

s2、控制中心对接收到的图像进行目标识别和场景分析，得到用户前方场景中的各种障碍物及各种障碍物与用户之间的相对位置关系，还根据各种障碍物与用户之间的相对位置关系分析得到避障方向；

s3、语音播报模块在控制中心的控制下通过喇叭提醒用户前方场景中的各种障碍物和避障方向；

s4、控制中心通过树莓派向电机模块发送控制信号，使得电机模块通过电机控制随行设备对用户进行实时跟踪。

步骤s2具体包括：

控制中心接收摄像头视频采集模块发送的图像，通过ssd目标检测算法对接收到的图像进行目标识别，识别得到用户前方场景中的各种障碍物；

对接收到的图像进行场景分析，分析得到用户前方场景中各种障碍物与用户之间的相对位置关系。

步骤s4之后，还包括：

摔倒检测模块通过用户随身携带的终端设备内的加速度传感器检测摔倒姿势，并在确定摔倒时向控制中心发送信号，通过控制中心控制摄像头开始录像；

紧急通讯模块当随行设备丢失跟踪目标时，对跟踪目标进行重定位，确定丢失时进行及时报警。

控制中心为zigbee开发板，zigbee开发板与摄像头视频采集模块、语音播报模块和树莓派之间通过i/o接口连接，zigbee开发板与紧急通讯模块之间通过uart接口连接。

图6为主控程序流程图，该程序在远程服务器上执行，完成目标跟踪、运动方式决策、向随行设备发送运动命令和录像等功能。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。