一种具有活动体肢体运动监测控制装置的制作方法

1.本发明涉及电动汽车技术技术领域，具体为一种具有活动体肢体运动监测控制装置。


背景技术：

2.小型车辆特定环境下，车内活动体的类型，活动体的行为，活动体的声音等特点，并在此基础上，研究异常行为的分类和定义，行为的特征、深度学习网络的训练方法等，以此为基础，研究活动体的行为和声音监测方法，原型系统的设计和开发等。
3.小型车辆环境中，活动体的活动受车辆环境的限制，一方面活动范围不大，另一方面无法监测活动体全部，只能监测活动体部分行为，主要为头部和上肢行为，但是设备在监测车内活动体移动状态的过程中，如果活动体移动状态异常，无法对车内进行有效预警，故而提出一种具有活动体肢体运动监测控制装置来解决上述所提出的问题。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了一种具有活动体肢体运动监测控制装置，具备对车内活动体进行视频和音频双监测，并对可能的危险行为发出预警的优点，解决了设备在监测车内活动体移动状态的过程中，如果活动体移动状态异常，无法对车内进行有效预警的问题。
6.(二)技术方案
7.为实现上述对车内活动体进行视频和音频双监测，并对可能的危险行为发出预警的目的，本发明提供如下技术方案：
8.一种具有活动体肢体运动监测控制装置，包括连接板，所述连接板顶部的左右两侧均固定连接有下夹板，两个所述下夹板的内顶壁固定安装有复位弹簧，所述复位弹簧远离下夹板的一端固定安装有位于下夹板内侧的限位板，所述限位板的顶部固定连接有活动板，所述活动板的顶端固定连接有上夹板，所述上夹板和下夹板相对一侧的前端均固定连接有挡片，所述连接板的底部固定连接有保护外壳，所述保护外壳左侧壁和右侧壁的相对一侧分别与限位导杆的两端固定连接，所述保护外壳左侧壁和右侧壁相对一侧的中部分别与调节螺杆的两端活动连接，两个所述限位导杆的外部均滑动连接有滑套，两个所述滑套相对的一侧分别与安装板的顶部和底部固定连接，所述安装板的正面固定安装有摄像头，所述保护外壳的左侧固定连接有电机护罩，所述电机护罩内腔右侧壁固定安装有驱动马达，所述驱动马达的正面固定安装有控制器，所述保护外壳的右侧固定连接有控制护罩，所述控制护罩的内腔后侧壁固定安装有电路板，所述控制护罩正面的底部固定安装有控制按钮，所述控制护罩正面的顶部固定安装有预警灯，所述电机护罩的正面固定安装有声音采集器。
9.作为本发明再进一步的方案：两个所述下夹板呈l状，且两个下夹板的背面均开设
有活动槽，活动槽的内侧和限位板的外侧接触。
10.作为本发明再进一步的方案：所述活动板和复位弹簧套接，且活动板的顶端贯穿下夹板并延伸至上夹板的内部。
11.作为本发明再进一步的方案：所述保护外壳的正面开设有开口，且开口的高度大于摄像头的直径。
12.作为本发明再进一步的方案：所述限位导杆的数量为两个，且两个限位导杆上下对称分布在保护外壳的内侧，限位导杆和调节螺杆呈水平状。
13.作为本发明再进一步的方案：所述安装板的内部开设有圆形安装孔，圆形安装孔的内部活动安装有螺纹环，螺纹环和调节螺杆螺纹连接。
14.作为本发明再进一步的方案：两个所述滑套和安装板为一个整体，所述驱动马达的驱动轴和调节螺杆的左端固定连接。
15.作为本发明再进一步的方案：所述电机护罩和控制护罩均包括壳体和外盖，且电机护罩和控制护罩外盖的正面均开设有活动开口，壳体和外盖通过固定螺丝固定连接。
16.作为本发明再进一步的方案：所述摄像头、驱动马达、控制器、电路板、控制按钮、预警灯和声音采集器电连接，所述预警灯由下至上依次包括绿灯、黄灯、橙灯和红灯。
17.(三)有益效果
18.与现有技术相比，本发明提供了一种具有活动体肢体运动监测控制装置，具备以下有益效果：
19.1、该具有活动体肢体运动监测控制装置，通过开源的人体关键点检测数据集和自制的车内时序音频数据集分别训练车内实时人体姿态估计模型和语音识别模型，构建基于融合视觉和语音的车内活动提危险情况预警模型，通过结合实时视频流和实时音频流构建车内活动体危险行为定义，并对可能的危险行为发出预警，有效结合车内视频和音频信息，去除噪音和背景干扰，提高车内活动体危险情况识别效率，进行实时准确有效预警。
20.2、该具有活动体肢体运动监测控制装置，通过采用悬挂式调节安装的方式将监测装置安装在车内后视镜上，不仅方便监测装置的安装，而且能够使监测设备最大程度提取车内有效数据，提高监测设备的功能强度，增强数据监测准确性。
附图说明
21.图1为本发明提出的一种具有活动体肢体运动监测控制装置结构主视图；
22.图2为本发明提出的一种具有活动体肢体运动监测控制装置结构下夹板背视图；
23.图3为本发明提出的一种具有活动体肢体运动监测控制装置结构保护外壳正面剖视图；
24.图4为本发明提出的一种具有活动体肢体运动监测控制装置工作流程图；
25.图5为本发明提出的一种具有活动体肢体运动监测控制装置提取语音特征参数mfcc的基本步骤图。
26.图中：1连接板、2下夹板、3复位弹簧、4限位板、5活动板、6上夹板、7挡片、8保护外壳、9限位导杆、10调节螺杆、11滑套、12安装板、13摄像头、14电机护罩、15驱动马达、16控制器、17控制护罩、18电路板、19控制按钮、20预警灯、21声音采集器。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.请参阅图1
‑
3，一种具有活动体肢体运动监测控制装置，包括连接板1，连接板1顶部的左右两侧均固定连接有下夹板2，两个下夹板2呈l状，且两个下夹板2的背面均开设有活动槽，活动槽的内侧和限位板4的外侧接触，两个下夹板2的内顶壁固定安装有复位弹簧3，复位弹簧3远离下夹板2的一端固定安装有位于下夹板2内侧的限位板4，限位板4的顶部固定连接有活动板5，活动板5和复位弹簧3套接，且活动板5的顶端贯穿下夹板2并延伸至上夹板6的内部，活动板5的顶端固定连接有上夹板6，上夹板6和下夹板2相对一侧的前端均固定连接有挡片7，连接板1的底部固定连接有保护外壳8，保护外壳8的正面开设有开口，且开口的高度大于摄像头13的直径，保护外壳8左侧壁和右侧壁的相对一侧分别与限位导杆9的两端固定连接，限位导杆9的数量为两个，且两个限位导杆9上下对称分布在保护外壳8的内侧，限位导杆9和调节螺杆10呈水平状，保护外壳8左侧壁和右侧壁相对一侧的中部分别与调节螺杆10的两端活动连接，两个限位导杆9的外部均滑动连接有滑套11，两个滑套11和安装板12为一个整体，两个滑套11相对的一侧分别与安装板12的顶部和底部固定连接，安装板12的内部开设有圆形安装孔，圆形安装孔的内部活动安装有螺纹环，螺纹环和调节螺杆10螺纹连接，安装板12的正面固定安装有摄像头13，摄像头13、驱动马达15、控制器16、电路板18、控制按钮19、预警灯20和声音采集器21电连接，保护外壳8的左侧固定连接有电机护罩14，电机护罩14和控制护罩17均包括壳体和外盖，且电机护罩14和控制护罩17外盖的正面均开设有活动开口，壳体和外盖通过固定螺丝固定连接，电机护罩14内腔右侧壁固定安装有驱动马达15，驱动马达15的驱动轴和调节螺杆10的左端固定连接，驱动马达15的正面固定安装有控制器16，保护外壳8的右侧固定连接有控制护罩17，控制护罩17的内腔后侧壁固定安装有电路板18，控制护罩17正面的底部固定安装有控制按钮19，控制护罩17正面的顶部固定安装有预警灯20，预警灯20由下至上依次包括绿灯、黄灯、橙灯和红灯，电机护罩14的正面固定安装有声音采集器21，从而达到了对车内活动体进行视频和音频双监测，并对可能的危险行为发出预警的目的。
29.小型车辆环境中，活动体的活动受车辆环境的限制，一方面活动范围不大，另一方面无法检测活动体全部，只能检测活动体部分行为，主要为头部和上肢行为。为解决车内活动体存在数目不确定，活动体与活动体，活动体与障碍物等之间存在接触、遮挡和切断等复杂的空间干扰，多活动体同时预测造成的时间复杂度问题，传统的自顶向下的单人姿态估计无法满足复杂空间内多活动体实时、准确和持续的姿态估计需求。基于车内活动体特殊性和实时性要求，本技术基于openpose进行实时车内活动体姿态估计，以自底向上的解耦这些复杂问题，不直接使用活动体其他部位与其他活动体的全局信息，通过partaffinity fields来学习活动体各部分的关联性，即通过2d的像素向量来表征位置和方向信息，利用全局纹理信息，通过两个分支来学习活动体各部位的关键点位置及关节联通区域，使用greedy inference算法快速将关键点对应于不同活动体个体，从而达到实时性和高精度的要求。
30.openpose网络架构概要技术流程如下:
31.1.获取的活动体实时视频流；
32.2.基于vgg
‑
19获取活动体关键特征；
33.3.活动体关键特征通过连续的多阶段网络进行处理，该网络的每个阶段包含两个分支，即part confidence map和part affinity map；
34.4.连接各关节形成活动体骨架。
35.危险行为出现之前，通常也会包含声音的交互过程，为准确识别车内活动体危险情况，本项目在车内活动体姿态识别的基础上对车内语音进行采集判断车内交互语音的情感倾向，研究声音的异常表现。为保证车内条件下语音识别模型的有效性和稳定性，本项目制作了车内条件下语音识别数据集，共28655个时长为2s的语音数据，分为危险情况、正常情况和噪音，分别表征激烈的争吵情况，正常的车内对话情况，以及车内噪音情况。通过加入噪音来有效防止噪声对其他情况的干扰，有效保证了语音识别的准确性，有效性和稳定性。
36.为保证车内活动体危险情况识别的有效预警，本项目基于活动体姿态估计模型和语音识别模型进行综合识别，在语音识别模型中，本项目采用mfcc+cnn架构进行语音识别。其中，mfcc是梅尔倒谱系数的简称，是在me l标度频率域提取的倒谱参数，而mel标度则描述了人耳频率的非线性特性。为准确进行车内活动体音频数据进行危险情况预警，基于resnet对获取的mfcc特征进行危险情况，正常情况和噪音进行分类识别，准确获取车内活动体音频情况，为进行危险情况预警判别提供有力支撑，有效降低车内发生危险的可能性，保护车内活动体安全。
37.为准备判别车内实时情况，及时有效预警保证车内安全，降低车内活动体危险情况预警模型的误判率，提高模型有效性和稳定性。本项目基于活动体姿态识别模型和车内语音预警模型综合进行预警，进一步提高模型性能，车内危险情况预警规则为当图像采集设备采集图像时同时多只上肢在图像内，且被活动体姿态估计模型识别为存在交叉情况，且语音采集设备采集到的语音经语音预警模型预警为危险时，车内危险情况预警模型提示危险情况预警，该模型可以有效判别车内危险情况，及时提供预警信息，有效保证车内行车安全。
38.为实时在车内进行活动体危险情况预警，需将车内危险情况预警模型移植进入嵌入式设备，本项目采用itop
‑
3399开发板进行移植，系统为ubuntu16.04tls系统，进行系统烧录、源码编译、环境配置和系统移植，外部图像采集设备安装等工作，完成系统移植。
39.本发明的工作原理是：将下夹板2放置于车辆后视镜底部，并向上拉动上夹板6使限位板4向上挤压复位弹簧3，上夹板6位于后视镜的顶部，松开上夹板6，在复位弹簧3的作用下使连接板1悬挂与后视镜底部，按压控制按钮19给装置通电并启动控制器16，控制器16根据预设时间对驱动马达15进行控制，驱动马达15在工作时间内带动调节螺杆10旋转使安装板12在保护外壳8的内部由左至右移动，驱动马达15的工作预设时间达到后摄像头13达到指定监测点，还可以再次按下控制按钮19调节摄像头13的监测位置，摄像头13监测到的视频数据和声音采集器21监测到的音频数据均传输至电路板18内进行分析，电路板18根据分析传来的结果对预警灯20进行控制，预警灯20根据活动体的移动状态进行亮灯，正常亮绿灯，轻微亮黄灯，严重亮橙灯，危险亮红灯，从而解决了设备在监测车内活动体移动状态
的过程中，如果活动体移动状态异常，无法对车内进行有效预警的问题。
40.需要说明的是，这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
41.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
42.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
43.需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
44.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。