一种院外自动人体贴片除颤急救装置及控制方法

1.本发明涉及一种院外自动人体贴片除颤急救装置及控制方法。


背景技术：

2.目前，在公共场合应对心跳紊乱，心跳骤停情况所配备的医疗设备主要是自动体外除颤仪，缩写名为aed。aed能够实现在把它的电极片贴到患者身上后，自动进行电击，进行心室除颤，极大地提高了心脏骤停患者的救活率。aed相对于医院专业的除颤设备操作已经较为简单，但是，不具备医疗aed操作知识的人还是无法在现场使用aed进行除颤急救。
3.为了让普通人也能够使用aed进行急救操作，目前出现了两种主流方案，一是使用aed智能辅助机器人，能够传播aed使用知识，在公共场合利用人体模型示范aed操作流程，辅助人工进行aed除颤操作，通过普及操作知识的方式进行宣传；二是在aed设备被启动时通过语音，视频等方式进行现场教学，让操作者现场根据指示操作。即使目前的两种方案能够有一定效果，但是均不能避免人为因操作不够熟练等产生的意外风险。为了能够更加高效的进行aed急救操作，最大限度地提升心脏骤停患者的救活率，本发明设计了一种能够实现自动化除颤操作的院外智能急救装置。


技术实现要素：

4.为了实现公共场合对心跳紊乱，心跳骤停的患者进行自动化专业急救除颤的目标，本发明提出了一种院外自动人体贴片除颤急救装置。
5.本发明的技术方案为
6.一种院外自动人体贴片除颤急救装置，其特征在于，包括主臂、至少两个支撑臂以及
7.可动旋转收纳结构：为主臂和支撑臂的连接旋转机构，具有旋转机构和固定机构，控制主臂和支撑臂的所成工作角；
8.视觉雷达固定结构：用于将视觉摄像头和毫米波雷达固定在装置的主臂上，保持稳定的数据采集；
9.运动贴片机械臂结构：由六自由度机械臂构成，末端有转接件和绝缘保护层以及固定孔位的除颤电极片，通过控制六自由度机械臂可以实现运动贴片的任务；
10.底盘稳固结构：包括设置在支撑臂底盘下设吸附吸盘连接和吸盘，在工作时固定本装置；
11.控制和电源存储结构；为具有多层的隔层结构，其中控制存储结构为k、l两层，分别通过铜柱连接人工智能开发板和主从单片机；电源存储结构为e、m两侧，分别为电源单体和变压模块。
12.在上述一种院外自动人体贴片除颤急救装置，所述可动旋转收纳结构包括旋转机构和固定机构，所述旋转机构为旋转轴承，固定机构为插销式结构，旋转机构和固定机构分别位于主臂和两侧的支撑臂连接处。
13.在上述一种院外自动人体贴片除颤急救装置，视觉雷达固定结构包括功能连接件、缓冲和防震垫圈，所述功能连接件为摄像头两侧的l型固定板与毫米波雷达的固定转接板，所述缓冲和防震垫圈分别位于摄像头两块l型固定板与主臂的预设孔位的连接处和毫米波雷达的固定转接板与主臂的预设孔位连接处。
14.在上述一种院外自动人体贴片除颤急救装置，运动机械臂结构中的六自由度的机械臂由总线舵机进行分布控制，贴片装置包括电极片和绝缘层及其固定的螺丝；总线舵机包括云台舵机一，第一中间舵机、第二中间舵机、第三中间舵机、第四中间舵机、电极片方向舵机六，电机之间通过3线总线串行控制，云台舵机通过旋转控制整体机械臂的朝向，云台舵机一通过l型转接板和固定孔位螺丝与支撑臂底板连接固定；云台舵机一和第一中间舵机通过第一u型转接板连接；第一中间舵机和第二u型转接板通过舵盘连接作用；第二中间舵机通过舵盘和l型转接板与第三u型转接板连接至第三中间舵机；第三中间舵机通过舵盘和l型连接板直接连接至第四中间舵机；第四中间舵机通过舵盘和固定板转接件连接至电极片方向舵机，电极片和运动贴片机械臂之间采用螺丝的连接方式，通过稳固螺丝d11和稳固螺丝d12，将电极片与机械臂相锁定，同时在电极片的后端具有一层绝缘保护层d2，防止电极片的电流通过机械臂的金属体泄露造成危险，整个贴片装置由转接连接件c13和c131以及c132固定在运动机械臂上。
15.在上述一种院外自动人体贴片除颤急救装置，控制和电源存储结构中，k层为人工智能开发板(上位机)处理层，包括一块jetson xavier nx的ai智能开发板，进行人体姿态估计和机械臂的运动规划的相关计算。
16.在上述一种院外自动人体贴片除颤急救装置，控制和电源存储结构中，l层为机械臂和毫米波雷达控制层，包括两块stm32f103vet6单片机，分别为主机b81和从机b82，主机和从机stm32f103vet6都负责对各自的运动机械臂进行驱动，同时主机stm32f103vet6还兼任毫米波雷达的数据处理，利用数据线通过数据传输专用通口和k层的上位机相连接，传输相应的数据。
17.在上述一种院外自动人体贴片除颤急救装置，控制和电源存储结构中，右侧主体为电源供电模块，分别包括e层和m层，中间由隔板b71隔开，e层为电池主体b72，m层分布着若干变压模块b73，变压模块b73包括将电源电压变压为体外自动除颤仪所需要的电压的变压模块、变压为jetson xavier nx智能开发板专用电压的变压模块、以及变压为普通单片机和传感器通用的5v低电压的变压模块，各变压模块通过支撑柱与电源存储结构的底盘相连接。
18.一种使用所述院外自动人体贴片除颤急救装置的控制方法，其特征在于，包括：
19.通过展开并锁定可动旋转收纳结构以及固定底盘稳固结构，稳固装置，同时，装置进入工作模式，装置自动通过具有机械防抖功能的毫米波雷达对患者的心跳信息进行采集，同时装置自动判断是否需要进行除颤急救，若需要除颤，装置自动通过摄像头结合jetson xavier nx进行人体姿态估计，通过stm32f103vet6单片机控制六自由度专用运动贴片机械臂进行贴片，结合装置中所带的aed进行全自动的急救除颤。
20.在上述的控制方法，进行人体姿态估计的具体步骤是：
21.步骤1，采集若干人体平躺姿态图片，利用标注工具对人体的左肩、右肩、左腰、右腰、脖颈等关键特征点进行标注，并组合图片得到数据集，
22.步骤2，以提前标注关键点的w*h*3的rgb图片传入第一阶段的vgg-19卷积神经网络，生成特征图集f，再将特征图回归计算得到置信度图s1＝ρ1(f)，这里的ρ为下一阶段的预测网络，同时该预测网络作为置信度图的下一阶段训练网络，优化置信度图s
t
＝ρ
t
(f
t
,s
t
)，构造损失函数，本领域技术人员通常采用l2范数，对损失函数进行空间加权得到，所述损失函数为：其中为真实的关键点置信度图，w(p)为对应关键点图的权重，对每个图像生成置信图，最终通过网络的置信图为即可通过非最大值抑制得到人体关键点。
23.步骤3，得到人体关键点后，通过多元回归分析，以左肩、右肩、左腰、右腰和脖颈部分的关键点为基础，设电极片贴片点为(x1,y1)与(x2,y2)，构建其与上述关键点的关系为多项式拟合关系，可表述为与所述mi为上述关键点的横坐标，所述ui为上述关键点的纵坐标，*表示相乘运算。最终计算得到除颤贴片的精准位置。
24.在上述的控制方法，毫米波雷达对患者的心跳信息进行采集，并判断是否需要进行除颤急救的具体方法是:
25.步骤1，设定毫米波雷达测量范围参数为0.3m-0.9m，对毫米波雷达的k组range bin数据进行处理，在一个测量周期内，毫米波雷达测量到的数据为k
×
n的矩阵,根据信号能量与振幅平方的正比关系，利用能量公式求出每一组range bin信号的能量，所述能量公式为：其中eb表示range bin＝b处的信号能量，yb(n)为range bin＝b处的信号幅值，对k组数据求出信号能量后，查找振动能量最大值点为人体胸腔位置对应的range bin，
26.步骤2，在该range bin内通过反正切法提取信号相位，使用arctan函数时会出现相位折叠的现象，需要进行相位解缠绕，所述相位解缠绕方法为：当连续的两个采样点之间的相位差的绝对值大于π时，对后一个采样点的相位值减去2π，得到解缠绕相位信号后，通过相位与距离的转换公式计算得到振动信号，所述相位与距离转换公式为：其中，λ为毫米波雷达发射的线性调频波的波长，在振动信号中，心跳信号的频率为0.8-2hz，构造fir带通滤波器或iir带通滤波器，带通频率设定为0.8-2hz，经过滤波之后得到心跳信号样本数据，
27.步骤3，从信号样本数据中估计心率采用平均周期图功率谱估计法，在信号样本中，心跳信号为振动能量最高的成分，对心跳信号样本数据进行功率谱估计，峰值点对应的频率即为一次测量得到的心率，将一个采用周期内得到的n个数据分为m段，每一段的数据长度为l，对每一段数据加hamming窗，同时求得hamming函数的傅里叶变换w(ω),对每段振动信号求得的傅里叶变换为：xm(ω),m＝0,1,
…
,m-1其中，m为数据段的标号，对每段信号
加窗后信号的频谱为：
[0028][0029]
其中，*符号表示卷积运算。根据功率谱计算公式得到每段信号的功率谱函数为：
[0030][0031]
对每段信号的功率谱求平均值，得到一个测量周期内信号功率谱的估计值为：
[0032][0033]
得到的功率谱函数的自变量为信号频率，因变量为信号功率，通过查找功率谱函数中的峰值点得到振动能量最大的信号，对应的频率为一个测量周期内人体的平均心率，
[0034]
步骤4，比较毫米波雷达测量的心率是否在正常的心率范围内，若结果非正常心率，则判断需要除颤急救。
[0035]
因此，本发明具有如下优点：1、结合毫米波雷达非接触式测量心率判断是否需要急救除颤和人体姿态估计计算贴片位置的方法，实现装置全自动贴片急救功能。2、通过可动收纳结构实现装置的展开和收纳，实现减小非工作时的占用空间，同时提升了便携性。3、非接触式的毫米波雷达测量心率，在不触碰患者的情况下对患者心率进行精准估计，简单快捷；基于功率谱估计的方法，更好的结合毫米波雷达采集的信号能量进行分析，心率测量更加精准。4、基于人体姿态估计和多项式拟合的除颤贴片位置定位，结合6自由度运动机械臂能够保证较高的贴片精度，从而实现急救除颤工作。
附图说明
[0036]
图1为本发明实施例的工作系统框图。
[0037]
图2为本发明实施例的系统工作示意图。
[0038]
图3为本发明实施例的可动旋转收纳结构连接示意图。
[0039]
图4为本发明实施例的视觉雷达固定结构示意图。
[0040]
图5为本发明实施例的运动贴片机械臂结构电极片连接示意图。
[0041]
图6为本发明实施例的控制存储结构图。
[0042]
图7为本发明实施例的电源存储结构图。
[0043]
图8为本发明实施例的底盘稳固结构示意图。
[0044]
图9为本发明实施例的系统收纳示意图。
具体实施方式
[0045]
本发明涉及的一种院外自动人体贴片除颤急救装置，自动人体贴片除颤急救装置子结构的包括由旋转子轴承和固定定子组成的可动旋转收纳结构，由机械防抖和连接构件组成的视觉雷达固定结构，由除颤电极片和舵机及其连接件构成的运动贴片机械臂结构，由吸盘和稳固螺丝构成的底盘稳固结构，以及用于存放和收纳基本控制和电源单元的控制和电源存储结构。
[0046]
整体框架由左右两侧的支撑臂和中间结构主臂构成，支撑臂连接主臂并通过支撑
臂底板起到整个装置的支撑作用。
[0047]
有序的，可动旋转收纳结构位于装置两个主臂调节角，连接主臂和支撑臂，保证主臂和支撑臂之间的连接结构和旋转结构，通过控制固定机构(定子)和旋转机构(转子)，可以达到控制主臂和支撑臂之间的角度。达到旋转收纳的效果；视觉雷达固定机构位于主臂的中心，分别连接摄像头和毫米波雷达，由机械防抖装置通过固定孔位连接主臂；运动贴片机械臂结构的机械臂底板通过固定孔位与支撑臂底板连接，并分布于左右两侧支撑臂底板上，形成对称的两个运动贴片机械臂结构，分别具有左电极片和右电极片，对患者从左右两个方向同时进行运动贴片，实施除颤急救。而控制存储结构主要由内部分格层和外部连接结构构成，通过连接结构与支撑撑臂的底板连接，达到固定的效果。整体装置由支撑臂底盘通过底盘稳固结构与地面固定，使整体装置保持稳定。
[0048]
本发明具体实施例的系统工作流程为,如图1，通过毫米波雷达对患者的心率等生命体征进行监测，确定是否需要急救。判断需要急救后通过摄像头采集人体数据，并由控制系统控制运动贴片机械臂结构进行精准贴片，后续由自动除颤系统进行除颤急救，实现完整的一体化自动急救过程。
[0049]
所述人体姿态估计算法得到贴片的精确位置步骤为，以提前标注关键点的w*h*3的rgb图片传入第一阶段的vgg-19卷积神经网络，生成特征图集f。再将特征图回归计算得到置信度图s1＝ρ1(f)，这里的ρ为下一阶段的预测网络。同时该预测网络作为置信度图的下一阶段训练网络，优化置信度图s
t
＝ρ
t
(f
t
,s
t
)，构造损失函数。本领域技术人员通常采用l2范数，对损失函数进行空间加权得到。所述损失函数为：其中为真实的关键点置信度图，w(p)为对应关键点图的权重。对每个图像生成置信图，最终通过网络的置信图为即可通过非最大值抑制得到人体关键点。得到人体关键点后，通过多元回归分析，以左肩、右肩、左腰、右腰和脖颈部分的关键点为基础，设电极片贴片点为(x1,y1)与(x2,y2)。构建其与上述关键点的关系为多项式拟合关系，可表述为与所述mi为上述关键点的横坐标，所述ui为上述关键点的纵坐标，其中*表示乘法运算。通过上述公式计算得到除颤贴片的精准位置。
[0050]
所述通过毫米波雷达测量人体心率的步骤为：设定毫米波雷达测量范围为0.3m-0.9m，对毫米波雷达的19组range bin数据进行处理。在一个测量周期内，毫米波雷达测量到的数据为19
×
n的矩阵,根据信号能量与振幅平方的正比关系，利用公式求出每一组range bin信号的能量：其中eb表示range bin＝b处的信号能量，yb(n)为range bin＝b处的信号幅值。对19组数据求出信号能量后，查找振动能量最大值点为人体胸腔位置对应的range bin。在该range bin内通过反正切法提取信号相位，使用arctan函数时会出现相位折叠的现象，需要进行相位解缠绕：当连续的两个采样点之间的相位差的绝对值大于π时，对后一个采样点的相位值减去2π。得到相位信号后，通过相位与距离的转
换公式计算得到振动信号：其中，λ为毫米波雷达发射的线性调频波的波长。在振动信号中，心跳信号频率为0.8-2hz，构造iir带通滤波器，带通频率设定为0.8-2hz，经过滤波之后得到心跳信号样本数据。
[0051]
从信号样本数据中估计心率采用功率谱估计方法。在信号样本中，心跳信号为振动能量最高的成分，所以对数据进行功率谱估计，峰值点对应的频率作为一次测量得到的心率。为了提高功率谱估计的分辨率，同时减小功率谱估计结果的方差，采用平均周期图功率谱估计法。将一个采用周期内得到的n个数据分为m段，每一段的数据长度为l，对每一段数据加hamming窗，同时求得hamming函数的傅里叶变换w(ω),对每段振动信号求得的傅里叶变换为：xm(ω),m＝0,1,
…
,m-1其中，m为数据段的标号，对每段信号加窗后信号的频谱为：
[0052][0053]
其中，*表示卷积运算。根据功率谱计算公式得到每段信号的功率谱函数为：
[0054][0055]
对每段信号的功率谱求平均值，得到一个测量周期内信号功率谱的估计值为：
[0056][0057]
得到的功率谱函数的自变量为信号频率，因变量为信号功率，通过查找功率谱函数中的峰值点得到振动能量最大的信号，对应的频率为一个测量周期内人体的平均心率。比较毫米波雷达测量的心率是否在正常的心率范围内，若结果非正常心率，则判断需要除颤急救。
[0058]
装置的机械结构在工作的展开示意图如图2，支撑臂a2、a3和主臂a1成直角，并且可动旋转收纳结构b1、b2处于锁定构型。运动机械臂c1和c2分别与左右支撑臂底板通过预设孔位连接。除颤电极片d1与d2位于两个运动机械臂上，与p1中内置的体外自动除颤仪相连接。
[0059]
如图3，所述旋转可动收纳构型由固定机构和旋转机构构成。所述锁定构型为固定机构(定子)b31、b41插入相应的锁定孔位，通过插销的控制方法，锁定旋转机构(转子)b32、b42的转动，左右两侧的可动旋转收纳结构处于同一个锁定状态，使整个装置形成稳固的工作构型。
[0060]
如图4，摄像头b5通过左右两块l型板b51、b52和装置的主臂a1通过预设孔位连接，其中l型板和主臂之间还填充了减震层和缓冲层垫圈b53；毫米波雷达b6通过连接件b61与装置的主臂a1连接，连接件与主臂之间还填充减震层和缓冲层垫圈b62，减少由于机械抖动导致的摄像头和毫米波雷达的数据采集方向偏差。
[0061]
如图5，电极片和运动贴片机械臂之间采用螺丝的连接方式，通过稳固螺丝d11和稳固螺丝d12，将电极片与机械臂相锁定。同时在电极片的后端具有一层绝缘保护层d2，防止电极片的电流通过机械臂的金属体泄露造成危险。整个贴片装置由转接连接件c13和c131以及c132固定在运动机械臂上。
[0062]
运动机械臂由6自由度的机械臂构成，由总线舵机进行分布控制。如图，共有云台舵机1，中间舵机2、3、4、5，和电极片方向舵机6进行控制。电机之间通过3线总线串行控制，云台舵机通过旋转控制整体机械臂的朝向，云台舵机通过l型转接板和固定孔位螺丝与支撑臂底板连接固定；云台舵机和第一中间舵机通过第一u型转接板连接；第一中间舵机和第二u型转接板通过舵盘连接作用；第二中间舵机通过舵盘和l型转接板与第三u型转接板连接至第三中间舵机；第三中间舵机通过舵盘和l型连接板直接连接至第四中间舵机；第四中间舵机通过舵盘和固定板转接件连接至电极片方向舵机。整个机械臂采用总线舵机的控制方式，由舵机主控板引出总线舵机的控制信号，连接至1号舵机，而后2-6号舵机通过3线连接的方式，从第i号电机连接上第i-1号电机中。由此2、3、4、5、6号舵机根据控制中心的姿态解算得到相应的旋转角度，运动至规定的姿态，从而完成对患者的贴片任务。
[0063]
图6为用于存放和收纳基本控制和电源单元的控制和电源存储结构，在图2中，控制和电源存储结构分布在整个装置的左右两侧，分别为b7和b8，并分别通过固定孔位分别和支撑臂以及支撑臂底盘连接固定。左侧的为控制存储结构b7，右侧的为电源存储结构b8，左侧控制存储结构分为k层和l层两层，中间由b83隔板隔开，如图6所示。
[0064]
k层为人工智能开发板(上位机)处理层，包括一块jetson xavier nx的ai智能开发板，进行人体姿态估计和机械臂的运动规划的相关计算，智能开发板和k层连接结构如图所示。
[0065]
l层为机械臂和毫米波雷达控制层，包括两块stm32f103vet6单片机，分别为主机b81和从机b82，主机和从机stm32f103vet6都负责对各自的运动机械臂进行驱动，同时主机stm32f103vet6还兼任毫米波雷达的数据处理，利用数据线通过数据传输专用通口和k层的上位机相连接，传输相应的数据。
[0066]
右侧主体为电源供电模块，如图7所示，分别包括e层和m层，中间由b71隔开，e层为电池主体b72，m层分布着各类的变压模块b73，其中1是变压为体外自动除颤仪所需要的电压模块，而2是变压为jetson xavier nx智能开发板专用电压模块，而3是变压为普通单片机和传感器通用的5v低电压模块，其各通过铜柱和电源存储结构的底盘相连接。
[0067]
如图8所示，底盘稳固结构为支撑臂底板和地面接触的部分。在整个装置上，分别位于左右两侧的支撑臂底板上，每个底盘稳固装置主要由4个吸附吸盘a41、a42、a43、a44和吸盘连接件所构成，吸盘位于支撑臂底板的四个脚位上。在工作时，将整个装置稍向下压，吸盘自动吸紧地面，保持整个装置的稳定性。在回收时，将吸盘拔起即可回收再次使用。
[0068]
本实施例在不需要使用时可以在机械臂复位的情况下，使得运动贴片机械臂云台舵机角度为0，中间舵机2、3、4、5、6号复位，使贴片机械臂整体竖直复位，继而通过解除可动旋转收纳结构的固定机构，使得可动旋转收纳的旋转机构处于活动转动，将其支撑臂a2向内逆时针旋转，而支撑臂a3向外逆时针旋转，形成如图9的结构，完成整体装置的收纳。收纳完成后可以装入相应的专用医疗器械箱，在公共场合安放备用。
[0069]
本实施例在使用时，首先需要将支撑臂a2和支撑臂a3放置为与主臂a1形成同侧直角，将可动旋转收纳结构的固定机构插入插销，锁定旋转机构。同时，解开患者衣服，将整套装置放于患者腰部稍往上处，将底盘稳固结构的吸盘与地面进行紧密吸附，形成稳定的工作结构。打开开关，装置将会自动进行心率测量，并且判断是否需要急救除颤等医疗救援。如果需要急救除颤，则会全自动的进行急救除颤工作。
[0070]
本文中所描述的具体实施例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。