一种基于BEFAST判断原则的脑卒中行为检测方法

本发明专利属于医疗技术和计算机视觉领域，特别是涉及一种基于befast判断原则的脑卒中检测方法。

背景技术：

1、脑卒中，俗称中风，被称为我国人民生命健康的“头号杀手”，其综合危害已经超越了心血管疾病以及恶性肿瘤，具有高患病率、高复发率以及高致死、致残率。其主要由于脑部血管突然堵塞或破裂导致局部脑组织血液供应中断而引起缺血缺氧损伤的一组急性脑血管疾病，其主要分为缺血性脑卒中和出血性脑卒中两类，俗称“脑梗死”、“脑出血”，对人体健康具有极大危害。

2、为了提早发现与治疗脑卒中，医学界提出了“befast”判断原则。其中，“b”-balance即平衡，指平衡或协调能力的突然丧失；“e”-eyes即眼睛，指突发的视物困难；“f”-face即面部，指突发的面部不对称；“a”-arms即手臂，指手臂的突然无力或麻木，通常出现在身体一侧；“s”-speech即语言，指突发的言语或者构音障碍；“t”-time即时间，强调如果短时间内出现上述症状的任何一种，提示很可能发生脑卒中，务必立即就医，每拖延一小时，大脑会不可逆地衰老3.6年。

3、近几年来，随着深度学习技术的迅速发展与在各领域的落地应用，基于深度学习的医疗智能化研究受到越来越多的关注，利用人工智能技术检测脑卒中的技术和产品也不断涌现，经检索，中国专利号为cn112489793a的发明专利公开了一种脑卒中风险患者用预警系统，通过深度学习方法对被测人员的脑电信号进行检测，通过与建立起的患者脑电信号数据库进行对比，判断脑卒中概率；中国专利号为cn111419237a的发明专利公开了一种脑卒中手部运动功能carroll评分预测方法，同样是基于深度学习技术的检测方法，其特征提取聚焦于手部运动姿态，计算carroll评分预测脑卒中概率。除此之外，还有众多基于深度学习的脑卒中预测方法如针对上肢运动功能、语音特征、血脂以及病史等特征的检测技术或产品，已在各医疗机构投入使用。

4、然而对于最权威、最显性的脑卒中现象检测-befast判断原则方法的综合性深度学习检测方法仍处于空白状态，以上提到的单一或非显性特征的检测方法，或特征提取复杂，如血脂以及各类病史等；或特征单一误判率高等。因此需要一种基于befast判断原则的深度学习脑卒中检测方法。

技术实现思路

1、本发明的目的是为了解决克服现有技术的不足，提供一种基于befast判断原则的的脑卒中检测方法，实现直观、显性、便捷、多维的脑卒中检测，降低其检测难度的同时提高其检测准确性。

2、为了实现如上目的，本发明采用了如下技术方案：

3、一种基于befast判断原则的脑卒中检测方法，包括如下步骤：

4、a、依据befast判断原则采集人体状态的数据集；

5、b、对采集到的数据进行预处理；

6、c、搭建基于深度学习的神经网络模型mobilenetv3-small与agcn-transformer；

7、d、利用预处理后的数据对神经网络进行训练；

8、e、通过深度学习建立的网络模型对被测人员进行检测，检测脑卒中症状；

9、f、根据网络模型的检测结果，以及被测人员的身体情况给予合理建议。

10、可选地，所述依据befast判断原则采集人体状态的数据集，包括：b-balance，肢体平衡数据；f-face，面部对称性数据；a-arms，手臂抬起保持数据。

11、可选地，所述b-balance，肢体平衡数据为脑卒中患者与正常人步行过程中肢体的平衡性/歪斜程度的图像数据。因为脑卒中患者往往出现平衡或协调能力的突然丧失，感到走路不稳，向身体一侧偏斜；或者做精细动作时变得比平时笨拙。

12、可选地，所述f-face，面部对称性数据为脑卒中患者与正常人面部对称性/一侧歪斜程度的图像数据。因为脑卒中患者往往出现突发的面部不对称。一般来说，正对患者，观察患者两侧的鼻唇沟是否对称，有没有一侧变浅；再让患者咧嘴笑或者呲牙，观察是不是有一侧口角歪斜。

13、可选地，所述a-arms，手臂抬起保持数据为脑卒中患者与正常人手臂抬起后保持水平的图像数据。因为脑卒中患者往往出现手臂突然无力或麻木，通常出现在身体一侧。将两只手臂平举，看是不是能举到相同的高度；如果可以，就进一步观察两侧手臂平举是不是可以坚持10秒钟。如果有一侧手臂不能上抬或是提前掉下来了，则需要引起重视。

14、可选地，所述对采集到的数据进行预处理，包括：将步骤a中采集到的数据集进行缩放；将裁剪后的数据集进行分类；对分类后的数据依据需求进行标定；以及对分类、标定后的图片数据进行归一化处理

15、可选地，所述将步骤a中采集到的数据进行缩放是指将所有图片进行等比例缩放，使其达到统一的长宽尺寸。

16、可选地，所述统一尺寸为224×224，所述等比例缩放方法为长边固定短边填充：

17、hscale＝hsize/max(h，w)

18、wscale＝hscale

19、hdst＝hscale*h

20、wdst＝wscale*w

21、padding_size＝abs(hdst-wdst)/2

22、其中，(h，w)为图片的原始大小，(hscale，wscale)为缩放比例，(hdst，wdst)为等比例缩放后的图片尺寸，padding_size则是短边每侧需要填充的像素数。根据计算所得(hdst，wdst)，采用双线性插值方法实现缩放；如原始图像长宽不等需要填充时，在短边每侧增加padding_size大小的像素0值。

23、可选地，所述将裁剪后的数据集进行分类是指分别根据正常人与脑卒中患者，肢体平衡数据、面部对称性数据、手臂抬起保持数据两种分类标准将图片数据分为正常人的肢体平衡数据、脑卒中患者的肢体平衡数据、正常人的面部对称性数据、脑卒中患者的面部对称性数据、正常人的手臂抬起保持数据以及脑卒中患者的手臂抬起保持数据六类。

24、可选地，所述对分类后的数据依据需求进行标定是指对balance图像数据与arms图像数据中的人体肢体进行骨架标定，将图片被测目标与背景数据转化为骨架数据。

25、可选地，所述对分类、标定后的图片数据进行归一化处理是指对图片像素归一化，采用transforms.totensor()与transform.normolize()函数实现：

26、其中，transform.totensor()首先将像素数据储存方式从(h，w，c)转变为(c，h，w)形式，并通过计算：

27、transforms.totensor(x)＝x/255

28、将数据归一化到[0，1]范围内；随后transform.normolize()将[0，1]范围内的数据标准化为均值为0，标准差为1的数据，以加快收敛速度：

29、transforms.normolize(x)＝(x-mean(x))/std(x)

30、mean(x)为x的均值，std(x)为x的标准差。

31、可选地，所述搭建基于深度学习的神经网络模型mobilenetv3-small，其结构包括：11个bottleneck层，一个标准卷积层以及两个逐点卷积层。

32、bottleneck层结构包括一层1×1的卷积用以升维，一层3×3或5×5的卷积用以特征提取以及一层1×1的卷积用以降维，该结构主要用来实现图片特征提取。

33、标准卷积层为步长为2，卷积核尺寸为3×3，输出通道为16的二维卷积操作，用来作为感受野进行初步特征提取。

34、逐点卷积层为步长为1，卷积核尺寸为1×1的二维卷积操作，作为全连接层融合通道间的特征信启、。

35、本网络采用两种激活函数用于引入非线性，提高网络精度：relu6与hardswish，计算方式为：

36、

37、

38、同时本网络采用se模块，通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征，计算方式为：

39、

40、其中，adaptiveavgpool2d函数作用为在各通道上将所有像素取平均值，将输入的特征图尺寸压缩为1×1且维度(通道数)不变；

41、conv2d(in_channel，in_channel/reduction，kernel_size＝1)函数采用1×1的卷积将输入特征图维度压缩为1/reduction，relu()函数为：

42、

43、conv2d(in_channel/reduction，in_channel，kernel_size＝1)函数采用1×1的卷积将输入特征图维度扩展为reduction倍，h_sigmoid()函数替换通用的sigmoid()函数，其计算方式：

44、h_sigmoid(x)＝relu6(x+3)/6

45、可选地，所述搭建基于深度学习的神经网络模型agcn-transformer，其采用骨架数据作为网络模型的输入，对原始只包含位置信息的骨架数据进行处理获取二阶速度信息进行拼接，实现节点初始空间信息的扩充和完善。然后对拼接数据进行规范化预处理，然后送入网络之前对输入数据进行bn操作，将骨架序列在空间及时间上构建时空图，根据自适应图构建图的邻接矩阵进行后续空间图卷积运算。

46、该模型先由设计构建的结合注意力机制的gcn基本单元和tcn基本单元结合一个附加的dropout层组合成为一个自适应时空图卷积单元模块。

47、在网络浅层阶段，使用3层时空图卷积单元模块先对节点空间特征及短时时间特征进行提取，对每个时空卷积单元模块均采用残差连接结构。前三层时空卷积单元模块的输出特征通道数均为64。在空间维度上即在特征张量的节点维度上进行gap，使动作特征不再包含人体结构的空间信启、。

48、按时间先后顺序以从左到右、从上到下的方式进行数组变维得到时间在二维空间上的表示，即可实现连续时间及不连续时间均在二维表示中存在空间邻接。对变化后的特征图送入transformer网络对时间信息进行提取，transformer网络结构可由swinmlp结构构成。其中，swin-mlp结构关于第一阶段隐藏层的通道数c和每个阶段层数的超参设置是：c＝96，layer numbers＝{2，2，2}，head numbers＝{3，6，3}。

49、经过transformer网络的多层编码器层进行特征提取之后，将输出特征送入全连接层，接入softmax函数进行分类。

50、可选地，所述利用预处理后的faces和balance、arms数据分别对神经网络mobilenetv3-small与agcn-transformer进行训练。对于mobilenetv3-small：将预处理后faces数据经过一层标准卷积初步提取特征图、11层bottleneck结构深入提取特征、一层池化层降维以及两层逐点卷积层融合特征图的各通道特征信息并输出分类结果。对于agcn-transformer：将预处理后转化为骨架数据的balance和arms数据经过3层时空图卷积单元模块、transformer网络以及全连接层和softmax函数的处理和计算，根据被测人员步伐是否平稳、肢体之间的动作是否协调，实现是否为脑中卒患者的判断。

51、可选地，所述通过深度学习建立的网络模型对被测人员进行检测，检测脑卒中症状，步骤为：

52、(1)采集被测人员图像数据；

53、(2)将图像数据预处理得到224×224大小的标准归一化图像数据与骨架数据；

54、(3)图像数据输入到训练好的神经网络mobilenetv3-small与agcn-transforme进行计算；

55、(4)网络检测得到结果，判断脑卒中患病情况。

56、可选地，所述检测脑卒中症状，被测人员“b”“f”“a”三种特征任意一种与脑卒中患者症状相近并被判定为相同症状，则判定被测人员为脑卒中风险人群；任意两种则判定被测人员为高概率脑卒中患者；若三种症状均被判定为脑卒中相同症状，则判定被测人群为紧急脑卒中患者。

57、可选地，所述根据网络模型的检测结果，以及被测人员的身体情况给予合理建议，从检测结果角度，若被检测为脑卒中风险人群，则给出尽快前往医院检查的建议，并提供就近医院信息；若被检测为高概率脑卒中患者，则除以上措施外，还提供快捷120拨打服务；若被检测为紧急脑卒中患者，则自动拨打120，为被测人员提供紧急救助服务。此外，从被测人员身体情况角度，给出脑卒中预防措施或恢复建议。

58、本发明结合深度学习技术与befast判断原则，采用双神经网络去判断脑卒中患病概率，相比于当下技术，从更显性的特征进行判断，降低了实施难度；从多维特征结合的角度进行判断，大大降低了误判、漏判概率。

59、本发明.融合了时空图卷积网络agcn和transformer结构，时间卷积网络在局部范围提取时间特征，transformer提取长程时间信息，弥补了以往时间卷积网络在长程时间信息提取的不足。