一种计算机视觉数字化康复评估方法和系统与流程

本发明实施例涉及肢体功能障碍康复领域，尤其涉及一种计算机视觉数字化康复评估方法和系统。

背景技术：

1、随着人口老年化、交通意外和脑卒中患者的增加等等情况，越来越多的人出现上肢、下肢动作功能障碍、手部动作功能障碍、坐位失衡以及站位失衡，因此康复训练需求巨大。在医学上，通过对人体肢体动作数据分析可以获得人体综合肢体机能和健康状况，从而给出合理的康复指导。

2、传统的评估分析都是以填写纸质量表的方式进行评估，效率低下，大量的时间花费在填写医学量表上，康复医师工作中包含大量非技能类的工作，不能充分发挥康复医师的专业知识，造成一定的医疗资源损失。

3、随着技术的发展，陆续出现了基于数字化的自动评估技术，但其针对功能损伤的评估都是基于局部肢体的，要不是上肢评估、要不是下肢评估，而且手部评估基本是比较缺乏的，不能对其他损伤部位进行系统的评估；例如，专利202310978929.0提供了一种脑卒中患者上肢康复评估系统，其评估部位仅包括上肢。此外，现有技术中的自动评估方法多采用惯性陀螺仪来获取三轴角度、速度、加速度等信息，误差会持续积累，数据稳定性差，评估效果容易受到影响；且需要经常校正，对于肢体动作功能障碍的患者不够友好。

技术实现思路

1、本发明实施例提供一种计算机视觉数字化康复评估方法和系统，以解决上述技术问题。

2、第一方面，本发明实施例提供了一种计算机视觉数字化康复评估方法，包括：

3、获取患者的动作视频，所述动作包括上肢动作、下肢动作、站位动作、坐位动作和手部动作；

4、在各视频帧中标定患者相关的目标区域，并对其余区域进行屏蔽；

5、对各标定后的视频帧进行人体姿态捕捉，得到患者在各帧中的多个肢体关键点位；

6、根据各肢体关键点位对脑卒中康复的影响程度，将各帧中的肢体关键点位进行聚类，由各聚类中心与未聚类的肢体关键点位共同构成最终的多个肢体关键点位；

7、将最终的多个肢体关键点位的时间序列输入时空图卷积深度模型，得到患者的康复评估结果。

8、第二方面，本发明实施例提供了一种计算机视觉数字化康复评估系统，包括：视觉采集器和评估模块；其中，

9、所述视觉采集器用于采集患者的动作视频，所述动作包括上肢动作、下肢动作、站位动作、坐位动作和手部动作；

10、所述评估模块用于在各视频帧中标定患者相关的目标区域，并对其余区域进行屏蔽；对各标定后的视频帧进行人体姿态捕捉，得到患者在各帧中的多个肢体关键点位；根据各肢体关键点位对脑卒中康复的影响程度，将各帧中的肢体关键点位进行聚类，由各聚类中心与未聚类的肢体关键点位共同构成最终的多个肢体关键点位；将最终的多个肢体关键点位的时间序列输入时空图卷积深度模型，得到患者的康复评估结果。

11、本发明实施例提供了一种计算机视觉数字化康复评估方法，综合考虑偏瘫、卒中患者的肢体功能损伤所涉及的部位，进行全部位的动作视频采集、关键肢体点位识别和时空图卷积网络预测，最终得到上肢、下肢、站位、坐位、手部五个部位的康复评估结果，为患者的全身综合性的康复评估及训练指导提供依据。该方式均可以通过电子设备自动化实现，替代了传统的字纸量表方式，提高了评估效率，同时能够建立包括各个部位的评估结果和历史档案，拥有了长期的循环渐进训练方案和医生指导，帮助患者建立长久的康复信心和康复意愿。

12、特别的，本实施例考虑到关键点位识别模型会受到多目标、多场景的干扰，对动作视频进行了目标区域锁定，使待检测目标不会受到其他的目标的干扰，提高评估准确性和评估效率。同时，本实施例考虑到身体各部分在脑卒中评价结果的影响程度，对影响较小的一部分点聚类为单个点，并对时空图卷积网络中的邻接矩阵进行了适配性改造，得到更加适用于脑卒中分期评价的st-gcn模型，进一步提高评估准确性和评估效率。

技术特征：

1.一种计算机视觉数字化康复评估方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取患者的动作视频，包括：

3.根据权利要求2所述的方法，其特征在于，所述在各视频帧中标定患者相关的目标区域，并对其余区域进行屏蔽，包括：

4.根据权利要求2所述的方法，其特征在于，所述对各标定后的视频帧进行人体姿态捕捉，得到患者在各帧中的多个肢体关键点位，包括：

5.根据权利要求2所述的方法，其特征在于，所述根据各肢体关键点位对脑卒中康复的影响程度，将各帧中的肢体关键点位进行聚类，包括：

6.根据权利要求3所述的方法，其特征在于，所述将最终的多个肢体关键点位的时间序列输入时空图卷积深度模型，包括：

7.根据权利要求2所述的方法，其特征在于，所述将最终的多个肢体关键点位的时间序列输入时空图卷积深度模型，得到患者的评估结果，包括：

8.根据权利要求1所述的方法，其特征在于，所述获取患者的动作视频，包括：获取患者做出手部动作时的手部视频；

9.根据权利要求1所述的方法，其特征在于，所述获取患者的动作视频，包括：获取患者在不同视角下的动作视频；

10.一种计算机视觉数字化康复评估系统，其特征在于，包括：视觉采集器和评估模块；其中，

技术总结
本发明实施例公开了一种计算机视觉数字化康复评估方法和系统，其中，方法包括：获取患者的动作视频，所述动作包括上肢动作、下肢动作、站位动作、坐位动作和手部动作；在各视频帧中标定患者相关的目标区域，并对其余区域进行屏蔽；对各标定后的视频帧进行人体姿态捕捉，得到患者在各帧中的多个肢体关键点位；根据各肢体关键点位对脑卒中康复的影响程度，将各帧中的肢体关键点位进行聚类，由各聚类中心与未聚类的肢体关键点位共同构成最终的多个肢体关键点位；将最终的多个肢体关键点位的时间序列输入时空图卷积深度模型，得到患者的康复评估结果。本实施例能够给出全体位精细化的评估结果，并提高评估准确性和评估效率。

技术研发人员：刘海
受保护的技术使用者：北京海迩西医疗科技有限公司
技术研发日：
技术公布日：2024/3/31