一种应用于关节康复的辅助系统、方法及存储介质与流程

本发明涉及医疗设备技术领域，尤其涉及一种应用于关节康复的辅助系统、方法及存储介质。

背景技术：

目前许多肘关节骨折患者在进行内固定或者石膏固定保守治疗后。因为肢体长期制动，容易导致肌肉萎缩、关节内粘连或韧带挛缩。早期合理的功能锻炼，可促进患肢血液循环，减少肌肉萎缩，防止关节僵硬，促进骨折愈合，其临床价值已得到公认。我国康复医疗体系由三级医院康复科、二级医院康复科(康复专科医院)、社区康复中心(门诊)或居家康复组成。三级医院康复科主要承担急性期康复治疗，二级医院康复科(康复专科医院)则承担恢复期康复治疗，社区康复医疗中心(门诊)或居家康复主要承担维持期康复治疗。但是目前无论在软、硬件设施配置上还是在人员配置方面，优质资源均主要集中在大城市的三甲医院。许多患者来自县城或边远农村，住址附近并不一定具备良好的康复条件，长期住在大城市三甲医院进行康复锻炼不仅不方便，而且康复费用不菲。对于许多并不富裕的患者来说，能凑齐手术费进行手术就已实属不易，额外的高额康复费用则难以承担，所以许多患者很难在三甲医院进行肘关节术后的规范屈伸活动康复训练。第二个问题是出院时虽然医生常会教导患者出院后如何进行肘关节的屈伸活动锻炼，但由于疼痛，以及不知如何把握康复训练的力度，担心骨折再移位或关节脱位等，许多患者本人以及家属出院后并不敢进行屈伸活动。术后一个月随访时患者肘关节已经出现僵硬，恢复并不理想。

技术实现要素：

本发明提供了一种应用于关节康复的辅助系统、方法及存储介质，以解决现有技术中患者在出院后无法规范的进行关节康复训练的问题。

第一方面，提供了一种应用于关节康复的辅助系统，包括：

关节图像获取模块，用于获取患者关节图像并进行预处理；

关节角度预测模块，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；

角度综合器，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。

通过上述应用于关节康复的辅助系统，只需获取患者的关节图像，就可利用预先训练好的关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工测量和计算关节恢复角度的繁琐步骤，做到精准、数字化、即视感和便利化，有助于提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况，及时进行远程的指导；同样也有利于术者随访资料收集与统计分析，从而总结临床疗效，改善和提高医疗技术。

进一步地，所述关节康复评估模型通过如下方法训练得到：

采集若干关节图像并进行预处理；

标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；

基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；

其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；

所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；

所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；

所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。

在该关节康复评估模型中，特征提取子网络、关键点检测子网络和角度回归子网络构成了一个多任务学习系统，即同时实现了关键点检测任务和角度回归任务。两个学习任务相辅相成，分别利用自身任务中所包含的有用信息来帮助另一个任务学习得到更为准确的模型参数。在多任务学习中，任务之间的信息相互共享，知识在不同的任务中互相迁移。一方面，多任务学习方法通过信息共享和知识迁移提升整体的学习效果，另一方面，当样本数据不足时，可以通过其它任务学到的知识来补充单个任务的信息，能缓解样本数据稀疏的问题。此外，角度回归子网络直接获得关节的活动角度，而关键点检测子网络通过一定的公式计算可间接得到关节的活动角度，二者求均值后作为最终角度，能够进一步减小单个任务中出现的误差。

进一步地，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：

a1、设置训练参数：采用adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；

a2、网络参数初始化：从互联网下载imagenet数据集中预训练的resnet50模型参数，将特征抽取子网络的参数初始化为该预训练的resnet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；

a3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；

a4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；

a5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；

a6、重复步骤a3～a5，直至完成n轮训练，即得到最终的关节康复评估模型。

进一步地，还包括压力可视化模块；

所述压力可视化模块包括：

柔性压力传感器，用于安装于患者关节处，采集关节进行被动活动时施加的压力值，并传输给处理模块；

处理模块，用于接收柔性压力传感器传输的压力值，并转换为数字信号传输给显示模块；

显示模块，用于接收处理模块的数字信号并将关节被动活动时施加的压力值进行显示。

第二方面，提供了一种应用于关节康复的辅助方法，包括：

获取患者关节图像并进行预处理；

以预处理后的患者关节图像为输入，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；

基于三个预测关节关键点计算得到第二预测关节角度，对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。

进一步地，所述关节康复评估模型通过如下方法训练得到：

采集若干关节图像并进行预处理；

标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；

基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；

其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；

所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；

所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；

所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。

进一步地，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：

a1、设置训练参数：采用adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；

a2、网络参数初始化：从互联网下载imagenet数据集中预训练的resnet50模型参数，将特征抽取子网络的参数初始化为该预训练的resnet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；

a3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；

a4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；

a5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；

a6、重复步骤a3～a5，直至完成n轮训练，即得到最终的关节康复评估模型。

进一步地，所述关键点均方误差损失通过如下公式计算得到：

其中，l1代表关键点均方误差损失，xai和yai分别代表第i张关节图像的预测关节轴点的x坐标和y坐标，xdi和ydi分别代表第i张关节图像的真实关节轴点的x坐标和y坐标，xbi和ybi分别代表第i张关节图像的预测关节远心端点的x坐标和y坐标，xei和yei分别代表第i张关节图像的真实关节远心端点的x坐标和y坐标，xci和yci分别代表第i张关节图像的预测关节近心端点的x坐标和y坐标，xfi和yfi分别代表第i张关节图像的真实关节近心端点的x坐标和y坐标；

所述关节角度均方误差损失通过如下公式计算得到：

其中，l2代表关节角度均方误差损失，jti代表第i张关节图像的真实关节角度值，j1i代表第i张关节图像的预测关节角度值。

进一步地，所述采集若干关节图像并进行预处理，其中预处理包括将每张关节图像均缩放到预设尺寸；

所述采集若干关节图像并进行预处理之后还包括：

将每张关节图像以预设角度依次旋转b次生成b张新的关节图像。

第三方面，提供了一种计算机可读存储介质，所述存储介质包括存储的程序指令，所述程序指令适于被处理器加载并执行如上所述的用于关节康复的评估方法。

有益效果

本发明提出了一种应用于关节康复的辅助系统、方法及存储介质，只需获取患者的关节图像，就可利用预先训练好的关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工测量和计算关节恢复角度的繁琐步骤，做到精准、数字化、即视感和便利化，有助于提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况，及时进行远程的指导；同样也有利于术者随访资料收集与统计分析，从而总结临床疗效，改善和提高医疗技术。

附图说明

图1是本发明实施例提供的一种应用于关节康复的辅助方法流程图；

图2是本发明实施例提供的一种应用于关节康复的辅助系统结构示意图；

图3是本发明实施例提供的三个关节关键点位置示意图。

具体实施方式

下面结合附图及具体实施方式对本发明进行详细说明。

实施例1

本实施例提供了一种应用于关节康复的辅助方法，如图1所示，包括：

获取患者关节图像并进行预处理；

以预处理后的患者关节图像为输入，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；

基于三个预测关节关键点计算得到第二预测关节角度，对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。其中，第一预测关节角度通过如下公式计算得到：

j2＝arccos((b²+c²-a²)/(2×b×c))

其中，xa代表预测关节轴点的x坐标，xb代表预测关节远心端点的x坐标，xc代表预测关节近心端点的x坐标，ya代表预测关节轴点的y坐标，yb代表预测关节远心端点的y坐标，yc代表预测关节近心端点的y坐标。

其中，所述关节康复评估模型通过如下方法训练得到：

采集若干关节图像并进行预处理；其中预处理包括将每张关节图像均缩放到预设尺寸，本实施例中，将每张关节图像缩放至224x224像素；

将预处理后的每张关节图像以预设角度依次旋转b次生成b张新的关节图像，本实施例中预设角度为20度，b为18，则一张关节图像可生成18张增广关节图像；

标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度，关节轴点4、关节远心端点5、关节近心端点6位置如图3所示；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；其中关节角度通过如下公式计算得到：

jt＝arccos((e²+f²-d²)/(2×e×f))

其中，xd代表关节轴点的x坐标，xe代表关节远心端点的x坐标，xf代表关节近心端点的x坐标，yd代表关节轴点的y坐标，ye代表关节远心端点的y坐标，yf代表关节近心端点的y坐标；

基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；

其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；

所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；

所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；

所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出预测关节角度。

在该关节康复评估模型中，特征提取子网络、关键点检测子网络和角度回归子网络构成了一个多任务学习系统，即同时实现了关键点检测任务和角度回归任务。两个学习任务相辅相成，分别利用自身任务中所包含的有用信息来帮助另一个任务学习得到更为准确的模型参数。在多任务学习中，任务之间的信息相互共享，知识在不同的任务中互相迁移。一方面，多任务学习方法通过信息共享和知识迁移提升整体的学习效果，另一方面，当样本数据不足时，可以通过其它任务学到的知识来补充单个任务的信息，能缓解样本数据稀疏的问题。此外，角度回归子网络直接获得关节的活动角度，而关键点检测子网络通过一定的公式计算可间接得到关节的活动角度，二者求均值后作为最终角度，能够进一步减小单个任务中出现的误差。

详细的，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：

a1、设置训练参数：采用adam优化器，以均方误差损失为损失函数，预设batchsize(一次训练所需样本数)为a，预设训练次数为n轮,预设学习率β；本实施例中，a取值为32，n取值为140，初始学习率β为0.001，经过100轮训练后学习率β改为0.0001，再经过20轮训练后学习率β改为0.00001；

a2、网络参数初始化：从互联网下载imagenet数据集中预训练的resnet50模型参数，将特征抽取子网络的参数初始化为该预训练的resnet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；

a3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；

a4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；其中，所述关键点均方误差损失通过如下公式计算得到：

其中，l1代表关键点均方误差损失，xai和yai分别代表第i张关节图像的预测关节轴点的x坐标和y坐标，xdi和ydi分别代表第i张关节图像的真实关节轴点的x坐标和y坐标，xbi和ybi分别代表第i张关节图像的预测关节远心端点的x坐标和y坐标，xei和yei分别代表第i张关节图像的真实关节远心端点的x坐标和y坐标，xci和yci分别代表第i张关节图像的预测关节近心端点的x坐标和y坐标，xfi和yfi分别代表第i张关节图像的真实关节近心端点的x坐标和y坐标；

所述关节角度均方误差损失通过如下公式计算得到：

其中，l2代表关节角度均方误差损失，jti代表第i张关节图像的真实关节角度值，j1i代表第i张关节图像的预测关节角度值。

a5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；

a6、重复步骤a3～a5，直至完成n轮训练，即得到最终的关节康复评估模型。

本实施例中，特征抽取子网络与关键点检测子网络、角度回归子网络相连，以关节图像作为输入，通过卷积神经网络提取原始图像的特征，获得具有抽象特征的特征图，将生成的特征图发送给关键点检测子网络和角度回归子网络。特征抽取器采用卷积神经网络resnet50的结构，包括5组卷积模块和5个池化层；其连接顺序为：第一卷积组---第一池化层---第二卷积组---第二池化层---第三卷积组---第三池化层---第四卷积组---第四池化层---第五卷积组---第五池化层。第一组卷积的输入为原始的关节图像，关节图像的尺寸是224x224像素，经过第一卷积组处理后生成尺寸为224x224的特征图t1，该特征图作为第一池化层的输入，池化层将特征图的尺寸进行缩小为特征图t1的一半，获得特征图c1；然后c1作为第二卷积组的输入，再次进行第二阶段的卷积和池化处理；以此类推，直到进行完5个阶段的卷积和池化处理，最终输出尺寸为7x7的特征图c5。5个阶段的卷积和池化处理，逐步提取出原始图像中的有用特征，并对图像逐步进行降维处理，减少后续的计算量。

关键点检测子网络与特征抽取子网络相连，以特征抽取子网络输出的特征图c5作为输入，先通过反卷积层网络提升特征图的像素尺寸，然后检测关节的关键点，获得三个关键点的坐标，关节图像具有的三个关键点分别为关节轴点、关节远心端点和关节近心端点。关键点检测子网络由三个反卷积层和一个1x1卷积层组成。其中，每个反卷积层采用了256个尺寸为4x4的卷积核，经过反卷积层的操作使得特征图的尺寸扩大2倍，并且每个反卷积层都附带了batchnormalization(批归一化)操作和relu激活函数。1x1卷积层连接在三个反卷积层后，用于生成3个关键点。

角度回归子网络与特征抽取子网络相连，以特征抽取器输出的特征图c5作为输入，通过三个全连接层网络逐步提取特征图中的高层语义信息，直接回归出预测关节角度值。角度回归子网络由一个扁平化层(b1)、三个全连接层(分别命名为f1、f2、f3)组成。扁平化层将特征图c5变换成特征向量v0(向量尺寸为100352)，第一个全连接层以v0为输入，生成特征向量v1(向量尺寸为4096)，第二个全连接层以v1为输入，生成特征向量v2(向量尺寸为1000)，第三个全连接层以v2为输入，生成原始图像中关节的角度值v3(v3为标量数值)。

实施例2

本实施例提供了一种应用于关节康复的辅助系统，如图2所示，包括：

关节图像获取模块1，用于获取患者关节图像并进行预处理；

关节角度预测模块2，用于基于预处理后的患者关节图像，通过关节康复评估模型预测得到第一预测关节角度和三个预测关节关键点，所述三个预测关节关键点包括预测关节轴点、预测关节远心端点、预测关节近心端点，其中，所述关节康复评估模型为预先基于采集的关节图像集进行训练得到；

角度综合器3，用于基于三个预测关节关键点计算得到第二预测关节角度，并对第一预测关节角度和第二预测关节角度取平均值，得到患者的最终关节角度评估值。

通过上述应用于关节康复的辅助系统，只需获取患者的关节图像，就可利用预先训练好的关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工计算关节恢复角度的繁琐步骤，做到精准、数字化、即视感和便利化，有助于提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况，及时进行远程的指导；同样也有利于术者随访资料收集与统计分析，从而总结临床疗效，改善和提高医疗技术。

具体的，所述关节康复评估模型通过如下方法训练得到：

采集若干关节图像并进行预处理；

标注预处理后的每张关节图像的关节轴点、关节远心端点、关节近心端点，并计算出关节角度；以一张预处理后的关节图像及对应的关节轴点、关节远心端点、关节近心端点、关节角度为一个样本构建训练样本集；

基于训练样本集，以预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型；

其中，所述关节康复评估模型包括特征提取子网络、关键点检测子网络和角度回归子网络；

所述特征提取子网络以预处理后的关节图像为输入，基于卷积神经网络输出特征图像；

所述关键点检测子网络以特征提取子网络输出的特征图像为输入，基于反卷积层神经网络输出预测关节轴点、预测关节远心端点、预测关节近心端点；

所述角度回归子网络以特征提取子网络输出的特征图像为输入，基于全连接层神经网络输出第一预测关节角度。

更具体的，所述将预处理后的关节图像作为输入，以关节图像对应的关节轴点、关节远心端点、关节近心端点及关节角度为输出，训练得到关节康复评估模型，具体包括如下步骤：

a1、设置训练参数：采用adam优化器，以均方误差损失为损失函数，预设batchsize为a，预设训练次数为n轮,预设学习率β；

a2、网络参数初始化：从互联网下载imagenet数据集中预训练的resnet50模型参数，将特征抽取子网络的参数初始化为该预训练的resnet50模型参数，关键点检测子网络和角度回归子网络的参数均采用随机方式进行初始化；

a3、依次从训练样本集中抽取a张关节图像作为一个mini-batch，输入到关节康复评估模型中，从关键点检测子网络的输出端获得预测关节轴点、预测关节远心端点、预测关节近心端点，从角度回归子网络的输出端获得预测关节角度；

a4、基于a张关节图像输入关节康复评估模型后的输出，计算关键点均方误差损失和关节角度均方误差损失；

a5、将关键点均方误差损失与关节角度均方误差损失之和作为最终误差值，然后根据预设的学习率，利用反向传播算法更新关节康复评估模型的网络参数；

a6、重复步骤a3～a5，直至完成n轮训练，即得到最终的关节康复评估模型。

本实施例中，还包括压力可视化模块；

所述压力可视化模块包括：

柔性压力传感器，用于安装于患者关节处，采集关节进行被动活动时施加的压力值，并传输给处理模块；

处理模块，用于接收柔性压力传感器传输的压力值，并转换为数字信号传输给显示模块；

显示模块，用于接收处理模块的数字信号并将关节被动活动时施加的压力值进行显示。

其他具体实现细节参见实施例1提供的应用于关节康复的辅助方法，在此不再赘述。

实施例3

本实施例提供了一种计算机可读存储介质，所述存储介质包括存储的程序指令，所述程序指令适于被处理器加载并执行如实施例1所述的用于关节康复的评估方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明提出了一种应用于关节康复的辅助系统、方法及存储介质，只需获取患者的关节图像，就可利用预先训练好的关节康复评估模型对关节的角度进行计算预测，以便直接将关节的活动度发送给术者或康复师，省去人工测量和计算关节恢复角度的繁琐步骤，做到精准、数字化、即视感和便利化，有助于提高患者的医从性和便于术者或康复师第一时间了解患者的康复情况，及时进行远程的指导；同样也有利于术者随访资料收集与统计分析，从而总结临床疗效，改善和提高医疗技术。其中，关节康复评估模型为一个包含特征提取子网络、角度回归子网络、关键点检测子网络的深度神经网络，并且角度回归任务和关键点检测任务之间实现了信息共享和知识迁移，达到了三个效果：1、提升了整体的检测性能和回归性能；2、能有效缓解样本数据稀疏的情况；3、通过角度回归值和关键点间接获得的角度值之间的综合计算，可以进一步提高角度预测的准确度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。