一种基于动作识别的病患辅助系统的制作方法

本发明涉及动作识别领域，具体涉及一种基于动作识别的病患辅助系统。

背景技术：

人体动作识别是近些年来的研究热点，被广泛运用在人机智能交互、虚拟现实和智能监控等领域。在医疗康复领域，使用现有的机器人辅助康复成本高、代价大且需要指定康复地点，而传统的人工康复又出现供不应求的现象。利用动作识别技术的辅助医生进行病患判定的系统成为大势所趋，它通过患者完成指定动作进行动作识别来为医生提供辅助数据，能够为医生提供判定并且的数据。

现有的病患辅助系统，对医生进行辅助作业的效果不够好，不能满足用户使用需求，为医生提供辅助数据的准确性不够高，给病患辅助系统的使用带来了一定的影响，因此，提出一种基于动作识别的病患辅助系统。

技术实现要素：

发明所要解决的技术问题在于：如何解决现有的病患辅助系统，对医生进行辅助作业的效果不够好，不能满足用户使用需求，为医生提供辅助数据的准确性不够高，给病患辅助系统的使用带来了一定的影响的问题，提供了一种基于动作识别的病患辅助系统。

发明是通过以下技术方案解决上述技术问题的，发明包括影像采集模块、语音录入模块、数据接收模块、数据处理模块与判定模块；

所述影像采集模块用于进行采集影像信息，所述语音录入模块用于采集语音信息，所述数据接收模块用于接收影像信息与语音信息，并将影像信息与语音信息发送到数据处理模块，所述数据处理模块对影像信息进行处理，并进行动作分析得到动作判定结果，所述数据处理模块对影像信息与语音信息进行处理进行身份判定；

所述判定模块对动作判定结果进行处理得到最终辅助数据。

优选的，所述影像采集模采集影像信息与动作处理的具体过程如下：

步骤一：进行一次光源标定，再确定空间中物体的位置得到深度图像，以“激光散斑”为光源，激光射到粗糙物或穿透毛玻璃后形成衍射斑点，通过红外摄影机发射激光散斑，红外摄像头分析红外光谱后将散斑信息传给处理芯片，在可视空间内，每隔一定的距离取一个参考面，记录其散斑图案，将这些参考面组合就形成了整个空间的散斑图案，完成了光源标定，由于激光散斑的随机性，空间中每个物体的散斑图案各不相同，将每个物体的散斑图案分别与每个参考面散斑图案做互相关运算，依据运算结果可确定物体的空间位置、形状等，再经过插值运算即可得到场景的三维形状，即深度图像；

步骤二：发现人体：通过对背景和人体的分割，输出人体轮廓，首先着重扫描靠近的区域，该区域极大可能的存在用户，其次逐个像素的扫描以上区域的深度图像，通过计算机图形视觉技术，包括边缘检测、噪声阈值处理、提取目标特征点等技术将人体从背景中分离，最为跟踪到的人体创建“分割遮罩”；

步骤三：识别人体部位：系统汇总不存在存储人体部位与动作姿势相关的匹配模型数据库，通过利用骨骼跟踪学习技术--exemplar系统进行机器学习识别人体部位，在这一阶段exemplar系统扫描深度图像的每个像素，并在“随机决策库”中搜索，通过概率推测的方法来判断该像素属于人体的具体部位；

步骤四：识别人体关节：对步骤三的每个部位的像素进行评估，同样利用机器学习，通过近似概率匹配，得到人体部位的关节点，将这些关节点合成整体，形成了人体骨架模型，此时得到的是人体骨骼的三维坐标，需要通过数学处理，将三维坐标转化为显示在屏幕上的二维坐标。

优选的，所述身份判定的具体过程如下：

步骤一：身份识别包括人脸识别和动作识别，依据摄像头收集到彩色图像，传输彩色数据流，定位到人脸的存在，其次对人脸进一步分析，抽象面部特性，包括人脸大小、位置、面部器官的位置等信息，将这些信息与系统建立好的“通用人脸”数据库中的已知人脸进行比对，并结合人物的着装、骨架等识别人物身份，动作识别是基于骨骼跟踪的基础之上的，可将动作抽象为骨骼关节点或动作序列，通过匹配算法，结合语义理解，实现对动静态动作的识别；

步骤二：语音识别：从麦克风阵列传输的原始音频流通过多声道回声消除算法使系统适应环境回声和人物与麦克风的距离，通过波束成形技术定位人物声源，通过音频增强效果算法尽可能的过滤和抑制噪声，从而完成对用户语音命令的识别。

优选的，所述动作分析过程中使用到了模板匹配法、动态时间规整(dtw)算法与基于机器学习的方法。

优选的，所述模板匹配法具体过程如下：将待测样本与已知模板进行距离比较，根据相距距离的大小判断二者是否相同或相似，模板匹配方法分为两类问题的匹配和多类问题的匹配，两类问题的匹配：假设有两个样本模板h和q，其特征向量都是n维坐标向量，可分别表示为xh(xh1,xh2,…,xhn)和xq(xq1,xq2,…,xqn)，现有一待测样本x(x1,x2,…,xn)，利用最小距离判别法分别计算出x到xh和xq的最小距离，将两距离值进行比较，则待测样本与哪个模板距离小就属于哪个模板，最小距离的计算公式为：多类问题的匹配：多类问题是指标准模板在三类及以上的匹配问题，如有m个标准模板，xi(xi1,xi2,…,xin)为其中任意一个模板的特征向量，对于被测样本x(x1,x2,…,xn)，依次计算x与xi(i＝1,2,…,m)的距离，若存在一个i值，满足d(x,xi)≤d(x,xj)(j＝1,2,…,m),j≠i.则该待测样本属于第i个模板，在具体判定时，可使用以下公式：最小距离的计算有两种形式，一种是将待测样本依次和全部标准模板都进行距离计算后选取距离最小的，二是将待测样本和每个类的类中心进行距离计算。

优选的，所述动态时间规整(dtw)算法具体过程如下：存在参考模板r＝{r(1),r(2),…,r(m),…,r(m)}，m是参考模板动作序列中的某一个时序编号，m＝1为起始动作帧，m＝m为终点动作帧,m是包含的总帧数，待测模板t＝{t(1),t(2),…,t(n),…,t(n)}，n是待测模板时序序号，n为总帧数以待测模板各帧数为横坐标，参考模板各帧数为纵坐标，建立二维直角坐标系，形成坐标矩阵，计算从起点(1,1)(m＝1,n＝1)到终点(n,m)(m＝m,n＝n)的最短距离之和，即规整路径距离，规整路径w为：

w＝{w1,w2,…,wk}(max(n,m)≤k≤m+n-1)

该规整路径须满足三个条件：起点为(1,1)终点为(n,m)；连续性；单增性，di,j为ti和rj的距离，最终得到的规整路径是一个最短的路径：

di,j＝d(ti,rj)+min{di-1,j,di,j-1,di-1,j-1}。

优选的，所述与基于机器学习的方法具体过程如下：从现有的观测数据出发，处理并分析数据，探求出样本数据之间的某种规律，通过这些规律对未知数据进行预测，包括模式识别、神经网络等，输入x和输出y存在着某种未知关系，遵循某种联合概率f(x,y),机器学习的目的就是根据多个独立的样本数据尽可能的预测出这种联合概率，并且该种预测成本是最小的，使利用机器学习的人体动作识别，不需要提前设定好人体模型，只需要提取目标特征表示，将现有样本的目标特征值投入算法中，利用算法已有的知识结构，构建分类器，利用数据训练与学习即可实现对动作的识别。

优选的，所述判定模块对动作判定过程如下：

步骤一：建立动作相似性分析框架，当患者看到系统中显示的标准动作图片并依据图片进行康复训练时，通过kinect采集到患者的骨骼框架数据，依据患者是局部训练还是整体训练对骨骼数据预处理，将处理过的数据进行目标特征表示，同时与标准动作的骨骼特征进行对比分析，如果两数据在一定的阈值之内，就认定为相似性动作，进入动作评价环节，否则会反馈给患者，让其重新做康复动作；

步骤二：患者康复动作执行过程：患者在按照系统给出的标准动作执行康复动作后，系统会捕捉到患者的动作并获得骨骼数据，此时有一个骨骼数据的预处理，如果患者选择的是上身康复或下身康复训练，那么系统会将得带的骨骼数据中与相似性分析无关的骨骼数据删除，如患者进行上身训练，那么系统会在得到全身骨骼数据后删除下身骨骼数据，在得到处理好的骨骼数据后，进行额、特征向量的提取，在此基础上得到特征向量的方向角度，用于相似性分析；

步骤三：标准动作与患者动作的相似性分析：在得到患者动作和标准动作的特征向量方向角度后，根据提前设定的每一部位角度差阈值，判定患者动作是否与标准动作相似，如果在阈值范围内，则进入动作评价，否则会反馈给患者让他重新执行该动作。

发明相比现有技术具有以下优点：该基于动作识别的病患辅助系统实现对人体骨骼框架的采集，得到人体关节点数据，然后按照患者康复训练类型的不同对原始关节点数据进行处理，得到新的三维坐标下有用的关节点数据。之后以人体关节点方向角度值为特征向量，建立包含上下肢康复训练和全身康复训练标准动作的数据库，将数据库中标准动作的方向角度值与患者动作方向角度值进行对比，设定一定的阈值，根据角度值差做出不同的动作行为评价。同时对该动作评价平台进行了简单的分析与设计，包括业务流程、输入输出及存储分析和功能模块设计，该系统能够更好更加的对医生进行辅助作业，为医生提供了更多的辅助数据，让医生能够更加快速的对病患进行病情判定。

附图说明

图1是发明的系统框图；

图2是发明的流程框图。

具体实施方式

下面对发明的实施例作详细说明，本实施例在以发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但发明的保护范围不限于下述的实施例。

如图1～2所示，本实施例提供一种技术方案：一种基于动作识别的病患辅助系统，包括影像采集模块、语音录入模块、数据接收模块、数据处理模块与判定模块；

所述影像采集模块用于进行采集影像信息，所述语音录入模块用于采集语音信息，所述数据接收模块用于接收影像信息与语音信息，并将影像信息与语音信息发送到数据处理模块，所述数据处理模块对影像信息进行处理，并进行动作分析得到动作判定结果，所述数据处理模块对影像信息与语音信息进行处理进行身份判定；

所述判定模块对动作判定结果进行处理得到最终辅助数据。

所述影像采集模采集影像信息与动作处理的具体过程如下：

步骤一：进行一次光源标定，再确定空间中物体的位置得到深度图像，以“激光散斑”为光源，激光射到粗糙物或穿透毛玻璃后形成衍射斑点，通过红外摄影机发射激光散斑，红外摄像头分析红外光谱后将散斑信息传给处理芯片，在可视空间内，每隔一定的距离取一个参考面，记录其散斑图案，将这些参考面组合就形成了整个空间的散斑图案，完成了光源标定，由于激光散斑的随机性，空间中每个物体的散斑图案各不相同，将每个物体的散斑图案分别与每个参考面散斑图案做互相关运算，依据运算结果可确定物体的空间位置、形状等，再经过插值运算即可得到场景的三维形状，即深度图像；

步骤二：发现人体：通过对背景和人体的分割，输出人体轮廓，首先着重扫描靠近的区域，该区域极大可能的存在用户，其次逐个像素的扫描以上区域的深度图像，通过计算机图形视觉技术，包括边缘检测、噪声阈值处理、提取目标特征点等技术将人体从背景中分离，最为跟踪到的人体创建“分割遮罩”；

步骤三：识别人体部位：系统汇总不存在存储人体部位与动作姿势相关的匹配模型数据库，通过利用骨骼跟踪学习技术--exemplar系统进行机器学习识别人体部位，在这一阶段exemplar系统扫描深度图像的每个像素，并在“随机决策库”中搜索，通过概率推测的方法来判断该像素属于人体的具体部位；

步骤四：识别人体关节：对步骤三的每个部位的像素进行评估，同样利用机器学习，通过近似概率匹配，得到人体部位的关节点，将这些关节点合成整体，形成了人体骨架模型，此时得到的是人体骨骼的三维坐标，需要通过数学处理，将三维坐标转化为显示在屏幕上的二维坐标。

所述身份判定的具体过程如下：

步骤一：身份识别包括人脸识别和动作识别，依据摄像头收集到彩色图像，传输彩色数据流，定位到人脸的存在，其次对人脸进一步分析，抽象面部特性，包括人脸大小、位置、面部器官的位置等信息，将这些信息与系统建立好的“通用人脸”数据库中的已知人脸进行比对，并结合人物的着装、骨架等识别人物身份，动作识别是基于骨骼跟踪的基础之上的，可将动作抽象为骨骼关节点或动作序列，通过匹配算法，结合语义理解，实现对动静态动作的识别；

步骤二：语音识别：从麦克风阵列传输的原始音频流通过多声道回声消除算法使系统适应环境回声和人物与麦克风的距离，通过波束成形技术定位人物声源，通过音频增强效果算法尽可能的过滤和抑制噪声，从而完成对用户语音命令的识别。

所述动作分析过程中使用到了模板匹配法、动态时间规整(dtw)算法与基于机器学习的方法。

所述模板匹配法具体过程如下：将待测样本与已知模板进行距离比较，根据相距距离的大小判断二者是否相同或相似，模板匹配方法分为两类问题的匹配和多类问题的匹配，两类问题的匹配：假设有两个样本模板h和q，其特征向量都是n维坐标向量，可分别表示为xh(xh1,xh2,…,xhn)和xq(xq1,xq2,…,xqn)，现有一待测样本x(x1,x2,…,xn)，利用最小距离判别法分别计算出x到xh和xq的最小距离，将两距离值进行比较，则待测样本与哪个模板距离小就属于哪个模板，最小距离的计算公式为：多类问题的匹配：多类问题是指标准模板在三类及以上的匹配问题，如有m个标准模板，xi(xi1,xi2,…,xin)为其中任意一个模板的特征向量，对于被测样本x(x1,x2,…,xn)，依次计算x与xi(i＝1,2,…,m)的距离，若存在一个i值，满足d(x,xi)≤d(x,xj)(j＝1,2,…,m),j≠i.则该待测样本属于第i个模板，在具体判定时，可使用以下公式：最小距离的计算有两种形式，一种是将待测样本依次和全部标准模板都进行距离计算后选取距离最小的，二是将待测样本和每个类的类中心进行距离计算。

所述动态时间规整(dtw)算法具体过程如下：存在参考模板r＝{r(1),r(2),…,r(m),…,r(m)}，m是参考模板动作序列中的某一个时序编号，m＝1为起始动作帧，m＝m为终点动作帧,m是包含的总帧数，待测模板t＝{t(1),t(2),…,t(n),…,t(n)}，n是待测模板时序序号，n为总帧数以待测模板各帧数为横坐标，参考模板各帧数为纵坐标，建立二维直角坐标系，形成坐标矩阵，计算从起点(1,1)(m＝1,n＝1)到终点(n,m)(m＝m,n＝n)的最短距离之和，即规整路径距离，规整路径w为：

w＝{w1,w2,…,wk}(max(n,m)≤k≤m+n-1)

该规整路径须满足三个条件：起点为(1,1)终点为(n,m)；连续性；单增性，di,j为ti和rj的距离，最终得到的规整路径是一个最短的路径：

di,j＝d(ti,rj)+min{di-1,j,di,j-1,di-1,j-1}。

所述与基于机器学习的方法具体过程如下：从现有的观测数据出发，处理并分析数据，探求出样本数据之间的某种规律，通过这些规律对未知数据进行预测，包括模式识别、神经网络等，输入x和输出y存在着某种未知关系，遵循某种联合概率f(x,y),机器学习的目的就是根据多个独立的样本数据尽可能的预测出这种联合概率，并且该种预测成本是最小的，使利用机器学习的人体动作识别，不需要提前设定好人体模型，只需要提取目标特征表示，将现有样本的目标特征值投入算法中，利用算法已有的知识结构，构建分类器，利用数据训练与学习即可实现对动作的识别。

所述判定模块对动作判定过程如下：

步骤一：建立动作相似性分析框架，当患者看到系统中显示的标准动作图片并依据图片进行康复训练时，通过kinect采集到患者的骨骼框架数据，依据患者是局部训练还是整体训练对骨骼数据预处理，将处理过的数据进行目标特征表示，同时与标准动作的骨骼特征进行对比分析，如果两数据在一定的阈值之内，就认定为相似性动作，进入动作评价环节，否则会反馈给患者，让其重新做康复动作；

步骤二：患者康复动作执行过程：患者在按照系统给出的标准动作执行康复动作后，系统会捕捉到患者的动作并获得骨骼数据，此时有一个骨骼数据的预处理，如果患者选择的是上身康复或下身康复训练，那么系统会将得带的骨骼数据中与相似性分析无关的骨骼数据删除，如患者进行上身训练，那么系统会在得到全身骨骼数据后删除下身骨骼数据，在得到处理好的骨骼数据后，进行额、特征向量的提取，在此基础上得到特征向量的方向角度，用于相似性分析；

步骤三：标准动作与患者动作的相似性分析：在得到患者动作和标准动作的特征向量方向角度后，根据提前设定的每一部位角度差阈值，判定患者动作是否与标准动作相似，如果在阈值范围内，则进入动作评价，否则会反馈给患者让他重新执行该动作。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对发明的限制，本领域的普通技术人员在发明的范围内可以对上述实施例进行变化、修改、替换和变型。