本发明属于计算机图像处理技术领域，涉及一种基于镜像视觉反馈的面部肌肉康复训练系统。
背景技术：
目前对于面瘫患者除药物治疗外，常用的治疗包括物理因子治疗，例如红外线、激光、微波，针灸还有面部的拔罐、推拿等。针对面部肌肉进行训练的项目主要有被动的面部肌肉放松、推拿、电刺激等，以及主动的面部体操，尚没有基于视觉反馈技术对面瘫患者面部肌肉进行训练的仪器或设备。
针对面部肌肉进行主被动训练的康复治疗方法都是徒手操作，缺乏视觉信息反馈以及面部肌肉感知训练。且目前尚无利用视觉反馈中特殊的镜像视觉反馈技术结合图像处理用于面部肌肉训练的设备。
通过利用健患侧面部的运动影像构建镜像视觉反馈下的健患侧面部肌肉训练，以促进因单侧面部神经、或中枢神经损伤引起的单侧面瘫后，面部肌肉功能的恢复、疼痛抑制等。镜像视觉反馈下的面部肌肉训练在视觉反馈下，根据系统提示进行自我功能锻炼，减少治疗师人力资源以及便于家庭推广应用。
技术实现要素：
本发明的目的在于提供一种基于镜像视觉反馈下的面部肌肉康复训练系统，解决了如下问题。
本发明所采用的技术方案是按照以下步骤进行：
步骤1：获取图像数据，患者坐于设备前方，通过设备前方的摄像头拍摄患者面部图像，并进行系统校准，包括选择反馈模式、调整座椅高度、设备距离，矫正后使得患者脸部占二分之一以上大屏幕；
步骤2：对图像进行脸部识别，脸部姿态检测及特征点检测，如有需要治疗师可按照系统提示，在系统启动时手动对准关键的面部特征点来完成校正；
步骤3：对得到的人脸特征点进行优化调整。具体来说，通过原图得到灰度轮廓图，再根据眼部、嘴部的灰度轮廓图针对开闭眼时眼皮特征点及开闭嘴时嘴部的特征点进行调整。通过眉毛在竖直方向上的颜色梯度变化确定眉毛的准确位置，进行调整；
步骤4：根据所选择的反馈模式进行以下操作：
模式一：
(1)对健侧特征点以鼻梁为中心，并结合患者的头部姿态，映射得到患侧新特征点，与健侧特征点组合得到新的完整脸部特征点。
(2)在图片边缘处添加多个特征点(如8个)，加上检测得到的全部脸部特征点构建一张能覆盖整个图片的三角形网格。
(3)逐一建立从原特征点构建的三角网格到新特征点构建的三角网格之间一对一的仿射矩阵。
(4)将原图根据仿射矩阵变换得到最终图像。
模式二：
(1)根据患者的头部姿态调整图像角度及脸部特征点位置。
(2)以调整后的鼻梁为中心把患者健侧图像镜像映射到患者患侧，并对边缘进行模糊融合处理。
(3)恢复图像角度，得到最终图像。
步骤5：对脸部图像整体进行微调，修正调整后的瑕疵，例如图像处理上常用的α混合，光照及肤色调整等；
步骤6：显示调整后的画面；此时患者健侧面部运动的特征将叠加到患者患侧面部，并通过增强现实以及图像处理的技术实现患者患侧面和显示图像的共同运动，随后患者将在显示图像的指导下，进行康复锻炼。
进一步，模式一或模式二包括如下康复内容：
1.面部放松：在治疗开始前，系统将提示病人放松面部肌肉，注意观察并适应设备里面自己样子(摄像头采集的面部正常影像)。系统播放舒缓音乐。
2.面部模仿训练：待病人接受屏幕中自己的样子后，进行模仿训练。病人将会看到屏幕上出来例如鼓腮、皱眉、张嘴等面部表情或动作图片，在系统语音提示下完成模仿训练。包括随机模式以及顺序模式。
3.面部运动训练：系统将提供动态的面部运动动画，指导病人进行面部锻炼。
主要包括：抬额、皱眉、鼓腮、伸舌头、张嘴、微笑。
4.说话吐词训练：在完成模仿与运动训练后，系统将为病人进行说话、吐词训练。包括以图片、动画及语音提示的方式指导病人进行康复锻炼。
本发明的有益效果是能够实时显示患者面部图像特征，在系统自动指导下完成康复训练。
附图说明
图1是本发明系统检测面部特征流程图；
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
如图1所示本发明摄像头捕捉健侧面部运动影像，并检测相应脸部的特征点，以此作为参考，调整患侧面部的图像，实现面部两侧对称的运动，以进行功能锻炼。具体步骤如下：
步骤1：获取图像数据，患者坐于设备前方，通过设备前方的摄像头拍摄患者面部图像，并进行系统校准，包括选择反馈模式、调整座椅高度、设备距离，矫正后使得患者脸部占二分之一以上大屏幕；
步骤2：检测人脸并对人脸特征点进行检测，进行脸部识别及特征点检测，如有需要治疗师可按照系统提示，手动对准关键的面部特征点来完成校正；
步骤3：对得到的人脸特征点进行优化调整。具体来说，通过原图得到灰度轮廓图，再根据眼部、嘴部的灰度轮廓图针对开闭眼时眼皮特征点及开闭嘴时嘴部的特征点进行调整。通过眉毛在竖直方向上的颜色梯度变化确定眉毛的准确位置，进行调整；
步骤4：根据所选择的反馈模式进行以下操作：
模式一：
(1)对健侧特征点以鼻梁为中心，并结合患者的头部姿态，映射得到患侧新特征点，与健侧特征点组合得到新的完整脸部特征点。
(2)在图片边缘处添加多个特征点(如8个)，加上检测得到的全部脸部特征点构建一张能覆盖整个图片的三角形网格。
(3)逐一建立从原特征点构建的三角网格到新特征点构建的三角网格之间一对一的仿射矩阵。
(4)将原图根据仿射矩阵变换得到最终图像。
模式二：
(1)根据患者的头部姿态调整图像角度及脸部特征点位置。
(2)以调整后的鼻梁为中心把患者健侧图像镜像映射到患者患侧，并对边缘进行模糊融合处理。
(3)恢复图像角度，得到最终图像。
步骤5：对脸部图像整体进行微调，修正调整后的瑕疵，例如图像处理上常用的α混合，光照及肤色调整等；
步骤6：显示调整后的画面；此时患者健侧面部运动的特征将叠加到患者患侧面部，并通过增强现实以及图像处理的技术实现患者患侧面和显示图像的共同运动，随后患者将在显示图像的指导下，进行康复锻炼。
根据显示图像具体的康复锻炼方法包括：
1.面部放松：在治疗开始前，系统将提示病人放松面部肌肉，注意观察并适应设备里面自己样子(摄像头采集的面部正常影像)。系统播放舒缓音乐。
2.面部模仿训练：待病人接受屏幕中自己的样子后，进行模仿训练。病人将会看到屏幕上出来例如鼓腮、皱眉、张嘴等面部表情或动作图片，在系统语音提示下完成模仿训练。包括随机模式以及顺序模式。
3.面部运动训练：系统将提供动态的面部运动动画，指导病人进行面部锻炼。主要包括：抬额、皱眉、鼓腮、伸舌头、张嘴、微笑。
4.说话吐词训练：在完成模仿与运动训练后，系统将为病人进行说话、吐词训练。包括以图片、动画及语音提示的方式指导病人进行康复锻炼。
本发明的优点还在于：
1.镜像视觉反馈下的面部肌肉训练；
2.有助于缓解单侧面部疼痛；
3.规范化面瘫治疗；
4.非接触式，安全；
5.使用方便，利于家庭推广应用。