面肌运动捕捉分析系统及其分析方法与流程

本发明属于运动捕捉跟踪技术领域，涉及面部运动捕捉跟踪，尤其是一种面肌运动捕捉分析系统及其分析方法。

背景技术：

人脸的面部运动细微且复杂，对于面部表情的运动捕捉，由于传感器尺寸和布局方式的限制，以及面部表情对细节特征跟踪测量精度较高的要求，很多传统的运动捕捉技术(如机械式、电磁式、声学式、加速度传感器式等)都已经难以应用，而光学式运动捕捉成为面部运动捕捉最为成熟和广泛应用的技术。

具有保持自然特征点形态稳定且排除光照条件的不稳定因素的特点，标记点式面部运动捕捉技术在三维制作领域已经有着成熟的应用。其原理是利用多相机立体视觉技术，对粘贴于被测对象表面的高亮反光标记进行高速同步拍摄、特征跟踪和实时精确地三维重建，记录和重现关键点的运动轨迹。该方法有着独特的技术优势：可以灵活地对面部任何指定点或感兴趣的部位进行稳定可靠的运动跟踪分析；运动测量精确，精度可达到0.1mm/1m；可实现在线实时的数据自动处理分析，操作简单便捷，无需复杂的技术操作，同时保证较高的精度和可靠性。

标记点式面部运动捕捉技术大多是肢体动作捕捉技术的延伸，原理与肢体捕捉没有本质区别。一些现有方案在面部捕捉技术上达到可观的效果，但费用十分昂贵且有缺陷。例如，高端动作捕捉品牌Vicon和魔神采用的方案是肢体捕捉的同时，在人脸粘贴标记点，利用高分辨率系统同步捕捉肢体和面部细节的运动。该技术的优点是捕捉效率高，实现简单，肢体和面部运动数据高度同步，缺点是由于面部细节标记点过多，适用于肢体捕捉的大视场捕捉对面部稠密标记点跟踪容易失效，导致大量跳点问题发生，后处理十分繁杂，成为实际应用的最大障碍。OptiTrack方案是将采用落地式动作捕捉系统，将捕捉有效范围调整至人脸适合大小，固定朝向人脸进行标记点捕捉。该技术同样存在大量丢点、跳点问题，影响最终的数据稳定性和精确度。

近年来，面部运动捕捉技术已广泛应用于多个领域。面瘫不仅严重影响人的外观，也会造成其社会行为、工作、生活的改变。但缺乏准确、客观的面神经功能评价系统制约着面瘫的诊疗和研究。在面瘫的实际临床工作和临床研究中亦存在较大差异，临床工作一般是定性和灵活的，而临床研究则应是定量的和“板上钉钉”的。基于三维动态图像的分析方法则可提供静态测量以及面肌运动观察点移动距离、方向、速度、加速度等所有动态参数，通过分析这些参数可以反映面肌、面神经的功能。标记式特征点定位和跟踪技术在医学研究感兴趣的面肌关键点(如脸颊上某点)上的立体定量分析中可以发挥其优势，并且该技术可以满足对面部肌肉运动在线实时分析的实测要求，已经被某些面瘫研究者们所使用。

技术实现要素：

本发明的目的在于克服现有技术的不足之处，提供一种用于医疗的面肌运动捕捉分析系统及其分析方法，能够快速、方便、准确地捕捉面部密集的特征点集在三维空间连续运动的轨迹、实现重建并自动编号，进行数据分析、解算运动参数、打印结果报告，为医学临床研究或医生诊断分析提供客观依据。

本发明解决技术问题所采用的技术方案是：

一种面肌运动捕捉分析系统，包括运动捕捉装置及上位机，所述的运动捕捉装置包括可编程门阵列及视觉图像传感器，所述的上位机分别与可编程门阵列及视觉图像传感器连接，可编程门阵列与视觉图像传感器连接，可编程门阵列接收上位机发送的预设脉冲触发信号和曝光时间，根据预设脉冲触发信号和曝光时间向所述视觉图像传感器发送触发信号，视觉图像传感器接收可编程门阵列发出的触发脉冲信号，曝光采集图像对并数据进行预处理，将处理后的数据传送至上位机，所述的上位机对视觉图像传感器上传的特征点进行提取、预测追踪及三维重建，特征点自动识别编号；自动修补跟踪过程中丢失或遗漏的特征观察点及去除刚体位移；生成面部观察点三维运动捕捉的相关报告。

而且，所述的图像的预处理是通过可编程门阵列对图像进行分割，只保留高亮标记点周围的小块图像，除去图像大部分区域黑色背景图像数据。

而且，所述的视觉图像传感器包括多个光学相机，多个光学相机通过上位机定标，在定标计算方法中加入了镜头畸变数学模型，采用大型稀疏矩阵的非线性快速计算方法解算多目视觉系统内外结构参数。

而且，所述的视觉图像传感器包括辅助照明设备，所述的辅助照明设备为环形LED灯，所述环形LED灯同轴安装在相机光学镜头的外沿，通过相机自身的信号输入输出接口与相机连接，该接口输出的闪光灯信号控制LED灯进行与相机采集同步的频闪工作。

而且，所述上位机对特征点自动识别编号过程如下：首先确定观察点中参考点的位置，剩下的具体位置在未确认的观察点中寻找，设耳朵为x轴方向距离最大值的两点，嘴在脸部的最下方，为z轴方向，根据最大最小距离原则确认嘴部四点分别位于长轴或短轴上，在剩下的观察点中最低的三个点里寻找最远距离确定左右鼻翼的位置，中部为鼻尖，由耳朵两点连线中点、鼻尖和下嘴唇三点确定的中平面，剩余点中距离最近的为鼻梁，距离第二近的为眉心，在剩余的观察点中，距离中平面距离最近的为左右内眼角，根据对应的x值判断左右，根据z方向最小值确定左右眉中，再根据对应x值判断左右，距离中平面的最大值为左右外眼角，根据对应的x值判断左右，剩下的观察点中，以鼻尖为基准，左侧寻找z方向的最大最小值确定左上下眼睑，同理右上下眼睑，至此自动识别过程结束。

而且，所述上位机自动修补跟踪过程中丢失或遗漏的特征观察点是根据其所属的刚体结构和结构中其他点的三维空间坐标将该点的三维坐标进行还原。

而且，所述上位机的去除刚体位移是找寻多个观察点作为参考基准，在整体产生位移时，参考点之间的相对位置不变，根据前后帧参考点的之间的粗略变换关系[R 1|T1]，将整体观察点的三维空间坐标进行同样的变换，去除刚体位移。

而且，所述上位机的生成面部观察点三维运动捕捉的相关报告包括观察点的区间最大位移、当前帧速度、加速度。

一种面肌运动捕捉分析系统的分析方法，步骤如下：

⑴上位机与视觉图像传感器通讯，检测预先设定的图像采集曝光时间，上位机将上述曝光时间发送至可编程门阵列，可编程门阵列设定脉冲信号输出宽度及触发输出频率；

⑵可编程门阵列发送触发信号控制光学元件频闪并控制视觉图像传感器开始曝光采集图像对并进行数据处理；

⑶视觉图像传感器将采集图像对中所有特征观察点的圆心位置传送至上位机；

⑷上位机使用二维卡尔曼跟踪预测所有图像中的观察点；根据立体视觉原理对极几何理论，对特征观察点进行空间三维重构，并进行三维卡尔曼预测，修正预测偏差；

⑸上位机对重建的特征点进行自动识别并编号；

⑹上位机根据刚体约束自动修补丢失或错误的捕捉结果，根据相对位置固定的参考点，去除捕捉过程中的多余的刚体位移；

⑺上位机判断是否已完成所有跟踪预测任务，如果完成，生成面部观察点三维运动捕捉的相关报告。

所述步骤⑵的具体流程为：

①可编程门阵列向视觉图像传感器发出脉冲触发信号；

②光学元件在脉冲信号上升沿通电亮起；

③视觉图像传感器在脉冲信号上升沿开始曝光；

④视觉图像传感器曝光结束，完成一次图像对采集；

⑤光学元件在脉冲下降沿断电熄灭；

⑥等待FPGA下一次触发。

本发明的优点和积极效果是：

1、本发明基于视觉三维测量原理，对该图像对中的特征点提取、追踪及三维重建，自动识别面部观察点进行编号，采用卡尔曼滤波对追踪计算进行预测和纠错，自动判别错误数据进行修正并根据智能模型自动填补空缺数据，对面部观察点三维运动分析并输出相关报告，从而实现低成本、高效率、高可靠性和高精度的实时运动跟踪、重建和结果分析。

2、本发明基于可靠的预测分析技术，捕捉面部运动数据并重建运动序列，使用一键式智能后处理技术在无需过多的人工处理条件下，确保数据的完整性和准确性，为医疗面肌的运动分析研究带来了极大的便利条件。

3、本发明基于可编程门阵列FPGA实现面部运动捕捉系统的精确同步和逻辑控制，采用环形LED作为投影光源，使用相机自标定技术对多相机进行参数标定，对面部特征点进行提取、追踪、三维重建和自动编号识别，并输出捕捉结果分析报告，从而完成低成本、高效率、高可靠性和高精度的面部运动捕捉、重建和结果分析。

4、本发明达到了高速高分辨率的图像传输，根据动作捕捉相机采用近红外波段成像的原理，图像呈黑白灰度对比鲜明的特征，设计了单元采集盒硬件方案，相机原始图像通过高速Camera Link线缆传输至采集盒，在采集盒内的FPGA上进行图像分割，只保留高亮标记点周围的小块图像，除去图像大部分区域黑色背景图像数据，保留的数据占用带宽减小至原始图像的百分之一，一条千兆网线即可传输多路图像至工作站。数据在工作站端进行特征提取，由于图像已经过分割，数据量减少，运算速度比原始图像提升近百倍，占用工作站资源很少。其优点在于相机成本没有任何增加，单元采集盒基于FPGA设计，成本很低，有效图像信息没有任何损失，捕捉精度高，数据稳定，传输模块同样简单，线缆少，保证动作捕捉数据质量的同时很好地控制了成本。

5、本发明定标精度高。以标定板静态定标方案为基础，在定标计算方法中加入了镜头畸变数学模型，采用大型稀疏矩阵的非线性快速计算方法解算多目视觉系统内外结构参数。其优点是操作简单，使用方便，同时得到了精确的内外结构参数，三维重建精度提高的同时降低了系统对于光学镜头畸变控制质量的要求，从而再次降低了硬件成本。

6、本发明使用寿命大幅增加。受图像采集传感器的处理速度限制，图像有效曝光时间对扫描总时间的占比约为1/10,因此在现有技术的持续扫描模式下，主要光学LED元件(如激光LED等)有高达9/10的无效工作时间，而采用脉冲频闪式扫描后，主要光学LED元件的无效工作时间占比由9/10降为0，按照LED标称参数估计，使用寿命提升10倍以上，能耗大幅降低，散热几乎可忽略不计，同时省去了散热结构的设计和制造成本。

7、本发明解决了跟踪错误或目标丢失的问题。运动跟踪过程中遮挡、重叠等问题常为动作捕捉带来大量的后处理工作量。系统使用智能轨迹纠错和修补技术，利用近似刚性结构体特征，对物体进行结构分割，通过模型学习得到三维空间近似刚性结构模型，模型对跟踪结果进行实时比对和指导，以此对错误跟踪结果进行纠错，对失去跟踪的目标进行轨迹修补。方案对相机的采集帧率没有很高要求，很好地控制了成本，同时从本质上解决了跟踪出错导致动作捕捉正确率低的问题。

附图说明

图1为本发明的结构及功能框图；

图2为运动捕捉装置的结构示意图；

图3为可编程门阵列(FPGA)工作方法的流程示意图；

图4为上位机对特征观察点提取、追踪、三维重建及自动识别编号流程示意图；

图5为本发明的完整工作流程图。

具体实施方式

下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种面肌运动捕捉分析系统，包括运动捕捉装置及上位机，所述的运动捕捉装置包括可编程门阵列(FPGA)及视觉图像传感器，所述的上位机1分别与可编程门阵列3及视觉图像传感器2连接，可编程门阵列与视觉图像传感器连接。该上位机可以理解为操控设备，例如：计算机。其具有相机自标定、特征点提取、追踪、三维重建、自动识别、刚体位移去除和输出分析报告等功能。

可编程门阵列与视觉图像传感器连接。FPGA向视觉图像传感器发送脉冲触发信号，精确控制视觉图像传感器的同步拍摄。FPGA精确同步控制的具体流程参照图3，S301中，上位机与视觉图像传感器通讯，检测预先设定的图像采集曝光时间；S302中，上位机将上述曝光时间发送至FPGA；S303中，FPGA根据接收到的曝光时间以及拍摄频率设定脉冲信号输出宽度及触发输出频率；S304中，FPGA向视觉图像传感器发出脉冲触发信号；S305中，光学元件(包括视觉图像传感器上可能附加的辅助照明光源等)在脉冲信号上升沿通电亮起；S306中，视觉图像传感器在脉冲信号上升沿开始曝光；S307中，视觉图像传感器曝光结束，完成一次图像对采集；S308中，光学元件在脉冲下降沿断电熄灭；S309中，硬件设备等待FPGA下一次触发即循环至S304。

视觉图像传感器由至少两个以上的多个光学相机组成，多个光学相机间的结构相对固定，且相机间的相对位置关系和相机内部参数是已知的，多个相机接收FPGA发出的触发脉冲信号，在同一时间点曝光采集图像，每次采集的多幅图像组成一组立体匹配图像对，其处理数据通过相机传输线缆传送至上位机，进行特征点提取、追踪、三维重建和自动识别编号。视觉图像传感器包括一种辅助照明设备，用于增加图像采集传感器采集到的被测物体表面的反射光强度，例如，一种与图像采集传感器光学镜头外圆轮廓同心的环形LED灯，且通过相机自身的信号输入输出接口与相机连接，该接口输出的闪光灯信号功能可以控制LED灯进行与相机采集同步的频闪工作。为便于说明，本实施例以双相机的视觉图像传感器为例，如图2结构示意图所示，双相机以上下结构布置，故上方相机简称为上相机，下方相机简称为下相机。

摄像机定标过程：使用表面有若干反光点的标定物进行相机标定，标定物呈十字架形状，十字架的各端呈90度，拍摄十字架旋转若干次的姿态，根据相机自标定方法进行多相机参数标定。

特征观察点追踪处理的具体实现流程如图4所示：S401中，FPGA发送触发信号控制视觉图像传感器曝光一次采集图像对；S402中，对各图像对分别进行图像处理，提取所有特征观察点的圆心位置；S403中，视觉图像传感器将采集图像对中所有特征观察点的圆心位置传送至上位机；S404中，使用二维卡尔曼跟踪预测所有图像中的观察点；S405中，根据立体视觉原理对极几何理论，对特征观察点进行空间三维重构，并进行三维卡尔曼预测，修正预测偏差；S406中，对重建的特征点进行自动识别并编号，S407中，根据刚体约束自动修补丢失或错误的捕捉结果，根据相对位置固定的参考点，去除捕捉过程中的多余的刚体位移，跳转至S408判断是否进入循环；S409如果判断已完成所有跟踪预测任务，进行跟踪分析报告输出。

上位机中的三维重建计算的功能，用于对视觉传感器采集的图像对中的物体表面特征点进行三维重建，即利用立体匹配图像对中的二维特征点集基于三角测量计算法转化为三维特征点集。本实施例中，物体表面特征是一种粘贴在物体表面的人工设计的圆形标记，图像处理提取的椭圆中心即为图像上的二维特征点。根据对极几何原理，对于上相机图像中的每个特征观察点，在下相机图像的极线上寻找距离最近的二维特征观察点，上下相机对应的二维特征观察点对根据三角测量法可计算出该特征点的三维空间坐标。

上位机中的对面部观察点的自动识别功能，用于自动识别观察点对应的面部固有的拓扑结构节点。运动分析中，观察点模型包括左右耳、上下嘴唇、左右嘴角、左右鼻翼、鼻尖、鼻梁、眉心、左右内眼角、左右外眼角、左右上下眼睑等必要识别观察点。识别原理为：首先确定观察点中参考点的位置，剩下的具体位置在未确认的观察点中寻找。设耳朵为x轴方向距离最大值的两点，嘴在脸部的最下方，为z轴方向，根据最大最小距离原则确认嘴部四点分别位于长轴或短轴上。在剩下的观察点中最低的三个点里寻找最远距离确定左右鼻翼的位置，中部为鼻尖。由耳朵两点连线中点、鼻尖和下嘴唇三点确定的中平面，剩余点中距离最近的为鼻梁，距离第二近的为眉心。在剩余的观察点中，距离中平面距离最近的为左右内眼角，根据对应的x值判断左右。根据z方向最小值确定左右眉中，再根据对应x值判断左右。距离中平面的最大值为左右外眼角，根据对应的x值判断左右。剩下的观察点中，以鼻尖为基准，左侧寻找z方向的最大最小值确定左上下眼睑，同理右上下眼睑，至此自动识别过程结束。

上位机中的自动修补追踪时遗漏或丢失观察点的功能，用于修补在捕捉的过程中由于遮挡或位置偏移导致观察点的丢失和遗漏。每一个观察点都存在于一个拓扑结构中，当某个观察点丢失了，基于面部的某些特定的拓扑结构不变性，可以根据其所属的拓扑结构和结构中其他点的三维空间坐标将该点的三维坐标进行还原。

上位机中的去除刚体位移功能，用于在特征观察点运动捕捉过程中，去除由于被观察者的头颅或者身体发生轻微移动而产生的位移对追踪预测产生的影响。具体方法为找寻多个观察点作为参考基准，这些观察点会随着头颅身体移动而产生位移，在面部运动过程中却位置几乎不变或者位移可以忽略不计，这些观察点参考点可以固定在头顶，与面部的观察点分离，也可以在面部观察点中挑取某些位置几乎不变的特征点，例如左右眼角、鼻梁等。在整体产生位移时，由于参考点之间的相对位置不变，根据前后帧参考点的之间的粗略变换关系，即[R1|T1]，将整体观察点的三维空间坐标进行同样的变换，即可去除刚体位移。

上位机中的跟踪分析报告输出功能，用于对捕捉跟踪的面部观察点的运动情况做定量分析的结果输出，作为研究参考，如某些观察点的区间最大位移、当前帧速度和加速度等。某编号观察点的区间最大位移为在区间帧中，与标准帧中的对应编号观察点的位置偏移量最大值。在连续运动过程中，速度为位移对时间的求导，相机获取的观察点运动为时间轴上的离散运动，由于相机具有较高帧率(至少60帧/秒,推荐120帧/秒以上)，进行高频数据采集时，可以对速度和加速度采用差分方式计算，当前帧的观察点速度v＝ΔS/Δt，其中ΔS为当前帧的该观察点对应于前一帧该点的位移，Δt为采集周期，以60帧/秒为例，采集周期为1/60秒，同理，加速度a＝Δv/Δt,Δv为该观察点当前帧的速度与前一帧的速度差。

图5所示为本分析方法的整体实现流程：S501、上位机控制FPGA、视觉图像传感器以及上位机开启，进入工作状态；S502中，FPGA发送触发信号控制光学元件频闪并控制视觉图像传感器开始曝光采集图像对并进行数据处理；S503中，视觉图像传感器将采集图像对的处理数据传送至上位机；S504中，上位机对特征点进行提取、追踪及三维重建；S505中，上位机对被测物体表面的特征点自动识别并编号；S506中，上位机自动修补跟踪过程中丢失或遗漏的特征观察点及去除刚体位移；S507中，上位机生成面部观察点三维运动捕捉的相关报告；S508中，等待下一次FPGA触发信号，跳转至S502进入循环。

以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。