发音器官的网格动画生成方法

发音器官的网格动画生成方法
【专利摘要】本发明提供了一种发音器官动画生成方法，包括：发音器官运动关键点的定义，各发音器官的中矢状面的二维网格的生成，发音器官纹理贴图，基于薄板样条的网格运动计算。本发明由发音器官运动关键点的位置，推算出发音器官中矢状面的形状，进而可以由发音器官运动关键点的运动，直接得到整个发音器官在中矢状面的运动情况，其优势在于简化的发音器官运动的描述参数，降低了发音器官动画制作的难度。
【专利说明】发音器官的网格动画生成方法
【技术领域】
[0001]本发明涉及发音器官运动重现技术，尤其涉及一种发音器官的网格动画生成方法。
【背景技术】
[0002]发音器官运动重现是发音器官建模和发音机理研究的重要内容，发音器官的网格动画生成方法简化了发音器官的运动描述的复杂度，因而提供了一种可实现的基于关键点运动数据的发音器官运动重建方法。它能够通过从人身上采集而来或者通过机理分析获得的发音器官运动关键点的运动情况重建出整个发音器官的协同运动情况，其成果对于发音机理的研究，发音器官发声障碍的诊断和治疗以及人机交互领域有重要意义。
[0003]目前已有的发音器官运动重现技术中，一种是基于影像学的方法，通过从人体采集的影像学数据，如光学图像，核磁共振影像，X光影像，超声成像等，得到特定人的发音器官形状及运动情况，该方法成本很高，由影像获得完整的发音器官模型及其运动过程需要经过复杂的计算，且获得的人体发音器官形状和运动情况针对特定人；另一种方法是通过对发音器官建立生物物理模型，通过对发音器官的器官构造尤其是肌肉结构，分析发音时器官的受力情况，进而重建出发音器官的运动，使用该方法对解剖学和生物力学的理论水平要求很高，且计算量较大，不适合一般应用。

【发明内容】

[0004](一 )要解决的技术问题
[0005]为解决上述的一个或多个问题，本发明提供了一种发音器官网格动画生成方法。
[0006]( 二 )技术方案
[0007]根据本发明的一个方面，提供了一种发音器官网格动画生成方法，包括发音器官运动关键点的定义，各发音器官中矢状面的二维网格的生成，发音器官纹理贴图，基于薄板样条的网格运动计算。其中，在发音器官运动关键点的定义步骤中，根据发音器官动画的需要，在人体的唇和舌头上指定了运动关键点；在发音器官中矢状面的二维网格生成步骤中，以发音器官运动关键点为部分网格点，同时根据发音器官的形状，补充其他的网格点，并利用进行三角划分得到能够描述发音器官在中矢状面的形状和运动的网格；基于薄板样条的网格运动的计算是利用薄板样条方法，由运动关键点的运动情况计算出所有网格点的运动情况，进而得到整个发音器官网格的运动；在发音器官纹理贴图步骤中，将发音器官中矢状面的纹理映射在建立好的二维网格上。
[0008](三)有益效果
[0009]从上述技术方案可以看出，本发明发音器官网格动画生成方法具有以下有益效果:
[0010](I)本发明发音器官网格动画生成方法是通过发音器官关键点的运动直接驱动发音器官网格模型运动的方法，在网格模型建立好之后，除关键点运动数据之外不需要其他数据的辅助，而能够直接得到完整的运动情况；
[0011](2)本发明发音器官网格动画生成方法，具有模型复杂度低，计算量小的优点，它能够实现实时的网格动画生成。
【专利附图】

【附图说明】
[0012]图1为本发明实施例发音器官网格动画生成方法示意图；
[0013]图2为本发明实施例发音器官网格动画生成方法发音器官关键点定义示意图；
[0014]图3为本发明实施例发音器官网格动画生成方法中舌中矢状面的二维网格示意图；
[0015]图4为本发明实施例发音器官网格动画生成方法中上唇中矢状面的二维网格示意图；
[0016]图5为本发明实施例发音器官网格动画生成方法中下唇中矢状面的二维网格示意图；
[0017]图6为本发明实施例发音器官网格动画生成方法中下颌中矢状面的二维网格示意图；
[0018]图7为本发明实施例发音器官网格动画生成方法中软腭中矢状面的二维网格示意图；
[0019]图8为本发明实施例发音器官网格动画生成方法中基于薄板样条的网格运动控制方法的示意图；
[0020]图9为本发明实施例发音器官网`格动画生成方法中发音器官纹理贴图的示意图；
[0021]图10为本发明实施例发音器官网格动画生成方法中发音器官纹理贴图在运动中的不意图；
[0022]【主要元件符号说明】
[0023]五角星点-发音器官运动关键点
[0024]方形点-发音器官刚体运动网格点
[0025]圆形点-发音器官非刚体运动网格点
【具体实施方式】
[0026]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0027]需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。且在附图中，以简化或是方便标示。再者，附图中未绘示或描述的实现方式，为所属【技术领域】中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是在可接受的误差容限或设计约束内近似于相应的值。
[0028]本发明发音器官二维网格动画生成技术中，可由预先定义的一组发音器官运动关键点的运动情况，得到整个发音器官中矢状面网格模型的运动。
[0029]在本发明的一个示例性实施例中，提供了一个发音器官网格动画生成方法，如图1所示，其中首先根据发音器官关键点的定义，由医学影像或通过发音机理分析得到的发音器官运动信息中，得到发音器官关键点的运动，根据发音器官关键点的运动，使用基于薄板样条的映射方法计算出发音器官网格的其他网格点的运动情况，再根据三角划分，将发音器官中矢状面的贴图映射在三角网格模型上，得到完整的发音器官中矢状面的运动动画。
[0030]以下分别对本实施例发音器官网格动画生成方法的各个步骤进行详细说明。
[0031](步骤1:获取发音器官关键点的运动状况)
[0032]步骤1.1:发音器官关键点的确立
[0033]发音器官运动关键点共有7个，由人为指定，其位置如图2中的五角星标记所示，所有的发音器官运动关键点位于人头的中矢状面，其中，舌部具有三个关键点，分别是点1、点2、点3,点I位于舌尖,第二位于舌面上舌尖后2-3cm处，点3位于舌面上舌尖后5_7cm处；唇部有两个关键点，分别是点4、点5，点4位于上唇际线处，点5位于下唇际线处；下巴上有一个关键点，即点6，位于下巴向前突起处，软腭处有一个关键点，即点7，位于软腭表面悬雍垂向上Icm左右处。这7个关键点的运动在包含了绝大部分发音器官运动信息的同时，还能够被医学影像设备或三维运送捕捉设备记录。其位置随着不同人的发音器官形状和大小会有些微差别。
[0034]步骤1.2:获取发音器官关键点的运动状况
[0035]预先由医学影像或通过发音机理分析而得到发音器官运动信息，建立发音器官运动关键点在静止时及进行发音运动时的运动状况的数据库，通过对照数据库而得出发音器官运动关键点的运动状况。
[0036](步骤2:发音器官二维网格的生成)
[0037]步骤2.1:插补网格点的确定
[0038]多个插补网格点位于舌部、唇部、下巴及软腭上，对于唇部、下巴及软腭，各个插补网格点以相近的距离均匀的分布于上述各个器官的边缘，并尽量使得插补点位于对于表面弯曲程度较大处，对于舌部，除均匀的分布在舌部表面之外，还接近均匀的分布在舌部的内部组织上。插补网格点包括刚体运动网格点和非刚体运动网格点，其中刚体运动网格点如图3到图8中方形标记所示,非刚体运动网格点如图3到图8中圆点标记所示。图3到图8中所示的刚体运动网格点是刚体运动网格点的最少情况，即至少需包含这些点以满足动画需要，对于一些对动画精细度要求较高的场合，可沿着各个器官边缘在这些刚体运动网格点之间插入更多的刚体运动网格点。图4到图8中，位于上唇的两个点、下唇的两个点以及软腭处的四个点是相应器官非刚体运动网格点的最少情况，即至少需包含这些非刚体运动网格点。对于对动画精度要求较高的场合，可沿着各个器官边缘在这些点与临近的网格点之间插入更多的非刚体运动网格点。图3和图8中，位于舌部的非刚体运动网格点，是舌部的一个一般表示，舌表面的非刚体运动网格点呈均匀分布(需隔开运动关键点)，其间隔的大小需根据精度需要确定但一般不少于9个,舌内部划分为一个三层结构,在中心定义一个非刚体运动网格点(该中心点的位置要求并不严格，可由表面所有网格点的平均计算得到)，该中点与表面非刚体运动网格点或运动关键点连线的中点也作为一个非刚体运动网格点。
[0039]2.2链接网格点，得到各发音器官的三角网格模型
[0040]对于唇部、下巴及软腭的三角网格的最简情况，如图4?图7所示，无论选取多少个网格点，其链接方式需满足位于表面的向邻近的网格点(包括运动关键点和查补网格点)相连，内部的连接方式并无要求，将网格点连接生三角网格即可。舌部的网格链接如图3所示，由于舌部的网格点分布为三层结构，最内层为一个点，表面各个网格点满足相邻网格点相连，中间层满足相邻网格点相连，层之间以图3所示方式依次将各个点连接，形成最终的三角网格。
[0041]本实施例中各发音器官静止时的三角网格示意图，如图3?7所示。
[0042]图3为本实施例中舌的网格示意图，点1、2、3为已定义的发音器官运动关键点。在舌部，除关键点外，沿着舌部表面由前舌根(舌表面与下颚相连处，点8)沿着舌面至后舌根(点9)中间，以相近的间隔分布15至20个网格点(包括关键点1、2、3)，在舌面向下Icm左右处，依图样分布12个以上网格点，舌形状的重心位置为一个网格点，这些网格点以如图的链接方法，得到舌部的三角网格模型。
[0043]图4为本实施例中上唇的网格示意图，点4为已定义的发音器官运动关键点。在上唇部，除关键点外，沿着唇的边缘设定两个网格点，网格点10为脸部上唇唇际线向上至鼻子下方处，网格点11为唇内部与上颚连接处。这5个网格点以如图的链接方法，得到上唇的三角网格模型。
[0044]图5为本实施例中上唇的网格示意图，点5为已定义的发音器官运动关键点。在上唇部，除关键点外，沿着唇的边缘设定两个网格点，网格点12为脸部下唇唇际线向下至下巴凹陷处，网格点17为唇内部与下颚连接处。这5个网格点以如图的链接方法，得到下唇的三角网格模型。
[0045]图6为本实施例中下颌的网格示意图，点6为已定义的发音器官运动关键点。网格点12、13、14、15如图分布在人脸的下巴上。点8、点9、点12、点17已经在前面其他器官网格建模中给出了定义，点18为下牙的上顶点，点16在脖子内部。各个网格点以如图的链接方法，得到下颌的三角网格模型。
[0046]图7为本实施例中软腭的网格示意图，点7为已定义的发音器官运动关键点。网格点19为软腭与硬腭下表面的交界处，网格点20为软腭与硬腭上表面的交界处，除此之外在软腭表面分布有4个网格点。各个网格点以如图的链接方法，得到软腭的三角网格模型。
[0047](步骤3:网格运动的计算)
[0048]发音器官的运动被分为两部分，刚体运动和非刚体运动，其中，这里刚体运动是指运动只包含旋转，位移的运动，具体就是下颌的张合运动，另外静止不动也被视为一种刚体运动；非刚体运动指唇部，舌头以及软腭的形变运动。在本实施例中，发音器官的运动关键点以五角星形点表示，进行刚体运动的网格点以方形点表示，进行非刚体运动的网格点以圆点表示。
[0049]图8为本实施例中基于薄板样条的网格运动计算的流程图。薄板样条技术广泛运用于已知对应标记点的图像配准。在本发明中，将该方法用于计算网格点在运动关键点的带动下的运动中位置。
[0050]3.1刚体运动网格点运动中的位置计算
[0051]在步骤2确定的刚体运动网格点中，点10、11、19、20(即位于上唇，软腭的点)为静止点。在本实施例中，下巴的张合运动被简化成下颌绕其根部进行的旋转运动，点8、9、
12、13、14、15、16、17、18则会以一个圆心做一定角度的旋转运动，来体现下颌的张合，圆心位于下颌的根部。通过下巴的运动关键点(点6)的运动，计算出下巴的转角，得到点8、9、
12、13、14、15、16、17、18 (即所有与点6直接或间接相连接的刚体运动网格点)的转动角度，再将这些点绕下颌根部的虚拟点进行旋转得到刚体运动网格点的位置，即发音器官运动时的位置。本实施例中下颌根部的位置位于人的耳朵下方2至3cm处，由真实的人头部数据测量得到。记下颌根部的点为ο, pt表示8、9、12、13、14、15、16、17、18中任意一点，kt表示点6在第t时刻的位置，那么下颌转角Θ可以由下式(I)近似估计得到:
[0052](式I)
【权利要求】
1.一种发音器官的网格动画生成方法，包括: 发音器官运动关键点定义步骤，在人体的包括发音器官和面部在内的中矢状面上针对多个发音器官指定多个发音器官运动关键点； 运动状况确定步骤，在人体进行特定发音运动时，通过对照表示发音器官运动关键点在静止时及进行发音运动时的运动状况的数据库而得出多个所述发音器官运动关键点的运动状况； 二维网格生成步骤，以多个所述发音器官运动关键点为一部分网格点，同时根据各个所述发音器官的形状，为该发音器官补充相应的插补网格点，从而以由多个所述发音器官运动关键点和所述插补网格点构成的所有网格点为基础，在中矢状面对各所述发音器官进行三角划分，得到用于描述各所述发音器官在中矢状面的形状的三角网格模型； 网格运动计算步骤，根据所述运动状况确定步骤中得到的多个所述发音器官运动关键点的运动状况，基于所述二维网格生成步骤中所得到的所述三角网格模型来计算所有网格点的运动状况，进而得到各个发音器官的三角网格模型的网格运动状况；以及 发音器官纹理贴图步骤，按照各发音器官在中矢状面的图片能根据网格的运动而发生相应的形变的方式将该图片的纹理映射到通过所述二维网格生成步骤而得到的三角网格模型上；以及 动画重建步骤，根据在所述网格运动计算步骤中得到的各个所述发音器官的所述三角网格模型的网格运动状况，对进行纹理贴图后的各所述发音器官的运动动画进行重建。
2.根据权利要求1所述的发音器官的网格动画生成方法，其中， 多个所述发音器官运动关键点位于舌部、唇部、下巴及软腭上， 多个插补网格点位于舌部 、唇部、下巴及软腭上，对于唇部、下巴及软腭，各个插补网格点以相近的距离均匀地分布于上述各个发音器官的边缘。
3.根据权利要求2所述的发音器官的网格动画生成方法，其中， 对于所述舌部，所述多个插补网格点除均匀地分布在所述舌部表面之外，还大致均匀地分布在舌部的内部组织上。
4.根据权利要求1所述的发音器官的网格动画生成方法，其中， 在所述二维网格生成步骤中，以三角划分的形式将所述发音器官运动关键点及各个所述插补网格点分别链接成针对各个所述发音器官的三角网格模型。
5.根据权利要求4所述的发音器官的网格动画生成方法，其中， 所述三角网格模型包括三个部分，分别是:上唇网格；舌、下唇、下颌网格；以及软腭网格。
6.根据权利要求1所述的发音器官的网格动画生成方法，其中， 在所述网格运动计算步骤中，将发音器官的运动分为两部分，即刚体运动和非刚体运动，其中，刚体运动是包含旋转、位移、静止在内的运动，非刚体运动是唇部、舌头以及软腭的形变运动。
7.根据权利要求1~6中任一项所述的发音器官的网格动画生成方法，其中， 多个所述插补网格点包括:刚体运动网格点与非刚体运动网格点。
8.根据权利要求1所述的发音器官的网格动画生成方法，其中， 在所述网格运动计算步骤中，通过各所述发音器官上所指定的所述发音器官运动关键点的运动，计算出相应的所述发音器官的转角，并得到与该所述发音器官运动关键点相连接的刚体运动网格点的转动角度，由此得到所述刚体运动网格点在发音器官运动后的位置。
9.根据权利要求1所述的发音器官的网格动画生成方法，其中， 在所述网格运动计算步骤中，将得到的所述刚体运动网格点以及所述发音器官运动关键点当作标记点，进而根据各所述标记点的位置通过薄板样条的方法计算出所述非刚体运动网格点在发音器官运动后的位置。
10.根据权利要求1所述的发音器官的网格动画生成方法，其中， 在所述发音器官纹理贴图步骤中，根据所述网格运动计算步骤中计算出的各个所述刚体运动网格点与所述非刚体运动网格点在静止及运动时的位置，将各个所述发音器官的纹理贴在已建立的相对应的各所述发音器官的三角网络模型上，各个所述网格点对应贴图上的一个点，每一个贴图上的点通过包围所述贴图的三角形网格的三个顶点坐标的唯一线性组合而得到。
【文档编号】G06T13/80GK103700130SQ201310746136
【公开日】2014年4月2日 申请日期:2013年12月30日 优先权日:2013年12月30日
【发明者】陶建华, 杨明浩, 李 昊 申请人:中国科学院自动化研究所