一种面向中医舌诊的舌体动态三维重建系统的制作方法
【专利摘要】本发明为一种面向中医舌诊的舌体动态三维重建系统，可以实现对舌体的动态信息采集及三维重建。本发明包括球形箱体、颌托、升降台、相机遮光罩、脸型遮光罩、多光源系统（由8个LED光源、8个光源支架及底座组成）、图像采集系统（由高速摄像机、图像采集卡组成）、同步控制电路以及计算机。球形箱体的左右半球上各开一个孔，一个是安装图像采集装置的摄像孔，另一个是受试舌体伸进孔。箱体上以球心为圆心的竖直圆周上均匀设置八个光源，每个光源都面向舌体照射在舌体中心，每个光源的方向均可调。同步控制电路产生两组信号，一组信号控制八个光源循环点亮，另一组触发相机快门，实现每一个方向下的光源点亮，相机拍摄一帧图像，完成同步采集。
【专利说明】一种面向中医舌诊的舌体动态三维重建系统
【技术领域】
[0001]本发明涉及一种面向中医舌诊的舌体动态三维重建系统，可以实现对舌体的动态Ih息米集及二维重建。
【背景技术】
[0002]舌诊是中医诊断中非常重要的方法之一，传统的中医舌诊一般是医生根据自己的经验，知识对患者的舌体进行观察并做出诊断，这种方式的诊断结果主观上与医生的知识水平，经验技巧，甚至诊断时的心理状态有关，客观上受诊室光线，温度的影响。诊察过程采用传统的肉眼观察和文字描述，没有相应的舌图像资料记录和分析，给临床、教学、科研带来了诸多不便，制约了中医学的发展和推广。
[0003]近几十年来，舌诊的客观化研究受到普遍重视，有了长足的进步，一些单位对舌象仪的研究工作，取得了一定的成果。然而这些研究是以二维舌图像作为结果，缺乏对舌体表面形态及细节的准确描述。因此，对舌体进行三维重建，对于舌诊的客观化研究具有重要意义。
[0004]光度立体技术是一种通过光照变化对物体表面进行三维重建的方法。其基本原理是保持待重建物体和摄像机的位置固定不变，在多个不同光源方向下分别拍摄物体，利用拍摄得到图像的光强来计算物体表面的法向量，并计算表面深度值进而得到物体的三维重建图。相对于目前基于二维图像的舌诊客观化的研究，三维舌象增加了其表面的深度信息，可形象的表达舌体形态以及裂纹的深浅多少、舌体粗糙度、舌乳头尺寸等特征，提高了舌象表面的现实感和逼真感。
[0005]本发明采用光度立体技术对舌体进行动态三维重建，由高速摄像机和图像采集卡完成对舌体动态信息的采集。通过同步控制电路产生的两组信号，控制光源的循环点亮和摄像机拍摄的同步。由光度立体重建得到的舌体模型，经过动态重建算法进行三维动态显示。这种动态三维重建的方法更有助于对舌体的客观化分析，为中医辨证论治提供更有利的依据。
【发明内容】
[0006]本发明提出了一种面向中医舌诊的舌体动态三维重建系统。该系统可以实现对舌体的动态彳目息米集和二维重建。
[0007]一种面向中医舌诊的舌体动态三维重建系统包括一个球形箱体，一个颌托,一个升降台，一个脸型遮光罩，一个相机遮光罩，一个多光源系统，一个图像米集系统，一个同步控制系统及一台计算机；所述多光源系统包括8个LED光源、8个光源支架、底座及延长杆，所述图像采集系统包括一个高速摄像机和一个图像采集卡，高速摄像机取像速度在50FPS以上；球形箱体通过球形箱体底座置于升降台上，箱体内壁涂黑，球形箱体上只开两个孔，一个是用于安装图像采集装置的摄像孔，另一个是受试舌体伸进孔；两个孔分别位于球形箱体的左右半球面上，且两个孔的中心在同一水平线上；在摄像孔外面安装有相机遮光罩，在受试舌体伸进孔的外面安装有脸型遮光罩，在脸型遮光罩的外面有一颌托；舌体距高速摄像机20-30厘米；图像采集卡插入计算机内，通过数据传输线与高速摄像机相连；同步控制系统一方面控制光源的循环点亮，另一方面和图像采集卡相连用于触发高速摄像机快门，达到同步拍摄的目的。
[0008]( I)舌体的动态信息采集
[0009]采用光度立体技术在保持待重建舌体和高速摄像机的位置固定不变的情形下，在多个不同光源方向下分别对舌体进行拍摄，利用图像的光强来计算舌体表面的法向，进而计算出舌体表面的深度信息以供三维重建使用。实验表明，采用更多的图像，获得的舌体表面的信息更加丰富，重建的精度也会进一步提高，然而过多的图像又会增加算法的计算复杂度。本系统采用八个光源，可获得较好的重建效果。箱体上以球心为圆心的竖直圆周上均匀设置八个光源支架底座，每隔45度放置一个。光源支架底座上固定有延长杆，该延长杆采用可弯曲定型的金属软管制成，延长杆另一端是光源支架，将光源固定在光源支架上，每个光源的角度都可通过延长杆进行调节，使八个光源射出的光线集中在舌体中心点上，即八条光线都是以舌体中心点为顶点的同一个圆锥的母线。箱体可左右半球对开，用于对箱体内部的光源等部件进行检修。
[0010]光度立体技术要求拍摄环境为密闭的暗室，相机遮光罩，脸型遮光罩和球形箱体共同组成了封闭的采集环境，阻挡了外界光线进入拍摄箱体。另外，为了得到单一光源照射方向下的图像，对箱体内壁进行涂黑处理。
[0011]自然状态下舌体伸出时呈现表面为弧形的向下倾斜状态，与水平方向夹角在40度到60度的范围内，尺寸约为5X4X2厘米。由舌体的这一特点，当舌体距离相机过近时，将不能采集到舌体的整个形状，当舌体距离相机过远时，采集到的图像分辨率不足，不便于观察到舌体表面的精细特征。根据一般高速摄像机的焦距值，当舌体在距离摄像机正前方20-30厘米的位置时，可以使整个舌体较清晰的出现在拍摄画面中。高速摄像机帧频较高，即曝光时间短，需要较强的光照亮度，调节光圈至最大值处，使图像获得足够的亮度。
[0012]光源采用色温5000-6000开尔文，显色指数在90以上的发光二极管。
[0013]由于正常人的舌体伸出时的状态为动态，以每秒约10-20次的频率颤抖，患有甲亢、脑血管病病人的舌体的颤抖频率会更高，中医上称之为颤动舌。为了精细的捕捉到舌体伸出时的运动状态，采用帧频在50FPS以上的高速摄像机，用外部信号触发的方式触发相机快门。图像采集卡直接插入计算机PCI插槽中，将模拟信号经A/D转换成数字信号送入计算机，供计算机做处理、存储和传输。图像采集卡配备一个外部信号连接带，可接入外部信号以触发高速摄像机快门。高速摄像机通过数据传输线与图像采集卡相连。
[0014]同步控制电路基于单片机实现光源的循环点亮和相机拍摄的同步。通过同步控制电路产生两组信号，一组是周期为10毫秒的TTL信号，此信号低电平使光源点亮，高电平使光源熄灭，用于控制八个光源的循环点亮，另一组是和此信号相比在相位上延时I毫秒的TTL信号，其下降沿触发相机快门。在每一个光源开始点亮之后I毫秒，摄像机拍摄一帧图像，完成同步采集。
[0015](2)舌体的动态三维重建
[0016]针对舌体的运动频率，设置摄像机帧频为100FPS，拍摄时间为4秒。对拍摄得到的400帧图像，前八帧为一组取出，之后的图像每隔八帧取出八帧，得到一共25组图像。对每一组图像，由光度立体算法，计算出舌体表面的法向信息，进而计算出舌体表面深度信息。利用深度信息重建出三维舌模型。
[0017].X文件是DirectX提供的模型和动画数据的存储格式，它存储了三维模型的顶点坐标、颜色、法向量、纹理坐标以及动画帧等信息。分别将这25组三维模型的信息保存为.X文件。
[0018]由于舌体为柔性物体，伸出状态中舌体上的每个顶点都在运动，所以采用关键帧渐变动画的方法通过改变顶点的位置，对舌体进行动态三维重建，基于DirectX进行显示。加载保存的舌体的.X文件，在相邻的关键帧之间对顶点进行线性插值得到任意时刻的中间帧，添加纹理贴图和光照，形成连续的动画并渲染输出。
【专利附图】
【附图说明】
[0019]图1为面向中医舌诊的舌体动态三维重建系统整体结构示意图
[0020]图2为光源支架结构示意图
[0021]图3为关键帧渐变动画示意图
【具体实施方式】
[0022]下面结合附图对本发明作进一步说明:
[0023]图1为面向中医舌诊的舌体动态三维重建系统整体结构示意图。如图1所示,本实施例主体采用球形结构，包括球形箱体I，颌托3，升降台10，相机遮光罩8，脸型遮光罩2，多光源系统，图像采集系统，同步控制系统及计算机；所述多光源系统由八个LED光源6、八个光源支架及底座5组成；所述图像采集系统由一个高速摄像机、一个图像采集卡组成；球形箱体I通过球形箱体底座4置于升降台10上。在球形箱体的左半球球心处开一个摄像孔7，摄像孔略大于高速摄像机镜头尺寸，用于安装摄像机。摄像孔外面安装有相机遮光罩
8。在摄像孔对面的右半球球心处也有开孔，该孔用于伸入舌体，称为舌体伸进孔9，两个孔在同一水平线上。校准高速摄像机的位置，使高速摄像机距离舌体20-30厘米，此时舌体清晰的出现在显示屏幕中，调节光圈至最大值处，使图像有足够的亮度。
[0024]图2为光源支架结构示意图，箱体上以球心为圆心的竖直圆周上均匀设置八个光源支架底座11，每隔45度放置一个，光源支架上有延长杆12，采用可弯曲定型的金属软管制成，可360度调节方向。该延长杆通过旋钮一 13固定在支架底座11上。延长杆12的另一端是光源支架14,将光源15固定在光源支架14上,每个光源15的角度都可通过延长杆12进行调节，使八个光源射出的光线集中在舌体中心点上，即八条光线都是以舌体中心点为顶点的同一个圆锥的母线。
[0025]把图像采集卡插入计算机内，通过数据传输线与高速摄像机相连。八个光源分别接入同步控制电路板的八个控制端。在单片机控制程序中，设置八组光源初始状态为高电平，即灭状态，采用单片机的定时器功能在程序中设置每隔10毫秒进入一次定时中断，每进入一次中断，把当前光源的状态置为低电平，八组循环，即可实现光源的依次点亮，每个光源点亮的时间为5毫秒。另一方面，将此高低电平信号，设置I毫秒的延时，在单片机I/O口输出，至此便得到了比控制光源的电平延时I毫秒的TTL信号。将此TTL信号接到图像采集卡外部信号连接带的输入端，用于触发高速摄像机的快门。由这两组信号的时序关系可知在每个光源点売之后的I晕秒处，闻速摄像机快门被触发，实现了同步拍摄。在闻速摄像机参数设置界面中设置高速摄像机的帧频、快门模式、曝光时间以及增益等参数。由于舌体伸出的状态是运动的，为了精细的捕捉到舌体运动的状态，设置高速摄像机帧频为100FPS，拍摄时间为4秒，设置完成后，利用高速摄像机控制软件对拍摄界面进行设置，设置高速摄像机触发方式为外部触发，输出图像大小为640*480。
[0026]开始拍照并保存图像数据，对拍摄得到的400帧图像，前八帧作为一组取出，之后的图像每隔八帧取出八帧，得到一共25组图像。对每一组图像，由光度立体算法，计算出舌体表面的法向信息，进而计算出舌体表面深度信息。利用深度信息重建出三维舌体。分别将这25组三维舌体的顶点坐标、法向量、纹理坐标等信息保存为DirectX所支持的.X文件模型的格式。
[0027]载入.X文件生成网格模型，通过关键帧渐变动画算法基于DirectX实现25组模型之间的动态效果显示。图3为关键帧渐变动画示意图。渐变动画由一系列渐变网格模型组成，在动画序列的关键帧中记录着组成网格的各个顶点的新位置，通过在相邻关键帧之间插值来直接改变网格模型中各个顶点的位置实现动画效果。令第一个网格模型为源网格模型，顶点坐标存储在Vl里，第二个网格模型为目标网格模型，顶点坐标存储在v2里，记录从源网格模型的坐标到目标网格模型的坐标的顶点运动，通过一个标尺(范围从0-1)来测量所需的时间段，标尺量存储在Scalar里。任何从0_1之间的标尺值,就代表把顶点放在源网格模型到目标网格模型坐标之间的某个地方。顶点在渐变动画期间的坐标为:
[0028]v=vl*(l.0-Scalar)+v2*Scalar,
[0029]标尺值计算公式如下:
[0030]Scalar=Time/Length,其中，Length为动画的长度；Time为坐标取样的时间。
[0031]定义一个动画，包含了 25个动画关键点、每一个关键点的时间以及此时所使用的网格模型。根据播放时间进行插值得到任意时刻的中间帧，从而形成连续的动画并渲染输出。
【权利要求】
1.一种面向中医舌诊的舌体动态三维重建系统，包括一个球形箱体，一个颌托，一个升降台，一个相机遮光罩，一个脸型遮光罩，一个多光源系统，一个图像米集系统，一个同步控制系统及一台计算机；所述多光源系统包括8个LED光源、8个光源支架、底座及延长杆，所述图像采集系统包括一个高速摄像机和一个图像采集卡，高速摄像机取像速度在50FPS以上；球形箱体通过球形箱体底座置于升降台上，球形箱体上只开两个孔，一个是用于安装图像采集装置的摄像孔，另一个是受试舌体伸进孔；两个孔分别位于球形箱体的左右半球面上，且两个孔的中心在同一水平线上；在摄像孔外面安装有相机遮光罩，在受试舌体伸进孔的外面安装有脸型遮光罩，在脸型遮光罩的外面有一颌托；图像采集卡插入计算机内，通过数据传输线与高速摄像机相连；同步控制系统一方面控制光源的循环点亮，另一方面和图像采集卡相连用于触发高速摄像机快门，达到同步拍摄的目的；八个光源均匀分布在以球心为圆心的竖直平面上，每隔45度设置一个，光源方向可通过延长杆进行360度调节，八个光源射出的光线集中在舌体中心点上，即八条光线都是以舌体中心点为顶点的同一个圆锥的母线。
2.根据权利要求1所述的面向中医舌诊的舌体动态三维重建系统，其特征在于:延长杆采用可弯曲定型的金属软管制成。
3.根据权利要求1所述的面向中医舌诊的舌体动态三维重建系统，其特征在于:舌体距离高速摄像机20-30厘米。
4.根据权利要求1所述的面向中医舌诊的舌体动态三维重建系统，其特征在于:为获取单一方向光源照明下的图像，对箱体内壁进行涂黑处理。
5.根据权利要求1所述的面向中医舌诊的舌体动态三维重建系统，其特征在于:同步控制系统通过同步控制电路产生两组信号控制各个方向光源点亮和高速摄像机拍摄的同止/J/ O
6.根据权利要求1所述的面向中医舌诊的舌体动态三维重建系统，其特征在于:所述光源采用色温5000-6000开尔文，显色指数在90以上的发光二极管。
【文档编号】G06T17/00GK103729881SQ201310741761
【公开日】2014年4月16日 申请日期:2013年12月28日 优先权日:2013年12月28日
【发明者】蔡轶珩, 张琳琳, 王立娜, 林沙沙, 郭松, 张新峰 申请人:北京工业大学