一种基于多光谱视频的面部光谱反射率复原方法
【技术领域】
[0001] 本发明涉及一种基于多光谱视频的面部光谱反射率复原方法，可以实现对面部的 多光谱信息采集及近似光谱反射率复原，进而得到面部光谱反射率视频。
【背景技术】
[0002] 近年来，面诊的客观化研宄受到了普遍重视，并取得了一些成果。颜色信息的采集 与描述是其中的最关键内容。一些单位采用颜色测量仪器采集面部颜色，如色差计等。但 这类仪器通常仅可采集局部色度值或光谱反射率，无法得到面部整体颜色分布情况。而采 用数字成像的方式，虽然可以获得人脸面部颜色的整体分布，但仅能用RGB三通道值表示 颜色。物体通过反射照明光谱在人眼中产生颜色感觉，因此物体表面的光谱反射率是其颜 色的本质（由在可见光谱范围380nm--780nm反射系数组成）。而由RGB空间描述的颜 色仅能满足一定环境下与人眼的视觉匹配。相比连续的面部光谱反射率数据，RGB三原色 组合所包含的信息量较少，会出现RGB值相同而面部光谱反射率不同的情况，因此在此数 据基础上对面部颜色属性进行的分析与判断不够准确和全面。综上所述，在中医面诊的客 观化研宄领域，获得面部光谱反射率的描述及其整体分布有客观必要性。
【发明内容】
[0003] 本发明针对基于仪器的方法及数字成像的方法的局限性，提出了一种基于多光谱 视频的面部光谱反射率复原方法。本发明可以实现对面部多光谱信息的采集及近似光谱反 射率复原，进而得到面部光谱反射率视频。
[0004] 本发明由高速摄像机和图像采集卡完成在变光源下对面部多光谱视频的采集。变 光源系统由两个复合光源组成，两个复合光源可通过多色LED组合切换提供不同的光源光 谱组合。同步控制电路产生两组信号，控制光源组合的切换和摄像机的同步拍摄。
[0005] 本发明采用基于模型的光谱反射率复原技术对面部进行光谱反射率复原。该技术 是一种通过确定模型基函数的数目和对应基系数实现物体表面光谱反射率复原的方法。其 基本原理是物体表面的光谱反射率可用一个线性模型近似。在确定光源功率谱和光谱基函 数的情况下，可根据成像模型，由多光谱视频各点的数值序列计算该点的光谱基系数，从而 完成物体表面各点光谱反射率的近似复原。本发明针对面部肤色，确定最佳光源组合，确定 肤色光谱基函数。在此基础上采用基于模型的光谱反射率复原技术实现对面部进行光谱反 射率复原。
[0006] 1.搭建基于多光谱视频的面部光谱反射率复原信息采集装置
[0007] 本装置包括一个矩形箱体，一个颁托，一个升降台，一个脸型遮光罩，一个相机遮 光罩，一个变光源系统（2个复合光源，2个底座组成），一个图像采集系统（由一个高速摄 像机、一个图像采集卡组成），一个同步控制系统，一个光源功率谱采集系统（光谱辐射度 计）及一个图像处理系统（计算机）。为避免环境光照的影响，相机遮光罩，脸型遮光罩和 矩形箱体共同组成了封闭的采集环境，阻挡了外界光线进入拍摄箱体。矩形箱体上开两个 孔，一个是用于安装图像采集装置的摄像孔，另一个是受试面部伸进孔，两个孔分别位于箱 体两端的中心处。为保证可以拍摄到整个面部，受试面部伸进孔的大小为30CMX25CM。在 摄像孔的外面安装有相机遮光罩，受试面部伸进孔的外面安装有脸型遮光罩。在脸型遮光 罩的外面有一颁托，用于支撑受试者下颁。两个相同的复合光源通过两个底座固定在摄像 孔的两侧。为减少镜面反射影响，两侧复合光源照明的方向与拍摄方向成45°角。两个复 合光源由多色LED组成，且排布相同，通过多色LED组合的切换得到不同照明光谱。此外， 箱体可以从一侧箱体打开，用于对箱体内部的光源等部件进行检修。
[0008] 人体面部自然状态下与水平面近似垂直，尺寸大约为20X15厘米。根据面部的这 一特点，调节摄像机焦距、光圈，达到最清晰的拍摄效果。对于要拍摄的人体面部会有各种 原因的移动，为了捕捉到相对静止的面部图像，利用高速摄像机和图像采集卡进行图像采 集。高速摄像机拍摄频率至少为60FPS，选择外部信号触发的方式对相机快门进行触发。图 像采集卡直接插入计算机PCI插槽中，将模拟信号经A/D转换成数字信号送入计算机，供计 算机做处理、存储和传输。图像采集卡配备一个外部信号连接排线，可接入外部信号以触发 相机快门，与高速摄像系统配合得到多光谱视频。高速摄像机通过数据传输线与图像采集 卡相连。
[0009] 基于单片机的同步控制电路完成光源组合的切换和相机拍摄的同步。在确定的拍 摄频率f下（如60FPS)，通过同步控制电路产生两组信号，一组是周期为t = Ι/f秒的TTL 信号，此信号低电平使光源点亮，高电平使光源熄灭，用于控制不同光源组合的切换，另一 组是和此信号周期相同相位不同的TTL信号，用下降沿触发相机快门。为保证在光源点亮 的情况下对面部进行拍摄，对两组信号的时序进行了调整。首先将光源熄灭并将相机触发 信号置为高电平，然后点亮需要点亮的光源组合。在光源组合开始点亮之后〇.5Xt秒，给 摄像机一个触发信号，即将相机触发信号置为低电平，摄像机拍摄一帧图像。再过〇. 25 X t 秒将光源组合熄灭，并将相机触发信号置为高电平。再过0. 25 Xt秒再次点亮需要点亮的 光源组合，进入下一次循环，进行下一帧图像的拍摄。至此完成面部多光谱信息的同步采 集。
[0010] 2.最佳光源组合的确定
[0011] (1)获得高速摄像机每个颜色通道的光谱响应。用高速摄像机拍摄GretagMacbeth 标准色板的一帧图片。相机m通道在某个像素点的测量值为Im。根据成像原理，测量值Im 满足以下关系：
[0012] Im= / s(A)cm(A)p(A)dA (1)
[0013] 其中ρ( λ)为光源的光源功率谱，Cm( λ)为相机各颜色通道光谱响应，S(A)为物 体表面的光谱反射率。标准色板的光谱反射率为8(λ)已知，用光谱辐射度计测得光源的 光源功率谱ρ(λ)，再利用（1)式所满足的关系计算出相机各颜色通道的光谱响应^(\)。
[0014] (2)将可见光波段的光谱分为b段，同时设置b种颜色的光源。通过从b种颜色的 光源选择组合来提供a个光源组合。由高速相机的拍摄频率f来确定所需要光源组合的数 目，a = L//30j，其中"L」"表示取整符号。拍摄频率f至少为60FPS，则a彡2。因为 相机各颜色通道的光谱响应波段不同，只选择一种颜色光源或选择相邻谱段的光源进行组 合，会导致其他谱段反射率信息的丢失。因此选择不相邻谱段的组合，构成每个光源组合的 光源颜色数目为2。因此对于a个光源组合，则需要b = 2a个谱段光源。再设置一个全光 谱光源，全光谱光源不参与谱段的分配，只与a个光源组合中的一个组合，用以增强该组光 源功率。由于本系统针对的对象是面部肤色，从GretagMacbeth标准色板的肤色色块的反 射率可知，肤色块在380- 500nm波段的光谱反射率低于500- 730nm波段的光谱反射率。 因此全光谱光源与光源组合中提供380- 500nm波段光源的组合进行组合，至此完成最佳 光源组合的确定。
[0015] 实施例高速相机的拍摄频率为60FPS，需要的光源组合数目为2。实施例采用两个 相同的复光源进行实验，记为复光源一、复光源二。两个复光源均由红、绿、蓝、琥珀、白五色 LED组成。红、绿、蓝、琥珀四色LED可以提供4个波段的可见光。白色LED为设置的全光 谱光源。通过从红、绿、蓝、琥珀4种颜色LED选择LED进行组合，来提供2个不同的照明光 谱。基于上述光谱不相连组合原则，选择不相连的颜色组合，即组合一：红、绿，组合二：琥 珀、蓝组合。
[0016] 再考虑肤色的光谱反射率特点，肤色块380- 500nm波长段的光谱反射率低于 500- 730nm波长段的光谱反射率。组合二中的蓝色LED提供380- 500nm波长段的光谱， 因此白色