专利名称：一种同步采集人脸图像和注视视角的装置及方法
技术领域：
本发明涉及图像采集领域，尤其涉及一种同步采集人脸图像和注视视角的 装置及方法。
背景技术：
在公共数据库上，为人脸识别研究领域提供的图像数据包括光照、姿态、 表情、年龄和装饰等的变化，但是不包括人眼的注视方向数据，因此不能被视 觉跟踪研究领域所用。视线跟踪与识别研究领域关心视线注视方向相对于参 考系的相对关系。不同的研究者，采取的技术方法不同。个别研究员把世界坐 标系作为参考系，但是，以图像法向量作为参考系是目前的主流。为了明确参考
系与视角的关系，常将880nm的LED置于采集设备的光轴上或者平行放置，用 来照射人眼。人眼反射LED光的点叫做普尔钦斑点(glint点，第一 Purkinje 图像)。人眼模型是一个近似的球型，球心与普尔钦斑点间的向量方向就是图像 法向量的方向。而人眼的注视方向(LOG)近似的表示成球心指向瞳孔中心的点 的向量。由此，两个向量之间的夹角变化就是注视方向的变化，即视角变化，这 就是绝大数研究人员所用理论几何模型。主流算法都是基于该模型，或者由该 模型产生的衍生模型和衍生算法。虽然用LED光源可以提高瞳孔和虹膜之间的 对比，不可见的LED光源不会对测试产生干扰,但是，要求限制人的头动作，或 者采用头戴式实现，而且计算几何模型所产生的误差和不稳定性，都是视线跟 踪研究领域的瓶颈。
发明内容
为解决上述问题，本发明提供了一种同步采集人脸图像和注视视角的装置 及方法，能够在采集图像的同时确定各部分空间位置，进一步获取图像采集设 备的笛卡尔坐标系中，以欧拉角表示的视线注视方向。本发明公开了 一种同步采集人脸图像和注视视角的方法，图像采集设备采 集被采集者的面部图像，所述方法包括
步骤1，将位置跟踪器的接收器分别置于所述被采集者的头部、注视设备、 和所述图像采集设备；
步骤2，所述位置跟踪器的发射器发射信号，所述接收器接收所述信号， 并生成所述接收器相对于所述发射器的位置数据和方向数据；
步骤3，计算设备处理所述位置数据和方向数据，获得所述被采集者的注 视视角；
歩骤4，所述计算设备存储所述面部图像和所述注视视角。 所述步骤2和所述步骤3之间还包括
歩骤21，计算设备选取所述发射器的笛卡尔坐标系为世界坐标系，选取 所述图像采集设备的笛卡尔坐标系为计算所述注视视角的参考坐标系。 所述步骤3进一步为
步骤31，根据所述位置数据和方向数据计算所述接收器相对于所述发射 器的旋转矩阵；
步骤32，根据所述旋转矩阵计算所述图像采集设备的笛卡尔坐标系的原 点、所述被采集者的眼睛、所述注视设备上的注视点在所述世界坐标系中的位 置；
步骤33，计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标 轴的夹角，用所述夹角表示所述注视视角。 所述步骤33进一步为
步骤41，计算所述图像采集设备的笛卡尔坐标系的坐标轴在所述世界坐 标系下的向量和所述注视方向在所述世界坐标系下的向量； 步骤42，计算两个所述向量间的夹角。
所述步骤1中将位置跟踪器的接收器置于所述图像采集设备进一步为 步骤51，将所述接收器固定于所述图像采集设备上，使所述接收器的二
维坐标平面平行于所述图像采集设备的感光平面。
所述图像采集设备的笛卡尔坐标系的原点在所述图像采集设备的感光平
面的几何中心，所述图像采集设备的光轴、所述图像采集设备的笛卡尔坐标系
的一个坐标轴和所述感光平面法向量重合。所述步骤1中将位置跟踪器的接收器置于注视设备进一步为
步骤71，将位置跟踪器的接收器置于所述注视设备的屏幕坐标原点，所 述接收器的二维坐标轴同所述屏幕的方向平行。
本发明还公开了一种同歩采集人脸图像和注视视角的装置，所述装置包括 用于采集被采集者的面部图像的图像采集设备，所述装置还包括位置跟踪器、 注视设备和计算设备，所述位置跟踪器包括用于发射信号的发射器和用于接收 所述信号的接收器，所述接收器分别置于所述被采集者的头部、注视设备、和 所述图像采集设备；
所述接收器还用于在接收到所述发射器发送的信号后，生成所述接收器相 对于所述发射器的位置数据和方向数据；
所述计算设备用于处理所述位置数据和方向数据，获得所述被采集者的注 视视角，并存储所述面部图像和所述注视视角。
所述计算设备还用于选取所述发射器的笛卡尔坐标系为世界坐标系，选取 所述图像采集设备的笛卡尔坐标系为计算所述注视视角的参考坐标系。
所述计算设备在处理所述位置数据和方向数据，获得所述被采集者的注视 视角时进一歩用于根据所述位置数据和方向数据计算所述接收器相对于所述 发射器的旋转矩阵；根据所述旋转矩阵计算所述图像采集设备的笛卡尔坐标系 的原点、所述被采集者的眼睛、所述注视设备上的注视点在所述世界坐标系中 的位置；计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标轴的夹 角，用所述夹角表示所述注视视角。
所述计算设备在计算注视方向向量同所述图像采集设备的笛卡尔坐标系 的坐标轴的夹角时进一步用于计算所述图像采集设备的笛卡尔坐标系的坐标 轴在所述世界坐标系下的向量和所述注视方向在所述世界坐标系下的向量；计 算两个所述向量间的夹角。
所述接收器固定于所述图像采集设备上，使所述接收器的二维坐标平面平 行于所述图像采集设备的感光平面。
所述图像采集设备的笛卡尔坐标系的原点在所述图像采集设备的感光平 面的几何中心，所述图像采集设备的光轴、所述图像采集设备的笛卡尔坐标系 的一个坐标轴和所述感光平面法向量重合。
所述位置跟踪器的接收器置于所述注视设备的屏幕坐标原点，所述接收器的二维坐标轴同所述屏幕的方向平行。
本发明的有益效果在于利用接收器相对于发射器的位置数据,以及接收器 的运动可视为一个三维的刚体运动这一特征，提供了一种眼睛注视角度获取的 装置和方法，在同步采集人脸图像的同时，确定各个部分间的位置关系，能够
确定视线相对于图像采集设备坐标系的位置和朝向，不需要借助LED光源，所 以取消了对头的动作限制，实现采集时候头部的自由运动；并且本发明装置布 置简单。
图1是本发明中发射器与接收器的位置关系示意图2是本发明同步采集人脸图像和注视视角的装置的结构图3是本发明获取注视视角的示意图4为本发明实施例中计算设备操作流程图5是本发明同步采集人脸图像和注视视角的方法流程图。
具体实施例方式
下面结合附图，对本发明做进一步的详细描述。
位置跟踪器的一个发射器211和一个接收器212的坐标系关系如图1所 示。发射器211向外发射电磁波信号，接收器212接收该电磁波信号，根据接 收到的电磁波信号获得接收器212相对于发射器211的位移和旋转角度，分别 作为该接收器212的位置数据和方向数据。
本发明的装置的结构如图2所示。装置包括位置跟踪器201、图像采集设 备202，注视设备203和计算设备204。位置跟踪器201包括用于发射信号的 发射器211和用于接收所述信号的接收器212。接收器212分别置于被采集者 的头部、注视设备203、和图像采集设备202。
图像采集设备202用于采集被采集者的面部图像。
接收器212还用于在接收到发射器211发送的信号后，生成接收器212 相对于发射器211的位置数据和方向数据。
计算设备204用于处理位置数据和方向数据，获得被采集者的注视视角， 并存储被采集者的面部图像和所述注视视角。在具体实施例中，图像采集设备202为摄像机，计算设备204为计算机， 注视设备203为计算机的屏幕。
位置跟踪器201具有一个发射器211和三个接收器212，接收器212分别 位于被采集者的头部、注视设备203、和图像采集设备202。或者，位置跟踪 器201具有一个发射器211和一个接收器212，接收器212按先位于图像采集 设备202，获得位置数据和方向数据后，在按先后顺序置于注视设备203和被
采集者的头部，最后实时采集时在头部固定不动。
因为采集到的接收器212的位置数据和方向数据是相对于发射器211的数
据。因此，该数据就与人所在的具体位置和注视方向有关。通过获得数据，就 可以计算出眼睛、注视点和图像采集设备202坐标原点的位置。
接收器212的运动可视为一个三维的刚体运动。 一个刚体在笛卡尔坐标系 下的运动可以利用下述的公式1:
其中R是一个3X3的旋转矩阵，其表达公式为
0
0 丫cos)3 0 sin)3
0 cosot —sina
、A
cosy —siny
0、
siny cosy 0 1
0 1 0
0 since cosa2人—sinj3 0 cosj8人 0 0 ,
cos / cosy cos j8 sin y — sin y3
sina sin^3 cosy -cosoc siny since sin/3 siny十cosa cosy sina cosjS
cosasin^3cosy+sinasiny cosasin^Ssiny-sinacosy cosacosjS
X-"，^，"0'为发射器211的坐标； 义'=" 0'为接收器212的坐标；
S是接收器212相对发射器211的位置坐标；
a， P， y，为接收器212输出的欧拉角，它们分别表示相对于《，^和A坐 标轴的旋转角。
如图3所示为本发明获取注视视角的示意图。
分别将位置跟踪器201的接收器212固定于图像采集设备202、注视设备 203和被采集者头部。每个接收器212都有自己的坐标系。将一个接收器212 固定在图像采集设备202上，并使接收器212的二维坐标平面平行于图像采集 设备202的感光平面。设定图像采集设备202的笛卡尔坐标系为计算注视视角的参考坐标系。并且，定义图像采集设备202的坐标系的原点在感光平面的几
何中心，光轴、坐标轴和图像感光面法向量重合。图像采集设备202坐标系坐 标轴与其上面固定的接收器212的坐标轴平行，即两个坐标之间无旋转，只有 平移。通过测量获得平移距离，利用公式1计算图像采集设备202的坐标系原 点在世界坐标系下的位置，以及三个坐标轴的方向向量，建立了一个完整的笛 卡尔坐标系。该笛卡尔坐标系为计算注视视角的参考坐标系。
此外，固定在注视设备203和被采集者头部的接收器212，利用公式l计 算注视点和眼睛在世界坐标系的位置。将接收器212固定在注视设备203的屏 幕坐标原点，并且接收器212的二维坐标轴于屏幕方向平行，两个平面只有平 移没有旋转。屏幕原点和接收器原点的位移通过测量获得。这样，就可以通过 公式1将任意的屏幕坐标转换为世界坐标系下的坐标值。固定于被采集者头部 的接收器212，测量的得到眼睛相对于接收器212的位置坐标，通过公式1计算 出眼睛在世界坐标系下的位置。
在实时采集时，注视设备203和图像采集设备202是位置固定，所以其对 应的笛卡尔坐标系为不变量特征;被采集头部没有动作限制，头部接收器212 位置及其对应的笛卡尔坐标系为实时可移动特征量。
本发明实施例中计算设备204的操作流程如图4所示。
步骤S401，选择位置跟踪器201的发射器211作为世界坐标系；图像采 集设备202的笛卡尔坐标系为计算注视视角的参考坐标系。
被检测者的头部、注视设备203、图像采集设备202的接收器212为测量 接收器，因此本实施例中发射器211和接收器212构成一个坐标系组。
步骤S402,计算所有接收器212相对于发射器211的旋转矩阵。
步骤S403，应用公式1计算眼睛、注视点、图像采集设备202的笛卡尔 坐标系原点在世界坐标系中的位置；
步骤S404，计算图像采集设备202的笛卡尔坐标系的坐标轴在世界坐标 系下的向量和注视方向在世界坐标系下的向量。
图像采集设备202的笛卡尔坐标系的坐标轴在世界坐标系下的向量为图3 中的向量i，注视方向在世界坐标系下的向量为图3中的向量^ 。
步骤S405，计算注视方向向量同图像采集设备202的笛卡尔坐标系的坐
标轴向量间的夹角。
计算夹角的方法如下<formula>formula see original document page 11</formula>
步骤S406，将获得的注视视角和采集的图像同步；输出图像、注视视角
值和其他原始位置和方向信息，存贮构成数据库。
本发明的方法如图5所示。 图像采集设备采集被采集者的面部图像。
步骤S501，将位置跟踪器的接收器分别置于被采集者的头部、注视设备、 和图像采集设备。
将位置跟踪器的接收器置于图像采集设备进一步为，将接收器固定于图像 采集设备上，使所述接收器的二维坐标平面平行于所述图像采集设备的感光平 面。图像采集设备的笛卡尔坐标系的原点在图像采集设备的感光平面的几何中 心，图像采集设备的光轴、图像采集设备的笛卡尔坐标系的一个坐标轴和感光 平面法向量重合。
将位置跟踪器的接收器置于注视设备进一步为，将位置跟踪器的接收器置 于注视设备的屏幕坐标原点，接收器的二维坐标轴同屏幕的方向平行。
步骤S502，位置跟踪器的发射器发射信号，接收器接收信号，并生成接 收器相对于发射器的位置数据和方向数据。
步骤S503，计算设备选取发射器的笛卡尔坐标系为世界坐标系，选取图 像采集设备的笛卡尔坐标系为计算注视视角的参考坐标系。
步骤S504，计算设备处理位置数据和方向数据，获得被采集者的注视视角。
步骤S504进一步为
歩骤541，根据位置数据和方向数据计算接收器相对于发射器的旋转矩阵。
步骤542，根据旋转矩阵计算图像采集设备的笛卡尔坐标系的原点、被采 集者的眼睛、注视设备上的注视点在世界坐标系中的位置。
步骤543，计算图像采集设备的笛卡尔坐标系的坐标轴在世界坐标系下的 向量和注视方向在世界坐标系下的向量。
步骤544，计算两个向量间的夹角。
步骤S505，计算设备存储面部图像和注视视角。本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条 件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于 以上的说明，而是由权利要求书的范围来确定的。
权利要求
1. 一种同步采集人脸图像和注视视角的方法，图像采集设备采集被采集者的面部图像，其特征在于，所述方法包括步骤1，将位置跟踪器的接收器分别置于所述被采集者的头部、注视设备、和所述图像采集设备；步骤2，所述位置跟踪器的发射器发射信号，所述接收器接收所述信号，并生成所述接收器相对于所述发射器的位置数据和方向数据；步骤3，计算设备处理所述位置数据和方向数据，获得所述被采集者的注视视角；步骤4，所述计算设备存储所述面部图像和所述注视视角。
2. 如权利要求l所述的同步采集人脸图像和注视视角的方法，其特征在 于，所述步骤2和所述步骤3之间还包括步骤21，计算设备选取所述发射器的笛卡尔坐标系为世界坐标系，选取所述图像采集设备的笛卡尔坐标系为计算所述注视视角的参考坐标系。
3. 如权利要求2所述的同步采集人脸图像和注视视角的方法，其特征在 于，所述歩骤3进一步为步骤31，根据所述位置数据和方向数据计算所述接收器相对于所述发射 器的旋转矩阵；步骤32，根据所述旋转矩阵计算所述图像采集设备的笛卡尔坐标系的原 点、所述被采集者的眼睛、所述注视设备上的注视点在所述世界坐标系中的位 置；步骤33,计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标 轴的夹角，用所述夹角表示所述注视视角。
4. 如权利要求3所述的同步采集人脸图像和注视视角的方法，其特征在 于，所述步骤33进一步为步骤41，计算所述图像采集设备的笛卡尔坐标系的坐标轴在所述世界坐 标系下的向量和所述注视方向在所述世界坐标系下的向量； 步骤42，计算两个所述向量间的夹角。
5. 如权利要求2所述的同步采集人脸图像和注视视角的方法，其特征在于，所述步骤l中将位置跟踪器的接收器置于所述图像采集设备进一步为步骤51，将所述接收器固定于所述图像采集设备上，使所述接收器的二 维坐标平面平行于所述图像采集设备的感光平面。
6. 如权利要求5所述的同步采集人脸图像和注视视角的方法，其特征在于，所述图像采集设备的笛卡尔坐标系的原点在所述图像采集设备的感光平面 的几何中心，所述图像采集设备的光轴、所述图像采集设备的笛卡尔坐标系的 一个坐标轴和所述感光平面法向量重合。
7. 如权利要求2所述的同步采集人脸图像和注视视角的方法，其特征在于，所述步骤1中将位置跟踪器的接收器置于注视设备进一步为步骤71，将位置跟踪器的接收器置于所述注视设备的屏幕坐标原点，所述接收器的二维坐标轴同所述屏幕的方向平行。
8. —种同步采集人脸图像和注视视角的装置，所述装置包括用于采集被采 集者的面部图像的图像采集设备，其特征在于，所述装置还包括位置跟踪器、 注视设备和计算设备，所述位置跟踪器包括用于发射信号的发射器和用于接收 所述信号的接收器，所述接收器分别置于所述被采集者的头部、注视设备、和 所述图像采集设备；所述接收器还用于在接收到所述发射器发送的信号后，生成所述接收器相 对于所述发射器的位置数据和方向数据；所述计算设备用于处理所述位置数据和方向数据，获得所述被采集者的注 视视角，并存储所述面部图像和所述注视视角。
9. 如权利要求8所述的同步采集人脸图像和注视视角的装置，其特征在于，所述计算设备还用于选取所述发射器的笛卡尔坐标系为世界坐标系，选取 所述图像采集设备的笛卡尔坐标系为计算所述注视视角的参考坐标系。
10. 如权利要求9所述的同步采集人脸图像和注视视角的装置，其特征在于，所述计算设备在处理所述位置数据和方向数据，获得所述被采集者的注视 视角时进一步用于根据所述位置数据和方向数据计算所述接收器相对于所述 发射器的旋转矩阵；根据所述旋转矩阵计算所述图像采集设备的笛卡尔坐标系 的原点、所述被采集者的眼睛、所述注视设备上的注视点在所述世界坐标系中 的位置；计算注视方向向量同所述图像采集设备的笛卡尔坐标系的坐标轴的夹 角，用所述夹角表示所述注视视角。
11. 如权利要求io所述的同步采集人脸图像和注视视角的装置，其特征在于，所述计算设备在计算注视方向向量同所述图像采集设备的笛卡尔坐标系 的坐标轴的夹角时进一步用于计算所述图像采集设备的笛卡尔坐标系的坐标 轴在所述世界坐标系下的向量和所述注视方向在所述世界坐标系下的向量；计 算两个所述向量间的夹角。
12. 如权利要求9所述的同步采集人脸图像和注视视角的装置，其特征在 于，所述接收器固定于所述图像采集设备上，使所述接收器的二维坐标平面平 行于所述图像采集设备的感光平面。
13. 如权利要求12所述的同步采集人脸图像和注视视角的装置，其特征在于，所述图像采集设备的笛卡尔坐标系的原点在所述图像采集设备的感光平 面的几何中心，所述图像采集设备的光轴、所述图像采集设备的笛卡尔坐标系 的一个坐标轴和所述感光平面法向量重合。
14. 如权利要求9所述的同步采集人脸图像和注视视角的装置，其特征在 于，所述位置跟踪器的接收器置于所述注视设备的屏幕坐标原点，所述接收器 的二维坐标轴同所述屏幕的方向平行。
全文摘要
本发明涉及一种同步采集人脸图像和注视视角的装置和方法，方法包括图像采集设备采集被采集者的面部图像，步骤1，将位置跟踪器的接收器分别置于所述被采集者的头部、注视设备、和所述图像采集设备；步骤2，所述位置跟踪器的发射器发射信号，所述接收器接收所述信号，并生成所述接收器相对于所述发射器的位置数据和方向数据；步骤3，计算设备处理所述位置数据和方向数据，获得所述被采集者的注视视角；步骤4，所述计算设备存储所述面部图像和所述注视视角。本发明能够在采集图像的同时确定各部分空间位置，进一步获取图像采集设备的笛卡尔坐标系中，以欧拉角表示的视线注视方向。
文档编号G06K9/00GK101419672SQ20081023920
公开日2009年4月29日 申请日期2008年12月3日 优先权日2008年12月3日
发明者葛宏志, 陈熙霖 申请人:中国科学院计算技术研究所