低，以及减少了 相关计算量，能够简单高效实现对被控终端遥控。
[0098] 本发明提出遥控方法的第二实施例，本实施例在上述实施例的基础上还包括如下 处理：
[0099] 在接收用户输入的遥控启动指令后，监听用户语音指令；当监听到用户的语音指 令，将所述语音指令以携带语音标识的数据包形式传输至被控终端，以使被控终端根据语 音标识，调用语音识别模块对所述语音指令进行识别，并根据识别结果执行相关操作，实现 语音遥控被控终端。
[0100] 本发明进一步提供一种遥控装置，参见图2,图2本发明的遥控装置第一实施的功 能模块示意图，在第一实施例中，所述遥控装置100包括：坐标建立模块110、瞳孔坐标确定 模块120、键值确定模块130、键值发送模块140。其中，所述坐标建立模块110,用于根据用 户输入的遥控启动指令执行用户瞳孔对焦操作，建立以用户的瞳孔质心位置为原点的坐标 系。所述瞳孔坐标确定模块120,用于以设定时间间隔周期性获取每一帧用户的眼睛图像， 确定每一帧眼睛图像中的瞳孔质心位置在所述坐标系中的坐标值。所述操控动作确定模块 130,用于根据所述坐标值以时间先后为序确定用户的瞳孔质心位置的变化，根据预设的瞳 孔质心位置变化与键值的第一对应关系，确定所述用户的瞳孔质心位置变化对应的键值。 所述键值发送模块140,用于将所述键值发送至被控终端，以使被控终端根据预设的键值与 遥控指令的第二对应关系，确定并执行相应的遥控指令。
[0101] 本实施例中，坐标建立模块110执行用户瞳孔对焦操作具体包括：首先生成语音 提示信息，提示用户保持视线水平朝前一定时间如2秒钟，并在该2秒钟内执行瞳孔对焦操 作，然后生成语音提示信息，告知用户瞳孔对焦完成。
[0102] 本实施例中，所述设定时间间隔（以下第η帧与第n+1帧之间的时间间隔）的时 间长度可以由用户设定。
[0103] 本实施例中，遥控装置100预先设置有瞳孔质心位置变化、操控动作、键值一一对 应的第一对应关系，具体参见表1，该第一对应关系中一种瞳孔质心位置变化对应一种操控 动作，一种操控动作对应一个键值。所述键值确定模块130首先在第一对应关系中查找与 瞳孔质心位置变化对应的操控动作，然后根据该操控动作在第一对应关系中查找对应的键 值，然后再将该查找到的键值发送给被控终端。
[0104] 以第n+1与η帧眼睛图像为例，所述键值确定模块130首先根据第n+1与η帧眼 睛图像对应的瞳孔质心坐标值，确定用户的瞳孔质心位置的变化情况，然后在第一对应关 系中查找瞳孔质心位置变化对应的操控动作，具体算法如公式（1-4);再在第一对应关系 中查找与所述操控动作对应的键值。
[0110] 其中，UP、DOWN、LEFT、RIGHT、分别表示向上、向下、向左、向右操控动作；Τ3为经验 阈值。
[0111] 本实施例中，所述被控终端中预设设置有键值与遥控指令的第二对应关系，具体 参见表2,在该第二对应关系中，一个键值对应一个遥控指令。所述键值以携带有遥控标识 的数据包形式传输至被控终端，被控终端接收所述数据包后根据遥控标识，在第二对应关 系中查找与所述键值对应的遥控指令，并执行所述遥控指令，自此即完成了被控终端的遥 控操作。
[0112] 本实施例中，所述遥控装置除了具有对被控终端进行向上、向下、向左、向右移动 的操控，还具有对被控终端进行确定、返回、返回主页、查看菜单等相应功能按键操控。如定 义眨眼操控动作为"确定"按键功能。当第η帧瞳孔图像的瞳孔质心位置位于坐标原点，则 表示（睁眼）；第η+1帧瞳孔图像的中不存在瞳孔质心点，则表示双闭眼；第η、η+1帧瞳孔 图像的连起来表示眨眼动作。具体算法如公式如（1-5)。
[0113] KEYn+1 = 0K if ((xn,yn) = (0,0) M Bn+1 (x, y) =NULL) (1-5)；
[0114] 其中，NULL表示不存在。
[0115] 再如定义闭右眼操控动作为"返回"按键功能。具体第当第n帧瞳孔图像为双眼 睁，第η+1帧瞳孔图像为右眼闭，则第η、η+1帧瞳孔图像的连起来表示闭右眼操作。具体算 法如公式（1-6)。
[0117] 其中，NULL表示不存在，为只包含右眼瞳孔的图像。
[0118] 参见图3,图3是本发明的遥控装置第二实施例的功能模块示意图。所述遥控装 置100还包括：预处理模块150。所述预处理模块150,用于对每一帧眼睛图像依次进行如 下预处理：图像光照校正、图像降噪滤波、图像灰度化、图像阈值化、图像形态学处理。
[0119] 本实施例中对每一帧眼睛图像进行预处理是为了提高每一帧眼睛图像的信噪比， 抑制背景噪声，还原最真实的眼睛图像。
[0120] 以下对预处理模块150对眼睛图像进行预处理的过程进行详细的描述：
[0121] 首先假设本实施例中获取有m帧眼睛图像，以i(x，y)对每一帧眼睛图像进行命 名，如第η帧与第η+1帧图像分别为命名为i n(x, y)和in+1(x, y)。以第η、η+1 (η+1彡m，n、 m均为自然数）帧眼睛图像为例，详细说明图像光照校正、图像降噪滤波、图像灰度化、图像 阈值化、图像形态学处理具体过程。
[0122] A、图像光照校正。图像光照校正算法主要是对原始眼睛图像中夹杂的一些变化信 息（如光照变化、角度变化等）进行处理。可采用的方法包括但不限于：Gamma校正、图像 亮度非线性变换、直方图均衡化和最高亮度点光照补偿算法。Gamma校正和图像亮度非线性 变换通过对图像像素点的非线性调整，可以去除原始眼睛图像中无关的变化信息；直方图 均衡化和最高亮度点光照补偿算法是针对图像对比度调整的方法，能增强眼睛图像局部对 比度，进行图像光照校正后的第η帧眼睛图像用A nl (X，y)表示。
[0123] B、图像降噪滤波。图像降噪滤波算法主要是对眼睛图像中的噪声信息进行滤除， 眼睛图像中典型的噪声包括：高斯噪声、椒盐噪声、加性噪声。本实施例采用的图像降噪滤 波方法包括：均值滤波、中值滤波和高斯滤波。图像降噪滤波的第η帧图像用A n2 (X，y)表 /Jn 〇
[0124] C、图像灰度化。本实施获取的眼睛图像为彩色图像，彩色图像通常用RGB三分量 值表示，但RGB三分量之间有很高的相关性，直接利用这些分量很难得到所需的效果，也增 加计算的复杂度，而本实施中后续算法没有涉及到色彩信息，为了到所需效果、降低计算的 复杂度，对眼睛图像进行灰度化。灰度化后的第η帧图像用An3(x，y)表示，An2(x，y)的三分 量分别用An2R(x, y), An2(；(x，y)和An2B(x, y)表示。由于人眼对绿色敏感度最高,对蓝色敏感 度最低，本实施例采用加权平均值法对眼睛图像进行灰度化，灰度化计算公式如下（1-1)。 An3 (x, y) = 0. 3*An2R (x, y) +0. 59*An2G(x, y) +0. ll*An2B (x, y)----(1-1) 〇
[0125] D、图像阈值化。二值图像比灰度图像更能体现眼睛图像的关键特征，且能加快眼 睛图像的处理速度，本实施中中对经过灰度化获取的A n3 (X，y)进行阈值化得到第η帧眼睛 图像的二值化图像An4(x，y)，本实施例进行图像阈值化可的方法包括有：固定阈值法、自适 应阈值法、上下阈值法、Otsu (最大类间方差法）法、熵值法、迭代法。
[0126] E、图像形态学处理。经过上述阈值化的图像An4 (X，y)还可能存在一些孤立的噪音 点或者原本应该连接的点被间断，此时通过形态学处理后可以将孤立的噪音点滤除，将被 间断的连接点连接，图像形态学处理后的第η帧眼睛图像用A n5(X，y)表示。
[0127] 上述实施例中，所述瞳孔坐标确定模块120,具体还用于提取每一帧眼睛图像的瞳 孔轮廓图像，并对提取的每一帧瞳孔轮廓图像进行瞳孔质心计算，得出每一帧瞳孔轮廓图 像对应的瞳孔质心在所述坐标系中的坐标值。
[0128] 本实施例以第η帧眼睛图像为例进行详细说明。由于预处理后的眼睛图像包含瞳 孔和眼睛边框的二值化图像，因此上述确定第η眼睛图像中的瞳孔质心位置在所述坐标系 中的坐标值具体处理如下：
[0129] -、瞳孔图像提取
[0130] 瞳孔坐标确定模块120对第η帧眼睛图像An5 (X，y)进行眼睛边框去除操作，其具 体算法采用公式（1-2)。其计算策略为：计算An5(x，y)每个独立连通像素点的区域面积的 大小，当所述区域面积小于设定的第一阈值T 1 (去除孤立点）或大于设定的第二阈值T2 (去 除眼睛边框）时，则去除该对应的独立的连通像素点，保留下来的二值图像则为只包含瞳 孔的图像，用A'n5(x，y)表示。
[0132] 其中，為表示第i个连通的像素点区域的面积，所述连通的像素点区域包括眼睛 边框像素点区域、瞳孔像素点区域以及其它孤立的像素点区域，即i = 3成表示第i个连 通区域的坐标范围，T1和T2分别为第一、二阈值，Bnl (X，y)表示只包含瞳孔的图像。
[0133] 二、瞳孔坐标获取
[0134] 瞳孔坐标确定模块120对上述只包含瞳孔的图像Bnl (X，y)进行轮廓提取，得到瞳 孔轮廓图像，在对瞳孔轮廓图像进行瞳孔质心计算，得到第η帧瞳孔轮廓图像的瞳孔质心 在坐标系