专利名称：盲人用移动电话交互系统及其装置的制作方法
技术领域：
本发明涉及人机交互中手势识别与控制输入技术领域，尤其涉及一种可提供给盲
人使用的移动电话。
背景技术：
目前，随着信息社会发展迅速日益加快，移动电话(手机)已经成为人们日常生活 中必不可少的，最贴身便携的信息交流工具。常规的手机用户通过键盘输入和以显示屏为 主的视觉信息输出完成交互过程。这样使得具有视觉障碍的盲人或视力衰退的老年人(以 下统称盲人)使用常规手机几乎不可能。 目前，有少量提出专门为盲人用户设计的手机产品，盲人用手触摸识别原理，在现 有手机的键盘上刻印并显突出所代表的盲文，这样盲人通过触摸手机的按键来识别出其功 能。但是这些输入装置必须为特殊的键盘，为了方便盲人触摸， 一般体积较大，不方便携带， 非常不适用于普通手机大小的便携式数码产品。即使将触摸式键盘尺寸縮小，设置在普通 手机键盘为盲人使用，但过小的尺寸导致触点过密，不方便盲人用户辨识，输入效率不高。
发明内容
本发明的目的旨在至少解决现有技术中的上述问题之一。 为此，本发明的实施例提出一种便携且具有高辨识率的盲人用移动电话交互系统 及其装置。 根据本发明的一个方面，本发明实施例提出了一种盲人用移动电话交互系统，所
述交互系统包括信号采集与发射装置和移动电话装置。信号采集与发射装置设置在人手
臂上，包括信号采集模块，用以采集基于手势动作产生的信号，其中所述手势动作用来作
为盲人移动通讯的输入指令；模数转换模块，用于将所述采集信号进行模拟-数字转换；发 射模块，与所述模数转换模块连接以发射已转换为数字信号的所述采集信号。移动电话装
置，包括接收模块，用于接收所述采集信号；信号处理模块，将接收的所述采集信号进行 手势识别处理；以及功能控制模块，用于根据所述识别结果提供各种功能的交互控制。
根据本发明进一步的实施例，所述信号采集模块包括表面肌电传感器单元，用以 基于手势动作采集人手臂的表面肌电信号。所述表面肌电传感器单元的数量为多个，以分 别采集人手臂不同部位的多通道表面肌电信号。 根据本发明进一步的实施例，所述信号采集模块还包括三轴加速度传感器单元， 用以采集手势动作的加速度信号。 根据本发明进一步的实施例，所述信号处理模块包括活动段检测单元，用于从连 续接收到的所述采集信号流中确定执行手势动作时期的活动段；特征提取单元，用于从所 述采集信号中提取一组最有效的特征数据来描述所述活动段的信号；以及分类识别单元， 用于根据所述特征数据确定手势动作的类别以给出所述识别结果。 根据本发明的另一方面，本发明的实施例提出一种信号采集与发射装置，所述装
4置设置在人手臂上并包括信号采集模块，用以采集基于手势动作产生的信号，其中所述 手势动作用来作为盲人移动通讯的输入指令；模数转换模块，用于将所述采集信号进行模 拟-数字转换；以及发射模块，与所述模数转换模块连接以无线发射已转换为数字信号的 所述采集信号。 根据本发明进一步的实施例，所述信号采集模块包括表面肌电传感器单元，用以 基于手势动作采集人手臂的表面肌电信号；以及/或者三轴加速度传感器单元，用以采集 手势动作的加速度信号。 根据本发明的再一方面，本发明的实施例提出 一种移动电话装置，所述移动电话 装置包括接收模块，用于接收基于人手势动作采集的信号，其中所述手势动作用来作为盲 人移动通讯的输入指令；信号处理模块，将接收的所述采集信号进行手势识别处理；以及 功能控制模块，用于根据所述识别结果提供各种功能的交互控制。 根据本发明进一步的实施例，所述信号处理模块包括活动段检测单元，用于从连 续接收到的所述采集信号流中确定执行手势动作时期的活动段；特征提取单元，用于从所 述采集信号中提取一组最有效的特征数据来描述所述活动段的信号；以及分类识别单元， 用于根据所述特征数据确定手势动作的类别以给出所述识别结果。 根据本发明进一步的实施例，移动电话装置还包括语音输出模块，用于根据对应 功能的交互控制提供语音输出。 根据本发明进一步的实施例，所述功能控制模块根据所述的手势识别结果，结合 多种触发事件处理移动电话为盲人用户提供的各类服务的交互控制，所述触发事件包括 来电话事件，用于处理移动电话来电时的交互应用；来短信事件，用于处理移动电话收到短 信息时的交互应用；以及调出功能菜单，用于处理盲人用户主动请求移动电话提供的各类 服务的交互控制，所述各类服务包括电话呼叫，用于为盲人用户提供有关呼叫通话求助的 服务；媒体播放，用于为盲人用户提供有关媒体播放休闲娱乐的服务；信息查询，用于为盲 人用户提供各类信息服务，包括为盲人提供的常用资讯、GPS户外导航和自定聚合内容。
本发明采用手势识别技术通过判断用户执行的手势动作来取代键盘按键操作，作 为移动通讯输入指令，移动电话响应相应的操作功能并进行语音输出，使盲人可以顺利完 成与移动电话的交互，解决了盲人用户因无法看到常规手机键盘和显示屏而无法与手机交 互的障碍。并且，本发明采用基于无线表面肌电传感器和/或加速度传感器的手势动作交 互输入方式具有输入信号检测及识别效率高，方便携带的便利性。 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明的上述和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中 图1为本发明实施例的盲人用移动电话交互系统结构示意图；
图2为本发明实施例的盲人手势输入方案示意图； 图3为本发明实施例的检测手势动作的信号采集与发射装置结构原理图；
图4为本发明实施例的表面肌电传感器背面电极结构示意 图5为本发明实施例的盲人用移动电话装置信号处理模块结构原理图；
图6为本发明实施例的多通道表面肌电信号MAV特征分布示意图；
图7为本发明实施例的三轴加速度连续多点的信号特征序列示意图；
图8为本发明实施例的分类器结构示意图；
图9为本发明实施例的盲人用移动电话交互方案示意图； 图10为本发明实施例的为盲人用户提供有关呼叫通话的服务简化结构示意图；
图11为本发明实施例的为盲人用户提供有关媒体播放的服务简化结构示意图； 以及 图12为本发明实施例的为盲人用户提供有关信息查询的服务简化结构示意图。
具体实施例方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
现在参考图1 ，该图显示了本发明实施例的盲人用移动电话交互系统结构。盲人用 移动电话交互系统包括设置在人手臂上的信号采集与发射装置以及移动电话装置20，在该 实施例中，如图所示，信号采集与发射装置包括信号采集模块12和发射模块14。信号采集 模块12用以采集基于手势动作产生的信号；发射模块14与信号采集模块12连接，用以发 射采集的信号。 移动电话装置20包括接收模块22、采集信号处理模块24和功能控制模块26，其 中接收模块22用于接收来自信号采集与发射装置得采集信号；采集信号处理模块24则用 于将接收的采集信号进行手势识别处理；功能控制模块26用于根据上述识别结果以及相 应的盲人移动电话交互方案提供各种功能的交互控制。 在一个实施例中，信号采集模块12为表面肌电(SurfaceElectroMyoGraphy， SEMG)传感器。由于手指或手腕运动主要受到分布在手前臂的相关肌肉群控制，因此可用于 手势识别的表面肌电传感器通常被放置在盲人手前臂皮肤表面检测相关肌肉活动产生的 电信号。在该实施例中，为了提高基于表面肌电信号的手势动作的识别效果，本发明可采用 多通道SEMG采集技术，即在手前臂上设置有多个SEMG传感器，以分别对手势动作对应的多 种肌群上产生的信号进行采集。 另外，在一个实施例中，信号采集模块12还可以包括加速度传感器，用以采集手
势动作的加速度信号。即，采集反映手势较大尺度动作在空中挥划的轨迹和动作完成过程
中手的摆姿与朝向信息。优先地，加速度传感器为三轴传感器，该加速度传感器检测自身运
动的加速度在其三轴的投影分量，包括静态加速度如重力加速度和运动时刻动态加速度。
为了有效检测手势动作的朝向和轨迹，本发明实施例中将三轴加速度传感器放置在手前
臂，例如前臂背侧靠近手腕关节的位置，以尽最大可能地检测手部挥划的轨迹。 图2给出了本发明一个实施例的盲人手势输入方案示意图，其中图2(a)为一组可
识别的手势动作输入集，用于盲人用户执行上述手势动作表达控制意图；图2(b)为手势动
作相应的指令功能，用于手机系统理解识别的手势动作并完成相应操作。 如图2(a)所示，上述手势动作和输入控制指令对应关系具体包括四维选择功
6能，由屈腕，伸腕，伸拇指和伸小指分别代表左、右、上和下四维选择键；本发明实施例的交互系统为简化菜单结构，其选项多为上下排列，故左、右键又兼有切换到邻近菜单的功能。
具体来说，所述的四维选择功能对应的输入手势动作考虑到按照绝大部分用户习惯，自然放松手臂下垂时，右手掌心向身体内侧，也即身体左侧。此时拇指处于身体前方，小指大致处于身体后方，屈腕朝向身体左侧，伸腕朝向身体右侧。因此，所述的四维选择功
能对应的输入手势动作符合自然舒适，简单易行的特点，符合盲人用户执行手势动作的习
肿1贝。 接听挂机功能，由握拳和伸掌分别代表"接听/呼叫"和"挂机/停止"功能，若在非通话状态，这两个按键又兼有"确认"和"取消"功能。 上述手势动作输入方案是提供给盲人用户表达控制意图，在动作选择上考虑例如以下几点 (1)手势动作全部是单手动作，在执行时无需双手配合，最大限度的保证盲人用户执行动作的随意性，不会为执行动作占用双手造成不便。动作设计时以右手为例，因为现实生活中右例手人群占主导，同时左例手用户只需要稍微调整既可以使用所述的手势动作输入集。 (2)所选的手势动作执行时简单自由，无需参考其他信息，尤其是不需要借助视觉信息，无需辅助其他介质或工具。 (3)所选的手势动作有自然认知性，即盲人用户无需特殊培训也能很轻松的理解动作意图，便于记忆，有利于正确做出需要的手势动作。 另外如图2(b)所示，数字输入功能包括由用户伸出食指，在空中书写"O 9"十个数字，分别代表键盘上0 9十个数字按键。所述的十个数字输入手势既可以用于电话号码拨号，也可以在特殊功能中充当快捷键使用。 在本发明实施例的上述方案中，输入的手势指令采用日常生活中常见的、具有自然认知性的、容易被用户习惯接受的手势动作，并照顾到用户可定制的需求。同时也考虑到手势识别算法的简单易行和识别结果的鲁棒性；在交互功能设计上，重点考虑了本发明提出的基于手势输入的手机如何为盲人提供更丰富的信息、更贴心的服务和更好的生活质 需要指出的是，本实施例中上述基于手势输入的盲人手势的移动电话输入方案是一种直观可行的优选方案，是为了下文中更清楚地阐述本发明信号采集模块对基于手势动作产生信号的采集。但实际使用中，用户可以根据自己喜好习惯等情况，自由调整，随意定制，而不局限于该具体实施例。 下面参考图3，该图为本发明实施例的检测手势动作的信号采集与发射装置结构原理图。 在图示实施例中，信号采集模块12包括SEMG传感器122和3轴加速计124，以分别用于采集皮肤的表面肌电信号和3轴加速度信号。 本实施例中，采用四个表面肌电传感器，分别放置在前臂小指伸肌、伸指总肌、尺侧腕伸肌和肱桡肌附近以检测手指和手腕的多种运动。每个表面肌电传感器122完成一个通道的表面肌电信号采集，多个传感器可以并行工作。因此，所采集的多通道表面肌电信号为四个通道，并且为模拟信号。
另夕卜，如图4所示，在本实施例中，SEMG传感器122采用能够检测到皮肤表面肌电信号的银制线形差分电极和与皮肤接触的参考电极，以对所述表面肌电信号进行采集。每个表面肌电传感器包含有差分电极，参考电极和差分放大电路和滤波电路。图4所示为所述表面肌电传感器背面电极结构示意图，差分电极由两股银丝拧成的电极完成信号的检测，其中每股由10根直径为1mm的长度为10mm的银丝拧成。采用差分信号检测可以提高信噪比，提高信号采集质量。 由于表面肌电信号和加速度信号均为模拟信号，因此，信号采集与发射装置还包括模数转换模块16，用于将对应的模拟采集信号转换为数字信号。本实施例中的模数转换处理需要一定的采样分辨率，考虑到表面肌电信号一般比较微弱，幅值很小，主要信号能量集中在20-250Hz，因此要采用转换精度^ 10位的模数转换器(ADC)，并且采样率^ 500Hz。
在本实施例中，发射模块14为蓝牙发射模块，用于将进行模数转换后的多通道表面肌电和加速度数字信号按照标准蓝牙(Bluetooth)协议进行无线发射。
本实施例中采用的无线协议需要考虑到标准化的、在手机中常用的无线通讯方式，目的是能最大限度利用现有手机系统的资源，减少开发成本，因此选择蓝牙协议进行数字信号的无线传输，但不限于蓝牙这一种方式，其余无线数字传输标准如IEEE 802. llb/g等可以完成相应功能均落在本发明的保护范围内。 现在结合图5，对本发明实施例的移动电话装置20工作原理进行详细说明，图5为本发明实施例的盲人用移动电话装置信号处理模块结构原理图。 在本实施例中，接收模块22为蓝牙接口 ，用于接收上述实施例中通过蓝牙协议传输的多通道表面肌电和加速度数字信号。采集信号处理模块24将接收到的多通道表面肌电和加速度数字信号进行手势识别处理。 具体地，采集信号处理模块24包括三个主要单元活动段检测单元242、特征提取单元244以及分类识别单元246。 活动段检测单元242用于从连续接收到的所述的多通道表面肌电和加速度信号流中确定盲人用户执行手势动作时期的信号段，也即活动段。考虑到表面肌电信号是伴随手势运动过程中肌肉活动而产生的，其强度和手势运动密切相关。两个动作间隔中存在肌肉的短暂放松，此时的表面肌电信号强度会非常的低。因此本实施例中采用多通道表面肌电移动平均瞬时能量与阈值比较的方法自动检测活动段的起点和终点，加速度信号流也按照相同的起点和终点分段，即3轴加速度信号流的分段与SEMG传感器信号流相同。
具体的说，活动段检测单元242又包括以下处理过程
(1)计算多通道表面肌电信号的平均信号，如公式(1)所示五MG^—(0 = f>MGcW
d (1) 其中EMG。(t)为一个通道的表面肌电信号，N。为通道数，在本实施例中N。 = 4。
(2)计算上述平均信号的平方移动平均，得到移动平均后的瞬时能量信号EM(t)，如公式(2)所示:<formula>formula see original document page 8</formula> 其中W为移动平均窗的宽度，本实施例中采用W = 60的采样点。
(3)根据上述移动平均后的瞬时能量信号EM(t)与预设阈值比较确定手势动作活动段的起点和终点若从某个时刻ts开始E皿(t)高于预设阈值且后100ms的信号均高于预设阈值则该时刻为活动段起点，直到某个时刻te开始E皿(t)低于预设阈值且后100ms的信号均低于预设阈值则该时刻为活动段终点。于是时刻ts te之间的多通道表面肌电和三轴加速度信号均为活动段信号。 进一步地，预设阈值的选择和盲人用户执行手势动作时用力的大小习惯有关，本实施例中设为用户持续用较大力执行握拳动作时算得的E皿(t)信号典型值的2%。
特征提取单元244用于从采集信号中提取一组最有效的特征数据描述所述的活动段信号，达到信号维数的压縮，以尽可能做到不同手势动作对应特征差异明显，以利于分类。 本实施例中采用多通道表面肌电和加速度活动段信号分别进行特征提取，以尽可能的保留多通道信号的空间信息。其中，多通道表面肌电信号按照每通道活动段提取幅值绝对值均值(MAV)和三阶自回归(Auto-Regressive， AR)模型系数4个特征值，四通道共计16个特征值组成16维特征向量，另外还提出活动段信号动作时长作为一种特征用于分类判断。同时，三轴加速度活动段信号不论动作长短减采样为32点，幅值按照最大值和最小值线性归一化至-1 1之间的区间，得到3维特征向量连续32点的信号特征序列。以上对所述的三轴加速度活动段信号进行的时间和幅值的规范化处理可以消除同类手势动作因执行时在时间和尺度的差异引入的不一致性，有利于分类。 如图6所示为六类手势动作其中三个通道表面肌电信号MAV特征分布示意图。从图中可以看出，本实施例一中提出的6类手势动作具有较高的区分度。图7为IO类数字手势典型的三轴加速度连续32点的信号特征序列示意图。 分类识别单元246用于将提取的特征按照特定规则确定手势动作的类别，给出识别结果。 本实施例中，分类识别单元246采用层级决策树的分类结构，用于在决策级融合
从两类传感器中提取的特征，达到对实施例一中所述的手势动作进行有效识别。 具体的说，所述的分类识别单元246包含有多个分类器，并按照树形结构层级排
列，如图8所示 动作长短分类器2462，用于按照所述手势动作执行时间长度进行第一级分类，依据本发明实施例中的活动段信号动作时长特征。 本发明实施例的手势动作输入集可以根据动作执行时间长度明显的分为两个分支短促动作分支，包含有握拳、伸掌、屈腕、伸腕、伸拇指和伸小指6个动作，一般执行时间在800ms以内；长时动作分支，包含有0-9十个数字，涉及伸食指并挥划书写十个数字， 一般动作时间较长，执行时间在ls到3s之间。因此，动作长短分类器2462按照待识别手势动作时间与特定时间阈值比较进行分类，若小于特定时间阈值则分为短促动作分支，若长于特定时间阈值则分为长时动作分支。特定时间阈值由分类器过程得到，设定为短促动作分支中手势动作训练样本活动段信号动作时长特征最大值，本实施例中按照用户执行手势动作的一般习惯设为800ms左右。 进一步地，分类识别单元246还包括手型分类器2464，在分类器算法选择上主要考虑到1)分类性能稳定，取得较高的动作分类率；2)分类算法低复杂度，尽量节省手机计算资源，提高交互实时性。可采用的分类算法包括线性判别分类器(Linear Discriminant Classifier, LDC)，支持向量机(Support Vector Machine, SVM)或k近邻(K-Nearest Neighbor, KNN)分类器等。 综合考虑这些备选方法的分类性能和计算代价，优选地本实施例中选择线性判别 分类器对上述短促动作分支中的6个手势动作进行识别，依据本发明实施例中的多通道表 面肌电信号16维特征向量。 具体地，线性判别分类器是应用贝叶斯准则的线性统计分类器，其基本原理为应 用贝叶斯准则的条件概率模型，如公式(3)所示
尸") (3 ) 其中，g为待识别动作的多通道表面肌电信号16维特征向量，"k代表第k个类别。
线性判别分类器具体包括训练和测试两个过程 (1)线性判别分类器训练过程用于建立每一个类别的概率统计模型，用于估计待 识别动作特征g对每一个类别的条件概率，用多维变量高斯分布建模如公式(4):P(g—fc) = (2;r)—w/2|2:t|—1/2expj—4(g-nj'!^(g —fij[
L 2 J (4) 这里N为特征维数，本实施例中N = 16， ii k和E k代表第k个类的均值和协方差 矩阵，可由所属第k个类的训练样本计算得到，如公式(5)_(6):
k = E [x] (5)
E k = E[(xlk) (xlk) ' )] (6) (2)线性判别分类器测试过程用于根据已经训练好每一个类别的概率统计模型， 以最大后验概率确定所述的待识别动作所属类别，给出最终识别结果，如公式(7):"argmax(尸(gh)尸(^卄 ge r
fc ( 7 J 在本实施例中，认为所有手势动作类别发生概率均等。 根据上面的分析，若待识别动作归属所述的短促动作分支，可以由手型分类器 2464给出握拳、伸掌、屈腕、伸腕、伸拇指和伸小指6个动作其中之一的结果。
进一步地，分类识别单元246还包括轨迹分类器2466，适用于对描述目标运动 轨迹的时序特征序列，可选择的分类算法包括隐马尔可夫模型(Hidden Markov Model, HMM)，有限状态机(Finite State Machine,FSM)和动态时间规整(Dynamic Time Warping， DTW)方法等。 综合考虑这些备选方法的分类性能和计算代价，优选地本实施例中可采用隐马尔 可夫模型分类器对上述长时动作分支中的10个数字手势动作进行识别，依据本发明实施 例中三轴加速度信号连续32点的信号特征序列。 具体地，隐马尔可夫模型分类器是识别序列信号一种非常有效的工具。每一个隐 马尔可夫模型代表一个随机过程，其输入为一组时间序列数据，也称为观测数据。输出为由 该模型评估输入数据给出的似然概率。 隐马尔可夫模型分类器具体包括训练和测试两个过程 (1)隐马尔可夫模型分类器训练过程用于为每一个类别建立随机过程模型A 。，用
10一组观测数据(0」(V 02， ... ， (U，优化模型参数，使得模型对该组观测数据给出的似然概 率尽可能大。在本实施例中模型的观测数据即为所述的三轴加速度信号连续32点的信号 特征序列= {0l， o2， . . . ， o32}。 具体的说，一个N状态的隐马尔可夫模型由三个变量描述A = (Ji ， A， B)，包括 模型的状态初始概率向量n = [^](1《i《N)、模型状态转移概率矩阵A二 [aij](l《i， j《N)和模型的状态观测概率B = [bj(o)] (1《j《N)，本实施例中可以采用混合高斯概 率分布函数的连续隐马尔可夫模型，其状态观测概率密度函数为(8)式~(o) = X(o; fc;、) }《
A:=l — 7 — ( 8 ) 其中，M为混合分量个数，Cjk为第j个状态的第k个混合分量的混合系数，N (O ; ;
E)是多维变量高斯分布概率密度函数，y和E分别为其均值和方差。 综合考虑到模型用于识别手势动作的效果和计算复杂性，本实施例中选择状态数 目N = 5，高斯混合分量数M = 3，每一个手势动作类用于训练的观测数据样本数量L = 10， 训练过程由标准的Baum-Welch算法完成。 (2)隐马尔可夫模型分类器测试过程用于估计待识别动作信号特征序列= {0l，
o2， . . . ， o32}对每一个类别的似然概率P，以每类模型输出的似然概率最大值确定待识别动
作所属类别，给出最终识别结果，如公式(9):
"arg ax尸(OJ义c)0^ 。)
上述测试过程的核心是计算每一个类别的似然概率P，由标准的前向-后向算法完成。 根据上面的分析，若待识别动作归属长时动作分支，可以由轨迹分类器2466给出 0-9十个数字动作其中之一的结果。 图9为本发明实施例的盲人用移动电话交互方案示意图，该交互方案在设计时主 要考虑到 (1)全部采用手势动作作为输入，交互方案例如都以图2所示实施例中定义的手 势动作集为例； (2)考虑到盲人用户对功能理解的便利性，所有功能全部按照多级选择菜单组织， 选择菜单全部采用一维上下排列的结构，用户用"伸拇指"手势和"伸小指"手势分别上下
移动菜单，"握拳"手势确认进入下一级，"伸掌"手势返回上一级或取消。
(3)全部采用语音播报作为输出，包括菜单当前选项标题，拨号时当前拨出的数字等。 (4)以移动电话软件的方式实现所有功能的交互控制，方便开发和升级扩展。
基于以上三点考虑，该交互方案具体由移动电话装置20的功能控制模块26根据 采集信号处理模块24输出的识别结果，以移动电话软件实现的方式，结合三类主要触发事 件处理移动电话为盲人用户提供的各类服务的交互控制，移动电话装置20还包括语音输 出模块(图中未显示)，用于根据对应功能的交互控制提供语音输出。例如，根据手势输入 对应的识别结果发出对应的语音提示，以方便盲人用户了解自己的手势输入是否成功或正
11确。
具体的说，所述的三类主要触发事件包括
来电话S41，用于处理手机来电话时的交互应用； 在本实施例中，来电话时系统通过语音提示来电者姓名或号码，用户可以用"握 拳"手势接听、"伸掌"手势拒绝和"伸腕"手势拒绝电话后打开预设短信菜单并用单个"数 字"手势选择内容回复，也可以用"伸拇指"和"伸小指"手势依次选择适合的短信内容并用 "握拳"手势确认回复。 来短信S42，用于处理手机收到短信息时的交互应用； 在本实施例中，来短信时系统通过语音提示来信者姓名或号码，用户可以用"伸小 指"手势启动短信内容语音播报、"握拳"手势回复电话、"伸掌"手势忽略和"伸腕"手势打 开预设短信菜单并用单个"数字"手势选择内容回复，也可以用"伸拇指"和"伸食指"手势 依次选择适合的短信内容并用"握拳"手势确认回复。 进一步地，所述交互方案的主要功能体现在功能菜单S43，处理盲人用户主动请求 移动电话提供的各类服务的交互控制。 在本实施例中，当手机系统处于桌面空闲状态时，用户执行"握拳"手势调出所述
的功能菜单，菜单按照列表排列各项功能选项。 具体的说，功能菜单S43包括 电话呼叫S431，用于为盲人用户提供有关呼叫通话求助的服务。 如图10所示，在本实施例中，所述的电话呼叫S431又具体包括以下菜单项 快捷拨号，用于为盲人用户拨打预设置的最常用的号码，比如家人、学校、居委会
等，快捷拨号可以包括IO个号码条目分别对应1、2.....9、0十个数字，既可以通过菜单浏
览选择拨号对象，也可以采用"数字手势"一次确定拨号目标。 公用号码，用于为盲人用户拨打社会公用号码，特指一些报警号码，如民警、火警等。 通话记录，用于查询历史通话记录，具体又包括已拨电话、未接来电、已接来电三 个菜单，每个菜单项又包括子菜单项，按时间排列具体的电话拨叫情况。 名片夹，用于查询手机中的所有号码，考虑到盲人用户使用手机的特殊性，名片夹
内容量较大时，逐一搜索菜单查询号码不方便，因此用名片夹查询号码不作为经常使用的
功能，故列在所述的电话呼叫之内，且推荐使用快捷拨号中记录的最常用号码。 进一步地，功能菜单S43还包括媒体播放S432，用于为盲人用户提供有关媒体播
放休闲娱乐的服务。 如图11所示，本实施例中，媒体播放S432又包括收听广播和音乐播放两个功能。
收听广播，用于收听AM或FM广播电台的节目，进入收听广播应用程序后，盲人用 户可以采用"屈腕"手势向前搜台、"伸腕"手势向后搜台、"伸拇指"手势调高音量和"伸小 指"手势调低音量。 音乐播放，用于按照预设定播放列表播放相关曲目，进入音乐播放应用程序后，盲 人用户可以采用"屈腕"手势向前跳曲、"伸腕"手势向后跳曲、"伸拇指"手势调高音量和"伸 小指"手势调低音量。 进一步地，功能菜单S43还包括信息查询S433，用于为盲人用户提供各类信息服务。 如图12所示，在本实施例中，所述的信息查询S433又包括以下菜单项
常用资讯，用于查询用户可能会感兴趣的资讯信息，如财经资讯、体育资讯、娱乐 资讯和天气资讯等。资讯信息可以按照类别编成不同级别的菜单条目，供用户索引。
GPS导航，用于为盲人提供户外导航服务，是针对盲人用户的一种非常实用的功 能，其设计特点主要表现在几个方面 (1)准确的户外GPS导航和实时语音播报可以为盲人出行提供诸多便利。结合手 机具有的导航功能，尽量为盲人用户外出行走提供更多的实时信息，以克服盲人用户因视 觉缺失造成的不方便。 (2)导航的地图更加注重盲人生活的城市部分，甚至是城区部分，而不用扩展到很 大范围，但地图的信息点应当比常规导航地图的更多，地图信息点建立上应更多的考虑盲 人用户的实用性。比如重点提示危险路口，障碍，沟渠或者卫生间和社区服务站等相关信 息。 (3)在导航路径搜索方面应更多考虑盲人行走时的客观限制。尽量避免具有立交 桥，危险路口等路径。 综合以上设计特点，具体的说，GPS导航功能具体包括 当前位置，用于为盲人用户实时播报当前位置，离出发点距离，距目标点距离等信 息，防止迷路。 周边洗手间，用于为盲人用户查询周边的洗手间的情况。并根据提供的周边信息， 以菜单显示，盲人用户选择目标作为导航引路。 周边服务站，用于为盲人用户查询周边的服务站的情况，以寻求社区工作人员的
帮助。并根据提供的周边信息，以菜单显示，盲人用户选择目标作为导航引路。 行程设置，用于设置导航目的地，以启用路径搜索，实时语音提示盲人用户抵达目的地。 也就是说，本实施例所述的行程设置主要包括对一些盲人常用地点的设置，如家、
学校、医院和超市等，以菜单方式供盲人用户选择，其中还包括取消当前行程的选项。 航迹设置，用于设置盲人用户行走航迹的记录方式。记录的航迹起到对盲人监护
的作用，可以供盲人的家属了解盲人的行踪，也可以为医生提供诊断信息。进一步地，信息查询S433还包括自定聚合内容(Really SimpleSyndication，
RSS)项，用于不定期通过互联网络提供给盲人用户预设定的感兴趣的更新内容。内容的选
择仍然以菜单方式，与上面的相同，不再赘述。 现在返回参考图l，根据功能菜单S43的相应内容，本发明实施例的移动电话装置 20还包括有GPS模块40，用于接收GPS卫星信号实现导航定位。此外，移动电话装置20通 过移动通信网络30，执行最主要的信息传输和交换，包含一切和手机相关的数据交换。
进一步地，还可以提供有蓝牙耳机50，用于为盲人用户提供语音输出的设备。相 应地，移动电话装置20的蓝牙接口 22还可以用于为相应的语音输出模块提供语音输出的 无线传输功能。移动电话装置20的普通键盘和LCD屏幕与常规手机相同，用于为盲人的家 属、社区工作人员、技术维护人员操作手机，从而为盲人用户配置其内部应用功能。
本发明所述技术方案中，采用手势动作作为移动电话的输入，实时语音播报作为
13移动电话输出，解决了盲人用户因无法看到常规手机键盘和显示屏而无法与手机交互的障 碍。盲人用户群体可几乎无障碍的使用手机，一方面使其真正融入信息社会的大家庭，以满 足盲人用户与外界进行沟通和信息交流的迫切需要；另一方面，结合手机多媒体功能和强 大的计算性能，为盲人提供更多更贴身的服务，尽量克服其因视觉缺失给生活带来的不方 便。 此外，本发明采用自然便携的手势动作输入指令操作手机等数码设备是盲人用户 的合适选择。进一步地，采用基于无线表面肌电传感器和加速度传感器的手势动作交互输 入方式具有明显的便利性，主要表现在 (1)可识别的动作种类多样基于表面肌电信号的人机交互系统通过肌电传感器 在相应肌群上采集到的表面肌电信号对不同手势动作进行识别，由于识别结果不但能反映 关节的伸屈状态和强度，还能实时反映手势完成过程中手的形状、姿势和运动信息，尤其在 精细手势动作识别方面具有独特的优势；基于加速计的人机交互系统通过检测手势运动中 的加速度信号对不同的手势动作识别，识别结果主要反映手势较大尺度动作在空中挥划的 轨迹和动作完成过程中手的摆姿与朝向信息。因此，有效融合两类传感器的信息可检测和 识别多种手势动作，可为多自由度的人机交互控制系统提供丰富的手势输入命令。
(2)传感器便携由于手指或手腕运动主要受到分布在手前臂的相关肌肉群控 制，可用于手势识别的表面肌电传感器通常放置在手前臂皮肤表面检测相关肌肉活动产生 的电信号。为了有效检测手势动作的朝向和轨迹，将加速度传感器放置在手前臂如靠近手 腕的位置。两类放置在手臂的传感器对手势动作的执行没有任何妨碍，令用户舒适无束缚 感。进一步地，无论表面肌电还是加速度传感器都具有集成度高、体积小、重量轻的优点， 如商业公司Delsys和Noraxon生产的三轴加速度传感器和每通道SEMG传感器尺寸都在 25mmX20mmX8mm之内，重量小于400g，非常便携。同时这两类传感器工作时无需外界参考 信号源或设备，具有易于穿戴，可以实现信号无线发射等优点，若嵌入到腕带、手表手镯等 饰品中，可获得非常高的用户接受度。 此外，采用本发明实施例的盲人手势输入方案具有极高的可定制性，盲人用户可 以采用自己更容易记忆和理解的手势动作作为输入手势，同时手势动作和指令功能的对应 关系也可以随用户调整，动作种类和功能都能非常轻易的扩展。相比固定的键盘结构只能 采用有限的按键这种常规方式，具有更好的灵活性。 本发明信号采集与发射装置可做成手表，腕带，衣服或其他饰物的形式，具有美观
性；蓝牙无线传输手势信号和语音播报信息，使得整个系统不用受到连接线的束缚；传感
器和蓝牙耳机都具有重量轻、体积小的优点，整个系统具有很高的隐藏性。 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以
理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换
和变型，本发明的范围由所附权利要求及其等同限定。
1权利要求
一种盲人用移动电话交互系统，其特征在于，所述交互系统包括信号采集与发射装置，设置在人手臂上，包括信号采集模块，用以采集基于手势动作产生的信号，其中所述手势动作用来作为盲人移动通讯的输入指令；模数转换模块，用于将所述采集信号进行模拟-数字转换；发射模块，与所述模数转换模块连接以发射已转换为数字信号的所述采集信号；移动电话装置，包括接收模块，用于接收所述采集信号；信号处理模块，将接收的所述采集信号进行手势识别处理；以及功能控制模块，用于根据所述识别结果提供各种功能的交互控制。
2. 如权利要求1所述的交互系统，其特征在于，所述信号采集模块包括若干个表面肌电传感器单元，用以基于手势动作采集人手臂的多通道表面肌电信号。
3. 如权利要求2所述的交互系统，其特征在于，所述信号采集模块还包括三轴加速度传感器单元，用以采集手势动作的加速度信号。
4. 如权利要求2或3所述的交互系统，其特征在于，所述发射模块为蓝牙发射模块，用于将已转换为数字信号的所述采集信号按照标准蓝牙协议进行无线发射；所述接收模块为蓝牙接收模块。
5. 如权利要求4所述的交互系统，其特征在于，所述信号处理模块包括活动段检测单元，用于从连续接收到的所述采集信号流中确定执行手势动作时期的活动段；特征提取单元，用于从所述采集信号中提取一组最有效的特征数据来描述所述活动段的信号；以及分类识别单元，用于根据所述特征数据确定手势动作的类别以给出所述识别结果。
6. —种信号采集与发射装置，其特征在于，所述装置设置在人手臂上并包括信号采集模块，用以采集基于手势动作产生的信号，其中所述手势动作用来作为盲人移动通讯的输入指令；模数转换模块，用于将所述采集信号进行模拟-数字转换；以及发射模块，与所述模数转换模块连接以无线发射已转换为数字信号的所述采集信号。
7. —种移动电话装置，其特征在于，所述移动电话装置包括接收模块，用于接收基于人手势动作采集的信号，其中所述手势动作用来作为盲人移动通讯的输入指令；信号处理模块，将接收的所述采集信号进行手势识别处理；以及功能控制模块，用于根据所述识别结果提供各种功能的交互控制。
8. 如权利要求7所述的移动电话装置，其特征在于，还包括语音输出模块，用于根据对应功能的交互控制提供语音输出。
9. 如权利要求7所述的移动电话装置，其特征在于，所述功能控制模块根据所述势识别结果，结合多种触发事件处理所述移动电话装置为盲人用户提供的各类服务的交互控制，所述触发事件包括来电话事件，用于处理所述移动电话装置来电时的交互应用；来短信事件，用于处理所述移动电话装置收到短信息时的交互应用；以及调出功能菜单，用于处理盲人用户主动请求所述移动电话装置提供的各类服务的交互控制，所述各类服务包括电话呼叫，用于为盲人用户提供有关呼叫通话求助的服务；媒体播放，用于为盲人用户提供有关媒体播放休闲娱乐的服务；信息查询，用于为盲人用户提供各类信息服务，包括为盲人提供的常用资讯、全球定位系统GPS户外导航和自定聚合内容。
全文摘要
本发明公开了一种盲人用移动电话交互系统，包括设置在人手臂上的信号采集与发射装置和移动电话装置。信号采集与发射装置包括用以采集基于手势动作产生信号的信号采集模块，其中所述手势动作用来作为盲人移动通讯的输入指令；将所述采集信号进行模拟-数字转换的模数转换模块；与所述模数转换模块连接以发射所述转换采集信号的发射模块。移动电话装置包括用于接收所述采集信号的接收模块；将接收的所述采集信号进行手势识别处理的信号处理模块；以及根据所述识别结果提供各种功能的交互控制的功能控制模块。本发明能够提供便于携带且高效交互的移动电话。
文档编号H04M1/247GK101741952SQ200910252098
公开日2010年6月16日 申请日期2009年12月10日 优先权日2009年12月10日
发明者张旭, 李云, 杨基海, 田建勋, 陈香 申请人:中国科学技术大学