使用唇语识别技术进行电话拨号的方法和装置制造方法
【专利摘要】本发明公开了一种使用唇语识别技术进行电话拨号的方法和装置，涉及移动终端应用领域。本发明利用唇语识别技术，将用户的唇语翻译为用户拨号信息，然后根据用户拨号信息完成电话呼出功能，这种使用唇语识别技术进行电话拨号的技术不同于传统拨号方式，可以为用户提供全新的体验，并且拨号效果不受噪杂环境的影响，可以适用于不能发出声音的特定人群以及上肢行动不便的特定人群，为这些特定人群提供人道主义便利，从而增加用户的黏着性，为运营商提供差异化营销、发展和保留用户资源的有效手段。
【专利说明】使用唇语识别技术进行电话拨号的方法和装置
【技术领域】
[0001] 本发明涉及移动终端应用领域，特别涉及一种使用唇语识别技术进行电话拨号的 方法和装置。
【背景技术】
[0002] 电话拨号功能是手机等移动终端经常使用的基本功能之一。传统的电话拨号方式 包括键盘按键式拨号、触摸菜单式拨号、语音识别拨号等方式。
[0003] 传统的电话拨号方式对于特定场景、或者特定人群来说不能实使用或效果较差。 例如，语音识别拨号方式在噪杂环境下语音识别率差，不能发出声音的特定人群甚至无法 使用语音识别拨号方式。再例如，对于上肢残障人士、自理能力差的老人等特殊人群，无法 使用键盘按键式拨号或触摸菜单式拨号。
[0004] 另外，传统的电话拨号方式给用户千篇一律的体验，感知度较差，用户黏着性较 差。
[0005] 鉴于以上原因，有必要提出一种实用的、有特色的通信技术，可以适用于特定场景 或特定人群，增加用户的黏着性，为运营商提供差异化营销、发展和保留用户资源的有效手 段。
【发明内容】
[0006] 本发明实施例所要解决的一个技术问题是：提出一种实用的、有特色的电话拨号 方式。
[0007] 根据本发明实施例的一个方面，提出一种使用唇语识别技术进行电话拨号的方 法，包括：捕捉用户的唇部运动，利用唇语识别技术，将用户的唇语翻译为用户拨号信息； 根据用户拨号信息完成电话呼出功能。
[0008] 其中，用户拨号信息可以包括呼叫指令、以及被叫用户的数字号码或通讯录名 单；
[0009] 则根据用户拨号信息完成电话呼出功能包括：当识别出用户通过唇语发出被叫用 户的数字号码或通讯录名单、并且发出拨打指令时，将被叫用户号码发送到移动通信网完 成对被叫用户的呼叫。
[0010] 所述唇语识别技术包括：
[0011] 通过摄像头采集用户的唇部图像，从唇部图像中提取唇部运动视觉特征；
[0012] 将提取的唇部运动视觉特征与唇语特征库中存储的唇语特征进行匹配；
[0013] 如果找到匹配的唇语特征，输出该匹配的唇语特征所对应的唇语内容。
[0014] 其中，唇语特征库包括唇语共性特征库和唇语个性特征库。
[0015] 该方法还包括：对用户个性化唇语进行记忆式训练，将用户个性化唇语的唇语特 征以及对应的唇语内容保存到唇语个性特征库。
[0016] 根据本发明实施例的另一方面，提出一种使用唇语识别技术进行电话拨号的装 置，包括：唇语识别模块，用于捕捉用户的唇部运动，利用唇语识别技术，将用户的唇语翻译 为用户拨号信息；通信模块，用于根据用户拨号信息完成电话呼出功能。
[0017] 其中，用户拨号信息包括呼叫指令、以及被叫用户的数字号码或通讯录名单；则通 信模块，具体用于当识别出用户通过唇语发出被叫用户的数字号码或通讯录名单、并且发 出拨打指令时，将被叫用户号码发送到移动通信网完成对被叫用户的呼叫。
[0018] 该装置还包括：唇语训练模块，用于对用户个性化唇语进行记忆式训练，将用户个 性化唇语的唇语特征以及对应的唇语内容保存到唇语个性特征库。
[0019] 本发明利用唇语识别技术，将用户的唇语翻译为用户拨号信息，然后根据用户拨 号信息完成电话呼出功能，这种使用唇语识别技术进行电话拨号的技术不同于传统拨号方 式，可以为用户提供全新的体验，并且拨号效果不受噪杂环境的影响，可以适用于不能发出 声音的特定人群以及上肢行动不便的特定人群，为这些特定人群提供人道主义便利，从而 增加用户的黏着性，为运营商提供差异化营销、发展和保留用户资源的有效手段。
[0020] 通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其 优点将会变得清楚。
【专利附图】
【附图说明】
[0021] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。
[0022] 图1为本发明使用唇语识别技术进行电话拨号的方法一个实施例的流程示意图。
[0023] 图2为唇语识别技术一个实施例的流程示意图。
[0024] 图3为本发明种使用唇语识别技术进行电话拨号的装置一个实施例的结构示意 图。
[0025] 图4为本发明种使用唇语识别技术进行电话拨号的装置另一个实施例的结构示 意图。
【具体实施方式】
[0026] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下 对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使 用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例，都属于本发明保护的范围。
[0027] 近年来，面部识别与口型识别技术不断发展，随着智能手机的普及，前置摄像头已 成为移动终端的主流配置，因此，本发明提出一种使用唇语识别技术进行电话拨号的技术。
[0028] 图1为本发明使用唇语识别技术进行电话拨号的方法一个实施例的流程示意图。
[0029] 如图1所示，本实施例包括以下步骤：
[0030] 步骤S101，捕捉用户的唇部运动，利用唇语识别技术，将用户的唇语翻译为用户拨 号信息；
[0031] 步骤S102,根据用户拨号信息完成电话呼出功能。
[0032] 其中，用户拨号信息包括：呼叫指令、以及被叫用户的数字号码或通讯录名单等。 呼叫指令例如包括"删除"、"拨打"、"放弃"、"回退"等指令。
[0033] 则步骤S102根据用户拨号信息完成电话呼出功能的一种实施方式具体可以包 括：
[0034] 当识别出用户通过唇语发出被叫用户的数字号码或通讯录名单、并且发出拨打指 令时，将被叫用户号码发送到移动通信网完成对被叫用户的呼叫。
[0035] 例如，用户通过唇语发出"打电话"的指令，手机等移动终端利用唇语识别技术翻 译出"打电话"的指令，根据该指令跳转到拨号功能界面，然后用户通过唇语可以发出被叫 用户的数字号码或者被叫用户在通讯录中的名字；如果用户通过唇语发出被叫用户的数字 号码，例如" 120"，则用户每发出一个数字，手机等移动终端利用唇语识别技术翻译出该数 字，并可以将识别出的数字显示在拨号功能区域，如果识别错误，用户还可以发出"删除"指 令，等待用户发出的所有数字号码都被正确识别之后，用户可以发出"拨打"指令，移动终端 利用唇语识别技术翻译出"拨打"指令，将识别出的被叫用户号码发送到移动通信网完成对 被叫用户的呼叫；如果用户通过唇语发出被叫用户在通讯录中的名字，移动终端利用唇语 识别技术翻译出该名字，然后在通讯录中查找该名字，如果查找到该名字，将该名字以及相 应的电话号码显示给用户，然后用户发出"拨打"指令，移动终端利用唇语识别技术翻译出 "拨打"指令，将该名字对应的被叫用户号码发送到移动通信网完成对被叫用户的呼叫。
[0036] 下面对步骤S101中唇语识别技术进行说明。
[0037] 图2为唇语识别技术一个实施例的流程示意图。如图2所示，唇语识别技术一种 示例性实施方式为：
[0038] 步骤S201，通过摄像头采集用户的唇部图像，从唇部图像中提取唇部运动视觉特 征；
[0039] 步骤S202,将提取的唇部运动视觉特征与唇语特征库中存储的唇语特征进行匹 配；其中，唇语特征库中存储有唇语特征及其对应的唇语内容；
[0040] 步骤S203,如果找到匹配的唇语特征，输出该匹配的唇语特征所对应的唇语内容。
[0041] 唇语特征库可以包括唇语共性特征库和唇语个性特征库。唇语个性特征库支持普 通话，外语、上海、广东等方言的口型。唇语个性特征库中存储的内容可以通过训练方式得 至IJ，即对用户个性化唇语进行记忆式训练，将用户个性化唇语的唇语特征以及对应的唇语 内容保存到唇语个性特征库。
[0042] 在进行唇语识别时，可以基于卷积虚拟静电场Snake模型的唇形跟踪算法或其他 算法对唇部图像上的唇部轮廓进行定位，得到唇部轮廓曲线，从唇部轮廓曲线中可以获取 唇部几何特征向量，并且为了弥补唇形差异和图像缩放比例差异，可以对唇部几何特征向 量做归一化操作，得到归一化的唇部几何特征向量，以此为基础构造唇部运动特征向量。 [0043] 由于空气温湿度、嘴唇附近皮肤角质层病变、某些唇膏唇彩修饰效果、胡须等外物 遮挡、摄像头聚焦景深与角度等客观环境参数的变化，可能导致唇部运动轨迹识别困难，同 一个体采集数据库和样本库对比差异较大的情况。因此，为提高识别的鲁棒性，例如保证 95%的运动轨迹特征识别率与3%误采集率，本发明提出最低可接受的唇部图像的灰度变化 与最低像素值，保证唇部运动轨迹可以被度量、被监测，然后进行有效的函数变换。
[0044] 唇部检测的基本步骤如下：
[0045] 图像分割：在人脸几何特征识别基础上，进行唇部特征区域定位与截图；
[0046] 图像配准：对唇部截图部分进行选择性地图像压缩，例如将唇部区域缩小为 16X8的尺寸，总共128像素，去除唇部截图部分的细节，只保留结构、明暗等基本信息，摒 弃不同CCD (电荷耦合元件）成像像素、不同比例带来的图片差异；
[0047] 色彩简化：转换为灰度图像，例如可以将此区域转为最多64级灰度，处理图像的 像素点最高64种颜色。
[0048] 然后，通过核函数将一维映射到高维的数学空间进行可视化处理，即在T周期内 根据一组像素轨迹变化的输入值，经过类似神经一样的转换与隐含层参数修正，得到输出 特征值意义范围。比如普通话数字"1"，通过捕捉5?8帧唇部运动轨迹判此运动向量值。 [0049] 唇语特征向量的提取，包括：关键点提取，运动轨迹向量，用于识别的正向传播模 型，用于唇语训练的反向传播模型等技术关键点。
[0050] 其中，关键点提取是针对唇部嘴唇、牙齿、舌尖等灰度与周边区域对比差异的像 素，在缩小截图尺寸过程使用改进的高斯模糊算法，将涉及唇部运动的特定区域像素保留 或增强，将其他非敏感区域的像素点与周边八个像素点合并，不占用过多的处理空间。
[0051] 其中，唇部运动轨迹向量举例：
[0052] 1)比较唇部区域图像，得到同一像素点在前后两帧间的坐标变化值：A(Xi， yi)， B(xi+1,yi+1)；
[0053] 2)计算两个像素点在水平和坚直方向的距离
【权利要求】
1. 一种使用唇语识别技术进行电话拨号的方法，包括： 捕捉用户的唇部运动，利用唇语识别技术，将用户的唇语翻译为用户拨号信息； 根据用户拨号信息完成电话呼出功能。
2. 根据权利要求1所述的方法，其特征在于，所述用户拨号信息包括呼叫指令、以及被 叫用户的数字号码或通讯录名单； 所述根据用户拨号信息完成电话呼出功能包括： 当识别出用户通过唇语发出被叫用户的数字号码或通讯录名单、并且发出拨打指令 时，将被叫用户号码发送到移动通信网完成对被叫用户的呼叫。
3. 根据权利要求1所述的方法，其特征在于，所述唇语识别技术包括： 通过摄像头采集用户的唇部图像，从唇部图像中提取唇部运动视觉特征； 将提取的唇部运动视觉特征与唇语特征库中存储的唇语特征进行匹配； 如果找到匹配的唇语特征，输出该匹配的唇语特征所对应的唇语内容。
4. 根据权利要求3所述的方法，其特征在于，所述唇语特征库包括唇语共性特征库和 唇语个性特征库。
5. 根据权利要求3所述的方法，其特征在于，所述方法还包括： 对用户个性化唇语进行记忆式训练，将用户个性化唇语的唇语特征以及对应的唇语内 容保存到唇语个性特征库。
6. -种使用唇语识别技术进行电话拨号的装置，包括： 唇语识别模块，用于捕捉用户的唇部运动，利用唇语识别技术，将用户的唇语翻译为用 户拨号信息； 通信模块，用于根据用户拨号信息完成电话呼出功能。
7. 根据权利要求6所述的装置，其特征在于，所述用户拨号信息包括呼叫指令、以及被 叫用户的数字号码或通讯录名单； 所述通信模块，具体用于当识别出用户通过唇语发出被叫用户的数字号码或通讯录名 单、并且发出拨打指令时，将被叫用户号码发送到移动通信网完成对被叫用户的呼叫。
8. 根据权利要求6所述的装置，其特征在于，所述唇语识别模块中的唇语识别技术包 括： 通过摄像头采集用户的唇部图像，从唇部图像中提取唇部运动视觉特征； 将提取的唇部运动视觉特征与唇语特征库中存储的唇语特征进行匹配； 如果找到匹配的唇语特征，输出该匹配的唇语特征所对应的唇语内容。
9. 根据权利要求8所述的装置，其特征在于，所述唇语特征库包括唇语共性特征库和 唇语个性特征库。
10. 根据权利要求8所述的装置，其特征在于，所述装置还包括： 唇语训练模块，用于对用户个性化唇语进行记忆式训练，将用户个性化唇语的唇语特 征以及对应的唇语内容保存到唇语个性特征库。
【文档编号】G10L15/24GK104219371SQ201310211674
【公开日】2014年12月17日 申请日期:2013年5月31日 优先权日:2013年5月31日
【发明者】黄挺, 孙隆 申请人:中国电信股份有限公司