一种基于人脸识别的表情输入方法和装置制造方法
【专利摘要】本发明公开了一种基于人脸识别的表情输入方法和装置，涉及输入法【技术领域】；所述方法包括：启动输入法；获取用户拍摄的照片；采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；基于情感标签与各主题中的表情的对应关系，分别获取所述情感标签的各主题的表情；将所述各主题的表情进行排序，并作为候选项在客户端进行展示。本发明可直接根据用户当前拍摄的照片，识别并匹配标签，方便用户输入表情，表情准确度高，并且为用户提供了丰富、广范围的表情资源。
【专利说明】一种基于人脸识别的表情输入方法和装置
【技术领域】
[0001] 本发明涉及输入法【技术领域】，具体涉及一种基于人脸识别的表情输入方法和装 置。
【背景技术】
[0002] 输入法是为将各种符号输入计算机或其他设备（如手机）而采用的编码方法。常 见的输入法包括搜狗输入法，微软输入法等等。
[0003] 传统的表情输入大致有几种情况：其一是平台本身具有表情输入模块，比如qq等 聊天工具嵌入的表情输入模块，其自带默认的输入表情，也可以安装第三方表情包，用户也 可以自定义图片资源作为表情，当用户输入表情时，点击表情的输入按钮，选择表情进行输 入，但是该种情况与输入法完全脱离，用户在输入过程中需要单独点击表情输入按钮，逐页 翻找并点击自己需要和喜欢的表情来完成输入过程；
[0004] 其二，是输入法自带简单的符号表情，当用户输入到相应字符时，比如（"哈哈"对 应的符号表情"〇( η _ η )〇?")，符号表情以候选项的形式供用户选择。单这种方法的候 选表情简单，无法给用户提供丰富多彩的表情输入。
[0005] 其三，是输入法提供加载的第三方表情包，提供用户表情输入的入口，当用户有需 求输入表情时，需要点击进入该应用程序表情输入的入口，然后在大量的表情资源中，逐页 翻找并点击自己需要或喜欢的表情完成输入过程。
[0006] 以按钮接口的形式嵌入在应用程序中，提供给用户进行表情输入，这种方法存在 多种问题：
[0007] 1.因为考虑到用户使用表情的操作成本，表情包制作方也会酌情精简表情内容， 这也从某种程度上制约了聊天表情的发展和广泛使用。
[0008] 2.大多数聊天工具只会提供默认表情。默认表情相对比较单调，更多丰富的多元 化的主题聊天表情资源可以有效提高与朋友聊天的好感度，但是为了使用这些表情，用户 需要经过很多网上操作步骤，从各种渠道获取表情包信息并将表情包下载到本地，有时还 需要进行手工加载才可以正常使用表情包。对于操作生疏或者没有足够耐心的用户，在网 络资源中成功获取并安装合适的表情包所花费的时间成本，可能会导致他们选择放弃。
[0009] 3.对于下载好的表情包，如果用户切换聊天平台等输入场景，表情包需要重新下 载或更新，用户的常用表情收藏信息也同样面临移植的问题。
[0010] 4.用户自己选择表情，可能由于选择界面过于复杂，表情选项过多，无法准确选中 与自己当前实际表情更相匹配的表情。
[0011] 上述过程输入的候选表情内容仅限于第三方制作好的表情包。若非特意整理，很 多明星人物、政治人物的夸张表情照片、GIF等多媒体资源并不能够及时的作为候选表情， 降低了用户的输入效率。
【发明内容】
[0012] 鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上 述问题的一种基于人脸识别的表情输入装置和相应的一种基于人脸识别的表情输入方法。
[0013] 依据本发明的一个方面，提供了一种基于人脸识别的表情输入方法，包括：
[0014] 启动输入法；
[0015] 获取用户拍摄的照片；
[0016] 采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签；
[0017] 基于情感标签与各主题中的表情的对应关系，分别获取所述情感标签的各主题的 表情；
[0018] 将所述各主题的表情进行排序，并作为候选项在客户端进行展示。
[0019] 根据本发明的另一方面，提供了一种基于人脸识别的表情输入装置，包括：
[0020] 启动t旲块，适于启动输入法；
[0021] 照片获取模块，适于获取用户拍摄的照片；
[0022] 情感标签确定模块，适于采用人脸表情识别模型确定所述照片中的面部表情对应 的情感标签；
[0023] 表情获取|吴块，适于基于情感标签与各主题中的表情的对应关系，分别获取所述 情感标签的各主题的表情；
[0024] 展示模块，适于将所述各主题的表情进行排序，并作为候选项在客户端进行展示。
[0025] 相对现有技术，本发明具有如下优点：
[0026] 本发明将各种来源的表情资源数据，利用语聊资源数据，比如聊天日志（如匿名 获取qq、微信等聊天工具有表情输入的聊天日志）、社区评论（如京东、大众点评等有表情 输入的评论内容）、社交内容（如qq空间、新浪微博、人人网等有表情输入的状态或评论 内容），对所有获取的表情资源数据进行分析，以构建情感标签与各主题中的表情的对应关 系。
[0027] 本发明通过输入法获得用户拍摄的照片，然后对获得的照片提取人脸表情特征， 再代入人脸表情识别模型以确定用户输入对应的情感标签，然后再根据构建的情感标签和 表情的对应关系，提取对应的表情作为候选项以供用户选择。
[0028] 上述过程中，
[0029] 其一，直接对用户拍摄的照片进行解析，利用构建的人脸表情识别模型，可精准的 匹配到当前用户的面部表情，避免用户在杂乱的大量的表情中选择表情而导致的可能选择 错误或者选择迟钝的情况，也加快了表情输入的效率；
[0030] 其二，上述过程是通过精确匹配用户表情输入需求，提高表情的使用效率，降低用 户在表情输入过程中翻找待输入的表情所花费的时间成本；
[0031] 其三，该种方式不用考虑表情包的制作成本和内容，可以任意发挥制作方的创造 力，降低对聊天表情的发展和广泛使用的制约；
[0032] 其四，由于本发明将各主题的表情进行集中分类处理，用户不用到处下载各主题 的表情包，降低用户寻找表情包的时间成本；
[0033] 其五，由于本发明的表情是输入法的候选项，用户在切换聊天平台等输入场景时， 不需要重新下载或更新表情包，也避免用户的常用表情收藏信息的移植问题；
[0034] 其六，本发明各主题的表情范围广，覆盖面积大，可以给用户提供更多、更丰富的 表情。
【专利附图】
【附图说明】
[0035] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明 的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0036] 图1示出了根据本发明一个实施例的一种基于人脸识别的表情输入方法的流程 示意图；
[0037] 图2示出了根据本发明一个实施例的情感标签与各主题中的表情之间的对应关 系的构建流程示意图；
[0038] 图3示出了根据本发明一个实施例的语聊资源示例；
[0039] 图4示出了根据本发明一个实施例的建情感识别模型的构建流程示意图；
[0040] 图4A示出了根据本发明一个实施例的根据情感标签的搜索结果示例；
[0041] 图4B示出了根据本发明一个实施例的从搜索结果中抽取人脸表情特征示例；
[0042] 图4C示出了根据本发明一个实施例的提取用户照片中的人脸表情特征示例；
[0043] 图5示出了根据本发明一个实施例的一种基于人脸识别的表情输入方法的流程 示意图；
[0044] 图6示出了根据本发明一个实施例的一种基于人脸识别的表情输入方法的流程 示意图；
[0045] 图7示出了根据本发明一个实施例的一种基于人脸识别的表情输入装置的结构 示意图；
[0046] 图8示出了根据本发明一个实施例的一种基于人脸识别的表情输入装置的结构 示意图；
[0047] 图9示出了根据本发明一个实施例的一种基于人脸识别的表情输入系统的结构 示意图。
【具体实施方式】
[0048] 下面将参照附图更详细地描述本公开的示例性实施例。
[0049] 本发明的核心思想之一是：本发明将收集的各种来源的表情资源数据，比如互联 网中各主题的表情包资源（如qq的阿狸、嘻哈猴、郭德纲真人夸张表情照片集等的表情 包）、第三方合作的表情包资源（输入法直接与卡通表情生产方进行合作并搭建获取流 程）、用户产生的自定义的表情内容（输入法直接开放接口是用户可以添加自定义表情并 共享）等表情资源数据，利用语聊资源数据，比如聊天日志（如匿名获取qq、微信等聊天工 具有表情输入的聊天日志）、社区评论（如京东、大众点评等有表情输入的评论内容）、社交 内容（如qq空间、新浪微博、人人网等有表情输入的状态或评论内容），对所有获取的表情 资源数据进行分析，按表情类别情感标签与各主题中的表情之间的对应关系，并利用情感 标签与各主题中的表情之间的对应关系构建人脸表情识别模型，然后即可在用户使用输入 法的过程中，直接对用户拍摄的照片中的面部表情进行分析和匹配，以直接提供表情候选 项给客户端，给用户提供更方便、更快捷、更丰富的表情输入。
[0050] 实施例一
[0051] 参照图1，其示出了本发明一种基于人脸识别的表情输入方法的流程示意图。
[0052] 在本发明实施例中，会预先构建情感标签与各主题中的表情的对应关系和人脸表 情识别模型。
[0053] 下面介绍建情感标签与各主题中的表情的对应关系的构建过程：
[0054] 步骤S100,根据收集的语聊资源数据和各主题的表情资源数据构建所述情感标签 与各主题中的表情之间的对应关系。
[0055] 本发明中，情感标签与各主题中的表情的对应关系可通过收集语聊资源数据和各 主题的表情资源数据，并利用语聊资源数据对表情资源数据进行分析得到。
[0056] 在本发明实施例中，可在线或线下构建情感标签与各主题中的表情之间的对应关 系。在本发明中各种来源的表情资源数据包括各种来源下的各种主题的表情资源数据。比 如阿狸、嘻哈猴、郭德纲等真人夸张表情照片集等主题表情包。
[0057] 在本发明实施例中，可以从不同的数据途径获取表情资源，比如网络中的各种主 题的表情资源（包括自定义主题的表情资源等）。然后利用语聊资源，也即利用海量用户在 实际的评论、聊天过程中输入文本内容时与其输入的表情的对应关系，通过对用户输入的 文本内容和与文本内容对应的表情，对表情资源中的各主题的表情进行分类，从而得到关 键词与表情资源中的各主题的表情的对应关系，该关键词即可作为情感标签与对应的表情 进行关联。
[0058] 优选的，参照图2,其示出了本发明优选的构建情感标签与各主题中的表情之间对 应关系的方法，即步骤S100包括：
[0059] 步骤S101，获取语聊资源数据和各主题的表情资源数据；所述语聊资源数据包括 第二表情及其对应的文本内容；
[0060] 本发明实施例可以从多个方面获取语聊资源数据，语聊资源数据是用户在聊天、 评论等过程中产生的数据，其可能在输入文字时输入与文字相关的表情，比如：聊天日志 (如获取qq、微信等聊天工具有表情输入的聊天日志，当然在获取时可将用户名等私人信 息进行匿名加密处理），社区评论（如京东、大众点评等有表情输入的评论内容），社交内容 (如qq空间、新浪微博、人人网等有表情输入的状态或评论内容）。那么本发明实施例则可 通过获取各种来源的语聊资源数据，以收集里面的文本内容和与该文本内容相关的第二表 情，以备后续分析。
[0061] 本发明也可从多个方面获取表情资源数据，比如：从互联网中获取各主题的表情 包资源（如qq的阿狸、嘻哈猴、郭德纲真人夸张表情照片集等主题表情包，用户通过自定义 表情接口添加的自定义表情包，该自定义表情包可以理解为自定义主题表情包），与第三 方合作，直接获取第三方合作的主题表情包资源（输入法直接与卡通表情生产方进行合作 并搭建获取流程）等。
[0062] 优选的，获得所述源表情资源数据之后还包括：将所述源表情资源数据中的表情 转换为统一系统平台下的标准格式的表情。
[0063] 由于获取的原始聊天表情资源与各个输入环境之间存在兼容性的问题，因此，需 要对各种渠道来源的表情制定标准，通过转换和转码，实现规格和编码在同一系统平台的 统一（即移动软件平台、PC软件平台均设立不同的标准）。
[0064] 步骤S102,结合所述语聊资源数据包括的对应第二表情的文本内容，对所述各主 题的表情资源数据中的每个第一表情分别进行分类，基于所述分类后的第一表情构建情感 标签与每个主题的各种表情之间的对应关系。
[0065] 在本发明实施例中，上述第一表情是从各种来源获取的各种主题表情资源中的表 情；第二表情是从各种来源获取的语聊资源中的表情。在本发明中，以各主题表包中的表情 为例，对各主题表情中的每个第一表情进行分类，将属于同一类别的不同主题的表情放入 一个表情类别中，比如微笑。
[0066]另外，在本发明中，会预先设置表情类别，比如微笑，大笑，冷笑等表情类别，每个 表情类别下会预先设置第二分类对应的关键词。分类时，以表情资源数据库中的第二表情 为分类的目标，结合语聊资源数据中对应第二表情的文本内容，和预先标注好的表情类别， 对表情资源数据库中的第一表情进行分类。
[0067] 优选的，所述结合所述语聊资源数据包括的对应第二表情的文本内容，对所述各 主题的表情资源数据中的每个第一表情分别进行分类，包括：
[0068] 子步骤S1021，根据所述语聊资源数据包括的第二表情及其文本内容，分别挖掘所 述表情资源数据中每个主题的各个第一表情各自对应的各第一关键词；
[0069] 在本发明实施例中，语聊资源数据中的第二表情基本上包含于表情资源数据中的 第二表情中，那么对于两者，可通过表情匹配获取第一表情的文本内容，从而可从所述文本 内容中挖掘第一表情的第一关键词。所述第一关键词为所述表情资源数据中第一表情对应 预置的标签文字。
[0070] 优选的，本子步骤S1021包括：
[0071] 子步骤All，使用符号匹配规则和图片内容判断规则从所述语聊资源数据中提取 所述第二表情和所述第二表情对应的文本内容；
[0072] 对于收集到的各种来源的语聊资源数据，其中可能存在大量没有与表情相关的文 本内容，那么本发明可通过符号匹配规则和图片内容判断规则从所述语聊资源数据中提取 第二表情和对应的文本内容。比如对于符号表情"则可通过符号匹配规则获取其前或 者其后出现的文本内容（比如聊天内容，或者评论内容等）；对于图片，则可通过图片内容 判断规则去判断图片是否为表情图片，如果是，则提取该图片之前和/或者之后的文本内 容。其中，图片内容判断规则采用通用的图片内容判断方法即可，本发明不对其加以限制， 比如通过预先对各种类别的表情图片，收集大量样本进行像素矩阵训练（训练方法可以采 用任意一种，本发明不对其加以限制），获得表情图片识别模型，那么对于语聊资源数据中 的图片表情，则可获取其像素矩阵，然后输入表情图片识别模型进行识别。
[0073] 子步骤A12,在所述各主题的表情资源数据中，分别将所述第一表情与提取的第二 表情进行匹配，匹配成功则分别将第一表情与第二表情的文本内容进行关联，并从所述文 本内容中挖掘各第一关键词与第一表情进行对应。
[0074] 具体的，本步骤将所述源表情资源数据中的第一表情与从所述语聊资源数据中提 取的第二表情进行匹配。即在本发明实施例中，在提取了第二表情及其对应的文本内容后， 那么即可将第二表情和各主题的表情资源数据中的第一表情进行匹配，该匹配可以是一一 匹配，也可以是模糊匹配（即对相似度高于阈值的图片也进行匹配）。
[0075] 然后，对于匹配上的第一表情，则将其与第二表情对应的文本内容进行关联，并从 所述文本内容中挖掘各第一关键词。
[0076] 子步骤S1022,根据所述第一关键词和预置的对应每个表情类别的各第二关键词， 对所述各第一表情分别进行分类。
[0077] 在本发明实施例中，会预置各种表情类别，可通过结合人工标注的方法，确定所有 的标志性的明确细分的表情类别（包括微笑、哈哈大笑、猥琐的笑等等），在每个表情类别 下会设置与该类别强相关的各第二关键词。
[0078] 然后即可针对第一表情的各关键词和预置的每个表情类别下的各第二关键词，对 各个第一表情进行分类。
[0079] 优选的，所述子步骤S1022包括：
[0080] 子步骤A13,针对匹配上的各第一表情，基于每个表情类别下的各第二关键词，以 该第一表情下的各第一关键词进行情感分类预测，确定所述第一表情的表情类别；
[0081] 在本发明实施例中，使用通用的情感分析分类的方法，基于第一表情下面的第一 关键词进行预测，以对第一表情进行分类，从而确定每个表情的所属类别。情感分析分类 方法原理大致为：利用每个类别的标注样本训练分类器，比如利用朴素贝叶斯方法（Naive Bayes，NB)构建分类器，然后针对每个分类对象的分类特征（在本发明实施例中，第一表情 为分类对象，相应第一关键词即为分类特征）利用所述分类器进行识别。在本发明实施例 中，对各个类别表情类别分别对应一个情感分值，比如大笑为+5,微笑+4,猥琐的笑+3等， 分别与分类器的分类结果对应。
[0082] 子步骤A14,针对未匹配上的各第一表情，基于每个表情类别下的各第二关键词， 将所述第一表情标注为具体的表情类别。
[0083] 而对于表情资源数据中的未匹配上的各第一表情，即没有文本内容以挖掘第一关 键词的第一表情，本发明可以通过标注指派到具体的表情分类。
[0084] 再分类完毕后，根据各表情所属类别的关键词以及挖掘的关键词与表情的对应关 系，将各表情所属类别的关键词以及挖掘的关键词作为该表情的情感标签。
[0085] 优选的，所述基于所述分类后的第一表情构建情感标签与每个主题的各种表情之 间的对应关系包括：
[0086] 子步骤S1023,针对每个主题的第一表情，将其对应的第一关键词和第二关键词合 并为所述第一表情的情感标签，从而获得情感标签与每个主题中的表情的对应关系。
[0087] 在本发明实施例中，可将分析得到的每个第一表情的第一关键词和第二关键词合 并为该第一表情的情感标签，那么即可获得情感标签与每个主题中的表情的对应关系。
[0088] 在其他实施例中，所述情感标签与各主题中的表情之间的对应关系可通过：
[0089] 步骤S103,根据所述情感标签的近义词和所述近义词分别在各主题中的对应表情 的构建所述情感标签与各主题中的表情之间的对应关系。
[0090] 所述情感标签的近义词和所述近义词分别在各主题中的对应表情的进行构建。通 过预置的词典查找所述情感标签的近义词，将各近义词分别在各主题的表情包中进行检 索，获取各近义词分别对应的表情，从而得到所述情感标签与各主题的表情的对应关系。
[0091] 比如，预先针对每一个表情类别选定一个基础的情感标签，然后针对每个类别的 基础的情感标签，通过查询预置的词典，获得该基础情感标签的近义词，然后基于每个近义 词获取各主题的表情资源中对应的表情，那么即可以该基础的情感标签对应到不同近义词 的表情。
[0092] 当然，本发明还可以人工配置情感标签和表情之间的对应关系。即选择情感标签， 然后人工将各主题中的相应表情与该情感标签对应。
[0093] 优选的，在合并之前，还包括：根据语聊资源数据中对各第一关键词的使用频率， 对各第一关键词进行筛选，将筛选后的第一关键词和第二关键词合并为该第一表情的标签 词汇。
[0094] 即将使用频率大于阈值的第一关键词保留，然后和第二关键词合并为该第一表情 的标签词汇。当然，对于不存在第一关键词的第一表情，直接采用第二关键词作为该第一表 情的标签词汇。
[0095] 优选的，在合并之前，可对类别关键词进行优化，即将某一类别下的所有的表情的 第一关键词和初始确定的第二关键词进行汇总，将在语聊资源数据中词频大于阈值的各关 键词作为最终的第二关键词。
[0096] 当然，还可将各表情情感标签进行汇总，构建索引；所述索引为各情感标签到表情 的对应关系。
[0097] 本步骤可优化类别的关键词，使其更精准。
[0098] 下面以一个实际例子一说明上述过程：
[0099] 1，从微博默认表情，我们知道"V5"这个符号是一种表情。
[0100] 2,从新浪微博获取带有表情图片的微博。例如，网友称赞李娜获得澳网冠军的微 博。参照图3。
[0101] 3,利用微博数据接口获得诸如此类的微博内容，利用原始表情数据库的内容记 录，可以将微博识别成文字部分"李娜实在是太棒了！骄傲！"和表情"V5"以及李冰冰微 博的文字部分"你是我们李家的骄傲……"和表情"V5"。于是，这两段文字都可以作为表 情"V5"的描述文字。抽取其中的形容词，可以发现"骄傲"出现了 2次，"太棒了"出现了 1 次。提取其中的高频词汇可知，"骄傲"是所有类似微博所表达的核心情感的文字。因此， 可以建立文字"骄傲"和表情"V5"之间的关系，并存入表情标签关系库。同理，更多包含表 情"V5"的微博内容集中在一起可以获得"V5"表情的描述关键词集合。那么即可将V5的 关键词作为其情感标签，即得到情感标签和表情的对应关系。
[0102] 下面介绍人脸表情识别模型构建过程：
[0103] 在本发明中可根据情感标签与各主题中的表情之间的对应关系中的情感标签构 建情感识别模型，参照图4,可包括 ：
[0104] 步骤S201，针对每种表情类别，以所述表情类别下对应的情感标签检索各人脸表 情图片；
[0105] 在如述步骤中构建了情感标签和表情的对应关系后，其各情感标签对应一个表情 类别，那么本发明以一个表情类别为单位，提取该表情类别下的各情感标签，输入搜索引擎 搜索人脸表情图片。当然，本发明实施例中对如述获得的情感标签和表情之间的对应关系 还可进行人工标注整理和标注，确定所有情感的细分标签，及其确定的表情样例，比如高 兴、哈哈大笑、得瑟等等。然后以整理后的情感标签作为查询词去搜索引擎检索人脸表情图 片。
[0106] 优选的，所述步骤S201包括：
[0107] 子步骤B11，针对每种表情类别，以所述表情类别下的情感标签检索各图片；
[0108] 比如，获取到前述情感标签后，以微笑类别的情感标签"微笑"，在搜狗图片和百度 图片等图片垂直搜索中分别查询微笑，获得大量的照片或者图片资源。
[0109] 子步骤B12,针对所述各图片，过滤非人脸的图片。
[0110] 优选的，子步骤B12包括：
[0111] 子步骤B121，将各图片进行灰度的归一化；
[0112] 比如将大于阈值的灰度归一化为黑，小于阈值的灰度归一化为白。
[0113] 子步骤B122,使用预置的Haar分类器对训练数据图片的人脸进行检测，过滤非人 脸的图片。
[0114] 本步骤使用事先训练好的Haar分类器对训练数据图片的人脸进行检测。过滤没 有人脸的图片，保留人脸表情图片。
[0115] 其中，Haar分类器算法的要点如下：
[0116] ①使用Haar-like特征做检测。
[0117] ②使用积分图（Integral Image)对Haar-like特征求值进行加速。
[0118] ③使用AdaBoost算法训练区分人脸和非人脸的强分类器。
[0119] ④使用筛选式级联把强分类器级联到一起，提高准确率。
[0120] 其中，Haar-like特征应用于人脸表示，分为3种类型4种形式的特征：1类：边缘 特征，2类：线性特征，3类：中心特征和对角线特征。Haar特征值反映了图像的灰度变化情 况。例如：脸部的一些特征能由矩形特征简单的描述，如：眼睛要比脸颊颜色要深，鼻梁两 侧比鼻梁颜色要深，嘴巴比周围颜色要深等。以上述的特征组合成特征模板，特征模板内有 白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。通 过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。上图的特征模板称 为"特征原型";特征原型在图像子窗口中扩展（平移伸缩）得到的特征称为"矩形特征"； 矩形特征的值称为"特征值"。矩形特征可位于图像任意位置，大小也可以任意改变，所以矩 形特征值是矩形模版类别、矩形位置和矩形大小这三个因素的函数。
[0121] 本发明可通过如下过程训练Haar分类器：
[0122] 首先训练弱分类器：
[0123]
【权利要求】
1. 一种基于人脸识别的表情输入方法，其特征在于，包括： 启动输入法； 获取用户拍摄的照片； 采用人脸表情识别模型确定所述照片中的面部表情对应的情感标签； 基于情感标签与各主题中的表情的对应关系，分别获取所述情感标签的各主题的表 情； 将所述各主题的表情进行排序，并作为候选项在客户端进行展示。
2. 如权利要求1所述的方法，其特征在于，所述情感标签与各主题中的表情之间的对 应关系通过以下步骤构建： 根据收集的语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题的表 情之间的对应关系； 或者根据所述情感标签的近义词和所述近义词分别在各主题对应的表情构建所述情 感标签与各主题的表情之间的对应关系。
3. 如权利要求2所述的方法，其特征在于，所述根据收集的语聊资源数据和各主题的 表情资源数据构建所述情感标签与各主题的表情之间的对应关系包括： 获取语聊资源数据和各主题的表情资源数据；所述语聊资源数据包括第二表情及其对 应的文本内容； 结合所述语聊资源数据包括的对应第二表情的文本内容，对所述各主题的表情资源数 据中的每个第一表情分别进行分类，基于所述分类后的第一表情构建情感标签与每个主题 的各种表情之间的对应关系。
4. 如权利要求3所述的方法，其特征在于，所述结合所述语聊资源数据包括的对应 第二表情的文本内容，对所述各主题的表情资源数据中的每个第一表情分别进行分类，包 括： 根据所述语聊资源数据包括的第二表情及其文本内容，分别挖掘所述表情资源数据中 每个主题的各个第一表情各自对应的各第一关键词； 根据所述第一关键词和预置的对应每个表情类别的各第二关键词，对所述各第一表情 分别进行分类。
5. 如权利要求4所述的方法，其特征在于，根据所述语聊资源数据包括的第二表情及 其文本内容，分别挖掘所述表情资源数据中每个主题的各个第一表情对应的各第一关键 词，包括： 使用符号匹配规则和图片内容判断规则从所述语聊资源数据中提取所述第二表情和 所述第二表情对应的文本内容； 在所述各主题的表情资源数据中，分别将所述第一表情与提取的第二表情进行匹配， 匹配成功则分别将第一表情与第二表情的文本内容进行关联，并从所述文本内容中挖掘各 第一关键词与第一表情进行对应。
6. 如权利要求4所述的方法，其特征在于，所述根据所述第一关键词和预置的每个表 情类别下的各第二关键词，对所述各第一表情分别进行分类，包括 ： 针对匹配上的各第一表情，基于每个表情类别下的各第二关键词，以该第一表情下的 各第一关键词进行情感分类预测，确定所述第一表情的表情类别； 针对未匹配上的各第一表情，基于每个表情类别下的各第二关键词，将所述第一表情 标注为具体的表情类别。
7. 如权利要求4所述的方法，其特征在于，所述基于所述分类后的第一表情构建情感 标签与每个主题的各种表情之间的对应关系包括： 针对每个主题的第一表情，将其对应的第一关键词和第二关键词合并为所述第一表情 的情感标签，从而获得情感标签与每个主题中的表情的对应关系。
8. 如权利要求1所述的方法，其特征在于，所述人脸表情识别模型通过以下步骤构建： 针对每种表情类别，以所述表情类别下对应的情感标签检索各人脸表情图片； 针对每张人脸表情图片，提取人脸表情特征； 以各人脸表情特征和对应的表情类别训练人脸表情识别模型。
9. 如权利要求8所述的方法，其特征在于，所述采用人脸表情识别模型确定所述照片 中的人脸对应的情感标签包括： 从所述照片中提取人脸对应的表情特征，采用人脸表情识别模型对于所述表情特征进 行分类； 根据分类的到的表情类别获取对应的情感标签。
10. 如权利要求1所述的方法，其特征在于，所述将所述各主题的表情进行排序包括： 针对每个表情类别的各第一表情，根据所述第一表情在语聊资源数据中的出现次数和 /或用户的个性化信息对相应候选项进行排序。
11. 一种基于人脸识别的表情输入装置，其特征在于，包括： 启动模块，适于启动输入法； 照片获取模块，适于获取用户拍摄的照片； 情感标签确定模块，适于采用人脸表情识别模型确定所述照片中的面部表情对应的情 感标签； 表情获取模块，适于基于情感标签与各主题中的表情的对应关系，分别获取所述情感 标签的各主题的表情； 展示模块，适于将所述各主题的表情进行排序，并作为候选项在客户端进行展示。
12. 如权利要求11所述的方法，其特征在于，还包括关系构建模块，适于根据收集的 语聊资源数据和各主题的表情资源数据构建所述情感标签与各主题的表情之间的对应关 系； 或者根据所述情感标签的近义词和所述近义词分别在各主题对应的表情构建所述情 感标签与各主题的表情之间的对应关系。
13. 如权利要求12所述的装置，其特征在于，所述关系构建模块包括： 资源获取模块，适于获取语聊资源数据和各主题的表情资源数据；所述语聊资源数据 包括第二表情及其对应的文本内容； 第一构建模块，适于结合所述语聊资源数据包括的对应第二表情的文本内容，对所述 各主题的表情资源数据中的每个第一表情分别进行分类，基于所述分类后的第一表情构建 情感标签与每个主题的各种表情之间的对应关系。
14. 如权利要求11所述的装置，其特征在于，还包括人脸表情识别模型构建模块，所述 人脸表情识别模型构建模块具体包括： 图片获取模块，适于针对每种表情类别，以所述表情类别下对应的情感标签检索各人 脸表情图片； 表情特征提取|吴块，适于针对每张人脸表情图片，提取人脸表情特征； 模型训练模块，适于以各人脸表情特征和对应的表情类别训练人脸表情识别模型。
15.如权利要求11所述的装置，其特征在于，所述展示模块包括： 排序模块，适于针对每个表情类别的各第一表情，根据所述第一表情在语聊资源数据 中的出现次数和/或用户的个性化信息对相应候选项进行排序。
【文档编号】G06F3/023GK104063683SQ201410251411
【公开日】2014年9月24日 申请日期:2014年6月6日 优先权日:2014年6月6日
【发明者】顾思宇, 刘华生, 张阔 申请人:北京搜狗科技发展有限公司