一种可自定义的智能咨询平台生成系统的制作方法
【专利摘要】本发明提供一种可自定义的智能咨询平台生成系统，包括：三维数字人建模单元、存储单元、汉语问答引擎单元、汉语问答背景去噪单元、虚拟人驱动引擎、虚拟人展示单元、多媒体数据库、数字多媒体展示单元、多媒体数据库管理单元、多媒体数据库管理子单元、云数据库单元、远程客户端等，该系统应用广泛、触摸式人机交互因其界面友好、操作简单、体验性强。
【专利说明】一种可自定义的智能咨询平台生成系统
【技术领域】
[0001] 本发明涉及一种可自定义智能咨询平台生成系统，涉及自然语言理解、三维动画、 虚拟现实、语音识别等多个学科领域。
【背景技术】
[0002] 随着信息科学和计算机技术的飞速发展与普及，信息资源逐步走向数字化。人们 信息咨询的方式已不是传统意义上的人与人之间的交流，用机器代替人的人机交流亦成为 信息咨询的必然选择。利用计算机合成生动活泼的虚拟人像，并辅之以丰富、自然的语言、 表情及口型等人类习惯的自然方式与人们进行交流，这无疑会使人机交互更人性化。
[0003] 本发明结合自然语言理解技术和3D动画技术研究3D虚拟人智能咨询技术，使虚 拟人能够用自然语言与用户问答交流，并能在交流过程中根据情绪语义模仿人的表情及口 型，该发明分为智能语言理解问答、真实感面部表情动画合成算法和语音与口型动画同步 匹配算法三个部分，涉及自然语言理解、三维动画、虚拟现实、语音识别等多个学科领域，同 时，伴随智能手机的应用与普及，物联网概念和智慧城市建设的推进，以及自助终端在各行 业的广泛应用，触摸式人机交互因其界面友好、操作简单、体验性强等，得到越来越多用户 的青睐。
【发明内容】
[0004] 本发明的目的在于克服现有技术的不足，提供一种可自定义的智能咨询平台生成 系统，包括：
[0005] 三维数字人建模单元，用于构造虚拟人模型，进行人体建模和显示，并建立人体的 各种运动库；
[0006] 存储单元，用于存储三维数字人建模单元构造的虚拟人模型和建立的人体的各种 运动库数据；
[0007] 汉语问答引擎单元，用于汉语语言交互问答，用户输入的问题文本进入该引擎，该 引擎智能搜索数据库中问题集并反馈找到问题对应的文本答案，同时将语义传递给数字人 驱动引擎；
[0008] 汉语问答背景去噪单元，用于从输入的问题文本中获得与输入的问题文本同步的 输入背景噪声，对输入背景噪声进行分析，进行输入背景噪声平滑处理，得到输入背景噪 声，基于综合加权算法，获得噪声时间控制比例，添加噪声权重值因子，计算输入背景噪声 的噪声同步时间；
[0009] 数字人驱动引擎，与知识库组织结构相关，用于采用领域层次知识组织形式，多叉 树层次智能检索算法，语义匹配方面采用基于最大关键词有序序列的加权语句相似度算 法；
[0010] 问答知识自动采集单元，用于在用户咨询过程中收集用户问题，如果用户的问题 在系统中不存在，则记录这些问题并提交相应的专家解决；还用于计算问题集中问题的访 问频率，在问句检索时优先检索用户访问频率高的问题；还用于将采集的数据传输到多媒 体数据库；
[0011] 虚拟人驱动引擎单元，用于驱动虚拟人动作，所述虚拟人驱动引擎单元通过语言 问答引擎输出的语义对虚拟人驱动，根据回答的文字语言，进行口型匹配，并伴有肢体动 作，其中所述虚拟人驱动引擎单元与数据库中动画库组织结构相关，发音口型根据文字发 声的声母和韵母发声口型，提取口型运动、手势和动作数据，根据人体捕捉动画数据采用算 法使提取的数据自动合成，使虚拟人能够与用户进行动作、表情、手势上交互；
[0012] 多媒体数据库，用于存储口型动画数据、手势动画数据、领域知识数据和/或多媒 体数据；还用于接收来自问答知识自动采集单元采集的数据，并存储；还用于将存储的所 有数据以无线的方式传递给云数据库单元，并且能够从云数据库单元下载备份数据；
[0013] 数字多媒体展示单元，用于兼容显示数字多媒体，所述数字多媒体为文本、图像、 视频、和/或flash动画，数字多媒体展示模块与多媒体数据库相关联，在进行问答咨询时 根据汉语问答引擎单元返回的答案内容调用相应的多媒体数据，在系统空闲时展示设定的 内容或随机显示多媒体数据库中的内容；
[0014] 多媒体数据库管理单元，用于管理口型动画数据、手势动画数据、领域知识数据和 /或多媒体数据，并用于建立层次结构的领域关键词库，并根据虚拟人手势与口型动画按照 相关性与知识库建立映射关系；
[0015] 多媒体数据库管理子单元，用于根据展示的需求，基于所述输入背景噪声的噪声 同步时间选择控制添加输入背景噪声和/或添加背景图像；
[0016] 云数据库单元，用于接收来自多媒体数据库传输的所述存储的所有数据，并将接 收来自多媒体数据库传输的所述存储的所有数据存储后作为备份数据，供远程客户端和/ 或多媒体数据库下载；
[0017] 远程客户端，用于远程控制系统中的各个单元和引擎；还用于下载云数据库单元 中存储的数据，进行自定义编辑，将自定义编辑后的数据回传至云数据库单元和/或多媒 体数据库，对云数据库单元和多媒体数据库的数据进行更新。
[0018] 优选地，运动库为表情库和/或手势库。
[0019] 优选地，系统还包括文本及语音输出单元，用于语音输出问题的答案。
[0020] 优选地，系统还包括输入模块，用于输入用户问题。
[0021] 优选地，输入模块为语音输入模块和/或键盘输入模块。
[0022] 优选地,数字多媒体展示单元包括一显示模块,用于显示。
[0023] 优选地，显示模块为触摸显示屏。
[0024] 优选地，触摸显示屏包括答案区、多媒体显示区、问题区、数字人显示区、功能按钮 区。
[0025] 优选地，语义匹配方面采用基于概念对象模型的问句相似度算法，具体为通过分 析领域问句特点从中抽取领域概念、领域对象、概念属性和对象属性、及它们之间的关系， 得到领域概念集合、领域对象集合、属性集合及关系集合，经分析关系集合中的关系定义关 系的表示形式，其中概念与属性之间的关系、概念与概念间的继承关系、概念与对象之间的 关系分别单独表示，最后建立领域概念对象模型，具体如下：
[0026] 抽取领域概念，建立领域概念集合Concepts = IC1, C2，…Cj ;
[0027] 抽取领域对象，建立领域对象集合Objects = IO1, 02,…，0m};
[0028] 抽取概念属性和对象属性，建立属性集合Attributes = (A1, A2,…，Ak};
[0029] 抽取领域概念、领域对象、概念属性和对象属性之间的关系，建立关系集合 Relations = (R1, R2, ···, R1I ；
[0030] 定义概念、属性和对象之间的关系、概念与属性之间的关系、概念与概念间的继承 关系、概念与对象之间的关系和其他关系的表示形式，建立领域概念对象模型；
[0031] 其中，问句相似度计算分解为问句包含的对象之间的相似度计算、对象属性之间 的相似度计算、对象关系之间的相似度计算、其余部分相似度计算四部分；其中各部分的计 算均看作是对应的两个集合的相似度计算，依次从一个集合中选取一个元素分别与另一个 集合中的元素计算相似度，挑选出最大相似度的元素对，循环直到第一个集合为空；然后把 挑选出的这些元素对的相似度相加，除以第一个集合包含的元素个数；最后将分别以两个 集合为基础计算的结果平均得到两个集合的相似度，问句之间的相似度计算由四部分计算 结果加权计算得到。
[0032] 问句的相似度计算具体为：
[0033] 对象部分相似度计算：
【权利要求】
1. 一种可自定义的智能咨询平台生成系统，其特征在于，包括： 三维数字人建模单元，用于构造虚拟人模型，进行人体建模和显示，并建立人体的各种 运动库； 存储单元，用于存储三维数字人建模单元构造的虚拟人模型和建立的人体的各种运动 库数据； 汉语问答引擎单元，用于汉语语言交互问答，用户输入的问题文本进入该引擎，该引擎 智能搜索数据库中问题集并反馈找到问题对应的文本答案，同时将语义传递给数字人驱动 引擎； 汉语问答背景去噪单元，用于从输入的问题文本中获得与输入的问题文本同步的输入 背景噪声，对输入背景噪声进行分析，进行输入背景噪声平滑处理，得到输入背景噪声，基 于综合加权算法，获得噪声时间控制比例，添加噪声权重值因子，计算输入背景噪声的噪声 同步时间； 数字人驱动引擎，与知识库组织结构相关，用于采用领域层次知识组织形式，多叉树层 次智能检索算法，语义匹配方面采用基于最大关键词有序序列的加权语句相似度算法和/ 或基于概念对象模型的问句相似度算法； 问答知识自动采集单元，用于在用户咨询过程中收集用户问题，如果用户的问题在系 统中不存在，则记录这些问题并提交相应的专家解决；还用于计算问题集中问题的访问频 率，在问句检索时优先检索用户访问频率高的问题；还用于将采集的数据传输到多媒体数 据库； 虚拟人驱动引擎单元，用于驱动虚拟人动作，所述虚拟人驱动引擎单元通过语言问答 引擎输出的语义对虚拟人驱动，根据回答的文字语言，进行口型匹配，并伴有肢体动作，其 中所述虚拟人驱动引擎单元与数据库中动画库组织结构相关，发音口型根据文字发声的声 母和韵母发声口型，提取口型运动、手势和动作数据，根据人体捕捉动画数据采用算法使提 取的数据自动合成，使虚拟人能够与用户进行动作、表情、手势上交互； 多媒体数据库，用于存储口型动画数据、手势动画数据、领域知识数据和/或多媒体数 据；还用于接收来自问答知识自动采集单元采集的数据，并存储；还用于将存储的所有数 据以无线的方式传递给云数据库单元，并且能够从云数据库单元下载备份数据； 数字多媒体展示单元，用于兼容显示数字多媒体，所述数字多媒体为文本、图像、视频、 和/或flash动画，数字多媒体展示模块与多媒体数据库相关联，在进行问答咨询时根据汉 语问答引擎单元返回的答案内容调用相应的多媒体数据，在系统空闲时展示设定的内容或 随机显示多媒体数据库中的内容； 多媒体数据库管理单元，用于管理口型动画数据、手势动画数据、领域知识数据和/或 多媒体数据，并用于建立层次结构的领域关键词库，并根据虚拟人手势与口型动画按照相 关性与知识库建立映射关系； 多媒体数据库管理子单元，用于根据展示的需求，基于所述输入背景噪声的噪声同步 时间选择控制添加输入背景噪声和/或添加背景图像； 云数据库单元，用于接收来自多媒体数据库传输的所述存储的所有数据，并将接收来 自多媒体数据库传输的所述存储的所有数据存储后作为备份数据，供远程客户端和/或多 媒体数据库下载； 远程客户端，用于远程控制系统中的各个单元和引擎；还用于下载云数据库单元中存 储的数据，进行自定义编辑，将自定义编辑后的数据回传至云数据库单元和/或多媒体数 据库，对云数据库单元和多媒体数据库的数据进行更新。
2. 根据权利要求1所述的可自定义的智能咨询平台生成系统，其特征在于，所述运动 库为表情库和/或手势库。
3. 根据权利要求1所述的可自定义的智能咨询平台生成系统，其特征在于，还包括文 本及语音输出单元，用于语音输出问题的答案。
4. 根据权利要求1所述的可自定义的智能咨询平台生成系统，其特征在于，还包括输 入模块，用于输入用户问题。
5. 根据权利要求4所述的可自定义的智能咨询平台生成系统，其特征在于，输入模块 为语音输入模块和/或键盘输入模块。
6. 根据权利要求4所述的可自定义的智能咨询平台生成系统，其特征在于，数字多媒 体展示单元包括一显示模块，用于显示。
7. 根据权利要求6所述的可自定义的智能咨询平台生成系统，其特征在于，显示模块 为触摸显示屏。
8. 根据权利要求7所述的可自定义的智能咨询平台生成系统，其特征在于，触摸显示 屏包括答案区、多媒体显示区、问题区、数字人显示区、功能按钮区。
9. 根据权利要求1所述的可自定义的智能咨询平台生成系统，其特征在于，所述语义 匹配方面采用基于概念对象模型的问句相似度算法，具体为通过分析领域问句特点从中抽 取领域概念、领域对象、概念属性和对象属性、及它们之间的关系，得到领域概念集合、领域 对象集合、属性集合及关系集合，经分析关系集合中的关系定义关系的表示形式，其中概念 与属性之间的关系、概念与概念间的继承关系、概念与对象之间的关系分别单独表示，最后 建立领域概念对象模型，具体如下： 抽取领域概念，建立领域概念集合Concepts = IC1, C2，…Cj ; 抽取领域对象，建立领域对象集合Ob jects = IO1, O2,…，Oj ; 抽取概念属性和对象属性，建立属性集合Attributes={ΑρΑ；^···^』； 抽取领域概念、领域对象、概念属性和对象属性之间的关系，建立关系集合Relations =(R1, R2, ···, R1I； 定义概念、属性和对象之间的关系、概念与属性之间的关系、概念与概念间的继承关 系、概念与对象之间的关系和其他关系的表示形式，建立领域概念对象模型； 其中，问句相似度计算分解为问句包含的对象之间的相似度计算、对象属性之间的相 似度计算、对象关系之间的相似度计算、其余部分相似度计算四部分；其中各部分的计算均 看作是对应的两个集合的相似度计算，依次从一个集合中选取一个元素分别与另一个集合 中的元素计算相似度，挑选出最大相似度的元素对，循环直到第一个集合为空；然后把挑选 出的这些元素对的相似度相加，除以第一个集合包含的元素个数；最后将分别以两个集合 为基础计算的结果平均得到两个集合的相似度，问句之间的相似度计算由四部分计算结果 加权计算得到。
10. 根据权利要求1或9所述的可自定义的智能咨询平台生成系统，其特征在于，问句 的相似度计算具体为： 对魚部令相似庶i+笪，
式中sim(Ou，Ov)为对象Ou和Ov的相似度，如果为同一个对象，其值为1，否则为0,Ou和Ov分别是Q'Qtjw中的关系，nl和ml分别是Q' #Qtjw中关系的个数； 屋杜部相彳丨〕!瘡彳+曾.
式中sim(Au,Av)为属性Au和属性AjtJ相似度，如果为同一个属性，其值为1，否则为0， 属性Au和属性Av分别是Q'att，Qatt中的关系，n2和m2分别是Q'att，Qatt中关系的个数； 关系之间的相似度计算：
式中sim(Ru，Rv)为关系Ru和关系Rv的相似度，如果为同一个关系，其值为1否则为0，Ru和Rv分别是Q'Ml，Qrel中的关系，n3和m3分别是Q'Ml，Qm1中关系的个数； a全都公和彳丨〕!瘡1'+曾.
式中sim(Wu，Wv)为词Wu和词Wv的相似度，其计算方法基于语义计算方式，Wu和Wv分别 是Q' 和Qms中的词，n4和m4分别是Q'Mst和QMst中词的个数； 步骤4. 5 :最终问句的相似度计算： SIM(Q' ,Q) =B1SIMqobj (Q' obJ,Qobj) +B2SIMqatt (Q' att,Qatt) +B3SIMqrel (Q' rel，Qre i)+a4SIMqres(Q res，Qres) 其中，SJaJaJa4 = 1，a2,a3,a4分别代表各相似度的分配系数。
【文档编号】G06F17/30GK104461525SQ201410705828
【公开日】2015年3月25日 申请日期:2014年11月27日 优先权日:2014年11月27日
【发明者】韩慧健, 贾可亮, 梁秀霞, 张锐, 刘峥, 其他发明人请求不公开姓名 申请人:韩慧健