基于图像识别的问答处理方法、装置及系统的制作方法
【技术领域】
[0001]本申请涉及计算机网络技术领域，尤其涉及一种基于图像识别的问答处理方法、装置及系统。
【背景技术】
[0002]随着计算机网络技术的迅速发展，越来越多的用户通过互联网获取信息或进行相互通讯。网络中的问答平台是一种利用网络通讯工具、网页或手机客户端等获取信息和进行信息交流的平台，它集成了自动切分词、智能搜索、自动分类等一整套的自然语言处理和信息检索技术，为用户提供了一个交流平台。用户可以通过网页在问答平台上提交各种问题以获取解答，也可以通过即时通讯工具等联系相关客服人员，寻求解决方案。
[0003]例如，如果用户在使用某个产品或者服务时，遇到操作提示或异常提示，那么，用户可以通过旺旺，qq等聊天工具与该产品的在线客服人员进行咨询。在聊天过程中，往往会将提示的页面，截取图片发送给客服人员，帮助确定异常原因。而客服人员往往也需要根据经验，从图片中寻找问题的原因。这种传统的服务方式，需要公司提供在线客服的人工服务，需要承受相应的成本。而且，对于客服人员的业务能力有所要求，需要能从截图中快速识别问题原因，需要一定的经验才能熟练操作业务。
[0004]由此可见，现有的问答平台的服务方式，不论是人工热线，还是人工在线，都需要人的参与，系统均不能直接识别图片及相关问题，也就无法自动地获取相应的答案。
【发明内容】
[0005]本申请的目的是，提供一种基于图像识别的问答处理方法、装置及系统，能自动快速识别与用户发送的图片相关的问题，并能准确快速地进行处理获取答案，为用户提供了更加便捷的交互方式，扩展了自动问答平台的服务范围。
[0006]本申请提供了一种基于图像识别的问答处理方法，所述方法包括:
[0007]接收用户发送的包含提示信息的图片；
[0008]对所述图片进行图像识别处理，得到所述图片的提示信息文本；
[0009]对所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的关键词；
[0010]从用户信息库中，查找得到所述用户的用户信息；
[0011]根据所述关键词和所述用户信息，从知识数据库中查询得到与所述提示信息文本相关的第一知识信息；
[0012]利用所述用户信息和所述第一知识信息，生成所述提示信息文本的答案并显示。
[0013]又一方面，本申请还提供了一种基于图像识别的问答处理装置，所述装置包括:
[0014]接收单元，用于接收所述用户发送的包含提示信息的图片；
[0015]图像识别单元，用于对所述接收单元接收的所述图片进行图像识别处理，得到所述图片的提示信息文本；
[0016]语义识别单元，用于对所述图像识别单元得到的所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的关键词；
[0017]第一查询单元，用于从用户信息库中，查找得到所述用户的用户信息；
[0018]第二查询单元，用于根据所述语义识别单元得到的所述关键词和所述第一查询单元得到的所述用户信息，从知识数据库中查询得到与所述提示信息文本相关的第一知识信息；
[0019]答案生成单元，用于利用所述第一查询单元得到的所述用户信息和所述第二查询单元得到的所述第一知识信息，生成所述提示信息文本的答案并显示。
[0020]又一方面，本申请还提供了一种基于图像识别的问答系统，所述系统包括:交互平台、图像识别平台、语义识别平台、知识数据库、用户信息库和后台服务器；
[0021 ] 所述交互平台，用于与用户进行交互；
[0022]所述图像识别平台，用于对图片进行图像识别处理，得到所述图片中的文本；
[0023]所述语义识别平台，用于对文本进行文本语义分析，提取得到所述文本中的关键词；
[0024]所述知识数据库，用于存储大量的知识数据信息；
[0025]所述用户信息库，用于存储大量的用户信息；
[0026]所述交互平台接收所述用户发送的包含提示信息的第一图片；
[0027]所述图像识别平台对所述交互平台接收的所述第一图片进行图像识别处理，得到所述第一图片的提示信息文本；
[0028]所述后台服务器通过所述语义识别平台对所述图像识别平台得到的所述提示信息文本进行文本语义分析，提取得到所述提示信息文本中的第一关键词；
[0029]所述后台服务器从所述用户信息库中，查找得到所述用户的用户信息；
[0030]所述后台服务器根据所述第一关键词和所述用户信息，从所述知识数据库中查询得到与所述第一图片的提示信息文本相关的第一知识信息；
[0031]所述后台服务器利用所述用户信息和所述第一知识信息，生成所述提示信息文本的答案并通过所述交互平台显示。
[0032]本申请提供的基于图像识别的问答处理方法、装置及系统，通过图像识别和语义分析对问答平台中用户发送的图片进行识别，可以自动快速识别与用户发送的图片相关的问题，并能准确快速地进行处理获取答案，为用户提供了更加便捷的交互方式，用户可以通过在聊天工具中截取并发送图片，就能自助得到问题的答案，非常直观方便，扩展了自动问答平台的服务范围。
【附图说明】
[0033]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1a为本申请实施例提供的浏览器中文本形式的问题输入框的示意图；
[0035]图1b为本申请实施例提供的浏览器中图片形式的输入框的示意图；
[0036]图2为本申请实施例提供的基于图像识别的问答处理方法流程图；
[0037]图3a为本申请实施例提供的包含提示信息的一个图片示意图；
[0038]图3b为本申请实施例提供的包含提示信息的又一个图片示意图；
[0039]图3c为本申请实施例提供的包含提示信息的又一个图片示意图；
[0040]图4为本申请实施例提供的基于图像识别的问答处理装置示意图；
[0041]图5为本申请实施例提供的基于图像识别的问答系统的示意图；
[0042]图6为本申请实施例提供的基于图像识别的问答系统的处理流程示意图。
【具体实施方式】
[0043]为使得本申请的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0044]本申请实施例提供的基于图像识别的问答处理方法、装置及系统，适用于各种需要为用户提供答案或解决方案的场景，例如，网络中的问答平台等，尤其适用于自动问答平台，例如，网页中具有即时通讯功能的智能机器人等。或者，也适用于网站或商家为用户提供咨询等服务的在线云客服或客户端等，客户端可以分为电脑PC客户端、无线客户端和浏览器三部分。
[0045]PC部分包括安装于PC上的即时通讯工具(如阿里旺旺、腾讯qq、微信等等)以及网页版的即时通讯工具(例如，webqq、网页版的旺旺、网页版的微信)的公共账号。用户通过发送消息或图片进行咨询服务。在接收到用户发送的图片后，根据本申请提供的问答处理方法进行处理，再进行自动解答。
[0046]无线部分包括安装于无线终端上的即时通讯软件(如手机旺旺、手机