一种信息处理方法及电子设备与流程
本发明涉及图像识别领域，特别涉及一种信息处理方法及电子设备。
背景技术：
目前，用户在通过电子设备观看图像时，有时不了解图像中的内容，则用户可能会输入问题，电子设备对用户的问题及用户提问的图像进行处理，输出用户想要的答案，目前电子设备在处理图像及用户的问题时，一般采用的是基于深度神经网络进行学习识别的方法，但这种方法需要大量的训练数据作为识别基础，过程较为复杂，对设备的要求也较高。
技术实现要素：
本发明实施例提供一种信息处理方法及电子设备，用于简化对图像的识别过程。
第一方面，提供一种信息处理方法，所述方法包括：
接收用于获取目标图像中信息的请求消息；
处理所述目标图像，以确定用于描述所述目标图像的至少一个描述信息；
匹配所述请求消息与所述至少一个描述信息；
依据匹配结果，输出响应所述请求消息的描述信息。
可选的，处理所述目标图像，以确定用于描述所述目标图像的至少一个描述信息，包括：
处理所述目标图像，确定所述目标图像包括的至少一个对象；
从所述目标图像中确定所述至少一个对象的第一属性信息和/或所述至少一个对象中的每个对象和其它对象之间的相对关系信息；
根据所述第一属性信息和/或所述相对关系信息得到所述至少一个描述信息中的第一部分描述信息或全部描述信息。
可选的，若根据所述第一属性信息和/或所述相对关系信息得到所述至少一个描述信息中的第一部分描述信息，在处理所述目标图像，确定所述目标图像包括的至少一个对象之后，包括：
读取所述至少一个对象的第二属性信息，所述第二属性信息与所述第一属性信息来源不同；
所述方法还包括：
根据所述第二属性信息得到所述至少一个描述信息中的第二部分描述信息。
可选的，处理所述目标图像，以确定用于描述所述目标图像的至少一个描述信息，包括：
处理所述目标图像，确定所述目标图像包括的至少一个对象；
从所述目标图像中确定所述至少一个对象的第一属性信息和/或所述至少一个对象中的每个对象和其它对象之间的相对关系信息；及，读取所述至少一个对象的第二属性信息，所述第二属性信息与所述第一属性信息来源不同；
按照预设策略，根据所述第一属性信息和/或所述相对关系信息，及所述第二属性信息，获取所述至少一个描述信息中的第三部分描述信息或全部描述信息。
可选的，匹配所述请求消息与所述至少一个描述信息，包括：
拆分所述请求消息，得到所述请求消息的第一部分和所述请求消息的第二部分，其中所述请求消息的第二部分用于指示所述请求消息所请求反馈的内容；
将所述请求消息的第一部分与所述至少一个描述信息进行匹配；其中在匹配时，将所述请求消息的第一部分与所述至少一个描述信息中的每个描述信息的第一部分匹配。
可选的，拆分所述请求消息，得到所述请求消息的第一部分和所述请求消息的第二部分，包括：
对所述请求消息进行分析，得到所述请求消息对应的至少一个三元组；其中每个三元组包括第一信息、第二信息和第三信息中的至少一项，所述第一信息包括所述请求消息中的至少一个主体信息，所述第二信息包括与所述至少一个主体信息中每个主体信息对应的客体信息，所述第三信息包括所述至少一个主体信息中的每个主体信息和其对应的每个客体信息之间的关系信息；
其中，若第一三元组包括所述第一信息、所述第二信息和所述第三信息中的任意一个信息，则所述第一三元组未包括的两个信息为所述请求消息的第二部分，若第一三元组包括所述第一信息、所述第二信息和所述第三信息中的任意两个信息，则所述第一三元组未包括的一个信息为所述请求消息的第二部分，若第一三元组包括所述第一信息、所述第二信息和所述第三信息，则所述第一信息、所述第二信息和所述第三信息中包括疑问代词的信息为所述请求消息的第二部分。
可选的，依据匹配结果，输出响应所述请求消息的描述信息，包括：
依据匹配结果，输出所述至少一个描述信息中包含所述请求消息的第一部分的描述信息，或，输出子描述信息；所述子描述信息包括所述至少一个描述信息中的第一描述信息的部分内容，所述第一描述信息包括所述请求消息的第一部分，所述子描述信息包括所述第一描述信息中去除所述请求消息的第一部分的内容后剩余的内容。
第二方面，提供一种电子设备，包括：
存储器，用于存储指令；
接收器，用于接收用于获取目标图像中信息的请求消息；
处理器，用于调用所述存储器存储的指令，处理所述目标图像，以确定用于描述所述目标图像的至少一个描述信息；及，匹配所述请求消息与所述至少一个描述信息；
第一输出器，用于依据所述处理器得到的匹配结果，输出响应所述请求消息的描述信息。
可选的，所述电子设备还包括第二输出器，用于输出所述目标图像；其中，所述第二输出器和所述第一输出器相同或不同。
可选的，所述处理器用于处理所述目标图像，以确定用于描述所述目标图像的至少一个描述信息，包括：
处理所述目标图像，确定所述目标图像包括的至少一个对象；
从所述目标图像中确定所述至少一个对象的第一属性信息和/或所述至少一个对象中的每个对象和其它对象之间的相对关系信息；
根据所述第一属性信息和/或所述相对关系信息得到所述至少一个描述信息中的第一部分描述信息或全部描述信息。
可选的，
若所述处理器根据所述第一属性信息和/或所述相对关系信息得到所述至少一个描述信息中的第一部分描述信息，在处理所述目标图像，确定所述目标图像包括的至少一个对象之后，所述处理器还用于读取所述至少一个对象的第二属性信息，所述第二属性信息与所述第一属性信息来源不同；
所述处理器还用于根据所述第二属性信息得到所述至少一个描述信息中的第二部分描述信息。
可选的，所述处理器用于处理所述目标图像，以确定用于描述所述目标图像的至少一个描述信息，包括：
处理所述目标图像，确定所述目标图像包括的至少一个对象；
从所述目标图像中确定所述至少一个对象的第一属性信息和/或所述至少一个对象中的每个对象和其它对象之间的相对关系信息；及，读取所述至少一个对象的第二属性信息，所述第二属性信息与所述第一属性信息来源不同；
按照预设策略，根据所述第一属性信息和/或所述相对关系信息，及所述第二属性信息，获取所述至少一个描述信息中的第三部分描述信息或全部描述信息。
可选的，所述处理器用于匹配所述请求消息与所述至少一个描述信息，包括：
拆分所述请求消息，得到所述请求消息的第一部分和所述请求消息的第二部分，其中所述请求消息的第二部分用于指示所述请求消息所请求反馈的内容；
将所述请求消息的第一部分与所述至少一个描述信息进行匹配；其中在匹配时，将所述请求消息的第一部分与所述至少一个描述信息中的每个描述信息的第一部分匹配。
可选的，所述处理器用于拆分所述请求消息，得到所述请求消息的第一部分和所述请求消息的第二部分，包括：
对所述请求消息进行分析，得到所述请求消息对应的至少一个三元组；其中每个三元组包括第一信息、第二信息和第三信息中的至少一项，所述第一信息包括所述请求消息中的至少一个主体信息，所述第二信息包括与所述至少一个主体信息中每个主体信息对应的客体信息，所述第三信息包括所述至少一个主体信息中的每个主体信息和其对应的每个客体信息之间的关系信息；
其中，若第一三元组包括所述第一信息、所述第二信息和所述第三信息中的任意一个信息，则所述第一三元组未包括的两个信息为所述请求消息的第二部分，若第一三元组包括所述第一信息、所述第二信息和所述第三信息中的任意两个信息，则所述第一三元组未包括的一个信息为所述请求消息的第二部分，若第一三元组包括所述第一信息、所述第二信息和所述第三信息，则所述第一信息、所述第二信息和所述第三信息中包括疑问代词的信息为所述请求消息的第二部分。
可选的，所述第一输出器用于依据匹配结果，输出响应所述请求消息的描述信息，包括：
依据匹配结果，输出所述至少一个描述信息中包含所述请求消息的第一部分的描述信息，或，输出子描述信息；所述子描述信息包括所述至少一个描述信息中的第一描述信息的部分内容，所述第一描述信息包括所述请求消息的第一部分，所述子描述信息包括所述第一描述信息中去除所述请求消息的第一部分的内容后剩余的内容。
第三方面，提供一种电子设备，包括：
接收模块，用于接收用于获取目标图像中信息的请求消息；
第一操作模块，用于处理所述目标图像，以确定用于描述所述目标图像的至少一个描述信息；
第二操作模块，用于匹配所述请求消息与所述至少一个描述信息；
输出模块，用于依据匹配结果，输出响应所述请求消息的描述信息。
本发明实施例提供的信息处理方法，无需使用大量的训练数据进行学习，通过将请求消息和图像的描述信息进行匹配即可输出用户想要的结果，简化了图像处理的过程，提高了用户体验，降低了对于电子设备的配置的要求，也可以在一定程度上降低电子设备的成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的信息处理方法的流程图；
图2为本发明实施例中目标图像的一张示例图；
图3为本发明实施例提供的电子设备的一种结构示意图；
图4为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例中，电子设备可以包括服务器、或个人计算机(PC)、或平板电脑(PAD)等，本发明实施例对于电子设备的类型不作限制。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。
为了更好地理解上述技术方案，下面将结合说明书附图对本发明实施例提供的技术方案进行详细的说明。
请参见图1，本发明实施例提供一种信息处理方法，该方法可以用于电子设备，该方法的流程描述如下。
步骤101：接收用于获取目标图像中信息的请求消息；
步骤102：处理目标图像，以确定用于描述目标图像的至少一个描述信息；
步骤103：匹配请求消息与至少一个描述信息；
步骤104：依据匹配结果，输出响应请求消息的描述信息。
目标图像可以是预先存储在电子设备中的任意图像，或者目标图像也可以是电子设备从其他电子设备中获得的图像，如可以是用户通过网络上传到该电子设备中的图像。
电子设备可以通过用户的操作确定目标图像，如用户可以从电子设备存储的多张图像中选择一张，则电子设备可以确定该图像为目标图像。在确定目标图像后，用户可以针对该目标图像输入请求消息，则电子设备可以接收用户输入的针对该目标图像的请求消息。其中，若一个请求消息包括与目标图像相关的疑问句或不完整的句子，则可以认为该请求消息是针对该目标图像的请求消息，例如针对目标图像的请求消息可以用于对目标图像进行提问。
本发明实施例中，该请求消息可以是文字消息，或者是语音消息，或者是图像消息。请求消息可以包括完整的疑问句，还可以包括包含缺省信息的句子。请参见图2，为一幅目标图像，用户针对该图像输入了请求消息，该请求消息的内容可以为：“人马？”，则该请求消息即为包含缺省信息的句子，该请求消息可以用于获取目标图像中人和马之间的相对动作关系信息。
接收请求消息后，电子设备可以对目标图像进行处理，以确定用于描述目标图像的至少一个描述信息，该至少一个描述信息可以用来描述目标图像包括的至少一个对象。
在一种实施方式中，电子设备处理目标图像，以确定用于描述目标图像的至少一个描述信息的方法可以为：处理目标图像，以确定目标图像包括的至少一个对象，从目标图像中确定至少一个对象的第一属性信息和/或至少一个对象中的每个对象和其它对象之间的相对关系信息，根据至少一个对象的第一属性信息和/或相对关系信息得到至少一个描述信息中的全部描述信息。
其中，确定目标图像包括的至少一个对象，可以采用现有的图像分类方法或物体检测方法来实现，通过图像分类方法或物体检测方法，还可以确定目标图像中的每个对象大致属于什么类别。图像分类方法可以是通过图像识别方法识别目标图像所指示的至少一个对象的类别的方法。常见的图像分类方法包括：基于形状的图像分类技术、基于纹理的图像分类技术、基于空间关系的图像分类技术、基于色彩特征的索引技术等等。物体检测方法，例如最近出现的基于区域的快速物体检测卷积网络方法(Fast Region-based Convolutional Network method for object detection，Fast R-CNN)或基于区域的更快物体检测卷积网络方法(Faster Region-based Convolutional Network method for object detection，Faster R-CNN)，是给定一幅图像后对于图像中每一个区域进行识别并给出类别标签的方法，例如对图2使用物体检测方法，可以得到图2所指示的至少一个对象包括人、马、树和灌木等。
对象的第一属性信息可以包括对象的名称、形状、对象的各个组成部分的名称、颜色、组成材料、数量等，可以认为，一个对象的第一属性信息是可以从目标对象中直接获取的信息。至少一个对象中的每个对象和其它对象之间的相对关系信息可以包括对象之间的相对位置关系信息及对象之间的的动作关系信息(例如“小狗在吃肉”、“人在看书”)中的至少一种，当然还可能包括对象之间的其他相对关系信息。
从目标图像中确定至少一个对象的第一属性信息，可以利用属性分类器(attribute classifier)实现。本方法首先针对每一个预设的属性训练一个分类器，再对目标图像提取多种特征，例如纹理特征、梯度直方图特征、边缘特征和颜色特征等(其中，属性可以通过特征来表示，如某种纹理特征可以表明一个对象具有某种属性)，然后利用每一个属性分类器选取对该属性分类有效的视觉特征。
从目标图像中确定至少一个对象中的每个对象和其它对象之间的相对位置关系信息，可以通过高斯混合模型(GMM)实现。可以通过GMM针对每一个相对位置关系的分布进行训练。首先对一张图像中的两个区域进行特征提取，每一个相对位置关系的特征使用f(γ1,γ2)进行特征编码，γ1和γ2表示不同的区域。样例特征如下：
公式(1)中，xi和yi是γi的坐标，wi和hi是γi的宽度和高度，areai是γi的面积，dx1是γ1的中心点相对于γ2的中心点在水平方向的距离，dy1是γ1的中心点相对于γ2的中心点在垂直方向的距离。
针对每一种相对位置关系，可以使用其对应所有样例的相对位置关系特征训练一个GMM，该GMM用于对该相对位置关系进行特征分布建模。在使用这种方法从目标图像中确定至少一个对象中的每个对象和其它对象之间的相对位置关系信息的时候，先从目标图像中提取相对位置关系特征，然后可以得到其在每一个GMM下的概率值(即符合当前分布的程度)，然后对多个GMM预测结果进行归一化，将得分最高并且超过事先设定的阈值的关系值作为最终识别出的相对位置关系。
例如，电子设备从图2中能够确定的至少一个对象的第一属性信息和/或至少一个对象中的每个对象和其它对象之间的相对关系信息可以包括但不限于：场景——户外，数量关系——马，两匹，人，两个，人和马相互之间的相对位置关系——人在马上。
至少一个描述信息中的全部描述信息可以以三元组的形式存储在电子设备中，其中每个三元组包括第一信息、第二信息和第三信息中的至少一项，第一信息包括所述描述信息中的至少一个主体信息，第二信息包括与至少一个主体信息中每个主体信息对应的客体信息，第三信息包括至少一个主体信息中的每个主体信息和其对应的每个客体信息之间的关系信息。例如，电子设备从目标图像中得到的一个三元组形式的描述信息为：具有属性(苹果，红色)。其中“苹果”表示主体信息即第一信息，“具有属性”指的是主体信息和对应的客体信息之间的关系信息即第二信息，“红色”表示客体信息，即第三信息。
当然，至少一个描述信息中的全部描述信息也可以不按照三元组的形式存储，而是以陈述句的形式存储在电子设备中。以具有属性(苹果，红色)这个描述信息为例，该描述信息可以用陈述句的形式存储为：苹果是红色的。
由于至少一个对象的第一属性信息和至少一个对象中的每个对象和其它对象之间的相对关系信息都是从目标图像中直接可以获取的信息，可以认为是视觉信息，因此以下将目标图像包括的至少一个对象的第一属性信息和至少一个对象中的每个对象和其它对象之间的相对关系信息统称为目标图像的视觉知识。
在一种实施方式中，为了进一步地扩充目标图像的描述信息，在确定目标图像包括的至少一个对象之后，电子设备还可以读取至少一个对象的第二属性信息，至少一个对象的第二属性信息可以来源于电子设备中存储的常识知识库。电子设备可以根据至少一个对象的第一属性信息和/或相对关系信息得到至少一个描述信息中的第一部分描述信息，及可以根据第二属性信息得到目标图像的第二部分描述信息。与第一部分描述信息一样，第二部分描述信息可以按照三元组的形式存储在电子设备中，也可以按照陈述句的形式存储在电子设备中，其中，第二部分描述信息的存储方式与第一部分描述信息的存储方式可以相同，以便于统一管理，不多赘述。
常识知识库中存储的常识知识主要为文本信息，可以来源于网络，例如可以由电子设备通过维基百科、百度百科等网页资源获取。常识知识库中存储的常识知识一般不是电子设备能够从目标图像中直接获得的。
在一种实施方式中，电子设备可以预先根据存储在电子设备中的图像建立常识知识库，针对存储在电子设备中的所有图像的常识知识可以存储在一个常识知识库中，或者针对存储在电子设备中的不同图像的常识知识也可以分别存储在不同的常识知识库中，即，一个常识知识库可以包括多张图像的常识知识，或者也可以只包括一张图像的常识知识。由于不用在获取了目标图像和请求信息之后再建立常识知识库，在处理目标图像时耗时会比较短。如果一个常识知识库中包括了多张图像的常识知识，则在处理目标图像时，该常识知识库中可能包括与目标图像无关的常识知识，则电子设备在常识知识库检索与目标图像包括的至少一个对象相关联的常识知识即可。其中，与对象相关联的常识知识可以理解为该对象的第二属性信息。
以目标图像是图2为例，介绍事先建立常识知识库的方案。电子设备在接收来自其它电子设备的目标图像之前，可以预先根据存储在电子设备中的多张图像建立常识知识库，该常识知识库中的常识知识可以包括：马吃草，马有四条腿，马会跑，人会沟通，狗会叫等。由于该常识知识库中包括与多张图像相关的常识信息，所以该常识知识库中出现了与图2中没有的对象(“狗”)相关的常识信息。要读取图2包括的至少一个对象的第二属性信息，电子设备在确定了至少一个对象之后，可以在常识知识库中检索与至少一个对象相关的条目，以获取图2包括的至少一个对象的第二属性信息，例如电子设备获取的第二属性信息可以包括：马吃草，马有四条腿，马会跑，人会沟通等等，因为图2中没有狗这个对象，因此电子设备可以不检索常识知识库中与狗相关的条目，即电子设备获取的第二属性信息中不包括与“狗”相关的信息。
作为事先建立常识知识库的替换方案，在一种实施方式中，电子设备也可以在确定目标图像包括的至少一个对象之后，根据目标图像包括的至少一个对象在网络上进行关联搜索，以获取该至少一个对象的第二属性信息。当然，电子设备也可以在搜索到与该至少一个对象相关联的常识知识之后，根据与该至少一个对象相关联的常识知识建立常识知识库，此时，该常识知识库中可以只存储该目标图像的第二属性信息，即电子设备可以对不同的目标对象建立不同的常识知识库，这样常识知识库中存储的内容可以更有针对性，方便电子设备进行检索，或者该常识知识库也可以存储多张图像的第二属性信息，即电子设备可以将多个目标图像的常识知识存储在一个常识知识库中，可以较为节省存储空间。。
为了让电子设备能够得到更为准确丰富的目标图像的描述信息，在一种实施方式中，电子设备还可以按照预设策略，根据目标图像包括的至少一个对象的第一属性信息和/或至少一个对象中的每个对象和其它对象之间的相对关系信息，及至少一个对象的第二属性信息，获取目标图像的第三部分描述信息或全部描述信息。
目标图像包括的至少一个对象的第一属性信息、第二属性信息、及每个对象和其它对象的相对关系信息可以构成目标图像的知识图谱。通过预设策略进行处理的目的首先是根据目标图像的知识图谱得出新的与目标图像相关的描述信息，使电子设备获得的与目标图像相关的描述信息更加全面。其中，预设策略可以是推理方法，例如为利用基于表示学习的推理方法，或基于马尔科夫随机场的推理方法，或随机游走的推理方法。
下面举几个对目标图像的知识图谱进行推理的例子(“->”表示“推理出出”)：属于(苹果，水果)，具有属性(水果，可以吃)->具有属性(苹果，可以吃)；材料(车，金属)，具有属性(金属，导电)->具有属性(车，导电)；在上面(人，自行车)->骑(人，自行车)。
对目标图像的知识图谱进行推理，不仅可以推理得到目标图像的新的描述信息，还可以修正已得到的目标图像的视觉知识的置信度。例如对目标图像包括的一个对象苹果1所在的区域使用颜色分类器可以得到：颜色(苹果1，白色)的置信度为0.7，颜色(苹果1，黄色)的置信度为0.3。但是从目标图像的第二属性信息获知“颜色(苹果，白)”的置信度为0，颜色(苹果，黄色)为0.4，这会降低颜色(苹果1，白色)的置信度，同时提高颜色(苹果1，黄色)的置信度，这里修改置信度可以通过以下公式实现：
Pn＝(Pc+Pv)/2 (2)
在公式(2)中，Pn代表修改后的置信度，Pc代表常识知识库中的置信度，Pv代表视觉知识中的置信度。
对目标图像的知识图谱进行推理，还能够增强电子设备对于未知信息的适应性。例如在常识知识库中可以获取常识知识“苹果是红色的”，但是在目标图像中通过物体检测方法得到“苹果1”同时通过属性识别方法得到“绿色”，我们使用推理方法修改“颜色(苹果1，绿色)的置信度”，可以得到在目标图像中“苹果1是绿色的”。
推理得出的最终结果可以作为目标图像的第三部分描述信息，与第一部分描述信息、第二部分描述信息一起作为目标图像的描述信息。与第一部分描述信息一样，第三部分描述信息也可以按照三元组的形式存储在电子设备中，或者可以按照陈述句的形式存储在电子设备中。其中，第三部分描述信息的存储方式与第一部分描述信息及第二部分描述信息的存储方式可以相同，以便于统一管理，不多赘述。
不同于传统的图像问答方法，本发明实施例不用向量表示目标图像，而是利用知识图谱来描述目标图像。电子设备将与目标图像的包括的至少一个对象相关联的常识知识和目标图像的视觉知识相结合构建得到目标图像的知识图谱，再通过推理方式结合扩充知识图谱，最终得到的目标图像的描述信息较为丰富，对于目标图像的描述效果较好，对于用户来说更容易理解。
本发明实施例致力于通过语义概念对目标图像进行理解，研究通过语义概念表达目标图像内容的方式。该方式基于推理融合常识知识和图像视觉知识对视觉知识进行扩展，使得目标图像的描述信息更为丰富。这种使用知识图谱进行问答的方式，不仅可以实现对于图像的直观语义描述，也符合用户对于图像的理解方式。
本发明实施例中，在得到用于描述目标图像的至少一个描述信息之后，可以将请求消息与至少一个描述信息进行匹配。在匹配之前，可以先拆分请求消息，得到请求消息的第一部分和请求消息的第二部分，其中请求消息的第二部分用于指示请求消息所请求反馈的内容。
在一种实施方式中，拆分请求消息，得到请求消息的第一部分和请求消息的第二部分，可以通过以下方式实现：对请求消息进行分析，得到请求消息对应的至少一个三元组，其中每个三元组包括第一信息、第二信息和第三信息中的至少一项，第一信息包括请求消息中的至少一个主体信息，第二信息包括与至少一个主体信息中每个主体信息对应的客体信息，第三信息包括至少一个主体信息中的每个主体信息和其对应的每个客体信息之间的关系信息。请求消息中的疑问代词所代表的信息可以在三元组中被表示为缺省信息，或被保留为疑问代词。其中，如果请求消息只对应一个三元组，将该三元组称为第一三元组，如果请求消息对应多个三元组，根据该多个三元组得到一个最终的三元组，该三元组即为第一三元组。其中，可以采用前述推理方法对多个三元组进行推理，以得到第一三元组。若第一三元组包括第一信息、第二信息和第三信息中的任意一个信息，则第一三元组未包括的两个信息(即两个缺省信息)为请求消息的第二部分，若第一三元组包括第一信息、第二信息和第三信息中的任意两个信息，则第一三元组未包括的一个信息(即一个缺省信息)为请求消息的第二部分，若第一三元组包括第一信息、第二信息和第三信息，则第一信息、第二信息和第三信息中包括疑问代词的信息为请求消息的第二部分。
下面以图2是目标图像为例介绍得到第一三元组的方式。例如，用户输入的请求消息可以包括完整的疑问句，该疑问句为：“骑在马上的那个女孩，她叫什么名字？”电子设备分析该请求消息，得到该请求消息对应的三个三元组，这三个三元组为：骑(女孩，马)，代称(她，女孩)，名字(她，什么)。电子设备根据这三个三元组进行推理，可以得到第一三元组，第一三元组例如为：名字(骑马的女孩，什么)。其中，第一三元组中的第一信息为“骑马的女孩”，第三信息为“名字”，第二信息为疑问代词“什么”，则请求消息的第一部分为：名字(骑马的女孩，)，请求消息的第二部分为：什么。
或者，用户输入的请求消息包括的疑问句也可以是不完整的句子，下面继续以图2是目标图像为例，用户输入的针对该目标图像的请求消息包括的疑问句为：“马是”。电子设备分析该请求消息，得到该请求消息对应的一个三元组：类别(马，缺省信息)。则这个三元组即为第一三元组。该第一三元组中的第一信息为“马”，第二信息为缺省信息，第三信息为“类别”，则该请求消息的第二部分为第一三元组的第二信息，该请求消息的第一部分为：类别(马，)。
对于不完整且语义不清晰的请求消息，电子设备可以按照预设规则进行处理，如上例中的“是”被认为是在询问类别。再例如针对图2的一个包括不完整的疑问句的请求消息为“场景？”，表面上看起来似乎包括两个缺省信息，但电子设备可以按照预设规则判定该请求消息是在询问目标图像的场景，则请求消息的第一三元组为“场景(目标图像，缺省信息)”，其中主体信息被电子设备理解为是目标图像，请求消息的第一部分为“场景(目标图像，)”。
在得到第一三元组后，如果目标图像的全部描述信息都是以三元组的形式存储在电子设备中的，则可以直接将第一三元组与目标图像的全部描述信息中的每条描述信息分别进行匹配，如果目标图像的全部描述信息是以陈述句的形式存储的，可以先将全部描述信息转化为三元组形式之后再与第一三元组进行匹配，匹配过程即是在全部描述信息中查找包含请求消息的第一部分的描述信息。在用于描述目标图像的全部描述信息中，包含请求消息的第一部分的描述信息为与请求消息相匹配的描述消息，本发明实施例将其称为第一描述信息。例如，与请求消息“骑在马上的那个女孩，她叫什么名字？”匹配的描述消息可以为“名字(骑马的女孩，白雪公主)”，或“骑马的女孩的名字是白雪公主”。这样，得到的匹配结果就是“名字(骑马的女孩，白雪公主)”或“骑马的女孩的名字是白雪公主”。
当请求消息对应的第一三元组中有两个缺省信息或两个疑问词时，如果包含请求消息的第一部分的描述信息不止一个，电子设备可以按照预设规则选定一个描述信息作为匹配结果。例如，请求消息包括的疑问句为“谁在骑什么”，其中的疑问代词被视作缺省信息，则请求消息的第一部分为“骑(，)，包含请求消息的第一部分的描述信息可以为：“王子在骑马”，“白雪公主在骑马”，“白雪公主和王子在骑马”。电子设备按照预设规则选中的匹配结果可以为“白雪公主和王子在骑马”。
若在全部描述信息中找到了与请求消息对应的第一三元组相匹配的描述信息，则该描述信息即是匹配结果，可以将其称为第一描述信息。得到匹配结果之后，如果匹配结果是三元组形式，因为三元组形式不符合人类语言规则，用户可能比较难理解，所以电子设备可以先将匹配结果转换为陈述句。如果匹配结果已是陈述句，则不需要再转换。接着电子设备可以输出该匹配结果。例如，在上段所举的例子中，请求消息包括的疑问句为“谁在骑什么”，第一描述信息为“白雪公主和王子在骑马”，是陈述句，则电子设备可以直接输出该第一描述信息。
在一种实施方式中，在得到第一描述信息之后，电子设备可以输出第一描述信息的子描述信息。第一描述信息的子描述信息包括第一描述信息去除请求消息的第一部分的内容后剩余的内容，只输出第一描述信息的子描述信息使得输出的反馈比较简单，避免了在三元组和陈述句之间转换，减少了电子设备的工作量。例如，请求消息为“马是？”，对应的三元组为“类别(马，缺省信息)，请求消息的第一部分为“类别(马，)，第一描述信息为“类别(马，动物)，则输出的子描述信息可以为“动物”。
本发明实施例提供的信息处理方法，无需使用大量的训练数据进行学习，通过将请求消息和图像的描述信息进行匹配即可输出用户想要的结果，简化了图像处理的过程，提高了用户体验，降低了对于电子设备的配置的要求，也可以在一定程度上降低电子设备的成本。
请参见图3，基于同一发明构思，本发明实施例提供第一种电子设备300，电子设备300包括：
存储器301，用于存储指令；
接收器302，用于接收用于获取目标图像中信息的请求消息；
处理器303，用于调用存储器301存储的指令，处理目标图像，以确定用于描述目标图像的至少一个描述信息；及，匹配请求消息与至少一个描述信息；
第一输出器304，用于依据处理器303得到的匹配结果，输出响应请求消息的描述信息。
存储器301的数量可以是一个或多个。存储器301可以包括只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)或磁盘存储器。处理器303具体可以是通用的中央处理器(Central Processing Unit，CPU)，或者可以是特定应用集成电路(Application Specific Integrated Circuit，ASIC)，或者可以是一个或多个用于控制程序执行的集成电路。
其中，存储器301、接收器302和第一输出器304可以分别通过专用连接线与处理器303连接，或者存储器301、接收器302和第一输出器304也可以通过总线与处理器303连接，图3以通过总线连接为例。
可选的，电子设备300还可以包括第二输出器，用于输出目标图像。其中，第二输出器和第一输出器304为同一功能单元，或者为不同的功能单元。
可选的，处理器303用于处理目标图像，以确定用于描述目标图像的至少一个描述信息，可以通过以下方式实现：
处理目标图像，确定目标图像包括的至少一个对象；
从目标图像中确定至少一个对象的第一属性信息和/或至少一个对象中的每个对象和其它对象之间的相对关系信息；
根据第一属性信息和/或相对关系信息得到至少一个描述信息中的第一部分描述信息或全部描述信息。
可选的，
若处理器303用于根据第一属性信息和/或相对关系信息得到至少一个描述信息中的第一部分描述信息，在处理器303处理目标图像，确定目标图像包括的至少一个对象之后，处理器303还可以用于：读取至少一个对象的第二属性信息，第二属性信息与所述第一属性信息来源不同；
处理器303还可以用于：根据第二属性信息得到至少一个描述信息中的第二部分描述信息。
可选的，处理器303用于处理目标图像，以确定用于描述目标图像的至少一个描述信息，可以通过以下方式实现：
处理目标图像，确定目标图像包括的至少一个对象；
从目标图像中确定至少一个对象的第一属性信息和/或至少一个对象中的每个对象和其它对象之间的相对关系信息；及，读取至少一个对象的第二属性信息，第二属性信息与第一属性信息来源不同；
按照预设策略，根据第一属性信息和/或相对关系信息，及第二属性信息，获取至少一个描述信息中的第三部分描述信息或全部描述信息。
可选的，处理器303用于匹配请求消息与至少一个描述信息，可以通过以下方式实现：
拆分请求消息，得到请求消息的第一部分和请求消息的第二部分，其中请求消息的第二部分用于指示请求消息所请求反馈的内容；
将请求消息的第一部分与至少一个描述信息进行匹配；其中在匹配时，将请求消息的第一部分与至少一个描述信息中的每个描述信息的第一部分匹配。
可选的，处理器303用于拆分请求消息，得到请求消息的第一部分和请求消息的第二部分，可以通过以下方式实现：
对请求消息进行分析，得到请求消息对应的至少一个三元组；其中每个三元组包括第一信息、第二信息和第三信息中的至少一项，第一信息包括请求消息中的至少一个主体信息，第二信息包括与至少一个主体信息中每个主体信息对应的客体信息，第三信息包括至少一个主体信息中的每个主体信息和其对应的每个客体信息之间的关系信息；
其中，若第一三元组包括第一信息、第二信息和第三信息中的任意一个信息，则第一三元组未包括的两个信息为请求消息的第二部分，若第一三元组包括第一信息、第二信息和第三信息中的任意两个信息，则第一三元组未包括的一个信息为请求消息的第二部分，若第一三元组包括第一信息、第二信息和第三信息，则第一信息、第二信息和第三信息中包括疑问代词的信息为请求消息的第二部分。
可选的，第一输出器304用于依据处理器303得到的匹配结果，输出响应请求消息的描述信息，包括：
依据匹配结果，输出至少一个描述信息中包含请求消息的第一部分的描述信息，或，输出子描述信息；子描述信息包括至少一个描述信息中的第一描述信息的部分内容，第一描述信息包括请求消息的第一部分，子描述信息包括第一描述信息中去除请求消息的第一部分的内容后剩余的内容。
由于本发明实施例提供的电子设备300用于执行图1所示的实施例所提供的信息处理方法，因此对于电子设备300包括的各功能模块所能够实现的功能及一些实现过程可参考图1所示的实施例部分的描述，在此不再赘述。
请参见图4，基于同一发明构思，本发明实施例还提供第二种电子设备400，该电子设备与图3所示的实施例提供的电子设备可以是同一设备，或者也可以是不同的设备。该电子设备400可以包括：
接收模块401，用于接收用于获取目标图像中信息的请求消息；
第一操作模块402，用于处理目标图像，以确定用于描述目标图像的至少一个描述信息；
第二操作模块403，用于匹配请求消息与至少一个描述信息；
输出模块404，用于依据匹配结果，输出响应请求消息的描述信息。
可选的，第一操作模块402用于处理目标图像，以确定用于描述目标图像的至少一个描述信息，可以通过以下方式实现：
处理目标图像，确定目标图像包括的至少一个对象；
从目标图像中确定至少一个对象的第一属性信息和/或至少一个对象中的每个对象和其它对象之间的相对关系信息；
根据第一属性信息和/或相对关系信息得到至少一个描述信息中的第一部分描述信息或全部描述信息。
可选的，
若第一操作模块402用于根据第一属性信息和/或相对关系信息得到至少一个描述信息中的第一部分描述信息，在处理目标图像，确定目标图像包括的至少一个对象之后，第一操作模块402还可以用于读取至少一个对象的第二属性信息，第二属性信息与第一属性信息来源不同；
第一操作模块402还可以用于根据第二属性信息得到至少一个描述信息中的第二部分描述信息。
可选的，第一操作模块402用于处理目标图像，以确定用于描述目标图像的至少一个描述信息，可以通过以下方式实现：
处理目标图像，确定目标图像包括的至少一个对象；
从目标图像中确定至少一个对象的第一属性信息和/或至少一个对象中的每个对象和其它对象之间的相对关系信息；及，读取至少一个对象的第二属性信息，第二属性信息与第一属性信息来源不同；
按照预设策略，根据第一属性信息和/或相对关系信息，及第二属性信息，获取至少一个描述信息中的第三部分描述信息或全部描述信息。
可选的，第二操作模块403用于匹配请求消息与至少一个描述信息，可以通过以下方式实现：
拆分请求消息，得到请求消息的第一部分和请求消息的第二部分，其中请求消息的第二部分用于指示请求消息所请求反馈的内容；
将请求消息的第一部分与至少一个描述信息进行匹配；其中在匹配时，将请求消息的第一部分与至少一个描述信息中的每个描述信息的第一部分匹配。
可选的，第二操作模块403用于拆分请求消息，得到请求消息的第一部分和请求消息的第二部分，可以通过以下方式实现：
对请求消息进行分析，得到请求消息对应的至少一个三元组；其中每个三元组包括第一信息、第二信息和第三信息中的至少一项，第一信息包括请求消息中的至少一个主体信息，第二信息包括与至少一个主体信息中每个主体信息对应的客体信息，第三信息包括至少一个主体信息中的每个主体信息和其对应的每个客体信息之间的关系信息；
其中，若第一三元组包括第一信息、第二信息和第三信息中的任意一个信息，则第一三元组未包括的两个信息为请求消息的第二部分，若第一三元组包括第一信息、第二信息和第三信息中的任意两个信息，则第一三元组未包括的一个信息为请求消息的第二部分，若第一三元组包括第一信息、第二信息和第三信息，则第一信息、第二信息和第三信息中包括疑问代词的信息为请求消息的第二部分。
可选的，输出模块404用于依据匹配结果，输出响应请求消息的描述信息，可以通过以下方式实现：
依据匹配结果，输出至少一个描述信息中包含请求消息的第一部分的描述信息，或，输出子描述信息；子描述信息包括至少一个描述信息中的第一描述信息的部分内容，第一描述信息包括请求消息的第一部分，子描述信息包括第一描述信息中去除请求消息的第一部分的内容后剩余的内容。
由于本发明实施例提供的电子设备400用于执行图1所示的实施例所提供的信息处理方法，因此对于电子设备400包括的各功能模块所能够实现的功能及一些实现过程可参考图1所示的实施例部分的描述，在此不再赘述。
本发明实施例提供的信息处理方法，无需使用大量的训练数据进行学习，通过将请求消息和图像的描述信息进行匹配即可输出用户想要的结果，简化了图像处理的过程，提高了用户体验，降低了对于电子设备的配置的要求，也可以在一定程度上降低电子设备的成本。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash disk，U盘)、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲，本发明实施例中的一种信息处理方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种信息处理方法对应的计算机程序指令被一电子设备读取或被执行时，包括如下步骤：
接收用于获取目标图像中信息的请求消息；
处理目标图像，以确定用于描述目标图像的至少一个描述信息；
匹配请求消息与至少一个描述信息；
依据匹配结果，输出响应请求消息的描述信息。
可选的，存储介质中存储的与步骤：处理目标图像，以确定用于描述目标图像的至少一个描述信息，对应的计算机指令在被执行的过程之中，包括：
处理目标图像，确定目标图像包括的至少一个对象；
从目标图像中确定至少一个对象的第一属性信息和/或至少一个对象中的每个对象和其它对象之间的相对关系信息；
根据第一属性信息和/或相对关系信息得到至少一个描述信息中的第一部分描述信息或全部描述信息。
可选的，若根据第一属性信息和/或相对关系信息得到至少一个描述信息中的第一部分描述信息，存储介质中存储的与步骤在处理目标图像，确定目标图像包括的至少一个对象，对应的计算机指令在被执行之后，包括：
读取至少一个对象的第二属性信息，第二属性信息与第一属性信息来源不同；
存储介质中存储的与一种信息处理方法对应的计算机指令在被执行的过程之中，包括：
根据第二属性信息得到至少一个描述信息中的第二部分描述信息。
可选的，存储介质中存储的与步骤：处理目标图像，以确定用于描述目标图像的至少一个描述信息，对应的计算机指令在被执行的过程之中，包括：
处理目标图像，确定目标图像包括的至少一个对象；
从目标图像中确定至少一个对象的第一属性信息和/或至少一个对象中的每个对象和其它对象之间的相对关系信息；及，读取至少一个对象的第二属性信息，第二属性信息与第一属性信息来源不同；
按照预设策略，根据第一属性信息和/或相对关系信息，及第二属性信息，获取至少一个描述信息中的第三部分描述信息或全部描述信息。
可选的，存储介质中存储的与步骤：匹配请求消息与至少一个描述信息，对应的计算机指令在被执行的过程之中，包括：
拆分请求消息，得到请求消息的第一部分和请求消息的第二部分，其中请求消息的第二部分用于指示请求消息所请求反馈的内容；
将请求消息的第一部分与至少一个描述信息进行匹配；其中在匹配时，将请求消息的第一部分与至少一个描述信息中的每个描述信息的第一部分匹配。
可选的，存储介质中存储的与步骤：拆分请求消息，得到请求消息的第一部分和请求消息的第二部分，对应的计算机指令在被执行的过程之中，包括：
对请求消息进行分析，得到请求消息对应的至少一个三元组；其中每个三元组包括第一信息、第二信息和第三信息中的至少一项，第一信息包括请求消息中的至少一个主体信息，第二信息包括与至少一个主体信息中每个主体信息对应的客体信息，第三信息包括至少一个主体信息中的每个主体信息和其对应的每个客体信息之间的关系信息；
其中，若第一三元组包括第一信息、第二信息和第三信息中的任意一个信息，则第一三元组未包括的两个信息为请求消息的第二部分，若第一三元组包括第一信息、第二信息和第三信息中的任意两个信息，则第一三元组未包括的一个信息为请求消息的第二部分，若第一三元组包括第一信息、第二信息和第三信息，则第一信息、第二信息和第三信息中包括疑问代词的信息为请求消息的第二部分。
可选的，存储介质中存储的与步骤：依据匹配结果，输出响应请求消息的描述信息，对应的计算机指令在被执行的过程之中，包括：
依据匹配结果，输出至少一个描述信息中包含请求消息的第一部分的描述信息，或，输出子描述信息；子描述信息包括至少一个描述信息中的第一描述信息的部分内容，第一描述信息包括请求消息的第一部分，子描述信息包括第一描述信息中去除请求消息的第一部分的内容后剩余的内容。
以上实施例仅用以对本发明的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！