信息的处理方法和装置与流程

1.本发明涉及信息处理领域，具体而言，涉及一种信息的处理方法和装置。


背景技术：

2.目前人工智能技术给搜索推荐,图片理解,语音识别,视频理解各领域都带来了飞速的发展,基于单独各领域的应用已经逐渐成熟,但大多还是仅基于某个单一领域所实现的应用，这样使得当用户需要使用多种应用时，需要在多个应用之间跳转，使用受到了一定的限制。
3.针对现有技术中智能交互平台的交互模式单一的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本发明实施例提供了一种信息的处理方法和装置，以至少解决现有技术中智能交互平台的交互模式单一的技术问题。
5.根据本发明实施例的一个方面，提供了一种信息的处理方法，包括：获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
6.根据本发明实施例的另一方面，还提供了一种信息的处理方法，包括：获取第一信息，并根据第一信息生成第一匹配结果，其中，第一匹配结果的类型与第一信息的类型不同；在第一匹配结果中包含目标对象的情况下，基于目标对象在网络中进行搜索；在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
7.根据本发明实施例的另一方面，还提供了一种信息的处理装置，包括：第一获取模块，用于获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；第二获取模块，用于在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
8.根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行如下步骤：获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
9.根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其
中，程序运行时执行如下步骤：获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；判在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
10.在本发明实施例中，获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。基于本技术上述实施例提供的方案，用户可以提供文字/语音/图片/视频的任一输入形式,输出文字/语音/图片/视频的所有形式,例如语音转文字再转图片视频,实时编辑图片解析内容,后搜索相应内容的图片/文字。上述方案采用了多种不同类型的信息之间的跨模态的转化技术,建立了智能多元的交互体验，从而解决了现有技术中智能交互平台的交互模式单一的技术问题。
附图说明
11.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
12.图1示出了一种用于实现信息的处理方法的计算设备(或移动设备)的硬件结构框图；
13.图2是根据本发明实施例1的一种信息的处理方法的流程图；
14.图3是根据本技术实施例的一种信息的处理方法的示意图；
15.图4是根据本技术实施例中的信息的处理方法进行搜索的一种示例；
16.图5是根据本技术实施例2的一种信息的处理方法的流程图；
17.图6是根据本技术实施例3的一种信息的处理装置的示意图；
18.图7是根据本技术实施例4的一种信息的处理装置的示意图；
19.图8是根据本发明实施例5的一种计算设备的结构框图；
20.图9是根据本技术实施例7的一种信息的处理方法的流程图；
21.图10是根据本技术实施例8的一种信息的处理装置的示意图；
22.图11是根据本技术实施例9的一种信息的处理方法的流程图；
23.图12是根据本技术实施例8的一种信息的处理装置的示意图；
24.图13是根据本技术实施例11的一种信息的处理方法的流程图；
25.图14是根据本技术实施例12的一种信息的处理装置的示意图；
26.图15是根据本技术实施例13的一种信息的处理方法的流程图；
27.图16是根据本技术实施例14的一种信息的处理装置的示意图；
28.图17是根据本技术实施例15的一种信息的处理方法的流程图；以及
29.图18是根据本技术实施例16的一种信息的处理装置的示意图。
具体实施方式
30.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是
本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
31.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.实施例1
33.根据本发明实施例，还提供了一种信息的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
34.本技术实施例一所提供的方法实施例可以在移动终端、计算设备或者类似的运算装置中执行。图1示出了一种用于实现信息的处理方法的计算设备(或移动设备)的硬件结构框图。如图1所示，计算设备10(或移动设备10)可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
35.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算设备10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
36.存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的信息的处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
37.传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算设备10的通信供应商提供的无线网络。在一个实例中，传输模块106包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互
联网进行通讯。在一个实例中，传输模块106可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
38.显示器可以例如触摸屏式的液晶显示器(lcd)，该液晶显示器可使得用户能够与计算设备10(或移动设备)的用户界面进行交互。
39.此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
40.在上述运行环境下，本技术提供了如图2所示的信息的处理方法。图2是根据本发明实施例1的一种信息的处理方法的流程图。
41.步骤s21，获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换。
42.具体的，上述类型用于表示信息的种类，例如：文字类型、语音类型、图片类型、视频类型等。
43.第一匹配结果的类型可以与第一信息的类型相同，也可以与第一信息的类型不同。第一信息的类型可以是用户输入的第一信息的类型，第一匹配结果的类型可以是指定的输出信息的类型。例如，当用户在电商平台上搜索商品时，第一信息的类型可以是文字类型，第一信息是用户输入的文字，第一匹配结果的类型可以是图片类型，第一匹配结果是平台返回给用户的图片。再例如，当用户在论文库中搜索文献时，第一信息的类型可以是文字类型，第一信息是用户输入的文字，第一匹配结果的类型还可以是文字类型，第一匹配结果是论文库返回给用户的查找到的论文的摘要。
44.第一信息的类型和第一匹配结果的类型允许相互切换，用表示可以基于任意一种类型的第一信息，生成任意一种不同类型或相同类型的第一匹配结果，从而为用户提供多模态的交互体验。
45.需要说明的是，上述第一信息的类型与第一匹配结果的类型可以进行相互切换，但不具有强关联关系，第一信息的类型仅由用户输入的第一信息而确定，第一匹配结果的类型仅由实际的应用来确定。也即，用户可以输入各种类型的第一信息，而得到的第一匹配结果均为指定的输出类型。
46.步骤s23，在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
47.上述目标对象为用户所要寻找的对象，该目标对象可以直接作为返回给用户的输出结果，也可以是用于用户进行进一步搜索的对象。判断第一匹配结果是否包含目标对象，可以根据是否接收到选择指令来确定。
48.在一种可选的实施例中，如果第一匹配结果中的任意一个对象接收到了选择指令，则确定该第一匹配结果中包含目标对象，否则确定第一匹配结果中不包含目标对象。
49.在第一匹配结果中不包含目标对象的情况下，获取第二信息，上述第二信息用于对第一信息进行补充描述，以进行更精确的匹配。在获取到第二信息后，基于第一信息和第二信息共同进行匹配，以获得第二匹配信息。
50.上述第二信息的类型根据用户输出的补充信息来确定，第二信息的类型与第一信息的类型允许相互切换，用于表示第二信息的类型与第一信息的类型可以相同，也可以不同，也即上述方案不限定用户所输入的补充信息类型，上述基于第二信息生成第二匹配结果，可以是根据第二信息在第一匹配结果里进行筛选，从中获取第二匹配结果，也可以是根据第一信息和第二信息重新生成新的第二匹配结果，而第二匹配结果的类型也是指定的输出类型，可以与第一匹配结果相同或不同，允许与第一匹配结果的类型进行切换。
51.相似的，在得到第二匹配结果后，如果第二匹配结果中仍不存在目标对象，还可以继续接收第三信息进行再次补充。
52.图3是根据本技术实施例的一种信息的处理方法的示意图，结合图3所示，用户可以向平台输入各种类型的信息，例如：语音、文字、图片、视频等，平台在获得用户所提供的信息后，实现语音、文字、图片、视频之间的互相转换，并可以基于用户输入的信息进行搜索以及系统推荐，最终向用户返回图文预测推荐的结果，该结果即为上述的第一匹配结果和第二匹配结果。
53.本技术上述实施例获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。基于本技术上述实施例提供的方案，用户可以提供文字/语音/图片/视频的任一输入形式,输出文字/语音/图片/视频的所有形式,例如语音转文字再转图片视频,实时编辑图片解析内容后搜索相应内容的图片/文字。上述方案采用了多种不同类型的信息之间的跨模态的转化技术,建立了智能多元的交互体验，从而解决了现有技术中智能交互平台的交互模式单一的技术问题。
54.作为一种可选的实施例，第一信息的类型为文字类型，第一匹配结果的类型为图片类型，获取第一信息，并根据第一信息生成第一匹配结果，包括：根据第一信息通过预设的神经网络模型生成对应的第一匹配结果；或根据第一信息在预设的素材库中搜索，得到第一匹配结果。
55.上述方案提供了两种第一信息的匹配方式，在第一种方式中，上述预设的神经网络模型通过预设的训练样本训练得到，将第一信息作为输入信息输入至神经网络模型，从而获得神经网络模型输出的第一匹配结果。在第二种方式中，基于预设的素材库进行搜素。
56.在一种可选的实施例中，通过文字-图片的训练样本对神经网络模型进行训练，并基于训练成功的神经网络模型对上述第一信息进行预测，得到第一匹配结果。
57.在另一种可选的实施例中，素材库中包括大量的图片以及图片对应的描述文字，将第一信息与素材库中图片对应的描述文字进行匹配，查找到与第一信息相似度由高至低排序的前n个文字描述对应的图片，并确定排序的前n个文字描述对应的图片为第一匹配结果。
58.图4是根据本技术实施例中的信息的处理方法进行搜索的一种示例，结合图4所示，左侧为用户输入的语音或文字，右侧为素材库根据用户输入的语音或文字返回的匹配结果。
59.用户首先输入“t恤”，平台根据“t恤”向用户返回第一次的匹配结果。如果展示的图片满足用户的预期，即展示的图片包含目标对象，则用户点击返回的任意一个图片发起
搜图。如果不能满足用户的预期，即展示的图片不包含目标对象，则用户发出更加细化的信息“男士”继续进行匹配，平台根据素材库更新上次的匹配结果，重新向用户返回本次的匹配结果。此时仍然不能满足用户的预期，用户对输入的信息又进行了两次细化，分别增加了“蓝色”和“polo”，从而得到与“t恤、男士、蓝色、polo”匹配的多个图片。用户在获得匹配的图片后，可以选中其中任意一个在网络中进行搜索。
60.作为一种可选的实施例，根据第一信息在预设的素材库中搜索，得到第一匹配结果，包括：在素材库不包括与第一信息匹配的第一匹配结果的情况下，根据神经网络模型生成对应的第一匹配结果，并将生成的第一匹配结果补充至素材库。
61.素材库不包括与第一信息匹配的第一匹配结果，用于表示平台无法向用户返回与第一信息匹配的任何图片。例如，如果第一信息与素材库中的所有图片的描述文字的相似度均低于阈值，则平台无法向用户返回与第一信息匹配的任何图片。
62.在平台无法通过素材库向用户返回第一匹配结果的情况下，需要通过神经网络模型根据第一信息为用户生成的对应的第一匹配结果，并将生成的第一匹配结果添加至素材库中，在向素材库中添加神经网络模型生成的第一匹配结果时，可以将第一信息作为该第一匹配结果的描述文字。
63.在上述方案中，如果在素材库中没有查找到与第一信息匹配的第一匹配结果，则通过神经网络模型生成第一匹配结果，并将生成的第一匹配结果补充至素材库，从而对素材库进行扩充，通过该方案，使得素材库能够随着使用的过程内容越来越丰富。
64.仍结合图4所示，在用户增加了“粉红色条纹”这一信息后，素材库中不存在匹配的图片，因此通过神经网络模型生成匹配的图片，并将新生成的图片加入至素材库。
65.作为一种可选的实施例，第一信息的类型为语音类型，第一匹配结果的类型为图片类型，获取第一信息，并根据第一信息生成第一匹配结果，包括：将第一信息由语音转换为文字；通过预设的神经网络模型根据转换得到的文字生成对应的第一匹配结果；或根据转换得到的文字在预设的素材库中搜索，得到第一匹配结果。
66.在上述方案中，第一信息可以为用户发出的语音信息，当接收到语音信息时，可以对语音信息进行语音转换，生成对应的文字，再基于文字进行匹配，得到对应的第一匹配结果。
67.在一种可选的实施例中，用于发出语音信息“t恤”，经过语音识别得到对应的文字后，即可通过神经网模型生成关于“t恤”的图片，或从素材库中搜索关于“t恤”的图片。
68.上述方案中，对用户输入的语音类型的第一信息进行转换得到对应的文字，再根据对应的文字进行匹配，得到第一匹配结果。
69.作为一种可选的实施例，第一信息的类型和第一匹配结果的类型均包括图片类型，根据第一信息生成第一匹配结果，包括：提取第一信息中图片的如下至少一项信息：图片中的主体内容、图片的轮廓信息；确定至少一项信息为第一匹配结果。提取图片的主体内容，可以用来做相似图片搜索，例如在商品库中找到对应的商品图；还可以用来给图片打标，例如用一些词提炼图片的主要内容，作为图片的属性，供只有的检索分类等。提取图片主体轮廓，可以向用户实时反馈检测到的主体，提供更加智能的交互体验，例如：在街拍->导购场景中，通过提取街拍图片中的轮廓信息，得到街拍图片中被拍摄主体的衣物的具体信息(例如款式、价格区间等)。
70.上述方案可以基于图像理解和分析技术实现，通过图像理解和分析算法，从第一信息的图片中提取主体内容以及轮廓，从而得到图片的核心内容。对图片的理解可以基于多种方式进行，例如，可以将图片中的对象和背景进行分割，并确定占用像素最多的对象为图片中的主体内容。上述图像理解和分析算法可以为实时图像语义分割算法，例如，deeplabv3+算法，还可以为实时视频对象分割算法，例如siammask算法等。
71.在一种可选的实施例中，用户想要搜索视频中的角色所使用的手机，输入一帧包含手机的视频截图，并将截图输入至平台，平台通过的对截图的理解，确定截图中的主体内容为手机，从而向用户返回截图中手机的图像，或进一步查找到截图中的手机对应的清晰的商品图，从而向用户返回截图中手机的清晰图片。
72.在另一种可选的实施例中，用户想要搜索与时装图片中的衣服版型相似的服装，因此将时装图片输入至平台，平台通过对时装图片的理解，提取出时装的轮廓并返回给用户，用户即可使用时装的轮廓对时装的版型进行分析，或查找类似版型的时装。
73.作为一种可选的实施例，第一信息还包括对图片的描述信息，根据第一信息生成第一匹配结果，包括：根据图片的描述信息生成与图片匹配的新的图片。
74.在上述方案中，用户输入的不仅包括图片，还包括图片的描述信息，根据对图片的分析和图片的描述信息，可以生成与图片匹配的新的图片。
75.上述图片的描述信息可以包括对期望的匹配结果的描述，也可以包括对图片中主体内容的描述。
76.在一种可选的实施例中，用户输入一张蓝色花瓶的图片，并添加描述信息“同款，紫色”，基于对图片的理解和描述信息的理解，即可向用户返回与输入的图片中的花瓶款式相似，但颜色为紫色的花瓶。
77.在另一种可选的实施例中，用户输入一张演员的图片，并添加描述“合作过的其他演员”，基于对图片的理解和描述信息的理解，即可向用户返回与输入的图片中的演员产生过合作关系的其他演员的图片。
78.作为一种可选的实施例，基于第二信息生成第二匹配结果，包括：基于第二信息对第一匹配结果进行调整，得到第二匹配结果。
79.在上述方案中，并未根据第二信息生成新的第二匹配结果，而是基于第二信息对第一匹配结果进行调整，得到第二匹配结果。上述调整的对象可以是第一匹配结果中每个图片的参数，例如：颜色参数、尺寸参数、属性参数等。
80.在一种可选的实施例中，第一匹配结果包括多个t恤的图片，第二信息可以为颜色信息，用于对第一匹配结果中t恤的颜色进行调整。当接收到第二信息时，确定第一信息所要调整的对象，然后基于第二信息所要调整的对象进行颜色的调整。例如，第二信息为“黑色”，则从第一匹配结果中筛选出黑色t恤，或对第一匹配结果中的t恤均修改为黑色。
81.在另一种可选的实施例中，第一匹配结果包括多个t恤的图片，第二信息可以为尺寸信息，用于对第一匹配结果中t恤的尺寸进行调整。当接收到第二信息时，确定第一信息所要调整的对象，然后基于第二信息所要调整的对象进行尺寸的调整。例如，第二信息为“175”，则从第一匹配结果中筛选出适合175cm人群的t恤，或对第一匹配结果中的t恤图片均修改为适合175cm人群的t恤所对应的图片。
82.在又一种可选的实施例中，仍以t恤为例，属性参数可以是t恤的款式。例如，第二
信息为“polo”，则从第一匹配结果中筛选出polo衫，或对第一匹配结果中的t恤图片均修改为polo。
83.作为一种可选的实施例，第一信息的类型为视频类型，第一匹配结果的类型为图片类型，根据第一信息生成第一匹配结果，包括：对所述视频进行场景分割；通过视频摘要算法输出所述视频对应的关键帧和文字信息；确定所述关键帧和所述文字信息为所述第一匹配结果，其中，所述关键帧信息与所述文字信息相关联。
84.具体的，上述关键帧可以是通过视频摘要(video caption)与图像摘要(imagecaption)算法从视频中提取的主要内容，上述文字信息可以是通过视频摘要与图像摘要算法从视频中提取的视频中主体内容的描述词。
85.对视频进行场景分割后，采用视频摘要与图像摘要算法，提取分割后各个场景的主要内容，可以是一个或多个关键帧，也可以是一些关于视频主体内容的描述词，这些图片信息或文本信息相互关联。再基于应用场景进行相应的输出，例如，输出关键帧作为视频封面，或搜索同款，再例如，输出文本信息，作为视频标题等，或者搜索视频同款。
86.在确定视频中的主要内容后，还可以通过视频跟踪分割算法(例如siammask)对视频进行编辑，例如，对于商品的介绍视频，把视频背景模糊，突显对象物体；或前景留色，背景仅黑白，又或者对于商品的介绍视频，增加视频ar效果，例如增加小挂件等。
87.作为一种可选的实施例，获取第一信息或获取第二信息，包括：获取用户的行为信息，分析行为信息，确定第一信息或第二信息；和/或接收输入的第一信息或第二信息。
88.在上述方案中，获取的第一信息和第二信息可以是用户输入的，也可以是通过对用户的行为进行分析而主动生成的。第一信息和第二信息的信息来源可以不同。通过上述方案，还可以根据用户的行为习惯提供“猜你喜欢”的图片,“猜你想写”的文字等功能。
89.需要说明的是，上述两种获得信息的方式可以在一次搜索过程中混合使用，例如，第一信息为用户输入的信息，第二信息为根据用户的行为信息分析得到的信息，也可以全部为同一种类型的信息。
90.在一种可选的实施例中，平台可以被动的接收用户输入的第一信息或第二信息，根据第一信息或第二信息进行匹配，得到第一匹配结果或第二匹配结果。例如，以的电商平台为例，当用户需要购买商品时，再向电商平台发出第一信息，在得到返回的第一匹配结果后，如果第一匹配结果中不包含用户想要在平台中进行搜索的目标对象，则用户可以继续发起第二信息，以得到第二匹配结果。
91.在另一种可选的实施例中，平台可以对用户的行为进行分析，来实现主动的推荐，或在交互的过程中实现主动的预测。例如，通过对用户行为的分析，确定用户偏好在网络上购买某个品牌的电子产品，该品牌即可以作为第一信息，当该品牌有新品上市时，可以将新品的图片作为第一匹配结果向用户进行推荐，从而实现了根据用户的行为进行主动预测，进而实现主动的推荐。在用户得到第一匹配结果后，可以向平台发送第二信息，以对第一匹配结果进行调整或筛选，得到第二匹配结果。
92.作为一种可选的实施例，在获取第二信息，并基于第二信息生成第二匹配结果之前，上述方法还包括：判断第一匹配结果中是否包含目标对象；如果第一匹配结果中包含目标对象，基于目标对象在网络中进行搜索。
93.判断第一匹配结果是否包含目标对象，可以根据是否接收到选择指令来确定。在
一种可选的实施例中，如果第一匹配结果中的任意一个对象接收到了选择指令，则确定该第一匹配结果中包含目标对象，否则确定第一匹配结果中不包含目标对象。
94.上述目标对象为符合用户预期的对象，该目标对象可以直接作为返回给用户的输出结果，也可以是用于用户进行进一步搜索的对象。判断第一匹配结果是否包含目标对象，可以根据是否接收到选择指令来确定。
95.在一种可选的实施例中，在第一匹配结果中包含目标对象的情况下，用户可以通过发出选择指令等方式选中目标对象，从而控制平台基于用户所选中的目标对象进行搜索。
96.作为一种可选的实施例，如果所述第一匹配结果中包含所述目标对象，上述方法还包括：基于所述目标对象发送推荐信息，其中，所述推荐信息包括与所述目标对象匹配的其他对象。
97.在上述方案中，在确定目标对象后，不仅可以基于目标对象在网络中进行搜索，还可以推送与所述目标对象相匹配的其他对象。
98.在一种可选的实施例中，以目标对象为图片为例，该图片中为用户想要在电商平台上搜索的t恤。在确定该图片后，不仅在电商网站的平台上搜索该图片中的t恤，还可以搜索可以与该图片中的t恤进行搭配的其他服饰，例如：裤装、鞋子、背包等，从而实现了为用户进行搭配推荐的效果。
99.作为一种可选的实施例，在基于所述目标对象在网络中进行搜索之后，上述方法还包括：在展示界面上展示基于所述目标对象在网络中进行搜索的搜索结果；检测生成于所述展示界面的操作信息，并基于所述操作信息从所述搜索结果中选择目标搜索结果。
100.具体的，上述目标搜索结果用于表示在搜索结果中平台预测出的与用户喜好最接近的搜索结果。在确定目标搜索结果之后，可以根据目标搜索结果进行下一轮的推荐。
101.在上述方案中，在展示界面上展示搜索结果后，还可以通过检测用户对展示界面上的操作(例如在展示界面所停留的时间、是否查看搜索结果的详细信息等)，在用户浏览搜索结果的过程中对用户的需求进行猜测。
102.在一种可选的实施例中，仍以电商平台为例，在该示例中目标对象仍为用户想要搜素的t恤的图片，在用户所使用的终端上展示搜索结果后，用户对搜索结果进行浏览，浏览过程中，会在展示界面上产生对应的操作信息，例如，滑动展示界面，停留在当前展示界面、点击任意一个搜索结果以了解其详情，对任意一个搜索结果进行分享等。基于检测到的这些操作信息，可以确定用户感兴趣的搜索结果，并将用户最感兴趣的搜索结果作为目标搜索结果。确定的目标搜索结果可以用于下一轮的信息推荐，例如，当用户下次访问该电商平台时，可以基于上次的目标搜索结果为用户进行推荐。
103.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
104.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多
情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
105.实施例2
106.根据本发明实施例，还提供了另一种信息的处理方法，图5是根据本技术实施例2的一种信息的处理方法的流程图，如图5所示，该步骤包括：
107.步骤s51，获取第一信息，并根据第一信息生成第一匹配结果，其中，所述第一信息的类型与所述第一匹配结果的类型允许相互切换。
108.具体的，上述类型用于表示信息的种类，例如：文字类型、语音类型、图片类型、视频类型等。
109.第一匹配结果的类型可以与第一信息的类型相同，也可以与第一信息的类型不同。第一信息的类型可以是用户输入的第一信息的类型，第一匹配结果的类型可以是指定的输出信息的类型。例如，当用户在电商平台上搜索商品时，第一信息的类型可以是文字类型，第一信息是用户输入的文字，第一匹配结果的类型可以是图片类型，第一匹配结果是平台返回给用户的图片。再例如，当用户在论文库中搜索文献时，第一信息的类型可以是文字类型，第一信息是用户输入的文字，第一匹配结果的类型还可以是文字类型，第一匹配结果是论文库返回给用户的查找到的论文的摘要。
110.第一信息的类型和第一匹配结果的类型允许相互切换，用于表示可以基于任意一种类型的第一信息，生成任意一种不同类型或相同类型的第一匹配结果，从而为用户提供多模态的交互体验。
111.需要说明的是，上述第一信息的类型与第一匹配结果的类型可以进行相互切换，但不具有强关联关系，第一信息的类型仅由用户输入的第一信息而确定，第一匹配结果的类型仅由实际的应用来确定。也即，用户可以输入各种类型的第一信息，而得到的第一匹配结果均为为指定的输出类型。
112.步骤s53，在第一匹配结果中包含目标对象的情况下，基于目标对象在网络中进行搜索。
113.上述目标对象为符合用户预期的对象，该目标对象可以直接作为返回给用户的输出结果，也可以是用于用户进行进一步搜索的对象。判断第一匹配结果是否包含目标对象，可以根据是否接收到选择指令来确定。
114.在一种可选的实施例中，在第一匹配结果中包含目标对象的情况下，用户可以通过发出选择指令等方式选中目标对象，从而控制平台基于用户所选中的目标对象进行搜索。
115.步骤s55，在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
116.在第一匹配结果中不包含目标对象的情况下，获取第二信息，上述第二信息用于对第一信息进行补充描述，以进行更精确的匹配。在获取到第二信息后，基于第一信息和第二信息共同进行匹配，以获得第二匹配信息。
117.上述第二信息的类型根据用户输出的补充信息来确定，第二信息的类型与第一信息的类型允许相互切换，用于表示第二信息的类型与第一信息的类型可以相同，也可以不同，也即上述方案不限定用户所输入的补充信息类型，上述基于第二信息生成第二匹配结果，可以是根据第二信息在第一匹配结果里进行筛选，从中获取第二匹配结果，也可以是根据第一信息和第二信息重新生成新的第二匹配结果，而第二匹配结果的类型也是指定的输出类型，可以与第一匹配结果相同或不同。
118.相似的，在得到第二匹配结果后，如果第二匹配结果中仍不存在目标对象，还可以继续接收第三信息进行再次补充。
119.图3是根据本技术实施例的一种信息的处理方法的示意图，结合图3所示，用户可以向平台输入各种类型的信息，例如：语音、文字、图片、视频等，平台在获得用户所提供的信息后，实现语音、文字、图片、视频之间的互相转换，并可以基于用户输入的信息进行搜索以及系统推荐，最终向用户返回图文预测推荐的结果，该结果即为上述的第一匹配结果和第二匹配结果。
120.本技术上述实施例获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；在第一匹配结果中包含目标对象的情况下，基于目标对象在网络中进行搜索；在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。基于本技术上述实施例提供的方案，用户可以提供文字/语音/图片/视频的任一输入形式,输出文字/语音/图片/视频的所有形式,例如语音转文字再转图片视频,实时编辑图片解析内容后搜索相应内容的图片/文字。上述方案采用了多种不同类型的信息之间的跨模态的转化技术,建立了智能多元的交互体验，从而解决了现有技术中智能交互平台的交互模式单一的技术问题。
121.作为一种可选的实施例，在第一匹配结果中包含目标对象的情况下，基于目标对象在网络中进行搜索，包括：接收选择指令，其中，选择指令用于从第一匹配结果中指示目标对象；根据选择指令所指示的目标对象在网络中进行搜索。
122.上述选择指令用于选择第一匹配结果中的任意一个，当任意一个第一匹配结果被选择后，平台会将被选择的第一匹配结果作为目标对象进行搜索。
123.在一种可选的实施例中，结合图4所示，在根据“t恤、男士、蓝色、polo、粉红色条纹”返回给用户新的匹配结果后，用户认为返回的匹配结果中具有符合其预期的图片，用户点击符合其预期的图片，即可进行进一步的网络搜索。
124.实施例3
125.根据本发明实施例，还提供了一种用于实施上述实施例1中的信息的处理方法的信息的处理装置，图6是根据本技术实施例3的一种信息的处理装置的示意图，如图6所示，该装置600包括：
126.第一获取模块602，用于获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换。
127.第二获取模块604，用于在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
128.此处需要说明的是，上述第一获取模块602和第二获取模块604对应于实施例1中的步骤s21至步骤s23，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算设备10中。
129.作为一种可选的实施例，第一信息的类型为文字类型，第一匹配结果的类型为图片类型，第一获取模块包括：第一生成子模块，用于根据第一信息通过预设的神经网络模型生成对应的第一匹配结果；或第一搜索子模块，用于根据第一信息在预设的素材库中搜索，得到第一匹配结果。
130.作为一种可选的实施例，第一搜索子模块包括：生成单元在素材库不包括与第一信息匹配的第一匹配结果的情况下，根据神经网络模型生成对应的第一匹配结果，并将生成的第一匹配结果补充至素材库。
131.作为一种可选的实施例，第一信息的类型为语音类型，第一匹配结果的类型为图片类型，第一获取模块包括：转换子模块，用于将第一信息由语音转换为文字；第二生成子模块，用于通过预设的神经网络模型根据转换得到的文字生成对应的第一匹配结果；或第二搜索子模块，用于根据转换得到的文字在预设的素材库中搜索，得到第一匹配结果。
132.作为一种可选的实施例，第一信息的类型和第一匹配结果的类型均包括图片类型，第一获取模块包括：第一提取子模块，用于提取第一信息中图片的如下至少一项信息：图片中的主体内容、图片的轮廓信息；第一确定子模块，用于确定至少一项信息为第一匹配结果。
133.作为一种可选的实施例，第一信息还包括对图片的描述信息，第一获取模块包括：第三生成子模块，用于根据图片的描述信息生成与图片匹配的新的图片。
134.作为一种可选的实施例，第二获取模块包括：调整子模块，用于基于第二信息对第一匹配结果进行调整，得到第二匹配结果。
135.作为一种可选的实施例，第一信息的类型为视频类型，第一匹配结果的类型为图片类型，第一获取模块包括：分割子模块，用于对视频进行场景分割；输出子模块，用于通过视频摘要算法输出所述视频对应的关键帧和文字信息；第二确定子模块，用于确定所述关键帧和所述文字信息为所述第一匹配结果，其中，所述关键帧信息与所述文字信息相关联。
136.作为一种可选的实施例，第一获取模块或第二获取模块包括：获取子模块，用于获取用户的行为信息，分析行为信息，确定第一信息或第二信息；和/或接收模块，用于接收输入的第一信息或第二信息。
137.作为一种可选的实施例，上述装置还包括：判断模块，用于在获取第二信息，并基于所述第二信息生成第二匹配结果之前，判断所述第一匹配结果中是否包含所述目标对象；搜索模块，用于如果所述第一匹配结果中包含所述目标对象，基于所述目标对象在网络中进行搜索。
138.作为一种可选的实施例，如果所述第一匹配结果中包含所述目标对象，上述装置还包括：发送模块，用于基于所述目标对象发送推荐信息，其中，所述推荐信息包括与所述目标对象匹配的其他对象。
139.作为一种可选的实施例，上述装置还包括：展示模块，用于在基于所述目标对象在网络中进行搜索之后，在展示界面上展示基于所述目标对象在网络中进行搜索的搜索结
果；选择模块，用于检测生成于所述展示界面的操作信息，并基于所述操作信息从所述搜索结果中选择目标搜索结果。
140.实施例4
141.根据本发明实施例，还提供了一种用于实施上述实施例2中的信息的处理方法的信息的处理装置，图7是根据本技术实施例4的一种信息的处理装置的示意图，如图7所示，该装置700包括：
142.第一获取模块702，用于获取第一信息，并根据第一信息生成第一匹配结果，其中，所述第一信息的类型与所述第一匹配结果的类型允许相互切换。
143.搜索模块704，用于在第一匹配结果中包含目标对象的情况下，基于目标对象在网络中进行搜索。
144.第二获取模块706，用于在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
145.此处需要说明的是，上述第一获取模块702、搜索模块704和第二获取模块706对应于实施例2中的步骤s51至步骤s55，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算设备10中。
146.作为一种可选的实施例，搜索模块包括：接收子模块，用于接收选择指令，其中，选择指令用于从第一匹配结果中指示目标对象；搜索子模块，用于根据选择指令所指示的目标对象在网络中进行搜索。
147.实施例5
148.本发明的实施例可以提供一种计算设备，该计算设备可以是计算设备群中的任意一个计算设备设备。可选地，在本实施例中，上述计算设备也可以替换为移动终端等终端设备。
149.可选地，在本实施例中，上述计算设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
150.在本实施例中，上述计算设备可以执行应用程序的漏洞检测方法中以下步骤的程序代码：获取第一信息，并根据所述第一信息生成第一匹配结果，其中，所述第一信息的类型与所述第一匹配结果的类型允许相互切换；在所述第一匹配结果中不包含所述目标对象的情况下，获取第二信息，并基于所述第二信息生成所述第二匹配结果，其中，所述第二信息的类型与所述第一信息的类型允许相互切换，所述第二信息用于对所述第一信息进行补充。
151.可选地，图8是根据本发明实施例5的一种计算设备的结构框图。如图8所示，该计算设备a可以包括：一个或多个(图中仅示出一个)处理器802、存储器804、以及外设接口806。
152.其中，存储器可用于存储软件程序以及模块，如本发明实施例中的安全漏洞检测方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的系统漏洞攻击的检测方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、
或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端a。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
153.处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
154.可选的，上述处理器还可以执行如下步骤的程序代码：第一信息的类型为文字类型，第一匹配结果的类型为图片类型，获取第一信息，并根据第一信息生成第一匹配结果，包括：根据第一信息通过预设的神经网络模型生成对应的第一匹配结果；或根据第一信息在预设的素材库中搜索，得到第一匹配结果。
155.可选的，上述处理器还可以执行如下步骤的程序代码：根据第一信息在预设的素材库中搜索，得到第一匹配结果，包括：在素材库不包括与第一信息匹配的第一匹配结果的情况下，根据神经网络模型生成对应的第一匹配结果，并将生成的第一匹配结果补充至素材库。
156.可选的，上述处理器还可以执行如下步骤的程序代码：第一信息的类型为语音类型，第一匹配结果的类型为图片类型，获取第一信息，并根据第一信息生成第一匹配结果，包括：将第一信息由语音转换为文字；通过预设的神经网络模型根据转换得到的文字生成对应的第一匹配结果；或根据转换得到的文字在预设的素材库中搜索，得到第一匹配结果。
157.可选的，上述处理器还可以执行如下步骤的程序代码：第一信息的类型和第一匹配结果的类型均包括图片类型，根据第一信息生成第一匹配结果，包括：提取第一信息中图片的如下至少一项信息：图片中的主体内容、图片的轮廓信息；确定至少一项信息为第一匹配结果。
158.可选的，上述处理器还可以执行如下步骤的程序代码：第一信息还包括对图片的描述信息，根据第一信息生成第一匹配结果，包括：根据图片的描述信息生成与图片匹配的新的图片。
159.可选的，上述处理器还可以执行如下步骤的程序代码：基于第二信息生成第二匹配结果，包括：基于第二信息对第一匹配结果进行调整，得到第二匹配结果。
160.可选的，上述处理器还可以执行如下步骤的程序代码：第一信息的类型为视频类型，第一匹配结果的类型为图片类型，根据第一信息生成第一匹配结果，包括：对视频进行场景分割通过视频摘要算法输出所述视频对应的关键帧和文字信息；确定所述关键帧和所述文字信息为所述第一匹配结果，其中，所述关键帧信息与所述文字信息相关联。
161.可选的，上述处理器还可以执行如下步骤的程序代码：获取第一信息或获取第二信息，包括：获取用户的行为信息，分析行为信息，确定第一信息或第二信息；和/或接收输入的第一信息或第二信息。
162.可选的，上述处理器还可以执行如下步骤的程序代码：在获取第二信息，并基于第二信息生成第二匹配结果之前，判断第一匹配结果中是否包含目标对象；如果第一匹配结果中包含目标对象，基于目标对象在网络中进行搜索。
163.可选的，上述处理器还可以执行如下步骤的程序代码：如果第一匹配结果中包含目标对象，基于目标对象发送推荐信息，其中，推荐信息包括与目标对象匹配的其他对象。
164.可选的，上述处理器还可以执行如下步骤的程序代码：在基于目标对象在网络中进行搜索之后，在展示界面上展示基于目标对象在网络中进行搜索的搜索结果；检测生成于展示界面的操作信息，并基于操作信息从搜索结果中选择目标搜索结果。
165.采用本发明实施例，提供了一种信息的处理方法。通过获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。基于本技术上述实施例提供的方案，用户可以提供文字/语音/图片/视频的任一输入形式,输出文字/语音/图片/视频的所有形式,例如语音转文字再转图片视频,实时编辑图片解析内容后搜索相应内容的图片/文字。上述方案采用了多种不同类型的信息之间的跨模态的转化技术,建立了智能多元的交互体验，从而解决了现有技术中智能交互平台的交互模式单一的技术问题。
166.本领域普通技术人员可以理解，图8所示的结构仅为示意，计算设备也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobile internet devices，mid)、pad等终端设备。图8其并不对上述电子装置的结构造成限定。例如，计算设备80还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。
167.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
168.实施例6
169.本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的信息的处理方法所执行的程序代码。
170.可选地，在本实施例中，上述存储介质可以位于计算机网络中计算设备群中的任意一个计算设备中，或者位于移动终端群中的任意一个移动终端中。
171.可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取第一信息，并根据第一信息生成第一匹配结果，其中，第一信息的类型与第一匹配结果的类型允许相互切换；在第一匹配结果中不包含目标对象的情况下，获取第二信息，并基于第二信息生成第二匹配结果，其中，第二信息的类型与第一信息的类型允许相互切换，第二信息用于对第一信息进行补充。
172.实施例7
173.根据本发明实施例，还提供了另一种信息的处理方法，图9是根据本技术实施例7的一种信息的处理方法的流程图，如图9所示，该步骤包括：
174.步骤s91，获取第一语音或文字信息，并根据所述第一语音或文字信息生成第一匹配结果，其中，所述第一匹配结果中包含根据所述第一语音或文字信息搜索得到的图片信息。
175.具体的，上述第一语音或文字信息可以是用户向平台输入的信息，该信息用于在平台上进行图像搜索。以电商平台为例，用户可以通过语音或文字向电商平台输入其想要搜索的内容。电商平台在接收到用户输入的语音或文字信息后，基于该语音或文字信息进行搜索，即可向用户返回第一匹配结果，该第一匹配结果中包含的是电商平台搜索得到的图片信息。
176.步骤s93，在所述第一匹配结果中包含目标图片的情况下，基于所述目标图片在网络中进行搜索。
177.上述目标图片为符合用户预期的对象，该目标图片可以直接作为返回给用户的输出结果，也可以是用于用户进行进一步搜索的对象。判断第一匹配结果是否包含目标图片，可以根据是否接收到选择指令来确定。
178.在一种可选的实施例中，在第一匹配结果中包含目标图片的情况下，用户可以通过发出选择指令等方式选中目标对象，从而控制平台基于用户所选中的目标图片进行搜索。
179.步骤s95，在所述第一匹配结果中不包含所述目标图片的情况下，获取用于对所述第一语音或文字信息进行补充的第二语音或文字信息，并基于所述第一语音或文字信息和所述第二语音或文字信息生成所述第二匹配结果，其中，所述第二匹配结果中包含根据所述第一语音或文字信息和所述第二语音或文字信息搜索得到的图片信息。
180.在第一匹配结果中不包含目标图片的情况下，获取第二语音或文字信息，上述第二语音或文字信息用于对第一语音或文字信息进行补充描述，以进行更精确的匹配。在获取到第二语音或文字信息后，基于第一语音或文字信息和第二语音或文字信息共同进行匹配，以获得第二匹配结果。
181.相似的，在得到第二匹配结果后，如果第二匹配结果中仍不存在目标图片，还可以继续接收第三语音或文字信息，以对第一语音或文字信息以及第二语音或文字信息进行补充。
182.结合图4所示，左侧为用户输入的语音或文字，右侧为素材库根据用户输入的语音或文字返回的匹配结果。
183.用户首先输入“t恤”，平台根据“t恤”向用户返回第一次的匹配结果。如果展示的图片满足用户的预期，即展示的图片包含目标图片，则用户点击返回的任意一个图片发起搜图。如果不能满足用户的预期，即展示的图片不包含目标对象，则用户补充输入更加细化的信息“男士”继续进行匹配，平台根据素材库更新上次的匹配结果，重新向用户返回本次的匹配结果。此时仍然不能满足用户的预期，用户对输入的信息又进行了两次细化，分别增加了“蓝色”和“polo”，从而得到与“t恤、男士、蓝色、polo”匹配的多个图片。用户在获得匹配的图片后，可以选中其中任意一个在网络中进行搜索。但如果“t恤、男士、蓝色、polo”的匹配结果仍不包含目标图片，用户在用户增加了“粉红色条纹”这一信息后，但素材库中不存在匹配的图片，则可以通过神经网络模型生成匹配的图片，并将新生成的图片加入至素材库。
184.本技术上述实施例获取第一语音或文字信息，并根据所述第一语音或文字信息生成第一匹配结果，其中，所述第一匹配结果中包含根据所述语音或文字信息搜索得到的图片信息；在所述第一匹配结果中包含目标图片的情况下，基于所述目标图片在网络中进行
搜索；在所述第一匹配结果中不包含所述目标图片的情况下，获取用于对所述语音或文字信息进行补充第二语音或文字信息，并基于所述第二语音或文字信息生成所述第二匹配结果，其中，所述第二匹配结果中包含根据所述第一语音或文字信息和所述第二语音或文字信息搜索得到的图片信息。基于本技术上述实施例提供的方案，用户可以提供语音或文字形式的输入,得到图片形式的输出,从而采用了多种不同类型的信息之间的跨模态的转化技术,建立了智能多元的交互体验，从而解决了现有技术中智能交互平台的交互模式单一的技术问题。
185.实施例8
186.根据本发明实施例，还提供了一种用于实施上述实施例7中的信息的处理方法的信息的处理装置，图10是根据本技术实施例8的一种信息的处理装置的示意图，如图10所示，该装置1000包括：
187.第一获取模块1002，用于获取第一语音或文字信息，并根据所述第一语音或文字信息生成第一匹配结果，其中，所述第一匹配结果中包含根据所述第一语音或文字信息搜索得到的图片信息；
188.搜索模块1004，用于在所述第一匹配结果中包含目标图片的情况下，基于所述目标图片在网络中进行搜索；
189.第二获取模块1006，用于在所述第一匹配结果中不包含所述目标图片的情况下，获取用于对所述第一语音或文字信息进行补充的第二语音或文字信息，并基于所述第一语音或文字信息和第二语音或文字信息生成所述第二匹配结果，其中，所述第二匹配结果中包含根据所述第一语音或文字信息和所述第二语音或文字信息搜索得到的图片信息。
190.此处需要说明的是，上述第一获取模块1002、搜索模块1004和第二获取模块1006对应于实施例7中的步骤s91至步骤s95，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算设备10中。
191.实施例9
192.根据本发明实施例，还提供了另一种信息的处理方法，图11是根据本技术实施例9的一种信息的处理方法的流程图，如图11所示，该步骤包括：
193.步骤s111，获取第一信息，其中，所述第一信息为语音信息。
194.具体的，上述第一信息可以是用户向平台输入的信息。
195.步骤s113，根据所述第一信息,基于第一数据源，搜索得到第一匹配结果，其中，所述第一匹配结果中包含目标图片；
196.具体的，上述第一数据源可以为预设的素材库。在一种可选的实施例中，素材库中包括大量的图片以及图片对应的描述文字，将第一信息与素材库中图片对应的描述文字进行匹配，查找到与第一信息相似度由高至低排序的前n个文字描述对应的图片，并确定排序的前n个文字描述对应的图片为第一匹配结果。
197.步骤s115，根据所述目标图片，在第二数据源，检索得到第二匹配结果，其中，所述第二数据源与所述第一数据源的数据量不同。
198.具体的，上述第二数据源可以为网络平台，例如电商平台等，在确定目标图片后，以目标图片为基础在第二数据源中进行搜索，得到第二匹配结果。
199.上述目标图片为符合用户预期的图片，上述方案将目标图片用于用户进行进一步搜索的对象。在一种可选的实施例中，在第一匹配结果中包含目标图片的情况下，用户可以通过发出选择指令等方式选中目标图片，从而控制平台基于用户所选中的目标对象进行搜索。
200.实施例10
201.根据本发明实施例，还提供了一种用于实施上述实施例9中的信息的处理方法的信息的处理装置，图12是根据本技术实施例8的一种信息的处理装置的示意图，如图12所示，该装置1200包括：
202.获取模块1202，用于获取第一信息，其中，所述第一信息为语音信息；
203.第一搜索模块1204，用于根据所述第一信息,基于第一数据源，搜索得到第一匹配结果，其中，所述第一匹配结果中包含目标图片；
204.第二搜索模块1206，用于根据所述目标图片，在第二数据源，检索得到第二匹配结果，其中，所述第二数据源与所述第一数据源的数据量不同。
205.此处需要说明的是，上述获取模块1202、第一搜索模块1204和第二搜索模块1206对应于实施例9中的步骤s111至步骤s115，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算设备10中。
206.实施例11
207.根据本发明实施例，还提供了另一种信息的处理方法，图13是根据本技术实施例11的一种信息的处理方法的流程图，如图13所示，该步骤包括：
208.步骤s131，获取第一语音信息。
209.具体的，上述第一语音信息可以是用户向平台输入的信息，该信息用于在平台上进行图像搜索。
210.步骤s133，根据所述第一语音信息,基于第一数据源，检索得到第一匹配结果，其中，所述第一匹配结果中不包含目标图片。
211.具体的，上述第一数据源可以为预设的素材库。以电商平台为例，用户可以通过语音向电商平台输入其想要搜索的内容。电商平台在接收到用户输入的语音信息后，首先基于该语音信息在电商平台的素材库中进行搜索，即可向用户返回第一匹配结果，该第一匹配结果中包含的是在素材库中搜索得到的图片信息。
212.步骤s135，获取用于对所述第一语音进行补充的第二语音。
213.在第一匹配结果中不包含目标图片的情况下，获取第二语音信息，该第二语音信息用于对第一语音信息进行补充，以对用户需要搜索的对象进行进一步描述，进而进行更精确的匹配。
214.步骤s137，根据所述第一语音和第二语音，基于所述第一数据源，检索得到第二匹配结果，其中，所述第二匹配结果中包含目标图片。
215.在获取到第二语音信息后，基于第一语音信息和第二语音信息共同进行匹配，以获得第二匹配结果。
216.在得到第二匹配结果后，如果第二匹配结果中包括目标图片，则可以进行下一个步骤。
217.步骤s139，根据所述目标图片，在第二数据源，检索得到第三匹配结果，其中，所述第二数据源与所述第一数据源的数据量不同。
218.具体的，上述第二数据源可以是网络平台，例如电商平台等，该第二数据源的数据量远大于第一数据源。二者的区别在于，第一数据源用于匹配出用户想要搜索的目标，即用户想要基于何种图片进行搜索，而在第二数据源中搜索得到的才是最终真正的搜索结果。
219.在确定目标图片后，基于目标图片在第二数据源搜索，即可得到最终的搜索结果。
220.实施例12
221.根据本发明实施例，还提供了一种用于实施上述实施例11中的信息的处理方法的信息的处理装置，图14是根据本技术实施例12的一种信息的处理装置的示意图，如图14所示，该装置1400包括：
222.第一获取模块1402，用于获取第一语音信息；
223.第一检索模块1404，用于根据所述第一语音信息,基于第一数据源，检索得到第一匹配结果，其中，所述第一匹配结果中不包含目标图片；
224.第二获取模块1406，用于获取用于对所述第一语音进行补充的第二语音；
225.第二检索模块1408，用于根据所述第一语音和第二语音，基于所述第一数据源，检索得到第二匹配结果，其中，所述第二匹配结果中包含目标图片；
226.第三检索模块1410，用于根据所述目标图片，在第二数据源，检索得到第三匹配结果，其中，所述第二数据源与所述第一数据源的数据量不同。
227.此处需要说明的是，上述第一获取模块1402、第一检索模块1404、第二获取模块1406、第二检索模块1408和第三检索模块1410对应于实施例11中的步骤s131至步骤s139，五个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算设备10中。
228.实施例13
229.根据本发明实施例，还提供了另一种信息的处理方法，图15是根据本技术实施例13的一种信息的处理方法的流程图，如图15所示，该步骤包括：
230.步骤s151，获取第一信息，并根据所述第一信息在第一数据源进行搜索生成第一匹配结果，其中，所述第一匹配结果中包含目标对象。
231.具体的，上述第一信息可以是用户向平台输入的信息。上述第一数据源可以为预设的素材库。在一种可选的实施例中，素材库中包括大量的图片以及图片对应的描述文字，将第一信息与素材库中图片对应的描述文字进行匹配，查找到与第一信息相似度由高至低排序的前n个文字描述对应的图片，并确定排序的前n个文字描述对应的图片为第一匹配结果。
232.步骤s153，根据所述目标对象在第二数据源中进行搜索，得到第二匹配结果，其中，所述第二数据源与所述第一数据源的数据量不同。
233.具体的，上述第二数据源可以为网络平台，例如电商平台等，在确定目标对象后，以目标对象为基础在第二数据源中进行搜索，得到第二匹配结果。
234.上述目标对象为符合用户预期的图片，上述方案将目标对象用于用户进行进一步搜索的对象。在一种可选的实施例中，在第一匹配结果中包含目标对象的情况下，用户可以通过发出选择指令等方式选中目标对象，从而控制平台基于用户所选中的目标对象进行搜
索。
235.步骤s157，基于所述第二匹配结果发送推荐信息，其中，所述推荐信息包括与所述第二匹配结果匹配的其他对象。
236.在上述方案中，在确定目标对象后，不仅可以基于目标对象在网络中进行搜索，还可以推送与第二匹配结果相匹配的其他对象。
237.在一种可选的实施例中，以第二匹配结果为图片为例，该图片中为根据目标对象在电商平台上搜索的t恤。在用户从第二匹配结果中选定最终的搜索结果后，不仅在电商网站的平台上搜索该图片中的t恤，还可以搜索可以与该图片中的t恤进行搭配的其他服饰，例如：裤装、鞋子、背包等，从而实现了为用户进行搭配推荐的效果。
238.实施例14
239.根据本发明实施例，还提供了一种用于实施上述实施例13中的信息的处理方法的信息的处理装置，图16是根据本技术实施例8的一种信息的处理装置的示意图，如图16所示，该装置1600包括：
240.获取模块1602，用于获取第一信息，并根据所述第一信息在第一数据源进行搜索生成第一匹配结果，其中，所述第一匹配结果中包含目标对象；
241.搜索模块1604，用于根据所述目标对象在第二数据源中进行搜索，得到第二匹配结果，其中，所述第二数据源与所述第一数据源的数据量不同；
242.推荐模块1606，用于基于所述第二匹配结果发送推荐信息，其中，所述推荐信息包括与所述第二匹配结果匹配的其他对象。
243.此处需要说明的是，上述获取模块1602、搜索模块1604和推荐模块1606对应于实施例13中的步骤s151至步骤s155，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算设备10中。
244.实施例15
245.根据本发明实施例，还提供了另一种信息的处理方法，图17是根据本技术实施例15的一种信息的处理方法的流程图，如图17所示，该步骤包括：
246.步骤s171，获取第一信息，并根据所述第一信息在第一数据源进行搜索生成第一匹配结果，其中，所述第一匹配结果中包含目标对象。
247.具体的，上述第一信息可以是用户向平台输入的信息。上述第一数据源可以为预设的素材库。在一种可选的实施例中，素材库中包括大量的图片以及图片对应的描述文字，将第一信息与素材库中图片对应的描述文字进行匹配，查找到与第一信息相似度由高至低排序的前n个文字描述对应的图片，并确定排序的前n个文字描述对应的图片为第一匹配结果。
248.步骤s173，根据所述目标对象在第二数据源中进行搜索，得到第二匹配结果，其中，所述第二数据源与所述第一数据源的数据量不同。
249.具体的，上述第二数据源可以为网络平台，例如电商平台等，在确定目标对象后，以目标对象为基础在第二数据源中进行搜索，得到第二匹配结果。
250.上述目标对象为符合用户预期的图片，上述方案将目标对象用于用户进行进一步搜索的对象。在一种可选的实施例中，在第一匹配结果中包含目标对象的情况下，用户可以
通过发出选择指令等方式选中目标对象，从而控制平台基于用户所选中的目标对象进行搜索。
251.步骤s175，在展示界面中展示所述第二匹配结果。
252.步骤s177，检测生成于所述展示界面的操作信息，并基于所述操作信息从所述第二匹配结果中选择目标匹配结果。
253.具体的，上述目标匹配结果用于表示在第二匹配结果中平台预测出的与用户喜好最接近的匹配结果。在确定目标匹配结果之后，可以根据目标匹配结果进行下一轮的推荐。
254.在上述方案中，在展示界面上展示第二匹配结果后，还可以通过检测用户对展示界面上的操作(例如在展示界面所停留的时间、是否查看匹配结果的详细信息等)，在用户浏览匹配结果的过程中对用户的需求进行猜测。
255.在一种可选的实施例中，仍以电商平台为例，在该示例中目标对象仍为用户想要搜素的t恤的图片，在用户所使用的终端上展示第二匹配结果后，用户对第二匹配结果进行浏览，浏览过程中，会在展示界面上产生对应的操作信息，例如，滑动展示界面，停留在当前展示界面、点击任意一个匹配结果以了解其详情，对任意一个匹配结果进行分享等操作。基于检测到的这些操作信息，可以确定用户感兴趣的匹配结果，并将用户最感兴趣的匹配结果作为目标匹配结果。确定的目标匹配结果可以用于下一轮的信息推荐，例如，当用户下次访问该电商平台时，可以基于上次的目标匹配结果为用户进行推荐。
256.实施例16
257.根据本发明实施例，还提供了一种用于实施上述实施例15中的信息的处理方法的信息的处理装置，图18是根据本技术实施例8的一种信息的处理装置的示意图，如图18所示，该装置1800包括：
258.获取模块1802，用于获取第一信息，并根据所述第一信息在第一数据源进行搜索生成第一匹配结果，其中，所述第一匹配结果中包含目标对象；
259.搜索模块1804，用于根据所述目标对象在第二数据源中进行搜索，得到第二匹配结果，其中，所述第二数据源与所述第一数据源的数据量不同；
260.展示模块1806，用于在展示界面中展示所述第二匹配结果；
261.选择模块1808，用于检测生成于所述展示界面的操作信息，并基于所述操作信息从所述第二匹配结果中选择目标匹配结果。
262.此处需要说明的是，上述获取模块1802、搜索模块1804、展示模块1806和选择模块1808对应于实施例15中的步骤s171至步骤s177，三个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算设备10中。
263.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
264.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
265.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互
之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
266.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
267.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
268.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
269.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。