一种信息采集整理方法及装置与流程

本发明涉及信息处理技术，尤其涉及一种信息采集整理方法及装置。

背景技术

在当前高节奏的工作和社交生活中，面对日益增长的信息，如何在工作和生活中进行有效利用是一个很大的课题，也是未来长期的趋势，需要深入挖掘。

信息社会的最主要特征是信息大爆炸，用户经常会发现平时积累录制的海量的录音、照片和录像等联系人相关的影像录音资料，真正想要用的时候，寻找起来非常不方便，在关键的时候并不能及时起到作用。比如，用户在微信朋友圈、qq空间或论坛发的大量照片、小视频，可以留下很多的社交印记，但是随着时间的流逝，用户会逐渐遗忘当时的场景，遗忘与某些故人的“交集”，如果多年以后与某个故人相遇，一时忘了与这个人的交集，不免产生尴尬。

目前，若用户需要在社交和工作中，找到与某个人或某个地点的“交集”，需要在以前的海量视频、照片和录音等资料中去一个一个的寻找与这个人或这个地点相关的资料。然而，这个人工查找过程非常费时费力。

技术实现要素：

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供一种信息采集整理方法及装置，解决无法在多媒体文件与预定对象之间进行有效快速检索的问题。

本申请实施例提供一种信息采集整理方法，包括：

根据一个或多个预定对象的特征信息，将一个或多个多媒体文件的特征信息与所述一个或多个预定对象的特征信息进行匹配；

根据匹配结果，建立所述多媒体文件与所述预定对象之间的关联关系。

在示例性实施方式中，所述根据匹配结果，建立所述多媒体文件与所述预定对象之间的关联关系，可以包括以下至少之一：

在所述多媒体文件的特征信息匹配到一个或多个预定对象的特征信息时，在媒体特征数据库记录所述多媒体文件与所述预定对象通过所述特征信息进行关联；

在所述多媒体文件的特征信息匹配到一个或多个预定对象的特征信息时，设置所述多媒体文件的背景属性信息，所述背景属性信息用于指示所述多媒体文件通过所述特征信息关联的预定对象。

在示例性实施方式中，所述媒体特征数据库可以包括以下一项或多项信息或其索引：多媒体文件的标识信息、所述多媒体文件所匹配到的特征信息、所述多媒体文件所匹配到的特征信息所属的预定对象、所述多媒体文件所匹配到的特征信息在所述多媒体文件中出现的位置信息。

在示例性实施方式中，所述建立所述多媒体文件与所述预定对象之间的关联关系之后，上述方法还可以包括以下至少之一：

接收到查找预定对象关联的多媒体文件的查询请求后，根据所述多媒体文件与所述预定对象之间的关联关系，获取与待查找的预定对象关联的多媒体文件；

接收到查找多媒体文件关联的预定对象的查询请求后，根据所述多媒体文件与所述预定对象之间的关联关系，确定与待查找的多媒体文件关联的预定对象。

在示例性实施方式中，所述根据一个或多个预定对象的特征信息，将一个或多个多媒体文件的特征信息与所述一个或多个预定对象的特征信息进行匹配之前，上述方法还可以包括以下至少之一：

采集一个或多个预定对象的特征信息；

接收一个或多个预定对象的特征信息。

在示例性实施方式中，所述根据一个或多个预定对象的特征信息，将一个或多个多媒体文件的特征信息与所述一个或多个预定对象的特征信息进行匹配，可以包括：

在所述多媒体文件的制作过程中，将所述多媒体文件的特征信息与所述一个或多个预定对象的特征信息进行匹配。

本申请实施例还提供一种信息采集整理装置，包括：

匹配模块，用于根据一个或多个预定对象的特征信息，将一个或多个多媒体文件的特征信息与所述一个或多个预定对象的特征信息进行匹配；

关联模块，用于根据匹配结果，建立所述多媒体文件与所述预定对象之间的关联关系。

在示例性实施方式中，所述关联模块可以用于通过以下至少之一方式根据匹配结果，建立所述多媒体文件与所述预定对象之间的关联关系：

在所述多媒体文件的特征信息匹配到一个或多个预定对象的特征信息时，在媒体特征数据库记录所述多媒体文件与所述预定对象通过所述特征信息进行关联；

在所述多媒体文件的特征信息匹配到一个或多个预定对象的特征信息时，设置所述多媒体文件的背景属性信息，所述背景属性信息用于指示所述多媒体文件通过所述特征信息关联的预定对象。

在示例性实施方式中，上述装置还可以包括：检索模块，用于执行以下至少之一：

接收到查找预定对象关联的多媒体文件的查询请求后，根据所述多媒体文件与所述预定对象之间的关联关系，获取与待查找的预定对象关联的多媒体文件；

接收到查找多媒体文件关联的预定对象的查询请求后，根据所述多媒体文件与所述预定对象之间的关联关系，确定与待查找的多媒体文件关联的预定对象。

在示例性实施方式中，上述装置还包括以下至少之一：

特征采集模块，用于采集一个或多个预定对象的特征信息；

特征接收模块，用于接收一个或多个预定对象的特征信息。

本申请实施例还提供一种信息采集整理装置，包括：存储器和处理器，所述存储器存储有信息采集整理程序，所述信息采集整理程序在被所述处理器执行时实现上述的信息采集整理方法的步骤。

本申请实施例还提供一种机器可读介质，存储有信息采集整理程序，所述信息采集整理程序在被处理器执行时实现上述的信息采集整理方法的步骤。

在本申请实施例中，通过将预定对象的特征信息与多媒体文件的特征信息进行匹配，建立多媒体文件与预定对象之间的关联关系，后续可以根据建立的关联关系查找相应的多媒体文件或预定对象，如此，方便用户在社交生活和工作中参考与预定对象存在关联关系的多媒体文件，帮助用户实现信息的充分利用，进而提升了用户的信息查找效率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本申请技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例提供的信息采集整理方法的流程图；

图2为本申请实施例提供的信息采集整理方法的一示例流程图；

图3为本申请实施例提供的信息采集整理方法的另一示例流程图；

图4为本申请实施例提供的信息采集整理装置的示意图。

具体实施方式

以下结合附图对本申请实施例进行详细说明，应当理解，以下所说明的实施例仅用于说明和解释本申请，并不用于限定本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例提供一种信息采集整理方法，如图1所示，包括：

步骤101、根据一个或多个预定对象的特征信息，将一个或多个多媒体文件的特征信息与一个或多个预定对象的特征信息进行匹配；

步骤102、根据匹配结果，建立多媒体文件与预定对象之间的关联关系。

其中，预定对象可以包括联系人、特定物体(比如，用户的宠物、用户种植的植物等)、特定地点(比如，用户自定义的家庭地址)等。然而，本申请对此并不限定。在实际应用中，用户可以根据实际需要设置预定对象。

其中，预定对象的特征信息可以包括预定对象自身所具备的特性信息、与预定对象所处环境相关的信息等。比如，以预定对象为联系人为例，预定对象的特征信息可以包括联系人的身份信息、生物特征信息等；例如，联系人的特征信息可以包括以下至少之一：位置信息、脸部位图、声纹、眼纹、耳纹、指纹、电话、姓名、所在公司、平时活动位置区域、其他备注信息。以预定对象为特定地点为例，预定对象的特征信息可以包括特定地点的视频信息、特定地点处的位图信息等。

其中，预定对象的特征信息可以预先设置。以预定对象为联系人为例，可以在用户使用相关模块(比如，微信等即时通信模块)录入联系人时，采集该联系人的声纹、脸部位图等特征，或者也可以在编辑已有联系人时加入相应的特征信息。

在示例性实施方式中，预定对象的特征信息可以保存在单独的区域，并建立预定对象特征数据库，通过该数据库内的相应字段映射进行关联。比如，以预定对象为联系人为例，预定对象特征数据库中可以包括以下字段：姓名、电话、所在公司、脸部位图、声纹、眼纹；其中，姓名、电话、所在公司对应的字段可以记录这些特征相应的文本信息；脸部位图、声纹、眼纹对应的字段可以记录这些特征信息对应的存储地址、文件名称等信息。换言之，能够通过简单文本进行记录的特征信息可以直接存储在预定对象特征数据库中，通过文件(比如，图片、音频或视频等)进行记录的特征信息可以在预定对象特征数据库中记录该文件相关的属性信息(比如，文件名称、存储地址等)，如此，在查找预定对象的特征信息时，可以通过查找预定对象特征数据库，获取到预定对象的特征信息。

其中，多媒体文件可以包括但不限于：照片、音频、视频文件。本申请对于多媒体文件的文件格式并不限定。

其中，多媒体文件的特征信息可以包括多媒体文件的制作信息、多媒体文件内包括的图片、声音等信息。比如，以多媒体文件为图片为例，多媒体文件的特征信息可以包括以下至少之一：多媒体文件的制作时间、作者、地点、多媒体文件内包括的脸部位图信息、场景位图信息。以多媒体文件为音频文件为例，多媒体文件的特征信息可以包括以下至少之一：制作时间、地点、作者、多媒体文件内包括的声纹信息。然而，本申请对此并不限定。

在示例性实施方式中，步骤101可以包括：

在多媒体文件的制作过程中，将多媒体文件的特征信息与一个或多个预定对象的特征信息进行匹配。

比如，以预定对象为联系人为例，在录制一段视频的过程中，调用存储的联系人特征信息进行匹配(比如，调用脸部位图、声纹等进行匹配)，并记录匹配到的特征信息，进行关联；如此，视频制作完成后，匹配操作也执行完毕，与联系人建立了关联。然而，本申请对此并不限定，也可以在视频制作完毕后，在后期进行特征匹配和关联。

举例来说，录音、拍照和录像时有当前录音、拍照和录像的地理位置，从而可以匹配到联系人的位置信息；录音可以匹配到联系人的声纹，也可以是录音中的语音匹配到联系人备注或某些信息中的关键字；照片和录像还可以匹配到某些联系人的脸部位图。

在示例性实施方式中，步骤102可以包括以下至少之一：

在多媒体文件的特征信息匹配到一个或多个预定对象的特征信息时，在媒体特征数据库记录该多媒体文件与预定对象通过该特征信息进行关联；

在多媒体文件的特征信息匹配到一个或多个预定对象的特征信息时，设置该多媒体文件的背景属性信息，其中，该背景属性信息用于指示该多媒体文件通过该特征信息关联的预定对象。

在示例性实施方式中，媒体特征数据库可以包括以下一项或多项信息或其索引：多媒体文件的标识信息、多媒体文件所匹配到的特征信息、多媒体文件所匹配到的特征信息所属的预定对象、多媒体文件所匹配到的特征信息在该多媒体文件中出现的位置信息。其中，多媒体文件的标识信息可以包括多媒体文件的名称、存储地址等，用于唯一指示一个多媒体文件。需要说明的是，在媒体特征数据库中，可以通过索引方式指示多媒体文件所匹配到的特征信息以及该特征信息所属的预定对象在预定对象特征数据库的位置，从而建立媒体索引数据库与预定对象特征数据库之间的联系。比如，根据多媒体文件的标识信息可以在媒体特征数据库查找到该多媒体文件所匹配到的特征信息，进而从预定对象特征数据库查找到该特征信息所对应的预定对象及该预定对象的其他特征信息。

需要说明的是，在建立多媒体文件与预定对象之间的关联关系时，可以记录多媒体文件-特征信息-预定对象的关联关系，或者，也可以直接记录多媒体文件-预定对象的关联关系。本申请对此并不限定。在实际应用中，可以根据实际情况确定。

其中，如果多媒体文件比较大，为了方便用户查找，也可以记录预定对象在多媒体文件中出现的位置，比如记录视频或音频中联系人出现的位置，方便用户迅速定位到联系人。

在一示例性实施方式中，可以通过在媒体特征数据库记录多媒体文件所匹配到的预定对象的特征信息，进而根据预定对象与其特征信息之间的关联关系，可以建立多媒体文件与预定对象之间的关联关系。其中，一个多媒体文件可以对应建立一个媒体特征数据库，在该媒体特征数据库中可以包括该多媒体文件匹配到的预定对象的特征信息以及预定对象在该多媒体文件中出现的位置。然而，本申请对此并不限定。在其他实现方式中，针对多个或所有多媒体文件可以对应建立一个媒体特征数据库。

在另一示例性实施方式中，可以通过给多媒体文件增加背景属性信息，用于指示多媒体文件所匹配到的预定对象及预定对象的特征信息。举例而言，以预定对象为联系人a为例，联系人a的特征信息可以包括声纹，多媒体文件b为一份录音文件，在检测到这份录音文件的声纹信息后，与联系人a的声纹进行比对，发现两者匹配后，可以直接将该份录音文件标记为联系人a的录音，如此，后续在查找联系人a的录音时，即能够方便地找到多媒体文件b。如此，录音，录像和照片的保存不再是孤立的文件，而是包含活生生的人物信息，方便用户通过照片、视频、录音找到它们的背景及相关的人物信息，为工作及社交中提供相关联系人的参考。

在本实施例中，多媒体文件与预定对象之间可以是一对多的关系，比如，一个音频文件的声纹信息可以匹配到多个联系人的声纹；或者，多对一的关系，比如，可以在多个图片中匹配到一个联系人的脸部位图。本申请对此并不限定。

在示例性实施方式中，如图2或图3所示，步骤102之后，本实施例的信息采集整理方法还可以包括以下至少之一：

步骤103、接收到查找预定对象关联的多媒体文件的查询请求后，根据多媒体文件与预定对象之间的关联关系，获取与待查找的预定对象关联的多媒体文件；

步骤104、接收到查找多媒体文件关联的预定对象的查询请求后，根据多媒体文件与预定对象之间的关联关系，确定与待查找的多媒体文件关联的预定对象。

在本实施例中，在获知多媒体文件与预定对象之间的关联关系后，在查找预定对象关联的多媒体文件时，可以根据上述关联关系，获取相应的多媒体文件。比如，预定对象p包括特征信息p1、p2及p3，且特征信息p1与多媒体文件l1的相应特征信息匹配，特征信息p2与多媒体文件l2和l3的相应特征信息匹配，特征信息p3与多媒体文件l1、l2的相应特征信息匹配，则可以确定预定对象p关联的多媒体文件为多媒体文件l1、l2及l3。

或者，在查找多媒体文件关联的预定对象时，可以根据上述关联关系，确定相应的预定对象。比如，多媒体文件l4的背景属性信息中记录有该文件关联有预定对象n1、n2和n3，则可以据此查找到多媒体文件l4关联的预定对象为预定对象n1、n2和n3。

举例而言，以预定对象为联系人、一个多媒体文件对应一个媒体特征数据库为例，在接收到查询请求，获取到联系人的特征信息后，可以检索每个多媒体文件对应的媒体特征数据库，获取出现该联系人的特征信息的媒体特征数据库所对应的多媒体文件。比如，获取到联系人的脸部位图后，查找该脸部位图出现在哪些媒体特征数据库中，获取相应的媒体特征数据库对应的多媒体文件。或者，也可以根据脸部位图确定该脸部位图对应的联系人，查找该联系人出现在哪些多媒体文件的媒体特征数据库中，从而得到关联的多媒体文件。

在示例性实施方式中，步骤101之前，本实施例的信息采集整理方法还可以包括：

采集一个或多个预定对象的特征信息；

接收一个或多个预定对象的特征信息。

本实施例的信息采集整理方法可以在终端本地执行或者由云端的服务器执行。当终端本地执行本实施例的信息采集整理方法时，在步骤101之前，终端可以采集一个或多个预定对象的特征信息；在云端的服务器执行本实施例的信息采集整理方法时，在步骤101之前，服务器可以接收由终端采集到的一个或多个预定对象的特征信息。

其中，当终端本地执行本实施例的信息采集整理方法时，在本地制作多媒体文件时，进行特征信息匹配，并建立关联关系。在云端的服务器执行本实施例的信息采集整理方法时，终端可以将制作完成的多媒体文件发送给云端的服务器，云端的服务器接收多媒体文件后进行特征信息匹配和关联，然后将确定的关联关系发送给终端。其中，由于匹配工作量比较大，将其放在云端的服务器进行，可以加快处理速度，减少对终端内存的占用。

本实施例中，检索关联的多媒体文件可以是终端本地进行检索，也可以是终端将查询请求发送给云端的服务器，由云端的服务器进行检索，或者二者均有。比如，终端接收到查询请求后，根据待查找的预定对象的特征信息，获取本地存储的与待查找的预定对象的特征信息关联的多媒体文件；或者，终端将查询请求发送至服务器，接收服务器返回的与待查找的预定对象关联的多媒体文件。

其中，当用户的多媒体文件比较多时，或者，多媒体文件的制作时间较久时，为了减少对终端内存的占用，可以将多媒体文件存储到服务器。因此，检索联系人的关联文件时，也由服务器进行检索并发送给终端。

在本实施例中，以预定对象为联系人为例，在进行匹配的过程中，如果从多媒体文件中提取到的视频或声纹没有匹配到联系人，还可以提示用户是否新建联系人。而且，也可以由用户手动建立关联关系，比如，用户自己知道某个视频针对某个联系人，可以自己手动建立该视频与该联系人之间的关联关系。

在示例性实施方式中，所述获取与待查找的预定对象关联的多媒体文件之前(即步骤103之前)，本实施例的信息采集整理方法还可以包括：采集待查找的预定对象的特征信息。其中，在进行查询时，可以通过语音或文本方式输入预定对象的特征信息；比如，输入联系人的姓名后进行检索，或者，也可以直接采集联系人的脸部位图或者声纹，根据脸部位图或声纹检索关联的多媒体文件。对于查找不熟悉或者很久未联系的联系人，忘记联系人的姓名时，可以直接通过采集联系人的脸部位图或者声纹来查找该联系人相关的多媒体文件，从而迅速获取联系人的相关信息。或者，也可以采集脸部位图或声纹后，与本地存储的联系人特征信息进行匹配，查找到对应的联系人，再查找联系人关联的多媒体文件。然而，本申请对此并不限定。

本实施例中，在获取到关联的多媒体文件后，可以展示给用户。其中，展示方式可以是：仅提供关联的多媒体文件的图标供用户点击查看，或者提供预览图或文本总结。然而，本申请对此不作限定。

下面通过一个场景说明本申请的应用。

用户偶遇多年未见的好友时，通过智能终端(比如，智能眼镜、手表或其它)识别到对方的脸部特征和声纹等，在终端本地或云端进行匹配查找，将查找到的结果(比如，与该好友关联的视频文件、图片或音频文件等)以预览的形式展示给用户。由于联系人与多媒体文件之间的关联关系已经进行了梳理，因此用户可以迅速了解到之前很长时间与该好友之间发生的有趣的事，以及最近好友的近况。如此，用户与该好友进行交谈时可以减少很多不必要的寒暄，简单问候后，可以深入交流，减少很多不必要的熟悉时间，也避免了由于忘记姓名等重要信息带来的尴尬。

本申请实施例还提供一种信息采集整理装置，如图4所示，包括：

匹配模块201，用于根据一个或多个预定对象的特征信息，将一个或多个多媒体文件的特征信息与一个或多个预定对象的特征信息进行匹配；

关联模块202，用于根据匹配结果，建立多媒体文件与预定对象之间的关联关系。

其中，关联模块202可以用于通过以下至少之一方式根据匹配结果，建立多媒体文件与预定对象之间的关联关系：

在多媒体文件的特征信息匹配到一个或多个预定对象的特征信息时，在媒体特征数据库记录所述多媒体文件与所述预定对象通过所述特征信息进行关联；

在多媒体文件的特征信息匹配到一个或多个预定对象的特征信息时，设置所述多媒体文件的背景属性信息，所述背景属性信息用于指示所述多媒体文件通过所述特征信息关联的预定对象。

在示例性实施方式中，本实施例的装置还可以包括：检索模块203，用于执行以下至少之一：

接收到查找预定对象关联的多媒体文件的查询请求后，根据所述多媒体文件与所述预定对象之间的关联关系，获取与待查找的预定对象关联的多媒体文件；

接收到查找多媒体文件关联的预定对象的查询请求后，根据所述多媒体文件与所述预定对象之间的关联关系，确定与待查找的多媒体文件关联的预定对象。

在示例性实施方式中，本实施例的装置还可以包括以下至少之一：

特征采集模块204，用于采集一个或多个预定对象的特征信息；

特征接收模块205，用于接收一个或多个预定对象的特征信息。

关于本实施例的装置的相关说明可以参照上述方法实施例，故于此不再赘述。

在示例性实施例中，上述装置可以设置于终端中，此时，终端还可以包括：预定对象特征数据库，用于存储预定对象的特征信息；多媒体文件制备模块，用于制备多媒体文件；此时，匹配模块可以在多媒体文件制备模块进行多媒体文件的制备过程中进行特征匹配。

在示例性实施方式中，上述装置可以设置于云端服务器，此时，云端服务器还可以包括：预定对象特征数据库，用于存储预定对象的特征信息；其中，云端服务器上的预定对象特征数据库的信息可以和终端上的预定对象特征数据库中的信息同步。

本申请实施例还提供一种信息采集整理装置，包括：存储器和处理器，存储器存储有信息采集整理程序，所述信息采集整理程序在被所述处理器执行时实现上述信息采集整理方法的步骤。

本申请实施例还提供一种机器可读介质，存储有信息采集整理程序，所述信息采集整理程序在被处理器执行时实现上述信息采集整理方法的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在机器可读介质(比如，计算机可读介质)上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

以上显示和描述了本申请的基本原理和主要特征和本申请的优点。本申请不受上述实施例的限制，上述实施例和说明书中描述的只是说明本申请的原理，在不脱离本申请精神和范围的前提下，本申请还会有各种变化和改进，这些变化和改进都落入要求保护的本申请范围内。