信息处理方法及装置与流程

本申请涉及互联网技术领域，尤其涉及一种信息处理方法及装置。

背景技术：

用户在观看视频时，往往会希望了解视频内容的具体信息，例如，视频中某个商品或者某个景点的具体信息等。当用户对视频中某个对象感兴趣时，一般是根据对感兴趣对象的简单了解在搜索引擎中搜索相关的信息。这种方式不够快捷，实时性较差。

技术实现要素：

本申请的多个方面提供一种信息处理方法及装置，用以简化操作复杂度，提高获取视频中的对象信息的实时性。

本申请的一方面，提供一种信息处理方法，包括：

从图像对应的数据流中，解析出所述图像中的目标对象的标签数据，所述目标对象是所述图像中被添加标签数据的对象；

展示所述图像中的目标对象的标签数据。

本申请的另一方面，提供一种信息处理方法，包括：

确定图像中需要添加标签数据的目标对象；

获取所述目标对象的标签数据；

根据所述目标对象的标签数据和所述图像的内容数据，形成所述图像对应的数据流。

本申请的又一方面，提供一种信息处理装置，包括：

解析模块，用于从图像对应的数据流中，解析出所述图像中的目标对象 的标签数据，所述目标对象是所述图像中被添加标签数据的对象；

展示模块，用于展示所述图像中的目标对象的标签数据。

本申请的又一方面，提供一种信息处理装置，包括：

确定模块，用于确定图像中需要添加标签数据的目标对象；

获取模块，用于获取所述目标对象的标签数据；

形成模块，用于根据所述目标对象的标签数据和所述图像的内容数据，形成所述图像对应的数据流。

由上述技术方案可知，本申请在形成图像过程中，插入图像中对象的标签数据形成图像对应的数据流，在播放图像过程中，从图像对应的数据流中解析出目标对象的标签数据，进而展示图像中对象的标签数据，使得用户可以获取图像中对象的信息，操作简单，获取效率较高。

【附图说明】

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的信息处理方法的流程示意图；

图2为本申请另一实施例提供的信息处理方法的流程示意图；

图3-图6为本申请一实施例提供的添加标签数据或展示标签数据的过程示意图；

图7为本申请一实施例提供的信息处理装置的结构示意图；

图8为本申请另一实施例提供的信息处理装置的结构示意图；

图9a为本申请另一实施例提供的视频播放设备的结构示意图；

图9b为本申请一实施例提供的为图像中的对象添加XML标签的流程示意图；

图9c为本申请一实施例提供的提取图像中的对象的XML标签的流程示意图。

【具体实施方式】

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请一实施例提供的信息处理方法的流程示意图。如图1所示，该方法包括：

101、从图像对应的数据流中，解析出该图像中的目标对象的标签数据，目标对象是该图像中被添加标签数据的对象。

102、展示图像中的目标对象的标签数据。

本实施例提供一种信息处理方法，可由信息处理装置来执行。该信息处理装置可以是具有图像处理功能的装置，例如可以是各种具有视频播放功能的装置，具体可以是电视、手机、个人电脑、平板电脑等各种视频播放设备。

首先说明，本实施例中的图像可以是视频播放过程中的每一帧图像。换句话说，对于视频播放过程中的每一帧图像均可采用本实施例方法进行处理。或者，本实施例中的图像也可以是非视频中的图像，例如网页中的图像。

图像中的各种内容，例如人物、动物、植物、物品等被称为图像中的对象。图像是对该图像的内容数据进行展现的结果。以视频中的图像为例，图像的内容数据主要包括视频数据和音频数据。

在本实施例中，为了能够在图像播放过程中，以简单快捷的方式向用户提供图像中对象的信息，预先生成包括图像中对象的标签数据的数据流。这样，在图像播放过程中，可以从图像对应的数据流中解析出图像中对象的标 签数据，向用户展示图像中对象的标签数据，以供用户获取图像中对象的信息。其中，对象的标签数据可以包括与对象有关的任何信息。举例说明，对象的标签数据包括但不限于以下至少一种对象的详情信息、对象的服务入口、对象的服务的详情信息。

考虑到图像中对象的类型以及数量可能较多，用户可能只对其中部分对象的信息感兴趣，因此只需为部分对象添加标签数据。另外，为便于描述和区分，将图像中与标签数据有关的对象称为目标对象。在添加标签数据之前，目标对象是指图像中需要被添加标签数据的对象；在添加标签数据之后，目标对象是指图像中被添加标签数据的对象。

根据应用需求，可以为图像中的部分对象添加标签数据，也可以为图像中的全部对象添加标签数据。也就是说，目标对象可以是图像中的部分对象，也可以是图像中的全部对象。目标对象的标签数据可以包括与目标对象有关的任何信息。举例说明，目标对象的标签数据包括但不限于以下至少一种目标对象的详情信息、目标对象的服务入口、目标对象的服务的详情信息。

其中，目标对象的详情信息主要是指与目标对象直接相关的信息。根据目标对象的不同，目标对象的详情信息一般会有所不同。以目标对象为一商品，如衣服为例，则其详情信息一般包括名称、产地、价格、品牌、推荐等级、材料、商户、线下交易时的防伪信息或凭据信息(防伪信息可以是防伪标签、二维码或条形码)等等。

目标对象的服务入口主要是指与该目标对象相关的各种服务的入口。通过目标对象的服务入口可以调用或访问与该目标对象有关的服务。该服务入口可以是一链接地址或二维码等。

目标对象的服务的详情信息主要是与该目标对象有关的服务的基本信息，例如服务的名称、服务的基本功能、服务的使用方法等等。

基于上述，在播放图像时，信息处理装置可以从图像对应的数据流中，解析出图像中目标对象的标签数据，向用户展示目标对象的标签数据，以供用户获取目标对象的信息。与现有技术相比，本实施例在形成图像过程中， 插入图像中目标对象的标签数据进而形成图像对应的数据流，在播放图像过程中，从图像对应的数据流中解析出目标对象的标签数据，进而向用户展示图像中对象的标签数据，使得用户可以获取图像中对象的信息，操作简单，获取效率较高。

进一步，基于用户获取的目标对象的信息，用户可以使用目标对象的服务或者对用户进行导购，实现了获取图像中目标对象的服务或者购物的目的，目标对象的服务包括但不限于：物品广告、产品定制、社会化推荐、人物社交等等。

进一步，用户还可以根据目标对象的标签数据发出搜索指令；信息处理装置接收用户根据目标对象的标签数据发出的搜索指令，根据该搜索指令，从目标对象的标签数据中提取关键词进行搜索，向用户返回与目标对象的标签数据相匹配的搜索结果，以便于用户获取更为丰富的信息。

考虑到视频中图像的内容数据主要包括图像中的音频数据和视频数据，分别属于音频类型和视频类型。一般音频数据存储在音频类型的数据包，视频数据存储在视频类型的数据包中。在本实施的一可选实施方式中，将目标对象的标签数据作为一种新的数据类型来实现，该类型被称为标签类型，并被存储到标签类型的数据包中。在预先形成图像对应的数据流的一种实施方式中，根据目标对象的标签数据和目标对象在图像中的位置信息，形成标签类型的数据包；将标签类型的数据包插入图像的内容数据中，以形成图像对应的数据流。在该实施方式中，图像对应的数据流主要包括音频类型的数据包、视频类型的数据包以及标签类型的数据包。其中，不同类型的数据包通过数据包中的类型标识字段来区分。

基于上述，一种从图像对应的数据流中，解析出图像中的目标对象的标签数据的实施方式为：

检测图像对应的数据流是否包括标签类型的数据包；当检测出图像对应的数据流包括标签类型的数据包时，从该标签类型的数据包中解析出目标对象的标签数据。

可选的，在检测图像对应的数据流是否包括标签类型的数据包的实施方式中，可以通过检测图像对应的数据流中各数据包的类型标识字段，若发现标签类型的类型标识，则确定该图像对应的数据流包括标签类型的数据包；若未发现标签类型的类型标识，确定该图像对应的数据流不包括标签类型的数据包。

可选的，从标签类型的数据包中解析出目标对象的标签数据的一种实施方式包括：

在检测出图像对应的数据流包括标签类型的数据包时，信息处理装置向用户展示提示信息，以提示用户可以进行标签数据处理；例如，可以在图像的右下角展示一视图(view)控件，以提示用户在该图像中有被添加标签数据的对象，可以进行标签数据处理；

对用户来说，根据该提示信息可以获知针对该图像可以进行标签数据处理；当用户确定要进行标签数据处理时，可以发出标签数据处理指令，例如用户可以点击、触摸、长按等方式操作该视图控件，从而发出标签数据处理指令；

信息处理装置接收用户根据上述提示信息发送的标签数据处理指令；根据该标签数据处理指令，从图像对应的数据流中提取出标签类型的数据包；例如，可以根据标签类型的类型标识，从图像对应的数据流中提取出标签类型的数据包；其中，图像对应的数据流可以由图像的PTS值来确定，每帧图像的PTS值是唯一的；

之后，信息处理装置从上述标签类型的数据包中，提取目标对象的标签数据和目标对象在图像中的位置信息。值得说明的是，该标签类型的数据包包括所有目标对象的标签数据以及所有目标对象在图像中的位置信息。可选的，目标对象的标签数据可以按照目标对象在图像中的位置关系进行排序，并且目标对象的标签数据及目标对象在图像中的位置信息在存储位置上具有一定映射关系，例如两者可以相邻存储。

基于上述，一种展示目标对象的标签数据的实施方式包括：

根据目标对象在图像中的位置信息，在图像中标注出目标对象；接收用户发出的标签数据展示指令；根据标签数据展示指令，展示目标对象的标签数据。

进一步可选的，一种在图像中标注出目标对象的方式为：根据目标对象在图像中的位置信息，确定目标对象在图像所在界面上的位置，直接在所述位置处显示可操作控件，以实现对目标对象的标注。

进一步可选的，一种在图像中标注出目标对象的方式为：在图像上面展示一个界面，优选的，该界面是透明的，这样不影响用户观看图像的效果，用户体现较好；根据目标对象在图像中的位置信息，在该界面上对应于目标对象的位置处显示可控操作控件，以实现对目标对象的标注。

基于上述，用户发出标签数据展示指令的方式可以是：用户通过操作上述界面上目标对象的位置处的可操作控件，以发出标签数据展示指令。用户对可操作控件的操作方式包括点击、双击、长按、触摸等。对信息处理装置来说，接收用户通过界面上对应于目标对象的位置处的可操作控件发出的标签数据展示指令。

值得说明的是，在目标对象有多个的情况下，若用户希望展示其中部分目标对象的标签数据，可以操作希望展示标签数据的目标对象对应的可操作控件，以发出标签数据展示指令。

进一步，标签数据展示指令包括目标对象的位置信息。基于此，信息处理装置具体可以根据位置信息与标签数据在存储位置上的映射关系和目标标签的位置信息，确定目标对象的标签数据；进而展示目标对象的标签数据。

在一种可选实施方式中，根据标签数据展示指令，展示目标对象的标签数据，可以采用但不限于以下几种方式：

第一种方式：在图像所在窗口中显示目标对象的标签数据。举例说明，假设信息处理装置为电视，则可以在电视屏幕上播放图像的窗口中显示目标对象的标签数据。

第二种方式：在独立于图像所在窗口的另一窗口中显示目标对象的标签 数据。举例说明，假设信息处理装置为电视，电视屏幕上显示两个窗口，一个窗口用于播放图像，另一窗口用于显示目标对象的标签数据。这两个窗口之间的排列方式可以是层叠或平铺。优选的，用于显示目标对象的标签数据的窗口小于用于播放图像的窗口。

第三种方式：在独立于图像所在显示器的另一显示器中显示目标对象的标签数据。举例说明，假设信息处理装置为电视，电视屏幕展示一窗口，用于播放图像。同时，该电视与用户的个人电脑连接，则可以通过个人电脑上的显示器显示目标对象的标签数据。

在一可选实施方式中，在预先形成图像对应的数据流的过程中，可以对目标对象的标签数据进行签名处理，以防止目标对象的标签数据被篡改，这样可以提高目标对象的标签数据的真实性和可靠性。基于此，在向用户展示目标对象的标签数据之前，还可以对目标对象的标签数据进行签名验证，只有通过签名验证时，才展示图像中目标对象的标签数据。例如，可以采用RSA签名算法，对目标对象的标签数据进行签名处理，具体签名处理过程可参见现有技术。

在一可选实施方式中，目标对象的标签数据包括目标对象的防伪信息。基于此，在展示目标对象的标签数据之后，信息处理装置可以从目标对象的标签数据中提取目标对象的防伪信息，根据目标对象的防伪信息，对目标对象进行真伪验证。例如，当用户需要在线下购买或获取目标对象时，可以通过标签数据中的防伪信息，对目标对象进行真伪验证，当验证结果为真时，再行购买或获取该目标对象，以防被骗。

上述防伪信息可以是但不限于：防伪标签、二维码或条形码。

值得说明的是，本申请各实施例中目标对象的标签数据可以是可扩展标记语言(Extensible Markup Language，XML)标签，但不限于此。

图2为本申请另一实施例提供的信息处理方法的流程示意图。该方法主要描述预先形成图像对应的数据流的过程。如图2所示，该方法包括：

201、确定图像中需要添加标签数据的目标对象。

202、获取目标对象的标签数据。

203、根据目标对象的标签数据和图像的内容数据，形成图像对应的数据流。

本实施例提供一种信息处理方法，可由信息处理装置来执行。该信息处理装置可以是具有图像处理功能的装置，例如可以是具有视频播放功能的装置，具体可以是电视、手机、个人电脑、平板电脑等各种视频播放设备。

首先说明，本实施例中的图像可以是视频播放过程中的每一帧图像。换句话说，对于视频播放过程中的每一帧图像均可采用本实施例方法进行处理。或者，本实施例中的图像也可以是非视频中的图像，例如可以是网页上的图像。

图像中的各种内容，例如人物、动物、植物、物品等被称为图像中的对象。图像是对该图像的内容数据进行展现的结果。以视频中的图像为例，图像的内容数据主要包括视频数据和音频数据。

在本实施例中，为了能够在图像播放过程中，以简单快捷的方式向用户提供图像中对象的信息，生成包括图像中对象的标签数据的数据流，以便于在图像播放过程中向用户展示图像中对象的标签数据，以供用户获得图像中对象的信息。

考虑到图像中对象的类型以及数量可能较多，用户可能只对其中部分对象的信息感兴趣，因此只需为部分对象添加标签数据。另外，为便于描述和区分，将图像中与标签数据有关的对象称为目标对象。在添加标签数据之前，目标对象是指图像中需要被添加标签数据的对象；在添加标签数据之后，目标对象是指图像中被添加标签数据的对象。

根据应用需求，可以为图像中的部分对象添加标签数据，也可以为图像中的全部对象添加标签数据。也就是说，目标对象可以是图像中的部分对象，也可以是图像中的全部对象。目标对象的标签数据可以包括与目标对象有关的任何信息。

在给目标对象添加标签数据之前，需要确定图像中需要添加标签数据的 对象作为目标对象。

在一可选实施方式中，信息处理装置可以自动从图像中识别出符合预设条件的对象作为目标对象。所述预设条件可以是各种条件，例如可以是用于限定对象类型、大小、形状、颜色等特征的条件。这种方式适用于对图像中部分对象添加标签数据，通过识别目标对象，可以提高添加标签数据的准确度。或者，信息处理装置可以自动识别出图像中全部对象作为目标对象。这种方式适用于对图像中所有对象添加标签数据，添加标签数据的效率较高。

在另一可选实施方式中，信息处理装置可以接收用户在图像上发出的对象选择指令，根据对象选择指令，确定目标对象。该实施方式适用于静态图像，也适用于动态图像。

进一步，对于视频播放场景，信息处理装置可以在确定目标对象之前，先确定图像。例如，信息处理装置可以将当前播放的画面作为本实施例中的图像。或者，信息处理装置可以在视频播放过程中，接收用户发出的标签数据添加指令；根据标签数据添加指令，暂停视频播放，并将暂停到的视频画面作为图像。

具体的，对于动态应用场景中的图像，在图像播放过程中，可以在图像的左下角向用户展示添加(add)控件，用户可以通过操作该添加控件发出标签数据添加指令。用户对该添加控件的操作方式包括但不限于：点击、触摸、长按等。信息处理装置接收用户发出的标签数据添加指令，暂停视频播放，以供用户选择需要添加标签数据的目标对象。用户可以触摸、点击或长按图像中需要添加标签数据的对象，以发出对象选择指令。信息处理装置接收用户发出的对象选择指令，确定对象选择指令所操作的对象作为目标对象。

在确定目标对象之后，可以获取目标对象的标签数据。

在一可选实施方式中，信息处理装置可以获取目标对象的标签描述信息，对目标对象的标签描述信息进行格式转换，以生成目标对象的标签数据。举例说明，标签描述信息是文本格式，而标签数据可以是XML格式，则通过对文本格式的标签描述信息进行格式转换，以获得XML格式的标签数据， 简称为XML标签。

进一步，信息处理装置可以向用户展示一信息输入框，例如可以在图像所在窗口中向用户展示一信息输入框，以供用户输入标签描述信息；接收用户通过信息输入框输入的标签描述信息。这样信息获取方式实现对象简单，便于用户操作，获取标签描述信息的效率较高。

另外，信息处理装置也可以通过互联网搜索获取目标对象的标签描述信息。

考虑到视频中图像的内容数据主要包括图像中的音频数据和视频数据，分别属于音频类型和视频类型。一般音频数据存储在音频类型的数据包，视频数据存储在视频类型的数据包中。在本实施的一可选实施方式中，将目标对象的标签数据作为一种新的数据类型来实现，该类型被称为标签类型，并被存储到标签类型的数据包中。

基于上述，在根据目标对象的标签数据和图像的内容数据，形成图像对应的数据流的一种实施方式中，可以根据目标对象的标签数据和目标对象在图像中的位置信息，形成标签类型的数据包；将标签类型的数据包插入图像的内容数据中，以形成图像对应的数据流。在该实施方式中，图像对应的数据流主要包括音频类型的数据包、视频类型的数据包以及标签类型的数据包。其中，不同类型的数据包通过数据包中的类型标识字段来区分。

上述目标对象在图像中的位置信息可以根据用户发出对象选择指令来获取，例如可以将用户发出对象选择指令时点击、触摸或长按的位置坐标，作为目标对象在图像中的位置信息。

可选的，若图像中有多个目标对象，则可以按照目标对象在图像中的位置关系，依次将目标对象的标签数据添加到标签类型的数据包中。

进一步，在将标签类型的数据包插入图像的内容数据中，以形成图像对应的数据流之前，可以对标签类型的数据包进行签名处理，以保证标签数据的真实性和可信性。例如，可以采用但不限于：RSA算法。

进一步，标签类型的数据包可以包括但不限于：图像的帧号、时戳、目 标对象在图像中的位置信息、目标对象的标签数据、标签类型的类型标识等信息。

举例说明，目标对象的标签数据包括但不限于以下至少一种目标对象的详情信息、目标对象的服务入口、目标对象的服务的详情信息。

其中，目标对象的详情信息主要是指与目标对象直接相关的信息。根据目标对象的不同，目标对象的详情信息一般会有所不同。以目标对象为一商品，如衣服为例，则其详情信息一般包括名称、产地、价格、品牌、推荐等级、材料、商户、线下交易时的防伪信息或凭据信息(防伪信息可以是防伪标签、二维码或条形码)等等。

目标对象的服务入口主要是指与该目标对象相关的各种服务的入口。通过目标对象的服务入口可以调用或访问与该目标对象有关的服务。该服务入口可以是一链接地址或二维码等。

目标对象的服务的详情信息主要是与该目标对象有关的服务的基本信息，例如服务的名称、服务的基本功能、服务的使用方法等等。

由上述可见，本实施例在形成图像过程中，插入图像中目标对象的标签数据进而形成图像对应的数据流，使得在播放图像过程中，从图像对应的数据流中解析出目标对象的标签数据，进而向用户展示图像中对象的标签数据，使得用户可以获取图像中对象的信息，操作简单，获取效率较高。

图3-图6所示为在图像中添加或展示标签数据的过程示意图。在图3-图6中，信息处理装置在其显示器上显示有一图像，该图像中一人物的上衣、裙子、手提包、相机、指甲油等均可作为目标对象，被添加标签数据或提取标签数据。在图3-图6中，该图像的左下角显示有一“+”号图标，该图标实际为一“add”控件，用于供用户发出标签添加指令；该图像的右下角显示有一“放大镜”图标，该图标实际为一“view”控件，用于供用户发出标签数据处理指令。值得说明的是，为便于简化描述，图3-图6中同时示出“add”控件和view”控件，实际应用中“add”控件可以在标签添加过程中显示，“view”控件可以只在标签提取过程中显示。

结合图3-图6说明添加标签数据的过程如下：

在图3中，在视频播放过程中，在每帧图像的左下角向用户展示一“add”控件，具体为“+”图标。若用户希望对图像中的对象添加标签数据，则可以点击上述“+”图标，发出标签数据添加指令，信息处理装置暂停视频播放。

在图4中，用户在图像上点击或触摸图像中想要添加标签数据的对象，例如手提包，相当于发出对象选择指令；信息处理装置根据该对象选择指令，确定被点击或触摸的对象，例如手提包，然后在点击或触摸点浮现透明光标，并弹出指定格式的信息输入框，例如可以是XML页框。用户在信息输入框中输入各种标签描述信息。信息处理装置对标签描述信息进行格式转换，形成标签数据，之后将当前帧号、时戳、手提包的位置信息和XML格式的标签数据一起保存到图像对应的数据流的指定数据层(具体是标签类型的数据包)中。

如图5所示，采用同样的方式对图像中人物的相机、裙子、毛衣、皮鞋、指甲油添加标签数据。值得说明的是，在图4和图5中未示出信息输入框。

图4和图5形成的标签数据的一种样式如图6所示。

结合图3-图6说明展示标签数据的过程如下：

在图3中，在视频播放过程中，信息处理装置检测每帧图像对应的数据流中是否有标签类型的数据包；若检测到有标签类型的数据包时，在图像的右下角向用户展示一“view”控件，具体为“放大镜”图标。

在图5中，若用户希望获取图像图中目标对象的标签数据，可以点击上述“放大镜”图标，发出标签数据处理指令，信息处理装置暂停视频播放，并在所有目标对象位置处透明的浮现光标(具体在添加标签数据时的点击或触摸位置位置处浮现光标)。

在图4中，用户点击或触摸某个目标对象位置处的透明光标后，如手提包，信息处理装置获取该目标对象的标签数据。目标对象的标签数据可以在一个独立的窗口/显示器中显示，或透明的叠加在当前图像中显示。为便于展 示用户点击或触摸的手提包，图4中其它目标对象上的透明光标未示出。

图4中手提包的标签数据的一种样式如图6所示。

基于图6所示的标签数据，用户通过标签数据中的网络链接地址或二维码扫码入口，可以便捷的获取特定对象(物品)或进入特定对象的网络服务。

基于图6所示的标签数据，用户可以从标签数据中获取线下购物身份识别码或防伪标签，例如下载下来，在O2O线下交易时出示，以作为该对象的线下交易凭据(享受优惠或防伪策略)。

基于图6所示的标签数据，用户可以发出搜索指令，以便于信息处理装置从标签数据中提取关键字进行搜索，进而输出与标签数据匹配的搜索结果，实现基于图像的搜索。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

图7为本申请一实施例提供的信息处理装置的结构示意图。如图7所示，该装置包括：确定模块71和展示模块72。

解析模块71，用于从图像对应的数据流中，解析出图像中的目标对象的标签数据，目标对象是图像中被添加标签数据的对象。

展示模块72，用于展示解析模块71解析出的图像中的目标对象的标签数据。

在一可选实施方式中，解析模块71具体用于：

检测图像对应的数据流是否包括标签类型的数据包；

若图像对应的数据流包括标签类型的数据包，从标签类型的数据包中解析出目标对象的标签数据。

进一步可选的，解析模块71在用于从标签类型的数据包中解析出目标对象的标签数据时，具体用于：

向用户展示提示信息，以提示用户可以进行标签数据处理；

接收用户根据提示信息发送的标签数据处理指令；

根据标签数据处理指令，从图像对应的数据流中提取出标签类型的数据包；

从标签类型的数据包中，提取目标对象的标签数据和目标对象在图像中的位置信息。

在一可选实施方式中，展示模块72具体用于：

根据目标对象在图像中的位置信息，在图像中标注出目标对象；

接收用户发出的标签数据展示指令；

根据标签数据展示指令，向用户展示目标对象的标签数据。

进一步可选的，展示模块72在用于根据目标对象在图像中的位置信息，在图像中标注出目标对象时，具体用于：

在图像上面展示一个界面；

根据目标对象在图像中的位置信息，在界面上对应于目标对象的位置处显示可操作控件。

进一步可选的，展示模块72在用于接收用户发出的标签数据展示指令时，具体用于：

接收用户通过界面上对应于目标对象的位置处的可操作控件发出的标签数据展示指令。

可选的，标签数据展示指令包括：目标标签的位置信息。基于此，展示模块72在根据标签数据展示指令，向用户展示目标对象的标签数据时，具体用于：根据位置信息与标签数据在存储位置上的映射关系和目标标签的位置信息，确定目标对象的标签数据；展示目标对象的标签数据。

在一可选实施方式中，展示模块72在用于根据标签数据展示指令，展示目标对象的标签数据时，具体用于：

在图像所在窗口中显示目标对象的标签数据；或者

在独立于图像所在窗口的另一窗口中显示目标对象的标签数据；或者

在独立于图像所在显示器的另一显示器中显示目标对象的标签数据。

在一可选实施方式中，展示模块72具体用于：

对目标对象的标签数据进行签名验证；

当通过签名验证时，执行展示图像中的目标对象的标签数据的操作。

在一可选实施方式中，信息处理装置还可以包括：搜索模块，用于接收用户根据目标对象的标签数据发出的搜索指令；根据搜索指令，向用户返回与目标对象的标签数据相匹配的搜索结果。

上述目标对象的标签数据包括以下至少一种：

目标对象的详情信息、目标对象的服务入口、目标对象的服务的详情信息。

上述目标对象的标签数据可以为XML标签。

上述目标对象的标签数据可以包括：目标对象的防伪信息。基于此，该装置还可以包括：防伪模块。

防伪模块，用于从目标对象的标签数据中提取目标对象的防伪信息；根据目标对象的防伪信息，对目标对象进行真伪验证。

值得说明的是，本实施例中的图像可以是视频中的图像，也可以是非视频中的图像，例如网页中的图像。

本实施例提供的信息处理装置，在播放图像过程中，从图像对应的数据流中解析出目标对象的标签数据，进而展示图像中对象的标签数据，使得用户可以获取图像中对象的信息，操作简单，获取效率较高。

图8为本申请另一实施例提供的信息处理装置的结构示意图。如图8所示，该装置包括：确定模块81、获取模块82和形成模块83。

确定模块81，用于确定图像中需要添加标签数据的目标对象。

获取模块82，用于获取确定模块81确定出的目标对象的标签数据。

形成模块83，用于根据获取模块82获取的的目标对象的标签数据和图像的内容数据，形成图像对应的数据流。

在一可选实施方式中，确定模块81具体可用于：

接收用户在图像上发出的对象选择指令；

根据对象选择指令，确定目标对象。

进一步，确定模块81还用于：在接收用户在图像上发出的对象选择指令之前，在视频播放过程中，接收用户发出的标签数据添加指令；根据所述标签数据添加指令，暂停视频播放，将暂停到的视频画面作为所述图像。

在一可选实施方式中，确定模块81具体可用于：

自动从所述图像中识别出符合预设条件的对象作为所述目标对象；或者

自动识别出所述图像中的全部对象作为所述目标对象。

在一可选实施方式中，获取模块82具体可用于：

获取目标对象的标签描述信息；

对目标对象的标签描述信息进行格式转换，以生成目标对象的标签数据。

进一步，获取模块82在用于获取目标对象的标签描述信息时，具体用于：

向用户展示信息输入框，接收用户通过信息输入框输入的标签描述信息；或者

通过互联网搜索获取所述目标对象的标签描述信息。

在一可选实施方式中，形成模块83具体可用于：

根据目标对象的标签数据和目标对象在图像中的位置信息，形成标签类型的数据包；

将标签类型的数据包插入图像的内容数据中，以形成图像对应的数据流。

可选的，在将标签类型的数据包插入图像的内容数据中，以形成图像对应的数据流之前，形成模块83还可以对所述标签类型的数据包进行签名处理，以保证标签数据的真实性和可靠性。

上述目标对象的标签数据可以是XML标签。

可选的，目标对象的标签数据包括以下至少一种：目标对象的详情信息、目标对象的服务入口、目标对象的服务的详情信息。

本实施例提供的信息处理装置，与前述实施例提供的信息处理装置相配合，在形成图像过程中，插入图像中对象的标签数据形成图像对应的数据流，使得在播放图像过程中，从图像对应的数据流中解析出目标对象的标签数据，进而向用户展示图像中对象的标签数据，使得用户可以获取图像中对象的信息，操作简单，获取效率较高。

在实际应用中，视频播放设备一般会同时具有图7和图8所示信息处理装置的功能。下面实施例将介绍一种能够实现本申请技术方案的视频播放设备的结构及工作原理。在以下实施例中，以视频图像为例，视频图像中目标对象的标签数据可以采用XML格式，简称为XML标签。

图9a为本申请一实施例提供的视频播放设备的结构示意图。如图9a所示，该视频播放设备包括：视频播放器(video player)、web引擎(web Engine)和显示器(display)。

视频播放器至少包括：多路分路器(Demux)、音频解码器、视频解码器、标签过滤模块(XPreFilter)、标签录制模块(TSRecorder)和标签处理模块(XTAG)。其中，多路分路器、音频解码器以及视频解码器属于现有模块，其工作原理可参见现有技术，在此不再赘述。下面重点论述标签过滤模块、标签录制模块和标签处理模块的工作原理。

标签过滤模块是XML标签预处理(过滤)模块，标签过滤模块可以单独存在或放到多路分路器中。标签过滤模块主要负责以下两方面的功能：

一方面，在视频播放过程中，标签过滤模块负责从视频图像对应的TS码流中过滤出XML标签(XML tag)类型的PES包，发给标签处理模块进行解析。具体的，标签过滤模块实时检测视频图像对应的TS码流中是否存在XML标签类型的PES包，如果存在，通知web引擎在视频图像的右下角透明浮出“view”控件，如果用户点击了“view”控件，则暂停视频，获取 当前视频图像的PTS值，根据该PTS值和XML tag类型标记，从TS码流中过滤出对应的PES包，然后发送给标签处理模块进行拆包处理。

另一方面，在XML标签序列形成过程中，标签过滤模块负责把原始TS码流发送给标签录制模块进行录制。

标签录制模块主要负责接收标签过滤模块发送的原始TS码流，并接收来自标签处理模块发送的对目标对象的XML标签进行封装后形成的XML标签类型的PES包，将该XML标签类型的PES包插入原始TS码流中，并插入与XML标签类型相关的PAT、PMT形成视频图像对应的数据流，如PS流，然后按照传输协议对数据包大小的要求，将PS流切割成TS包(每个TS包有188字节)，保存为最终的TS码流。可选的，保存后的TS码流可以使用第三方工具生成发布格式，如HLS、MPEG2等，以便于发布出去。

标签处理模块主要负责XML标签类型的PES包的拆包、打包，并和web引擎保持事件同步，这里的事件主要包括：暂停(pause)、播放(play)、添加(add)、视图(view)、长按(long touch)、点击(touch)、保存(saved)、回放(view returned)、标记(xtag)，回添加(add returned)等。下面主要介绍拆包和打包的过程：

在对XML标签类型的PES包进行拆包过程中，标签处理模块负责解析标签过滤模块发来的XML标签类型的PES包，将该XML标签类型的PES包解析成XML格式的数据，传送给web引擎，以供web引擎解析处理，在web引擎的控制下展示有关对象的XML标签。

其中，标签处理模块在对XML标签类型的PES包进行拆包时，可以以视频图像中目标对象的坐标值为索引，把XML标签类型的PES包重组(如果在一个NALU中无须重组)为一个XML文件，交给web引擎，经web引擎处理后显示为一个和视频帧大小相当的界面浮现在当前视频图像上，该界面上对应于每个目标对象的位置处呈现可点击光标控件。当用户点击了对应目标对象上的光标控件，web引擎将该目标对象的XML标签解析出来并显示给用户。

在打包形成XML标签类型的PES包的过程中，标签处理模块主要负责把web引擎发送的用户输入的标签描述信息打包成XML标签类型的PES包，并传给标签录制模块进行录制以形成最终的TS码流。

在本实施例中，标签处理模块对XML标签打包时，每个XML标签放在一个NALU中，将这种存放XML标签的NALU自定义为XML类型的NALU(简写为XNALU)。在XNALU中，除了XML标签，还包括XML标签对应的目标对象在视频图像中的位置坐标值，该位置坐标可以是用户确定需要添加标签数据的目标对象时在视频图像上长按位置的坐标。每一视频图像可能对应多个XML标签，则可以按输入顺序形成XNALU序列，该序列被打包成XML标签类型的PES包，可选的，该XML标签类型的PES包的包头使用当前视频图像的PTS值，以便和视频图像同步，并将该PES包的类型设置为XML标签类型。

web引擎至少包括：web核心模块、网络模块和web应用模块(webapp)。web核心模块和网络模块属于web引擎中的现有模块，其功能可参见现有技术的描述。下面重点介绍web应用模块的功能。

Web应用模块主要负责以下四个方面的功能：

第一方面，web引擎负责和用户进行UI交互，根据用户的指令向用户显示标签处理模块传来的XML标签；第二方面，web引擎接收用户输入的标签描述信息并将其转化成XML标签，将XML标签发给标签处理模块；第三方面，web引擎还负责在视频图像上显示“add”、“view”等光标控件，获取用户在添加标签或显示标签过程中选择目标对象时点击位置的坐标等；第四方面，web引擎还负责用户和远端网络服务提供端进行交互。

结合图9a所示视频播放设备，一种为视频图像中的对象添加XML标签的流程如图9b所示，包括：

标签过滤模块把接收到的原始TS码流发送给标签录制模块进行录制；

标签处理模块响应视频的暂停播放事件；

标签处理模块获取当前视频图像的PTS值；

标签处理模块通知web应用模块有暂停播放事件；

web应用模块在当前视频图像上弹出“add”控件；

用户点击“add”控件发出的标签数据添加指；web应用模块接收用户通过点击“add”控件发出的标签数据添加指令；

web应用模块等待用户选择需要添加标签数据的目标对象；

web应用模块接收用户通过长按视频图像上的对象发出的对象选择指令；

web应用模块根据上述对象选择指令，确定需要添加标签数据的目标对象及目标对象的位置坐标；

web应用模块在上述目标对象处弹出信息输入框，以供用户输入标签描述信息；

web应用模块接收用户通过信息输入框输入的标签描述信息，并将标签描述信息转换成XML标签；

web应用模块将XML标签发送给标签处理模块；

标签处理模块将当前视频图像对应的所有XML标签打包成XML标签类型的PES包；

标签处理模块将XML标签类型的PES包发送给标签录制模块；

标签录制模块将XML标签类型的PES包、PAT、PMT等插入原始的TS码流，形成最终的TS码流。

结合图9a所示视频播放设备，一种提取视频图像中的对象的XML标签的流程如图9c所示，包括：

标签过滤模块接收TS码流，检测TS码流中是否存在XML标签类型的PES包；若存在，则从中获取XML标签类型的PES包，并发送给标签处理模块；

标签处理模块向web应用模块通知标签事件；

web应用模块在当前视频图像上显示“view”控件；

用户点击“view”控件发出的标签数据处理指令；web应用模块接收用 户通过点击“view”控件发出的标签数据处理指令；

web应用模块通知标签处理模块有标签数据处理事件；

标签处理模块获取当前视频图像的PTS值，获取PTS值相同的XML标签类型的PES包；

标签处理模块将解析出的PES包发送给web应用模块；

web应用模块解析PES包为XML文件，并在视频图像上透明浮现一界面，在界面上对应于目标对象的位置浮现光标控件；

用户点击光标控件发出的标签数据展示指令；web应用模块接收用户点击光标控件发出的标签数据展示指令；

web应用模块向用户展示上述标签数据展示指令对应的目标对象的XML标签；

web应用模块接收用户点击XML标签上提供的目标对象的网络服务的入口发出的服务调用指令；

web应用模块与目标对象的网络服务提供端进行交互，以向用户提供有关网络服务。

由上述技术方案可知，本实施例在形成视频图像过程中，插入视频图像中对象的标签数据形成视频图像对应的数据流，在播放视频图像过程中，从视频图像对应的数据流中解析出目标对象的标签数据，进而向用户展示视频图像中对象的标签数据，使得用户可以获取视频图像中对象的信息，操作简单，获取效率较高。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个 系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。