图像标注方法、装置及系统与流程

本公开涉及图像处理领域，具体地，涉及图像标注方法、装置及系统。

背景技术：

利用物品识别模型能够识特定空间内存在的物品，由此能够实现各种不需要人来管理的装置。作为这种应用之一的是无人视觉货柜。无人视觉货柜作为传统自动售货机和传统无人货架的替代者，正逐渐在各个城市中普及。无人视觉货柜通过利用物品识别模型，能够识别出购买者从货柜中拿取的物品，从而针对被拿取的物品进行结算，以实现无人售货。

为了使物品识别模型能够准确识别出货柜内的物品，需要使用标记样本对物品识别模型进行训练。尤其是在所销售的物品出现新上的物品时，需要再次进行训练。标记样本中标记的精确度将会影响物品识别模型的性能。在现有技术中，获取标记样本的方式通常是通过人工对所拍摄的图片进行标注，或采用识别模型识别后由人工来进行更正，否则无法保证标记的精确度。现有技术中获取标记样本的方式均需要人工参与，因而效率低下。

技术实现要素：

鉴于上述，本公开提供了一种图像标注方法、装置及系统。利用该方法、装置及系统，通过对各个物品赋予能够唯一地标识各个物品的物品标识码，并基于物品图片中的物品轮廓和物品标识码所标识的物品信息，来生成标记图像样本，能够实现在不需要人工参与的前替下获取具有高精确度的标记图像样本。

根据本公开的一个方面，提供一种图像标注方法，包括：识别物品图像中的物品轮廓，并标注识别出的物品轮廓；识别所述物品图像中的物品标识码，以获取所述物品标识码中的物品信息；以及基于所述物品轮廓和所述物品信息，生成标记图像样本。其中，所述物品标识码设置于所述物品图像中的物品上，所述物品标识码用于唯一地标识所述物品的物品信息。

可选的，在一个示例中，所述物品图像可以包括第一物品图像和第二物品图像，所述第二物品图像中包括所述第一物品图像中的至少部分物品，识别物品图像中的物品轮廓，并标注识别出的物品轮廓包括：识别所述第一物品图像中的物品轮廓，并在所述第一物品图像中标注所识别出的物品轮廓。识别物品图像中的物品标识码可以包括：识别所述第二物品图像中的物品标识码。基于所述物品轮廓和所述物品信息，生成标记图像样本可以包括：基于标注有物品轮廓的第一物品图像和所述物品信息，生成所述标记图像样本。

可选的，在一个示例中，在识别所述第二物品图像中的物品标识码之前，所述方法还可以包括：对所述第二物品图像进行图像矫正处理。

可选的，在一个示例中，所述方法还可以包括：识别所述物品轮廓在所述第一物品图像中的物品轮廓位置；以及识别所述物品标识码在所述第二物品图像中的物品标识码位置。基于标注有物品轮廓的第一物品图像和所述物品信息，生成所述标记图像样本包括：基于所述物品轮廓位置和所述物品标识码位置，将对应于所述物品标识码位置的物品信息映射给所述第一物品图像中的对应物品轮廓，以生成所述标记图像样本。

可选的，在一个示例中，所述第一物品图像可以由主摄像装置拍摄，所述第二物品图像可以由辅助摄像装置拍摄。

可选的，在一个示例中，所述主摄像装置和所述辅助摄像装置可以设置于无人视觉货柜中。

可选的，在一个示例中，所述辅助摄像装置可以为至少两个。

可选的，在一个示例中，所述主摄像装置可以设置于所述无人视觉货柜的中间位置，所述辅助摄像装置可以设置于所述主摄像装置的周围相邻位置。

根据本公开的另一方面，还包括一种图像标注装置，包括：物品轮廓识别单元，被配置为识别物品图像中的物品轮廓，并标注识别出的物品轮廓；物品标识码识别单元，被配置为识别所述物品图像中的物品标识码，以获取所述物品标识码中的物品信息；以及标记图像样本生成单元，被配置为基于所述物品轮廓和所述物品信息，生成标记图像样本。其中，所述物品标识码设置于所述物品图像中的物品上，所述物品标识码用于唯一地标识所述物品的物品信息。

可选的，在一个示例中，所述物品图像可以包括第一物品图像和第二物品图像，所述第二物品图像中包括所述第一物品图像中的至少部分物品，所述物品轮廓识别单元可以被配置为：识别所述第一物品图像中的物品轮廓，并在所述第一物品图像中标注所识别出的物品轮廓。所述物品标识码识别单元被配置为：识别所述第二物品图像中的物品标识码。所述标记图像样本生成单元被配置为：基于标注有物品轮廓的第一物品图像和所述物品信息，生成所述标记图像样本。

可选的，在一个示例中，所述装置还可以包括：图像矫正单元，被配置为在识别所述第二物品图像中的物品标识码之前，对所述第二物品图像进行图像矫正处理。

可选的，在一个示例中，所述物品轮廓识别单元还可以被配置为：识别所述物品轮廓在所述第一物品图像中的物品轮廓位置。所述物品标识码识别单元还被配置为：识别所述物品标识码在所述第二物品图像中的物品标识码位置。所述标记图像样本生成单元被配置为：基于所述物品轮廓位置和所述物品标识码位置，将所述物品信息映射给所述第一物品图像中的对应物品轮廓，以生成所述标记图像样本。

可选的，在一个示例中，所述第一物品图像可以由主摄像装置拍摄，所述第二物品图像可以由辅助摄像装置拍摄。

可选的，在一个示例中，所述主摄像装置和所述辅助摄像装置可以设置于无人视觉货柜中。

可选的，在一个示例中，所述辅助摄像装置可以为至少两个。

可选的，在一个示例中，所述主摄像装置可以设置于所述无人视觉货柜的中间位置，所述辅助摄像装置可以设置于所述主摄像装置的周围相邻位置。

根据本公开的另一方面，还提供一种图像标注系统，包括：摄像装置，被配置为获取物品图像，所述物品图像中的物品上设置有物品标识码，所述物品标识码用于唯一地标识所述物品的物品信息；以及如上所述的装置。

根据本公开的另一方面，还提供一种计算设备，包括：至少一个处理器；以及存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的方法。

根据本公开的另一方面，还提供一种非暂时性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的方法。

利用本公开的方法、装置和系统，通过为在物品上设置物品标识码，从而可以通过物品标识码来识别物品信息，进而可以基于所识别出的物品信息和物品轮廓来实现图像标注。由此，不仅能提高所生成的标记样本的精确度，还能够提高标记图像样本的生成效率。

利用本公开的方法、装置和系统，通过利用第一图像来识别物品轮廓，并通过第二物品图像来识别物品标识码中的物品信息，从而当物品分布空间较大时，避免因部分区域无法清晰拍摄而导致不能准确识别出物品信息。

利用本公开的方法、装置和系统，在识别第二物品图像中的物品标识码之前，对第二物品图像进行图像矫正处理，能够在图像识别之前恢复畸变的图像，从而提高对物品标识码进行识别时的准确度。

利用本公开的方法、装置和系统，通过基于第一物品图像中的物品轮廓位置和第二物品图像中的物品标识码位置，将对应于物品标识码位置的物品信息映射给第一物品图像中的对应物品轮廓，能够实现准确快速映射，从而提高生成标记图像样本的准确度和效率。

利用本公开的方法、装置和系统，通过利用至少两个辅助摄像装置来获取第二物品图像，能够提高对物品标识码的识别准确度。

附图说明

通过参照下面的附图，可以实现对于本公开内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开的实施例，但并不构成对本公开的实施例的限制。在附图中：

图1是根据本公开一个实施例的图像标注方法的流程图；

图2是根据本公开的另一实施例的图像标注方法的流程图；

图3是根据本公开的另一实施例的图像标注方法的流程图；

图4是用于说明适用于本公开的图像标注方法的摄像装置拍摄范围的一个示例的图；

图5是用于说明适用于本公开的图像标注方法的摄像装置拍摄范围的另一示例的图；

图6是根据本公开一个实施例的图像标注方法中的映射过程的一个示例的流程图；

图7是根据本公开一个实施例的图像标注装置的结构框图；

图8是根据本公开一个实施例的图像标注系统的结构框图；

图9是根据本公开一个实施例的用于实现图像标注方法的计算设备的结构框图。

具体实施方式

以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。

现在结合附图来描述本公开的图像标注方法、装置及系统。

图1是根据本公开一个实施例的图像标注方法的流程图。

如图1所示，在块120中，识别物品图像中的物品轮廓，并标注识别出的物品轮廓。在物品图像中具有至少一个物品，在物品上设置有物品标识码，物品标识码用于唯一地标识物品的物品信息。物品可以是任意商品或库存的零部件等。

在一个示例中，可以采用商品检测算法来对物品摆放图片中的商品轮廓进行识别。商品检测算法可以基于以商品为识别目标的目标检测算法而实现，目标检测算法例如可以基于图像分割算法等。在一个示例中，也可以是训练得到的物品轮廓识别模型来识别物品轮廓。

然后，在块140，识别所述物品图像中的物品标识码，以获取物品标识码中的物品信息。

在应用于无人视觉货柜的情形下，可以在每个物品的顶部粘附物品识别码后，将物品摆放在无人视觉货柜中，然后利用摄像装置进行拍摄以获取物品摆放图片。物品标识码可以是点阵码、二维码、条形码等任意形式。物品识别码可以采用任意识别码生成算法(例如点阵码生成算法、二维码生成算法)等，基于物品的物品信息来生成。在一个示例中，可以采用二值点阵码生成算法以不影响物品识别且能够存储物品信息的最小码(体积最小的码)来生成。物品识别码所标识的物品信息例如可以是物品的品类、规格、包装、名称、品牌等中的一种或多种信息，例如可以是“可乐-瓶装-350ml”等信息。当采用点阵码作为物品标识码时，可以利用点阵码识别算法来识别物品标识码中的物品信息。

在识别出物品轮廓和物品标识码之后，在块160，基于物品轮廓和物品信息，生成标记图像样本。所生成的标记图像样本可以用于训练物品识别模型。训练完成的物品识别模型例如可以用于无人视觉货柜。

在一个示例中，可以基于同一物品图片来识别物品轮廓和物品信息。此时，在进行物品轮廓识别和物品标识码识别时，还可以识别出在物品图像中的物品轮廓位置和物品标识码位置，从而可以基于物品标识码位置和物品轮廓位置，将对应于各个物品标识码的物品信息匹配给对应位置处的物品轮廓。此外，还可以在标注出物品图像中的物品轮廓后，识别各个物品轮廓内的物品标识码，并将物品标识码标识的物品信息标注在对应的物品轮廓上。

在基于同一物品图片来识别物品轮廓和物品信息的情形下，可以利用对应于物品识别模型实际应用时的一个摄像装置来获取物品摆放图片。例如，当所述物品识别模型应用于无人视觉货柜时，该一个摄像装置是无人视觉货柜投入使用时的摄像装置。通过该实施例，能够自动地对物品图像进行标注。

图2是根据本公开的另一实施例的图像标注方法的流程图。在该示例中，可以基于至少两个物品图像来实现图像标注。即，物品图像包括第一物品图像和第二物品图像。第二物品图像中包括第一物品图像中的至少部分物品。可以利用至少两个摄像装置分别从不同角度，对摆放在同一空间内的物品进行拍摄，以获取第一物品图像和第二物品图像。

如图2所示，在块220，识别第一物品图像中的物品轮廓，并在第一物品图像中标注所识别出的物品轮廓。

在块240，对第二物品图像进行图像矫正处理。摄像装置所拍摄的物品图像可能会产生变形(例如广角镜头产生的畸变)，这种变形会影响图像识别的准确度。尤其对于体积较小的物品标识码，当出现变形时，可能无法准确识别出物品标识码中的物品信息。因此，在对该物品摆放图像进行图像识别之前，还可以采用图像矫正算法对物品摆放图像进行图像矫正，以矫正因广角镜头等原因产生的图像变形。由此，能够防止因图像变形而导致无法识别出物品标识码。

在图像矫正处理之后，在块260，识别第二物品图像中的物品标识码，以获取物品标识码中的物品信息。在一个示例中，可以利用主摄像装置来获取第一物品图像，并利用辅助摄像装置来获取第二物品图像。当物品分布分间较大时，利用一个摄像装置难以拍清楚所有的物品，因而位于摄像装置拍摄范围边缘的物品可能产生变形或显得很模糊。这样将难以识别出所有物品的物品标识码。因而，可以使主摄像装置和辅助摄像装置相互配合，并使辅助摄像装置拍摄主摄像装置无法清晰拍摄的区域。进而，对于主摄像装置无法清晰拍摄的区域，通过第二物品图像来识别物品标识码，从而保证能够识别出所有物品的物品标识码。

在块280，基于标注有物品轮廓的第一物品图像和物品信息，生成标记图像样本。

在一个示例中，辅助摄像装置可以设置有多个，各个辅助摄像装置的拍摄范围之和可以覆盖主摄像装置的拍摄范围，从而可以利用多个辅助摄像装置来分别对部分物品进行拍摄。由此获取的多个第二物品图像中包括第一物品图像中的所有物品，并且每个物品都能被清晰地拍摄到。在该示例中，可以由第一物品图像识别出所有物品的物品轮廓，并从第二物品图像中识别出各个物品的物品标识码，然后将各个物品标识码中的物品信息映射给第一物品图像中的各个物品轮廓。

在另一示例中，可以将一个或多个辅助摄像装置设置为仅拍摄主摄像装置拍摄不清晰的物品。此时，对于主摄像装置能够拍摄清晰的物品，可以从主摄像装置所获取的第一物品图像中识别物品轮廓和物品标识码，从而对这部分物品进行标注。而对于主摄像装置不能拍摄清晰的物品，可以基于从第一物品图像中识别物品轮廓，并从第二物品图像中识别出物品标识码。然后，将第二物品图像中的物品信息映射到第一物品图像中对应位置处的物品轮廓上。由此，可以减少辅助摄像装置的设置数量，以节约硬件成本。

图3是根据本公开的另一实施例的图像标注方法的流程图。在该示例中，基于第一物品图像中的物品轮廓位置和第二物品图像中的物品标识码位置，来实现从第二物品图像到第一物品图像的物品信息映射。

如图3所示，在块302，识别第一物品图像中的物品轮廓，并在第一物品图像中标注所识别出的物品轮廓。在块304，识别物品轮廓在第一物品图像中的物品轮廓位置。

在块306，识别第二物品图像中的物品标识码，以获取物品标识码中的物品信息。在块308，识别物品标识码在第二物品图像中的物品标识码位置。

最后，在块310，基于物品轮廓位置和物品标识码位置，将对应于物品标识码位置的物品信息映射给第一物品图像中的对应物品轮廓。将物品信息从第二物品图像映射到第一物品图像的示例将参照后述图6来进行说明。以下参照图4和图5，对主摄像装置和辅助摄像装置的拍摄范围进行说明。

主摄像装置和辅助摄像装置可以设置于无人视觉货柜中。此时，主摄像装置的设置位置对应于无人视觉货柜投入商业使用时的摄像装置。在一个示例中，主摄像装置可以设置于无人视觉货柜的中间位置，各个辅助摄像装置可以设置在主摄像装置的周围相邻位置处。图4和图5分别是用于说明适用于本公开的图像标注方法的摄像装置拍摄范围的示例的图。

如图4所示，在该示例中，主摄像装置41设置在中间位置，9个辅助摄像装置42围绕主摄像装置设置在相邻位置。主摄像装置的拍摄范围43(实线框对应的区域)覆盖拍摄空间内的整体区域。各个辅助摄像装置的拍摄范围44(虚线框对应的区域)之和覆盖待识别空间内的整体区域。虽然图4中示意了设置9个辅助摄像装置42的情形，但在实际应用时可以设置任意数量的辅助摄像装置，只要使所有辅助摄像装置的拍摄范围之和能够覆盖待识别空间的整体区域即可。

如图5所示，在该示例中，考虑到主摄像装置51可能无法清晰地拍摄四个边角区域，因而设置有5个辅助摄像装置52，各个辅助摄像装置的拍摄范围54覆盖待识别空间内的上述边角区域。即辅助摄像装置设置为覆盖主摄像装置的拍摄范围53中拍摄不清晰的区域。在其它示例中，还可以根据主摄像装置不能清晰地拍摄的范围设置任意数量的辅助摄像装置。

图4和图5中为了方便说明，将各个摄像装置的拍摄范围示意为矩形，在实际应用中，摄像装置的拍摄范围可以是圆形区域或椭圆区域等。各个辅助摄像装置的拍摄范围之间还可以有重叠。当拍摄范围有重叠时，从各个图片中识别出的信息可能有重复，此时可以对所识别出的信息采取去重处理。

在将物品标识码所标识的物品信息从第二物品图像中映射到第一物品图像中时，可以采用如图6所示的示例来执行。图6是根据本公开一个实施例的图像标注方法中的映射过程的一个示例的流程图。

如图6所示，在块620，针对从第二物品图像中识别出的物品标识码，基于对应辅助摄像装置的逆投影函数，将该物品标识码的物品标识码位置投影到三维空间中，以获取该物品标识码在三维空间中的三维空间坐标。

在设置摄像装置后可以获取摄像装置的一系列参数，摄像装置的投影函数和逆投影函数可以基于摄像装置的这些参数来确定。投影函数是指将二维图像空间中的坐标投影到三维空间中所使用的函数，逆投影函数是指将三维空间中的坐标投影到二维图像空间中所使用的函数。例如，可以采用张氏标定法来标定主摄像装置和辅助摄像装置的投影函数和逆投影函数。假设在辅助物品摆放图片中的物品标识码位置为x(u,v)(u、v表示二维图像空间的坐标)，则投影到三维图像空间的三维空间坐标p(x,y,z)＝invf(x,d)，invf表示辅助摄像装置的逆投影函数，x即x(u,v)，x、y、z表示三维空间中的坐标，d表示物品标识码在物品上的设置位置离物品底端的高度。例如，当物品标识码设置在物品最顶端时，d为该物品的高度。

然后，在块640，基于主摄像装置的投影函数，将该物品标识码的三维空间坐标投影至二维图像空间中，以获取该物品标识码在第一物品图像中的映射位置。假设主摄像装置的投影函数为f()，则物品标识码在第一物品图像中的映射位置x’(u’,v’)＝f(p)，p即上述三维空间坐标p(x,y,z)。

在获取物品标识码的映射位置后，在块660，基于该物品标识码在第一物品图像中的映射位置和第一物品图像中的各个物品的物品轮廓位置，确定与该物品标识码匹配的物品轮廓。由此，可以将从第二物品图像中识别出的物品标识码所标识的物品信息标注到相应的物品上，以生成标记图像样本。

图6只是将第二物品图像中的物品标识码匹配到第一物品图像的一个示例，在实践中还可以采用其它方法将物品标识码匹配到第一物品图像中。

图7是根据本公开一个实施例的图像标注装置的结构框图。如图7所示，标记样本生成装置700包括物品轮廓识别单元710和物品标识码识别单元720和标记图像样本生成单元730。

物品轮廓识别单元710被配置为识别物品图像中的物品轮廓，并标注识别出的物品轮廓。在物品图像中的物品上设置有物品标识码，物品标识码用于唯一地标识物品的物品信息。物品标识码识别单元720被配置为识别物品图像中的物品标识码，以获取物品标识码中的物品信息。在物品轮廓识别和物品标识码识别之后，标记图像样本生成单元730基于物品轮廓和物品信息，生成图像样本。

在一个示例中，物品图像可以包括第一物品图像和第二物品图像，第二物品图像中包括第一物品图像中的至少部分物品。在该示例中，物品轮廓识别单元710被配置为识别第一物品图像中的物品轮廓，并在第一物品图像中标注所识别出的物品轮廓。物品标识码识别单元720被配置为识别所述第二物品图像中的物品标识码。标记图像样本生成单元被配置730为基于标注有物品轮廓的第一物品图像和所述物品信息，生成标记图像样本。

当利用第二物品图像来识别物品标识码时，图像标注装置700还可以包括图像矫正单元(附图中未示出)。图像矫正单元被配置为在识别第二物品图像中的物品标识码之前，对第二物品图像进行图像矫正处理。

在一个示例中，物品轮廓识别单元710还可以被配置为识别物品轮廓在第一物品图像中的物品轮廓位置。在该示例中，物品标识码识别单元720还被配置为识别物品标识码在所述第二物品图像中的物品标识码位置。此时，标记图像样本生成单元730可以基于物品轮廓位置和物品标识码位置，将物品信息映射给第一物品图像中的对应物品轮廓，以生成标记图像样本。可以利用参照图6所描述的方法，将物品信息映射到第一物品图像中。

第一物品图像可以由主摄像装置拍摄，第二物品图像可以由辅助摄像装置拍摄。可以设置有多个辅助摄像装置，以用于获取多个第二物品图像。

作为示例，主摄像装置和辅助摄像装置可以设置于无人视觉货柜中。此时，主摄像装置可以设置于无人视觉货柜的中间位置，辅助摄像装置可以设置于主摄像装置的周围相邻位置。

图8是根据本公开一个实施例的图像标注系统的结构框图。如图8所示，标记样本生成系统800可以包括摄像装置810和本公开实施例中描述的图像标注装置820。

摄像装置810被配置为获取物品图像，物品图像中的物品上设置有物品标识码，物品标识码用于唯一地标识物品的物品信息。

摄像装置810可以包括主摄像装置和至少一个辅助摄像装置，主摄像装置被配置为获取第一物品图像，主摄像装置的拍摄范围覆盖所有物品。辅助摄像装置中的各个辅助摄像装置被配置为第二物品图像。至少一个辅助摄像装置可以被配置为其拍摄范围之和覆盖所有物品，还可以被配置为其拍摄范围之和覆盖待识别空间内的部分物品。

以上参照图1到图8，对根据本公开的图像标注方法及装置的实施例进行了描述。在以上对方法实施例的描述中所提及的细节，同样适用于本公开的装置的实施例。

本公开的图像标注装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。在以上对方法实施例的描述中所提及的细节，同样适用于本公开的装置的实施例。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见。

本公开的图像标注装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本公开中，图像标注装置例如可以利用计算设备实现。

图9是根据本公开一个实施例的用于实现图像标注方法的计算设备的结构框图。如图9所示，计算设备900包括处理器910、存储器920、内存930、通信接口940和内部总线950。根据一个实施例，计算设备900可以包括至少一个处理器910，该至少一个处理器910执行在计算机可读存储介质(即，存储器920)中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器920中存储计算机可执行指令，其当执行时使得至少一个处理器910：识别物品图像中的物品轮廓，并标注识别出的物品轮廓；识别所述物品图像中的物品标识码，以获取所述物品标识码中的物品信息；以及基于所述物品轮廓和所述物品信息，生成标记图像样本。

应该理解，在存储器920中存储的计算机可执行指令当执行时使得至少一个处理器910进行本公开的各个实施例中以上结合图1-8描述的各种操作和功能。

根据一个实施例，提供了一种例如非暂时性机器可读介质的程序产品。非暂时性机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图1-8描述的各种操作和功能。

具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd-rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

以上结合附图详细描述了本公开的实施例的可选实施方式，但是，本公开的实施例并不限于上述实施方式中的具体细节，在本公开的实施例的技术构思范围内，可以对本公开的实施例的技术方案进行多种简单变型，这些简单变型均属于本公开的实施例的保护范围。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。