用于视频处理的方法、装置、电子设备和存储介质与流程

本公开的实施例总体涉及图像处理领域，具体涉及用于视频处理的方法、装置、电子设备和计算机存储介质。

背景技术：

诸如新闻视频等的视频通常由多个子新闻串联而成，用户往往对其中一个或多个新闻事件感兴趣，而不是所有新闻。传统的视频拆分技术主要依赖人工进行剪辑获得，并将新闻条目相关的文本描述与之匹配后进行推送，效率低下。还有一些传统技术依赖场景特征、静音特征或人脸前后相似度特征来进行拆分，这些特征需要精心设计，适应性和扩展性均较差。

技术实现要素：

提供了一种用于视频处理的方法、装置、电子设备以及计算机存储介质。

根据本公开的第一方面，提供了一种用于视频处理的方法。该方法包括：基于目标视频的包括有第一对象的多个帧，确定与第一对象有关的多个第一标识，基于与第一对象有关的知识库，确定与多个第一标识相关联的多个属性值，从多个帧中确定一组帧，与从一组帧中的每个帧确定的第一标识相关联的属性值均为预定值，以及基于一组帧在所述多个帧中的位置，将目标视频划分为多个视频片段。

根据本公开的第二方面，提供了一种用于视频处理的装置。该装置包括：标识确定模块，被配置为基于目标视频的包括有第一对象的多个帧，确定与第一对象有关的多个第一标识；属性值确定模块，被配置为基于与第一对象有关的知识库，确定与多个第一标识相关联的多个属性值；帧确定模块，被配置为从多个帧中确定一组帧，与从一组帧中的每个帧确定的第一标识相关联的属性值均为预定值；以及片段划分模块，被配置为基于一组帧在多个帧中的位置，将目标视频划分为多个视频片段。

根据本公开的第三方面，提供了一种电子设备。该电子设备包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据第一方面所述的方法。

根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。

根据本公开的技术可以实现以较强的适应性来实现视频拆分，有效解决了精心设计特征所存在的适应性差的问题。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：

图1是根据本公开的实施例的信息处理环境100的示意图；

图2是根据本公开的实施例的用于视频处理的方法200的示意图；

图3是根据本公开的实施例的用于将目标视频划分为多个视频片段的方法300的示意图；

图4是根据本公开的实施例的用于划分目标视频的方法400的示意图；

图5是根据本公开的实施例的视频处理过程500的示意图；

图6是根据本公开的实施例的视频帧600的示意图；

图7是根据本公开的实施例的视频帧700的示意图；

图8是根据本公开的实施例的用于视频处理的装置800的示意图；以及

图9是用来实现本公开实施例的用于视频处理的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。

如上所述，传统采用人工方式剪辑进行视频拆分时，即使专业有经验的剪辑人员面对海量视频也无法做到精准拆分，而依赖场景特征、静音特征和人脸前后相似度特征进行拆条时，这些特征需要精心设计，在更换到例如另一家新闻媒体视频时无法直接使用，需要特殊调配，可迁移性和扩展性差。另外，传统的视频拆分和视频语义理解往往是分离的，视频拆分后还需要二次对实体和事件进行抽取，使得视频制作和检索效率较低。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于视频处理的方案。在该方案中，基于目标视频的包括有第一对象的多个帧，确定与第一对象有关的多个第一标识，基于与第一对象有关的知识库，确定与多个第一标识相关联的多个属性值，从多个帧中确定一组帧，与从一组帧中的每个帧确定的第一标识相关联的属性值均为预定值，以及基于一组帧在所述多个帧中的位置，将目标视频划分为多个视频片段。

由此，能够通过确定帧中所包括对象的标识及标识相关联的属性值，确定相关联属性值为预定值的标识所对应的一组帧。基于这组帧在多个帧中的位置，将目标视频划分为多个视频片段。本方案无需精心设计特征，适用性强，便于系统迁移。

在下文中，将结合附图更详细地描述本方案的具体示例。

图1示出了根据本公开的实施例的信息处理环境100的示例的示意图。信息处理环境100可以包括视频处理设备110、目标视频120、知识库130和多个视频片段140。

视频处理设备110例如包括但不限于个人计算机、服务器计算机、多处理器系统、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。在一些实施例中，视频处理设备110可以具有一个或多个处理单元，包括诸如图像处理单元gpu、现场可编程门阵列fpga和专用集成电路asic等的专用处理单元以及诸如中央处理单元cpu的通用处理单元。

目标视频120例如包括但不限于包括新闻内容的视频，新闻内容例如具有主持人导语部分和新闻报道部分。

知识库130例如包括与对象有关的标识和与标识相关联的属性值。对象例如包括但不限于人。标识例如包括但不限于名称，例如人名。属性值例如包括但不限于职业，例如主持人、政府官员、运动员、明星等。例如，知识库130包括诸如“张三、主持人”“李四、运动员”、“王五、政府官员”等的数据。

视频处理设备110可以访问知识库130，以获得相关信息。知识库130可以位于视频处理设备110的内部或者外部。例如，视频处理设备110可以基于标识从知识库130获取与标识相关联的属性值。

视频处理设备110用于基于目标视频120的包括有第一对象的多个帧，确定与第一对象有关的多个第一标识，基于与第一对象有关的知识库130，确定与多个第一标识相关联的多个属性值，从多个帧中确定一组帧，与从一组帧中的每个帧确定的第一标识相关联的属性值均为预定值，以及基于一组帧在所述多个帧中的位置，将目标视频划分为多个视频片段140。

由此，能够通过确定帧中所包括对象的标识及标识相关联的属性值，确定相关联属性值为预定值的标识所对应的一组帧。基于这组帧在多个帧中的位置，将目标视频划分为多个视频片段。本方案无需精心设计特征，适用性强，便于系统迁移。

图2示出了根据本公开的实施例的用于信息处理的方法200的示意流程图。例如，方法200可以由如图1所示的视频处理设备110来执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在框202处，视频处理设备110基于目标视频120的包括有第一对象的多个帧，确定与第一对象有关的多个第一标识。

关于目标视频120，其例如包括但不限于包括新闻内容的视频，新闻内容例如具有主持人导语部分和新闻报道部分。第一对象例如包括但不限于人。第一标识例如包括但不限于名称。例如，如图6所示，帧600包括主持人610，则可以确定该主持人610的名称，例如李三。例如可以采用神经网络模型来确定标识。

在一些实施例中，多个第一标识中的每个标识的置信度均超过阈值置信度。例如，可以利用知识库130对标识进行校验，以确定置信度超过阈值置信度的标识，对于置信度不超过阈值置信度的标识，可以基于知识库130对该标识进行校正。由此，可以获得较高置信度的标识，提高后续处理的准确性。

备选地或者附加地，在一些实施例中，视频处理设备110可以对目标视频的预定间隔的帧进行面部识别，以得到包括有第一对象的多个帧。预定间隔包括预定帧间隔，例如每5帧、每10帧。此外，预定间隔还可以包括预定时间间隔，例如每1秒、每0.5秒。视频处理设备110随后可以基于多个帧，确定与第一对象有关的多个第一标识。由此，通过面部识别更精准筛选包括有第一对象的多个帧，便于进行标识确定。

在框204处，视频处理设备110基于与第一对象有关的知识库130，确定与多个第一标识相关联的多个属性值。

关于知识库130，其例如包括与第一对象有关的标识和与标识相关联的属性值。属性值例如包括但不限于具体职业，例如主持人、政治人物、明星等。通过在知识库中搜索标识，例如李三，可以获取与标识相关联的属性值，例如主持人。

在框206处，视频处理设备110从多个帧中确定一组帧，与从一组帧中的每个帧确定的第一标识相关联的属性值均为预定值。预定值可以用于指示特定属性，例如指示主持人、记者等特定职业。

在框208处，视频处理设备110基于一组帧在多个帧中的位置，将目标视频划分为多个视频片段。例如，基于一组帧在多个帧中的位置连续性，将目标视频划分为多个视频片段。下文将结合图3详细说明。

由此，能够通过确定帧中所包括对象的标识及标识相关联的属性值，确定相关联属性值为预定值的标识所对应的一组帧。基于这组帧在多个帧中的位置，将目标视频划分为多个视频片段。本方案无需精心设计特征，适用性强，便于系统迁移。

图3示出了根据本公开的实施例的用于将目标视频划分为多个视频片段的方法300的示意流程图。例如，方法300可以由如图1所示的视频处理设备110来执行。应当理解的是，方法300还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在框302处，视频处理设备110基于一组帧在多个帧中的位置，确定一组帧在多个帧内的序号。

例如，多个帧为目标视频中的第1、5、10、15、20帧，一组帧为第1、5、15和20帧，则一组帧在多个帧内的序号可以为1、2、4和5。

在框304处，视频处理设备110确定序号中的连续序号。例如，对于视频中的第1、5、10、15、20帧、而第1、5、15和20帧在其中的序号为1、2、4和5时，视频处理设备110则可以确定序号为1、2、4和5中1和2为连续序号，并且4和5也是连续序号。

在框306处，视频处理设备110基于与连续序号的起始序号相对应的帧，划分目标视频。可以将与前一起始序号对应的帧到与后一起始序号对应的帧之前的帧划分为一个视频片段。

例如，对于连续序号1和2，则起始序号为1，与起始序号相对应的帧为第1帧。对于连续序号4和5，则起始序号为4，而与起始序号相对应的帧为第15帧。在此情况下，视频处理设备110可以按照第1帧和第15帧来对目标视频进行划分，例如将第1帧到第14帧划分为一个视频片段，将第15帧到最后一帧划分为另一视频片段。应当理解，以上只是举例而非限制，多个帧、一组帧、序号、连续序号、起始序号以及起始序号对应的帧均可以是其他合适情况。

由此，通过一组帧在多个帧中的序号连续性，能够以简单且高效的方式划分目标视频，提高了处理效率。

图4示出了根据本公开的实施例的用于划分目标视频的方法400的示意流程图。例如，方法400可以由如图1所示的视频处理设备110来执行。应当理解的是，方法400还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在框402处，视频处理设备110确定连续序号的结束序号。这里继续结合图3的实施例所采用的例子，其中对于连续序号1和2，则结束序号为2。对于连续序号4和5，则结束序号为5。

在框404处，视频处理设备110基于与结束序号相对应的帧以及与起始序号相对应的帧，确定目标视频的一个视频片段中的第一视频子片段和第二视频子片段。可以将与起始序号对应的帧到与结束序号相对应的帧划分为第一视频子片段，将与结束序号相对应的帧之后的帧到视频片段的结尾帧划分为第二视频子片段。

例如，对于起始序号1，则与起始序号相对应的帧为第1帧。对于起始序号4，则与起始序号相对应的帧为第15帧。对于结束序号2，则与结束序号相对应的帧为第5帧。对于结束序号5，则与结束序号相对应的帧为第20帧。例如目标视频的一个视频片段为第1帧到第14帧，则该视频片段中的第一视频子片段为第1帧到第5帧，第二视频子片段为第6帧到第14帧。

由此，能够基于一组帧在多个帧中的序号连续性，将一个视频片段划分为两个视频子片段，简单高效。

备选地或者附加地，在一些实施例中，视频处理设备110还可以从多个帧中获取多个第一文本。例如，视频处理设备110可以利用光学字符识别ocr技术，从多个帧中获取多个第一文本。如图6所示，帧中可以显示文本，例如文本620可以显示与当前帧有关的内容，文本630可以显示与当前帧无关的内容，例如滚动新闻。在一些实施例中，多个第一文本中的每个第一文本的置信度均超过阈值置信度。例如可以基于知识库对多个第一文本进行校正，以确定置信度超过阈值置信度的第一文本，对于置信度不超过阈值置信度的第一文本，可以基于知识库对其进行校正。由此，能够提高第一文本的置信度，便于提高后续处理的准确性。

在获取多个第一文本之后，视频处理设备110可以从多个第一文本中获取多个第一实体。例如，视频处理设备110可以利用实体抽取模型，从多个第一文本获取多个第一实体。第一实体可以包括但不限于例如人名、地名、机构名等。如图7所示，在从该帧获取的第一文本730包括例如“王五会见李四”的内容，则获取的第一实体可以包括“王五”和“李四”这两个人名。在一些实施例中，多个第一实体中的每个第一实体的置信度均超过阈值置信度。例如可以基于知识库和/或多个第一标识对多个第一实体进行校正，以确定置信度超过阈值置信度的第一实体，对于置信度不超过阈值置信度的第一实体，可以基于知识库和/或多个第一标识对其进行校正。由此，能够提高第一实体的置信度，便于提高后续处理的准确性。

在获取多个第一实体之后，视频处理设备110可以基于多个第一文本和多个第一实体，确定与多个视频片段相关联的多个事件。例如，可以根据第一文本和帧的对应关系，将第一文本与视频片段相对应。随后，可以通过事件提取模型，基于与视频片段相对应的第一文本和第一实体提取与视频片段相关联的事件。此外，也可以利用与事件相关联的数据库，例如新闻事件图谱，对事件进行校验。

由此，能够实现在视频拆分的过程中实现视频语义理解，并实现事件与视频片段的关联，从而实现了从视频拆分到视频语义理解的自动化流水框架，高效支持诸如新闻领域的视频的制作和分发。

备选地或者附加地，在一些实施例中，视频处理设备110可以先从多个帧中获取多个初始文本。随后，视频处理设备110可以从多个初始文本中去除与多个帧无关的内容，以得到多个第一文本。由此，可以去除文本中的无关内容，提高处理效率和准确性。

备选地或者附加地，在一些实施例中，视频处理设备110可以基于初始文本中的内容的字体大小，确定与多个帧无关的内容。例如，可以将字体大小小于阈值字体大小的内容确定为与多个帧无关的内容。例如，关于新闻画面的帧中的较小字体的内容一般表示滚动新闻，与当前帧中的内容无关。在另一些实施例中，视频处理设备110可以基于初始文本中的内容在相应帧中的位置，确定与多个帧无关的内容。例如，可以将位于相应帧中的底部位置的内容，确定为与多个帧无关的内容。如图6所示，位于相应帧的底部位置的内容630一般表示滚动信息，与当前帧中的内容无关。在还有一些实施例中，视频处理设备110可以基于初始文本中的内容的字体大小和内容在相应帧中的位置，确定与多个帧无关的内容。例如，可以将上面两种方式结合来确定与多个帧无关的内容，这里不再赘述。

由此，可以基于内容的字体大小和在帧中的位置，准确地确定与多个帧无关的内容。

备选地或者附加地，在一些实施例中，视频处理设备110还可以基于与目标视频的多个帧相对应的音频，确定多个第二文本。例如，可以利用语音识别技术，将与目标视频的多个帧相对应的音频转化为多个第二文本。随后，视频处理设备110可以从多个第二文本中获取多个第二实体。例如，可以利用实体抽取模型，从多个第二文本中获取第二实体。接着，视频处理设备110可以基于多个第一文本、多个第一实体、多个第二文本和多个第二实体，确定与多个视频片段相关联的多个事件。确定事件的具体过程可参见上文，这里不再赘述。

由此，能够在利用从帧获取的文本基础上再利用从与帧对应的音频转化的文本来确定事件，使得事件确定能够基于多维度数据，提高了准确性。

下面结合图5描述根据本公开的实施例的视频处理过程500，该过程包括了视频拆分和事件确定等。如图5所示，在502处，视频处理设备110获取目标视频。随后，在504处，视频处理设备110从目标视频获取预定间隔的帧。随后，在506处，视频处理设备110对帧进行ocr处理，得到文本。在506处得到文本之后，可以在510处基于知识库520对文本进行校验，例如得到置信度高于阈值的文本。在508处，视频处理设备110对帧进行面部识别，得到与第一对象有关的标识。在508处得到与第一对象有关的标识后，可以在512处基于知识库获取与标识相关联的属性值，例如主持人。

随后，在514处，可以进行视频拆分，以得到视频片段。可以通过多种方式来拆分视频。例如，可以将主持人连续出现的帧确定为导语部分，将导语部分结束至下一次主持人出现的帧确定为报道部分。在516处，视频处理设备110按照视频片段对从帧中得到的文本进行实体抽取。在518处，视频处理设备110基于得到的文本和实体并结合事件图谱确定与视频片段相关联的事件。例如，参见图7，在视频片段包括王五710会见李四720的画面和关于王五会见李四的文本730时，可以从该视频片段确定出与之相关联的事件为王五会见李四。

由此，能够实现在视频拆分的过程中实现视频语义理解，并实现事件与视频片段的关联，从而实现了从视频拆分到视频语义理解的自动化流水框架，高效支持诸如新闻领域的视频的制作和分发。

图8示出了根据本公开的实施例的用于视频处理的装置800的示意框图。如图8所示，装置800包括标识确定模块801，被配置为基于目标视频的包括有第一对象的多个帧，确定与第一对象有关的多个第一标识；属性值确定模块802，被配置为基于与第一对象有关的知识库，确定与多个第一标识相关联的多个属性值；帧确定模块803，被配置为从多个帧中确定一组帧，与从一组帧中的每个帧确定的第一标识相关联的属性值均为预定值；以及片段划分模块804，被配置为基于一组帧在多个帧中的位置，将目标视频划分为多个视频片段。

备选地或者附加地，在一些实施例中，片段划分模块804包括：序号确定模块，被配置为基于一组帧在多个帧中的位置，确定一组帧在多个帧内的序号；连续序号确定模块，被配置为确定序号中的连续序号；以及划分模块，被配置为基于与连续序号的起始序号相对应的帧，划分目标视频。

备选地或者附加地，在一些实施例中，划分模块包括：结束序号确定模块，被配置为确定连续序号的结束序号；以及子片段确定模块，被配置为基于与结束序号相对应的帧以及与起始序号相对应的帧，确定目标视频的一个视频片段中的第一视频子片段和第二视频子片段。在一些实施例中，多个第一标识中的每个标识的置信度均超过阈值置信度。

备选地或者附加地，在一些实施例中，标识确定模块801包括：面部识别模块，被配置为对目标视频的预定间隔的帧进行面部识别，以得到多个帧；以及确定模块，被配置为基于多个帧，确定多个第一标识。

备选地或者附加地，在一些实施例中，装置800还包括：第一文本获取模块，被配置为从多个帧中获取多个第一文本；第一实体获取模块，被配置为从多个第一文本中获取多个第一实体；以及事件确定模块，被配置为基于多个第一文本和多个第一实体，确定与多个视频片段相关联的多个事件。在一些实施例中，多个第一文本中的每个第一文本的置信度均超过阈值置信度。

备选地或者附加地，在一些实施例中，第一文本获取模块包括：初始文本获取模块，被配置为从多个帧中获取多个初始文本；无关内容去除模块，被配置为从多个初始文本中去除与多个帧无关的内容，以得到多个第一文本。

备选地或者附加地，在一些实施例中，无关内容去除模块包括无关内容确定模块，被配置为基于初始文本中的内容的字体大小和内容在相应帧中的位置中的至少一项，确定与多个帧无关的内容。在一些实施例中，多个第一实体中的每个第一实体的置信度均超过阈值置信度。

备选地或者附加地，在一些实施例中，事件确定模块包括：第二文本确定模块，被配置为基于与目标视频的多个帧相对应的音频，确定多个第二文本；第二实体获取模块，被配置为从多个第二文本中获取多个第二实体；以及确定模块，被配置为基于多个第一文本、多个第一实体、多个第二文本和多个第二实体，确定与多个视频片段相关联的多个事件。

图9示出了可以用来实施本公开内容的实施例的示例设备900的示意性框图。例如，如图1所示的视频处理设备110可以由设备900来实施。如图所示，设备900包括中央处理单元(cpu)901，其可以根据存储在只读存储器(rom)902中的计算机程序指令或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序指令，来执行各种适当的动作和处理。在ram903中，还可存储设备900操作所需的各种程序和数据。cpu901、rom902以及ram903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。

设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标、麦克风等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如方法200-500，可由处理单元901执行。例如，在一些实施例中，方法200-500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序被加载到ram903并由cpu901执行时，可以执行上文描述的方法200-500的一个或多个动作。

本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。