增强现实拍照的方法、装置及计算机存储介质与流程

本申请涉及智能终端技术领域，例如涉及增强现实拍照的方法、装置及计算机存储介质。

背景技术：

随着生活水平的提高，相机已经是人们日常生活的必备品。人们对摄影留念的热情持续上涨，一些游览区也会设置一些拍照区，来为游客提供一些娱乐方式的选择。

目前，拍照的方式多种多样，一些娱乐场所，可将用户图像与虚拟场景进行简单叠加，得到对应的虚拟照片，但是，这样的拍照结果，只记录了用户的形象和虚拟画面，真实感差，用户在任何场景都可以拿到一样的照片，与实际环境的关联度低，纪念价值较低，用户进行拍照的热情度不高。

技术实现要素：

为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

本公开实施例提供了一种增强现实拍照的方法。

在一些实施例中，所述方法包括：

加载视频流数据进行播放，所述视频流数据包括目标场景实时画面数据，以及携带虚拟对象数据的动画数据；

当确定播放的当前动画数据满足对应的预设条件时，获取所述目标场景实时画面数据，以及包括待播放动画数据的二维动画帧数据

将目标场景实时画面数据与所述二维动画帧数据进行图片融合，保存为增强现实图片。

本公开实施例提供了一种增强现实拍照的装置。

在一些实施例中，所述装置包括：

加载单元，被配置为载视频流数据进行播放，所述视频流数据包括目标场景实时画面数据，以及携带虚拟对象数据的动画数据；

触发获取单元，被配置为当确定播放的当前动画数据满足对应的预设条件时，获取目标场景实时画面数据，以及包括待播放动画数据的二维动画帧数据；

保存单元，被配置为将目标场景实时画面数据与所述二维动画帧数据进行图片融合，保存为增强现实图片。

本公开实施例提供了一种增强现实拍照设备。

在一些实施例中，所述增强现实拍照设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，使所述至少一个处理器执行上述的增强现实拍照方法。

本公开实施例提供了一种计算机程序产品。

在一些实施例中，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的增强现实拍照方法。

本公开实施例提供了一种计算机可读存储介质。

在一些实施例中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令设置为执行上述的增强现实拍照方法。

本公开实施例提供的一些技术方案可以实现以下技术效果：

可将当前目标场景、用户图像、虚拟对象进行融合，得到增强现实图片，这样，用户的照片效果更加丰富趣味，满足了用户虚拟拍摄的需求，也拓展了增强现实技术的应用，并且不仅记录了用户图像，还记录了虚拟对象和实际场景，提升了照片的真实性，也为用户提供了其他地点很难复制的拍照体验，照片的纪念价值较高。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：

图1是本公开实施例提供的增强现实拍照方法的流程示意图；

图2是本公开实施例提供的增强现实拍照方法的流程示意图；

图3是本公开实施例提供的增强现实拍照装置的结构示意图；

图4是本公开实施例提供的增强现实拍照装置的结构示意图；以及

图5是本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。

本公开实施例中，可通过ar增强现实技术，将真实场景与虚拟场景进行无缝融合，让用户有身临其境的感觉。

图1是本公开实施例提供的增强现实拍照方法的流程示意图。如图1所示，增强现实拍照的过程包括：

步骤101：加载视频流数据进行播放。

本公开实施例中，视频流数据包括：目标场景实时画面数据，以及携带虚拟对象数据的动画数据。其中，目标场景为真实世界中需要进行拍摄的场景，例如：景区、博物馆、展览、商场、工厂、游乐园等等。而虚拟对象为虚拟空间中物体，包括：动物、植物、昆虫、楼宇、人物、工业模型等等。例如：恐龙、动漫人物等。

可通过图像采集设备获取目标场景实时画面数据，并可预先配置携带虚拟对象数据的动画数据，这样，可基于动画数据与目标场景实时画面数据，生成视频流数据，对应的过程可包括：获取目标场景实时画面数据，以及携带虚拟对象数据的三维动画数据；并根据目标场景实时画面数据的光照以及阴影信息，对三维动画数据进行图像处理，得到包括待播放动画数据的二维动画帧数据，即一帧二维的动画图片数据，然后，将二维动画帧数据与目标场景实时画面数据进行叠加，生成视频流数据。

其中，目标场景实时画面数据可以通过播放所述视频流数据的显示器周围的摄像头实时进行拍摄。摄像头的拍摄方向与显示器的朝向对应，用于拍摄显示器前的人群和实景，一种实施方式中，摄像头设置在显示器的上方，拍摄实时画面，而显示器播放的是包括实时画面数据与动画数据的视频流数据，则显示屏前的人可以看到自己与虚拟对象在同一场景的画面。并与虚拟对象进行互动。

例如：预设虚拟对象的三维模型文件为fbx模型文件，动画场景文件可为动画剪辑animationclip动画文件，基于模型文件及动画文件，并根据预设的贴图材质material，以及目标场景实时画面数据中光照和阴影，进行渲染，得到当前时刻二维动画帧数据和alpha通道图，进一步，基于二维动画帧数据及alpha通道图，与目标场景实时画面数据进行叠加，生成视频流数据。这样，可加载视频流数据在屏幕上进行播放。

在一种实施方式中，二维动画帧数据可以基于虚拟相机来生成，在实际应用中，通过一台实体摄像机，实时拍摄真实世界中的目标场景，将虚拟相机的参数设置为与该实体摄像机的参数等同，从而使基于虚拟相机生成的二维动画帧数据与实体摄像机实时拍摄到的目标场景同步性更高，叠加后融合度更好。

步骤102：当确定播放的当前动画数据满足对应的预设条件时，获取目标场景实时画面数据，以及包括待播放动画数据的二维动画帧数据。

可提前预设动画数据对应的预设条件。例如：当前播放画面的动画数据的中存在预设物体时，即可确定当前动画数据满足对应的第一预设条件。而虚拟对象位于屏幕上的设定位置时，可确定虚拟对象的当前位置满足对应的第二预设条件，从而，可触发拍摄了。

或者，联合设定动画数据对应的预设条件，第一预设条件满足后，才能触发第二预设条件的判断，当第二预设条件满足后，才能获取目标场景实时画面数据以及二维动画帧数据。较佳地，可包括：当播放的当前动画数据满足对应的第一预设条件时，启动虚拟空间内动画数据的预设碰撞器；而当确定预设碰撞器发生碰撞时，确定满足对应的第二预设条件。而预设碰撞器发生碰撞的确定过程可包括：获取虚拟对象的当前位置数据，及预设碰撞器的当前位置数据，当虚拟对象的当前位置数据与预设碰撞器的当前位置数据产生交叠时，即确定预设碰撞器发生碰撞。

例如：虚拟对象是恐龙，播放了一段绵羊的动画后，当加载的携带恐龙的动画数据中包括了恐龙行走画面时，确定播放的当前动画数据满足对应的第一预设条件，此时，可启动动画数据的对应的预设碰撞器，这里，即启动恐龙交互动画的预设碰撞器。然后，当恐龙的当前位置再预设碰撞器碰撞范围内时，确定虚拟对象的当前位置满足对应的第二预设条件。

获取过程可包括：获取目标场景实时画面数据，以及包括待播放动画数据的二维动画帧数据。具体可包括：获取目标场景实时画面数据中，以用户所在位置为基准的场景画面图片；获取包括待播放动画数据的二维动画帧数据以及对应的阿尔法alhpa通道图。当条件触发后，通过摄像设备可获取到目标场景实时画面数据。摄像设备可为摄像头，相机等设备，进一步，可以用户所在位置为基准，基于设定构图法进行构图，从目标场景实时画面数据中截取场景画面图片，一种实施方式中，构图法可以为三分法，即截取画面时，使用户所在位置置于画面横向三分线与纵向三分线的交叉处，以获得高质量的图片。并同时，可获取包括待播放动画数据的二维动画帧数据以及对应的阿尔法通道图，待播放动画数据可以为：怒吼，翼龙盘旋，动物四散奔逃、火山喷发等动画数据。实际应用中，可预设虚拟对象的三维模型文件为fbx模型文件，动画场景文件可为动画剪辑animationclip动画文件，基于模型文件及动画文件，并根据预设的贴图材质material，以及目标场景实时画面数据中光照和阴影，进行渲染，得到当前时刻二维动画帧数据和alpha通道图。

步骤103：将目标场景实时画面数据与二维动画帧数据进行图片融合，保存为增强现实图片。

可将获取的目标场景实时画面数据与获取的二维动画帧数据进行图片融合，进行保存，就会得到一张ar图片。具体可包括：根据二维动画帧数据以及对应的阿尔法通道图，获取所述二维动画帧数据的像素图；将时间同步的像素图与场景画面图片进行叠加，将渲染的虚拟对象覆盖场景画面图片中的对应背景，将叠加后生成的图片进行保存。

这样，生成的ar图片中可包括：用户图像、真实场景图像、虚拟对象，实现了用户的ar拍照，使得用户的照片效果更加丰富趣味，满足了用户虚拟拍摄的需求，也拓展了增强现实的应用。

而本公开实施例中，不仅可以生成ar图片，还可生成ar图片的同时，播放融合后的视频数据，即当确定播放的当前动画数据满足对应的预设条件时，方法还包括：将与预设条件对应的动画数据与获取的当前目标场景实时画面数据进行融合，生成待播放视频流数据，并进行播放。例如：预设碰撞器发生碰撞后，通过图像采集设备可获取到当前场景画面数据，然后将与预设条件关联设置的动画数据与获取的当前目标场景实时画面数据进行融合，生成待播放视频流数据，并进行播放。这样，增加了ar视频数据的趣味性和多样性，进一步提高用户体验。其中，将与预设条件关联设置的动画数据与获取的当前目标场景实时画面数据进行融合，可以将动画数据通过二维动画帧数据的形式，与当前目标场景实时画面数据进行融合。

本公开另一实施例中，还可生成ar图片的同时，继续录取一段时间的视频数据，即当确定播放的当前动画数据满足对应的预设条件时，方法还包括：将设定时长的目标场景实时画面数据，以及时间同步的二维动画帧数据叠加后保存为视频文件。例如：预设碰撞器发生碰撞后，在设定时长内，将目标场景实时画面数据，对应的二维动画帧数据叠加后的视频流数据进行保存，生成视频文件。

生成了ar图片后，可发送给服务器进行保存。这样，服务器接收到图像请求指令时，可从保存的ar图片中查找到与图像请求指令匹配的第一ar图片，并将第一ar图片分发给发送图像请求的请求终端。即用户可通过其他的终端，例如：手机，向服务器发送图像请求指令，服务器可从保存的ar图片中查找到与图像请求指令匹配的第一ar图片，然后，将第一ar图片分发给手机。从而，实现了将照片实时分发给单个用户的过程，也实现了用户挑选ar照片的智能化过程。

其中，用户通过请求终端发送的图像请求指令可携带请求用户的人脸信息，这样，服务器接收到图像请求指令时，从保存的ar图片中查找到与图像请求指令匹配的第一ar图片，即第一ar图片与请求用户的人脸信息匹配，例如：服务器可根据请求用户的人脸信息，对保存的ar图片进行人脸识别，当识别到的人脸信息与请求用户的人脸信息之间的匹配度在设定阈值范围内时，即可将识别到的人脸信息对应的图片确定为第一ar图片；然后，将第一ar图片分发给发送图像请求的请求终端。当然，可以授权付费后，才将第一ar图片分发给发送图像请求的请求终端。可见，服务器可根据用户的需求，进行ar照片的实时分发，也实现了用户挑选照片的智能化过程。

在一种实施方式中，可将视频文件发送给服务器进行保存，当接收到用户通过移动终端输入的获取视频文件的请求时，将视频文件传输给所述移动终端。

实际应用中，可以将人脸信息与视频文件中的每帧图片进行匹配，当与视频文件中超过设定阈值的图片与人脸信息的匹配度高于门限值时，将视频文件传输给所述移动终端。从而可以避免将用户出镜率低的视频文件传输给用户，导致用户收到的视频多数是与自己无关的画面，影响用户使用体验，并且浪费传输资源及用户的终端的存储空间。在一种实施方式中，该设定阈值可以由用户自行在终端进行设定，服务器获取移动终端输入的阈值数据，基于该阈值数据，选择视频文件传输给移动终端，从而满足不同用户获取视频文件的实际需求。

下面将操作流程集合到具体实施例中，举例说明本发明实施例提供的控制方法。

本公开一实施例中，可以预先设置碰撞器，碰撞器可以为多个，碰撞器可以与互动动画关联。虚拟对象可为动漫人物。预设三维模型文件可为fbx模型文件。

图2是本公开实施例提供的增强现实拍照方法的流程示意图。如图2所示，增强现实拍照的过程包括：

步骤201：获取动漫人物的fbx模型文件与动画文件，以及获取目标场景实时画面数据。

步骤202：根据目标场景实时画面数据，对动漫人物的fbx模型文件进行渲染处理后，输出二维动画帧数据。

步骤203：将二维动画帧数据与目标场景实时画面数据进行融合，生成视频流数据，并在屏幕上进行播放。

步骤204：判断播放的当前动画数据中是否出现动漫人物奔跑的画面？若是，执行步骤205，否则，返回步骤204。

步骤205：启动预设碰撞器。

步骤206：判断动漫人物的当前位置是否与预设碰撞器产生交叠？若是，执行步骤207，否则，返回步骤206。

步骤207：获取目标场景实时画面数据中，以用户所在位置为基准的场景画面图片，并同时获取二维动画帧数据以及对应的阿尔法通道图。

例如，获取电闪雷鸣，或者，火山爆发，动物四处奔跑对应的二维动画帧数据。

步骤208：根据二维动画帧数据以及对应的阿尔法通道图，获取二维动画帧数据的像素图。

步骤209：将时间同步的像素图与场景画面图片进行叠加，将渲染的动漫人物覆盖场景画面图片中的对应背景。

步骤210：将叠加后生成的图片发给服务器保存为ar图片。

可见，本实施例中，ar图片中可包括用户图像、动漫人物，真实场景以及虚拟场景，这样，用户的照片效果更加丰富趣味，满足了用户虚拟拍摄的需求，也拓展了增强现实的应用。另外，服务器可根据用户的需求，进行ar照片的实时分发，也实现了用户挑选照片的智能化过程。

当然，本公开另一实施例中，还可与步骤207-210同步执行如下步骤：将动画数据与预设条件对应的动画数据与获取的当前目标场景实时画面数据进行融合，生成待播放视频流数据，并进行播放。

根据上述增强现实拍照的过程，可构建一种增强现实拍照的装置。

图3是本公开实施例提供的增强现实拍照装置的结构示意图。如图3所示，增强现实拍照装置包括：加载单元100、触发获取单元200和保存单元300。

加载单元100，被配置为载视频流数据进行播放，视频流数据包括目标场景实时画面数据，以及携带虚拟对象的动画数据。

触发获取单元200，被配置为当确定播放的当前动画数据满足对应的预设条件时，获取目标场景实时画面数据，以及包括待播放动画数据的二维动画帧数据。

保存单元300，被配置为将目标场景实时画面数据与二维动画帧数据进行图片融合，生成增强现实图片。

在一些实施例中，还可包括：融合单元，可配置为获取目标场景实时画面数据，以及携带虚拟对象数据的三维动画数据；根据目标场景实时画面数据的光照以及阴影信息，对三维动画数据进行图像处理，得到所述二维动画帧数据；将所述二维动画帧数据与目标场景实时画面数据进行叠加，生成视频流数据。

在一些实施例中，触发获取单元200，可具体被配置为当播放的当前动画数据满足对应的第一预设条件时，启动当前的动画数据对应的预设碰撞器；当确定预设碰撞器发生碰撞时，确定满足对应的第二预设条件。

在一些可选实施例中，触发获取单元200，可具体被配置为获取目标场景实时画面数据中，以用户所在位置为基准的场景画面图片；基于动画数据，生成所述二维动画帧数据，以及对应的阿尔法通道图。

在一些实施例中，生成单元300，可具体被配置为

所述二维动画帧数据以及对应的阿尔法通道图，获取所述二维动画帧数据的像素图；

将时间同步的所述像素图与所述场景画面图片进行叠加，将渲染的所述虚拟对象覆盖所述场景画面图片中的对应背景，将叠加后生成的图片进行保存在一些实施例中，该装置可包括：ar播放单元，可被配置为当确定播放的当前动画数据满足对应的预设条件时，将与预设条件对应的动画数据与获取的当前目标场景实时画面数据进行融合，生成待播放视频流数据，并进行播放。

在一些实施例中，该装置可包括：ar录取单元，可被配置为当确定播放的当前动画数据满足对应的预设条件时，将设定时长的目标场景实时画面数据，以及时间同步的二维动画帧数据叠加后保存为视频文件。

在一些实施例中，该装置可包括：上传单元，被配置为将增强现实图片发送给服务器保存，使得服务器接收到图像请求指令时，从保存的增强现实图片中查找到与图像请求指令匹配的第一增强现实图片，并将第一增强现实图片分发给发送图像请求的请求终端。

下面对增强现实拍照的装置进行具体的描述。

图4是本公开实施例提供的增强现实拍照装置的结构示意图。如图4所示，增强现实拍照装置可包括：加载单元100、触发获取单元200和保存单元300，还可包括上传单元400、融合单元500以及ar播放单元600。

融合单元500可获取虚拟对象即恐龙的fbx模型文件与动画文件，以及获取目标场景实时画面数据，并可根据目标场景实时画面数据，对恐龙的fbx模型文件进行渲染处理后，输出二维动画帧数据，并将二维动画帧数据与目标场景实时画面数据进行融合，生成视频流数据。

加载单元100则可加载生成的视频流数据，并在屏幕上进行播放。

这样，播放的当前动画状态中出现恐龙行走画面时，触发获取单元200可启动预设碰撞器，并当恐龙的当前位置在预设碰撞器的碰撞范围内时，以用户所在位置为基准，获取目标场景实时画面数据中的场景画面图片，并同时获取二维动画帧数据以及对应的阿尔法通道图。从而，生成单元300可根据二维动画帧数据以及对应的阿尔法通道图，获取二维动画帧数据的像素图，然后，将时间同步的像素图与场景画面图片进行叠加，将渲染的恐龙覆盖场景画面图片中的对应背景，生成ar图片。

而上传单元400可将叠加后生成的图片发给服务器保存为ar图片。这样，服务器接收到图像请求指令时，可从保存的ar图片中查找到与图像请求指令匹配的第一ar图片，并将第一ar图片分发给发送图像请求的请求终端。

而当恐龙的当前位置与预设碰撞器接触时，即确定播放的当前动画数据满足对应的预设条件时，ar播放单元600可继续获取当前目标场景实时画面数据，并将与预设条件对应的动画数据与获取的当前目标场景实时画面数据进行融合，生成待播放视频流数据后进行播放。

可见，本实施例中，ar图片中可包括用户图像、恐龙，真实场景以及虚拟场景，这样，用户的照片效果更加丰富趣味，满足了用户虚拟拍摄的需求，也拓展了增强现实的应用。另外，服务器可根据用户的需求，进行ar照片的实时分发，也实现了用户挑选照片的智能化过程。

本公开实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述增强现实拍照方法。

本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述增强现实拍照方法。

上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。

本公开实施例还提供了一种电子设备，其结构如图5所示，包括：

至少一个处理器(processor)1000，图5中以一个处理器1000为例；和存储器(memory)1001，还可以包括通信接口(communicationinterface)1002和总线1003。其中，处理器1000、通信接口1002、存储器1001可以通过总线1003完成相互间的通信。通信接口1002可以用于信息传输。处理器1000可以调用存储器1001中的逻辑指令，以执行上述实施例的增强现实拍照方法。

此外，上述的存储器1001中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器1001作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器1000通过运行存储在存储器1001中的软件程序、指令以及模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的增强现实拍照方法。

存储器1001可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器1001可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。