合成图像的方法和装置与流程

本发明涉及生成合成图像的方法和装置，更具体地，本发明涉及将源图像中的对象合成到目标图像中的方法和装置。

背景技术：

图像合成技术目的在于将拍摄于不同环境下一幅源图像和一幅目标图像合成为一幅图像。然而由于光照条件等不一致，合成的图像通常给人带来不真实的感觉。例如，目标图像的光照方向为从左到右而源图像的光照方向为从右到左，如果不对目标图像的光照方向或源图像的光照方向进行处理而直接生成合成图像，观看者通常会认为这幅图像不真实。

技术实现要素：

本发明实施例的目的在于提供一种生成合成图像的方法和装置，以解决上述过度增强的问题。

本发明的一个实施例提供了一种合成图像的方法，包括：获得源对象图像、源对象图像的深度信息和目标图像；确定目标图像的光照信息；根据源对象图像的深度信息及目标图像的光照信息调整源对象图像，以生成光照优化的源对象图像；根据光照优化的源对象图像和目标图像生成合成图像。

本发明的另一实施例提供了一种合成图像的装置，包括：图像获取单元，配置来获得源对象图像、源对象图像的深度信息和目标图像；光照信息确定单元，配置来确定目标图像的光照信息；光照优化单元，配置来根据源对象图像的深度信息及目标图像的光照信息调整源对象图像，以生成光照优化的源对象图像；图像合成单元，配置来根据光照优化的源对象图像和目标图像生成合成图像。

在上述发明实施例提供的合成图像的方法和装置中，通过提取目标图像的光照信息，并且利用源图像的深度信息和所提取的目标图像的光照信息来调整源对象图像的光照分量，能够生成具有一致的光照的合成图像，改善了 观看者的观看体验。

附图说明

图1是描述了根据本发明一个实施例的合成图像的方法的流程图。

图2是示出了根据本发明的一个示例，确定所获得的目标图像的光照信息的方法的流程图。

图3是示出根据本发明的一个示例，根据源对象图像的深度信息及目标图像的光照信息调整源对象图像生成光照优化的源对象图像的方法的流程图。

图4是示出了根据本发明的一个示例，在目标图像中确定融合源对象图像的位置的方法的流程图。

图5是示出了根据本发明的一个示例，根据尺寸优化的源对象图像、目标图像的光照信息和源对象图像的深度信息调整源对象图像，生成光照优化的源对象图像的示例情形的说明图。

图6是示出了根据本发明的一个示例，生成源对象的阴影的方法的流程图。

图7是示出了根据本发明的一个实施例的合成图像的装置的示范性结构框图。

图8是示出了根据本发明的一个示例，光照信息确定单元的示范性结构框图。

图9是示出根据本发明的一个示例，光照优化单元的示范性结构框图。

图10是示出按照本发明实施例的合成图像的硬件系统的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，将参考附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复解释将被省略。

在根据本发明的实施例中，例如，源图像可以为关于人物、动物等对象的图像。源对象图像可以是从源图像中提取的关于人物、动物等对象所在区域的图像。此外，目标图像可以为关于风景、展览场馆、办公场所等场景的图像。此外，在根据本发明的实施例中，可通过深度摄像机(如双目摄像机、 TOF摄像机等)来拍摄源图像，以便获取源对象图像的深度信息。

图1是描述了根据本发明一个实施例的合成图像的方法的流程图。下面，将参照图1来描述根据本发明实施例的合成图像的方法100。如图1所示，在步骤S101中，获得源对象图像、源对象图像的深度信息和目标图像。优选地，所获得的源对象图像的地平面与目标图像的地平面平行。例如，在步骤S101中可首先获得源图像。例如，可通过相机等设备捕获源图像，也可通过网络等接收源图像。然后在步骤S101中可确定源图像的地面区域和目标图像的地面区域，并且将源图像的地面区域和目标图像的地面区域对齐。最后在步骤S101中可在对齐的源图像中进行对象检测，以获得源对象图像。

在步骤S102中，确定所获得的目标图像的光照信息，以得到目标图像中的光照方向。根据本发明的一个示例，在步骤S102中，可根据阴影区域与物体区域的对应关系及光线跟踪原理来估计目标图像的光照方向。图2是示出了根据本发明的一个示例，确定所获得的目标图像的光照信息的方法200的流程图。如图2所示，在步骤S201中，可检测目标图像中的物体和阴影。例如，可将目标图像转换到HSV色彩空间，然后根据饱和度将目标图像分为前景区域、阴影区域及背景区域，并且识别前景区域中物体。在步骤S202中确定所识别的物体和阴影区域的对应关系。例如，可根据形状来确定物体和阴影区域之间的对应关系。然后在步骤S203中根据所确定的关系来估算目标图像中光线的照射方向(即，光照方向)作为目标图像的光照信息。

返回图1，在步骤S103中，根据源对象图像的深度信息及目标图像的光照信息调整源对象图像，以生成光照优化的源对象图像。图3是示出根据本发明的一个示例，根据源对象图像的深度信息及目标图像的光照信息调整源对象图像生成光照优化的源对象图像的方法300的流程图。

在一些合成图像中，源对象图像可能被插入到不妥当位置上。例如在合成图像中，源图像中的人可能被插入到目标图像中的车顶上，导致观察者认为这幅图像不真实。鉴于此，如图3所示，在步骤S301中可在目标图像中确定融合源对象图像的位置。由于拍摄合影时人们通常站在靠近展品的位置，因此在目标图像中，可将参考物体(例如展品)周围的地面区域作为融合源对象图像的位置。由于拍摄合影时，人们通常站在靠近展品的位置，因此在目标图像中，可将参考物体(例如展品)周围的地面区域作为融合源对象图像的位置。

图4是示出了根据本发明的一个示例，在目标图像中确定融合源对象图像的位置的方法400的流程图。如图4所示，在步骤S401中，根据颜色来分割目标图像。例如可生成目标图像的三维模型，使用颜色聚类的方法来分割目标图像的三维模型。在步骤S402中，在所分割的目标图像中确定参考物体。具体地，可根据颜色来在所分割的目标图像中确定参考物体。例如，如果具有相似颜色的区域同时分布在地面平面及其他平面(例如垂直于地平面的平面)中，则可确定这些区域属于物体区域，并根据物体区域确定参考物体。然后，在步骤S403中从地面平面中提取出参考物体周围的地面区域。例如，可根据颜色来从地面平面中提取出参考物体周围的地面区域。具体地，如果具有相似颜色的区域只分布在地面平面，则可确定这些区域属于地面区域。最后在步骤S404中，根据拍照构图原理在参考物体周围的地面区域中确定融合源对象图像的具体位置。

此外可替换地，步骤S301中也可根据与用户的交互结果确定在目标图像中确定融合源对象图像的位置。

此外，由于源图像与目标图像的比例关系不符合常理，比如一个巨大的人站在一个很小的汽车旁边，观察者也会认为这幅图像不真实。鉴于此，还可对要被合成的源对象图像的尺寸进行调整。返回图3，在步骤S302中确定目标图像中的消失点。然后在步骤S303中根据所确定的消失点、融合源对象图像的位置调整源对象图像的尺寸，以生成尺寸优化的源对象图像。

根据本发明的一个示例，在步骤S302中，可在上述参考物体所在的区域确定消失点。此外，在步骤S303中，可根据消失点确定目标图像的透视方向，并且根据源对象图像的尺寸与沿透视方向源对象图像到消失点的距离调整源对象图像的尺寸。其中沿透视方向，源对象图像的尺寸与源对象图像到消失点的距离成反比。

具体地，在三维空间中平行的两条直线将会在二维图像中相交于消失点，而根据垂直于这两条直线的直线则可确定到相机的距离。具体地说，同一条垂线上的点到相机的距离相同。在本发明的实施例中，源物体图像在同一条垂线上移动时尺寸不变。在本发明实施例中称这些垂线为等尺寸线。根据本发明的一个示例，在步骤S303中，可通过利用几何推理的方法计算出上述等尺寸线，然后根据目标物体与源对象图像的比例关系，计算出每一条等尺寸线对应的尺寸因子，并且根据尺寸因子及融合源对象图像的位置缩放源对象 图像以生成尺寸优化的源对象图像。

在步骤S304中，根据尺寸优化的源对象图像、目标图像的光照信息和源对象图像的深度信息调整源对象图像，以生成光照优化的源对象图像。物体表面的明暗关系是由物体的深度不相同造成的。光线照射在物体时，一部分会被深度大的区域阻挡，从而在相邻的深度小的区域上形成阴影。因此，根据本发明的一个示例，在步骤S304中可根据目标图像的光照信息和源对象图像的深度信息，计算在沿目标图像的光照信息所指示的光照方向上尺寸优化的源对象图像的光照梯度，以生成光照参考图，然后根据尺寸优化的源对象图像和光照参考图生成光照优化的源对象图像。例如，可沿光照方向计算源对象图像所对应的深度图像的深度梯度，以获得物体上形成表面阴影的位置。然后将深度图像中梯度大的部分增强，梯度小的不去减弱，从而光照参考图。

为了准确地调节源对象图像中光照，优选地，在步骤S304中可提取尺寸优化的源对象图像的光照分量和颜色分量，例如可通过解本征图像的方法，将优化的源图像的彩色图像分解为光照分量和颜色分量。然后根据目标图像的光照信息和源对象图像的深度信息调整源对象图像的光照分量，以生成调节后的光照分量，并且对颜色分量和调节后的光照分量进行重构以生成光照优化的源对象图像。

此外，为了避免在处理过程中改变图像的纹理信息，在步骤S304中还可使用如加权最小平方滤波器的滤波器，对所述光照分量进行滤波，以生成细节层图像和粗糙层图像，并且只在粗糙层上进行亮度调节。具体地，可根据目标图像的光照信息和对象图像的深度信息调整源粗糙层图像，以生成光照优化的粗糙层图像，并且对细节层图像和光照优化的粗糙层图像进行重构以生成调节后的光照分量。例如，在如上所述生成了光照参考图的情况下，可将光照参考图与粗糙层图像按照高斯权值融合在一起，生成一幅光照优化后的粗糙层图像。

图5是示出了根据本发明的一个示例，根据尺寸优化的源对象图像、目标图像的光照信息和源对象图像的深度信息调整源对象图像，生成光照优化的源对象图像的示例情形的说明图。如图5所示，从尺寸优化的源对象图像500中提取光照分量510和颜色分量520。对光照分量510进行滤波以生成细节层图像511和粗糙层图像512。另一方面，根据目标图像的光照信息531和源对象图像的深度信息532，计算在沿目标图像的光照信息所指示的光照 方向上尺寸优化的源对象图像的光照梯度，以生成光照参考图540。利用生成光照参考图540对粗糙层图像512进行调整以生成光照优化的粗糙层图像512’，然后对细节层图像511、光照优化的粗糙层图像512’和颜色分量520进行重构，以生成光照优化的源对象图像550。

返回图1，在步骤S104中，可根据光照优化的源对象图像和目标图像生成合成图像。例如，可将光照优化的源对象图像插入到如根据步骤S301所确定的融合源对象图像的位置，以生成合成图像。

此外，根据本发明的一个示例，还可根据光照情况，生成源对象的阴影。图6是示出了根据本发明的一个示例，生成源对象的阴影的方法600的流程图。如图6所示，在步骤S601中计算光照优化的源对象图像的剪影。然后在步骤S602中根据目标图像的光照信息对源对象图像的剪影进行投影以生成源对象图像的阴影。具体地，在步骤S602中可首先，根据目标图像的光照信息对源对象图像的剪影进行投影，以确定对象图像的阴影所在的阴影区域。然后根据目标图像中的阴影的强度来调整阴影区域的图像的亮度，以生成源对象图像的阴影。例如，如上述结合图2描述的方法200中步骤S201中所述，可确定目标图像的前景区域和阴影区域。并且可以下通过公式[1]计算得出阴影的强度β：

$\mathrm{\β}=\frac{(C-S)*(L-S)}{\left|\right|L-S|{|}^2}---\[1\]$

其中，C为目标图像中的颜色值，S为目标图像中含有阴影的颜色值，L为目标图像中不含阴影的颜色值。然后，可根据源对象图像的位置将所生成的阴影生成也插入到合成图像中。

在上述发明实施例提供的合成图像的方法中，通过提取目标图像的光照信息，并且利用源图像的深度信息和所提取的目标图像的光照信息来调整源对象图像的光照分量，能够生成具有一致的光照的合成图像，改善了观看者的观看体验。

下面，参照图7说明本发明的实施例的合成图像的装置。图7是示出了根据本发明的一个实施例的合成图像的装置700的示范性结构框图。如图7中所示，本实施例的合成图像的装置700包括图像获取单元710、光照信息确定单元720、光照优化单元730和图像合成单元740。合成图像的装置700 的各个单元可分别执行上述图1中的合成图像的方法100的各个步骤/功能。因此，以下仅对合成图像的装置700的主要部件进行了描述，而省略了以上已经结合图1-6描述过的细节内容。

例如，图像获取单元710可获得源对象图像、源对象图像的深度信息和目标图像。优选地，所获得的源对象图像的地平面与目标图像的地平面平行。例如，图像获取单元710可首先获得源图像。例如，可通过相机等设备捕获源图像，也可通过网络等接收源图像。然后图像获取单元710可确定源图像的地面区域和目标图像的地面区域，并且将源图像的地面区域和目标图像的地面区域对齐。最后图像获取单元710可在对齐的源图像中进行对象检测，以获得源对象图像。

光照信息确定单元720可确定所获得的目标图像的光照信息，以得到目标图像中的光照方向。根据本发明的一个示例，光照信息确定单元720可根据阴影区域与物体区域的对应关系及光线跟踪原理来估计目标图像的光照方向。图8是示出了根据本发明的一个示例，光照信息确定单元720的示范性结构框图。如图8所示，光照信息确定单元720可包括检测模块810、对应确定模块820和光照信息生成模块830。

具体地，检测模块810可检测目标图像中的物体和阴影。例如，可将目标图像转换到HSV色彩空间，然后根据饱和度将目标图像分为前景区域、阴影区域及背景区域，并且识别前景区域中物体。对应确定模块820可确定所识别的物体和阴影区域的对应关系。例如，可根据形状来确定物体和阴影区域之间的对应关系。然后光照信息生成模块830可根据所确定的关系来估算目标图像中光线的照射方向(即，光照方向)作为目标图像的光照信息。

返回图7，光照优化单元730根据源对象图像的深度信息及目标图像的光照信息调整源对象图像，以生成光照优化的源对象图像。图9是示出根据本发明的一个示例，光照优化单元730的示范性结构框图。如图9所示，光照优化单元730包括融合位置确定模块910、消失点确定模块920、调整模块930和光照优化图像生成模块940。

具体地，融合位置确定模块910可在目标图像中确定融合源对象图像的位置。由于拍摄合影时人们通常站在靠近展品的位置，因此在目标图像中，可将参考物体(例如展品)周围的地面区域作为融合源对象图像的位置。由于拍摄合影时，人们通常站在靠近展品的位置，因此在目标图像中，可将参 考物体(例如展品)周围的地面区域作为融合源对象图像的位置。

根据本发明的一个示例，融合位置确定模块910可根据颜色来分割目标图像。例如可生成目标图像的三维模型，使用颜色聚类的方法来分割目标图像的三维模型。然后，融合位置确定模块910在所分割的目标图像中确定参考物体。具体地，可根据颜色来在所分割的目标图像中确定参考物体。例如，如果具有相似颜色的区域同时分布在地面平面及其他平面(例如垂直于地平面的平面)中，则可确定这些区域属于物体区域，并根据物体区域确定参考物体。然后，融合位置确定模块910可从地面平面中提取出参考物体周围的地面区域。例如，可根据颜色来从地面平面中提取出参考物体周围的地面区域。具体地，如果具有相似颜色的区域只分布在地面平面，则可确定这些区域属于地面区域。最后融合位置确定模块910可根据拍照构图原理在参考物体周围的地面区域中确定融合源对象图像的具体位置。

可替换地，根据本发明的另一示例，融合位置确定模块910也可根据与用户的交互结果确定在目标图像中确定融合源对象图像的位置。

消失点确定模块920可确定目标图像中的消失点。然后调整模块930可根据所确定的消失点、融合源对象图像的位置调整源对象图像的尺寸，以生成尺寸优化的源对象图像。

根据本发明的一个示例，消失点确定模块920可在上述参考物体所在的区域确定消失点。此外，调整模块930可根据消失点确定目标图像的透视方向，并且根据源对象图像的尺寸与沿透视方向源对象图像到消失点的距离调整源对象图像的尺寸，其中沿透视方向，源对象图像的尺寸与源对象图像到消失点的距离成反比。

具体地，在三维空间中平行的两条直线将会在二维图像中相交于消失点，而根据垂直于这两条直线的直线则可确定到相机的距离。具体地说，同一条垂线上的点到相机的距离相同。在本发明的实施例中，源物体图像在同一条垂线上移动时尺寸不变。在本发明实施例中称这些垂线为等尺寸线。根据本发明的一个示例，调整模块930可通过利用几何推理的方法计算出上述等尺寸线，然后根据目标物体与源对象图像的比例关系，计算出每一条等尺寸线对应的尺寸因子，并且根据尺寸因子及融合源对象图像的位置缩放源对象图像以生成尺寸优化的源对象图像。

光照优化图像生成模块940可根据尺寸优化的源对象图像、目标图像的 光照信息和源对象图像的深度信息调整源对象图像，以生成光照优化的源对象图像。物体表面的明暗关系是由物体的深度不相同造成的。光线照射在物体时，一部分会被深度大的区域阻挡，从而在相邻的深度小的区域上形成阴影。因此，根据本发明的一个示例，光照优化图像生成模块940可根据目标图像的光照信息和源对象图像的深度信息，计算在沿目标图像的光照信息所指示的光照方向上尺寸优化的源对象图像的光照梯度，以生成光照参考图，然后根据尺寸优化的源对象图像和光照参考图生成光照优化的源对象图像。例如，可沿光照方向计算源对象图像所对应的深度图像的深度梯度，以获得物体上形成表面阴影的位置。然后将深度图像中梯度大的部分增强，梯度小的不去减弱，从而光照参考图。

为了准确地调节源对象图像中光照，优选地，光照优化图像生成模块940可提取尺寸优化的源对象图像的光照分量和颜色分量，例如可通过解本征图像的方法，将优化的源图像的彩色图像分解为光照分量和颜色分量。然后根据目标图像的光照信息和源对象图像的深度信息调整源对象图像的光照分量，以生成调节后的光照分量，并且对颜色分量和调节后的光照分量进行重构以生成光照优化的源对象图像。

此外，为了避免在处理过程中改变图像的纹理信息，光照优化图像生成模块940还可使用如加权最小平方滤波器的滤波器，对所述光照分量进行滤波，以生成细节层图像和粗糙层图像，并且只在粗糙层上进行亮度调节。具体地，可根据目标图像的光照信息和对象图像的深度信息调整源粗糙层图像，以生成光照优化的粗糙层图像，并且对细节层图像和光照优化的粗糙层图像进行重构以生成调节后的光照分量。例如，在如上所述生成了光照参考图的情况下，可将光照参考图与粗糙层图像按照高斯权值融合在一起，生成一幅光照优化后的粗糙层图像。

返回图7，图像合成单元740可根据光照优化的源对象图像和目标图像生成合成图像。例如，可将光照优化的源对象图像插入到之前所确定的融合源对象图像的位置，以生成合成图像。

此外，根据本发明的一个示例，合成图像的装置700还可包括阴影生成单元，以根据光照情况，生成源对象的阴影。具体地，阴影生成单元可首先计算光照优化的源对象图像的剪影，然后根据目标图像的光照信息对源对象图像的剪影进行投影以生成源对象图像的阴影。例如，阴影生成单元可根据 目标图像的光照信息对源对象图像的剪影进行投影，以确定对象图像的阴影所在的阴影区域。然后，根据例如通过以上公式[1]计算的目标图像中的阴影的强度来调整阴影区域的图像的亮度，以生成源对象图像的阴影。图像合成单元740还可将所生成的阴影插入到合成图像中。

在上述发明实施例提供的合成图像的装置中，通过提取目标图像的光照信息，并且利用源图像的深度信息和所提取的目标图像的光照信息来调整源对象图像的光照分量，能够生成具有一致的光照的合成图像，改善了观看者的观看体验。

此外，根据本发明的另一示例，本发明还可以通过合成图像的硬件系统来实施。图10是示出按照本发明实施例的合成图像的硬件系统1000的总体硬件框图。如图10所示，合成图像的硬件系统1000可以包括：输入设备1010，用于从外部输入有关图像或信息，例如立体相机拍摄的图像帧、立体相机的参数、或初始视差图等，输入设备1010的具体形式可包括但不限于键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备1020，用于实施上述的按照本发明实施例的合成图像的方法，处理设备1020的具体形式可包括但不限于计算机的中央处理器或其它的具有处理能力的芯片等等，此外，处理设备1020还可以连接到诸如因特网的网络(未示出)，根据处理过程的需要向远程传送处理后的图像等等；输出设备1030，用于向外部输出实施上述生成合成图像，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1040，用于以易失或非易失的方式存储上述例如实现本发明实施例的合成图像的方法的计算机指令，以及源图像、源对象图像、深度信息、目标图像等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

所属技术领域的技术人员知道，本发明可以实现为系统、装置、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“组件、“模块”、“装置”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质 中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

上面参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解，流程图和/或框图的每个方框以及流程 图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品(manufacture)。

也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。