基于视频图像的对象融合方法及终端与流程

本发明涉及计算机视觉与图像识别技术领域，尤其涉及一种基于视频图像的对象融合方法及终端。

背景技术：

随着移动互联网的高速发展与快速普及，电子商务模式不断地改变着人们传统的消费习惯与消费行为。在开放的互联网环境下，消费者能够越来越便捷地体验网上购物、电子支付以及线上到线下服务等。

目前消费者网上购物的过程通常是：通过电脑或智能终端输入所需商品的名称，通过网络搜索查找相关商品的信息，根据查找到的商品信息如商品价格、商品介绍、商家信息等确定是否购买相应商品，确定后选择购买并按指定的支付方式进行付费，从而完成购物过程。此种方式比传统的实体店购物方式更为方便快捷，消费者足不出户便能够选择自己所需的商品和服务，一定程度上减少了消费者购物所花费的时间和精力，提升了消费者的购物体验。但同时，通过网上购物方式购买服装鞋帽等需要试穿以选择尺码及材质等的商品时，消费者目前尚不能获得同传统实体店购物时对商品的外观、材质及合体度等类似的直观体验，从而一定程度上会影响消费者对商品的判断和选择。如何提升消费者网上购物过程中对商品的直观体验，是网上购物进一步发展普及过程中亟待解决的问题。

技术实现要素：

为了解决上述技术问题至少之一，本发明提供一种基于视频图像的对象融合方法及终端，通过采集对象视频图像，确定对象的形状数据并建立对象三维模型，通过三维模型进行匹配后，将融合后的图像显示于视频图像中，从而使用户能够得到多个对象匹配效果的直观感受。

有鉴于此，本发明一方面提供一种基于视频图像的对象融合方法，其特征在于，包括：步骤101，采集包含第一对象的视频图像；步骤102，根据所述包含第一对象的视频图像，建立所述第一对象的三维模型；步骤103，获取至少一 个第二对象的三维模型，将所述第二对象的三维模型与所述第一对象的三维模型进行融合，并将融合后的第二对象显示于所述包含第一对象的视频图像中。

优选地，所述步骤101具体为：采集包含所述第一对象的实景视频图像，以及采集所述第一对象的深度视频图像。

优选地，所述步骤102具体为：根据所述第一对象的深度视频图像，获取所述第一对象的三维深度信息及形状数据，建立所述第一对象的三维模型。

优选地，所述步骤103具体为：根据所述第一对象三维模型的形状数据，获取与所述第一对象匹配的第二对象的三维模型，与所述第一对象的三维模型进行融合，并将融合后的第二对象显示于所述第一对象的实景视频图像中。

优选地，所述步骤103具体为：获取至少一个第二对象的三维模型，将所述第二对象三维模型的形状数据调整至与所述第一对象的三维模型匹配后，与所述第一对象的三维模型进行融合，并将融合后的第二对象显示于所述包含第一对象的实景视频图像中。

本发明另一方面提供一种基于视频图像的对象融合终端，其特征在于，包括：图像采集模块：用于采集包含第一对象的视频图像；模型建立模块：用于根据所述包含第一对象的视频图像，建立所述第一对象的三维模型；模型获取模块：用于获取至少一个第二对象的三维模型；图像融合模块：用于将所述第二对象的三维模型与所述第一对象的三维模型进行融合，并将融合后的第二对象显示于所述包含第一对象的视频图像中。

优选地，所述图像采集模块包括：实景图像采集单元，用于采集包含第一对象的实景视频图像；深度图像采集单元，用于采集第一对象的深度视频图像。

优选地，所述模型建立模块用于根据所述第一对象的深度视频图像，获取所述第一对象的三维深度信息及形状数据，建立所述第一对象的三维模型。

优选地，所述模型获取模块还用于根据所述第一对象三维模型的形状数据，获取与所述第一对象匹配的第二对象的三维模型。

优选地，所述图像融合模块还用于将所述模型获取模块获取的所述第二对象三维模型的形状数据调整至与所述第一对象匹配后，与所述第一对象的三维模型进行融合，并将融合后的第二对象显示于所述包含第一对象的实景视频图像中。

本发明所提供的基于视频图像的对象融合方法及终端，通过采集对象视频 图像，获取对象的三维深度信息及形状数据并建立对象的三维模型，将两个及以上对象的三维模型进行融合之后，实时显示于对象视频图像中，呈现具有增强现实效果的视频图像的同时，能够使用户对多个对象的搭配或组合后的效果产生直观的体验与感受，在网上购物等场景下，能够显著提升用户的使用体验，为用户的选择提供有效的参考。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：

图1示出了本发明实施例基于视频图像的对象融合方法的流程图；

图2示出了本发明实施例基于视频图像的对象融合终端的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

图1示出了本发明实施例基于视频图像的对象融合方法的流程图。

如图1所示，本发明实施例基于视频图像的对象融合方法，包括：步骤101，采集包含第一对象的视频图像；步骤102，根据包含第一对象的视频图像，建立第一对象的三维模型；步骤103，获取至少一个第二对象的三维模型，将第二对象的三维模型与第一对象的三维模型进行融合，并将融合后的第二对象显示于包含第一对象的视频图像中。

在上述技术方案中，所述步骤101具体为：采集包含第一对象的实景视频图像，以及采集第一对象的深度视频图像。

在该技术方案中，通过光学摄像头采集包含第一对象的实景视频图像，同 时通过深度摄像头采集第一对象的深度视频图像。具体地，第一对象可以在深度摄像头前原地转动360度以完成对第一对象的深度视频图像采集；或者，在第一对象周围设置三个深度摄像头，每两个深度摄像头间隔120度，共同完成对第一对象的深度视频图像采集。

在上述技术方案中，所述步骤102具体为：根据第一对象的深度视频图像，获取第一对象的三维深度信息及形状数据，建立第一对象的三维模型。

在该技术方案中，将深度视频图像中的第一对象划分为多个区域，对每一区域的形状信息进行实时测量，通过建模算法得到第一对象的三维模型。同时根据第一对象的运动状态，如旋转、移动等，实时同步调整第一对象的三维模型的角度和姿态。

在上述技术方案中，所述步骤103具体为：根据第一对象三维模型的形状数据，获取与第一对象匹配的第二对象的三维模型，与第一对象的三维模型进行融合，并将融合后的第二对象显示于包含第一对象的实景视频图像中。

在该技术方案中，根据第一对象的三维模型的形状数据，例如用户的轮廓模型及体型数据，获取与第一对象匹配的第二对象的三维模型，例如网上购物系统中与用户体型相符的服装三维模型，将所获取的服装三维模型与用户的轮廓三维模型进行融合，融合后的服装图像叠加显示于包含用户影像的实景视频图像中，能够呈现出用户试穿服装的效果图像，具有增强现实的显示效果。

在该技术方案中，根据第一对象的三维模型的形状数据，例如房间的形状结构模型及物品布局数据，获取与第一对象匹配的第二对象的三维模型，例如网上购物系统中与房间结构及布局模型相符的物品三维模型，将所获取的物品三维模型与房间的结构及布局模型进行融合，融合后的物品图像叠加显示于包含房间影像的实景视频图像中，能够呈现出物品布置于房间内的效果图像，具有增强现实的显示效果。

在上述技术方案中，所述步骤103具体为：获取第二对象的三维模型，将第二对象三维模型的形状数据调整至与第一对象匹配后，与第一对象的三维模型进行融合，并将融合后的第二对象显示于包含第一对象的实景视频图像中。

在该技术方案中，根据用户的操控指令，包括触控指令、手势指令和/或语音指令，选择一个或多个第二对象的三维模型，并根据第一对象三维模型的形状数据对第二对象的三维模型进行调整后，使之与第一对象的三维模型匹配之 后，将第二对象的三维模型与第一对象的三维模型进行融合，并将融合后的第二对象显示于包含第一对象的实景视频图像中。例如，根据用户指令，选择网上购物系统中的一个或多个服装三维模型，将其形状数据调整至与用户轮廓三维模型相匹配后，与用户轮廓三维模型进行融合，同时可以根据用户的实时动作，同步调整服装三维模型与用户轮廓三维模型的融合状态，包括服装三维模型对用户轮廓三维模型的部分遮挡、服装三维模型在用户轮廓三维模型特定位置的褶皱等，并将融合后的服装图像显示于包含用户影像的实景视频图像中。

本发明实施例提供的基于视频图像的对象融合方法，通过深度摄像头实时采集第一对象的深度信息及形状数据，生成第一对象的三维模型，根据用户操控指令选择一个或多个第二对象，将第二对象的三维模型与第一对象的模型进行融合，并将融合后的第二对象显示于包含第一对象的实景视频图像中，同时根据第一对象的运动状态及形状数据，实时调整第二对象与第一对象的融合状态，从而真实地呈现对象融合后的图像效果，显著提升用户体验。

实施例二

图2示出了本发明实施例基于视频图像的对象融合终端的结构示意图。

如图2所示，本发明实施例基于视频图像的对象融合终端200，包括：图像采集模块202：用于采集包含第一对象的视频图像；模型建立模块204：用于根据包含第一对象的视频图像，建立第一对象的三维模型；模型获取模块206：用于获取至少一个第二对象的三维模型；图像融合模块208：用于将模型获取模块206获取的第二对象的三维模型与第一对象的三维模型进行融合，并将融合后的第二对象显示于包含第一对象的视频图像中。

在上述技术方案中，图像采集模块202包括：实景图像采集单元2021，用于采集包含第一对象的实景视频图像；深度图像采集单元2022，用于采集第一对象的深度视频图像。

在该技术方案中，实景图像采集模块2021通过光学摄像头采集包含第一对象的实景视频图像；深度图像采集模块2022通过深度摄像头采集第一对象的深度视频图像。具体地，第一对象可以在深度摄像头前原地转动360度以完成对第一对象的深度视频图像采集；或者，在第一对象周围设置三个深度摄像头，每两个深度摄像头间隔120度，共同完成对第一对象的深度视频图像采集。

在上述技术方案中，模型建立模块204用于根据第一对象的深度视频图像， 获取第一对象的三维深度信息及形状数据，建立第一对象的三维模型。

在该技术方案中，模型建立模块204将深度视频图像中的第一对象划分为多个区域，对每一区域的形状信息进行实时测量，通过建模算法得到第一对象的三维模型，同时，根据第一对象的运动状态，如旋转、移动等，实时同步调整第一对象的三维模型的角度和姿态。

在上述技术方案中，模型获取模块206还用于根据第一对象三维模型的形状数据，获取与所述第一对象匹配的第二对象的三维模型。

在该技术方案中，模型获取模块206用于根据第一对象三维模型的形状数据，例如用户的轮廓模型及体型数据，获取与第一对象匹配的第二对象的三维模型，例如网上购物系统中与用户体型相符的服装三维模型，图像融合模块208将模型获取模块206获取的服装三维模型与用户的轮廓三维模型进行融合，融合后的服装图像叠加显示于包含用户影像的实景视频图像中，能够呈现出用户试穿服装的效果图像，具有增强现实的显示效果。

在该技术方案中，模型获取模块206用于根据第一对象三维模型的形状数据，例如房间的形状结构模型及物品的布局数据，获取与第一对象匹配的第二对象的三维模型，例如网上购物系统中与房间结构及布局模型相符的物品三维模型，图像融合模块208将模型获取模块206获取的物品三维模型与房间的结构及布局模型进行融合，融合后的物品图像叠加显示于包含房间影像的实景视频图像中，能够呈现出物品布置于房间内的效果图像，具有增强现实的显示效果。

在上述技术方案中，图像融合模块208还用于将模型获取模块206获取的第二对象三维模型的形状数据调整至与第一对象匹配后，与第一对象的三维模型进行融合，并将融合后的第二对象显示于包含第一对象的实景视频图像中。

在该技术方案中，模型获取模块206可以根据用户的操控指令，包括触控指令、手势指令和/或语音指令等，选择一个或多个第二对象的三维模型，图像融合模块208根据第一对象三维模型的形状数据对第二对象的三维模型进行调整，使之与第一对象的三维模型匹配后，将第二对象的三维模型与第一对象的三维模型进行融合，并将融合后的第二对象显示于包含第一对象的实景视频图像中。例如，根据用户指令，选择网上购物系统中的一个或多个服装三维模型，将其形状数据调整至与用户轮廓三维模型相匹配后，与用户轮廓三维模型进行 融合，同时可以根据用户轮廓的三维模型的实时动作，调整服装三维模型与用户轮廓三维模型的融合状态，包括服装三维模型对用户轮廓三维模型的部分遮挡、服装三维模型在用户轮廓三维模型特定位置的褶皱等，并将融合后的服装图像显示于包含用户影像的实景视频图像中。

本发明实施例提供的基于视频图像的对象融合终端，通过深度摄像头实时采集第一对象的深度信息及形状数据，生成第一对象的三维模型，根据用户操控指令选择一个或多个第二对象，将第二对象的三维模型与第一对象的三维模型进行融合，并将融合后的第二对象显示于包含第一对象的实景视频图像中，同时根据第一对象的运动状态及形状数据，实时调整第二对象与第一对象的融合状态，从而真实地呈现对象融合后的图像效果，显著提升用户体验。

上述本发明实施例基于视频图像的对象融合终端，可以是智能手机、平板电脑等智能移动设备，也可以是智能眼镜等可穿戴式智能设备，还可以是车载智能终端等车载式智能设备或智能电视等智能家居设备。

再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。