一种用于手机中基于视频增强现实的虚拟试衣系统和方法与流程

相关申请案交叉申请

本申请要求于2015年7月15日递交的发明名称为“一种用于手机中基于视频增强现实的虚拟试衣系统和方法”的第14/799,907号美国非临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。

本发明通常涉及虚拟试衣系统和方法，在特定实施例中，涉及一种用于移动无线设备中基于视频增强现实的虚拟试衣系统和方法。

背景技术：

虚拟试衣系统于2005年开始出现，用户可以使用计算机“虚拟地”试穿各种服装。这些虚拟试衣系统现在可以从各类供应商处获得，并为越来越多知名零售商所用。然而，几乎没有为手机系统开发这类系统，而基于个人电脑(personalcomputer，简称pc)的系统仍然是使用这些系统的最常见平台。只存在几个基于手机的原型。但这些原型的功能有限且用户体验差。此外，在没有克服多个挑战和约束的前提下，无法直接将基于pc的虚拟试衣系统转移到手机上。这类约束主要源于手机的计算能力有限，且当前在pc上实现的算法复杂。

由于难以有效地将虚拟试衣系统的所有功能放置到具有良好可视化设计的小型移动屏幕上，界面是在移动设备上实现虚拟试衣系统的另一挑战。此外，现有系统中的当前技术更多地关注从背景进行的人检测和身体分割，但不考虑衣服如何适合人体。

技术实现要素：

根据本发明一实施例，一种用于移动无线设备中具有视频增强的虚拟试衣方法包括：接收用户上身的视频流；检测所述视频流中的脸部；检测肩部轮廓；根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；根据所述关键点将衣服图像映射到所述用户上身的视频流；显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。

根据本发明另一实施例，一种用于具有视频增强的虚拟试衣的移动无线设备包括：处理器和非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质用于存储所述处理器的执行程序，所述程序包括指令，用于：接收用户上身的视频流；检测所述视频流中的脸部；检测肩部轮廓；根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；根据所述关键点将衣服图像映射到所述用户上身的视频流；显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。

根据本发明另一实施例，一种用于具有视频增强的虚拟试衣的移动无线设备包括：摄像头；实时视频流获取单元，其包括处理器，所述实时视频流获取单元用于从所述摄像头接收实时视频流；系统初始化单元，其包括处理器，所述系统初始化单元用于检测所述实时视频流中的脸部，检测肩部轮廓，并根据检测到的脸部和检测到的肩部轮廓确定用户上身的视频流中肩部和颈部的关键点；虚拟试衣单元，其包括处理器，所述虚拟试衣单元用于根据所述关键点将衣服图像映射到所述用户上身的视频流；视频显示器，用于显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。

附图说明

为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，其中：

图1为基于视频增强现实的虚拟试衣的应用场景的典型实施例的立体图；

图2为无线移动设备中基于视频增强现实的虚拟试衣系统的实施例框图；

图3为无线移动设备中基于视频增强现实的虚拟试衣系统的实施例框图；

图4为无线移动设备中基于视频增强现实的虚拟试衣方法的实施例流程图；

图5为可以用于实现本文公开的设备和方法的处理系统的框图。

具体实施方式

下文将详细论述当前优选实施例的制作和使用。然而，应了解，本发明提供可在各种具体上下文中体现的许多适用的发明性概念。所论述的具体实施例仅仅说明用以实施和使用本发明的具体方式，而不限制本发明的范围。

为解决以上讨论的挑战，公开了构建基于实景的视频的系统和方法，所述视频能够处理移动平台上的实时虚拟试衣。所公开的系统和方法实施例提供了一种界面，其用于以虚拟舒适且可用的方式将虚拟试衣系统的功能有效地放置在小型移动屏幕上。

本文公开了一种用于在实时视频流内执行实时虚拟试衣系统和方法，通常使用移动无线设备。框架支持主动尺寸搭配和主动身体搭配，尤其快速且准确地在视频流上进行自适应和可变形试衣。所公开的系统和方法为用户提供了实时虚拟试衣体验。这些系统和方法可用于提升客户的购物体验且促进销售。所述系统能够作为实景应用来应用在任何移动无线设备中。在一实施例中，在给定实时视频流的情况下，首先检测脸部位置。利用这一信息来定位颈部和肩部边缘。用户选择的衣服或服装相应地叠加在上身。此外，通过跟踪颈部和肩部的关键点，随着身体移动，自适应地试穿且变形地移动虚拟衣服或虚拟服装。所公开的系统和方法实施例可以链接到社交网络应用。

在一实施例中，所公开的系统和方法使用单个设备在不减损显式背景的前提下来执行虚拟试衣。实施例利用上身有限的感兴趣区域(regionofinterest，简称roi)检测，仅仅减少检测整个身体的现有系统所需的处理要求。公开了不需要姿态估计或3d渲染引擎的实施例。此外，所述实施例不需要像一些现有方法所需的性别选择。另外，所公开的实施例基于脸部、脸部标志检测、回归和分割方法来执行颈部和肩部定位算法，从而与需要整个身体的控制点的现有系统相比，降低了所公开系统和方法的复杂性。所公开的实施例通过肩部跟踪和试衣算法来执行主动和可变形试衣，而不用跟踪整个身体的移动。

现有的视频增强现实系统需要比现有的或在手机中有效使用的更多处理能力，或者需要手机提供的那些不提供视频增强现实而仅提供静态图像的处理能力。所公开的系统和方法实施例提供了虚拟试衣，其通过实时视频支持主动尺寸搭配、主动身体搭配，尤其是自适应和可变形的试衣。

本文主要参考在如手机的移动无线设备内的实现来描述所公开的系统和方法。虽然典型实施例使用移动设备，但本领域普通技术人员应意识到，所公开的系统和方法不限于移动设备，并且可以在许多不同类型的数据处理系统中实现，所述数据处理系统具有足够的资源来执行所公开的功能。

图1为基于视频增强现实的虚拟试衣的应用场景100的典型实施例的立体图。所述场景100包括人102，其持有无线设备104，如智能手机。所述人102使用所述无线设备104拍摄人的头部、脸部、肩部和上身的视频。在一实施例中，所述视频至少包括人的躯干的一部分，且可能包括所述人102的上臂的一部分。所述视频通常包括小于人的整个身体的视频。由于限制了要处理的数据量，通过仅使用人身体的一部分的视频，处理速度能够提高，并且与整个身体被视频化所使用的算法相比，使用的算法更简单。

图2为无线移动设备中基于视频增强现实的虚拟试衣系统200的实施例框图。所述系统200包括实时视频流获取模式202、系统初始化模式204、虚拟试衣模式206和衣服选择模式208。在所述实时视频流获取模式202中，用户打开无线设备中的前置摄像头。获取用户上半身的实时视频流，并将其呈现在所述无线设备的显示器210上。屏幕210是无线设备上呈现的所述显示器210的一个示例。在所述系统初始化模式204中，显示器212示出了一些引导线224，用于引导用户放置到特定的屏幕区域。当用户身体部位相对于如屏幕214所示的引导线224处于正确位置时，显示器212上的指示器222(例如，从红点变为绿点)提示用户其可以进入虚拟试衣模式206。如屏幕216的屏幕的一部分显示服装图像，用户可从中选择，或者用户可以前往屏幕220去选择服装。利用如屏幕220将所述衣服选择模式208中所选的衣服候选在显示器218上叠加到用户上身图像上。用户能通过移动身体并选择不同衣服来观看实时虚拟试衣结果。随着用户移动，服装也移动以适合用户，使得用户可以从不同角度看到衣服的外观，以及当用户移动时衣服如何移动。

图3为无线移动设备中基于视频增强现实的虚拟试衣系统300的实施例框图。所述方法系统能够分成四个阶段：实时视频流获取阶段302、系统初始化阶段304、衣服选择阶段306和虚拟试衣阶段308。以下将详细介绍系统初始化阶段和虚拟试衣阶段。

所述系统300开始于所述实时视频流获取阶段302。在所述实时视频流获取阶段302之后，所述系统300进入到所述系统初始化阶段304。

在所述系统初始化阶段304，在给定实时视频流302的情况下，第一步是在屏幕上定位适合放置人上身的可行区域。为在屏幕上定位合适的区域，在软件安装到设备之前，通过学习过程来训练所述系统。在训练中，收集足够数量的训练样本，考虑不同尺寸的人体、不同性别、穿不同衣服。该学习过程的结果使系统能够检测(310)人脸，检测(316)颈部和肩部轮廓，以及定位(318)颈部和肩部的关键点。为帮助系统稳定地检测人上身，引导线出现如图2所示的屏幕上，以帮助用户将上身正确地放在屏幕上，并且还帮助系统稳定地检测上身位置。为将用户上身放入上述的引导区域中，用户需要调整其姿势以及手机到用户的距离/角度。所述系统同时检测(310)脸部、确定(312)是否检测到脸部，并且在没有检测到脸部的情况下给出不同的提示/反馈以便进一步获取(302)实时视频流。为定位肩部和颈部位置，检测脸部位置以预测最终用于检测(316)肩部位置的颈部位置。最后，针对虚拟试衣估计(318)颈部和肩部的关键点。所述系统向用户提供选择(314)操作模式(手动或自动)的选项。在手动模式中，所述系统300继续检测脸部，直到用户按下屏幕上的确认按钮以确认上身已经被放置到正确位置。然后可以定位(316)颈部和肩部位置。该模式可以提供更好的肩部和颈部定位结果，尤其在复杂环境中。在自动模式中，一旦所述系统300确定人体已经位于正确区域内，所述系统300自动执行所有上述处理(检测脸部位置和定位肩部和颈部)。在环境相对简单的情况下，可以简化用户过程。此处能够应用一般的颈部和肩部轮廓检测方法。

虚拟试衣阶段308包含以下步骤：估计(320)关键点跟踪、试衣(324)。使用稀疏光流法跟踪颈部和肩部的关键点，从而允许人体进行合理移动。在阶段306选择衣服后，虚拟衣服会叠加到用户身上。通过将衣服平面上的相关位置变形到人平面上的相应位置的变换处理来实现虚拟试衣(324)。由于只能从捕获的图像中提取人肩部信息，在一实施例中，使用参数变换方法来进行衣服变形。在衣服图像和人图像这两个图像上给定一组匹配的关键点的情况下，可以获得它们的德劳内三角部分，并且可以在每个三角形内部使用顶点定义的仿射变形变换。

图4为无线移动设备中基于视频增强现实的虚拟试衣方法400的实施例流程图。所述方法400开始于块402，无线设备获取视频流，并尝试检测所述视频流中的脸部。在块404中，所述设备确定是否已检测到脸部。若否，则所述方法400返回块402，继续尝试检测脸部。若在块404中检测到了脸部，所述方法400进入块406，所述设备确定用户是否已选择手动模式。若已选择手动模式，所述方法400进入块408，所述设备接收用户输入，以根据用户在所述设备上的操作移动屏幕上的引导线。所述设备为用户提供指示或指令，其指示用户沿着这些线移动颈部和肩部。一旦通过用户操作的确认，围绕这些线确定颈部和肩部位置。若在块406中未选择手动模式，所述方法400进入块410，自动检测肩部轮廓，并根据自动确定的肩部轮廓确定肩部和颈部的关键点。在块412中，所述设备接收来自用户的衣服选择。在块414中，所述设备根据所述关键点将衣服映射到用户图像，并显示被所选衣服覆盖的用户图像。在块416中，所述设备跟踪所述用户的移动，将所述衣服映射到所述移动，并显示被所述衣服覆盖的新的用户图像。此后，所述方法400结束。

图5为可用于实现本文公开的设备和方法的处理系统500的框图。特定设备可利用所有所示的组件或仅利用所述组件的子集，且各设备的集成程度可能不同。此外，设备可以包括部件的多个实例，如多个处理单元、处理器、存储器、发射器、接收器等。所述处理系统500可以包括处理单元501，所述处理单元配备一个或多个输入/输出设备，如扬声器、麦克风、鼠标、触摸屏、小键盘、键盘、打印机、显示器等。所述处理单元501可包括中央处理器(centralprocessingunit，简称cpu)510、存储器520、大容量存储设备530、网络接口550、i/o接口560，以及连接至总线540的天线电路570。所述处理单元501还包括连接至天线电路的天线单元575。

所述总线540可以为包括存储器总线或内存控制器、外设总线、视频总线等几种任意类型的总线架构中的一个或多个。所述cpu510可包括任意类型的电子数据处理器。所述存储器520可包括任意类型的系统存储器，如静态随机存取存储器(staticrandomaccessmemory，简称sram)、动态随机存取存储器(dynamicrandomaccessmemory，简称dram)、同步dram(synchronousdram，简称sdram)、只读存储器(read-onlymemory，简称rom)或其组合等。在一实施例中，所述存储器520可包括在开机时使用的rom，以及在执行程序时使用的存储程序和数据的dram。

所述大容量存储设备530可包括任意类型的存储设备，其用于存储数据、程序和其它信息，并使这些数据、程序和其它信息可通过所述总线540访问。所述大容量存储设备530可包括如下项中的一种或多种：固态磁盘、硬盘驱动器、磁盘驱动器、光盘驱动器等。

所述i/o接口560可提供接口以将外部输入输出设备耦合到所述处理单元501。所述i/o接口560可包括视频适配器。输入输出设备的示例可以包括耦合至该视频适配器的显示器和耦合至该i/o接口的鼠标/键盘/打印机。其他设备可以耦合至所述处理单元501，且可以采用额外的或较少的接口卡。例如，可使用通用串行总线(universalserialbus，简称usb)(未示出)等串行接口将接口提供给打印机。

所述天线电路570和所述天线单元575可以允许所述处理单元501通过网络与远程单元通信。在一实施例中，所述天线电路570和所述天线单元575接入无线广域网(wirelesswideareanetwork，简称wan)和/或蜂窝网络，如长期演进(longtermevolution，简称lte)、码分多址(codedivisionmultipleaccess，简称cdma)、宽带cdma(widebandcdma，简称wcdma)、全球移动通信系统(globalsystemformobilecommunications，简称gsm)网络等。在一些实施例中，所述天线电路570和所述天线单元575也可以向其他设备提供蓝牙和/或wi-fi连接。

所述处理单元501也可以包括一个或多个网络接口550，所述网络接口可以包括有线链路如以太网线等，和/或无线链路以接入节点或不同网络。所述网络接口501允许所述处理单元501通过网络580与远程单元通信。例如，所述网络接口550可以经由一个或多个发送器/发射天线以及一个或多个接收器/接收天线提供无线通信。在一实施例中，所述处理单元501耦合到局域网或广域网上以用于数据处理以及与远程设备通信，所述远程设备例如其它处理单元、因特网、远程存储设施等。

在所公开的实施例中，一种用于移动无线设备中具有视频增强的虚拟试衣方法包括：接收用户上身的视频流；检测所述视频流中的脸部；检测肩部轮廓；根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；根据所述关键点将衣服图像映射到所述用户上身的视频流；显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。在一实施例中，所述方法还包括：跟踪所述用户的移动；将所述衣服图像重新映射到所述移动；显示上身重新映射的增强视频流，其中，重新映射的衣服图像覆盖所述用户上身的视频流的一部分，衣服的视频显示随着所述增强视频流中用户图像的移动而移动。在一实施例中，映射衣服图像包括将衣服平面上的相关位置转换为用户上身图像的平面上的相应位置。在一实施例中，重新映射衣服图像包括德劳内三角部分。自动确定所述肩部轮廓，或者根据用户输入确定脸部和肩部轮廓。在一实施例中，识别脸部和肩部轮廓的手动方法包括：尝试检测所述脸部，呈现用户的候选脸部区域，并接收确认所述候选脸部区域与所述用户脸部对应的用户输入。所述手动方法还可包括：接收移动肩部轮廓的用户输入。

在所公开的实施例中，一种用于具有视频增强的虚拟试衣的移动无线设备包括：处理器和非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质用于存储所述处理器的执行程序，所述程序包括指令，用于：接收用户上身的视频流；检测所述视频流中的脸部；检测肩部轮廓；根据检测到的脸部和检测到的肩部轮廓确定所述用户上身的视频流中肩部和颈部的关键点；根据所述关键点将衣服图像映射到所述用户上身的视频流；显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。在一实施例中，所述程序还包括指令，用于：跟踪所述用户的移动；将所述衣服图像重新映射到所述移动；显示上身重新映射的增强视频流，其中，重新映射的衣服图像覆盖所述用户上身的视频流的一部分，衣服的视频显示随着所述增强视频流中用户图像的移动而移动。在一实施例中，重新映射衣服图像的指令包括将衣服平面上的相关位置转换为所述用户上身图像的平面上的相应位置。在一实施例中，重新映射衣服图像的指令包括执行德劳内三角部分的指令。可自动确定所述肩部轮廓，或者根据用户输入确定脸部和肩部轮廓。在一实施例中，所述程序包括指令，用于：尝试检测所述脸部，呈现候选脸部区域，以及接收确认所述候选脸部区域与所述用户脸部对应的用户输入。在一实施例中，所述程序包括接收移动肩部轮廓的指令。

在所公开的实施例中，一种用于具有视频增强的虚拟试衣的移动无线设备包括：摄像头；实时视频流获取单元，其包括处理器，所述实时视频流获取单元用于从所述摄像头接收实时视频流；系统初始化单元，其包括处理器，所述系统初始化单元用于检测所述实时视频流中的脸部，检测肩部轮廓，并根据检测到的脸部和检测到的肩部轮廓确定用户上身的视频流中肩部和颈部的关键点；虚拟试衣单元，其包括处理器，所述虚拟试衣单元用于根据所述关键点将衣服图像映射到所述用户上身的视频流；视频显示器，用于显示所述用户上身的增强视频流，其中，所述衣服图像覆盖所述用户上身的视频流的一部分。在一实施例中，所述虚拟试衣单元还用于跟踪所述用户的移动，并将所述衣服图像重新映射到所述移动。在一实施例中，所述虚拟试衣单元还用于将衣服平面上的相关位置转换为所述用户上身图像的平面上的相应位置。在一实施例中，所述虚拟试衣单元还用于执行德劳内三角部分。在一实施例中，所述显示器用于呈现候选脸部区域，并接收确认所述候选脸部区域与所述用户脸部对应的用户输入。

虽然已参考说明性实施例描述了本发明，但此描述并不意图限制本发明。所属领域的技术人员在参考该描述后，将会明白说明性实施例的各种修改和组合，以及本发明其他实施例。因此，所附权利要求书意图涵盖任何此类修改或实施例。