使用红外成像产生数字图像以用于产品定制的制作方法

本申请涉及：(1)2012年1月1日提交的标题为“productcustomizationsystemandmethod(产品定制系统和方法)”的申请ser.no.13/342,103；(2)2009年8月24日提交的标题为“productcustomizationsystemandmethod(产品定制系统和方法)”的专利no.8090461；(3)2009年7月29日提交的标题为“productcustomizationsystemandmethod(产品定制系统和方法)”的专利no.8175931；(4)2007年10月26日提交的标题为“productmodelingsystemandmethod(产品定制系统和方法)”的专利no.8174521；以及(5)2010年5月28日提交的标题为“productcustomizationsystemandmethod(产品定制系统和方法)”的申请ser.no.12/790,711。在该段中引用的全部专利申请和专利的内容通过引用合并于此。

本公开涉及图像采集和分析技术，以确定用于对准确地描述产品定制的定制图像进行自动渲染的指令。

背景技术

该部分描述的方法是能够被实行的方法，但不一定是先前已经被设想或实行的方法。因此，除非另有说明，不应该假定该部分描述的方法的任何一种仅仅由于他们包含在该部分中就被视为现有技术。

定制商品非常吸引期望获得独特和个性化产品的客户。许多此类客户远程浏览和预定定制商品，例如通过显示描述出售的产品的产品图像的网站。

使用此网站，客户可以，例如通过上传或指定图案、图像或文本和定制此图案、图像或文本的布置来指定产品如何被定制。如果描述根据客户的指定定制被定制的产品的定制图像能够响应于接收到客户的定制被实时产生并且被显示给客户，则客户和在线销售商都将受益。

产生此定制图像的一种方法是将客户指定定制的图像简单地叠加在非定制产品的图像上。然而，此图像将不是三维产品的准确描述，因为定制图像无法描述此类产品的自然轮廓。客户上传的图像、设计或文本将是平面图像，该平面图像缺少轮廓图像的阴影，或至少缺少与非定制产品图像的轮廓相匹配的阴影。

所需要的是一种对产品定制图像进行自动渲染的方法，该产品定制图像如定制产品实际呈现地描述定制产品。当因为三维渲染能够从不同的角度旋转和查看，所以客户可以查看定制产品的一系列图像时，该类型的网站中的客户服务也被改进。为了支持3d查看要被定制制造的产品，通常样品产品被从不同角度几乎同时地拍照，并且产生的图像被组合为3d模型。现有系统不能以足够的速度、效率和/或准确度采集一组图像以用于3d模型进行渲染，而同时获得足够的信息以准确地表示3d模型中的定制图案、图像或文本，以便向客户提供定制制造产品最终将如何呈现的视图。

技术实现要素：

本申请涉及使用红外成像产生数字图像以用于产品定制的技术。本申请的一个方面公开了一种计算机实现的方法，包括：接收有形产品的红外照片，所述产品上具有压印标记；接收具有相同压印标记的相同产品的可见光照片，其中所述压印标记在所述可见光照片中是可见的但是在所述红外照片中是不可见的；部分基于所述红外照片和所述可见光照片，确定用于对所述产品的描述特定定制的定制图像进行渲染的指令，其中所述特定定制不在所述红外照片或所述可见光照片中。

本申请的另一方面公开了一种非暂时性计算机可读存储介质，所述计算机可读存储介质存储一个或多个指令，当所述一个或多个指令由一个或多个处理器执行时，使得所述一个或多个处理器执行：接收有形产品的红外照片，所述产品上具有压印标记；接收具有相同压印标记的相同产品的可见光照片，其中所述压印标记在所述可见光照片中是可见的但是在所述红外照片中是不可见的；部分基于所述红外照片和所述可见光照片，确定用于对所述产品的描述特定定制的定制图像进行渲染的指令，其中所述特定定制不在所述红外照片或所述可见光照片中。

附图说明

该专利或申请文件包含至少一幅彩色的附图。该专利或专利申请的具有彩色附图的副本将通过官方要求和支付必要的费用被提供。

在附图中：

图1图示说明示例定制图像渲染系统.

图2图示说明可以在定制图像渲染系统上实现的示例处理。

图3图示说明示例定制图像渲染资产(asset)和相应的运行时间输入。

图4图示说明产生定制图像渲染资产的示例处理。

图5图示说明示例采集的红外图像。

图6图示说明示例采集的可见光图像。

图7图示说明示例标准化图像。

图8图示说明示例的颜色分割图像。

图9图示说明图7的示例标准化图像的详细视图。

图10图示说明图8的示例颜色分割图像的详细视图。

图11是基于图8的颜色分割图像确定的示例标记网格图像。

图12图示说明基于颜色分割图像确定设计屏蔽图像和标记网格图像的示例过程。

图13是基于图8的颜色分割图像确定的示例设计屏蔽图像。

图14图示说明第一所选颜色的图像的示例。

图15图示说明第二所选颜色的图像的示例。

图16图示说明由定制图像渲染资产构建的示例定制图像。

图17图示说明示例无标记产品图像。

图18是图示说明在其上可实现本文的技术的计算机系统的框图。

具体实施方式

在下面描述中，为了解释，许多具体细节被陈述以便提供彻底理解本发明。然而，显然在没有这些具体细节的情况下可以实践本发明。在其他示例中，众所周知的结构和装置以框图形式被示出以避免不必要地模糊本发明。

在本发明中根据下面提纲描述实施例：

1.总体概述

2.结构和功能概述

3.产生定制图像渲染资产

4.定制图像显示

5.实施机构-硬件概述

1.总体概述

描述了使用红外成像构建用于产品定制的数字图像的技术。在一个实施例中，具有压印标记的有形产品的红外照片和具有相同压印标记的相同产品的可见光照片被接收，其中压印标记在可见光照片中是可见的但是在红外照片中是不可见的。对产品的描述特定定制的定制图像进行渲染的指令是部分基于红外照片和可见光照片确定的，其中该特定定制不在该红外照片或可见光照片中。

在一个实施例中，定制指定压印到产品的一个或多个设计区的一种或多种设计或产品的至少一部分上的颜色。

在一个实施例中，在用于对定制图像进行渲染的指令被确定后特定定制被确定。特定定制被提供作为对定制图像进行渲染的指令的输入。

在一个实施例中，特定定制图像的形状和阴影的至少一部分与压印标记的形状和阴影相对应。

在一个实施例中，亮度信息部分基于红外照片被确定。在一个实施例中，设计几何形状信息部分基于可见光照片被确定。渲染产品的定制图像的指令是部分基于亮度信息和设计几何形状信息确定的。

在一个实施例中，对基于可见光照片的图像执行颜色分割处理，产生数字存储的颜色分割图像。对产品的定制图像进行渲染的指令是部分基于颜色分割图像确定的。

在一个实施例中，标准化可见光图像通过从基于可见光照片的图像消除亮度被确定。渲染产品的定制图像的指令是部分基于标准化可见光图像确定的。

在一个实施例中，产品的无标记的存储数字图像是基于可见光照片和红外照片自动地确定的。对产品的定制图像进行渲染的指令部分基于(1)无标记的产品的图像和(2)设计几何形状信息被确定。

在一个实施例中，第一所选颜色图像和第二所选颜色图像是至少部分基于特定图像确定的，其中该特定图像是可见光照片或基于可见光照片的图像，其中标记包括多种颜色。对于着色为多种颜色中的第一颜色的特定图像的每个区域，第一所选颜色图像的相同区域被着色为特定颜色并且第一所选颜色图像的剩余区域被着色为与该特定颜色不同的颜色。对于着色为多种颜色中的第二颜色的特定图像的每个区域，第二所选颜色图像的相同区域被着色为该特定颜色并且第二所选颜色图像的剩余区域被着色为与该特定颜色不同的颜色。

在一个实施例中，基于第一所选颜色图像和第二所选颜色图像确定设计屏蔽图像，其中设计屏蔽图像的着色为第一所选颜色图像或第二所选颜色图像中的特定颜色的每个区域在设计屏蔽图像中是特定屏蔽颜色的，并且设计屏蔽图像的剩余部分是与特定屏蔽颜色不同的颜色

在一个实施例中，网格图像基于第一所选颜色图像和第二所选颜色图像被确定，其中网格图像指示特定图像中第一颜色的一个或多个区域邻近第二颜色的一个或多个区域的位置。

在一个实施例中，指定特定定制的定制规格被接收。对描述特定定制的产品定制图像进行渲染的指令的执行被引发。对描述特定定制的产品定制图像的显示被引发。

在一个实施例中，渲染定制图像的指令的至少一部分与特定视点(particularviewpoint)相关联。至少部分指定与特定视点相关联的定制的定制规格被接收。对与特定视点相关联的定制图像进行渲染的部分指令被选择以基于定制规格执行。

在一个实施例中，产品是第一产品并且定制图像是第一定制图像。指定特定定制的定制规格被接收。响应于接收到定制规格，对描述特定定制的产品定制图像进行渲染的指令的执行被引发，其中特定定制由定制规格指定，并且对不同于第一产品的第二产品的描述特定定制的第二定制图像进行渲染的第二指令的执行被引发。

对描述特定定制的产品的第一定制图像和描述特定定制的第二产品的第二定制图像的显示被引发。

2.结构和功能概述

根据一个实施例，相同标记产品在相同位置的红外照片和可见光照片被采集。关于这一方面，术语“照片”指使用数字相机获得的数字图像，如本文中将进一步描述的，该电子图像可以被计算机控制；本文中的某些技术包括使用计算机在计算机存储器中执行对所存储的数字图像的数字转换。产品上的标记可以是压印到产品上的特定图案。作为一个示例，标记是包括纯色方块的双色棋盘图案，其中每个方块是单一颜色并且每个相邻方块是相对颜色。使用仅在可见光谱中可见的染料将标记压印到产品上，因此标记仅在可见光照片中可见，而当使用标准红外照片中的光谱采样成像时不可见。在一些实施例中，在拍照片前，具有这些特性的有机染料可以用于打印标记。

红外照片或其修改版本可以使用基于计算机的技术被分析以确定红外照片的一个或多个区域的亮度。红外图像的特定区域的亮度信息可以为定制图像中的相应特定区域指示合适亮度值。例如，亮度值可以指示定制图像的特定区域如何渐变(shade)。对在可见光照片中可见的压印标记或其修改版本的分析可以用于确定可定制设计区域的位置和在可定制设计区域内的产品的几何形状，其可以由产品的轮廓和折痕引发。用于对图像的剩余区域进行渲染的颜色值和信息也可以基于可见光图像或其修改版本被确定，这些颜色值和信息不以任何定制为特征。

基于红外图像和可见光图像确定的信息(比如，亮度信息、几何形状信息、以及可定制区域的确定位置)，可以用于产生定制图像渲染资产(asset)。定制图像渲染资产可以包含指令，当指令被执行时该指令使得对产品的描述根据特定的客户指定定制被定制的定制图像进行自动渲染。一旦接收到客户指定定制，定制图像渲染资产可以实时自动地产生定制图像。相同定制图像渲染资产能够为特定产品的各种客户指定定制渲染定制图像。

定制资产可以基于红外照片和可见光照片通过执行定制渲染资产产生指令被自动地确定。在没有任何人工参与的情况下，定制图像渲染资产的自动确定减少了产生定制图像渲染资产需要的时间和成本。

根据一些实施例，渲染资产产生指令和/或定制图像渲染资产指令可以被配置为允许编辑或修改以为特定艺术或商业目的产生资产。

图1图示说明示例定制图像渲染系统。一个或多个相机102采集红外照片和可见光照片并且将采集的照片提供给照片收集和处理系统104。在一个实施例中，(一个或多个)相机102包括被配置为采集红外照片的第一相机和被配置为采集可见光照片的第二分立相机。被配置为采集红外照片的(一个或多个)相机可以以固定关系被安装到热镜(hotmirror)，该热镜反射红外光以被红外相机捕获并且允许可见光通过以被第二相机捕获。在一个实施例中，(一个或多个)相机102包括配对的多组相机，每组被定位成从不同角度采集产品的照片，并且每组包括被配置为采集红外照片的相机和被配置为采集可见光照片的相机。该相机组可以被定位以使得采集的照片允许在相同位置全景360度查看产品。在一个实施例中，16对相机被安装在围绕圆的圆周的16个不同的规则地间隔开的角位置，其中主体或产品位于该圆的中心。

(一个或多个)相机102的操作可以被照片收集和处理系统104或其它计算机系统远程控制，以便操作员在该系统上选择使得(一个或多个)相机102采集照片。在一些实施例中，相机102可以被配置为同时或几乎同时地采集照片。当照片的主体是由人体模型儿穿着的服装物品或动物穿着的或附着到动物的物品时，此实施例可能是合适的。在其它实施例中，(一个或多个)相机102可以在完全不同的时间采集照片，例如，当物体是静态物体时。

照片收集和处理系统104接收和存储从(一个或多个)相机102接收的原始数字图像106。照片收集和处理系统104包括定制图像渲染资产产生指令108，其可以被实施为一个或多个存储的计算机程序、脚本、或其它软件元件。照片收集和处理系统104的一个或多个处理器可以执行定制图像渲染资产产生指令108以产生定制图像渲染指令。中间图像110可以是在定制图像渲染资产产生期间产生和/或使用的图像。照片收集和处理系统104可以发送产生的定制图像渲染资产到网络服务器112，比如，要在网络服务器112上被存储和使用的定制图像渲染资产114。

网络服务器112可以接收和存储一个或多个定制图像渲染资产，比如，定制图像渲染资产114。每个定制图像渲染资产包含用于渲染定制图像的指令。网络服务器112还包括网页生成器116，其确定html和/或其他网页内容。网络服务器112可以从用户系统(比如，用户系统120)接收网页请求。作为响应，网络服务器112可以发送网页用于在用户系统上显示，并且可以包括通过执行包括在定制图像渲染资产中的指令产生的定制图像。网络服务器112可以由在线销售商操作来生成在线销售网站。

用户系统120可以是客户通过其浏览在线销售商的网站、选择产品进行定制、指定产品如何被定制、并且接收定制图像的系统。用户系统120可以通过网络18从网络服务器112请求网页和网络内容，网络18可以是万维网(www)。

图1图示说明的系统仅仅是定制图像渲染系统的示例。其它实施例的系统可以不包括图1所示的组件和子组件的每个。此外，为了清楚说明示例，图1示出了上述的各种功能元件的各个实例；然而，在不同实施例中，每个功能元件可以被实施为一个或多个局部或分布式计算机、处理、软件元件或其它逻辑。

图2图示说明可以在诸如图1所示的定制图像渲染系统的定制图像渲染系统上实现的示例处理。

在块202，产品的(一幅或多幅)红外照片和(一幅或多幅)可见光照片被采集。被拍照的产品可以被可视地压印标记。在一些实施例中，被拍照的产品以人或动物为模型。(一幅或多幅)照片可以在一个或多个相机(比如，相机102)处被采集。在一个实施例中，多组相机对准同一产品，其中每组包括被配置为采集红外照片的相机和被配置为采集可见光照片的相机，二者都响应于操作者指示。相机可以被配置为同时或在短时间内采集照片，以保证模型和产品的位置在红外图像和可见光图像中相同。图5、图6分别图示说明示例的采集的红外图像和示例的采集的可见光图像，并且在下面被进一步描述为具体示例。

在块204，诸如图1的照片收集和处理系统104的照片收集和处理系统，接收产品的被采集的(一幅或多幅)红外图像和(一幅或多幅)可见光图像。在块206，定制图像渲染资产产生指令在照片收集和处理系统上被执行。定制图像渲染资产产生指令的执行产生定制图像渲染资产。图3图示说明示例定制图像渲染资产和相应的运行时间输入，图4图示说明产生定制图像渲染资产的示例处理，其在下面被进一步描述为具体示例。

在块208，定制图像渲染资产被发送到网络服务器。多个产品可以被分别地拍照，并且可以在照片收集和处理系统处为多个产品的每个创建不同定制图像渲染资产，并且定制图像渲染资产的每个可以被发送到网络服务器。

在块210，定制图像渲染资产在网络服务器(比如，网络服务器112)上被接收和存储。网络服务器可以存储各种定制图像渲染资产。在块212，网络服务器接收客户定制规格。客户可以通过与在用户系统上查看的网页内展示的图形界面交互来提供规格。用户定制规格可以包括：用于压印到可定制产品上的用户指定设计、指定特定定制所位于的位置的定制位置信息、产品的细节区的颜色(比如，装饰(trim)颜色)、整个产品的颜色、以及其它定制规格信息。

在块214，特定定制图像渲染资产的指令被执行。网络服务器可以为每个可定制产品存储定制图像渲染资产。网络服务器可以自动选择特定定制图像渲染资产以基于接收的定制规格执行其指令。例如，网络服务器可以响应于确定客户选择定制特定可定制产品，选择对应于特定可定制产品的特定定制图像渲染资产。由用户提供的并且被包括在接收的用户定制规格中的信息可以用于自动确定对于定制图像渲染资产的输入。例如，用户可以选择特定衬衫颜色，并且当定制图像渲染资产的指令被执行时，所选的颜色或对应于所颜色的颜色曲线可以被提供作为对定制图像渲染资产指令的输入。执行定制图像渲染资产的指令产生描述根据客户的规格定制的客户所选产品的定制图像。

在块216，网络服务器发送网页内容到提供定制规格的用户系统，该用户系统可以是用户系统120。网页内容包括执行定制图像渲染资产的指令而确定的图像或此图像的修改版本。在块220，包括接收的定制图像的网页被显示在用户系统上。

图3图示说明示例定制图像渲染资产和相应的运行时间输入。定制图像渲染资产300是示例定制图像渲染资产，当定制图像渲染资产的指令被执行时，该定制图像渲染资产产生定制图像。在一个实施例中，定制图像渲染资产包括一幅或多幅资产图像、图像设置、和/或渲染所产生的定制图像的指令，其中这些指令指的是包括在定制图像渲染资产中的资产图像和/或图像设置。例如，定制图像渲染资产的指令可以指示所产生的定制图像的特定位置的颜色将具有特定资产图像的源位置的颜色，如由与特定位置相关联的亮度调整值所修改的。

定制图像渲染资产300包括多个对象，每个对象包括渲染定制图像的各个部分的指令，这些对象包括设计渲染对象302、背景渲染对象304、产品渲染对象306、和模型渲染对象308。背景渲染对象304渲染图像的背景部分，模型渲染对象308渲染图像的模型部分，产品渲染对象306渲染无标记或设计的图像的产品部分，设计渲染对象302根据产品渲染图像的设计部分。

设计区是产品的可定制的部分。例如，衬衫的“4×4”部分可以被定制以使得该“4×4”区域显示特定图像。在此情况下，设计区将是衬衫的“4×4”可定制部分。在一些实施例中，可定制产品可以包括多个设计区，并且定制图像渲染区域可以包括针对每个设计区的单独设计渲染对象。例如，可定制包可以具有针对包盖图像的单独设计区和针对装饰设计的单独设计区,其中被压印到包盖上的图像是可定制的并且包的装饰上的设计或颜色是可定制的。

客户选择320可以被包括在客户规格中或者可以基于客户规格被确定，用户系统将客户规格发送到寄存定制图像渲染资产的网络服务器。定制图像渲染资产可以指在运行时间提供的用户选择。即，客户选择可以在定制图像渲染资产在网络服务器上被接收之后但在定制图像渲染资产的指令被执行之前被提供。

例如，客户选择320包括定制设计322。定制设计322是由用户提供的设计，或由用户提供的设计的修改版本。根据不同实施例，设计可以包括用户提供或选择的图像、图案、和/或文本。当使得定制图像的设计部分将被渲染时，定制图像渲染资产300的设计渲染对象302的指令可以指定制设计322。

设计渲染对象302和产品渲染对象306的指令指的是产品颜色选择326，该产品颜色选择326可以例如是由客户选择的产品颜色。设计渲染对象302和产品渲染对象306可以基于产品颜色选择326确定渲染哪种颜色。

3.产生定制图像渲染资产

图4图示说明产生定制图像渲染资产的示例处理。照片收集和处理系统可以执行定制图像渲染资产产生指令，其可以使得处理(比如，图4图示说明的处理)被自动执行。

图4仅仅图示说明产生定制图像渲染资产的一个示例处理。在其它实施例中，可以执行不同步骤，可以改变步骤的顺序，可以不存在某些步骤，或存在除图4图示说明的步骤之外的其它步骤。

在块402，采集的红外图像被接收，并且在块404，采集的可见光图像被接收。采集的红外图像和采集的可见光图像可以是数字照片或数字照片的修改版本。两幅图像可以显示带有或没有模型的产品。图像的内容(比如，产品和模型)可以在两幅图像中的相同位置。图像内的产品可以被可视地压印有标记，但是该标记仅在可见光图像中是可见的而在红外图像中是不可见的。在一个实施例中，红外照片，被采集后而无需任何图像编辑来移除标记，就不显示被可视地压印到产品上的标记。在一个实施例中，标记使用有机染料被压印，该标记当在可见光谱中被拍照时是可见的并且当在红外光谱中被拍照时是不可见的。在一个实施例中，产品的每个设计区被压印有覆盖整个设计区的标记。设计区是可以被定制以显示特定定制(比如，(一幅或多幅)图像、(一个或多个)图案、和/或文本)的产品部分。设计区也可以被定制为特定颜色。

图5图示说明示例的采集的红外图像，图6图示说明示例的采集的可见光图像。图5和图6图示说明穿着其上压印有棋盘风格颜色标记的背心装的模特儿的照片。该标记使用有机染料被压印。在其它实施例中，该标记可以包括不同图案或形状。在一些实施例中，该标记可以是单一颜色。如图示的，标记602在可见光图像中是可见的但是在红外观图像中是不可见的。

虽然在图示的实施例中，产品是背心装并且以人为模特儿进行拍照，但在其它实施例中，产品可以是各种其它可定制产品的任何一种，比如，其它种类的服装、包、配饰、亚麻制品，并且不必被模型化。此外，在其它实施例中，产品可以包括多个设计区域，每个设计区域被压印有其自己的标记。

在块406，采集的红外图像和采集的可见光图像被校准以确定校准的红外图像和校准的可见光图像。在一些实施例中，图像的亮度和/或颜色被校准。在一些实施例中，作为校准的结果，产生的红外图像与产生的可见光图像具有相同颜色和相同的亮度值。在一个实施例中，亮度校准包括基于采集的红外图像的亮度和颜色修改采集的可见光图像的亮度和颜色。红外图像的特定位置的颜色和亮度可以与可见光图像的相同特定位置的颜色和亮度进行比较。例如，红外图像中模特儿的肩部的特定点的亮度和颜色可以与可见光图像中模特儿的肩部的相同特定点的亮度和颜色进行比较。整个红外图像的亮度可以基于该两个点的亮度的比较被增大或减小。例如，如果该特定点在可见光图像中具有比在红外图像中更大的亮度，则整个红外图像的亮度可以被增大以匹配可见光图像的亮度。整个图像的颜色可以被类似地修改。

在其它实施例中，可见光图像的颜色和亮度基于红外图像的颜色和亮度被修改。在一些实施例中，两幅图像的颜色和亮度基于其它图像被修改，例如，通过减小一幅图像的亮度并且增大另一幅图像的亮度以匹配两张图像的平均亮度。在一些实施例中，两幅图像的颜色和亮度基于校准对象(比如，具有表示特定已知颜色光谱的部分的柱面)的图像被修改。

图像可以被裁切和/或旋转。裁切和/或旋转可以在校准亮度之前被进行，以使得两幅图像中的相同绝对位置还对应于相同相对位置。例如，作为裁切和对准的结果，模特儿肩部的特定点的位置可以是在红外图像中的位置(30，30)，并且模特儿肩部的特定点的同一位置可以是在可见光图像中的同一位置(30，30)。在可见光图像和红外图像中都可见的标记在对准过程中可以被参考以确保对准之后标记位于两幅图像中的相同位置。模特儿可以在压印有标记的屏幕前摆姿势以确保同一标记在可见光照片和红外照片中都是可见的。在其它实施例中，该标记可以被压印到两张照片的画面(frame)内的一些其它表面上。

在块408，图像亮度信息基于校准红外图像被确定。在其它实施例中，图像亮度信息可以基于未校准红外图像或校准红外图像的修改版本被确定。在一个实施例中，确定的亮度信息是识别红外图像中每个像素的亮度值的亮度映射，其指示各个像素的亮度。红外图像的特定部分的亮度可以部分取决于被拍照的物品的轮廓。例如，t恤衫的折痕可以使得图像的“折痕”部分与t恤衫的其它部分具有不同的亮度值。亮度映射可以至少部分被用于确定定制图像的一个或多个部分的着色。因此，定制图像可以显示以红外光或可见光拍照的物品的轮廓。

校准的可见光图像可以被修改和/或分析以确定用于准确渲染定制图像的其它信息，比如，设计区和其它区的位置、设计区内的产品的几何形状、和产品图像的各个部分的颜色值。一种确定此信息的处理通过块410、412、414、416、418、420、422、和425进行表示。

在块410，标准化图像基于校准的可见光图像被确定。本文使用的，短语“基于特定图像确定信息”包括其中信息是基于特定图像的修改版本确定的实施例。例如，基于校准的可见光图像确定的标准化图像也可以在其以某种方式修改之后基于可见光图像被确定。

在一个实施例中，标准化图像可以通过修改校准的可见光图像以从校准的可见光图像消除亮度被确定。一种从校准的可见光图像消除亮度的方法是根据下面公式1修改图像中的每个像素的rgb(红、绿、蓝)值，其中r代表红色值，g代表绿色值，b代表蓝色值。

公式1

例如，具有rgb值(136,96,142)的像素将根据下面公式2被修改，这将产生修改的rgb值(0.62,0.44,0.65)。

公式2

图7是标准化图像的示例。图7的标准化图像通过从校准的可见光图像中消除亮度值被确定。

在块412，颜色分割图像基于标准化图像被确定。颜色分割过程产生标准化图像的修改版本，其中颜色分割图像使用与标准化图像相比减少数目的颜色进行表示。颜色分割处理可以使得标准化图像的相似颜色被表示为颜色分割图像中的相同颜色。在一个实施例中，标准化图像的相似颜色的相邻区域在颜色分割图像中表现为具有统一颜色的单个区域。各种颜色分割技术中的任何一种都可以用于确定标准化图像的颜色分割版本。

图8图示说明示例的颜色分割图像。图8的颜色分割图像可以通过将颜色分割处理应用到图7的标准化图像或其修改版本被确定。

图9图示说明图7的示例标准化图像的详细视图。

图10图示说明图8的示例颜色分割图像的详细视图。

一个实施例的颜色分割处理的结果可以通过比较图9中的标准化图像的详细视图和图10中的颜色分割图像的详细视图被理解。如图9中所显示的，非颜色分割图像中的标记的标记的着色方块之间的边界(比如，边界902)是由多种不同颜色构成的，其是紫色和黄色的不同混合而不只是紫色和黄色的两种主要颜色。如图10中所显示的，颜色分割图像中的标记的着色方块之间的边界(比如，边界1002)仅包括紫色和黄色两种主要颜色而不包括其它颜色。对于非颜色分割图像中是“混合”颜色的每个区域，颜色分割图像中的相同区域的颜色被修改为紫色或黄色。

在一个实施例中，颜色分割过程产生颜色分割图像，如图8的颜色分割图像所示，其中颜色分割图像的标记区域仅包括两种颜色，并且颜色分割图像的背景是完全相同的颜色。

在块414，设计几何形状基于颜色分割图像被确定。设计几何形状是指示一个或多个设计区中的、产品的几何形状的信息。例如，设计几何形状可以指示设计被扭曲、倾斜、折叠或遮住的地方。设计几何形状信息可以包括标记网格图像，其中网格线的形状指示产品的几何形状。

图11是基于图8的颜色分割图像确定的示例标记网格图像。标记网格中线的形状指示设计区中的、产品的几何形状。例如，图11的线1102是倾斜的而不是直的，指示产品在相应位置处是倾斜的。此信息可以指示当被打印到定制产品的设计区域中时定制设计将如何呈现。在可以有多个设计区的实施例中，可以确定针对每个设计区的设计几何形状信息。虽然标记网格图像被示为大致平行的线，但是在其它实施例中，标记网格图像可以是基于标记确定的各种不同形状和/或图案中的任何一种。

在块416，设计位置信息基于颜色分割图像被确定。设计位置信息指示各个设计区域的位置。在可以有多个设计区的实施例中，可以针对每个设计区确定设计位置信息。设计屏蔽图像是指示一个或多个设计区的位置的图像。在一个实施例中，设计屏蔽图像是双色图像，其中在设计屏蔽图像中颜色分割图像的整个标记区域被表示为一种颜色，并且颜色分割图像的剩余部分被表示为与标记区域颜色不同的另一种颜色。因此，特定设计区域基于颜色被指示。

图13是可以基于图8的颜色分割图像被确定的示例设计屏蔽。在图13中，“设计屏蔽”是图像的白色区域，其表示产品的可定制设计区。不是可定制设计区域的每个区域都被着色为黑色。在其它实施例中，设计位置信息可以是包括不止是两种颜色并且不同于黑色和白色的颜色的图像。

图12图示说明基于颜色分割图像确定设计屏蔽图像和标记网格图像的示例处理。在一些实施例中，可以根本不进行颜色分割，并且设计屏蔽图像和标记网格图像可以基于标准化(图像)本身被确定。

在块1202，第一所选颜色图像基于颜色分割图像被确定。在块1204，第二所选颜色图像基于颜色选择图像被确定。在一个实施例中，除了颜色分割图像中的所选颜色的每个区域在所选颜色图像中被着色为白色，同时所选颜色图像的剩余部分被着色为黑色之外，基于颜色分割图像确定的所选颜色图像与颜色分割图像相同。因此，“所选”颜色的每个区域由于其白色着色被指示为所选。在其它实施例中，不同于黑色或白色的颜色可以用于指示所选颜色的区域和非所选颜色的区域。

在第一所选颜色图像中，双色标记中的第一颜色被选为所选的颜色。在第二所选颜色图像中，双色标记中的另一颜色被选为所选颜色。图14是基于图8的颜色分割图像确定的示例的第一所选颜色的图像，其中第一颜色是紫色。在颜色分割图像中被着色为紫色的每个区域在图8的第一所选颜色图像中被着色为白色，并且图8的第一所选颜色图像的剩余部分被着色为黑色。然后，第一所选颜色图像的白色部分可以通过像素被扩展以确保覆盖。

图15基于图8的颜色分割图像确定的示例的第二所选颜色的图像，其中第二颜色是黄色。在颜色分割图像中被着色为黄色的每个区域在图8的第二所选颜色图像中被着色为白色，并且图8的第二所选颜色图像的剩余部分被着色为黑色。然后，第二所选颜色图像的白色部分可以通过像素被扩展以确保覆盖。

在块1206，第一所选颜色图像和第二所选颜色图像关于第一颜色的并集被确定，产生设计屏蔽图像。在第一所选颜色图像或第二所选颜色图像中是白色的每个区域在第一颜色并集图像中是白色并且该并集图像的剩余部分是黑色。该结果是设计屏蔽图像(比如，图12的设计屏蔽图像)，其中设计区域使用与图像的剩余部分的黑色不同的白色进行表示。然后，设计屏蔽图像的黑色部分可以通过像素被扩展以使像素精度恢复到屏蔽。

在一个实施例中，设计屏蔽图像与第一所选颜色图像和第二所选颜色图像的大小和分辨率相同并且设计图像最初是黑色。对于第一所选颜色图像中的像素是白色或第二所选颜色图像中的像素是白色的每个像素处，设计屏蔽图像的相应像素被着色为白色。在其它实施例，不同于白色的(一种或多种)颜色可以用于指示对特定位置的选择。

在块1208，第一所选颜色图像和第二所选颜色图像关于第一颜色的交集被确定，产生标记网格图像。在第一所选颜色图像或第二所选颜色图像中都是白色的每个区域在第一颜色交集图像中是白色，并且该交集图像的剩余部分是黑色。该结果是标记网格图像(比如，图11的标记网格图像)，其中网格的线对应于颜色分割图像的标记中的方块之间的边界的形状。使用此方法确定的标记网格图像可以指示在颜色分割图像中第一颜色的(一个或多个)区域邻近第二颜色的(一个或多个)区域的位置。在其它实施例中，两种颜色的区域相邻近的位置可以使用其它方法被确定。

在一个实施例中，网格图像与第一所选颜色图像和第二所选颜色图像的大小和分辨率相同并且网格图像最初是黑色。对于第一图像中的所选像素邻近第二图像中的所选像素的每个像素处，网格图像的相应像素被着色为白色或另一种颜色。

在块426，设计渲染对象基于确定的图像亮度信息、确定的设计几何形状和确定的设计位置信息被确定。亮度信息可以是亮度映射，设计几何形状信息可以是标记网格图像的矢量或多边形表示，并且设计位置信息可以是设计屏蔽图像。设计渲染对象包括基于产品渲染图像的设计部分的指令。如红外和/或可见光图像照片中所显示的，定制图像的设计部分可以描述被拍照产品的自然阴影和轮廓。

图16图示说明由定制图像渲染资产构建的示例定制图像。图16的图像可以通过定制图像渲染资产被渲染，定制图像渲染资产是基于图5的示例采集红外图像和图6的示例采集可见光图像自动确定的。设计1602可以是由客户选择的定制设计并且被提供为对定制图像渲染资产的输入。如图16中所显示的，由客户提供的定制设计可以是没有轮廓线和阴影的平面图像。定制图像渲染资产可以渲染设计以具有与红外图像照片和/或可见光照片中描述的标记相同的形状和阴影。例如，定制图像的设计可以在与该标记在可见光图像中被扭曲、倾斜、折叠或遮住的位置相同的位置呈现被扭曲、倾斜、折叠或遮住。

设计几何形状信息(比如，标记网格图像)可以用于对客户提供的平面设计图像的修改版本进行渲染，其中该修改版本描述被拍照的产品的几何形状和轮廓。例如，设计图像的网格可以被映射到标记网格图像的网格，其继而可以被映射到最终定制图像的网格。用于基于设计几何形状信息确定对设计图像的修改的示例处理在美国专利no.8,174,152和合并于本文的其它专利申请和专利中被描述，但是其它处理可以用于不同实施例中。

将包含设计的最终定制图像的区域可以基于设计位置信息被确定。例如，在其中设计区域被表示为白色而设计屏蔽图像的剩余部分是黑色的设计屏蔽中，该设计可以仅在最终定制图像的在设计屏蔽图像中是“白色”的区域中被渲染。

最终定制图像中设计的亮度可以基于亮度信息被确定，该亮度信息是基于红外照片并且基于客户提交的设计图像确定的。例如，定制图像的亮度可以是通过基于标识红外图像中每个像素的亮度的亮度映射确定的值调整的设计图像的亮度。此修改可以使得设计图像具有被拍照产品的自然阴影。

产品渲染对象的指令可以接受输入。在一个实施例中，对设计的着色可以基于客户提供的产品颜色选择进行调整。如果客户提供的产品颜色选择是深色，(一个或多个)设计区的颜色可以被提亮以更准确地表示如果被压印到深色产品上该设计看起来如何。

在块420，定制图像的背景区域的位置被确定。定制图像的背景区域是通过背景渲染对象渲染的图像的背景部分。在一个实施例中，产品区域的位置是通过将具有最接近颜色分割图像中的基准色(比如，白色)的颜色的分割图像的区域标识为背景区域而确定的。

被渲染的定制图像的背景根据不同实施例可以是各种颜色、图案、或设计。在一些实施例中，对应于定制资产的产品的制造商是与确定定制图像的在线销售商不同的实体。对应的制造商可以选择特定背景颜色并且所选的颜色可以被提供作为对产生定制图像资产的处理的输入。因此，定制图像渲染资产的指令可以使背景是所选的颜色、设计、或图案。

在块430，背景渲染对象被确定。背景渲染对象包括用于渲染定制图像的背景部分的指令。基于背景区域的确定位置和所选的背景颜色、图案或设计，或者如果未接收到选择则基于缺省背景颜色、图案或设计，背景渲染对象被产生。

在块418，定制图像的产品区域的位置被确定。在一个实施例中，产品区域的位置通过将具有最接近白色的颜色的分割图像的区域标识为不同于所标识的背景区域而确定的。在其它实施例中，可以使用不同于白色的基准色。

在块428，产品渲染对象被确定。在一个实施例中，产品渲染对象基于图像亮度信息、产品区域的确定位置、和颜色-亮度映射被确定。

亮度信息例如可以指示产品区域中每个像素的亮度，其可以基于红外图像被确定。颜色-亮度映射可以是颜色曲线，其标识多个色差(colorshade)并且为每个色差指示相应亮度值。在一个实施例中，对于产品区域中的每个像素，特定颜色通过下面步骤被确定以在像素上渲染：(1)基于亮度映射确定特定位置的亮度值，然后(2)将对应于确定的亮度值的颜色曲线的色差选为特定颜色。用于产品渲染对象的指令然后可以包括在定制图像的特定像素处渲染特定颜色的指令。因此，如在红外和可见光图像照片中所显示的，定制图像的产品部分可以描述被拍照产品的阴影和轮廓线。

产品渲染资产的指令可以被配置为接收输入。例如，特定颜色曲线可以基于客户提供的产品颜色选择被选择，其中对产品渲染对象的确定是基于该特定颜色曲线的。客户可以选择特定颜色作为定制产品的产品颜色，并且因此定制产品可以使得产品是所选颜色。

在块422，定制图像的模型区域被确定。在一个实施例中，模型区域的位置通过标识在排除被标识的(一个或多个)设计区域、产品区域、和背景区域之后剩余的颜色分割图像的区域被确定。在一个实施例中，在对颜色值无任何修改或几何调整的情况下，定制图像的模型区域与可见光图像的模型区域相同。在块424，模型区域的rgb值基于可见光图像被确定。在块432，模型渲染对象基于所确定的rgb值和模型区域的确定位置被确定。如在定制图像的模型区域中所确定的，模型渲染对象可以包括渲染可见光图像的rgb值的指令。

在一个实施例中，产品渲染对象、背景渲染对象、和模型渲染对象的指令在设计渲染对象的指令之前被执行。产品渲染对象指令、背景渲染对象指令、和模型渲染对象指令的执行可以产生没有标记和没有设计的无标记产品图像，比如，图17的示例无标记产品图像。定制图像渲染资产可以包括无标记产品图像和基于该无标记产品图像渲染描述设计的定制图像的指令。

4.定制图像显示

在一个实施例中，第一定制图像可以被显示给用户，并且响应于用户指定进一步定制，更新的定制图像可以被显示给用户。当从用户接收到定制输入时，定制图像资产能够渲染更新的定制图像。用户可以是购买可定制产品的客户。

网络服务器可以存储从各个视点渲染同一产品的定制图像的指令。同一资产能够对多幅定制图像进行渲染，每幅定制图像从不同视点描述同一产品。在另一个实施例中，多个定制图像渲染资产可以与同一产品相关联，并且每个资产可以从不同视点对描述产品的定制图像进行渲染。

用户可以为定制图像指定特定视点，或可以为用户自动选择特定视点。例如，用户可以指定特定定制并且与该特定定制相关联的特定视点可以自动被选择。定制图像渲染指令的特定组可以响应于该定制的用户规格被选择，其中定制图像渲染指令能够从该特定自动被选择的视点渲染该定制。例如，用户可以指定将被压印到包的侧面的图案。此定制可以与侧视图定制图像相关联，因为该特定定制可能是最好从侧面视角进行查看。因此，响应于此定制的用户规格，能够渲染侧视图定制图像的特定定制图像渲染资产可以响应于该用户规格被选择，并且产生的定制图像可以被显示给用户。

特定用户选择可以使得多个不同定制图像渲染资产的指令被执行。在一个实施例中，用户目前使用相同图形界面为多个可定制产品提供定制，该图形界面显示每个产品的单独定制图像。例如，用户可以使用显示每个产品的定制图像的单个图形界面同时定制棒球t恤衫、背心装和短袖衬衫。用户可以指定特定定制并且作为响应，各种产品的每个的定制图像可以更新。每个产品可以对应于单个定制图像渲染资产并且响应于接收该定制的用户规格，网络服务器可以使得多个定制图像渲染资产的每个渲染相应产品的更新定制图像。例如，用户可以指定特定设计用于压印到衬衫前面。作为响应，用于棒球t恤衫的定制图像渲染资产、用于背心装的定制图像渲染资产、用于短袖衬衫的定制图像渲染资产的指令可以全部被执行。产生的不同类型的衬衫的定制图像可以被显示在用户计算机上，其中每个定制图像在衬衫前面显示相同设计。

5.实现机构-硬件概述

根据一个实施例，本文描述的技术通过一个或多个专用计算装置被实施。该专用计算装置可以被硬连线以执行该技术，或可以包括被持续地编程以执行该技术的数字电子装置(比如，一个或多个专用集成电路(asic)或现场可编程门阵列(fpga))，或可以包括一个或多个通用硬件处理器，该一个或多个通用硬件处理器被编程以依据固件、存储器、其它存储装置或其组合中的程序指令执行该技术。此专用计算装置也可以将定制的硬连线逻辑、asic、或fpga与定制程序设计相组合以实现该技术。该专用计算装置可以是桌上计算机系统、便携式计算机系统、手持装置、网络装置或包括硬连线和/或程序逻辑以实施该技术的任何其它装置。

例如，图18是图示说明计算机系统1800的框图，在其上可以实现本发明的实施例。计算机系统1800包括总线1802或用于传输信息的其它通信机构，和与总线1802耦合以处理信息的硬件处理器1804。硬件处理器1804例如可以是通用微处理器。

计算机系统1800还包括耦合到总线1802以存储由处理器1804执行的指令和信息的主存储器1806比如，随机存取存储器(ram)或其它动态存储装置。主存储器1806还可以用于在由处理器1804执行的指令执行期间存储临时变量或其它中间信息。此类指令，当被存储在处理器1804可访问的存储介质中时，将计算机系统1800变为被定制来执行该指令中指定的操作的专用机器。

计算机系统1800进一步包括耦合到总线1802以存储用于处理器1804的指令和静态信息的只读存储器(rom)1808或其它静态存储装置。存储装置1810(比如，磁盘或光盘)被提供并且被耦合到总线1802以存储信息和指令。

计算机系统1800可以通过总线1802被耦合到显示器1812(比如，阴极射线管(crt)以显示信息给计算机用户。包括字母数字和其它键的输入装置1814被耦合到总线1802以传输信息和命令选择到处理器1804。另一种类型的用户输入装置是光标控制器1816(比如，鼠标、追踪球或光标方向键)用于传输方向信息和命令选择到处理器1804并且用于控制显示器1812上的光标移动。该输入装置一般具有在两个轴上的两个自由度，第一轴(如，x)和第二轴(如，y)，允许装置指定平面中的位置。

计算机系统1800可以使用定制的硬连线逻辑、一个或多个asic或fpga、固件和/或程序逻辑实现本文描述的技术，其中定制的硬连线逻辑、一个或多个asic或fpga、固件和/或程序逻辑与计算机系统组合使得或将计算机系统1800编程为专用机器。根据一个实施例，响应于处理器1804执行包含在主存储器1806中的一个或多个指令的一个或多个序列，本文的技术通过计算机系统1800被执行。这些指令可以从另一个存储介质(比如，存储装置1810)被读进主存储器1806。包含在主存储器1806中的指令序列的执行使得处理器1804执行此处所述的程序步骤。在替换实施例中，硬连线电路可以被用于代替软件指令或与软件指令组合。

本文使用的术语“存储介质”指存储使机器以特定方式运作的数据和/或指令的任何介质。此存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘或磁盘，比如，存储装置1810。易失性介质包括动态存储器，比如，主存储器1806。常见形式的存储介质包括例如软盘、软磁盘、硬盘、固态驱动、磁带或任何其它磁数据存储介质、cd-rom、任何其它光数据存储介质、任何具有孔状图案的物理介质、ram、prom和eprom、flash-eprom、nvram、任何其它存储芯片或存储器盒。

存储介质与传输介质不同但可以与传输介质结合使用。传输介质参与在存储介质之间传输信息。例如，传输介质包括同轴电缆、铜线和光纤，包括其包括总线1802的电线。传输介质还可以采用声波或光波的形式，比如，在无线电波和红外数据通信期间产生的声波或光波。

可以包括运载一个或多个指令的一个或多个序列到处理器1804以执行的各种形式的介质。例如，指令可以最初被承载在远程计算机的磁盘或固态盘上。远程计算机可以讲指令加载到其动态存储器并且使用调制解调器通过电话线发送该指令。本地计算机系统1800的调制解调器能够接收电话线上的数据并且使用红外发射器将数据转换为红外信号。红外检测器能够接收承载于红外信号中的数据，并且合适的电路能够把数据放置在总线1802上。总线1802运载数据到主存储器1806，处理器1804从主存储器1806检索并且执行指令。主存储器1806接收的指令可以可选地在由处理器1804执行之前或之后被存储在存储装置1810中。

计算机系统1800还包括耦合到总线1802的通信接口1818。通信接口1818提供耦合到网络链路1820的双向数据通信，其中该网络链路1820被连接到局域网络1822。例如，通信接口1818可以是集成服务数字网络(isdn)卡、电缆调制解调器、卫星调制解调器或调制解调器，以提供到相应类型的电话线的数据通信连接。作为另一个示例，通信接口1818可以是局域网(lan)卡，以提供到兼容lan的数据通信连接。无线链路也可以被实现。在任何此实现中，通信接口1818发送并且接收承载表示各种类型信息的数字数据流的电子、电磁或光信号。

网络链路1820一般通过一个或多个网络提供数据通信到其它数据装置。例如，网络链路1820可以通过局域网1822提供到主计算机1824或由互联网服务提供商(isp)1826操作的数据设备的连接。isp1826继而通过世界范围分组数据通信网络(现在通常被称为“因特网”)1828提供数据通信服务。局域网1822和因特网1828都使用承载数字信号流的电子、电磁或光信号。通过各种网络的信号以及在网络链路1820上并通过通信接口1818的信号是示例形式的传输介质，其中这些信号从计算机系统1800运载数字数据或运载数字数据到计算机系统1800。

计算机系统1800可以通过(一个或多个)网络、网络链路1820和通信接口1818发送消息并且接收数据，包括程序代码。在因特网示例中，服务器630可以通过英特网1828、isp1826、局域网1822和通信接口1818为应用程序发射请求代码。

接收的代码随着其被接收可以由处理器1804执行，和/或被存储在存储装置1810或其它非易失性存储器用于以后执行。

在上述说明书中，本发明的实施例参考可以从实施到实施变化的多个具体细节被描述。因此，说明书和附图被认为是说明性的而不是限制性的。本发明范围的独有和排他的指示和申请人想要保护的本发明范围是本申请所提出的一组权利要求的文字及其等同范围，这些权利要求提出的具体形式包括任何随后的修正。