专利名称：根据包装的商品产品图像自动生成3d模型的制作方法
根据包装的商品产品图像自动生成3D模型
背景技术：
本发明的技术领域涉及用于3D交互体验和3D交互仿真的可伸缩内容创建，其中， 所述3D交互体验和3D交互仿真包括但不限于视频游戏和在线购物/浏览。计算机3D建模技术被用来为交互显示、商店内部的3D仿真构建3D包装的商品。 具体而言，3D建模被用来实现浏览产品、产品商店/货架环境的终端用户体验和“挑出”产品来浏览以及在线阅读产品包装文本的体验。在构建包装的商品的3D模型以在商店内显示的应用中，使用了两种策略来构建货架(包装商品)3D模型内容。第一种策略使用AutoDesk 3DS Max 、Maya 或其他通用建模应用，根
据照片和产品测量信息，使用手工创建3D模型。尽管可以计划和组织用于系统地产生较大数量模型的工作流，但是工作的单元仍然是基于形状的手工建模和纹理映射(texture map)的手工创建。第二种策略使用通用基于照片的3D建模应用。存在用于解决从物理对象创建 3D模型的一般问题的各种可商业获得的软件和方法。该软件的一个例子是“Mrata Foto 3D”，其“允许人使用标准数字相机来将真实世界对象获取为完全纹理化的3D模型”。见可在 www. strata, com/products/strata_3d_cx_suite/strata_foto_3d_cx/ 获取的产品信息。产品(包装的商品)的通用照片建模良好地用于产生少量的产品模型。该技术的主要局限是根据多张照片创建的3D模型需要大量的人工劳动来纠正缺陷和重新调整几何图形以用于在线3D应用。已有解决方案的局限是要基于一定量的手工(熟练3D美工)工作，这些工作是处理3D模型以用于计算机应用所需的。因为(在复杂的、通用3D建模应用中)每一个模型必须部分地或完全地通过手工来创建，所以基于该处理的任何建模工作流是不可伸缩的。使用基于3D模型的照片建模系统所观察到的另一个问题是几何网格的不规则性。不规则的网格使得模型的下游尺寸调整/处理变得更加困难，并且会将工作流限制到将来对模型内容的手工编辑和手工调整的循环中。现有技术的缺点是依赖于内容产生过程中对模型的下游编辑。这成为问题的原因是:A)输入数据是随着新图像而不断地被更新的，以及B)输出规范可能由于在线购物者体验应用中的新的要求/改进而改变。依赖手工编辑会将内容产生限制到持续手工编辑的循环中。当需要很大的改变时，旧的输出被抛弃并且必须第二(或第三或第N)次产生内容创建的全部成本。
发明内容
本发明要解决现有技术的上述问题。具体地说，本发明提供自动过程，来生成适合在线可视化要求、交互3D体验应用(像交互3D购物体验、交互3D视频游戏等)的包装商品的3D模型。本发明通过理解能够根据几何图元(像柱体或盒)对大部分产品包装进行建模而解决本主题的问题，其中几何图元可以变形以根据如标准化产品照片所获取的产品前视图、侧视图和俯视图来获取产品的精确的3D形状(或对象轮廓)。在一个实施例中，申请人利用已有的高分辨率包装商品产品图像的大型库，所述大型库用于支持2D可视货架图制定(planogramming)行业。在制定货架图时，根据编码在商店货架“货架图”中的标准化货架布局信息来创建商店货架布局的2D表示。这意味着存在链接到包括精确产品尺寸测量的数据库的视点“校准的”产品照片的大型库。在该实施例中，本发明系统从可商业获得的图像库(或经类似处理的具有图像掩模层的原始产品2D图像)开始，提取精确的产品形状信息，根据该形状信息和形状类别数据生成对应的3D表示，然后使用平面投影将原始照片映射回该3D表示。图像掩模层将照片分离为前景和背景。前景包括作为产品2D图像的部分的任何像素。背景包括其中照片场景中的背景或环境空间是可见的任何像素，这些像素不是产品2D图像的部分。用于将照片/2D图像中的前景和背景分离开的技术是公知的，并且本发明不依赖任何特定的图像掩模层方法。本发明的实施例的总体目标是根据2D图像创建3D模型，并在不需要对该模型进行下游编辑的情况下产生元数据。该方法的关键益处是能够运行(或再运行)模型处理以适应新的或更新后的图像内容或对模型输出进行改变(和纠正)。本发明模型处理的首要优点包括自动、简单、降低了人力劳动、迅速和再现性、以及标准化的3D模型输出。第二个优点包括能够设置和改变模型输出参数。这意味着能够容易地生成具有不同网格和图像尺寸或类型的高质量3D模型。此外，具有照片和产品尺寸测量的数据库可以变成可接受的、高分辨率的3D产品(包装商品)模型，而不需要对3D数据进行手工操作或建模。体现本发明的计算机实现的3D建模方法包括访问主题消费商品产品的产品数据，所述产品数据包括所述主题消费商品产品的 2D图像数据和所述主题消费商品产品的形状信息；从所述产品数据中提取所述形状信息，所述提取包括获取所述消费商品产品的2D 轮廓形状(即图像掩模)和获取所述主题消费商品产品的3D形状类别(例如分配或以其他方式提供)；使用所获取的2D轮廓形状和3D形状类别，生成(或得到)详细的3D形状图；根据所获取的3D形状类别，通过以下步骤生成所述主题消费商品产品的3D网格确定所述详细的3D形状图的一系列的横截面区，每一个横截面区具有相对于所述主题消费商品产品的纵轴的各自的横截面，其中给定横截面区的横截面与以下不同(i) 系列次序中的直接后继横截面区的各自的横截面(如果有的话)以及(ii)系列次序中的直接在前横截面区的各自的横截面(如果有的话)，以使得横截面从一个横截面区到系列次序中的下一个横截面区而改变；以及使用所述一系列的横截面区，定义所述主题消费商品产品的所述3D网格；以及根据所述2D图像数据在所述主题消费商品产品的所述3D网格图像上进行投影， 所述投影形成所述主题消费商品产品的3D模型，所形成的3D模型被配置以用于输出显示。
所述详细的3D形状图至少从前部和后部视点表示所述主题消费商品产品的正视地正确3D对象轮廓/轮廓形状。所述形状信息包括所述主题消费商品产品的宽度、高度和深度测量，并且包括所述主题消费商品产品的3D形状类别的指示。此外，所述主题消费商品产品是包装的商品， 所述包装的商品具有任意一种类型或类型组合的容器，所述类型包括一般地柱状瓶，具有泵动式配送端的一般柱状瓶，一般地管状配送管，实际地盒状纸箱，一般地枕头状的袋、包或囊，以及具有平端(例如用于直立的底端)的一般地类似袋的容器包或囊。在实施例中，定义所述主题消费商品产品的3D网格的步骤还包括确定所述主题消费商品产品沿着所述纵轴的深度剖面。确定深度剖面中使用的技术可以包括形状生成。在一些实施例中，确定所述详细的3D形状图的一系列的横截面区的步骤包括曲线拟合。根据本发明的一个方面，投影步骤使用平面投影来将所述主题消费商品产品的2D 图像投影到所生成的网格上。在一些实施例中，网格生成将所述详细的3D形状图、所确定的一系列的横截面区以及可用的深度剖面进行组合。深度剖面可以是主题实例的深度剖面，或者是与所述主题消费商品产品的3D形状类别相关联的深度剖面。在另一个实施例中，用于3D建模的计算机装置实施上述方法步骤。例如，提取器访问来自数据存储设备的主题消费商品产品的产品数据并且提取形状数据(例如，2D图像掩模)。提取器还获取主题消费商品产品的3D形状类别并得到详细的3D形状图。根据该详细的3D形状图，网格生成器根据所确定的3D形状类别生成主题特定的网格。图像映射器(或建模器的类似操作)将2D图像投影到所生成的网格上并且形成主题消费商品产品的3D模型。
根据对如附图中所说明的本发明的示例性实施例的更具体的描述，以上内容将是显而易见的，在附图中，类似的标号贯穿不同视图指代相同部件。附图不一定是按比例绘制的，重点在于说明本发明的实施例。图1A-1C是本发明的一个实施例的框图和示意图。图2是在一个实施例中的3D形状类别的示意视图。图3A-3C分别是一个实施例中管类别、袋(sack)类别和囊(pouch)类别的深度剖图4是一个实施例中唧筒柄类别的主题的详细的3D形状图，其具有支持的3D形状/对象轮廓文件。图5和6是一个实施例中的网格生成的示意视图，其中确定和使用一系列横截面区。
图7A-7C是平面图像映射测试例子，其是本发明的建模技术的示意说明从主题 (酒杯)的初始图像到该主题的网格纹理文件、到初始图像被投影到主题网格上的3D模型。图8A-8B分别是体现本发明的计算机系统的示意视图和框图。
具体实施例方式下文是本发明的示例性实施例的描述。对于购物/商店体验应用，关键的考虑是需要构建对整个杂货店的大小——大约 50，000到80，000产品模型为可伸缩的包装商品模型创建过程。这使得本申请人认识到 这些可视化要求可接受的建模水平，可以通过使用2D图像来生成在其上重投影2D图像以为每一个可获得的产品图像创建定制的高分辨率3D模型的3D网格来实现。图IA和IB是该方法的说明并且示出了体现本发明的计算机系统100的概述。计算机系统100包括数据存储设备11和由下文进一步详细描述的一个或多个处理模块21、 31、41形成的3D建模器13。数据存储设备11保存各种包装商品(例如，零售产品)的产品数据。对于每一个产品(特定的包装)，产品数据包括(i)主题产品的前部、后部、顶部和/或侧部的2D图像，(ii)包装产品的高度、宽度和深度的尺寸测量，以及(iii)产品的 3D形状类型或类别的指示。在一个实施例中，2D图像是来自现有的图像库的产品照片或类似地经处理的原始产品图像。通常地，图像库文件的阿尔法层或通道提供各个产品/包装的2D图像掩模 (mask)或2D形状映射(shape map)(原始2D形状数据)。该阿尔法层/图像掩模层将照片分离为前景和背景。前景包括是产品2D图像的部分的任何像素，而背景是其中照片场景中的背景或环境空间是可见的剩余的像素(不是产品2D图像的部分的任何像素)。用于将照片/2D图像中前景和背景分离开的技术是公知的，并且本发明的实施例不依赖由任何特定方法形成的图像掩模。返回图1，数据存储设备11使用到库文件的文件路径名、指针/链接等引用产品表10中可获得的产品图像。产品表10还存储每一个产品的属性，例如产品尺寸(大小测量)、3D形状类别指示和例如与单独包装/产品相关联的名称和UPC(通用产品代码)的其他产品元数据。表1是数据存储设备11的这种产品表10的示例。
权利要求
1.一种计算机实现的3D建模方法，包括访问主题消费商品产品的产品数据，所述产品数据包括所述主题消费商品产品的2D 图像数据和所述主题消费商品产品的形状信息；从所述产品数据中提取所述形状信息，所述提取包括获取所述消费商品产品的2D轮廓形状和所述主题消费商品产品的3D形状类别；使用所获取的2D轮廓形状和3D形状类别，生成详细的3D形状图，所述详细的3D形状图至少从前部和后部视点表示所述主题的正视地正确轮廓形状；根据所获取的3D形状类别，从所述详细的3D形状图生成所述主题消费商品产品的3D 网格；以及根据所述2D图像数据在所述主题消费商品产品的所述3D网格图像上进行投影，所述投影形成所述主题消费商品产品的3D模型，所形成的3D模型被配置以用于输出显示。
2.根据权利要求1所述的方法，其中所述形状信息包括所述主题消费商品产品的宽度、高度和深度测量，并且包括所述主题消费商品产品的3D形状类别的指示。
3.根据权利要求1所述的方法，其中生成所述主题消费商品产品的3D网格的步骤包括确定所述详细的3D形状图的一系列的横截面区，每一个横截面区具有相对于所述主题消费商品产品的纵轴的各自的横截面，其中给定横截面区的横截面与以下不同(i)系列次序中的直接后继横截面区的各自的横截面以及(ii)系列次序中的直接在前横截面区的各自的横截面，以使得横截面从一个横截面区到系列次序中的下一个横截面区而改变； 以及使用所述一系列的横截面区，定义所述主题消费商品产品的所述3D网格。
4.根据权利要求3所述的方法，其中定义所述主题消费商品产品的所述3D网格的步骤还包括确定所述主题消费商品产品沿着所述纵轴的深度剖面。
5.根据权利要求4所述的方法，其中确定深度剖面的步骤使用形状生成。
6.根据权利要求3所述的方法，其中确定所述详细的3D形状图的一系列的横截面区的步骤包括曲线拟合。
7.根据权利要求3所述的方法，其中生成网格的步骤包括将所述详细的3D形状图、所确定的一系列的横截面区以及所述主题消费商品产品的所确定的3D形状类别的深度剖面进行组合。
8.根据权利要求3所述的方法，其中生成网格的步骤包括将所述详细的3D形状图、所确定的一系列的横截面区以及所述主题消费商品产品的深度剖面进行组合。
9.根据权利要求1所述的方法，其中投影步骤使用平面投影来将所述主题消费商品产品的2D图像投影到所生成的网格上，并且由此形成所述主题消费商品产品的所述3D模型。
10.根据权利要求1所述的方法，其中所述主题消费商品产品是包装的商品。
11.根据权利要求10所述的方法，其中所述包装的商品具有任意一种类型或类型组合的容器，所述类型包括一般地柱状瓶，具有泵动式配送端的一般柱状瓶，一般地管状配送管，实际地盒状纸箱，一般地枕头状的袋或囊，以及具有平端的一般地类似袋的容器或囊。
12.一种基于计算机的3D建模装置，包括主题消费商品产品的产品数据的源，所述产品数据包括所述主题消费商品产品的2D 图像数据和所述主题消费商品产品的形状信息；提取器，其访问所述源并且从所述产品数据中提取所述形状信息，所述提取器获取所述消费商品产品的2D轮廓形状和所述主题消费商品产品的3D形状类别；使用所获取的2D轮廓形状和3D形状类别，生成详细的3D形状图，所述详细的3D形状图至少从前部和后部视点表示所述主题消费商品产品的正视地正确轮廓形状；网格生成器，其耦合来接收所述详细的3D形状图，并且根据所获取的3D形状类别，所述网格生成器从所述详细的3D形状图生成所述主题消费商品产品的3D网格；以及建模器，其根据所述2D图像数据在所述主题消费商品产品的所述3D网格图像上进行投影，所述投影形成所述主题消费商品产品的3D模型，所形成的3D模型被配置以用于输出显不。
13.根据权利要求12所述的装置，其中所述形状信息包括所述主题消费商品产品的宽度、高度和深度测量，并且包括所述主题消费商品产品的3D形状类别的指示。
14.根据权利要求12所述的装置，其中所述网格生成器通过以下步骤生成所述主题消费商品产品的所述3D网格确定所述详细的3D形状图的一系列的横截面区，每一个横截面区具有相对于所述主题消费商品产品的纵轴的各自的横截面，其中给定横截面区的横截面与以下不同(i)系列次序中的直接后继横截面区的各自的横截面以及(ii)系列次序中的直接在前横截面区的各自的横截面，以使得横截面从一个横截面区到系列次序中的下一个横截面区而改变； 以及使用所述一系列的横截面区，定义所述主题消费商品产品的所述3D网格。
15.根据权利要求14所述的装置，其中所述网格生成器定义所述主题消费商品产品的所述3D网格还包括确定所述主题消费商品产品沿着所述纵轴的深度剖面。
16.根据权利要求15所述的装置，其中确定深度剖面使用形状生成。
17.根据权利要求14所述的装置，其中确定所述详细的3D形状图的一系列的横截面区包括曲线拟合。
18.根据权利要求14所述的装置，其中所述网格生成器将所述详细的3D形状图、所确定的一系列的横截面区以及所述主题消费商品产品的所确定的3D形状类别的深度剖面进行组合。
19.根据权利要求14所述的装置，其中所述网格生成器将所述详细的3D形状图、所确定的一系列的横截面区以及所述主题消费商品产品的深度剖面进行组合。
20.根据权利要求12所述的装置，其中所述建模器使用平面投影来将所述主题消费商品产品的2D图像投影到所生成的网格上，并且由此形成所述主题消费商品产品的所述3D 模型。
21.根据权利要求12所述的装置，其中所述主题消费商品产品是包装的商品。
22.根据权利要求21所述的装置，其中所述包装的商品具有任意一种类型或类型组合的容器，所述类型包括 一般地柱状瓶，具有泵动式配送端的一般柱状瓶， 一般地管状配送管， 实际地盒状纸箱， 一般地枕头状的袋、包或囊，以及具有平端的一般地类似袋的容器、包或囊。
全文摘要
一种计算机实现的3D建模方法和装置访问消费商品产品的产品数据。该产品数据包括主题消费商品产品的2D图像数据和主题消费商品产品的形状信息。提取器从产品数据提取包括主题消费商品产品的3D形状类别的形状信息，并且得到详细的3D形状图。该详细的3D形状图表示主题消费商品产品的正视地正确3D轮廓形状。根据确定的3D形状类别，网格生成器从详细的3D形状图生成主题消费商品产品的3D网格。图像映射器将图像投影到3D网格上，所述图像是主题消费商品产品的图像并且来自于2D图像数据。主题消费商品产品的3D模型产生并且被配置以用于在网页上和其他用户交互环境中交互显示。
文档编号G06T17/00GK102236910SQ20111010103
公开日2011年11月9日 申请日期2011年4月20日 优先权日2010年4月20日
发明者R·M·霍尔斯特德 申请人:达索系统公司