用于由电子装置进行交互式图像漫画生成的系统和方法
【技术领域】
[0001] 本发明大体上涉及电子装置。更确切地说，本发明涉及用于由电子装置进行交互 式图像漫画生成的系统和方法。
【背景技术】
[0002] 在最近几十年中，电子装置的使用已变得普遍。确切地说，电子技术的进步已降低 了愈加复杂且有用的电子装置的成本。成本减少和消费者需求已使电子装置的使用剧增， 使得其在现代社会中几乎随处可见。由于电子装置的使用已推广开来，因此需要电子装置 的新的且改进的特征。更确切地说，人们常常寻求执行新功能和/或更快、更有效且以更高 质量执行功能的电子装置。
[0003] -些电子装置（例如，蜂窝式电话、智能电话、数码相机、摄录影机、计算机等）俘 获和编辑图片或图像。举例来说，智能电话可利用集成图像感测装置俘获图像。
[0004] 虽然俘获和编辑图片或图像可能是有益的，但此些过程常常耗时且费力。如可从 此论述观察到，添加图像编辑的新的和/或改进的特征的系统和方法可以是有益的。
【附图说明】
[0005]图1为说明其中可实施用于交互式图像漫画生成的系统和方法的电子装置的一 个配置的框图；
[0006] 图2为说明用于由电子装置进行交互式图像漫画生成的方法的一个配置的流程 图；
[0007]图3说明面部图像和可使用本文中所揭示的系统和方法产生的漫画图像的实例；
[0008]图4说明可使用本文中所揭示的系统和方法产生的基于网格的模型的实例；
[0009] 图5为说明其中可实施用于交互式图像漫画生成的系统和方法的电子装置的更 具体配置的框图；
[0010] 图6为说明用于由电子装置进行交互式图像漫画生成的方法的更具体配置的流 程图；
[0011] 图7为说明用于由电子装置验证手势输入的方法的一个配置的流程图；
[0012] 图8说明垂直夹捏打开手势输入的实例；
[0013] 图9说明垂直夹捏关闭手势输入的实例；
[0014] 图10说明水平夹捏打开手势输入的实例；
[0015] 图11说明水平夹捏关闭手势输入的实例；
[0016] 图12说明面部图像和可使用本文中所揭示的系统和方法产生的漫画图像的另一 实例；
[0017] 图13为说明其中可实施用于交互式图像漫画生成的系统和方法的电子装置的更 具体配置的框图；以及
[0018] 图14说明可在电子装置中利用的各种组件。
【具体实施方式】
[0019] 本发明描述一种用于由电子装置进行交互式图像漫画生成的方法。所述方法包含 检测图像的至少一个特征位置。所述方法还包含基于所述至少一个特征位置产生图像网 格，所述图像网格包括至少一个水平线和至少一个垂直线的栅格。所述方法还包含获得至 少一个手势输入。所述方法还包含基于所述至少一个手势输入确定至少一个漫画动作。所 述方法进一步包含基于所述图像网格、所述至少一个漫画动作和所述图像产生漫画图像。
[0020] 所述图像可为面部图像。所述图像网格的顶点可对应于所述至少一个特征位置。 所述至少一个手势输入可包含触摸输入。所述方法可包含显示所述图像和所述漫画图像中 的至少一者。产生漫画图像可包含将所述至少一个漫画动作应用于所述图像。
[0021] 所述至少一个漫画动作可提供图像网格的至少一个顶点的移位信息。所述至少一 个漫画动作还可提供像素映射，其基于所述移位信息将图像顶点像素映射到对应的漫画图 像顶点像素。产生漫画图像可包含基于所述像素映射在漫画图像中内插其它像素的位置。
[0022] 所述方法可包含验证所述至少一个手势输入。验证所述至少一个手势输入可包含 确定手势输入的运动是否大于运动阈值。
[0023] 所述至少一个手势输入可包含多个手势输入。所述方法可包含确定所述手势输入 相对于彼此的运动。所述方法可包含确定所述手势输入水平地对准。所述方法可包含确定 所述手势输入垂直地对准。
[0024] 所述方法可包含维持漫画动作列表。所述方法可包含将所述至少一个漫画动作添 加到所述漫画动作列表。
[0025] 本发明描述一种用于交互式图像漫画生成的电子装置。所述电子装置包含检测图 像的至少一个特征位置的特征位置检测电路。所述电子装置还包含耦合到所述特征位置检 测电路的图像网格产生电路。所述图像网格产生电路基于所述至少一个特征位置产生图像 网格，所述图像网格包括至少一个水平线和至少一个垂直线的栅格。所述电子装置还包含 获得至少一个手势输入的感测电路。所述电子装置还包含耦合到所述感测电路的漫画动作 确定电路。所述漫画动作确定电路基于所述至少一个手势输入确定至少一个漫画动作。所 述电子装置进一步包含耦合到所述图像网格产生电路和所述漫画动作确定电路的漫画图 像产生电路。所述漫画图像产生电路基于所述图像网格、所述至少一个漫画动作和所述图 像产生漫画图像。
[0026] 本发明描述一种用于交互式图像漫画生成的计算机程序产品。所述计算机程序产 品包含具有指令的非暂时性有形计算机可读媒体。所述指令包含用于致使电子装置检测图 像的至少一个特征位置的代码。所述指令还包含用于致使所述电子装置基于所述至少一个 特征位置来产生图像网格得代码，所述图像网格包括至少一个水平线和至少一个垂直线的 栅格。所述指令还包含用于致使所述电子装置获得至少一个手势输入的代码。所述指令还 包含用于致使所述电子装置基于所述至少一个手势输入确定至少一个漫画动作的代码。所 述指令进一步包含用于致使所述电子装置基于所述图像网格、所述至少一个漫画动作和所 述图像来产生漫画图像的代码。
[0027] 本发明描述一种用于交互式图像漫画生成的设备。所述设备包含用于检测图像的 至少一个特征位置的装置。所述设备还包含用于基于所述至少一个特征位置产生图像网格 的装置，所述图像网格包括至少一个水平线和至少一个垂直线的栅格。所述设备还包含用 于获得至少一个手势输入的装置。所述设备还包含用于基于所述至少一个手势输入确定至 少一个漫画动作的装置。所述设备进一步包含用于基于所述图像网格、所述至少一个漫画 动作和所述图像产生漫画图像的装置。
[0028] 本文中所揭示的系统和方法的一些配置提供交互式图像（例如，面部）漫画生成。 面部漫画生成可指代产生具有来自正常面部图像的经夸示面部分量的面部图像的一或多 个程序。先前，这由艺术家手动地进行，而当今基于计算机的自动面部漫画生成已变得可 用。
[0029] -种基于计算机的面部漫画生成的方法可含有以下步骤。首先，检测输入图像中 的面部特征位置。这些特征可包含眼角、鼻孔、嘴角、下颂和其它面部轮廓点。第二，对于每 一特征位置，通过按比例扩大或缩小输入图像中的此特征位置与平均面部中的对应特征位 置之间的距离而计算漫画面部的新位置。第三，应用纹理扭曲技术将输入图像中的面部的 纹理扭曲到漫画面部。所述纹理扭曲可基于将输入图像中的每一面部特征位置映射到漫画 面部中的对应面部特征位置的变换。
[0030] 然而，用户交互可添加到计算机面部漫画生成以实现用户所要样式的漫画生成 (例如，具有放大眼部和缩小鼻部的特定样式）。本文中所揭示的系统和方法实现交互式面 部漫画生成且可应用于具有触摸屏的移动装置。触摸屏上的不同手指手势可解释为基于网 格的面部漫画生成模型上的不同漫画生成动作，使得用户可容易地通过使用触摸屏上的简 单手指移动而产生有趣的漫画生成。图3提供基于本文中所揭示的系统和方法的漫画生成 的实例。特定来说，图3说明左侧的原始面部图像和其余图像中的三个漫画生成效果。
[0031] 在根据本文中所揭示的系统和方法的交互式面部漫画生成的一个应用情境中，面 部图像可显示在触摸屏上且用户可在触摸屏上使用他的/她的手指将所要漫画生成动作 添加到所述面部图像。每一动作之后，所显示的漫画面部图像可为循序应用于原始面部图 像的先前漫画生成动作的结果。
[0032] 现参看图式描述各种配置，在各图中，相同参考数字可指示功能上类似的元件。可 以广泛多种不同配置来布置和设计如本文中在各图中大体描述和说明的系统和方法。因 此，对如各图中所表示的若干配置的以下更详细描述并不希望限制如所主张的范围，而仅 表不系统和方法。
[0033] 图1为说明用于交互式图像漫画生成的电子装置102的一个配置的框图。如本文 所使用，术语"漫画生成"可指代图像104的操纵。图像漫画生成可操纵所述图像的一或多 个像素。举例来说，图像漫画生成可包含改变像素的大体位置。举例来说，图像漫画生成可 包含改变像素相对于图像104中的其它像素的位置。漫画生成还可包含内插新像素。
[0034] 电子装置102的实例包含智能电话、蜂窝式电话、数码相机、台式计算机、膝上型 计算机、平板计算机、个人数字助理（PDA)、移动装置等。电子装置102可包含特征位置检测 块/模块106、图像网格产生块/模块110、漫画动作确定块/模块116和漫画图像产生块 /模块120中的一或多者。如本文所使用，术语"块/模块"可用于指示特定元件可在硬件 (例如，电路）、软件或两者的组合中实施。举例来说，漫画动作确定块/模块116可在硬件 (例如，电路）、软件或两者的组合中实施。
[0035] 电子装置102可获得图像104。在一些实施方案中，图像104可为面部图像104。 另外或替代地，图像104可为先前产生的漫画图像122。电子装置102可包含（或耦合到） 俘获图像104的图像感测装置（未描绘）。所述图像感测装置可包含图像传感器。图像感 测装置的实例可包含相机和扫描仪。举例来说，智能电话（例如，电子装置102)可包含俘 获面部图像104的相机（例如，图像感测装置）。
[0036]在另一实例中，电子装置102可接收来自另一装置的图像104。举例来说，电子装 置102可经由网络（例如，局域网（LAN)、因特网、蜂窝式网络等）或经由直接链路（例如， 通用串行总线（USB)电缆、蓝牙无线链路等）接收来自另一装置的图像104。
[0037] 图像104(例如，面部图像）可提供到特征位置检测块/模块106和漫画图像产生 块/模块120。经由特征位置检测块/模块106,电子装置102可检测图像104的至少一个 特征位置108。特征位置108可指代图像104的相异特征的位置。举例来说，面部图像104 可包含例如面部的轮廓、眼角、鼻尖、鼻角、鼻孔、嘴角、前额、下颂、耳朵、面颊等特征。特征 位置108可指代组成所述特征的像素的位置。如本文所使用，像素的位置可指代组成所述 图像的像素的坐标（例如，x，y坐标系中）。特征位置确定块/模块106可基于一或多个算 法确定特征位置108。举例来说，特征位置确定块/模块106可分析一或多个像素（例如， 像素着色）以确定图像104的特征位于何处。
[0038]特征位置108(例如，面部特征位置）可提供到图像网格产生块/模块110。图像 网格产生块/模块110可产生图像网格112。图像网格112可包含至少一个水平线和至少 一个垂直线的栅格。所述线可在一或多个顶点处相交。换句话说，图像网格112可包含各 自指示水平线与垂直线的相交的顶点的栅格。
[0039] 在一些实施方案中，图像网格112可基于至少一个特征位置108。举例来说，图像 网格112的一些顶点可对应于不同特征位置108。举例来说，对于面部图像104,图像网格 112可包含对应于多个面部特征位置108(例如，眼角、鼻角、嘴角等）的多个顶点。换句话 说，所述顶点可对应于组成面部特征的图像104的像素。此外，在此实例中，所述特征中的 一或多者可对应于图像网格112的相同线。举例来说，如下文将结合至少图4描述，眼角可 对应于图像网格112的相同水平线。应注意，在一些实施方案中，并非所有顶点可与特征位 置对准。
[0040] 如下文将描述，随着顶点基于手势输入114而移动，对应特征（例如，组成所述特 征的像素）可以类似方式移动。举例来说，如果图像网格112的水平线向上移动，那么对应 于此水平线上的顶点的特征（例如，眼角）也可向上移动。
[0041] 电子装置102可获得手势输入114。如本文所使用，手势输入114可指代作为电 子装置102的输入而接收的运动。举例来说，对象（例如，手指或触笔）可在垂直方向中从 起点移动。此可由电子装置102作为手势输入114而接收。在一些实施方案中，手势输入 114可为触摸输入。举例来说，智能电话（例如，电子装置102)可包含（或耦合到）触摸 屏。在此实例中，用户可在起点处触摸指向触摸屏的对象（例如，手指或触笔）且可在垂直 方向中移动所述对象同时维持与触摸屏的接触。以类似方式，触摸屏可检测水