专利名称：用于将照片转换为漫画图像的方法和设备的制作方法
技术领域：
本发明总体而言涉及绘制系统，具体而言涉及用于生成数字图像的漫画的方法和设备。
背景技术：
现在，如果消费者想要由从数字照相机或手机照相机所获取的照片生成漫画图像，那么用户必须将所述图像转送至桌上型计算机以进行处理。展开漫画图像所需的计算资源对当前的手持式电子设备而言是不可能的。结果，用户没有任何选择来即刻从用手持式设备捕获的数字图像来创建漫画图像。随着手机照相机和其他具有照相机功能的手持式设备的迅速普及，以及共享用这种设备所捕获图像的便利性，用户经常在寻求着具有增强功能的设备。因此，如果用户具有从手持式设备创建图像的能力，那么用户将能够例如利用手机照相机应用将所述漫画图像电邮至收件人，或仅浏览带有照片对象的图像。
结果，就需要一种能够解决现有技术的问题并且能够实现采用与手持式电子图像捕获设备的有限计算资源相兼容的方式来自动地生成数字图像的漫画图像。
发明内容
一般而言，本发明通过提供能够以一种有效的方式生成图像数据的漫画或非写实变换的方法和系统来满足这些需求。应当理解的是本发明能够以众多的方式-包括以方法、系统、计算机可读介质或设备的方式来实现。下面描述了本发明的几个发明实施方式。
在一个实施方式中，提供了一种用于从数字图像创建漫画图像的方法。所述方法开始于捕获数字图像数据。所述方法包括定位所捕获的图像数据内的面部区域。而后，选择与所述面部区域的面部特征相匹配的面部特征模板。其次，用所述面部特征模板替换所述面部特征。而后，将所述面部特征模板变换为漫画或非照片写实图像。
在另一个实施方式中，提供了一种用于定位图像内的面部区域以供后续变换的方法。所述方法开始于生成所述图像的肤色图。所述方法包括识别所述肤色图内的肤色区域。而后，识别所述肤色区域内的水平质心线和垂直质心线。其次，会聚所述水平质心线的水平中心点和所述垂直质心线的垂直中心点于一点。而后，在所会聚的中心点的周围定义所述面部区域。
在又一个实施方式中，提供了一种具有用于从数字图像创建漫画图像的程序指令的计算机可读介质。所述计算机可读介质包括用于捕获数字图像数据的程序指令和用于定位所捕获的图像数据内的面部区域的程序指令。包括用于选择与所述面部区域的面部特征相匹配的面部特征模板的程序指令。提供了用于用所述面部特征模板替换所述面部特征的程序指令和用于变换所述面部特征模板的程序指令。
在又一个实施方式中，提供了一种具有用于定位图像内的面部区域以供后续变换的程序指令的计算机可读介质。所述计算机可读介质包括用于生成所述图像的肤色图的程序指令和用于识别所述肤色图内的肤色区域的程序指令。包括用于识别所述肤色区域内的水平质心线和垂直质心线的程序指令。提供了用于会聚所述水平质心线的水平中心点和所述垂直质心线的垂直中心点于一点的程序指令和用于在所会聚的中心点的周围定义所述面部区域的程序指令。
在另一个实施方式中，提供了一种能够从数字图像创建漫画图像的图像捕获设备。所述图像捕获设备包括图像捕获电路和漫画生成逻辑，其中图像捕获电路用于捕获数字图像数据，漫画生成逻辑被配置成用于变换所述图像数据的面部区域。所述漫画生成逻辑包括被配置成用于识别面部区域的面部特征定位逻辑。所述面部特征定位逻辑还被配置成用于识别所述面部区域内的搜索区域。通过由所述面部特征定位逻辑生成的梯度图像来识别所述搜索区域内的面部特征。所述漫画生成逻辑包括被配置成用于将所述面部特征与模板相匹配的模板匹配逻辑。所述模板被替换到所述图像数据中以替换所述面部特征。在所述漫画生成逻辑中包括图像渐变逻辑。所述图像渐变逻辑被配置成用于利用所替换的模板变换所述图像数据以生成所述漫画。
在又一个实施方式中，提供了一种被配置成用于定位图像数据内的面部特征的集成电路。所述集成电路包括被配置成用于识别面部区域的面部特征定位电路。所述面部特征定位电路被配置成用于识别所述面部区域内的搜索区域。所述面部特征定位电路包括被配置成用于生成所述搜索区域的梯度图像的梯度图像生成电路，其中所述梯度图像的垂直分量被用于定位所述搜索区域内的面部特征。包括被配置成用于将所述面部特征与模板相匹配以用所述模板替换所述面部特征的模板匹配逻辑。在所述集成电路中提供了被配置成用于利用所述所替换的模板变换所述图像数据以生成所述漫画的图像渐变逻辑。
从结合附图的、以举例的方式说明本发明的原理的下述详细描述中，本发明的其他方面和优点将变得显而易见。
通过结合所述附图的下述详细描述，本发明将十分容易理解，并且相同的附图标记表示相同的结构部件。
图1是举例说明用于将图像转换为漫画的下述实施方式结果的高层示意图。
图2是举例说明根据本发明一个实施方式的实现将数字图像转换为漫画图像的关键模块的高层示意图。
图3是举例说明根据本发明一个实施方式的定位图像对象面部区域的技术的简化示意图。
图4是举例说明根据本发明一个实施方式的所述面部区域内的搜索窗口和对应的面部特征定位区域的简化示意图。
图5是举例说明根据本发明一个实施方式的模板匹配方案的简化示意图。
图6是根据本发明一个实施方式的被配置成用于给用户提供从所捕获图像创建漫画图像功能的设备的简化示意图。
图7是举例说明根据本发明一个实施方式的用于从数字图像创建漫画图像的方法操作的流程图。
图8是举例说明根据本发明一个实施方式的用于定位图像内的面部区域以供后续变换的方法操作的流程图。
具体实施例方式
本发明描述了用于从图像数据生成漫画的系统和方法。然而，对本领域的技术人员而言显而易见的是在没有这些具体细节的一些或全部的情况下也可以实现本发明。在其它情况下，不需要详细描述公知的处理操作以避免不必要地搞混本发明。
在此描述的实施方式提供了一种将数字图像-也就是照片转换为漫画的方法和系统。通过使用肤色算法和面部特征定位逻辑，定位面部的关键特征以生成漫画。而后将数字图像中的所定位的特征与存储在库中的模板相匹配以识别最接近的相似模板。而后用最佳匹配模板替换数字图像中的特征。在一个实施方式中，所替换的模板是失真的特征。作为选择地，可以通过下述的图像渐变(morphing)技术来使所述模板失真。在另一个实施方式中，面部区域的关键特征是在拍摄图像时加以定义的。例如，用户可以在捕获所述图像数据之前通过取景器将图像对象的面部特征置于所定义的模板中。
图1是举例说明用于将图像转换为漫画的下述实施方式的结果的高层示意图。在此，图像100是通过图像捕获设备捕获的数字图像的表示，所述图像捕获设备诸如是数字照相机、手机照相机或其他具有照相机功能的适合的手持式电子设备。通过下述的技术，将图像100变换为漫画图像102。通过所述图像捕获设备的逻辑和电路来执行所述变换，从而使得用户能够即刻对所捕获的图像进行变换。当然，也可以将众多的背景特征或者任何其他的适合特征与面部图像失真一起结合到所述漫画图像中。例如，图像102在其中结合了一个阿拉伯神灯。
图2是举例说明根据本发明一个实施方式的实现将数字图像转换为漫画图像的关键模块的高层示意图。在模块104a中通过手持式设备捕获数字图像，也就是拍摄照片。用于捕获所述图像的手持式设备可以是数字照相机、手机照相机、具有照相机功能的个人数字助理等。例如，图像104b是一张这种能够用图像捕获设备所捕获的图像。模块106a表示用于定位所捕获图像的面部特征的功能。在此，分析图像104b的图像数据，以便首先定义面部区域而后定位面部区域内的面部特征。在一个实施方式中，使用肤色算法来定位面部区域。一旦确定了面部区域，而后就识别所述面部区域内的面部特征。例如，区域106b-1、106b-2、106b-3和106b-4表示面部特征被识别的位置。也就是说，眉毛位于区域106b-1内，眼睛位于区域106b-2内，鼻子位于区域106b-3内，嘴位于区域106b-4内。通过模板匹配模块108a，将所定位的面部特征与模板相匹配。模板存储在合适的库中，该库可以位于所述图像捕获设备的内部或图像捕获设备的外部。也就是说，可以将所述模板存储在该设备的非易失性存储器中。
在一个实施方式中，通过比较所述模板和所调整的捕获图像之间的像素来确定匹配，此处把生成最小误差的比较视为最佳匹配。应当理解的是所定位的面部特征可以使其大小被调整以便在与所定位的面部特征相关联的相似大小区域与模板库中的相应模板之间提供类似的比较。图像108b举例说明了用匹配的模板替换106b的数字图像的结果。在此，已经将眉毛、眼睛、鼻子和嘴的面部特征替换到所述图像中。图像渐变模块110a提供了一种机制，利用所述机制将所述模板替换的图像108b变换为漫画图像或非相片写实图像。图像110b举例说明了图像渐变的结果，其中所替换的模板可以被变换以显示漫画。除所定位的面部特征外其他原始的图像数据也都可以被变换以获得漫画图像。基本上任意的图像数据可以通过拉伸、旋转、收缩、平移或其他的合适的几何变换技术来进行变换。此外，可以将物体合并到所述图像数据中。例如，在图110b中，所述图像对象在其头上放置了一个皇冠。本领域的技术人员应该理解可以向所述图像数据提供众多其他的项目、物体或替代物，以获取用户想要的结果。
图3是举例说明根据本发明一个实施方式的定位图像对象面部区域的技术的简化示意图。应该理解的是在肤色区域上简单放置矩形框就面部特征的大小而言往往会产生不可接受的误差。图3的阴影部分表示肤色图，其中所述阴影部分表示肤色像素，而其余部分或白色部分表示非肤色像素。起初，定位由区域112所表示的可能的面部区域。将肤色区域的质心定义为面部区域的初始中心点112a，坐标为(Cx，Cy)。而后通过肤色区域的分析将可能的面部区域细化而定义为真正的面部区域114。下面的等式表示所述中心点的计算Cx=ΣxN,Cy=ΣyN,]]>其中所有M(x，y)＝Skintone，此处M(x，y)表示图像的肤色(skinstone)图，N是所述区域中肤色像素的总数量。
通过在垂直和水平方向上从所述中心点扩展到肤色区域的边界来定义面部区域的边界框。令xl和xr表示沿水平质心线上的两个最外肤色点，即M(xl，Cy)＝Skintone，并且M(x，Cy)≠Skintone，其中x＜xl；M(xr，Cy)＝Skintone，并且M(x，Cy)≠Skintone，其中x＜xr。
类似地，yt和yb表示沿垂直质心线上的两个最外肤色点，其满足M(Cx，yt)＝Skintone，并且M(Cx，y)≠Skintone，其中y＜yt；
M(Cx，yb)＝Skintone，并且M(Cx，y)≠Skintone，其中y＜yb。
如果If|xl+xr2-Cx|>T]]>或|yt+yb2-Cy|>T,]]>那么将面部区域的新中心点(Cx，Cy)定义为(Cx,Cy)=(xl+xr2,yt+yb2).]]>确定(xl，xr，yt，yb)和(Cx，Cy)的过程重复进行着，直至这两组数据会聚于一点，即|xl+xr2-Cx|≤T]]>和|yt+yb2-Cy|≤T,]]>其中T表示阈值。
在图3中，区域112的框线是初始区域，而后通过上述等式中所描述的一次反复迭代，而将所述面部区域调整为由框线114所定义的矩形区域。因此，最初时，中心点是点112a，而最后根据上面所列的等式通过两组数据的会聚来将中心点移动到点114a。当然，任意数量的反复迭代可以用于定义面部区域。
图4是举例说明根据本发明一个实施方式的面部区域内的搜索窗口和对应的面部特征定位区域的简化示意图。在此，面部区域114具有起始坐标(xl，yt)和终止点(xr，yb)。在面部区域114内，包括左眼区域、右眼区域和嘴区域的搜索区域。例如，左眼区域120是精确定位左眼的窗口120a的搜索区域。类似地，右眼区域122和嘴区域124分别提供了用于精确定位右眼窗口122a和嘴窗口124a的搜索区域。因此，将所述面部区域装入到参照图3所述的矩形框中，并且而后将面部区域内的面部特征装入到模板中。应当理解的是可以根据梯度图像来定位所述面部特征。
面部的两个关键特征是眼睛和嘴。覆盖眼睛和嘴区域的梯度图像的垂直分量通常较大，并且能够用于定位眼睛和嘴。所述垂直分量被定义为Gy(x，y)＝|((F(x，y-1)-F(x，y+1))*2+F(x-1，y-1)-F(x-1，y+1)+F(x+1，y-1)-F(x+1，y+1)|其中F(x，y)是强度图像。本领域的技术人员将理解垂直梯度的其他定义是可能的。
在一个实施方式中，通过在搜索区域的窗口中寻找垂直梯度的最大量来确定眼睛和嘴的位置。所述位置的准确性取决于窗口和搜索区域的大小。对其他面部特征-诸如鼻子和眉毛的搜索取决于脸的几何约束，诸如眉毛在眼睛的上方，鼻子在嘴和眼睛之间。因此，一旦通过垂直分量的最大量定位了眼睛和嘴，那么就可以通过几何约束的知识来定位其他的面部特征。
应当理解的是眼睛及嘴的位置和大小取决于所述面部区域的位置和大小，所述面部区域由起始点(xl，yt)和终止点(xr，yb)来限定边界。面部区域具有这样的大小Fx＝xr-xl和Fy＝yb-yt。
眼睛区域的窗口的大小由下述公式给定Xeye=FxP,]]>Yeye=Xeye2.]]>使用范围从3.5到5.0的P是合理的。在一个示范性的实施方式中，P＝4.0。左眼窗口的中心是(Lx，Ly)，右眼窗口的中心是(Rx，Ry)。左眼的搜索范围是从(xl+Xeye,yt+Fy6)]]>到(xl+Fx2,yt+Fy2).]]>右眼的范围与左眼相关，是从(Lx+2*Xeye，Ly-2*Yeye)到(xr-2*Xeye，Ly+2*Yeye)。
嘴窗口的大小由下述公式确定Xmouth＝Fx*0.4，Ymouth=Xmouth3.]]>所述窗口的中心是(Mx，My)。搜索范围从(Lx,Ly+Ry2+Sy)]]>到(Rx,Ly+Ry2+Sy*2),]]>其中Sy=(Rx-Ly)*34.]]>如上所述，其他的面部特征与眼睛和嘴的位置相关。因此，在一个实施方式中，一旦找到了眼睛和嘴，那么就能够在眼睛上方的区域内搜索到眉毛，并且在眼睛和嘴之间搜索到鼻子。
在另一个实施方式中，模板辅助方法可以被用于在此描述的实施方式中作为通过肤色算法定位面部特征的可选方案。在此，可以将模板结合到取景器中以便用户可以将对象的面部特征装入到对应的模板区域中。例如，用户可以通过图像捕获设备在取景器中定出图4的窗口120a，122a和124a的轮廓，或者定出正在观看的场景。因此，用户而后能够聚焦、缩放或执行必要的调整以便对象的面部特征落入到区域120a，122a和124a中。更特别地，将对象的眼睛置于窗口120a和122a中，而将用户的嘴包含在窗口124a中。一旦所述面部特征在这些窗口内，那么用户就能够启动图像数据的捕获，例如拍摄场景图片。通过在此描述的模板匹配方案和图像渐变方案，就可以生成所捕获的图像的漫画。
图5是举例说明根据本发明一个实施方式的模板匹配方案的简化示意图。一旦如参照图4所述的方式识别了所述面部特征，那么每一个面部特征都要经历对准过程，在所述对准过程中，确定对应的面部特征和模板之间的最小误差。在此，所述面部特征与众多对应的模板之间的比较将导致与每次比较相关联的多个误差。把在所有这些比较中具有最小误差的指定为最佳匹配。在此，将在图130中识别的面部特征与模板库132中的对应的特征进行比较。也就是说，将眉毛同模板库132中的对应的眉毛进行比较，将图130中的眼睛与模板库132中的对应的眼睛进行比较等等。可以将模板库配置成用于存储任何合适数量的模板。此外，模板库中可以存储预先变换的模板，所述预先变换的模板可以替换所匹配的模板。在一个实施方式中，由于对于不同照片而言，所述面部特征具有不同的大小和不同的取向，因此可以将面部特征的大小调整到模板的大小，以便对相似大小的区域进行比较。在另一个实施方式中，将几何变换定义为U＝AX+B，或uv=a1a2a4a5xy+a3a6.]]>令F(x，y)表示特征，用T(u，v)表示模板，而后将在具有一组给定的变换系数的模板和所述特征之间的均方差定义为E(a)=12Σi=1M(F(Xi)-T(AXi+Bi))2]]>其中a＝[a1a2...a6]T，M是该特征中像素的数量。从优化理论而言，a的最优解必须满足
∂E(a)∂ai=Σi=1M(F(Xi)-T(AXi+Bi))∂Tβ∂β∂β∂ai|β=AXi+Bi=0,i=1,···,6.]]>上述等式是ai的非线性函数，因此难以获得封闭解。诸如最速下降算法(steepest descent method)、牛顿-拉斐尔算法(Newton-Raphson method)或戴维森-弗莱彻-鲍威尔算法(Davidon-Fletcher-Powell method)之类的多种迭代算法能够产生一个解。在最速下降算法中，我们有aj+1＝aj-αjE(aj)，其中▿E(aj)=∂E(a)∂a1∂E(a)∂a2···∂E(a)∂a6T.]]>应当理解的是选择初始的α0。如果误差E(a)在下降着，那么在下一次迭代中就使用相同的α。否则，恢复先前的a，并减小α。
一旦在对应的面部特征和模板之间发现了最佳匹配，那么一致性和重新映射模块134确保在将所述模块替换到原始图像130之时把面部特征放置到了正确的区域中。例如，一致性和重新映射模块134确保眼睛去往正确的位置。此外，在此利用几何约束以确保鼻子位于两眼下方以及嘴位于鼻子下方。通过重新映射，相应的模块被“缝合”到图像136中，从而用所述模板替换面部特征。当然，可以按照如上所述那样来替换预先变换的模块。
图6是根据本发明一个实施方式的被配置成用于给用户提供从所捕获的图像创建漫画图像功能的设备的简化示意图。在此，设备140包括电荷耦合器件(CCD)142、中央处理单元(CPU)144、存储器146、总线158和漫画转换逻辑150。CCD142被置于设备140的镜头的后方，所述设备可以是图像捕获设备，例如具有照相机功能的设备。设备140中的每一个模块能够通过总线158彼此通信。存储器146包括模板库148。在一个实施方式中，可以由设备140存取模板库148，例如模板库可以在设备140的外部。也就是说，模板库148可以存储在外部服务器中，并由设备140以无线或有线连接的方式存取。应当理解的是为了对在模板库中存储多个模板的存储器需求最小化，可以以一组边界点(endpoint)的方式存储所述模板，而不是在存储器中存储整个图像。显示屏160同设备140通信，并且应该理解的是可以将显示屏160并入到设备140中以作为一个整体不可分割的单元。应当理解的是可以通过独立的图形处理单元(未示出)-例如液晶显示器控制器来驱动显示屏160。
图6中的漫画转换逻辑包括面部特征定位逻辑152、模板匹配逻辑154和图像渐变逻辑156。面部特征定位逻辑152包括用于如参照图2-4所描述的确定面部区域以及进一步确定面部区域内的面部特征的逻辑。模板匹配逻辑154包括用于能够实现通过面部特征定位逻辑152定位的面部特征与模板库148中的模板的匹配的逻辑。在此，模板匹配逻辑154包括实现参照图5所述的功能的逻辑。图像渐变逻辑156包括能够实现图像数据的变换以便定义漫画或非照片写实图像的逻辑。在此，可以应用几何变换。例如，可以应用拉伸变换、旋转变换、收缩变换以及平移变换以实现图像的变换。实际上，在此可以应用对特征或图像进行失真的任何变换。
图7是举例说明根据本发明一个实施方式的用于从数字图像创建漫画图像的方法操作的流程图。所述方法开始于操作170，在所述操作170中捕获数字图像数据。可以通过诸如数字照相机或手机照相机的任何合适的图像捕获设备来捕获所述数字图像数据。所述方法而后前进至操作172，在所述操作172中定位所捕获的图像数据内的面部区域。在此，如上所述，面部特征定位逻辑定义面部区域，而后，定位搜索区域以识别面部区域内的面部特征。在一个实施方式中，如参照图3所述，对图像数据应用肤色算法以定位面部区域。在另一个实施方式中，分析梯度数据以便确定面部区域内的面部特征的位置。
而后所述方法前进至操作174，在所述操作174中选择匹配于面部区域的面部特征的面部特征模板。在此，执行在操作172中识别的面部特征与所存储的模板之间的比较以确定面部特征和多个模板之间的最佳匹配。在一个实施方式中，比较面部特征和模板之间的对应的像素值以识别匹配。所述方法而后移至操作176，在所述操作176中用面部特征模板替换在图像数据内的面部特征。如参照图5所描述的那样，在此可以执行对准、一致性以及重新映射功能。所述方法而后前进至操作178，在所述操作178中变换面部特征模板。在一个实施方式中，通过图像渐变来变换面部特征模板。此外，除面部特征模板之外的数据-例如背景数据或其他物体可以被变换或并入以呈现原始所捕获的图像数据的漫画图像。
图8是举例说明根据本发明一个实施方式的用于定位图像内的面部区域以供后续变换的方法操作的流程图。所述方法开始于操作180，在所述操作180中生成图像的肤色图。在此，被应用到图像数据的每一个像素的肤色算法将生成肤色图，所述肤色图将像素标示为肤色像素或非肤色像素。所述方法而后前进至操作182，在所述操作182中识别肤色图内的肤色区域。在此，可以丢弃隔离开的或肤色之外的区域。所述方法而后移至操作184，在所述操作184中识别肤色区域内的水平质心线和垂直质心线。将水平质心线和垂直质心线的交点定义为面部区域的初始中心。
图8的所述方法而后前进至操作186，在所述操作186中通过反复迭代的过程来会聚水平质心线的水平中心点和垂直质心线的垂直中心点于一点。在一个实施方式中，该反复迭代过程将水平质心线的中心和先前的质心坐标进行比较。如果这两个分量之间的比较大于阈值，那么定义新的中心点并继续所述过程，直至相继中心点之间的比较小于阈值为止。相对于垂直质心线进行同样的处理。例如，在此可以应用参照图3的上述等式以会聚所述中心点于一点。所述方法而后前进至操作188，在所述操作188中在所会聚的中心点周围定义面部区域。应该理解的是如参照操作186的上述描述那样反复迭代地确定所会聚的中心点。在一个实施方式中，假定在计算真正的面部区域时脸部是对称的。
总之，上述的发明提供了用于从所捕获的图像创建漫画图像的方法和设备。在一个实施方式中，所述方案包括面部特征定位技术，所述面部特征定位技术其后是模板匹配和图像渐变。可以通过图像分析-例如肤色算法来实现面部特征定位技术以定义面部区域。在面部区域内，如参照图4所描述的那样通过寻找搜索区域的窗口内的垂直梯度的最大和数的方式来确定所捕获图像对象的眼睛和嘴的位置。作为选择地，如上所述，在模板辅助方法中，将脸部放置于定义了面部区域的矩形框内，或者将面部特征放置于预置的模板内。通过模板匹配技术和图像渐变技术即刻生成漫画图像，以便用户可以立即查看捕获图像的手持式设备的图像。应当理解的是尽管已经就人类面部特征讨论了捕获的面部特征，但是在此描述的实施方式也可以应用到动物面部特征。基本上，可以按照如上所述的方式操作具有脸部(无论是人类的脸部还是非人类的脸部)的任何图像。
通过上述的实施方式，应该明了的是本发明可以采用不同的计算机可实现的操作，所述操作涉及存储在计算机系统中的数据。这些操作包括需要物理量的物理处理的操作。通常，尽管不是必需的，这些量可以采用能够存储、转送、组合、比较或其他操纵的电或磁的方式。另外，所执行的这些操纵就术语而言通常指的是诸如产生、识别、确定或比较之类。
上述的本发明可以由其他的计算机系统结构来实现，所述计算机系统结构包括手持式设备、微处理器系统、基于微处理器或可编程的消费者电子设备、微机、大型机等等。本发明还可以在分布式计算环境中实现，在所述分布式计算环境中任务可以由通过通信网络连接的远程处理设备来执行。
本发明还可以具体化为计算机可读介质上的计算机可读代码。所述计算机可读介质是能够存储数据的任何数据存储设备，所述数据之后能够由计算机系统读取。所述计算机可读介质还包含其中包括有计算机代码的电磁载波。计算机可读介质的实例包括硬盘驱动器、网络附属存储(NAS)，只读存储器，随机存取存储器、CD-ROM，CD-R，CD-RW、磁带、以及其他的光学和非光学的存储设备。所述计算机可读介质也能够在网络耦合的计算机系统上分发，以便以分布式的方式存储和执行所述计算机可读代码。
尽管出于清楚理解的目的详细地描述了前述的发明，但是显而易见的是在所述权利要求的范围内可以做出某些改变和修改。因此，当前的实施方式应当视为举例说明性的而非限制性的，并且本发明不限于在此给出的细节，而可以在所述权利要求的范围和等价物内做出修改。在权利要求书中，部件和/或操作不意味着操作的任何特定次序，除非权利要求书中有明确说明。
权利要求
1.一种用于从数字图像创建漫画图像的方法，包括下述方法操作捕获数字图像数据；定位所捕获的图像数据内的面部区域；选择与所述面部区域的面部特征相匹配的面部特征模板；用所述面部特征模板替换所述面部特征；以及变换所述面部特征模板。
2.根据权利要求1所述的方法，其中定位所捕获的图像数据内的面部区域的方法操作包括将所述数字图像的像素标示为肤色像素或非肤色像素；以及根据所述肤色像素定义肤色区域。
3.根据权利要求1所述的方法，其中选择与所述面部区域的面部特征相匹配的面部特征模板的方法操作包括将所述面部特征与多个面部特征模板的对应像素进行比较；以及选择与对应像素间的最小差值相关联的多个面部特征模板中的一个。
4.根据权利要求1所述的方法，其中变换所述面部特征模板的方法操作包括对所述面部特征模板应用几何变换技术。
5.根据权利要求1所述的方法，其中定位所捕获的图像数据内的面部区域的方法操作包括确定所述面部区域的中心的坐标；确定所述面部区域的垂直质心线和水平质心线二者的中心；以及会聚所述垂直质心线和水平质心线二者的中心与所述面部区域的中心于一点。
6.根据权利要求5所述的方法，其中会聚所述垂直质心线和水平质心线二者的中心与所述面部区域的中心于一点的方法操作包括计算所述面部区域的中心的坐标与所述垂直和水平质心线的中心的对应坐标之间的差值；确定所述差值是否大于阈值；如果所述差值大于所述阈值，那么所述方法包括用所述垂直和水平质心线的中心的对应坐标替换所述面部区域的中心的坐标；以及重复所述计算和所述确定。
7.一种用于定位图像内的面部区域以供后续变换的方法，包括生成所述图像的肤色图；识别所述肤色图内的肤色区域；识别所述肤色区域内的水平质心线和垂直质心线；会聚所述水平质心线的水平中心点和所述垂直质心线的垂直中心点于一点；以及在所会聚的中心点的周围定义面部区域。
8.根据权利要求7所述的方法，其中所述水平质心线和所述垂直质心线相交于所述肤色区域的初始中心。
9.根据权利要求7所述的方法，其中识别所述肤色图内的肤色区域的方法操作包括在识别所述肤色区域之前丢弃不邻接的肤色区域。
10.根据权利要求7所述的方法，其中所述水平质心线表示所述肤色区域的最大宽度，所述垂直质心线表示所述肤色区域的最大高度。
11.根据权利要求7所述的方法，其中会聚所述水平质心线的水平中心点和所述垂直质心线的垂直中心点的方法操作包括计算所述面部区域的中心的坐标与所述垂直和水平中心点的对应坐标之间的差值；确定所述差值是否大于阈值；以及如果所述差值大于所述阈值，那么所述方法包括用垂直和水平中心点的坐标替换所述面部区域的中心的坐标。
12.一种具有用于从数字图像创建漫画图像的程序指令的计算机可读介质，包括用于捕获数字图像数据的程序指令；用于定位所捕获的图像数据内的面部区域的程序指令；用于选择与所述面部区域的面部特征相匹配的面部特征模板的程序指令；用于用所述面部特征模板替换所述面部特征的程序指令；以及用于变换所述面部特征模板的程序指令。
13.根据权利要求12所述的计算机可读介质，其中用于定位所捕获的图像数据内的面部区域的程序指令包括用于将所述数字图像的像素标示为肤色像素或非肤色像素的程序指令；以及用于根据所述肤色像素定义肤色区域的程序指令。
14.根据权利要求12所述的计算机可读介质，其中用于选择与所述面部区域的面部特征相匹配的面部特征模板的程序指令包括用于将所述面部特征与多个面部特征模板的对应像素进行比较的程序指令；以及用于选择与对应像素间的最小差值相关联的多个面部特征模板中的一个的程序指令。
15.根据权利要求12所述的计算机可读介质，其中用于变换所述面部特征模板的计算机程序指令包括用于向所述面部特征模板应用几何变换技术的程序指令。
16.根据权利要求12所述的计算机可读介质，其中用于定位所捕获的图像数据内的面部区域的程序指令包括用于确定所述面部区域的中心的坐标的程序指令；用于确定所述面部区域的垂直质心线和水平质心线二者的中心的程序指令；以及用于会聚所述垂直质心线和水平质心线二者的中心与所述面部区域的中心于一点的程序指令。
17.根据权利要求16所述的计算机可读介质，其中用于会聚所述垂直质心线和水平质心线二者的中心与所述面部区域的中心于一点的程序指令包括用于计算所述面部区域的中心的坐标与所述垂直和水平质心线的中心的对应坐标之间的差值的程序指令；用于确定所述差值是否大于阈值的程序指令；用于如果所述差值大于所述阈值则用所述垂直和水平质心线的中心的对应坐标替换所述面部区域的中心的坐标的程序指令；以及用于重复所述计算和所述确定的程序指令。
18.一种具有用于定位图像内的面部区域以供后续变换的程序指令的计算机可读介质，包括用于生成所述图像的肤色图的程序指令；用于识别所述肤色图内的肤色区域的程序指令；用于识别所述肤色区域内的水平质心线和垂直质心线的程序指令；用于会聚所述水平质心线的水平中心点和所述垂直质心线的垂直中心点于一点的程序指令；以及用于在所会聚的中心点的周围定义所述面部区域的程序指令。
19.根据权利要求18所述的计算机可读介质，其中所述水平质心线和所述垂直质心线相交于所述肤色区域的初始中心。
20.根据权利要求18所述的计算机可读介质，其中用于识别所述肤色图内的肤色区域的程序指令包括用于在识别所述肤色区域之前丢弃不邻接的肤色区域的程序指令。
21.根据权利要求18所述的计算机可读介质，其中所述水平质心线表示所述肤色区域的最大宽度，所述垂直质心线表示所述肤色区域的最大高度。
22.根据权利要求18所述的计算机可读介质，其中用于会聚所述水平质心线的水平中心点和所述垂直质心线的垂直中心点于一点的程序指令包括用于计算所述面部区域的中心的坐标与所述垂直和水平中心点的对应坐标之间的差值的程序指令；用于确定所述差值是否大于阈值的程序指令；以及用于如果所述差值大于所述阈值则用所述垂直和水平中心点的坐标替换所述面部区域的中心的坐标的程序指令。
23.一种能够从所捕获的图像创建漫画的图像捕获设备，包括图像捕获电路，用于捕获数字图像数据；漫画生成逻辑，被配置成用于变换所述图像数据的面部区域，所述漫画生成逻辑包括面部特征定位逻辑，被配置成用于识别面部区域，所述面部特征定位逻辑还被配置成用于识别所述面部区域内的搜索区域，其中通过由所述面部特征定位逻辑生成的梯度图像来识别所述搜索区域内的面部特征；模板匹配逻辑，被配置成用于将所述面部特征与模板相匹配，所述模板被替换到所述图像数据中以替换所述面部特征；以及图像渐变逻辑，被配置成用于变换所替换的模板以生成所述漫画。
24.根据权利要求23所述的图像捕获设备，其中所述面部特征逻辑包括被配置成用于识别垂直梯度在所述搜索区域内的最大和数的梯度图像生成逻辑，所述最大和数表示所述面部特征的位置。
25.根据权利要求23所述的图像捕获设备，还包括存储在所述图像捕获设备的存储器内的模板库，所述模板库以一组边界点的形式存储所述模板。
26.根据权利要求23所述的图像捕获设备，其中所述面部特征定位逻辑还被配置成用于会聚水平质心线的中心点和所述面部区域的中心点于一点。
27.根据权利要求2 3所述的图像捕获设备，其中所述面部特征定位逻辑还被配置成用于首先定位所述面部区域内的眼睛，而后定位所述面部区域内的嘴。
28.一种被配置成用于识别图像数据内的面部特征的集成电路，包括面部特征定位电路，被配置成用于识别所述图像数据的面部区域，所述面部特征定位电路还被配置成用于创建窗口，在所述窗口中定位所述面部区域内的面部特征；模板匹配逻辑，被配置成用于将所述面部特征与模板相匹配以用所述模板替换所述面部特征；以及图像渐变逻辑，被配置成用于变换所替换的模板的图像数据以生成所述漫画。
29.根据权利要求28所述的集成电路，其中所述面部特征定位电路包括梯度图像生成电路，被配置成用于生成所述搜索区域的梯度图像，其中所述梯度图像的垂直分量被用于定位所述搜索区域内的所述面部特征。
30.根据权利要求28所述的集成电路，其中所述窗口是通过模板定义的，所述模板是通过与所述集成电路并入到其中的设备相关联的接目镜所查看到的。
31.根据权利要求28所述的集成电路，其中所述模板匹配逻辑包括被配置成用于比较所述面部特征与所述模板之间的对应像素差值的逻辑。
32.根据权利要求28所述的集成电路，其中所述图像渐变逻辑包括被配置成用于通过几何变换来变换所述图像数据的逻辑，所述几何变换选自包括平移、拉伸以及旋转的组。
全文摘要
提供了一种用于从数字图像创建漫画图像的方法。所述方法开始于捕获数字图像数据。所述方法包括定位所捕获的图像数据内的面部区域。而后，选择与所述面部区域的面部特征相匹配的面部特征模板。其次，用所述面部特征模板替换所述面部特征。而后，将所述面部特征模板变换为漫画或非写实图像。还提供了能够从所捕获的图像创建漫画的计算机可读介质、图像捕获设备以及集成电路。
文档编号G09G5/00GK1722782SQ200510078670
公开日2006年1月18日 申请日期2005年6月23日 优先权日2004年6月23日
发明者黄锦成, A·K·布哈塔查亚 申请人:精工爱普生株式会社