专利名称：图像生成装置以及图像生成方法
技术领域：
本发明涉及一种图像生成装置以及图像生成方法，更详细地说，涉及ー种从三张以上的源图像生成具有所有源图像部分特征的变形图像的图像生成装置以及图像生成方法。
背景技术：
现存的变形图像生成方法，可以从两张图像生成具有这两张图像部分特征且视觉上很自然的新图像(例如參照专利文献I)。将用于生成变形图像的两张图像中的ー个图像设为第一图像，另ー个图像设为第ニ图像。在生成变形图像时，为了避免产生视觉上的不自然，需要定义第一图像和第二图像共通的特征数据。该共通特征数据，可利用第一图像和第二图像的特征点或特征线(将其称为特征向量)来定义。例如在第一图像和第二图像是人脸图像的情况下，如果特正向量为特征线，则各个图像的眼睛的轮廓、鼻子的线条、嘴的轮廓、眉毛的线条、脸的轮廓等共通特征可以用作图像的特征向量。从以上定义的第一图像的特征向量和第二图像的特征向量中提取各图像对应的特征量，按照m Ι-m(其中，O彡m彡I)的比例调整对应特征量的值可得到中间特征量(即变形图像的特征向量)。在此，将为了计算中间特征量而设定的m的值称为变形率。在图像变形中，每个特征量所对应的变形率可以相同，也可以不同。将这样计算出的所有特征量合在一起称为中间特征向量。根据中间特征向量对第一图像进行变换生成变换图像(下面称为第一图像的扭曲图像)，同时根据中间特征向量对第二图像进行变换生成变换图像(下面称为第二图像的扭曲图像)。通过这样生成第一图像的扭曲图像和第二图像的扭曲图像，能够使变形处理中使用的图像的特征位置相同。然后，根据变形率，调整第一图像的扭曲图像与第二图像的扭曲图像的像素值，最后将调整后的第一图像的扭曲图像与第二图像的扭曲图像的像素值相加，可以合成(生成)视觉上很自然的变形图像。专利文献I :日本特开2007-219230号公报
发明内容
_9] 发明要解决的问题通过利用这种变形技术，能够从两张图像生成视觉上很自然的变形图像。例如，在两张图像是人脸的情况下，能够生成具有两张脸图像各自的部分特征但与这两张脸图像不同而且看起来很自然的脸图像。 尤其是现在，例如在便携式电话中的电话号码本设定数据中记录联系人的图像数据、或者在Twitter上用图像表示其用户、或者在网际空间中对用户的替身角色附加脸图像，等等，用途很多。因此，不使用用户自己的图像(比如脸图像)而生成并使用具有该用户的部分特征的其它图像的需求很多。通过使用变形技术来生成类似于用户的其它图像的技术符合该需求。
在此，为了从用户的脸图像生成变形图像，不仅需要用户的脸图像，还需要其他人的脸图像(在上述第一图像是用户的脸图像的情况下，第二图像即为其他人的脸图像。将该图像称为目标图像。)。然而，近年来，个人信息保护、肖像权保护等也在加强，直接使用其他人的脸图像来作为目标图像比较困难。虽然可以考虑利用基于其它两张脸图像生成的变形图像来作为用于生成变形图像的目标图像，但是在目前的变形技术中存在如下问题由于基于两张图像生成变形图像，要生成大量的目标图像以应对上述需求并不容易。另ー方面，如果能够从多张脸图像生成变形图像，就能够与多张脸图像的组合相应地生成大量不同的变形图像。然而，目前的变形技术是基于两张图像来生成变形图像，因此很难应对如上所述的需求。其实，不是从两张脸图像而是从多张(三张以上)脸图像生成具有各个脸图像的部分特征的脸图像的需求很多。比如以下情况不只是使用两张图像，还想要利用很多的图像来生成ー张变形图像，以防止特定的人脸特征反映到变形图像中。本发明是鉴于上述问题而完成的，其目的在于提供一种能够基于多张图像生成变形图像的图像生成装置以及图像生成方法。用于解决问题的方案为了解决上述问题，本发明所涉及的图像生成装置基于三张以上的源图像和各源图像的特征向量来生成变形图像，该图像生成装置的特征在于，具备设定值分配単元，其对各个源图像相对应地分配设定值，该设定值的数量与上述源图像的张数相对应；贡献度计算单元，其通过求出各设定值相对于所有设定值之和的比例，来计算各源图像的贡献度；特征向量生成単元，其通过将各源图像的贡献度的值与各源图像的上述特征向量相乘来求出加权向量，并将求出的所有源图像的加权向量相加，来生成上述变形图像的特征向量；扭曲图像生成単元，其根据所生成的上述变形图像的特征向量、上述各源图像以及各源图像的上述特征向量，将各源图像分别变换成扭曲图像；以及变形图像生成単元，其根据贡献度调整各扭曲图像的像素值，并将调整后的各扭曲图像的像素值相加生成变形图像。另外，本发明所涉及的图像生成方法用于基于三张以上的源图像和各源图像的特征向量来生成变形图像，该图像生成方法的特征在于，包括以下步骤设定值分配步骤，对各个源图像相对应地分配设定值，该设定值的数量与上述源图像的张数相对应；贡献度计算步骤，通过求出各设定值相对于所有设定值之和的比例，来计算各源图像的贡献度；特征向量生成步骤，通过将各源图像的贡献度的值与各源图像的上述特征向量相乘来求出加权向量，并将求出的所有源图像的加权向量相加，来生成上述变形图像的特征向量；扭曲图像生成步骤，根据所生成的上述变形图像的特征向量、上述各源图像以及各源图像的上述特征向量，将各源图像分别变换成扭曲图像；以及变形图像生成步骤，根据贡献度调整各扭曲图像的像素值，并将调整后的各扭曲图像的像素值相加生成变形图像。在此，源图像是指生成变形图像时使用的原始的图像。另外，源图像的特征向量是指用向量表示的构成源图像的特征性线条等。例如在源图像是脸图像的情况下，特征向量由脸的轮廓、鼻子的线条、眼睛的轮廓等特征组成。这只是一例。另外，变形图像的特征向量是指用向量表示的构成变形图像的特征性线条等，将根据变形图像的特征向量来调整源图像的特征向量得到的图像称为扭曲(warp)图像。在本发明所涉及的图像生成装置以及图像生成方法中，能够通过求出各个源图像所对应的设定值相对于所有设定值之和的比例，来求出贡献度。能够将该贡献度用作生成变形图像时使用的每个源图像的变形率。因此，即使在基于多张源图像生成变形图像的情况下，也能够计算多张源图像各自的变形率来作为贡献度。另外，通过将各源图像的贡献度与源图像的特征向量相乘来求出加权向量，并将所有源图像的加权向量相加，由此能够生成变形图像的特征向量。因而，根据本申请发明所涉及的图像生成装置以及图像生成方法，只要准备多张 源图像以及该源图像的特征向量，就能够求出生成变形图像所需的变形图像的特征向量。因此，根据求出的变形图像的特征向量、各源图像以及各源图像的特征向量，将各源图像分别变换成扭曲图像，井根据贡献度调整通过变换得到的各扭曲图像的像素值，将其相加能够从多张源图像生成变形图像。另外，上述图像生成装置也可以具备生成与上述源图像的张数对应数量的随机数的随机数生成単元，上述设定值分配单元将所生成的随机数用作上述设定值，并对各个上述源图像相对应地分配上述随机数。并且，上述图像生成方法也可以具有如下特征具备随机数生成步骤，在该随机数生成步骤中生成与上述源图像的张数对应数量的随机数，在上述设定值分配步骤中，将所生成的随机数用作上述设定值，并对各个上述源图像相对应地分配上述随机数。这样，在本发明所涉及的图像生成装置以及图像生成方法中，通过将随机数用作计算贡献度时使用的设定值，即使使用相同的源图像生成变形图像，也能够生成各不相同的变形图像。因此，能够生成远超过所准备的源图像数量的与源图像不同且看起来很自然的变形图像。发明的效果根据本申请发明所涉及的图像生成装置以及图像生成方法，只要准备多张源图像以及该源图像的特征向量，就能够求出生成变形图像所需的变形图像的特征向量。基于求出的变形图像的特征向量、以及各源图像和各源图像的特征向量，可以将各源图像分别变换成扭曲图像，井根据贡献度调整通过变换得到的各扭曲图像的像素值，将其相加就可以从多张源图像生成变形图像。
图I是表示实施方式所涉及的图像生成装置的概要结构的框图。图2是表示实施方式所涉及的图像生成装置的CPU中的变形图像的生成处理的流程图。图3是说明从K张源图像分别生成各扭曲图像并基于扭曲图像生成变形图像的处理的图。图4是表示基于三张源图像生成的多张变形图像的例子的图。附图标记说明
I :图像生成装置；3 :显示器部；4 :数据输入部；5 :装置主体部；11 :数据记录部；12 =ROM ； 13 =RAM ； 14 :CPU (设定值分配単元、贡献度计算单元、特征向量生成単元、扭曲图像生成単元、变形图像生成単元、随机数生成単元)。
具体实施例方式下面，使用附图详细说明本发明所涉及的图像生成装置的一例。图I是表示图像生成装置的概要结构的框图。
图像生成装置I可以由普通的计算机构成。图像生成装置I具有显示器部3、数据输入部4以及装置主体部5。显示器部3可以是普通的液晶显示器或者CRT显示器(阴极射线管显示器)，具有将处理内容等可视化的功能。数据输入部4是用于由用户输入进行图像生成装置I的处理所需信息的输入单元。具体地说，作为数据输入部4的一例，可以是用于读入多张图像的扫描仪或者通过线缆连接的数字照相机等。通过扫描仪或者数字照相机取入的图像被记录到后述的数据记录部11中。另外，数据输入部4不限定于以图像数据的获取为目的的装置，例如用于输入文字信息的键盘、鼠标、触笔(touch pen)等常用用户操作単元也可用于数据输入部4。装置主体部5具有数据记录部11、R0M(Read Only Memory :只读存储器)12、RAM (Random Access Memory :随机存储器)13、以及 CPU (Central Processing Unit(中央处理单元)设定值分配単元、贡献度计算单元、特征向量生成単元、扭曲图像生成単元、变形图像生成単元、随机数生成単元)14。ROM 12是记录在图像生成装置I启动时所执行的处理程序的记录单元。在图像生成装置I启动时等，通过由CPU 14读出ROM 12的处理程序等并执行该处理程序，能够进行启动处理等。RAM 13是作为CPU14进行处理时的工作区的记录单元。数据记录部11主要由硬盘构成。在数据记录部11中记录有生成变形图像所需的图像数据、其特征向量等，还能够记录在生成变形图像的过程中生成的扭曲图像、特征向量
等信息。在本实施方式所涉及的图像生成装置I中，将生成变形图像时使用的图像称为源图像。基于该源图像生成与各源图像对应的扭曲图像，之后生成最終的变形图像。另外，数据记录部11并不限定于硬盘，也可以是由快闪存储器等构成的记录单元(例如SSD (Solid State Drive :固态硬盘)等)、使用磁带介质的记录单元(例如DAT (Digital Audio Tape :数字式录音带))等。此外，数据记录部11中所记录的图像并不一定仅限定于由数据输入部4的扫描仪或者数字照相机取入的图像。例如也能够对图像生成装置I设置未图示的网卡(NIC:Network Interface Card :网络接ロ卡)等,来经由因特网等外部网络取入图像，并记录到数据记录部11中。CPU 14按照记录在ROM 12中的处理程序，来生成进行变形图像的生成时使用的扭曲图像，基于所生成的扭曲图像来生成变形图像。在该处理中使用的处理程序相当于本发明所涉及的图像生成方法的一例。下面对CPU 14生成变形图像的处理过程进行说明。
图2是CPU 14按照记录在ROM 12中的程序生成变形图像的处理流程图。在本实施方式所示的变形图像的生成处理中，假设有多张(设为N张)脸图像(源图像)，用其中一部分(设为K张，其中K表示K>2的整数)脸图像(源图像)来生成具有K张源图像的部分特征的变形图像。因而，设在数据记录部11中已经预先记录有N张源图像和各个源图像中的特征向量。另外，为了便于说明，以ρρρ2、ρ3、…、Pn表示记录在数据记录部11中的N张源图像，用P表示所有源图像的集合。[数I]P = (P1, ρ2, ρΝ}并且，将与源图像的集合P对应的索引信息设为I = {1，2，···，Ν}。同时定义I的任意子集J如下[数2]J = IJ1, j2, jK} Cl I。J是I的子集，因此是-包含在I中的集合。另外，用PjpPp…、PjK表示用于生成变形图像的K张源图像，以…、fjK表示各个源图像的特征向量。首先，CPU 14从记录在数据记录部11中的N张源图像中提取K张源图像(步骤S. I)。具体地说，CPU 14确定与N张源图像的集合P相对应的索引信息I的子集、即J，并提取相应的源图像。关于该提取，可以从记录在数据记录部11中的N张源图像中提取K张连续的源图像，也可以随机提取源图像。并且，也可以是用户利用数据输入部4个别地选择K张源图像，并由CPU 14提取所选择的源图像。接着，CPU 14产生与K张源图像对应数量(K个)的随机数(ri、r2、-,rK)(步骤S.2)。该随机数的值相当于计算后述的贡献度Wi (变形率)时使用的设定值。在CPU 14中，进行将所生成的K个随机数分别分配给K张源图像的处理(步骤
S.3)。将随机数分配给源图像是指将所生成的随机数的值与各源图像逐一对应地记录到数据记录部11中的处理。通过像这样对各源图像分配随机数的值，并使数据记录部11记录相对应的值，使得能够明确利用该随机数生成的贡献度与源图像之间的对应关系。然后，CPU 14求出所有随机数之和，并求出各随机数相对于随机数之和的比例，由此通过式I所示求出贡献度Wi (步骤S. 4)。[数3]
权利要求
1.一种图像生成装置，其基于三张以上的源图像和各源图像的特征向量来生成变形图像，该图像生成装置的特征在于，具备 设定值分配单元，其对各个源图像相对应地分配设定值，该设定值的数量与上述源图像的张数相对应； 贡献度计算单元，其通过求出各设定值相对于所有设定值之和的比例，来计算各源图像的贡献度； 特征向量生成单元，其通过将各源图像的贡献度的值与各源图像的上述特征向量相乘来求出加权向量，并将求出的所有源图像的加权向量相加，来生成上述变形图像的特征向量; 扭曲图像生成单元，其根据所生成的上述变形图像的特征向量、上述各源图像以及各源图像的上述特征向量，将各源图像分别变换成扭曲图像；以及 变形图像生成单元，其根据贡献度调整各扭曲图像的像素值，并将调整后的各扭曲图像的像素值相加生成变形图像。
2.根据权利要求I所述的图像生成装置，其特征在于， 还具备随机数生成单元，该随机数生成单元生成与上述源图像的张数对应数量的随机数， 上述设定值分配单元将所生成的随机数用作上述设定值，并对各个上述源图像相对应地分配上述随机数。
3.一种图像生成方法，用于基于三张以上的源图像和各源图像的特征向量来生成变形图像，该图像生成方法的特征在于，包括以下步骤 设定值分配步骤，对各个源图像相对应地分配设定值，该设定值的数量与上述源图像的张数相对应； 贡献度计算步骤，通过求出各设定值相对于所有设定值之和的比例，来计算各源图像的贡献度； 特征向量生成步骤，通过将各源图像的贡献度的值与各源图像的上述特征向量相乘来求出加权向量，并将求出的所有源图像的加权向量相加，来生成上述变形图像的特征向量; 扭曲图像生成步骤，根据所生成的上述变形图像的特征向量、上述各源图像以及各源图像的上述特征向量，将各源图像分别变换成扭曲图像；以及 变形图像生成步骤，根据贡献度调整各扭曲图像的像素值，并将调整后的各扭曲图像的像素值相加生成变形图像。
4.根据权利要求3所述的图像生成方法，其特征在于， 还包括随机数生成步骤，在该随机数生成步骤中生成与上述源图像的张数对应数量的随机数， 在上述设定值分配步骤中，将所生成的随机数用作上述设定值，并对各个上述源图像相对应地分配上述随机数。
全文摘要
提供一种图像生成装置以及图像生成方法。基于多张图像生成变形图像。图像生成装置(1)具备设定值分配单元(14)，对三张以上的各个源图像相对应地分配设定值；贡献度计算单元(14)，求出各设定值相对于所有设定值之和的比例，来计算每个源图像的贡献度；特征向量生成单元(14)，通过将各源图像的贡献度的值与各源图像的特征向量相乘来求出加权向量，并将所有源图像的加权向量相加来生成变形图像的特征向量；扭曲图像生成单元(14)，根据变形图像的特征向量、各源图像以及各源图像的特征向量，将各源图像变换成扭曲图像；变形图像生成单元(14)，根据贡献度调整各扭曲图像的像素值，并将其合成生成变形图像。
文档编号G06T5/50GK102629370SQ20121001086
公开日2012年8月8日 申请日期2012年1月11日 优先权日2011年2月7日
发明者谢政勋, 赵强福 申请人:公立大学法人会津大学