专利名称：画像－照片识别的制作方法
技术领域：
对于司法部门，从警察局的照片数据库里进行人脸照片的自动检索及识别极其重要。它能有效地帮助调查者确认嫌疑犯或缩小嫌疑犯的范围。但在大部分情况下，很难得到嫌疑犯的照片。最好的替代品是基于目击证人的描述绘出的疑犯的画像。
本发明是关于利用特征脸的方法在照片数据库中寻找与画像相匹配的照片，或在画像数据库中寻找与照片相匹配地画像。
背景技术：
近些年，由于司法、视频监控、银行及安全系统等领域中应用需求的增加，自动人脸识别技术吸引了广泛关注。与其他技术(如指纹识别)相比，人脸识别的优点在于用户使用方便，而且成本低。操作者不需经过特殊训练机即可修正人脸识别系统的识别错误。
人脸识别技术的一个重要应用是协助司法部门破案。例如，对警察局照片数据库中的照片进行自动检索可有助于快速缩小嫌疑犯的范围。然而在大部分的情况下，司法部门无法得到嫌疑犯的照片。最好的替代品是根据目击证人的描述绘出的疑犯画像。利用画像在数据库中查寻与之相对应的照片有很大的潜在应用价值，因为它不仅能帮助警员寻找嫌疑犯，而且可以帮助目击者与画家利用从数据库中找回的照片对画像进行修改。
尽管对画像-照片检索系统有重要的应用需求，但此领域的研究却很少[1][2]。这可能是因为建立大规模的人脸画像的数据库非常困难。
有两个传统的方法被用于在数据库中进行照片与照片之间的匹配。对这两种方法的描述如下。
A.几何特征法
几何特征法是最直接的方法。基于几何特征的人脸识别研究大都集中于提取人脸特征，如眼睛、嘴、下巴的相对位置及其他参数。尽管几何特征法很易理解，但它无法包含对人脸进行稳定识别的足够信息。特别是几何特征随着面部表情及比例的变化而改变。即使同一个人的不同照片几何特征变化也可能很大。最近的一篇文章对几何特征法及模板匹配法进行了比较，其结论倾向于模板匹配法[3]。
B.特征脸法
目前对人脸进行识别的最成功的方法之一可能是特征脸法[9]。FERET测试报告经过全面比较各种方法后将其列为最有效的方法之一[6]。类似的结论在Zhang et al[8]中也可见到。尽管特征脸法受照明，表情，及姿势影响，但这些因素对于标准身份照片的识别并不重要。
特征脸法用Karhunen-Loeve Transform(KLT)表征人脸及用于识别。一旦从人脸熟数据集协方差矩阵求得一组特征向量，也称特征脸，人脸图像就可以通过对特征脸的适当加权线性组合来重构。对于一个给定的图像，其在特征脸上的加权系数就构成了一组特征矢量。对于一个新的测试图像，它的加权系数可以通过投影这个图像到各个特征脸来计算出来。然后根据比较测试图像的加权系数特征矢量与数据库中各图像的加权系数特征矢量之间的距离来分类。
尽管Karhunen-Loeve Transform在很多教材及论文中已被阐述，这里我们针对照片的识别再简单讨论一下，特别是。在计算Karhunen-LoeveTransform时，用列向量
表示一个样本人脸图像，其平均脸由公式得出，其中M为照片集AP训练样本的数量。从每个图像中减去平均脸，得到照片的训练集组成N×M的矩阵其中N为图像中全部像素的数量。样本协方差矩阵被估计为
W＝ApApT(1)
其中APT是AP的转秩。
考虑到照片图像数据量很大，根据目前允许的计算容量直接计算W的特征向量并不现实。通常使用主特征向量评估的方法。因为样本图像数量M相对较少，W的秩为M-1。所以首先计算一个较小矩阵APTAP的特征向量，
(ApTAp)Vp＝VpΛp(2)
其中Vp为单位特征向量矩阵，Λp为对角化特征值矩阵。公式两边均乘以Ap，我们得到
(ApApT)ApVp＝ApVpΛp (3)
因此协方差矩阵W的标准正交特征向量矩阵，或特征空间Up为
对于一张新的人脸照片
它的投影在特征向量空间中的系数形成矢量其被用作特征矢量进行分类。
然而，由于人脸照片与画像的巨大差异，直接把特征脸方法应用于基于画像的照片识别可能不会有很好的效果。一般来说，同一个人的照片与画像的不同要大于来自不同人的两张不同照片。
发明内容
本发明的目的之一是提供一种方法或系统用于解决画像与照片之间进行更有效地匹配的问题。
本发明的另一个目的是解决一个或多个以前的方法提出的问题。至少，它能给公众多提供一个有用的选择。
为实现上述目的，本发明提供了一种利用照片集Ap及对应的画像集As为照片Pk生成伪画像Sr的方法。Ap和As分别有M个样本Pi与Si，表达为Ap＝[P1，P2，......，PM]，及As＝[S1，S2，......，SM]，其中照片的特征空间Up从Ap计算得出。此方法包括以下步骤
a)投影Pk到Up计算投影系数bp，得到Pk＝Upbp；
b)利用As及bp生成Sr。
本发明的另一方面是提供一种利用画像集As及对应的照片集Ap为画像Sk生成伪照片Pr的方法。As和Ap分别有M个样本Si与Pi，表达为As＝[S1，S2，......，SM]及Ap＝[P1，P2，......，PM]，其中画像的特征空间Us从As计算得出。此方法包括以下步骤
a)投影Sk到Us计算出投影系数bs，得到Sk＝Usbs；
b)利用Ap及bs生成Pr。
本发明的另一方面是利用照片集Ap及对应的画像集As从照片图库中挑出与画像Sk最匹配的照片Pk，该照片图库中有大量的照片，每张照片用PGi标示，Ap和As二者分别有M个样本Pi与Si，表达为Ap＝[P1，P2，......，PM]及As＝[S1，S2，......，SM]，其中照片特征空间Up及画像特征空间Us分别从Ap及As计算得出。此方法包括以下步骤
--为照片图库中的每张照片PGi生成伪画像Sr，通过
a)投影PGi到Up计算投影系数bp，得到PGi＝Upbp；
b)利用As及bp生成Sr；
--通过比较伪画像Sr与Sk来鉴别相应的最为匹配的伪画像Srk，其在照片图库中对应的照片即为与画像Sk最匹配的照片Pk。
本发明的第四个方面是利用照片集Ap及对应的画像集As从照片图库中挑出与画像Sk最匹配的照片Pk，该照片图库中有大量的照片，每张照片用PGi表示，Ap和As分别有M个样本Pi与Si，表达为Ap＝[P1，P2，......，PM]及As＝[S1，S2，......，SM]，照片的特征空间Up及画像的特征空间Us分别从Ap及As计算得出。此方法包括以下步骤
--为画像Sk生成一张伪照片Pr，通过
a)投影Sk到Us计算出投影系数bs，得到Sk＝Usbs；
b)利用Ap及bs生成Pr；
--通过与照片图库中的照片进行比较，找出与伪照片Pr最匹配的照片Pk。
本发明的第五个方面是利用照片集Ap及对应的画像集As从画像图库中选出与照片Pk最匹配的画像Sk，该画像图库中有大量的画像，每张画像用SGi表示，Ap和As分别有M个样本Pi与Si，表达为Ap＝[P1，P2，......，PM]及As＝[S1，S2，......，SM]，照片的特征空间Up及画像的特征空间Us分别从Ap及As计算得出。此方法包括以下步骤
--为画像图库中的每张画像SGi生成伪照片Pr，通过
a)投影SGi到Us计算投影系数bs，得到SGi＝Usbs；
b)利用Ap及bs生成Pr；
--通过比较伪照片Pr与照片Pk来找到相应的最为匹配的伪照片Prk，其在画像图库中对应的画像即为与照片Pk最为匹配的画像Sk。
本发明的第六个方面是利用照片集Ap及对应的画像集As从画像图库中选出与照片Pk最匹配的画像Sk，该画像图库中有大量的画像，每张画像用SGi表示，Ap和As分别有M个样本Pi与Si，表达为Ap＝[P1，P2，......，PM]及As＝[S1，S2，......，SM]，照片的特征空间Up及画像的特征空间Us分别从Ap及As计算得出。此方法包括以下步骤
--为照片Pk生成一张伪画像Sr，通过
a)投影Pk到Up计算投影系数bp，得到Pk＝Upbp；
b)利用As及bp生成Sr；
--通过与画像图库中的画像进行比较，找出与伪画像Sr最匹配的画像Sk。
此发明包括用计算机系统来实现上述任何一种算法。
本发明的各种选择及变化将在后面部分中描述，以便使熟悉本领域的人可以理解。
下面结合附图和实施方式，对本发明的技术方案做进一步的详细描述。
图1为本发明的人脸照片(上两行)及画像(下两行)实例。
图2为本发明的照片转换为画像的算法。
图3为本发明的照片到画像/画像到照片的转换实例。
图4为本发明的不同的自动识别方法与人眼识别的累积匹配率的比较。
具体实施例方式
下面将用较佳实施方式及其示意图来具体说明本发明的所采用的方法。
尽管在上述内容中没有具体阐述，但熟悉本领域的技术人员应当知道画像及照片要用扫描仪或数码相机等输入设备进行有一定解像率的数字化处理，而且用于执行程序的计算机系统要有充分的运行能力及存储空间。
本发明需要一组照片训练集和相应的画像训练集，分别以Ap和As表示。每个Ap和As分别有M个Pi和Si样本，尽管M可以是比1大的任何值，但首选的M应≥80以提高精确性。每个Ap及As用于计算上述提及的相应的特征空间U。
对于每个训练照片图像
都有一个相应的画像
是一个样本画像减去平均画像
后的一个列向量。类似于照片训练集我们有相应的图像训练集
照片-画像/画像-照片的转换及识别
1.照片转换为画像
如上所述，用传统的特征脸法，一个人脸图像可由特征脸通过公式重构，
其中Up为照片特征空间，
为Pr在照片特征空间的投影系数，同样，一幅画像可通过公式重构，其中Us为画像特征空间，
为Sr在画像特征空间的投影系数。但很难将两个对应的照片与画像特征空间的投影系数相关联，从而大大降低了照片-画像，画像-照片的识别能力。
为了解决这个问题，本发明发现既然有公式那么重构的照片就可以表达为
其中是M维的列向量。因此，公式(6)可被总结为
这表明重构的照片实际上是用M个训练样本图像的最佳线性组合得到的具有最小平均方差的原图像的最佳近似值，在
中的系数描述每个样本图像贡献的比重，由这种方法生成的重构照片显示在图3标有“重构照片”的列中。
把公式(7)中的每个样本照片图像
代换为对应的画像
如图2所示，我们得到公式，
因为照片与画像的结构类似，所以重构的画像
应与真的画像相似。如果一个照片样本
对它重构的人脸照片贡献很多，那么它对应的样本画像Si就会对重构画像贡献很多。举个极端的例子，对一个特殊的样本照片
它对重构照片
有一个单位权重为cpk＝1，其他所有样本照片的权重为零，即这个重构照片与这个样本照片
完全一样，那么它的重构画像
只需简单的用它的对应画像
取代即可重构。通过这样的代换，一个照片图像即可以转换为伪画像。
简而言之，照片转换为画像可以通过以下几个步骤进行
1.首先计算ApTAp的特征向量Vp和ΛP，以便计算照片的训练集特征向量矩阵Up；
2.通过投影
到特征空间Up中，计算其特征脸的加权向量
此外，cp通过计算得到；
3.利用As和cp重构画像Sr。如果cp已通过计算得到，则伪画像Sr可以通过运算公式得出；
前面曾经提到，运算开始前，要从原照片Q中减去从照片训练集中生成的平均照片图像
对于画像训练集，要减去平均画像
这样就需要下面的步骤
4.从输入的照片图像
中减去平均照片
得到
5.最后，把平均画像
加回以得到最终可见的重构画像
图3显示真正画像与重构画像的比较实例。可显见二者的相似性。
尽管上述的讨论主要为照片向画像的转换，但很明显，相反的转换可用同样的方法做到。例如，一个伪照片可以通过公式得到。
画像识别
在经过由照片向画像的转换后，从大量的照片中识别画像就变得容易了。
其具体算法总结如下
1.通过前面描述的由照片到画像的转换算法，用Up为照片图库中的每张照片
算出对映的伪画像
其中Up是从Ap算出的。这里照片图库与照片训练集Ap不一定要一样。当然，如一样可提高算法精度；
2.比较查询画像
与伪画像
用以识别最匹配的伪画像
进而找到照片图库中与
最匹配的照片；
伪画像与查询画像的比较可以用传统的特征脸法或其他适合的方法实现，例如，弹性图匹配法[4][7]；
下面以一种传统的人脸比较方法为例进行说明，可以用画像训练样本先计算出特征向量。然后将查询画像
和从照片集里生成的伪画像
投影到画像特征向量上。投影系数被用作最后分类的特征矢量。具体的比较算法总结如下
1.通过投影查询画像
到画像特征空间Us来计算查询画像
的加权向量
2.计算
和每个
之间的距离，
是从照片图库中每张照片生成的伪画像算出，画像被识别为两个矢量间有最小距离的人脸。
在上述算法中，基于照片特征空间Up，图库中的照片先被转换成伪画像
然后在画像特征空间Us中进行识别。我们也可以反过来，基于画像特征空间把每个查询画像
转换为伪照片
然后通过特征脸法或任何其他适当的方法用照片特征空间进行识别。
对于两种方法，我们用了两组重构系数
和
其中
代表用照片训练集重构照片的权重，
表示用画像训练集重构的画像的权重。实际上，要比较一个照片和画像，我们也可用它们对应的重构系数
和
直接作为特征矢量来进行识别。
正如以前所陈述的，对于一个输入的照片，它在照片训练集中的重构系数矢量为其中
是照片在照片特征空间中的投射加权矢量。类似地，对于一个输入的画像，它在画像训练集中的重构系数矢量为其中
是画像特征空间中的输入画像的投影加权矢量。如果我们用
和
直接比较照片与画像，它识别距离被定义为
如果我们先为一个照片生成一个伪画像，再计算它们在画像特征空间的距离，这种距离则为其中
是被投射到画像特征空间的伪画像的加权矢量，
是投射到画像特征空间的真正画像的加权矢量。因为我们计算
为，
如果我们得到，
我们用公式得到最后，距离d2为，
相反，如果我们先为一个画像生成一个伪照片，再计算它在照片特征空间的距离，这样的距离d3可由下式计算
在三种情况下识别的距离是不同的，它们的性能将在后面的试验中给予比较。
对于那些熟悉本技术的人来说，本方法可用来从一个画像集中挑选与照片PK匹配的画像。这里，我们还有其他两种选择
a.把画像集中的全部画像转换成伪照片，然后与照片Pk比较。通过比较bp和br来完成比较，其中bp＝Pk在Up中的投影系数，br＝每个生成的伪照片在U谱中的投影系数，距离公式现在可重写为
b.把照片Pk转换成伪画像Sk，然后与全部画像图库中的画像比较。通过比较bs和br来完成比较，其中bs＝在画像图库中每个画像在Us中的投影系数，br＝伪画像Sk在Us中的投影系数。距离公式现在可写为
验证
为了证明新算法的有效性，我们做一组实验与传统的几何特征法及特征脸法比较。我们建立一个有188对照片及对应画像的数据库，它们分别来自于188个不同的人，其中88对照片-画像被用作训练数据，另外100对照片-画像用于试验。
本实验采用FERET中的识别协议[6]。用于实验的照片图库集由100张人脸照片组成。查询集由100张人脸画像组成。累积匹配率用来评估运算结果。它检测“正确答案在前n个匹配”中的百分比，n被称为rank。
A.与传统方法的比较
表1显示了用三种方法得出的前十个积累匹配率。
表1.三种方法的积累匹配率
几何法及特征脸法的实验结果不理想。在第一匹配率中仅有30％的精确性。第十累积匹配率为70％。因为照片与画像的巨大差异可以预期到特征脸法很差的实验结果。从几何特征法的实验结果我们可以得出照片与画像相似并不仅仅由于人脸的几何相似性。同漫画一样，画像通常夸大人脸器官的尺寸。如果某人的鼻子大于平均尺寸，那么漫画会画出大于平均尺寸的鼻子。相反，如果某人的鼻子小于正常尺寸，他的鼻子就会被进一步缩小，从而达到夸张效果。
特征画像转换法大大地提高了识别精确度，第十累积匹配率达到96％。第一累积匹配率精确度也超过了其他两种方法的两倍。清楚地显示了新方法的优越性。此结果也依赖于画像的质量，画像出于同一个高水平画家之手可提高精确度。如图1所示，不是所有的画像与照片都很相似，图1的第一行画像与他们的对应照片很相像，但第二行就有很大差别了。此结果的重要性在于显示了新方法大大优于传统人脸识别方法。
B.三种距离测量的比较
这部分，我们用一组实验比较以前描述的三个距离测量d1，d2，d3。这里采用与上面相同的数据集。实验结果见表2。
表2.用三种不同距离得出的累积匹配率
从试验结果我们看到，在三种距离中效果最差。这并不奇怪，因为
和
分别代表了投影到以训练照片和画像为基准的非正交空间的系数，所以不能正确地反应人脸图像间的距离。d2和d3是从正交特征空间算出的距离，所以给出了更好的结果。一个有趣的结果是，d2始终好于d3。这看上去好像画像特征空间比照片特征空间能更好地表现不同人脸的差异。这可能是因为画家在作画中倾向于扑捉和强调人脸明显的特征而使其更易被区分。上述试验看上去证实了这点，因为
被映射到画像特征空间比被映射到照片特征空间有更好的识别结果。
d2有较好的结果可以有另一种解释。为了计算d2照片要被转换为伪画像，而计算d3，画像必须被转换为伪照片。一般来说，压缩信息要比放大信息更稳定。因为照片含有比画像更丰富的信息，所以转换照片到画像更容易。举个极端的例子，假设画像仅包含人脸特征的简单轮廓，很容易从人脸照片画出该轮廓，但很难从简单的线条中重构出照片。因此，对d2的计算，得出更好的结果是因为照片能更稳定地转换为画像。
C.与人肉眼识别的比较
下面用两个实验来比较本发明的新方法和人眼对画像的识别能力。这种比较很重要，因为在公安司法中，通常是通过将嫌疑犯的画像在大众媒体中广泛散播。以期望人们看到画像后能辨认出真人。如果能证实计算机的自动识别能力与人眼识别画像能力相匹敌，我们就可以用计算机用画像在大型照片数据库中进行系统的大面积检索。
在第一个实验中，将一张画像给一个被测试者看一段时间，然后在开始看照片前拿走画像。被测试者尽量记住画像，在没有画像的情况下，在照片数据库中搜索。被测试人可以从全部照片中选出10张与画像相似的照片。然后根据与画像的相似度排列选出的照片。此方法接近现实情况，因为人们只是在电视或报纸上短暂地看到嫌疑犯的画像，然后必须根据记忆在现实生活中找到与画像相似的人。
第二个实验，我们允许被测试者在搜索照片图库时看画像，这个结果是作为与自动识别系统比较的基准。两个试验的结果列在图4中。第一个实验的人眼识别结果比计算机的识别结果低得多。这不仅因为照片与画像的不同，也是由于很难精确地记住画像而导致记忆的失真。实际上，人们很容易区分熟悉的人脸，比如亲属或著名的公众人物，但却不容易区分陌生人。不把画像和照片放在一起，人们很难识别二者。
当受测试者在检索数据库时允许对照画像，其精确率上升到73％，与计算机的识别率差不多。然而人类的识别能力不会因rank的增加而增加，而计算机的第十累积匹配率增加到96％。这表明计算机对于画像识别能力至少与人类差不多。因此，我们现在可以像用照片一样用画像在大的数据库中进行自动搜索。在无法得到照片的情况下将这一方法应用于司法部门非常重要。
本发明利用照片-画像/画像-照片转换，提出一个新的人脸画像识别算法。照片转换成画像在照片与画像的自动匹配中更加有效。除了提高了识别速度和效率，新方法的识别能力甚至好于人的肉眼。
尽管上述讨论只集中在人脸照片-画像/画像-照片识别，但对于熟悉本技术的人很易发现本发明也可也用于其它种类的识别，比如建筑或其他物体。尽管它的主要应用在法律部门，用在其他领域也是可能的。
在画像识别中利用头发的信息，有时可以提高识别率，但由于头发易变，很多情况下不宜利用。是否利用头发的信息，可由实际情况决定。
本发明的用途已经通过实例被具体地阐述。很明显，熟练的技术人员可能会对目前的发明做出修整及改编。但应该指出，这些修整及改编也属于本发明的范围内，属于在随后提到的权利要求中。而且本发明的用途不应只被本文解释的实例或图例所限制。
权利要求
1.一种画像-照片转换方法，该方法是利用一照片集Ap和其对应的画像集As为照片Pk生成一个伪画像Sr，其特征在于Ap和As分别有M个Pi和Si样本，即Ap＝[P1，P2，......，PM]，As＝[S1，S2，......，SM]，照片的特征空间Up由Ap算出，此方法的步骤包括
a)投影Pk到Up中计算投影系数bp，得到Pk＝Upbp；
b)利用As和bp生成Sr.
2.如权利要求1中的所述的画像-照片转换方法，其中，进一步包括以下步骤
a)计算
其中CPi＝每个照片Pi对图像重构的加权系数，用重构Pk；
Vp＝ApTAp的单位特征向量矩阵；
ΛP＝ApTAp的特征值矩阵；
b)通过公式得到Sr。
3.如权利要求1中的所述的画像-照片转换方法，其中，M≥80。
4.如权利要求1中的所述的画像-照片转换方法，其中，所有画像As由同一个画家准备。
5.如权利要求1中的所述的画像-照片转换方法，其中，
Pi＝Qi-mp，其中Qi＝Pi的原始照片，
Si＝Ti-ms，其中Ti＝Si的原始画像，
6.如权利要求5中的所述的画像-照片转换方法，其中，还包括可视的伪画像Tr的生成步骤Tr＝Sr+ms.
7.一种画像-照片转换方法，该方法是利用一个画像集As和对应的照片集Ap为画像Sk生成一个伪照片Pr，的方法，其特征在于As和Ap分别有M个Si和Pi样本，即As＝[S1，S2，......，SM]和Ap＝[P1，P2，......，PM]，其中画像特征空间Us从As算出，此方法包括以下步骤
a)投影Sk到Us中计算投影系数bs，Sk＝Usbs；
b)利用Ap和bs生成Pr。
8.如权利要求7所述的画像-照片转换方法，其中，该方法包括如下步骤
a)计算csi＝每个照片Si重构Sk的加权系数，用重构Sk
Vs＝AsTAs的单位特征向量矩阵
Λs＝AsTAs的特征值矩阵；
b)通过公式生成Pr。
9.如权利要求7所述的画像-照片转换方法，其中，M≥80。
10.如权利要求7所述的画像-照片转换方法，其中，所有画像As由同一个画家准备。
11.如权利要求7所述的画像-照片转换方法，其中，
Pi＝Qi-mp，其中Qi＝Pi的原始照片，
Si＝Ti-ms，其中Ti＝Si的原始画像，
12.如权利要求11所述的画像-照片转换方法，其中，该方法还包括可视的伪照片Qr的生成步骤Qr＝Pr+mp。
13.一种画像-照片识别方法，该方法是利用照片集Ap和对应的画像集As在一个照片图库中找到与画像Sk最匹配的照片Pk，其特征在于此照片图库中的每个照片用PGi表示，Ap和As分别有M个Pi和Si样本，即Ap＝[P1，P2，......，PM]和As＝[S1，S2，......，SM]，照片特征空间Up和画像特征空间Us分别从Ap和As算出，此方法包括以下步骤
--为照片图库中的每个照片PGi生成一个伪画像Sr，通过
a)投影PGi到Up中计算投影系数bp，PGi＝Upbp；
b)利用As和bp生成Sr；
--通过比较伪画像Sr与Sk来识别对应的最匹配的伪画像SrK，其在照片图库中所对应的照片即为所要找的Pk。
14.如权利要求13所述的画像-照片识别方法，其中，M≥80。
15.如权利要求13所述的画像-照片识别方法，其中，所有画像As由同一个画家准备。
16.如权利要求13所述的画像-照片识别方法，其中，Pi＝Qi-mp，其中Qi＝Pi的原始照片，
Si＝Ti-ms，其中Ti＝Si的原始画像，
其中的原始照片。
17.如权利要求13所述的画像-照片识别方法，其中，识别最匹配的伪画像SrK是通过
--对于每个伪画像Sr，投影Sr到Us以计算对应的投影系数br，
Sr＝Usbr；
--投影Sk到Us以计算对应的投影系数bS，Sk＝UsbS；
--找到伪画像SrK，使其投影系数br和bs有最小差异，则SrK在照片图库中所对应的照片即为与Sk最匹配的照片Pk。
18.如权利要求13所述的画像-照片识别方法，其中，其中的伪画像Sr是由照片图库中的每个照片PGi生成的，包括以下步骤
a)计算为重建PGi在照片集Ap中每个照片Pi的加权系数，其中
Vp＝ApTAp的单位特征向量矩阵
ΛP＝ApTAp的特征值矩阵；
b)由得到Sr。
19.如权利要求18所述的画像-照片识别方法，其中，识别最匹配的伪画像SrK的方法是
--投影Sk到Us中，计算投影系数bS，Sk＝USbS；
--计算为重建Sk每个画像Si在画像集As的加权系数，
Vs＝AsTAs的单位特征向量矩阵
Λs＝AsTAs的特征值矩阵；
--找到与Sk有最小d2值的伪画像SrK，以此识别最匹配的Pk，通过公式
20.一种画像-照片识别方法，该方法是利用照片集Ap和与其对应的画像集As，在一个照片图库中找到与画像Sk最匹配的照片Pk，其特征在于图库中的每个照片用PGi标记，Ap和As分别有M个Pi和Si样本，即Ap＝[P1，P2，......，PM]和As＝[S1，S2，......，SM]，照片特征空间Up和画像特征空间Us分别由Ap和As算出，步骤如下
--为Sk生成一个伪照片，通过
a)投影Sk到Us中，计算投影系数bs，Sk＝Usbs，
b)利用Ap和bs生成Pr；
--通过把伪照片Pr与照片图库中的照片比较，识别最匹配的Pk。
21.如权利要求20中所述的画像-照片识别方法，其中，M≥80。
22.如权利要求20中所述的画像-照片识别方法，其中，所有画像As由同一个画家准备。
23.如权利要求20中所述的画像-照片识别方法，其中，Pi＝Qi-mp，其中Qi＝Pi的原始照片，
Si＝Ti-ms，其中Ti＝Si的原始画像，
，其中的原始照片。
24.如权利要求20中所述的画像-照片识别方法，其中，识别最匹配的照片Pk通过
a)对照片集图中的每个照片PGi，投影PGi到Up中，计算对应的投影系数bp，使
b)投影伪照片Pr到Up中，计算对应的投影系数br，使Pr＝Upbr；
c)最匹配的Pk即其系数bp和br有最小的差异。
25.如权利要求24中所述的画像-照片识别方法，其中该方法进一步包括以下步骤
a)计算每个画像Si在画像集As的加权系数，来重构Pr，
Vs＝AsTAs的单位特征向量矩阵
Λs＝AsTAs的特征值矩阵
b)为每个在照片图库中的照片PGi，计算每个照片Pi在照片集Ap中的加权矢量，来重构PGi，
Vp＝ApTAp的单位特征向量矩阵
ΛP＝ApTAp的特征值矩阵
--用最小的d3值识别最匹配的Pk，通过公式
26.一种画像-照片识别方法，该方法是利用照片集Ap和与其对应的画像集As在一个画像图库中找到与照片Pk最匹配的画像Sk，图库中的每个画像用SGi标记，Ap和As分别有M个样本Pi和Si，即Ap＝[P1，P2，......，PM]和As＝[S1，S2，......，SM]。照片特征空间Up和画像特征空间Us分别由Ap和As算出，步骤如下
--为画像图库中为每个画像SGi生成一个伪照片Pr，通过
a)投影SGi到Us中，计算投影系数bs，SGi＝Usbs；
b)利用Ap和bs生成Pr；
--通过比较伪照片Pr与Pk来识别对应的最匹配的伪照片PrK，其在画像图库中所对应的画像即为所要找的Sk。
27.如权利要求26中所述的画像-照片识别方法，其中，M≥80。
28.如权利要求26中所述的画像-照片识别方法，其中，所有画像As由同一个画家准备。
29.如权利要求26中所述的画像-照片识别方法，其中
Pi＝Qi-mp，其中Qi＝Pi的原始照片，
Si＝Ti-ms，其中Ti＝Si的原始画像，
，其中的原始照片。
30.如权利要求26中所述的画像-照片识别方法，其中，识别最匹配的伪照片PrK通过
--对于每个伪照片Pr，投影Pr到Up中，计算对应的投影系数br，使Pr＝Upbr；
--投影Pk到Up中，计算对应的投影系数bp，使Pk＝Upbp；
--找到伪照片PrK，使其投影系数br和bp有最小差异，则PrK在画像图库中所对应的画像即为与Sk。
31.如权利要求26中所述的画像-照片识别方法，其中，从画像库中为每个画像SGi生成伪照片Pr包括以下步骤
a)计算每个画像Si在画像集As的加权系数，来重构SGi，
Vs＝AsTAs的单位特征向量矩阵
Λs＝AsTAs的特征值矩阵
b)通过生成伪照片Pr。
32.如权利要求31中所述的画像一照片识别方法，其中，识别最匹配的伪照片Prk，通过
--投影Pk到Up计算投影系数bp，Pk＝UpbP；
--计算每个照片Pi在画像集Λp的加权系数，
Vp＝ApTAp的单位特征向量矩阵
ΛP＝ApTAp的特征值矩阵；
--用有最小dk值的伪画像Pr识别最匹配的Sk，通过公式
33.一种画像一照片识别方法，该方法是利用照片集Ap和与其对应的画像集As在一个画像图库中找到与照片Pk最匹配的画像Sr，图库中的每个画像用SGi标记，Ap和As分别有M个Pi和Si样本，即Ap＝[P1，P2，......，PM]和As＝[S1，S2，......，SM]，照片特征空间Up和画像特征空间Us分别由Ap和As算出，步骤如下
--为Pk生成一个伪画像Sr，通过
a)投影Pk到Up中，计算投影系数bp，使得Pk＝Upbp，，
b)利用As和bp生成Sr；
--通过把伪画像Sr与的画像图库中画像比较，识别最匹配的Sk。
34.如权利要求33中所述的画像一照片识别方法，其中，M≥80。
35.如权利要求33中所述的画像一照片识别方法，其中，所有画像As，由同一个画家准备。
36.如权利要求33中所述的画像一照片识别方法，其中，
Pi＝Qi-mp，其中Qi＝Pi的原始照片，
Si＝Ti-ms，其中Ti＝Si的原始画像，
，其中的原始画像。
37.如权利要求33中所述的画像-照片识别方法，其中识别最匹配的画像Sk通过
--对每个画像SGi，投影SGi到Us中，计算对应的投影系数bs，使
--投影伪画像Sr到Us中，计算对应的投影系数br，使Sr＝Usbr；
--最匹配的Sk即是有最小系数bs和br差异的画像。
38.如权利要求37中所述的画像-照片识别方法，其中，该方法进一步包括以下步骤
a)计算每个照片Pi在照片集Ap的加权系数，来重构Sr，
Vp＝ApTAp的单位特征向量矩阵
ΛP＝ApTAp的特征值矩阵；
b)对每个在画像图库中的SGi，计算每个画像Si在画像集As的加权系数，重构SGi，
Vs＝AsTAs的单位特征向量矩阵
Λs＝AsTAs的特征值矩阵；
--用有最小d5值识别最匹配的Sk，通过公式
39.一种画像-照片转换系统，该系统是利用一个照片集Ap和与其对应的画像集As为照片Pk生成一个伪画像Sr_，照片集Ap和画像集As分别有M个Pi和Ai样本，即Ap＝[P1，P2，......，PM]和As＝[S1，S2，......，SM]，照片特征空间Up是从Ap算出，利用权利要求1中阐述的算法。
40.一种画像-照片转换计算机系统，该系统是利用一个画像集As和其对应的照片集Ap为画像Sk生成一个伪照片Pr，Ap和As分别有M个Pi和Si样本，即As＝[S1，S2，......，SM]和Ap＝[P1，P2，......，PM]，画像特征空间Us是从As算出，利用权利要求7中阐述的算法。
41.一种画像-照片识别计算机系统，该系统是利用照片集Ap和与其对应的画像集As在一个照片图库中为画像Sk找最匹配的照片Pk，照片图库中有大量的照片，每个照片用PGi标记，Ap和As分别有M个Pi和Si样本，即Ap＝[P1，P2，......，PM]和As＝[S1，S2，......，SM]，照片特征空间Up和画像特征空间Us分别从Ap和As算出，利用权利要求13和20中阐述的算法。
42.一种画像-照片识别计算机系统，该系统是利用照片集Ap和与其对应的画像集As在一个画像图库中为照片Pk找最匹配的画像Sk，画像图库中有大量的画像，每个画像用SGi标记，Ap和As分别有M个Pi和Si样本，即Ap＝[P1，P2，......，PM]和As＝[S1，S2，......，SM]，照片特征空间Up和画像特征空间Us分别从Ap和As算出，利用权利要求26和33中阐述的算法。
全文摘要
本项发明提供了一种基于画像的新的照片检索系统。用这种新方法可大大缩小照片与画像之间的差异，使两者之间进行有效匹配。实验数据也证实了这一算法的有效性。
文档编号G06K9/00GK1701339SQ0382525
公开日2005年11月23日 申请日期2003年9月19日 优先权日2002年9月19日
发明者汤晓鸥 申请人:汤晓鸥