本发明属于计算机视觉和自然语言处理的交叉
技术领域：
：，具体涉及参考与生成语句之间相似度确定方法。
背景技术：
：：用自然语言描述图像或视频中的视觉场景信息是计算机视觉中近年来的研究热点之一，它涉及了由图像或视频向文本语句的形式转换问题，即图像标题和视频标题技术。随着国内外研究人员对图像标题和视频标题领域的不断深入，人们提出了越来越多的场景描述算法和场景描述效果的评价指标，例如BLEU、CIDEr-D、ROUGE等。但是，细究这些指标的确定方法，均是基于n元组或最长公共序列的确定，即在评判两个句子的相似度时，只考虑两个待评价句子中拼写完全相同的单词的匹配程度。它们给出的是严格意义上的场景描述效果，没有利用场景中对象及其关系的语义信息，评价结果尤其不适用于“因句子表达不同而语义相同”或“句子n元组相同但语义不同”两类问题。技术实现要素：本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种方法合理、实用性强、运算速度快的基于场景描述的语义评价方法。解决上述技术问题所采用的技术方案是由下述步骤组成：(1)分析英文句子的词性1)从MSCOCO图像数据集中选取待场景描述的原始图像中的5个英文语句，5个英文语句记为S1,S2,S3,S4,S5。2)根据不同的文本描述生成模型，对所选取的原始图像进行场景描述，得到生成语句Sg。3)统计生成语句Sg中关键词个数，按照名词、动词、形容词与副词将生成语句Sg中所有关键词分成名词集合n1、动词集合v1、形容词与副词集合a1，各集合中单词的个数分别表示为Cn1、Cv1、Ca1。4)统计5个英文语句中关键词个数，按照名词、动词、形容词与副词将5个英文语句S1,S2,S3,S4,S5中的关键词分成n2i、v2i、a2i集合，各集合中单词的个数分别表示为Cn2i、Cv2i、Ca2i，i∈[1,5]。(2)用同义词库统计相关单词个数1)用Thesaurus.com网站，分别对5个英文语句S1,S2,S3,S4,S5的关键词集合n2i、v2i、a2i中的单词查询同义词，得到相应同义词集合Set-ni、同义词集合Set-vi、同义词集合Set-ai。2)分别确定生成语句Sg的关键词名词集合n1、动词集合v1、形容词与副词集合a1中的单词，与5个英文语句S1,S2,S3,S4,S5中的关键词n2i、v2i、a2i集合中的单词或相应同义词集合Set-ni、Set-vi、Set-ai中单词的相同个数，即确定(n1∩n2i)∪(n1∩Set-ni)、(v1∩v2i)∪(v1∩Set-vi)、(a1∩a2i)∪(a1∩Set-ai)三个集合中元素的个数，为Cn-syni、Cv-syni、Ca-syni，i∈[1,5]。(3)确定5个英文语句与生成语句Sg的相似度1)生成语句Sg与5个英文语句S1,S2,S3,S4,S5的词性相似度系数ki为：词性相似度系数ki取值范围[0,1]。2)生成语句Sg与5个英文语句S1,S2,S3,S4,S5的语义相似度系数ji为：语义相似度系数ji取值范围[0,1]。3)确定生成语句Sg与5个英文语句S1,S2,S3,S4,S5的语句相似度si为：相似度si取值范围[0,1]。4)按下式确定生成语句Sg与5个英文语句S1,S2,S3,S4,S5的最大语句相似度：SimilarSyn＝max{si}(4)在本发明的用同义词库统计相关单词个数步骤(2)中，本发明的分别对5个英文语句S1,S2,S3,S4,S5的关键词集合n2i、v2i、a2i中的单词查询同义词方法为：将5个英文语句S1,S2,S3,S4,S5输入到Linux系统中，该系统按照名词、动词、形容词与副词将5个英文语句S1,S2,S3,S4,S中所有关键词分成3个集合，通过Thesaurus.com网站对3个集合查询同义词集，并返回这5个英文语句中关键词的同义词。在本发明的分析英文句子的词性步骤2)中，本发明的文本描述生成模型为编码-译码框架下的深度网络模型。本发明采用Thesaurus.com互联网同义词库，将参考语句中的关键单词按三类词性拓展到各单词的同义词集合，并用它们与待评价的生成语句中的各单词作相应的匹配，有效地解决了因句子表达不同而语义相同或句子n元组相同但语义不同情况下，生成语句与参考语句的语义级匹配问题。本发明有方法合理、实用性强、运算速度快等优点，可在场景描述评价
技术领域：
：应用。附图说明图1是本发明实施例1的流程示意图。具体实施方式下面结合附图和实施例对本发明作进一步详细说明，但本发明不限于以下实施例。实施例1本实施例选取来自于MSCOCO图像数据集中训练集编号为000000425762的图片，对图像的5个英文语句采用基于场景描述的语义评价方法步骤如下：(1)分析英文句子的词性1)从MSCOCO图像数据集中选取待场景描述的原始图像中的5个英文语句，5个英文语句记为S1,S2,S3,S4,S5，5个英文语句为：S1：Aplatefilledwithslicedbeefabunandpotatoes.S2：Pullporksandwichandpotatoessitonawhiteplate.S3：Averymeatysandwichwithuniquelyshapedfries.S4：Aplateofpotatoeswithapulledporksandwichnexttoit.S5：Thisisanimageofamealwithmeat,breadandpotatoes.2)根据不同的文本描述生成模型，对所选取的原始图像进行场景描述，本实施例的文本描述生成模型为编码-译码框架下的“VGGLSTM”模型，“VGGLSTM”模型已在DonahueJ,HendricksLA,GuadarramaSetal.Long-termrecurrentconvolutionalnetworksforvisualrecognitionanddescription[C].ProceedingoftheConferenceonComputerVisionandPatternRecognition(CVPR),2015:677-691.公开，得到生成语句Sg为：Aplateoffoodwithmeatandvegetables.3)统计生成语句Sg中关键词个数，按照名词、动词、形容词与副词将生成语句Sg中所有关键词分成名词集合n1、动词集合v1、形容词与副词集合a1，各集合中单词的个数分别表示为Cn1、Cv1、Ca1。本实施例的名词集合n1为{plate,food,meat,vegetables}，动词集合v1为空集，形容词与副词集合a1为空集，各集合中单词的个数分别为Cn1为4、Cv1为0、Ca1为0。4)统计5个英文语句中关键词个数，按照名词、动词、形容词与副词将5个英文语句S1,S2,S3,S4,S5中的关键词分成n2i、v2i、a2i集合，各集合中单词的个数分别表示为Cn2i、Cv2i、Ca2i，i∈[1,5]。本实施例的n2i为{plate,beef,bun,potatoes}，v2i为空集，a2i为{filled}，各集合中单词的个数分别表示为Cn2i为4、Cv2i为0、Ca2i为1。(2)用同义词库统计相关单词个数1)用Thesaurus.com网站，分别对5个英文语句S1,S2,S3,S4,S5的关键词集合n2i、v2i、a2i中的单词查询同义词，本实施例的5个英文语句S1,S2,S3,S4,S5的关键词集合n2i、v2i、a2i中的单词查询同义词方法为：将5个英文语句S1,S2,S3,S4,S5输入到Linux系统中，该系统按照名词、动词、形容词与副词将5个英文语句S1,S2,S3,S4,S中所有关键词分成3个集合，3个集合n2i为{plate,beef,bun,potatoes}，v2i为空集，a2i为{filled}，通过Thesaurus.com网站对3个集合查询同义词集，并返回这5个英文语句中关键词的同义词。得到相应同义词集合Set-ni、同义词集合Set-vi、同义词集合Set-ai。本实施例的同义词集合Set-ni为{plate同义词}∪{beef同义词}∪{bun同义词}∪{potatoes同义词}，即{bowl,platter,serving,casserole,course,helping,portion,service,trencher}∪{meat,arm,brawn,flesh,force,heftiness,might,muscle,physique,power,robustness,sinew,steam,strength,vigor}∪{thew,bread,doughnut,muffin,pastry,scone,cruller,Danish,eclair,sweetroll}∪{yam,murphy,plant,spud,tater,tuber}，同义词集合Set-vi为空集，同义词集合Set-ai为{filled同义词}∪{sliced同义词}，即{brimming,full,replete,permeated}∪{carve,cleave,divide,hack,sever,shave,shred,slash,slit,split,strip,dissect,dissever,gash,incise,pierce,segment,subdivide,sunder,chiv}。2)分别确定生成语句Sg的关键词名词集合n1、动词集合v1、形容词与副词集合a1中的单词，与5个英文语句S1,S2,S3,S4,S5中的关键词n2i、v2i、a2i集合中的单词或相应同义词集合Set-ni、同义词集合Set-vi、同义词集合Set-ai中单词的相同个数，即确定(n1∩n2i)∪(n1∩Set-ni)、(v1∩v2i)∪(v1∩Set-vi)、(a1∩a2i)∪(a1∩Set-ai)三个集合中元素的个数，为Cn-syni、Cv-syni、Ca-syni，i∈[1,5]。本实施例的Cn-syni为2、Cv-syni为0、Ca-syni为0。(3)确定5个英文语句与生成语句Sg的相似度1)生成语句Sg与5个英文语句S1,S2,S3,S4,S5的词性相似度系数ki为：词性相似度系数ki取值范围[0,1]。本实施例中，按式(1)得到，i为1，2，3，4，5时，5个英文语句的词性相似度系数ki为0.5833，0.3333，0.5，0.6667，0.9993。2)生成语句Sg与5个英文语句S1,S2,S3,S4,S5的语义相似度系数ji为：语义相似度系数取值范围[0,1]本实施例中，按式(2)得到，i为1，2，3，4，5时，5个英文语句的语义相似度系数ji为0.5，0.25，0，0.25，0.25。3)确定生成语句Sg与5个英文语句S1,S2,S3,S4,S5的语句相似度si为：式中si取值范围[0,1]。本实施例中，按式(3)得到，i为1，2，3，4，5时，5个英文语句的语句相似度si为0.504，0.254，0.025，0.271，0.284。4)按下式确定生成语句Sg与5个英文语句S1,S2,S3,S4,S5的最大语句相似度：SimilarSyn＝max{si}(4)本实施例中，按式(4)得到，成语句Sg与5个英文语句S1,S2,S3,S4,S5的最大语句相似度为0.504。实施例2本实施例选取来自于MSCOCO图像数据集中训练集编号为000000454956的图片，对图像的5个英文语句采用基于场景描述的语义评价方法步骤如下：(1)分析英文句子的词性1)从MSCOCO图像数据集中选取待场景描述的原始图像中的5个英文语句，5个英文语句记为S1,S2,S3,S4,S5，5个英文语句为：S1：Twobearscanbeseengrazinginthegrassatthesideoftheroad.S2：Twoblackbearsareinthegrassnexttotheroad.S3：Acoupleofbearsnexttoaroad.S4：Twoblackbearseatinggrassonthesideoftheroad.S5：Apairofblackbearsstandinthegrassonthesideoftheroad.2)根据不同的文本描述生成模型，对所选取的原始图像进行场景描述，本实施例的文本描述生成模型为编码-译码框架下的“VGGLSTM”模型，“VGGLSTM”模型与实施例1相同，得到生成语句Sg为：Abeariswalkingthroughthegrassnearatree.3)统计生成语句Sg中关键词个数，按照名词、动词、形容词与副词将生成语句Sg中所有关键词分成名词集合n1、动词集合v1、形容词与副词集合a1，各集合中单词的个数分别表示为Cn1、Cv1、Ca1。本实施例的名词集合n1为{bear、grass、tree}，动词集合v1为空集，形容词与副词集合a1为空集，各集合中单词的个数分别为Cn1为3、Cv1为1、Ca1为0。4)统计5个英文语句中关键词个数，按照名词、动词、形容词与副词将5个英文语句S1,S2,S3,S4,S5中的关键词分成n2i、v2i、a2i集合，各集合中单词的个数分别表示为Cn2i、Cv2i、Ca2i，i∈[1,5]。本实施例的n2i为{bear、grass、road}，v2i为{grazing、seen}，a2i为{side}，各集合中单词的个数分别表示为Cn2i为3、Cv2i为2、Ca2i为1。(2)用同义词库统计相关单词个数1)用Thesaurus.com网站，分别对5个英文语句S1,S2,S3,S4,S5的关键词集合n2i、v2i、a2i中的单词查询同义词，单词查询同义词方法与实施例1相同，得到相应同义词集合Set-ni、同义词集合Set-vi、同义词集合Set-ai。本实施例的同义词集合Set-ni为{bear同义词}∪{grass同义词}∪{tree同义词}，即{barbarian,bear,boob,brute,buffoon,cad,churl,dork,goon,lout,oaf,peasant,philistine,rube,vulgarian}∪{meadow,hay,pasture,turf,sod,verdure,brarley,grama}∪{sapling,shru,wood,forest,timber,woods,pulp,stock,seedling,softwood,hardwood,topiary}，同义词集合Set-vi为{grazing同义词}∪{seen同义词}，即{battening,biting,champing,cropping,eating,feeding,foraging,gnawing,masticating,munching,nibbling,pasturing,ruminating,uprooting}∪{detect,examine,identify,look,lookat,notice,observe,recognize,regard,spot,view,watch,witness,beam,behold,clock,contemplate,descry,discern,distinguish,espy,eye,flash,gape,gawk,gaze,glare,glimpse,heed,inspect,mark,mind,note,peek,peep,peer,peg,penetrate,pierce,remark,scan,scope,scrutinize,sight,spy,stare,survey,beapprisedof,catchaglimpseof,catchsightof,getaloadof,layeyeson,makeout,payattentionto,takenotice}，同义词集合Set-ai为{side同义词}，即{incidental,lateral,oblique,postern,roundabout,secondary,skirting,subordinate,subsidiary,ancillary,indirect,lesser,marginal,notthemain,off-center,sidelong,sideward,sideways,sidewise,superficial}。2)分别确定生成语句Sg的关键词名词集合n1、动词集合v1、形容词与副词集合a1中的单词，与5个英文语句S1,S2,S3,S4,S5中的关键词n2i、v2i、a2i集合中的单词或相应同义词集合Set-ni、同义词集合Set-vi、同义词集合Set-ai中单词的相同个数，即确定(n1∩n2i)∪(n1∩Set-ni)、(v1∩v2i)∪(v1∩Set-vi)、(a1∩a2i)∪(a1∩Set-ai)三个集合中元素的个数，为Cn-syni、Cv-syni、Ca-syni，i∈[1,5]。本实施例的Cn-syni为2、Cv-syni为0、Ca-syni为0。(3)确定5个英文语句与生成语句Sg的相似度1)生成语句Sg与5个英文语句S1,S2,S3,S4,S5的词性相似度系数ki为：词性相似度系数ki取值范围[0,1]。本实施例中，按式(1)得到，i为1，2，3，4，5时，5个英文语句的词性相似度系数ki为0.5，0.6667，0.6667，0.6667，0.5833。2)生成语句Sg与5个英文语句S1,S2,S3,S4,S5的语义相似度系数ji为：语义相似度系数取值范围[0,1]本实施例中，按式(2)得到，i为1，2，3，4，5时，5个英文语句的语义相似度系数ji为0.5，0.5，0.25，0.5，0.5。3)确定生成语句Sg与5个英文语句S1,S2,S3,S4,S5的语句相似度si为：式中si取值范围[0,1]。本实施例中，按式(3)得到，i为1，2，3，4，5时，5个英文语句的语句相似度si为0.5，0.508，0.254，0.508，0.504。4)按下式确定生成语句Sg与5个英文语句S1,S2,S3,S4,S5的最大语句相似度：SimilarSyn＝max{si}(4)本实施例中，按式(4)得到，成语句Sg与5个英文语句S1,S2,S3,S4,S5的最大语句相似度为0.508。实施例3本实施例选取来自于MSCOCO图像数据集中训练集图片，对图像的5个英文语句采用基于场景描述的语义评价方法步骤如下：(1)分析英文句子的词性1)从MSCOCO图像数据集中选取待场景描述的原始图像中的5个英文语句，5个英文语句记为S1,S2,S3,S4,S5，5个英文语句为：S1：Ayounggirlstandingontopofatenniscourt.S2：Ayounggirlstandingontopofatenniscourtholdingaracquet.S3：Akidholdingaracketreadytokicktheball.S4：Akidisstandingonatenniscourtwitharacket.S5：Ayounggirlplayingtennisatatenniscourt.2)根据不同的文本描述生成模型，对所选取的原始图像进行场景描述，本实施例的文本描述生成模型为编码-译码框架下的“VGGLSTM”模型，“VGGLSTM”模型与实施例1相同，得到生成语句Sg为：Agiraffestandingontopofagreenfield.3)统计生成语句Sg中关键词个数，按照名词、动词、形容词与副词将生成语句Sg中所有关键词分成名词集合n1、动词集合v1、形容词与副词集合a1，各集合中单词的个数分别表示为Cn1、Cv1、Ca1。本实施例的名词集合n1为{giraffe,top,field}，动词集合v1为{standing}，形容词与副词集合a1为{green}，各集合中单词的个数分别为Cn1为3、Cv1为1、Ca1为1。4)统计5个英文语句中关键词个数，按照名词、动词、形容词与副词将5个英文语句S1,S2,S3,S4,S5中的关键词分成n2i、v2i、a2i集合，各集合中单词的个数分别表示为Cn2i、Cv2i、Ca2i，i∈[1,5]。本实施例的n2i为{girl,top,tenniscourt}，v2i为{standing}，a2i为{young}，各集合中单词的个数分别表示为Cn2i为3、Cv2i为1、Ca2i为1。(2)用同义词库统计相关单词个数1)用Thesaurus.com网站，分别对5个英文语句S1,S2,S3,S4,S5的关键词集合n2i、v2i、a2i中的单词查询同义词，单词查询同义词方法与实施例1相同，得到相应同义词集合Set-ni、同义词集合Set-vi、同义词集合Set-ai。本实施例的同义词集合Set-ni为{giraffe同义词}∪{top同义词}∪{field同义词}，即{buffalo,camel,cattle,cow,deer,elephant,hippopotamus,hog,horse,llama,pig,rhinoceros,swine,tapir}∪{acme,apex,apogee,cap,captial,ceiling,climax,cork,cover,crest,crown,culmination,cusp,face,fastigium,finial,head,height,highpoint,lid,limit,maximum,meridian,peak,pinnacle,point,roolf,spire,stopper,summit,superficies,surface,tip,utmost,vertex,zenith}∪{acreage,cropland,enclosure,farmland,garden,glebe,grassland,green,ground,lea,mead,meadow,moorland,pasture,patch,plot,ranchland,range,terrain,territory,tillage,tract,vineyard}，同义词集合Set-vi为{standing同义词}，即{existing,continuing,fixed,regular,repeated,perpetual}，同义词集合Set-ai为{young同义词}，即{budding,inexperienced,new,youthful,adolescent,blooming,blossoming,crude,developing，fledgling,green,growing,infant,inferior,junior,juvenile,little,modern,newborn,punk,raw,recent,tender,tenderfoot,boyish,boylike,burgeoning,callow,childish,childlike,early,fresh,girlish,girllike,half-grown,ignorant,newish,notaged,pubescent,puerile,undeveloped,undisciplined,unfinished,unfledged,unlearned,unpraticed,unripe,unseasoned,untried,unversed,vernal}。2)分别确定生成语句Sg的关键词名词集合n1、动词集合v1、形容词与副词集合a1中的单词，与5个英文语句S1,S2,S3,S4,S5中的关键词n2i、v2i、a2i集合中的单词或相应同义词集合Set-ni、同义词集合Set-vi、同义词集合Set-ai中单词的相同个数，即确定(n1∩n2i)∪(n1∩Set-ni)、(v1∩v2i)∪(v1∩Set-vi)、(a1∩a2i)∪(a1∩Set-ai)三个集合中元素的个数，为Cn-syni、Cv-syni、Ca-syni，i∈[1,5]。本实施例的Cn-syni为1、Cv-syni为1、Ca-syni为0。(3)确定5个英文语句与生成语句Sg的相似度1)生成语句Sg与5个英文语句S1,S2,S3,S4,S5的词性相似度系数ki为：词性相似度系数ki取值范围[0,1]。本实施例中，按式(1)得到，i为1，2，3，4，5时，5个英文语句的词性相似度系数ki为1，0.75，0.8333，0.6667，0.9333。2)生成语句Sg与5个英文语句S1,S2,S3,S4,S5的语义相似度系数ji为：语义相似度系数取值范围[0,1]本实施例中，按式(2)得到，i为1，2，3，4，5时，5个英文语句的语义相似度系数ji为0.4，0.4，0，0.3，0。3)确定生成语句Sg与5个英文语句S1,S2,S3,S4,S5的语句相似度si为：式中si取值范围[0,1]。本实施例中，按式(3)得到，i为1，2，3，4，5时，5个英文语句的语句相似度si为0.43，0.418，0.042，0.223，0.25。4)按下式确定生成语句Sg与5个英文语句S1,S2,S3,S4,S5的最大语句相似度：SimilarSyn＝max{si}(4)本实施例中，按式(4)得到，成语句Sg与5个英文语句S1,S2,S3,S4,S5的最大语句相似度为0.43。当前第1页1 2 3 当前第1页1 2 3