基于文本图片特征交互扩充的文本图解方法及系统的制作方法
【技术领域】
[0001] 本发明涉及计算机媒体技术领域，特别涉及一种基于文本图片特征交互扩充的文 本图解方法及系统。
【背景技术】
[0002] 随着互联网与网络多媒体技术的飞速发展，人们对于文本图解的需求越来越高。 在社交网络中，用户习惯于用图片来匹配文字，更好的表达自己。但是，互联网中的图片数 据库十分庞大，手动检索与文本相匹配的图片需要很长的时间。因此，自动化的文本图解系 统对于用户是非常重要的。
[0003] 相关技术中，现有的文本图解系统是通过计算待图解文本与图片数据库中数据的 相似度，以将相似度最高的特定数量图片作为图解推送给用户。其中，计算相似度的方法主 要有一下三种：一种是直接根据待图解文本与图片标签之间出现的共同词语来进行相似搜 索；第二种是先提取待图解文本中的关键词语，然后再将关键词语与图片标签词语进行相 似搜索；第三种是将图片数据库中每一条数据的图像特征词袋模型与图片标签词袋模型进 行拼接，然后计算待图解文本的主题分布与图片数据库中数据的主题分布的相似性。
[0004] 然而，相关技术中存在以下缺点：
[0005] -、根据词的共现关系计算相似度的方法最早是在图片搜索引擎上使用的，通过 tf-idf等度量方式直接计算出图片的关键词与待图解文本的相似性。这种方法虽然简单直 接，易于实现，并且在关键词较完整时有比较好的效果，但是直接应用文本特征进行相似度 度量，没有对文本的关键信息进行提取，没有对文本的语义进行分析，使得冗余文本特征带 来的噪声较大，并且没有考虑图片的内容特征，导致实际效果在很大程度上依赖于图片标 签的质量。
[0006] 二、根据文本中的关键词语寻找相似图片进行文本图解的方法在Barnard与 Joshi等人的文本图解系统中均得到了应用。该方法的具体步骤如下：（1)提取待图解文 本中的描述性词语，即关键词。（2)计算提取出的关键词和每个图片的标签词语的相似度。 (3)依据该相似度对备选图片排序，选择相似度最高的图片作为文本的图解。这种方法通过 关键词的寻找去除了文本中的部分噪声，但是该方法没有考虑图片的内容特征，因此在很 大程度上依赖于图片标签的质量。另外，直接度量两个词语的相似度而不考虑词语所处的 语境也会对度量的结果造成巨大的偏差。
[0007] 三、利用图片特征与图片标签信息进行拼接的方法，首先将图片特征与文本特征 拼接到同一特征空间下，然后利用主题挖掘计算主题分布，并利用主题的概率分布来表示 每一条数据，最后依据待图解文本特征向量与图片数据库中每个数据的主题分布的相似性 排序，选出匹配的图片。利用主题挖掘的方式可以更好地挖掘词与词在深层语义空间中的 关系，利用图像特征也可以更好地考虑图片内容之间的相似度，但是没有解决由于图片标 签的稀疏性和词语脱离语境可能造成的语义挖掘不准确的问题。此外，直接将文本特征与 图片特征拼接到同一特征空间下也忽视了图片与文本特征不同的概率分布特点。
【发明内容】
[0008] 本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
[0009] 为此，本发明的一个目的在于提出一种基于文本图片特征交互扩充的文本图解方 法，该方法可以提高相似度计算的准确性，并且简单便捷。
[0010] 本发明的另一个目的在于提出一种基于文本图片特征交互扩充的文本图解系统。
[0011] 为达到上述目的，本发明一方面实施例提出了一种基于文本图片特征交互扩充的 文本图解方法，包括以下步骤：S1，采集图片数据库数据集与外部文本数据集；S2,对所述 外部文本数据集进行文本预处理，并且对所述图片数据库数据集进行图片特征提取和关键 词预处理；S3,在预处理之后的外部文本数据集与图片数据库数据集上进行主题挖掘，以获 取外部文本数据集的主题分布和图片数据库数据集的主题分布；S4,根据所述外部文本数 据集的主题分布对所述图片数据库数据集进行文本特征扩充，并且根据所述图片数据库数 据集的主题分布对所述外部文本数据集进行图像特征扩充；S5,迭代所述步骤S3与所述 步骤S4,直至收敛，并保存扩充后的图片数据库中每条数据的主题分布；S6,输入待图解文 本；S7,根据所述每条数据的主题分布对所述待图解文本进行主题推断，以得到主题分布概 率；以及S8,根据所述主题分布概率获取所述待图解文本与图片标签的相似度，以输出结 果。
[0012] 根据本发明实施例提出的基于文本图片特征交互扩充的文本图解方法，通过对原 有数据进行扩充，丰富了原有数据的表示，很好地解决了因为关键词稀疏造成的相似度量 不准确问题，同时以文本特征与图像特征的对应关系为基础，分别利用文本和图片，针对文 本与图片的不同特征属性特点进行扩充，将两类数据分开处理，充分考虑到二者独有的分 布，避免了因为数据属性不同造成相互影响的问题，从而提高相似度计算的准确性，提高推 送图片的准确率，简单便捷，提高用户的使用体验。
[0013] 另外，根据本发明上述实施例的基于文本图片特征交互扩充的文本图解方法还可 以具有如下附加的技术特征：
[0014] 进一步地，在本发明的一个实施例中，对所述外部文本数据集进行文本预处理， 进一步包括：去除所述外部文本数据集中的长文本的停用词；根据PSA(PorterStemming Algorithm，波特词干算法）算法对所述外部文本数据集中的词语和关键词进行去词根处 理，以获取每个文本对应的词袋模型。
[0015] 进一步地，在本发明的一个实施例中，对所述图片数据库数据集进行图片特征提 取和关键词预处理，进一步包括：根据SIFT(Scale-invariantfeaturetransform，尺度不 变特征变换）算法提取所述图片数据库数据集中每张图片的图片特征；根据所述每张图片 的图片特征检测所述每张图片的描述子，并进行聚类以得到多个聚类中心；以及根据所述 多个聚类中心得到所述每张图片的词袋模型。
[0016] 进一步地，在本发明的一个实施例中，根据LDA(LatentDirichletAllocation， 文档主题生成模型）算法在所述预处理之后的外部文本数据集与图片数据库数据集上进 行主题挖掘。
[0017] 进一步地，在本发明的一个实施例中，根据以下公式计算相似度，所述公式为：
[0018]
[0019] 其中，i表示第i个待图解文本，j表示图片数据库中第j张图片，0u为第i个待 图解文本对应的主题分布概率，0:/为第j张图片对应的主题分布概率。
[0020] 本发明另一方面实施例提出了一种基于文本图片特征交互扩充的文本图解系统， 包括：采集模块，用于采集图片数据库数据集与外部文本数据集；预处理模块，用于对所述 外部文本数据集进行文本预处理，并且对所述图片数据库数据集进行图片特征提取和关键 词预处理；处理模块，用于在预处理之后的外部文本数据集与图片数据库数据集上进行主 题挖掘，以获取外部文本数据集的主题分布和图片数据库数据集的主题分布；扩充模块，用 于根据所述外部文本数据集的主题分布对所述图片数据库数据集进行文本特征扩充，并且 根据所述图片数据库数据集的主题分布对所述外部文本数据集进行图像特征扩充；迭代模 块，用于迭代所述处理模块与所述扩充模块所做的操作，直至收敛，并保存扩充后的图片数 据库中每条数据的主题分布；输入模块，用于输入待图解文本；获取模块，用于根据所述每 条数据的主题分布对所述待图解文本进行主题推断，以得到主题分布概率；以及输出模块， 用于根据所述主题分布概率获取所述待图解文本与图片标签的相似度，以输出结果。
[0021] 根据本发明实施例提出的基于文本图片特征交互扩充的文本图解系统，通过对原 有数据进行扩充，丰富了原有数据的表示，很好地解决了因为关键词稀疏造成的相似度量 不准确问题，同时以文本特征与图像特征的对应关系为基础，分别利用文本和图片，针对文 本与图片的不同特征属性特点进行扩充，将两类数据分开处理，充分考虑到二者独有的分 布，避免了因为数据属性不同造成相互影响的问题，从而提高相似度计算的准确性，提高推 送图片的准确率，简单便捷，提高用户的使用体验。
[0022] 另外，根据本发明上述实施例的基于文本图片特征交互扩充的文本图解系统还可 以具有如下附加的技术特征：
[0023] 进一步地，在本发明的一个实施例中，所述预处理模块进一步用于：去除所述外部 文本数据集中的长文本的停用词；根据PSA算法对所述外部文本数据集中的词语和关键词 进行去词根处理，以获取每个文本对应的词袋模型。
[