媒介信息推送系统及其基于视觉特征的图文检索方法与流程

本申请涉及图像处理技术领域，具体涉及一种基于视觉特征的图文检索方法，一种应用所述基于视觉特征的图文检索方法的媒介信息推送系统。

背景技术：

随着信息技术的快速发展，报纸已经从纸张的形式，逐渐扩展到电子的方式，这极大地方便了用户，但是，这对传统的传媒行业提起了极大的挑战。同时，为把握国家和地方大力推进文化产业发展的重大产业政策的契机，抢占行业科技制高点，越来越多的传媒行业为了实现产业的升级，提升竞争力，会需要实现产业化应用，推进媒体行业的转型升级、文创行业内容汇聚以及挖掘内容的价值。

针对现有技术的多方面不足，本申请的发明人经过深入研究，提出一种媒介信息推送系统及其基于视觉特征的图文检索方法。

技术实现要素：

本申请的目的在于，提供一种媒介信息推送系统及其基于视觉特征的图文检索方法，能够采用基于视觉图像内容和关键字语义的信息检索，结合基于内容的图片识别匹配技术、图像和文本跨媒体交叉检索和匹配技术，并以智能搜索技术为核心，实现基于多种智能终端的搜索服务，进而能够实现基于内容的图文融合大数据智能搜索，利于产业化整合升级，发挥产业的最大价值。

为解决上述技术问题，本申请提供一种基于视觉特征的图文检索方法，作为其中一种实施方式，所述基于视觉特征的图文检索方法包括步骤：

获取用户输入的图文样本；

采用视觉图像搜索技术提取所述图文样本中的特征信息；

根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息；

通过预定方式展示所述媒介信息。

作为其中一种实施方式，所述获取用户输入的图文样本的步骤，具体包括：

获取用户通过网络传输、本地上传、即时拍摄、即时工具绘制和/或临摹主色调绘制所输入的图文样本。

作为其中一种实施方式，所述采用视觉图像搜索技术提取所述图文样本中的特征信息的步骤，具体包括：

采用视觉图像搜索技术提取所述图文样本中包括图像像素的颜色属性和/或像素间的相互关系的特征信息，其中，所述图像像素的颜色属性或像素间的相互关系与所述图文样本之间建立有索引关系。

作为其中一种实施方式，所述采用视觉图像搜索技术提取所述图文样本中包括图像像素的颜色属性和/或像素间的相互关系的特征信息的步骤，具体包括：

采用视觉图像搜索技术提取所述图文样本中图像像素底层特征的颜色、纹理、形状的特征信息。

作为其中一种实施方式，所述采用视觉图像搜索技术提取所述图文样本中图像像素底层特征的颜色、纹理、形状的特征信息的步骤，还包括：

通过预设的图像语义模型对图像像素底层特征的颜色、纹理、形状进行语义识别，以得到具备抽象视觉特征的特征信息。

作为其中一种实施方式，所述根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息的步骤，具体包括：

根据所述特征信息从预设的图像特征库中查找与之近似的多个媒介信息；

计算所述特征信息与所述多个媒介信息的特征相似度；

根据特征相似度对多个媒介信息进行优先排序。

作为其中一种实施方式，所述根据所述特征信息从预设的图像特征库中查找与之近似的多个媒介信息的步骤，具体包括：

根据技术领域的知识图谱提取特征信息的基本轮廓语义的关健字集合，并用关健字集合作为图像的语义特征向量，以进行图像语义检索。

作为其中一种实施方式，所述计算所述特征信息与所述多个媒介信息的特征相似度的步骤，具体包括：

对所述特征信息的图文样本与任一媒介信息的待匹配图像之间采用语义特征向量进行匹配计算，其中，所述特征信息的图文样本与任一媒介信息的待匹配图像之间采用语义特征向量进行匹配计算的距离测量公式包括：

其中，p、q表示任意两副图像，n为关键字数。

作为其中一种实施方式，所述图文样本包括图像、视频和/或文档，所述媒介信息包括图像、视频和/或文档，所述根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息的步骤，具体包括：

根据所述特征信息从公共网络、局域网络、博物馆、展览馆、社交媒体和/或同行网络的图像特征库中查找跨媒体的媒介信息。

为解决上述技术问题，本申请还提供一种媒介信息推送系统，作为其中一种实施方式，其配置有处理器，所述处理器用于执行程序数据，以实现如上所述的基于视觉特征的图文检索方法。

本申请提供的媒介信息推送系统及其基于视觉特征的图文检索方法，所述基于视觉特征的图文检索方法包括步骤：获取用户输入的图文样本，采用视觉图像搜索技术提取所述图文样本中的特征信息，根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息，通过预定方式展示所述媒介信息。通过上述方式，本申请能够采用基于视觉图像内容和关键字语义的信息检索，结合基于内容的图片识别匹配技术、图像和文本跨媒体交叉检索和匹配技术，并以智能搜索技术为核心，实现基于多种智能终端的搜索服务，进而能够实现基于内容的图文融合大数据智能搜索，利于产业化整合升级，发挥产业的最大价值。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本申请基于视觉特征的图文检索方法一实施方式的流程示意图。

图2a为本申请实现图1所述基于视觉特征的图文检索方法的媒介信息推送系统一实施方式的架构示意图。

图2b为本申请媒介信息推送系统另一实施方式的结构示意图。

具体实施方式

为更进一步阐述本申请为达成预定申请目的所采取的技术手段及功效,以下结合附图及较佳实施例，对本申请详细说明如下。

通过具体实施方式的说明,当可对本申请为达成预定目的所采取的技术手段及效果得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用,并非用来对本申请加以限制。

请参阅图1，图1为本申请基于视觉特征的图文检索方法一实施方式的流程示意图。

需要说明的是，本实施方式所述基于视觉特征的图文检索方法可以包括但不限于如下几个步骤。

步骤s101，获取用户输入的图文样本。

步骤s102，采用视觉图像搜索技术提取所述图文样本中的特征信息。

步骤s103，根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息。

步骤s104，通过预定方式展示所述媒介信息。

本申请能够采用基于视觉图像内容和关键字语义的信息检索，结合基于内容的图片识别匹配技术、图像和文本跨媒体交叉检索和匹配技术，并以智能搜索技术为核心，实现基于多种智能终端的搜索服务，进而能够实现基于内容的图文融合大数据智能搜索，利于产业化整合升级，发挥产业的最大价值。

举例而言，本实施方式所述获取用户输入的图文样本的步骤，具体包括：获取用户通过网络传输、本地上传、即时拍摄、即时工具绘制和/或临摹主色调绘制所输入的图文样本。

容易理解的是，本实施方式所述的通过网络传输、本地上传、即时拍摄、即时工具绘制和/或临摹主色调绘制所输入的图文样本，对应指的是通过网络邮件、聊天软件、或者新闻媒体传输的图文样本，所述本地上传可以指的是将存储在系统本地的图文样本进行上传输入，所述即时拍摄可以指的是通过手机、智能摄像头等直接拍摄后所输入的图像，所述即时工具绘制可以指的是通过专业绘制工具进行图文的绘制上传，所述临摹主色调绘制可以指的是根据用户对关键色调色块进行简单绘制的图文。

值得一提的是，本实施方式所述采用视觉图像搜索技术提取所述图文样本中的特征信息的步骤，具体可以包括：采用视觉图像搜索技术提取所述图文样本中包括图像像素的颜色属性和/或像素间的相互关系的特征信息，其中，所述图像像素的颜色属性或像素间的相互关系与所述图文样本之间建立有索引关系。

具体而言，本实施方式所述采用视觉图像搜索技术提取所述图文样本中包括图像像素的颜色属性和/或像素间的相互关系的特征信息的步骤，具体包括：采用视觉图像搜索技术提取所述图文样本中图像像素底层特征的颜色、纹理、形状的特征信息。

进一步而言，本实施方式所述采用视觉图像搜索技术提取所述图文样本中图像像素底层特征的颜色、纹理、形状的特征信息的步骤，还包括：通过预设的图像语义模型对图像像素底层特征的颜色、纹理、形状进行语义识别，以得到具备抽象视觉特征的特征信息。

需要说明的是，本实施方式所述根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息的步骤，具体可以包括：根据所述特征信息从预设的图像特征库中查找与之近似的多个媒介信息；计算所述特征信息与所述多个媒介信息的特征相似度；根据特征相似度对多个媒介信息进行优先排序。

值得说明的是，本实施方式所述根据所述特征信息从预设的图像特征库中查找与之近似的多个媒介信息的步骤，具体包括：根据技术领域的知识图谱提取特征信息的基本轮廓语义的关健字集合，并用关健字集合作为图像的语义特征向量，以进行图像语义检索。

此外，需要特别说明的是，本实施方式所述计算所述特征信息与所述多个媒介信息的特征相似度的步骤，具体包括：对所述特征信息的图文样本与任一媒介信息的待匹配图像之间采用语义特征向量进行匹配计算，其中，所述特征信息的图文样本与任一媒介信息的待匹配图像之间采用语义特征向量进行匹配计算的距离测量公式，即二者相似度计算公式包括：

在式一中，p、q表示任意两副图像，n为关键字数；即通过对任意两幅图像的关键字数进行比对，来计算前述任意两幅图的相似度。

需要指出的是，本实施方式所述图文样本包括图像、视频和/或文档，所述媒介信息包括图像、视频和/或文档，所述根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息的步骤，具体可以包括：根据所述特征信息从公共网络、局域网络、博物馆、展览馆、社交媒体和/或同行网络的图像特征库中查找跨媒体的媒介信息。并且，在实际操作中，计算所述特征信息与所述多个媒介信息的特征相似度一般采用欧氏距离或内积距离来标识特征相似度。

下面将结合具体的实施例进行举例说明，请参阅图2a，图2a为本申请实现图1所述基于视觉特征的图文检索方法的媒介信息推送系统一实施方式的架构示意图。

1.本实施方式可以采用基于视觉图像内容和关键字语义的信息检索。

举例而言，本申请可以以vc++为开发环境实现一个基于内容的图像检索原型系统如图2a所示，主要用于验证各种特征提取算法的可行性和有效性。首先对用户提交的图文信息的示例图像进行特征提取，然后与图像特征库中的特征值进行匹配，最后将媒介信息的检索结果返回给用户。图2a系统的关键模块可以包括查询接口模块、特征提取模块、检索匹配模块，实际应用中每个模块都有许多具体技术可以采用，下面主要讨论各模块的功能及相关实现技术。

(1)查询接口模块；

本实施方式查询接口模块可以用于提供前端界面的有关查询接口，用户通过查询界面访问图像库从而找到满足要求的图像，检索结果也是通过这个接口返回给用户。本实施方式提供给用户查询的方法可以包括如下：

查询方法一，利用示例图像：即用户给定一幅与期望图像类似的图像作为查询图像。

查询方法二，利用绘制草图：即用户借助绘图工具绘制出待查询图像。

查询方法三，利用主色调的检索：用户可以设置图像颜色百分比和颜色分布信息，从而找到具有相似颜色及比率的图像。

(2)特征提取模块；

本实施方式基于内容的图像检索可以解决的问题，即解决图像内容的分析和表示。本实施方式图像内容的分析和表示可以指的是通过对图像像素的颜色属性以及像素间的相互关系进行分析，从而得到一系列数字或者描述特征，这些特征可以在一定程度卜描述图像本身的内容。然后，利用这此特征可以对图像建立索引，从而达到图像检索的目的。因此，本实施方式图像内容的表示可以实现图像特征的提取。

另一方面，考虑到图像的特征包括图像的底层特征和高层语义特征，而底层特征用来描述图像共有的特征，主要包括颜色、纹理、形状等，高层语义特征则用来描述图像自身的内容信息，比较抽象。因此，本申请优选地采用基于图像底层特征的特征提取。

(3)检索匹配模块；

本实施方式查询接口模块可以将用户的查询请求通过特征提取模块转换为查询特征向量，然后调用检索匹配模块计算特征库中的每一个特征与待查图像特征的相似度，并按相似程度由大到小排列返回给用户所需要的图像。

本实施方式基于内容的图像检索系统所使用的匹配可以是基于相似的检索而进行排序，本实施方式可以选择多种现有的合适的相似性度量函数。

举例而言，本实施方式考虑到图像内容的相似性度量是指图像特征间的相似性，这属于图像检索研究的重要组成部分，而相似性度量方法的好坏影响到图像检索的性能，同时，相似性度量的计算复杂性影响到图像检索的用户响应时间，因此，本申请可以假设图像特征矢量是距离空间中的元素(其中的元素称为点)，进而可以通过计算两点之间的接近程度来衡量图像特征之间的相似度。

(4)图像语义的提取；

考虑到基于内容的图像检索可以基于图像底层特征的匹配，其相似性匹配不高，检索的效率不高，也无法体现用户检索的主观性，为解决这种问题，本申请实施方式可以在检索系统中实现对图像视觉特征进行语义标识，从而支持广泛的用户要求，对整个语义表示和处理的过程进行必要的抽象。具体而言，本实施方式抽象的过程可以通过建立图像语义模型，并采用对应的技术实现。

举例而言，本实施方式的图像含义模型可以包括视觉特征语义、对象语义、空间关系语义、场景语义、行为语义和情感语义等层次架构。

在本实施方式中，所述图像语义层次还可以分为三层，即底层特征层、对象层和概念层。而由于图像语义的含义取决于图像底层的视觉特征，从视觉特征到对象的空间关系和主观意识语义，这个纵向的发展过程是图像语义中最主要，最基本的内容，因此，本实施方式可以采用层次结构建立语义模型。

在具体实现过程中，本申请可以结合图像的轮廓语义信息进行检素。本实施方式可以依照对图像的语义描述，进行相似性检索。通过这种方式，可以解决由于每个用户对图像的描述不同，即具有主观性的问题，从而得到其真实表达的比较相近的主题意思。

其中，本实施方式图像的语义、可以指的是对图像内涵的解释。对应地，本实施方式简单语义可以是图像的主题词表示，而复杂语义则是对图像内容的叙事型描述，优选地，本实施方式采用简单语义的标记方式，即图像语义。本实施方式可以根据本技术领域知识图谱/专业知识，提取出代表图像基本轮廓语义的关健字集合，并用关健字集合作为图像的语义特征向量。

如前所述，本实施方式可以对任意两图像之间的相似性匹配转化为语义特征向量之间的匹配，在实际应用中的相似性匹配可以使用欧氏距离、内积距离等来标识。

2.本实施方式可以采用基于内容的图片识别匹配技术。

本申请将在分析研究灰度相关的图像匹配算法中的线匹配法、比值匹配法的基础上，利用这两种方法分别实现两幅图像在水平垂直位移上的匹配，具体可以采用基于灰度相关的算法，不仅能实现两幅图在水平和垂直位移的匹配，同时也能实现在绕光轴旋转情况下的图像匹配。

具体来说，本申请可以使用一种块模块匹配法。在这两种匹配的环境下，本实施方式可以通过在matlab编程环境下编程实现相关算法，通过实际图像的匹配试验，利用这些结论最终得到精确的匹配结果媒介信息。

在具体实现过程中，本实施方式图像匹配可分为图像输入、图像预处理、匹配特征提取、图像匹配、输出结果等几个步骤流程。

3.本申请实施方式还可以采用图像和文本跨媒体交叉检索和匹配技术。

通过这种方式，本申请能够解决由于多媒体数据呈现爆炸性增长的趋势，多种异构的多媒体数据，如图像、视频、文档等，在web、数字图书馆以及其他的多媒体应用中大量涌现，它们彼此存在相似的语义表达的问题。

同时，本申请实施方式还可以避免现有技术问题：比如现有的检索系统或方法都只是针对某种特定媒体对象的检索比如图像搜索工具，它们在上述这些应用中的局限性很大；一方面，它们局限于某种单一类型的媒体，如单纯的图像检索方法；另一方面,它们仅依赖多媒体数据的某种特定的特征，如关键字的tf*idf或图像的颜色直方图、小波纹理特征等，而难以提供在语义层面上相关的查询结果。

换而言之，现有的基于单一类型媒体对象的检索技术无法满足大量应用中人们对多媒体信息查询的新需要，而本申请实施方式采用图像和文本跨媒体交叉检索和匹配技术可以有效解决上述问题。

需要说明的是，本实施方式实现“跨媒体”检索，主要体现在三个方面：

(1)本申请检索机制能够“兼容”属于各种不同模态类型的多媒体数据,比如文本、图像、视频等；

(2)本申请检索机制能够表达并利用多种类型的知识,包括多媒体数据的底层特征、文本中的关键字、数据之间的超链接等；

(3)本申请检索机制能够综合运用多种检索方法，与基于内容的检索方法相比，本申请检索机制不但能获得更为丰富的检索结果，而且尽可能运用多方面知识进一步提高检索结果的相关度，是一种非常主动相对于保守而言的检索机制。

本申请能够采用基于视觉图像内容和关键字语义的信息检索，结合基于内容的图片识别匹配技术、图像和文本跨媒体交叉检索和匹配技术，并以智能搜索技术为核心，实现基于多种智能终端的搜索服务，进而能够实现基于内容的图文融合大数据智能搜索，利于产业化整合升级，发挥产业的最大价值。

请接着参阅图2b，本申请还提供一种媒介信息推送系统，作为其中一种实施方式，其配置有处理器21，所述处理器21用于执行程序数据，以实现如上所述的基于视觉特征的图文检索方法。

具体而言，所述处理器21用于获取用户输入的图文样本。

所述处理器21用于采用视觉图像搜索技术提取所述图文样本中的特征信息。

所述处理器21用于根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息。

所述处理器21用于通过预定方式展示所述媒介信息。

本申请能够采用基于视觉图像内容和关键字语义的信息检索，结合基于内容的图片识别匹配技术、图像和文本跨媒体交叉检索和匹配技术，并以智能搜索技术为核心，实现基于多种智能终端的搜索服务，进而能够实现基于内容的图文融合大数据智能搜索，利于产业化整合升级，发挥产业的最大价值。

举例而言，本实施方式所述处理器21用于获取用户输入的图文样本，具体包括：所述处理器21用于获取用户通过网络传输、本地上传、即时拍摄、即时工具绘制和/或临摹主色调绘制所输入的图文样本。

容易理解的是，本实施方式所述的通过网络传输、本地上传、即时拍摄、即时工具绘制和/或临摹主色调绘制所输入的图文样本，对应指的是通过网络邮件、聊天软件、或者新闻媒体传输的图文样本，所述本地上传可以指的是将存储在系统本地的图文样本进行上传输入，所述即时拍摄可以指的是通过手机、智能摄像头等直接拍摄后所输入的图像，所述即时工具绘制可以指的是通过专业绘制工具进行图文的绘制上传，所述临摹主色调绘制可以指的是根据用户对关键色调色块进行简单绘制的图文。

值得一提的是，本实施方式所述处理器21用于采用视觉图像搜索技术提取所述图文样本中的特征信息，具体可以包括：所述处理器21用于采用视觉图像搜索技术提取所述图文样本中包括图像像素的颜色属性和/或像素间的相互关系的特征信息，其中，所述图像像素的颜色属性或像素间的相互关系与所述图文样本之间建立有索引关系。

具体而言，本实施方式所述处理器21用于采用视觉图像搜索技术提取所述图文样本中包括图像像素的颜色属性和/或像素间的相互关系的特征信息，具体包括：所述处理器21用于采用视觉图像搜索技术提取所述图文样本中图像像素底层特征的颜色、纹理、形状的特征信息。

进一步而言，本实施方式所述处理器21用于采用视觉图像搜索技术提取所述图文样本中图像像素底层特征的颜色、纹理、形状的特征信息，还包括：所述处理器21用于通过预设的图像语义模型对图像像素底层特征的颜色、纹理、形状进行语义识别，以得到具备抽象视觉特征的特征信息。

需要说明的是，本实施方式所述处理器21用于根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息，具体可以包括：所述处理器21用于根据所述特征信息从预设的图像特征库中查找与之近似的多个媒介信息；计算所述特征信息与所述多个媒介信息的特征相似度；根据特征相似度对多个媒介信息进行优先排序。

值得说明的是，本实施方式所述处理器21用于根据所述特征信息从预设的图像特征库中查找与之近似的多个媒介信息，具体包括：所述处理器21用于根据技术领域的知识图谱提取特征信息的基本轮廓语义的关健字集合，并用关健字集合作为图像的语义特征向量，以进行图像语义检索。

此外，需要特别说明的是，本实施方式所述处理器21用于计算所述特征信息与所述多个媒介信息的特征相似度，具体包括：所述处理器21用于对所述特征信息的图文样本与任一媒介信息的待匹配图像之间采用语义特征向量进行匹配计算，其中，所述特征信息的图文样本与任一媒介信息的待匹配图像之间采用语义特征向量进行匹配计算的距离测量公式，即二者的相似度计算公式，包括：

在式二中，p、q表示任意两副图像，n为关键字数；即通过对任意两幅图像的关键字数进行比对，来计算前述任意两幅图的相似度。

需要指出的是，本实施方式所述图文样本包括图像、视频和/或文档，所述媒介信息包括图像、视频和/或文档，所述处理器21用于根据所述特征信息从预设的图像特征库中查找相匹配的媒介信息，具体可以包括：所述处理器21用于根据所述特征信息从公共网络、局域网络、博物馆、展览馆、社交媒体和/或同行网络的图像特征库中查找跨媒体的媒介信息。并且，在实际操作中，计算所述特征信息与所述多个媒介信息的特征相似度一般采用欧氏距离或内积距离来标识特征相似度。

此外，本申请还可以提供一种计算机可读存储介质，作为其中一种实施方式，其用于存储程序数据，所述程序数据在被处理器执行时，以实现如上任一实施方式所述的基于视觉特征的图文检索方法。

其中，具体实现的基于视觉特征的图文检索方法可以如图1和图2a所示，在本技术领域人员可以结合图1、图2a及其实施方式进行综合理解的范围内，不再赘述。

本申请提供的媒介信息推送系统及其基于视觉特征的图文检索方法，能够采用基于视觉图像内容和关键字语义的信息检索，结合基于内容的图片识别匹配技术、图像和文本跨媒体交叉检索和匹配技术，并以智能搜索技术为核心，实现基于多种智能终端的搜索服务，进而能够实现基于内容的图文融合大数据智能搜索，利于产业化整合升级，发挥产业的最大价值。

在本申请中，所述媒介信息推送系统可以为专用服务器、媒体公司信息系统、网络媒体系统等。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制，虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请,任何熟悉本专业的技术人员，在不脱离本申请技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本申请技术方案内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本申请技术方案的范围内。