面向情感的图像色彩提取方法及系统与流程

本发明涉及计算机多媒体信息处理与人机交互领域。

背景技术：

色彩作为艺术作品的基本要素之一，在我们的生活中无处不在。色彩使我们具有了感知美、创造美的能力，我们能感受到红色的温暖、橙色的活泼、黄色的明亮、绿色的蓬勃、蓝色的沉稳、紫色的高贵、黑色的庄重，白色的纯真。马克思曾说，色彩的感觉是一般美感中最大众化的形式，可见色彩的美学价值。色彩在设计方面独特的意蕴，是形体、线条和明暗等要素所无法替代的，是艺术作品传达情感的重要手段。

俄国文艺理论家车尔尼雪夫斯基曾经论述过，艺术来源于生活，却又高于生活。优秀的艺术作品离不开对现实生活的观察。互联网上用户上传的大量图像提供了现实生活的视觉影像。于是如何从大量的图像数据中提取艺术配色成为我们关注的问题。我们拟构建一个系统，能够通过检索关键词得到与关键词情感相符的色彩分布，实现基于情感的色彩提取。

面向情感的色彩提取系统可以看作是图像检索的延伸。对于图像检索的研究从20世纪70年代就开始了，当时的研究方向为基于文本的图像检索技术。基于文本的图像检索技术将对图像的检索要求转化为对关键字的查找，为图像建立了一个索引数据库，将图像相应的关键词或者描述字段存入其中，最终用户请求检索图像时，系统将检索索引数据库。该技术易于实现，但其表述能力有限，不能充分表达出图像的丰富内涵，同时人工标注所占的部分太大，无法满足日渐增多的海量数据的需求。该技术的典型应用为yahoo！picture-gallery和ditto。

到20世纪90年代，基于内容的图像检索技术被提出，该技术提取图像中的视觉特征作为索引，以此索引实现以图搜图。其实现主要依赖于图像特征的提取和匹配。视觉特征即指图像的颜色、纹理、形状等特征，现有的特征提取技术有颜色直方图、颜色相关图、纹理统计法、纹理结构法、基于边缘的形状检测和基于区域的形状检测等。因为人对图像相似性的判别依据与计算机对相似性的判别依据并不相同，语义鸿沟无法避免，目前基于内容的图像检索技术虽然能应对海量增长的数据，却无法实现高层语义。该技术的典型应用为qbic、mars和photobook。

尽管基于内容图像检索技术在不断进步，我们注意到，当检索要求中带有色彩时，检索结果往往不尽如人意。造成这一结果的主要原因是大量图像并不带有颜色标签，而当前图像自动标注的重点是图中的物体而不是颜色。如检索“红色的车”，当图像不带有“红色”标签时，我们就无法检索到关于红车的图像。并且，由于语义鸿沟的存在，基于内容的图像检索技术对于情感类关键词的检索结果一直差强人意。要实现基于情感的色彩提取系统，需要解决两个关键问题：如何确定图像的情感，以及如何提取图像主颜色。本系统从人对图像颜色的判别入手，除去图像的背景色，提取出图像的主颜色，同时优化图像标签，对图像标签排序，使用户提取到的色彩信息科学可信。

技术实现要素：

本发明针对通过现实生活中的图像获取艺术色彩搭配这个问题，提供了一种以基于内容图像检索为基础、实现了情感类关键词检索并进行情感可视化表达的的图像色彩提取方法。所述方法包括以下步骤：

s101、在服务器和客户端之间建立通信连接，获取用户的检索需求；

s102、在所述服务器端的预先构建的图像数据库中选取符合文字标签检索要求的图像；

s103、在所述选取出的图像集中选取符合色彩标签检索要求的图像；

s104、对所述选取出的图像集自动分析、提取主颜色，在客户端显示，从而实现对图像色彩的提取。

由于通过检索选出的图像结合了图像的语义信息和颜色信息，因此提取出的色彩信息更加科学，更具有艺术参考价值。

根据本发明的一个实施例，所述用户的检索要求可以包括文字标签检索和颜色标签检索。文字标签以文本搜索框形式进行搜索，颜色标签以复选框形式进行搜索，方便用户提出确切的搜索信息。

根据本发明的一个实施例，在所述步骤s102之前，还包括将所述服务器端的预先存储的图像数据库中的图像进行图像特征提取、标签模型训练和图像标签预测的步骤。这些步骤使得用户能够根据文本标签更准确的检索那些未被标注或者缺乏标注信息的图像。

根据本发明的一个实施例，在所述步骤s102之前，还包括将所述服务器端的预先存储的图像数据库中的图像进行图像主要颜色提取和命名的步骤。对图像进行主要颜色提取和命名，使检索到的图像集能够最终以色谱的形式作可视化呈现，给艺术创作以参考价值。

根据本发明的一个实施例，在所述步骤s102之前，还包括将所述服务器端的预先存储的图像数据库中的图像进行预测图像色彩类别的步骤。对图像进行预测图像色彩类别，使用户能够根据颜色标签检索图像，通过选择图像的色彩类别确定提取的主颜色的色调。

根据本发明的一个实施例，所述系统还包括用于将所述服务器端的预先存储的图像数据库中的图像进行预测图像色彩类别的图像色彩判别单元。

本发明带来以下有益效果：(1)结合了基于内容图像检索技术和图像主颜色提取技术的优点，从而提高了检索结果的准确度；(2)增加了对颜色标签的选择，从而能够选择用户需要的色调形成配色结果；(3)最终结果以色轮形式表示，能够显示具体的颜色、颜色名称以及比例，具有良好的艺术参考价值。因此，采用本发明的色彩提取方案能够用于现实生活中的各种艺术配色方案当中，从而使艺术来源于生活。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

图1a显示了现在主要应用的基于文本的图像检索技术的实施例；

图1b显示了现有的基于内容的图像检索技术的实施例；

图1c显示了现有的根据颜色检索图像的实施例；

图2显示了根据本发明实现的一个实施例；

图3显示了根据本发明的思想搭建的系统框架；

图4显示了根据本发明在服务器端和客户端之间进行通信的原理图；

图5显示了根据本发明对图像进行提取图像特征、训练特征模型和预测图像标签类别的图像预处理方法流程图；

图6显示了根据本发明对图像进行主颜色提取和判别的方法流程图；

图7显示了根据本发明对图像进行预测色彩类别的方法流程图；

图8是根据本发明一个实施例对图像检索结果进行图像预处理前、后的比较示例图；

图9是根据本发明一个实施例对图像检索结果进行色彩类别选择处理前、后的比较示例图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明的方法的可移植性良好，可以用于任何安装了python语言编译器的操作系统。主要在于实现一个包含服务器端和客户端的基于情感的色彩提取系统，具体包含对图像的各种处理方法。

下面，具体介绍根据本发明的方法如何实现基于情感的色彩提取方法。

如图3所示，其中显示了根据本发明的思想搭建的系统框架。用户在客户端输入具体的检索要求，通过网络发送给服务器端。服务器端对数据库进行查询。数据库中是对图像进行过图像处理后存储的图像数据，包括文本标签数据和颜色标签数据。数据库将查询结果反馈给服务器端，服务器端在通过网络将检索结果返回客户端。

在步骤s101中，利用web.py在服务器和客户端之间建立通信连接，获取用户的检索要求。web.py是一款轻量级的pythonweb开发框架，它简单而且功能强大，适合刚刚入门的人使用。它使在python里编写html变的更加简单，并且提供模板文件供开发者编写。在python的六大开源框架中，web.py在开发的简易性方面得分最高。目前web.py被广泛运用在许多大型网站，如俄罗斯主流搜索引擎yandex(主页日平均访问量达到7000万次)、西班牙的知名社交网站frinki等。

如图4所示，其中显示了根据本发明在服务器端和客户端之间进行通信的原理图。首先客户在浏览器(即客户端)中输入网址，假设使用http://0.0.0.0:9999这个网址，这时浏览器会通过电脑的网络设备经由线路a发出request；request经由线路b被传送到互联网，又经由线路c到达远端服务器，此时服务器接受request，并经由线路d传送给我们的web应用程序，此时我们的python代码会运行index.get这个处理程序；当代码运行到return的时候，我们的python服务器就会发出响应response，最后这个响应经由线路d、c、b、a被传回浏览器。

在web.py中，我们需要编写两个方法：get和post。get方法用来请求一个页面，而post方法用来提交特定类型的表单。另外，我们还需要编写模板。web.py使我们能按照一定的规则，在html文件中编写python代码，使html文件的内容可以实时运算与展开，利于其与数据库的交互。

在步骤s102之前，需要完成三个预备工作：(1)对图像进行提取图像特征、训练特征模型和预测图像标签类别的图像预处理工作；(2)对图像进行图像主要颜色提取和命名；(3)对图像进行图像色彩类别预测。

如图5所示，其中显示了根据本发明对图像进行图像预处理的方法流程图。

第一步是确定检索关键词。系统中除了要有具象化的关键词，如天空、草地，还要有抽象的情感类的关键词，如清爽、恐惧、刺激等，这里我们以小林重顺2006年出版的《色彩心理探析》(p11)为参考对象来选取关键词。

接着按照关键词爬取图像数据。爬取到的数据本身带有一定数目的标签，这些标签可能是上传用户手工标注的，也可能是来源于网页文本的，都不一定准确。对于具象化的关键词，如天空、草地等，用户的标注可能还比较准确，但对于抽象化的关键词，如清爽、恐惧、刺激等，用户的标注可能就存在比较大的误差，我们需要对抓取到的标签为抽象化的关键词的图像数据进行人工处理。通过人工判别一张图像标注的抽象化关键词是否合适来确定训练数据的正例和负例。

我们采用的图像特征提取方法基于预先训练的深度卷积神经网络。

训练特征模型与测试图像则要用到图像特征的匹配算法，常用的匹配算法有统计法、几何法、模型法等。一般匹配算法都要处理好4个关键要素，即特征空间、相似性度量、图像匹配变换类型、变换参数的搜索。

我们采用的特征训练模型是基于支持向量机的线性分类器。经过训练和测试后，我们可以得到每个图像属于该类别的分数，将该分数按照降序排序，得到最终的标签排序文件。

标签排序文件保留图像各标签的排序得分，其格式如表2所示，即其格式为imagetagfeature＝{image_id,(tag1,p1),(……)……}。其中(标签，可能性)是一个二元组。在系统根据用户的要求检索图像时，将根据表1的格式读入图像的标签特征并进行处理。标签评分高的图像将被排列在前面显示。

表1存储图像标签排序的数据结构

如图6所示，其中显示了根据本发明对图像进行主颜色提取和判别的方法流程图。首先要注意的是，在人眼看来相同的颜色会因为像素值的差异而被计算机判别为不同的颜色，如何使人眼与计算机达成一致，是提取图像主颜色的关键。对于一幅图像i(x)，其中x＝(x,y)^t表示一个像素，且该像素的颜色为c＝(r,g,b)^t。我们的目标是提取这幅图像的主颜色以及相应的颜色比例ci＝{(cni,pi),i＝1,2,…n}，其中n代表我们所允许的最大主颜色数目，cni代表所提取的主颜色，以#xxxxxx这种十六进制形式表示，pi代表cni这种颜色占整个图像的颜色比例。

用户在搜索图像时，有些图像的背景色是没有丝毫意义的，但是这种背景色却会成为我们提取主颜色的干扰，所以在提取图像的主颜色之前，我们要先判别这种颜色是否是背景色。我们取一个阈值bg_threshold，认为在我们对图像进行处理前，若有一种颜色——这里的颜色区别于人眼所见，是计算机判别的一种颜色，其所占像素比例超过了这个阈值，那么这个颜色就是背景色。因为对于有些图像，我们人眼并不能看出颜色变化，比如天空或者草地的图像，我们只能看出颜色有细微的渐变，但是计算机却能通过精准的十六进制颜色代码知道图片中的颜色是不大一样的。只有每个像素的十六进制颜色代码都相同，累加起来超过了阈值，才会被判别为背景色。

或者我们取图像边缘上的8个点进行判别。对于高为h，宽为w的图像i(x)，若点(0,0)、(0,h/2)、(0,h-1)、(w/2,h-1)、(w-1,h-1)、(w-1,h/2)、(w-1,0)、(w/2,0)这8个点中有半数以上的点的十六进制颜色代码是相同的，且我们提取出的主颜色中有该十六进制代码，那么我们认为这个颜色是背景色，因为这个颜色占据了图像颜色相当大的比重且分布在边缘。

为了从一张给定的图像中提取主要颜色，我们需要统计各个颜色在该图像中所占的比例。尽管在理论上因为像素值是整数，我们可以计算每个颜色的频率，但这会导致颜色过于碎片化，使得统计失去意义。因此，我们首先需要在色彩空间对颜色进行量化。表征图像颜色的色彩空间有多种，如rgb空间、hsv空间、lab空间等。其中最接近人眼的颜色空间为lab空间。lab空间是颜色—对立空间，其中的l代表明度，a代表颜色从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)的变化，b代表颜色从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)的变化。在lab空间中，不同颜色之间的距离被称为delta-e，写作一般认为，当颜色a与颜色b的时，人眼不能区分出这两种颜色的差别。我们可以利用这一点，使计算机识别出的颜色与人眼达到最大程度的接近。计算的公式为：

其中是颜色a的lab空间颜色，是颜色b的lab空间颜色。

为利用lab空间的值对颜色进行量化，首先要将图像的颜色表示从rgb空间转化到lab空间。在rgb空间与lab空间之间没有转换的简单公式，因为rgb空间是设备依赖的。rgb空间的色彩值必须被变换到特定的绝对色彩空间中，比如srgb或adobergb，才能被进一步转换到lab空间。这里我们将rgb空间转化为srgb，再转化为lab空间。其中srgb空间是gamma校准系数为2.2的色彩空间。

成功将rgb空间转化到lab空间后，我们将的颜色合并，并将合并后的颜色按像素个数的多少降序排序，计算每个颜色在图像总体中所占的百分比，得到pi。同时，考虑到饱和度越高的颜色越容易被人眼识别，饱和度低且占图像总体百分比小于阈值的颜色可以忽略不计。

经过处理背景颜色、提取图像的主要颜色，我们得到的颜色结果是以c＝(r,g,b)^t的形式表示的，需要对其进行进一步的处理，以得到十六进制的颜色代码#xxxxxx与颜色名称。c＝(r,g,b)^t向c＝#xxxxxx的转化很容易，只要将以十进制表示的(r,g,b)^t转化为十六进制数字并连在一起形成字符串即可，难的是如何找到这个颜色对应的颜色名称。

在网页中，已经被命名的颜色为有限个，且相应的十六进制代码已知。因为我们要实现的是依托于web网页的搜索系统，所以若颜色c与已被命名的颜色代码一致，则可直接得到颜色名称；若没有与颜色c对应的颜色代码，则进行一轮欧几里得距离计算，将该颜色命名为与它距离最小的那个颜色。欧几里得距离的计算公式如下：

其中c＝(r,g,b)^t为待求名称的颜色，t＝(rt,gt,bt)^t,t＝1,2,…n，为网络中已被命名的各个颜色。

最终图像的主颜色文件保留图像主颜色的十六进制颜色代码、相应的比例及颜色名称，其格式如表1所示，即其格式为imagecolorfeature＝{image_id,(color_code,color_name,color_weight),(……)，……}。其中(颜色代码，颜色名称，颜色比重)是一个三元组。在系统根据用户的要求检索图像时，将根据表2的格式读入图像的颜色特征并进行处理。

表2存储图像主颜色的数据结构

如图7所示，其中显示了根据本发明对图像进行预测色彩类别的方法流程图。首先需要明确的是，艺术配色是要根据色调搭配的，色调即为色彩的总体倾向，也就是大的色彩效果，暖色调与冷色调的搭配效果是不同的。本发明采用孟塞尔色彩系统对图像进行色彩类别预测。

孟塞尔色彩系统(munsellcolorsystem)是色度学(或比色法)里透过明度(value)、色相(hue)及彩度(chroma)三个维度来描述颜色的方法。这个颜色描述系统是由美国籍美术教育家阿尔伯特·孟塞尔在1898年创制的，至今仍是比较色法的标准。

孟塞尔颜色系统色相的基本色是能够形成视觉上的等间隔的红(r)、黄(y)、绿(g)、蓝(b)、紫(p)五种颜色，再把他们中间插入黄红(yr)、黄绿(gy)、蓝绿(bg)、蓝紫(pb)、红紫(rp)五种颜色，组成十种颜色的基本色相。

我们利用孟塞尔颜色系统限制配色结果。如可以检索“红色+爱意”，得到主体色是红色，关键词是爱意的色彩提取结果。利用经过像素分布统计得到的一系列颜色结果c＝(r,g,b)^t，与孟塞尔色彩系统的十个基本色相计算进行一轮欧几里得距离计算(计算公式颜色命名部分已提及)，取阈值color_threshold，若计算结果小于阈值，则认为该颜色结果近似于该基本色相。

完成以上三个预备工作后，可以进行步骤s102和s103，得到符合用户要求的图像集合。

在步骤s104中，最终结果以色轮的样式显示，如图2所示。

根据本发明的另一个方面，还提供了一种基于情感的色彩提取系统，其包括：连接单元，在服务器和客户端之间建立通信连接，获取用户的检索要求；文字标签图像集选取单元，用于在所述服务器端的预先存储的图像数据库中选取符合文字标签检索要求的图像；色彩标签图像集选取单元，用于在所述选取出的图像集中选取符合色彩标签检索要求的图像；色彩提取结果显示单元，用于对所述选取出的图像集提取主颜色，在客户端显示，从而实现对图像色彩的提取。

此外，系统还包括用于将所述服务器端的预先存储的图像数据库中的图像进行提取图像特征、训练特征模型和预测图像标签类别的图像预处理单元，用于将所述服务器端的预先存储的图像数据库中的图像进行图像主要颜色提取和命名的图像色彩处理单元和用于将所述服务器端的预先存储的图像数据库中的图像进行预测图像色彩类别的图像色彩判别单元。

实现以上单元的方式在上文已经提及，这里不再赘述。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。