图像处理方法和图像处理装置与流程

本发明涉及信息技术领域，更具体地，涉及一种图像处理方法和图像处理装置。

背景技术：

图像理解(image understanding,IU)是对图像的语义理解。图像理解是以图像为对象，知识为核心，研究图像中的目标、目标之间的相互关系、图像的场景以及其应用。

语义描述信息作为知识信息的基本描述载体，能将完整的图像内容转换成可直观理解的类文本语言表达，在图像理解中起着至关重要的作用。图像中的丰富的语义描述信息可提供较精确的图像搜索引擎，生成智能的数字图像相册和虚拟世界中的视觉场景描述。

作为生成图像的语义描述信息的方式，通常基于图像的视觉特征对图像进行分割而获得多个图像区域，分割后的各个图像区域是相互独立的，然后分析各个图像区域的语义描述信息，并基于各个图像区域的语义描述信息来获得整个图像的语义描述信息。

技术实现要素：

本公开实施例提供了一种图像处理方法和图像处理装置，其提供了一种新的确定图像的语义描述信息的图像处理方式，该图像处理方式有机地联系了相关的图像块，更符合对图像的理解习惯。

第一方面，提供了一种图像处理方法。该图像处理方法可包括：将待处理的图像平均划分为多个图像块；获得所述图像块的语义描述信息；基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定所述图像的语义描述信息。

结合第一方面，在第一方面的一种实现方式中，所述获得所述图像块的语义描述信息可包括：获得与各个语义描述信息对应的图像内容的高斯混合 模型；根据所述图像块和所述高斯混合模型确定所述图像块的语义描述信息。

结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述根据所述图像块和所述高斯混合模型确定所述图像块的语义描述信息可包括：根据所述图像块与所述高斯混合模型的相似度来确定所述图像块属于所述各个图像内容的概率估计；根据所述图像块属于所述各个图像内容的概率估计确定所述图像块的语义描述信息。

结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定所述图像的语义描述信息可包括：根据所述图像块的语义描述信息和所述图像块在所述图像中的空间位置确定所述图像块的权重；根据所述图像块的语义描述信息和所述图像块的权重确定所述图像的语义描述信息。

结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述根据所述图像块的语义描述信息和所述图像块在所述图像中的空间位置确定所述图像块的权重可包括：根据所述图像块的语义描述信息计算所述图像块与其相邻图像块之间的相似度；基于所述图像块与其相邻图像块之间的相似度设置所述图像块的权重。

结合第一方面及其上述实现方式，在第一方面的另一实现方式中，所述基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定所述图像的语义描述信息可包括：基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定具有相似语义描述信息的相邻图像块作为内容聚集区域，将所述相似语义描述信息作为所述内容聚集区域的语义描述信息；根据所述内容聚集区域的语义描述信息和所述内容聚集区域在所述图像中的空间位置确定所述内容聚集区域的权重；根据所述内容聚集区域的权重和所述内容聚集区域的语义描述信息确定所述图像的语义描述信息。

第二方面，提供了一种图像处理装置。该图像处理装置可包括：存储器；和处理器，用于执行以下操作：将待处理的图像平均划分为多个图像块；获得所述图像块的语义描述信息；基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定所述图像的语义描述信息。

第三方面，提供了一种图像处理装置。该图像处理装置可包括划分单元910、图像块语义确定单元920和图像语义确定单元930。划分单元910将待处理的图像平均划分为多个图像块。图像块语义确定单元920获得所述图像 块的语义描述信息。图像语义确定单元930基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定所述图像的语义描述信息

在根据本公开实施例的图像处理方法和图像处理装置的技术方案中，通过基于各个图像块在整个图像中的空间位置和各个图像块的语义描述信息确定整个图像的语义描述信息，从而有机地联系了整个图像中的相关图像块，更符合对图像的理解习惯。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其它的附图。

图1是示意性图示了根据本公开实施例的图像处理方法的流程图。

图2示意性图示了被划分为多个图像块的图像的示例。

图3是示意性图示了图1的图像处理方法中的获得每个图像块的语义描述信息的流程图。

图4示意性图示了所获得的图像块的语义描述信息。

图5是图示了图1的图像处理方法中的确定图像的语义描述信息的第一示例的流程图。

图6示意性图示了所确定的图像的语义描述信息。

图7是图示了图1的图像处理方法中的确定图像的语义描述信息的第二示例的流程图。

图8是示意性图示了根据本公开实施例的第一图像处理装置的框图。

图9是示意性图示了根据本公开实施例的第二图像处理装置的框图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。

对于一图像，机器通常无法理解其内容，从而难以进行图像搜索。在本公开的实施例中，对待处理的图像进行处理可以将图像转换成可直观理解的 语义描述信息，基于该语义描述信息可提供较精确的图像搜索引擎，从而生成智能的数字图像相册和虚拟世界中的视觉场景描述。此外，基于图像的语义描述信息，还可以进行图像标注、图像识别等。所述待处理的图像可以是从网络搜索到的图像，可以是利用照相机等采集的图像。待处理图像的获得方式不构成对本公开实施例的限制。

图1是示意性图示了根据本公开实施例的图像处理方法100的流程图。如图1所示，该图像处理方法100包括：将待处理的图像平均划分为多个图像块(S110)；获得所述图像块的语义描述信息(S120)；基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定所述图像的语义描述信息(S130)。

在S110中，将待处理的图像平均划分为多个图像块。待处理的图像通常以图像的各个像素的数值来表示。对于每个像素，可以用灰度值、三原色分量等表示。图像典型地包括按照行和列方式排列的像素矩阵。作为划分为多个图像块的示例，可以按照每个图像块包括16×16像素的方式依次划分。

图2示意性图示了被划分为多个图像块的待处理的图像的示例。该待处理的图像是一张海边风景照片。在该海边风景照片的上方是浅蓝的天空，该海边风景照片的中部是蔚蓝的大海，在该海边风景照片的下方是金色的沙滩。假设海边风景照片具有128×112像素，如果每个图像块B(1,8)包括16×16像素，则从图像的像素矩阵的端部开始，以16×16像素为单位在行和列方向划分，该海边风景照片可以划分为每行为128/16＝8个图像块、每列为112/16＝7个图像块的总共56(即8乘以7)个图像块。如图2中的网格线所示。假设每个图像块用B(i，j)表示，其中i是图像块B在整个图像中的行数，j是图像块B在整个图像中的列数。

图2中以待处理的图像的总像素数恰好被均分为例进行了说明。在待处理的图像的总像素数不是图像块的整数倍的情况中，也是从像素矩阵的端部开始，以16×16像素为单位在行和列方向划分，并将最后的小于16×16像素的图像区域也划分为图像块。

在根据本公开实施例中，将待处理的图像平均划分为多个图像块，这种划分方式简单。然而，在其它的生成图像的语义描述信息的图像处理方式中，可能需要基于图像的视觉特征对图像进行分割而获得多个图像区域，这非常复杂。

在S120中，针对在S110中划分的多个图像块中的每个图像块，都获得该图像块的语义描述信息。数据的含义就是语义，语义描述信息是用来描述语义的信息。图像数据本身就是符号，只有被赋予含义的数据才能够被使用，这时候数据就转化为了语义描述信息。该语义描述信息例如是一种可以由机器直观理解的类文本语言表达。以图2为例，所述海边风景照片的各个图像块的语义描述信息可以是每个图像块是天空、海洋、沙滩中的至少一个的概率分布。

图3是示意性图示了图1的图像处理方法中的获得每个图像块的语义描述信息S120的流程图。如图3所示，获得所述多个图像块中的每个图像块的语义描述信息包括：获得与各个语义描述信息对应的图像内容的高斯混合模型(S121)；根据所述图像块与所述高斯混合模型的相似度来确定所述图像块属于所述各个图像内容的概率估计(S122)；根据所述图像块属于所述各个图像内容的概率估计确定所述图像块的语义描述信息(S123)。

在S121中，可以预先从数据库获取与各个语义描述信息对应的各个图像内容的训练图像，并基于每个图像内容的训练图像来获取该图像内容的高斯混合模型。例如，在数据库中预先存储各个图像内容的训练图像，所述图像内容例如包括天空、海洋、沙滩、草地、大树、高山等。所述图像内容是各种图像的语义描述信息中所涉及的内容。

每个图像内容可能具有不同的图像，例如，天空在不同天气条件下的色彩和亮度通常是不同的。因此，与每个图像内容对应地可能具有多个训练图像，例如512个。对于每个图像内容，可以基于该多个训练图像建立一高斯模型来表征该图像内容。高斯模型利用正态分布曲线精确地量化图像内容，将图像内容中的灰度、色彩等分解为若干的基于正态分布曲线而形成的模型。对于每个图像内容对应的高斯模型进行加权平均就可以得到该图像内容的高斯混合模型。所采取的获取高斯混合模型的方式不构成对本公开实施例的限制。通常，预先获得每个图像内容的训练图像和每个图像内容的高斯混合模型，并建立数据库。

在S122中，根据所述每个图像块与各个图像内容的所述高斯混合模型的相似度来确定所述每个图像块属于所述各个图像内容的概率估计。以图2中的右上角的图像块为例，将图像块B(1,8)的16×16像素的图像数据分别与在S121中获得的各个图像内容的高斯混合模型进行匹配。例如，将图像块B(1, 8)的图像数据分别与天空的高斯混合模型、海洋的高斯混合模型、沙滩的高斯混合模型、草地的高斯混合模型、大树的高斯混合模型、高山的高斯混合模型进行匹配，以分别确定图像块B(1,8)属于天空、海洋、沙滩、草地、大树、高山的概率估计。根据图2可知，所述右上角的图像块是天空，则通过S122的操作，可以确定图像块B(1,8)属于天空的概率最大，而属于海洋、沙滩、草地、大树、高山中任一个的概率可能很小甚至为零。这里，假设图像块B(1,8)属于天空、海洋、沙滩、草地、大树、高山的概率分别是90％、6％、4％、0、0、0。

S123中，根据所述图像块属于所述各个图像内容的概率估计确定所述图像块的语义描述信息。例如，可以以直方图表示每个图像块属于各个图像内容的概率，还可以以比例图表示每个图像块属于各个图像内容的概率。取决于所述语义描述信息的具体要求，可以对所述概率估计进行合适处理以生成所需要的语义描述信息。

对于待处理图像中的每个图像块，都判断该图像块与各个图像内容的所述高斯混合模型的相似度来确定所述每个图像块属于所述各个图像内容的概率估计，并基于所述概率估计来确定其语义描述信息，从而得到待处理的图像中的每个图像块的语义描述信息。

在图3中的S122和S123中，根据所述图像块和所述高斯混合模型确定所述图像块的语义描述信息，这仅仅是示例。基于所述高斯混合模型，还可以采取其它的方式来确定每个图像块的语义描述信息。

图4示意性图示了所获得的图像块的语义描述信息。如图4所示，对于图2所示的各个图像块中的右上角的图像块，执行结合图3描述的操作处理，而获得了以直方图表示的右上角的图像块的语义描述信息。根据图4的图示可以看出，图像块B(1,8)属于天空的概率远远大于其属于海洋或沙滩的概率，从而基本上可以确定图像块B(1,8)属于天空。为了方便，图4中仅仅示出了一个图像块的语义描述信息。

实际上，通过S120的处理，得到了图2中的每个图像块的语义描述信息。也就是说，得到了与各个图像块一一对应的语义描述信息。继续以图4为例，在图4中，主要示出了天空、海洋和沙滩的景色。在示出了天空的图像块中，可以得到具有较大概率属于天空的语义描述信息，例如图4的第1行和第2行的图像块；在示出了海洋的图像块中，可以得到具有较大概率属于海洋的 语义描述信息，例如图4的第3行和第4行的图像块；在示出了沙滩的图像块中，可以得到具有较大概率属于沙滩的语义描述信息，例如图4的第6行和第7行的图像块。

在S130中，基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定所述图像的语义描述信息。作为示例，可以根据所述图像块的语义描述信息和所述图像块在所述图像中的空间位置确定所述图像块的权重；根据所述图像块的语义描述信息和所述图像块的权重确定所述图像的语义描述信息。通过根据图像块在图像中的空间位置为该图像块设置权重，可以区分地设置各个图像块的重要性，从而更准确地表达整个图像的语义描述信息。换言之，在S110中划分的各个图像块之间不再是相互独立的，而是要基于各个图像块在图像中的空间位置来确定图像的语义描述信息。

图5是图示了图1的图像处理方法中的确定图像的语义描述信息(S130)的第一示例的流程图。如图5所示，根据所述图像块的语义描述信息计算所述图像块与其相邻图像块之间的相似度(S131)；基于所述图像块与其相邻图像块之间的相似度设置所述图像块的权重(S132)；根据所述图像块的语义描述信息和所述图像块的权重确定所述图像的语义描述信息(S133)。

在S131中，两个相邻的图像块之间的语义描述信息越接近，两个相邻图像块之间的相似度越大。以图4中的各个图像块为例，假设各个图像块仅仅涉及三个图像内容，即天空、海洋和沙滩。

对于图4中的图像块B(1,4)，与其相邻的图像块是图像块B(1,3)、图像块B(1,5)、图像块B(2,4)，图像块B(1,4)和其相邻图像块的图像内容都以天空为主，海洋、沙滩的内容占有极小部分，所以该图像块B(1,4)与其相邻的图像块之间的相似度较大。在计算相似度时，要考虑图像块的各个图像内容和各个图像内容所占据的比例。作为示例，可以通过计算两个图像块的语义描述信息之间的欧式距离来计算这两个图像块之间的相似度。在本实施例中，采用图4所述的四邻域作为相邻图像块，也可使用八邻域甚至更多邻域作为相邻图像块，这里不做限定。

对于图4中的图像块B(2,4)，与其相邻的图像块是图像块B(2,3)、图像块B(2,5)、图像块B(1,4)、图像块B(3,4)。在图像块B(2,4)、B(2,3)、B(2,5)、B(1,4)中，图像内容都以天空为主，海洋、沙滩的内容占有极小部分。然而，在图像块B(3,4)中，图像内容以海洋为主，天空、沙滩的内容占有极小部分。 因此，图像块B(2,4)与相邻的图像块B(2,3)、B(2,5)、B(1,4)的相似度高，但是与相邻的图像块B(3,4)的相似度低，这降低了图像块B(2,4)与其相邻的图像块的相似度。因此，图像块B(2,4)与其相邻图像块之间的相似度低于图像块B(1,4)与其相邻图像块之间的相似度。

在S132中，基于所述图像块与其相邻图像块之间的相似度设置所述图像块的权重。例如，在图像块与其相邻图像块之间的相似度高的情况中，为所述图像块设置高权重；在图像块与其相邻图像块之间的相似度低的情况中，为所述图像块设置低权重。例如，对于上述的图像块B(1,4)和B(2,4)，图像块B(1,4)的权重W(1,4)大于图像块B(2,4)的权重W(2,4)。依次类推，从而得到图4中的每个图像块B(i,j)的权重W(i,j)。

在图4所示的图像中，在图像的第一行和第二行中以天空为主，在第三行和第四行中以海洋为主，在第五行中的前四列以海洋为主、后四列以沙滩为主，在第六行和第七行中以沙滩为主。当每个图像块的图像内容与其周围的图像块的内容的相似度越高，则该图像块的权重越大，更能准确地表示图像在该区域的语义。

在S131和S132中，根据所述图像块的语义描述信息和所述图像块在所述图像中的空间位置确定所述图像块的权重，这仅仅是示例，还可以采取其它的方式确定各个图像块的权重，例如可以根据各个图像块的像素信息来确定。

在S133中，根据所述图像块的语义描述信息和所述图像块的权重确定所述图像的语义描述信息。整个图像中可能包括多个图像内容，各个图像内容位于图像中的不同位置。相应地，图像的语义描述信息即是图像的不同位置区域的语义描述信息的分布。

继续以图4中的图像为例，图像的第一行和第二行中的各个图像块的语义描述信息都是以天空为主，而海洋和沙滩的比例很小，并且第一行的各个图像块与周围图像块的相似度很大，具有很大权重，第二行中的各个图像块与相邻的三个图像块之间具有高相似度，仅仅与一个相邻图像块具有低相似度，该第二行中的各个图像块的权重尽快低于第一行中的图像块的权重，但是也具有较高的权重，从而基于第一行和第二行的各个图像的语义描述信息和权重可以确定图像在此区域的语义描述信息是天空，而海洋和沙滩占有极小比例。类似地，利用该S133，可以确定出图像的其它位置区域中语义描述 信息。

图6示意性图示了所确定的图像的语义描述信息。如图6的最右侧所示，根据图5所示的确定图像的语义描述信息的方法，可以判断出整个图像具有三个图像内容，即天空、海洋和沙滩。图像的第一行和第二行可以用第一语义描述信息来描述，图像的第三行、第四行、和第五行中的右四列可以用第二语义描述信息来描述，图像的第五行中的左四列、第六行、第七行可以用第三语义描述信息来描述。第一语义描述信息是各个图像内容的比例图示，其中，天空占据最大比例，海洋和沙滩分别占据较小比例。第二语义描述信息是各个图像内容的比例图示，其中，海洋占据最大比例，天空和沙滩分别占据较小比例。第三语义描述信息是各个图像内容的比例图示，其中，沙滩占据最大比例，天空和海洋分别占据较小比例。

上面结合图5和图6描述的确定图像的语义描述信息的方式仅仅是示例。在实践中，还可以采取其它的方式确定图像的语义描述信息，如下面的图7所示。

图7是图示了图1的图像处理方法中的确定图像的语义描述信息的第二示例的流程图。如图7所示，所述基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定所述图像的语义描述信息(S130)可包括：基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定具有相似语义描述信息的相邻图像块作为内容聚集区域，将所述相似语义描述信息作为所述内容聚集区域的语义描述信息(S131A)；根据所述内容聚集区域的语义描述信息和所述内容聚集区域在所述图像中的空间位置确定所述内容聚集区域的权重(S132A)；根据所述内容聚集区域的权重和所述内容聚集区域的语义描述信息确定所述图像的语义描述信息(S133A)。

在S131A中，将图像中具有相似语义描述信息的相邻图像块作为内容聚集区域。该内容聚集区域通常包括多个图像块，具有更大的面积。但是，在图像的内容较为丰富的情况中，该内容聚集区域可能包括一个图像块。该内容聚集区域具有相似语义描述信息。例如，在图2的图像中的图像块B(1,1)、B(1,2)、B(2,1)、B(2,2)具有相似的语义描述信息，可以作为内容聚集区域。相应地，图像由多个内容聚集区域组成。

在S132A，计算各个内容聚集区域在图像中的权重。可以利用与计算图像块的权重类似的方式来计算内容聚集区域的权重。例如，可以根据内容聚 集区域的语义描述信息计算所述内容聚集区域与其相邻内容聚集区域之间的相似度；基于所述内容聚集区域与其相邻内容聚集区域之间的相似度设置所述内容聚集区域的权重。

在S133A中，与基于图像块的语义描述信息和权重确定图像的语义描述信息类似地，根据内容聚集区域的权重和语义描述信息确定图像的语义描述信息，并具体可以参见上面结合S133进行的描述。

根据结合图7的以上描述可以看出，从图像的图像块划分各个内容聚集区域，并按照与基于图像块的语义描述信息得到图像的语义描述信息类似的方式，基于内容聚集区域的语义描述信息得到图像的语义描述信息。当图像较大，内容比较丰富的时候，这可以减少信息处理量，从而更快地确定图像的语义描述信息。

在根据本公开实施例的图像处理方法的技术方案中，通过基于各个图像块在整个图像中的空间位置和各个图像块的语义描述信息确定整个图像的语义描述信息，从而有机地联系了整个图像中的相关图像块，更符合对图像的理解习惯。

图8是示意性图示了根据本公开实施例的第一图像处理装置800的框图。如图8所示，第一图像处理装置800包括一个或多个处理器810、存储装置820、输入装置830、输出装置840、通信装置850和摄像头860，这些组件通过总线系统870和/或其它形式的连接机构(未示出)互连。应当注意，图8所示的第一图像处理装置800的组件和结构只是示例性的，而非限制性的，根据需要，第一图像处理装置800也可以具有其他组件和结构。

处理器810可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制第一图像处理装置800中的其它组件以执行期望的功能。

存储装置820可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器810可以运行所述程序指令，以实现上面结合图1至图7描述的图像处理方法。在所述计算机可读存储介质中还可以存储各 种应用程序和各种数据，例如图像数据以及所述应用程序使用和/或产生的各种数据等。

输入装置830可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。所述指令例如是使用下述摄像头860拍摄图像的指令。输出装置840可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。通信装置850可以通过网络或其它技术与其它装置(例如个人计算机、服务器、移动台、基站等)通信，所述网络可以是因特网、无线局域网、移动通信网络等，所述其它技术例如可以包括蓝牙通信、红外通信等。摄像头860可以拍摄待处理的图像(例如照片、视频等)，并且将所拍摄的图像存储在存储装置820中以供其它组件使用。

图9是示意性图示了根据本公开实施例的第二图像处理装置900的框图。如图9所示，第二图像处理装置900可包括划分单元910、图像块语义确定单元920和图像语义确定单元930。划分单元910将待处理的图像平均划分为多个图像块。图像块语义确定单元920获得所述图像块的语义描述信息。图像语义确定单元930基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定所述图像的语义描述信息。

划分单元910将待处理的图像平均划分为多个图像块。待处理的图像通常以图像的各个像素的数值来表示。对于每个像素，可以用灰度值、三原色分量等表示。图像典型地包括按照行和列方式排列的像素矩阵。作为划分为多个图像块的示例，可以按照每个图像块包括16×16像素的方式依次划分。具体的划分示例可以参见图2的图示和结合图2进行的描述。在图2中每个图像块用B(i，j)表示，其中i是图像块B在整个图像中的行号并且1≤i≤7，j是图像块B在整个图像中的列号并且1≤j≤8。在应用中，可以利用处理器和存储器来实现该划分单元910。

图2中以待处理的图像的总像素数恰好被均分为例进行了说明。在待处理的图像的总像素数不是图像块的整数倍的情况中，也是从像素矩阵的端部开始，以16×16像素为单位在行和列方向划分，并将最后的小于16×16像素的图像区域也划分为图像块。

划分单元910将待处理的图像平均划分为多个图像块，这种划分方式简单。然而，在其它的生成图像的语义描述信息的图像处理方式中，可能需要 基于图像的视觉特征对图像进行分割而获得多个图像区域，这非常复杂。

图像块语义确定单元920针对划分单元910所划分的多个图像块中的每个图像块，都获得该图像块的语义描述信息。数据的含义就是语义，语义描述信息是用来描述语义的信息。图像数据本身就是符号，只有被赋予含义的数据才能够被使用，这时候数据就转化为了语义描述信息。该语义描述信息例如是一种可以由机器直观理解的类文本语言表达。例如，图2的海边风景照片的各个图像块的语义描述信息可以是每个图像块是天空、海洋、沙滩中的至少一个的概率分布。

图像块语义确定单元920可如下地获得图像块的语义描述信息：获得与各个语义描述信息对应的图像内容的高斯混合模型；根据所述图像块和所述高斯混合模型确定所述图像块的语义描述信息。

图像块语义确定单元920可以预先从数据库获取与各个语义描述信息对应的各个图像内容的训练图像，并基于每个图像内容的训练图像来获取该图像内容的高斯混合模型。或者，图像块语义确定单元920可以直接从数据库中获取各个图像内容的高斯混合模型。

在数据库中预先存储各个图像内容的训练图像，所述图像内容例如包括天空、海洋、沙滩、草地、大树、高山等。所述图像内容是各种图像的语义描述信息中所涉及的内容。每个图像内容可能具有不同的图像，例如，天空在不同天气条件下的色彩和亮度通常是不同的。因此，与每个图像内容对应地可能具有多个训练图像，例如512个。对于每个图像内容，可以基于该多个训练图像建立一高斯模型来表征该图像内容。高斯模型利用正态分布曲线精确地量化图像内容，将图像内容中的灰度、色彩等分解为若干的基于正态分布曲线而形成的模型。对于每个图像内容对应的高斯模型进行加权平均就可以得到该图像内容的高斯混合模型。所采取的获取高斯混合模型的方式不构成对本公开实施例的限制。通常，预先获得每个图像内容的训练图像和每个图像内容的高斯混合模型，并建立数据库。

作为示例，图像块语义确定单元920可如下地根据高斯混合模型确定各个图像块的语义描述信息：根据所述图像块与所述高斯混合模型的相似度来确定所述图像块属于所述各个图像内容的概率估计；根据所述图像块属于所述各个图像内容的概率估计确定所述图像块的语义描述信息。

以图2中的右上角的图像块为例，将该右上角的图像块B(1,8)的16×16 像素的图像数据分别与所获得的各个图像内容的高斯混合模型进行匹配。例如，将图像块B(1,8)的图像数据分别与天空的高斯混合模型、海洋的高斯混合模型、沙滩的高斯混合模型、草地的高斯混合模型、大树的高斯混合模型、高山的高斯混合模型进行匹配，以分别确定图像块B(1,8)属于天空、海洋、沙滩、草地、大树、高山的概率估计。根据图2可知，所述右上角的图像块是天空，从而可以确定图像块B(1,8)属于天空的概率最大，而属于海洋、沙滩、草地、大树、高山中任一个的概率可能很小甚至为零。

此后，图像块语义确定单元920根据所述图像块属于所述各个图像内容的概率估计确定所述图像块的语义描述信息。例如，图像块语义确定单元920可以以直方图表示每个图像块属于各个图像内容的概率，还可以以比例图表示每个图像块属于各个图像内容的概率。取决于所述语义描述信息的具体要求，可以对所述概率估计进行合适处理以生成所需要的语义描述信息。

对于待处理图像中的每个图像块，图像块语义确定单元920都判断该图像块与各个图像内容的所述高斯混合模型的相似度来确定所述每个图像块属于所述各个图像内容的概率估计，并基于所述概率估计来确定其语义描述信息，从而得到待处理的图像中的每个图像块的语义描述信息。图像块语义确定单元920所所获得的图像块的语义描述信息可以参见图4的图示和结合图4进行的相关描述。

图像块语义确定单元920可以利用存储器和处理器来实现。当处理器运行存储器中存储的程序时，可以完成图像块语义确定单元920的各个操作。

图像语义确定单元930基于所述图像块在所述图像中的空间位置和图像块语义确定单元920确定的图像块的语义描述信息来确定所述图像的语义描述信息。作为示例，图像语义确定单元930可以根据所述图像块的语义描述信息和所述图像块在所述图像中的空间位置确定所述图像块的权重；根据所述图像块的语义描述信息和所述图像块的权重确定所述图像的语义描述信息。通过根据图像块在图像中的空间位置为该图像块设置权重，可以区分地设置各个图像块的重要性，从而更准确地表达整个图像的语义描述信息。因此，划分单元910所划分的各个图像块之间不再是相互独立的，而是要基于各个图像块在图像中的空间位置来确定图像的语义描述信息。

图像语义确定单元930可以如下地确定图像块的权重：根据所述图像块的语义描述信息计算所述图像块与其相邻图像块之间的相似度；基于所述图 像块与其相邻图像块之间的相似度设置所述图像块的权重。

两个相邻的图像块之间的语义描述信息越接近，两个相邻图像块之间的相似度越大。例如，图4中的图像块B(1,4)和其相邻图像块B(1,3)、B(1,5)、B(2,4)的图像内容都以天空为主，海洋、沙滩的内容占有极小部分，所以该图像块B(1,4)与其相邻的图像块之间的相似度较大。在计算相似度时，要考虑图像块的各个图像内容和各个图像内容所占据的比例。图像语义确定单元930例如可以通过计算两个图像块的语义描述信息之间的欧式距离来计算这两个图像块之间的相似度。图4中的图像块B(2,4)与相邻的图像块B(2,3)、B(2,5)、B(1,4)的相似度高，都以天空为主，海洋、沙滩的内容占有极小部分；然而图像块B(2,4)与相邻的图像块B(3,4)的相似度低，因为图像块B(3,4)以海洋为主，天空、沙滩的内容占有极小部分。因此，图像块B(2,4)与其相邻图像块之间的相似度低于图像块B(1,4)与其相邻图像块之间的相似度。

在图像块与其相邻图像块之间的相似度高的情况中，图像语义确定单元930可以为所述图像块设置高权重；在图像块与其相邻图像块之间的相似度低的情况中，为所述图像块设置低权重。例如，对于上述的图像块B(1,4)和B(2,4)，图像语义确定单元930所确定的图像块B(1,4)的权重W(1,4)大于图像块B(2,4)的权重W(2,4)。依次类推，从而得到每个图像块B(i,j)的权重W(i,j)。在应用中，图像语义确定单元930还可以采取其它的方式确定各个图像块的权重，例如可以根据各个图像块的像素信息来确定。

图像语义确定单元930然后根据所述图像块的语义描述信息和所述图像块的权重确定所述图像的语义描述信息。整个图像中可能包括多个图像内容，各个图像内容位于图像中的不同位置。相应地，图像的语义描述信息即是图像的不同位置区域的语义描述信息的分布。

继续以图2中的图像为例，图像语义确定单元930根据图像块的语义描述信息和图像块的权重可以发现，第一行和第二行中的各个图像块的语义描述信息都是以天空为主，而海洋和沙滩的比例很小，并且第一行的各个图像块具有很大权重，第二行中的各个图像块的权重尽快低于第一行中的图像块的权重，但是也具有较高的权重，从而基于第一行和第二行的各个图像的语义描述信息和权重可以确定图像在此区域的语义描述信息是天空，而海洋和沙滩占有极小比例。类似地，图像语义确定单元930可以确定出图像的其它位置区域中语义描述信息。

图像语义确定单元930所确定的图像的语义描述信息可以参见图6的图示和相关的描述。简言之，图像的第一行和第二行可以用第一语义描述信息来描述，图像的第三行、第四行、和第五行中的右四列可以用第二语义描述信息来描述，图像的第五行中的左四列、第六行、第七行可以用第三语义描述信息来描述。第一语义描述信息指出了天空占据最大比例，海洋和沙滩分别占据较小比例。第二语义描述信息指出了海洋占据最大比例，天空和沙滩分别占据较小比例。第三语义描述信息指出了沙滩占据最大比例，天空和海洋分别占据较小比例。

替换地，图像语义确定单元930还可以采取其它的方式确定图像的语义描述信息。例如，图像语义确定单元930可以基于所述图像块在所述图像中的空间位置和所述图像块的语义描述信息确定具有相似语义描述信息的相邻图像块作为内容聚集区域，将所述相似语义描述信息作为所述内容聚集区域的语义描述信息；根据所述内容聚集区域的语义描述信息和所述内容聚集区域在所述图像中的空间位置确定所述内容聚集区域的权重；根据所述内容聚集区域的权重和所述内容聚集区域的语义描述信息确定所述图像的语义描述信息。

这里，图像语义确定单元930将图像中具有相似语义描述信息的相邻图像块作为内容聚集区域。该内容聚集区域通常包括多个图像块，具有更大的面积。但是，在图像的内容较为丰富的情况中，该内容聚集区域可能包括一个图像块。然后，图像语义确定单元930利用与计算图像块的权重类似的方式来计算内容聚集区域的权重，并根据内容聚集区域的权重和语义描述信息确定图像的语义描述信息。例如，图像语义确定单元930可以根据内容聚集区域的语义描述信息计算所述内容聚集区域与其相邻内容聚集区域之间的相似度；基于所述内容聚集区域与其相邻内容聚集区域之间的相似度设置所述内容聚集区域的权重，根据内容聚集区域的权重和语义描述信息确定图像的语义描述信息。也就是说，图像语义确定单元930基于图像块将整个图像划分成了内容聚集区域，并按照与基于图像块的语义描述信息得到图像的语义描述信息类似的方式，基于内容聚集区域的语义描述信息得到图像的语义描述信息。当图像较大，内容比较丰富的时候，这可以减少信息处理量，从而更快地确定图像的语义描述信息。

图像语义确定单元930可以利用存储器和处理器来实现。当处理器运行 存储器中存储的程序时，可以完成图像语义确定单元930的各个操作。

在根据本公开实施例的图像处理装置的技术方案中，通过基于各个图像块在整个图像中的空间位置和各个图像块的语义描述信息确定整个图像的语义描述信息，从而有机地联系了整个图像中的相关图像块，更符合对图像的理解习惯。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。