专利名称：一种图像中对象的识别方法和装置的制作方法
技术领域：
本发明涉及多媒体内容的检索技术，尤其是一种图像中对象的识别方法和装置。
背景技术：
随着互联网的迅速发展，基于文字信息的内容搜索技术得到了迅速发展，并且成为一项重要的网络应用，例如Google、Bing和Yahoo Search等都提供相关服务。并且,最近几年，由于移动电话、照相机和摄像机的广泛应用，越来越多的多媒体内容被产生出来，并存储在个人计算机或网站上。对这些多媒体内容进行检索进而进行相关利用成为一项重要课题。因而，多媒体内容的检索技术 受到了越来越多的关注。但是，现有的多媒体内容搜索或检索系统，例如 Google image、video searching、Flickr> Bing image 或 videosearching以及Youtube等都完全依赖于用户输入的文字查询条件。用户输入检索文字(例如关键字)，系统通过将所述检索文字与多媒体内容的标题、注解或者周围文字进行文字匹配而进行多媒体内容的搜索。并且，有些现有技术用于从多媒体内容中直接提取信息，例如从多媒体内容中寻找对象、事件或者其他信息。这种信息还可以用于进一步的多媒体搜索或者内容索引等。基于模型的对象识别是最常用的在图像中搜寻对象的方法。在这种方法中，构建3D对象模型并将其投射至2D空间以形成图像模型。随后，利用特定对象的整体外观作为模型与模型数据库中的模型进行外形匹配，进而发现图像中的特定对象。但是，为了准确判断图像中存在的对象，上述的模型数据库需要包括充足的对象模型或者对象零件模型，这种要求很难实现并且成本很高。另外，即使具有满足要求的模型数据库，由于上述的匹配过程需要对模型数据库中的全部模型进行操作，因此需要大量计算因此，需要一种效率更高的图像中对象的识别技术。
发明内容
根据本发明的一个方面，提供了一种图像中对象的识别方法，包括下述步骤:从图像的上下文信息中提取名词实体以获取图像中可能对象的概念表示；和利用所述概念表示对所述对象模型数据库进行匹配操作以识别所述图像中存在的相关对象。其中，所述图像的上下文信息包括图像的题目、注解和图像周围的文字。其中，所述概念表示是所述上下文信息的一组认知近义词。其中，通过对所述概念表示进行语义扩展和推导得出所述一组认知近义词。所述方法还可以包括，将所述匹配操作中得出的与图像的概念表示相匹配的对象模型数据库中的模型与所述图像进行低层次特征匹配以识别图像中的对象。所述方法还可以包括，在提取所述图像的上下文信息的名词实体之前，对所述图像进行预处理。
其中，所述预处理包括噪声抑制、边界检测和低层次特征提取。其中，采用自然语言处理从图像的上下文信息中提取名词实体以获取图像中可能对象的概念表示。根据本发明的另一方面，提供了一种图像中对象的识别装置，包括:从图像的上下文信息中提取名词实体以获取图像中可能对象的概念表示的装置；和利用所述概念表示对所述对象模型数据库进行匹配操作以识别所述图像中存在的相关对象的装置。
图1是根据本发明实施方式的图像中对象识别的方法的流程图；和 图2是根据本发明实施方式的图像中对象识别的装置的框图。
具体实施例方式下面对参考附图对本发明的图像中对象的识别方法方法和装置的优选实施例进行详细的描述，需要注意的是，下面的描述仅是示意性的，其中所涉及的内容并不构成对发明所涉及内容的限制，本领域技术人员在下面公开内容的基础上还可以有许多不同的变化方式，这些都属于本发明的保护范围。下面以基于模型的图像中对象识别为例对本发明的实施方式进行详细说明。在现有的基于模型的图像中对象识别方法中，首先要建立一个对象模型数据库，该数据库用于识别和定位图像中的特定对象。可以利用现有技术对象模型数据库的建立，例如3D投射等。并且，通常是以离线方式建立所述对象模型数据库。对象模型数据库的作用是为图像中的对象识别提供所需对象的形状的全面信息。对象模型数据库的建立可以通过各种现有技术来实现。并且，本发明的重点并不在于该数据库的建立，因此在本发明中不再进行进一步的详细描述。对图像首先进行预处理，例如噪声抑制、边界检测和低层次特征提取等。然后，基于对象模型数据库中的模型，对图像进行匹配操作，即可发现图像中存在何种对象。但是，如上所述，该匹配操作需要大量计算。本发明的发明人发现，图像的上下文信息(context information)可以被用于所述匹配操作以降低匹配操作的计算量。图像的上下文信息例如包括图像的题目、注解和图像周围的文字。上下文信息通常与图像内容具有很高的相关性。因此，利用图像的上下文信息对模型数据库中的模型进行匹配，能够降低匹配操作的计算量，提高图像中对象识别的效率。图1是根据本发明实施方式的图像中对象的识别方法的流程图。如图1所示，根据本发明实施方式的图像中对象识别方法包括下述步骤:
S101，从图像的上下文信息中提取名词实体以获取图像中可能对象的“概念表示”。如上所述，图像的上下文信息可以包括图像的题目、注解和图像周围的文字等。图像的上下文信息一般都由图像的创建者或者提供者提供，在图像存储之前以元数据的形式存储。有关图像的上下文信息的元数据是数据库领域的现有技术，本发明并无意对元数据的创建和存储提出任何改进，只是利用图像的此类元数据进行图像中对象的识别，因此，对于图像的上下文信息不再详述。
现有技术中的自然语言处理(Natural Language Processing)技术可以用于步骤SlOl中所述的从图像的上下文信息中提取名词实体以获取图像中可能对象的“概念表示”。自然语言处理是用计算机来处理人类的语言的技术，由于计算机技术的发展，人机交互的需要促进了自然语言处理技术的快速发展。目前已经存在一些商用的自然语言处理工具，例如:
(I)OpenNLP
OpenNLP是一个基于Java机器学习 工具包，用于处理自然语言文本。支持大多数常用的NLP任务，例如:标识化、句子切分、部分词性标注、名称抽取、组块、解析等。(2) FudanNLP
FudanNLP主要是为中文自然语言处理而开发的工具包，也包含为实现这些任务的机器学习算法和数据集。其能够进行文本分类、新闻聚类、中文分词、词性标注、实体名识别、关键词抽取、依存句法分析、时间短语识别、结构化学习、在线学习、层次分类、聚类和精确推理等等。上述自然语言处理工具可以用于从图像的题目、注解和图像周围的文字等上下文信息中提取出可能对象的“概念表示”。本领域普通技术人员可以理解，上面以说明的目的介绍了几种目前公知的自然语言处理工具，但本发明并不局限于上述处理工具，任何能够实现所述效果的自然语言处理工具都可以用于本发明。本领域普通技术人员可以理解，在步骤SlOl之前，还可以对图像首先进行噪声抑制、边界检测和低层次特征提取等预处理。在接下来的步骤S102中，利用所述概念表示对所述对象模型数据库进行匹配操作以识别所述图像中存在的相关对象。在本步骤中，可以采用所述概念表示与对象模型数据库中每个模型的注解进行关键词匹配以识别所述图像中的相关对象。通常，对象模型数据库中的每个模型都会被赋予一个简单名词，例如家禽、家用电器等。但是，每个名词可能包括多个子类。例如，上述家禽可能包括鸡、鸭、鹅，而家用电器可能包括电视机、洗衣机、电扇、电冰箱等。因此，仅利用从图像中提取的概念表示与对象模型数据库中的模型进行匹配操作将导致很多误判。为了降低误判，可选择地，在上述步骤SlOl中，可以对上述获取的概念表示进行语义扩展和推导，得出所述上下文信息的一组认知近义词作为所述概念表示。可以利用现有技术对上述获取的概念表示进行语义扩展和推导，得出所述上下文信息的一组认知近义词。例如可以采用WordNet作为词汇数据库进行语义扩展和推导以得出所述一组认知近义词。在此种情况下，可以利用所述认知近义词对所述对象模型数据库进行匹配操作以识别图像中存在的相关对象。可以采用所述认知近义词与模型数据库中每个模型的注解进行关键词匹配来实现图像中的对象识别。可选择地，在通过步骤SlOl和S102从对象模型数据库中获得匹配的模型后，可以将匹配的模型选出，与所述图像进行低层次特征匹配。如上所述，所述低层次特征通常为离线提取。在从图像中识别出相关对象后，可以将关于对象的低层次特征和数据描述删除。然后对其余的图像低层次特征进行例行对象识别以判断是否还存在其他对象。 本发明的另一实施方式还提供了一种用于之行上述方法的装置。图2是根据本发明实施方式的图像中对象识别的装置的框图。如图2所示，图像中对象的识别装置200包括:装置201，用于从图像的上下文信息中提取名词实体以获取图像中可能对象的概念表示的；和装置202，用于利用所述概念表示对所述对象模型数据库进行匹配操作以识别所述图像中存在的相关对象的。综上所述，根据本发明实施方式的图像中对象的识别方法和装置利用图像的上下文信息与对象模型数据库进行匹配操作，有效地降低了匹配操作的计算量，从而大大地提到了图像中对象识别的效率。
权利要求
1.一种图像中对象的识别方法，其特征在于，包括下述步骤: 从图像的上下文信息中提取名词实体以获取图像中可能对象的概念表示(SlOl);和 利用所述概念表示对所述对象模型数据库进行匹配操作以识别所述图像中存在的相关对象(S102)。
2.如权利要求1所述的图像中对象的识别方法，其中，所述图像的上下文信息包括图像的题目、注解和图像周围的文字。
3.如权利要求1或2所述的图像中对象的识别方法，其中，所述概念表示是所述上下文信息的一组认知近义词。
4.如权利要求3所述的图像中对象的识别方法，其中，通过对所述概念表示进行语义扩展和推导得出所述一组认知近义词。
5.如权利要求1所述的图像中对象的识别方法，还包括，将所述匹配操作中得出的与图像的概念表示相匹配的对象模型数据库中的模型与所述图像进行低层次特征匹配以识别图像中的对象。
6.如权利要求1所述的图像中对象的识别方法，还包括，在提取所述图像的上下文信息的名词实体之前，对所述图像进行预处理。
7.如权利要求6所述的图像中对象的识别方法，其中，所述预处理包括噪声抑制、边界检测和低层次特征提取。
8.如权利要求1所述的图像中对象的识别方法，其中，采用自然语言处理从图像的上下文信息中提取名词实体以获取图像中可能对象的概念表示。
9.一种图像中对象的识别装置(200)，其特征在于，包括: 从图像的上下文信息中提取名词实体以获取图像中可能对象的概念表示的装置(201);和 利用所述概念表示对所述对象模型数据库进行匹配操作以识别所述图像中存在的相关对象的装置(202)。
全文摘要
本发明提供了一种图像中对象的识别方法和装置，所述方法包括下述步骤从图像的上下文信息中提取名词实体以获取图像中可能对象的概念表示；和利用所述概念表示对所述对象模型数据库进行匹配操作以识别所述图像中存在的相关对象。
文档编号G06K9/54GK103106239SQ20121052694
公开日2013年5月15日 申请日期2012年12月10日 优先权日2012年12月10日
发明者宗竞 申请人:江苏乐买到网络科技有限公司