专利名称：一种基于语义二叉树的图像标注方法
技术领域：
本发明涉及的是一种图像的自动语义标注方法。
背景技术：
图像的标注字作为一种非常宝贵的图像描述资源，较好地反映了图像的高级语义 信息。如何充分利用训练图像的标注字信息，是提高图像标注精度的重要手段。本发明的 背景是在综合利用图像语义与视觉特征的相关性基础上，提取出训练图像的语义场景，并 对不同场景的训练图像建立视觉模型，最后按照视觉特征对待标注图像进行语义归类。
发明内容
本发明的目的在于提供一种能提高对经过场景归类后待标注图像的标注精度的 基于语义二叉树的图像标注方法。本发明的目的是这样实现的步骤1，对于特定场景的图像集，采用图像分割算法对用于学习的标注图像进行分 割，获得图像区域的视觉描述；步骤2，构造用于学习的所有图像的视觉最近邻图；步骤3，根据步骤2中的最近邻图建立所述场景的语义二叉树；步骤4，对所述场景下的待标注图像，从语义二叉树的根节点到叶子节点找到相应 位置，并将该节点处到根节点的所有标注字传递给所述图像。所述构造用于学习的所有图像的视觉最近邻图的方法为图像间的视觉距离采用 多区域集成匹配的相似性测度推土机距离，图的顶点对应每一幅图像，连接顶点的边对应 图像间的视觉距离。所述建立语义二叉树的方法为二叉树的根节点处汇集了场景中的所有标注图 像，代表所述场景的标注字对应根节点的语义表示，对步骤2中的最近邻图采用规格化切 分的二分算法，将图像分成两个集合，分别代表根节点的左子树和右子树，统计两个集合中 除了根节点处的标注字外的一个显著标注字，并按该标注字重新确定每幅图像的归属；寻 找显著标注字的方法是统计集合中各标注字的出现次数，将出现次数最高的标注字作为显 著标注字；如果出现次数最多的标注字不止一个，将词频较低的一个标注字作为显著标注 字；对根节点的左子树和右子树重复上述操作，直到只有一副图像或者集合中无显著 出现的标注字，底端的叶子节点对应了出现频度较低的标注字的图像。本发明利用标注字和视觉信息对特定场景的标注图像建立语义二叉树，提出了一 个对特定场景的标注图像建立语义树的具体方法。树的顶点对应该场景下最常见的标注 字，随着语义树的生长，每个叶子节点对应的语义被分支裁剪，子节点的语义逐渐细化，代 表的标注字逐步具体，趋于并通过建立的语义二叉树，对该场景的待标注图像，从该场景语 义树的根部到叶子节点，得到相应的标注信息。
本发明旨在对特定场景下的训练用的标注图像集建立语义二叉树，来提高利用图 像视觉特征进行场景分类后的图像的自动语义标注的精度。本发明将结点带有关键字的二叉树用于图像标注，具有较高的实用价值。将对许 多CB^S用有重要帮助，例如google的图像索索引擎。
附图是本发明的流程图。
具体实施例方式下面结合附图举例对本发明做更详细的描述步骤1，对于特定场景的图像集，采用图像分割算法对用于学习的标注图像进行分 割，获得图像区域的视觉描述。步骤2，构造用于学习的所有图像的视觉最近邻图。图像间的视觉距离采用多区域 集成匹配的相似性测度推土机距离(Earth Mover’ s Distance, EMD)。图的顶点对应每一 幅图像，连接顶点的边对应图像间的视觉距离。步骤3，根据步骤2中的最近邻图建立该场景的语义二叉树。方法如下。二叉树的根节点处汇集了该场景中的所有标注图像，代表该场景的标注字对应根 节点的语义表示。对步骤2中的最近邻图采用N-Cut (Normalized Cut，规格化切分)的二 分算法，将图像分成两个集合，分别代表根节点的左子树和右子树。统计两个集合中除了根 节点处的标注字外的一个显著标注字，并按该标注字重新确定每幅图像的归属。寻找显著 标注字的方法是统计集合中各标注字的出现次数，将出现次数最高的标注字作为显著标注 字。如果出现次数最多的标注字不止一个，将词频较低的一个标注字作为显著标注字。对根节点的左子树和右子树重复上述操作，直到只有一副图像或者集合中无显著 出现的标注字。底端的叶子节点对应了出现频度较低的标注字的图像。步骤4，对该场景下的待标注图像，从语义二叉树的根节点到叶子节点找到相应位 置，并将该节点处到根节点的所有标注字传递给该图像。
权利要求
1.一种基于语义二叉树的图像标注方法，其特征是步骤1，对于特定场景的图像集，采用图像分割算法对用于学习的标注图像进行分割， 获得图像区域的视觉描述；步骤2，构造用于学习的所有图像的视觉最近邻图；步骤3，根据步骤2中的最近邻图建立所述场景的语义二叉树；步骤4，对所述场景下的待标注图像，从语义二叉树的根节点到叶子节点找到相应位 置，并将该节点处到根节点的所有标注字传递给所述图像。
2.根据权利要求1所述的基于语义二叉树的图像标注方法，其特征是所述构造用于学 习的所有图像的视觉最近邻图的方法为图像间的视觉距离采用多区域集成匹配的相似性 测度推土机距离，图的顶点对应每一幅图像，连接顶点的边对应图像间的视觉距离。
3.根据权利要求1或2所述的基于语义二叉树的图像标注方法，其特征是所述建立语 义二叉树的方法为二叉树的根节点处汇集了场景中的所有标注图像，代表所述场景的标 注字对应根节点的语义表示，对步骤2中的最近邻图采用规格化切分的二分算法，将图像 分成两个集合，分别代表根节点的左子树和右子树，统计两个集合中除了根节点处的标注 字外的一个显著标注字，并按该标注字重新确定每幅图像的归属；寻找显著标注字的方法 是统计集合中各标注字的出现次数，将出现次数最高的标注字作为显著标注字；如果出现 次数最多的标注字不止一个，将词频较低的一个标注字作为显著标注字；对根节点的左子树和右子树重复上述操作，直到只有一副图像或者集合中无显著出现 的标注字，底端的叶子节点对应了出现频度较低的标注字的图像。
全文摘要
本发明提供的是一种基于语义二叉树的图像标注方法。步骤1，对于特定场景的图像集，采用图像分割算法对用于学习的标注图像进行分割，获得图像区域的视觉描述；步骤2，构造用于学习的所有图像的视觉最近邻图；步骤3，根据步骤2中的最近邻图建立所述场景的语义二叉树；步骤4，对所述场景下的待标注图像，从语义二叉树的根节点到叶子节点找到相应位置，并将该节点处到根节点的所有标注字传递给所述图像。本发明旨在对特定场景下的训练用的标注图像集建立语义二叉树，来提高利用图像视觉特征进行场景分类后的图像的自动语义标注的精度。
文档编号G06K9/62GK102142089SQ201110002770
公开日2011年8月3日 申请日期2011年1月7日 优先权日2011年1月7日
发明者刘咏梅, 杜福鹏, 杨帆 申请人:哈尔滨工程大学