专利名称：便携式设备实现视频知识采集与标注功能的系统及方法
技术领域：
本发明涉及计算机应用技术领域，特别涉及视频图像处理技术领域，具体是指一种基于便携式设备实现视频知识采集与标注功能的系统及方法。
背景技术：
随着计算机技术和互联网的飞速发展，大量的视频设备已经能够通过互联网方便地在便携式设备上批量传输数字化的视频信息，便携式视频播放设备(iPad、iPod、iPhone、数码摄像机)的发展和推广，有利于用户能够方便地随时随地查找、分享和使用网络中的各类资源，例如视频电影、监控视频、视频会议和视频聊天等。便携式设备对视频的大量检索以及共享，引出了关于如何应用便携式设备来采集、标注视频/图像资源等问题的研究。现今很多专家提出直接利用视频的内容信息进行机器识别、自动标注。这种机器识别和自动标注是借助于对视频中的视频帧/图像信息进行从底层到高层的处理，分析和理解的过程中进行标注的内容，以便于进行后续的视频检索。这些底层的标注内容是指视频的颜色、纹理、运动等特征向量。虽然这些内容可以更好的表达视频的信息，但是这种标注方式与后续的检索中对视频标注的需求相差太大。例如，一般网络用户进行视频或图像检索的目的是依赖于对视频的文本信息或元数据的描述来进行检索的，而不会去关注它的颜色、纹理、形状以及在此基础上形成的空间关系等方面，以图像的底层视觉和形象特征为主，对图像进行标注的处理方法具有计算简单、性能稳定的特点，但目前这些特征都有一定的局限性。经过对现有技术的检索发现，中国专利文献号CN102508923，公开了一种“基于自动分类和关键字标注的自动视频注释方法”，该技术首先提取出已由人工标注视频的全局特征和局部特征，使用全局特征对视频的类别进行分类，再建立视频的多维特征和标注关键字之间的对应关系，再在已建立的训练集的基础上，自动处理未经标注的视频。中国专利文献号CN101650728，公开了“视频高层特征检索系统及其实现”，该技术提取视频关键帧图像的底层特征(颜色、形状、纹理等)，并利用支持向量机(SupportVector Machine, SVM)对所提取的特征进行分类,进而提取相应的视频语义。上述研究在视频语义提取技术上提出了一些较好的方法，但是同样存在以下缺陷1、需要大量的人工标注视频集，才能形成一个精准、完备的样本训练集。2、由于人工标注的视频内容，其主观性太强，不同的人对相同视频的特征、标注都不可能完全一样，很难形成统一的人工标注标准。3、人工标注的视频内容，其扩充性太差，对于一个没有样本训练集中从未标注过的视频，还需要搜索原有的库，把与之相近特征的关键字提取出来，建立特征和关键词之间的联系，这才能完成对视频的注释
发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种对该视频数据进行粗粒度的结构化描述的提取，再在粗粒度的结构化描述的基础上，设定视频帧的分割点和帧内分割区域块，然后在已设定的分割点和分割块中进行细粒度的标注，从而降低人工设备标注标准对视频标注的主观影响，提高视频标注的精确度，且便于视频标注训练集的自动扩充，同时，应用方式简便，实现成本低廉，应用范围也较为广泛的基于便携式设备实现视频知识采集与标注功能的系统及方法。为了实现上述的目的，本发明的基于便携式设备实现视频知识采集与标注功能的系统具有如下构成该系统包括资源输入模块、结构化描述模块、标注设备模块、双向切割模块和中心控制模块。其中，资源输入模块连接系统外部设备，用以从所连接的外部设备中获取视频文件和视频帧截取的图片文件；结构化描述模块用以提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据；标注设备模块为所述的便携式设备，用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行标注；双向切割模块根据所述的视频文件和视频帧截取的图片文件的标注设置多个不同的语义分割点或区域，将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域；中心控制模块连接所述的资源输入模块、结构化描述模块、标注设备模块和双向切割模块，用以向所述各模块发送任务指令，调度各模块的运行。该基于便携式设备实现视频知识采集与标注功能的系统中，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，用以产生人和计算机系统可识别的关于视频和图像的多层次结构化描述信息。该基于便携式设备实现视频知识采集与标注功能的系统中，所述的双向切割模块包括分割点设置单元和切割单元，所述的分割点设置单元根据所述的标注在所述的视频文件或视频帧截取的图片文件的设置多个不同的语义分割点或区域；所述的切割单元用以将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。该基于便携式设备实现视频知识采集与标注功能的系统中，所述的标注设备模块包括粗颗粒标注处理单元和细颗粒标注处理单元，所述的粗颗粒标注处理单元用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗颗粒标注；所述的细颗粒标注处理单元用以根据所述的结构化描述数据对所述的经双向切割模块分割的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。该基于便携式设备实现视频知识采集与标注功能的系统中，所述的便携式设备包括平板电脑、智能手机和数码摄像机。本发明还公开了一种利用所述的系统实现便携式设备视频知识采集与标注处理的方法，该方法包括以下步骤(201)所述的资源输入模块从所连接的互联网、局域网或视频数据库中获取视频文件和视频帧截取的图片文件；(202)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据；
(203)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的视频图像特征和语义数据，并将所述的图像特征和语义数据输入到结构化描述数据中；(204)所述的标注设备模块根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗粒度标注；(205)所述的双向切割模块根据所述的粗粒度标注，在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域；(206)所述的双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域；(207)所述的标注设备模块对所述的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。该实现便携式设备视频知识采集与标注处理的方法中，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，所述的步骤
(202)具体包括以下步骤(301)所述的语义关系单元确定所述的视频文件和视频帧截取的图片文件中的对象的含义；(302)所述的时空分割单元，根据所述的对象含义从所述的视频文件和视频帧截取的图片文件中分离出有意义的对象，所述的有意义的对象包括语义级别的对象形状信息和对象纹理信息；(303)所述的特征提取单元根据所述的视频文件和视频帧截取的图片文件的颜色特征和空间特征提取特征内容；(304)所述的对象识别单元根据已知训练对象集合对未知对象进行识别和分类；(305)根据上述的时空分割、特征提取和对象识别的结果，生成所述的关于视频和图像的多层次结构化描述数据。该实现便携式设备视频知识采集与标注处理的方法中，所述的双向切割模块包括分割点设置单元和切割单元，所述的双向切割模块根据所述的粗粒度标注在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域，具体为所述的分割点设置单元根据所述的标注在所述的视频文件或视频帧截取的图片文件的设置多个不同的语义分割点或区域；所述的双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域，具体为所述的切割单元用以将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。该实现便携式设备视频知识采集与标注处理的方法中，所述的标注设备模块包括粗颗粒标注处理单元和细颗粒标注处理单元，所述的标注设备模块根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗粒度标注，具体为所述的粗颗粒标注处理单元用以所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗颗粒标注；所述的标注设备模块对所述的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注，具体为
所述的细颗粒标注处理单元根据所述的结构化描述数据对所述的经双向切割模块分割的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。该实现便携式设备视频知识采集与标注处理的方法中，所述的步骤(203)具体包括以下步骤(203-1)所述的结构化描述模块将所述的视频文件和视频帧截取的图片文件分成若干视频图像片段、关键帧和关键子区域；(203-2)所述的结构化描述模块对所述的视频图像片段、关键帧和关键子区域进行特征提取和语义分析处理，获得视频图像特征和语义数据；(203-3)所述的结构化描述模块将所述的图像特征和语义数据输入到结构化描述数据中。该实现便携式设备视频知识采集与标注处理的方法中，所述的双向切割模块根据所述的粗粒度标注，在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域，具体为所述的双向切割模块根据所述的粗粒度标注在所述的关键帧和关键子区域中设置多个不同的语义分割点或区域；所述的双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域，具体为所述的双向切割模块将所述的关键帧和关键子区域根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。采用了该发明的基于便携式设备实现视频知识采集与标注功能的系统及方法，其系统包括资源输入模块、结构化描述模块、标注设备模块、双向切割模块和中心控制模块。该方法中，结构化描述模块提取视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据；标注设备模块先根据结构化描述数据对视频文件和视频帧截取的图片文件进行粗粒度标注；再根据粗粒度标注将视频文件和视频帧截取的图片文件根据语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域；然后对具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。从而能够利用本发明的系统和方法，有效降低了人工设备标注标准对视频标注的主观影响，大幅提闻了视频标注的精确度，也便于视频标注训练集的自动扩充，且的基于便携式设备实现视频知识采集与标注功能的系统及方法，其应用方式简便，实现成本低廉，应用范围也较为广泛。
图1为本发明的基于便携式设备实现视频知识采集与标注功能的系统的结构示意图。图2为本发明的实现便携式设备视频知识采集与标注处理的方法的步骤流程图。图3为本发明的实现便携式设备视频知识采集与标注处理的方法中视频结构化描述的流程示意4为采用本发明的方法对视频A和图像B进行知识采集与标注的实例的时序图。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。请参阅图1所示，为本发明的基于便携式设备实现视频知识采集与标注功能的系统的结构示意图。在一种实施方式中，该基于便携式设备实现视频知识采集与标注功能的系统包括资源输入模块、结构化描述模块、标注设备模块、双向切割模块和中心控制模块。其中，资源输入模块连接系统外部设备，用以从所连接的外部设备中获取视频文件和视频帧截取的图片文件。结构化描述模块用以提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据。标注设备模块为平板电脑、智能手机和数码摄像机等便携式设备，用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行标注。双向切割模块根据所述的视频文件和视频帧截取的图片文件的标注设置多个不同的语义分割点或区域，将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。中心控制模块连接所述的资源输入模块、结构化描述模块、标注设备模块和双向切割模块，用以向所述各模块发送任务指令，调度各模块的运行。利用该实施方式所述的系统实现便携式设备视频知识采集与标注处理的方法，如图2所示，包括以下步骤(201)所述的资源输入模块从所连接的互联网、局域网或视频数据库中获取视频文件和视频帧截取的图片文件；(202)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据；(203)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的视频图像特征和语义数据，并将所述的图像特征和语义数据输入到结构化描述数据中；(204)所述的标注设备模块根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗粒度标注；(205)所述的双向切割模块根据所述的粗粒度标注，在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域；(206)所述的双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域；(207)所述的标注设备模块对所述的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。在一种较优选的实施方式中，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，用以产生人和计算机系统可识别的关于视频和图像的多层次结构化描述信息。在利用该较优选的实施方式所述的系统实现便携式设备视频知识采集与标注处理的方法中，所述的步骤(202)具体包括以下步骤(301)所述的语义关系单元确定所述的视频文件和视频帧截取的图片文件中的对象的含义；(302)所述的时空分割单元，根据所述的对象含义从所述的视频文件和视频帧截取的图片文件中分离出有意义的对象，所述的有意义的对象包括语义级别的对象形状信息和对象纹理信息；(303)所述的特征提取单元根据所述的视频文件和视频帧截取的图片文件的颜色特征和空间特征提取特征内容；(304)所述的对象识别单元根据已知训练对象集合对未知对象进行识别和分类；(305)根据上述的时空分割、特征提取和对象识别的结果，生成所述的关于视频和图像的多层次结构化描述数据。在另一种较优选的实施方式中，所述的双向切割模块包括分割点设置单元和切割单元，所述的分割点设置单元根据所述的标注在所述的视频文件或视频帧截取的图片文件的设置多个不同的语义分割点或区域；所述的切割单元用以将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。在利用该较优选的实施方式所述的系统实现便携式设备视频知识采集与标注处理的方法中，所述的步骤(205)双向切割模块根据所述的粗粒度标注在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域，具体为所述的分割点设置单元根据所述的标注在所述的视频文件或视频帧截取的图片文件的设置多个不同的语义分割点或区域。所述的步骤(206)双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域，具体为所述的切割单元用以将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。在进一步优选的实施方式中，所述的标注设备模块包括粗颗粒标注处理单元和细颗粒标注处理单元，所述的粗颗粒标注处理单元用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗颗粒标注；所述的细颗粒标注处理单元用以根据所述的结构化描述数据对所述的经双向切割模块分割的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。在利用进一步优选的实施方式所述的系统实现便携式设备视频知识采集与标注处理的方法中，所述的步骤(204)标注设备模块根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗粒度标注，具体为所述的粗颗粒标注处理单元用以所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗颗粒标注。所述的步骤(207)标注设备模块对所述的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注，具体为所述的细颗粒标注处理单元根据所述的结构化描述数据对所述的经双向切割模块分割的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。在更进一步优选的实施方式中，所述的步骤(203)具体包括以下步骤(203-1)所述的结构化描述模块将所述的视频文件和视频帧截取的图片文件分成若干视频图像片段、关键帧和关键子区域；(203-2)所述的结构化描述模块对所述的视频图像片段、关键帧和关键子区域进行特征提取和语义分析处理，获得视频图像特征和语义数据；(203-3)所述的结构化描述模块将所述的图像特征和语义数据输入到结构化描述数据中。在更优选的实施方式中，所述的步骤(205)双向切割模块根据所述的粗粒度标注，在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域，具体为所述的双向切割模块根据所述的粗粒度标注在所述的关键帧和关键子区域中设置多个不同的语义分割点或区域。所述的步骤(206)双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域，具体为所述的双向切割模块将所述的关键帧和关键子区域根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。 在实际应用中，本发明的基于便携式设备实现视频知识采集标注的系统包括标注资源输入模块、视频结构化描述模块、视频双向切割模块、标注信息管理中心模块和标注设备模块等五个模块。所述的标注资源输入模块是指为标注系统提供的各种标注信息。从标注内容角度来说，标注资源主要包括视频文件和以视频帧截取出来的图片。视频文件来自于视频监控、摄像设备保存的内容，视频中的图片由视频文件中截取获得，该截取过程可以人工完成，也有可以是设备自动截取视频中的关键帧，然后进行转存的图片。从标注资源来源的角度来说，标注资源分为交通标注资源和社会标注资源。交通标注资源来源于公安部门部署的各类视频监控网络、设备所采集的视频、图像资源，社会标注资源来源于各类社会单元或者个人部署的各类视频监控网络、设备所采集的视频、图像资源。所述的视频结构化描述模块是指用来提取视频的结构化描述内容，这是一种以机器自动化为主的视频信息处理和分析方法，采用语义关系、时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。它依赖于图像处理技术、模式识别技术、语义理解技术等对视频数据进行多层次、多维度的特征提取。视频首先传送到描述设备，类似人的大脑，对内容进行分析理解，并产生多层次的结构化输出；接着对描述数据进行传输和存储，同时描述设备也输出一个原始视频供系统存储。从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息，并实现视频数据向关键信息的转化。所述的视频双向切割模块，是将从互联网或局域网中下载或接受得到待处理视频，根据视频的标注设置不同的语义分割点或区域，将视频划分为很多具有不同语义的视频片段或同一视频图像中的不同区域。所述的标注信息管理中心模块，是用来查询所述的视频的结构化描述结果，查询视频的结构化标注结果，调整支持训练集的参数设置。所述的标注设备模块，即便携式设备，例如平板电脑、智能手机、数码摄像机，用户通过标注设备实现对标注资源的标注，标注设备的行为受到标注信息管理中心的管理和授权。本发明以便携式支持采集标注技术、非关系型数据库为基础，构建了一种便携式的视频/图像采集、标注、上传、查询系统，可以做到视频图像资料到标注知识的即时转化处理。采用上述系统的方法包括以下步骤
从因特网/局域网中采集待标注的视频文件和视频中的图片文件；从视频的本源——结构化描述的结果为出发点，对视频文件和图片文件进行结构化描述的特征提取；根据视频文件和图片文件的结构化描述结果，形成对应的视频语义粗粒度标注；再根据视频粗粒度标注设置不同的语义分割点，将视频划分为很多具有不同语义层次的视频片段或视频帧中的几何区域；最后再将各粗粒度视频片段作为标注单元，对视频内容进行细粒度的语义标注。具体而言，本发明实施例的流程图，主要包括如下步骤步骤201，视频过滤系统接受来自互联网、局域网或视频数据库传来的视频数据发送请求；步骤202，采集待标注的视频及图像样本，并将数字视频信号输入到视频结构化描述模块，如果输入的为模拟信号，则进行模数转换；步骤203，提取出视频的结构化描述结果，对视频输入模块传入的视频图像信号进行智能分析处理，把视频图像信号分成若干各视频图像片段、关键帧和子区域；对视频图像片段、关键帧和子区域进行特征提取和高级语义分析处理，获得视频图像的特征和高级语义数据，并将数据输入到视频结构化描述数据库中；步骤204，根据视频的结构化描述结果对视频进行粗粒度的视频标注；步骤205，设置视频的语义分割点，该步骤根据上述的粗粒度标注结果，将视频的关键帧和关键子区域进行分割、标注；步骤206，根据视频的语义分割片和分割点，再进行视频的细粒度标注。图3为本发明中视频结构化描述的实施例的流程图，主要包括如下步骤步骤301，系统接受来自互联网、局域网或视频数据库传来的视频数据发送的请求。步骤302，时空分割是指系统从视频序列中分离有意义的对象，每个视频对象平面包含语义级别视频对象的形状和纹理信息。根据分割方法的不同，分割算法可以分为空域分割算法和时域分割算法两种。空域分割是运用分水岭算法得到不同区域的边界；时域分割是利用时域变化检测来分隔视频对象，运动对象的位置和形状通过帧差法和减背景法得到。步骤303，特征提取是指根据颜色特征和空间特征，提取表示视频帧的特征内容。步骤304，对象识别是指依据统计模式识别的方法，即在已知训练对象集合的基础上设计识别和分类算法，从而对未知对象进行识别分类。步骤305，根据上述的时空分割、特征提取和对象识别，得出视频的多层次结构化描述结果。图4为本发明实施例中视频A、图像B通过知识采集标注系统进行标注的时序图步骤401，基于便携式设备的知识采集标注系统在接收到视频A和图像B的传输请求之后，与网络传输机制建立传输连接，接收视频A和图像B的数据。步骤402，将接收到的视频/图像数据进行数据预处理，如果输入的是模拟信号，则进行模数转换；步骤403，对视频输入模块传入的视频/图像信号进行智能分析处理，把视频/图像信号分成若干个视频图像片段，关键帧和子区域；对视频图像片段、关键帧和子区域进行特征提取和高级语义分析处理，获得视频/图像的特征和高级语义数据，并将数据输入到视频结构化描述数据库中；步骤404，将上述生成的图像B的粗粒度描述结果返回。步骤405，根据视频时间帧或者同视频帧内不同区域的语义描述，可将视频进行双向的切割。步骤406，根据上述的双向切割点，再次提取出细粒度的视频特征描述。步骤407，将上述生成的视频A细粒度描述结果返回。采用了该发明的基于便携式设备实现视频知识采集与标注功能的系统及方法，其系统包括资源输入模块、结构化描述模块、标注设备模块、双向切割模块和中心控制模块。该方法中，结构化描述模块提取视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据；标注设备模块先根据结构化描述数据对视频文件和视频帧截取的图片文件进行粗粒度标注；再根据粗粒度标注将视频文件和视频帧截取的图片文件根据语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域；然后对具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。从而能够利用本发明的系统和方法，有效降低了人工设备标注标准对视频标注的主观影响，大幅提闻了视频标注的精确度，也便于视频标注训练集的自动扩充，且的基于便携式设备实现视频知识采集与标注功能的系统及方法，其应用方式简便，实现成本低廉，应用范围也较为广泛。在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。
权利要求
1.一种基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的系统包括: 资源输入模块，连接系统外部设备，用以从所连接的外部设备中获取视频文件和视频帧截取的图片文件； 结构化描述模块，用以提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据； 标注设备模块，为所述的便携式设备，用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行标注； 双向切割模块，根据所述的视频文件和视频帧截取的图片文件的标注设置多个不同的语义分割点或区域，将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域； 中心控制模块，连接所述的资源输入模块、结构化描述模块、标注设备模块和双向切割模块，用以向所述各模块发送任务指令，调度各模块的运行。
2.根据权利要求1所述的基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，用以产生人和计算机系统可识别的关于视频和图像的多层次结构化描述信息。
3.根据权利要求1所述的基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的双向切割模块包括分割点设置单元和切割单元，所述的分割点设置单元根据所述的标注在所述的视频文件或视频帧截取的图片文件的设置多个不同的语义分割点或区域；所述的切割单元用以将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。
4.根据权利要求3所述的基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的标注设备模块包括粗颗粒标注处理单元和细颗粒标注处理单元，所述的粗颗粒标注处理单元用以根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗颗粒标注；所述的细颗粒标注处理单元用以根据所述的结构化描述数据对所述的经双向切割模块分割的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。
5.根据权利要求1至4中任一项所述的基于便携式设备实现视频知识采集与标注功能的系统，其特征在于，所述的便携式设备包括平板电脑、智能手机和数码摄像机。
6.一种利用权利要求1所述的系统实现便携式设备视频知识采集与标注处理的方法，其特征在于，所述的方法包括以下步骤: (201)所述的资源输入模块从所连接的互联网、局域网或视频数据库中获取视频文件和视频帧截取的图片文件； (202)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的结构化描述内容，产生结构化描述数据； (203)所述的结构化描述模块提取所述的视频文件和视频帧截取的图片文件的视频图像特征和语义数据，并将所述的图像特征和语义数据输入到结构化描述数据中； (204)所述的标注设备模块根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗粒度标注； (205)所述的双向切割模块根据所述的粗粒度标注，在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域； (206)所述的双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域； (207)所述的标注设备模块对所述的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。
7.根据权利要求6所述的实现便携式设备视频知识采集与标注处理的方法，其特征在于，所述的结构化描述模块包括顺序连接的语义关系单元、时空分割单元、特征提取单元和对象识别单元，所述的步骤(202)具体包括以下步骤: (301)所述的语义关系单元确定所述的视频文件和视频帧截取的图片文件中的对象的含义； (302)所述的时空分割单元，根据所述的对象含义从所述的视频文件和视频帧截取的图片文件中分离出有意义的对象，所述的有意义的对象包括语义级别的对象形状信息和对象纹理信息； (303)所述的特征提取单元根据所述的视频文件和视频帧截取的图片文件的颜色特征和空间特征提取特征内容； (304)所述的对象识别单元根据已知训练对象集合对未知对象进行识别和分类； (305)根据上述的时空分割、特征提取和对象识别的结果，生成所述的关于视频和图像的多层次结构化描述数据。
8.根据权利要求6所述的实现便携式设备视频知识采集与标注处理的方法，其特征在于，所述的双向切割模块包括分割点设置单元和切割单元，所述的双向切割模块根据所述的粗粒度标注在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域，具体为: 所述的分割点设置单元根据所述的标注在所述的视频文件或视频帧截取的图片文件的设置多个不同的语义分割点或区域； 所述的双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域，具体为: 所述的切割单元用以将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域。
9.根据权利要求6所述的实现便携式设备视频知识采集与标注处理的方法，其特征在于，所述的标注设备模块包括粗颗粒标注处理单元和细颗粒标注处理单元，所述的标注设备模块根据所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗粒度标注，具体为: 所述的粗颗粒标注处理单元用以所述的结构化描述数据对所述的视频文件和视频帧截取的图片文件进行粗颗粒标注； 所述的标注设备模块对所述的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注，具体为: 所述的细颗粒标注处理单元根据所述的结构化描述数据对所述的经双向切割模块分割的具有不同语义的视频片段或图片中的不同区域进行细颗粒标注。
10.根据权利要求6至9中任一项所述的实现便携式设备视频知识采集与标注处理的方法，其特征在于，所述的步骤(203)具体包括以下步骤: (203-1)所述的结构化描述模块将所述的视频文件和视频帧截取的图片文件分成若干视频图像片段、关键帧和关键子区域； (203-2)所述的结构化描述模块对所述的视频图像片段、关键帧和关键子区域进行特征提取和语义分析处理，获得视频图像特征和语义数据； (203-3)所述的结构化描述模块将所述的图像特征和语义数据输入到结构化描述数据中。
11.根据权利要求10所述的实现便携式设备视频知识采集与标注处理的方法，其特征在于，所述的双向切割模块根据所述的粗粒度标注，在所述的视频文件和视频帧截取的图片文件中设置多个不同的语义分割点或区域，具体为: 所述的双向切割模块根据所述的粗粒度标注在所述的关键帧和关键子区域中设置多个不同的语义分割点或区域； 所述的双向切割模块将所述的视频文件和视频帧截取的图片文件根据所述的语义分割点或区域划分为多个具有不同语义的视频片段或图片中的不同区域，具体为: 所述的双向切割模块将所述的关键帧和关键子区域根据所述的语义分割点或区域划分为多个具有不同语 义的视频片段或图片中的不同区域。
全文摘要
本发明涉及一种基于便携式设备实现视频知识采集与标注功能的系统及方法，属于计算机应用技术领域。该系统包括资源输入模块、结构化描述模块、标注设备模块、双向切割模块和中心控制模块。该方法中，结构化描述模块产生结构化描述数据；标注设备模块先根据结构化描述数据对视频和图片文件进行粗粒度标注；再根据粗粒度标注将视频和图片文件划分为多个具有不同语义的视频片段或图片中的不同区域；然后再进行细颗粒标注。从而能够有效降低人工设备标注标准对视频标注的主观影响，大幅提高视频标注的精确度，也便于视频标注训练集的自动扩充，且本发明的系统及方法的应用方式简便，实现成本低廉，应用范围也较为广泛。
文档编号G06F17/30GK103077236SQ20131000729
公开日2013年5月1日 申请日期2013年1月9日 优先权日2013年1月9日
发明者李逸, 胡传平, 梅林 申请人:公安部第三研究所