支持海量数据自动处理的数字内容编目管理系统及方法

专利名称：支持海量数据自动处理的数字内容编目管理系统及方法
技术领域：
本发明涉及多媒体技术领域，尤其涉及一种支持海量数据自动处理的多媒体内容
编目管理系统。
背景技术：
随着计算机网络技术及媒体制作技术的不断发展，信息内容的形式已经从简单发 展到复杂，从以前单一的文字、图像内容发展到现在具有丰富信息的多媒体内容，而且多媒 体资源的数量也越来越多，如何从浩瀚的数据海洋中迅速获取所需信息，已经成为一个挑 战性的问题。要解决这个问题，必须解决以下技术
(1)多媒体内容及其特征的获取；
(2)海量多媒体内容的结构化管理；
(3)大规模索引数据库的建立；
(4)多媒体内容服务的提供。 其中，多媒体内容的获取和海量多媒体内容的有效管理是有效提供多媒体内容服 务的前提。 目前，在进行媒体内容获取和管理方面大多时候采用手工的方式，利用手工去标 注多媒体内容，利用手工去切分音视频节目，形成结构化的管理，在多媒体内容管理流程的 各个环节中需要大量的人工参与。这种工作方式成本高、效率低，编目结果受编目人员主 观因素影响较大，不能客观反映媒体内容的含义，不适合海量数据的处理，具有一定的局限 性。 当前媒体数据越来越多，依靠完全手工进行媒体编目管理和内容标注已经不太现 实，必须利用计算机强大的计算能力，建立一套能够对海量多媒体内容进行自动快速编目 处理和标注的多媒体内容管理系统，实现对海量多媒体数据的有效管理。

发明内容
本发明针对现有人工编目和内容标注的方法效率低、成本高，不适合海量媒体数
据内容管理的问题，提供一种支持海量数据自动处理的数字内容编目管理系统及方法。为了达成所述目的，本发明是通过以下技术方案实现的 本发明一种支持海量数据自动处理的数字内容编目管理系统，使用分布式架构对 外部多媒体资源上传入资源存储服务器的资源数据库、分布式存储、分布式计算、协同审核 和标注，该系统具有 管理服务器与光纤交换机连接，光纤交换机与千兆交换机连接，使光纤交换机接 收并解析上传客户端、计算服务器、人工审核标注客户端的消息，根据消息对上传客户端、 计算服务器、人工审核标注客户端进行响应，响应包括登陆响应、上传响应、存储响应、计 算响应、标注审核响应，并对资源进行统一的命名管理； 上传客户端与千兆交换机连接，通过光纤交换机、千兆交换机向管理服务器发送
7上传请求信息，接收并解析管理服务器发送的应答消息，根据消息从资源存储服务器的资 源数据库中读取多媒体类型和目标资源存储服务器信息，按照定时或即时方式上传外部多 媒体资源； 人工审核标注客户端与千兆交换机连接，通过千兆交换机、光纤交换机向管理服 务器发送审核标注信息，接收并解析管理服务器发送的应答消息，接收元数据服务器的元 数据数据库的元数据和资源存储服务器的资源数据库的资源信息，展示给人工审核标注客 户端的工作人员；接收人工审核标注客户端的工作人员的审核及标注数据，保存到元数据 服务器的元数据数据库； 计算服务器与光纤交换机连接，包括结构化处理和内容获取两类计算引擎，通过
光纤交换机向管理服务器发送登陆信息，接收管理服务器发送的计算任务信息，对媒体进
行自动结构化处理和内容获取，获取结果的XML文件并发送给管理服务器； 资源存储服务器与光纤交换机连接，通过光纤交换机，向管理服务器发送资源信
息，接收管理服务器的资源存储信息，将信息存入资源存储服务器的资源数据库中；通过光
纤交换机和千兆交换机，接收上传客户端的上传资源信息，接收人工审核标注客户端的资
源审核标注信息，向人工审核标注客户端发送资源信息； 元数据服务器与光纤交换机连接，通过光纤交换机，向管理服务器发送元数据信 息，接收管理服务器的元数据信息；通过光纤交换机和千兆交换机，接收人工审核标注客户 端的元数据审核标注信息，向人工审核标注客户端发送元数据信息； 磁盘阵列与光纤交换机连接，接收资源存储服务器的资源信息，接收元数据服务 器的元数据信息；向资源存储服务器发送资源信息，向元数据服务器发送元数据信息。
为了达成所述目的，本发明提供一种支持海量数据自动处理的数字内容编目管理 方法包括，使用分布式架构对外部的多媒体资源上传入资源存储服务器的资源数据库、分 布式存储、分布式计算、协同审核和标注，其中 管理服务器，接收并解析上传客户端、计算服务器、人工审核标注客户端的消息，
根据消息对上传客户端、计算服务器、人工审核标注客户端进行响应，响应包括登陆响应、
上传响应、存储响应、计算响应、标注审核响应，并对资源进行统一的命名管理； 上传客户端，向管理服务器发送上传请求信息，接收并解析管理服务器发送的应
答消息，根据消息从资源存储服务器的资源数据库中读取多媒体类型和目标资源存储服务
器信息，按照定时或即时方式上传外部多媒体资源； 人工审核标注客户端，向管理服务器发送审核标注信息，接收并解析管理服务器 发送的应答消息，接收元数据服务器的元数据数据库的元数据和资源存储服务器的资源数 据库的资源信息，展示给人工审核标注客户端；接收人工审核标注客户端审核及标注数据， 保存到元数据服务器的元数据数据库；人工审核标注客户端包括浏览模块、播放模块和 校正审核模块； 计算服务器，包括结构化处理和内容获取两类计算引擎，管理服务器发送登陆信 息，接收管理服务器发送的计算任务信息，对媒体进行自动结构化处理和内容获取，获取结 果的XML文件并发送给管理服务器； 资源存储服务器，向管理服务器发送资源信息，接收管理服务器的资源存储信息， 将信息存入资源存储服务器的资源数据库中；通过光纤交换机和千兆交换机，接收上传客户端的上传资源信息，接收人工审核标注客户端的资源审核标注信息，向人工审核标注客 户端发送资源信息； 元数据服务器，向管理服务器发送元数据信息，接收管理服务器的元数据信息；通 过光纤交换机和千兆交换机，接收人工审核标注客户端的元数据审核标注信息，向人工审 核标注客户端发送元数据信息； 磁盘阵列，接收资源存储服务器的资源信息，接收元数据服务器的元数据信息；向 资源存储服务器发送资源信息，向元数据服务器发送元数据信息。 自动编目和人工审核标注方法，对经过上传客户端上传进入资源存储服务器的资 源数据库的媒体资源，通过计算服务器进行以下自动计算节目分割、节目分类、镜头分割、 场景分割、关键帧提取、视频文字识别和新闻条目抽取，自动计算的结果通过人工审核标注 客户端进行审核、标注。 由上述本发明提供的技术方案可以看出，本发明利用管理服务器通过存储均衡， 能够将上传客户端的工作人员上传的外部多媒体资源保存到最优的存储位置；通过计算均 衡，将计算任务分配到计算性能最好的计算服务器上；采用分布式计算框架，使得对海量数 字媒体内容快速计算、有效管理成为可能。 利用本发明所提供的方案，可以提供对不同层次深度的业务进行处理。系统提供 了四层计算依赖关系的业务流程控制方法，系统的使用者可以根据具体要完成的任务配置 业务流程，例如系统的使用者可以配置一层业务处理，如"节目分割"；两层业务处理，如 "节目分害U、节目分类"；三层业务处理，如"节目分害U、节目分类、新闻条目抽取"；四层业务 处理，如"节目分割、节目分类、镜头分割、场景分割"。系统支持每层业务的扩展，即每层可 以处理多个不同的子业务。 另外，利用本发明所提供的方案，通过对音视频资源进行节目分割、节目分类、镜 头分害U、场景分害U、关键帧提取，可以获取音视频资源的四层结构化内容，包括节目、场景、 镜头、关键帧。利用本发明提供的人工审核标注客户端模块，可以进行多人对多媒体内容的 协同标注审核。


图1是本发明系统结构示意图； 图2是本发明系统上传客户端界面； 图3是人工审核标注客户端的模块及与其它模块的关系图； 图4是本发明系统的节目分割、分类结果审核标注界面； 图5是本发明所述系统的I帧图像界面； 图6是本发明所述系统的人工编目审核标注客户端界面； 图7是节目编目结果的审核标注流程； 图8是本发明所述系统节目分割方法流程图； 图9是本发明所述系统节目分类方法流程图； 图10是自动编目和人工审核标注流程。
9
具体实施例方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是， 所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
本发明提出了一种支持海量数据自动处理的数字媒体内容编目管理系统，如图1 所示，该系统采用了一个分布式结构，包括管理服务器1、上传客户端2、人工审核标注客 户端3、计算服务器4、资源存储服务器5、元数据服务器6、磁盘阵列7、光纤交换机8和千兆 交互机9。其中，管理服务器1，用来处理上传消息、管理消息、标注审核消息，存储均衡，计 算均衡，计算结果入元数据服务器6的元数据数据库，故障处理；上传客户端2用来对外部 的多媒体资源进行上传入资源存储服务器5的资源数据库；人工审核标注客户端3，对节目 自动分割获取的时间点进行手工校正以获取准确的节目首尾时间点，对通过自动视频文字 识别获取的媒体文字内容进行人工校正和标注，对节目的管理元数据进行人工标注；计算 服务器4，负责计算任务；资源存储服务器5，负责管理通过上传客户端2上传的，保存在资 源存储服务器5的资源数据库的多媒体资源数据；元数据服务器6，负责管理元数据数据库 及其相应的文件；磁盘阵列7，存储多媒体数据及其相应的元数据结果；光纤交换机8，负责 连接管理服务器1、计算服务器4、资源存储服务器5、元数据服务器6及磁盘阵列7 ;千兆交 互机9，负责连接光纤交换机8与上传客户端2及人工审核标注客户端3，该系统在以下硬 件环境下实现硬件包括HP ProLiant BL460c型刀片服务器、惠普MSA1500型磁盘阵列、HP Brocade 4/12 SAN Switch型光纤交换机、(H3C) LS-5100-24P-EI型千兆交换机；开发语言 使用0++和Java ;开发工具使用Visual C++6. 0和Eclipse ;数据库使用Oracle 10g ;操作 系统为Windows XP。
1.上传客户端 上传客户端2供工作人员进行外部多媒体文件的上传，通过光纤交换机8、千兆交 换机9向管理服务器1发送上传请求信息，接收并解析管理服务器1发送的应答消息，根据 消息从资源存储服务器5的资源数据库中读取多媒体类型和目标资源存储服务器信息，按 照定时或即时方式上传外部多媒体资源。采用多线程，支持多个文件同时上传，具有定时和 即时两种上传功能，如图2所示为本发明系统的上传客户端2界面，其中PI表示外部文件 系统的列表，通过该列表可以选择需要上传的外部媒体资源文件；P2表示即时上传任务管 理列表，对即时上传的任务进行管理；P3表示定时上传任务管理列表，对定时上传的任务 进行管理；P4表示业务选择对话框，通过该对话框可以选择需要进行的业务类型。
上传客户端2采用Client客户端/服务器Server体系结构，以资源存储服务器5 的资源数据库为基础，使用JAVA的AWT+SWING和相应的网络编程技术开发应用系统，上传 客户端2通过TCP协议与管理服务器1通讯。执行过程为(1)上传客户端2的工作人员 输入管理服务器1的地址、端口号、工作人员名、密码登陆；(2)上传客户端2的工作人员选 择本地文件或文件夹，并向管理服务器1发送上传请求消息；(3)接收管理服务器1的上传 请求应答消息；(4)根据应答消息，对选择的文件或文件夹进行即时或定时上传。
上传客户端2包括以下几部分消息接收发送接口 ，负责与管理服务器1进行消息 通信；数据库信息获取接口，负责从资源存储服务器5的资源数据库中读取目录信息、媒体 类型及业务信息；即时上传消息队列，保存需要即时上传的文件信息；定时上传消息队列， 保存需要定时上传的文件信息；上传任务队列，经过与管理服务器1通信，需要上传的任务信息；上传任务接口，负责将文件通过文件传输协议的方式上传到资源存储服务器5 ;上传 交互界面，负责人工交互，显示要上传的文件及文件夹、目标地址及要进行的业务操作等。
2.人工审核标注客户端 人工审核标注客户端3供工作人员进行协同辅助分割和标注，通过千兆交换机9、 光纤交换机8向管理服务器1发送审核标注信息，接收并解析管理服务器1发送的应答消 息，接收元数据服务器6的元数据数据库的元数据和资源存储服务器5的资源数据库的资 源信息，展示给人工审核标注客户端3的工作人员；接收人工审核标注客户端3的工作人员 的审核及标注数据，保存到元数据服务器6的元数据数据库。人工审核标注客户端3支持 两种模式(l)完全手工分割与标注，在没有自动分割的情况下，完全依靠人工来进行节目 分割、片段分割及内容标注等；(2)人工与自动相结合的分割与标注，在利用算法进行分割 和内容获取之后，通过人工来校正分割点和标注内容信息。 人工审核标注客户端3采用Client客户端/服务器Server、Browser浏览器/服 务器Server两种体系结构分别实现，以元数据服务器6的元数据数据库和资源存储服务器 5的资源数据库为基础，使用JAVA的AWT+SWING和相应的网络编程技术开发应用系统，人工 审核标注客户端3通过TCP协议与管理服务器1通讯。 如图3所示，所述人工审核标注客户端3包括浏览模块ul、播放模块u2和校正 审核模块u3，其中 浏览模块ul，接收人工审核标注客户端3的工作人员指定的节目编号信息，接收 并向人工审核标注客户端3的工作人员展示元数据服务器6的元数据数据库中指定编号节 目的编目信息，编目信息包括节目编目的时间点、节目类另U、节目管理元数据、节目内容描 述信息、关键帧图片、I帧图片； 播放模块u2，接收人工审核标注客户端3的工作人员指定的节目编号信息或条 目编号信息，向人工审核标注客户端3的工作人员展示该节目或条目的画面和声音，获取 人工审核标注客户端3的工作人员指定播放位置的时间点；播放器支持两种快进或快退方 式一种为步长为3秒的快进或快退方式，即选择快进或快退一步，播放器的播放时间点向 前或向后跳3秒；另一种按照I帧快进或快退，即选择快进一步，播放器的播放时间点将向
前跳到当前时间点的下一个I帧位置，或者选择快退一步，播放器的播放时间点将向后跳
到当前时间点的上一个I帧位置； 校正审核模块u3，通过光纤交换机8和千兆交换机9向管理服务器1发送审核标 注任务申请消息，从管理服务器1接收并解析任务审核标注权限消息，接收人工审核标注 客户端3的工作人员对节目编目信息的修改标注内容，向资源存储服务器5的资源数据库 和元数据服务器6的元数据数据库提供修改标注的结果信息。 所述校正审核模块u3，采用分布式协同审核标注方式，接收人工审核标注客户端 3的工作人员在不同的计算机上对审核标注任务进行申请，向管理服务器1发送任务锁定 请求，向人工审核标注客户端3的工作人员展示获权的节目编目信息和权限，接收人工审 核标注客户端3的工作人员的审核标注，校正审核模块u3包括节目分割、分类结果审核标 注界面，I帧图像界面和人工编目审核标注客户端界面，其中 节目分割、节目分类校准界面，对节目分割的时间点和节目类别进行校准或手工 标注，如图4所示为本发明系统的节目分割、分类结果审核标注界面，左边的R1为人工审核标注客户端3的节目分割、节目分类校准界面的查询模块和R2为长时间视频资产列表，中 间的R3为播放器和R4为分割后节目的时间点信息和类别信息，右边的R5为节目分割结果 列表；通过选择长时间视频入库的时间范围，获取视频资产列表，从而浏览或修改视频内容 和分割分类结果信息，通过右键点击右边的分割结果，可以对结果进行删除或增加；
I帧显示交互界面，显示相关视频的I帧图片信息及分割交互信息，支持人工审核 标注客户端3的工作人员进行交互，如图5所示为本发明系统的I帧显示交互界面，其图中 S处即为当前节目条目的起点和上一个条目的终点，通过这个界面，可以修改每个条目的起 末点时间或者增加新的条目，指定条目的关键帧图像信息； 人工编目审核标注客户端界面，对自动获取的内容信息进行审核标注或完全手工 标注客户端界面，如图6所示为本发明系统的人工编目审核标注客户端界面，其图中的左 边包括C1为查询模块和C2为节目列表，中间的C3为包括播放器和C4为内容信息，右边 的C5包括节目的条目树、关键帧和起末点的I帧图片，条目树反映了自动编目的结果，选择 其中的一条条目，可以浏览对应条目的视频、元数据内容和I帧信息，并可以对条目的内容 进行修改校正，修改内容包括删除条目、元数据内容。
3.计算服务器 计算服务器4，接收并解析管理服务器1发送的计算任务消息，根据消息进行自动 计算，将计算结果保存为XML文件并发送给管理服务器1，包括以下计算引擎节目分割、节 目分类、镜头分割、场景分割、关键帧提取、视频文字识别、新闻条目抽取，以上计算引擎同 时部署在一台计算服务器4上； 根据管理服务器1向计算服务器4发送的计算任务消息，计算服务器4可以启动
同一个计算引擎的一个或多个线程，也可以启动不同计算引擎的多个线程，例如管理服务 器1发送的计算任务消息包括3个节目分割计算任务，则计算服务器4将启动3个节目分 割计算线程；又如管理服务器1发送的计算任务消息包括1个节目分割计算任务和2个镜 头分割计算任务，则计算服务器4将启动1个节目分割计算线程和2个镜头分割计算线程。
本发明的支持海量数据自动处理的数字媒体内容编目管理方法，包括使用分布式 架构对外部的多媒体资源上传入资源存储服务器5的资源数据库、分布式存储、分布式计 算、协同审核和标注，包括 管理服务器1同时采用的存储均衡方法、计算均衡方法和业务流程控制方法；节 目编目结果的审核标注方法；计算服务器4包括以下计算方法节目分割方法、节目分类方 法、镜头分割方法、场景分割方法、关键帧提取方法、视频文字识别方法和新闻条目抽取方 法；自动编目和人工审核标注方法，其中 所述管理服务器1同时运行下述存储均衡、计算均衡、业务流程控制三个步骤
其中存储均衡方法，用于确定从上传客户端上传的媒体资源的最优存储位置，用 于选择网络和存储压力最小的资源存储服务器5作为存储服务器，资源存储服务器5的压 力Ls计算方式为LS = WSa+MSe，其中Sa表示资源存储服务器5的可用容量，Se表示资源 存储服务器5的周期存储容量，a， b为权重系数a+b = l，且0 < a， b < 1， Ls越大表示资 源存储服务器5越小；在存储均衡过程中，管理服务器l对上传的外部媒体资源文件进行 重命名，重命名规则为(l)采用该外部媒体资源文件的扩展名作为重命名后媒体资源文 件的扩展名，如媒体资源文件的扩展名为mp4，则重命名后该媒体资源文件的扩展名仍然
12为mp4 ;(2)采用外部媒体资源文件的上传时间和三位随机整数作为重命名后的文件名，其 中，上传时间精确到毫秒，例如，在2008年10月1日5时10分7秒200毫秒上传的扩展 名为mp4的资源，在随机数为5的情况下，重命名后的名字为20081001051007200005. mp4 ; (3)如果两个媒体资源上传的时间完全一致，那么随机数将从O递增1的规则来获取，如在 2008年10月1日5时10分7秒200毫秒同时上传2个扩展名为mp4的媒体资源文件， 则其中一个文件的随机数为O，另一个文件的随机数为l，则它们重命名后的文件名分别为 20081001051007200000. mp4、20081001051007200001. mp4 ; 其中计算均衡方法，用于为计算任务寻找最优的计算服务器，将计算任务分配到 任务最少，计算性能最好的计算服务器4上，计算机的计算性能计算方式为S = m*M+n*C， 其中M为计算服务器4的物理内存，C为计算服务器4的CPU大小，a， b为权重系数m+n = l，且O <m，n< l，S越大表示计算能力越强； 其中业务流程控制方法，用于控制计算服务器的计算任务的流程采用四层业务计 算流程深度，即在数字媒体内容编目过程中存在计算的先后依赖关系，后面的计算要依赖 前面计算的结果，在业务流程计算中采用先后的四层计算依赖关系，也可以少于先后的四 层计算依赖关系；三种典型的业务流程如下(l)节目分割分类计算子业务，根据节目的不 同类型进行相应的计算子业务；(2)节目分割分类计算子业务，分割分类计算结果人工审 核标注子业务，根据节目的不同类型进行相应的计算子业务，根据节目的不同类型进行相 应的计算的结果的审核、标注；(3)人工节目分割分类子业务，人工内容标注子业务。
所述管理服务器l，还采用以下初始化过程 管理服务器1在启动时首先从资源存储服务器5的资源数据库中读取存储和计算 服务器4的信息，将资源存储服务器5和计算服务器4的信息存入内存中，接着对存储任 务，计算任务进行处理。 所述节目编目结果的审核标注方法，如图7所示，其步骤包括 步骤A1 :人工审核标注客户端3的工作人员选择目标节目，向管理服务器1发送
审核标注任务申请，并获取任务审核标注权限； 步骤A2 :显示节目I帧图片； 步骤A3 :根据I帧图片，人工审核标注客户端3的工作人员审核节目条目的时间 点，并保存修改信息； 步骤A4 :获取节目的目录树信息，其中，目录树信息是将编目信息以树的形式展 示给工作人员； 步骤A5 :根据目录树信息，人工审核标注客户端3的工作人员对编目内容进行审 核修改标注，并保存到元数据服务器6的元数据数据库中；
步骤A6 :向管理服务器发送任务完成消息。 所述计算服务器4，接收并解析管理服务器1发送的计算任务消息，根据消息进行 自动计算，将计算结果保存为XML文件并发送给管理服务器l，包括以下计算引擎节目分 割方法、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别和新闻条目抽取，节目 分类包括节目分类模型的训练和节目类别判别两个过程，其中
所述节目分割方法，如图8所示，其步骤包括 步骤Sl :建立一个包括广告及节目的片头音乐的音频模板库，使用固定音频匹配
13算法，在长时间的电视视频中进行节目片头监测、广告检测，并输出检测后的节目；
步骤S2 :广告检测后，对长时间录制的电视视频中剩下的部分进行重复段检测， 同样使用固定音频匹配算法，将找到重复段作为潜在广告，并且经过人工校正后，将其归类 加入到音频模板库中，完成音频模板库的自动更新；或人工维护此音频模板库，添加新的广 告及节目片头，删除过时的广告及节目片头； 步骤S3 :利用广告进行节目分割，两则广告之间如果大于一个阈值长度，则认为 这两则广告之间为节目。
所述节目分类模型的训练方法，如图9所示，其步骤包括 步骤Trl :把训练集视频中的音频抽取出来，并降采样到8kHz， 16bit，按每25ms — 帧进行分帧，帧间有50%的重合，对每一帧音频提取包括均方根，过零率，子带能量分布， 梅尔倒谱系数的28维特征；把音频按0. 5秒一段进行分段，用段内所有帧的特征的均值和 标准差作为此段的特征； 步骤Tr2 :使用K均值算法对所有训练集视频的音频段特征进行聚类以获取音频 词汇表即音频词汇的集合，这样一个节目视频能由所含各类音频段数量直方图来进行描 述； 步骤Tr3 :使用概率潜在语义分析模型对节目视频进行建模，提取出每个节目视 频中各音频主题的分布；在这个步骤中，通过期望最大算法，根据训练数据中音频词汇出现 的频率P (w I dWIS)，训练概率潜在语义分析模型，得到模型参数P (w I z)和P (z I d WIS)，其中 P(zld训练)用于下一步判别式学习，而P(wlz)用于测试时根据测试数据中音频词汇出现的 频率，得到测试文档的P (z I d测试)，其中，P (w I d训练)表示训练数据中出现词汇w的条件概率， P(wlz)表示主题z下出现某个词汇的条件概率，P(zlc^练)表示特定训练数据d中出现某 种主题的条件概，P(zld测试)表示测试数据d中出现某种主题的条件概率；
步骤Tr4:将每个节目视频中的各音频主题的分布作为该节目视频的特征，对预 定义节目类别，使用K近邻或者支持向量机算法进行训练，得到最终分类模型；
所述节目类别判别方法，如图9所示，其步骤包括 步骤Tl :把待分类视频中的音频抽取出来，并降采样到8kHz和16bit，按每25ms 一帧进行分帧，帧间有50%的重合，对每一帧音频提取包括均方根，过零率，子带能量分布， 梅尔倒谱系数的28维特征；把抽取出来的音频按0. 5秒一段进行分段，用段内所有帧的特 征的均值和标准差作为此段的特征； 步骤T2 :使用K均值算法对视频的音频段特征进行聚类，以获取音频词汇表即音
频词汇的集合，这样一个节目视频能由所含各类音频段数量直方图来进行描述； 步骤T3 :将获取的直方图数据输入到概率潜在语义分析模型中，得到该节目视频
的各音频主题的分布；在这个步骤中，通过期望最大算法，根据测试数据中音频词汇出现的
频率P (w I d测试)和P (w I z)，得到模型参数P (z I d测试)，其中，P (w I d测试)表示测试数据中出现
词汇w的条件概率，P(wlz)表示主题z下出现某个词汇的条件概率，P(zlc^y;)表示测试数
据d中出现某种主题的条件概率； 步骤T4 :使用K近邻或者支持向量机分类方法，对该节目视频进行类别确认，得到 节目分类的类别； 所述计算服务器4还包括镜头分割方法
在镜头分割的过程中，采用基于时空切片分析的检测方法，该方法首先将视频的
每一帧图像按行展开形成时空切片图像的一列，将整个视频转化为一幅时空切片图像，通
过ca皿y算子进行边缘检测，通过差分获取边缘变化大于给定阈值的图像切片列，这些列
作为可能的镜头边界时间位置，然后在这个时间位置周围取一个小邻域，利用图像的颜色
直方图的变化信息来判断该区域是否是一个真实的镜头边界，即如果相邻两个颜色直方图
的变化大于给定的阈值，则为真实的镜头边界；该方法只需要进行二维图像分析，就可以快
速地定位出可能的镜头边界位置，避免了在时空三维空间进行视频分析，因此检测速度快，
且对于渐变具有很好的检测效果； 所述计算服务器4还包括关键帧提取方法 在关键帧提取中，直接利用上述镜头边界检测方法得到的每幅图像的颜色特征直 方图，在给定阀值的情况下利用k均值对每个镜头的所有图像进行聚类，选取每类的中心 图像作为对应镜头的关键帧； 所述计算服务器4还包括场景分割方法 根据上述镜头边界检测结果，基于连续镜头的多张时间切片图像进行分析获取场
景首先对每张切片图像进行颜色签名即颜色统计处理，选取颜色签名最多的两类作为每
张切片图像的主颜色，然后根据各个镜头的签名图像的主颜色进行直方图求交计算，假如
直方图求交结果大于给定的阈值和时间域上的相邻性，即一个场景包括的镜头数不超过给
定的阈值数，则对这些镜头进行场景聚合； 所述计算服务器4还包括新闻条目抽取方法 通过大量的观察发现，现在的新闻节目中，每一个新闻条目都伴随有一个标题字 幕条。我们将字幕条作为一个新闻条目的标志，有一个字幕条就意味着有一个新闻条目，通 过检测字幕条的出现来判断一个新闻条目的存在，再利用主持人关键帧和静音点的位置来 确定一个新闻条目具体的起始时间，其基本规则如下 规则1 :如果某个字幕条关键帧前面紧挨着的是一个主持人关键帧，那么认为字 幕条关键帧和主持人关键帧属于同一条新闻，取该主持人关键帧前面最近的一个静音点作 为该条新闻的起始时间点； 规则2 :如果某个字幕条关键帧前面紧挨着的是另一个字幕条关键帧，那么认为 这两个字幕条属于两个不同的新闻条目。取这个字幕条帧前面最近的一个静音点作为该条 新闻的起始时间； 新闻条目抽取的主要步骤如下 节目起始时间点和节目类型的确定、静音点检测、视频关键帧筛选、主持人关键帧
检测、字幕条关键帧检测和音视频特征融合确定分割时间点，在此之前，要先将新闻视频流
进行音视频分离，得到纯粹的音频数据和视频数据，另外，我们的方法使用了新闻视频类型
和内容的先验信息，包括新闻节目片头音乐特征模板、字幕条关键帧模板、新闻节目时间长
度值、视频帧中字幕条区域的位置信息、关键区域位置信息和一些域值信息。由于现有新闻
种类是有限的，因此完全可以做到为每一种类型的新闻预先设置一些先验信息； 文字信息帧的文字识别结果不但包含所识别的文字信息，还包含文字信息帧出现
的时间位置。利用这个时间标签可以将文字信息的识别结果与它所描述的新闻条目关联起
来，得到带有文字描述信息的节目编目结果；
15
所述自动编目和人工审核标注方法，如图IO所示，其步骤包括 步骤B1 :计算服务器4根据管理服务器1发送的计算命令，进行节目自动分割，节 目自动分类，并将结果以XML文件的方式发送给管理服务器1 ，管理服务器1解析XML文件， 并将结果写入到元数据服务器6的元数据数据库中； 步骤B2 :人工审核标注客户端3的工作人员通过校正审核模块校正自动节目分割 和分类的结果； 步骤B3 :根据节目分割、节目分类审核校正后的结果和管理服务器1的计算命令， 计算服务器4自动选择引擎进行计算，以进行条目自动提取，引擎包括镜头分割，场景分 割，关键帧提取，视频文字识别和新闻条目抽取，并将结果以XML文件的方式发送给管理服 务器1，管理服务器1解析XML文件，并将结果写入到元数据服务器6的元数据数据库；
步骤B4 :工作人员通过校正审核模块校正条目自动提取结果即视频文字识别和 新闻条目抽取的结果，同时标注节目的管理元数据，用校正标注的结果更新元数据服务器6 的元数据数据库； 步骤B5 :自动编目和人工审核标注完成。 以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任 何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在 本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
权利要求
一种支持海量数据自动处理的数字内容编目管理系统，其特征在于使用分布式架构对外部的多媒体资源上传入资源存储服务器的资源数据库、分布式存储、分布式计算、协同审核和标注，包括以下模块管理服务器与光纤交换机连接，光纤交换机与千兆交换机连接，使光纤交换机接收并解析上传客户端、计算服务器、人工审核标注客户端的消息，根据消息对上传客户端、计算服务器、人工审核标注客户端进行响应，响应包括登陆响应、上传响应、存储响应、计算响应、标注审核响应，并对资源进行统一的命名管理；上传客户端与千兆交换机连接，通过光纤交换机、千兆交换机向管理服务器发送上传请求信息，接收并解析管理服务器发送的应答消息，根据消息从资源存储服务器的资源数据库中读取多媒体类型和目标资源存储服务器信息，按照定时或即时方式上传外部多媒体资源；人工审核标注客户端与千兆交换机连接，通过千兆交换机、光纤交换机向管理服务器发送审核标注信息，接收并解析管理服务器发送的应答消息，接收元数据服务器的元数据数据库的元数据和资源存储服务器的资源数据库的资源信息，展示给人工审核标注客户端的工作人员；接收人工审核标注客户端的工作人员的审核及标注数据，保存到元数据服务器的元数据数据库；计算服务器与光纤交换机连接，包括结构化处理和内容获取两类计算引擎，通过光纤交换机向管理服务器发送登陆信息，接收管理服务器发送的计算任务信息，对媒体进行自动结构化处理和内容获取，获取结果的XML文件并发送给管理服务器；资源存储服务器与光纤交换机连接，通过光纤交换机，向管理服务器发送资源信息，接收管理服务器的资源存储信息，将信息存入资源存储服务器的资源数据库中；通过光纤交换机和千兆交换机，接收上传客户端的上传资源信息，接收人工审核标注客户端的资源审核标注信息，向人工审核标注客户端发送资源信息；元数据服务器与光纤交换机连接，通过光纤交换机，向管理服务器发送元数据信息，接收管理服务器的元数据信息；通过光纤交换机和千兆交换机，接收人工审核标注客户端的元数据审核标注信息，向人工审核标注客户端发送元数据信息；磁盘阵列与光纤交换机连接，接收资源存储服务器的资源信息，接收元数据服务器的元数据信息；向资源存储服务器发送资源信息，向元数据服务器发送元数据信息。
2. 根据权利要求1所述的支持海量数据自动处理的数字内容编目管理系统，其特征在于，所述人工审核标注客户端包括浏览模块，接收人工审核标注客户端的工作人员指定的节目编号信息，接收并向人工审核标注客户端的工作人员展示元数据服务器的元数据数据库中指定编号节目的编目信息，编目信息包括节目编目的时间点、节目类另U 、节目管理元数据、节目内容描述信息、关键帧图片、I帧图片；播放模块，接收人工审核标注客户端的工作人员指定的节目编号信息或条目编号信息，向人工审核标注客户端的工作人员展示该节目或条目的画面和声音，获取人工审核标注客户端的工作人员指定播放位置的时间点；校正审核模块，通过光纤交换机和千兆交换机向管理服务器发送审核标注任务申请消息，从管理服务器接收并解析任务审核标注权限消息，接收人工审核标注客户端的工作人员对节目编目信息的修改标注内容，向资源存储服务器的资源数据库和元数据服务器的元数据数据库提供修改标注的结果信息。
3. 根据权利要求2所述的支持海量数据自动处理的数字内容编目管理系统，其特征在于，所述校正审核模块，采用分布式协同审核标注方式，接收人工审核标注客户端的工作人员在不同的计算机上对审核标注任务进行申请，向管理服务器发送任务锁定请求，向人工审核标注客户端的工作人员展示获权的节目编目信息和权限，接收人工审核标注客户端的工作人员的审核标注。
4. 根据权利要求l所述的支持海量数据自动处理的数字内容编目管理系统，其特征在于，所述计算服务器，接收并解析管理服务器发送的计算任务消息，根据消息进行自动计算，将计算结果保存为XML文件并发送给管理服务器，包括以下计算引擎节目分割、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别和新闻条目抽取。
5. —种支持海量数据自动处理的数字内容编目管理方法，其特征在于包括使用分布式架构对外部的多媒体资源上传入资源存储服务器的资源数据库、分布式存储、分布式计算、协同审核和标注，其中管理服务器，接收并解析上传客户端、计算服务器、人工审核标注客户端的消息，根据消息对上传客户端、计算服务器、人工审核标注客户端进行响应，响应包括登陆响应、上传响应、存储响应、计算响应、标注审核响应，并对资源进行统一的命名管理；上传客户端，向管理服务器发送上传请求信息，接收并解析管理服务器发送的应答消息，根据消息从资源存储服务器的资源数据库中读取多媒体类型和目标资源存储服务器信息，按照定时或即时方式上传外部多媒体资源；人工审核标注客户端，向管理服务器发送审核标注信息，接收并解析管理服务器发送的应答消息，接收元数据服务器的元数据数据库的元数据和资源存储服务器的资源数据库的资源信息，展示给人工审核标注客户端；接收人工审核标注客户端审核及标注数据，保存到元数据服务器的元数据数据库；人工审核标注客户端包括浏览模块、播放模块和校正审核模块；计算服务器，包括结构化处理和内容获取两类计算引擎，管理服务器发送登陆信息，接收管理服务器发送的计算任务信息，对媒体进行自动结构化处理和内容获取，获取结果的XML文件并发送给管理服务器；资源存储服务器，向管理服务器发送资源信息，接收管理服务器的资源存储信息，将信息存入资源存储服务器的资源数据库中；通过光纤交换机和千兆交换机，接收上传客户端的上传资源信息，接收人工审核标注客户端的资源审核标注信息，向人工审核标注客户端发送资源信息；元数据服务器，向管理服务器发送元数据信息，接收管理服务器的元数据信息；通过光纤交换机和千兆交换机，接收人工审核标注客户端的元数据审核标注信息，向人工审核标注客户端发送元数据信息；磁盘阵列，接收资源存储服务器的资源信息，接收元数据服务器的元数据信息；向资源存储服务器发送资源信息，向元数据服务器发送元数据信息。自动编目和人工审核标注方法，对经过上传客户端上传进入资源存储服务器的资源数据库的媒体资源，通过计算服务器进行以下自动计算节目分割、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别和新闻条目抽取，自动计算的结果通过人工审核标注客户端进行审核、标注。
6. 根据权利要求5所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述管理服务器同时运行存储均衡、计算均衡、业务流程控制三个步骤所述存储均衡，用于确定从上传客户端上传的媒体资源的最优存储位置，用于选择网络和存储压力最小的资源存储服务器作为存储服务器，资源存储服务器的压力Ls计算方式为LS = WSa+MSe，其中Sa表示资源存储服务器的可用容量，Se表示资源存储服务器的周期存储容量，a， b为权重系数a+b = 1，且0 < a， b < 1， Ls越大表示资源存储服务器越小；所述计算均衡，用于为计算任务寻找最优的计算服务器，将计算任务分配到任务最少，计算性能最好的计算服务器上，计算机的计算性能计算方式为S二!^M+WC，其中M为计算服务器的物理内存，C为计算服务器的CPU大小，a， b为权重系数m+n = 1 ，且0 < m， n < 1 ，S越大表示计算能力越强；业务流程控制，用于控制计算服务器的计算任务的流程，采用四层业务计算流程深度，即在数字媒体内容编目过程中存在计算的先后依赖关系，后面的计算要依赖前面计算的结果，在业务流程计算中采用先后的四层计算依赖关系。
7. 根据权利要求5所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述人工审核标注客户端，对于节目编目结果的审核标注步骤包括步骤A1 :人工审核标注客户端的工作人员选择目标节目，向管理服务器发送审核标注所选节目的任务申请，并获取任务审核标注权限；步骤A2:显示节目的I帧图片；步骤A3 :根据I帧图片，人工审核标注客户端的工作人员校正节目条目的时间点，并保存修改信息；步骤A4 :获取节目的目录树信息，其中，目录树信息是将编目信息以树的形式展示给人工审核标注客户端的工作人员；步骤A5 :根据目录树信息，人工审核标注客户端的工作人员对编目内容进行审核修改标注，并保存到元数据服务器的元数据数据库；步骤A6 :向管理服务器发送任务完成消息。
8. 根据权利要求5所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述计算服务器，接收并解析管理服务器发送的计算任务消息，根据消息进行自动计算，将计算结果保存为XML文件并发送给管理服务器，包括以下计算引擎节目分割、节目分类、镜头分割、场景分割、关键帧提取、视频文字识别和新闻条目抽取，其中，节目分类包括节目分类模型的训练和节目类别判别两个过程。
9. 根据权利要求8所述的支持海量数据自动处理的数字内容编目管理方法，其特征在于，所述节目分割步骤包括步骤Sl :建立一个包括广告及节目的片头音乐的音频模板库，使用固定音频匹配算法，在长时间的电视视频中搜索广告及节目片头并输出节目片头检测后的节目；步骤S2 :广告检测后，对长时间录制的电视视频中剩下的部分进行重复段检测，同样使用固定音频匹配算法，将找到重复段作为潜在广告，并且经过人工校正后，将其归类加入到音频模板库中，完成音频模板库的自动更新；或人工维护此音频模板库，添加新的广告及节目片头，删除过时的广告及节目片头；步骤S3 :利用广告进行节目切分，两则广告之间如果大于一个阈值长度，则认为这两 则广告之间为节目。
10. 根据权利要求8所述的支持海量数据自动处理的数字内容编目管理方法，其特征 在于，所述节目分类的节目分类模型训练步骤包括步骤Tr 1 :把训练集视频中的音频抽取出来，并降采样到8kHz ， 16bit ，按每25ms —帧进 行分帧，帧间有50%的重合，对每一帧音频提取包括均方根，过零率，子带能量分布，梅尔 倒谱系数的28维特征；把音频按0. 5秒一段进行分段，用段内所有帧的特征的均值和标准 差作为此段的特征；步骤Tr2 :使用K均值算法对所有训练集视频的音频段特征进行聚类，这样一个节目视 频能由所含各类音频段数量直方图来进行描述；步骤Tr3 :使用概率潜在语义分析模型对节目视频进行建模，提取出每个节目视频中 各音频主题的分布；步骤Tr4 :将每个节目视频中的各音频主题的分布作为该节目视频的特征，使用K近邻 或者支持向量机算法进行训练，得到最终分类模型。
11. 根据权利要求8所述的支持海量数据自动处理的数字内容编目管理方法，其特征 在于，所述节目类别判别的步骤包括步骤Tl :把待分类视频中的音频抽取出来，并降采样到8kHz和16bit，按每25ms —帧 进行分帧，帧间有50%的重合，对每一帧音频提取包括均方根，过零率，子带能量分布，梅尔 倒谱系数的28维特征；把抽取出来的音频按0. 5秒一段进行分段，用段内所有帧的特征的 均值和标准差作为此段的特征；步骤T2 :使用K均值算法对视频的音频段特征进行聚类，这样一个节目视频能由所含各类音频段数量直方图来进行描述；步骤T3:将获取的直方图数据输入到概率潜在语义分析模型，得到该节目视频的各音频主题的分布；步骤T4 :使用K近邻或者支持向量机分类方法，对该节目视频进行分类，得到节目分类 的类别。
12. 根据权利要求5所述的支持海量数据自动处理的数字内容编目管理方法，其特征 在于，自动编目和人工审核标注步骤包括步骤B1 :计算服务器模块根据管理服务器发送的计算命令，进行节目自动分割，节目自动分类，并将结果以XML文件的方式发送给管理服务器，管理服务器解析XML文件，并将 结果写入到元数据服务器的元数据数据库中；步骤B2 :人工审核标注客户端的工作人员通过校正审核模块对节目分割、节目分类的 结果进行审核校正；步骤B3 :根据节目分割、节目分类审核校正后的结果和管理服务器的计算命令，计算 服务器模块自动选择引擎进行计算，引擎包括镜头分割，场景分割，关键帧提取，视频文字识别和新闻条目抽取，并将结果以XML文件的方式发送给管理服务器，管理服务器解析XML 文件，并将结果写入到元数据服务器的元数据数据库；步骤B4 :工作人员通过校正审核模块对视频文字识别和新闻条目抽取的结果进行审核校正，同时标注节目的管理元数据，用校正标注的结果更新元数据服务器的元数据数据 库；步骤B5 :自动编目和人工审核标注完成。
全文摘要
本发明为一种支持海量数据自动处理的数字内容编目管理系统与方法，包括管理服务器，负责与其它模块进行消息通信和消息响应，确定资源的存储位置，为计算任务分配计算服务器，控制业务流程；上传客户端，负责上传外部的多媒体资源；人工审核标注客户端，为元数据结果的人工审核和标注提供交互界面；计算服务器，负责管理和启动计算引擎，获取媒体资源的元数据结果；资源存储服务器，负责管理媒体资源信息；元数据服务器，负责管理元数据信息；磁盘阵列，负责存储媒体资源的物理文件，资源数据库及元数据数据库。本发明能够对海量媒体数据进行自动处理，能够自动获取多媒体数据的内容和自动编目，实现对海量多媒体数据内容的有效管理。
文档编号H04B10/12GK101754056SQ20081024036
公开日2010年6月23日 申请日期2008年12月17日 优先权日2008年12月17日
发明者张发振, 张树武, 曾智, 李和平, 梁伟 申请人:中国科学院自动化研究所