视频概要生成方法及服务器、客户端的制作方法
【专利摘要】本发明提出视频概要生成方法及服务器、客户端。方法包括：视频概要服务器对视频源文件解码，对得到的原始视频帧采样，从每一采样帧提取图像统计特征，对每相邻两采样帧，计算各统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，将该视频源的加权统计特征帧间距离集发送给视频客户端；视频客户端根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，根据视频变化曲线确定该视频源的基本层级结构，根据用户输入的视频概要层级要求，将视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该概要层级结构对视频源进行段落划分，将段落信息作为视频源的视频概要提供给用户。本发明降低了视频客户端的处理负担。
【专利说明】视频概要生成方法及服务器、客户端
【技术领域】
[0001]本发明涉及多媒体【技术领域】，尤其涉及视频概要生成方法及视频概要服务器、视频客户端。
【背景技术】
[0002]随着多媒体技术的发展和视频采集设备的普及，视频文件越来越广泛地出现在人们的生活和工作中，如何从浩若烟海的视频资料里寻找到自己所感兴趣的部分也就成为了许多视频用户的迫切需求，而仅仅通过阅读视频的文字和图片海报已经远远不能满足用户充分了解视频组成结构和主要内容的要求，因此视频概要这一全新的视频描述方式也就应运而生了，通过浏览视频概要，用户可以了解视频的段落结构和观看各段落中的精彩帧。
[0003]现有的视频概要生成方法主要包含两个部分:
[0004]I)特征提取:首先对视频进行采样，如5或者10帧取一帧，计算该采样帧的特征值，如灰度、色差、纹理等。
[0005]2)事件检测:根据所获取的特征值，检测当前采样帧是否为具有代表性的关键帧，进而使用这些关键帧构建视频的组织结构，进而生成视频概要。
[0006]目前的这种生成方式存在以下缺点:
[0007]I)多特征的提取算法需要对每一采样帧进行大量的运算，导致整体处理速度过慢，尤其随着高清和全高清视频的大量涌现，提取速度缓慢的问题进一步加剧，已经严重影响了用户的使用体验。
[0008]2)目前的视频概要生成方法只能提供统一的浏览方式，无法根据用户的要求加以定制、以满足不同用户在不同时间段的差异化观看需求，从而影响用户的浏览体验。
[0009]3)目前的视频概要为用户所能提供的服务功能单一，缺乏互动，使用户缺乏参与感，不利于用户忠诚度的培养。
【发明内容】
[0010]本发明提供视频概要生成方法及视频概要服务器、视频客户端，以减轻视频概要生成过程中客户端的运算压力，提高服务速度。
[0011]本发明的技术方案是这样实现的:
[0012]一种视频概要生成方法，该方法包括:
[0013]视频客户端接收视频概要服务器发来的针对一视频源的加权统计特征帧间距离集，根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构；其中，所述视频源的加权统计特征帧间距离集为:视频概要服务器导入该视频源文件，对该文件进行解码，得到原始视频帧，对该原始视频帧进行采样，从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频客户端的；
[0014]视频客户端根据用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户。
[0015]所述视频客户端根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分进一步包括:
[0016]视频客户端根据所述视频变化曲线，采用自适应变步长采样方法对所述视频源进行采样，将得到的采样帧作为概要关键帧，将概要关键帧信息放入所述视频源的视频概要中，其中，视频变化曲线的梯度越小，采样步长越大，视频变化曲线的梯度越大，采样步长越小。
[0017]所述视频客户端将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户之后进一步包括:
[0018]视频客户端接收用户输入的对该视频概要的评价信息，将该评价信息发送给视频概要服务器，以便:视频概要服务器根据已记录的所有用户对各视频源的视频概要的评价信息，对所有用户进行聚类，并根据聚类结果建立每类用户的用户行为类型模型；
[0019]且，当视频概要服务器接收到视频客户端发来的任一用户对任一视频源的视频概要的评价信息时，记录该评价信息，并采用已建立的每类用户的用户行为类型模型，对该用户的所有的评价信息进行计算，得到该用户的类别，根据该用户的类别，从所述视频源中抽取段落、和/或段落+子段落、和/或概要关键帧，将该段落信息、和/或段落+子段落信息、和/或概要关键帧信息发送给视频客户端。
[0020]所述视频客户端将所述视频源的基本层级结构调整为符合用户要求的概要层级结构为:
[0021]视频客户端根据所述视频源的基本层级结构，以及视频概要服务器发来的该视频源的段落信息、和/或段落+子段落信息，以及用户输入的视频概要层级要求，得到该视频源的最终层级结构。
[0022]所述视频概要服务器从每一采样帧中提取各图像统计特征之后、对于每相邻两采样帧分别计算每个统计特征的帧间距离之前进一步包括:
[0023]视频概要服务器根据视频的种类，从提取的各图像统计特征中选取最能够反映当前视频特性的特征；
[0024]所述对于每相邻两采样帧分别计算每个统计特征的帧间距离为:对于选取的最能够反映当前视频特性的各统计特征，计算该统计特征的帧间距离。
[0025]所述将概要关键帧信息放入所述视频源的视频概要中之后进一步包括:
[0026]视频客户端根据视频概要中的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，直接从视频概要服务器下载对应的段落、和/或段落+子段落、和/或概要关键帧。
[0027]所述视频客户端将得到的采样帧作为概要关键帧之后进一步包括:
[0028]视频客户端根据概要关键帧间的距离，将距离小于预设第三阈值的相邻帧合并，生成概要关键短视频，将该概要关键短视频信息写入视频概要中。
[0029]一种视频概要服务器，包括:
[0030]解码模块:导入任一视频源文件，对该文件进行解码，得到原始视频帧，将原始视频帧输出到采样模块；
[0031]采样模块:对所述原始视频帧进行采样，将各采样帧输出到统计特征帧间距离计算模块；
[0032]统计特征帧间距离计算模块:从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频特征描述模块；
[0033]视频特征描述模块:将视频源的加权统计特征帧间距离集发送给视频客户端，以便:视频客户端根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构，并根据用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户。
[0034]所述服务器进一步包括:用户聚类模块和用户分类及推荐帧确定模块，其中:
[0035]用户聚类模块:接收并记录各视频客户端发来的各用户对各视频源的视频概要的评价信息，根据已记录的所有评价信息，对所有用户进行聚类，并根据聚类结果建立每类用户的用户行为类型模型；
[0036]用户分类及推荐帧确定模块:接收到视频客户端发来的任一用户对任一视频源的视频概要的评价信息，记录该评价信息，并采用用户聚类模块建立的每类用户的用户行为类型模型，对该用户的所有的评价信息进行计算，得到该用户的类别，根据用户的类别，从解码模块输出的原始视频帧中抽取段落、和/或段落+子段落、和/或概要关键帧，将该段落信息、和/或段落+子段落信息、和/或概要关键帧信息发送给视频特征描述模块；
[0037]且，所述视频特征描述模块进一步用于，将所述段落信息、和/或段落+子段落信息、和/或概要关键帧信息，连同该视频源的加权统计特征帧间距离集一起发送给视频客户端。
[0038]所述统计特征帧间距离计算模块进一步用于，当从每一采样帧中提取各图像统计特征之后、根据视频的种类，从提取的各图像统计特征中选取最能够反映当前视频特性的特征，且，对于选取的最能够反映当前视频特性的各统计特征，计算该统计特征的帧间距离。
[0039]一种视频客户端，包括:
[0040]视频特征描述解析模块:接收视频概要服务器发来的针对任一视频源的加权统计特征帧间距离集，将该针对任一视频源的加权统计特征帧间距离集发送给基本层级结构确定模块；
[0041]基本层级结构确定模块:根据所述针对任一视频源的加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构，将该视频源的基本层级结构信息发送给最终层级结构确定模块；
[0042]用户层级要求输入模块:接收并记录用户输入的视频概要层级要求；
[0043]最终层级结构确定模块:接收基本层级结构确定模块发来的一视频源的基本层级结构信息，从用户层级要求输入模块读取用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息发送给视频概要生成模块；
[0044]视频概要生成模块:根据最终层级结构确定模块发来的一视频源的段落信息，或者段落+子段落信息，生成该视频源的视频概要。
[0045]所述视频客户端进一步包括:关键帧确定模块，用于根据基本层级结构确定模块得到的所述视频变化曲线，采用自适应变步长采样方法对所述视频源进行采样，将得到的采样帧作为概要关键帧，将概要关键帧信息发送给视频概要生成模块，其中，视频变化曲线的梯度越小，采样步长越大，视频变化曲线的梯度越大，采样步长越小，
[0046]且，所述基本层级结构确定模块进一步用于，将得到的视频源的视频变化曲线信息发送给关键帧确定模块；
[0047]且，所述视频概要生成模块进一步用于，将关键帧确定模块发来的视频源的概要关键帧信息放入该视频源的视频概要中。
[0048]所述视频客户端进一步包括:用户评价反馈模块，用于接收用户输入的对一视频源的视频概要的评价信息，将该评价信息发送给视频概要服务器，以便:视频概要服务器根据已记录的所有用户对各视频源的视频概要的评价信息，对所有用户进行聚类。
[0049]所述视频特征描述解析模块进一步用于，接收视频概要服务器发来的针对任一视频源的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，将该视频源的段落信息、和/或段落+子段落信息发送给最终层级结构确定模块；
[0050]所述最终层级结构确定模块进一步用于，当根据调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分后，进一步结合视频特征描述解析模块发来的该视频源的段落信息、和/或段落+子段落信息，得到该视频源的最终段落信息，或者段落+子段落信息，将该视频源的最终段落信息，或者段落+子段落信息发送给视频概要生成模块。
[0051]所述视频客户端进一步包括:视频下载及解码模块，用于读取视频概要生成模块生成的针对一视频源的视频概要，根据该视频概要中的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，直接从视频概要服务器下载对应的段落、和/或段落+子段落、和/或概要关键帧。
[0052]所述视频客户端进一步包括:关键短视频确定模块，用于接收关键帧确定模块发来的针对一视频源的概要关键桢信息，根据概要关键帧间的距离，将距离小于预设第三阈值的相邻帧合并，生成概要关键短视频，将该概要关键短视频信息发送给视频概要生成模块；
[0053]且，所述关键帧确定模块进一步用于，将概要关键帧信息发送给关键短视频确定模块；
[0054]所述视频概要生成模块进一步用于，将关键短视频确定模块发来的针对一视频源的概要关键短视频信息放入该视频源的视频概要中。
[0055]可见，本发明通过视频概要服务器进行视频特征提取，并将提取的特征信息发送给各视频客户端，然后由视频客户端根据该特征划分视频文件的段落，从而降低了视频客户端的处理负担，提高了用户体验；且，视频客户端在划分视频文件的段落时，要考虑用户输入的概要层级要求，满足了不同用户的差异化需求，进一步提高了用户体验。
【专利附图】
【附图说明】
[0056]图1为本发明提供的视频概要生成方法的流程图；
[0057]图2为本发明实施例提供的视频概要服务器提取视频特征的方法流程图；
[0058]图3为本发明实施例提供的视频特征描述文件的结构示意图；
[0059]图4为本发明实施例提供的视频客户端生成视频概要的方法流程图；
[0060]图5为本发明实施例提供的视频概要文件的结构示意图；
[0061]图6为本发明实施例提供的用户浏览视频概要文件并进行评价的方法流程图；
[0062]图7为本发明实施例提供的视频客户端提供的视频概要浏览界面示意图；
[0063]图8为本发明实施例提供的用户反馈的视频概要评价文件的结构示意图；
[0064]图9为本发明实施例提供的视频概要服务器的组成示意图；
[0065]图10为本发明实施例提供的视频客户端的组成示意图。
【具体实施方式】
[0066]下面结合附图及具体实施例对本发明再作进一步详细的说明。
[0067]图1为本发明提供的视频概要生成方法的流程图，如图1所示，其具体步骤如下:
[0068]步骤101:视频概要服务器导入任一视频源文件，对该文件进行解码，得到原始视频帧，对该原始视频帧进行采样，从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给各视频客户端。
[0069]步骤102:任一视频客户端接收视频概要服务器发来的针对一视频源的加权统计特征帧间距离集，根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构。
[0070]步骤103:该视频客户端根据用户输入的视频概要层级要求，将步骤102得到的视频源的基本层级结构调整为符合用户要求的层级结构，根据该调整后的层级结构对视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为视频源的视频概要提供给用户。
[0071]图2为本发明实施例提供的视频概要服务器提取视频特征的方法流程图，如图2所示，其具体步骤如下:
[0072]步骤201:对于每个视频源文件，视频概要服务器导入该视频源文件，解析视频源文件的格式，从视频源中抽取视频流，并对该视频流进行解码，得到非压缩原始视频帧。
[0073]步骤202:视频概要服务器按照一定的采样步长对原始视频帧进行采样，得到各采样帧。
[0074]采样步长如:5帧或者10帧。
[0075]步骤203:对于每个采样帧，视频概要服务器从该采样帧中提取图像的各统计特征值。
[0076]统计特征如:如亮度、色差、纹理等特征之一或任意组合。
[0077]步骤204:对于每个统计特征，视频概要服务器计算该统计特征的帧间距离。
[0078]统计特征的帧间距离即，相邻两采样帧间该统计特征的距离。统计特征的帧间距离可采用现有算法计算得到。
[0079]统计特征的帧间距离作为后续评判采样帧间差异性的依据。
[0080]步骤205:视频概要服务器根据视频的种类，从各统计特征中选取最能够反映当前视频特性的特征；根据预先设置的该类视频的每类统计特征的帧间距离对应的权重，得到该视频源的加权统计特征帧间距离集。
[0081]这里，可以预先设定每类视频对应的最能够反映该类视频特性的统计特征。例如:对于A类视频，最能够反映其特性的统计特征为亮度、色差，对于B类视频，最能够反映其特性的统计特征为色差、纹理。
[0082]对于任意两个相邻采样帧:帧m、帧m+1，设该两采样帧间的统计特征有两个:统计特征1、2，统计特征I的帧间距离的权重为a，统计特征2的帧间距离的权重为Ι-a，则帧m、帧m+1的加权统计特征帧间距离为:统计特征I的帧间距离*a+统计特征2的帧间距离*(l_a)。
[0083]步骤206:视频概要服务器接收并记录各视频客户端发来的用户反馈报告，每个报告中包含用户对一个视频源的视频概要评价。
[0084]步骤207:视频概要服务器根据各用户对各视频源的视频概要评价，对所有用户进行聚类，根据聚类结果建立每类用户的用户行为类型模型。
[0085]这里，可以使用k_紧邻或支持向量机方法对用户进行聚类。
[0086]步骤208:视频概要服务器接收并记录任一用户后续发来的针对各视频源的视频概要评价，当发现一用户的视频概要评价数达到预设第二阈值时，采用步骤207建立的各类用户的用户行为类型模型，对该用户的所有视频概要评价进行计算，得到该用户的类别。
[0087]这里，可以使用多分类器集成学习方法来提高对用户类型划分的准确性。
[0088]本步骤中，若采用步骤207建立的所有用户行为类型模型都无法对一用户进行分类，则记录该用户的视频概要评价，当记录的视频概要评价数目超过预设第一阈值时，根据已记录的所有视频概要评价重新对用户进行聚类，根据聚类结果建立各新类别用户的用户行为类型模型。
[0089]步骤209:视频概要服务器根据该用户的类别对应的用户行为类型模型，从步骤201得到的原始视频帧中抽取段落/子段落和概要关键帧，确定为用户推荐该段落/子段落和概要关键帧。
[0090]每类用户的用户行为类型模型中定义了该类用户习惯浏览的段落/子段落信息和概要关键帧信息。
[0091]步骤210:视频概要服务器根据步骤205得到的加权统计特征帧间距离集以及步骤209得到的段落/子段落和概要关键帧，生成针对该用户的该视频源的视频特征描述文件，将该视频特征描述文件发送给该用户对应的视频客户端。
[0092]需要说明的是，步骤206?207与步骤201?205在执行时，并无先后之分。只要视频概要服务器发现满足用户聚类条件如:用户反馈报告数达到预设第三阈值，就可以执行步骤206?207 ;只要视频概要服务器导入了一个视频源文件，就可执行步骤201?205。且，当用户行为类型模型建立后，视频概要服务器导入一个视频源文件后，不仅要执行步骤201?205，还要执行步骤208?210。
[0093]另外，若视频概要服务器还未对用户进行聚类，或者虽已聚类，但步骤208中根据已建立的所有用户行为类型模型都无法对一用户进行分类，则对于该用户，视频概要服务器不需执行步骤209，且步骤210中，视频概要服务器只将步骤205得到的加权统计特征帧间距离集放入针对该用户的该视频源的视频特征描述文件中。
[0094]图3为本发明实施例提供的视频特征描述文件的结构示意图，如图3所示，视频特征描述文件主要由视频基本信息、视频统计特征帧间距离描述和推荐帧描述三部分组成。其中:
[0095]视频基本/[目息:记录视频流的基本标记彳目息，如视频名称、种类、唯一标不符等。
[0096]视频统计特征帧间距离描述:记录视频总帧数、采样步长、加权统计特征帧间距离集。其中，还可以统计特征为组织单位，记录每一个统计特征的各帧间距离、该统计特征的权重等。
[0097]推荐帧描述:记录所有推荐帧的信息，包括:推荐帧的帧号、起始偏移量、时间戳和视频编码类型等，以便视频客户端从视频源文件中抽取出推荐帧。
[0098]其中，推荐帧可以是段落、子段落、概要关键帧之一或任意组合。
[0099]图4为本发明实施例提供的视频客户端生成视频概要的方法流程图，如图4所示，其具体步骤如下:
[0100]步骤401:视频客户端接收视频概要服务器发来的针对一视频源的视频特征描述文件，从该文件中解析出加权统计特征帧间距离集及推荐段落/子段落和概要关键帧，以供生成视频概要所用。
[0101]视频概要服务器可以对视频特征描述文件进行加密。
[0102]步骤402:视频客户端根据加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构。
[0103]例如:若极值点有η个，则可根据各极值点在视频源中的位置，将视频源划分为η+1个段落。
[0104]步骤403:视频客户端接收用户输入的视频概要层级要求，结合步骤402得到的该视频源的基本层级结构，将该视频源的基本层级结构调整为符合用户的视频概要层级要求的概要层级结构。
[0105]例如:若用户输入的视频概要层级要求包括:每个段落都包含3个子段落，则视频客户端可再将步骤402中的η+1个段落中的每个段落再划分为3个子段落。
[0106]步骤404:视频客户端根据步骤403最后确定的该视频源的概要层级结构，为该视频源划分段落/子段落，并记录各段落/子段落的首尾帧的位置、解码信息以及段落/子段落的持续时长。
[0107]步骤405:视频客户端根据该视频源的视频变化曲线，使用自适应变步长采样方法，对该视频源进行采样，得到各段落/子段落的概要关键帧，并记录各概要关键帧的位置及解码/[目息。
[0108]这里，视频变化曲线的梯度越小，采样步长越大；反之，则采样步长越小。可预先定义不同的梯度范围对应的采样步长。梯度与采样步长的对应关系可预先设定。
[0109]步骤406:视频客户端根据步骤401解析出的推荐段落/子段落和概要关键帧，以及步骤404得到的段落/子段落、步骤405得到的概要关键帧，确定最终的段落/子段落和概要关键帧。
[0110]本步骤中，具体如何将视频概要服务器推荐的(即步骤401解析出的)段落/子段落和概要关键帧与视频客户端自己生成的(即步骤404、405得到的)段落/子段落和概要关键帧进行融合，来得到最终的段落/子段落和概要关键帧，其具体融合规则可预先设定。
[0111]在实际应用中，视频客户端还可以根据相邻概要关键帧间的距离，将距离小于预设第三阈值的相邻帧合并，生成概要关键短视频，并在步骤407中将该概要关键短视频信息也写入视频分级概要标记文件中。
[0112]步骤407:视频客户端将最终得到的段落/子段落和概要关键帧信息以及视频源信息写入视频概要文件中，以供用户随时浏览使用。
[0113]图5为本发明实施例提供的视频概要文件的结构示意图，如图5所示，视频概要文件主要由视频基本信息和视频段落集两部分组成，其中:
[0114]视频基本/[目息:记录视频源的基本标记彳目息，如视频名称、种类、唯一标不符等。
[0115]视频段落集:记录各段落/子段落以及概要关键帧的信息，包括:起始帧的起始位置、结束帧的起始位置、帧数据长度、时间戳、段落概要关键帧集和子段落集等，其中，子段落集使用迭代存储的方式，可以支持任意的层级结构。
[0116]图6为本发明实施例提供的用户浏览视频概要文件并进行评价的方法流程图，如图6所示，其具体步骤如下:
[0117]步骤601:视频客户端解析步骤407得到的视频概要文件，从该文件中抽取一视频源的视频基本信息和视频段落集信息。
[0118]步骤602:视频客户端解析来自视频概要服务器的该视频源文件，从该文件中抽取视频流，对视频流进行解码。
[0119]若视频源文件尚未从视频概要服务器下载完成，视频客户端可以根据该视频源的视频段落/子段落和概要关键帧信息，直接从服务器下载对应的段落/子段落和概要关键帧，而无需下载整个视频源文件。
[0120]步骤603:视频客户端根据该视频源的视频段落集信息，从解码后的视频流中抽取各段落/子段落的首尾帧，同时抽取各概要关键帧，将各段落/子段落的首尾帧和各概要关键帧显示给用户。
[0121]视频客户端可以按照如图7所示的视频概要浏览界面显示各段落/子段落的首尾帧和各概要关键帧。
[0122]步骤604:视频客户端接收用户输入的针对该视频源的视频概要评价，将该评价发送给视频概要服务器。
[0123]视频概要评价中包含视频源信息和评价内容。
[0124]这里，预先设置一个标准的视频概要评价界面，步骤603中，在将各段落/子段落的首尾帧和各概要关键帧显示给用户后，可向用户显示该视频概要评价界面，由用户对视频概要的各项指标进行投票和/或评价。
[0125]图8为本发明实施例提供的用户反馈的视频概要评价文件的结构示意图，如图8所示，视频概要评价文件主要由视频基本信息、用户信息和用户点评帧集三部分组成，其中:
[0126]视频基本/[目息:记录视频流的基本标记彳目息，如视频名称、种类、唯一标不符等。
[0127]用户信息:记录用户的ID、类型、验证信息、评定等级等信息。
[0128]评定等级为视频概要服务器为用户划定的评定等级，例如:视频概要服务器可以根据用户之前反馈的视频概要评价的数量、准确度等，为用户划定等级，并将该等级信息发送给视频客户端。
[0129]用户点评帧集:记录用户点评过的每一帧的数据，包括每一个点评帧的帧号、起始位置、时间戳和用户评价等。
[0130]用户评价可以记录用户对视频概要服务器发来的视频特征描述文件的投票记录，例如:投票记录可分为:好、一般、差等。
[0131]图9为本发明实施例提供的视频概要服务器的组成示意图，如图9所示，其主要包括:解码模块91、采样模块92、统计特征帧间距离计算模块93和视频特征描述模块94，其中:
[0132]解码模块91:导入任一视频源文件，对该文件进行解码，得到原始视频帧，将原始视频帧输出到采样模块92。
[0133]采样模块92:对来自解码模块91的原始视频帧进行采样，将各采样帧输出到统计特征帧间距离计算模块93。
[0134]统计特征帧间距离计算模块93:对来自采样模块92的每一采样帧，从该帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频特征描述模块94。
[0135]视频特征描述模块94:将统计特征帧间距离计算模块93发来的针对一视频源的加权统计特征帧间距离集发送给视频客户端，以便:视频客户端根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构，并根据用户输入的视频概要层级要求，将视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为该视频源的视频概要提供给用户。
[0136]在实际应用中，视频概要服务器还可进一步包括:用户聚类模块和用户分类及推荐帧确定模块，其中:
[0137]用户聚类模块:接收并记录各视频客户端发来的各用户对各视频源的视频概要的评价信息，根据已记录的所有评价信息，对所有用户进行聚类，并根据聚类结果建立每类用户的用户行为类型模型；
[0138]用户分类及推荐帧确定模块:接收到任一视频客户端发来的任一用户对任一视频源的视频概要的评价信息，记录该评价信息，当记录的该用户的评价信息达到预设第二阈值时，采用用户聚类模块建立的每类用户的用户行为类型模型，对该用户的所有的评价信息进行计算，得到该用户的类别，根据用户的类别，从解码模块91输出的原始视频帧中抽取段落、和/或段落+子段落、和/或概要关键帧，将该段落信息、和/或段落+子段落信息、和/或概要关键帧信息发送给视频特征描述模块94 ；
[0139]且，视频特征描述模块94进一步用于，将用户分类及推荐帧确定模块发来的针对一视频源的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，连同该视频源的加权统计特征巾贞间距离集一起发送给视频客户端。
[0140]在实际应用中，统计特征帧间距离计算模块93进一步用于，当从每一采样帧中提取各图像统计特征之后、根据视频的种类，从提取的各图像统计特征中选取最能够反映当前视频特性的特征，且，对于选取的最能够反映当前视频特性的各统计特征，计算该统计特征的帧间距离。
[0141]图10为本发明实施例提供的视频客户端的组成示意图，如图10所示，其主要包括:视频特征描述解析模块101、基本层级结构确定模块102、用户层级要求输入模块103、最终层级结构确定模块104和视频概要生成模块105，其中:
[0142]视频特征描述解析模块101:接收视频概要服务器发来的针对任一视频源的视频特征描述文件，从该文件中解析出该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给基本层级结构确定模块102。
[0143]基本层级结构确定模块102:接收视频特征描述解析模块101发来的针对一视频源的加权统计特征帧间距离集，根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构，将该视频源的基本层级结构信息发送给最终层级结构确定模块104。
[0144]用户层级要求输入模块103:接收并记录用户输入的视频概要层级要求。
[0145]最终层级结构确定模块104:接收基本层级结构确定模块102发来的一视频源的基本层级结构信息，从用户层级要求输入模块103读取用户输入的视频概要层级要求，将该视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息发送给视频概要生成模块105。
[0146]视频概要生成模块105:根据最终层级结构确定模块104发来的一视频源的段落信息，或者段落+子段落信息，生成该视频源的视频概要，将该视频概要提供给用户。
[0147]在实际应用中，视频客户端还可进一步包括:关键帧确定模块，用于根据基本层级结构确定模块102得到的一视频源的视频变化曲线，采用自适应变步长采样方法对该视频源进行采样，将得到的采样帧作为概要关键帧，将概要关键帧信息发送给视频概要生成模块105，其中，视频变化曲线的梯度越小，采样步长越大，视频变化曲线的梯度越大，采样步长越小；
[0148]且，基本层级结构确定模块102进一步用于，将得到的视频源的视频变化曲线信息发送给关键帧确定模块；
[0149]且，视频概要生成模块105进一步用于，将关键帧确定模块发来的视频源的概要关键帧信息放入该视频源的视频概要中。
[0150]在实际应用中，视频客户端还可进一步包括:关键短视频确定|旲块，用于接收关键帧确定模块发来的针对一视频源的概要关键桢信息，根据概要关键帧间的距离，将距离小于预设第三阈值的相邻帧合并，生成概要关键短视频，将该概要关键短视频信息发送给视频概要生成模块105 ；
[0151]且，关键帧确定模块进一步用于，将概要关键帧信息发送给关键短视频确定模块；
[0152]且，视频概要生成模块105进一步用于，将关键短视频确定模块发来的针对一视频源的概要关键短视频信息放入该视频源的视频概要中。
[0153]在实际应用中，视频客户端还可进一步包括:用户评价反馈模块，用于接收用户输入的对一视频源的视频概要的评价信息，将该评价信息发送给视频概要服务器，以便:视频概要服务器根据已记录的所有用户对各视频源的视频概要的评价信息，对所有用户进行聚类。
[0154]在实际应用中，视频特征描述解析模块101进一步用于，从视频特征描述文件中解析出视频概要服务器针对一视频源的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，将该视频源的段落信息、和/或段落+子段落信息发送给最终层级结构确定模块104 ；
[0155]且，最终层级结构确定模块104进一步用于，当根据调整后的概要层级结构对视频源进行段落，或者段落+子段落划分后，进一步结合视频特征描述解析模块101发来的该视频源的段落信息、和/或段落+子段落信息，得到该视频源的最终段落信息，或者段落+子段落信息，将该视频源的最终段落信息，或者段落+子段落信息发送给视频概要生成模块 105。
[0156]在实际应用中，视频客户端还可进一步包括:视频下载及解码模块，用于读取视频概要生成模块105生成的针对一视频源的视频概要，根据该视频概要中的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，直接从视频概要服务器下载对应的段落、和/或段落+子段落、和/或概要关键帧。
[0157]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
【权利要求】
1.一种视频概要生成方法，其特征在于，该方法包括: 视频客户端接收视频概要服务器发来的针对一视频源的加权统计特征帧间距离集，根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构；其中，所述视频源的加权统计特征帧间距离集为:视频概要服务器导入该视频源文件，对该文件进行解码，得到原始视频帧，对该原始视频帧进行采样，从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频客户端的； 视频客户端根据用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户。
2.根据权利要求1所述的方法，其特征在于，所述视频客户端根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分进一步包括: 视频客户端根据所述视频变化曲线，采用自适应变步长采样方法对所述视频源进行采样，将得到的采样帧作为概要关键帧，将概要关键帧信息放入所述视频源的视频概要中，其中，视频变化曲线的梯度越小，采样步长越大，视频变化曲线的梯度越大，采样步长越小。
3.根据权利要求1所述的方法，其特征在于，所述视频客户端将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户之后进一步包括: 视频客户端接收用户输入的对该视频概要的评价信息，将该评价信息发送给视频概要服务器，以便:视频概要服务器根据已记录的所有用户对各视频源的视频概要的评价信息，对所有用户进行聚类，并根据聚类结果建立每类用户的用户行为类型模型； 且，当视频概要服务器接收到视频客户端发来的任一用户对任一视频源的视频概要的评价信息时，记录该评价信息，并采用已建立的每类用户的用户行为类型模型，对该用户的所有的评价信息进行计算，得到该用户的类别，根据该用户的类别，从所述视频源中抽取段落、和/或段落+子段落、和/或概要关键帧，将该段落信息、和/或段落+子段落信息、和/或概要关键帧信息发送给视频客户端。
4.根据权利要求3所述的方法，其特征在于，所述视频客户端将所述视频源的基本层级结构调整为符合用户要求的概要层级结构为: 视频客户端根据所述视频源的基本层级结构，以及视频概要服务器发来的该视频源的段落信息、和/或段落+子段落信息，以及用户输入的视频概要层级要求，得到该视频源的最终层级结构。
5.根据权利要求1所述的方法，其特征在于，所述视频概要服务器从每一采样帧中提取各图像统计特征之后、对于每相邻两采样帧分别计算每个统计特征的帧间距离之前进一步包括: 视频概要服务器根据视频的种类，从提取的各图像统计特征中选取最能够反映当前视频特性的特征； 所述对于每相邻两采样帧分别计算每个统计特征的帧间距离为:对于选取的最能够反映当前视频特性的各统计特征，计算该统计特征的帧间距离。
6.根据权利要求2所述的方法，其特征在于，所述将概要关键帧信息放入所述视频源的视频概要中之后进一步包括: 视频客户端根据视频概要中的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，直接从视频概要服务器下载对应的段落、和/或段落+子段落、和/或概要关键帧。
7.根据权利要求2所述的方法，其特征在于，所述视频客户端将得到的采样帧作为概要关键巾贞之后进一步包括: 视频客户端根据概要关键帧间的距离，将距离小于预设第三阈值的相邻帧合并，生成概要关键短视频，将该概要关键短视频信息写入视频概要中。
8.一种视频概要服务器，其特征在于，包括: 解码模块:导入任一视频源文件，对该文件进行解码，得到原始视频帧，将原始视频帧输出到采样模块； 采样模块:对所述原始视频帧进行采样，将各采样帧输出到统计特征帧间距离计算模块； 统计特征帧间距离计算模块:从每一采样帧中提取各图像统计特征，对于每相邻两采样帧，分别计算每个统计特征的帧间距离，计算该两采样帧的各统计特征的帧间距离的加权值，得到该视频源的加权统计特征帧间距离集，将该视频源的加权统计特征帧间距离集发送给视频特征描述模块； 视频特征描述模块:将视频源的加权统计特征帧间距离集发送给视频客户端，以便:视频客户端根据该加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构，并根据用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息作为所述视频源的视频概要提供给用户。
9.根据权利要求8所述的服务器，其特征在于，所述服务器进一步包括:用户聚类模块和用户分类及推荐帧确定模块，其中: 用户聚类模块:接收并记录各视频客户端发来的各用户对各视频源的视频概要的评价信息，根据已记录的所有评价信息，对所有用户进行聚类，并根据聚类结果建立每类用户的用户行为类型模型； 用户分类及推荐帧确定模块:接收到视频客户端发来的任一用户对任一视频源的视频概要的评价信息，记录该评价信息，并采用用户聚类模块建立的每类用户的用户行为类型模型，对该用户的所有的评价信息进行计算，得到该用户的类别，根据用户的类别，从解码模块输出的原始视频帧中抽取段落、和/或段落+子段落、和/或概要关键帧，将该段落信息、和/或段落+子段落信息、和/或概要关键帧信息发送给视频特征描述模块； 且，所述视频特征描述模块进一步用于，将所述段落信息、和/或段落+子段落信息、和/或概要关键帧信息，连同该视频源的加权统计特征帧间距离集一起发送给视频客户端。
10.根据权利要求8所述的服务器，其特征在于，所述统计特征帧间距离计算模块进一步用于，当从每一采样帧中提取各图像统计特征之后、根据视频的种类，从提取的各图像统计特征中选取最能够反映当前视频特性的特征，且，对于选取的最能够反映当前视频特性的各统计特征，计算该统计特征的帧间距离。
11.一种视频客户端，其特征在于，包括: 视频特征描述解析模块:接收视频概要服务器发来的针对任一视频源的加权统计特征帧间距离集，将该针对任一视频源的加权统计特征帧间距离集发送给基本层级结构确定模块； 基本层级结构确定模块:根据所述针对任一视频源的加权统计特征帧间距离集，得到该视频源的视频变化曲线，从视频变化曲线上获取各极值点，根据各极值点在视频源中的位置，确定该视频源的基本层级结构，将该视频源的基本层级结构信息发送给最终层级结构确定模块； 用户层级要求输入模块:接收并记录用户输入的视频概要层级要求； 最终层级结构确定模块:接收基本层级结构确定模块发来的一视频源的基本层级结构信息，从用户层级要求输入模块读取用户输入的视频概要层级要求，将所述视频源的基本层级结构调整为符合用户要求的概要层级结构，根据该调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分，将得到的段落信息，或者段落+子段落信息发送给视频概要生成模块； 视频概要生成模块:根据最终层级结构确定模块发来的一视频源的段落信息，或者段落+子段落信息，生成该视频源的视频概要。
12.根据权利要求11所述的视频客户端，其特征在于，所述视频客户端进一步包括--关键帧确定模块，用于根据基本层级结构确定模块得到的所述视频变化曲线，采用自适应变步长采样方法对所述视频源进行采样，将得到的采样帧作为概要关键帧，将概要关键帧信息发送给视频概要生成模块，其中，视频变化曲线的梯度越小，采样步长越大，视频变化曲线的梯度越大，采样步长越小， 且，所述基本层级结构确定模块进一步用于，将得到的视频源的视频变化曲线信息发送给关键帧确定模块； 且，所述视频概要生成模块进一步用于，将关键帧确定模块发来的视频源的概要关键帧信息放入该视频源的视频概要中。
13.根据权利要求11所述的视频客户端，其特征在于，所述视频客户端进一步包括:用户评价反馈模块，用于接收用户输入的对一视频源的视频概要的评价信息，将该评价信息发送给视频概要服务器，以便:视频概要服务器根据已记录的所有用户对各视频源的视频概要的评价信息，对所有用户进行聚类。
14.根据权利要求11所述的视频客户端，其特征在于，所述视频特征描述解析模块进一步用于，接收视频概要服务器发来的针对任一视频源的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，将该视频源的段落信息、和/或段落+子段落信息发送给最终层级结构确定模块； 所述最终层级结构确定模块进一步用于，当根据调整后的概要层级结构对所述视频源进行段落，或者段落+子段落划分后，进一步结合视频特征描述解析模块发来的该视频源的段落信息、和/或段落+子段落信息，得到该视频源的最终段落信息，或者段落+子段落信息，将该视频源的最终段落信息，或者段落+子段落信息发送给视频概要生成模块。
15.根据权利要求11所述的视频客户端，其特征在于，所述视频客户端进一步包括:视频下载及解码模块，用于读取视频概要生成模块生成的针对一视频源的视频概要，根据该视频概要中的段落信息、和/或段落+子段落信息、和/或概要关键帧信息，直接从视频概要服务器下载对应的段落、和/或段落+子段落、和/或概要关键帧。
16.根据权利要求11所述的视频客户端，其特征在于，所述视频客户端进一步包括--关键短视频确定模块，用于接收关键帧确定模块发来的针对一视频源的概要关键桢信息，根据概要关键帧间的距离，将距离小于预设第三阈值的相邻帧合并，生成概要关键短视频，将该概要关键短视频信息发送给视频概要生成模块； 且，所述关键帧确定模块进一步用于，将概要关键帧信息发送给关键短视频确定模块； 所述视频概要生成模块进一步用于，将关键短视频确定模块发来的针对一视频源的概要关键短视频信息放入该视频源的视频概要中。
【文档编号】H04L29/08GK104185089SQ201310197139
【公开日】2014年12月3日 申请日期:2013年5月23日 优先权日:2013年5月23日
【发明者】吴昊, 郝刚, 尤伟, 方会 申请人:三星电子（中国）研发中心, 三星电子株式会社