专利名称：基于多特征分析的cg动画视频检测方法
技术领域：
本发明涉及的是一种图像处理技术领域的方法，具体是一种基于多特征分析的CG 动画视频检测方法。
背景技术：
目前，计算机图形技术不断受到动画产业的关注，CG动画成为各大游戏公司、动画 工作室的热门开发领域。这一趋势也造成了网络上动画视频类型的多样化，为了用户检索 的方便性，大量的动画视频库需要人为地添加文字标签来定义动画类型。这样繁琐重复性 的人力劳动消耗了大量人力，同时，对于动画类型的分类由于没有可靠的数据分析，有时人 为的判断误区也会造成素材的分类错误。此检测方法从动态效果制作方式和静态图像制作 方式两方面分别检测是否用到计算机技术，以此获得一个CG动画的过滤系统。以上的检测 结果还可结合分类器对传统与CG动画进行大批量分类处理，相比人为标注文字标签，计算 机自主分析分类素材的效率更高，也更具准确性。动画产业在制作方式上基本分成两大板块传统动画与CG (计算机图形学)动画。 其关键区别在于在制作过程中是否用到计算机技术。在动态效果制作方面，传统动画采 用逐帧绘制法，将连续动作拆分绘图后连续播放，通过视觉延时造成动态效果；CG动画运 用了关键帧技术，其原理是将动作的关键变换点绘制后定义为关键帧图像，之后通过电脑 计算得出各帧间应有的形状变换或位移变化轨迹，自动完成插帧、补帧以达到动态视觉效 果。在单帧图像制作方面，传统动画将不同层的上色赛璐璐片叠加好后进行拍摄，拍好的底 片再送至冲印公司冲洗，这样的拍摄方式会造成一定的色彩流失，从而使色彩及画质都比 较粗糙；而CG动画的制作均在电脑中完成，其上色方式对于单一颜色能达到涂色均勻的效 果，可对于渐变和阴影效果就显得较为生硬。经过对现有技术的检索发现，中国专利文献号CN1570972，
公开日2005_1_26，记 载了一种“基于图像纹理特征的图像检索方法”，该技术涉及一种基于图像纹理特征的图 像检索方法，将图像数据看作是区域化变量，反映图像像素的结构性，和图像数据的统计特 性。中国专利文献号CN101604325，
公开日2009-12-16，该技术提出一个基于主场景镜头关 键帧的体育视频分类方法。该方法只采用主场景进行体育分类，而不是整个视频的帧来代 表体育视频来做分类，有效的降低了视频分类的计算量。最后用SVM分类器对主场景镜头 关键帧进行分类，具有很高的体育视频分类准确性。上述技术分别涉及了纹理提取和视频 分类，但对于动画领域的分类都未涉及到，且分类技术也只牵涉到单一的静态描述子，对于 运动和纹理描述子的共同运用没有涉及。进一步检索发现，2009年发表的论文《Action Recognition via Local Descriptors andHolistic Features》中有提及了关于局部描述子对运动的动作进行区 分，但此论文主要涉及辨别动作的运动描述子而并未涉及有关动画中区分逐帧制作和关键 帧制作的运动描述子。目前对于此两种动画的分类和检索大多采用传统的基于文本的分类方式，即首先通过人工注释等方法为视频赋予文本信息，然后用传统信息检索技术进行文件的检索。但 这种数据库的建立需要额外的空间及人力的标注更新。对于庞大的动画素材库，这样的分 类方式耗费资源较大。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于多特征分析的CG动画视频 检测方法，通过对运动和纹理描述子的提取，最终区分出动态图象在制作过程中是否用到 了 CG动画技术，即计算机图形技术。本发明是通过以下技术方案实现的，本发明包括以下步骤第一步，通过提取动画视频流中相邻帧间的RGB数值，计算得到整个动画视频流 的运动强度，过滤掉动态制作方式属于非CG技术的视频流，具体步骤为1. 1)提取该动画视频流中第j帧和第j+Ι帧之间的R，G，B颜色差值，提取公式如 下Mj-Kf+(G1 -G;y+(B1 -B)2 jn其中j表示该视频流的第j帧，η表示第j帧一共包含的像素，RpGpBi分别对应 前一帧第i个像素的R、G、B分量，Ri*, GA Bi*分别对应后一帧第i个像素的R，G，B分量。1.2)计算整个动画视频流的运动强度Μ，Μ = |;Λ^/-1，其中t表示动画视频流
H /
的总帧数。1.3)根据所得的M值与阈值T1比较。由于关键帧技术在插帧数量上相比人为插 帧较多，因而相邻帧的RGB变化量不大。通过实验和理论结合有以下定义当M大于T1时，则该动画视频流在动态制作方式上没有用到关键帧辅助，即不属 于CG动画；若M小于T1时，则该动画视频流用到了关键帧技术，但仍需进行下一步纹理检 测，鉴别单帧图像制作是否也用到计算机图形技术。所述的阈值为5.5彡T1彡6.5。所述的阈值是指通过样本测试后，根据数据分布得到的阈值范围。第二步，读入上一步中检测结果为使用关键帧技术的动画视频流，利用程序截取 关键帧图片，并提取关键帧图片的纹理特征得到特征向量，之后通过支持向量机进行判断 处理获得特征向量的样本类型，检测是否运用计算机图形技术制作图像，过滤掉非CG类图 像制作的动画视频流，剩下的动画视频流即为CG动画。所述的样本类型是使用电脑软件上色的CG动画和依靠人为手绘的传统动画。所述的关键帧图片是指利用FFmpeg函数提取动画视频流的关键帧图片。所述的FFmpeg函数为开源免费跨平台的视频和音频流方案。其关键帧提取流程 是对接收到的视频流数据进行解码。得到的信息中包含视频流的三种分类I帧，P帧，B帧， 其中I帧也就是关键帧(即基础帧)，P帧根据I帧确定，而B帧根据前两者确定信息。所述的关键帧为该动画视频流的中间帧。所述的计算机图形技术为使用计算机软件为辅助工具生成电子图像。所述的图像纹理特征为局部二进制特征(LBP)。
5
所述的提取关键帧图片的纹理特征是指提取关键帧图片中的任意像素f (χ，y)，
取该像素的灰度值g。为阈值，对其周围3X3窗口内的8个点gQ........g7的像素值进行
二值化处理，得到一个八位的二进制数，并对该八位的二进制数按像素不同位置进行加权
求和，得到每个像素的LBP值=坌啦-gc)2'，其中=H ^ =，0 < LBP (xc,
i=o.St(X) — U7X < U
y。)( 255，统计整个图像所有像素的LBP值的直方图，即统计每个LBP值出现的次数，这样 就得到256维LBP特征向量，最后将每张关键帧图片提取到的LBP特征向量拼合。所述的向量拼合是指将每张关键帧图片的得到的256维的特征向量文档合并成 一个文档，然后输出给文类器进行后续分类。所述的通过支持向量机(SVM)进行判断处理的具体步骤为a.建立训练文件，此文件中包含样本类型Cp C2。b.使用线性判别函数g(x) =wTX+w0。^g(χ) >0，则判定χ属于Cl，当g(χ) <0，则判定χ属于C2，当g(x) =0，则将 χ任意，分到某一类或者拒绝判定。其中Χ为测试文件。所述的训练文件是指从网上下载的已确定类型的CG动画和传统动画，通过上述 的纹理特征提取过程获得的256维向量。将CG动画向量标记为正样本，传统动画向量标记 为负样本。完成上述步骤后，将以上向量文档拼合为一个文件后成功建立训练文件。第三步，结合分类器可对上两步中被过滤掉的非CG动画的视频流进行检测分析3. 1)对于第二步中，检测结果显示为属于传统动画样本类型的视频定义为图像制 作运用传统手绘技术。3. 2)对第一步中，排除为CG制作的动画视频流进行纹理检测，其检测步骤与第二 步操作过程一致。若纹理检测结果显示该视频的图像制作属于传统动画样本类型，则定义 该动画视频在图像制作上运用了传统手绘技术；若检测结果显示为CG动画样本类型，则定 义该动画视频在图像制作上用到计算机图形技术。第四步，通过界面工具显示视频制作方式的详细信息，并给出该动画视频相应的 所属类型。所述的界面工具为C#或其他工具编译的用户操作界面，将以上对动画视频流的 检测结果显示在操作窗口内，并由此检测结果给出相应的动画所属类型。所述的分类器为根据动态检测和静态检测结果，根据编译时设定的分类标准给出 动画视频流的类型。所述的类型有CG动画、传统动画和中间过渡类动画。所述的CG动画是指在动态制作上用到了关键帧技术，此外每帧图像是由电脑软 件制作。所述的传统动画是指在动态制作上采用的逐帧绘制(即没有用到关键帧技术)， 此外每帧的图像也是全由手绘完成。所述的中间过渡类动画是指在动态制作上用到了关键帧技术，而每帧的图像是 由手绘完成；或是在动态制作上用的是逐帧制作，而每帧的图像是通过电脑软件制作的。与现有技术相比，本发明的有益效果是实现了计算机自主识别动画类型，抛开了 以往通过视频附带的文字标签来识别类型的局限方式，达到自动过滤非CG动画的系统效
6果。在结合分类器后，面对大批量素材分类时，能够通过计算机自动读入视频并识别制作方 式。相比于人工逐步为视频添加文字标签的重复劳动，计算机自助处理大批量素材的分类 无疑能为资料整理、素材库规划等领域节省大量劳动力。此外，依靠数据分析的准确性，能 够解决人眼判别的主观误差，如网络视频信息经常会将以软胶模型制作的定格动画与3D 技术制作的动画混淆，而以上两类动画分别属于传统动画和CG动画类型。此技术的引入大 大改善以上人为造成的分类误区，提高素材分类的准确性，同时可方便一些用户了解到动 画视频的详细制作信息，由于动画相比于普通动漫，不仅牵涉到单幅图片的制作，还涉及到连续画面播放 的制作技术，光从静态或动态单方面确定制作方式，并由此定义出动画类型会降低分类的 精确度。本发明通过运动和纹理两方面特征提取，能够对动画在制作方式上给出更为细化 检测结果，为分类器提供准确性更高的数据信息，在此检测技术的支持下分类准确率不小 于 95%。
图1是本发明提取纹理特征的流程图。图2是本发明提取运动特征的流程图。图3是本发明设计的CG动画过滤系统并结合分类器进行素材分类的流程图。
具体实施例方式下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行 实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施 例。本实施例包括以下步骤第一步，建立训练样本，以便之后的SVM分类测试。具体步骤为1. 1)在网上下载动画视频素材，素材为已确定类型的CG动画和传统动画。1. 2)提取动画素材的关键帧图片。1.3)提取图片的LBP特征向量，并拼合为一个txt文件，此文件即为训练样本。其 中，CG动画作为正样本，标记1 ；传统动画作为负样本，标记为2。1. 4)训练样本文件通过支持向量机(SVM)建立文件train, range, train, model。 此步骤的最终效果是将训练文件预先保存在临时文件中，缩短了 SVM在之后测试中的运行 时间。所述的train为之前的建立的训练样本的文件名，后缀range，model都为SVM在 测试过程中产生的文件。第二步，提取待分类的动画视频流，并进行分割，得到若干视频片段。所述的分割处理具体步骤为截取动画视频流的中间关键部分，片头及结尾处的 黑屏、字幕等段落去除。第三步，将截取的动画视频流段，提取运动特征，过滤掉动态制作非CG技术的动 画视频。
7
所述的运动特征提取的具体步骤为3. 1)读入动画视频流，并对每帧提取RGB值。3. 2)根据所得的前一帧与后一帧的RGB值，进行公式计算。提取公式如下
权利要求
一种基于多特征分析的CG动画视频检测方法，其特征在于，包括以下步骤第一步，通过提取动画视频流中相邻帧间的RGB数值，计算得到整个动画视频流的运动强度，过滤掉动态制作方式属于非CG技术的视频流；第二步，读入上一步中检测结果为使用关键帧技术的动画视频流，利用程序截取关键帧图片，并提取关键帧图片的纹理特征得到特征向量，之后通过支持向量机进行判断处理获得特征向量的样本类型，检测是否运用计算机图形技术制作图像，过滤掉非CG类图像制作的动画视频流，剩下的动画视频流即为CG动画；第三步，结合分类器对上两步中被过滤掉的非CG动画的视频流进行检测分析3.1)对于第二步中，检测结果显示为属于传统动画样本类型的视频定义为图像制作运用传统手绘技术；3.2)对第一步中，排除为CG制作的动画视频流进行纹理检测，其检测步骤与第二步操作过程一致，当纹理检测结果显示该视频的图像制作属于传统动画样本类型，则定义该动画视频在图像制作上运用了传统手绘技术；当检测结果显示为CG动画样本类型，则定义该动画视频在图像制作上用到计算机图形技术；第四步，通过界面工具显示视频制作方式的详细信息，并给出该动画视频相应的所属类型。
2.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的 第一步具体包括以下步骤1. 1)提取该动画视频流中第j帧和第j+Ι帧之间的R，G，B颜色差值，提取公式如下Mj =ΣΜ -K)2+^, -^f+iB, -B)2 卜其中j表示该视频流的第j帧，η表示第j帧一共包含的像素，RpGpBi分别对应前一 帧第i个像素的R、G、B分量，Ri*, GA Bi*分别对应后一帧第i个像素的R，G，B分量；1.2)计算整个动画视频流的运动强度Μ，Μ = |;Λ^/-1，其中t表示动画视频流的总H /帧数；1. 3)根据所得的M值与阈值T1比较当M大于T1时，则该动画视频流在动态制作方式 上没有用到关键帧辅助，即不属于CG动画；当M小于T1时，则该动画视频流用到了关键帧 技术但仍需进行下一步纹理检测，鉴别单帧图像制作是否也用到计算机图形技术，其中阈 值为5. 5彡T1彡6. 5。
3.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的 第二步中所述的关键帧为该动画视频流的中间帧；所述的图像纹理特征为局部二进制特 征。
4.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的 提取关键帧图片的纹理特征是指提取关键帧图片中的任意像素f(x，y)，取该像素的灰度值g。为阈值，对其周围3X3窗口内的8个点gQ........g7的像素值进行二值化处理，得到一个八位的二进制数，并对该八位的二进制数按像素不同位置进行加权求和，得到每个像7S(X) = 1 χ > 0素的 LBP 值 1你汰,又)= YjSigl -gc)2'，其中=0x<o'°^LBP (Xc' Yc) ( 255，统计整个图像所有像素的LBP值的直方图，即统计每个LBP值出现的次数，这样就得到256维LBP 特征向量，最后将每张关键帧图片提取到的LBP特征向量拼合。
5.根据权利要求4所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的 向量拼合是指将每张关键帧图片的得到的256维的特征向量文档合并成一个文档，然后 输出给文类器进行后续分类。
6.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的 通过支持向量机进行判断处理是指a.建立训练文件，此文件中包含样本类型CpC2;b.使用线性判别函数g(x)= wTx+w0 g(x) >0，则判定乂属于(1，当800 <0，则 判定χ属于C2，当g(x) = 0，则将χ任意，分到某一类或者拒绝判定，其中χ为测试文件。
7.根据权利要求6所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的 训练文件是指从网上下载的已确定类型的CG动画和传统动画，通过上述的纹理特征提取 过程获得的256维向量，将CG动画向量标记为正样本，传统动画向量标记为负样本，并最终 将以上向量文档拼合为一个文件后成功建立训练文件。
8.根据权利要求1所述的基于多特征分析的CG动画视频检测方法，其特征是，所述的 分类器为根据动态检测和静态检测结果，根据编译时设定的分类标准给出动画视频流的类 型。
全文摘要
一种图像处理技术领域的基于多特征分析的CG动画视频检测方法，针对动画制作方式，将动画从静态图像和动态表现两方面进行特征提取，使动画分类不再趋向于动漫的静态分类方式；纹理特征基于多维向量，能更准确地多方面判定动画类型；两种特征的综合分析，更全面地考虑到了动画在动静两态的制作方式，从而达到准确的分类效果。本发明通过对运动和纹理描述子的提取，最终区分出动态图象在制作过程中是否用到了CG动画技术，即计算机图形技术。
文档编号H04N7/26GK101977311SQ201010529008
公开日2011年2月16日 申请日期2010年11月3日 优先权日2010年11月3日
发明者余佳敏, 孙锬锋, 李荣杰, 蒋兴浩, 赵妍 申请人:上海交通大学