专利名称：一种基于感知知识库的视频内容审查系统及方法
一种基于感知知识库的视频内容审查系统及方法
技术领域：
本发明涉及多媒体处理技术，更具体地说，涉及一种基于感知知识库的视频内容审查系统及方法。
背景技术：
目前视频内容审查基本上都是采用人工观看的方式，一个视频节目需要用户人工从头到尾看一遍，有时还需要多个用户分别多次观看，耗费大量时间和人力，效率较低。现有技术也提出一些算法，用于识别特定的视频内容，如特定类型的裸体。但现有技术的算法通用性差，对于稍有变化或不符合预先定义类型的视频内容就无法识别，实用性较低。
发明内容基于此，本发明提出一种基于感知知识库的视频内容审查系统，包括视频样本数据库，包括至少一视频样本子库，分别存储并管理与至少一类特定审查类别对应的样本视频；样本数据感知特征抽取模块，对视频样本子库中的样本视频逐帧进行感知特征抽取，产生与其每一帧对应的样本特征描述；对样本特征描述进行汇总得到样本特征知识，定义样本特征知识的取值范围；视频感知知识库，存储并管理样本特征知识及其取值范围；待审数据感知特征抽取模块，对待审视频逐帧进行感知特征抽取，产生与其每一帧对应的待审特征描述；感知特征模糊匹配模块，分别从视频感知知识库中搜索与各待审特征描述最接近的样本特征知识；视频数据类型模糊判别模块，分析找到的样本特征知识，确定待审特征描述对应待审视频帧所属的特定审查类别；用户视频 数据类型库，存储并管理待审视频帧及其所属的特定审查类别和审查结果综合查询模块，根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。其中，上述样本数据感知特征抽取模块分别对样本视频每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项。其中，上述样本数据感知特征抽取模块对样本特征描述进行汇总得到样本特征知识，是对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；样本数据感知特征抽取模块分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围。其中，视频感知知识库包括与至少一类特定审查类别对应的视频感知知识子库，分别存储与特定审查类别对应的分项样本特征知识及其取值范围；其中，上述待审数据感知特征抽取模块分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项。对于待审特征描述的所有分项均与视频感知知识库中某一样本特征知识相应分项最接近的，视频数据类型模糊判别模块分别比较待审特征描述的各分项是否均落入样本特征知识的相应分项的取值范围，是则确定待审特征描述属于样本特征知识对应的特定类型，否则感知特征模糊匹配模块从视频感知知识库中搜索所有分项均与待审特征描述的相应分项次接近的样本特征知识；视频数据类型模糊判别模块分别比较待审特征描述的各分项是否均落入次接近的样本特征知识的相应分项的取值范围，是则确定待审特征描述属于次接近的样本特征知识对应的特定类型，否则感知特征模糊匹配模块继续查找次接近的样本特征知识，直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。对于待审特征描述某一分项与视频感知知识库中第一样本特征知识的对应分项最接近，且其他分项均与第二样本特征知识的相应分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与第一样本特征知识的总距离、待审特征描述与第二样本特征知识的总距离；视频数据类型模糊判别模块比较待审特征描述与第一样本特征知识的总距离和待审特征描述与第二样本特征知识的总距离，从总距离较小的样本特征知识到总距离较大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；如果待审特征描述的各分项既未均落入总距离较小的样本特征知识的相应分项的取值范围，也未均落入总距离较大的样本特征知识相应分项的取值范围，则感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述某一分项与对应分项次接近的第一样本特征知识，且其他分项均与相应分项次接近的第二样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。对于待审特征描述各分项分别与视频感知知识库中至少一样本特征知识的对应一分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与各样本特征知识的总距离；视频数据类型模糊判别模块比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；如果待审特征描述的各分项未均落入任何一样本特征知识相应分项的取值范围，，则感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述某一分项与对应分项次接近的至少一样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。本发明还提出一种基于感知知识库的视频内容审查方法，包括视频样本数据库包括至少一视频样本子库，分别预先存储并管理与至少一类特定审查类别对应的样本视频的步骤；样本数据感知特征抽取模块对视频样本子库中预先存储的样本视频，分别根据每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项的步骤；样本数据感知特征抽取模块对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围的步骤；视频感知知识库将与特定审查类别对应的分项样本特征知识及其取值范围存入与至少一类特定审查类别对应的视频感知知识子库中的步骤；待审数据感知特征抽取模块分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项的步骤；感知特征模糊匹配模块分别从视频感知知识库中搜索相应分项与待审特征描述的至少一分项最接近的样本特征知识的步骤；视频数据类型模糊判别模块分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别的步骤；用户视频数据类型库存储并管理待审视频帧及其所属的特定审查类别的步骤；和审查结果综合查询模块根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别的步骤；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警的步骤。其中，上述视频数据类型模糊判别模块分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别的步骤包括视频数据类型模糊判别模块分析待审特征描述各分项分别与视频感知知识库中哪些样本特征知识的对应分项最接近的步骤；对于待审特征描述各分项均与一样本特征知识的对应分项最接近的，视频数据类型模糊判别模块比较待审特征描述的各分项是否落入样本特征知识的相应分项的取值范围，由此确定待审特征描述属于样本特征知识对应的特定类型的步骤；对于待审特征描述各分项分别与至少二样本特征知识的对应分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与各样本特征知识的总距离的步骤；视频数据类型模糊判别模块比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型的步骤；如果待审特征描述的各分项未能均落入找到的样本特征知识相应分项的取值范围，则感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述各分项与对应分项次接近的至少一样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找的步骤。本发明对样本视频数据自动抽取感知知识并采用数据库管理，利用感知知识自动地审查视频内容，达到了全自动审查的目的，无需人工操作、无需编写特定的审查算法，通用性强。
图1为本发明一实施 例的基于感知知识库的视频内容审查系统系统结构示意图；图2为本发明一实施例的基于感知知识库的视频内容审查方法流程示意图；图3为本发明一实施例的确定待审视频帧所属的特定审查类别部分流程示意图。
具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。本发明第一实施例参照图1示出的基于感知知识库的视频内容审查系统系统结构示意图和图2示出的视频内容审查主要流程示意图，本发明提出基于感知知识库的视频内容审查系统一实施例包括视频样本数据库S，包括至少一视频样本子库Si，分别存储并管理与至少一类特定审查类别对应的样本视频；
样本数据感知特征抽取模块I，对视频样本子库Si中的样本视频逐帧进行感知特征抽取，产生与其每一帧对应的样本特征描述；对样本特征描述进行汇总得到样本特征知识，定义样本特征知识的取值范围；视频感知知识库K，存储并管理样本特征知识及其取值范围；待审数据感知特征抽取模块2，对待审视频逐帧进行感知特征抽取，产生与其每一帧对应的待审特征描述；感知特征模糊匹配模块3，分别从视频感知知识库K中搜索与各待审特征描述最接近的样本特征知识；视频数据类型模糊判别模块4，分析找到的样本特征知识,确定待审特征描述对应待审视频帧所属的特定审查类别；用户视频数据类型库U，存储并管理待审视频帧及其所属的特定审查类别；审查结果综合查询模块5，根据用户指令查询用户视频数据类型库U中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。基于上述实施例，本发明提出一实施例，样本数据感知特征抽取模块I分别对样本视频每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项。视频包括文字、图像和/或声音等特征，则对应获得样本特征描述的分项为文字特征描述、图像特征描述和/或声音特征描述。本实施例的样本数据感知特征抽取模块I对样本特征描述进行汇总得到样本特征知识，是对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；样本数据感知特征抽取模块I分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围。视频感知知识库K包括与至少一类特定审查类别对应的视频感知知识子库Ki，分别存储与特定审查类别对应的分项样本特征知识及其取值范围；待审数据感知特征抽取模块2分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项。基于上述实施例，本发明提出一实施例，其中感知特征模糊匹配模块3和视频数据类型模糊判别模块4配合，共同确定待审特征描述对应待审视频帧所属的特定审查类别。本实施例将感知特征模糊匹配模块3找到的样本特征知识分为以下三种情况第一种情况，对于待审特征描述的所有分项均与视频感知知识库K中某一样本特征知识相应分项最接近的，视频数据类型模糊判别模块4分别比较待审特征描述的各分项是否均落入样本特征知识的相应分项的取值范围，是则确定待审特征描述属于样本特征知识对应的特定类型，否则感知特征模糊匹配模块3从视频感知知识库K中搜索所有分项均与待审特征描述的相应分项次接近的样本特征知识；视频数据类型模糊判别模块4分别比较待审特征描述的各分项是否均落入次接近的样本特征知识的相应分项的取值范围，是则确定待审特征描述属于次接近的样本特征知识对应的特定类型，否则
感知特征模糊匹配模块3继续查找次接近的样本特征知识，直到确定待审特征描述所属的特定类型，或完成对视频感知知识库K中所有样本特征知识的查找。第二种情况，对于待审特征描述某一分项与视频感知知识库K中第一样本特征知识的对应分项最接近，且其他分项均与第二样本特征知识的相应分项最接近的，视频数据类型模糊判别模块4分别求出待审特征描述与第一样本特征知识的总距离、待审特征描述与第二样本特征知识的总距离。视频数据类型模糊判别模块4比较待审特征描述与第一样本特征知识的总距离和待审特征描述与第二样本特征知识的总距离，从总距离较小的样本特征知识到总距离较大的样本特征知识，视频数据类型模糊判别模块4分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型。如果待审特征描述的各分项既未均落入总距离较小的样本特征知识的相应分项的取值范围，也未均落入总距离较大的样本特征知识相应分项的取值范围，则感知特征模糊匹配模块3从视频感知知识库K中搜索待审特征描述某一分项与对应一分项次接近的第一样本特征知识，且其他分项均与相应分项次接近的第二样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库K中所有样本特征知识的查找。第三种情况，对于待审特征描述各分项分别与视频感知知识库K中至少一样本特征知识的对应分项最接近的，视频数据类型模糊判别模块4分别求出待审特征描述与各样本特征知识的总距离。视频数据类型模糊判别模块4比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块4分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征`知识对应的特定类型；如果待审特征描述的各分项未均落入任何一样本特征知识相应分项的取值范围，则感知特征模糊匹配模块3从视频感知知识库K中搜索待审特征描述某一分项与对应分项次接近的至少一样本特征知识，重复求出总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库K中所有样本特征知识的查找。以下给出本发明一具体实施例说明本发明方案。设视频样本数据库S包括至少一视频样本子库Si，分别对应i类类特定审查类别。如第一视频样本子库SI对应I类枪击视频；第二视频样本子库S2对应2类性交视频；第三视频样本子库S3对应3类裸乳视频；第四视频样本子库S4对应4类裸臀视频；第五视频样本子库S5对应5类打砸视频等。设第i类视频字库Si中包含样本视频的m个视频巾贞，Si={sil, si2,…，sim},样本数据感知特征抽取模块I分别对样本视频每一帧的文字、图像和声音特征进行感知特征抽取，获得与每一帧分别对应的文字特征描述、图像特征描述和声音特征描述。样本数据感知特征抽取模块I运行文字特征抽取函数fw得到样本文字特征描述fw (sil)、fw (si2)、…、fw (sim);运行声音特征抽取函数fv得到样本声音特征描述fv (sil)、fv (si2)、…、fv (sim);运行图像特征抽取函数fg得到样本图像特征描述fg(sil)、fg (si2)、…、fg(sim))。样本数据感知特征抽取模块I对样本特征描述的至少一分项进行汇总,本实施例是采用加权平均，得到至少一分项样本特征知识，包括文字样本特征知识kwi= (fw (sil)+fw (si2)+…+fw (sim))/m ;声音样本特征知识 kvi= (fv (sil)+fv (si2)+…+fv (sim))/m ;图像样本特征知识 kgi= (fg (sil) +fg (si2) ++fg (sim))/m。样本数据感知特征抽取模块I分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围。文字样本特征知识最小值kwi_min=min (fw (sil)+fw (si2)++fw (sim)),文字样本特征知识最大值 kwi_max=max (fw (sil) +fw (si2) ++fw(sim));声音样本特征知识最小值 kvi_min=min (fv (sil) +fv (si2)+…+fv (sim)),声音样本特征知识最大值kvi_max=max (fv (sil) +fv (si2) ++fv (sim));图像样本特征知识最小值kgi_min=min (fg (sil) +fg (si2)+…+fg (sim)),图像样本特征知识最大值kgi_max=max (fg (sil) +fg (si2) ++fg (sim)))。与视频样本库S中的视频样本子库S1--对应地，视频感知知识库K包括多个视
频感知知识子库Ki，分别存储样本特征知识及其取值范围文字特征知识kwi及其取值范围(kwi_min, kwi_max)、声音特征知识kvi及其取值范围(kvi_min, kvi_max)、图像特征知识kgi及其取值范围(kgi_min , kgi_max)。设用户提交的待审视频Vi=Ivil, vi2,…，vin},包含待审视频的n个视频巾贞。待审数据感知特征抽取模块2对其每一帧的文字、图像和声音特征进行感知特征抽取，运行文字特征抽取函数fw得到待审文字特征描述fw (vij) ={fw (vil), fw (vi2),，fw(vin)}、运行声音特征抽取fv得到待审声音特征描述fv (vij) = {fv (vil), fv (vi2),…,fv (vin) };运行图像特征抽取fg得到得到待审图像特征描述fg (vij) ={fg (vil), fg(vi2),…,fg (vin) }。参照图3示出的确定待审视频帧所属的特定审查类别部分流程示意图，其中图3(a)示出对于第一种情况,确定待审视频巾贞vij所属的特定审查类别的方案,包括步骤S611、感知特征模糊匹配模块3找到某一样本特征知识，待审特征描述的所有分项均与其相应分项最接近，进行步骤S711 ；即感知特征模糊匹配模块3从视频感知知识库K中找到第一样本特征知识ka，包括第一文字特征知识kwa、第一声音特征知识kva和第一图像特征知识kga。待审文字特征描述fw (vij)与其第一文字特征知识kwa最接近,且待审声音特征描述fv (vij)与其第一声音特征知识kva最接近且待审图像特征描述fg (vij)与其第一图像特征知识kga最接近。步骤S711、视频数据类型模糊判别模块4分别比较待审特征描述的各分项是否均落入样本特征知识的相应分项的取值范围，如果是则进行步骤S712，否则进行步骤S612 ；即判断是否待审文字特征描述fw (vij)落入第一文字特征知识取值范围(kwa_min, kwa_max),且待审声音特征描述fv (vij)落入第一声音特征知识取值范围(kva_min, kva_max)范围，且待审图像特征描述fg (vij)落入第一图像特征知识取值范围(kga_min, kga_max)。步骤S712、确定待审视频巾贞vij属于与第一样本特征知识ka对应的第a类特定审查类别，如枪击类视频，本流程结束。步骤S612、判断是否已经完成对视频感知知识库3中所有样本特征知识的查找，如果否则进行步骤S613，如果是则本流程结束。步骤S613、感知特征模糊匹配模块3从视频感知知识库K中搜索所有分项均与待审特征描述的相应分项次接近的样本特征知识，进行步骤711 ；即从视频感知知识库K中取与待审视频巾贞vij次接近的第二样本特征知识kb。本发明又提出一实施例，参照图3 (b)所示的对于第二种情况，确定待审视频帧vij所属的特定审查类别的方案包括步骤S621、感知特征模糊匹配模块3找到第一样本特征知识ka和第二样本特征知识kb,待审文字特征描述fw (vij)的某一分项与第一样本特征知识ka的对应分项最接近，待审文字特征描述fw (vij)的其他二分项均与第二样本特征知识kn的相应二分项最接近，则进行步骤721 ；例如待审文字特征描述fw (vij)与第一文字特征知识kwa最接近,待审声音特征描述fv (vij)与第二声音特征知识kvb最接近,且待审图像特征描述fg (vij)与第二图像特征知识kgb最接近,或如果待审文字特征描述fw (vij)与第一文字特征知识kwa最接近,待审声音特征描述fv (vij)与第二声音特征知识kvb最接近,且待审图像特征描述fg (vij)与第一图像特征知识kga最接近,或
如果待审文字特征描述fw (vij)与第二文字特征知识kwb最接近,待审声音特征描述fv (vij)与第一声音特征知识kva最接近,且待审图像特征描述fg (vij)与第一图像特征知识kga最接近,或如果待审文字特征描述fw (vij)与第二文字特征知识kwb最接近,待审声音特征描述fv (vij)与第一声音特征知识kva最接近,且待审图像特征描述fg (vij)与第二图像特征知识kgb最接近,或如果待审文字特征描述fw (vij)与第二文字特征知识kwb最接近,待审声音特征描述fv (vij)与第二声音特征知识kvb最接近,且待审图像特征描述fg (vij)与第一图像特征知识kga最接近......等多种情况。步骤S721、视频数据类型模糊判别模块4分别求出待审特征描述与第一样本特征知识的总距离、待审特征描述与第二样本特征知识的总距离；例如分别求出待审文字特征描述fw (vij)与第一文字特征知识kwa的距离dwa、待审声音特征描述fv (vij)与第一声音特征知识kva的距离dva,待审图像特征描述fg(vij)与第一图像特征知识kga的距离dga,综合三距离得到待审特征描述与第一样本特征知识ka的总距离da=( (dwa) '2+ (dva) '2+ (dga) '2)' (1/2) )) 同样地求出待审特征描述与第二样本特征知识的kb的总距离db ( (dwb) '2+ (dvb) '2+ (dgb) '2) ~ (1/2)))。步骤S722，视频数据类型模糊判别模块4比较待审特征描述与第一样本特征知识ka的总距离da和待审特征描述与第二样本特征知识kb的总距离db，如果da〈db，则进行步骤S723，否则进行步骤S727。步骤S723、判断是否待审文字特征描述fw (vij)落入第一文字特征知识取值范围(kwa_min, kwa_max)，且待审声音特征描述fv (vij)落入第一声音特征知识取值范围(kva_min, kva_max),且待审图像特征描述fg(vi j)落入第一图像特征知识取值范围(kga_min, kga_max);如果是则进行步骤S724，否则进行步骤S725。步骤S724、待审视频帧vij属于与第一样本特征知识ka对应的第a类特定审查类另Ij，如枪击类视频，本流程结束。步骤S725、判断是否待审文字特征描述fw (vij)落入第二文字特征知识取值范围(kwb_min, kwb_max)，且待审声音特征描述fv (vij)落入第二声音特征知识取值范围(kvb_min, kvb_max),且待审图像特征描述fg(vi j)落入第二图像特征知识取值范围(kgb_min, kgb_max);如果是则进行步骤S726，否则进行步骤S622。步骤S726、确定待审视频帧vij属于与第二样本特征知识kb对应的第b类特定审查类别，如抢砸类视频，本流程结束。步骤S727、判断是否待审文字特征描述fw (vij)落入第二文字特征知识取值范围(kwb_min, kwb_max)，且待审声音特征描述fv (vij)落入第二声音特征知识取值范围(kvb_min, kvb_max),且待审图像特征描述fg(vi j)落入第二图像特征知识取值范围(kgb_min, kgb_max);如果是则进行步骤S726，否则进行步骤S729。步骤S729、判断是否待审文字特征描述fw (vij)落入第一文字特征知识取值范围(kwa_min, kwa_max)，且待审声音特征描述fv (vij)落入第一声音特征知识取值范围(kva_min, kva_max),且待审图像特征描述fg(vi j)落入第一图像特征知识取值范围(kga_min, kga_max);如果是则进行步骤S724，否则进行步骤S622。步骤S622、判断是否已经完成对视频感知知识库3中所有样本特征知识的查找，如果否则进行步骤S623，如果是则本流程结束。步骤S623、感知特征模糊匹配模块3从视频感知知识库K中搜索对应分项与待审特征描述某一分项次接近的第一样本特征知识，及相应分项均与其他分项次接近的第二样本特征知识，然后进行步骤S721。本发明又提出一实施例，参照图3 (c)所示的对于第三种情况，确定待审视频帧vij所属的特定审查类别的方案包括步骤S631、感知特征模糊匹配模块3找到第一样本特征知识ka、第二样本特征知识kb和第三样本特征知识kc，三者分别有一分项是与待审特征描述某一分项最接近，则进行步骤S731 ；即如果待审文字特征描述fw (vij)与第一文字特征知识kwa最接近,待审声音特征描述fv (vij)与第二声音特征知识kvb最接近,而待审图像特征描述fg (vij)与第三图像特征知识kgc最接近。步骤S731、视频数据类型模糊判别模块4分别求出待审特征描述与各样本特征知识的总距离；即分别求出待审文字特征描述fw( vij)与第一文字特征知识kwa的距离dwa,待审声音特征描述fv (vij)与第一声音特征知识kva的距离dva,待审图像特征描述fg (vij)与第一图像特征知识kga的距离dga,得到待审特征描述与第一样本特征知识ka的总距离dao同样地分别求出待审特征描述与第二样本特征知识的kb的总距离db和待审特征描述与第三样本特征知识的kc的总距离dc。步骤S732、视频数据类型模糊判别模块4比较待审特征描述与各样本特征知识的总距离，如果da〈db〈dc,则进行步骤S733。步骤S733、判断是否待审文字特征描述fw (vij)落入第一文字特征知识取值范围(kwa_min, kwa_max)，且待审声音特征描述fv (vij)落入第一声音特征知识取值范围(kva_min, kva_max)范围，且待审图像特征描述fg (vij)落入第一图像特征知识取值范围(kga_min, kga_max);如果是则进行步骤S734,否则进行步骤S735。步骤S734、待审视频巾贞vij属于与第一样本特征知识ka对应的第a类特定审查类另IJ，如枪击类视频，则本流程结束。步骤S735、判断是否待审文字特征描述fw (vij)落入第二文字特征知识取值范围(kwb_min, kwb_max)，且待审声音特征描述fv (vij)落入第二声音特征知识取值范围(kvb_min, kvb_max)范围，且待审图像特征描述fg (vij)落入第二图像特征知识取值范围(kgb_min, kgb_max);如果是则进行步骤S736,否则进行步骤S737。步骤S736、确定待审视频巾贞vij属于与第二样本特征知识kb对应的第b类特定审查类别，如抢砸类视频，则本流程结束。步骤S737、判断是否待审文字特征描述fw (vij)落入第三文字特征知识取值范围(kwc_min, kwc_max)，且待审声音特征描述fv (vij)落入第三声音特征知识取值范围(kvc_min, kvc_max)范围，且待审图像特征描述fg (vij)落入第三图像特征知识取值范围(kgc_min, kgc_max);如果是则进行步骤S738,否则进行步骤S632。步骤S738、确定待审视频帧vij属于与第三样本特征知识kc对应的第c类特定审查类别，如裸臀类视频。步骤S632、判断是否已经完成对视频感知知识库3中所有样本特征知识的查找，如果否则进行步骤S633，如果是则本流程结束。步骤S633、感知特征模糊匹配模块3从视频感知知识库K中搜索对应一分项分别与待审特征描述各分项次接近的第一样本特征知识ka、第二样本特征知识kb和第三样本特征知识kc，然后进行步骤S731。对于db〈da〈dc、dc<db<da等多种情况，按照从总距离最小的样本特征知识到总距离最大的顺序，调整比较顺序，采用与步骤S733至步骤S738类似的步骤，依次比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型，具体流程不再赘述。若比较完三个样本特征知识，待审特征描述的各分项没有均落入同一样本特征知识的取值范围，则进行步骤S632。本发明采用的特征抽取、汇总、求距离、求总距离、求取值范围等数据处理均不限于上述各实施例中给出的示例方案，还可采用其他方案实现。参照图2示出的总流程示意图，本发明还提出一种基于感知知识库的视频内容审查方法，包括步骤S1、视频样本数据库S包括至少一视频样本子库Si，分别预先存储并管理与至少一类特定审查类别对应的样本视频；步骤S2、样本数据感知特征抽取模块I对视频样本子库Si中预先存储的样本视频，分别根据每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项；步骤S3、样本数据感知特征抽取模块2对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围；步骤S4、视频感知知识库K将与特定审查类别对应的分项样本特征知识及其取值范围存入与至少一类特定审查类别对应的视频感知知识子库Ki中；步骤S5、待审数据感知特征抽取模块2分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项；步骤S6、感知特征模糊匹配模块3分别从视频感知知识库K中搜索相应分项与待审特征描述的至少一分项最接近的样本特征知识；步骤S7、视频数据类型模糊判别模块4分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别；步骤S8、用户视频数据类型库U存储并管理待审视频帧及其所属的特定审查类别；步骤S9、审查结果综合查询模块5根据用户指令查询用户视频数据类型库U中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。本发明提出一实施例，基于上述实施例提出，步骤S6和步骤S7具体包括步骤S701、视频数据类型模糊判别模块4分析待审特征描述各分项分别与视频感知知识库K中哪些样本特征知识的对应分项最接近；步骤S702、对于待审特征描述各分项均与一样本特征知识的对应分项最接近的，视频数据类型模糊判别模块4比较待审特征描述的各分项是否落入样本特征知识的相应分项的取值范围，由此确定待审特征描述属于样本特征知识对应的特定类型；步骤S703、对于待审特征描述各分项分别与至少二样本特征知识的对应分项最接近的，视频数据类型模糊判别模块4分别求出待审特征描述与各样本特征知识的总距离；步骤S704、视频数据类型模糊判别模块4比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块4分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型；如果待审特征描述的各分项未能均落入找到的样本特征知识相应分项的取值范围，则步骤S601、感知特征模糊匹配模块3从视频感知知识库K中搜索待审特征描述各分项与对应分项次接近的至少一样本特征知识，重复求出总距离并比较判断直到完成对视频感知知识库K中所有样本特征知识的查找。以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
权利要求
1.一种基于感知知识库的视频内容审查系统，包括 视频样本数据库，包括至少一视频样本子库，分别存储并管理与至少一类特定审查类别对应的样本视频； 样本数据感知特征抽取模块，对视频样本子库中的样本视频逐帧进行感知特征抽取，产生与其每一帧对应的样本特征描述；对样本特征描述进行汇总得到样本特征知识，定义样本特征知识的取值范围； 视频感知知识库，存储并管理样本特征知识及其取值范围； 待审数据感知特征抽取模块，对待审视频逐帧进行感知特征抽取，产生与其每一帧对应的待审特征描述； 感知特征模糊匹配模块，分别从视频感知知识库中搜索与各待审特征描述最接近的样本特征知识； 视频数据类型模糊判别模块，分析找到的样本特征知识，确定所述待审特征描述对应待审视频帧所属的特定审查类别； 用户视频数据类型库，存储并管理待审视频帧及其所属的特定审查类别； 审查结果综合查询模块，根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。
2.根据权利要求1所述的基于感知知识库的视频内容审查系统，其特征在于 所述样本数据感知特征抽取模块分别对样本视频每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项。
3.根据权利要求2所述的基于感知知识库的视频内容审查系统，其特征在于 所述样本数据感知特征抽取模块对样本特征描述进行汇总得到样本特征知识，是对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；所述样本数据感知特征抽取模块分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围。
4.根据权利要求2所述的基于感知知识库的视频内容审查系统，其特征在于 视频感知知识库包括与至少一类特定审查类别对应的视频感知知识子库，分别存储与特定审查类别对应的分项样本特征知识及其取值范围。
5.根据权利要求2所述的基于感知知识库的视频内容审查系统，其特征在于 所述待审数据感知特征抽取模块分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项。
6.根据权利要求2至5任意一项所述的基于感知知识库的视频内容审查系统，其特征在于 对于待审特征描述的所有分项均与视频感知知识库中某一样本特征知识相应分项最接近的，视频数据类型模糊判别模块分别比较待审特征描述的各分项是否均落入所述样本特征知识的相应分项的取值范围，是则确定待审特征描述属于所述样本特征知识对应的特定类型，否则 感知特征模糊匹配模块从视频感知知识库中搜索所有分项均与所述待审特征描述的相应分项次接近的样本特征知识；视频数据类型模糊判别模块分别比较待审特征描述的各分项是否均落入所述次接近的样本特征知识的相应分项的取值范围，是则确定待审特征描述属于所述次接近的样本特征知识对应的特定类型，否则 感知特征模糊匹配模块继续查找次接近的样本特征知识，直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
7.根据权利要求2至5任意一项所述的基于感知知识库的视频内容审查系统，其特征在于 对于待审特征描述某一分项与视频感知知识库中第一样本特征知识的对应分项最接近，且其他分项均与第二样本特征知识的相应分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与第一样本特征知识的总距离、待审特征描述与第二样本特征知识的总距离； 视频数据类型模糊判别模块比较待审特征描述与第一样本特征知识的总距离和待审特征描述与第二样本特征知识的总距离，从总距离较小的样本特征知识到总距离较大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型； 如果待审特征描述的各分项既未均落入总距离较小的样本特征知识的相应分项的取值范围，也未均落入总距离较大的样本特征知识相应分项的取值范围，则 感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述某一分项与对应分项次接近的第一样本特征知识，且其他分项均与相应分项次接近的第二样本特征知识，重复求出所述总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
8.根据权利要求2至5任意一项所述的基于感知知识库的视频内容审查系统，其特征在于 对于待审特征描述各分项分别与视频感知知识库中至少一样本特征知识的对应一分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与各样本特征知识的总距离； 视频数据类型模糊判别模块比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型； 如果待审特征描述的各分项未均落入任何一样本特征知识相应分项的取值范围，则 感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述某一分项与对应分项次接近的至少一样本特征知识，重复求出所述总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
9.一种基于感知知识库的视频内容审查方法，包括 视频样本数据库包括至少一视频样本子库，分别预先存储并管理与至少一类特定审查类别对应的样本视频； 样本数据感知特征抽取模块对视频样本子库中预先存储的样本视频，分别根据每一帧的至少一特征进行感知特征抽取，获得与每一帧分别对应的样本特征描述的至少一分项；样本数据感知特征抽取模块对样本特征描述的至少一分项分别加权平均，得到至少一分项样本特征知识；分别对各分项样本特征知识取最小值和最大值，作为样本特征知识的取值范围； 视频感知知识库将与特定审查类别对应的分项样本特征知识及其取值范围存入与至少一类特定审查类别对应的视频感知知识子库中； 待审数据感知特征抽取模块分别对待审视频每一帧的至少一特征进行感知特征抽取，产生与其每一帧分别对应的待审特征描述的至少一分项； 感知特征模糊匹配模块分别从视频感知知识库中搜索相应分项与待审特征描述的至少一分项最接近的样本特征知识； 视频数据类型模糊判别模块分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别； 用户视频数据类型库存储并管理待审视频帧及其所属的特定审查类别； 审查结果综合查询模块根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。
10.如权利要求9所述的一种基于感知知识库的视频内容审查方法，其特征在于，所述视频数据类型模糊判别模块分析找到的至少一样本特征知识，确定与其对应的待审视频帧所属的特定审查类别包括 视频数据类型模糊判别模块分析待审特征描述各分项分别与视频感知知识库中哪些样本特征知识的对应分项最接近； 对于待审特征描述各分项均与一样本特征知识的对应分项最接近的，视频数据类型模糊判别模块比较待审特征描述的各分项是否均落入所述样本特征知识的相应分项的取值范围，由此确定待审特征描述属于所述样本特征知识对应的特定类型； 对于待审特征描述各分项分别与至少二样本特征知识的对应分项最接近的，视频数据类型模糊判别模块分别求出待审特征描述与各样本特征知识的总距离； 视频数据类型模糊判别模块比较待审特征描述与各样本特征知识的总距离，从总距离最小的样本特征知识到总距离最大的样本特征知识，视频数据类型模糊判别模块分别比较待审特征描述的各分项均落入哪一样本特征知识相应分项的取值范围，由此确定待审特征描述属于哪一样本特征知识对应的特定类型； 如果待审特征描述的各分项未能均落入找到的样本特征知识相应分项的取值范围，则感知特征模糊匹配模块从视频感知知识库中搜索待审特征描述各分项与对应分项次接近的至少一样本特征知识，重复求出所述总距离并比较判断直到确定待审特征描述所属的特定类型，或完成对视频感知知识库中所有样本特征知识的查找。
全文摘要
本发明提出一种基于感知知识库的视频内容审查系统，包括视频样本数据库、样本数据感知特征抽取模块、视频感知知识库、感知特征模糊匹配模块、视频数据类型模糊判别模块、用户视频数据类型库和审查结果综合查询模块，根据用户指令查询用户视频数据类型库中的待审视频帧及其所属的特定审查类别；和/或根据用户指定的特定类型视频告警设置，当待审视频中包含符合特定类型视频告警设置的帧，则向用户发出告警。本发明还提出一种基于感知知识库的视频内容审查方法。本发明对样本视频数据自动抽取感知知识并采用数据库管理，利用感知知识自动地审查视频内容，达到了全自动审查的目的，无需人工操作、无需编写特定的审查算法，通用性强。
文档编号G06F17/30GK103064940SQ201210572338
公开日2013年4月24日 申请日期2012年12月25日 优先权日2012年12月25日
发明者朱定局 申请人:深圳先进技术研究院