一种直播内容风险信息控制方法及系统与流程

文档序号:21369701发布日期:2020-07-04 06:23阅读:1049来源:国知局
一种直播内容风险信息控制方法及系统与流程

本申请涉及风险控制技术领域,尤其涉及一种直播内容风险信息控制方法及系统。



背景技术:

目前市面上互联网产品的所有ugc(usergeneratedcontent,用户生成内容)和pgc(professionalgeneratedcontent,专业生成内容)内容,按形态可拆分为图片(含视频截图)、文本、音频这几类,为了确保平台输出的内容无违规违法等负面信息,且能通过监管部门审查,需要对平台发布的内容进行审核。

市面上较为普遍的内容审核方法是用图像识别技术、文本识别技术和音频识别技术,对互联网产品所产生的所有内容进行识别,识别后输出三种结果:黑名单(即识别为不合规内容)、白名单(即识别为合规内容)和疑似违规(介于不合规与合规之间,识别技术难以界定),而疑似违规,一般需要人工参与判断。

现有的风险信息控制通常是将内容拆分为三种形态,分别进行内容识别,不同形态的内容无法结合起来整体、系统地形成画像,尤其是目前音频识别技术对汉语的识别并非十分精准,尤其是普通话不标准、方言多、一词多义或录音环境嘈杂不清晰的情况,对音频识别技术的精准度要求高,且音频识别技术的加入会大大提高企业的成本。



技术实现要素:

本申请提供了一种直播内容风险信息控制方法及系统,解决了现有的风险信息控制系统识别技术单一且误差较大,音频识别技术使得企业成本提高,无法实现准确、快速以及高效的风险信息控制的技术问题。

有鉴于此,本申请第一方面提供了一种直播内容风险信息控制方法,所述方法应用于直播系统中,所述直播系统包括直播频道、风险信息抓取系统、第一审核系统以及第二审核系统,所述方法包括:

所述风险信息抓取系统根据预设风险条件,抓取所述直播频道中的风险内容并生成第一工单;

所述风险信息抓取系统向所述第一审核系统发送所述第一工单,使得所述第一审核系统在基于所述第一工单生成的审核界面中生成对所述第一工单的第一审核结果;

若所述第一审核结果为疑似违规,则所述第一审核系统生成第二工单,并向所述第二审核系统发送所述第二工单;

所述第二审核系统在基于所述第二工单生成的审核界面中获取所述直播频道的实时音频,并生成对所述第二工单的第二审核结果。

可选地,若所述第一审核结果为不违规,则所述第一审核系统忽略所述第一工单。

可选地,所述风险信息抓取系统根据预设风险条件,抓取所述直播频道中的风险内容并生成第一工单具体包括:

所述风险信息抓取系统根据预设风险条件,对所述直播频道中的频道文本信息以及图片信息进行识别,抓取所述直播频道中识别为风险内容的信息并生成第一工单。

可选地,所述风险信息抓取系统根据预设风险条件,抓取所述直播频道中的风险内容并生成第一工单具体包括:

所述风险信息抓取系统根据预设风险条件,对所述直播频道中的公屏实时聊天信息进行识别,抓取所述直播频道中识别为风险内容的信息并生成第一工单。

本申请第二方面提供一种直播内容风险信息控制系统,所述系统包括:

风险信息抓取系统、第一审核系统以及第二审核系统;

所述风险信息抓取系统根据预设风险条件,抓取直播频道中的风险内容并生成第一工单;

所述风险信息抓取系统向所述第一审核系统发送所述第一工单,使得所述第一审核系统在基于所述第一工单生成的审核界面中生成对所述第一工单的第一审核结果;

若所述第一审核结果为疑似违规,则所述第一审核系统生成第二工单,并向所述第二审核系统发送所述第二工单;

所述第二审核系统在基于所述第二工单生成的审核界面中获取所述直播频道的实时音频,并生成对所述第二工单的第二审核结果。

可选地,若所述第一审核结果为不违规,则所述第一审核系统忽略所述第一工单。

可选地,所述风险信息抓取系统根据预设风险条件,抓取所述直播频道中的风险内容并生成第一工单具体包括:

所述风险信息抓取系统根据预设风险条件,对所述直播频道中的频道文本信息以及图片信息进行识别,抓取所述直播频道中识别为风险内容的信息并生成第一工单。

可选地,所述风险信息抓取系统根据预设风险条件,抓取所述直播频道中的风险内容并生成第一工单具体包括:

所述风险信息抓取系统根据预设风险条件,对所述直播频道中的公屏实时聊天信息进行识别,抓取所述直播频道中识别为风险内容的信息并生成第一工单。

从以上技术方案可以看出,本申请实施例具有以下优点:

本申请实施例中,提供了一种直播内容风险信息控制方法,通过风险信息抓取系统抓取直播频道中的风险内容并生成第一工单,再在第一审核系统内进行一次人工审核,得到第一审核结果,若第一审核结果为疑似违规,则生成第二工单并发送至第二审核系统,在第二审核系统中结合直播频道的实时音频进行二次人工复核,避免了音频识别技术的识别误差,解决了现有的风险信息控制系统识别技术单一且误差较大,音频识别技术使得企业成本提高,无法实现准确、快速以及高效的风险信息控制的技术问题。

附图说明

图1为本申请实施例中一种直播内容风险信息控制系统的一个系统结构图;

图2为本申请实施例中一种直播内容风险信息控制方法的第一个方法实施例的流程示意图;

图3为本申请实施例中一种直播内容风险信息控制方法的第二个方法实施例的流程示意图;

图4为本申请实施例中一种直播内容风险信息控制方法的第三个方法实施例的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

应理解,本申请应用于一种直播内容风险信息控制系统,请参阅图1,图1为本申请实施例中一种直播内容风险信息控制系统的系统架构图,如图1所示,图1中包括风险信息抓取系统01、第一审核系统02以及第二审核系统03。

本申请设计了一种直播内容风险信息控制方法及系统,解决了现有的风险信息控制系统识别技术单一且误差较大,音频识别技术使得企业成本提高,无法实现准确、快速以及高效的风险信息控制的技术问题。

为了便于理解,请参阅图2,图2为本申请实施例中一种直播内容风险信息控制方法的第一个方法流程图,如图2所示,具体为:

201、风险信息抓取系统01根据预设风险条件,抓取直播频道中的风险内容并生成第一工单;

需要说明的是,风险信息抓取系统01中预置的预设风险条件包括但不限于:

1、图片、文本识别技术的识别结果为黑名单或疑似违规中,符合敏感条件的内容;

2、音频识别技术识别为黑名单或疑似违规的内容;

3、针对直播频道,各内容产生部位的关键词是否属于敏感词汇,产生部位包括频道名字、频道话题、频道欢迎语等频道信息;

4、拥有严重的历史违规记录的用户和频道;

5、信用分低于预设值的用户和频道。

风险信息抓取系统01在检测到直播频道中存在满足预设风险条件的内容后,将抓取直播频道中的风险内容并生成第一工单。

202、风险信息抓取系统01向第一审核系统02发送第一工单,使得第一审核系统02在基于第一工单生成的审核界面中生成对第一工单的第一审核结果;

需要说明的是,风险信息抓取系统01生成了第一工单后,将向第一审核系统02发送该第一工单,使得人工在第一审核系统02中,基于第一工单生成的审核界面中进行审核,得到对第一工单的第一审核结果并上传至第一审核系统02中。

203、若第一审核结果为疑似违规,则第一审核系统02生成第二工单,并向第二审核系统03发送第二工单;

需要说明的是,若人工初步审核的第一审核结果为疑似违规,则第一审核系统02在获取到第一审核结果后,将生成第二工单,并向第二审核系统03发送第二工单。

204、第二审核系统03在基于第二工单生成的审核界面中获取直播频道的实时音频,并生成对第二工单的第二审核结果。

需要说明的是,在人工对第一工单的第一审核结果为疑似违规的前提下,第二审核系统03接收第一审核系统02发送的第二工单,使得人工可以在基于第二工单生成的审核界面中,直接通过获取的直播频道的实时音频进行实时地监听审核,结合风险信息抓取系统01抓取的风险内容,人工确定第二工单的第二审核结果。

可以理解的是,由于语言的多样性以及音频识别技术的不稳定性,再经过风险信息抓取系统01以及第一审核系统02的两轮筛选后,通过直接获取直播频道的实时音频进行人工审核,进一步提高审核的准确性,降低风险。

进一步地,205、若第一审核结果为不违规,则第一审核系统02忽略第一工单。

本申请实施例中,提供了一种直播内容风险信息控制方法,通过风险信息抓取系统01抓取直播频道中的风险内容并生成第一工单,再在第一审核系统02内进行一次人工审核,得到第一审核结果,若第一审核结果为疑似违规,则生成第二工单并发送至第二审核系统03,在第二审核系统03中结合直播频道的实时音频进行二次人工复核,避免了音频识别技术的识别误差,解决了现有的风险信息控制系统识别技术单一且误差较大,音频识别技术使得企业成本提高,无法实现准确、快速以及高效的风险信息控制的技术问题。

请参阅图3,图3为本申请实施例中一种直播内容风险信息控制方法的第二个方法流程图,如图3所示,具体为:

301、风险信息抓取系统01根据预设风险条件,对直播频道中的频道文本信息以及图片信息进行识别,抓取直播频道中识别为风险内容的信息并生成第一工单;

需要说明的是,风险信息抓取系统01中预置的预设风险条件包括但不限于:

1、图片、文本识别技术的识别结果为黑名单或疑似违规中,符合敏感条件的内容;

2、音频识别技术识别为黑名单或疑似违规的内容;

3、针对直播频道,各内容产生部位的关键词是否属于敏感词汇,产生部位包括频道名字、频道话题、频道欢迎语等频道信息;

4、拥有严重的历史违规记录的用户和频道;

5、信用分低于预设值的用户和频道。

风险信息抓取系统01在检测到直播频道的异步内容(文本、图片)中存在满足预设风险条件的内容后,将抓取直播频道中的风险内容并生成第一工单。

302、风险信息抓取系统01向第一审核系统02发送第一工单,使得第一审核系统02在基于第一工单生成的审核界面中生成对第一工单的第一审核结果;

需要说明的是,风险信息抓取系统01生成了第一工单后,将向第一审核系统02发送该第一工单,使得人工在第一审核系统02中,基于第一工单生成的审核界面中进行审核,得到对第一工单的第一审核结果并上传至第一审核系统02中。

303、若第一审核结果为疑似违规,则第一审核系统02生成第二工单,并向第二审核系统03发送第二工单;

需要说明的是,若人工初步审核的第一审核结果为疑似违规,则第一审核系统02在获取到第一审核结果后,将生成第二工单,并向第二审核系统03发送第二工单。

304、第二审核系统03在基于第二工单生成的审核界面中获取直播频道的实时音频,并生成对第二工单的第二审核结果。

需要说明的是,在人工对第一工单的第一审核结果为疑似违规的前提下,第二审核系统03接收第一审核系统02发送的第二工单,使得人工可以在基于第二工单生成的审核界面中,直接通过获取的直播频道的实时音频进行实时地监听审核,结合风险信息抓取系统01抓取的风险内容,人工确定第二工单的第二审核结果。

可以理解的是,由于语言的多样性以及音频识别技术的不稳定性,再经过风险信息抓取系统01以及第一审核系统02的两轮筛选后,通过直接获取直播频道的实时音频进行人工审核,进一步提高审核的准确性,降低风险。

请参阅图4,图4为本申请实施例中一种直播内容风险信息控制方法的第三个方法流程图,如图4所示,具体为:

401、风险信息抓取系统01根据预设风险条件,对直播频道中的公屏实时聊天信息进行识别,抓取直播频道中识别为风险内容的信息并生成第一工单;

需要说明的是,风险信息抓取系统01中预置的预设风险条件包括但不限于:

1、图片、文本识别技术的识别结果为黑名单或疑似违规中,符合敏感条件的内容;

2、音频识别技术识别为黑名单或疑似违规的内容;

3、针对直播频道,各内容产生部位的关键词是否属于敏感词汇,产生部位包括频道名字、频道话题、频道欢迎语等频道信息;

4、拥有严重的历史违规记录的用户和频道;

5、信用分低于预设值的用户和频道。

风险信息抓取系统01在检测到直播频道中公屏的实时聊天信息中存在满足预设风险条件的内容后,将抓取直播频道中的风险内容并生成第一工单。

402、风险信息抓取系统01向第一审核系统02发送第一工单,使得第一审核系统02在基于第一工单生成的审核界面中生成对第一工单的第一审核结果;

需要说明的是,风险信息抓取系统01生成了第一工单后,将向第一审核系统02发送该第一工单,使得人工在第一审核系统02中,基于第一工单生成的审核界面中进行审核,得到对第一工单的第一审核结果并上传至第一审核系统02中。

403、若第一审核结果为疑似违规,则第一审核系统02生成第二工单,并向第二审核系统03发送第二工单;

需要说明的是,若人工初步审核的第一审核结果为疑似违规,则第一审核系统02在获取到第一审核结果后,将生成第二工单,并向第二审核系统03发送第二工单。

404、第二审核系统03在基于第二工单生成的审核界面中获取直播频道的实时音频,并生成对第二工单的第二审核结果。

需要说明的是,在人工对第一工单的第一审核结果为疑似违规的前提下,第二审核系统03接收第一审核系统02发送的第二工单,使得人工可以在基于第二工单生成的审核界面中,直接通过获取的直播频道的实时音频进行实时地监听审核,结合风险信息抓取系统01抓取的风险内容,人工确定第二工单的第二审核结果。

可以理解的是,由于语言的多样性以及音频识别技术的不稳定性,再经过风险信息抓取系统01以及第一审核系统02的两轮筛选后,通过直接获取直播频道的实时音频进行人工审核,进一步提高审核的准确性,降低风险。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(英文全称:read-onlymemory,英文缩写:rom)、随机存取存储器(英文全称:randomaccessmemory,英文缩写:ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1