内容识别方法、装置和存储介质及电子设备与流程

文档序号:27130920发布日期:2021-10-29 21:11阅读:181来源:国知局
内容识别方法、装置和存储介质及电子设备与流程

1.本发明涉及计算机领域,具体而言,涉及一种内容识别方法、装置和存储介质及电子装置。


背景技术:

2.近年来直播行业的发展快速,尤其是游戏直播的发展更是迅猛,但由于直播平台的背景不同,导致了很多游戏需要被识别出来并且屏蔽掉。但由于相同类型的游戏内容较为相似,进而无法根据正播放的目标视频所播放的画面准确识别出对应的游戏信息。即,相关技术中存在游戏内容识别准确性较低的技术问题。
3.针对上述的问题,目前尚未提出有效的解决方案。


技术实现要素:

4.本发明实施例提供了一种内容识别方法、装置和存储介质及电子装置,以至少解决游戏内容识别的准确性较低的技术问题。
5.根据本发明实施例的一个方面,提供了一种区域动态调整方法,包括:从目标视频中获取n帧图像,其中,n为大于或等于1的整数;提取上述n帧图像中每一帧图像的边缘特征,其中,上述边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,上述边缘区域与上述图像帧的中心点之间的距离大于或等于预设阈值,上述参考信息用于指示上述目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;在根据上述边缘特征获取到上述目标视频所播放的画面对应的目标标签的情况下,显示上述目标标签,其中,上述目标标签用于指示上述目标视频所属应用为目标应用。
6.根据本发明实施例的另一方面,还提供了一种区域动态调整装置,包括:第一获取单元,用于从目标视频中获取n帧图像,其中,n为大于或等于1的整数;第一提取单元,用于提取上述n帧图像中每一帧图像的边缘特征,其中,上述边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,上述边缘区域与上述图像帧的中心点之间的距离大于或等于预设阈值,上述参考信息用于指示上述目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;第一显示单元,用于在根据上述边缘特征获取到上述目标视频所播放的画面对应的目标标签的情况下,显示上述目标标签,其中,上述目标标签用于指示上述目标视频所属应用为目标应用。
7.根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述区域动态调整方法。
8.根据本发明实施例的又一方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的区域动态调整方法。
9.在本发明实施例中,从目标视频中获取n帧图像,其中,n为大于或等于1的整数;提
取上述n帧图像中每一帧图像的边缘特征,其中,上述边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,上述边缘区域与上述图像帧的中心点之间的距离大于或等于预设阈值,上述参考信息用于指示上述目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;在根据上述边缘特征获取到上述目标视频所播放的画面对应的目标标签的情况下,显示上述目标标签,其中,上述目标标签用于指示上述目标视频所属应用为目标应用,利用分布在一帧图像的边缘区域内与受控虚拟对象关联的信息识别出目标视频中所播放的目标视频所播放的画面对应的目标标签,进而达到了准确识别出目标视频所播放的画面对应的游戏信息的目的,从而实现了提高游戏内容识别的准确性的技术效果,进而解决了游戏内容识别的准确性较低的技术问题。
附图说明
10.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
11.图1是根据本发明实施例的一种可选的内容识别方法的应用环境的示意图;
12.图2是根据本发明实施例的一种可选的内容识别方法的流程图的示意图;
13.图3是根据本发明实施例的一种可选的内容识别方法的示意图;
14.图4是根据本发明实施例的另一种可选的内容识别方法的示意图;
15.图5是根据本发明实施例的另一种可选的内容识别方法的示意图;
16.图6是根据本发明实施例的另一种可选的内容识别方法的示意图;
17.图7是根据本发明实施例的另一种可选的内容识别方法的示意图;
18.图8是根据本发明实施例的另一种可选的内容识别方法的示意图;
19.图9是根据本发明实施例的另一种可选的内容识别方法的示意图;
20.图10是根据本发明实施例的另一种可选的内容识别方法的示意图;
21.图11是根据本发明实施例的另一种可选的内容识别方法的示意图;
22.图12是根据本发明实施例的一种可选的游戏内容识别装置的示意图;
23.图13是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
24.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
25.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
26.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
27.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
28.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
29.机器学习(machine learning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
30.随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
31.本技术实施例提供的方案涉及人工智能的计算机视觉、机械学习等技术,具体通过如下实施例进行说明:
32.本技术的方案可应用于识别多种应用界面,如游戏界面、监控界面、遥控操作界面等。
33.根据本发明实施例的一个方面,提供了一种内容识别方法,可选地,作为一种可选的实施方式,上述内容识别方法可以但不限于应用于如图1所示的环境中。其中,可以但不限于包括用户设备102、网络110及服务器112,其中,该用户设备102上可以但不限于包括显示器108、处理器106及存储器104。可选的,在图1中,显示器108正播放目标视频(该目标视频以一帧的游戏画面为例)。
34.具体过程可如下步骤:
35.步骤s102,用户设备102从播放在显示器108的目标视频中获取n帧图像,其中,目
标视频播放的可以但不限于为目标游戏中播放的画面;
36.步骤s104

s106,用户设备102通过网络110将n帧图像发送给服务器112;
37.步骤s108,服务器112通过处理引擎116提取n帧图像中每一帧图像的边缘特征,从而生成边缘特征对应的目标标签(或识别结果);
38.步骤s110

s112,服务器112通过网络110将目标标签(或识别结果)发送给用户设备102(或其他用户设备,例如审核人员持有的设备等),用户设备102中的处理器106将目标标签(或识别结果)显示在显示器108中,并将目标标签(或识别结果)存储在存储器104中。
39.除图1示出的示例之外,上述步骤可以由用户设备102独立完成,即由用户设备102执行边缘特征的提取、目标标签的生成等步骤,从而减轻服务器的处理压力,例如由服务器112生成识别结果,再由用户设备102根据接收到的识别结果生成目标标签。该用户设备102包括但不限于手持设备(如手机)、笔记本电脑、台式电脑、车载设备等,本发明并不限制用户设备102的具体实现方式。
40.可选地,作为一种可选的实施方式,如图2所示,内容识别方法包括:
41.s202,从目标视频中获取n帧图像,其中,n为大于或等于1的整数;
42.s204,提取n帧图像中每一帧图像的边缘特征,其中,边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,边缘区域与图像帧的中心点之间的距离大于或等于预设阈值,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;
43.s206,在根据边缘特征获取到目标视频所播放的画面对应的目标标签的情况下,显示目标标签,其中,目标标签用于指示目标视频所属应用为目标应用。
44.可选地,在本实施例中,内容识别方法可以但不限于应用在视频平台中播放的射击类游戏视频的识别场景,用于识别射击游戏视频对应的射击游戏信息,并进一步由审核人员根据对应的射击游戏信息处理该射击游戏视频,例如从播放有射击类目标视频所播放的画面的视频中获取n帧图像,根据n帧图像中每一帧图像的边缘区域内显示的参考信息的特征,确定该视频所播放的目标视频所播放的画面对应的游戏标签,其中,该游戏标签用于表示对应游戏的相关信息,如游戏名、游戏所属厂商、游戏是否允许播放等。
45.可选地,在本实施例中,内容识别方法可以但不限于应用在视频平台中播放的多类游戏视频的识别场景,用于识别游戏视频对应的游戏类型,并进一步由工作人员根据对应的游戏类型将该游戏视频分类播放在视频平台下的对应子平台上,例如从播放有未知类型的目标视频所播放的画面的视频中获取n帧图像,根据n帧图像中每一帧图像的边缘区域内显示的参考信息的特征,确定该视频所播放的目标视频所播放的画面对应的游戏标签,其中,该游戏标签用于表示对应游戏的相关信息,如游戏类型、游戏名等。
46.可选地,在本实施例中,内容识别方法可以但不限于应用在显示在操控界面中的视频内容识别场景,其中,操控界面可以但不限于为智能装置的操控界面,例如无人机、无人车、vr等。此处仅为举例说明,在此不做限定。
47.可选地,在本实施例中,可以但不限于从目标视频中获取一组连续的多帧图像,也可以但不限于将目标视频按照一定的时间间隔进行抽帧,形成按时间顺序排列的图像序列,并将该一组连续的多帧图像或图像序列作为n帧图像,或进一步处理该一组连续的多帧图像或图像序列,例如过滤删除其中的空白或低信息量的帧,然后对图像帧进行排重,使得
待识别图像尽可能的不一致且多样化,以提高识别效率。
48.可选地,在本实施例中,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息,例如受控虚拟对象关联的方向,比分、血量、地图、位置等。此外,用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息可以但不限于为第一参考信息,还可以但不限于包括与受控虚拟对象无关的第二参考信息,例如游戏图标、游戏logo、游戏名等,参考信息包括第一参考信息和第二参考信息。
49.进一步举例说明,考虑到游戏内容相似度较高,尤其是相似游戏题材的游戏内容相似度更高的情况,进而需捕捉到不同游戏的在表观上的明显区别,才能提高游戏内容的识别准确性,可选的例如图3所示,游戏画面302中的大部分游戏元素与其他游戏的游戏元素的区别可能只在细微,但阴影中的参考信息304对应的游戏元素,却能很好的区分开游戏与游戏之间的区别,原因在于参考信息304对应的多为布局在游戏画面302的边缘却带有游戏特色属性的基础信息(例如受控虚拟对象关联的方向,比分、血量、地图、位置),而非显示在游戏画面302的中心但缺乏游戏特色属性的主体信息(例如以受控虚拟对象、虚拟道具、游戏背景等)。
50.可选地,在本实施例中,可以但不限于将目标标签显示在关联的用户设备上,以供审核人员根据目标标签对该目标视频做出审核操作。此外,还可以但不限于直接根据目标标签自动对该目标视频做出目标操作,其中,目标操作可以但不限于包括用于分类视频的第一操作,以及用于审核视频的第二操作,分类视频用于表示根据目标标签将目标视频分至目标标签对应的类平台中进行展示以及播放,审核视频用于表示根据目标标签审核目标视频是否符合播放条件,如果不符合,则禁止目标视频的播放,并发送提示信息以提示目标视频的播放方进行整改,若符合,则允许目标视频的播放,并调取下一个播放有游戏画面的视频。
51.可选地,在本实施例中,边缘区域可以但不限于为矩形、圆形、椭圆形或不规则的形状。此外,边缘区域与图像帧的中心点之间的距离可以但不限于为最大距离、最小距离、平均距离、选取距离、方差距离等,在此不做限定。
52.进一步举例说明,可选的例如图4所示,在图像402中,包含了中心点404,以及除以中心点404为圆心、以距离406为半径成圆形以外的边缘区域408(阴影部分),可以看出的是,距离406为边缘区域408与中心点404的最小距离;
53.此外,为表示边缘区域的获取不做限定,可选的再以图4所示场景,继续例如图5所示,在图像402中,包括了中心点404,以及边缘区域506,可以看出的是,距离502为边缘区域506与中心点404的最大距离,而距离504为边缘区域506与中心点404的最小距离。
54.需要说明的是,从目标视频中获取n帧图像,其中,n为大于或等于1的整数;提取n帧图像中每一帧图像的边缘特征,其中,边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,边缘区域与图像帧的中心点之间的距离大于或等于预设阈值,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;在根据边缘特征获取到目标视频所播放的画面对应的目标标签的情况下,显示目标标签,其中,目标标签用于指示目标视频所属应用为目标应用。
55.进一步举例说明,可选的假设目标视频中获取的n帧图像的一帧图像对应目标视频所播放的画面如图6的游戏画面602所示,则边缘区域604可以但不限于为游戏画面602上
方靠近边缘的部分区域,进而提取边缘区域604内显示的参考信息的特征,并根据该特征确定游戏画面602所示游戏对应的目标标签。
56.进一步举例说明,可选的假设内容识别方法的执行流程如图7所示,先获取待识别图像702(从目标视频中获取n帧图像),再提取待识别图像702的边缘特征704(提取n帧图像中每一帧图像的边缘特征),最后根据边缘特征704确定出待识别图像702对应的目标标签706(根据边缘特征获取到目标视频所播放的画面对应的目标标签)。
57.通过本技术提供的实施例,从目标视频中获取n帧图像,其中,n为大于或等于1的整数;提取n帧图像中每一帧图像的边缘特征,其中,边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,边缘区域与图像帧的中心点之间的距离大于或等于预设阈值,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;在根据边缘特征获取到目标视频所播放的画面对应的目标标签的情况下,显示目标标签,其中,目标标签用于指示目标视频所属应用为目标应用,利用分布在一帧图像的边缘区域内与受控虚拟对象关联的信息识别出目标视频中所播放的目标视频所播放的画面对应的目标标签,进而达到了准确识别出目标视频所播放的画面对应的游戏信息的目的,从而实现了提高游戏内容识别的准确性的技术效果。
58.作为一种可选的方案,在从目标视频中获取n帧图像之后,包括:
59.s1,提取每一帧图像的全局特征,其中,全局特征用于表示一帧图像对应的画面的全局图像信息;
60.s2,融合全局特征和边缘特征,以获得目标特征;
61.s3,显示目标特征对应的目标标签。
62.可选地,在本实施例中,一方面考虑到有的目标视频所播放的画面可能因为缺失或其他原因使得参考信息的参考价值不足以确定该目标视频所播放的画面的游戏信息,另一方面还考虑到识别游戏内容时候的依据全面性,进而还提取了每一帧图像的用于表示一帧图像对应的目标视频所播放的画面的全局图像信息的特征,其中可选的,全家图像信息可以但不限于包括目标视频所播放的画面的主体内容以及目标视频所播放的画面背景,例如主体内容为第一或第三人称的玩家,拿着枪支或者刀具,目标视频所播放的画面背景则比较复杂,例如房间,野外,车内等等。
63.可选地,在本实施例中,融合全局特征和边缘特征可以但不限于为直接拼接不同向量长度的全局特征和边缘特征,也可以但不限于为先将不同长度的全局特征和边缘特征卷积为相同长度的向量,再对相同长度的向量进行拼接,还可以但不限于为根据预设的长度限制截取相同长度的全局特征以及边缘特征卷积,再进行拼接。
64.需要说明的是,提取每一帧图像的全局特征,其中,全局特征用于表示一帧图像对应的画面的全局图像信息;再提取到边缘特征的情况下,融合全局特征和边缘特征,以获得目标特征;显示目标特征对应的目标标签。
65.进一步举例说明,可选的基于图7所示场景,继续例如图8所示,先获取待识别图像702(从目标视频中获取n帧图像),再提取待识别图像702的边缘特征704以及全局特征802(提取n帧图像中每一帧图像的边缘特征以及全局特征),进而根据边缘特征704以及全局特征802融合出的目标特征804确定出待识别图像702对应的目标标签806(根据边缘特征以及全局特征融合出的目标特征获取到目标视频所播放的画面对应的目标标签)。
66.通过本技术提供的实施例,提取每一帧图像的全局特征,其中,全局特征用于表示图像帧对应的画面的全局图像信息;融合全局特征和边缘特征,以获得目标特征;显示目标特征对应的目标标签,达到了提高获取目标标签所依据的特征全面性的目的,实现了提高目标标签的获取准确性的效果。
67.作为一种可选的方案,提取一帧图像的全局特征,包括:
68.s1,提取每一帧图像的底层特征,其中,底层特征用于表示图像帧对应的图像信息;
69.s2,对底层特征执行第一卷积操作,以获得全局特征。
70.可选地,在本实施例中,可以但不限于采用特征抽取结构(例如resnet、densent等网络结构)对每一帧图像执行抽取操作,以抽取其底层的特征(底层特征)。可以但不限于采用卷积结构(例如lenet、alexnet、zf net等网络结构)对底层特征执行第一卷积操作。
71.需要说明的是,提取每一帧图像的底层特征,其中,底层特征用于表示图像帧对应的图像信息;对底层特征执行第一卷积操作,以获得全局特征。
72.进一步举例说明,可选的例如基于深度学习的分类方法,通过预先构造好的一个卷积网络,以处理(提取每一帧图像的底层特征、对底层特征执行第一卷积操作)每一帧图像。
73.通过本技术提供的实施例,提取每一帧图像的底层特征,其中,底层特征用于表示图像帧对应的图像信息;对底层特征执行第一卷积操作,以获得全局特征,达到了通过一系列处理以获得表证更准确的全局特征的目的,实现了提高全局特征的表征准确性的效果。
74.作为一种可选的方案,提取n帧图像中每一帧图像的边缘特征,包括:
75.s1,在提取到底层特征的情况下,对底层特征进行拆分,以获得局部特征,其中,局部特征用于表示边缘区域对应的图像信息;
76.s2,对局部特征执行第二卷积操作,以获得高层局部特征,其中,高层局部特征用于表示边缘区域对应的图像信息中与受控虚拟对象关联的信息;
77.s3,将高层局部特征确定为边缘特征。
78.可选地,在本实施例中,对底层特征进行拆分可以但不限于为切出底层特征blob,例如拆分底层特征最上方、下方、左边、,右边1/8的特征(局部特征);再可以但不限于可以但不限于采用卷积结构(例如lenet、alexnet、zf net等网络结构)对上述最上方、下方、左边、,右边1/8的特征执行第二卷积操作,以获得局部高层的特征(高层局部特征),进而使得上述局部高层的特征可以表证出游戏画面中上下左右边界分布的相关游戏信息。
79.需要说明的是,在提取到底层特征的情况下,对底层特征进行拆分,以获得局部特征,其中,局部特征用于表示边缘区域对应的图像信息;对局部特征执行第二卷积操作,以获得高层局部特征,其中,高层局部特征用于表示边缘区域对应的图像信息中与受控虚拟对象关联的信息;将高层局部特征确定为边缘特征。
80.进一步举例说明,可选的例如基于深度学习的分类方法,通过预先构造好的一个卷积网络,以处理(提取每一帧图像的底层特征、对底层特征进行拆分、对局部特征执行第二卷积操作)每一帧图像。
81.通过本技术提供的实施例,在提取到底层特征的情况下,对底层特征进行拆分,以获得局部特征,其中,局部特征用于表示边缘区域对应的图像信息;对局部特征执行第二卷
积操作,以获得高层局部特征,其中,高层局部特征用于表示边缘区域对应的图像信息中与受控虚拟对象关联的信息;将高层局部特征确定为边缘特征,达到了通过一系列处理以获得表证更准确的边缘特征的目的,实现了提高边缘特征的表征准确性的效果。
82.作为一种可选的方案,在从目标视频中获取n帧图像之后,包括:
83.s1,在提取到全局特征以及达到第一识别条件的边缘特征的情况下,显示边缘特征对应的目标标签,其中,第一识别条件为参考信息的信息量达到第一阈值;
84.s2,在提取到全局特征以及未达到第一识别条件的边缘特征的情况下,显示目标特征对应的目标标签。
85.可选地,在本实施例中,考虑到边缘特征的参考价值有高有低,如果一味地以来于边缘特征进行游戏内容的识别,一方面不利于游戏内容的识别全面性的提升,另一方面在边缘特征的参考价值较低的情况下,也无法暴躁游戏内容的基本识别准确性。在此基础上,设置第一识别条件,以确定边缘特征的参考价值,并在边缘特征的参考价值高(提取到全局特征以及达到第一识别条件的边缘特征)的情况下,显示边缘特征对应的目标标签,以及在边缘特征的参考价值低(提取到全局特征以及未达到第一识别条件的边缘特征)的情况下,显示目标特征对应的目标标签。
86.需要说明的是,在提取到全局特征以及达到第一识别条件的边缘特征的情况下,显示边缘特征对应的目标标签,其中,第一识别条件为参考信息的信息量达到第一阈值;在提取到全局特征以及未达到第一识别条件的边缘特征的情况下,显示目标特征对应的目标标签。
87.进一步举例说明,可选的基于图7所示场景,继续例如图8所示,先获取待识别图像702(从目标视频中获取n帧图像),再提取待识别图像702的边缘特征704以及全局特征802(提取n帧图像中每一帧图像的边缘特征以及全局特征),进而假设边缘特征704未达到识别条件,则根据边缘特征704以及全局特征802融合出的目标特征804确定出待识别图像702对应的目标标签806(根据边缘特征以及全局特征融合出的目标特征获取到目标视频所播放的画面对应的目标标签)。
88.通过本技术提供的实施例,在提取到全局特征以及达到第一识别条件的边缘特征的情况下,显示边缘特征对应的目标标签,其中,第一识别条件为参考信息的信息量达到第一阈值;在提取到全局特征以及未达到第一识别条件的边缘特征的情况下,显示目标特征对应的目标标签,达到了即使在边缘特征未达到第一识别条件的情况下,充分全局特征完成游戏内容识别的目的,实现了保证游戏内容的识别准确性的效果。
89.作为一种可选的方案,在从目标视频中获取n帧图像之后,包括:
90.s1,在提取到全局特征以及未达到第二识别条件的边缘特征的情况下,显示全局特征对应的目标标签,其中,第一识别条件为参考信息的信息量达到第二阈值;
91.s2,在提取到全局特征以及达到第二识别条件的边缘特征的情况下,显示目标特征对应的目标标签。
92.可选地,在本实施例中,考虑到边缘特征的参考价值有高有低,如果一味地以来于边缘特征进行游戏内容的识别,一方面不利于游戏内容的识别全面性的提升,另一方面在边缘特征的参考价值较低的情况下,也无法暴躁游戏内容的基本识别准确性。在此基础上,设置第二识别条件,以确定边缘特征的参考价值,并在边缘特征的参考价值低(提取到全局
特征以及未达到第二识别条件的边缘特征)的情况下,显示全局特征对应的目标标签,以及在边缘特征的参考价值高(提取到全局特征以及达到第二识别条件的边缘特征)的情况下,显示目标特征对应的目标标签。
93.需要说明的是,在提取到全局特征以及未达到第二识别条件的边缘特征的情况下,显示全局特征对应的目标标签,其中,第一识别条件为参考信息的信息量达到第二阈值;在提取到全局特征以及达到第二识别条件的边缘特征的情况下,显示目标特征对应的目标标签。
94.进一步举例说明,可选的基于图8所示场景,继续例如图9所示,先获取待识别图像702(从目标视频中获取n帧图像),再提取待识别图像702的边缘特征704以及全局特征802(提取n帧图像中每一帧图像的边缘特征以及全局特征),进而假设边缘特征704未达到识别条件,则仅全局特征802确定出待识别图像702对应的目标标签902(根据边缘特征以及全局特征融合出的目标特征获取到目标视频所播放的画面对应的目标标签)。
95.进一步举例说明,可选的基于图7所示场景,继续例如图8所示,先获取待识别图像702(从目标视频中获取n帧图像),再提取待识别图像702的边缘特征704以及全局特征802(提取n帧图像中每一帧图像的边缘特征以及全局特征),进而假设边缘特征704已达到识别条件,但为出于识别全面性的考虑,仍根据边缘特征704以及全局特征802融合出的目标特征804确定出待识别图像702对应的目标标签806(根据边缘特征以及全局特征融合出的目标特征获取到目标视频所播放的画面对应的目标标签)。
96.通过本技术提供的实施例,在提取到全局特征以及未达到第二识别条件的边缘特征的情况下,显示全局特征对应的目标标签,其中,第一识别条件为参考信息的信息量达到第二阈值;在提取到全局特征以及未达到第一识别条件的边缘特征的情况下,显示目标特征对应的目标标签,达到了提高用于识别游戏内容的特征全面性的目的,实现了提高游戏内容的识别全面性的效果。
97.作为一种可选的方案,提取n帧图像中每一帧图像的边缘特征,包括:
98.将n帧图像依次输入图像识别模型的第一网络结构,以获得第一网络结构输出的边缘特征,其中,图像识别模型是使用从视频中提取的多个样本图像分别对初始神经网络模型进行训练得到的模型,第一网络结构用于拆分以及卷积每一帧图像对应的底层特征,底层特征用于表示图像帧对应的图像信息;
99.作为一种可选的方案,提取每一帧图像的全局特征,包括:
100.将n帧图像输入图像识别模型的第二网络结构,以获得第二网络结构输出的全局特征,第二网络结构用于卷积每一帧图像对应的底层特征。
101.需要说明的是,将n帧图像依次输入图像识别模型的第一网络结构,以获得第一网络结构输出的边缘特征,其中,图像识别模型是使用从视频中提取的多个样本图像分别对初始神经网络模型进行训练得到的模型,第一网络结构用于拆分以及卷积每一帧图像对应的底层特征,底层特征用于表示图像帧对应的图像信息;将n帧图像输入图像识别模型的第二网络结构,以获得第二网络结构输出的全局特征,第二网络结构用于卷积每一帧图像对应的底层特征。
102.进一步举例说明,可选的例如图10所示,具体步骤如下:
103.s1002,将样本图像输入图像识别模型;
104.s1004,在图像识别模型的输入层中提取样本图像的底层特征;
105.s1006

1,在第一网络结构中拆分底层特征的局部特征;
106.s1006

2,在第二网络结构中提取底层特征的高层特征;
107.s1008

1,获取第一网络结构输出的高层局部特征;
108.s1008

2,获取第二网络结构输出的全局特征;
109.s1010,融合高层局部特征以及全局特征;
110.s1012,生成游戏标签(即目标标签)。
111.通过本技术提供的实施例,将n帧图像依次输入图像识别模型的第一网络结构,以获得第一网络结构输出的边缘特征,其中,图像识别模型是使用从视频中提取的多个样本图像分别对初始神经网络模型进行训练得到的模型,第一网络结构用于拆分以及卷积每一帧图像对应的底层特征,底层特征用于表示图像帧对应的图像信息;将n帧图像输入图像识别模型的第二网络结构,以获得第二网络结构输出的全局特征,第二网络结构用于卷积每一帧图像对应的底层特征,达到了利用高效的网络结构以完成游戏内容的识别过程的目的,实现了提高游戏内容的识别效率的效果。
112.作为一种可选的方案,在从目标视频中获取n帧图像之前,包括:
113.s1,获取多个样本图像;
114.s2,对每个样本图像所关联的信息进行第一标记,得到第一标记后的多个样本图像;
115.s3,将第一标记后的多个样本图像输入初始图像识别模型,以训练得到图像识别模型。
116.可选的,在本实施例中,第一标记用于标记样本图像对应的游戏信息,例如标记第一样本图像对应的为游戏a,第二样本图像对应的为游戏b等。
117.需要说明的是,获取多个样本图像;对每个样本图像所关联的信息进行第一标记,得到第一标记后的多个样本图像;将第一标记后的多个样本图像输入初始图像识别模型,以训练得到图像识别模型。
118.通过本技术提供的实施例,获取多个样本图像;对每个样本图像所关联的信息进行第一标记,得到第一标记后的多个样本图像;将第一标记后的多个样本图像输入初始图像识别模型,以训练得到图像识别模型,达到了利用训练完整的图像识别模型以完成游戏内容的识别的目的,实现了提高游戏内容的识别效率的效果。
119.作为一种可选的方案,将第一标记后的多个样本图像输入初始图像识别模型,以训练得到图像识别模型,包括:
120.s1,重复执行以下步骤,直至得到图像识别模型:
121.s2,从标记后的多个样本图像中确定出当前样本图像,并确定当前图像识别模型;
122.s3,通过当前图像识别模型的第一网络结构对当前样本图像进行拆分以及卷积,以获得当前样本图像对应的当前边缘特征;
123.s4,通过当前图像识别模型的第二网络结构对当前样本图像进行卷积,以获得当前样本图像对应的当前全局特征;
124.s5,在获取到融合当前边缘特征以及当前全局特征以获得的当前样本图像对应的当前目标特征的情况下,通过当前图像识别模型的输出结构,以获得当前目标特征对应的
当前输出结果,其中,当前输出结果用于指示当前样本图像匹配的游戏信息;
125.s6,在当前输出结果未达到识别收敛条件的情况下,获取下一个样本图像作为当前样本图像;
126.s7,在当前输出结果达到识别收敛条件的情况下,确定当前图像识别模型为图像识别模型。
127.需要说明的是,重复执行以下步骤,直至得到图像识别模型:从标记后的多个样本图像中确定出当前样本图像,并确定当前图像识别模型;通过当前图像识别模型的第一网络结构对当前样本图像进行拆分以及卷积,以获得当前样本图像对应的当前边缘特征;通过当前图像识别模型的第二网络结构对当前样本图像进行卷积,以获得当前样本图像对应的当前全局特征;在获取到融合当前边缘特征以及当前全局特征以获得的当前样本图像对应的当前目标特征的情况下,通过当前图像识别模型的输出结构,以获得当前目标特征对应的当前输出结果,其中,当前输出结果用于指示当前样本图像匹配的游戏信息;在当前输出结果未达到识别收敛条件的情况下,获取下一个样本图像作为当前样本图像;在当前输出结果达到识别收敛条件的情况下,确定当前图像识别模型为图像识别模型。
128.进一步举例说明,可选的以射击游戏内容的识别为例说明,如下:
129.首先,为了之后的训练,可以但不限于需要对样本图像进行进一步裁剪,具体的,随机挑选多个样本图像中的4个样本图像集,分别截除图像最上边,最下边,最左边,最右边1/8的图像,记为cut1,cut2,cut3,cut4,而未经裁剪操作的图像集合记为ori,并把左右图像缩放到统一大小;
130.进一步,对于任意输入的样本图像,先对其抽取底层的特征,例如采用resnet,densent等网络。之后,分为两个操作:
131.1、继续对特征进行高层特征提取;2、对图像底层特征进行特征拆分。具体如下:
132.1、如果继续对底层特征进行卷积操作,则能够得到图像的高层特征。这个高层特征能够表征整幅图的游戏特征,包括颜色纹理等信息;
133.2、对底层特征进行拆分,即切出底层特征blob,最上方,下方,左边,右边1/8的特征。这些特征作为底层特征的局部特征,再经过一些卷积操作,则可以得到局部高层的特征,这些特征表征这目标视频所播放的画面中,上下左右边界分布的相关内容(包括射击游戏中的方向信息,血量,地图等等的高层特征)。
134.再者,还可以但不限于设置有分类器,且该分类器用于判断整张图片属于哪一部射击游戏。它的输入是高层局部特征和全局特征的拼接。对于cut1,2,3,4中的图像,其中,该分类器可以采用softmax,或者cross entropy作为损失函数,也可以但不限于采用更加具有判别能力的分类损失函数,例如arcface,cosface,center

loss等等损失函数。
135.通过本技术提供的实施例,重复执行以下步骤,直至得到图像识别模型:从标记后的多个样本图像中确定出当前样本图像,并确定当前图像识别模型;通过当前图像识别模型的第一网络结构对当前样本图像进行拆分以及卷积,以获得当前样本图像对应的当前边缘特征;通过当前图像识别模型的第二网络结构对当前样本图像进行卷积,以获得当前样本图像对应的当前全局特征;在获取到融合当前边缘特征以及当前全局特征以获得的当前样本图像对应的当前目标特征的情况下,通过当前图像识别模型的输出结构,以获得当前目标特征对应的当前输出结果,其中,当前输出结果用于指示当前样本图像匹配的游戏信
息;在当前输出结果未达到识别收敛条件的情况下,获取下一个样本图像作为当前样本图像;在当前输出结果达到识别收敛条件的情况下,确定当前图像识别模型为图像识别模型,达到了完整图像识别模型的训练方案的目的,实现了提高了图像识别模型的训练完整度的效果。
136.作为一种可选的方案,在通过当前图像识别模型的第一网络结构对当前样本图像进行拆分以及卷积,以获得当前样本图像对应的当前边缘特征之后,包括:
137.s1,在当前边缘特征对应的参考信息的信息量达到第三阈值的情况下,对当前样本图像进行第二标记;
138.s2,在当前边缘特征对应的参考信息的信息量未达到第三阈值的情况下,对当前样本图像进行第三标记,其中,第二标记后的样本图像在训练图像识别模型过程中的训练权重大于第三标记后的样本图像。
139.可选地,在本实施例中,对于边缘特征,还可以但不限于对其对应的参考信息的信息量是否达到第三阈值进行判断,并根据判断,分别给出对应的标签,例如达到则给出标签1(第二标记),未达到则给出标签0(第三标记),从而在迭代训练的过程中,可但不限于根据上述标签1或标签0更新学习参数、以及更新训练权重等,以提高图像识别模型的训练效果。
140.进一步举例说明,可选的再以上述射击游戏内容的识别场景为例说明,如下:
141.对于高层的局部特征,对其是否包含游戏边缘信息可以但不限于通过预设的分类器进行判断。例如对于上述cut1中的图像,它的最上方的游戏信息是被切除了的,所以它对应的高层特征是不包含游戏上部边缘的局部信息的。因此,分类器应该判断其不包含射击游戏画面上部信息,给出标签0;对于ori中的图像,他们则包含游戏上部边缘信息,分类器给出包含上部信息的判断,给出标签1.同样的,对于cut2,3,4中的图像,分类器也应该给出标签0。此处的分类器同样可以采用softmax,或者cross entropy作为损失函数,也可以但不限于采用更加具有判别能力的分类损失函数,例如arcface,cosface,center

loss等等损失函数。
142.需要说明的是,在当前边缘特征对应的参考信息的信息量达到第三阈值的情况下,对当前样本图像进行第二标记;在当前边缘特征对应的参考信息的信息量未达到第三阈值的情况下,对当前样本图像进行第三标记,其中,第二标记后的样本图像在训练图像识别模型过程中的训练权重大于第三标记后的样本图像。
143.进一步举例说明,可选的基于图10所示场景,继续例如图11所示,具体步骤如下:
144.s1002,将样本图像输入图像识别模型;
145.s1004,在图像识别模型的输入层中提取样本图像的底层特征;
146.s1006

1,在第一网络结构中拆分底层特征的局部特征;
147.s1006

2,在第二网络结构中提取底层特征的高层特征;
148.s1008

1,获取第一网络结构输出的高层局部特征;
149.s1008

2,获取第二网络结构输出的全局特征;
150.s1010,融合高层局部特征以及全局特征;
151.s1012,生成游戏标签(即目标标签);
152.s1102,判断高层局部特征是否包含图像周边信息。
153.通过本技术提供的实施例,在当前边缘特征对应的参考信息的信息量达到第三阈
值的情况下,对当前样本图像进行第二标记;在当前边缘特征对应的参考信息的信息量未达到第三阈值的情况下,对当前样本图像进行第三标记,其中,第二标记后的样本图像在训练图像识别模型过程中的训练权重大于第三标记后的样本图像,达到了提高图像识别模型的训练效果的目的,实现了提高游戏内容的识别准确性的效果。
154.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
155.根据本发明实施例的另一个方面,还提供了一种用于实施上述内容识别方法的游戏内容识别装置。如图12所示,该装置包括:
156.第一获取单元1202,用于从目标视频中获取n帧图像,其中,n为大于或等于1的整数;
157.第一提取单元1204,用于提取n帧图像中每一帧图像的边缘特征,其中,边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,边缘区域与图像帧的中心点之间的距离大于或等于预设阈值,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;
158.第一显示单元1206,用于在根据边缘特征获取到目标视频所播放的画面对应的目标标签的情况下,显示目标标签,其中,目标标签用于指示目标视频所属应用为目标应用。
159.可选地,在本实施例中,游戏内容识别装置可以但不限于应用在视频平台中播放的射击类游戏视频的识别场景,用于识别射击游戏视频对应的射击游戏信息,并进一步由审核人员根据对应的射击游戏信息处理该射击游戏视频,例如从播放有射击类目标视频所播放的画面的视频中获取n帧图像,根据n帧图像中每一帧图像的边缘区域内显示的参考信息的特征,确定该视频所播放的目标视频所播放的画面对应的游戏标签,其中,该游戏标签用于表示对应游戏的相关信息,如游戏名、游戏所属厂商、游戏是否允许播放等。
160.可选地,在本实施例中,游戏内容识别装置可以但不限于应用在视频平台中播放的多类游戏视频的识别场景,用于识别游戏视频对应的游戏类型,并进一步由工作人员根据对应的游戏类型将该游戏视频分类播放在视频平台下的对应子平台上,例如从播放有未知类型的目标视频所播放的画面的视频中获取n帧图像,根据n帧图像中每一帧图像的边缘区域内显示的参考信息的特征,确定该视频所播放的目标视频所播放的画面对应的游戏标签,其中,该游戏标签用于表示对应游戏的相关信息,如游戏类型、游戏名等。
161.可选地,在本实施例中,内容识别装置可以但不限于应用在显示在操控界面中的视频内容识别场景,其中,操控界面可以但不限于为智能装置的操控界面,例如无人机、无人车、vr等。此处仅为举例说明,在此不做限定。
162.可选地,在本实施例中,可以但不限于从目标视频中获取一组连续的多帧图像,也可以但不限于将目标视频按照一定的时间间隔进行抽帧,形成按时间顺序排列的图像序列,并将该一组连续的多帧图像或图像序列作为n帧图像,或进一步处理该一组连续的多帧图像或图像序列,例如过滤删除其中的空白或低信息量的帧,然后对图像帧进行排重,使得待识别图像尽可能的不一致且多样化,以提高识别效率。
163.可选地,在本实施例中,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息,例如受控虚拟对象关联的方向,比分、血量、地图、位置等。此外,用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息可以但不限于为第一参考信息,还可以但不限于包括与受控虚拟对象无关的第二参考信息,例如游戏图标、游戏logo、游戏名等,参考信息包括第一参考信息和第二参考信息。
164.可选地,在本实施例中,可以但不限于将目标标签显示在关联的用户设备上,以供审核人员根据目标标签对该目标视频做出审核操作。此外,还可以但不限于直接根据目标标签自动对该目标视频做出目标操作,其中,目标操作可以但不限于包括用于分类视频的第一操作,以及用于审核视频的第二操作,分类视频用于表示根据目标标签将目标视频分至目标标签对应的类平台中进行展示以及播放,审核视频用于表示根据目标标签审核目标视频是否符合播放条件,如果不符合,则禁止目标视频的播放,并发送提示信息以提示目标视频的播放方进行整改,若符合,则允许目标视频的播放,并调取下一个播放有游戏画面的视频。
165.可选地,在本实施例中,边缘区域可以但不限于为矩形、圆形、椭圆形或不规则的形状。此外,边缘区域与图像帧的中心点之间的距离可以但不限于为最大距离、最小距离、平均距离、选取距离、方差距离等,在此不做限定。
166.需要说明的是,从目标视频中获取n帧图像,其中,n为大于或等于1的整数;提取n帧图像中每一帧图像的边缘特征,其中,边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,边缘区域与图像帧的中心点之间的距离大于或等于预设阈值,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;在根据边缘特征获取到目标视频所播放的画面对应的目标标签的情况下,显示目标标签,其中,目标标签用于指示目标视频所属应用为目标应用。
167.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
168.通过本技术提供的实施例,从目标视频中获取n帧图像,其中,n为大于或等于1的整数;提取n帧图像中每一帧图像的边缘特征,其中,边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,边缘区域与图像帧的中心点之间的距离大于或等于预设阈值,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;在根据边缘特征获取到目标视频所播放的画面对应的目标标签的情况下,显示目标标签,其中,目标标签用于指示目标视频所属应用为目标应用,利用分布在一帧图像的边缘区域内与受控虚拟对象关联的信息识别出目标视频中所播放的目标视频所播放的画面对应的目标标签,进而达到了准确识别出目标视频所播放的画面对应的游戏信息的目的,从而实现了提高游戏内容识别的准确性的技术效果。
169.作为一种可选的方案,包括:
170.第二提取单元,用于在从目标视频中获取n帧图像之后,提取每一帧图像的全局特征,其中,全局特征用于表示一帧图像对应的目标视频所播放的画面的全局图像信息;
171.融合单元,用于在从目标视频中获取n帧图像之后,融合全局特征和边缘特征,以获得目标特征;
172.第二显示单元,用于在从目标视频中获取n帧图像之后,显示目标特征对应的目标标签。
173.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
174.作为一种可选的方案,第二提取单元,包括:
175.提取模块,用于提取每一帧图像的底层特征,其中,底层特征用于表示图像帧对应的图像信息;
176.第一卷积模块,用于对底层特征执行第一卷积操作,以获得全局特征。
177.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
178.作为一种可选的方案,第一提取单元1204,包括:
179.拆分模块,用于在提取到底层特征的情况下,对底层特征进行拆分,以获得局部特征,其中,局部特征用于表示边缘区域对应的图像信息;
180.第二卷积模块,用于对局部特征执行第二卷积操作,以获得高层局部特征,其中,高层局部特征用于表示边缘区域对应的图像信息中与受控虚拟对象关联的信息;
181.第一确定模块,用于将高层局部特征确定为边缘特征。
182.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
183.作为一种可选的方案,包括:
184.第三显示单元,用于在从目标视频中获取n帧图像之后,在提取到全局特征以及达到第一识别条件的边缘特征的情况下,显示边缘特征对应的目标标签,其中,第一识别条件为参考信息的信息量达到第一阈值;
185.第四显示单元,用于在从目标视频中获取n帧图像之后,在提取到全局特征以及未达到第一识别条件的边缘特征的情况下,显示目标特征对应的目标标签。
186.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
187.作为一种可选的方案,包括:
188.第五显示单元,用于在从目标视频中获取n帧图像之后,在提取到全局特征以及未达到第二识别条件的边缘特征的情况下,显示全局特征对应的目标标签,其中,第一识别条件为参考信息的信息量达到第二阈值;
189.第六显示单元,用于在从目标视频中获取n帧图像之后,在提取到全局特征以及达到第二识别条件的边缘特征的情况下,显示目标特征对应的目标标签。
190.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
191.作为一种可选的方案,
192.第一提取单元,包括:第一输入模块,用于将n帧图像依次输入图像识别模型的第一网络结构,以获得第一网络结构输出的边缘特征,其中,图像识别模型是使用从视频中提取的多个样本图像分别对初始神经网络模型进行训练得到的模型,第一网络结构用于拆分以及卷积每一帧图像对应的底层特征,底层特征用于表示图像帧对应的图像信息;
193.第二提取单元,包括:第二输入模块,用于将n帧图像输入图像识别模型的第二网络结构,以获得第二网络结构输出的全局特征,第二网络结构用于卷积每一帧图像对应的底层特征。
194.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
195.作为一种可选的方案,包括:
196.第二获取单元,用于在从目标视频中获取n帧图像之前,获取多个样本图像;
197.标记单元,用于在从目标视频中获取n帧图像之前,对每个样本图像所关联的信息
进行第一标记,得到第一标记后的多个样本图像;
198.训练单元,用于在从目标视频中获取n帧图像之前,将第一标记后的多个样本图像输入初始图像识别模型,以训练得到图像识别模型。
199.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
200.作为一种可选的方案,训练单元,包括:
201.重复模块,用于重复执行以下步骤,直至得到图像识别模型:
202.第二确定模块,用于从标记后的多个样本图像中确定出当前样本图像,并确定当前图像识别模型;
203.第一获取模块,用于通过当前图像识别模型的第一网络结构对当前样本图像进行拆分以及卷积,以获得当前样本图像对应的当前边缘特征;
204.第二获取模块,用于通过当前图像识别模型的第二网络结构对当前样本图像进行卷积,以获得当前样本图像对应的当前全局特征;
205.第三获取模块,用于在获取到融合当前边缘特征以及当前全局特征以获得的当前样本图像对应的当前目标特征的情况下,通过当前图像识别模型的输出结构,以获得当前目标特征对应的当前输出结果,其中,当前输出结果用于指示当前样本图像匹配的游戏信息;
206.第四获取模块,用于在当前输出结果未达到识别收敛条件的情况下,获取下一个样本图像作为当前样本图像;
207.第三确定模块,用于在当前输出结果达到识别收敛条件的情况下,确定当前图像识别模型为图像识别模型。
208.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
209.作为一种可选的方案,包括:
210.第一标记模块,用于在通过当前图像识别模型的第一网络结构对当前样本图像进行拆分以及卷积,以获得当前样本图像对应的当前边缘特征之后,在当前边缘特征对应的参考信息的信息量达到第三阈值的情况下,对当前样本图像进行第二标记;
211.第二标记模块,用于在通过当前图像识别模型的第一网络结构对当前样本图像进行拆分以及卷积,以获得当前样本图像对应的当前边缘特征之后,在当前边缘特征对应的参考信息的信息量未达到第三阈值的情况下,对当前样本图像进行第三标记,其中,第二标记后的样本图像在训练图像识别模型过程中的训练权重大于第三标记后的样本图像。
212.具体实施例可以参考上述内容识别方法中所示示例,本示例中在此不再赘述。
213.根据本发明实施例的又一个方面,还提供了一种用于实施上述内容识别方法的电子设备,如图13所示,该电子设备包括存储器1302和处理器1304,该存储器1302中存储有计算机程序,该处理器1304被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
214.可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
215.可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
216.s1,从目标视频中获取n帧图像,其中,n为大于或等于1的整数;
217.s2,提取n帧图像中每一帧图像的边缘特征,其中,边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,边缘区域与图像帧的中心点之间的距离大于或等于预
设阈值,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;
218.s3,在根据边缘特征获取到目标视频所播放的画面对应的目标标签的情况下,显示目标标签,其中,目标标签用于指示目标视频所属应用为目标应用。
219.可选地,本领域普通技术人员可以理解,图13所示的结构仅为示意,电子设备也可以是智能手机(如android手机、ios手机等)、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图13其并不对上述电子设备的结构造成限定。例如,电子设备还可包括比图13中所示更多或者更少的组件(如网络接口等),或者具有与图13所示不同的配置。
220.其中,存储器1302可用于存储软件程序以及模块,如本发明实施例中的内容识别方法和装置对应的程序指令/模块,处理器1304通过运行存储在存储器1302内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的内容识别方法。存储器1302可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1302可进一步包括相对于处理器1304远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1302具体可以但不限于用于存储边缘特征、n帧图像以及目标标签等信息。作为一种示例,如图13所示,上述存储器1302中可以但不限于包括上述游戏内容识别装置中的第一获取单元1202、第一提取单元1204及第一显示单元1206。此外,还可以包括但不限于上述游戏内容识别装置中的其他模块单元,本示例中不再赘述。
221.可选地,上述的传输装置1306用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1306包括一个网络适配器(network interface controller,nic),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1306为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
222.此外,上述电子设备还包括:显示器1308,用于显示上述边缘特征、n帧图像以及目标标签等信息;和连接总线1310,用于连接上述电子设备中的各个模块部件。
223.在其他实施例中,上述终端设备或者服务器可以是一个分布式系统中的一个节点,其中,该分布式系统可以为区块链系统,该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中,节点之间可以组成点对点(peer to peer,简称p2p)网络,任意形式的计算设备,比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
224.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述内容识别方法,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
225.可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
226.s1,从目标视频中获取n帧图像,其中,n为大于或等于1的整数;
227.s2,提取n帧图像中每一帧图像的边缘特征,其中,边缘特征用于表示在图像帧的边缘区域内显示的参考信息的特征,边缘区域与图像帧的中心点之间的距离大于或等于预设阈值,参考信息用于指示目标视频所播放的画面所指示的虚拟场景中受控虚拟对象关联的信息;
228.s3,在根据边缘特征获取到目标视频所播放的画面对应的目标标签的情况下,显示目标标签,其中,目标标签用于指示目标视频所属应用为目标应用。
229.可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read

only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
230.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
231.上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
232.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
233.在本技术所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
234.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
235.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
236.以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1