直播内容画面的获取方法、存储介质、电子设备及系统与流程

文档序号:14950743发布日期:2018-07-17 22:29阅读:143来源:国知局

本发明涉及直播画面检测领域,具体涉及一种直播内容画面的获取方法、存储介质、电子设备及系统。



背景技术:

随着直播行业的快速发展,越来越多的用户喜爱观看直播。为了提高直播质量,直播平台会对直播画面中获取直播内容画面(即仅含有直播实质内容的画面),以便对直播画面中获取直播指定画面,根据直播指定画面展示精彩时刻画面(即当直播指定画面,与精彩时刻画面展示需要的目标画面相同时,在直播过程中显示精彩时刻画面)。

现有的直播内容画面的获取方法一般为:预先确定直播内容画面边界的坐标,根据直播内容画面边界的坐标,在直播画面中获取直播内容画面。

但是,上述直播内容画面的获取方法存在以下缺陷:

当直播内容画面边界发生变化时(例如主播调整了直播画面边界的位置),上述方法获取的画面为部分含有直播内容画面,此时获取的直播内容画面的精度较低。

当直播画面中存在直播内容画面之外的其他内容时,例如边框和装置中的自定义文字和图片、或者摄像头画面等,其他内容会渲染或者部分渲染至直播内容画面,此时上述方法获取的画面中含有其他内容,此时获取的直播内容画面的质量较差。



技术实现要素:

针对现有技术中存在的缺陷,本发明解决的技术问题为:如何提高直播画面的获取质量和精度。

为达到以上目的,本发明提供的直播内容画面的获取方法,包括以下步骤:

s1:定期保存直播画面,根据上次保存的直播画面,计算本次保存的直播画面中每个像素点a的r变化值pr、g变化值pg和b变化值pb:

pr的计算公式为:pr=|ra-rb|,其中ra为像素点a的r值,rb为上次保存的直播画面中,坐标与像素点a相同的像素点的r值;

pg的计算公式为:pg=|ga-gb|,其中ga为像素点a的g值,gb为上次保存的直播画面中,坐标与像素点a相同的像素点的g值;

pb的计算公式为:pb=|ba-bb|,其中ba为像素点a的b值,bb为上次保存的直播画面中,坐标与像素点a相同的像素点的b值,转到s2;

s2:根据像素点a的变化值pr、pg和pb,得到像素点比值sr、sg和sb,判断sr、sg和sb是否均小于指定的像素点阈值,若是,将像素点a作为相同像素点,转到s3;否则将像素点a作为不同像素点,转到s3;

s3:在本次保存的直播画面对应的像素点矩阵中,将所有相同像素点转换为指定数值x,将所有不同像素点转换为指定数值y,x与y不同,形成边界查找矩阵,转到s4;

s4:在边界查找矩阵中,计算每一行中所有数值的总和、以及每一列中所有数值的总和,根据每一行中所有数值的总和,在直播画面中确定直播内容画面的上边界和下边界;根据每一列中所有数值的总和,在直播画面中确定直播内容画面的左边界和右边界,转到s5;

s5:根据直播内容画面的上边界、下边界、左边界和右边界,获取直播内容画面。

在上述技术方案的基础上,s4中所述在直播画面中确定直播内容画面的上边界和下边界的流程包括:从边界查找矩阵中部选择一行作为对比行,沿对比行分别向上遍历和向下遍历:

向上遍历时,若当前行中所有数值的总和,与上一行中所有数值的总和的差值大于指定阈值,则确定当前行为上边界;向下遍历时,若当前行中所有数值的总和,与上一行中所有数值的总和的差值大于指定阈值,则确定当前行为下边界;

所述在直播画面中确定直播内容画面的左边界和右边界的流程包括:从边界查找矩阵中部选择一列作为对比列,沿对比列分别向左遍历和向右遍历:

向左遍历时,若当前列中所有数值的总和,与上一列中所有数值的总和的差值大于指定阈值,则确定当前列为左边界;向右遍历时,若当前列中所有数值的总和,与上一列中所有数值的总和的差值大于指定阈值,则确定当前列为右边界;

所述差值的计算公式为:t=t1-t2/t1,其中t为行差值或者列差值,t1为当前行或列中所有数值的总和,t2为上一行或列中所有数值的总和。

在上述技术方案的基础上,s5之后还包括以下步骤:s6:在直播内容画面中,获取与每幅目标图片位置相同的指定图片,目标图片位置预先设置,当每幅目标图片均与位置相同的指定图片相似时,在直播画面中展示预先设置的精彩时刻图片。

在上述技术方案的基础上,s2中所述像素点比值的计算公式为:sr=pr/ra或rb,sg=pg/ga或gb,sb=pb/ba或bb。

本发明提供的存储介质,该存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述直播内容画面的获取方法。

本发明提供的电子设备,包括存储器和处理器,存储器上储存有在处理器上运行的计算机程序,处理器执行计算机程序时实现上述直播内容画面的获取方法。

本发明实施例中的直播内容画面的获取系统,包括设置于服务端上的直播画面保存模块、像素点划分模块、像素点转化模块、边界查找模块和直播内容画面获取模块;

直播画面保存模块用于:定期保存直播画面,根据上次保存的直播画面,计算本次保存的直播画面中每个像素点a的r变化值pr、g变化值pg和b变化值pb:

pr的计算公式为:pr=|ra-rb|,其中ra为像素点a的r值,rb为上次保存的直播画面中,坐标与像素点a相同的像素点的r值;

pg的计算公式为:pg=|ga-gb|,其中ga为像素点a的g值,gb为上次保存的直播画面中,坐标与像素点a相同的像素点的g值;

pb的计算公式为:pb=|ba-bb|,其中ba为像素点a的b值,bb为上次保存的直播画面中,坐标与像素点a相同的像素点的b值,向像素点划分模块发送像素点划分信号;

像素点划分模块用于:收到像素点划分信号后,根据像素点a变化值pr、pg和pb,得到像素点比值sr、sg和sb,判断sr、sg和sb是否均小于指定的像素点阈值,若是,将像素点a作为相同像素点,否则将像素点a作为不同像素点;所述本次保存的直播画面的所有像素点a划分完成后,向像素点转化模块发送像素点转化信号;

像素点转化模块用于:收到像素点转化信号后,在所述本次保存的直播画面对应的像素点矩阵中,将所有相同像素点转换为指定数值x,将所有不同像素点转换为指定数值y,形成边界查找矩阵,向边界查找模块发送边界查找模块信号;

边界查找模块用于:收到边界查找模块信号后,在边界查找矩阵中,计算每一行中所有数值的总和、以及每一列中所有数值的总和,根据每一行中所有数值的总和,在直播画面中确定直播内容画面的上边界和下边界;根据每一列中所有数值的总和,在直播画面中确定直播内容画面的左边界和右边界,向直播内容画面获取模块发送直播内容画面获取信号;

直播内容画面获取模块用于:收到直播内容画面获取信号后,根据直播内容画面的上边界、下边界、左边界和右边界,获取直播内容画面。

在上述技术方案的基础上,所述边界查找模块在直播画面中确定直播内容画面的上边界和下边界的流程包括:从边界查找矩阵中部选择一行作为对比行,沿对比行分别向上遍历和向下遍历:

向上遍历时,若当前行中所有数值的总和,与上一行中所有数值的总和的差值大于指定阈值,则确定当前行为上边界;向下遍历时,若当前行中所有数值的总和,与上一行中所有数值的总和的差值大于指定阈值,则确定当前行为下边界;

所述在直播画面中确定直播内容画面的左边界和右边界的流程包括:从边界查找矩阵中部选择一列作为对比列,沿对比列分别向左遍历和向右遍历:

向左遍历时,若当前列中所有数值的总和,与上一列中所有数值的总和的差值大于指定阈值,则确定当前列为左边界;向右遍历时,若当前列中所有数值的总和,与上一列中所有数值的总和的差值大于指定阈值,则确定当前列为右边界;

所述差值的计算公式为:t=t1-t2/t1,其中t为行差值或者列差值,t1为当前行或列中所有数值的总和,t2为上一行或列中所有数值的总和。

在上述技术方案的基础上,该系统还包括精彩时刻展示模块,其用于:在直播内容画面获取模块获取的直播内容画面中,获取与每幅目标图片位置相同的指定图片,目标图片位置预先设置,当每幅目标图片均与位置相同的指定图片相似时,在直播画面中展示预先设置的精彩时刻图片。

在上述技术方案的基础上,所述像素点划分模块中的像素点比值的计算公式为:sr=pr/ra或rb,sg=pg/ga或gb,sb=pb/ba或bb。

与现有技术相比,本发明的优点在于:

(1)参见本发明方法的s1至s5可知,本发明能够将2次保存的直播画面中的每个像素点进行比对,进而在直播画面对应的像素点矩阵中,将所有相同和不同像素点均转换为指定数值。在此基础上,本发明通过每一行和每一列的所有数值之和的比对,来查找直播内容画面的边界。

由此可知,与现有技术中通过预先确定的直播内容画面边界的坐标,查找直播内容画面边界相比,本发明无论直播内容画面是否发生位移、或者直播画面中是否加入其他内容,都能够通过像素点的数值来查找直播内容画面的边界,通过该边界获取的直播内容画面基本不会出现部分含有直播内容画面、或者含有其他内容的情形。因此,本发明显著的提高了通过边界获取的直播画面的质量和精度。

(2)参见本发明s4可知,本发明从直播画面中部开始,分别向四周查找直播内容画面的边界,进一步提高了边界的查找精度。

附图说明

图1为本发明实施例中直播内容画面的获取方法的流程图;

图2为本发明实施例中在直播内容画面中获取指定图片的示意图;

图3为本发明实施例中电子设备的连接框图。

具体实施方式

以下结合附图及实施例对本发明作进一步详细说明。

参见图1所示,本发明实施例中的直播内容画面的获取方法,包括以下步骤:

s1:定期保存直播画面,根据上次保存的直播画面,计算本次保存的直播画面中每个像素点a的r(red,红色)变化值pr、g(green,绿色)变化值pg和b(blue)变化值pb:

pr的计算公式为:pr=|ra-rb|,其中ra为像素点a的r值,rb为上次保存的直播画面中,坐标与像素点a相同的像素点的r值;

pg的计算公式为:pg=|ga-gb|,其中ga为像素点a的g值,gb为上次保存的直播画面中,坐标与像素点a相同的像素点的g值;

pb的计算公式为:pb=|ba-bb|,其中ba为像素点a的b值,bb为上次保存的直播画面中,坐标与像素点a相同的像素点的b值,转到s2。

s1中定期保存直播画面的原因为:考虑到直播用户(主播)可能会随时移动直播内容画面,或者在直播画面中添加其他内容,定期时长越短越好,在保证数据库用量的情况下,本实施例中的定期时长为10s。

s2:根据像素点a的变化值pr、pg和pb,得到像素点比值sr、sg和sb,判断sr、sg和sb是否均小于指定的像素点阈值,若是,说明本次直播画面中的像素点a,与上次直播画面中对应的像素点为相同颜色,此时将像素点a作为相同像素点,转到s3;否则说明本次直播画面中的像素点a,与上次直播画面中对应的像素点为不同颜色,此时将像素点a作为不同像素点,转到s3。

s2中根据像素点阈值判断像素点是否相同的原因为:即便肉眼观察为相同的颜色,解码器在解码时也可能存在细小差距,因此会存在像素点比值不同,但是颜色相同(基本相同也认为相同)。故,像素点比值需要取一定的范围,而像素点阈值就是这个范围,本实施例中素点阈值为5%~10%。

s2中像素点比值的计算公式为:sr=pr/ra或rb,sg=pg/ga或gb,sb=pb/ba或bb,其原因为:以sr为例,若本次直播画面与上次直播画面相近,则无论除以ra或rb,sr都不会超过像素点阈值;若本次直播画面与上次直播画面不相近,则无论除以ra或rb,sr都会超过像素点阈值。

s3:在本次保存的直播画面对应的像素点矩阵中,将所有相同像素点转换为指定数值x,将所有不同像素点转换为指定数值y,形成边界查找矩阵,x与y不同,本实施例中x取0,y取1,转到s4。

s3的作用为:直播画面是由多个像素点组成的像素点矩阵,将像素点矩阵中的所有相同或不同的像素点转化为2个相同的值,便于后续的边界查找。

s4:在边界查找矩阵中,计算每一行中所有数值的总和、以及每一列中所有数值的总和,根据每一行中所有数值的总和,在直播画面中确定直播内容画面的上边界和下边界;根据每一列中所有数值的总和,在直播画面中确定直播内容画面的左边界和右边界,转到s5。

s4中在直播画面中确定直播内容画面的上边界和下边界的流程包括:从边界查找矩阵中部选择一行作为对比行,沿对比行分别向上遍历和向下遍历:

向上遍历时,若当前行中所有数值的总和,与上一行中所有数值的总和的差值大于指定阈值(本实施例中为30%),则确定当前行为上边界;向下遍历时,若当前行中所有数值的总和,与上一行中所有数值的总和的差值大于指定阈值(本实施例中为30%),则确定当前行为下边界。

s4中在直播画面中确定直播内容画面的左边界和右边界的流程包括:从边界查找矩阵中部选择一列作为对比列,沿对比列分别向左遍历和向右遍历:

向左遍历时,若当前列中所有数值的总和,与上一列中所有数值的总和的差值大于指定阈值(本实施例中为30%),则确定当前列为左边界;向右遍历时,若当前列中所有数值的总和,与上一列中所有数值的总和的差值大于指定阈值(本实施例中为30%),则确定当前列为右边界。

s4中差值的计算公式为:t=t1-t2/t1,其中t为行差值(当前行中所有数值的总和,与上一行中所有数值的总和的差值)或者列差值(当前列中所有数值的总和,与上一列中所有数值的总和的差值),t1为当前行或列中所有数值的总和,t2为上一行或列中所有数值的总和。

s4中从边界查找矩阵中部选择一行或一列开始查找边界的原因为:边界查找的基本原则为每一行中所有数值的总和、以及每一列中所有数值的总和是否会发生突变。直播过程中,直播内容画面直播画面的主要画面,一般居中显示;进一步,直播画面中可能存在其他步骤s2无法排除的摄像头画面或者装饰画面,摄像头画面或者装饰画面可能引起误查找、且摄像头画面或者装饰画面一般在直播内容画面周围。因此,边界的查找起点不能在四周,查找起点从直播画面中心开始,分别向四周查找直播内容画面的边界会比较精准。

s5:根据直播内容画面的上边界、下边界、左边界和右边界,获取直播内容画面,转到s6。

s6:参见图2所示,在直播内容画面中,获取与每幅目标图片位置相同的指定图片,目标图片位置预先设置,目标图片可能有多幅(本实施例中为3幅,图2中的指定图片1、2和3),当每幅目标图片均与位置相同的指定图片相似时,在直播画面中展示预先设置的精彩时刻图片。

s6的原理为:目标图片为精彩时刻图片的展示条件,即当直播内容画面中存在与目标图片相似的指定图片时,展示精彩时刻图片。

s6中目标图片与位置相同的指定图片相似需要同时满足以下2个条件:

1、通过感知哈希算法,获取目标图片和指定图片的哈希值,目标图片的哈希值(目标哈希值),与指定图片的哈希值(指定哈希值)的差值(例如目标哈希值减去指定哈希值的绝对值),在指定的哈希阈值以内;

2、通过颜色分布法判定目标图片与指定图片相似。

由此可知,本发明结合感知哈希算法和颜色分布法,来共同作为目标图片和指定图片相似需要满足的条件,进而提升了指定图片的识别度,随着也提升了后续精彩时刻画面的展示精度。

本发明实施例还提供一种存储介质,存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述直播内容画面的获取方法。需要说明的是,所述存储介质包括u盘、移动硬盘、rom(read-onlymemory,只读存储器)、ram(randomaccessmemory,随机存取存储器)、磁碟或者光盘等各种可以存储程序代码的介质。

参见图3所示,本发明实施例还提供一种电子设备,包括存储器和处理器,存储器上储存有在处理器上运行的计算机程序,处理器执行计算机程序时实现上述直播内容画面的获取方法。

本发明实施例中的直播内容画面的获取系统,包括设置于服务端上的直播画面保存模块、像素点划分模块、像素点转化模块、边界查找模块、直播内容画面获取模块和精彩时刻展示模块。

直播画面保存模块用于:定期保存直播画面,根据上次保存的直播画面,计算本次保存的直播画面中每个像素点a的r变化值pr、g变化值pg和b变化值pb:

pr的计算公式为:pr=|ra-rb|,其中ra为像素点a的r值,rb为上次保存的直播画面中,坐标与像素点a相同的像素点的r值;

pg的计算公式为:pg=|ga-gb|,其中ga为像素点a的g值,gb为上次保存的直播画面中,坐标与像素点a相同的像素点的g值;

pb的计算公式为:pb=|ba-bb|,其中ba为像素点a的b值,bb为上次保存的直播画面中,坐标与像素点a相同的像素点的b值,向像素点划分模块发送像素点划分信号。

像素点划分模块用于:收到像素点划分信号后,根据像素点a变化值pr、pg和pb,像素点比值的计算公式为:sr=pr/ra或rb,sg=pg/ga或gb,sb=pb/ba或bb。得到像素点比值sr、sg和sb,判断sr、sg和sb是否均小于指定的像素点阈值,若是,将像素点a作为相同像素点,否则将像素点a作为不同像素点;所述本次保存的直播画面的所有像素点a划分完成后,向像素点转化模块发送像素点转化信号。

像素点转化模块用于:收到像素点转化信号后,在所述本次保存的直播画面对应的像素点矩阵中,将所有相同像素点转换为指定数值x,将所有不同像素点转换为指定数值y,形成边界查找矩阵,向边界查找模块发送边界查找模块信号。

边界查找模块用于:收到边界查找模块信号后,在边界查找矩阵中,计算每一行中所有数值的总和、以及每一列中所有数值的总和,根据每一行中所有数值的总和,在直播画面中确定直播内容画面的上边界和下边界;根据每一列中所有数值的总和,在直播画面中确定直播内容画面的左边界和右边界,向直播内容画面获取模块发送直播内容画面获取信号。

所述边界查找模块在直播画面中确定直播内容画面的上边界和下边界的流程包括:从边界查找矩阵中部选择一行作为对比行,沿对比行分别向上遍历和向下遍历:

向上遍历时,若当前行中所有数值的总和,与上一行中所有数值的总和的差值大于指定阈值,则确定当前行为上边界;向下遍历时,若当前行中所有数值的总和,与上一行中所有数值的总和的差值大于指定阈值,则确定当前行为下边界;

所述在直播画面中确定直播内容画面的左边界和右边界的流程包括:从边界查找矩阵中部选择一列作为对比列,沿对比列分别向左遍历和向右遍历:

向左遍历时,若当前列中所有数值的总和,与上一列中所有数值的总和的差值大于指定阈值,则确定当前列为左边界;向右遍历时,若当前列中所有数值的总和,与上一列中所有数值的总和的差值大于指定阈值,则确定当前列为右边界。

差值的计算公式为:t=t1-t2/t1,其中t为行差值或者列差值,t1为当前行或列中所有数值的总和,t2为上一行或列中所有数值的总和。

直播内容画面获取模块用于:收到直播内容画面获取信号后,根据直播内容画面的上边界、下边界、左边界和右边界,获取直播内容画面。

精彩时刻展示模块用于:在直播内容画面获取模块获取的直播内容画面中,获取与每幅目标图片位置相同的指定图片,目标图片位置预先设置,当每幅目标图片均与位置相同的指定图片相似时,在直播画面中展示预先设置的精彩时刻图片。

需要说明的是:本发明实施例提供的系统在进行模块间通信时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将系统的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。

进一步,本发明不局限于上述实施方式,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1