直播处理方法、装置、电子设备及存储介质与流程

文档序号:32206746发布日期:2022-11-16 04:52阅读:59来源:国知局
直播处理方法、装置、电子设备及存储介质与流程

1.本技术涉及互联网技术,尤其涉及一种直播处理方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.直播是互联网中信息传播的重要途径,基于云技术的大数据处理,对海量主播的直播内容进行采集,并实时分发到参与到主播的之间的观众。
3.主播可以在直播间中进行各种推荐活动,例如,主播可以在直播间对物品进行全方位的展示,但是受限于拍摄设备、环境光源、以及观众终端的限制,观众终端展示的直播中的物品的颜色往往会与物品的真实颜色存在差异,颜色的差异会影响观众的直播观看体验和购买体验,从而导致物品的无效推荐,进而对直播系统中用于直播的计算资源和通信资源造成了不必要的浪费。对此,相关技术尚无有效解决方案。


技术实现要素:

4.本技术实施例提供一种直播处理方法、装置、电子设备及计算机可读存储介质,能够保证直播过程中视频显示颜色的准确性,从而提高视频的视觉感知效果。
5.本技术实施例的技术方案是这样实现的:
6.本技术实施例提供一种直播处理方法,包括:
7.接收直播间的视频;
8.在人机交互界面中播放直播间的视频,以及在所述人机交互界面中显示偏色校正入口;
9.响应于针对所述偏色校正入口的触发操作,对所述视频进行偏色校正处理,并播放偏色校正处理后的所述视频。
10.在上述方案中,所述根据每个所述图像帧的偏色因子,确定所述视频的所述偏色检测结果,包括:
11.在所述多个图像帧中,将所述偏色因子大于偏色因子阈值的图像帧确定为偏色图像帧;
12.当所述偏色图像帧的数量和所述多个图像帧的数量之间的比值大于偏色数量阈值时,确定所述视频出现偏色;
13.当所述偏色图像帧的数量和所述多个图像帧的数量之间的比值不大于偏色数量阈值时,确定所述视频未出现偏色。
14.在上述方案中,所述确定所述图像帧的平均色度和色度中心距,包括:
15.确定所述图像帧中每个像素点在红绿蓝色彩空间中的色彩值;
16.将所述每个像素点在所述红绿蓝色彩空间中的色彩值转换为颜色对立空间中的第一颜色对立维度和第二颜色对立维度;
17.对所述每个像素点的第一颜色对立维度进行加和处理,并将加和结果和所述图像
帧中像素点的数量之间的比值确定为第一色度分量;
18.对所述每个像素点的第二颜色对立维度进行加和处理,并将加和结果和所述图像帧中像素点的数量之间的比值确定为第二色度分量;
19.根据所述第一色度分量和所述第二色度分量,确定所述图像帧的平均色度;
20.根据所述每个像素点的第一颜色对立维度和第二颜色对立维度,确定第一色度中心距分量和第二色度中心距分量;
21.根据所述第一色度中心距分量和所述第二色度中心距分量,确定所述图像帧的色度中心距。
22.在上述方案中,所述根据所述第一色度分量和所述第二色度分量,确定所述图像帧的平均色度,包括:
23.对所述第一色度分量进行乘方处理,得到第一乘方结果;
24.对所述第二色度分量进行乘方处理,得到第二乘方结果;
25.对所述第一乘方结果和所述第二乘方结果进行加和处理,并将加和结果进行开方处理,得到所述图像帧的平均色度。
26.在上述方案中,所述根据所述每个像素点的第一颜色对立维度和第二颜色对立维度,确定第一色度中心距分量和第二色度中心距分量,包括:
27.针对所述每个像素点执行以下处理:将所述像素点的第一颜色对立维度和所述第一色度分量进行相减处理,并对相减结果进行乘方处理,得到第一色度距离,将所述像素点的第二颜色对立维度和所述第二色度分量进行相减处理,并对相减结果进行乘方处理,得到第二色度距离;
28.对所述每个像素点的第一色度距离进行加和处理,并将加和结果和所述图像帧中像素点的数量之间的比值确定为所述第一色度中心距分量;
29.对所述每个像素点的第二色度距离进行加和处理,并将加和结果和所述图像帧中像素点的数量之间的比值确定为所述第二色度中心距分量。
30.在上述方案中,所述根据所述第一色度中心距分量和所述第二色度中心距分量,确定所述图像帧的色度中心距,包括:
31.对所述第一色度中心距分量进行乘方处理,得到第三乘方结果;
32.对所述第一色度中心距分量进行乘方处理,得到第四乘方结果;
33.对所述第三乘方结果和所述第四乘方结果进行加和处理,得到所述图像帧的色度中心距。
34.在上述方案中,所述对所述视频进行偏色校正处理,包括:
35.针对所述视频中的每个图像帧执行以下处理:
36.根据所述图像帧中每个像素点的色彩值,对所述图像帧进行第一偏色校正处理;
37.获取终端的屏幕偏色信息,并根据所述屏幕偏色信息,对经过所述第一偏色校正处理后的图像帧进行第二偏色校正处理。
38.在上述方案中,在所述获取终端的屏幕偏色信息之前,所述方法还包括:
39.当满足以下条件至少之一时,确定将执行所述获取终端的屏幕偏色信息的操作:
40.接收到登录账号提交的偏色校正操作,其中,所述登录账号是登录所述直播间的账号;
41.所述终端未开启隐私保护功能,其中,所述隐私保护功能用于屏蔽读取终端的设备信息。
42.在上述方案中,所述根据所述图像帧中每个像素点的色彩值,对所述图像帧进行第一偏色校正处理,包括:
43.针对所述图像帧中的每个像素点执行以下处理:在所述像素点中确定与多个色彩通道一一对应的多个色彩值,对所述多个色彩值进行均衡化处理,得到与所述多个色彩值一一对应的多个均衡化数据;
44.根据所述图像帧中的每个像素点对应的多个均衡化数据,在所述图像帧中确定多个参考白像素点;
45.根据所述多个参考白像素点的亮度值和色彩值,确定第一尺度因子;
46.根据所述图像帧中的每个像素点的色彩值,确定第二尺度因子;
47.根据所述第一尺度因子和所述第二尺度因子,对所述图像帧进行第一偏色校正处理。
48.在上述方案中,所述根据所述图像帧中的每个像素点对应的多个均衡化数据,在所述图像帧中确定多个参考白像素点,包括:
49.针对所述图像帧中的每个像素点执行以下处理:在所述像素点对应的多个均衡化数据中,确定对应第一色彩通道的第一均衡化数据、对应第二色彩通道的第二均衡化数据、以及对应第三色彩通道的第三均衡化数据;
50.在所述图像帧中选取同时满足以下条件的像素点作为白像素点:所述像素点的第一均衡化数据大于或等于第一预设值,所述像素点的第二均衡化数据大于或等于第二预设值,所述像素点的第三均衡化数据小于或等于第三预设值;
51.在多个所述白像素点中选取亮度值最大的像素点作为亮度白像素点;
52.根据所述亮度白像素点对应的第一均衡化数据、第二均衡化数据和第三均衡化数据,在所述图像帧中确定多个参考白像素点。
53.在上述方案中,所述根据所述亮度白像素点对应的第一均衡化数据、第二均衡化数据和第三均衡化数据,在所述图像帧中确定多个参考白像素点,包括:
54.将所述亮度白像素点对应的第一均衡化数据确定为第一亮度均衡化数据、将所述亮度白像素点对应的第二均衡化数据确定为第二亮度均衡化数据、以及将所述亮度白像素点对应的第三均衡化数据确定为第三亮度均衡化数据;
55.将每个所述白像素点对应的第一均衡化数据进行加和处理,并将加和结果与所述白像素点的数量之间的比值确定为第一均衡化平均数据;
56.将每个所述白像素点对应的第二均衡化数据进行加和处理,并将加和结果与所述白像素点的数量之间的比值确定为第二均衡化平均数据;
57.将每个所述白像素点对应的第三均衡化数据进行加和处理,并将加和结果与所述白像素点的数量之间的比值确定为第三均衡化平均数据;
58.在所述图像帧中选取同时满足以下条件的像素点作为所述参考白像素点:所述像素点的第一均衡化数据位于所述第一亮度均衡化数据与所述第一均衡化平均数据之间,所述像素点的第二均衡化数据位于所述第二亮度均衡化数据与所述第二均衡化平均数据之间,所述像素点的第三均衡化数据位于所述第三亮度均衡化数据与所述第三均衡化平均数
据之间。
59.在上述方案中,所述根据所述多个参考白像素点的亮度值和色彩值,确定第一尺度因子,包括:
60.将每个所述参考白像素点的亮度值进行加和处理,并将加和结果与所述参考白像素点的数量之间的比值确定为亮度平均值;
61.确定每个所述参考白像素点对应第一色彩通道的第一色彩值、对应第二色彩通道的第二色彩值、以及对应第三色彩通道的第三色彩值;
62.将每个所述参考白像素点对应的第一色彩值进行加和处理,并将加和结果与所述参考白像素点的数量之间的比值确定为第一色彩平均值;
63.将每个所述参考白像素点对应的第二色彩值进行加和处理,并将加和结果与所述参考白像素点的数量之间的比值确定为第二色彩平均值;
64.将每个所述参考白像素点对应的第三色彩值进行加和处理,并将加和结果与所述参考白像素点的数量之间的比值确定为第三色彩平均值;
65.根据所述亮度平均值、第一色彩平均值、第二色彩平均值和第三色彩平均值,确定第一分量、第二分量和第三分量,并将所述第一分量、所述第二分量和所述第三分量组合为所述第一尺度因子。
66.在上述方案中,所述根据所述亮度平均值、第一色彩平均值、第二色彩平均值和第三色彩平均值,确定第一分量、第二分量和第三分量,包括:
67.将所述亮度平均值与所述第一色彩平均值之间的比值确定为所述第一分量;
68.将所述亮度平均值与所述第二色彩平均值之间的比值确定为所述第二分量;
69.将所述亮度平均值与所述第三色彩平均值之间的比值确定为所述第三分量。
70.在上述方案中,所述根据所述图像帧中的每个像素点的色彩值,确定第二尺度因子,包括:
71.将所述图像帧中每个所述像素点对应第一色彩通道的第一色彩值进行加和处理,并将加和结果与所述图像帧中像素点的数量之间的比值确定为第四色彩平均值;
72.将所述图像帧中每个所述像素点对应第二色彩通道的第二色彩值进行加和处理,并将加和结果与所述图像帧中像素点的数量之间的比值确定为第五色彩平均值;
73.将所述图像帧中每个所述像素点对应第三色彩通道的第三色彩值进行加和处理,并将加和结果与所述图像帧中像素点的数量之间的比值确定为第六色彩平均值;
74.将所述第四色彩平均值、所述第五色彩平均值和所述第六色彩平均值之间的平均值,确定为总色彩平均值;
75.根据所述总色彩平均值、所述第四色彩平均值、所述第五色彩平均值和所述第六色彩平均值,确定第四分量、第五分量和第六分量,并将所述第四分量、所述第五分量和所述第六分量组合为所述第二尺度因子。
76.在上述方案中,所述根据所述总色彩平均值、所述第四色彩平均值、所述第五色彩平均值和所述第六色彩平均值,确定第四分量、第五分量和第六分量,包括:
77.将所述总色彩平均值与所述第四色彩平均值之间的比值确定为所述第四分量;
78.将所述总色彩平均值与所述第五色彩平均值之间的比值确定为所述第五分量;
79.将所述总色彩平均值与所述第六色彩平均值之间的比值确定为所述第六分量。
80.在上述方案中,所述根据所述第一尺度因子和所述第二尺度因子,对所述图像帧进行第一偏色校正处理,包括:
81.根据所述图像帧的第一色度分量和第二色度分量,确定所述图像帧偏向的颜色;
82.当所述图像帧偏向红色时,以所述第二尺度因子的第四分量、所述第一尺度因子的第二分量和所述第一尺度因子的第三分量作为增益,对所述图像帧中每个像素点的色彩值进行增益处理;
83.当所述图像帧偏向蓝色时,以所述第一尺度因子的第一分量、所述第一尺度因子的第二分量和所述第二尺度因子的第六分量作为增益,对所述图像帧中每个像素点的色彩值进行增益处理;
84.当所述图像帧偏向绿色时,以所述第一尺度因子的第一分量、所述第二尺度因子的第五分量和所述第一尺度因子的第三分量作为增益,对所述图像帧中每个像素点的色彩值进行增益处理;
85.当所述图像帧偏向黄色时,以所述第二尺度因子的第四分量、所述第二尺度因子的第五分量和所述第一尺度因子的第三分量作为增益,对所述图像帧中每个像素点的色彩值进行增益处理。
86.在上述方案中,所述根据所述图像帧的第一色度分量和第二色度分量,确定所述图像帧偏向的颜色,包括:
87.当所述第一色度分量大于第四预设值时,确定所述图像帧偏向红色;
88.当所述第一色度分量不大于第四预设值时,确定所述图像帧偏向绿色;
89.当所述第二色度分量大于第五预设值时,确定所述图像帧偏向黄色;
90.当所述第二色度分量不大于第五预设值时,确定所述图像帧偏向蓝色。
91.在上述方案中,所述根据所述屏幕偏色信息,对经过所述第一偏色校正处理后的图像帧进行第二偏色校正处理,包括:
92.查询与所述屏幕偏色信息对应的第三尺度因子;
93.以所述第三尺度因子作为增益,对经过所述第一偏色校正处理后的图像帧中的每个像素点的色彩值进行增益处理。
94.在上述方案中,所述对所述视频进行偏色校正处理,包括:
95.获取终端的屏幕偏色信息,并查询与所述屏幕偏色信息对应的第四尺度因子;
96.针对所述视频中的每个图像帧执行以下处理:以所述第四尺度因子作为增益,对所述图像帧中的每个像素点的色彩值进行增益处理。
97.本技术实施例提供一种直播处理装置,包括:
98.接收模块,用于接收直播间的视频;
99.显示模块,用于在人机交互界面中播放直播间的视频,以及在所述人机交互界面中显示偏色校正入口;
100.校正模块,用于响应于针对所述偏色校正入口的触发操作,对所述视频进行偏色校正处理,并播放偏色校正处理后的所述视频。
101.在上述方案中,所述校正模块,还用于在所述人机交互界面的第一区域中播放偏色校正处理后的所述视频;在所述人机交互界面的第二区域中播放偏色校正处理前的所述视频;响应于区域切换操作,交换所述第一区域和所述第二区域中播放的视频。
102.在上述方案中,所述校正模块,还用于在所述人机交互界面中显示所述第二区域的关闭入口;响应于针对所述关闭入口的触发操作,自动停止所述第二区域中播放的所述视频,并隐藏所述第二区域。
103.在上述方案中,所述校正模块,还用于当在预设等待时长内未接收到所述区域切换操作时,自动停止所述第二区域中播放的所述视频,并隐藏所述第二区域。
104.在上述方案中,所述校正模块,还用于将播放的偏色校正处理前的所述直播间的视频,自动替换为偏色校正处理后的所述视频。
105.在上述方案中,所述校正模块,还用于显示偏色校正参数设置页面;响应于在所述偏色校正参数设置页面接收的偏色校正参数配置操作,获取登录账号配置的偏色校正参数,其中,所述登录账号是登录所述直播间的账号;根据所述登录账号配置的偏色校正参数,对所述视频进行偏色校正处理。
106.在上述方案中,所述显示模块,还用于获取登录账号的偏色容忍程度,其中,所述登录账号是登录所述直播间的账号;当所述视频的偏色程度超出所述偏色容忍程度时,自动触发所述偏色校正入口。
107.在上述方案中,所述校正模块,还用于针对所述视频中的每个图像帧执行以下处理:根据所述图像帧中每个像素点的色彩值,对所述图像帧进行第一偏色校正处理;获取终端的屏幕偏色信息,并根据所述屏幕偏色信息,对经过所述第一偏色校正处理后的图像帧进行第二偏色校正处理。
108.在上述方案中,所述校正模块,还用于当满足以下条件至少之一时,确定将执行所述获取终端的屏幕偏色信息的操作:接收到登录账号提交的偏色校正操作,其中,所述登录账号是登录所述直播间的账号;所述终端未开启隐私保护功能,其中,所述隐私保护功能用于屏蔽读取终端的设备信息。
109.在上述方案中,所述校正模块,还用于针对所述图像帧中的每个像素点执行以下处理:在所述像素点中确定与多个色彩通道一一对应的多个色彩值,对所述多个色彩值进行均衡化处理,得到与所述多个色彩值一一对应的多个均衡化数据;根据所述图像帧中的每个像素点对应的多个均衡化数据,在所述图像帧中确定多个参考白像素点;根据所述多个参考白像素点的亮度值和色彩值,确定第一尺度因子;根据所述图像帧中的每个像素点的色彩值,确定第二尺度因子;根据所述第一尺度因子和所述第二尺度因子,对所述图像帧进行第一偏色校正处理。
110.在上述方案中,所述校正模块,还用于针对所述图像帧中的每个像素点执行以下处理:在所述像素点对应的多个均衡化数据中,确定对应第一色彩通道的第一均衡化数据、对应第二色彩通道的第二均衡化数据、以及对应第三色彩通道的第三均衡化数据;在所述图像帧中选取同时满足以下条件的像素点作为白像素点:所述像素点的第一均衡化数据大于或等于第一预设值,所述像素点的第二均衡化数据大于或等于第二预设值,所述像素点的第三均衡化数据小于或等于第三预设值;在多个所述白像素点中选取亮度值最大的像素点作为亮度白像素点;根据所述亮度白像素点对应的第一均衡化数据、第二均衡化数据和第三均衡化数据,在所述图像帧中确定多个参考白像素点。
111.在上述方案中,所述校正模块,还用于将所述亮度白像素点对应的第一均衡化数据确定为第一亮度均衡化数据、将所述亮度白像素点对应的第二均衡化数据确定为第二亮
度均衡化数据、以及将所述亮度白像素点对应的第三均衡化数据确定为第三亮度均衡化数据;将每个所述白像素点对应的第一均衡化数据进行加和处理,并将加和结果与所述白像素点的数量之间的比值确定为第一均衡化平均数据;将每个所述白像素点对应的第二均衡化数据进行加和处理,并将加和结果与所述白像素点的数量之间的比值确定为第二均衡化平均数据;将每个所述白像素点对应的第三均衡化数据进行加和处理,并将加和结果与所述白像素点的数量之间的比值确定为第三均衡化平均数据;在所述图像帧中选取同时满足以下条件的像素点作为所述参考白像素点:所述像素点的第一均衡化数据位于所述第一亮度均衡化数据与所述第一均衡化平均数据之间,所述像素点的第二均衡化数据位于所述第二亮度均衡化数据与所述第二均衡化平均数据之间,所述像素点的第三均衡化数据位于所述第三亮度均衡化数据与所述第三均衡化平均数据之间。
112.在上述方案中,所述校正模块,还用于将每个所述参考白像素点的亮度值进行加和处理,并将加和结果与所述参考白像素点的数量之间的比值确定为亮度平均值;确定每个所述参考白像素点对应第一色彩通道的第一色彩值、对应第二色彩通道的第二色彩值、以及对应第三色彩通道的第三色彩值;将每个所述参考白像素点对应的第一色彩值进行加和处理,并将加和结果与所述参考白像素点的数量之间的比值确定为第一色彩平均值;将每个所述参考白像素点对应的第二色彩值进行加和处理,并将加和结果与所述参考白像素点的数量之间的比值确定为第二色彩平均值;将每个所述参考白像素点对应的第三色彩值进行加和处理,并将加和结果与所述参考白像素点的数量之间的比值确定为第三色彩平均值;根据所述亮度平均值、第一色彩平均值、第二色彩平均值和第三色彩平均值,确定第一分量、第二分量和第三分量,并将所述第一分量、所述第二分量和所述第三分量组合为所述第一尺度因子。
113.在上述方案中,所述校正模块,还用于将所述亮度平均值与所述第一色彩平均值之间的比值确定为所述第一分量;将所述亮度平均值与所述第二色彩平均值之间的比值确定为所述第二分量;将所述亮度平均值与所述第三色彩平均值之间的比值确定为所述第三分量。
114.在上述方案中,所述校正模块,还用于将所述图像帧中每个所述像素点对应第一色彩通道的第一色彩值进行加和处理,并将加和结果与所述图像帧中像素点的数量之间的比值确定为第四色彩平均值;将所述图像帧中每个所述像素点对应第二色彩通道的第二色彩值进行加和处理,并将加和结果与所述图像帧中像素点的数量之间的比值确定为第五色彩平均值;将所述图像帧中每个所述像素点对应第三色彩通道的第三色彩值进行加和处理,并将加和结果与所述图像帧中像素点的数量之间的比值确定为第六色彩平均值;将所述第四色彩平均值、所述第五色彩平均值和所述第六色彩平均值之间的平均值,确定为总色彩平均值;根据所述总色彩平均值、所述第四色彩平均值、所述第五色彩平均值和所述第六色彩平均值,确定第四分量、第五分量和第六分量,并将所述第四分量、所述第五分量和所述第六分量组合为所述第二尺度因子。
115.在上述方案中,所述校正模块,还用于将所述总色彩平均值与所述第四色彩平均值之间的比值确定为所述第四分量;将所述总色彩平均值与所述第五色彩平均值之间的比值确定为所述第五分量;将所述总色彩平均值与所述第六色彩平均值之间的比值确定为所述第六分量。
116.在上述方案中,所述校正模块,还用于根据所述图像帧的第一色度分量和第二色度分量,确定所述图像帧偏向的颜色;当所述图像帧偏向红色时,以所述第二尺度因子的第四分量、所述第一尺度因子的第二分量和所述第一尺度因子的第三分量作为增益,对所述图像帧中每个像素点的色彩值进行增益处理;当所述图像帧偏向蓝色时,以所述第一尺度因子的第一分量、所述第一尺度因子的第二分量和所述第二尺度因子的第六分量作为增益,对所述图像帧中每个像素点的色彩值进行增益处理;当所述图像帧偏向绿色时,以所述第一尺度因子的第一分量、所述第二尺度因子的第五分量和所述第一尺度因子的第三分量作为增益,对所述图像帧中每个像素点的色彩值进行增益处理;当所述图像帧偏向黄色时,以所述第二尺度因子的第四分量、所述第二尺度因子的第五分量和所述第一尺度因子的第三分量作为增益,对所述图像帧中每个像素点的色彩值进行增益处理。
117.在上述方案中,所述校正模块,还用于当所述第一色度分量大于第四预设值时,确定所述图像帧偏向红色;当所述第一色度分量不大于第四预设值时,确定所述图像帧偏向绿色;当所述第二色度分量大于第五预设值时,确定所述图像帧偏向黄色;当所述第二色度分量不大于第五预设值时,确定所述图像帧偏向蓝色。
118.在上述方案中,所述校正模块,还用于查询与所述屏幕偏色信息对应的第三尺度因子;以所述第三尺度因子作为增益,对经过所述第一偏色校正处理后的图像帧中的每个像素点的色彩值进行增益处理。
119.在上述方案中,所述校正模块,还用于获取终端的屏幕偏色信息,并查询与所述屏幕偏色信息对应的第四尺度因子;针对所述视频中的每个图像帧执行以下处理:以所述第四尺度因子作为增益,对所述图像帧中的每个像素点的色彩值进行增益处理。
120.在上述方案中,所述显示模块,还用于对所述直播间的视频进行偏色检测处理,得到偏色检测结果;当所述偏色检测结果表征所述视频出现偏色时,在所述人机交互界面中显示用于提示所述视频出现偏色的信息,并确定将执行在所述人机交互界面中显示偏色校正入口的操作。
121.在上述方案中,所述显示模块,还用于从所述视频中抽取多个图像帧;针对每个所述图像帧执行以下处理:确定所述图像帧的平均色度和色度中心距,将所述平均色度和所述色度中心距之间的比值确定为所述图像帧的偏色因子;根据每个所述图像帧的偏色因子,确定所述视频的所述偏色检测结果。
122.在上述方案中,所述显示模块,还用于在所述多个图像帧中,将所述偏色因子大于偏色因子阈值的图像帧确定为偏色图像帧;当所述偏色图像帧的数量和所述多个图像帧的数量之间的比值大于偏色数量阈值时,确定所述视频出现偏色;当所述偏色图像帧的数量和所述多个图像帧的数量之间的比值不大于偏色数量阈值时,确定所述视频未出现偏色。
123.在上述方案中,所述显示模块,还用于确定所述图像帧中每个像素点在红绿蓝色彩空间中的色彩值;将所述每个像素点在所述红绿蓝色彩空间中的色彩值转换为颜色对立空间中的第一颜色对立维度和第二颜色对立维度;对所述每个像素点的第一颜色对立维度进行加和处理,并将加和结果和所述图像帧中像素点的数量之间的比值确定为第一色度分量;对所述每个像素点的第二颜色对立维度进行加和处理,并将加和结果和所述图像帧中像素点的数量之间的比值确定为第二色度分量;根据所述第一色度分量和所述第二色度分量,确定所述图像帧的平均色度;根据所述每个像素点的第一颜色对立维度和第二颜色对
立维度,确定第一色度中心距分量和第二色度中心距分量;根据所述第一色度中心距分量和所述第二色度中心距分量,确定所述图像帧的色度中心距。
124.在上述方案中,所述显示模块,还用于对所述第一色度分量进行乘方处理,得到第一乘方结果;对所述第二色度分量进行乘方处理,得到第二乘方结果;对所述第一乘方结果和所述第二乘方结果进行加和处理,并将加和结果进行开方处理,得到所述图像帧的平均色度。
125.在上述方案中,所述显示模块,还用于针对所述每个像素点执行以下处理:将所述像素点的第一颜色对立维度和所述第一色度分量进行相减处理,并对相减结果进行乘方处理,得到第一色度距离,将所述像素点的第二颜色对立维度和所述第二色度分量进行相减处理,并对相减结果进行乘方处理,得到第二色度距离;对所述每个像素点的第一色度距离进行加和处理,并将加和结果和所述图像帧中像素点的数量之间的比值确定为所述第一色度中心距分量;对所述每个像素点的第二色度距离进行加和处理,并将加和结果和所述图像帧中像素点的数量之间的比值确定为所述第二色度中心距分量。
126.在上述方案中,所述显示模块,还用于对所述第一色度中心距分量进行乘方处理,得到第三乘方结果;对所述第一色度中心距分量进行乘方处理,得到第四乘方结果;对所述第三乘方结果和所述第四乘方结果进行加和处理,得到所述图像帧的色度中心距。
127.在上述方案中,所述显示模块,还用于对所述直播间的视频进行场景检测处理,当所述直播间的视频中出现颜色显示敏感场景时,确定将执行对所述直播间的视频进行偏色检测处理的操作;其中,所述颜色显示敏感场景的类型包括:针对多个不同颜色物品的推荐场景、针对至少一个特定颜色物品的推荐场景、针对符合登录账号偏好的物品的推荐场景,所述登录账号是登录所述直播间的账号。
128.在上述方案中,所述显示模块,还用于在所述人机交互界面中显示偏色检测入口;响应于针对所述偏色检测入口的触发操作,确定将执行对所述直播间的视频进行偏色检测处理的操作。
129.在上述方案中,所述显示模块,还用于对所述人机交互界面中播放的所述直播间的视频进行场景检测处理;当所述直播间的视频中出现颜色显示敏感场景时,确定将自动转入执行在所述人机交互界面中显示偏色校正入口的操作;其中,所述颜色显示敏感场景的类型包括:针对多个不同颜色物品的推荐场景、针对至少一个特定颜色物品的推荐场景、针对符合登录账号偏好的物品的推荐场景;所述登录账号是登录所述直播间的账号。
130.本技术实施例提供一种电子设备,包括:
131.存储器,用于存储计算机可执行指令;
132.处理器,用于执行所述存储器中存储的计算机可执行指令时,实现本技术实施例提供的直播处理方法。
133.本技术实施例提供一种计算机可读存储介质,存储有计算机可执行指令,用于被处理器执行时,实现本技术实施例提供的直播处理方法。
134.本技术实施例提供一种计算机程序产品,计算机程序产品包括计算机可执行指令,用于被处理器执行时,实现本技术实施例提供的直播处理方法。
135.本技术实施例具有以下有益效果:
136.在观众触发偏色校正入口后,对直播间的视频进行偏色校正处理,并播放偏色校
正处理后的视频,能够保证直播过程中视频显示颜色的准确性,提高视频的视觉感知效果,从而提高观众的直播观看体验,进而节约用于直播的计算资源和通信资源。
附图说明
137.图1是本技术实施例提供的直播处理系统100的架构示意图;
138.图2是本技术实施例提供的观众终端400的结构示意图;
139.图3是本技术实施例提供的直播处理方法的流程示意图;
140.图4是本技术实施例提供的直播处理方法的流程示意图;
141.图5是本技术实施例提供的直播处理方法的流程示意图;
142.图6是本技术实施例提供的直播处理方法的流程示意图;
143.图7是本技术实施例提供的直播处理方法的流程示意图;
144.图8是本技术实施例提供的直播处理方法的流程示意图;
145.图9是本技术实施例提供的直播处理方法的应用场景示意图;
146.图10是本技术实施例提供的直播处理方法的原理示意图;
147.图11是本技术实施例提供的直播处理方法的应用场景示意图;
148.图12是本技术实施例提供的直播处理方法的应用场景示意图;
149.图13是本技术实施例提供的直播处理方法的应用场景示意图;
150.图14是本技术实施例提供的直播处理方法的应用场景示意图。
具体实施方式
151.为了使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术作进一步地详细描述,所描述的实施例不应视为对本技术的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
152.在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
153.在以下的描述中,所涉及的术语“第一/第二”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
154.除非另有定义,本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的,不是旨在限制本技术。
155.对本技术实施例进行进一步详细说明之前,对本技术实施例中涉及的名词和术语进行说明,本技术实施例中涉及的名词和术语适用于如下的解释。
156.1)响应于,用于表示所执行的操作所依赖的条件或者状态,当满足所依赖的条件或状态时,所执行的一个或多个操作可以是实时的,也可以具有设定的延迟;在没有特别说明的情况下,所执行的多个操作不存在执行先后顺序的限制。
157.2)直播,在现场随着事件的发生、发展进程同步制作和发布信息,具有双向流通过程的信息网络发布方式。具体的,可以通过设备采集开播方数据,经过一系列处理,例如视
频编码压缩成可观看可传输的视频流,输出至观看用户端的技术。
158.3)颜色空间,或称色彩空间、颜色坐标系统,是一种抽象表示和描述颜色的方法。红绿蓝(rgb,red green blue)颜色空间是最常用的颜色模型之一,数字成像设备输出的图像和视频往往也是rgb格式。但是rgb颜色空间最大的局限性在于当用欧氏距离来刻画两种颜色之间的差异时,所计算出的两种颜色之间的距离无法正确表征人们实际所感知到的这两种颜色之间的真实差异。采用lab颜色空间(或称颜色对立空间、lab空间)所计算出来的颜色之间的距离与人的实际感知上的差别基本一致。
159.4)偏色,人的视觉系统具有颜色恒常性,能够在一定程度上消除光照条件等对颜色的影响因素,正确地感知物体的颜色。但成像设备不具有这种“调节”功能,因此成像设备采集的图像的颜色与物体表面的真实颜色之间存在一定程度的误差,即偏色。
160.5)偏色校正,或称颜色还原,即消除偏色,具体是指去除拍摄环境中光源色温等因素的影响,从而再现物品真实的颜色。
161.本技术实施例提供一种直播处理方法,能够保证直播过程中视频显示颜色的准确性,从而提高视频的视觉感知效果。下面说明本技术实施例提供的直播处理方法的示例性应用,本技术实施例提供的直播处理方法可以由各种电子设备实施,例如,可以应用到智能手机、平板电脑、车载终端、智能穿戴设备等各种类型的用户终端(下文也简称为终端)。
162.接下来,以电子设备为终端为例,说明终端实施本技术实施例提供的直播处理方法的一个示例性的应用系统架构,参见图1,图1是本技术实施例提供的直播处理系统100的架构示意图。其中,直播处理系统100包括有:服务器200、网络300、以及观众终端400,将分别进行说明。
163.服务器200是客户端410的后台服务器,用于向客户端410发送直播间的视频。
164.网络300,用于作为服务器200和观众终端400之间通信的媒介,可以是广域网或者局域网,又或者是二者的组合。
165.观众终端400,归属于观众,用于运行客户端410,客户端410是具备直播功能的客户端。客户端410用于接收服务器200发送的直播间的视频,并在人机交互界面411中播放直播间的视频;还用于在人机交互界面411中显示偏色校正入口,并响应于观众针对偏色校正入口的触发操作,对视频进行偏色校正处理,在人机交互界面411中播放偏色校正处理后的视频。
166.在一些实施例中,观众终端400通过运行计算机程序来实现本技术实施例提供的直播处理方法,例如,计算机程序可以是操作系统中的原生程序或软件模块;可以是本地(native)应用程序(app,application),即需要在操作系统中安装才能运行的程序,例如直播app;也可以是小程序,即只需要下载到浏览器环境中就可以运行的程序,例如直播小程序;还可以是能够嵌入至任意app中的直播小程序。总而言之,上述计算机程序可以是任意形式的应用程序、模块或插件。
167.本技术实施例可以借助于云技术(cloud technology)实现,云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。
168.云技术是基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、以及应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要
支撑。技术网络系统的后台服务需要大量的计算、存储资源。
169.作为示例,服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。观众终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接,本技术实施例中不做限制。
170.接下来说明图1中的观众终端400的结构。参见图2,图2是本技术实施例提供的观众终端400的结构示意图,图2所示的观众终端400包括:至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。观众终端400中的各个组件通过总线系统440耦合在一起。可理解,总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统440。
171.处理器410可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(dsp,digital signal processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
172.用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
173.存储器450可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
174.存储器450包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(rom,read only me mory),易失性存储器可以是随机存取存储器(ram,random access memor y)。本技术实施例描述的存储器450旨在包括任意适合类型的存储器。
175.在一些实施例中,存储器450能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
176.操作系统451,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。
177.网络通信模块452,用于经由一个或多个(有线或无线)网络接口420到达其他电子设备,示例性的网络接口420包括:蓝牙、无线相容性认证(wifi)、和通用串行总线(usb,universal serial bus)等。
178.呈现模块453,用于经由一个或多个与用户接口430相关联的输出装置431(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口)。
179.输入处理模块454,用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
180.在一些实施例中,本技术实施例提供的直播处理装置可以采用软件方式实现,图2示出了存储在存储器450中的直播处理装置455,其可以是程序和插件等形式的软件,包括以下软件模块:接收模块4551、显示模块4552和校正模块4553,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
181.下面,以由图1中的观众终端400单独执行本技术实施例提供的直播处理方法为例说明。参见图3,图3是本技术实施例提供的直播处理方法的流程示意图,将结合图3示出的步骤进行说明。
182.需要说明的是,图3示出的方法可以由观众终端400运行的各种形式计算机程序执行,并不局限于上述的客户端410,例如上文的操作系统451、软件模块、脚本和小程序,因此下文中以客户端的示例不应视为对本技术实施例的限定。
183.还需要说明的是,下文中的观众账号是归属于观众的,为了描述上的方便,对于观众账号和观众也不做具体区分。例如,观众账号的操作,具体就是持有观众账号的观众的操作。
184.在步骤s101中,接收直播间的视频。
185.在一些实施例中,主播终端采集主播在直播间中表演的视频和音频,并将视频和音频以直播流的形式发送到服务器,服务器将直播间的直播流推流至观众终端。
186.在步骤s102中,在人机交互界面中播放直播间的视频。
187.在一些实施例中,根据直播流中的视频在人机交互界面中播放直播间的视频画面(即图像帧),并在播放直播间的视频画面时,根据直播流中的音频同步播放对应的音频。
188.在步骤s103中,在人机交互界面中显示偏色校正入口。
189.作为示例,图9中,在直播画面中显示偏色校正入口902,当观众触发偏色校正入口902时,可以开启偏色校正功能。其中,偏色校正入口902可以在直播过程中一直显示,也可以是当直播画面中出现偏色时才显示,还可以是当视频的偏色程度超过偏色程度阈值(可以是缺省值,也可以是主播、观众、客户端或服务器设定的值)时才显示,从而可以节约终端的显示资源。
190.在一些实施例中,在执行步骤s103时可以包括:获取登录账号的偏色容忍程度,其中,登录账号是登录直播间的账号;当视频的偏色程度超出偏色容忍程度时,自动触发偏色校正入口。
191.作为示例,偏色容忍程度可以是登录账号设定的值,也可以是根据登录账号的历史观看记录确定的,即根据登录账号历史观看的未进行偏色校正处理的视频的偏色程度所确定的,例如,将登录账号历史观看的所有未进行偏色校正处理的视频的偏色程度的平均值、最大值或最小值作为偏色容忍程度。
192.作为示例,自动触发偏色校正入口之前,还可以显示倒计时控件和偏色校正关闭按钮,当在倒计时控件中的倒计时结束前未接收到针对偏色校正关闭按钮的触发操作时,确定将执行自动触发偏色校正入口的操作。
193.举例来说,图11中,当视频的偏色程度超出偏色容忍程度时,显示倒计时控件112和偏色校正关闭按钮111,当在倒计时控件112中的倒计时结束前观众仍未触发偏色校正关闭按钮111时,自动对视频进行偏色校正处理。如此,根据登录账号的偏色容忍程度自动触发偏色校正入口,能够减少观众的操作次数,节约终端的操作资源。
194.在一些实施例中,在步骤s103之前还可以包括:对人机交互界面中播放的直播间的视频进行场景检测处理;当直播间的视频中出现颜色显示敏感场景时,确定将自动转入执行在人机交互界面中显示偏色校正入口的操作;其中,颜色显示敏感场景的类型包括:针对多个不同颜色物品的推荐场景、针对至少一个特定颜色物品的推荐场景、针对符合登录账号偏好的物品的推荐场景。
195.作为示例,当直播间的视频中出现颜色显示敏感场景时,可以在人机交互界面中显示已进入颜色显示敏感场景的提示信息。
196.本技术实施例可以根据视频中出现的场景自动显示偏色校正入口,即不进行偏色检测处理直接显示偏色校正入口,使得对颜色敏感的观众发现视频出现偏色时,或观众根据提示信息获知进入颜色显示敏感场景时,可以根据偏色校正入口直接触发偏色校正处理,从而可以避免不必要的偏色检测,从而节约偏色检测资源。
197.在步骤s104中,响应于针对偏色校正入口的触发操作,对视频进行偏色校正处理。
198.在一些实施例中,作为步骤s104的替代方案可以是当视频的偏色程度超过偏色程度阈值时,对视频自动进行偏色校正处理。如此,可以无需观众触发偏色校正入口,从而能够减少观众的操作次数,节约终端的操作资源。
199.在一些实施例中,在响应于针对偏色校正入口的触发操作时,可以包括:显示偏色校正参数设置页面;响应于在偏色校正参数设置页面接收的偏色校正参数配置操作,获取登录账号配置的偏色校正参数;如此,对视频进行偏色校正处理可以包括:根据登录账号配置的偏色校正参数,对视频进行偏色校正处理。
200.举例来说,图12中,当观众触发偏色校正入口时,显示偏色校正参数设置页面121,其中,偏色校正参数设置页面121中包括偏色校正参数设置入口122,观众可以在偏色校正参数设置入口122中配置偏色校正参数。
201.作为示例,偏色校正参数设置页面中可以包括默认偏色校正参数,其中,默认偏色校正参数的类型包括:服务器或观众终端根据视频的偏色程度确定的偏色校正参数;历史偏色校正参数;主播相同的直播间所使用的偏色校正参数,因为相同的主播所使用的视频采集设备相同,所造成的偏色程度可能相同,因此可以使用主播相同的直播间所使用的偏色校正参数,从而节约计算资源。如此,偏色校正参数配置操作可以是针对默认偏色校正参数的选择操作,选择的默认偏色校正参数即为登录账号配置的偏色校正参数。
202.作为示例,登录账号配置的偏色校正参数可以后续复用于针对其余直播间的视频进行偏色校正处理,例如,复用于针对主播相同的直播间的视频进行偏色校正处理,从而节约计算偏色校正参数的资源。
203.在一些实施例中,客户端可以调用观众终端的相应服务(例如,偏色校正服务),通过观众终端对视频进行偏色校正处理。客户端也可以调用服务器的相应服务(例如,偏色校正服务),通过服务器对视频进行偏色校正处理。
204.作为示例,当客户端调用服务器的相应服务(例如,偏色校正服务)对视频进行偏色校正处理时,步骤s104的替换步骤为:观众终端响应于针对偏色校正入口的触发操作,向服务器发送偏色校正指令,服务器根据偏色校正指令对视频进行偏色校正处理,并将偏色校正处理后的视频发送至观众终端。
205.下面,以由客户端调用观众终端的相应服务(例如,偏色校正服务),通过观众终端
对视频进行偏色校正处理为例进行说明。需要说明的是,客户端调用服务器的相应服务(例如,偏色校正服务)对视频进行偏色校正处理的过程与下述类似,将不再进行赘述。
206.在一些实施例中,对视频进行偏色校正处理可以是针对视频中的每个图像帧进行偏色校正处理。参见图4,图4是本技术实施例提供的直播处理方法的流程示意图,将结合图4说明针对视频中的每个图像帧进行偏色校正处理的具体实现方式。
207.在步骤s401中,根据图像帧中每个像素点的色彩值,对图像帧进行第一偏色校正处理。
208.在一些实施例中,参见图5,图5是本技术实施例提供的直播处理方法的流程示意图,基于图4,步骤s401可以包括步骤s4011至步骤s4015。
209.在步骤s4011中,针对图像帧中的每个像素点执行以下处理:在像素点中确定与多个色彩通道一一对应的多个色彩值,对多个色彩值进行均衡化处理,得到与多个色彩值一一对应的多个均衡化数据。
210.在一些实施例中,图像帧中的每个像素点中的多个色彩值(r
org
,g
org
,b
org
)对应多个色彩通道,例如,色彩值r
org
对应红色通道(或称第一色彩通道),色彩值g
org
对应绿色通道(或称第二色彩通道),色彩值b
org
对应蓝色通道(或称第三色彩通道);针对每个像素点的色彩值r
org
、色彩值g
org
和色彩值b
org
进行直方图均衡化处理,得到对应色彩值r
org
的均衡化数据y
hist
、对应色彩值g
org
的均衡化数据cr
hist
、以及对应色彩值b
org
的均衡化数据cb
hist

211.作为示例,直方图均衡化处理是指利用直方图对图像帧中的每个像素点的对比度进行调整,可以用来增加图像帧的全局对比度。通过直方图均衡化处理,图像帧的亮度可以更好地在直方图上分布,如此,可以增强局部的对比度而不影响整体的对比度。
212.在步骤s4012中,根据图像帧中的每个像素点对应的多个均衡化数据,在图像帧中确定多个参考白像素点。
213.在一些实施例中,针对图像帧中的每个像素点执行以下处理:在像素点对应的多个均衡化数据中,确定对应第一色彩通道的第一均衡化数据(y
hist
)、对应第二色彩通道的第二均衡化数据(cr
hist
)、以及对应第三色彩通道的第三均衡化数据(cb
hist
);在图像帧中选取同时满足以下条件的像素点作为白像素点:像素点的第一均衡化数据大于或等于第一预设值,像素点的第二均衡化数据大于或等于第二预设值,像素点的第三均衡化数据小于或等于第三预设值;在多个白像素点中选取亮度值最大的像素点作为亮度白像素点;根据亮度白像素点对应的第一均衡化数据、第二均衡化数据和第三均衡化数据,在图像帧中确定多个参考白像素点。
214.以第一预设值是210、第二预设值是-3、且第三预设值是3为例,在图像帧中选取同时满足公式(1)的像素点作为白像素点:
[0215][0216]
在满足公式(1)的白像素点中,以具有最大的y
hist
值和最接近于零的cr
hist
、cb
hist
值中找出亮度值最大的像素点(y
histbright
,cr
histbright
,cb
histbright
)作为亮度白像素点。
[0217]
作为示例,根据亮度白像素点对应的第一均衡化数据、第二均衡化数据和第三均衡化数据,在图像帧中确定多个参考白像素点,可以包括:将亮度白像素点对应的第一均衡化数据确定为第一亮度均衡化数据(y
histbright
)、将亮度白像素点对应的第二均衡化数据确
定为第二亮度均衡化数据(cr
histbright
)、以及将亮度白像素点对应的第三均衡化数据确定为第三亮度均衡化数据(cb
histbright
);将每个白像素点对应的第一均衡化数据进行加和处理,并将加和结果与白像素点的数量之间的比值确定为第一均衡化平均数据(y
histavg
);将每个白像素点对应的第二均衡化数据进行加和处理,并将加和结果与白像素点的数量之间的比值确定为第二均衡化平均数据(cr
histavg
);将每个白像素点对应的第三均衡化数据进行加和处理,并将加和结果与白像素点的数量之间的比值确定为第三均衡化平均数据(cb
histavg
);在图像帧中选取同时满足以下条件的像素点作为参考白像素点:像素点的第一均衡化数据位于第一亮度均衡化数据与第一均衡化平均数据之间,像素点的第二均衡化数据位于第二亮度均衡化数据与第二均衡化平均数据之间,像素点的第三均衡化数据位于第三亮度均衡化数据与第三均衡化平均数据之间。
[0218]
举例来说,在图像帧中选取满足公式(2)的所有像素点作为参考白像素点。
[0219][0220]
其中,y
l
和yh分别为选自第一亮度均衡化数据y
histbright
和第一均衡化平均数据y
histavg
间的最小值和最大值,cr
l
、crh分别为选自第二亮度均衡化数据cr
histbright
和第二均衡化平均数据cr
histavg
间的最小值和最大值,cb
l
和cbh分别为选自第三亮度均衡化数据cb
histbright
和第三均衡化平均数据cb
histavg
间的最小值和最大值。
[0221]
在步骤s4013中,根据多个参考白像素点的亮度值和色彩值,确定第一尺度因子。
[0222]
在一些实施例中,将每个参考白像素点的亮度值进行加和处理,并将加和结果与参考白像素点的数量之间的比值确定为亮度平均值(yw);确定每个参考白像素点对应第一色彩通道的第一色彩值、对应第二色彩通道的第二色彩值、以及对应第三色彩通道的第三色彩值;将每个参考白像素点对应的第一色彩值进行加和处理,并将加和结果与参考白像素点的数量之间的比值确定为第一色彩平均值(rw);将每个参考白像素点对应的第二色彩值进行加和处理,并将加和结果与参考白像素点的数量之间的比值确定为第二色彩平均值(gw);将每个参考白像素点对应的第三色彩值进行加和处理,并将加和结果与参考白像素点的数量之间的比值确定为第三色彩平均值(bw);根据亮度平均值、第一色彩平均值、第二色彩平均值和第三色彩平均值,确定第一分量(r
scale
)、第二分量(g
scale
)和第三分量(b
scale
),并将第一分量、第二分量和第三分量组合为第一尺度因子。
[0223]
作为示例,根据亮度平均值、第一色彩平均值、第二色彩平均值和第三色彩平均值,确定第一分量、第二分量和第三分量,可以包括:将亮度平均值与第一色彩平均值之间的比值确定为第一分量;将亮度平均值与第二色彩平均值之间的比值确定为第二分量;将亮度平均值与第三色彩平均值之间的比值确定为第三分量。
[0224]
举例来说,计算所有参考白像素点的色彩值的平均值(rw,gw,bw)。根据公式(3)计算第一尺度因子(r
scale
,g
scale
,b
scale
)。
[0225][0226]
其中,yw为参考白像素点的亮度平均值,即对所有参考白像素点的亮度值取平均
所得到的值。
[0227]
在步骤s4014中,根据图像帧中的每个像素点的色彩值,确定第二尺度因子。
[0228]
在一些实施例中,将图像帧中每个像素点对应第一色彩通道的第一色彩值进行加和处理,并将加和结果与图像帧中像素点的数量之间的比值确定为第四色彩平均值(r
aver
);将图像帧中每个像素点对应第二色彩通道的第二色彩值进行加和处理,并将加和结果与图像帧中像素点的数量之间的比值确定为第五色彩平均值(g
aver
);将图像帧中每个像素点对应第三色彩通道的第三色彩值进行加和处理,并将加和结果与图像帧中像素点的数量之间的比值确定为第六色彩平均值(b
aver
);将第四色彩平均值、第五色彩平均值和第六色彩平均值之间的平均值,确定为总色彩平均值(gray);根据总色彩平均值、第四色彩平均值、第五色彩平均值和第六色彩平均值,确定第四分量(r
gwa
)、第五分量(g
gwa
)和第六分量(b
gwa
),并将第四分量、第五分量和第六分量组合为第二尺度因子。
[0229]
作为示例,根据总色彩平均值、第四色彩平均值、第五色彩平均值和第六色彩平均值,确定第四分量、第五分量和第六分量,可以包括:将总色彩平均值与第四色彩平均值之间的比值确定为第四分量;将总色彩平均值与第五色彩平均值之间的比值确定为第五分量;将总色彩平均值与第六色彩平均值之间的比值确定为第六分量。
[0230]
举例来说,根据公式(4)计算第二尺度因子(r
gwa
,g
gwa
,b
gwa
)。
[0231][0232]
其中,gray=(r
aver
+g
aver
+b
aver
)/3,而(r
aver
,g
aver
,b
aver
)是图像中的每个像素点在rgb颜色空间中的原始数据(r
org
,g
org
,b
org
)的平均值,即上述的第四色彩平均值、第五色彩平均值和第六色彩平均值。
[0233]
在步骤s4015中,根据第一尺度因子和第二尺度因子,对图像帧进行第一偏色校正处理。
[0234]
在一些实施例中,根据图像帧的第一色度分量(da)和第二色度分量(db),确定图像帧偏向的颜色;当图像帧偏向红色时,以第二尺度因子的第四分量、第一尺度因子的第二分量和第一尺度因子的第三分量作为增益,对图像帧中每个像素点的色彩值进行增益处理;当图像帧偏向蓝色时,以第一尺度因子的第一分量、第一尺度因子的第二分量和第二尺度因子的第六分量作为增益,对图像帧中每个像素点的色彩值进行增益处理;当图像帧偏向绿色时,以第一尺度因子的第一分量、第二尺度因子的第五分量和第一尺度因子的第三分量作为增益,对图像帧中每个像素点的色彩值进行增益处理;当图像帧偏向黄色时,以第二尺度因子的第四分量、第二尺度因子的第五分量和第一尺度因子的第三分量作为增益,对图像帧中每个像素点的色彩值进行增益处理。
[0235]
举例来说,当图像偏红时,以(r
gwa
,g
scale
,b
scale
)作为增益进行增益计算。当图像偏蓝时,以(r
scale
,g
scale
,b
gwa
)作为增益进行增益计算。当图像偏绿时,以(r
scale
,g
gwa
,b
scale
)作为增益进行增益计算。当图像偏黄时,以(r
gwa
,g
gwa
,b
scale
)作为增益进行增益计算。
[0236]
例如,当图像偏红时,针对图像帧中每个像素点的色彩值(r
org
,g
org
,b
org
),以(r
gwa
,g
scale
,b
scale
)作为增益进行增益计算,计算后每个像素点的色彩值为(r
gwa
×rorg
,g
scale
×gorg
,b
scale
×borg
),以此类推。
[0237]
作为示例,根据图像帧的第一色度分量和第二色度分量,确定图像帧偏向的颜色,可以包括:当第一色度分量大于第四预设值时,确定图像帧偏向红色;当第一色度分量不大于第四预设值时,确定图像帧偏向绿色;当第二色度分量大于第五预设值时,确定图像帧偏向黄色;当第二色度分量不大于第五预设值时,确定图像帧偏向蓝色。
[0238]
以第四预设值为0、且第五预设值为0为例,当第一色度分量大于0时,确定图像帧偏向红色;当第一色度分量不大于0时,确定图像帧偏向绿色;当第二色度分量大于0时,确定图像帧偏向黄色;当第二色度分量不大于0时,确定图像帧偏向蓝色。
[0239]
本技术实施例考虑到主播侧使用的视频采集装置的型号各不相同,所采集的视频的偏色情况也不同,因此根据视频中每个像素点的色彩值,对视频进行第一偏色校正处理,可以将主播侧发送的原始视频校正为统一偏色标准的视频,不仅能够减小后续进行第二偏色校正处理的计算量,还能够提高偏色校正的准确性。
[0240]
在步骤s402中,获取观众终端的屏幕偏色信息,并根据屏幕偏色信息,对经过第一偏色校正处理后的图像帧进行第二偏色校正处理。
[0241]
在一些实施例中,查询与屏幕偏色信息对应的第三尺度因子;以第三尺度因子作为增益,对经过第一偏色校正处理后的图像帧中的每个像素点的色彩值进行增益处理。
[0242]
作为示例,采集多个候选屏幕偏色信息和对应的候选第三尺度因子,并根据多个候选屏幕偏色信息和对应的候选第三尺度因子创建第一映射表;在第一映射表中查询与屏幕偏色信息对应的第三尺度因子;以第三尺度因子作为增益,对经过第一偏色校正处理后的图像帧中的每个像素点的色彩值进行增益处理。
[0243]
举例来说,当与屏幕偏色信息对应的第三尺度因子是(ra,ga,ba)时,针对图像帧中每个像素点的色彩值(r
org
,g
org
,b
org
),以(ra,ga,ba)作为增益进行增益计算,计算后每个像素点的色彩值为(ra×rorg
,ga×gorg
,ba×borg
)。
[0244]
本技术实施例考虑到观众侧使用的终端的型号各不相同,所播放的视频的偏色情况也不同,因此根据观众终端的屏幕偏色信息,将第一偏色校正处理后统一偏色标准的视频进行第二偏色校正处理,能够提高偏色校正的准确性。
[0245]
在一些实施例中,在步骤s402之前,还可以包括:当满足以下条件至少之一时,确定将执行获取观众终端的屏幕偏色信息的操作:接收到登录账号提交的偏色校正操作;终端未开启隐私保护功能,其中,隐私保护功能用于屏蔽读取终端的设备信息。
[0246]
作为示例,登录账号提交的偏色校正操作可以是登录账号针对第二偏色校正入口的触发操作,如此,可以根据观众指令对视频进行第二偏色校正处理,能够减少不必要的计算量。当观众终端开启隐私保护功能时,禁止客户端读取观众终端的设备信息,如此无法获取观众终端的屏幕偏色信息,从而实现隐私保护的效果。
[0247]
在一些实施例中,作为步骤s401和步骤s402的替代方案,还可以包括:获取观众终端的屏幕偏色信息,并查询与屏幕偏色信息对应的第四尺度因子;针对视频中的每个图像帧执行以下处理:以第四尺度因子作为增益,对图像帧中的每个像素点的色彩值进行增益处理。
[0248]
作为示例,采集多个候选屏幕偏色信息和对应的候选第四尺度因子,并根据多个候选屏幕偏色信息和对应的候选第四尺度因子创建第二映射表;在第二映射表中查询与屏幕偏色信息对应的第四尺度因子;针对视频中的每个图像帧执行以下处理:以第四尺度因
子作为增益,对图像帧中的每个像素点的色彩值进行增益处理。
[0249]
举例来说,当与屏幕偏色信息对应的第四尺度因子是(rb,gb,bb)时,针对图像帧中每个像素点的色彩值(r
org
,g
org
,b
org
),以(rb,gb,bb)作为增益进行增益计算,计算后每个像素点的色彩值为(rb×rorg
,gb×gorg
,bb×borg
)。
[0250]
在步骤s105中,播放偏色校正处理后的视频。
[0251]
在一些实施例中,步骤s105可以包括:在人机交互界面的第一区域中播放偏色校正处理后的视频;在执行步骤s105时,可以包括:在人机交互界面的第二区域中播放偏色校正处理前的视频;响应于区域切换操作,交换第一区域和第二区域中播放的视频,即将第一区域中播放偏色校正处理后的视频,切换为播放偏色校正处理前的视频,并将第二区域中播放的偏色校正处理前的视频,切换为播放偏色校正处理后的视频。
[0252]
举例来说,第一区域和第二区域可以处于并排模式,也可以处于画中画模式,例如,第二区域位于第一区域内,且第一区域的面积大于第二区域的面积,即图9中,直播页面中同时显示偏色校正处理后的画面905和偏色校正处理前的画面904,其中,偏色校正处理前的画面904位于偏色校正处理后的画面905内。区域切换操作可以是触发第二区域操作,即,当观众触发偏色校正处理前的画面904时,可以交换第一区域和第二区域中播放的视频。
[0253]
作为一个示例,在人机交互界面的第二区域中播放偏色校正处理前的视频时,可以包括:在人机交互界面中显示第二区域的关闭入口;响应于针对关闭入口的触发操作,自动停止第二区域中播放的视频,并隐藏(例如关闭或最小化)第二区域。
[0254]
举例来说,图13中,当观众触发关闭入口131时,自动停止第二区域132中播放的视频,并关闭第二区域132,从而节约终端的显示资源。
[0255]
作为另一个示例,在人机交互界面的第二区域中播放偏色校正处理前的视频时,可以包括:当在预设等待时长内未接收到区域切换操作时,自动停止第二区域中播放的视频,并隐藏(例如关闭或最小化)第二区域。
[0256]
举例来说,预设等待时长可以是缺省值,也可以是观众、客户端或服务器设定的值。
[0257]
本技术实施例在直播页面中同时显示偏色校正前的视频和偏色校正后的视频,并支持观众切换显示,能够满足观众的多样化需求,减小观众的操作路径,从而节约终端的操作资源。
[0258]
在一些实施例中,步骤s105可以包括:将播放的偏色校正处理前的直播间的视频,自动替换为偏色校正处理后的视频。如此,可以在播放偏色校正处理后的视频时,自动关闭偏色校正处理前的视频,从而节约终端的显示资源、以及服务器与终端之间的通信资源。
[0259]
在一些实施例中,参见图6,图6是本技术实施例提供的直播处理方法的流程示意图,基于图3,在步骤s103之前还可以包括步骤s106和步骤s107。
[0260]
在步骤s106中,对直播间的视频进行偏色检测处理,得到偏色检测结果。
[0261]
在一些实施例中,客户端可以调用观众终端的相应服务(例如,偏色检测服务),通过观众终端对视频进行偏色检测处理。客户端也可以调用服务器的相应服务(例如,偏色检测服务),通过服务器对视频进行偏色检测处理。
[0262]
作为示例,当客户端调用服务器的相应服务(例如,偏色检测服务)对视频进行偏
色检测处理时,步骤s106的替换步骤为:服务器对直播间的视频进行偏色检测处理,得到偏色检测结果,并将偏色检测结果发送至观众终端。
[0263]
下面,以由客户端调用观众终端的相应服务(例如,偏色检测服务),通过观众终端对视频进行偏色检测处理为例进行说明。需要说明的是,客户端调用服务器的相应服务(例如,偏色检测服务)对视频进行偏色检测处理的过程与下述类似,将不再进行赘述。
[0264]
在一些实施例中,参见图7,图7是本技术实施例提供的直播处理方法的流程示意图,基于图6,步骤s106可以包括步骤s1061至步骤s1063。
[0265]
在步骤s1061中,从视频中抽取多个图像帧。
[0266]
在一些实施例中,可以从视频中抽取每个图像帧,也可以是在视频中每间隔固定帧数抽取多个视频帧。
[0267]
在步骤s1062中,针对每个图像帧执行以下处理:确定图像帧的平均色度(d)和色度中心距(h),将平均色度和色度中心距之间的比值确定为图像帧的偏色因子(k)。
[0268]
在一些实施例中,确定图像帧的平均色度和色度中心距可以包括:确定图像帧中每个像素点在红绿蓝色彩空间(例如rgb颜色空间)中的色彩值;将每个像素点在红绿蓝色彩空间中的色彩值转换为颜色对立空间(例如lab空间)中的第一颜色对立维度(a)和第二颜色对立维度(b);对每个像素点的第一颜色对立维度进行加和处理,并将加和结果和图像帧中像素点的数量之间的比值确定为第一色度分量(da);对每个像素点的第二颜色对立维度进行加和处理,并将加和结果和图像帧中像素点的数量之间的比值确定为第二色度分量(db);根据第一色度分量和第二色度分量,确定图像帧的平均色度;根据每个像素点的第一颜色对立维度和第二颜色对立维度,确定第一色度中心距分量(ma)和第二色度中心距分量(mb);根据第一色度中心距分量和第二色度中心距分量,确定图像帧的色度中心距。
[0269]
作为示例,根据第一色度分量和第二色度分量,确定图像帧的平均色度可以包括:对第一色度分量进行乘方处理,得到第一乘方结果;对第二色度分量进行乘方处理,得到第二乘方结果;对第一乘方结果和第二乘方结果进行加和处理,并将加和结果进行开方处理,得到图像帧的平均色度。
[0270]
以乘方是二次方为例,根据公式(5)和公式(6)确定第一色度分量da和第二色度分量db:
[0271][0272][0273]
其中,m和n分别为图像帧的宽和高,以像素为单位。a和b是图像帧的像素点在lab空间中的两个颜色通道,即上述的第一颜色对立维度和第二颜色对立维度。根据公式(7)确定图像帧的平均色度d:
[0274][0275]
作为示例,根据每个像素点的第一颜色对立维度和第二颜色对立维度,确定第一色度中心距分量和第二色度中心距分量,可以包括:针对每个像素点执行以下处理:将像素
点的第一颜色对立维度(a)和第一色度分量(da)进行相减处理,并对相减结果进行乘方处理,得到第一色度距离,将像素点的第二颜色对立维度(b)和第二色度分量(db)进行相减处理,并对相减结果进行乘方处理,得到第二色度距离;对每个像素点的第一色度距离进行加和处理,并将加和结果和图像帧中像素点的数量之间的比值确定为第一色度中心距分量(ma);对每个像素点的第二色度距离进行加和处理,并将加和结果和图像帧中像素点的数量之间的比值确定为第二色度中心距分量(mb)。
[0276]
作为示例,根据第一色度中心距分量和第二色度中心距分量,确定图像帧的色度中心距可以包括:对第一色度中心距分量进行乘方处理,得到第三乘方结果;对第一色度中心距分量进行乘方处理,得到第四乘方结果;对第三乘方结果和第四乘方结果进行加和处理,得到图像帧的色度中心距。
[0277]
以乘方是二次方为例,根据公式(8)和公式(9)确定第一色度中心距分量ma和第二色度中心距分量mb:
[0278][0279][0280]
根据公式(10)确定图像帧的色度中心距h:
[0281][0282]
根据公式(11)确定图像帧的偏色因子k:
[0283][0284]
在步骤s1063中,根据每个图像帧的偏色因子,确定偏色检测结果。
[0285]
在一些实施例中,在多个图像帧中,将偏色因子大于偏色因子阈值的图像帧确定为偏色图像帧;当偏色图像帧的数量和多个图像帧的数量之间的比值大于偏色数量阈值时,确定视频出现偏色;当偏色图像帧的数量和多个图像帧的数量之间的比值不大于偏色数量阈值时,确定视频未出现偏色。
[0286]
作为示例,偏色因子阈值和偏色数量阈值可以是缺省值,也可以是观众、客户端或服务器设定的值。偏色因子的值越大,表征图像帧的偏色程度越大。当偏色因子大于偏色因子阈值时,可以确定图像帧存在偏色。如此,可以确定从视频中抽取的e个图像帧中存在偏色的图像帧数量为e,当e/e大于偏色数量阈值时,确定主播侧采集的原始视频存在偏色。
[0287]
在一些实施例中,在步骤s106之前还可以包括:对直播间的视频进行场景检测处理,当直播间的视频中出现颜色显示敏感场景时,确定将执行对直播间的视频进行偏色检测处理的操作。
[0288]
作为该实施例的替代方案,可以在直播过程中持续对直播间的视频进行偏色检测处理,还可以当观众开启偏色检测功能后,才对直播间的视频进行偏色检测处理,例如,当观众触发人机交互界面中的偏色检测入口后,对直播间的视频进行偏色检测处理。
[0289]
作为示例,颜色显示敏感场景的类型包括:针对多个不同颜色物品的推荐场景、针
对至少一个特定颜色物品的推荐场景、针对符合登录账号偏好的物品的推荐场景。
[0290]
举例来说,可以通过直播日程确定视频中是否会出现颜色显示敏感场景,例如,直播日程中会预告推荐的物品、以及对应物品的推荐时间,从而能够确定颜色显示敏感场景的出现时间;还可以对直播间的音频内容进行识别处理,以确定直播间的视频中是否会出现颜色显示敏感场景。符合登录账号偏好的物品可以是与登录账号历史购买、历史关注或历史收藏的物品之间的相似度高于相似度阈值(可以是缺省值,也可以是观众、客户端或服务器设定的值)的物品。
[0291]
以带货直播为例,主播在推荐连衣裙时,连衣裙对显示的颜色要求较高,因为连衣裙的颜色直接决定观众是否购买,此时可以对直播画面进行偏色检测处理;但是,当主播在推荐移动硬盘时,移动硬盘的颜色不影响观众的购买体验,此时可以无需对直播画面进行偏色检测,从而节约计算资源。
[0292]
在一些实施例中,在步骤s106之前还可以包括:在人机交互界面中显示偏色检测入口;响应于针对偏色检测入口的触发操作,确定将执行对直播间的视频进行偏色检测处理的操作。
[0293]
作为示例,图14中,在直播页面中显示偏色检测入口141,当观众触发偏色检测入口141时,对直播间的视频进行偏色检测,并当检测到视频出现偏色时,显示提示信息。如此,只有当观众开启偏色检测功能时才对直播间的视频进行偏色检测,能够节约偏色检测资源。
[0294]
在步骤s107中,当偏色检测结果表征视频出现偏色时,在人机交互界面中显示用于提示视频出现偏色的信息,并确定将执行在人机交互界面中显示偏色校正入口的操作。
[0295]
在一些实施例中,在人机交互界面中显示用于提示视频出现偏色的信息之前可以包括:当偏色检测结果表征视频的偏色程度超过偏色程度阈值(可以是缺省值,也可以是观众、主播、客户端或服务器设定的值)时,确定将执行在人机交互界面中显示用于提示视频出现偏色的信息的操作。
[0296]
作为示例,可以根据上述实施例中的图像帧的偏色因子确定视频的偏色程度,具体的,确定从视频中抽取的每个图像帧的偏色因子,将每个图像帧的偏色因子进行加和处理,并将加和结果与抽取的图像帧的数量之间的比值确定为视频的偏色程度。如此,只有当视频的偏色程度较高时才显示用于提示视频出现偏色的信息,能够节约终端的显示资源。
[0297]
下面,以观众终端、主播终端和服务器协同执行为例说明本技术实施例提供的直播处理方法。参见图8,图8是本技术实施例提供的直播处理方法的流程示意图,将结合图8示出的步骤进行说明。
[0298]
在步骤s801中,主播终端将直播间的视频发送至服务器。
[0299]
在步骤s802中,观众终端接收服务器发送的直播间的视频,并在人机交互界面中播放直播间的视频。
[0300]
在步骤s803中,服务器对直播间的视频流进行偏色检测处理,得到偏色检测结果。
[0301]
在步骤s804中,当偏色检测结果表征视频出现偏色时,向观众终端发送用于提示视频出现偏色的信息,并在观众终端显示偏色校正入口。
[0302]
在步骤s805中,观众终端响应于针对偏色校正入口的触发操作,将偏色校正指令发送至服务器。
[0303]
在步骤s806中,服务器根据偏色校正指令对视频进行第一偏色校正处理。
[0304]
在步骤s807中,观众终端将屏幕偏色信息发送至服务器。
[0305]
在步骤s808中,服务器根据屏幕偏色信息,对经过第一偏色校正处理后的视频进行第二偏色校正处理,并将第二偏色校正处理后的视频发送至观众终端。
[0306]
在步骤s809中,观众终端播放第二偏色校正处理后的视频。
[0307]
需要说明的是,步骤s801至步骤s809中的具体实现方式和上述实施例类似,在此将不再进行赘述。
[0308]
本技术实施例在观众触发偏色校正入口后,对直播间的视频进行偏色校正处理,并播放偏色校正处理后的视频,能够保证直播过程中视频显示颜色的准确性,提高视频的视觉感知效果,从而提高观众的直播观看体验,进而节约用于直播的计算资源和通信资源。
[0309]
下面,以一个具体应用场景为例说明本技术实施例提供的直播处理方法。
[0310]
本技术实施例中,当直播系统检测到主播的直播源视频存在偏色时,主动提醒观众存在偏色,并提供自动颜色校对还原功能。当观众端开启颜色校正(即上述的偏色校正)功能时,直播平台对主播的直播源视频进行第一次颜色校正处理(即上述的第一偏色校正处理),同时观众端上报用于播放直播的设备信息(即上述的终端的屏幕偏色信息),直播平台根据设备信息,对直播视频进行第二次颜色校正处理(即上述的第二偏色校正处理),将第二次颜色校正处理后的视频画面传输至观众端。
[0311]
下面将说明本技术实施例提供的直播处理方法在终端中的表现形式。
[0312]
本技术实施例提供颜色校对还原功能的按钮(即上述的偏色校正入口),同时当直播平台检测到主播的直播源视频存在偏色时,会主动向观众端提示主播视频存在偏色,支持观众选择开启颜色校对还原功能。当观众点击颜色校对还原功能的按钮时,开启颜色校对还原功能,后台服务器会对主播的直播源视频进行第一次偏色校正处理。同时后台服务器获取观众端上传的设备信息,根据设备信息对第一次颜色校正处理后的直播视频进行第二次颜色校正处理。后台服务器将第二次颜色校正处理后的画面与偏色的原画面同时推流给观众端,并在观众端进行对比展示,观众可以手动在“原画面”与“颜色还原后的画面”中进行切换。
[0313]
作为示例,参见图9,图9是本技术实施例提供的直播处理方法的应用场景示意图。图9中,观众在观看直播的过程中,当直播系统检测到主播的直播源视频画面存在偏色时,显示第一提示信息901和偏色校正入口902,以提示观众可开启颜色校对还原功能;当观众触发偏色校正入口902时,可以开启颜色校对还原功能,显示第二提示信息903,并在后台服务器进行偏色校正处理;当偏色校正处理完成后,可以在直播页面中显示偏色校正处理后的画面905和偏色校正处理前的画面904,偏色校正处理前的画面904可以在直播页面的左上角小窗展示,观众可以手动在偏色校正处理后的画面905与偏色校正处理前的画面904中进行切换。
[0314]
下面将结合图10说明本技术实施例提供的直播处理方法的具体实现方式,图10是本技术实施例提供的直播处理方法的原理示意图。
[0315]
在步骤s110中,主播终端采集直播的视频,并将直播的视频发送至后台服务器。
[0316]
在步骤s120中,后台服务器对直播的视频进行偏色检测,当视频存在偏色时,向观众终端发送提示信息。
[0317]
在一些实施例中,后台服务器对主播侧由摄像头采集得到的视频每隔一定时长(时长可以被设定,因为直播一般不会频繁变换背景和光线,所以在算力受限的条件下,时长可以被设定)进行抽帧检测(抽取的帧数为e),对抽帧得到的每张图像(或称图像帧)采用等效圆法进行偏色检测,具体的,首先将图像从rgb空间转换到lab空间,例如,将图像从rgb空间先转换到xyz空间,再经过xyz空间转换到lab空间;然后采用图像的平均色度d和色度中心距h之间的比值,即偏色因子k来衡量图像的偏色程度。
[0318]
作为示例,偏色因子k的计算方法如公式(12)—(18)所示。
[0319][0320][0321][0322][0323][0324][0325][0326]
其中,m和n分别为图像的宽和高,以像素为单位。a和b是图像的像素点在lab空间中的两个颜色通道。在a-b色度平面上,等效圆的中心坐标为(da,db),半径h=m
a2
+m
b2
,等效圆的中心到a-b色度平面中性轴原点为(a=0,b=0)的距离由等效圆在a-b色度平面上的具体位置ab来判断图像整体的偏色。当da》0时,图像偏红,否则图像偏绿。当db》0时,图像偏黄,否则图像偏蓝。偏色因子k的值越大,图像的偏色程度越大。预先设定偏色因子阈值(一般设置为1),当计算得到的k大于偏色因子阈值时,判断图像存在偏色。如此,可以确定从视频中抽取的e个图像帧中存在偏色的图像数量为e,当e/e大于设定值时,确定主播侧采集的原始视频存在偏色。
[0327]
在步骤s130中,当观众终端开启颜色校对还原功能时,后台服务器对存在偏色的视频进行第一次颜色校正处理。
[0328]
在一些实施例中,当观众点击颜色校对还原功能的按钮时,可开启颜色校对还原功能,后台服务器会对主播的原始视频进行偏色校正,具体的,对视频中的每帧图像进行如下处理:
[0329]
在rgb颜色空间中,获取图像中每个像素(或称像素点)的原始数据(r
org
,g
org
,b
org
),分别对r、g、b这3个通道的数据进行直方图均衡化处理,然后将图像从rgb颜色空间转
换至ycrcb颜色空间,获得图像中每个像素的直方图均衡化数据(y
hist
,cr
hist
,cb
hist
),最后从图像的所有像素中找出同时满足公式(19)的所有白像素点:
[0330][0331]
在满足公式(19)的白像素点中,以具有最大的y
hist
值和最接近于零的cr
hist
、cb
hist
值中找出亮度最高的像素点(y
histbright
,cr
histbright
,cb
histbright
)。同时计算满足公式(19)的所有白像素点的平均值(y
histavg
,cr
histavg
,cb
histavg
)。从图像的所有像素中找出满足公式(20)的所有像素点:
[0332][0333]
其中,y
l
和yh分别为选自y
histbright
和y
histavg
间的最小值和最大值,cr
l
、crh分别为选自cr
histbright
和cr
histavg
间的最小值和最大值,cb
l
和cbh分别为选自cb
histbright
和cb
histavg
间的最小值和最大值。从图像中选取满足公式(20)的像素点作为参考白像素点,并计算所有参考白像素点的平均值(rw,gw,bw)。
[0334]
根据公式(21)计算第一尺度因子(r
scale
,g
scale
,b
scale
)。
[0335][0336]
其中,yw为参考白像素点的亮度平均值,即对所有参考白像素点的亮度值取平均所得到的值。
[0337]
根据公式(22)计算第二尺度因子(r
gwa
,g
gwa
,b
gwa
)。
[0338][0339]
其中,gray=(r
aver
+g
aver
+b
aver
)/3,而(r
aver
,g
aver
,b
aver
)是图像中的每个像素点在rgb颜色空间中的原始数据(r
org
,g
org
,b
org
)的平均值。
[0340]
当图像偏红时,以(r
gwa
,g
scale
,b
scale
)为尺度因子进行增益计算。当图像偏蓝时,以(r
scale
,g
scale
,b
gwa
)为尺度因子进行增益计算。当图像偏绿时,以(r
scale
,g
gwa
,b
scale
)为尺度因子进行增益计算。当图像偏黄时,以(r
gwa
,g
gwa
,b
scale
)为尺度因子进行增益计算。
[0341]
在步骤s140中,后台服务器获取观众终端的设备信息,并根据观众终端的设备信息,对第一次颜色校正处理后的视频进行第二次颜色校正处理。
[0342]
在一些实施例中,可以预先对市场上主流的观众端移动设备的屏幕偏色情况及调节数值进行收集,在将视频推流给观众终端时进行第二次颜色校正处理,从而消除不同的移动设备带来的影响。例如,获取到观众的手机型号为屏幕显色偏红色的设备信息时,在推流时可以调低视频流中r通道所占比例。
[0343]
在步骤s150中,基于第二次颜色校正处理后的视频向观众终端进行推流。
[0344]
直播是线上电商展示物品的主流形式,本技术实施例通过还原直播间的物品颜
色,方便观众能快速的辨别物品的真实颜色,能够在直播间中实现“眼见为实”,从而减少因色差而导致退货所带来的损失费用。
[0345]
下面结合图2说明本技术实施例提供的直播处理装置的实施为软件模块的示例性结构。
[0346]
在一些实施例中,如图2所示,存储在存储器450的直播处理装置455中的软件模块可以包括:接收模块4551,用于接收直播间的视频;显示模块4552,用于在人机交互界面中播放直播间的视频,以及在人机交互界面中显示偏色校正入口;校正模块4553,用于响应于针对偏色校正入口的触发操作,对视频进行偏色校正处理,并播放偏色校正处理后的视频。
[0347]
在上述方案中,校正模块4553,还用于在人机交互界面的第一区域中播放偏色校正处理后的视频;在人机交互界面的第二区域中播放偏色校正处理前的视频;响应于区域切换操作,交换第一区域和第二区域中播放的视频。
[0348]
在上述方案中,校正模块4553,还用于在人机交互界面中显示第二区域的关闭入口;响应于针对关闭入口的触发操作,自动停止第二区域中播放的视频,并隐藏第二区域。
[0349]
在上述方案中,校正模块4553,还用于当在预设等待时长内未接收到区域切换操作时,自动停止第二区域中播放的视频,并隐藏第二区域。
[0350]
在上述方案中,校正模块4553,还用于将播放的偏色校正处理前的直播间的视频,自动替换为偏色校正处理后的视频。
[0351]
在上述方案中,校正模块4553,还用于显示偏色校正参数设置页面;响应于在偏色校正参数设置页面接收的偏色校正参数配置操作,获取登录账号配置的偏色校正参数,其中,登录账号是登录直播间的账号;根据登录账号配置的偏色校正参数,对视频进行偏色校正处理。
[0352]
在上述方案中,显示模块4552,还用于获取登录账号的偏色容忍程度,其中,登录账号是登录直播间的账号;当视频的偏色程度超出偏色容忍程度时,自动触发偏色校正入口。
[0353]
在上述方案中,校正模块4553,还用于针对视频中的每个图像帧执行以下处理:根据图像帧中每个像素点的色彩值,对图像帧进行第一偏色校正处理;获取终端的屏幕偏色信息,并根据屏幕偏色信息,对经过第一偏色校正处理后的图像帧进行第二偏色校正处理。
[0354]
在上述方案中,校正模块4553,还用于当满足以下条件至少之一时,确定将执行获取终端的屏幕偏色信息的操作:接收到登录账号提交的偏色校正操作,其中,登录账号是登录直播间的账号;终端未开启隐私保护功能,其中,隐私保护功能用于屏蔽读取终端的设备信息。
[0355]
在上述方案中,校正模块4553,还用于针对图像帧中的每个像素点执行以下处理:在像素点中确定与多个色彩通道一一对应的多个色彩值,对多个色彩值进行均衡化处理,得到与多个色彩值一一对应的多个均衡化数据;根据图像帧中的每个像素点对应的多个均衡化数据,在图像帧中确定多个参考白像素点;根据多个参考白像素点的亮度值和色彩值,确定第一尺度因子;根据图像帧中的每个像素点的色彩值,确定第二尺度因子;根据第一尺度因子和第二尺度因子,对图像帧进行第一偏色校正处理。
[0356]
在上述方案中,校正模块4553,还用于针对图像帧中的每个像素点执行以下处理:在像素点对应的多个均衡化数据中,确定对应第一色彩通道的第一均衡化数据、对应第二
色彩通道的第二均衡化数据、以及对应第三色彩通道的第三均衡化数据;在图像帧中选取同时满足以下条件的像素点作为白像素点:像素点的第一均衡化数据大于或等于第一预设值,像素点的第二均衡化数据大于或等于第二预设值,像素点的第三均衡化数据小于或等于第三预设值;在多个白像素点中选取亮度值最大的像素点作为亮度白像素点;根据亮度白像素点对应的第一均衡化数据、第二均衡化数据和第三均衡化数据,在图像帧中确定多个参考白像素点。
[0357]
在上述方案中,校正模块4553,还用于将亮度白像素点对应的第一均衡化数据确定为第一亮度均衡化数据、将亮度白像素点对应的第二均衡化数据确定为第二亮度均衡化数据、以及将亮度白像素点对应的第三均衡化数据确定为第三亮度均衡化数据;将每个白像素点对应的第一均衡化数据进行加和处理,并将加和结果与白像素点的数量之间的比值确定为第一均衡化平均数据;将每个白像素点对应的第二均衡化数据进行加和处理,并将加和结果与白像素点的数量之间的比值确定为第二均衡化平均数据;将每个白像素点对应的第三均衡化数据进行加和处理,并将加和结果与白像素点的数量之间的比值确定为第三均衡化平均数据;在图像帧中选取同时满足以下条件的像素点作为参考白像素点:像素点的第一均衡化数据位于第一亮度均衡化数据与第一均衡化平均数据之间,像素点的第二均衡化数据位于第二亮度均衡化数据与第二均衡化平均数据之间,像素点的第三均衡化数据位于第三亮度均衡化数据与第三均衡化平均数据之间。
[0358]
在上述方案中,校正模块4553,还用于将每个参考白像素点的亮度值进行加和处理,并将加和结果与参考白像素点的数量之间的比值确定为亮度平均值;确定每个参考白像素点对应第一色彩通道的第一色彩值、对应第二色彩通道的第二色彩值、以及对应第三色彩通道的第三色彩值;将每个参考白像素点对应的第一色彩值进行加和处理,并将加和结果与参考白像素点的数量之间的比值确定为第一色彩平均值;将每个参考白像素点对应的第二色彩值进行加和处理,并将加和结果与参考白像素点的数量之间的比值确定为第二色彩平均值;将每个参考白像素点对应的第三色彩值进行加和处理,并将加和结果与参考白像素点的数量之间的比值确定为第三色彩平均值;根据亮度平均值、第一色彩平均值、第二色彩平均值和第三色彩平均值,确定第一分量、第二分量和第三分量,并将第一分量、第二分量和第三分量组合为第一尺度因子。
[0359]
在上述方案中,校正模块4553,还用于将亮度平均值与第一色彩平均值之间的比值确定为第一分量;将亮度平均值与第二色彩平均值之间的比值确定为第二分量;将亮度平均值与第三色彩平均值之间的比值确定为第三分量。
[0360]
在上述方案中,校正模块4553,还用于将图像帧中每个像素点对应第一色彩通道的第一色彩值进行加和处理,并将加和结果与图像帧中像素点的数量之间的比值确定为第四色彩平均值;将图像帧中每个像素点对应第二色彩通道的第二色彩值进行加和处理,并将加和结果与图像帧中像素点的数量之间的比值确定为第五色彩平均值;将图像帧中每个像素点对应第三色彩通道的第三色彩值进行加和处理,并将加和结果与图像帧中像素点的数量之间的比值确定为第六色彩平均值;将第四色彩平均值、第五色彩平均值和第六色彩平均值之间的平均值,确定为总色彩平均值;根据总色彩平均值、第四色彩平均值、第五色彩平均值和第六色彩平均值,确定第四分量、第五分量和第六分量,并将第四分量、第五分量和第六分量组合为第二尺度因子。
[0361]
在上述方案中,校正模块4553,还用于将总色彩平均值与第四色彩平均值之间的比值确定为第四分量;将总色彩平均值与第五色彩平均值之间的比值确定为第五分量;将总色彩平均值与第六色彩平均值之间的比值确定为第六分量。
[0362]
在上述方案中,校正模块4553,还用于根据图像帧的第一色度分量和第二色度分量,确定图像帧偏向的颜色;当图像帧偏向红色时,以第二尺度因子的第四分量、第一尺度因子的第二分量和第一尺度因子的第三分量作为增益,对图像帧中每个像素点的色彩值进行增益处理;当图像帧偏向蓝色时,以第一尺度因子的第一分量、第一尺度因子的第二分量和第二尺度因子的第六分量作为增益,对图像帧中每个像素点的色彩值进行增益处理;当图像帧偏向绿色时,以第一尺度因子的第一分量、第二尺度因子的第五分量和第一尺度因子的第三分量作为增益,对图像帧中每个像素点的色彩值进行增益处理;当图像帧偏向黄色时,以第二尺度因子的第四分量、第二尺度因子的第五分量和第一尺度因子的第三分量作为增益,对图像帧中每个像素点的色彩值进行增益处理。
[0363]
在上述方案中,校正模块4553,还用于当第一色度分量大于第四预设值时,确定图像帧偏向红色;当第一色度分量不大于第四预设值时,确定图像帧偏向绿色;当第二色度分量大于第五预设值时,确定图像帧偏向黄色;当第二色度分量不大于第五预设值时,确定图像帧偏向蓝色。
[0364]
在上述方案中,校正模块4553,还用于查询与屏幕偏色信息对应的第三尺度因子;以第三尺度因子作为增益,对经过第一偏色校正处理后的图像帧中的每个像素点的色彩值进行增益处理。
[0365]
在上述方案中,校正模块4553,还用于获取终端的屏幕偏色信息,并查询与屏幕偏色信息对应的第四尺度因子;针对视频中的每个图像帧执行以下处理:以第四尺度因子作为增益,对图像帧中的每个像素点的色彩值进行增益处理。
[0366]
在上述方案中,显示模块4552,还用于对直播间的视频进行偏色检测处理,得到偏色检测结果;当偏色检测结果表征视频出现偏色时,在人机交互界面中显示用于提示视频出现偏色的信息,并确定将执行在人机交互界面中显示偏色校正入口的操作。
[0367]
在上述方案中,显示模块4552,还用于从视频中抽取多个图像帧;针对每个图像帧执行以下处理:确定图像帧的平均色度和色度中心距,将平均色度和色度中心距之间的比值确定为图像帧的偏色因子;根据每个图像帧的偏色因子,确定视频的偏色检测结果。
[0368]
在上述方案中,显示模块4552,还用于在多个图像帧中,将偏色因子大于偏色因子阈值的图像帧确定为偏色图像帧;当偏色图像帧的数量和多个图像帧的数量之间的比值大于偏色数量阈值时,确定视频出现偏色;当偏色图像帧的数量和多个图像帧的数量之间的比值不大于偏色数量阈值时,确定视频未出现偏色。
[0369]
在上述方案中,显示模块4552,还用于确定图像帧中每个像素点在红绿蓝色彩空间中的色彩值;将每个像素点在红绿蓝色彩空间中的色彩值转换为颜色对立空间中的第一颜色对立维度和第二颜色对立维度;对每个像素点的第一颜色对立维度进行加和处理,并将加和结果和图像帧中像素点的数量之间的比值确定为第一色度分量;对每个像素点的第二颜色对立维度进行加和处理,并将加和结果和图像帧中像素点的数量之间的比值确定为第二色度分量;根据第一色度分量和第二色度分量,确定图像帧的平均色度;根据每个像素点的第一颜色对立维度和第二颜色对立维度,确定第一色度中心距分量和第二色度中心距
分量;根据第一色度中心距分量和第二色度中心距分量,确定图像帧的色度中心距。
[0370]
在上述方案中,显示模块4552,还用于对第一色度分量进行乘方处理,得到第一乘方结果;对第二色度分量进行乘方处理,得到第二乘方结果;对第一乘方结果和第二乘方结果进行加和处理,并将加和结果进行开方处理,得到图像帧的平均色度。
[0371]
在上述方案中,显示模块4552,还用于针对每个像素点执行以下处理:将像素点的第一颜色对立维度和第一色度分量进行相减处理,并对相减结果进行乘方处理,得到第一色度距离,将像素点的第二颜色对立维度和第二色度分量进行相减处理,并对相减结果进行乘方处理,得到第二色度距离;对每个像素点的第一色度距离进行加和处理,并将加和结果和图像帧中像素点的数量之间的比值确定为第一色度中心距分量;对每个像素点的第二色度距离进行加和处理,并将加和结果和图像帧中像素点的数量之间的比值确定为第二色度中心距分量。
[0372]
在上述方案中,显示模块4552,还用于对第一色度中心距分量进行乘方处理,得到第三乘方结果;对第一色度中心距分量进行乘方处理,得到第四乘方结果;对第三乘方结果和第四乘方结果进行加和处理,得到图像帧的色度中心距。
[0373]
在上述方案中,显示模块4552,还用于对直播间的视频进行场景检测处理,当直播间的视频中出现颜色显示敏感场景时,确定将执行对直播间的视频进行偏色检测处理的操作;其中,颜色显示敏感场景的类型包括:针对多个不同颜色物品的推荐场景、针对至少一个特定颜色物品的推荐场景、针对符合登录账号偏好的物品的推荐场景,登录账号是登录直播间的账号。
[0374]
在上述方案中,显示模块4552,还用于在人机交互界面中显示偏色检测入口;响应于针对偏色检测入口的触发操作,确定将执行对直播间的视频进行偏色检测处理的操作。
[0375]
在上述方案中,显示模块4552,还用于对人机交互界面中播放的直播间的视频进行场景检测处理;当直播间的视频中出现颜色显示敏感场景时,确定将自动转入执行在人机交互界面中显示偏色校正入口的操作;其中,颜色显示敏感场景的类型包括:针对多个不同颜色物品的推荐场景、针对至少一个特定颜色物品的推荐场景、针对符合登录账号偏好的物品的推荐场景;登录账号是登录直播间的账号。
[0376]
本技术实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本技术实施例上述的直播处理方法。
[0377]
本技术实施例提供一种存储有计算机可执行指令的计算机可读存储介质,其中存储有计算机可执行指令,当计算机可执行指令被处理器执行时,将引起处理器执行本技术实施例提供的直播处理方法,例如,图3至图8示出的直播处理方法,计算机包括智能终端和服务器在内的各种电子设备。
[0378]
在一些实施例中,计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
[0379]
在一些实施例中,计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,
并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
[0380]
作为示例,计算机可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
[0381]
作为示例,计算机可执行指令可被部署为在一个电子设备上执行,或者在位于一个地点的多个电子设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个电子设备上执行。
[0382]
综上所述,本技术实施例在观众触发偏色校正入口后,对直播间的视频进行偏色校正处理,并播放偏色校正处理后的视频,能够保证直播过程中视频显示颜色的准确性,提高视频的视觉感知效果,从而提高观众的直播观看体验,进而节约用于直播的计算资源和通信资源。
[0383]
以上所述,仅为本技术的实施例而已,并非用于限定本技术的保护范围。凡在本技术的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本技术的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1