基于行为反馈的图像信息推送方法及实时视频传输系统与流程

本技术涉及数据处理技术，尤其涉及一种基于行为反馈的图像信息推送方法及实时视频传输系统。

背景技术：

1、网络直播是指通过互联网将现场视频、音频和数据内容传输到观众，实现实时在线播放的一种互动式媒体形式。随着互联网技术的发展和普及，网络直播已成为新兴的娱乐和传媒形式。

2、在现有的直播的互动过程中，主播与用户通常可以是通过直播界面上留言区、评论区以及刷礼物等方式进行互动，往往仅仅是基于文字的互动。可见，互动方式较为单一，亟需一种能够基于用户的行为进行图像信息反馈的推送方式，以实现主播与用户之间的图像互动，从而丰富在实时视频传输场景下的交互体验。

技术实现思路

1、本技术提供一种基于行为反馈的图像信息推送方法及实时视频传输系统，以实现主播与用户之间的图像互动，从而丰富在实时视频传输场景下的交互体验。

2、第一方面，本技术提供一种基于行为反馈的图像信息推送方法，应用于实时视频传输系统，所述实时视频传输系统包括推流终端、服务端以及播放终端，所述方法，包括：

3、所述播放终端获取目标行为指令，并将所述目标行为指令发送至所述服务端，所述目标行为指令包括触发指令以及目标行为信息，所述触发指令用于触发所述服务端将所述目标行为信息发送至所述推流终端，以使所述推流终端显示所述目标行为信息；

4、所述推流终端获取行为确认指令，并将所述行为确认指令发送至所述服务端，以使所述服务端响应于所述行为确认指令向所述推流终端发送第一图像获取指令，以及向所述播放终端发送第二图像获取指令；

5、所述推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将所述第一图像发送至所述服务端，所述第一图像包括第一背景图像以及通过所述推流终端上摄像头所获取的第一人像；

6、所述播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将所述第二图像发送至所述服务端，所述第二图像包括第二背景图像以及通过所述播放终端上摄像头所获取的第二人像，其中，所述第一背景图像与所述第二背景图像构成背景图像；

7、所述服务端根据所述第一图像以及所述第二图像生成目标图像，所述目标图像包括所述背景图像、所述第一人像以及所述第二人像，并将所述目标图像发送至所述播放终端。

8、在一种可能的设计中，所述服务端根据所述第一图像以及所述第二图像生成目标图像，包括：

9、所述服务端根据所述第一背景图像上预设的第一特征点集合以及所述第二背景图像上预设的第二特征点集合对所述第一图像以及所述第二图像进行融合，以生成融合图像，其中，所述第一特征点集合与所述第二特征点集合中的特征点具有一一映射的对应关系；

10、所述服务端根据预设平衡校正模型对所述融合图像进行处理，以生成所述目标图像。

11、在一种可能的设计中，所述服务端根据预设平衡校正模型对所述融合图像进行处理，以生成所述目标图像，包括：

12、所述服务端根据所述融合图像中所述第一人像的区域确定第一人像像素点集合a，并根据所述融合图像中所述第二人像的区域确定第二人像像素点集合b；

13、根据公式1计算所述第一人像像素点集合a对应的第一积累灰度值以及所述第二人像像素点集合b对应的第二积累灰度值，所述公式1为：

14、，

15、其中，a为所述第一人像像素点集合a中的像素个数，b为所述第二人像像素点集合b中的像素个数， 为所述第一人像像素点集合a中第i个像素的灰度值， 为所述第二人像像素点集合a中第j个像素的灰度值；

16、根据所述第一积累灰度值、所述第二积累灰度值以及公式2确定亮度调节值,所述公式2为：

17、，

18、根据公式3以及所述亮度调节值对所述第一人像像素点集合a中的各个像素点进行亮度调节，所述公式3为：

19、，

20、其中，为所述第一人像像素点集合a中第i个像素调节后的灰度值。

21、在一种可能的设计中，所述服务端根据所述第一图像以及所述第二图像生成目标图像，包括：

22、所述服务端根据所述目标行为信息形成对应的目标行为标识，以使所述服务端根据所述第一图像、所述第二图像以及所述目标行为标识生成所述目标图像，其中，所述目标行为标识显示所述目标图像的目标区域，所述目标区域为所述目标图像中未包括所述第一人像以及所述第二人像的区域。

23、在一种可能的设计中，在所述服务端根据所述第一背景图像上预设的第一特征点集合以及所述第二背景图像上预设的第二特征点集合对所述第一图像以及所述第二图像进行拼接之前，还包括：

24、所述服务端获取所述第一图像的第一边缘上的第一特征点以及第二特征点之间的第一相对距离，并且获取所述第二图像的第二边缘上的第三特征点以及第四特征点之间的第二相对距离，所述第三特征点为与所述第一特征点映射对应的特征点，所述第四特征点为与所述第二特征点映射对应的特征点；

25、根据所述第一相对距离与所述第二相对距离之间的比例对所述第二图像进行缩放处理，以对所述第一图像进行更新，更新后的所述第一图像用于与所述第二图像进行拼接，所述第一特征点集合中的特征点分布在所述第一边缘上，所述第二特征点集合中的特征点分布在更新后的所述第二图像的所述第二边缘上。

26、在一种可能的设计中，在所述服务端根据所述第一图像以及所述第二图像生成目标图像之前，还包括：

27、所述服务端根据所述第一图像中的所述第一人像确定所述第一人像在所述第一图像中的第一图像占比，并根据所述第二图像中的所述第二人像确定所述第二人像在所述第二图像中的第二图像占比，所述第一图像占比为所述第一人像对应的第一像素数量与所述第一图像的第一像素总数之间的比值，所述第二图像占比为所述第二人像对应的第二像素数量与所述第二图像的第二像素总数之间的比值；

28、所述服务端根据所述第一图像占比与所述第二图像占比的比值确定调焦参数，并将所述调焦参数发送至所述推流终端；

29、所述推流终端根据所述调焦参数对所述推流终端上的摄像头的焦距进行调整，以获取调焦后的所述第一图像，调焦后的所述第一图像用于与所述第二图像进行拼接。

30、在一种可能的设计中，在所述服务端向所述推流终端发送所述第一图像获取指令之后，还包括：

31、所述推流终端将所述将所显示的推流图像切换为第一待获取图像，所述第一待获取图像包括所述第一背景图像以及叠加显示在所述第一背景图像上的第一指示框，所述第一指示框用于容置所述第一人像的第一外轮廓；

32、所述推流终端在检测到所述第一人像填充所述第一外轮廓的像素比例大于第一阈值，并且，所述第一人像填充所述第一背景图像的像素小于第二阈值，则将所述推流终端当前所显示的所述第一待获取图像确定为所述第一图像；

33、对应的，在所述服务端向所述播放终端发送所述第二图像获取指令之后，还包括：

34、所述播放终端将所述将所显示的播放图像切换为第二待获取图像，所述第二待获取图像包括所述第二背景以及叠加显示在所述第二背景上的第二指示框，所述第二指示框用于容置所述第二人像的第二外轮廓；

35、所述播放终端在检测到所述第二人像填充所述第二外轮廓的像素比例大于第三阈值，并且，所述第二人像填充所述第二背景的像素小于第四阈值，则将所述播放终端当前所显示的所述第二待获取图像确定为所述第二图像。

36、第二方面，本技术提供一种实时视频传输系统，包括：推流终端、服务端以及播放终端，所述推流终端与所述播放终端分别与所述服务端连接；

37、所述播放终端，用于获取目标行为指令，并将所述目标行为指令发送至所述服务端，所述目标行为指令包括触发指令以及目标行为信息，所述触发指令用于触发所述服务端将所述目标行为信息发送至所述推流终端；

38、所述推流终端，用于获取行为确认指令，并将所述行为确认指令发送至所述服务端，以使所述服务端响应于所述行为确认指令向所述推流终端发送第一图像获取指令，以及向所述播放终端发送第二图像获取指令；

39、所述推流终端，用于响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将所述第一图像发送至所述服务端，所述第一图像包括第一背景图像以及通过所述推流终端上摄像头所获取的第一人像；

40、所述播放终端，用于响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将所述第二图像发送至所述服务端，所述第二图像包括第二背景图像以及通过所述播放终端上摄像头所获取的第二人像，其中，所述第一背景图像与所述第二背景图像构成背景图像；

41、所述服务端，用于根据所述第一图像以及所述第二图像生成目标图像，所述目标图像包括所述背景图像、所述第一人像以及所述第二人像，并将所述目标图像发送至所述播放终端。

42、在一种可能的设计中，所述服务端根据所述第一背景图像上预设的第一特征点集合以及所述第二背景图像上预设的第二特征点集合对所述第一图像以及所述第二图像进行融合，以生成融合图像，其中，所述第一特征点集合与所述第二特征点集合中的特征点具有一一映射的对应关系；

43、所述服务端根据预设平衡校正模型对所述融合图像进行处理，以生成所述目标图像。

44、在一种可能的设计中，所述服务端根据所述融合图像中所述第一人像的区域确定第一人像像素点集合a，并根据所述融合图像中所述第二人像的区域确定第二人像像素点集合b；

45、根据公式1计算所述第一人像像素点集合a对应的第一积累灰度值以及所述第二人像像素点集合b对应的第二积累灰度值，所述公式1为：

46、，

47、其中，a为所述第一人像像素点集合a中的像素个数，b为所述第二人像像素点集合b中的像素个数， 为所述第一人像像素点集合a中第i个像素的灰度值， 为所述第二人像像素点集合a中第j个像素的灰度值；

48、根据所述第一积累灰度值、所述第二积累灰度值以及公式2确定亮度调节值,所述公式2为：

49、，

50、根据公式3以及所述亮度调节值对所述第一人像像素点集合a中的各个像素点进行亮度调节，所述公式3为：

51、，

52、其中，为所述第一人像像素点集合a中第i个像素调节后的灰度值。

53、在一种可能的设计中，所述服务端根据所述目标行为信息形成对应的目标行为标识，以使所述服务端根据所述第一图像、所述第二图像以及所述目标行为标识生成所述目标图像，其中，所述目标行为标识显示所述目标图像的目标区域，所述目标区域为所述目标图像中未包括所述第一人像以及所述第二人像的区域。

54、在一种可能的设计中，所述服务端获取所述第一图像的第一边缘上的第一特征点以及第二特征点之间的第一相对距离，并且获取所述第二图像的第二边缘上的第三特征点以及第四特征点之间的第二相对距离，所述第三特征点为与所述第一特征点映射对应的特征点，所述第四特征点为与所述第二特征点映射对应的特征点；

55、根据所述第一相对距离与所述第二相对距离之间的比例对所述第二图像进行缩放处理，以对所述第一图像进行更新，更新后的所述第一图像用于与所述第二图像进行拼接，所述第一特征点集合中的特征点分布在所述第一边缘上，所述第二特征点集合中的特征点分布在更新后的所述第二图像的所述第二边缘上。

56、在一种可能的设计中，所述服务端根据所述第一图像中的所述第一人像确定所述第一人像在所述第一图像中的第一图像占比，并根据所述第二图像中的所述第二人像确定所述第二人像在所述第二图像中的第二图像占比，所述第一图像占比为所述第一人像对应的第一像素数量与所述第一图像的第一像素总数之间的比值，所述第二图像占比为所述第二人像对应的第二像素数量与所述第二图像的第二像素总数之间的比值；

57、所述服务端根据所述第一图像占比与所述第二图像占比的比值确定调焦参数，并将所述调焦参数发送至所述推流终端；

58、所述推流终端根据所述调焦参数对所述推流终端上的摄像头的焦距进行调整，以获取调焦后的所述第一图像，调焦后的所述第一图像用于与所述第二图像进行拼接。

59、在一种可能的设计中，所述推流终端将所述将所显示的推流图像切换为第一待获取图像，所述第一待获取图像包括所述第一背景图像以及叠加显示在所述第一背景图像上的第一指示框，所述第一指示框用于容置所述第一人像的第一外轮廓；

60、所述推流终端在检测到所述第一人像填充所述第一外轮廓的像素比例大于第一阈值，并且，所述第一人像填充所述第一背景图像的像素小于第二阈值，则将所述推流终端当前所显示的所述第一待获取图像确定为所述第一图像；

61、对应的，在所述服务端向所述播放终端发送所述第二图像获取指令之后，还包括：

62、所述播放终端将所述将所显示的播放图像切换为第二待获取图像，所述第二待获取图像包括所述第二背景以及叠加显示在所述第二背景上的第二指示框，所述第二指示框用于容置所述第二人像的第二外轮廓；

63、所述播放终端在检测到所述第二人像填充所述第二外轮廓的像素比例大于第三阈值，并且，所述第二人像填充所述第二背景的像素小于第四阈值，则将所述播放终端当前所显示的所述第二待获取图像确定为所述第二图像。

64、第三方面，本技术提供一种电子设备，包括：

65、处理器；以及，

66、存储器，用于存储所述处理器的可执行指令；

67、其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中所述的任一种可能的方法。

68、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面中所述的任一种可能的方法。

69、本技术提供的基于行为反馈的图像信息推送方法及实时视频传输系统，通过播放终端获取目标行为指令，并将目标行为指令发送至服务端，从而触发服务端将目标行为信息发送至推流终端，以使推流终端显示目标行为信息，并在推流终端上获取行为确认指令，再将行为确认指令发送至服务端，以使服务端响应于行为确认指令向推流终端发送第一图像获取指令，以及向播放终端发送第二图像获取指令，进而使得推流终端响应于第一图像获取指令，将所显示的推流图像切换为第一图像，并将第一图像发送至服务端，以及播放终端响应于第二图像获取指令，将所显示的播放图像切换为第二图像，并将第二图像发送至服务端，然后，服务端根据第一图像以及第二图像生成目标图像，以及将目标图像发送至播放终端，从而实现了在直播过程中主播与用户之间的合影，并将所生成的合影图像推送给用户的功能，进而增加了主播与用户之间的互动性。