一种多媒体视频处理系统

本发明属于信息处理领域，尤其涉及一种多媒体视频处理系统。

背景技术：

1、多媒体通信技术已被广泛采用，以改善各种应用中的用户体验，包括电子学习，电子健康，视频会议，交互式视频游戏和休闲视频聊天。众所周知，多媒体视频处理的系统和方法采用先进的技术和算法来实现高质量，进行无缝和实时的视频演示。视频编解码器(例如vp8和vp9)和通信协议(例如webrtc)的最新进展也正在加速采用，实时多媒体体验正在成为我们日常生活中不可或缺的一部分。

2、然而，在大多数情况下，参与者在交互式通信会话期间(当参与者看着另一方的眼睛时)无法体验到眼神接触，这主要是由于他们的通信设备(例如笔记本电脑)上摄像头的位置，使得体验不真实，并且由于缺少必要的情感信息而变得不那么愉快。例如，在大多数网络学习的情况下，教师和学习者在会议期间无法通过眼神交流直接看到彼此的眼睛，这主要是由于在他们用于教学和学习设备(例如笔记本电脑)上的相机的位置所导致的。虽然眼神交流对于逼真和有效的交互式多媒体体验的重要性已经得到许多人的报道和同意，但在许多情况下，在公共多媒体通信环境中实现这一非常期望的功能的技术尚未得到太多的研究和开发。

3、现存的多视图视频处理系统，需要同时进行多视图视频编码和解码，如联合多视图视频模型(jmvm)。这些要求使得实际的多视图视频通信系统(包括视频编码、解码和演示)比单个视频通信系统复杂得多。此外，尽管多视图视频对各种应用离子有很大的潜力，但一个大问题是大量数据的处理。原则上，多视图视频数据随着摄像机数量的线性增加而线性增加，因此处理那些海量的多视图视频数据并不容易。此外，为了保证实时性能，现有的多视图视频系统对视频演示的网络带宽和速度有很高的要求。这些缺点严重阻碍了许多要求系统结构简单和传输带宽低的多视图视频的应用。

技术实现思路

1、本发明所述的多媒体视频处理的系统采用眼神接触提取和多视图视频合成技术，可以向最终用户提供自由视点的眼神接触内容。本发明能够克服背景技术中所述的上述缺点，并通过自由视点眼神接触提供改进的实时多媒体传输体验。

2、本发明实施例提供了如下技术方案：

3、一种多媒体视频处理系统，包括：视频发送模块、网络模块和视频接收器模块；

4、视频发送器模块包括多视图视频捕获组件、多视图视频对齐和同步组件、眼神接触特征提取组件、多视图视频合成组件和视频编码器组件；

5、网络模块包括用于视频传输和传送的工具和技术；

6、视频编码器模块包括视频解码器组件和显示器；

7、1)视频发送器模块

8、多视图视频捕获组件，是利用部署在屏幕周围不同位置和角度的多个摄像机来捕获同一场景的多视图视频，捕获没有任何盲区的多视图视频。

9、多视图视频对齐和同步组件，分别从空间和时间方面来对齐和同步相应的视频帧。

10、眼神接触特征提取组件，通过对眼神接触特征提取，识别和找到与眼神接触的对齐和同步视频中的视点，并将发现的视点输出到多视点视频合成组件。

11、多视图视频合成组件，是通过将多视图视频合成为单视图视频，然后再进行视频编码，从而简化传统的多视图视频编解码系统，最大限度地减少现有多媒体视频系统的变化，以及节省用于传输视频的比特。

12、视频编码器组件，通过编码单个视图视频而不是多个视频，以使所述系统容易地应用于现有的多媒体视频系统。

13、2)视频接收器模块

14、视频解码器组件和显示器，可操作解码单个视图视频而不是多个视频，以所述系统易于应用于现有的多媒体视频系统，并向最终用户显示具有自由视点的高质量多媒体视频。

15、与现有技术相比，上述技术方案具有以下优点：

16、本发明公开了多媒体视频处理系统，该系统采用眼接触特征提取和多视点视频合成技术，用于在多媒体视频中提供实时眼接触并改善实时多媒体体验。该多视点视频处理系统可采用眼神接触特征提取算法和多视点视频合成算法。对输入的多视点视频进行多视点视频处理后，由于自由视点眼神接触，大大提高了传输给终端用户的多媒体视频的实时性体验。

技术特征：

1.一种多媒体视频处理系统，其特征在于，包括：视频发送模块、网络模块和视频接收器模块；

技术总结
本发明公开了一种采用眼神接触特征提取和多视点视频合成技术的多媒体视频处理系统，以简化传统多视点视频系统的结构，并通过自由视点眼神接触改善实时多媒体体验。这种多媒体视频处理的系统通过从输入的多视图视频中提取眼神接触并将输入的多视图视频组合成一个具有自由视点眼神内容的单个视频，来采用多视图视频处理技术。在对输入多视图视频执行了这种视频处理技术后，将向最终用户提供具有自由视点眼神接触的高质量视频，实时多媒体体验得到了显着改善。

技术研发人员：石俊峰,蔡志芳,吴友兰,胡冬琴,朱庆华
受保护的技术使用者：北京电子科技职业学院
技术研发日：
技术公布日：2024/1/15