一种视频处理的方法和装置与流程

本发明涉及多媒体技术领域，尤其涉及一种视频处理的方法和装置。

背景技术：

当前，视频设备已经成了人们日常生活中不可缺少的设备。人们可以利用视频设备与两个或者两个以上的不同地方的个人或者群体进行视频。

视频设备中通常配置有摄像头。由于摄像头的安装位置通常是固定的，使得人们在使用视频设备时，通常通过调节视频设备的位置，以获得视频的最佳视角。然而，若视频设备不便于随时调节位置，则摄像头不能获取最佳视角，使得视频用户无法感觉到面对面交流。

以视频会议设备为例。现有的视频会议设备，通常配置一个摄像头，用于获取当前使用用户的视频信息，然而，摄像头通常放置在视频会议设备的上方或者下方，且位置固定后不可调节，使得摄像头获取的画面通常有俯视感或仰视感，或者，当视频用户移动位置时，会使摄像头获取的画面中不包含正面人脸信息，即摄像头的视角与人眼不平行，使视频用户之间无法感觉到面对面交流，降低用户使用体验。

技术实现要素：

有鉴于此，本发明实施例提供一种视频处理的方法和装置，以优化现有视频处理方法，解决在用户视频时，摄像头不能获取最佳视角的问题。

第一方面，本发明实施例提供了一种视频处理的方法，包括：

确定用户基于视频设备的相对位置信息；

在接收到至少两个摄像头采集的至少两路视频数据时，根据所述相对位置信息处理至少两路视频数据；

将处理后的至少两路视频数据发送至信号输出端口，以使所述信号输出端口向外发送处理后的至少两路视频数据。

第二方面，本发明实施例还提供了一种视频处理的装置，包括：

位置确定模块，用于确定用户基于视频设备的相对位置信息；

视频处理模块，用于在接收到至少两个摄像头采集的至少两路视频数据时，根据所述相对位置信息处理至少两路视频数据；

信号输出模块，用于将处理后的至少两路视频数据发送至信号输出端口，以使所述信号输出端口向外发送处理后的至少两路视频数据。

本发明实施例提供的视频处理的方法和装置，通过确定用户的相对位置信息，并在接收到至少两个摄像头采集的至少两路视频数据时，根据相对位置信息对至少两路视频数据进行处理，使得处理后的至少两路视频数据的视角与当前使用用户的眼睛视角平齐，使得视频观看方产生与当前视频用户对视的感觉，即摄像头获取了最佳视角，提升了用户的使用体验。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例一提供的一种视频处理的方法的流程图；

图2为一种可用于执行本实施例提供的方法的视频会议设备的结构示意图；

图3为本发明实施例二提供的一种视频处理的方法的流程图；

图4a为视频设备的内部俯视结构图；

图4b为第一红外接收器401的红外光谱图；

图4c为第二红外接收器402的红外光谱图；

图4d为第三红外接收器403的红外光谱图；

图4e为按照安装位置叠加后的红外光谱图；

图5为本发明实施例二提供的一种主摄像头确定的方法的流程图；

图6为本发明实施例二提供的一种相对位置信息确定的方法的流程图；

图7为本发明实施例三提供的一种视频处理的装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1为本发明实施例一提供的一种视频处理的方法的流程图。本实施例提供的视频处理的方法适用于使用视频设备进行视频的情形。本实施例提供的视频处理的方法可以由视频处理的装置执行，该装置可以通过软件和/或硬件的方式实现，并集成在视频设备中。参考图1，本实施例提供的视频处理的方法包括：

S110、确定用户基于视频设备的相对位置信息。

本实施例中，视频设备为配置至少两个摄像头，且各摄像头安装位置固定，不易调整视频角度的设备，如视频会议设备等。

具体的，可利用人体散热时产生的红外信号(红外线)对用户的相对位置信息进行确定。即根据当前使用视频设备的用户产生的红外信号确定该用户与视频设备的相对位置信息。其中，相对位置信息可以是用户与视频设备的距离值及方向信息。相对位置信息还可以是坐标信息，即在红外信号的可接收范围内建立坐标系，通过坐标信息表示用户的相对位置。

其中，利用红外接收器接收用户产生的红外信号。可选的，根据红外接收器接收的红外信号的强度，确定用户与红外接收器的距离，进而确定用户与视频设备的相对位置信息。还可选的，根据红外接收器接收的红外信号生成红外光谱图，通过识别红外光谱图确定用户与视频设备的相对位置信息。

需要说明的是，在视频时，必须开启视频设备中视频功能后，视频设备的摄像头才会采集用户的视频数据。例如，可以设置一个视频应用软件，当用户开启该应用软件时，视频设备中配置的至少两个摄像头开始采集用户的视频数据。然而，视频设备只要处于开启状态(无论是否开启视频功能)，便会确定用户的相对位置信息。

利用红外接收器接收的红外信号确定相对位置信息的方法并不是对本实施例的限定，其他可确定相对位置信息的方法同样适用于本实施例。

S120、在接收到至少两个摄像头采集的至少两路视频数据时，根据相对位置信息处理至少两路视频数据。

具体的，当开启视频功能后，控制至少两个摄像头采集视频数据，并接收至少两个摄像头采集的至少两路视频数据。

进一步的，由于不同摄像头安装的位置不同，使得各摄像头采集的视频数据的角度不同。根据相对位置信息处理至少两路视频数据，以使得处理后的至少两路视频数据在被目标视频设备播放时，显示的视频画面为统一的视角。

可选的，具体的处理方式可以是在至少两路视频数据中选择一路视频数据作为主视频数据，将其余的视频数据的分辨率调至最低。

具体的，至少两个摄像头安装在视频设备面向用户的外表面的两侧。用户在使用视频设备时，面部可以对着其中任意摄像头，即用户可以将双眼视角与面对的摄像头的视角平齐(不需要俯视或者仰视)。据此，可以根据相对位置信息确定用户面对的摄像头，并将该摄像头对应的视频数据作为主视频数据。可选的，还可以根据相对位置信息以及人脸识别技术，确定用户面对的摄像头，并将该摄像头对应的视频数据作为主视频数据。

典型的，考虑到用户在使用视频设备时，可能会移动位置或者调整视频角度。因此，为了保证目标视频设备显示的视频画面始终包含用户的面部信息且视频画面中的用户始终正对着摄像头，可以实时确定相对位置信息，或者定时(每2秒或者每3秒)确定相对位置信息，并根据相对位置信息处理至少两路视频数据。

例如，视频设备朝向用户的外表面的左右两侧分别设置有一个摄像头，利用红外接收器接收的红外信号确定用户的相对位置信息。在开启视频功能后，根据相对位置信息确定用户面向左侧摄像头，此时，将右侧摄像头对应的视频数据的分辨率调至最低，并继续检测用户的相对位置信息，在根据相对位置信息确定用户面向右侧摄像头时，将左侧摄像头对应的视频数据的分辨率调至最低，并恢复右侧摄像头对应的视频数据的分辨率。

S130、将处理后的至少两路视频数据发送至信号输出端口，以使信号输出端口向外发送处理后的至少两路视频数据。

可选的，微处理器将目标视频设备的地址信息与处理后的至少两路视频数据一同发送至信号输出端口。信号输出端口将处理后的至少两路视频数据和地址信息一同发送至网络节点，以使网络节点根据地址信息将处理后的至少两路视频数据发送至目标视频设备。

下面，以视频设备为视频会议设备为例，对执行本实施例提供的方法的视频设备进行说明：

图2为一种可用于执行本实施例提供的方法的视频会议设备的结构示意图。参考图2，视频会议设备2包括至少两个摄像头201、微处理器202、信号输出端口203和至少一个红外接收器204，微处理器202分别与至少两个摄像头201、信号输出端口203和至少一个红外接收器204相连。

其中，微处理器202位于视频会议设备2的内部，用于根据至少一个红外接收器204接收的红外信号，确定用户的相对位置信息，并根据相对位置信息处理至少两路视频数据，还用于将处理后的至少两路视频数据发送至位于视频会议设备2外表面的信号输出端口203，以使信号输出端口203向外发送处理后的至少两路视频数据。进一步的，至少一个红外接收器204可以为红外接收灯，其位于视频会议设备2的外表面，用于接收用户产生的红外信号，并将接收的红外信号发送至微处理器202。至少两个摄像头201配置于视频会议设备2中朝向用户的外表面的两侧。

可选的，当视频会议设备2包含显示屏205时，将至少两个摄像头201配置于显示屏205的两侧。一般而言，两个摄像头201已经能够实现基本的视频效果。

具体的，红外接收器204接收用户产生的红外信号，并将接收的红外信号发送至微处理器202，微处理器202根据红外信号确定用户的相对位置信息。当微处理器202接收到至少两个摄像头201采集的至少两路视频数据时，根据相对位置信息对至少两路数据进行处理，并将处理后的至少两路视频数据通过信号输出端口203向外发送。

一般而言，上述视频会议系统还配置有信号接收端口(图未示)和音频播放设备(图未示)。其中，可以通过信号接收端口接收其他视频会议设备(图未示)发送的处理后的视频数据，并将接收到的视频数据发送至微处理器202，微处理器202对该视频数据进行解析，并控制显示屏205进行相应的显示。同时，微处理器202将与该视频数据同步的音频数据通过音频播放设备进行播放。

本实施例提供的技术方案，通过确定用户基于视频设备的相对位置信息，并在接收到至少两个摄像头采集的至少两路视频数据后，根据相对位置信息对至少两路视频数据进行处理，并通过信号输出端口向外发送处理后的至少两路视频数据，可以使得处理后的至少两路视频数据的视角与当前使用的用户的眼睛视角平齐，使得视频观看方产生与当前视频用户对视的感觉，同时，可以根据相对位置信息实时对至少两路视频数据进行处理，可以使得视频观看方持续产生与当前视频用户对视的感觉，提升了用户的使用体验。

实施例二

图3为本发明实施例二提供的一种视频处理的方法的流程图。本实施例提供的方法是在上述实施例的基础上进行优化。具体的，参考图3，本实施例提供的方法包括：

S310、获取至少一个红外接收器接收的红外信号。

其中，在视频设备开启后，便会利用至少一个红外接收器来获取红外信号。

S320、根据至少一个红外信号的强度确定用户基于视频设备的相对位置信息。

具体的，确定至少一个红外信号的强度，根据该强度确定相对位置信息。其中，可以根据人体产生红外信号的强度范围以及获取至少一个红外信号的强度确定用户的相对位置信息。

其中，当红外接收器的个数为至少两个时，可以通过光谱图的方式确定相对位置信息。具体的，该步骤可以包括：根据至少两个红外信号的强度生成对应的至少两个红外光谱图；将至少两个红外光谱图按照设定规则进行叠加，将重叠率最高的区域作为用户所在的区域；根据用户所在的区域确定相对位置信息。

典型的，视频设备根据接收的红外信号的强度生成对应的红外光谱图，其中，每个红外接收器都可以生成对应的红外光谱图。

可选的，按照设定规则叠加红外光谱图可以是按照至少两个红外接收器的光谱角度和/或安装位置叠加红外光谱图。

进一步的，将各红外光谱图叠加后，对于同一人体的红外信号，会有相互重叠的部分。由于各红外接收器都能感应到用户的红外信号，因此，重叠率最高的区域便可以确定为用户所在的区域，并根据该区域确定相对位置信息。

下面对根据红外光谱图确定相对位置信息进行举例说明。

图4a为视频设备的内部俯视结构图。参考图4a，可以确定视频设备41包括三个同一水平线的红外接收器，分别为第一红外接收器401，第二红外接收器402和第三红外接收器403，用户42位于视频设备41的前方。三个红外接收器将接收到的红外信号发送至微处理器404，微处理器404根据三个红外信号生成三个对应的红外光谱图。图4b-图4d分别为第一红外接收器401至第三红外接收器403的红外光谱图，其中用户的红外光谱分别为4011-4031所示的虚线框。图4e为按照安装位置叠加后的红外光谱图。为了便于观看，在图4e中仅示出了用户的红外光谱叠加效果，区域43为三个红外光谱图叠加率最高的位置，即可以确定区域43为用户所在的区域，进而可以确定用户的相对位置信息。

S330、在接收到至少两个摄像头采集的至少两路视频数据时，根据相对位置信息确定采集到用户的完整面部信息的主摄像头。

具体的，将根据相对位置信息确定的可以采集到用户完整面部信息的摄像头设定为主摄像头。其中，完整面部信息为包含用户完整的面部(即完整的五官)，且面部朝向最接近正面的视频数据

可选的，参考图5，该步骤可以包括：。

S331、在接收到至少两个摄像头采集的至少两路视频数据时，根据相对位置信息确定与用户距离值最近的待定主摄像头。

具体的，根据相对位置信息可以明确用户与各摄像头之间的距离值。摄像头与用户距离值越近，表明采集的视频数据中用户的面部信息越清晰。因此，将与用户距离值最近的摄像头确定为待定主摄像头。

其中，在根据相对位置信息确定与用户距离值最近的摄像头的个数为至少两个时，可以将该至少两个摄像头都确定为待定主摄像头。

S332、判断待定主摄像头对应的视频数据中是否识别出用户的完整面部信息。若待定主摄像头对应的视频数据中识别出用户的完整面部信息，则执行S333，若待定主摄像头对应的视频数据中未识别出用户的完整面部信息，则执行S334。

考虑到用户在使用视频设备时，若希望摄像头采集到的视频画面中，自己保持着平视的状态且包含完整面部信息，则会尽可能的正对着采集视频的摄像头。因此，在确定主摄像头时，可以对待定主摄像头采集的视频数据进行图像识别，确定是否可以在视频信息中识别出用户的完整面部信息。

S333、待定主摄像头确定为主摄像头。

可选的，若待定主摄像头的个数为至少两个，且对应的至少两路视频数据都确认识别出完整面部信息，则进一步解析完整面部信息中的眼部状态，将眼部状态最接近平视状态的视频数据对应的待定主摄像头确定为主摄像头。

S334、将剩余视频数据中识别出用户的完整面部信息的视频数据对应的摄像头确定为主摄像头。

具体的，依次在剩余视频数据中识别用户的完整面部信息。其中，可以根据各摄像头与用户的距离值由小到大的顺序识别对应的视频数据中的完整面部信息。

在视频数据中确认识别到完整面部信息时，将该视频数据对应的摄像头确定为主摄像头。

其中，若至少两路视频数据都确认识别出完整面部信息，则进一步解析完整面部信息中的眼部状态，将眼部状态最接近平视状态的视频数据对应的摄像头确定为主摄像头。

S340、将与主摄像头对应的主视频数据的分辨率调至第一分辨率，将剩余视频数据的分辨率调至第二分辨率。

具体的，第二分辨率低于第一分辨率。其中，分辨率的具体值可以根据摄像头的分辨率以及显示屏幕的分辨率进行确定。

例如，将主视频数据的分辨率调至1080p，将剩余视频数据的分辨率调至360p，目标视频设备在显示上述视频数据时，观看方会观看到主视频数据，且将剩余视频数据的分辨率调至尽量低的数值后，也可以减小对信号传输线路的资源占用。

同时，通过调节分辨率的方式，可以保证即使切换目标视频设备显示的视频数据时，也仅是通过视频设备后台的微处理器对视频数据的分辨率进行调节，并不影响至少两路视频数据的输出，即不需要将输出的一路视频数据切换为另一路视频数据，降低了切换视频数据时需要等待的时长。

S350、判断在主视频数据中检测到完整面部信息是否变为不完整面部信息。在主视频数据中检测到完整面部信息变为不完整面部信息时，间隔第一时间段，执行S330。在主视频数据中检测到仍为完整面部信息时，执行S340。

考虑到用户在使用视频设备时，会存在转向(头部转向)的情况，即在转向时，用户的面部可能并不正对着当前的主摄像头。为了防止上述情况出现，视频设备会实时或者定时(每隔2秒)检测主视频数据中的面部信息是否完整，即是否由完整面部信息变为不完整面部信息。

当检测到主视频数据中为不完整面部信息时，间隔第一时间段，重新确定当前的主摄像头。其中，第一时间段可以是2秒至3秒中的任意值。通过设置第一时间段，可以避免由瞬时转向引起的错误操作。

例如，视频设备在显示屏的两侧分别安装一个摄像头，用户面向的左侧摄像头为主摄像头。在用户视频的过程中，检测到主视频数据中完整面部信息变为不完整面部信息(以用户的头部向右转为例)，则2秒后，再次判断主视频数据中的面部信息，若为完整面部信息，则说明用户只是瞬时转向，并转回至先前的位置。若仍为不完整面部信息，则说明用户持续保持转向后的方向，此时，重新确定用户转向后的主摄像头。

S360、将处理后的至少两路视频数据发送至信号输出端口，以使信号输出端口向外发送处理后的至少两路视频数据。

需要说明的是，S340后同时执行S350和S360。在将处理后的至少两路视频数据发送至信号输出端口后，视频设备可以同时执行上述任意步骤。

本实施例提供的技术方案，通过至少一个红外信号的强度确定用户的相对位置信息，并根据相对位置信息以及完整面部数据调节主视频数据的分辨率和剩余视频数据的分辨率，以使视频观看方观看到主视频数据，且保证主视频数据中用户尽可能的正对摄像头，使得视频观看方产生与当前视频用户对视的感觉。

在上述实施例的基础上，参考图6，该方法还可以包括：

S610、检测用户的相对位置信息是否发生变化。若发生变化，则间隔第二时间段，执行S620，否则，继续S330。

S620、确定用户的当前相对位置信息作为用户的相对位置信息。

考虑到用户在使用视频设备时，会存在用户移动的情况，即在移动时，用户的相对位置信息会发生变化。为了防止上述情况出现，视频设备会实时或者定时(每隔2秒)检测相对位置信息是否发生变化。

当检测到相对位置信息发生变化时，间隔第二时间段，重新确定当前相对位置信息。其中，第二时间段可以是2秒至3秒中的任意值。例如，用户因为站姿或者坐姿不舒服后，暂时移动后又回到先前的位置，此时，设定第二时间段便可以避免因为暂时移动产生的错误操作。

实施例三

图7为本发明实施例三提供的一种视频处理的装置的结构示意图。参考图7，本实施例提供的装置包括：位置确定模块701、视频处理模块702以及信号输出模块703。

其中，位置确定模块701，用于确定用户基于视频设备的相对位置信息；

视频处理模块702，用于在接收到至少两个摄像头采集的至少两路视频数据时，根据相对位置信息处理至少两路视频数据；

信号输出模块703，用于将处理后的至少两路视频数据发送至信号输出端口，以使信号输出端口向外发送处理后的至少两路视频数据。

上述实施例的基础上，位置确定模块701包括：获取单元，用于获取至少一个红外接收器接收的红外信号；确定单元，用于根据至少一个红外信号的强度确定用户基于视频设备的相对位置信息。

上述实施例的基础上，视频处理模块702包括：主摄像头确定单元，用于在接收到至少两个摄像头采集的至少两路视频数据时，根据相对位置信息确定采集到用户的完整面部信息的主摄像头；分辨率调节单元，用于将与主摄像头对应的主视频数据的分辨率调至第一分辨率，将剩余视频数据的分辨率调至第二分辨率，第二分辨率低于第一分辨率。

上述实施例的基础上，主摄像头确定单元包括：待定子单元，用于在接收到至少两个摄像头采集的至少两路视频数据时，根据相对位置信息确定与用户距离值最近的待定主摄像头；第一确定子单元，用于若待定主摄像头对应的视频数据中识别出用户的完整面部信息，则待定主摄像头确定为主摄像头；第二确定子单元，用于若待定主摄像头对应的视频数据中未识别出用户的完整面部信息，则将剩余视频数据中识别出用户的完整面部信息的视频数据对应的摄像头确定为主摄像头。

上述实施例的基础上，该装置还包括：面部信息检测模块，用于在主视频数据中检测到完整面部信息变为不完整面部信息时，间隔第一时间段，执行在接收到至少两个摄像头采集的至少两路视频数据时，根据相对位置信息确定采集到用户的完整面部信息的主摄像头的操作。

上述实施例的基础上，该装置还包括：位置检测模块，用于检测用户的相对位置信息是否发生变化；当前确定模块，用于若发生变化，则在发生变化后，间隔第二时间段，确定用户的当前相对位置信息作为用户的相对位置信息。

上述实施例的基础上，红外接收器的个数为至少两个；则确定单元包括：光谱图确定子单元，用于根据至少两个红外信号的强度生成对应的至少两个红外光谱图；区域确定子单元，用于将至少两个红外光谱图按照设定规则进行叠加，将重叠率最高的区域作为用户所在的区域；位置确定子单元，用于根据用户所在的区域确定相对位置信息。

本发明实施例提供的视频处理的装置可以执行上述任意实施例提供的视频处理的方法，具备相应的功能和有益效果。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。