一种会场数据处理、显示方法及装置和智能眼镜与流程

文档序号:16147262发布日期:2018-12-05 16:41阅读:148来源:国知局

本发明涉及电子技术领域,尤其涉及一种会场数据处理、显示方法及装置和智能眼镜。

背景技术

视频会议系统是利用通信网将不同会场的图像和音频相互传送,使各会场的参会人员能够沟通,目前,本地会场的参会人员只能通过终端来接收远端会场的图像,并对接收的图像进行显示,因此本地会场的参会人员看到的场景是远端场景。而无法将两个会场的图像进行融合显示,与在同一个会场面对面交流的效果和体验相差甚远。



技术实现要素:

本发明实施例提供的会场数据处理、显示方法及装置和智能眼镜,主要解决的技术问题是现有视频会议的体验效果不佳。

为解决上述技术问题,本发明实施例提供一种会场数据处理方法,包括:获取本地会场的会场图像;对所述会场图像进行人体识别;根据人体识别结果从所述会场图像中获取本地参会人员的第一特征数据,所述第一特征数据包括本地参会人员的人体图像本身或含有人体图像本身的局部场景图像;将获取的各个本地参会人员的第一特征数据发送给远端会场

本发明实施例提供一种会场数据显示方法的工作方法,包括:接收远端会场的远端参会人员的第二特征数据,所述第二特征数据包括远端参会人员的人体图像本身或含有人体图像本身的局部场景图像;以及获取本地会场的会场图像;将接收到的各个远端参会人员的第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像,与所述本地会场的会场图像进行融合处理,得到融合图像;显示所述融合图像。

本发明实施例还提供一种会场数据处理装置,包括:第一获取模块,用于获取本地会场的会场图像;第一识别模块,用于对所述会场图像进行人体识别;

第二获取模块,用于根据人体识别结果从所述会场图像中获取本地参会人员的第一特征数据,所述第一特征数据包括本地参会人员的人体图像本身或含有人体图像本身的局部场景图像;第一发送模块,用于将获取的各个本地参会人员的第一特征数据发送给远端会场。

本发明实施例还提供一种会场数据显示装置,包括:第二接收模块,用于接收远端会场的远端参会人员的第二特征数据,所述第二特征数据包括远端参会人员的人体图像本身或含有人体图像本身的局部场景图像;第四获取模块,用于获取本地会场的会场图像;融合模块,用于将接收到的各个远端参会人员的第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像,与所述本地会场的会场图像进行融合处理,得到融合图像;显示处理模块,用于显示所述融合图像。

本发明实施例还提供一种智能眼镜,包括可穿戴本体,以及设置于所述可穿戴本体上的上述任一项所述的会场数据显示装置。

本发明实施例还提供一种计算机存储介质,所述计算机存储介质中存储有计算机可执行指令,所述计算机可执行指令用于执行前述的任一项的会场数据处理方法。

本发明实施例还提供另一种计算机存储介质,所述计算机存储介质中存储有计算机可执行指令,所述计算机可执行指令用于执行前述的任一项的会场数据显示方法。

本发明的有益效果是:

根据本发明实施例提供的会场数据处理方法、会场数据显示方法、会场数据处理装置、会场数据显示装置、智能眼镜以及计算机存储介质,部署在本地会场的会场数据处理装置利用摄像模块等采集本地会场的会场图像,进行人体识别,从该会场图像中获取各个本地参会人员的第一特征数据,第一特征数据可经过编码后发送给远端会场,即使用人体识别、抠图技术等对本地参会人员进行图像建模、绘制后发送给远端会场;同时会场数据处理装置还接收远端会场发来的远端参会人员的第二特征数据,可解码后将接收到的第二特征数据发送给本地会场的各本地参会人员所佩戴的会场数据显示装置,会场数据显示装置将第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像融合到本地会场的会场图像中,得到融合图像进行显示,远端参会人员已经融合进本地会场图像中,模拟了真实会议场景,使参会人员获得身临其境的会议体验感。本发明利用人体识别、人体图像提取(例如抠图技术)、图像融合等技术使得视频会议达到接近真实面对面开会的体验效果。

附图说明

图1为本发明实施例一的会场数据处理方法流程图;

图2为本发明实施例二的会场数据显示方法流程图;

图3为本发明实施例三的会场数据处理装置的示意图;

图4为本发明实施例四的会场数据显示装置的示意图;

图5为本发明实施例五的视频会议系统的示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。

实施例一:

为了模拟真实会议场景,使处于不同会场的参会人员能有接近面对面交流的体验,本实施例提供一种会场数据处理方法,适用于本发明提供的会场数据处理装置,请参见图1,主要包括以下流程:

s101、获取本地会场的会场图像。

可通过部署在本地会场的一个或多个摄像模块进行采集,摄像模块采集到后可以通过wifi、蓝牙、射频等方式传输给会场数据处理装置。会场数据处理装置可以是视频会议终端。

s102、对所述会场图像进行人体识别。

人体识别方式包括但不局限于:人脸识别、人眼识别、标识定位。标识包括但不局限于会议桌上摆放的名字介绍牌,从会场图像中寻找名字介绍牌,将名字介绍牌背后一定范围位置上的图像识别为人体。

s103、根据人体识别结果从所述会场图像中获取本地参会人员的第一特征数据,所述第一特征数据包括本地参会人员的人体图像本身或含有人体图像本身的局部场景图像。

识别出所述会场图像中的人体之后,可以利用抠图等技术获取本地参会人员的人体图像本身或含有人体图像本身的局部场景图像,前者的抠图对象是会场图像中的人体图像本身,后者的抠图对象是含有人体图像本身以及其周围一定区域的局部场景图像。本步骤实现了虚拟人体图像的绘制或建模。相比现有技术中直接将采集到的整个会场图像传输给远端的方式而言,传输量更小,传输效率更高,更为重要的是,远端会场的设备接收到后可以将其融合到远端会场的会场图像中,与远端会场的会场场景进行融合。

s104、将获取的各个本地参会人员的第一特征数据发送给远端会场。

与远端会场之间可以采用互联网、wifi等方式通信。

可以先对各个本地参会人员的第一特征数据按按照预设规则进行编码;再将编码后的数据发送给远端会场。预设规则指的是预先协商一致的编码规则。编码规则可以是其它数据压缩算法,并非一定采用图像编码算法h263、h264等。根据通信方式不同,可以将码流打上对应的paload信息头进行拆包以及打上rtp(real-timetransportprotocol,实时传输协议)信息头以适应网络包发送,然后发送给远端会场。

此外,第一特征数据还可以包括位置识别信息,用于远端收到后确定第一特征数据中的人体图像本身或含有人体图像本身的局部场景图像的融合位置。位置识别信息包括但不局限于本地参会人员的座次信息、预设编号信息中的至少一种。根据人体识别结果从所述会场图像中获取本地参会人员的座次信息的方式包括但不局限于:根据所述会场图像中本地参会人员的桌面特征信息获取其座次信息,而桌面特征信息包括桌面的上、下、左、右、主席位等等。

此外,步骤s101获取本地会场的会场图像的同时,还可以包括:获取所述本地会场的音频数据;步骤s104中,可以将所述音频数据与所述获取的各个本地参会人员的第一特征数据同步发送给远端会场。音频数据的同步获取和同步发送,有利于远端的图像和音频同步。音频数据的发送也可以采用上述编码规则进行编码后发送。

本地会场的音频数据可以是通过麦克风等音频采集设备采集到的参会人员的发言,也可以是音频设备播放的音频数据。

步骤s101中,获取本地会场的会场图像包括如下方式中的至少一种:

a、根据上述音频数据识别声源的位置区域;获取所述声源的位置区域的图像作为所述会场图像;

b、获取所述本地会场的全景图像作为所述会场图像;

c、获取所述本地会场的局部图像作为所述会场图像。

上述方式a有利于将音频数据与声源的位置区域进行同步,远端收到后,在播放音频数据的同时,对其声源进行显示,该声源可以是发言人,也可以是音频设备。在视频会议过程中,每当有人发言,或有音频设备播放音频数据时,可采用这种方式获取会场图像,基于获取的该会场图像向后执行步骤s102至s104。可通过声音检测传感器来识别声源的位置区域,进而启动摄像模块对准声源的位置区域来采集图像。

上述方式b和c有利于在步骤s102中将本地会场的多个参会人员识别出来,在步骤s103和s104中获取各个参会人员的第一特征数据进行发送,尤其是上述方式b,可以将本地会场的所有参会人员识别出,这种方式可以借用多个摄像模块,例如采用两个摄像模块,每一个摄像模块按会场半径扫描会场。上述方式b和c可以在视频会议开始时,当然视频会议过程中,也需要实时或定时地进行更新获取。在整个视频会议过程中,上述方式a、b和c可以交替进行。

本实施例提供的上述流程可实时或定时地循环进行,以便对本地参会人员的第一特征数据、本地会场的音频数据进行更新,将最新的数据发送给远端会场。

以上流程是将本地会场的数据传输给远端会场,还可以接收远端会场发送来的数据:接收远端会场的远端参会人员的第二特征数据,所述第二特征数据包括远端参会人员的人体图像本身或含有人体图像本身的局部场景图像;将接收的所述远端参会人员的第二特征数据发送给至少一个会场数据显示装置。当然,还可以同步接收远端会场的音频数据。

如果远端会场发送的第二特征数据、音频数据经过了编码,则接收步骤中对应的包括解码过程。会场数据显示装置优选的为可穿戴设备,例如智能眼镜。会场数据处理装置与会场数据显示装置可通过wifi、蓝牙、射频等方式进行数据传输。第二特征数据用于会场数据显示装置与本地会场的会场图像进行融合。

接收的音频数据,可以通过自身播放模块进行播放,或者将该音频数据也同步发送给上述会场数据显示装置,通过会场数据显示装置进行播放。

本实施例提供的会场数据处理方法包括了对本地会场的会场图像的获取、处理和发送,还包括了对远端会场数据的接收和中转。与传统视频会议系统比较,在数据编解码方面,无需对整个会场图像进行编解码,只针对参会人员最相关的人体图像本身或含有人体图像本身的局部场景图像,所以可以不使用专业的图像编解码算法,只用数据解压缩算法即可,且传输数据量减少,传输效率更高。此外,传输给远端的人体图像本身或含有人体图像本身的局部场景图像,可以在远端进行融合,使得双方参会人员有面对面开会的效果体验。

实施例二:

为了模拟真实会议场景,使处于不同会场的参会人员能有接近面对面交流的体验,本实施例提供的会场数据显示方法包括如下流程,请参见图2:

s201、接收远端会场的远端参会人员的第二特征数据,所述第二特征数据包括远端参会人员的人体图像本身或含有人体图像本身的局部场景图像;以及获取本地会场的会场图像。

如果远端会场发送的第二特征数据经过了编码,则本步骤中对应的包括解码过程。可通过wifi、蓝牙、射频等方式进行数据传输。

s202、将接收到的各个远端参会人员的第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像,与所述本地会场的会场图像进行融合处理,得到融合图像。

具体的融合方式有多种,可以将各个远端参会人员的第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像,叠加到本地会场的会场图像中的空座位上,使得融合图像更加逼真。

接收到的第二特征数据还可以包括位置识别信息,本步骤可以根据第二特征数据中的所述位置识别信息,确定对应远端参会人员在所述本地会场的会场图像中的融合位置,将第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像叠加到所述本地会场的会场图像中的所述叠加位置,并进行对齐处理,得到融合图像。位置识别信息包括但不局限于远端参会人员的座次信息、预设编号信息中的至少一种。例如一远端参会人员在对应远端会场中的座次信息为主席位,将其第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像叠加到所述本地会场的会场图像中的主席位上;又如另一远端参会人员在对应远端会场中的座次信息为主席位左侧第一个座位,将其第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像叠加到所述本地会场的会场图像中的主席位左侧第一个座位上。因此本步骤可以采用定位、对齐、叠加等技术将远端参会人员的图像叠加在本地会场的真实会场图像中的座位上,使参会人员获得身临其境的会议体验感。

s203、显示所述融合图像。

本步骤可以始终显示同一个视角的融合图像,优选的,采用如下方式更加接近真实会场:检测人眼视角信息;根据检测到的人眼视角信息,确定所述融合图像待显示的图像区域;显示所述图像区域。根据人眼视角的变化,调整显示的图像区域,头转向左侧时,可观看融合图像中其左侧的图像,头转向右侧时,可观看融合图像中其右侧的图像,获得接近面对面交流的体验。

本实施例提供的上述流程还可以包括:接收所述远端会场的音频数据;显示所述融合图像的同时,同步播放所述音频数据。使得声音和图像同步。

本实施例提供的上述流程可实时或定时地循环进行,以便对融合图像进行更新后显示。

本实施例提供的会场数据显示方法包括了对远端会场的远端参会人员的第二特征数据的获取,以及将其与本地会场的会场图像进行融合。无需获取远端会场的整个会场图像,仅仅获取与远端参会人员最相关的人体图像本身或含有人体图像本身的局部场景图像,所以可以不使用专业的图像编解码算法,只用数据解压缩算法即可,且传输数据量减少,传输效率更高。而且实现了将远端参会人员的人体图像本身或含有人体图像本身的局部场景图像,融合在本地会场真实的会场图像中去,使得双方参会人员有面对面开会的效果体验。

实施例三:

对应于实施例一中的会场数据处理方法的流程,为了模拟真实会议场景,使处于不同会场的参会人员能有接近面对面交流的体验,本实施例提供一种会场数据处理装置,请参见图3,主要包括:

第一获取模块31,用于获取本地会场的会场图像;

第一识别模块32,用于对所述会场图像进行人体识别;

第二获取模块33,用于根据人体识别结果从所述会场图像中获取本地参会人员的第一特征数据,所述第一特征数据包括本地参会人员的人体图像本身或含有人体图像本身的局部场景图像;

第一发送模块34,用于将获取的各个本地参会人员的第一特征数据发送给远端会场。

其中,第一识别模块32可以是人脸识别模块、人眼识别模块、标识定位模块。标识包括但不局限于会议桌上摆放的名字介绍牌。

第二获取模块33可以是抠图模块,第一识别模块32识别出会场图像中的人体之后,第二获取模块33可以利用抠图等技术获取本地参会人员的人体图像本身或含有人体图像本身的局部场景图像。相比现有技术中直接将采集到的整个会场图像传输给远端的方式而言,传输量更小,传输效率更高,更为重要的是,远端会场的设备接收到后可以将其融合到远端会场的会场图像中,与远端会场的会场场景进行融合。

第一特征数据还可以包括位置识别信息,用于远端收到后确定第一特征数据中的人体图像本身或含有人体图像本身的局部场景图像的融合位置。位置识别信息包括但不局限于本地参会人员的座次信息、预设编号信息中的至少一种。第二获取模块33根据人体识别结果从所述会场图像中获取本地参会人员的座次信息包括但不局限于:根据所述会场图像中本地参会人员的桌面特征信息获取其座次信息。

第一发送模块34采用互联网、wifi等方式发送。可以先对各个本地参会人员的第一特征数据按按照预设规则进行编码;再将编码后的数据发送给远端会场。预设规则指的是预先协商一致的编码规则。编码规则可以是其它数据压缩算法,并非一定采用图像编码算法h263、h264等。编码时,可以对各个本地参会人员的第一特征数据分别进行编码,也可以将所有本地参会人员的第一特征数据一并编码。

上述会场数据处理装置还可以进一步包括:

第三获取模块35,用于获取所述本地会场的音频数据,且与所述第一获取模块获取本地会场的会场图像同步;

第二发送模块36,用于将所述音频数据发送给远端会场,且与所述第一发送模块发送所述第一特征数据同步。

其中,第三获取模块35可以与本地会场的麦克风等音频采集设备连接,通过这些设备采集参会人员的发言作为本地会场的音频数据,也可以是录音设备,将本地会场的音频设备播放的音频数据进行录音作为本地会场的音频数据。

音频数据的同步获取和同步发送,有利于远端的图像和音频同步。音频数据的发送也可以采用上述编码规则进行编码后发送。

第一获取模块31可以与部署在本地会场的一个或多个摄像模块通信,通过摄像模块采集本地会场的会场图像。第一获取模块31可以进一步包括(图中未示出):第二识别模块和第一获取子模块,其中,第二识别模块用于根据第三获取模块35获取的音频数据识别声源的位置区域;第一获取子模块用于获取所述声源的位置区域的图像作为所述会场图像。

或者,上述第一获取模块31可以包括(图中未示出):第二获取子模块,用于获取所述本地会场的全景图像作为所述会场图像;

或者,上述第一获取模块31可以包括(图中未示出):第三获取子模块,用于获取所述本地会场的局部图像作为所述会场图像。

第一获取子模块、第二获取子模块、第三获取子模块可以是wifi模块、蓝牙模块、射频模块等。

当然,第二发送模块36与第一发送模块34可以共用。

上述会场数据处理装置还可以进一步包括:

第一接收模块37,用于接收远端会场的远端参会人员的第二特征数据,所述第二特征数据包括远端参会人员的人体图像本身或含有人体图像本身的局部场景图像;

第三发送模块38,用于将接收的所述远端参会人员的第二特征数据发送给至少一个会场数据显示装置。

当然,第一接收模块37还可以同步接收远端会场的音频数据。接收的音频数据,可以通过自身播放模块进行播放,或者将该音频数据也同步发送给上述会场数据显示装置,通过会场数据显示装置进行播放。

如果远端会场发送的第二特征数据、音频数据经过了编码,则第一接收模块37还用于解码。会场数据显示装置优选的为可穿戴设备,例如智能眼镜。第三发送模块38可通过wifi、蓝牙、射频等方式进行发送。第二特征数据用于会场数据显示装置与本地会场的会场图像进行融合。

本实施例提供的会场数据处理装置,可以是部署在本地会场的终端,用于向远端发送本地会场的数据,以及接收远端会场发来的数据,不同的是,无需对本地会场获取的整幅会场图像进行编解码和发送,发送的是与本地参会人员最相关的人体图像本身或含有人体图像本身的局部场景图像,同样,接收的也是与远端参会人员最相关的人体图像本身或含有人体图像本身的局部场景图像,所以可以不使用专业的图像编解码算法,只用数据压缩算法即可,且传输数据量减少,传输效率更高。而且接收的远端参会人员的人体图像本身或含有人体图像本身的局部场景图像,可以融合在本地会场真实的会场图像中去,使得双方参会人员有面对面开会的效果体验。

实施例四:

对应于实施例二中会场数据显示方法的流程,为了模拟真实会议场景,使处于不同会场的参会人员能有接近面对面交流的体验,本实施例提供一种会场数据显示装置,请参见图4,主要包括:

第二接收模块41,用于接收远端会场的远端参会人员的第二特征数据,所述第二特征数据包括远端参会人员的人体图像本身或含有人体图像本身的局部场景图像;

第四获取模块42,用于获取本地会场的会场图像;

融合模块43,用于将接收到的各个远端参会人员的第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像,与所述本地会场的会场图像进行融合处理,得到融合图像;

显示处理模块44,用于显示所述融合图像。

如果远端会场发送的第二特征数据经过了编码,则第二接收模块41还用于对其进行解码。第二接收模块41可通过wifi、蓝牙、射频等方式接收数据。

融合模块43可以使用多种融合技术,可以将各个远端参会人员的第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像,叠加到本地会场的会场图像中的空座位上,说的融合图像更加逼真。

上述第二特征数据还可以包括位置识别信息,融合模块43还可以进一步包括(图中未示出):位置识别模块,用于根据第二特征数据中的所述位置识别信息,确定对应远端参会人员在所述本地会场的会场图像中的融合位置;叠加对齐模块,用于将所述第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像叠加到所述本地会场的会场图像中的所述叠加位置,并进行对齐处理,得到融合图像。

位置识别信息包括但不局限于远端参会人员的座次信息、预设编号信息中的至少一种。例如一远端参会人员在对应远端会场中的座次信息为主席座位,将其第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像叠加到所述本地会场的会场图像中的主席座位上;又如另一远端参会人员在对应远端会场中的座次信息为主席座位左侧第一个座位,将其第二特征数据中的人体图像本身或含有人体图像本身的局部场景图像叠加到所述本地会场的会场图像中的主席座位左侧第一个座位上。因此融合模块43可以采用定位、对齐、叠加等技术将远端参会人员的图像叠加在本地会场的真实会场图像中的座位上,使参会人员获得身临其境的会议体验感。

显示处理模块44可以始终显示同一个视角的融合图像,优选的,显示处理模块44还可以进一步包括(图中未示出):检测模块,用于检测人眼视角信息;区域确定模块,用于根据检测到的人眼视角信息,确定所述融合图像待显示的图像区域;显示模块,用于显示所述图像区域。可根据人眼视角的变化,调整显示的图像区域,头转向会场左侧时可以与安排左侧的远端参会人员交流,当需要与右侧远端参会人员交流时,可以转向右侧,获得接近面对面交流的体验。

上述会场数据显示装置还可以进一步包括:第三接收模块45,用于接收所述远端会场的音频数据;播放模块46,用于播放所述音频数据,且与显示处理模块44显示融合图像同步。使得声音和图像同步。第三接收模块45和第二接收模块41可以共用。

本实施例提供的会场数据显示装置可以为可穿戴设备,例如智能眼镜。会场数据处理装置与会场数据显示装置可通过wifi、蓝牙、射频等方式进行数据传输。会场数据显示装置无需获取远端会场的整幅会场图像,仅仅获取与参会人员最相关的人体图像本身或含有人体图像本身的局部场景图像,所以可以不使用专业的图像编解码算法,只用数据压缩算法即可,且传输数据量减少,传输效率更高。而且将远端参会人员的人体图像本身或含有人体图像本身的局部场景图像,融合在本地会场真实的会场图像中去,使得双方参会人员有面对面开会的效果体验。

本发明还提供一种智能眼镜,包括可穿戴本体,以及设置于所述可穿戴本体上的实施例四所提供的会场数据显示装置。召开视频会议时,各会场的参会人员戴上智能眼镜,在眼镜显示屏幕上初始显示的是本地会场场景,当会议召开后,会场数据显示装置进行图像融合,而本地参会人员看到的会场场景中将会呈现远端会场的远端参会人员的人体图像本身或含有人体图像本身的局部场景图像,远端参会人员的图像可以按编号或座次显示在本地会场中会议桌旁的座椅上,这样可以接近真实会议场景。

实施例五:

为了模拟真实会议场景,使处于不同会场的参会人员能有接近面对面交流的体验,本实施例提供一种视频会议系统,请参见图5,该视频会议系统包括:处于本地会场的第一终端51、处于本地会场的第一摄像模块52、处于本地会场的第一麦克风57、本地参会人员a佩带的第一智能眼镜53、处于远端会场的第二终端54、处于远端会场的第二摄像模块55、处于远端会场的第二麦克风58以及远端参会人员b佩带的第二智能眼镜56。为了降低特征数据的获取以及图像融合技术的复杂度,双方会场的布置一致,本地参会人员a、远端参会人员b按不同座次分别坐定,假设远端参会人员b坐在主席位,本地参会人员a坐在主席位左侧第一位。

下面以本地会场为例,介绍该视频会议系统的工作流程,主要包括:

会议开始阶段,第一终端51控制第一摄像模块52实时扫描会场进行会场图像采集,或者根据第一麦克风57接收的音频数据实时识别声源的位置区域,控制第一摄像模块52指向该声源进行会场图像采集,第一终端51实时通过人脸识别技术从会场图像中识别人体,利用抠图技术从会场图像中抠取人体图像本身,且通过人体图像本身在会场图像中的位置获取到座次信息,即主席位左侧第一位;第一终端51将人体图像本身、座次信息以及第一麦克风57接收的音频数据按照事先与第二终端54协商好的压缩规则进行压缩,经压缩后的数据通过互联网发送给第二终端54。

同时,第一终端51还接收第二终端54按照上述相同方式发送来的人体图像本身、座次信息以及第二麦克风58接收的音频数据,按照对应的解密方法进行解密后发送给本地参会人员a佩带的第一智能眼镜53,同时,第一终端51还将第一摄像模块52当前采集的本地会场的会场图像发给第一智能眼镜53。

第一智能眼镜53根据接收到的座次信息,确定远端参会人员b的人体图像本身在本地会场的会场图像中的融合位置,即主席位,将接收的远端参会人员b的人体图像本身叠加到本地会场的会场图像中的主席位,并进行对齐处理,得到融合图像,得到融合图像之后,实时检测第一智能眼镜53的佩戴者本地参会人员a的人眼视角信息,根据检测到的人眼视角信息,确定融合图像待显示的图像区域,显示该图像区域,因此,当需要与主席位的远端参会人员b交流时,可以将头转向右侧,随着视角的变化,融合图像的显示区域随之更新与修正。

远端会场的处理流程参见本地会场的处理流程。本实施例提出一种使用人体识别、抠图技术、图像融合等多种技术来模拟真实会议场景的会议电视系统,利用摄像模块采集会场图像,图像传至终端后终端会识别图像中的参会人员,并抠取参会人员的人体图像本身或含有人体图像本身的局部场景图像进行图像建模、绘制,和音频数据一起编码后,通过网络传输给对端,对端解码后发送至参会人员佩戴的智能眼镜上,在智能眼镜中按座次信息进行定位、叠加、对齐将收到的人体图像本身或含有人体图像本身的局部场景图像叠加在智能眼镜采集的本地会场图像中的座位上,使参会人员获得身临其境的会议体验感。

显然,本领域的技术人员应该明白,上述本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在计算机存储介质(rom/ram、磁碟、光盘)中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以,本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1