一种处理方法和处理装置与流程

文档序号:30141380发布日期:2022-05-24 07:55阅读:53来源:国知局
一种处理方法和处理装置与流程

本申请涉及通信技术领域,尤其涉及一种处理方法和处理装置。

背景技术

随着互联网技术的迅速发展,线上音视频会议如今已成为人们日常工作中一种常见的会议形式,用户可以通过具有线上会议功能的应用程序发起线上会议,并邀请其他用户参加该线上会议。

在一些会议等场景中,当多名员工在同一空间参加会议时,员工通常都会携带个人笔记本参加会议。但是,当员工使用自己的笔记本电脑等参加会议时,往往会出现彼此之间的信息干扰等诸多问题,导致会议效果差。



技术实现要素:

本申请的技术方案是这样实现的:

第一方面,本申请实施例提供了一种处理方法,包括:

在第一电子设备与第二电子设备建立通信连接后,获得当前空间内的第一目标信息,第一目标信息来自与第一电子设备连接的至少一个第三电子设备;

对第一目标信息进行第一处理,得到第二目标信息;

输出第二目标信息,或,将第二目标信息给到第二电子设备输出;

其中,第二目标信息的输出效果优于第一目标信息的输出效果。

第二方面,本申请实施例提供了一种处理装置,包括:

获取单元,配置为在第一电子设备与第二电子设备建立通信连接后,获得当前空间内的第一目标信息,第一目标信息来自与第一电子设备连接的至少一个第三电子设备;

处理单元,配置为对第一目标信息进行第一处理,得到第二目标信息;

输出单元,配置为输出第二目标信息,或,将第二目标信息给到第二电子设备输出;其中,第二目标信息的输出效果优于第一目标信息的输出效果。

第三方面,本申请实施例提供了一种电子设备,包括:

存储器,用于存储能够在处理器上运行的计算机程序;

处理器,用于在运行计算机程序时,执行如第一方面所述的处理方法。

第四方面,本申请实施例提供了一种计算机存储介质,存储有计算机程序,计算机程序被至少一个处理器执行时实现如第一方面所述的处理方法。

本申请实施例所提供的方案,在第一电子设备与第二电子设备建立通信连接后,获得当前空间内的第一目标信息,第一目标信息来自与第一电子设备连接的至少一个第三电子设备;对第一目标信息进行第一处理,得到第二目标信息;输出第二目标信息,或,将第二目标信息给到第二电子设备输出;其中,第二目标信息的输出效果优于第一目标信息的输出效果。这样,基于第一电子设备与第三电子设备之间的连接,进行第一目标信息的接收,并将第一目标信息处理为第二目标信息,由第一电子设备或者第二电子设备进行输出,经过第一处理的第二目标信息的输出效果优于第一目标信息,从而不仅能够适配多种场景,而且避免了多设备时音频信息或者影音信息之间的相互干扰、多个第三电子设备的使用者彼此之间的干扰等问题,改善了会议、授课、直播等的效果,进而提升了会议、授课、直播等的质量。

附图说明

图1为本申请实施例提供的一种处理方法的流程示意图;

图2为本申请实施例提供的一种多个电子设备的空间分布示意图;

图3为本申请实施例提供的一种处理方法的应用场景示意图;

图4为本申请实施例提供的一种信息的发送和接收的过程示意图;

图5为本申请实施例提供的一种电子设备的空间排布示意图;

图6为本申请实施例提供的一种网络延时的确定方式示意图;

图7为本申请实施例提供的一种回声消除过程的流程示意图;

图8为本申请实施例提供的一种处理装置的组成结构示意图;

图9为本申请实施例提供的一种电子设备的组成结构示意图;

图10为本申请实施例提供的另一种电子设备的组成结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。

除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。

在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。

需要指出,本申请实施例所涉及的术语“第一\\第二\\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\\第二\\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

目前,对于大型企业以及中小型企业的员工,在进行线上会议时,经常会面临以下现状:(1)中小企业没有专门的会议室设备,员工只能携带个人设备参加会议。(2)大型企业的员工在大型会议室开会时,距离远的员工会使用个人笔记本电脑拨入会议。(3)当与办公位周围同事共同参加同一个线上会议时,每个人都使用笔记本电脑等拨入会议。

在这些情况下,员工通常都会携带个人笔记本电脑参加会议。但是,当员工使用自己的笔记本电脑等参加会议时,通常遇到以下痛点:(1)当与周边同事在同一个空间共同参加同一个会议时,如果使用耳机参加会议,发言者的语音让周围同事在线下和线上同时听到发言,体验差,同时也不能与同事很好地互动讨论;如果大家都使用外放设备参加会议,会出现互相干扰和啸叫影响;如果只使用其中一台笔记本电脑进行参会。但由于麦克风的拾音距离和角度有限,位置稍远的发言人的声音无法很好地被拾取;而且笔记本自带的喇叭往往音量较小,无法满足所有人的聆听需求。(2)在大型会议室开会时,距离主拾音设备比较远的同事发言,远端人员通常听不清。

虽然目前已经存在一些解决方案,例如主要存在以下两类产品:(1)扩音台:仅能用来拾音,需要说话人自行打开麦克风。其存在以下缺点:不能自动打开和关闭麦克风;不能做立体声混音;有线固定连接,灵活性差;没有喇叭回放。(2)无线音频接收器:其只能将有线音响变为无线音响,接收音频进行播放,不能实现语音的发送。但是已有的解决方案仅能通过参会者的个人人工调节解决其中的某些痛点,仍然存在一些缺陷,导致用户的体验和效率极差。

基于此,本申请实施例提供了一种处理方法,该方法包括:在第一电子设备与第二电子设备建立通信连接后,获得当前空间内的第一目标信息,第一目标信息来自与第一电子设备连接的至少一个第三电子设备;对第一目标信息进行第一处理,得到第二目标信息;输出第二目标信息,或,将第二目标信息给到第二电子设备输出;其中,第二目标信息的输出效果优于第一目标信息的输出效果。基于第一电子设备与第三电子设备之间的连接,进行第一目标信息的接收,并将第一目标信息处理为第二目标信息,由第一电子设备或者第二电子设备进行输出,经过第一处理的第二目标信息的输出效果优于第一目标信息,从而不仅能够适配多种场景,而且避免了多设备时音频信息或者影音信息之间的相互干扰、多个第三电子设备的使用者彼此之间的干扰等问题,改善了会议效果,进而提升了会议质量。

当然,本申请提供技术方案也可以适用于具有拾音和/或图像采集的其他应用场景,如直播场景、教学场景等。以下主要以会议场景展开说明:

下面将结合附图对本申请各实施例进行详细说明。

在本申请的一实施例中,参见图1,其示出了本申请实施例提供的一种处理方法的流程示意图。如图1所示,该方法可以包括:

S101、在第一电子设备与第二电子设备建立通信连接后,获得当前空间内的第一目标信息,第一目标信息来自与第一电子设备连接的至少一个第三电子设备。

需要说明的是,本申请实施例提供的处理方法涉及多个电子设备,如第一电子设备、第二电子设备和第三电子设备。这里,第一电子设备与第二电子设备之间建立有通信连接,且第一电子设备和至少一个第三电子设备之间也建立有通信连接。其中,电子设备之间的通信连接方式可以包括有线连接、无线连接等等,本申请实施例对此不作具体限定。

还需要说明的是,以多人参与的大型会议场景为例,这时候,第三电子设备可以为参会人员所配备的电子设备,例如参会人员自己携带的笔记本电脑等。另外,实际场景还可以为直播、授课等等,本申请实施例对此不作具体限定。下面以会议场景为例对该处理方法的实现进行详细描述。

在本申请实施例中,第一目标信息可以为音频或者影音信息,即第一目标信息可以仅为来自至少一个第三电子设备的音频信息,也可以为来自至少一个第三电子设备的音频信息和影视图形信息。

基于第一电子设备与第三电子设备之间的通信连接,第一电子设备能够获得来自至少一个第三电子设备的第一目标信息,而且第一目标信息是从第一电子设备和第三电子设备所处的当前空间获得的。

对于第二电子设备,在本申请实施例中至少包括两种场景,在本地场景下,第二电子设备是与第一电子设备处于同一空间的电子设备;在远程场景下,第二电子设备是与第一电子设备不处于同一空间的远端设备。

对于第一目标信息的获得方式,在一些实施例中,获得当前空间内的第一目标信息,可以包括:

确定当前空间内的第三电子设备与第一电子设备之间的位置关系,将与第一电子设备具有目标位置关系的至少一第三电子设备采集的音频信息或影音信息作为第一目标信息;或,

确定当前空间内的第三电子设备的使用者信息,将目标使用者所使用的第三电子设备采集的音频信息或影音信息作为第一目标信息;或,

获得当前空间内的第三电子设备所采集的音频信息或影音信息的属性参数,将具有目标属性的音频信息或影音信息确定为所述第一目标信息;或,

如果第一电子设备与第二电子设备之间具有第一通信连接,通过第四电子设备获得与第一电子设备连接的至少一个第三电子设备采集的音频信息或影音信息。

需要说明的是,第一电子设备和第三电子设备处于同一空间中,如处于同一个会议室中。每一个第三电子设备都会通过自身的麦克风以及摄像头等装置进行音频信息或者影音信息的采集。基于一定的条件进行筛选,可以从多个第三电子设备中筛选出至少一个第三电子设备,将被筛选出的至少一个第三电子设备称为目标电子设备,并将筛选出的目标电子设备所采集到的音频信息或者影音信息作为第一目标信息。

在这里,本申请实施例可以对当前空间内第三电子设备和第一电子设备之间的位置关系进行确定,然后将与第一电子设备之间的位置关系为目标位置关系的至少一个第三电子设备作为目标电子设备。这里,目标位置关系可以为预设的位置关系,例如,与第一电子设备的距离为预设距离的第三电子设备可以作为目标设备等等,具体可以结合实际需求进行设置,这里不作具体限定。

另外,本申请实施例还可以基于在当前空间内,第三设备的使用者信息,选择目标使用者所使用的第三电子设备作为目标电子设备。这里,目标使用者可以包括会议主持人、汇报人、演讲者、领导人或者老师等等。使用者信息可以包括第三电子设备中绑定或者注册的身份标识号(Identity Document,ID)信息,根据ID信息进行目标使用者的筛选,例如目标使用者所使用的第三电子设备的ID信息为特定ID,或者目标使用者的ID具有更高权限,或者目标使用者的ID具有特殊的标记等等;使用者信息也可以包括第三电子设备的摄像头采集到的人脸信息等,将人脸信息和预设的人脸信息进行匹配,匹配成功的即为目标使用者,该第三电子设备就可以作为目标电子设备。还可以将与其它装置设备具有特定关系的使用者确定为目标使用者,例如将携带遥控器的使用者,佩戴有虚拟现实(Virtual Reality,VR)/增强现实(Augmented Reality,AR)/介导现实(Mediated Reality,MR)眼镜的使用者确定为目标使用者等等。本申请实施例还可以通过其他可行的方式确定目标使用者所使用的第三电子设备,例如与目标使用者具有特定的位置关系的第三电子设备,具体可以结合实际场景和需求,这里不作具体限定。

本申请实施例还可以获得当前空间内的第三电子设备采集到的音频信息或者影音信息的属性参数,并对获得的属性参数进行分析,将具有目标属性的音频信息或者影音信息确定为第一目标信息。其中,属性参数可以包括音频信息或者影音信息从第三电子设备传输至第一电子设备的传输时长、第一电子设备接收到的音频信息或者影音信息的信号质量、信号能量值、与音频有关的声音属性参数(例如分贝值、采样频率、采样位数、通道数、帧数以及比特率等等)、与图像(影视)相关的属性参数(例如分辨率、清晰度以及视频帧率等等)。将属性参数符合目标属性的音频信息或者影音信息确定为第一目标信息,例如,对于同一各被采集的音频信息,将采集到的信号能量值最强的第三电子设备作为目标电子设备,目标电子设备采集到的音频信息或者影音信息作为第一目标信息;或者,将采集到的影音信息中包括有目标使用者的影音信息作为第一目标信息;或者,将传输时长最短或者数据质量最佳的音频信息或者影音信息作为第一目标信息。即目标属性可以结合实际场景和需求进行确定,对此不作具体限定。

如果第一电子设备与第二电子设备之间具有第一通信连接,本申请实施例还可以通过第四电子设备进行第一目标信息的获取。其中,第一通信连接表示第一电子设备与第二电子设备的连接方式为远程连接,即第二电子设备为与第一电子设备不在同一空间的远程设备。在这种情况下,第一电子设备作为当前空间的主设备,与第二设备之间建立的是第一通信连接(即远程连接),第四电子设备作为当前空间的中转设备,第一电子设备和第四电子设备之间可以通过有线方式进行连接,第四电子设备可以与第三电子设备之间通过无线连接方式形成本地组网,第一电子设备可以通过第四电子设备获得来自至少一个第三电子设备采集的音频信息或影音信息,即第四电子设备可以首先从至少一个第三电子设备处获得音频信息或影音信息,并确定出第一目标信息。

进一步的,在一些实施例中,将与第一电子设备具有目标位置关系的至少一第三电子设备采集的音频信息或影音信息作为第一目标信息,可以包括:

将至少一第三电子设备上的麦克风和/或摄像头与第一电子设备上的麦克风和/或摄像头组成对应的麦克风阵列和/或摄像头阵列;

利用麦克风阵列和/或摄像头阵列确定第三电子设备的位置;

将与电子设备具有第一位置关系的至少一第三电子设备采集的音频信息或影音信息作为所述第一目标信息;或,

基于位置确定第三电子设备与第一电子设备之间的传输时延,基于传输时延将与电子设备具有第二位置关系的至少一第三电子设备采集的音频信息或影音信息作为第一目标信息。

还需要说明的是,在第一电子设备和第三电子设备中均可以包括有麦克风(microphone,mic)和摄像头,基于第一电子设备中的麦克风和/或摄像头与多个第三电子设备中的麦克风和/或摄像头可以组成麦克风阵列和/或摄像头阵列。

示例性地,参见图2,其示出了本申请实施例提供的一种多个电子设备的空间分布示意图。如图2所示,一个第一电子设备和多个第三电子设备形成空间阵列,包括麦克风阵列和或摄像头阵列。

这时候,可以利用麦克风阵列和/或摄像头阵列确定第三电子设备的位置。例如:将第一电子设备所处的空间位置作为麦克风阵列和/或摄像头阵列的参考坐标,并基于第一电子设备与各第三电子设备之间的通信连接或者第一电子设备和第三电子设备各自的定位信息,确定每一第三电子设备在麦克风阵列和/或摄像头阵列中相对于第一电子设备的位置。判断第三电子设备与第一电子设备之间的位置关系是否符合第一位置关系,如果符合,则该第三电子设备为目标电子设备,将该第三电子设备采集的音频信息或者影音信息作为第一目标信息。这里,第一位置关系可以是第一电子设备与第三电子设备之间的距离符合预设距离,或者是第三电子设备的位置符合预设坐标等等。

另外,对于音频信息,通常是距离发言者最近的第三电子设备能够获得具有最佳音频质量的音频信息,因此,本申请实施例还可以基于第三电子设备的位置确定第三电子设备与第一电子设备之间的传输延时,这里,传输延时是指同一音频信息传输至第三电子设备的时间点和传输至第一电子设备的时间点之间的差值。

可以理解,对于某一第三电子设备,其对应的发言者与该第三电子设备的距离很小,并且对于所有的第三电子设备,该发言者与其所对应的第三电子设备的距离是最小的。例如图2所示,对于第三电子设备A,其对应的发言者位于第三电子设备A面前,距离其它第三电子设备较远。由于第三电子设备A对应的发言者距离第三电子设备A最近,那么对于第三电子设备A而言,可以忽略声音从发言者到第三电子设备A之间的传输时长。这时候,第一电子设备与该第三电子设备之间的距离和声速的比值即为该第三电子设备与第一电子设备的标准传输时延,即标准传输时延表示某一第三电子设备面前的发言者的声音传输至第一电子设备所用的时长。

如图2所示,以第三电子设备A和第一电子设备为例,两者之间的传输时延为两者之间的距离除以声速。那么,对于一个发言者而言,如果该发言者在第三电子设备A的位置进行发言,第三电子设备A和第一电子设备之间的传输时延应该和第三电子设备A与第一电子设备之间的标准传输延时基本一致。

基于第三电子设备与第一电子设备之间的传输时延,选择与第一电子设备具有第二位置关系的至少一个第三电子设备作为目标电子设备,以进行第一目标信息的采集。这里,第二位置关系可以是表示距离发言者最近的位置关系。

为了能够获取到最清晰可靠的音频信息,通常将距离发言者最近的第三电子设备所采集的音频信息或者影音信息作为第一目标信息,这时候,对于除第三电子设备A之外的其它第三电子设备,由于距离发言者较远,声音传播至这些第三电子设备的耗时会大于声音传播至第三电子设备A的耗时,从而除第三电子设备A之外的第三电子设备与第一电子设备之间的传输时延,均小于第三电子设备A与第一电子设备之间的传输时延,说明第三电子设备A是当前的发言者所对应的第三电子设备,那么第三电子设备A所采集到的音频信息或影音信息就作为第一目标信息。

也就是说,本申请实施例可以基于第三电子设备的位置得到第三电子设备与第一电子设备之间的距离,并确定第三电子设备和第一电子设备之间的传输延时,将传输延时最接近标准传输延时的第三电子设备确定为目标电子设备,以获得第一目标信息。即本申请实施例可以基于多个第三电子设备的麦克风与第一电子设备的麦克风组成的麦克风阵列进行声源定位,选择特定位置(例如距离发言者最近)的第三电子设备采集第一目标信息。

对于第一电子设备为远程连接的场景,这里在确定位置时,可以将第一电子设备替换为第四电子设备进行位置判断和目标电子设备的选择。

另外,为了确定距离发言者最近的第三电子设备,本申请实施例还可以分别获取每一个第三电子设备获取到同一音频信息的时间点,将最早获取到该音频信息的第三电子设备确定为目标电子设备。这样,也能够采集到最清晰、质量最好的音频信息。

S102、对第一目标信息进行第一处理,得到第二目标信息。

在获得第一目标信息之后,对第一目标信息进行第一处理,以得到第二目标信息。

在一些实施例中,对第一目标信息进行第一处理,得到第二目标信息,可以包括:

确定第一电子设备与第二电子设备之间的通信连接状态,至少基于通信连接状态由第一电子设备或第四电子设备对音频信息或影音信息进行消噪和/或增强处理,得到第二目标信息;或,

如果第一电子设备与第二电子设备之间具有第二通信连接,由第一电子设备对音频信息或影音信息进行识别处理,得到第二目标信息,其中,第二目标信息的数据量少于第一目标信息的数据量。

需要说明的是,本申请实施例可以基于第一电子设备和第二电子设备之间的通信连接状态,执行针对第一目标信息的第一处理。当第一电子设备与第二电子设备之间为远程连接时,这时候可以由第四电子设备对第一目标信息(包括音频信息或者影音信息)进行消噪处理和/或增强处理,从而得到第二目标信息;或者,也可以是第一电子设备接收第四设备转发的第一目标信息后,对第一目标信息进行相应处理,以得到第二目标信息。

当第一电子设备与第二电子设备处于同一空间,这时候,将两者之间的连接方式称为本地连接,可以由第一电子设备对音频信息或者影音信息进行消噪处理和/或增强处理,从而得到第二目标信息。

另外,第一电子设备和第二电子设备之间的连接状态除了远程连接和本地连接之外,两者之间的连接状态还可以包括正常连接状态和断开状态等。当第一电子设备与第二电子设备的通信断开时,第一电子设备无法向第二电子设备发送信息,则由第一电子设备对音频信息或者影音信息进行消噪处理和/或增强处理,得到第二目标信息。

进一步地,如果第一电子设备和第二电子设备之间具有第二通信连接(即本地连接),这时候第一电子设备和第二电子设备可以处于同一空间。这时候,还可以由第一电子设备对第一目标信息进行识别处理,例如将音频信息或者影音信息中的音频信息识别转化为文字信息、生成会议纪要等等,识别处理还可以是对音频信息进行优化和/或将优化后的音频信息转换为文字信息。例如,删除空白段和重复语句,进行摘要处理等等,同时还可以生成优化前和/或优化后的音频信息的录音信息,影音信息的录像信息等等。这时候,由于进行了识别处理,将空白段、重复语句等进行删除,从而生成的第二目标信息的数据量少于第一目标信息的数据量。

进一步的,在第一电子设备与第二电子设备为远程连接的情况下,也可以对第一目标信息进行前述识别处理,得到第二目标信息。

第一目标信息可以来自于多个第三电子设备,对于这种情况,本申请实施例可以对第一目标信息进行混音处理得到第二目标信息,从而在将第二目标信息发送至远端设备时,远端的参与者所听到的音频信息具有立体感。因此,在一些实施例中,对第一目标信息进行第一处理,得到第二目标信息,可以包括:

确定第三电子设备的位置、以及第三电子设备与第一电子设备或第四电子设备之间的传输时延;

基于位置和传输时延对来自多个第三电子设备的第一目标信息进行混音处理,得到第二目标信息。

需要说明的是,当第一目标信息来自多个第三电子设备时,每个第三电子设备分别采集各自最近的发言者(或者非发言者等)的音频信息或者影音信息,这时候,可以分别确定这些用于采集第一目标信息的第三电子设备的位置(也就确定了第三电子设备和第一电子设备之间的距离),并确定各第三电子设备和第一电子设备之间的传输时延。对于存在第四电子设备作为中转设备的场景,则分别确定各第三电子设备相对于第四电子设备的位置(也就确定了第三电子设备和第四电子设备之间的距离),并确定各第三电子设备和第四电子设备之间的传输时延。

然后根据各第三电子设备的位置和传输时延对来自多个第三电子设备的第一目标信息进行混音处理,从而得到第二目标信息。混音处理即是把多种来源的声音,整合至一个立体音轨或单音音轨中。混音处理的具体实现方式可以参照本领域技术人员的常规理解进行实施,这里不再赘述。

S103、输出第二目标信息,或,将第二目标信息给到第二电子设备输出;其中,第二目标信息的输出效果优于第一目标信息的输出效果。

需要说明的是,在得到第二目标信息之后,就可以将第二目标信息进行输出,或者将第一目标信息给到第二电子设备,由第二电子设备进行输出,而且由于第二目标信息是对第一目标信息进行处理之后得到的,从而第二目标信息的输出效果优于第一目标信息的输出效果。

还需要说明的是,在将第二目标信息进行输出时,可以将第三电子设备均设置为静音状态,避免信号之间的干扰。

在一些实施例中,输出第二目标信息,或,将第二目标信息给到第二电子设备输出,可以包括:

如果第一电子设备与第二电子设备之间具有第一通信连接,将第二目标信息给到第二电子设备输出,或,获得第一电子设备和第四电子设备的硬件配置信息,基于硬件配置信息确定由第一电子设备或第四电子设备输出第二目标信息;或,

如果第一电子设备与第二电子设备之间具有第二通信连接,获得第一电子设备和第二电子设备的硬件配置信息,基于硬件配置信息确定由第一电子设备或第二电子设备输出第二目标信息;或,

如果第一电子设备与第二电子设备之间具有第二通信连接,获得第二目标信息的输出参数和/或当前空间环境,基于输出参数和/或当前空间环境确定由第一电子设备或所述第二电子设备输出所述第二目标信息。

需要说明的是,在将第二目标信息进行输出时,如果第一电子设备和第二电子设备之间具有第一通信连接,即第一电子设备和第二电子设备之间为远程连接,则可以将第二目标信息给到第二电子设备,从而第二电子设备可以将第二目标信息在远端进行输出,使得远端的参与者能够获取到第二目标信息。

在本地空间,可以通过第一电子设备或者第四电子设备将第二目标信息进行输出。这时候,可以获取第一电子设备和第二电子设备的硬件配置信息,其中,硬件配置信息可以包括电子设备的播放声音大小、音质,如果是是输出影音信息,硬件配置信息还可以包括电子设备的屏幕大小、屏幕分辨率、画质等等。基于第一电子设备和第四电子设备的硬件配置信息,从中选择输出效果更好的电子设备进行第二目标信息的输出。例如,选择能够播放更大声音或者屏幕更大或者音质、画质等较好的电子设备输出第二目标信息。

另外,还可以基于具体场景、当前空间内的人数、环境噪音、参会人位置分布等等结合电子设备的硬件配置信息确定用于输出第二目标信息的电子设备。例如,在当前空间人数较多、环境噪音较大、以及参会人位置比较分散的情况下,选择播放声音更大的电子设备作为输出第二目标信息的电子设备。

还需要说明的是,如果第一电子设备和第二电子设备之间具有第二通信连接,也就是第一电子设备和第二电子设备处于同一空间,两者为本地连接时。这时候,可以获取第二目标信息的输出参数和/或当前空间环境,其中,第二目标信息的输出参数可以包括第二目标信息是否为立体声,仅为音频信息还是为影音信息以及音频信息的音量等等;当前空间环境可以包括会议室的大小,第一电子设备、第二电子设备以及第三电子设备之间的布局方式等等。

基于第二目标信息的输出参数和/或当前空间环境从第一电子设备和第二电子设备中选择一者输出第二目标信息。例如,如果第二目标信息为立体声,则选择具有立体声输出功能的电子设备将第二目标信息进行输出,如果第二目标信息为影音信息,则选择具有显示屏幕的电子设备将第二目标信息进行输出,如果当前空间较大,则选择具有更大的播放声音的电子设备将第二目标信息输出。

进一步的,在一些实施例中,该方法还可以包括:

获得第一电子设备或第四电子设备发出的回声消除信号;

基于第三电子设备与第一电子设备或第四电子设备之间的位置关系确定目标拾音设备,以将回声消除信号给到第一电子设备或第四电子设备的麦克风执行回声消除操作、以及将回声消除信号给到目标拾音设备执行回声消除操作,所述目标拾音设备是处于拾音状态下的第三电子设备。

需要说明的是,在音频输出过程中,还可能存在回音干扰的问题,因此,在第一电子设备所处的本地空间,还可以由进行第二目标信号的输出的电子设备(即第一电子设备或者第四电子设备,或者也可以是本地的第二电子设备)生成回声消除参考信号,并基于第三电子设备与第一电子设备或者第四电子设备之间的位置关系确定目标拾音设备,确定方法如前述确定用于采集第一目标信息的第三电子设备的方法,目标拾音设备表示处于拾音状态下的第三电子设备。

对于第一电子设备或者第四电子设备,其在执行回声消除操作时,可以将回声消除信号给到自身的麦克风去执行回声消除操作,并且还会将回声消除信号给到目标拾音设备,以使得目标拾音设备执行回声消除操作,避免拾取到回声,造成干扰。

在一些实施例中,该方法还可以包括:

通过第一电子设备或者第四电子设备在第一时间向至少一个第三电子设备发送检测信号;

接收至少一个第三电子设备返回的检测响应信号,并记录接收到至少一个第三电子设备各自的检测响应信号的第二时间;

根据每一个第三电子设备的第二时间和第一时间,确定每一个第三电子设备的网络延时;

根据每一个第三电子设备的网络延时,确定每一个第三电子设备的延时补偿时间;

相应地,在得到第二目标信息之后,该方法还可以包括:

间隔第二目标信息对应的第三电子设备的延时补偿时间后,执行输出第二目标信息,或,将第二目标信息给到第二电子设备输出的步骤。

需要说明的是,对于不同的第三电子设备,可能由于网络原因或者硬件原因,从而不同的第三电子设备与第一电子设备(如果是通过第四电子设备获得第一目标信号,则是第四电子设备)之间存在不同的网络延时。因此,本申请实施例还对各第三电子设备进行信号传输的延时补偿。

首先,第一电子设备或者第四电子设备在第一时间分别向各第三电子设备发送检测信号,并接收每一个第三电子设备返回的检测响应信号,记录接收到每一个第三电子设备返回的检测响应信号的第二时间。

然后,基于第二时间和第一时间,确定出每一个第三电子设备的网络延时。具体来说,将第二时间和第一时间之间的时间差的二分之一作为第三电子设备的网络延时。

最后,基于多个第三电子设备各自的网络延时,确定每一个第三电子设备的延时补偿时间。示例性地,不同的第三电子设备的网络延时不同,有的网络延时短,信号传递很快,有的网络延时长,信号传递较慢。这时候,如果一个网络延时长的第三电子设备首先发送了音频信息,然后一个网络延时短的第三电子设备也发送了音频信息,那么就可能会在前者的音频信息还未完成输出时,后者的音频信息已经开始输出,从而造成信号干扰。因此,基于各第三电子设备的网络延时,分别确定每一个第三电子设备的延时补偿时间,保证每台第三电子设备发出的第一目标信号的时序一致性。假设存在两个第三电子设备A和B,其中,第三电子设备A的网络延时为3毫秒(ms),第三电子设备B的网络延时为4ms,则为了能够保证两者发出第一目标信号是的时序一致性,则为第三电子设备A设置4-3=1ms的延时补偿时间,第二电子设备B的延时补偿时间为0。

相应地,在进行第二目标信息的输出时,在得到第二目标信息之后,确定第二目标信息所对应的第一目标信息的来源,也就是第二目标信息对应的第三电子设备,确定第二目标信息对应的第三电子设备的延时补偿时间。然后在间隔延时补偿时间后,再输出第二目标信息或者将第二目标信息给到第二电子设备输出,从而避免了由于各第三电子设备的网络延时不一致造成的干扰问题。

在一些实施例中,该方法还可以包括:

获得第三目标信息,第三目标信息来自当前空间之外的电子设备;

基于第三目标信息的属性信息和/或当前空间内的环境信息和/或设备信息确定由第一电子设备或第四电子设备输出第三目标信息。

需要说明的是,当存在当前空间之外的远端参与者时,有时候还需要将来自当前空间之外的第三目标信息进行输出,第三目标信息来自当前空间之外的电子设备。在第一电子设备与第二电子设备建立远程连接的情况下,第二电子设备即为当前空间之外的电子设备,第一电子设备通过第四电子设备获得来自至少一第三电子设备采集的音频信息或影音信息;在第一电子设备与第二电子设备建立本地连接的情况下,当前空间之外的电子设备可以与第一电子设备或者第二电子设备建立远程连接。

然后基于第三目标信息的属性信息和/或当前空间内的环境信息和/或设备信息确定由第一电子设备或第四电子设备输出第三目标信息。其中,设备信息可以包括第一电子设备和第四电子设备的硬件配置信息等,选择第一电子设备还是第四电子设备作为输出第三目标信息的输出设备的具体确定方式可以参照前述输出第二目标信息的方式,这里不再赘述。

本申请实施例提供了一种处理方法,该方法包括:在第一电子设备与第二电子设备建立通信连接后,获得当前空间内的第一目标信息,第一目标信息来自与第一电子设备连接的至少一个第三电子设备;对第一目标信息进行第一处理,得到第二目标信息;输出第二目标信息,或,将第二目标信息给到第二电子设备输出;其中,第二目标信息的输出效果优于第一目标信息的输出效果。这样,基于第一电子设备与第三电子设备之间的连接,进行第一目标信息的接收,并将第一目标信息处理为第二目标信息,由第一电子设备或者第二电子设备进行输出,经过第一处理的第二目标信息的输出效果优于第一目标信息,从而不仅能够适配多种场景,而且避免了多设备时音频信息或者影音信息之间的相互干扰、多个第三电子设备的使用者彼此之间的干扰等问题,改善了会议效果,进而提升了会议质量。

本申请的另一实施例中,参见图3,其示出了本申请实施例提供的一种处理方法的应用场景示意图。如图3所示,该场景为会议场景,本地参会者在同一空间参加同一个会议,同时,远端参会者也通过远程连接参加该会议。其中,在本地空间,包括音频中转器、主设备、n个本地设备(本地设备1,本地设备2,……,本地设备n)等设备,在远端空间,包括远端设备。其中,音频中转器还可以为影音中转器,也就是说,如果需要处理的第一目标信息为音频信息,则可以使用音频中转器实现仅针对音频信息的处理,如果第一目标信息为影音信息,则可以使用影音中转器实现针对影视信息和音频信息的处理,具体结合实际的场景需求进行确定,本申请实施例以音频中转器为例进行示例性说明。

还需要说明的是,在图3中,音频中转器可以为前述实施例中的第一电子设备或者第四电子设备;主设备可以为前述实施例中,当第二电子设备与第一电子设备处于同一空间时(即本地场景)的第二电子设备,远端设备可以为前述实施例中,当第二电子设备与第一电子设备处于不同空间时(即远程场景)的第二电子设备。可以理解,对于远端参会者而言,其所处的远端空间可以包括一个或者多个远端设备,远端空间可以与本地参会者所处的本地空间相同具有相同或者类似的设备布局,从而对于远端空间,也可以按照本申请实施例提供的方法进行视频信息或者影音信息的处理,如果对于远端参会者而言,以远端参会者自身所处空间作为本地空间,那么图3中的本地空间即为相对远端参会者而言的远端空间。

在图3所示的会议场景下,主设备可以集成有音频中转器的功能,即可以去掉音频中转器,各本地设备直接与主设备建立连接。这里,如图3所示,以音频中转器对应第一电子设备,主设备对应第二电子设备,远端设备对应当前空间外的电子设备,本地设备对应第三电子设备为例,对该场景下处理方法的实施进行详细说明。

如图3所示,音频中转器与n个本地设备之间建立无线连接,音频中转器可以接收本地设备通过无线连接发送的第一目标信息;音频中转器与主设备之间建立有线连接,可以向主设备发送信息,并接收主设备发送的信息,音频中转器和主设备均具有音频播放的功能(还可以包括影视图像播放的功能);主设备与远端设备建立远程连接,可以向远端设备发送信息,并接收远端设备发送的信息。

如图3所示,主设备具体可以为一体机、台式机、笔记本电脑等等。另外,主设备还可以为任意一台本地设备,即主设备可以是特定的一台设备,例如会议室预先安装的会议设备、电脑等,也可以是本地参会者携带的笔记本电脑等电子设备,在进行会议时,作为主设备使用。

进一步的,参见图4,其使出了本申请实施例提供的一种信息的发送和接收的过程示意图。如图4所示,每个本地设备均包括拾音装置(麦克风)用于拾取音频信息,其中,本地设备1的使用者为使用者1,本地设备2的使用者为使用者2,……,本地设备n的使用者为使用者n,在实际中,还可能存在几个使用者共用一个本地设备或者一个使用者使用多个本地设备等情况,每个本地设备均处于静音状态。本地设备在获得使用者的音频信息之后,可以首先对音频信息进行音频预处理,例如降噪等处理,然后基于本地设备与音频中转器之间的无线连接,如无线保真(Wireless Fidelity,WIFI)连接,将进行音频预处理之后的音频信息发送给音频中转器。音频中转器可以通过其中的WiFi模块接收本地设备发送的音频信息(第一目标信息),在进行音频信号解码,并通过其中的数字信号处理器(Digital Signal Process,DSP)或者其他处理器对音频信号进行进一步的降噪处理(相对于二次降噪)和自动增益控制(Automatic Gain Control,AFC)等处理,得到处理后的音频信息(第二目标信息);然后在音频中转器的发送方向,将第二目标信息发送至主设备,由主设备通过播放路径1(播放路径1表示由主设备上的扬声器等装置进行播放)将第二目标信息进行播放,在由远端使用者(如远端参会者)的情况下,主设备还可以通过云服务器将第二目标信息发送给远端设备,以使得远端设备播放输出第二目标信息。另外,音频中转器也可以通过自身的播放路径2(播放路径2表示由音频中转器上的扬声器等装置进行播放)将第二目标信息进行播放。

另外,在接收方向(图4中的发送和接收是音频中转器相对主设备的发送和接收),在存在远端使用者的情况下,主设备还会接收远端设备通过云服务器发送的第三目标信息,并通过播放路径1将第三目标信息进行播放输出;或者将第三目标信息发送给音频中转器,音频中转器在接收第三目标信息之后,通过播放路径2将第三目标信息进行播放输出。

本申请实施例可以从n个本地设备中选择至少一个进行拾音,参见图5,其示出了本申请实施例提供的一种电子设备的空间排布示意图。如图5所示,其中包括一个音频中转器、一个主设备和n个本地设备,每个本地设备至少可以拾取其对应的使用者的音频信息或者影音信息。音频中转器会接收特定的本地设备发送的音频信息或者影音信息进行处理后得到第二目标信息,并将第二目标信息发送给主设备执行后续操作,或者音频中转器也可以和主设备集成为一体,实现相关功能。

如图4所示,对于用于发送第一目标信息的特定的本地设备,其确定方式可以是:对于同一个音频信息,由于声音传播需要时间,那么距离发出该音频信息的使用者最近的本地设备必然最早接收该音频信息,而且在本地设备为近场拾音的情况下,临近的本地设备也可能拾取到该音频信息,这时候,可以分别确定每个本地设备获取同一个音频信息的时间点,将最早接收到该音频信息的本地设备确定为目标电子设备,目标电子设备采集到的音频信息作为第一目标信息。对于一些存在多个发言者的场景,同样可以根据此方法,得到每一个音频信息对应的目标电子设备,进行第一目标信息的采集。另外,也可以基于本地设备和音频中转器之间的传输时延确定目标电子设备,具体方式可以参照上一实施例。

如果本地设备具有远场拾音能力,还可以在前述判断方式的基础上,结合信号能量值的大小选择特定位置的本地设备进行拾音,以获取第一目标信息。

进一步的,本申请实施例还可以根据不同位置的音频信息到达本地设备和音频中转器的时间差不同,来定位距离信息,进而判断根据距离信息,对来自多个本地设备的第一目标信息进行混音处理。

例如,使用者1在本地设备1的位置说话时,声音到达本地设备1的麦克风的时间点和到达音频中转器的麦克风的时间点之间的时间差为ΔT1,根据声音传播速度,即可获得本地设备1和音频中转器之间距离L1约为:L1=340×ΔT1,以此类推,即可获得各本地设备与音频中转器之间的距离L2,L3,L4,……,Ln。

这样,在一些特殊场景下,多台本地设备的麦克风都同时拾音,根据时间差,即可得到每个拾音的本地设备和音频中转器的距离,将每个拾音的本地设备拾取的音频信息分通道(channel)利用立体声技术混音后生成具有环绕立体声效果的第二目标信息发送给远端设备,从而在远端播放时可以感知到发送方每个人说话的物理位置,进而获得更好的会议体验。

进一步的,对于每台本地设备,其与音频中转器之间的无线传输可能会存在网络延时,这时候,还可以分别针对每个本地设备进行延时补偿的匹配。参见图6,其示出了本申请实施例提供的一种网络延时的确定方式示意图。如图6所示,音频中转器可以主动向每个本地设备发送检测信号,并接收本地设备返回的检测响应信号,将发送检测信号到接收到检测响应信号之间的时间差的二分之一确定为网络延时。即如图6中所示,本地设备1的网络延时TM1=t1/2;本地设备2的网络延时TM2=t2/2;本地设备3的网络延时TM3=t3/2;本地设备4的网络延时TM4=t4/2;……;本地设备n的网络延时TMn=tn/2;其中,t1、t2、t3、t4,……,tn表示各时间差。

这样,就可以结合前述的方法,获得当前正在拾音的本地设备,进而进行网络延时的匹配补偿,保证每台本地设备发出去的声音时序一致性。

进一步地,为了避免回声干扰的问题,本申请实施例还对音频信号进行回声消除。参见图7,其示出了本申请实施例提供的一种回声消除过程的流程示意图。如图7所示,麦克风0(mic0)表示音频中转器的麦克风,麦克风1(mic1)表示本地设备1的麦克风,麦克风2(mic2)表示本地设备2的麦克风,麦克风3(mic3)表示本地设备3的麦克风,mic4表示本地设备4的麦克风,……,麦克风n(mic n)表示本地设备n的麦克风。基于音频中转器与各本地设备之间的连接,音频中转器和各本地设备的麦克风也进行连接。如图7所示,其表示在本地设备3位拾音设备时,麦克风3与音频中转器的连接导通(ON),其余的麦克风与音频中转器的连接均断开(OFF),这时候对于来自本地设备的音频信息,只有本地设备4的麦克风4拾取到的音频信息会作为第一目标信息发送给音频中转器。

如图7所示,回声消除可以包括下行链路(Downlink)和上行链路(Uplink)两个方向;对于通过下行链路传输至音频中转器的信号,通常为远端设备发送的第三目标信号,这时候,在音频信号传输过来之后,首先对音频信号进行自动增益控制处理(AGC)、动态范围压缩处理(Dynamic range compression,DRC)、均衡处理(Equalizer)、放大处理(Amplifier)等一系列处理之后,得到的音频信号进入音频中转器,音频中转器基于该音频信号生成回声消除信号(AEC reference),并将回声消除信号传递给自身的麦克风0,使得麦克风0基于回声消除信号执行回声消除操作(AEC)、回声抑制操作(Echo Suppression)、将在处理、自动增益控制处理等。可以理解,在某些情况下,发言者的声音可以直接由麦克风0进行拾取,例如发言者距离音频中转器最近,或者主持会议的人所使用的设备即为音频中转器或者集成有音频中转器的主设备,这样,基于回声消除处理,能够使得麦克风0在拾取声音时,不会出现回声干扰,音频中转器在进行声音的输出时,不会讲回声等输出,在通过上行链路将音频信息发送至远端设备时,不会发出包含回声、噪音等的音频信息。

音频中转器还将回声消除信号发送给正在进行拾音的本地设备,以使得该本地设备的麦克风基于回声消除信号进行回声消除,从而本地设备在进行音频信息的拾取时,不会将回音信息进行拾取,避免了本地设备将回音信息进行发送。本地设备在进行拾音之后,可以基于回声消除信号执行自动回声消除处理以及回声抑制处理、降噪处理等,然将处理后的音频信息发送给音频中转器或者主设备再次进行降噪处理并执行自动增益控制后,得到的音频信息可以通过上行链路发送到远端设备。

简言之,本申请实施例能够为开发出一款应用于会议、授课等多人场景下的音频中转器(也称作音频中转增强器),或者集成有音频中转器的功能的主设备,当多人在同一空间内参加同一会议时,本地空间内的本地设备(例如笔记本和手机)可以通过无线连接的方式接入到该音频中转器,进行本地组网。实现音频的发送和接收中转,进而实现同一空间内多个设备同时参加同一个会议的。

对于该音频中转器,在发送方向上,本申请实施例至少考虑了以下三个技术点:

(1)如图5,其描述了本地设备的麦克风如何与音频中转器的麦克风配合获得距离信息,匹配最优位置的本地设备的麦克风进行拾音。该方案基于本地设备的拾音能力均为近场拾音,目前,市面上的笔记本、手机等电子设备也均为近场拾音。根据不同位置的声音到达音频中转器的时间差不同,来定位距离信息,并且判断声音来自哪个位置,以匹配最佳位置的本地设备的麦克风进行拾音。例如图5中,当使用者1在本地设备1的位置说话,声音到达到达本地设备1的麦克风的时间点和声音到达音频中转器的麦克风的时间点之间的时间差为ΔT1,根据声音传播速度,即可获得L1=340×ΔT1,以此类推,即可获得L2,L3,L4,L5……Ln。当发言人讲话时,根据时差ΔT,能够获得各电子设备与音频中转器的距离,并判断当前的发言人距离哪个本地设备的麦克风更近,进而使用距离最近的本地设备的麦克风进行拾音,并对此路音频信号进行降噪和增强处理,提高发送方向的声音质量。如果存在有远场拾音能力的本地设备,在此判断标准上,还可以增加信号能量值大小的判断来选择最优位置的本地设备的麦克风进行拾音。

(2)由于每个本地设备与音频中转器的无线传输都可能存在网络延时,还针对每各本地设备进行延时补偿的匹配。对于每台接入的本地设备,音频中转器可以主动发送检测信号并获得与每台本地设备的网络延时数据,并记录下来。在图6中,TMi(i=1,2,3,……,n)为每台本地设备与音频中转器的网络延时,结合技术点(1)中的方法,能够获得当前正在拾音的本地设备,进而进行网络延时的匹配补偿,保证每台本地设备发出去的音频信息的时序一致性。

(3)在一些特殊场景下,多个本地设备的麦克风都同时拾音,可以结合技术点(1)获取的距离信息,将本地设备的音频信息分通道利用立体声技术混音后生成环绕立体声发送给远端设备,在远端播放时可以感知到发送方每个人说话的物理位置,进而获得更好的会议体验。

(4)本申请实施例还利用音频中转器与本地设备配合进行回声消除。音频中转器生成的回声消除信号除传递给自己的麦克风参考之外,在确定当前正在拾音的本地设备后,同时也将回声消除信号传递给正在拾音的本地设备作为参考信号,进而达到回声消除的目的。

本申请实施例提供的音频中转器以及对其执行处理方法的详细阐述可以看出,其在发送方向的技术优势至少可以包括:(1)每台本地设备放置在不同的位置,其麦克风都可以作为拾音器,与音频中转器上的麦克风形成空间组合,进而获取发言者的距离信息,并且可以根据此位置信息,自动使用最佳位置的麦克风进行拾音。(2)能够自动获得音频中转器与每台本地设备之间的无线传输的网络延时,进而对正在进行拾音的本地设备进行有针对性的延时补偿。(3)当接收的音频信息来自多个本地设备时,可以将每台本地设备的音频信息分通道混音为立体声,以立体声的形式发送给远端设备,进而远端播放时可以感知到近端说话人员的物理位置。(4)对于正在进行拾音的本地设备进行回声消除处理和二次降噪,使得远端客户具有更好的聆听体验。

其在接收方向的技术优势至少可以包括:(1)可以将组网的本地设备全部设置为静音,远端参会者的声音传回后可以在主设备播放或者当主设备音量不够大时,选择在音频中转器进行播放,来满足所有参会者的聆听需求。

可见,本申请实施例集成了发送和接送两个方向来满足会议音频的需求,同时增加会议音频的降噪和回声消除等处理,可以为用户提供一种全新的音频体验。能够使得在会议过程中,音频信息或者影音信息的定位更精准,音频信息或者影音信息经过降噪、增强、回声消除等处理之后,具有更好的音质。

本申请的再一实施例中,参见图8,其示出了本申请实施例提供的一种处理装置80的组成结构示意图。如图8所示,该处理装置80可以包括:

获取单元801,配置为在第一电子设备与第二电子设备建立通信连接后,获得当前空间内的第一目标信息,第一目标信息来自与第一电子设备连接的至少一个第三电子设备;

处理单元802,配置为对第一目标信息进行第一处理,得到第二目标信息;

输出单元803,配置为输出第二目标信息,或,将第二目标信息给到第二电子设备输出;其中,第二目标信息的输出效果优于第一目标信息的输出效果。

需要说明的是,在本申请实施例中,处理装置80可以为第一电子设备,或者集成在第一电子设备上。

在一些实施例中,获取单元801,具体配置为确定当前空间内的第三电子设备与第一电子设备之间的位置关系,将与第一电子设备具有目标位置关系的至少一第三电子设备采集的音频信息或影音信息作为第一目标信息;或,确定当前空间内的第三电子设备的使用者信息,将目标使用者所使用的第三电子设备采集的音频信息或影音信息作为第一目标信息;或,获得当前空间内的第三电子设备所采集的音频信息或影音信息的属性参数,将具有目标属性的音频信息或影音信息确定为第一目标信息;或,如果第一电子设备与第二电子设备之间具有第一通信连接,通过第四电子设备获得与第一电子设备连接的至少一个第三电子设备采集的音频信息或影音信息。

需要说明的是,在本申请实施例中,在具有第四电子设备的情况下,处理装置80可以为第四电子设备,或者集成在第四电子设备上。

在一些实施例中,获取单元801,具体配置为将至少一第三电子设备上的麦克风和/或摄像头与第一电子设备上的麦克风和/或摄像头组成对应的麦克风阵列和/或摄像头阵列;以及利用麦克风阵列和/或摄像头阵列确定第三电子设备的位置;以及将与第一电子设备具有第一位置关系的至少一第三电子设备采集的音频信息或影音信息作为第一目标信息;或,基于位置确定第三电子设备与第一电子设备之间的传输时延,基于传输时延将与第一电子设备具有第二位置关系的至少一第三电子设备采集的音频信息或影音信息作为第一目标信息。

在一些实施例中,处理单元802,具体配置为确定第一电子设备与第二电子设备之间的通信连接状态,至少基于通信连接状态由第一电子设备或第四电子设备对音频信息或影音信息进行消噪和/或增强处理,得到第二目标信息;或,如果第一电子设备与第二电子设备之间具有第二通信连接,由第一电子设备对音频信息或影音信息进行识别处理,得到第二目标信息,其中,第二目标信息的数据量少于第一目标信息的数据量。

在一些实施例中,处理单元802,具体配置为确定第三电子设备的位置、以及第三电子设备与第一电子设备或第四电子设备之间的传输时延;基于位置和传输时延对来自多个第三电子设备的第一目标信息进行混音处理,得到第二目标信息。

在一些实施例中,获取单元801,还配置为获得第一电子设备或第四电子设备发出的回声消除信号;

处理单元802,还配置为基于第三电子设备与第一电子设备或第四电子设备之间的位置关系确定目标拾音设备,以将回声消除信号给到第一电子设备或第四电子设备的麦克风执行回声消除操作、以及将回声消除信号给到目标拾音设备执行回声消除操作,目标拾音设备是处于拾音状态下的第三电子设备。

在一些实施例中,输出单元803,具体配置为如果第一电子设备与第二电子设备之间具有第一通信连接,将第二目标信息给到第二电子设备输出,或,获得第一电子设备和第四电子设备的硬件配置信息,基于硬件配置信息确定由第一电子设备或第四电子设备输出第二目标信息;或,如果第一电子设备与第二电子设备之间具有第二通信连接,获得第一电子设备和第二电子设备的硬件配置信息,基于硬件配置信息确定由第一电子设备或第二电子设备输出第二目标信息;或,如果第一电子设备与第二电子设备之间具有第二通信连接,获得第二目标信息的输出参数和/或当前空间环境,基于输出参数和/或当前空间环境确定由第一电子设备或第二电子设备输出第二目标信息。

在一些实施例中,获取单元801,还配置为获得第三目标信息,第三目标信息来自当前空间之外的电子设备;

输出单元803,还配置为基于第三目标信息的属性信息和/或当前空间内的环境信息和/或设备信息确定由第一电子设备或第四电子设备输出第三目标信息。

在一些实施例中,如图8所示,该处理装置80还可以包括确定单元804,配置为通过第一电子设备或者第四电子设备在第一时间向至少一个第三电子设备发送检测信号;以及接收至少一个第三电子设备返回的检测响应信号,并记录接收到至少一个第三电子设备各自的检测响应信号的第二时间;以及根据每一个第三电子设备的第二时间和第一时间,确定每一个第三电子设备的网络延时;以及根据每一个第三电子设备的网络延时,确定每一个第三电子设备的延时补偿时间;

输出单元803,还配置为间隔第二目标信息对应的第三电子设备的延时补偿时间后,执行输出第二目标信息,或,将第二目标信息给到第二电子设备输出的步骤。

对于本申请实施例中,关于处理装置80未披露的技术细节,可以参照前述处理方法实施例进行理解。

可以理解地,在本实施例中,“单元”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是模块,还可以是非模块化的。而且在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

因此,本实施例提供了一种计算机存储介质,该计算机存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时实现前述实施例中任一项所述的处理方法的步骤。

基于上述处理装置80的组成以及计算机存储介质,参见图9,其示出了本申请实施例提供的一种电子设备90的组成结构示意图。如图9所示,可以包括:通信接口901、存储器902和处理器903;各个组件通过总线系统904耦合在一起。可理解,总线系统904用于实现这些组件之间的连接通信。总线系统904除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图9中将各种总线都标为总线系统904。其中,通信接口901,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;

存储器902,用于存储能够在处理器903上运行的计算机程序;

处理器903,用于在运行所述计算机程序时,执行:

在第一电子设备与第二电子设备建立通信连接后,获得当前空间内的第一目标信息,第一目标信息来自与第一电子设备连接的至少一个第三电子设备;

对第一目标信息进行第一处理,得到第二目标信息;

输出第二目标信息,或,将第二目标信息给到第二电子设备输出;

其中,第二目标信息的输出效果优于第一目标信息的输出效果。

可以理解,本申请实施例中的存储器902可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步链动态随机存取存储器(Synchronous link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本文描述的系统和方法的存储器902旨在包括但不限于这些和任意其它适合类型的存储器。

而处理器903可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器903中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器903可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器902,处理器903读取存储器902中的信息,结合其硬件完成上述方法的步骤。

可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(Application Specific Integrated Circuits,ASIC)、数字信号处理器、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(Programmable Logic Device,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现,可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

可选地,作为另一个实施例,处理器903还配置为在运行所述计算机程序时,执行前述实施例中任一项所述的方法的步骤。

本申请的再一实施例中,参见图10,其示出了本申请实施例提供的另一种电子设备90的组成结构示意图。如图10所示,该电子设备90可以包括前述实施例任一项所述的处理装置80。

在一些实施例中,电子设备90可以为前述的第一电子设备或者第四电子设备。

对于电子设备90而言,由于其包括前述实施例中的处理装置80,从而能够避免多人会议时,彼此之间的信息干扰,改善会议效果,并适用于多种场景。

需要说明的是,在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1