3D音效处理方法及相关产品与流程

文档序号:16674488发布日期:2019-01-18 23:49阅读:221来源:国知局
3D音效处理方法及相关产品与流程

本申请涉及音频播放技术领域,具体涉及一种3d音效处理方法及相关产品。



背景技术:

随着电子设备功能的多样化发展以及其便携特性,越来越多的人喜欢通过电子设备来进行一些娱乐活动。尤其是,可以根据用户需要随时随地的听歌、看视频。

现有的音频播放方式中,常以用户设定的音量为基础,由发声体采用对应用户设定音量的恒定功率来播放音频,使得播放的声音满足用户的响度需求。然而,这样的播放方式,形式过于单一,往往会给用户带来感官上的疲惫。



技术实现要素:

本申请实施例提供了一种3d音效处理方法及相关产品,可提高音频数据的播放效果。

第一方面,本申请实施例提供一种3d音效处理方法,包括:

确定电子设备对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据,得到多个第一三维坐标和多个单声道数据;

确定所述电子设备对应的目标对象的第二三维坐标;

根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成,得到目标双声道数据。

第二方面,本申请实施例提供一种3d音效处理装置,包括:

确定单元,用于确定电子设备对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据,得到多个第一三维坐标和多个单声道数据;确定所述电子设备对应的目标对象的第二三维坐标;

合成单元,用于根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成,得到目标双声道数据。

第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。

第四方面,本申请实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面,本申请实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

实施本申请实施例,将具有如下有益效果:

确定电子设备对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据得到多个第一三维坐标和多个单声道数据,并确定了电子设备对应的目标对象的第二三维坐标,然后,根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成得到目标双声道数据。如此,在确定了多个声源的第一三维坐标以及目标对象的第二三维坐标之后,生成多个声源对应的目标双声道数据,从而提高音频数据的播放效果,可产生沉浸感受,便于提高用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

其中:

图1a为本申请实施例提供的一种电子设备的结构示意图;

图1b为本申请实施例提供的一种电子设备的坐标轴的场景示意图;

图2a为本申请实施例提供的一种3d音效处理方法的流程示意图;

图2b为本申请实施例提供的一种多路双声道数据的场景示意图;

图3为本申请实施例提供的一种3d音效处理装置的结构示意图;

图4为本申请实施例提供的另一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如智能手机)、车载设备、虚拟现实(virtualreality,vr)/增强现实(augmentedreality,ar)设备,可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(userequipment,ue),移动台(mobilestation,ms),终端设备(terminaldevice)、研发/测试平台、服务器等等。为方便描述,上面提到的设备统称为电子设备。

请参阅图1a,图1a是本申请实施例提供了一种电子设备的结构示意图,电子设备包括控制电路和输入-输出电路,输入输出电路与控制电路连接。

其中,控制电路可以包括存储和处理电路。该存储和处理电路中的存储电路可以是存储器,例如硬盘驱动存储器,非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等),易失性存储器(例如静态或动态随机存取存储器等)等,本申请实施例不作限制。存储和处理电路中的处理电路可以用于控制电子设备的运转。该处理电路可以基于一个或多个微处理器,微控制器,数字信号处理器,基带处理器,功率管理单元,音频编解码器芯片,专用集成电路,显示驱动器集成电路等来实现。

存储和处理电路可用于运行电子设备中的软件,例如播放来电提示响铃应用程序、播放短消息提示响铃应用程序、播放闹钟提示响铃应用程序、播放媒体文件应用程序、互联网协议语音(voiceoverinternetprotocol,voip)电话呼叫应用程序、操作系统功能等。这些软件可以用于执行一些控制操作,例如,播放来电提示响铃、播放短消息提示响铃、播放闹钟提示响铃、播放媒体文件、进行语音电话呼叫以及电子设备中的其它功能等,本申请实施例不作限制。

其中,输入-输出电路可用于使电子设备实现数据的输入和输出,即允许电子设备从外部设备接收数据和允许电子设备将数据从电子设备输出至外部设备。

输入-输出电路可以进一步包括传感器。传感器可以包括环境光传感器,基于光和电容的红外接近传感器,超声波传感器,触摸传感器(例如,基于光触摸传感器和/或电容式触摸传感器,其中,触摸传感器可以是触控显示屏的一部分,也可以作为一个触摸传感器结构独立使用),加速度传感器,重力传感器,和其它传感器等。输入-输出电路还可以进一步包括音频组件,音频组件可以用于为电子设备提供音频输入和输出功能。音频组件还可以包括音调发生器以及其它用于产生和检测声音的组件。

在本申请实施例,传感器还包括三轴加速度传感器,可以测量空间加速度,用于测量电子设备的姿态和倾斜角,除了自动切换水平、垂直显示视角外,还可在全球定位系统(globalpositioningsystem,gps)信号不好时,用作运动偏移补偿计算,能够全面准确反映物体的运动性质。

请参照图1b,图1b为三维加速度传感器确定电子设备的坐标轴的场景示意图。如图1b所示,x轴、y轴、z轴均是相对电子设备机身位置的,通常y轴向机身向上,x轴向机身向右,z轴垂直机身正面,与地心引力同向。横向分量、纵向分量、竖向分量一般是一个单位的地心引力(大小1g(m*m/s),方向垂直地面向下),在各轴上的投影。横向分量对应与x轴上的数值,纵向分量对应与y轴上的数值,竖向分量对应与z轴上的数值,则横向倾斜角度为x轴与水平面的夹角,纵向倾斜角度为y轴与水平面的夹角。

例如:将电子设备平放在桌面上,x轴默认为0,y轴默认0,z轴默认9.81;将电子设备朝下放在桌面上,z轴为-9.81;将电子设备向左倾斜,x轴为正值;将电子设备向右倾斜,x轴为负值;将电子设备向上倾斜,y轴为负值;将电子设备向下倾斜,y轴为正值;将z轴小于-3的情况,视为电子设备的触控显示屏朝下。

输入-输出电路还可以包括一个或多个显示屏。显示屏可以包括液晶显示屏,有机发光二极管显示屏,电子墨水显示屏,等离子显示屏,使用其它显示技术的显示屏中一种或者几种的组合。显示屏可以包括触摸传感器阵列(即,显示屏可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ito)电极)阵列形成的电容式触摸传感器,或者可以是使用其它触摸技术形成的触摸传感器,例如音波触控,压敏触摸,电阻触摸,光学触摸等,本申请实施例不作限制。

输入-输出电路还可以进一步包括通信电路可以用于为电子设备提供与外部设备通信的能力。通信电路可以包括模拟和数字输入-输出接口电路,和基于射频信号和/或光信号的无线通信电路。通信电路中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,通信电路中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(nearfieldcommunication,nfc)的电路。例如,通信电路可以包括近场通信天线和近场通信收发器。通信电路还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。

输入-输出电路还可以进一步包括输入-输出单元。输入-输出单元可以包括按钮,操纵杆,点击轮,滚动轮,触摸板,小键盘,键盘,照相机,发光二极管和其它状态指示器等。

其中,电子设备还可以进一步包括电池(未图示),电池用于给电子设备提供电能。

下面对本申请实施例进行详细介绍。

本申请实施例提供了一种3d音效处理方法及相关产品,可提高音频数据的播放效果。

请参照图2a,本申请实施例提供一种3d音效处理方法的流程示意图,该方法应用于电子设备。具体的,如图2a所示,一种3d音效处理方法,包括:

s201:确定电子设备对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据得到多个第一三维坐标和多个单声道数据。

本申请实施例可应用于虚拟现实/增强现实场景,或者,3d录音场景。本申请实施例中,声源可以为虚拟场景中的一个发声体,例如,游戏场景中的一个飞机,声源可以为固定声源,或者,移动声源。如图1b所示的电子设备的坐标轴,则电子设备对应的声源可以上述坐标轴为基准,确定该声源对应的第一三维坐标,并在声源发出声音时,则可以获取生源产生的单声道数据。

电子设备可包括多个声源,例如,游戏场景的声源包括飞机、枪支、河水等,则对应的单声道数据为飞机的滑翔声,枪支上膛、发射的声音,河水的水流声;也可包括游戏玩家,对应的单声道数据为游戏玩家的脚步声、语音声等,在此不做限定。

在一个可能的示例中,所述确定电子设备对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据得到多个第一三维坐标和多个单声道数据包括:确定所述电子设备对应的多个参考对象;确定所述多个参考对象中每一参考对象的行为信息得到多个行为信息;根据所述多个行为信息从所述多个参考对象中选取所述多个声源;确定所述多个声源中每一声源对应的坐标位置得到所述多个第一三维坐标;根据所述多个声源中每一声源对应的行为信息确定该声源的单声道数据得到所述多个单声道数据。

其中,参考对象可以是电子设备的显示页面中所呈现的对象,例如:显示页面中的房子、游戏玩家所乘坐的汽车、所持的枪械;也可以是未呈现于显示页面的对象,例如:邻近的游戏玩家、枪炮、车辆等。

行为信息是参考对象的动态信息。可以理解,不同的参考对象对应于不同的行为类型,例如,枪支可发出上膛、打枪的声音,而不会发出水流声、说话声。且每一参考处于不同的行为信息时对应不同的声音,例如:房子在一般情况下不会发出声音,而在被炮击时会发出炮击声;汽车在开动时,才会发生启动声和行驶的声音;游戏玩家在发送语音时产生语音声、在步行时产生脚步声等等。

也就是说,先确定电子设备对应的多个参考对象,然后获取各个参考对象的行为信息,根据各个行为信息确定该参考对象是否为声源,如此,提高了确定声源的准确性。然后,进一步确定各个声源的坐标位置得到多个第一三维坐标,再根据各个声源对应的行为信息确定该声源的单声道数据,如此,依据行为信息可提高确定单声道数据的准确性。

本申请对于如何确定声源对应的坐标位置不做限定,举例来说,若对应游戏场景,且该游戏场景对应一个三维地图,如此,可根据该地图确定不同声源对应的坐标位置,即针对角色具体位置确定第一三维坐标,提高了确定第一三维坐标的准确性,便于提高目标双声道数据的3d音效,让用户在游戏时,能够身临其境,感觉游戏世界更为逼真。

本申请对于如何根据行为信息确定单声道数据不做限定,若所述多个行为信息包括所述多个声源中的目标声源对应的目标行为信息,在一个可能的示例中,所述根据所述多个声源中每一声源对应的行为信息确定该声源的单声道数据得到所述多个单声道数据包括:确定所述目标行为信息对应的声音类型和播放参数;根据所述声音类型和所述播放参数生成所述目标声源的单声道数据。

其中,声音类型为该声音对应的目标行为信息的发声类型,例如:枪支包括上膛、发射、击中的声音类型,播放参数为响度、频率、音调等。

可以理解,以目标声源为例,根据目标声源对应的目标行为信息确定目标声源的声音类型和播放参数,然后再根据声音类型和播放参数生成该目标声源的单声道数据,如此,依据目标行为信息确定单声道数据的声音类型和播放参数,进一步提高了确定单声道数据的准确性,提高了单声道数据与应用场景的贴合性,便于提高用户体验。

s202:确定所述电子设备对应的目标对象的第二三维坐标。

在本申请实施例中,目标对象可以是游戏、虚拟现实或增强现实场景中电子设备对应的游戏玩家,也可以是3d录音场景中电子设备对应的目标用户等。目标对象也可以对应一个三维位置,即第二三维位置,当然,第一三维位置与第二三维位置为不同的位置。对于确定第二三维坐标的方法可以参照确定第一三维坐标的方法,即以图1b中所示坐标轴为基准,确定所述目标对象的第二三维坐标,在此不再赘述。

s203:根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成得到目标双声道数据。

其中,在知晓各个声源对应的第一三维坐标、目标对象的第二三维坐标,则可以将各个声源对应的单声道数据进行合成得到目标双声道数据,具体地,可以将多个第一三维坐标、所述第二三维坐标和多个单声道数据输入到hrtf模型中得到目标双声道数据。

具体实现中,本申请实施例中,电子设备可对音频数据(声源发出的声音)使用头相关变换函数(headrelatedtransferfunction,hrtf)滤波器进行滤波,得到虚拟环绕声,也称之为环绕声,或者全景声,实现一种三维立体音效。hrtf在时间域所对应的名称是头相关的脉冲响应(headrelatedimpulseresponse,hrir),或者将音频数据与双耳房间脉冲响应(binauralroomimpulseresponse,brir)做卷积,双耳房间脉冲响应由三个部分组成:直达声,早期反射声和混响。

举例来说,电子设备可根据声源的空间三维坐标位置(x,y,z),该位置可以是任意坐标,再根据声源产生的单声道数据,生成左右声道,左右声道的产生原理是依据声源距离听者(x,y,z),单点数据传输左耳和传输到右耳数据的时间差以及相位压力差生成双声道声音。

在一个可能的示例中,所述根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成得到目标双声道数据包括:确定所述第二三维坐标对应的左耳三维坐标和右耳三维坐标;根据所述多个第一三维坐标、所述左耳三维坐标和所述右耳三维坐标确定所述多个声源与所述目标对象之间的传输路径得到多个传输路径;根据所述多个传输路径确定所述多个单声道数据中每一单声道数据传输至所述左耳三维坐标、所述右耳三维坐标的时间和相位压力得到多个时间和多个相位压力;根据所述多个时间确定所述多个单声道数据中每一单声道数据对应的时间差得到多个时间差,根据所述多个相位压力确定所述多个单声道数据中每一单声道数据对应的相位压力差得到多个相位压力差;根据所述多个时间差和所述多个相位压力差确定所述多个单声道数据中每一单声道数据对应的延迟参数得到多个延迟参数;根据所述多个延迟参数,对所述多个单声道数据中每一单声道数据进行处理得到对应的左声道参数和右声道参数;按照所述多个单声道数据中每一单声道数据对应的左声道参数和右声道参数,对所述多个单声道数据进行合成得到所述目标双声道数据。

其中,目标对象对应一个左耳三维坐标和一个右耳三维坐标,对于如何确定左耳三维坐标和右耳三维坐标不做限定,可根据所述目标对象的3d人物模型进行确定,即根据3d人物模型中预先设置的目标对象的第二三维坐标和右耳三维坐标,第二三维坐标和左耳三维坐标之间的关联关系进行确定。

时间差和相位压力差分别为传输至左耳三维坐标、右耳三维坐标的时间之差和相位压力之差,也就是说,声源对应的单声道数据传输至目标对象的左耳、右耳的时间差和相位压力差。

可以理解,由于左耳和右耳之间存在一定距离,声音在空气中传播时存在压力差,因此,先确定第二三维坐标对应的左耳三维坐标和右耳三维坐标,再根据各个第一三维坐标、左耳三维坐标和右耳三维坐标确定多个声源和目标对象之间的传输路径以得到多个传输路径,再由各个传输路径确定将各个单声道数据从第一三维坐标传输至左耳三维坐标、右耳三维坐标的时间和相位压力以得到多个时间和多个相位压力。然后根据多个时间确定各个单声道数据的时间差,根据多个相位压力确定各个单声道数据的相位压力,再根据每一时间差和相位压力确定对应单声道数据传输至目标对象的左右耳的延迟参数,然后,根据该延迟参数确定各个单声道数据对应的左声道参数和右声道参数,从而根据每一单声道数据的左声道参数和右声道参数对该单声道数据进行处理得到处理之后的双声道数据,再将得到的多个双声道数据进行合成得到目标双声道数据。也就是说,根据多个第一三维坐标和第二三维坐标分别确定每一声源对应的延迟参数,如此,根据延迟参数确定单声道数据的左声道参数和右声道参数,再进行合成得到目标双声道数据,提高了音频数据的播放效果,可产生沉浸感受,便于提高用户体验。

本申请对于如何确定时间和相位压力的方法不做限定,本申请以目标声源传输至左耳三维坐标对应的时间和相位压力为例,该目标声源传输至左耳三维坐标对应的时间和相位压力,以及多个声源中除了目标声源之外的其它声源对应的单声道数据确定传输至左耳三维坐标、右耳三维坐标对应的时间和相位压力的方法可参照此方法。

具体的,若所述多个声源包括目标声源,所述多个第一三维坐标包括所述目标声源对应的目标第一三维坐标,所述多个单声道数据包括所述目标声源对应的目标单声道数据;在一个可能的示例中,所述根据所述多个传输路径确定所述多个单声道数据中每一单声道数据传输至所述左耳三维坐标、所述右耳三维坐标的时间和相位压力得到多个时间和多个相位压力包括:以所述目标第一三维坐标与所述左耳三维坐标为轴线得到横截面;确定所述目标第一三维坐标与所述左耳三维坐标之间的遮挡物体;根据所述横截面和所述遮挡物体确定所述目标单声道数据传输至所述左耳三维坐标的多个参考传输路径;根据所述多个参考传输路径确定所述目标单声道数据传输至所述左耳三维坐标的时间和相位压力。

由于在现实环境中,声音是沿着各个方向进行传播,当然,在传播过程中,也会出现反射、折射、干涉、衍射等现象,因此,目标单声道数据的传播可包括多个参考传输路径。如图2b所示,以目标第一三维坐标与左耳三维坐标为轴线作横截面,由于声音传播方向一定,传播轨迹也会沿着一定的对称轴具备一定的对称性,可得到多个传输路径。而声音的传播在遇到遮挡物体时会分散传输,从而根据横截面和应用场景中的遮挡物体确定对应的多个参考传输路径。

可以理解,以目标第一三维坐标与左耳三维坐标为轴线确定一个声源数据传输的横截面,再根据该横截面和遮挡物体确定目标单声道数据对应的多个参考传输路径,再由多个参考传输路径确定目标声源传输至目标对象的左耳的相位压力。也就是说,根据目标第一三维坐标与左耳三维坐标对应的横截面确定可能的多个参考传输路径,再根据多个参考传输路径确定时间和相位压力,提高了确定时间和相位压力的准确性。

在一个可能的示例中,所述根据所述多个参考传输路径确定所述目标单声道数据传输至所述左耳三维坐标的时间和相位压力包括:确定所述多个参考传输路径中每一传输路径对应的声强和声压得到多个声强和多个声压;根据所述多个声强和所述多个声压确定所述目标单声道数据传输至所述左耳三维坐标的时间和相位压力。

其中,声强是指单位时间内,声波通过垂直于传播方向单位面积的声能量,单位为w/m2。声压是由于声波的存在而引起的压力增值,单位为pa。

本申请对于如何根据多个声压确定相位压力的方法不做限定,可依据对应参考传输路径对应的相对距离确定预设权值,再将多个声压和对应的预设权值进行加权计算得到相位压力。

可以理解,每一声源数据具有对应的声压,如此,先确定各个参考传输路径对应的声压以得到多个声压,再根据多个声压确定目标单声道数据传输至左耳三维坐标的相位压力,如此,可提高确定相位压力的准确性。

在如图2a所示的3d音效处理方法中,确定电子设备对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据得到多个第一三维坐标和多个单声道数据,并确定了电子设备对应的目标对象的第二三维坐标,然后,根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成得到目标双声道数据。如此,在确定了多个声源的第一三维坐标以及目标对象的第二三维坐标之后,生成多个声源对应的目标双声道数据,从而提高音频数据的播放效果,可产生沉浸感受,便于提高用户体验。

在一个可能的示例中,所述方法还包括:确定所述目标对象对应的偏好混响参数;根据所述偏好混响参数对所述目标双声道数据进行处理得到混响双声道数据。

其中,偏好混响参数包括输入音量、低频切除、高频切除、早反射时间、空间广度、扩散程度、低混比例、分频点、残响时间、高频衰点、干声调节、混响音量、早反射声音量、声场宽度、输出声场、尾音等,在此不做限定。

可以理解,确定目标对象对应的偏好混响参数,然后根据偏好混响参数对目标双声道数据进行处理得到混响双声道数据,如此,依据目标对象对目标双声道数据进行处理,可进一步提高音频数据的播放效果,便于提高用户体验。

本申请对于如何确定偏好混响参数不做限定,在一个可能的示例中,所述确定所述目标对象对应的偏好混响参数包括:获取预先存储的所述目标对象对应的多个历史混响播放记录;获取所述多个历史混响播放记录中每一历史混响播放记录对应的收听参数得到多个收听参数;根据所述多个收听参数确定所述偏好混响参数。

其中,收听参数包括音频类型、播放时长、播放调整次数、用户心情参数等。可以理解,获取预先存储的与目标对象对应的多个历史混响播放记录,获取各个历史混响播放记录对应的收听参数,再根据多个收听参数确定偏好混响参数,提高了确定偏好混响参数的准确性,便于提高播放效果。

本申请对于如何根据多个收听参数确定偏好混响参数不做限定,在一个可能的示例中,所述根据所述多个收听参数确定所述偏好混响参数包括:根据所述多个收听参数确定所述多个历史混响播放记录中每一历史混响播放记录对应的评价值得到多个评价值;将所述多个评价值中的最大值对应的历史混响记录作为目标历史混响记录;将所述目标历史混响记录对应的混响参数作为所述偏好混响参数。

其中,若所述多个历史混响播放记录包括目标历史混响播放记录,以所述目标历史混响播放记录为例,确定所述电子设备的应用场景;确定所述应用场景对应的预设心情参数;根据所述预设心情参数和所述用户心情参数之间的差值确定所述目标历史混响记录对应的评价值。

可以理解,在不同的应用场景中,目标对象对应的预设心情参数不同,如此,根据电子设备对应的应用场景确定目标对象的预设心情参数,然后,根据预设心情参数和用户心情参数之间的差值确定目标历史混响记录对应的评价值。在本申请中,根据每一历史混响记录的收听参数确定对应历史混响记录的评价值,然后选取最大的评价值对应的历史混响记录作为目标历史混响记录,再根据目标历史混响记录的收听参数确定偏好混响参数,如此,提高了确定偏好混响参数的准确性。

请参照图3,图3是本申请实施例提供的一种3d音效处理装置的结构示意图,如图3所示,上述3d音效处理装置300包括确定单元301和合成单元302,其中:

确定单元301用于确定电子设备对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据,得到多个第一三维坐标和多个单声道数据;确定所述电子设备对应的目标对象的第二三维坐标;

合成单元302用于根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成,得到目标双声道数据。

可以理解,确定单元301确定电子设备对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据得到多个第一三维坐标和多个单声道数据,并确定了电子设备对应的目标对象的第二三维坐标,然后,合成单元302根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成得到目标双声道数据。如此,在确定了多个声源的第一三维坐标以及目标对象的第二三维坐标之后,生成多个声源对应的目标双声道数据,从而提高音频数据的播放效果,可产生沉浸感受,便于提高用户体验。

在一个可能的示例中,在所述根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成,得到目标双声道数据方面,所述确定单元301还用于确定所述第二三维坐标对应的左耳三维坐标和右耳三维坐标;根据所述多个第一三维坐标、所述左耳三维坐标和所述右耳三维坐标确定所述多个声源与所述目标对象之间的传输路径,得到多个传输路径;根据所述多个传输路径确定所述多个单声道数据中每一单声道数据传输至所述左耳三维坐标、所述右耳三维坐标的时间和相位压力,得到多个时间和多个相位压力;根据所述多个时间确定所述多个单声道数据中每一单声道数据对应的时间差,得到多个时间差,根据所述多个相位压力确定所述多个单声道数据中每一单声道数据对应的相位压力差,得到多个相位压力差;根据所述多个时间差和所述多个相位压力差确定所述多个单声道数据中每一单声道数据对应的延迟参数,得到多个延迟参数;根据所述多个延迟参数,对所述多个单声道数据中每一单声道数据进行处理,得到对应的左声道参数和右声道参数;所述合成单元302具体用于按照所述多个单声道数据中每一单声道数据对应的左声道参数和右声道参数,对所述多个单声道数据进行合成,得到所述目标双声道数据。

在一个可能的示例中,所述多个声源包括目标声源,所述多个第一三维坐标包括所述目标声源对应的目标第一三维坐标,所述多个单声道数据包括所述目标声源对应的目标单声道数据;

在所述根据所述多个传输路径确定所述多个单声道数据中每一单声道数据传输至所述左耳三维坐标、所述右耳三维坐标的时间和相位压力,得到多个时间和多个相位压力方面,所述确定单元301具体用于以所述目标第一三维坐标与所述左耳三维坐标为轴线,得到横截面;确定所述目标第一三维坐标与所述左耳三维坐标之间的遮挡物体;根据所述横截面和所述遮挡物体确定所述目标单声道数据传输至所述左耳三维坐标的多个参考传输路径;根据所述多个参考传输路径确定所述目标单声道数据传输至所述左耳三维坐标的时间和相位压力。

在一个可能的示例中,在所述根据所述多个参考传输路径确定所述目标单声道数据传输至所述左耳三维坐标的时间和相位压力方面,所述确定单元301具体用于确定所述多个参考传输路径中每一传输路径对应的声强和声压,得到多个声强和多个声压;根据所述多个声强确定所述目标单声道数据传输至所述左耳三维坐标的时间,根据所述多个声压确定所述目标单声道数据传输至所述左耳三维坐标的相位压力。

在一个可能的示例中,在所述确定电子设备对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据,得到多个第一三维坐标和多个单声道数据方面,所述确定单元301具体用于确定所述电子设备对应的多个参考对象;确定所述多个参考对象中每一参考对象的行为信息,得到多个行为信息;根据所述多个行为信息从所述多个参考对象中选取所述多个声源;确定所述多个声源中每一声源对应的坐标位置,得到所述多个第一三维坐标;根据所述多个声源中每一声源对应的行为信息确定该声源的单声道数据,得到所述多个单声道数据。

在一个可能的示例中,所述多个行为信息包括目标声源对应的目标行为信息;在所述根据所述多个声源中每一声源对应的行为信息确定该声源的单声道数据得到所述多个单声道数据方面,所述确定单元301具体用于确定所述目标行为信息对应的声音类型和播放参数;根据所述声音类型和所述播放参数生成所述目标声源的单声道数据。

在一个可能的示例中,所述确定单元301还用于确定所述目标对象对应的目标混响参数;所述合成单元302还用于根据所述目标混响参数对所述目标双声道数据进行处理得到混响双声道数据。

请参照图4,图4是本申请实施例提供的一种电子设备的结构示意图。如图4所示,该电子设备400包括处理器410、存储器420、通信接口430以及一个或多个程序440,其中,上述一个或多个程序440被存储在上述存储器420中,并且被配置由上述处理器410执行,上述程序440包括用于执行以下步骤的指令:

确定电子设备400对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据,得到多个第一三维坐标和多个单声道数据;

确定所述电子设备400对应的目标对象的第二三维坐标;

根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成,得到目标双声道数据。

可以理解,确定电子设备400对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据得到多个第一三维坐标和多个单声道数据,并确定了电子设备400对应的目标对象的第二三维坐标,然后,根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成得到目标双声道数据。如此,在确定了多个声源的第一三维坐标以及目标对象的第二三维坐标之后,生成多个声源对应的目标双声道数据,从而提高音频数据的播放效果,可产生沉浸感受,便于提高用户体验。

在一个可能的示例中,在所述根据所述多个第一三维坐标和所述第二三维坐标,对所述多个单声道数据进行合成,得到目标双声道数据方面,所述程序440中的指令具体用于执行以下操作:

确定所述第二三维坐标对应的左耳三维坐标和右耳三维坐标;

根据所述多个第一三维坐标、所述左耳三维坐标和所述右耳三维坐标确定所述多个声源与所述目标对象之间的传输路径,得到多个传输路径;

根据所述多个传输路径确定所述多个单声道数据中每一单声道数据传输至所述左耳三维坐标、所述右耳三维坐标的时间和相位压力,得到多个时间和多个相位压力;

根据所述多个时间确定所述多个单声道数据中每一单声道数据对应的时间差,得到多个时间差,根据所述多个相位压力确定所述多个单声道数据中每一单声道数据对应的相位压力差,得到多个相位压力差;

根据所述多个时间差和所述多个相位压力差确定所述多个单声道数据中每一单声道数据对应的延迟参数,得到多个延迟参数;

根据所述多个延迟参数,对所述多个单声道数据中每一单声道数据进行处理,得到对应的左声道参数和右声道参数;

按照所述多个单声道数据中每一单声道数据对应的左声道参数和右声道参数,对所述多个单声道数据进行合成,得到所述目标双声道数据。

在一个可能的示例中,所述多个声源包括目标声源,所述多个第一三维坐标包括所述目标声源对应的目标第一三维坐标,所述多个单声道数据包括所述目标声源对应的目标单声道数据;

在所述根据所述多个传输路径确定所述多个单声道数据中每一单声道数据传输至所述左耳三维坐标、所述右耳三维坐标的时间和相位压力,得到多个时间和多个相位压力方面,所述程序440中的指令具体用于执行以下操作:

以所述目标第一三维坐标与所述左耳三维坐标为轴线,得到横截面;

确定所述目标第一三维坐标与所述左耳三维坐标之间的遮挡物体;

根据所述横截面和所述遮挡物体确定所述目标单声道数据传输至所述左耳三维坐标的多个参考传输路径;

根据所述多个参考传输路径确定所述目标单声道数据传输至所述左耳三维坐标的时间和相位压力。

在一个可能的示例中,在所述根据所述多个参考传输路径确定所述目标单声道数据传输至所述左耳三维坐标的时间和相位压力方面,所述程序440中的指令具体用于执行以下操作:

确定所述多个参考传输路径中每一传输路径对应的声强和声压,得到多个声强和多个声压;

根据所述多个声强确定所述目标单声道数据传输至所述左耳三维坐标的时间,根据所述多个声压确定所述目标单声道数据传输至所述左耳三维坐标的相位压力。

在一个可能的示例中,在所述确定电子设备400对应的多个声源中每一声源的三维坐标、以及每一声源产生的单声道数据,得到多个第一三维坐标和多个单声道数据方面,所述程序440中的指令具体用于执行以下操作:

确定所述电子设备400对应的多个参考对象;

确定所述多个参考对象中每一参考对象的行为信息,得到多个行为信息;

根据所述多个行为信息从所述多个参考对象中选取所述多个声源;

确定所述多个声源中每一声源对应的坐标位置,得到所述多个第一三维坐标;

根据所述多个声源中每一声源对应的行为信息确定该声源的单声道数据,得到所述多个单声道数据。

在一个可能的示例中,所述多个行为信息包括目标声源对应的目标行为信息;在所述根据所述多个声源中每一声源对应的行为信息确定该声源的单声道数据得到所述多个单声道数据方面,所述程序440中的指令具体用于执行以下操作:

确定所述目标行为信息对应的声音类型和播放参数;

根据所述声音类型和所述播放参数生成所述目标声源的单声道数据。

在一个可能的示例中,所述程序440中的指令还用于执行以下操作:

确定所述目标对象对应的目标混响参数;

根据所述目标混响参数对所述目标双声道数据进行处理,得到混响双声道数据。

本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于存储计算机程序,该计算机程序使得计算机执行如方法实施例中记载的任一方法的部分或全部步骤,计算机包括电子设备。

本申请实施例还提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机程序可操作来使计算机执行如方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,计算机包括电子设备。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模式并不一定是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模式的形式实现。

集成的单元如果以软件程序模式的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、rom、ram、磁盘或光盘等。

以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1