VR电视中的动态空间虚拟声处理系统及处理方法与流程

本发明涉及一种数据处理技术，特别涉及一种基于虚拟现实的vr电视中的动态空间虚拟声处理系统及处理方法。
背景技术：
：随着vr电视的出现，观众用户观看电视的传统模式发生了重大变化，当用户观看vr电视时，vr的音频信号一般由音频播放设备(如耳机)来重放虚拟现实中的声音。观众用户可通过遥控器来控制电视屏幕画面从而变换观看视角，在观看虚拟现实影像时，随着虚拟现实的场景、情节的变化，观众用户的动作行为可能也会随之变化。例如，在一虚拟现实的场景中，虚拟足球比赛场景中球员在球场击球跑动，或是虚拟电视剧战争场景中观众用户的身后突然响起枪声或爆炸声，用户的头部常常会自然地转动。然而，当观众用户的动作行为发生变化时，对于用户而言，虚拟现实中声源的方位已经变化，但是观众用户佩戴的音频播放设备(如耳机)中重放的声源的方位却并未作相应的改变，如此极大地影响虚拟现实营造出的沉浸感，降低了用户体验的效果。技术实现要素：鉴于以上内容，有必要提供一种可提高用户体验的vr电视中的动态空间虚拟声处理系统及处理方法。一种vr电视中的动态空间虚拟声处理系统，包括：一vr电视遥控器，用于输出一对应于一用户所观看到某一vr画面的方位变化指令信息；一第一处理器，用于获取该vr电视遥控器输出的所述方位变化指令信息，并根据一触发条件及该方位变化指令信息设置一参考坐标；该第一处理器还用于根据该参考坐标、方位变化指令信息及若干虚拟扬声器的设置角度计算该用户的头部方位角度信息；一调用模块，用于读取所述头部方位角度信息及若干虚拟扬声器的设置角度得出当前头部与各虚拟扬声器之间的相对方位角度；该调用模块还用于根据一头相关传输函数数据库调出对应于所述相对方位角度的传输函数或者匹配到与最接近于该头相关传输函数数据库中某一相对方位角度相对应的传输函数；及一第二处理器，用于接收一输入信号，该第二处理器还用于根据所述传输函数对该输入信号进行卷积处理，以生成对应于一播放设备的一第一通路信号及一第二通路信号。一种vr电视中的动态空间虚拟声处理方法，包括：通过一vr电视遥控器输出一对应于一用户所观看到某一vr画面的方位变化指令信息；获取该vr电视遥控器输出的方位变化指令信息；根据一触发条件及该方位变化指令信息设置一参考坐标；根据该参考坐标、方位变化指令信息及若干虚拟扬声器的设置角度计算该用户的头部方位角度信息；读取所述头部方位角度信息及若干虚拟扬声器的设置角度得出当前头部与各虚拟扬声器之间的相对方位角度；根据一头相关传输函数数据库调出对应于所述相对方位角度的传输函数或者匹配到与最接近于该头相关传输函数数据库中某一相对方位角度相对应的传输函数；及接收一输入信号，根据各虚拟扬声器的传输函数对该输入信号进行卷积处理，生成对应于一播放设备的一第一通路信号及一第二通路信号。进一步地，上述所述头部方位角度信息包括一水平角及一仰角，该处理方法还包括：当观众用户进入观看vr电视节目的初始时刻时，将对该vr电视遥控器输出的方位变化指令信息中包含的水平角及仰角进行初始化。进一步地，其中一种情形，上述所述的输入信号包括一双通路的立体声的音频信号，该双通路的立体声具有一左虚拟扬声器及一右虚拟扬声器，其中左虚拟扬声器及右虚拟扬声器分别设置于用户的左前方及右前方，该处理方法还包括：根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到第一通路信号包括：根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到第二通路信号包括：其中，l为第一通路信号，r为第二通路信号，表示卷积操作，l为该输入信号中的左通路信号，r为该输入信号中的右通路信号，hrirl(θ0-θ,φ)对应右虚拟扬声器-左耳的传输函数，hrirr(θ0-θ,φ)对应右虚拟扬声器-右耳的传输函数，对应左虚拟扬声器-左耳的传输函数，对应左虚拟扬声器-右耳的传输函数，其中θ0＝30°。另一种情形，上述所述的输入信号包括一多通路的环绕声的音频信号，该多通路的环绕声具有一左前虚拟扬声器、一右前虚拟扬声器、一中置虚拟扬声器、一左后虚拟扬声器、一右后虚拟扬声器及一低音虚拟扬声器，其中，左前虚拟扬声器、右前虚拟扬声器、中置虚拟扬声器、左后虚拟扬声器、右后虚拟扬声器分别设置于用户的左前方、右前方、正前方、左后方及右后方，该处理方法还包括：根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到第一通路信号包括：根据各虚拟扬声器的传输函数对该输入信号进行卷积处理得到第二通路信号包括：其中，l为第一通路信号，r为第二通路信号，表示卷积操作，l为该输入信号中的左通路信号，r为该输入信号中的右通路信号，ls为该输入信号中的左环绕声信号，rs为该输入信号中的右环绕声信号，c为该输入信号中的中置通路信号，lfe为该输入信号中的低音通路信号，对应右前虚拟扬声器-左耳的传输函数，对应右前虚拟扬声器-右耳的传输函数，对应左前虚拟扬声器-左耳的传输函数，对应左前虚拟扬声器-右耳的传输函数，对应右后虚拟扬声器-左耳的传输函数，对应右后虚拟扬声器-右耳的传输函数，对应左后虚拟扬声器-左耳的传输函数，对应左后虚拟扬声器-右耳的传输函数，其中θ0＝30°，θs＝110°±10°。本发明创造涉及的vr电视中的动态空间虚拟声处理系统及处理方法通过获取观众用户当前头部与各虚拟扬声器的相对方位角度，并从一头相关传输函数数据库调出对应于所述相对方位角度的传输函数或者通过匹配到与最接近于该头相关传输函数数据库中某一相对方位角度相对应的传输函数，以及接收一输入信号，根据各虚拟扬声器的传输函数对该输入信号进行卷积处理，以生成对应于一播放设备的第一通路信号及第二通路信号，如此可根据观众用户移动的位置输出对应的音频信号，进而有利于提高观众用户的沉浸式体验。附图说明图1是本发明vr电视中的动态空间虚拟声处理系统的方框图；图2是图1中较佳实施方式的方框图；图3是本发明vr电视中的动态空间虚拟声处理系统应用于一立体声的音频信号所对应的方位角度示意图；图4是本发明vr电视中的动态空间虚拟声处理系统应用于一环绕声的音频信号所对应的方位角度示意图；图5是图2中第二处理器对一立体声的音频信号进行卷积处理的较佳实施方式的示意图；图6是图2中第二处理器对一环绕声的音频信号进行卷积处理的较佳实施方式的示意图；图7是本发明vr电视中的动态空间虚拟声处理方法的较佳实施方式的流程图。主要元件符号说明第一处理器20第二处理器50vr电视遥控器10调用模块30输入信号40播放设备60渲染器200实时卷积模块500具体实施方式请参阅图1，本发明vr电视中的动态空间虚拟声处理系统的较佳实施方式包括：vr电视遥控器10，用于输出一对应于一用户所观看到某一vr画面的方位变化指令信息；第一处理器20，用于获取vr电视遥控器10输出的方位变化指令信息，并根据一触发条件及该方位变化指令信息设置一参考坐标；第一处理器20还用于根据该参考坐标、方位变化指令信息及若干虚拟扬声器的设置角度计算该用户的头部方位角度信息；调用模块30，用于读取所述头部方位角度信息及若干虚拟扬声器的设置角度得出当前用户头部与虚拟扬声器之间的相对方位角度；调用模块30还用于根据一头相关传输函数数据库调出对应于所述相对方位角度的传输函数或者匹配到与最接近于该头相关传输函数数据库中某一相对方位角度相对应的传输函数；及第二处理器50，用于接收一输入信号40，第二处理器50还用于根据所述传输函数对输入信号40进行卷积处理，以生成对应于一播放设备60的第一通路信号及第二通路信号。播放设备60用于重放经该第二处理器50处理后得到的音频信号。本实施方式中，vr电视遥控器10输出的方位变化指令信息包括对应于变换vr电视画面视角的代表向左/向右/向上/向下等方位变化的步进信号。vr电视遥控器10内一般设置有传感器，通过传感器感测到用户的动作信息并将动作信息进行转换处理得到该步进信号，传输给第一处理器20。请一并参阅图2，本较佳实施方式中，第一处理器20包括一渲染器200，该渲染器200获取vr电视遥控器10输出的方位变化指令信息(如步进信号)，根据一触发条件及该方位变化指令信息设置一参考坐标；渲染器200根据该参考坐标、方位变化指令信息及若干虚拟扬声器的设置角度计算该用户当前的头部方位角度信息，该头部方位角度信息包括一水平角θ及一仰角φ，其中水平角θ为观众用户的当前视线与vr电视主摄像头的主轴方向的水平夹角，因拍摄时主摄像头的主轴方向一般位于水平面；仰角φ为观众用户的当前视线与该vr电视主摄像头的主轴方向所处的水平面的夹角。第一处理器20通过该渲染器200计算得到该用户当前的头部方位角度信息(包括水平角θ及仰角φ)并传输给调用模块30。更进一步地，本实施方式中，当用户观看vr电视节目的初始时刻时，该渲染器200将接收得到的动作信息设置为该参考坐标。例如，当观众用户进入观看vr电视节目的初始时刻时，该渲染器200将观众用户的朝向定位为正前方(即对vr电视遥控器10输出的方位变化指令信息进行初始化)，如将此时该渲染器200根据该参考坐标、方位变化指令信息及若干虚拟扬声器的设置角度计算得到该用户当前的头部方位角度信息中包含的水平角θ校为0度、仰角φ校为0度，也即设置观众用户的视平线与该vr电视主摄像头的主轴方向(即地球水平面)平行。在其他实施方式中，用户亦可通过一功能按键来设置该参考坐标，如当该功能按键被触发时，该渲染器200则将此时接收到的动作信息设置为该参考坐标。请一并参阅图2，本实施方式中，调用模块30读取由渲染器200计算得到的该用户当前的头部方位角度信息(θ,φ)，并将该头部方位角度信息(θ,φ)与若干虚拟扬声器的设置角度进行叠加处理，以得到当前用户头部与各虚拟扬声器之间的相对方位角度。请一并参阅图2，本实施方式中，第二处理器50包括一实时卷积模块500，接收一输入信号40，根据调用模块30输出的各虚拟扬声器的传输函数(headrelatedtransferfunction，简称hrtf)对该输入信号40进行实时卷积处理，以生成对应于一播放设备60的第一通路信号及第二通路信号。实时卷积模块500可采用一dsp(digitalsignalprocessing，数字信号处理)芯片实现。本实施方式中，播放设备60为观众用户佩戴的耳机，用于重放经该第二处理器50处理后得到的音频信号。该播放设备60用于对一双通路的立体声的音频信号或者多通路的环绕声的音频信号进行重放动作。该双通路的立体声可具有一左虚拟扬声器及一右虚拟扬声器，其中左虚拟扬声器及右虚拟扬声器分别设置于用户的左前方及右前方；该多通路的环绕声可为5.1通路的环绕声，具有一左前虚拟扬声器、一右前虚拟扬声器、一中置虚拟扬声器、一左后虚拟扬声器、一右后虚拟扬声器及一低音虚拟扬声器(也称超重低音炮)，其中，左前虚拟扬声器、右前虚拟扬声器、中置虚拟扬声器、左后虚拟扬声器、右后虚拟扬声器分别设置于观众用户的左前方、右前方、正前方、左后方及右后方。请一并参阅图3，对于双通路立体声的音频信号，初始时，左虚拟扬声器l与正前方中心轴线的水平角为(360°-θ0)、右虚拟扬声器r与正前方中心轴线的水平角为θ0。即对于双通路立体声，左虚拟扬声器l的设置角度为(360°-θ0)，右虚拟扬声器r的设置角度为θ0。本实施方式中，在立体声国际标准中θ0＝30°。如此，该调用模块30根据用户当前的头部方位角度信息(θ,φ)与左虚拟扬声器的设置角度(360°-θ0)、右虚拟扬声器的设置角度θ0进行叠加处理后得到：当前用户头部与左虚拟扬声器l、右虚拟扬声器r之间的相对方位角度分别为(360°-θ0-θ,φ)，(θ0-θ,φ)。请一并参阅图4，对于多通路(以5.1通路为例)环绕声的音频信号，初始时，左前虚拟扬声器l与正前方中心轴线的水平角为(360°-θ0)、右前虚拟扬声器r与正前方中心轴线的水平角为θ0、中置虚拟扬声器c设置于用户的正前方0°处(图未示)，左后虚拟扬声器ls与正前方中心轴线的水平角为(360°-θs)、右后虚拟扬声器rs与正前方中心轴线的水平角为θs。本实施方式中，环绕声国际标准中推荐θs＝110°±10°。即左前虚拟扬声器l的设置角度为(360°-θ0)、右前虚拟扬声器r的设置角度为θ0、中置虚拟扬声器c的设置角度为0°处(图未示)，左后虚拟扬声器ls的设置角度为(360°-θs)、右后虚拟扬声器rs的设置角度为θs。如此，当前用户的头部与左前虚拟扬声器l、右前虚拟扬声器r、左后虚拟扬声器ls、右后虚拟扬声器rs的相对方位角度为(360°-θ0-θ,φ)，(θ0-θ,φ)，(360°-θs-θ,φ)和(θs-θ,φ)。本实施方式中，对于中置虚拟扬声器c和低音虚拟扬声器lfe，该调用模块30将中置虚拟扬声器c及低音虚拟扬声器lfe的通路信号乘以0.707(即)后分别反馈给前方的左前虚拟扬声器l及右前虚拟扬声器r的通路信号。本实施方式中，该调用模块30可对各虚拟扬声器的音效进行定位。该调用模块30根据一头相关传输函数(headrelatedtransferfunction，简称hrtf)数据库调出对应于所述相对方位角度的传输函数或者匹配到与最接近于该头相关传输函数数据库中某一相对方位角度相对应的传输函数，并输出各虚拟扬声器的传输函数(hrtf)。请参阅图5，对于双通路的立体声的音频信号时，该输入信号40具有一左通路信号l及一右通路信号r。该调用模块30从一头相关传输函数(hrtf)数据库调出对应于所述相对方位角度的传输函数时域形式(对应右虚拟扬声器-左耳)、(对应右虚拟扬声器-右耳)、(对应左虚拟扬声器-左耳)、(对应左虚拟扬声器-右耳)，或者匹配到与最接近于该头相关传输函数数据库中某一相对方位角度相对应的传输函数时域形式。该实时卷积模块500将输入信号40与对应的相对方位角度的调用值进行实时卷积计算，以得到处理后的第一通路信号l及第二通路信号r，并将第一通路信号l及第二通路信号r输出给播放设备60，其中：其中，表示卷积操作，l为该输入信号中的左通路信号，r为该输入信号中的右通路信号，hrirl(θ0-θ,φ)对应右虚拟扬声器-左耳的传输函数，hrirr(θ0-θ,φ)对应右虚拟扬声器-右耳的传输函数，对应左虚拟扬声器-左耳的传输函数，对应左虚拟扬声器-右耳的传输函数，θ0＝30°。请参阅图6，当对一环绕声(以5.1通路为例)的音频信号进行卷积操作时，该调用模块30从头相关hrtf数据库中调用对应于所述相对方位角度的传输函数时域形式为(对应右前虚拟扬声器-左耳)、(对应右前虚拟扬声器-右耳)、(对应左前虚拟扬声器-左耳)、(对应左前虚拟扬声器-右耳)、(对应右后虚拟扬声器-左耳)、(对应右后虚拟扬声器-右耳)、(对应左后虚拟扬声器-左耳)、(对应左后虚拟扬声器-右耳)，或者匹配到与最接近于该头相关hrtf数据库中某一相对方位角度相对应的传输函数时域形式。该实时卷积模块500将输入信号40与对应的相对方位角度的调用值进行实时卷积计算，以得到处理后的第一通路信号l及第二通路信号r输出给播放设备60，其中：其中，表示卷积操作，l为该输入信号中的左通路信号，r为该输入信号中的右通路信号，ls为该输入信号中的左环绕声信号，rs为该输入信号中的右环绕声信号，c为该输入信号中的中置通路信号，lfe为该输入信号中的低音通路信号，对应右前虚拟扬声器-左耳的传输函数，对应右前虚拟扬声器-右耳的传输函数，对应左前虚拟扬声器-左耳的传输函数，对应左前虚拟扬声器-右耳的传输函数，对应右后虚拟扬声器-左耳的传输函数，对应右后虚拟扬声器-右耳的传输函数，对应左后虚拟扬声器-左耳的传输函数，对应左后虚拟扬声器-右耳的传输函数，其中θ0＝30°，θs＝110°±10°。请参阅图7，本发明vr电视中的动态空间虚拟声处理方法的较佳实施方式包括如下步骤：通过一vr电视遥控器输出一对应于一用户所观看到某一vr画面的方位变化指令信息；获取该vr电视遥控器输出的方位变化指令信息；根据一触发条件及该方位变化指令信息设置一参考坐标；根据该参考坐标、方位变化指令信息及若干虚拟扬声器的设置角度计算该用户的头部方位角度信息；读取所述头部方位角度信息及若干虚拟扬声器的设置角度得出当前头部与各虚拟扬声器之间的相对方位角度；根据一头相关传输函数数据库调出对应于所述相对方位角度的传输函数或者匹配到与最接近于该头相关传输函数数据库中某一相对方位角度相对应的传输函数；接收一输入信号，根据各虚拟扬声器的所述传输函数对该输入信号进行卷积处理，生成对应于一播放设备的一第一通路信号及一第二通路信号。进一步地，所述头部方位角度信息包括一水平角及一仰角，该vr电视中的动态空间虚拟声处理方法还包括：当观众用户进入观看vr电视节目的初始时刻时，将对该vr电视遥控器输出的方位变化指令信息中包含的水平角及仰角进行初始化。上述vr电视中的动态空间虚拟声处理系统及处理方法通过获取观众用户当前头部与各虚拟扬声器的相对方位角度，并从一头相关传输函数数据库调出对应于所述相对方位角度的传输函数或者通过匹配到与最接近于该头相关传输函数数据库中某一相对方位角度相对应的传输函数，以及接收一输入信号，根据各虚拟扬声器的传输函数对该输入信号进行卷积处理，以生成对应于一播放设备的第一通路信号及第二通路信号，如此可根据观众用户移动的位置输出对应的音频信号，进而有利于提高观众用户的沉浸式体验。本发明具有以下优点：1.可实时跟踪观众的视角变化，增强了虚拟现实的沉浸感。2.适用面广。本系统可适用于立体声和环绕声信号的耳机虚拟现实重放，基本涵括现有的电视存量节目中的音频信号。需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属
技术领域：
的技术人员所理解。应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。当前第1页12