虚拟场景的处理方法、装置、电子设备及存储介质与流程

文档序号:19060104发布日期:2019-11-06 01:41阅读:183来源:国知局
虚拟场景的处理方法、装置、电子设备及存储介质与流程

本申请涉及显示技术领域,更具体地,涉及一种虚拟场景的处理方法、装置、电子设备及存储介质。



背景技术:

近年来,随着网络技术和科技技术的快速发展,越来越多的人们使用电子设备进行远程会话(例如聊天、会议等)。通常的远程会话中,将用户输入的语音、摄像头采集的图像进行传递,但是难以给用户身临其境的感觉,导致会话效果不佳。



技术实现要素:

本申请实施例提出了一种虚拟场景的处理方法、装置、电子设备及存储介质,可以对远程会话中用户的情绪进行反馈,提升远程会话的效果。

第一方面,本申请实施例提供了一种虚拟场景的处理方法,所述方法包括:生成远程会话对应的虚拟会话场景,所述虚拟会话场景至少包括所述远程会话中一个或者多个终端设备对应的虚拟对象;获取所述一个或多个终端设备对应的用户数据;对所述用户数据进行分析,得到所述一个或多个终端设备对应的用户情绪信息;当所述用户情绪信息满足设定情绪条件时,获取与满足所述设定情绪条件的用户情绪信息匹配的调整内容,并根据所述调整内容对所述虚拟会话场景进行调整。

第二方面,本申请实施例提供了一种虚拟场景的处理装置,所述装置包括:场景生成模块、数据获取模块、情绪分析模块以及场景调整模块,其中,所述场景生成模块用于生成远程会话对应的虚拟会话场景,所述虚拟会话场景至少包括所述远程会话中一个或者多个终端设备对应的虚拟对象;所述数据获取模块用于获取所述远程设备对应的用户数据;所述情绪分析模块用于对所述用户数据进行分析,得到所述一个或多个终端设备对应的用户情绪信息;所述场景调整模块用于当所述用户情绪信息满足设定情绪条件时,获取与满足所述设定情绪条件的用户情绪信息匹配的调整内容,并根据所述调整内容对所述虚拟会话场景进行调整。

第三方面,本申请实施例提供了一种电子设备,其特征在于,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的虚拟场景的处理方法。

第四方面,本申请实施例提供了一种存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的虚拟场景的处理方法。

本申请提供的方案,通过生成远程会话对应的虚拟会话场景,虚拟会话场景至少包括远程会话中一个或者多个终端设备对应的虚拟对象,获取一个或多个终端设备对应的用户数据,对用户数据进行分析,得到一个或多个终端设备对应的用户的情绪信息,当用户情绪信息满足设定情绪条件时,获取与满足设定情绪条件的用户情绪信息匹配的调整内容,并根据调整内容对虚拟会话场景进行调整,可以对远程会话中用户的情绪进行反馈,给用户真实的感受,提升远程会话的效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用场景的一种示意图。

图2示出了一种适用于本申请实施例的应用场景的另一种示意图。

图3示出了根据本申请一个实施例的虚拟场景的处理方法流程图。

图4示出了根据本申请一个实施例提供的一种显示效果示意图。

图5示出了根据本申请另一个实施例的虚拟场景的处理方法流程图。

图6示出了根据本申请另一个实施例提供的一种显示效果示意图。

图7示出了根据本申请又一个实施例的虚拟场景的处理方法流程图。

图8示出了根据本申请又一个实施例提供的一种显示效果示意图。

图9示出了根据本申请再一个实施例的虚拟场景的生成方法流程图。

图10示出了根据本申请再一个实施例提供的一种显示效果示意图。

图11示出了本申请实施例提供的虚拟场景的处理装置的结构框图。

图12是本申请实施例的用于执行根据本申请实施例的虚拟场景的处理方法的终端设备的框图。

图13是本申请实施例的用于执行根据本申请实施例的虚拟场景的处理方法的服务器的框图。

图14是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟场景的处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

下面对本申请实施例提供的虚拟场景的生成方法的应用场景进行介绍。

请参见图1,示出了本申请实施例提供的虚拟场景的生成方法的应用场景的示意图,该应用场景包括交互系统10,该交互系统10可以应用于远程会话。该交互系统10包括:多个终端设备100以及服务器200,其中,终端设备100与服务器200连接。

在一些实施方式中,终端设备100通过网络与服务器200通信连接,从而终端设备100与服务器200之间可以进行数据交互。其中,终端设备100可以通过接入路由器所在网络,而通过路由器所在网络与服务器200之间进行通信,当然,终端设备100也可以通过数据网络与服务器200之间进行通信。

在一些实施方式中,终端设备100可以是头戴显示装置,也可以是手机、平板等移动设备。终端设备100为头戴显示装置时,头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端,即终端设备100可作为头戴显示装置的处理和存储设备,插入或者接入外接式头戴显示装置,在头戴显示装置中对虚拟内容进行显示。在远程会话中,终端设备100可用于对远程会话的虚拟会话场景进行显示,实现将虚拟会话场景的场景画面进行ar(augmentedreality,增强现实技术)显示或者vr(virtualreality,虚拟现实技术)显示,提升远程会话中场景画面的显示效果。在其他实施方式中,终端设备100也可以是电脑、平板电脑、电视等显示设备,终端设备100可以将虚拟会话场景对应的2d(2dimensions,二维)画面进行显示。

在一些实施方式中,终端设备100可以采集远程会话中的信息数据(例如,采集用户的脸部信息、声音数据等),以根据该信息数据构建三维模型。在另一些实施方式中,终端设备100也可以根据预先存储的脸部信息、声音数据、身体模型等信息数据进行建模,也可以结合预先存储的信息数据以及采集到的信息数据进行建模。例如,终端设备100可以实时采集人脸信息建立脸部模型,其中,人脸信息可以包括表情信息以及形态动作信息(如偏头、点头等),然后再将脸部模型与预先设定的身体模型进行整合,节省了建模、渲染的时间的同时,也能实时获取用户的表情、形态动作。在一些实施方式中,终端设备100可以将上述采集的信息数据传输至服务器200或者其他终端设备100。

在一些实施方式中,请参见图2,交互系统100也还可以包括信息采集装置300,信息采集装置300用于采集上述信息数据(例如,采集用户的脸部信息、声音数据等),并将采集的信息数据传输至终端设备100或者服务器200。在一些实施方式中,信息采集装置300可包括摄像头、音频模块等,也可包括光传感器、声传感器等各类传感器。作为一种具体的实施方式,信息采集装置300可以是具有普通彩色相机(rgb)和深度相机(depth)功能的拍摄设备(如rgb-d深度相机),以获取被拍摄的用户的深度数据,从而得到用户对应的三维结构。在一种具体实施方式中,信息采集装置300与终端设备100可以处于同一现场环境,以便采集终端设备100对应的用户的信息,信息采集装置300与终端设备100之间可以连接,也可以不连接,在此不作限定。

在一些实施方式中,上述服务器200可以是本地服务器,也可以是云服务器,具体服务器200的类型在本申请实施例中可以不作为限定。在远程会话中,服务器200可用于实现多个终端设备100/信息采集装置300之间的数据交互,从而保证多个终端设备100/信息采集装置300之间的数据传输和同步,实现远程会话中虚拟会话场景、音视频数据的同步、终端设备100/信息采集装置300之间的数据传输等。

在一些实施方式中,当远程会话中的多个终端设备100中存在至少两个终端设备100处于同一现场环境(例如,处于同一室内)时,处于同一现场环境的至少两个终端设备100之间也可以通过蓝牙、wifi(wireless-fidelity,无线保真)、zigbee(紫峰技术)等通信方式连接,也可以通过数据线等有线通信方式进行连接,从而实现处于同一现场环境的至少两个终端设备100之间数据的交互。当然,处于同一现场环境的至少两个终端设备100之间的连接方式在本申请实施例中可以不作为限定。

下面对具体的虚拟场景的处理方法进行介绍。

请参阅图3,本申请实施例提供了一种虚拟场景的处理方法,该虚拟场景的处理方法可以包括:

步骤s110:生成远程会话对应的虚拟会话场景,虚拟会话场景至少包括远程会话中一个或者多个终端设备对应的虚拟对象。

远程会话指的是通过数据通信建立的多端进行远程交互、通讯的过程。虚拟会话场景为虚拟空间中的3d(3dimensions,三维)场景,虚拟会话场景可以至少包括虚拟对象,虚拟会话场景中虚拟对象相对世界坐标系中世界坐标原点的位置固定。其中,虚拟对象可以包括远程会话中的终端设备所对应的虚拟人物模型、虚拟人物头像等,例如,终端设备对应的用户的仿真立体图像;虚拟对象还可以包括与用户关联的虚拟物体图像、虚拟动物图像等,在此不作限定,例如,虚拟对象也还可以包括远程会话中终端设备分享的虚拟文档内容等。当然,虚拟会话场景中的具体内容可以不作为限定,例如,虚拟会话场景中也还可以包括虚拟会议桌、虚拟桌布、虚拟摆件等。

在一些实施方式中,服务器可以根据参与远程会话的终端设备的参与数据及虚拟对象的内容数据,生成虚拟会话场景。其中,参与数据可以包括终端设备对应的用户的身份信息、终端设备加入远程会话的时间、终端设备于现实场景中的空间位置、终端设备的姿态、以及终端设备所处地点中的一种或者多种数据;虚拟对象的内容数据可以是虚拟对象的三维模型数据,三维模型数据可以包括用于构建三维模型对应的模型的颜色、模型顶点坐标、模型轮廓数据等。终端设备的参与数据可以从终端设备或者与终端设备处于同一现实场景的信息采集装置获取,虚拟对象的内容数据可以存储于本地,也可以从终端设备获取,在此不作限定。

作为一种具体的实施方式,服务器可以根据参与数据,对终端设备对应的虚拟对象进行位置排布,根据位置排布的结果,确定虚拟对象在虚拟空间中的位置后,再根据虚拟对象的内容数据以及虚拟对象在虚拟空间中的位置,渲染生成包括终端设备对应的虚拟对象的虚拟会话场景。

在本申请实施例中,生成的虚拟会话场景可以用于生成终端设备显示的虚拟会话场景的场景画面,并且将场景画面的画面数据发送至终端设备,终端设备可以将场景画面进行显示,使用户可以观察到3d的虚拟会话场景,并且可以观察到远程会话中其他终端设备对应的虚拟对象,使用户感受到较强的真实感。例如,请参阅图4,图4示出了远程会议场景的场景图,其中,终端设备100可以为头戴显示装置,用户601处于真实场景中实体桌体周围的位置,用户601可以通过头戴显示装置观察到虚拟会话场景的场景画面,虚拟会话场景的场景画面可以包括其他参与远程会议的用户的虚拟人物701。

步骤s120:获取一个或多个终端设备对应的用户数据。

在一些实施方式中,服务器可以获取远程会话中的各个终端设备对应的用户数据,以根据用户数据确定终端设备对应的用户情绪信息。其中,用户数据可以包括用户的脸部图像、用户的语音数据等,在此不作限定,例如,也还可以包括用户的心跳、血压等体征数据。终端设备对应的用户数据可以由终端设备采集,也可以由与终端设备处于同一现场环境的信息采集装置采集,在此不作限定。

步骤s130:对用户数据进行分析,得到一个或多个终端设备对应的用户情绪信息。

在一些实施方式中,服务器可以根据远程会话中终端设备对应的用户数据,分析用户的用户表情、用户神情、用户语气等,根据分析结果,得到终端设备对应的用户情绪信息。其中,用户情绪信息可以为表征用户情绪的信息,用户情绪可以包括欢喜、愤怒、哀伤、惊讶、恐惧、疑惑、专注、走神等,在此不作限定。

步骤s140:当用户情绪信息满足设定情绪条件时,获取与满足设定情绪条件的用户情绪信息匹配的调整内容,并根据调整内容对虚拟会话场景进行调整。

服务器在分析得到终端设备对应的用户情绪信息后,则可以确定终端设备的用户情绪信息是否满足设定情绪条件。其中,设定情绪条件可以包括指定的情绪,例如,愤怒、惊讶、疑惑等;设定情绪条件还可以包括指定的情绪的程度,例如,愤怒程度、惊讶程度等。具体的设定情绪条件可以不作为限定,可以根据远程会话的实际场景和需求而设定。

当服务器确定出用户情绪信息满足设定情绪条件时,服务器可以获取与满足设定情绪条件的用户情绪信息匹配的调整内容。其中,调整内容用于对虚拟会话场景进行调整,调整内容可以包括对虚拟会话场景中的显示画面进行具体调整操作等,例如,调整内容可以包括对虚拟会话场景中的进行清晰度调整、进行亮度调整、进行内容替换、进行内容遮挡等,具体的调整内容可以不作为限定,例如,调整内容也可以包括对至少部分内容进行标记以及标记内容的内容数据等。

在一些实施方式中,服务器获取到与满足设定情绪条件的用户情绪信息匹配的调整内容后,可以根据调整内容,对虚拟会话场景进行调整。作为一种具体的实施方式,服务器可以根据调整内容,对虚拟对象进行调整,该虚拟对象可以是目标终端设备对应的虚拟对象,目标终端设备可以是满足设定情绪条件的用户情绪信息所对应的终端设备,也可以是其他终端设备,在此不作限定。例如,服务器可以调整目标终端设备对应的虚拟对象的清晰度、亮度等。

在本申请实施例中,虚拟会话场景的生成、用户数据的获取、分析用户情绪信息以及调整虚拟会话场景的步骤,也就是步骤s110至步骤s140的步骤,也可以由终端设备执行。当终端设备作为执行主体,执行上述步骤时,终端设备生成的虚拟会话场景中则可以包括至少一个终端设备对应的虚拟对象,获取的用户数据可以包括至少一个终端设备对应的用户数据,至少一个终端设备为远程会话中除执行主体以外的其他终端设备。例如,当远程会话中包括两个终端设备(第一终端设备以及第二终端设备),第一终端设备执行上述步骤时,则可以生成的虚拟会话场景仅包括第二终端设备对应的虚拟对象,仅获取第二终端设备对应的用户数据。

本申请实施例提供的虚拟场景的处理方法,可以实现在远程会话的虚拟会话场景中,根据满足设定情绪条件的用户情绪信息所匹配的调整内容,对虚拟会话场景进行调整,可以反映用户情绪,便于用户之间相互了解远程会话中用户的情绪,给用户真实的感受,提升远程会话的效果。

请参阅图5,本申请另一实施例提供了虚拟场景的处理方法,该虚拟场景的处理方法可以包括:

步骤s210:生成远程会话对应的虚拟会话场景,虚拟会话场景至少包括远程会话中一个或者多个终端设备对应的虚拟对象。

步骤s220:获取一个或多个终端设备对应的用户数据。

在本申请实施例中,步骤s210及步骤s220可以参阅上述实施例的内容,在此不再赘述。

步骤s230:对用户数据进行分析,得到一个或多个终端设备对应的用户情绪信息。

在一些实施方式中,服务器获取的终端设备的用户数据可以包括用户的脸部图像。其中,用户的脸部图像可以由终端设备的摄像头等采集,也可以由与终端设备处于同一现场环境的图像采集装置采集,在此不作限定。

作为一种实施方式,对用户数据进行分析,得到一个或多个终端设备对应的用户情绪信息,可以包括:

根据脸部图像,获取一个或多个终端设备对应的用户表情及用户神情的至少一种;根据用户表情及用户神情的至少一种,获取一个或多个终端设备对应的用户情绪信息。

其中,服务器可以根据用户的脸部图像,对脸部图像进行表情识别,获得终端设备对应的用户表情。用户表情可以用于表征用户情绪在面部的表现,例如,微笑、撇嘴、发呆、哭泣等,在此不作限定。作为一种实施方式,服务器可以对脸部图像进行标记、灰度化、归一化等预处理之后,提取脸部图像中的五官特征,根据提取的五官特征确定用户表情,具体分析用户表情的方式可以不作为限定。

服务器也可以根据用户的脸部图像,对脸部图像进行神情识别,获得终端设备对应的用户神情。用户神情可以用于表征用户的面部显露出来的表情所表达出的内心活动,例如,困顿、惊惧、愉快等。作为一种实施方式,服务器可以根据脸部图像提取出用户表情后,根据用户表情分析出用户神情,具体分析用户神情的方式可以不作为限定。

在一些实施方式中,服务器在得到用户表情、及用户神情后,即得到用户的用户情绪信息。

作为另一种实施方式,服务器获取的终端设备的用户数据也可以包括用户的语音数据。其中,用户的语音数据可以由终端设备的麦克风等音频输入模块采集,也可以由与终端设备处于同一现场环境的音频采集装置采集,在此不作限定。

在一些实施方式中,对用户数据进行分析,得到一个或多个终端设备对应的用户情绪信息,包括:

根据语音数据获取一个或多个终端设备对应的用户语气;根据用户语气获取一个或多个终端设备对应的用户情绪信息。

其中,服务器可以根据用户的语音数据,对语音数据,进行语音分析,获得终端设备对应的用户语气。用户语气可以用于表征在一定的具体思想感情支配下具体语句的声音形式,例如,疑问、感叹、陈述等,在此不作限定。作为一种具体的实施方式,服务器可以对语音数据进行分析,得到语音音量、音调、语音内容等与说话语气相关的语音参数,根据语音参数的具体参数值确定用户语气,具体分析用户语气的方式可以不作为限定。服务器可以对用户语气进行进一步分析,可得到用户的用户情绪信息。当然,具体根据用户语气获取用户情绪信息的实施方式可以不作为限定。

在一些实施方式中,服务器也可以同时根据用户的脸部图像以及语音数据,分析用户的用户情绪信息。

在另外一些实施方式中,服务器还可以利用训练好的训练模型,将脸部图像、语音数据等输入至训练模型,得到用户的用户情绪信息。其中,训练模型可以由大量训练集输入至初始模型训练得到,初始模型可以为神经网络模型、决策树模型等,训练集可以由大量标记有用户情绪的脸部图像、语音数据构成。

步骤s240:当用户情绪信息满足设定情绪条件时,获取与满足设定情绪条件的用户情绪信息匹配的调整内容。

在一些实施方式中,调整内容可以包括用于对虚拟会话场景中的至少部分内容进行清晰度调整、进行亮度调整、进行内容替换、以及进行内容遮挡的指示信息的至少一种;调整内容还可以包括进行清晰度调整的调整参数、亮度调整的调整参数、用作替换的内容、及用作遮挡的内容等,在此不作限定。

进一步的,调整内容与满足设定情绪条件的用户情绪信息匹配,以使服务器根据调整内容调整虚拟会话场景后,能反馈用户情绪或者避免其他用户受到满足设定情绪条件的用户情绪信息的影响。例如,满足设定情绪条件的用户情绪信息为愤怒时,调整内容可以是对虚拟对象进行遮挡,也可以是调低虚拟对象的清晰度。又例如,满足设定情绪条件的用户情绪信息为伤心时,调整内容可以是对虚拟对象进行替换,也可以是调低虚拟对象的亮度。当然,具体与满足设定情绪条件的用户情绪信息匹配的调整内容可以不作为限定。

步骤s250:根据调整内容,调整虚拟会话场景中的至少部分内容的清晰度、调整虚拟会话场景中的至少部分内容的亮度、对虚拟会话场景中的至少部分内容进行替换、以及对虚拟会话场景中的至少部分内容进行遮挡中的至少一种。

在一些实施方式中,服务器根据调整内容,可以调整虚拟会话场景中的至少部分内容。其中,至少部分内容可以为虚拟会话场景中终端设备对应的虚拟对象。

作为一种实施方式,根据调整内容,对虚拟会话场景中至少部分内容进行调整可以包括:

获取与满足设定情绪条件的用户情绪信息对应的第一用户的终端设备;获取虚拟会话场景中第一用户的终端设备所对应的第一虚拟对象;根据调整内容,对第一虚拟对象进行调整。

其中,服务器可以根据满足设定情绪条件的用户情绪信息,获取该用户情绪信息对应的第一用户的终端设备。服务器可以获取虚拟会话场景中第一用户的终端设备所对应的第一虚拟对象,将该第一虚拟对象作为需要调整的至少部分内容,可以对第一虚拟对象进行清晰度调整、亮度调整、替换、遮挡中的至少一种,例如,可以将第一虚拟对象的亮度调高,又例如,将第一虚拟对象用指定虚拟内容遮挡,在此不作限定。

因此,在将第一虚拟对象进行调整后,可以使得远程会话场景中除第一用户以外的其他用户,查看到第一用户的终端设备对应的虚拟对象的调整,方便用户了解到第一用户的情绪。

例如,请参见图6,在远程会议场景中,远程会议场景对应的虚拟会话场景包括虚拟人物a、虚拟人物b、虚拟人物c及虚拟人物d,虚拟人物a与用户1对应的终端设备对应,虚拟人物b与用户2对应的终端设备对应,虚拟人物c与用户3对应的终端设备对应,虚拟人物d与用户4对应的终端设备对应,当用户2的终端设备对应的用户情绪信息为伤心时,则可以将虚拟人物b的亮度调高,使用户1、用户3及用户4可以看到虚拟会话场景的场景画面中虚拟人物b较为突出,方便用户1、用户3及用户4了解到用户2的情绪。

作为另一种实施方式,根据调整内容,对虚拟会话场景中至少部分内容进行调整可以包括:

获取与满足设定情绪条件的用户情绪信息对应的第一用户;获取虚拟会话场景中与第一用户关联的第二用户,并获取第二用户的终端设备所对应的第二虚拟对象;根据调整内容,对第二虚拟对象进行调整。

在一些实施方式中,第一用户对应的用户情绪信息满足设定情绪条件。虚拟会话场景中第二用户与第一用户关联。作为一种实施方式,第二用户可以是影响第一用户的用户情绪信息的用户,例如,第二用户可以是使第一用户产生满足设定情绪条件的用户情绪信息的用户,在此不作限定。其中,服务器可以根据用户数据、远程会话中终端设备的参与数据等确定与第一用户关联的第二用户,例如,可以根据第一用户的眼球数据,确定第一用户的注视方向,以确定第一用户注视的焦点内容,从而确定出与第一用户关联的第二用户,又例如,可以根据第一用户的语音数据,识别得到关键词,根据关键词确定出与第一用户关联的第二用户,在此不作限定。

服务器可以获取虚拟会话场景中第二用户的终端设备所对应的第二虚拟对象,将该第二虚拟对象作为需要调整的至少部分内容,可以对第二虚拟对象进行调整,例如,可以将第二虚拟对象的清晰度调低,将第二虚拟对象用指定虚拟内容替换等,在此不作为限定。因此,在将第二虚拟对象进行调整后,可以避免远程会话场景中第一用户的情绪受到第二用户的影响。

例如,在远程会议场景中,远程会议场景对应的虚拟会话场景包括虚拟人物a及虚拟人物b,虚拟人物a与用户1对应的终端设备对应,虚拟人物b与用户2对应的终端设备对应,当用户2的终端设备对应的用户情绪信息为愤怒时,用户2因用户1而愤怒,则可以在用户2对应的终端设备需要显示的虚拟会话场景的画面中,将虚拟人物a的清晰度可以调低,减少用户1对用户2的情绪干扰。

在一些实施方式中,远程会话中的终端设备的用户数据可以包括语音数据。该虚拟场景的处理方法还可以包括:

获取满足设定情绪条件的用户情绪信息对应的终端设备对应的语音数据,判断获取的语音数据的分贝值是否大于设定阈值,第一用户为与满足设定情绪条件的用户情绪信息对应的用户;当分贝值大于设定阈值时,降低获取的对应的语音数据的分贝值。

其中,服务器在确定出满足设定情绪条件的用户情绪信息时,还可以获取该用户情绪信息对应的终端设备对应的语音数据,即产生该用户情绪信息的第一用户的语音数据,并确定产生该用户情绪信息的第一用户的语音数据的分贝值是否大于设定阈值,当第一用户的语音数据的分贝值大于设定阈值时,则表示第一用户说话的音量较大,因此,服务器可以降低远程会话中第一用户的终端设备对应的语音数据的分贝值,以免其他用户受到第一用户的情绪的影响。

在一些实施方式中,服务器在确定出满足设定情绪条件的用户情绪信息时,还可以确定与产生该用户情绪信息的第一用户关联的第二用户的语音数据的分贝值是否大于设定阈值,当第二用户的语音数据大于设定阈值时,可以降低远程会话中第二用户对应终端设备的语音数据的分贝值,以减少第二用户对第一用户的情绪的影响。

在本申请实施例中,上述步骤也可以由终端设备执行。

本申请实施例提供的虚拟场景的处理方法,可以实现在远程会话的虚拟会话场景中,根据满足设定情绪条件的用户情绪信息所匹配的调整内容,对虚拟会话场景中虚拟对象进行调整,可以反映用户情绪,便于用户之间相互了解远程会话中用户的情绪,也可以减少对用户的情绪干扰,提升远程会话的效果。

请参阅图7,本申请又一实施例提供了虚拟场景的处理方法,该虚拟场景的处理方法可以包括:

步骤s310:生成远程会话对应的虚拟会话场景,虚拟会话场景至少包括远程会话中一个或者多个终端设备对应的虚拟对象。

步骤s320:获取一个或多个终端设备对应的用户数据。

步骤s330:对用户数据进行分析,得到一个或多个终端设备对应的用户情绪信息。

在本申请实施例中,步骤s310至步骤s330可以参阅上述实施例的内容,在此不再赘述。

步骤s340:当用户情绪信息满足设定情绪条件时,获取与满足设定情绪条件的用户情绪信息匹配的调整内容,调整内容包括虚拟标记内容的第一内容数据,虚拟标记内容与满足设定情绪条件的用户情绪信息对应。

在一些实施方式中,调整内容可以包括用于标记的虚拟标记内容的第一内容数据;调整内容还可以包括用于指示对虚拟会话场景中的内容进行标记的指示信息,从而服务器可以根据调整内容对虚拟场景中的内容进行标记。虚拟标记内容用于标记情绪,以便远程会话中的其他用户了解到用户的情绪。作为一种实施方式,虚拟标记内容可以为与满足设定情绪条件的用户情绪信息对应的文字内容,例如,用户情绪信息为愤怒时,虚拟标记内容可以为“愤怒”、“发怒”等文字内容。作为另一种实施方式,虚拟标记内容可以为与满足设定情绪条件的用户情绪信息对应的虚拟动画表情,虚拟动画表情用于体现用户情绪信息,例如,用户情绪信息为伤心时,虚拟标记内容可以为伤心的虚拟动画表情。

步骤s350:获取与满足设定情绪条件的用户情绪信息对应的第一用户的终端设备。

步骤s360:获取虚拟会话场景中第一用户的终端设备对应的第一虚拟对象。

步骤s370:根据第一内容数据,在虚拟会话场景中第一虚拟对象的位置处,生成虚拟标记内容,虚拟标记内容用于标记第一用户的情绪。

在一些实施方式中,服务器可以在获取到第一用户的终端设备对应的第一虚拟对象之后,则可以将第一虚拟对象作为需要在虚拟会话场景中进行标记的内容。因此,服务器可以根据调整内容中第一内容数据,对第一虚拟对象进行标记,即生成虚拟会话场景中的虚拟标记内容,虚拟标记内容在虚拟会话场景中的位置可以处于相对虚拟会话场景中第一虚拟对象的预设范围内。其中,虚拟标记内容的位置指虚拟标记内容在虚拟空间中的空间位置。作为一种实施方式,服务器可以根据第一虚拟对象在虚拟空间中的空间位置,确定虚拟标记内容于虚拟空间中的空间位置(例如虚拟空间中靠近第一虚拟对象的空间位置),根据虚拟标记内容在虚拟空间中的空间位置以及第一内容数据,在虚拟空间中生成虚拟会话场景中的虚拟标记内容。因此,在虚拟会话场景中生成第一虚拟对象对应的虚拟标记内容之后,可以便于远程会话中除第一用户以外的其他用户了解到第一用户的情绪。

例如,请参见图8,在远程会议场景中,远程会议场景对应的虚拟会话场景包括虚拟人物a、虚拟人物b、虚拟人物c、及虚拟人物d,虚拟人物a与用户1对应的终端设备对应,虚拟人物b与用户2对应的终端设备对应,虚拟人物c与用户3对应的终端设备对应,虚拟人物d与用户4对应的终端设备对应,当用户3的终端设备对应的用户情绪信息为伤心时,则可以在虚拟人物c的位置处生成表示伤心的虚拟表情,方便用户1、用户3及用户4了解到用户2的情绪。

在本申请实施例中,步骤s310至步骤s370的步骤,也可以由终端设备执行。

本申请实施例提供的虚拟场景的处理方法,可以实现在远程会话的虚拟会话场景中,根据满足设定情绪条件的用户情绪信息所匹配的调整内容,在虚拟会话场景中虚拟对象的位置处生成虚拟标记内容,可以反映用户情绪,便于用户之间相互了解远程会话中用户的情绪,提升远程会话的效果。

请参阅图9,本申请再一实施例提供了虚拟场景的处理方法,该虚拟场景的处理方法可以包括:

步骤s410:生成远程会话对应的虚拟会话场景,虚拟会话场景至少包括远程会话中一个或者多个终端设备对应的虚拟对象。

步骤s420:获取一个或多个终端设备对应的用户数据。

步骤s430:对用户数据进行分析,得到一个或多个终端设备对应的用户情绪信息。

在本申请实施例中,步骤s410至步骤s430可以参阅上述实施例的内容,在此不再赘述。

步骤s440:当用户情绪信息满足设定情绪条件时,获取与满足设定情绪条件的用户情绪信息匹配的调整内容,调整内容包括虚拟提示内容的第二内容数据。

在一些实施方式中,调整内容可以包括虚拟提示内容的第二内容数据;调整内容还可以包括用于指示在虚拟会话场景中生成虚拟提示内容的指示信息,从而服务器可以根据调整内容在虚拟场景中生成虚拟提示内容。虚拟提示内容用于在产生满足设定情绪条件的用户情绪信息的第一用户的终端设备中进行显示,以提示第一用户的情绪,方便第一用户了解自己的情绪。作为一种实施方式,虚拟提示内容可以为与满足设定情绪条件的用户情绪信息对应的文字提示内容,例如,用户情绪信息为愤怒时,虚拟提示内容可以为“您发怒了,请克制自己的情绪”等文字内容。作为另一种实施方式,虚拟标记内容可以为与满足设定情绪条件的用户情绪信息对应的虚拟动画,虚拟动画表情用于体现用户情绪信息,例如,用户情绪信息为走神时,虚拟标记内容可以为表示走神的虚拟动画。

步骤s450:获取与满足设定情绪条件的用户情绪信息对应的第一用户的终端设备。

步骤s460:根据第二内容数据生成虚拟提示内容,虚拟提示内容用于在第一用户的终端设备中显示,以提示第一用户的情绪。

在一些实施方式中,服务器可以在获取到第一用户的终端设备对应的第一虚拟对象之后,可以根据第二内容数据,在用于第一用户的终端设备显示的虚拟会话场景的场景画面中生成虚拟提示内容。服务器在用于第一用户的终端设备显示的虚拟会话场景的场景画面中生成虚拟提示内容后,可以将场景画面的画面数据发送至第一用户的终端设备,以便第一用户通过终端设备查看到虚拟提示内容,方便第一用户了解到自己的情绪,以对情绪进行克制,从而更好的在远程会话中与其他用户进行沟通。

在一些实施方式中,该虚拟场景的处理方法还可以包括:

获取远程会话中除目标设备外的其他终端设备的用户情绪信息,目标设备为身份标识为预设标识的终端设备;根据其他终端设备的用户情绪信息生成反馈数据,并根据反馈数据生成情绪反馈画面,情绪反馈画面用于在目标设备中显示。

其中,可以预先设定身份标识为预设标识的终端设备为目标设备,服务器可以根据远程会话中各个终端设备的用户情绪信息,获取除目标设备外的其他终端设备的用户情绪信息,即获取到其他用户的用户情绪信息,根据其他终端设备的用户情绪信息生成情绪反馈数据。情绪反馈数据可以表征其他用户的用户情绪信息,例如,可以是文字内容、图像内容等。服务器根据情绪反馈数据生成的情绪反馈画面的画面数据,可以传输至目标设备,从而目标设备可以根据情绪反馈画面的画面数据,显示情绪反馈画面,方便目标设备对应的用户了解其他用户中每个用户的情绪。

例如,请参见图10,在远程教学的会话场景中,老师对应的终端设备可以为目标设备,根据学生a1、学生a2及学生a3的用户情绪信息生成的情绪反馈画面,可以由目标设备显示,便于老师了解各个学生的情绪、状态及教学氛围。

在一些实施方式中,远程会话中除目标设备以外的其他终端设备还可以将用户输入的看法、意见信息等信息传输至服务器,服务器可以根据用户的看法、意见信息等信息,生成虚拟画面,该虚拟画面由目标设备显示,从而便于目标设备的用户了解到其他用户的看法和意见。

当然,上述服务器生成情绪反馈画面的实施方式,在前述实施例中也可以进行。

在本申请实施例中,上述服务器执行的步骤,也可以由终端设备执行。

本申请实施例提供的虚拟场景的处理方法,可以实现在远程会话的虚拟会话场景中,根据满足设定情绪条件的用户情绪信息所匹配的调整内容,在虚拟会话场景中生成虚拟提示内容,提示用户的用户情绪,方便用户了解到自己的情绪,以对情绪进行克制,从而更好的在远程会话中与其他用户进行沟通,提升远程会话的效果。

请参见图11,其示出了本申请提供的一种虚拟内容的显示装置400的结构框图。该虚拟内容的显示装置400包括:场景生成模块410、数据获取模块420、情绪分析模块430以及场景调整模块440。其中,场景生成模块410用于生成远程会话对应的虚拟会话场景,虚拟会话场景至少包括远程会话中一个或者多个终端设备对应的虚拟对象;数据获取模块420用于获取远程设备对应的用户数据;情绪分析模块430用于对用户数据进行分析,得到一个或多个终端设备对应的用户情绪信息;场景调整模块440用于当用户情绪信息满足设定情绪条件时,获取与满足设定情绪条件的用户情绪信息匹配的调整内容,并根据调整内容对虚拟会话场景进行调整。

在一些实施方式中,用户数据包括用户的脸部图像。情绪分析模块430可以具体用于:根据脸部图像,获取一个或多个终端设备对应的用户表情及用户神情的至少一种;根据用户表情及用户神情的至少一种,获取一个或多个终端设备对应的用户情绪信息。

在一些实施方式中,用户数据包括用户的语音数据。情绪分析模块430可以具体用于:根据语音数据获取一个或多个终端设备对应的用户语气;根据用户语气获取一个或多个终端设备对应的用户情绪信息。

在一些实施方式中,场景调整模块440可以具体用于:获取与满足设定情绪条件的用户情绪信息对应的第一用户;获取虚拟会话场景中与第一用户关联的第二用户,并获取第二用户的终端设备所对应的第二虚拟对象;根据调整内容,对第二虚拟对象进行调整。

在一些实施方式中,场景调整模块440对虚拟会话场景进行调整,包括:调整虚拟会话场景中的至少部分内容的清晰度、调整虚拟会话场景中的至少部分内容的亮度、对虚拟会话场景中的至少部分内容进行替换、以及对虚拟会话场景中的至少部分内容进行遮挡中的至少一种。

在一些实施方式中,调整内容包括虚拟标记内容的第一内容数据,虚拟标记内容与满足设定情绪条件的用户情绪信息对应。场景调整模块440可以具体用于:获取与满足设定情绪条件的用户情绪信息对应的第一用户的终端设备;获取虚拟会话场景中第一用户的终端设备对应的第一虚拟对象;根据第一内容数据,在虚拟会话场景中第一虚拟对象的位置处,生成虚拟标记内容,虚拟标记内容用于标记第一用户的情绪。

在一些实施方式中,调整内容包括虚拟提示内容的第二内容数据。场景调整模块440可以具体用于:获取与满足设定情绪条件的用户情绪信息对应的第一用户的终端设备;根据第二内容数据生成虚拟提示内容,虚拟提示内容用于在第一用户的终端设备中显示,以提示第一用户的情绪。

在一些实施方式中,虚拟场景的处理装置400还可以包括:情绪信息获取模块以及反馈画面生成模块。情绪信息获取模块用于获取远程会话中除目标设备外的其他终端设备的用户情绪信息,目标设备为身份标识为预设标识的终端设备;反馈画面生成模块用于根据其他终端设备的用户情绪信息生成反馈数据,并根据反馈数据生成情绪反馈画面,情绪反馈画面用于在目标设备中显示。

在一些实施方式中,用户数据包括语音数据。虚拟场景的处理装置400还可以包括:语音提取模块、语音判断模块以及语音调整模块。语音提取模块用于获取满足设定情绪条件的用户情绪信息对应的终端设备的语音数据;语音判断模块用于判断获取的语音数据的分贝值是否大于设定阈值;语音调整模块用于当分贝值大于设定阈值时,降低获取的语音数据的分贝值。

综上,本申请提供的方案,通过生成远程会话对应的虚拟会话场景,虚拟会话场景至少包括远程会话中一个或者多个终端设备对应的虚拟对象,获取一个或多个终端设备采集的用户数据,对用户数据进行分析,得到一个或多个终端设备对应的用户的情绪信息,当用户情绪信息满足设定情绪条件时,获取与满足设定情绪条件的用户情绪信息匹配的调整内容,并根据调整内容对虚拟会话场景进行调整,可以对远程会话中用户的情绪进行反馈,给用户真实的感受,提升远程会话的效果。

在本申请实施例中,执行上述实施例提供的虚拟场景的处理方法的电子设备可以是服务器,也可以是终端设备。

请参考图12,其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、平板电脑、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件:处理器110、存储器120以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行终端设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(digitalsignalprocessing,dsp)、现场可编程门阵列(field-programmablegatearray,fpga)、可编程逻辑阵列(programmablelogicarray,pla)中的至少一种硬件形式来实现。处理器110可集成中央处理器(centralprocessingunit,cpu)、图像处理器(graphicsprocessingunit,gpu)和调制解调器等中的一种或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(randomaccessmemory,ram),也可以包括只读存储器(read-onlymemory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端设备100在使用中所创建的数据等。

在一些实施例中,终端设备100还可以包括图像传感器130,用于采集现实物体的图像以及采集目标场景的场景图像。图像传感器130可以为红外相机,也可以是可见光相机,具体类型在本申请实施例中并不作为限定。

在一个实施例中,终端设备为头戴显示装置,除了包括上述的处理器、存储器及图像传感器外,还可包括如下一个或多个部件:显示模组、光学模组、通信模块以及电源。

显示模组可包括显示控制单元。显示控制单元用于接收处理器渲染后的虚拟内容的显示图像,然后将该显示图像显示并投射至光学模组上,使用户能够通过光学模组观看到虚拟内容。其中,显示装置可以是显示屏或投射装置等,可用于显示图像。

光学模组可采用离轴光学系统或波导光学系统,显示装置显示的显示图像经光学模组后,能够被投射至用户的眼睛。用户在通过光学模组看到显示装置投射的显示图像的同时。在一些实施方式中,用户还能够透过光学模组观察到现实环境,感受虚拟内容与现实环境叠加后的增强现实效果。

通信模块可以是蓝牙、wifi(wireless-fidelity,无线保真)、zigbee(紫峰技术)等模块,头戴显示装置可通过通信模块与终端设备建立通信连接。与终端设备通信连接的头戴显示装置,可以与终端设备进行信息以及指令的交互。例如,头戴显示装置可以通过通信模块接收终端设备的发送的图像数据,根据所接收的图像数据生成虚拟世界的虚拟内容进行显示。

电源可为整个头戴显示装置进行供电,保证头戴显示装置各个部件的正常运行。

请参见图13,其示出了本申请实施例提供的一种服务器的结构框图。该服务器200可以为云服务器、本地服务器等,服务器200可以包括一个或多个如下部件:处理器210、存储器220以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器220中并被配置为由一个或多个处理器210执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。

请参考图14,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。

该计算机可读存储介质800可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1