一种音视频通话场景的交互方法、装置及系统与流程

1.本发明涉及计算机技术领域，尤其涉及一种音视频通话场景的交互方法、装置及系统。


背景技术：

2.随着社会的不断发展，很多人都离开了自己的出生地，外出工作，很久都可能无法和家人、亲朋好友团聚，交流的方式多为通过网络实现的音视频通话。目前的音视频通话偏向于保证音视频通话的质量，或者增加通话者相貌美化功能，很少会考虑通话双方所处的环境给人的主观影响所造成的用户体验较差的问题，缺少沉浸式的交互体验。
3.目前，针对相关技术中音视频通话因未考虑通话双方所处的环境给人的主观影响所造成的用户体验较差的问题，尚未提出有效的解决方案。


技术实现要素：

4.本公开的目的是针对现有技术中的不足，提供一种音视频通话场景的交互方法、装置及系统，以及电子设备和计算机可读存储介质，以至少解决相关技术中音视频通话因未考虑通话双方所处的环境给人的主观影响所造成的用户体验较差的问题。
5.根据本公开的一方面，提供了一种音视频通话场景的交互方法，包括：
6.在音视频通话过程中，判断是否对通话场景进行切换，其中，所述通话场景为通话双方的背景环境；
7.若判断出对通话场景进行切换，则将通话双方的背景环境均切换为目标场景；
8.若判断出不对通话场景进行切换，则保持通话双方各自的背景环境。
9.根据本公开的另一方面，提供了一种音视频通话场景的交互装置，包括：
10.判断单元，用于在音视频通话过程中，判断是否对通话场景进行切换，其中，所述通话场景为通话双方的背景环境；
11.切换单元，用于若判断出对通话场景进行切换，则将通话双方的背景环境均切换为目标场景；
12.保持单元，用于若判断出不对通话场景进行切换，则保持通话双方各自的背景环境。
13.根据本公开的另一方面，提供了一种音视频通话场景的交互系统，包括：
14.音视频通话终端设备，包括音视频通话模块和通话场景成像模块，其中，所述通话场景成像模块用于根据通话场景数据进行成像显示；
15.应用服务器，与所述音视频通话终端设备通信连接，包括音视频数据服务单元和操作指令处理单元，其中，所述操作指令处理单元用于将场景切换指令发送给场景服务器，并接收所述场景服务器返回的所述通话场景数据；
16.所述场景服务器，与所述应用服务器通信连接，用于根据所述场景切换指令生成所述通话场景数据，并将所述通话场景数据返回给所述应用服务器。
17.根据本公开的另一方面，提供了一种电子设备，包括：
18.处理器；以及
19.存储程序的存储器，
20.其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行本公开中的所述视频通话场景的交互方法。
21.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开中的所述视频通话场景的交互方法。
22.本公开实施例中提供的一个或多个技术方案，通过在音视频通话过程中，判断是否对通话场景进行切换，其中，所述通话场景为通话双方的背景环境；若判断出对通话场景进行切换，则将通话双方的背景环境均切换为目标场景；若判断出不对通话场景进行切换，则保持通话双方各自的背景环境。通过本公开，解决了相关技术中音视频通话因未考虑通话双方所处的环境给人的主观影响所造成的用户体验较差的问题，实现了提高音视频通话的用户体验的效果。
附图说明
23.在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
24.图1示出了根据本公开示例性实施例的可以在其中实施本文描述的各种方法的音视频通话场景的交互系统的示意图；
25.图2示出了根据本公开示例性实施例的音视频通话场景的交互方法的流程图；
26.图3示出了根据本公开示例性实施例的一种可选的音视频通话场景的交互方法的流程图；
27.图4示出了根据本公开示例性实施例的音视频通话场景的交互装置的示意性框图；
28.图5示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
29.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
30.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
31.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者
相互依存关系。
32.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
33.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
34.以下参照附图描述本公开的方案。
35.本公开示例性实施例提供了一种音视频通话场景的交互系统。图1示出了根据本公开示例性实施例的可以在其中实施本文描述的各种方法的音视频通话场景的交互系统的示意图，如图1所示，该系统包括：音视频通话终端设备10、应用服务器20和场景服务器30。
36.音视频通话终端设备10，包括音视频通话模块101和通话场景成像模块102，其中，所述音视频通话模块101用于控制通话双方的音视频通话，所述通话场景成像模块102用于根据通话场景数据进行成像显示。
37.在其中一些实施例中，所述通话场景成像模块202可以包括：
38.图像处理模块，用于采集通话双方的背景环境，如摄像头等可以获取影像的设备。
39.成像投影模块，用于根据所述通话场景数据进行成像显示。成像投影模块可以对最终的通话场景进行3d显示，形成沉浸式通话环境。
40.应用服务器20，与所述音视频通话终端设备10通信连接，包括音视频数据服务单元201和操作指令处理单元202，其中，所述音视频数据服务单元201用于控制通话双方的音视频通话以及处理通话双方的音视频数据，所述操作指令处理单元202用于将场景切换指令发送给场景服务器30，并接收所述场景服务器30返回的所述通话场景数据。
41.所述场景服务器30，与所述应用服务器20通信连接，包括机器学习建模模块301和场景生成服务模块302，机器学习建模模块301用于根据所述场景切换指令生成通话场景模型，场景生成服务模块302用于根据所述通话场景模型生成所述通话场景数据。所述场景服务器30根据所述场景切换指令生成所述通话场景数据之后，将所述通话场景数据返回给所述应用服务器20。
42.需要说明的是，本公开示例性实施例中的音视频通话场景是指通话双方所处的物理环境，也即通话时的背景环境。
43.本公开示例性实施例中，音视频通话终端设备通过用户操作指令与云端的应用服务器通信；应用服务器根据对应指令进行正常的音视频通话，通过场景切换指令与场景服务器的通信完成当前通话场景的生成；场景服务器接收到具体场景切换指令后区分场景类型获取基本场景数据生成对应通话场景模型，通话场景模型创建后通过场景生成服务模块生成具体的通话场景数据，然后通知应用服务器的操作指令处理单元，操作指令处理单元再通知音视频通话终端设备完成通话场景成像显示。
44.本公开示例性实施例提供了一种音视频通话场景的交互方法。图2示出了根据本公开示例性实施例的音视频通话场景的交互方法的流程图，如图2所示，该方法包括如下步骤：
45.步骤s201，在音视频通话过程中，判断是否对通话场景进行切换，其中，所述通话场景为通话双方的背景环境；
46.步骤s202，若判断出对通话场景进行切换，则将通话双方的背景环境均切换为目标场景；
47.步骤s203，若判断出不对通话场景进行切换，则保持通话双方各自的背景环境。
48.通过上述步骤，解决了相关技术中音视频通话因未考虑通话双方所处的环境给人的主观影响所造成的用户体验较差的问题，实现了提高音视频通话的用户体验的效果。
49.在其中一些实施例中，在音视频通话过程中，可以在通话界面中设置通话场景切换操作触控区，若检测到通话场景切换操作触控区的触控信号，则可以确定对通话场景进行切换。
50.若判断出不对通话场景进行切换，则可以保持通话双方各自的背景环境；若判断出对通话场景进行切换，则将通话双方的背景环境均切换为目标场景。
51.在其中一些实施例中，若判断出对通话场景进行切换，则将通话双方的背景环境均切换为目标场景，包括：
52.生成所述目标场景的通话场景模型；
53.生成所述通话场景模型的通话场景数据；
54.将所述通话场景数据发送至通话双方的音视频通话终端设备上进行显示。
55.在其中一些实施例中，通话双方可以选择将通话场景切换为系统场景，也可以选择将通话场景切换为任一方的背景环境。
56.在确定将所述通话场景切换为系统场景中的其中之一的情况下，可以将所述系统场景中的其中之一确定为所述目标场景。在此情况下，可以直接根据系统场景中的其中之一生成所述目标场景的通话场景模型；然后再生成所述通话场景模型的通话场景数据；最后将所述通话场景数据发送至通话双方的音视频通话终端设备上进行显示。
57.在确定将所述通话场景切换为通话双方中其中一方的背景环境的情况下，首先采集所述通话双方中其中一方的背景环境数据，根据所述背景环境数据生成所述目标场景的通话场景模型；然后再生成所述通话场景模型的通话场景数据；最后将所述通话场景数据发送至通话双方的音视频通话终端设备上进行显示。
58.本公开示例性实施例提供的一种沉浸式音视频通话场景的交互方法，具体交互流程可以如图3所示，包括以下步骤s301至步骤s311。
59.步骤s301，用户通过在智能电视或手机等设备上打开具备音视频通话的应用，并根据拨打规则拨打音视频通话。
60.步骤s302，被叫方接通音视频通话可正常看到拨打方画面及听到声音，此时为正常通话场景，遵循各自当前所处环境场景。
61.步骤s303，通话双方协商需要使用的通话场景，通过应用界面提供的功能按钮选择合适的沉浸式通话场景。通话场景类型可以包括：拨打方当前所在环境下的场景，如当前好友聚会的场景；被叫方当前所在环境下的场景，如父母想看孩子生活环境的场景；系统支持的场景，如知名景点等。
62.步骤s304，判断是否进行通话场景的切换。如执行步骤s305不切换当前通话场景则继续当前普通通话场景，如选择了某种场景则执行步骤s306根据场景规则切换当前通话场景。
63.步骤s307，如选择被叫方或拨打方当前环境为通话场景，则执行步骤s308通过摄
像头获取选择的环境场景数据，通过云端服务器通过人工智能深度学习算法生成通话场景模型。
64.步骤s309，如选择为系统场景，则应用界面弹出场景列表供用户进行选择，如当前通话提到某一知名景点在系统场景中有提供则可以选择切换。然后执行步骤s310根据设置场景通过云端服务器根据深度学习算法生成通话场景模型；
65.步骤s311，通过3d成像及虚拟现实、人工智能技术，通过成像投射示模块将通话场景投射到通话双方面前，形成在同一环境下，面对面的沉浸式通话体验。
66.本公开给用户提供了一种基于app、云平台、智能终端设备，基于音视频通话、人工智能、虚拟现实、3d成像技术、沉浸式可多场景切换，模拟真实环境的身临其境的音视频通话交互方式，全新的通话场景交互方式，突出使用的沉浸式、智能化，使用户得到更大的互动，增进通话双方的情感交流，进一步提升在音视频通话的体验，优化交互过程，将多种技术基于用户使用场景下的深度融合，体现了产品的高科技感和人文关怀，突出科技以人为本，增强情感交流和用户体验。
67.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
68.本公开示例性实施例还提供了一种音视频通话场景的交互装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
69.图4示出了根据本公开示例性实施例的音视频通话场景的交互装置的示意性框图，如图4所示，该装置包括：
70.判断单元41，用于在音视频通话过程中，判断是否对通话场景进行切换，其中，所述通话场景为通话双方的背景环境；
71.切换单元42，用于若判断出对通话场景进行切换，则将通话双方的背景环境均切换为目标场景；
72.保持单元43，用于若判断出不对通话场景进行切换，则保持通话双方各自的背景环境。
73.在其中一些实施例中，所述切换单元42包括：
74.第一生成模块，用于生成所述目标场景的通话场景模型；
75.第二生成模块，用于生成所述通话场景模型的通话场景数据；
76.显示模块，用于将所述通话场景数据发送至通话双方的音视频通话终端设备上进行显示。
77.在其中一些实施例中，所述切换单元42包括：
78.确定模块，用于在确定将所述通话场景切换为系统场景中的其中之一的情况下，将所述系统场景中的其中之一确定为所述目标场景。
79.在其中一些实施例中，所述第一生成模块包括：
80.采集子模块，用于在确定将所述通话场景切换为通话双方中其中一方的背景环境的情况下，采集所述通话双方中其中一方的背景环境数据；
81.生成子模块，用于根据所述背景环境数据生成所述目标场景的通话场景模型。
82.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
83.本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。
84.本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
85.本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
86.参考图5，现将描述可以作为本公开的服务器或客户端的电子设备500的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
87.如图5所示，电子设备500包括计算单元501，其可以根据存储在只读存储器(rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(ram)503中的计算机程序，来执行各种适当的动作和处理。在ram 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
88.电子设备500中的多个部件连接至i/o接口505，包括：输入单元506、输出单元507、存储单元508以及通信单元509。输入单元506可以是能向电子设备500输入信息的任何类型的设备，输入单元506可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元507可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元508可以包括但不限于磁盘、光盘。通信单元509允许电子设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙设备、wifi设备、wimax设备、蜂窝通信设备和/或类似物。
89.计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理。
例如，在一些实施例中，音视频通话场景的交互方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom 502和/或通信单元509而被载入和/或安装到电子设备500上。在一些实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行音视频通话场景的交互方法。
90.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
91.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
92.如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
93.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
94.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
95.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。