一种基于家庭边缘计算的智能音视频通话系统及方法与流程

1.本发明涉及智慧家庭技术领域，尤其涉及一种基于家庭边缘计算的智能音视频通话系统及方法。


背景技术：

2.目前，家庭成员想要进行视频通话时，需要使用各自正在使用的智能终端，例如智能手机、智能平板电脑、智能电视等，建立呼叫成员与被呼叫成员之间的视频通话。上述方式在呼叫成员与被呼叫成员距离较远时，经过双方的同意后，可以实现双方的视频通话，但在家庭范围内，由于家庭成员之间距离较近，双方还是采用该方式的话，过程较为繁琐，因此一般不会采用视频通话的方式，而是采用最为原始的面对面的信息传递，使得家庭成员之间的信息传达反而麻烦。
3.随着智能家居、智慧家庭概念的兴起，现有技术中家庭成员同时在家庭范围内进行面对面的信息传递已经无法满足家庭成员沟通的智能化、智慧化的需求了。


技术实现要素：

4.本发明提供一种基于家庭边缘计算的智能音视频通话系统及方法，用以解决现有技术中家庭成员距离较近时进行信息传递反而更加麻烦的缺陷，实现在家庭范围内在不直接面对面的情况下，采用简单的方式进行家庭成员之间信息传递，满足家庭成员沟通的智能化、智慧化的需求。
5.本发明提供一种基于家庭边缘计算的智能音视频通话系统，包括：
6.家庭边缘计算主机和家庭范围内的通信设备以及若干智能交互终端，所述智能交互终端和所述家庭边缘计算主机均与所述通信设备建立连接；
7.所述智能交互终端用于在采集范围内采集家庭成员的交互信息，以及，生成视频通话请求，与被呼叫成员之间建立视频通话；其中，所述交互信息包括音频信息和视频信息；
8.所述家庭边缘计算主机用于基于交互信息，识别对应的所述家庭成员以及所述家庭成员在家庭内的活动轨迹和位置，以及，获取家庭成员的所述视频通话请求，识别出所述视频通话请求对应的所述被呼叫成员，并发起生成所述视频通话请求的呼叫成员与被呼叫成员之间的视频通话。
9.根据本发明提供的基于家庭边缘计算的智能音视频通话系统，所述智能交互终端包括智能手机、智能平板电脑、智能电视、智能音箱、智能家居智能面板以及智能冰箱前面板交互屏。
10.根据本发明提供的基于家庭边缘计算的智能音视频通话系统，所述家庭边缘计算主机由中央处理器、人工智能算力加速卡、内存、硬盘、电源、局域网连接通信接口组成。
11.根据本发明提供的基于家庭边缘计算的智能音视频通话系统，所述家庭边缘计算主机构成家庭边缘计算中心，且，所述家庭边缘计算主机内具有成员识别模型，所述成员识
别模型包括声纹识别模型、人脸识别技术模型、语音语义分析模型和机器视觉识别模型。
12.根据本发明提供的基于家庭边缘计算的智能音视频通话系统，所述通信设备为路由器。
13.本发明还提供一种基于家庭边缘计算的智能音视频通话方法，应用于所述家庭边缘计算主机，包括以下步骤：
14.通过所述通信设备获取所述智能交互终端采集的所述交互信息；
15.将所述交互信息输入至所述成员识别模型中，得到所述成员识别模型输出的所述视频通话请求、发起该所述视频通话请求的呼叫成员以及该所述视频通话请求对应的被呼叫成员；
16.发起生成所述视频通话请求的呼叫成员与对应的被呼叫成员之间的视频通话。
17.根据本发明提供的基于家庭边缘计算的智能音视频通话方法，所述发起生成所述视频通话请求的呼叫成员与对应的被呼叫成员之间的视频通话，具体包括以下步骤：
18.确定呼叫成员与被呼叫成员分别在家庭内的活动轨迹和位置；
19.基于活动轨迹和位置，建立呼叫成员与对应的被呼叫成员之间的视频通话。
20.根据本发明提供的基于家庭边缘计算的智能音视频通话方法，所述基于活动轨迹和位置，建立呼叫成员与对应的被呼叫成员之间的视频通话，具体包括以下步骤：
21.确定第一智能交互终端以及第二智能交互终端；其中，所述第一智能交互终端为距离所述呼叫成员最近的所述智能交互终端，所述第二智能交互终端为距离所述被呼叫成员最近的所述智能交互终端；
22.利用所述第一智能交互终端以及所述第二智能交互终端，建立呼叫成员与对应的被呼叫成员之间的视频通话。
23.根据本发明提供的基于家庭边缘计算的智能音视频通话方法，该方法还包括以下步骤：
24.获取结束请求，断开生成所述视频通话请求的呼叫成员与对应的被呼叫成员之间的视频通话；其中，所述结束请求为将所述交互信息输入至所述成员识别模型中输出得到的。
25.根据本发明提供的基于家庭边缘计算的智能音视频通话方法，该方法在所述通过所述通信设备获取所述智能交互终端采集的所述交互信息之前，还包括以下步骤：
26.建立所述智能交互终端、所述家庭边缘计算主机与所述通信设备之间的连接。
27.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于家庭边缘计算的智能音视频通话方法的步骤。
28.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于家庭边缘计算的智能音视频通话方法的步骤。
29.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于家庭边缘计算的智能音视频通话方法的步骤。
30.本发明提供的基于家庭边缘计算的智能音视频通话系统及方法，该系统充分利用家庭边缘计算主机来处理家庭范围内的隐私的交互信息即音视频信息，家庭范围内的音视
频通话、摄像头采集的视频、麦克风采集的声音等家庭隐私信息在家庭边缘计算主机处进行集中处理，可以不连接外部网络或云平台，从根本上保障了家庭数据隐私不会泄露；由家庭边缘计算主机通过通信设备连接各智能交互终端，汇聚家庭范围内各个智能交互终端实时采集的人机交互数据，如语音、视频、触控屏端的交互信息等，通过人工智能技术，识别用户身份、行为、活动，从而确认家庭范围内各个成员的实时位置和行为内，确定视频通话请求的呼叫成员和被呼叫成员，并且由家庭边缘计算主机支撑家庭范围内各个智能交互终端之间音视频通话的功能，以此来发起生成视频通话请求的呼叫成员与被呼叫成员之间的视频通话。通关使用本发明的基于家庭边缘计算的智能音视频通话系统，能够在家庭范围内在不直接面对面的情况下，采用简单的方式进行家庭成员之间信息传递，满足家庭成员沟通的智能化、智慧化的需求；
31.该方法家庭成员在家庭范围内，家庭边缘计算主机会获取距离双方分别最近的第一智能交互终端以及第二智能交互终端，具体应用场景可以为：呼叫成员就近通过语音等方式唤醒智能交互终端，并说出自己要呼叫被叫成员的意图，家庭边缘计算主机自动判断被呼叫者所处的位置，并在选取距离被呼叫成员最近、最方便接听的智能交互终端作为第二智能交互终端连接与呼叫成员之间的视频通话。
附图说明
32.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1是本发明提供的基于家庭边缘计算的智能音视频通话系统的结构示意图；
34.图2是本发明提供的基于家庭边缘计算的智能音视频通话方法的流程示意图之一；
35.图3是本发明提供的基于家庭边缘计算的智能音视频通话方法中步骤s400具体的流程示意图；
36.图4是本发明提供的基于家庭边缘计算的智能音视频通话方法中步骤s420具体的流程示意图；
37.图5是本发明提供的基于家庭边缘计算的智能音视频通话方法的流程示意图之二；
38.图6是本发明提供的基于家庭边缘计算的智能音视频通话方法的流程示意图之三；
39.图7是本发明提供的电子设备的结构示意图。
具体实施方式
40.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.下面结合图1描述本发明的基于家庭边缘计算的智能音视频通话系统，该系统包括：
42.家庭边缘计算主机100和家庭范围内的通信设备200以及若干智能交互终端300，智能交互终端300和家庭边缘计算主机100均与通信设备200建立连接；
43.智能交互终端300用于在采集范围内采集家庭成员的交互信息，以及，生成视频通话请求，与被呼叫成员之间建立视频通话；其中，交互信息包括音频信息和视频信息；
44.家庭边缘计算主机100用于基于交互信息，识别对应的家庭成员以及家庭成员在家庭内的活动轨迹和位置，以及，获取家庭成员的视频通话请求，识别出视频通话请求对应的被呼叫成员，并发起生成视频通话请求的呼叫成员与被呼叫成员之间的视频通话。
45.在本实施例中，智能交互终端300包括但不局限于智能手机、智能平板电脑、智能电视、智能音箱、智能家居智能面板以及智能冰箱前面板交互屏等。同时，需要说明的是，包含上述智能设备类别的智能交互终端300智能交互终端设备具有摄像头、麦克风、触摸屏、显示屏、音箱等多媒体交互装置，具备多模态人机交互功能，以便于采集智能交互终端300采集范围内的家庭成员的交互信息。
46.多模态交互技术即基于语音识别技术、视频识别技术，对家庭成员发出的语音、活动视频进行采集；基于语音语义分析技术和机器视觉识别技术，对于家庭成员行为、意图、注意力等进行识别。
47.在本实施例中，家庭边缘计算主机100由中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)/嵌入式神经网络处理器(neural-network processing unit，npu)等人工智能算力加速卡、内存、硬盘、电源、局域网连接通信接口组成。家庭边缘计算主机100具备通过通信设备200连接家庭范围内各个智能交互终端300的功能，构成家庭边缘计算中心，运行各个声纹识别模型、人脸识别技术模型、语音语义分析模型和机器视觉识别模型等基于人工智能算法的成员识别模型，为同智能交互终端300之间的智能交互功能提供算力支撑。优选的，通信设备200可以采用路由器。
48.可以理解的是，家庭边缘计算主机100不仅可以具有家庭范围内各种智能交互终端300的连接功能，还具有家庭范围内音视频数据存储功能，为人工智能算法提供边缘算力平台，运行相应的成员识别模型。
49.在该系统中，智能交互终端300可以布置并分布在家庭范围各个位置的，各种具备人机交互能力的智能交互终端300，能够采集成员语音、视频，并具备多模态人机交互能力。
50.本发明的基于家庭边缘计算的智能音视频通话系统，充分利用家庭边缘计算主机100来处理家庭范围内的隐私的交互信息即音视频信息，家庭范围内的音视频通话、摄像头采集的视频、麦克风采集的声音等家庭隐私信息在家庭边缘计算主机100处进行集中处理，可以不连接外部网络或云平台，从根本上保障了家庭数据隐私不会泄露；由家庭边缘计算主机100通过通信设备200连接各智能交互终端300，汇聚家庭范围内各个智能交互终端300实时采集的人机交互数据，如语音、视频、触控屏端的交互信息等，通过人工智能技术，识别用户身份、行为、活动，从而确认家庭范围内各个成员的实时位置和行为内，确定视频通话请求的呼叫成员和被呼叫成员，并且由家庭边缘计算主机100支撑家庭范围内各个智能交互终端300之间音视频通话的功能，以此来发起生成视频通话请求的呼叫成员与被呼叫成员之间的视频通话。通关使用本发明的基于家庭边缘计算的智能音视频通话系统，能够在
家庭范围内在不直接面对面的情况下，采用简单的方式进行家庭成员之间信息传递，满足家庭成员沟通的智能化、智慧化的需求。
51.下面结合图2描述本发明的基于家庭边缘计算的智能音视频通话方法，该方法基于本发明的基于家庭边缘计算的智能音视频通话系统所实现，该方法应用于家庭边缘计算主机100，包括以下步骤：
52.s200、通过通信设备200获取家庭范围内各个智能交互终端300采集的交互信息。
53.s300、将交互信息输入至成员识别模型中，得到成员识别模型输出的视频通话请求、发起该视频通话请求的呼叫成员以及该视频通话请求对应的被呼叫成员。
54.s400、发起生成视频通话请求的呼叫成员与对应的被呼叫成员之间的视频通话。
55.其中，下面结合图3描述本发明的基于家庭边缘计算的智能音视频通话方法，步骤s400具体包括以下步骤：
56.s410、确定呼叫成员与被呼叫成员分别在家庭内的活动轨迹和位置。步骤s410同样是通过将交互信息输入至成员识别模型中，由成员识别模型中输出得到的。
57.s420、基于活动轨迹和位置，建立呼叫成员与对应的被呼叫成员之间的视频通话。
58.下面结合图4描述本发明的基于家庭边缘计算的智能音视频通话方法，步骤s420具体包括以下步骤：
59.s421、确定第一智能交互终端以及第二智能交互终端；其中，第一智能交互终端为距离呼叫成员最近的智能交互终端，第二智能交互终端为距离被呼叫成员最近的智能交互终端。
60.s422、利用第一智能交互终端以及第二智能交互终端，建立呼叫成员与对应的被呼叫成员之间的视频通话。
61.下面结合图5描述本发明的基于家庭边缘计算的智能音视频通话方法，该方法还包括以下步骤：
62.s500、获取结束请求，断开生成视频通话请求的呼叫成员与对应的被呼叫成员之间的视频通话；其中，结束请求为将交互信息输入至成员识别模型中输出得到的。
63.需要说明的是，该方法，包括该系统中，家庭边缘计算主机100在建立/断开呼叫成员与被呼叫成员视频通话时，均需要经过呼叫成员与被呼叫成员双方的同意，例如通过第一智能交互终端以及第二智能交互终端发出相应的提示信息，提示信息包括但不局限于声音信息、图像信息等，以此来提醒双方进行视频通话或者接收视频通话，在经过呼叫成员与被呼叫成员的同意后，方能建立/断开本发明提到的呼叫成员与被呼叫成员视频通话。
64.下面结合图6描述本发明的基于家庭边缘计算的智能音视频通话方法，该方法在步骤s200之前还包括以下步骤：
65.s100、建立智能交互终端300、家庭边缘计算主机100与通信设备200之间的连接。
66.本发明的基于家庭边缘计算的智能音视频通话方法，在本发明的基于家庭边缘计算的智能音视频通话系统的基础上，家庭成员在家庭范围内，家庭边缘计算主机100会获取距离双方分别最近的第一智能交互终端以及第二智能交互终端，具体应用场景可以为：呼叫成员就近通过语音等方式唤醒智能交互终端300，并说出自己要呼叫被叫成员的意图，家庭边缘计算主机100自动判断被呼叫者所处的位置，并在选取距离被呼叫成员最近、最方便接听的智能交互终端300作为第二智能交互终端连接与呼叫成员之间的视频通话。
67.图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)810、通信接口(communications interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行基于家庭边缘计算的智能音视频通话方法，该方法包括以下步骤：
68.s100、通过所述通信设备200获取所述智能交互终端300采集的所述交互信息；
69.s200、将所述交互信息输入至所述成员识别模型中，得到所述成员识别模型输出的所述视频通话请求、发起该所述视频通话请求的呼叫成员以及该所述视频通话请求对应的被呼叫成员；
70.s300、发起生成所述视频通话请求的呼叫成员与对应的被呼叫成员之间的视频通话。
71.此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
72.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于家庭边缘计算的智能音视频通话方法，该方法包括以下步骤：
73.s100、通过所述通信设备200获取所述智能交互终端300采集的所述交互信息；
74.s200、将所述交互信息输入至所述成员识别模型中，得到所述成员识别模型输出的所述视频通话请求、发起该所述视频通话请求的呼叫成员以及该所述视频通话请求对应的被呼叫成员；
75.s300、发起生成所述视频通话请求的呼叫成员与对应的被呼叫成员之间的视频通话。
76.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于家庭边缘计算的智能音视频通话方法，该方法包括以下步骤：
77.s100、通过所述通信设备200获取所述智能交互终端300采集的所述交互信息；
78.s200、将所述交互信息输入至所述成员识别模型中，得到所述成员识别模型输出的所述视频通话请求、发起该所述视频通话请求的呼叫成员以及该所述视频通话请求对应的被呼叫成员；
79.s300、发起生成所述视频通话请求的呼叫成员与对应的被呼叫成员之间的视频通话。
80.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可
以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
81.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
82.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。