安全和隐私保护的视频表示的制作方法

本公开总体上涉及视频会议。更具体地，本公开涉及用于通过改善视频会议期间的隐私和视频外观来改善视频会议体验的系统和方法。

背景技术：

1、视频会议可以包括用于由位于不同位置的用户接收和发送音频和/或视频信号的技术。特别地，可以在人之间实时地同时发送视频和/或音频通信。视频会议可以通过实时地利用音频和视频流的数字压缩实现。编解码器或编码器/解码器可以用于执行压缩。所得到的数字流可以被细分为标记的分组，然后可以通过数字网络发送这些标记的分组。

2、历史上有三种类型的视频会议。专用系统可以将所有需要的组件封装到单件设备中。通常，专用系统可以利用具有高质量远程控制的视频相机的控制台，其中可以在一定距离处控制相机。台式系统使用诸如硬件板或软件编解码器的附加装置到标准膝上型计算机以将其转换成视频会议设备。某些平台可以使用web浏览器而不是专用本地应用软件。可以将各种程度的安全性附加到虚拟“房间”。

3、虽然在视频会议领域已经取得了进展，但是现有方法通常限于用户在流传输他们的原始镜头(footage)或根本不流传输任何镜头之间做出决定，并且不考虑替代的隐私和舒适保护的方向。

技术实现思路

1、本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。

2、本公开的一个示例方面针对一种用于视频会议的计算系统。计算系统包括一个或多个处理器和共同存储指令的一个或多个非暂时性计算机可读介质，所述指令在由一个或多个处理器执行时使计算系统执行操作。所述操作包括获得与视频流相关联的数据，所述视频流与用户相关联。操作包括检测视频流内的用户的语义状态。语义状态描述相对于视频会议的用户的活动的含义。操作包括基于用户的语义状态生成用户的一般化视频表示(generalized video representation)。一般化视频表示描绘了用户的语义状态的一般化表示。操作包括将描述一般化视频表示的数据发送到一个或多个附加计算设备，以在视频会议内呈现。

3、本公开的其他方面涉及各种方法、非暂时性计算机可读介质、用户界面和电子设备。

4、参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并构成本说明书的一部分的附图示出了本公开的示例实施例，并且与说明书一起用于解释相关原理。

技术特征：

1.一种用于视频会议的计算系统，所述计算系统包括：

2.根据权利要求1所述的计算系统，其中，操作还包括：

3.根据权利要求2所述的计算系统，其中，用户的活动状态包括活动参与者状态或活动收听者状态中的一个。

4.根据权利要求1-2中任一项所述的计算系统，其中，确定用户的活动状态包括确定用户的静音状态、用户定义的可用性状态、用户日历状态或用户的视频推断状态中的至少一个。

5.根据权利要求4所述的计算系统，其中，用户的静音状态包括用户已静音的状态或用户未静音的状态。

6.根据权利要求4-5中任一项所述的计算系统，其中，用户定义的可用性状态包括用户被占用状态、用户可用状态、用户暂时离开状态或用户离线状态。

7.根据权利要求4-6中任一项所述的计算系统，其中，用户日历状态包括日历空闲状态、日历不可用状态或日历事件已计划状态。

8.根据权利要求4-7中任一项所述的计算系统，其中，用户的视频推断状态包括基于在视频流中检测的活动的存在自动确定用户活动，或者基于在视频流中检测的活动的不存在自动确定没有用户活动。

9.根据权利要求1-9中任一项所述的计算系统，其中，与用户相关联的视频流包括多个原始图像数据，并且用户的一般化视频表示排除所述多个原始图像数据。

10.根据权利要求1-9中任一项所述的计算系统，其中，检测用户的语义状态包括使用机器学习图像分类模型来检测用户的语义状态。

11.根据权利要求1-10中任一项所述的计算系统，其中，基于用户的语义状态生成用户的一般化视频表示包括将用户的语义状态与个性化用户图像的参考数据库进行比较，并输出一个或多个个性化用户图像。

12.根据权利要求1-11中任一项所述的计算系统，其中，基于用户的语义状态生成用户的一般化视频表示包括使用机器学习图像生成模型来生成一般化视频表示。

13.根据权利要求3所述的计算系统，其中，基于用户的语义状态生成一般化视频表示还包括：

14.根据权利要求13所述的计算系统，其中，当用户的活动状态是活动收听者状态时，所述一个或多个期望的图像元素包括以下中的至少一个：

15.根据权利要求3所述的计算系统，其中，当用户的活动状态是活动收听者状态时，用户的一般化视频表示包括以下中的至少一个：

16.根据权利要求13所述的计算系统，其中，当用户的活动状态是活动收听者状态时，基于用户的语义状态生成用户的一般化视频表示包括以下中的一个或多个：

17.根据权利要求13所述的计算系统，其中，基于用户的语义状态生成一般化视频表示还包括：

18.根据权利要求17所述的计算系统，其中，确定与所述一个或多个期望的图像元素相关联的用户许可的级别还包括评估与许可性的滑动尺度相对应的多个不同的且预定义的用户图像释放许可。

19.一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质共同存储指令，所述指令在由一个或多个计算设备执行时使所述一个或多个计算设备执行操作，操作包括：

20.一种计算机实现的方法，包括：

技术总结
一种计算系统和方法，其可用于视频会议中参与者的安全和隐私保护的视频表示。特别地，本公开提供了一种用于基于参与者的语义状态和/或活动状态来生成视频会议参与者的重建的一般流水线。本公开的系统和方法允许通过呈现参与者的一般化表示来传达参与者的必要或有意义的信息的视频会议，同时通过利用机器学习模型从表示中过滤不必要的或不想要的信息。

技术研发人员：C·皮茨,朱玉琨,贾旭辉
受保护的技术使用者：谷歌有限责任公司
技术研发日：
技术公布日：2024/4/22