用于保护隐私和安全的认知部件及用户界面组件的制作方法

本发明总体上涉及隐私和掩蔽系统，更具体地，涉及应用被配置和组织为保护隐私和安全的认知部件(widgets)和用户界面(ui)组件的系统，计算机实现的方法以及计算机程序产品。

背景技术：

有数种情况下计算机系统中用户需要在计算机设备的用户界面输入隐私信息。例如，计算机系统可以包括用户认证机制，其需要用户在用户界面输入身份认证凭据(例如，用户名和密码)以访问计算机系统。另一个例子中，一些基于表格的授权界面需要用户输入用户界面隐私项和/或个人数据(例如，密码，用户名，社保号，地址，信用卡号码，等)。有不同的机制防止未被授权的人在计算机设备的用户界面查看这些隐私项和/或个人数据。一个机制是整体覆盖住用户在特定域输入数据的用户界面。另一个机制是在用户界面上简要显示输入一个域的字符。另一个机制是给用户显示或不显示隐私项和/或个人数据的选择。

技术实现要素：

本发明的实施例提供了一个在用户界面自动保护隐私的计算机实现的方法。该计算机实现的方法的非限制性实施例包括检测通过计算机设备的用户界面向第一用户呈现的一个或多个隐私对象。该方法至少部分基于分析由该计算机设备的音频捕获装置捕获的音频来评估该用户界面的安全状态。至少部分基于确定该安全状况为非安全状态，激活该用户界面的隐私模式，其中该用户界面执行和检测到的一个或多个隐私对象相关联的一个或多个隐私动作。在本发明的一些实施例中，至少部分基于确定该安全状况由非安全状态变为安全状态而去活该隐私模式，其中至少部分基于分析由该计算设备的音频捕获装置捕获的音频来确定该安全状况由非安全变为安全。

本发明的实施例提供了一个在用户界面自动保护隐私的系统，该系统包括被配置为执行方法的一个或多个处理器。该计算机实现的方法的非限制性实施例包括检测通过计算机设备的用户界面向第一用户呈现的一个或多个隐私对象。该方法至少部分基于分析由该计算机设备的音频捕获装置捕获的音频来评估该用户界面的安全状态。至少部分基于确定该安全状况为非安全状态，激活该用户界面的隐私模式，其中该用户界面执行和一个或多个检测到的隐私对象相关联的一个或多个隐私动作。在本发明的一些实施例中，至少部分基于确定安全状况由非安全状态变为安全状态而去活该隐私模式，其中至少部分基于分析由该计算设备的音频捕获装置捕获的音频来确定该安全状况由非安全变为安全。

本发明的实施例指向了一个在用户界面自动保护隐私的计算机程序产品，该计算机程序产品包括其上存储有程序指令的计算机可读存储介质。该程序指令可由具有一个或多个处理器的系统执行，以使得该系统执行一个方法。该计算机实现的方法的非限制性实施例包括检测通过计算机设备的用户界面向第一用户呈现的一个或多个隐私对象。该方法至少部分基于分析由该计算机设备的音频捕获装置捕获的音频来评估该用户界面的安全状态。至少部分基于确定该安全状况为非安全状态，激活该用户界面的隐私模式，其中该用户界面执行和检测到的一个或多个隐私对象相关联的一个或多个隐私动作。在本发明的一些实施例中，至少部分基于确定安全状况由非安全状态变为安全状态而去活该隐私模式，其中至少部分基于分析由该计算设备的音频捕获装置捕获的音频来确定该安全状况由非安全变为安全。

通过本发明的技术实现了其他技术特征和益处。本文详细描述了本发明的实施例和方面，并且认为是所要求保护的主题的一部分。为了更好地理解，请参阅详具体实施方式和附图。

附图说明

本文所述专有权的细节在依据说明书总结的权利要求中特别指出并清楚地要求保护。通过以下结合附图的详细描述，本发明的实施例的前述和其他特征和优点将变得显而易见，其中：

图1表示根据本发明一个或多个实施例的云计算环境；

图2表示根据本发明一个或多个实施例的抽象模型层；

图3表示能够实施本发明一个或多个实施例的示例计算机系统；

图4表示根据本发明的一个或多个实施例的能够自动保护用户界面的敏感信息的隐私的示例系统。

图5表示根据本发明的一个或多个实施例的用户界面的第一屏幕示例；

图6表示根据本发明的一个或多个实施例的图5的用户界面的第二屏幕示例；和

图7表示根据本发明的一个或多个实施例的说明方法的流程图。

这里描绘的图是说明性的。在不脱离本发明的精神的情况下，可以对图或其中描述的操作进行许多变化。例如，可以以不同的顺序执行动作，或者可以添加，删除或修改动作。而且，术语“耦合”及其变形描述了在两个组件之间具有通信路径，并不意味着组件之间的直接连接而在它们之间没有中间组件/连接。所有这些变化都被认为是说明书的一部分。

在所附图中以及所公开实施例的以下详细描述中，附图中所示的各种元素具有两个或三个数字的附图标记。除了少数例外，每个参考数字的最左边的数字对应于其元素首先被示出的图形。

具体实施方式

这里参考相关附图描述了本发明的各种实施例。在不脱离本发明的范围的情况下，可以设计出本发明的替代实施例。在以下描述和附图中，在组件之间阐述了各种连接和位置关系(例如，上方，下方，相邻等)。除非另有说明，这些连接和/或位置关系可以是直接的或间接的，并且本发明并不意图在这方面进行限制。因此，实体的耦合可以指直接或间接耦合，并且实体之间的位置关系可以是直接或间接的位置关系。此外，本文描述的各种任务和处理步骤可以合并到更全面的过程或程序中，该过程或程序具有本文未详细描述的附加步骤或功能。

以下定义和缩写将用于解释权利要求和说明书。如本文所使用的，术语“包括”，“包含”，“具有”或“含有”或其任何其他变型旨在涵盖非独占概括。例如，包含元素列表的组合物，混合物，过程，方法，制品或装置不一定仅限于那些元素，而是可以包括未明确列出或这种组合物固有的其他元素，混合物，过程，方法，制品或设备。

另外，术语“示例性”在本文中用于表示“用作示例，实例或说明”。本文中描述为“示例性”的任何实施例或设计不必被解释为比其他实施例或者设计优选或有利。术语“至少一个”和“一个或多个”可以被理解为包括大于或等于1的任何整数，即一个，两个，三个，四个等。术语“多个”可以被理解为包括任何大于或等于2的整数，即两个，三个，四个，五个等。术语“连接”可以包括间接“连接”和直接“连接”。

术语“约”，“基本上”，“大约”及其变体旨在包括与基于提交申请时可用设备的特定量的测量相关联的误差程度。例如，“约”可以包括给定值的±8％或5％，或2％的范围。

为简洁起见，本文中可能会或可能不会详细描述与制造和使用本发明的方面有关的传统技术。特别地，用于实现本文描述的各种技术特征的计算系统和特定计算机程序的各个方面是公知的。因此，为了简洁起见，在此仅简要地提及许多传统的实现细节，或者在不提供公知的系统和/或处理细节的情况下完全省略许多传统的实现细节。

应当理解，尽管本公开包括关于云计算的详细描述，但是本文所述的教导的实现不限于云计算环境。相反，本发明的实施例能够结合现在已知或以后开发的任何其他类型的计算环境来实现。

云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。

特征包括：

按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。

广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理pda)对云的使用。

资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。

迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。

可测量的服务：云系统通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。

服务模型如下：

软件即服务(saas)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作系统、存储、乃至单个应用能力等的底层云基础架构。

平台即服务(paas)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作系统或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。

基础架构即服务(iaas)：向消费者提供的能力是消费者能够在其中部署并运行包括操作系统和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作系统、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。

部署模型如下：

私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。

共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。

公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。

混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。

云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。

现在参考图1，其中显示了示例性的云计算环境50。如图所示，云计算环境50包括云计算消费者使用的本地计算设备可以与其相通信的一个或者多个云计算节点10，本地计算设备例如可以是个人数字助理(pda)或移动电话54a，台式电脑54b、笔记本电脑54c和/或汽车计算机系统54n。云计算节点10之间可以相互通信。可以在包括但不限于如上所述的私有云、共同体云、公共云或混合云或者它们的组合的一个或者多个网络中将云计算节点10进行物理或虚拟分组(图中未显示)。这样，云的消费者无需在本地计算设备上维护资源就能请求云计算环境50提供的基础架构即服务(iaas)、平台即服务(paas)和/或软件即服务(saas)。应当理解，图1显示的各类计算设备54a-n仅仅是示意性的，云计算节点10以及云计算环境50可以与任意类型网络上和/或网络可寻址连接的任意类型的计算设备(例如使用网络浏览器)通信。

现在参考图2，其中显示了云计算环境50(图1)提供的一组功能抽象层。首先应当理解，图2所示的组件、层以及功能都仅仅是示意性的，本发明的实施例不限于此。如图2所示，提供下列层和对应功能：

硬件和软件层60包括硬件和软件组件。硬件组件的例子包括：主机61；基于risc(精简指令集计算机)体系结构的服务器62；服务器63；刀片服务器64；存储设备65；网络和网络组件66。软件组件的例子包括：网络应用服务器软件67以及数据库软件68。

虚拟层70提供一个抽象层，该层可以提供下列虚拟实体的例子：虚拟服务器71、虚拟存储72、虚拟网络73(包括虚拟私有网络)、虚拟应用和操作系统74，以及虚拟客户端75。

在一个示例中，管理层80可以提供下述功能：资源供应功能81：提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取；计量和定价功能82：在云计算环境内对资源的使用进行成本跟踪，并为此提供帐单和发票。在一个例子中，该资源可以包括应用软件许可。安全功能：为云的消费者和任务提供身份认证，为数据和其它资源提供保护。用户门户功能83：为消费者和系统管理员提供对云计算环境的访问。服务水平管理功能84：提供云计算资源的分配和管理，以满足必需的服务水平。服务水平协议(sla)计划和履行功能85：为根据sla预测的对云计算资源未来需求提供预先安排和供应。

工作负载层90提供云计算环境可能实现的功能的示例。在该层中，可提供的工作负载或功能的示例包括：地图绘制与导航91；软件开发及生命周期管理92；虚拟教室的教学提供93；数据分析处理94；交易处理95；以及隐私内容处理96。

现在转到与本发明的各方面更具体相关的技术的概述，在通常的实践中使用个人计算机和移动设备来执行多任务操作。用户可以选择和计算机设备的显示器进行交互，其可以为运行在该计算机设备上的多个应用在任何给定时间显示多个窗口和/或标签。当用户不希望该计算机设备以允许其他人查看隐私项和/或个人数据的方式显示该隐私项和/或个人数据(例如，密码，用户名，社保号，地址，信用卡号码，等)时，会产生隐私问题。在一个示例性的场景中，用户可以搜索该用户意在向位于该用户旁边的人展示的一个窗口，在搜索期间，用户可以循环浏览窗口和/或标签，并且不经意地向其他人展示在被显示的窗口/标签之一中发现的隐私信息。

有各种各样的用户界面被设计用于认证目的，例如，用于登陆网站的界面。一些基于表单的身份认证界面允许用户在该用户界面的数个域，例如用户名和密码域，输入数据。一个保护隐私的机制是整体遮盖由用户输入特定域(例如密码域)的数据。然而在隐私性和便利性上需要平衡，如果域的内容被整个隐蔽，用户更容易出现错误，例如当在给定域输入文本时漏掉或重复字符。各种各样的掩蔽操作意在帮助这种平衡，例如，简要显示输入到域中的字符或当窗口焦点变化时覆盖有文字的域等操作。另一个机制是给用户是否揭示域的内容的选择，其中用户通过复选框进行选择。

现有的系统存在多个技术问题。例如，一个现有系统中发现的问题是用于驱动哪些内容被揭示哪些内容被隐蔽的逻辑经常是固定的。该逻辑不考虑通过机器学习而习得的用户特定上下文以确定哪些敏感内容的哪个部分需要掩蔽。而且，尽管系统可以基于检测到由该计算机捕获的影像中有其他用户的存在来在该计算机上掩蔽项，但并不是所有计算机都包括影像捕获设备，也不是这些系统都计算相关距离并基于该相关距离采取行动。由于前述确定的方法都是二进制的，他们不考虑输入数据的敏感度的粒度的程度。由于以认证形式输入的大部分数据某种程度上都是敏感的，该数据的敏感度基于用户上下文而变化，然而，前述系统不考虑基于经由机器学习习得的上下文的数据敏感程度。例如，尽管用户密码经常是敏感的，在一些情况下用户名也可以是足够敏感以至于想保持私密，例如当用户名包含用户的电子邮箱地址或者有意义的认证号码，例如社保号，以及用户在公共地点操作计算设备。已知的系统不提供这个功能。

现在转到本发明的各方面的概述，本发明的一个或多个实施例通过提供自动检测和隐私-保护操作技术以保护用户的隐私和/或个人内容解决了现有技术的上述缺点，其中某些技术是基于检测用户界面的潜在未授权的查看事件和/或基于经由机器学习习得的用户特定上下文为每个隐私对象的隐私-保护操作，其中该检测基于语音分析。在本发明的一些实施例中，可以通过至少基于由该用户的计算设备的语音捕获设备所捕获的语音的分析以评估安全状况来检测由一个或多个人而不是该用户的潜在非授权查看。例如，在本发明的一些实施例中，音频分析可以包括检测所捕获的音频的一个或多个声音不来自该用户，然后对于每一个被检测到不来自于该用户的给定声音，计算给定声音位置和该计算设备位置的对应距离；然后检测至少一个对应距离小于或等于可配置的距离阈值。

在本发明的一些实施例中，考虑输入数据的敏感度的颗粒程度的隐私-保护操作基于通过机器学习建立的用户上下文而确定以评估和特定环境相关联的用户隐私程度，例如基于和参考点在预选距离范围的其他人的数量，其中参考点可以是，例如，计算设备。例如，在本发明的一些实施例中，如果用户意在将用户登陆信息通过计算机输入门户，当用户的上下文确定该用户在隐私设定下，这可以包括例如输入的密码信息明确地遗留在密码域，本发明的一个或多个实施例可以清楚显示一些域值。相反地，在本发明的一些实施例中，如果用户的上下文确定用户在拥挤的公共区域人群，所有输入到认证门户域的数据可以被模糊化，包括，例如，该用户输入的用户名。

前述的本发明的一个或多个方面通过提供允许隐私保护操作的功能，该操作例如是基于经由机器学习习得的用户上下文以一种精细的、渐进的方式在敏感数据上执行的匿名化、随机化和/或编校。而且，由于不是所有的计算设备具有影像捕获技术和/或由于这些系统不计算相关距离和基于该相关距离采取动作，上述的本发明的一个或多个方面通过至少部分基于对由该计算设备的音频捕获设备所捕获的音频的分析来评估用户界面的安全状况，并且至少部分基于确定该用户界面的安全状况为非安全状态激活该用户界面的隐私模式以解决了现有技术的缺点，该用户界面执行和一个或多个被检测的隐私对象相关联的一个或多个隐私动作。

现在转到本发明的各方面的更详细的描述，图3表示了用于实施本发明的一个或多个实施例的显示基于计算机的系统300的高级框图。尽管显示了一个示例性计算机系统300，计算机系统300包括一个通信路径326，其将计算机系统300链接到附加的系统并且可以包括一个或多个广域网(wans)和/或局域网(lans)，例如互联网，内部网，和/或无线通信网络。计算机系统300和附加系统通过通信路径326通信(例如在他们之间进行数据通信)。

计算机系统300包括一个或多个处理器，例如处理器302。处理器302和通信基础设施304链接(例如通信总线，交叉栅，或网络)。计算机系统300可以包括一个显示接口306，其转发来自通信基础设施304(或来自没被显示的帧缓冲区)的图形，文字，和其他数据以在显示单元308上显示。计算机系统304还包括主存储器310，优选地，随机存储器(ram),以及还可以包括次级存储器312。次级存储器312可以包括，例如，硬盘驱动314和/或可移除存储驱动316，代表，例如，软盘驱动器，磁带驱动器或光盘驱动器。可移除存储驱动316从/向可移除存储单元318以本领域技术人员熟知的方式读取和/或写入。可移除存储单元318代表，例如，软盘，光盘，磁带或光盘等，其由可移除存储驱动316读取并写入。可以理解，可移除存储单元318包括计算机可读介质，其中存储有计算机软件和/或数据。

在本发明的一些可替换实施例中，次级存储器312可以包括以其他类似的方式以允许计算机程序或其他指令被导入到该计算机系统。这些方式可以包括，例如，可移除存储单元320和接口322。这些方式的例子可以包括程序包以及包接口(例如在视频游戏设备中找到的)，可移除存储器芯片(例如eprom或prom)以及相关插座，以及其他可移除存储单元320以及接口322，其允许软件和数据从该可移除存储单元320转移到计算系统300。

计算机系统300还可以包括通信接口324。通信接口324允许软件和数据在计算机系统和外部设备之间传输。通信接口324的例子可以包括鼠标、网络接口(例如以太网卡)，通信端口，或pcm-cia插槽和卡，诸如此类。通过通信接口324传输的软件和数据是以信号的形式，其可以是，例如，电子，电磁，光学，或其他可以由通信接口324接收的信号。这些信号经由通信路径(也就是信道)326提供给通信接口324。通信路径326携带信号并且可以使用有线或电缆，光纤，电话线，蜂窝电话链路，rf链路和/或其他通信信道来实现。

在本发明中，术语“计算机程序介质”“计算机可用介质”和“计算机可读介质”被用于通常指向介质，例如主存储器310和次级存储器312，可移除存储驱动316和安装在硬盘驱动314的硬盘。计算机程序(也可称为计算机控制逻辑)被存储在主存储器310，和/或次级存储器312中。计算机程序也可以经由通信接口324接收。这些计算机程序，当运行时，使得该计算机系统执行本发明如下讨论的特征。特别地，该计算机程序，当运行时，使得处理器302执行该计算机系统的特征。相应地，这些计算机程序代表该计算机系统的控制器。

图4显示了可用于实现本发明一个或多个实施例的示例计算机系统400。系统400是机器学习系统，其可用于解决例如但不限于机器学习技术，数据加密和隐私保护技术，数据分析技术，数据分类技术，数据集群技术，推荐系统技术，信号处理技术，和/或其他数字技术等各种各样技术问题(例如，学习之前未知的功能性关系)。系统400使用硬件和/或软件以解决自然中高技术性的问题，其不是抽象性的且不能由人类的大脑活动执行。

在本发明的某些实施例中，部分或全部由系统400执行的过程是由一个或多个专门计算机(例如，一个或多个专门处理单元，具有隐私组件的专门计算机，等等)执行以开展和机器学习相关的任务。在本发明的一些实施例中，采用系统400和/或该系统的组件以解决如下提及的技术的进步中提出的新问题。

在如图4所示的示例中，系统400包括计算设备401以及隐私组件402，其中隐私组件402可以自动保护计算设备401的隐私。在本发明的一些实施例中，计算设备401包括影像捕获设备404，音频捕获设备405，和/或用户界面408(例如，图形用户界面)。该影像捕获设备404被配置为捕获影像然后将该捕获的影像传输给隐私组件402以进一步分析。在本发明的一些实施例中，影像捕获设备404被配置为捕获在计算设备401的监视器前的场景中获取的影像使得在该计算设备401的监视器前的人能够在一个或多个所捕获的影像中被看见。例如，在本发明的一些实施例中，影像捕获设备404被配置为捕获在计算设备401预选距离范围内人的影像。在本发明的实施例中，计算捕获设备404包括照像机，例如摄像头。音频捕获设备406被配置为捕获音频并将该捕获的音频传输给隐私组件402以分析。例如，在本发明的一些实施例中，音频捕获设备406被配置为捕获从在计算设备401的预选距离范围内声音的音频。在本发明的一些实施例中，音频捕获设备406被配置为区分声音和背景噪音，然后以仅仅捕获包括该声音的音频。在本发明的一些实施例中，音频捕获设备406被配置为捕获对于音频捕获设备听得见的噪音。一个音频捕获设备406的合适的例子为可操作地耦合到计算设备401的麦克风。在本发明的一些实施例中，音频捕获设备406是音频捕获设备404的组件，例如可捕获视频的摄像头。可使用不同的合适类型的计算设备，例如移动电话，笔记本电脑，个人电脑，等。

在图4所示的示例中，隐私组件402包括音频处理组件410和影像处理组件412，其中该音频处理组件410被配置为分析由音频捕获设备406捕获的音频，其中该影像处理组件412被配置为分析由影像捕获设备404捕获的影像和/或视频。在本发明的一些实施例中，该音频处理组件410被配置为分析由计算设备401的影像捕获设备401捕获的音频，其中该影像捕获设备404被配置为捕获包括音频的视频。

在本发明的一些实施例中，被捕获的音频和/或影像由隐私组件402通过一个或多个执行一个或多个机器学习技术、模型和/或api的视觉和/或音频认知抽取引擎来处理。在本发明的一些实施例中，该一个或多个机器学习技术、模型和/或api通过机器学习服务，例如，通过ibm的使用，来提供。

机器学习经常采用众多技术以确定数字化数据中的参考和/或关系。例如，机器学习技术，信号处理技术，影像处理技术，数据分析技术和/或其他采用机器学习模型以分析数字化数据，处理数字化数据，确定数字化数据的参考，和/或确定数字化数据之间的关系。机器学习功能可以采用人工神经网络(ann),其有能力被训练以执行当前未知的功能。在机器学习和认知科学中，人工神经网络(ann)是由动物生物神经网络，特别是大脑，所启发的统计学习模型的家庭成员。ann可以被用于依赖大量数据输入的估计或近似系统和功能。

ann可以体现为互连处理器组件的所谓“神经形态”系统，其充当为模拟“神经元”并以电信号的形式互相交换“信息”。和在生物神经元之间携带信息的所谓突触神经递质连接的“可塑性”类似，携带模拟神经元之间的电子信息的ann中的连接连同对应于给定连接的强弱的数字权重一起被提供。权重可以基于经验被调整，使得ann可适用于输入并能学习。例如，用于书写识别的ann可以被一组输入神经元定义，其可以被输入影像的像素激活。在被由网络设计者确定的功能分配权重并传输后，这些输入神经元的激活被传递给其他下游神经元，其通常称为是“隐藏“神经元。这些过程可以被重复指导一个输出神经元被激活。被激活的输出神经元确定哪个字符被读了。

在本发明的一些实施例中，计算设备401和/或隐私组件402组成嵌入到机器的机器-执行组件(例如嵌入到和一个或多个机器关联的一个或多个机器可读介质(或媒体))。这些组件，当由一个或多个机器(例如，计算机，计算设备，虚拟机，等)执行时，导致该机器执行如前所述的操作。在本发明的一些实施例中，隐私组件402包括存储有计算机可执行组件和指令的存储器414。进一步地，在本发明的实施例中，隐私组件402包括促进由隐私组件402执行指令(例如，计算机可执行组件和对应的指令)的处理器416。如图所示，在本发明的一个或多个实施例中，存储器414，和/或处理器416互相是电耦合和/或通信耦合的。在本发明的一些实施例中，计算设备401和/或计算设备401的组件通信耦合，由隐私组件402控制，和/或位于隐私组件402内。例如，在本发明的一些实施例中，隐私组件402进一步包括影像捕获设备404，音频获取设备406，和/或用户界面408。

在本发明的一些实施例中，隐私组件402被配置为基于从(例如，通过音频处理组件410，影像处理组件412，和/或处理器416)捕获的音频和/或影像中提取的特征来处理机器学习模型。在本发明的一些实施例中，隐私组件402采用并行计算以处理捕获的音频和/和影像。例如，在本发明的一些实施例中，隐私组件402执和两个或多个处理器关联的并行计算，其并行处理捕获的音频和/或影像的一个或多个部分。在一个示例中，隐私组件402适用从捕获的音频和/或影像提取的特征执行分类机器学习模型。在本发明的一些实施例中，机器学习模型分类将提取的捕获的音频和/或影像特征映射到一个或多个类别。在另一个实施例中，隐私组件402使用从捕获到的音频和/或影像提取的特征执行回归机器学习模型。在本发明的一些实施例中，使用回归机器学习模型以确定捕获的音频和平行的影像之间的关系。在另一个示例中，隐私组件402使用特征矩阵执行集群机器学习模型，其中该特征矩阵至少部分基于从捕获的音频和/或影像提取的特征而聚集。在本发明的一些实施例中，集群机器学习模型是一种机器学习模型，其使用分组技术，例如，最近邻的技术，从捕获到的音频和/或影像中将相关数据分组到对应的组中。

如前所述，隐私组件402被配置为自动保护在计算设备的用户界面(例如，计算设备401的用户界面408)发现的敏感信息的隐私。特别的，在本发明的一些实施例中，隐私组件402被配置为检测一个或多个隐私对象，其通过计算设备的用户界面呈现给第一用户，其中该一个或多个被检测的对象包括敏感数据。在本发明的一些实施例中，隐私组件402通过识别当前在用户界面的屏幕上被查看(例如在编辑器、浏览器或者窗口被查看)的加密文件，检测隐私对象。在本发明的一些实施例中，隐私组件402通过识别包括统一资源定位器(url)的浏览器中的所有标记，来检测隐私对象，其中该统一资源定位器(url)包括特殊前缀。例如，在本发明的一些实施例中，隐私组件402通过识别包括表示安全连接的前缀https://的浏览器的所有标记来检测隐私对象。在本发明的一些实施例中，隐私组件402通过识别显示在用户界面的屏幕上的文件和/或目录来检测隐私对象，其中该文件和/或目录具有建立是否允许他人查看和/或阅读该文件和/或目录的预配置的允许。在本发明的一些实施例中，隐私组件402通过识别目录和/或文件来检测隐私对象，其中该目录和/或文件具有指示包含隐私信息的名字，例如包括词语“个人“”银行“”信用卡“税”或其他相关关键词的目录和/或文件。在本发明的一些实施例中，一组通常用于命名的关键词可作为指南以识别具有指示包含隐私信息的名字的目录/文件。

在本发明的一些实施例中，用户被提示提供关于被检测对象的反馈。例如，在本发明的一些实施例中，用户被要求通过用户界面确认是否由隐私组件402检测到的对象实际上包括敏感信息。在本发明的一些实施例中，反馈的结果可以被饲入机器学习过程，例如，监督积极学习过程，以改善对后续显示的隐私对象的检测。

隐私组件402被配置为至少部分基于对由计算设备的音频捕获装置(例如，计算设备401的音频捕获设备406)捕获的音频的分析，评估用户界面的安全状况。在本发明的一些实施例中，安全状况指示是否发生潜在非授权查看事件(例如，是否有第一用户之外的第二用户在查看用户界面)。例如，在本发明的一些实施例中，隐私组件402被配置为通过从被捕获的音频生成一个或多个声纹以及检测到该一个或多个生成的声纹中的至少一个不匹配该第一用户存储的声纹，分析被捕获的音频。

在本发明的一些实施例中，隐私组件402被配置为，通过检测出捕获到的音频数据的一个或多个声音不是第一用户的，然后通过对于不是第一用户的每一个给定被检测声音计算给定声音的位置和计算设备的位置之间的相应距离的方式来分析被捕获的音频。在本发明的一些实施例中，如果相应距离的至少一个小于或等于可配置的阈值距离，隐私组件402会得出一个或多个第二用户对该用户界面的非授权查看可能发生的结论。在本发明的一些实施例中，阈值距离可以是到参考点的预选距离，其中该参考点可以是，例如，该计算设备的位置。在本发明的一些实施例中，可配置的阈值距离是到计算设备401的显示器1-5英尺距离。在本发明的一些实施例中，该阈值距离包括具有多个距离的向量，使得多个保护动作可以基于对应的距离小于或等于该多个距离中的哪个而执行。多个已知技术可用于计算在音频数据中捕获的声音源的距离。在本发明的一些实施例中，阈值距离可以是由隐私组件402输入的距离和/或经由机器学习随着时间推移而学习的距离。例如，在本发明的一些实施例中，在隐私组件402得出用户界面的安全状况是不安全的时候，用户被提示提供关于该用户界面的安全状况实际上是否安全的反馈。基于接收到的反馈，隐私组件402可以训练和/或更新一个或多个机器学习模型使得在将来检测过程中使用的阈值距离被更新。在本发明的一些实施例中，反馈被进一步用于将不同的隐私-保护和一个或多个阈值距离相关联，使得第一动作采用第一计算距离和第二动作采用第二计算距离。例如，第一掩蔽操作可以当相应距离小于或等于第一阈值距离时执行，使得从文字字符串掩蔽第一组字符；而第二掩蔽操作可以当对应距离小于或等于第二距离时执行，使得在第一组字符被掩蔽之后从该文字字符串掩蔽第二组字符。在这种方法中，隐私组件402可以动态采用隐私保护动作，该动作基于通过机器学习的未授权查看事件的相关可能性来执行。

在本发明的一些实施例中，隐私组件402被配置为进一步基于分析由计算设备的影像捕获设备(例如，计算设备401的影像捕获设备404)所捕获的影像来评估用户界面的安全状态。例如，在本发明的一些实施例中，隐私组件402被配置为通过面部识别来检测被捕获的影像的一个或多个人脸不是第一用户来分析被捕获的影像。这可以通过例如，从照相机捕获的影像中识别是否一个或多个顺序捕获的影像显示了不是第一用户的人正在查看计算机设备的屏幕的方式实现。在本发明的一些实施例中，这可以通过眼睛追踪来实现。在本发明的一些实施例中，隐私组件402被配置为通过面部识别技术检测到在被捕获的影像中出现两个或多个人脸来分析捕获到的影像。在本发明的一些实施例中，对影像的分析仅作为当一个在用户界面的查看范围的人没有在捕获的音频中制造听觉发声的情况下对音频分析的补充。

隐私组件402被配置为至少部分基于确定用户界面的安全状况为非安全状态而激活用户界面的隐私模式。在本发明的一些实施例中，对隐私模式的激活包括执行和一个或多个被检测的隐私对象相关联的一个或多个隐私动作。在本发明的一些实施例中，该一个或多个隐私动作包括隐藏，掩蔽，和/或加密一个或多个隐私对象的敏感信息，或者采用其他合适的隐私操作。在本发明的一些实施例中，该隐藏操作包括一个或多个隐形操作，最小化操作，或者移动到隐形工作区操作。在本发明的一些实施例中，最小化操作被配置为最小化窗口和/或显示该敏感信息的用户界面屏幕。

在本发明的一些实施例中，激活隐私模式包括对每一个检测到的隐私对象确定隐私-保护操作。在本发明的一些实施例中，激活该隐私模式包括对每一个被检测到的隐私对象确定隐私-保护操作以及确定用于恢复的操作。在本发明的一些实施例中，通过查询数据库来实现该确定。在本发明的一些实施例中，该查询包括元组、例如具有对象的元组、隐私操作以及解锁操作的使用。在本发明的一些实施例中，解锁操作在ui上被替换为可选功能从而使得用户可以通过屏幕上图标的选择以请求某种敏感数据，例如密码，可以被解锁并显示。在本发明的一些实施例中，隐藏和/或解锁操作可以响应于在ui的容器(例如，窗口，标签，面板，等)点击隐私-保护部件，而明确地由用户执行。在本发明的一些实施例中，为隐私对象执行的隐私动作可以由用户配置。例如，在本发明的一些实施例中，用户的偏好可以被存储在计算设备上使得当检测到潜在未授权查看事件时一个或多个隐私操作依据用户的偏好被执行。

图5-6显示了ui500的例子，根据本发明的一个或多个实施例，其中图5显示了ui500的第一屏幕502，其中图6显示了ui500的第二屏幕504。第一屏幕502是ui500的屏幕，当ui500的安全状况被评估为安全状态(例如，没有检测到未授权查看事件)时该第一屏幕502会被显示。如图5所示，第一屏幕502被配置为显示认证网站，其包括网站名506，电子邮件地址域508和密码域510。第一屏幕502进一步包括一个图标和/或指示ui500的状态是否在隐私模式的部件508。例如，如图5所示，第一屏幕502的图标和/或部件512指示了ui500的安全状况被评估为处于安全状态(例如，显示“我独自一人”模式)。第一屏幕502被配置为当图标和/或部件512指示ui500的安全状况被评估为处于安全状态时，显示在电子邮件地址域508的该用户的完整电子邮件地址，以及密码和该网站名506，而不做掩蔽。

第二屏幕504是当ui500的安全状况被评估为非安全状态(例如检测到了非授权查看事件)时显示的。如图6所示，第二屏幕504被配置为显示认证网站，其包括网站名506，电子邮件地址域508和密码域510。ui屏幕600进一步包括指示ui500的状态是否在隐私模式的图标和/或部件512。在第二屏幕504中，图标和/或部件512指示ui500的安全状况被评估为非安全状态(例如，显示“周围有其他人”模式)。第二屏幕504被配置为当图标和/或部件508指示ui500的安全状态已经或正被评估为非安全状态时掩蔽被输入到电子邮件地址域508和密码域510的字符，并且被配置为当图标和/或部件508指示ui500的安全状况已经或正在被评估为非安全状态时隐藏该网站名506。在本发明的一些实施例中，第二屏幕504被配置为仅当用户名被检测到包含合适的人名(例如john.smith@email.com)时才掩蔽该电子邮件地址的字符。

现在参考回图4，隐私组件402被配置为至少部分基于确定该安全状况由非安全状态变为安全状态而去活隐私模式，其中至少部分基于分析捕获到的音频来确定该安全状况由非安全状态变为安全状态。在本发明的一些实施例中，隐私组件402被配置为通过从捕获到的音频来检测一个或多个第二用户没有在可配置的阈值时间段内讲话来确定该安全状况从不安全变为安全。在本发明的一些实施例中，隐私组件402被配置为通过更新声音位置和计算设备位置之间的对应距离的计算来确定ui的安全状况从不安全变为安全。在本发明的一些实施例中，如果所有对应距离都大于可配置的阈值距离，隐私组件402可以得出ui的安全状况已经从不安全变为安全的结论。

在本发明的一些实施例中，隐私组件402被配置为进一步基于分析由计算设备的影像获取装置(例如，计算设备401的影像捕获设备404)捕获的影像来确定安全状况由非安全状态变为安全状态。

在本发明的一些实施例中，对隐私模式的去活包括执行一个或多个相关隐私去活。在本发明的一些实施例中，该一个或多个相关隐私去活包括不隐藏、不掩蔽、或解码和一个或多个检测到的隐私对象相关联的敏感信息，或者其他合适的和隐私操作相关的去活。在本发明的一些实施例中，每一个隐私动作都和一个隐私动作相关的去活相关联，其中该隐私动作相关去活以及隐私动作的一个和另一个对称。例如，在本发明的一些实施例中，如果第一对象的第一隐私动作是掩蔽某种敏感数据，和该第一对象相关联的隐私动作相关去活可以解掩蔽该同样的敏感数据。在本发明的一些实施例中，隐私动作相关的去活是不对称的。例如，在本发明的一些实施例中，如果隐私动作对输入到域中的所有字符掩蔽，隐私动作相关的去活可以仅仅去掩蔽该域中的字符的一个子集。在本发明的一些实施例中，隐私动作相关的去活可以随着时间的推移基于该用户的上下文去掩蔽该被掩蔽的字符的该子集。

在本发明的一些实施例中，隐私组件402被配置为接收到通过ui(例如ui500)的来自用户的输入，其请求改变该ui的隐私状态。例如，在本发明的一些实施例中，隐私组件402被配置为接收一个或多个由用户按键的键盘快捷键。例如，在本发明的一些实施例中，第一快捷键和用户向将ui的隐私状况从隐私模式到非隐私模式的意图相关联，第二快捷键和将ui的隐私状况从非隐私模式改为隐私模式的意图相关。在本发明的一些实施例中，使用单个快捷键使得ui的隐私状况被配置为当通过ui接收到该快捷键时在非隐私模式和隐私模式之间循环。在本发明的一些实施例中，用户请求通过选择某种项和/或由ui显示的屏幕的位置(例如，点击第一屏幕502或第二屏幕504的图标/部件)来请求改变隐私状态。

现在结合图7来描述系统400操作的附加细节，其中图7显示了说明根据本发明的一个或多个实施例的方法700的流程图。在702，检测到通过计算设备的ui向第一用户呈现一个或多个隐私对象(例如，隐私组件402)，其中该一个或多个检测到的隐私对象包括敏感数据。在704，至少部分基于分析由计算设备的音频捕获设备(例如，音频处理组件410)所捕获的音频来评估ui的安全状况。在706，ui的执行一个或多个隐私动作的隐私模式至少部分基于确定该安全状况为非安全状态(例如，隐私组件402)而激活，其中该一个或多个隐私动作和一个或多个检测到的隐私对象相关联。在708，该隐私模式至少部分基于确定该安全状况从非安全状态变为安全状态而去活，其中至少部分基于分析由计算设备的音频捕获设备(例如，音频处理组件410)捕获的音频来确定该安全状况由非安全状态变为安全状态。

在任何可能的技术细节结合层面，本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。