记录操作员和周围视场的视频的制作方法

本申请要求2016年8月26日提交的美国临时专利申请第62/380,342号和2017年2月9日提交的美国临时专利申请第62/457,064号的优先权，并且所有这些申请通过引用整体并入本文。

本公开的某些方面一般涉及物联网(iot)设备和应用，并且更具体地，涉及根据期望的隐私修改视频的设备、系统和方法。

背景技术：

物联网(iot)设备可以包括嵌入式机器视觉。嵌入式机器视觉设备可以应用于例如智能驾驶员监控系统(idms)、先进驾驶辅助系统(adas)、自动驾驶系统、基于摄像机的监视系统、智能城市等。一些idms设备可以在车辆的操作员(或驾驶员)前面直接捕获视觉场景的视图，和操作员的视图。

技术实现要素：

文中公开的各种实施例涉及被配置为修改视频的装置。在一个或多个实施例中，该系统包括耦合到车辆挡风玻璃的可拆卸主体，和耦合到可拆卸主体的三个或更多个摄像机。三个或更多个摄像机被配置为从可拆卸主体捕获周围视图。响应于可拆卸主体耦合到车辆的挡风玻璃，三个或更多个摄像机中的一个面向车辆的驾驶员座位。

文中公开的各种实施例涉及一种用于自动验证车辆中的驾驶员的系统。该系统包括耦合到车辆挡风玻璃的主体。该系统还包括耦合到主体的多个摄像机。多个摄像机被配置为从主体捕获周围视图。该系统还包括耦合到主体的设备验证处理器。设备验证处理器被配置为确定指示信标设备的设备属性。车辆中的驾驶员可以具有信标设备。该系统还包括耦合到主体的生物验证处理器。生物验证处理器被配置为确定指示驾驶员的个人属性。该系统还包括耦合到主体的驾驶员验证器。驾驶员验证器被配置为基于设备属性和个人属性确定驾驶员是否是车辆的授权驾驶员。该系统还包括耦合到主体的消息生成器。消息生成器被配置为发送指示驾驶员是否是车辆的授权驾驶员的电子消息。

在一个或多个实施例中，多个摄像机中的一个摄像机捕获车辆中的驾驶员的图像。

在一个或多个实施例中，该系统还包括面部检测器，该面部检测器通信地耦合到摄像机中的一个和生物验证处理器。面部检测器可以被配置为在驾驶员的图像中检测驾驶员的面部。个人属性可以包括检测到的驾驶员的面部。

在一个或多个实施例中，驾驶员验证器被配置为通过面部识别来确定检测到的驾驶员的面部是否与多个授权驾驶员的面部图像中的任一个相匹配。

在一个或多个实施例中，响应于确定检测到的驾驶员的面部与多个授权驾驶员的面部图像中的任一个不匹配，驾驶员验证器被配置为基于设备属性识别授权有信标设备的候选驾驶员，和通过面部验证确定检测到的驾驶员的面部是否与候选驾驶员的面部图像相匹配。

在一个或多个实施例中，面部验证分析图像中除了面部识别之外的驾驶员的面部的更多特征。

在一个或多个实施例中，响应于确定车辆移动超过预定速度来执行面部验证。

在一个或多个实施例中，响应于确定检测到的驾驶员的面部与候选驾驶员的面部图像相匹配，驾驶员验证器被配置为更新数据库以将驾驶员的图像添加到多个授权驾驶员的面部图像中。

在一个或多个实施例中，响应于确定检测到的驾驶员的面部与候选驾驶员的面部图像不匹配，消息生成器被配置为向远程服务器发送指示未授权驾驶员操作车辆的电子消息。

在一个或多个实施例中，该系统还包括通信地耦合到生物验证处理器的语音检测器。语音检测器可以被配置为检测车辆中的驾驶员的语音。个人属性可以包括检测到的驾驶员的语音。

在一个或多个实施例中，设备验证处理器包括qr码检测器，以检测信标设备的qr码以确定设备属性。

在一个或多个实施例中，设备验证处理器包括无线收发器，以检测来自信标设备的编码无线信号以确定设备属性。

在一个或多个实施例中，主体包括可拆卸的安装件，以将主体与挡风玻璃耦合或解耦。

本文公开的各种实施例涉及一种自动验证车辆中的驾驶员的方法。该方法包括确定指示车辆中的驾驶员的个人属性。该方法还包括确定指示信标设备的设备属性。车辆中的驾驶员可以具有信标设备。该方法还包括基于设备属性和个人属性确定驾驶员是否是车辆的授权驾驶员。该方法还包括发送指示驾驶员是否是车辆的授权驾驶员的电子消息。

在一个或多个实施例中，该方法还包括在车辆中的驾驶员的图像中检测驾驶员的面部，并且通过面部识别确定检测到的驾驶员的面部是否与多个授权驾驶员的面部图像中的任一个相匹配。

在一个或多个实施例中，该方法还包括：响应于确定检测到的驾驶员的面部与多个授权驾驶员的面部图像中的任一个不匹配，基于设备属性识别授权有信标设备的候选驾驶员，并且通过面部验证确定检测到的驾驶员的面部是否与候选驾驶员的面部图像相匹配。

在一个或多个实施例中，面部验证分析图像中除了面部识别之外的驾驶员的面部的更多特征。

在一个或多个实施例中，该方法还包括：响应于确定检测到的驾驶员的面部与候选驾驶员的面部图像相匹配，更新数据库以将驾驶员的图像添加到多个授权驾驶员的面部图像中。

在一个或多个实施例中，该方法还包括：响应于确定检测到的驾驶员的面部与候选驾驶员的面部图像不匹配，向远程服务器发送指示未授权驾驶员操作车辆的电子消息。

本文公开的各种实施例涉及修改视频的方法。该方法包括选择触发事件、期望的隐私模式和视场的一部分。该方法还包括在第一设备处接收视频的第一视频数据。该方法还包括确定所选择的触发事件是否已经发生。该方法还包括根据所选择的期望隐私模式来修改第一视频数据的视场的所选部分。

在一个或多个实施例中，视频包括多个视频流。视场的所选部分可以包括多个视频流中的第一视频流的视场的一部分。

在一个或多个实施例中，第一视频流对应于第一摄像机。第一摄像机的第一视场可包括车辆内部的第一部分。所选择的期望隐私模式可以对应于禁用视场的所选部分。所选择的触发事件可以对应于驾驶时段的结束。

在一个或多个实施例中，该方法还包括接收传感器数据。传感器数据可以包括车辆的速度、车辆的加速度、车辆的位置或其某种组合。确定触发事件是否已经发生可以基于传感器数据。

在一个或多个实施例中，该方法还包括选择第二触发事件和第二期望隐私模式。所选择的第二期望隐私模式可以对应于启用视场的所选部分。所选择的第二触发事件可以对应于驾驶时段的开始。

在一个或多个实施例中，视频的所选部分还包括多个视频流中的第二视频流的一部分。

在一个或多个实施例中，期望的隐私模式包括是否应将修改的部分存储在存储器中的指示。

在一个或多个实施例中，所选择的期望隐私模式包括所选部分不应该修改，应该加密，应该被模糊或者应该被忽略的指示。

在一个或多个实施例中，该方法还包括处理视频的第二部分以产生第一推断数据。第二部分可以包括视频的所选部分。所选择的期望隐私模式可以包括所选部分应该用第一推断数据替换或扩充的指示。

在一个或多个实施例中，第一推断数据包括驾驶员的特征向量。触发事件可以是特征向量与存储在第一设备的存储器中的特征向量不匹配的检测。

在一个或多个实施例中，该方法还包括处理视频的第三部分以产生第二推断数据并将第二推断数据与第一推断数据相关联。第三部分可以不包括视场的所选部分。第二推断数据可以包括驾驶分数。

在一个或多个实施例中，第一推断数据包括驾驶员是否注视车辆外部，驾驶员是否持有电子设备，驾驶员是否系有安全带，或其某种组合的指示。

在一个或多个实施例中，触发事件选自以下之一：按钮按下；语音命令；qr码或其他图像的呈现；手势；车辆驾驶员在邻近的电子设备上的输入；车辆驾驶员的同事在远程设备上的输入；进入管制位置；接受出租车服务请求；打开车门；乘客进入；乘客离开；重量传感器输出的变化；乘客进入驾驶员的空间；车辆硬停或违反交通规则。

在一个或多个实施例中，该方法还包括指示时间偏移，确定触发事件已经发生的第一时间，以及基于第一时间和时间偏移确定第二时间。修改该部分可以从第二时间开始应用于视频。

在一个或多个实施例中，该方法还包括选择对象，和确定视频中对象的位置。选择视频的一部分可以基于所确定的对象位置。

文中公开的各种实施例涉及被配置为修改视频的装置。该装置包括存储器单元，和耦合到存储器单元的至少一个处理器。该至少一个处理器被配置为选择触发事件、期望的隐私模式和一部分视场。该至少一个处理器还被配置为在第一设备处接收视频的第一视频数据。至少一个处理器还被配置为确定所选择的触发事件是否已经发生。该至少一个处理器还被配置为根据所选择的期望隐私模式来修改第一视频数据的视场的所选部分。

文中公开的各种实施例涉及被配置为修改视频的装置。该装置包括用于选择触发事件，期望的隐私模式和视场的一部分的装置。该装置还包括用于在第一设备处接收视频的第一视频数据的装置。该装置还包括用于确定所选择的触发事件是否已经发生的装置。该装置还包括用于根据所选择的期望隐私模式修改第一视频数据的视场的所选部分的装置。

文中公开的各种实施例涉及用于修改视频的计算机程序产品。该计算机程序产品包括其上记录有程序代码的非暂时性计算机可读介质。程序代码在由处理器执行时使处理器：选择触发事件、期望的隐私模式和视场的一部分；在第一设备处接收视频的第一视频数据；确定所选择的触发事件是否已经发生；以及根据选择的期望隐私模式修改第一视频数据的视场的所选部分。

前述发明内容是说明性的，并不旨在以任何方式进行限制。除了以上描述的说明性方面、实施例和特征之外，通过参考以下附图和详细描述，其他方面、实施例和特征将变得显而易见。

附图说明

图1示出了根据本公开的某些方面的用于根据期望的隐私来捕获和/或修改视频的设备的框图。

图2a示出了根据本公开的某些方面的用于根据期望的隐私来捕获和/或修改视频的系统的前透视图。

图2b示出了根据本公开的某些方面的图2a的系统的后视图。

图3a示出了根据本公开的某些方面的图2a的系统的视场覆盖范围的实例。

图3b示出了根据本公开的某些方面的图2a的系统的视场覆盖范围的实例。

图4示出了根据本公开的某些方面的图1中的片上系统的框图。

图5a示出了根据本公开的某些方面的由向内摄像机捕获的图像的实例。

图5b示出了根据本公开的某些方面的已经修改的图像的实例。

图5c示出了根据本公开的某些方面的已经修改的另一图像的实例。

图5d示出了根据本公开的某些方面的已经修改的另一图像的实例。

图6a示出了根据本公开的某些方面的已经修改的图像的实例。

图6b示出了根据本公开的某些方面的已经修改的另一图像的实例。

图6c示出了根据本公开的某些方面的已经修改的另一图像的实例。

图6d示出了根据本公开的某些方面的已经修改的另一图像的实例。

图6e示出了根据本公开的某些方面的已经修改的另一图像的实例。

图6f示出了根据本公开的某些方面的已经修改的另一图像的实例。

图7a示出了根据本公开的某些方面的已经修改的图像的实例。

图7b示出了根据本公开的某些方面的已经修改的图像的另一实例。

图7c示出了根据本公开的某些方面的已经修改的图像的另一实例。

图8a示出了根据本公开的某些方面的具有分段部分的图像的实例。

图8b示出了根据本公开的某些方面的具有分段部分的修改图像的实例。

图9a示出了根据本公开的某些方面的由向内摄像机捕获的图像的实例。

图9b示出了根据本公开的某些方面的用棒图表示的修改图像的实例。

图10a示出了根据本公开的某些方面的共乘乘客坐在小型货车的后座上的实例。

图10b示出了根据本公开的某些方面，在乘客试图进入小型货车的前部区域时拍摄的图像，该前部区域可以被认为是受限制的驾驶员区域。

图10c示出了根据本公开的某些方面，在乘客返回到乘客区域之后，当乘客表现出与针对驾驶员的争论或威胁行为一致的姿势时拍摄的图像。

图11示出了根据本公开的某些方面的图4的登录处理器的框图。

图12示出了根据本公开的某些方面的通过图1的soc验证车辆驾驶员的过程的示例性流程图。

图13示出了根据本公开的某些方面的由远程服务器验证车辆驾驶员的过程的示例性流程图。

结合附图，根据以下描述和所附权利要求，本公开的前述和其他特征将变得显而易见。应理解，这些附图描绘了根据本公开的若干实施例，因此，不应认为是对其范围的限制，将通过使用附图以额外的特征和细节来描述本公开。

具体实施方式

在以下详细描述中，参考了附图，附图形成了本发明的一部分。在附图中，除非上下文另有指示，否则类似的符号通常表示类似的组件。附图和权利要求中描述的说明性实施例并不意味着是限制性的。在不脱离文中呈现的主题的精神或范围的情况下，可以利用其他实施例，并且可以进行其他改变。容易理解的是，如本文一般描述的并且在附图中示出的本公开的多个方面可以以各种不同的配置来布置、替换、组合和设计，所有这些都是明确涉及的并构成本公开的一部分。

本公开的一个方面涉及一种记录车辆的操作者(或驾驶员)和周围视场的的视频的设备和方法。该设备可以包括多个摄像机，以提供设备周围的视场的重叠覆盖。该设备可以提供车辆驾驶员的视图和从驾驶员的角度可访问的视场。可以自动处理视频以分析驾驶员响应于车辆周围环境的行为。

本公开的另一方面涉及一种自动执行车辆内记录的视频的隐私屏蔽的设备和方法。该设备可以根据期望的隐私来修改视频。根据期望的隐私，可以将隐私修改应用于图像的一部分，时间间隔的一部分或其组合。

本公开的另一方面涉及基于信标设备的设备属性和驾驶员的个人属性自动验证车辆中的驾驶员的设备和方法。设备属性指示信标设备的区别特征，其中个人属性指示驾驶员的区别特征(例如，生物签名)。该设备可以通过检测信标设备上的qr码或者检测从信标设备发送的编码的无线信号(例如，蓝牙信号、射频识别(rfid)信号、近场通信(nfc)信号等)来获得驾驶员佩戴或携带的信标设备的设备属性。另外，该设备可以通过面部识别、面部验证、语音识别或其组合来获得驾驶员的个人属性。通过设备属性和个人属性验证车辆的驾驶员能够提高确认车辆驾驶员身份的准确性和效率。

在整个公开内容中，所公开的系统和方法被描述为应用于诸如车辆的汽车。然而，本文中公开的原理可以应用于其他类型的车辆(例如，飞机、直升机、船、艇等)。因此，本文中描述的驾驶员可以指任何类型的车辆的操作员。

监控和表征驾驶员行为

本公开的各方面可以涉及监控和表征驾驶员行为，其可以包括确定交通事件的原因。涉及几种监控和表征驾驶员行为的方法，如2017年1月11日提交的pct专利申请号pct/us17/13062——“驾驶员行为监控(driverbehaviormonitoring)”中所述，该申请通过引用整体并入本文。根据本公开的设备可以确定交通事故的起因，例如，如果被监控的驾驶员在尝试车道变换之前未能查看到另一车辆占用了车道。

驾驶员-i，基于视觉的平台

上述用于记录操作员和周围视场的视频的设备和方法的某些方面可以应用于商用车辆驾驶员安全。根据本公开的某些方面，可以增强商用车辆市场内的驾驶员安全性的基于视觉的平台可以被称为驾驶员-i。驾驶员-i是netradyne公司的商标。

驾驶员-i可以鉴定、识别和/或奖励积极的驾驶员表现。驾驶员-i可以通过提供日常事件的周围视图来授权车队领导者。平台可以被配置为基本上捕获驾驶经历的每个时刻和方面。设备上和/或云分析可以实现视频流的基本连续处理。与选择性地处理短和/或不频繁视频样本的设备相比，驾驶员-i可以为每个驾驶员、每个车队经理、公司的基本运营等提供更多的洞察力和价值。

驾驶员-i平台可能是端对端的物联网系统。其可以包括智能移动视频分析设备和基于云的车队安全管理中心。其他设备功能可能包括：专用的ai-深度学习处理器，其每秒可执行万亿次计算；四摄像机视频系统，其提供360度视场的驾驶员视角；和/或可以实现全球覆盖的蜂窝模块。

驾驶员-i可以包括车队安全管理中心。在该实例中，管理中心(或远程服务器)可以包括直观使用仪表板。在一些配置中，其可以提供基本上实时的驾驶员和车辆安全事件数据。在一些配置中，驾驶员和车辆安全数据可以是众包的。在一个实施例中，管理中心可以启用趋势分析和商业智能，并且可以包括用于组织范围的工作流程的触发器。

关于日常事件的推断和因果关系，例如：跟随距离、“失效”交通灯以及道路上其他车辆的动作，可以在车辆级别计算。在该配置中，可以推断出可能及时且有意义的信息。例如，驾驶员-i平台可以提供对车队的基本完全可见性。通过应用人工智能技术、计算机视觉技术等，系统可以鉴定和检测每条路线上的图像，并且可以快速分析检测到的物体和事件对驾驶员工作日的影响。

驾驶员-i可以被配置为需要商业驾驶员。可以为车队经理提供额外的工具，这些工具与驾驶员建立牢固的工作关系，帮助稳定车队，并对底线基本运营产生积极影响。驾驶员-i的greenzone^tm驾驶员得分能可以让车队能够看到驾驶员如何跟踪车队安全计划和目标。这种对驾驶行为的观察看法提供了使得对积极驾驶活动，、由第三方引起的事件以及有风险状况的通知具有可见性。一些配置可以使车队经理在那些事件变得严重之前介入。greenzone应用还可以配置有基于性能的推送通知，以便车队经理可以传递积极的信息和奖励，以获得出色的驾驶实践。

驾驶员-i平台可以保护商用车辆驾驶员，其可能是车队最宝贵的资产。驾驶员-i平台可以促进协作、识别和保留；所有这些都可能对车队的基本运营产生积极影响。

驾驶员-i平台可以为车队提供技术微分器，在识别事件时分析和分享事件，以便车队经理不必等待数小时或数天来解决这种情况。相反，驾驶员-i可以使车队经理立即获得安全结果。

具有摄像机的设备的隐私问题

捕获视频的设备可能会引发隐私问题。具有摄像机的iot设备可以包括用于接收和/或向其他设备发送数据的自动化装置，这可以升级隐私问题。未配置为自动传输数据的设备仍可能引起隐私问题，因为他们可能捕获包含可能由未经授权的人直接从设备检索的敏感信息的数据。

隐私问题可能针对固定或非固定的设备。例如，固定的iot设备可以监控家庭或商业场所。非固定的物联网设备可以嵌入车辆内，作为智能驾驶员监控系统(idms)、先进驾驶辅助系统(adas)、自动驾驶系统等的一部分。

捕获视频的视频数据可以改善iot设备的有用性。例如，家庭安全系统可以包括具有红外传感器的iot设备。在家庭安全系统的一些配置中，具有红外传感器的iot设备也可以具有视频摄像机。使用红外传感器，家庭安全系统可能能够确定某人何时进入家庭或商业场所。例如，该信息可用于确定盗窃时间。然而，如果iot也收集视频数据，则所收集的视频信息也可用于确定窃贼的身份。

具有摄像机的iot设备的网络可以用于跟踪人的运动，例如在本实例中的窃贼。在第一摄像机处捕获的窃贼的图像可以用作模板。然后可以查询附近的摄像机在大约相同时间捕获的其他视频数据以找到匹配模板的人。类似地，窃贼的形象可以用来确定窃贼是否曾经去过同一个家庭或企业，他是否曾参与过其他地方的其他犯罪活动，或者他最近是否表现出与准备犯罪相符的行为。

虽然视频数据可能带来好处，但其也可能引发隐私问题。在某些情况下，隐私问题可能会超出好处。例如，根据前面的实例，可以用于鉴定和跟踪罪犯的设备网络也可以用于在孩子每天走路上下学时鉴定和跟踪孩子。在另一个实例中，具有摄像机的iot设备可以用于鉴定老年人，作为特定的人或者作为弱势群体的成员。可以想象一种情景，其中旨在阻止犯罪活动的视频系统可能反而帮助罪犯执行犯罪。例如，可以使用这样的系统来预测弱势者何时何地可能独自并远离帮助。滥用连接的摄像机系统的可能性可能是有限的，但是对这种滥用的担忧仍可能掩盖和/或超过有益用途。

当前防止滥用视频数据中的敏感信息的方法可以包括例如使用视频编辑软件修改视频。然而，这些方法可能成本高，容易出错并且是耗时的。因此，本公开的某些方面涉及用于根据期望的隐私来修改视频的系统、设备和方法。可以以自动方式应用对视频数据的修改，从而可以降低将隐私模式应用于视频的一部分的成本。此外，可以减少与视频的预期修改相关联的错误。随着实现视频数据隐私的成本降低并且随着质量的提高，可以更充分地实现视频数据的有益使用。

主动隐私

主动隐私可以指响应于触发事件而修改视频的系统、设备和方法。在确定触发事件已经发生时，可以根据期望的隐私模式来修改视频。在一些实施例中，修改的视频的一部分可以保持不变，使得即使在视频被修改时设备也可以继续执行一些其他有用的功能。

本文中给出了几个主动隐私的实例。在一些实例中，触发事件可以是用户启动的。用户启动的触发器可以是按钮按压、音频提示、qr码的呈现、手势等。在一些实例中，触发事件可以是自主的。自主触发器可以是特定驾驶事件的检测，例如检测到驾驶员正在超过预定速度行驶或者驾驶员正在偏离道路。自主触发器还可以是检测到特定驾驶室内事件，例如检测到乘客的缺席或存在。

在主动隐私的一些实例中，视频的修改可以指一个或多个隐私设置的执行。在一个实例中，隐私设置可以指示应该禁用摄像机。在另一实例中，隐私设置可以指示应该禁用或模糊图像的特定部分。指示应禁用摄像机的隐私设置可对应于切断摄像机的电源。指示应该禁用或模糊图像的特定部分的隐私设置可以对应于配置处理器以修改由摄像机捕获的像素值。

在主动隐私的一些实例中，可以启用隐私设置，使得仍然可以由设备执行至少一些基于视觉的功能。在一个实例中，可以在应用主动隐私修改之前基于捕获的视频自动生成推断。在该实例中，启用的系统可以产生推断的信息。在一些实施例中，系统可以不发送视频数据，但是可以将推断的数据提供给其他设备。例如，在idms中，推断的数据可以涉及困倦、分心驾驶、使用手机等的用户状态。在一些实施例中，系统可以将视频数据与修改的视频数据一起发送。在一些实施例中，系统可以默认不传输视频数据，而是可以将视频数据存储在本地，使得其可以在稍后的时间用于授权查询。

在一些实施例中，主动隐私可以配置有非因果异常。可以将非因果异常视为与删除隐私设置相对应的触发器。例如，在配置有非因果异常的主动隐私系统中，可以根据默认隐私设置修改所有捕获的视频。在检测到异常触发器时，可以在触发事件前后的一段时间内存储捕获的视频而无需修改。在一个实例中，视频可以以除了某些触发器之外的其他设备不可访问视频的方式存储在设备上。在idms实例中，异常可以是驾驶警报，诸如事故、高g事件、严重交通违规等。在一些实施例中，可以根据特定策略指定异常。在这些实例中，未修改的视频可能仅在触发事件的时间前后可用。

在一些实施例中，异常可以由用户(例如，驾驶员)触发。在一个实例中，驾驶员可以提供删除(取消、反转等)视频的隐私修改的许可。例如，在自我免除事故的情况下，驾驶员可以反转与视频记录相关联的隐私修改。类似地，监督员可以根据特定策略等授予访问修改的视频的许可。

本文提供了根据期望的隐私修改视频的若干系统、设备和方法。

具有多个摄像机的设备

图1示出了根据期望的隐私修改视频的前述系统、设备和方法的可以支持多个摄像机102，104的系统100的实施例。系统100可以包括输入传感器(其可以包括向前摄像机102，向后摄像机104(当在车辆中部署时可以被称为向内摄像机或面向驾驶员的摄像机)，向右摄像机(为简单起见未示出)，向左摄像机(为简单起见未示出)，与未物理安装到设备的其他摄像机的连接，惯性传感器106，如果在车辆中部署可从数据集线器获得的传感器数据，例如汽车obd-ii端口传感器数据(可以通过短距离无线通信设备108获得)等)和/或计算设备。计算设备可以是cpu或集成的片上系统(soc)110，其可以包括cpu和其他专用计算核，诸如图形处理器(gpu)、手势识别处理器等。

在一些实施例中，体现本公开的某些方面的连接设备可以是远程无线通信设备116(例如，1g、2g、3g、4g(lte)、5g通信设备)和短程无线通信设备108(例如，蓝牙通信设备、近场通信设备、射频识别(rfid)通信设备等)。远程无线通信设备116允许系统100和远程服务器150之间通过网络160进行无线连接。远程服务器150可以是监视多个车辆和驾驶员的操作的计算设备。短程无线通信设备108允许系统100与驾驶员携带或佩戴的信标设备170之间的无线连接。系统100还可以包括全球定位系统(gps)设备112，其可以与soc110分离或者与soc110集成。soc110还可以包括存储器114。在其他实施例中，系统100包括比图1中所示更少，更多或者更多的组件。

图2a示出了根据本公开的某些方面的用于根据期望的隐私来捕获和/或修改视频的系统100的前透视图。图2b示出了根据本公开的某些方面的图2a的系统100的后视图。在一个实施例中，系统100包括主体200、孔202，204，206，208和底座222。摄像机(或图像传感器)可以位于相应的孔处，并且主体200可以通过底座222耦合到车辆。在该配置中，当系统100耦合到车辆时，系统100可以捕获车辆驾驶员的视图以及从驾驶员的角度可访问的视场。在其他实施例中，系统100包括比图2中所示更少，更多或与之不同的组件。

主体200是覆盖摄像机和其他电子组件的机械壳体。在一个方面，主体200包围诸如远程无线通信设备116、短程无线通信设备108、soc110、存储器114和其他传感器设备112，106的电子组件。主体200至少包括顶表面220、前表面212、后表面214、第一侧表面216和第二侧表面218。另外，主体200覆盖摄像机，其中每个摄像机位于相应的孔处。例如，图1的向前摄像机102可以位于前表面212的孔202处；图1中的向后摄像机104位于后表面214的孔204处；第一侧向摄像机(未示出)位于第一侧表面216的孔206处；第二侧向摄像机(未示出)位于第二侧表面218的孔208处。底座222耦合到主体200的顶表面220。底座222可以耦合到(或解耦自)车辆的挡风玻璃上的相应底座。在这种配置中，主体200可以附接到挡风玻璃上或从挡风玻璃上拆下。在其他实施例中，主体200可以耦合到与图2中所示不同的底座，并直接耦合到挡风玻璃上。在其他实施例中，主体200可以耦合到车辆的后视镜或者与后视镜集成。

当主体200安装在车辆上时，向前摄像机102可以通过孔202捕获车辆前方道路的图像或视频，以生成相应的图像数据或视频数据。类似地，向后摄像机104可以通过孔204捕获车辆内部的图像或视频，以生成相应的图像数据或视频数据。由向后摄像机104生成的图像数据或视频数据可以用于例如监视车辆的操作员。另外，第一侧向摄像机可以通过孔206捕获驾驶员视角的第一侧(例如，右侧)的图像或视频，以生成相应的图像数据或视频数据。类似地，第二侧向摄像机可以通过孔208捕获驾驶员视角的第二侧(例如，左侧)的图像或视频，以生成相应的图像数据或视频数据。通过聚合来自不同视角的不同图像数据或视频数据，可以确定驾驶员响应于车辆周围环境的行为。

图3a示出了根据所需的隐私修改视频的前述设备、系统和方法的与设备(诸如图2a和2b中所示的设备)的四个摄像机中的每一个相关联的一组四个重叠的视场(fov)区域。可以从锚点在水平和垂直度上指定fov。在图3a中，‘0’度可用于指示与设备右侧正好水平的方向。当固定到车辆上时，‘0’度可以对应于右侧窗外的视图。其他水平方向可以通过将度数从‘0’逆时针移动，以从‘0’度增加到‘360’度来指示。在该实例中，道路fov302可以从‘125’度延伸到‘55’度，这可以对应于该设备所固定之车辆前方的道路的一部分的视图。该实例中的道路fov302可以对应于安装在图2a和2b中所示的系统100的孔202后面的图像传感器(或摄像机)。右fov306可以从‘75’度延伸到‘305’度，经过‘0’度。右fov306可以对应于安装在图2a和2b中所示的系统100的孔206后面的图像传感器(或摄像机)。驾驶室fov304可以从‘335’度延伸到‘205’度，其可以对应于车辆的内部视图的一部分。驾驶室fov304可以对应于安装在图2a和2b中所示的系统100的孔204后面的图像传感器(或摄像机)。左fov308可以从‘235’度延伸到‘105’度。左fov可以对应于安装在图2a和2b中所示的系统100的孔208后面的图像传感器(或摄像机)。

如图3a所示，可以配置本公开的某些方面的实施例，使得围绕系统100的360度圆300的每个角度均可以被至少一个摄像机覆盖。可以认为这样的配置覆盖了车辆驾驶员的基本上整个pov，其可以包括当驾驶员将其头部从右侧调整到左侧时可见的视场部分。另外，视场的一些部分可以被两个摄像机覆盖。例如，图3a中的在‘75’度与‘55’度之间的视场部分326可以被向前摄像机的道路fov302和第一侧向摄像机的右fov306覆盖。

尽管图3a中所示的实例可以提供360度水平视图的覆盖范围，但是可以预期其他实施例，其中覆盖范围可以更小。例如，图3b示出了驾驶员的车辆310配备有三个向外摄像机的实例：具有向左延伸的左fov364的左摄像机、具有向右延伸的右fov366的右摄像机以及具有向前延伸的前fov362的前摄像机。

智能驾驶员监控系统的隐私问题

与固定式摄像机一样，固定在移动车辆上的摄像机也可能会产生隐私问题。例如，车队经理可能负责许多驾驶员的安全，因此可能在其车队中的每辆卡车中部署idms设备。在一些情况下，因为可能存在与向内摄像机相关的隐私问题，所以idms可以被配置为仅从车辆外部收集视频数据。然而，在一些情况下，车队经理还可能希望确保卡车驾驶员表现出安全的行为，例如系安全带，而不是在驾驶时发短信等。为此，根据本公开的某些方面的idms可以捕获包括向内摄像机的视频。向内摄像机可能还有其他应用。例如，在交通事故期间或之后，可以使用向内摄像机来显示驾驶员对其周围环境保持警惕，而不是用手机进行通话等，其证据可能对驾驶员有帮助。

图3b描绘了可能导致冲突的交通情况，并且示出了与idms中的摄像机的使用相关的某些益处和隐私问题。在该实例中，沿第一街道380行驶的驾驶员车辆310在第一街道380和第二街道390的交叉路口处停止。在该实例中，第一街道380的交通灯320设置在交叉路口处的第一街道380的右侧。因此，交通灯320可以从右摄像机fov316可见，但不能从前摄像机fov312看到。假设交通灯320变为绿色状态，指示车辆310可以通过交叉路口。同时，第二车辆324从第二街道390进入交叉路口，其中第二街道390的第二交通灯322处于红色状态，指示第二车辆324在该时刻不应进入交叉路口。在该实例中，由于第二车辆324闯红灯，第一车辆310和第二车辆324可能在交叉路口处发生碰撞。然而，前fov312的宽度可能不足以捕获闯红灯的第二车辆324的图像或视频。因此，仅根据向前摄像机记录的视频可能不足以确定第二车辆324对碰撞负责。本文公开的系统100的额外摄像机(例如，侧向摄像机)可以捕获额外fov314，316的图像或视频，以生成第二车辆324确实对碰撞负责的无可争议的证据。

在一些实施例中，第四摄像机可以包括在idms设备中。在图3b所示的实例中，例如，驾驶员车辆310中的idms可以具有第四摄像机，该第四摄像机具有向内fov。第四摄像机可以捕获驾驶员的视图。

尽管来自向内摄像机的视频具有潜在的好处，但驾驶员可能对持续的视频监控感到不舒服，并且可能不希望在其卡车中安装具有向内摄像机的idms。在一些情况下，卡车驾驶员可以与副驾驶员一起工作，其中副驾驶员可能正在卧铺车厢中睡觉或放松。然而，卧铺车厢中的副驾驶员可能反对被idms设备监控。驾驶员或副驾驶员可以覆盖向后摄像机或禁用idms设备。

继续第一车辆310和第二车辆324碰撞的实例，如图3b所示，来自向内摄像机的视频可用于在事故之前确定驾驶员的警惕性。例如，向内摄像机可以提供证据，该证据可以指示第一车辆310的驾驶员是否意识到第二车辆324正从左侧接近。在第二车辆324看起来停止时，向内摄像机可能已经记录了第一车辆310的驾驶员看向左侧。在交通灯320处于绿色状态时驾驶员开始进入交叉路口之后，第二车辆可能无法及时停止或加速，从而导致事故。在该实例中，来自这些摄像机的视频数据可用于确定驾驶员的注意力和第二驾驶员的过错。也就是说，丢失或禁用的向内摄像机可能等同于证明驾驶员注意力的证据丢失。

尽管在碰撞之后来自向内摄像机的视频具有潜在用途，但是由于隐私问题(如上所述)和/或责任问题，操作员可以选择禁用或移除向内摄像机。本公开的某些方面涉及根据期望的隐私来修改视频，使得用户可以受益于视频数据，同时仍然保护视频数据中的敏感信息。例如，这可以通过修改视频的一部分视场，修改视频的时间间隔或两者来实现。

例如，如果卡车驾驶员担心指向卧铺车厢的摄像机，则根据本公开的某些方面，当有人在卧铺车厢内时，向内摄像机可以被禁用或以其他方式遮挡。例如，包含卧铺车厢的向内fov的一部分可以通过在该区域中加扰图像来修改。替代地或另外地，向内fov的一部分可以在卡车下班的任何时候，在卧铺车厢内有人，在一天中的某段时间等被修改。

根据某些方面，隐私设置可以包括配置覆盖的方式，其可以被称为异常触发。例如，在碰撞时间附近，系统可以自动反转或减少某些基于隐私的修改，否则这些会被应用。

本公开的某些方面涉及选择和/或配置隐私优先级。继续本实例，可以默认修改与内部驾驶室相关的视频以向驾驶员提供隐私。在发生事故的情况下，可以反转或减少全部或部分基于隐私的修改。

根据某些方面，每当视频流中存在敏感信息时，可以对视频的对应部分进行模糊处理。因此，启用的iot设备可以使操作员有信心在可能有用的位置部署摄像机，知道可以减轻收集敏感信息的责任。通过修改与敏感信息相关的视频部分，可以使iot设备能够捕获比其他情况下更多的视频。例如，即使在其他时间禁用一个或多个摄像机，iot设备也可以不时从360度视图捕获视频。

继续本实例，驾驶员可以选择在其卡车中安装启用的idms，因为驾驶员可能确信idms在他下班时不会对他进行记录，当驾驶伙伴处于卧铺车厢时idms将不记录驾驶伙伴等，但例如，在驾驶事故的情况下仍可提供有利的证据。

参照图4，示出了根据本公开的某些方面的图1的soc110的示例性框图。在一个实施例中，soc110包括客户端简档存储器405、远程通信接口410、短程通信接口415、传感器接口418、音频处理器420、图像处理器430、事件检测器440、驾驶员行为分析器445、隐私处理器450和登录处理器455。这些组件可以一起操作以捕获车辆内的图像(或视频)，并且可以自动将隐私屏蔽应用于捕获的图像。这些组件可以体现为硬件、软件、固件或其任何组合。一个或多个组件可以由专用集成电路(asic)或可重新配置的现场可编程门阵列(fpga)实现。在一些实施例中，soc110的一个或多个组件可以实现为软件模块。在一些实施例中，soc110包括比图4中所示更少，更多或与之不同的组件。

客户端简档存储器405是存储客户端简档的本地存储或本地数据库。驾驶员的客户端简档的实例包括驾驶员识别、关联的idms识别、驾驶员历史、驾驶员行为、设备属性和个人属性。驾驶员标识识别驾驶员，其中idms标识识别与驾驶员相关的idms设备。驾驶员历史可以包括总驾驶距离、总驾驶时间长度、总驾驶事故的数量等。驾驶员行为可以指示驾驶员的驾驶习性。例如，驾驶员行为指示每个驾驶距离或每个驾驶时间段的不安全的驾驶动作的数量(例如，使用手机、超速等)。设备属性指示信标设备170的区别特征，其中个人属性指示驾驶员的区别特征(例如，生物签名)。信标设备170可以是由被授权驾驶相关车辆的候选驾驶员佩戴或携带的识别设备。信标设备170可以是发送唯一短程无线信号(例如，蓝牙、nfc或rfid信号)的电子设备、示出qr码的设备或其组合。由客户端简档存储器405存储的信息可以由soc110内的组件访问，或者传输到远程服务器。

远程通信接口410是允许soc110通过网络160(例如，1g、2g、3g、4g或更高带宽网络)与远程服务器150通信的组件。在一个方面，远程通信接口410耦合到图1的远程无线通信设备116。远程通信接口410通过网络160从远程服务器150接收远程客户端简档以更新本地客户端简档存储器405。远程通信接口410还通过网络160将本地客户端简档发送到远程服务器150，以防对本地客户端简档进行任何更改。远程通信接口410可以通过网络160与远程服务器150或其他计算设备交换其他信息(例如，传感器数据、图像数据、视频数据、其推断数据、消息或其任何组合)。

短程通信接口415是允许soc110通过短程无线通信(例如，蓝牙、nfc、rfid等)与其他设备通信的组件。短程通信接口415可以与车辆中的附近传感器设备通信以获得传感器数据。另外，短程通信接口415可以与信标设备170通信以从信标设备170接收无线信号并且基于所接收的无线信号获得信标设备170的设备属性，如下面关于图11至13的详细描述。

传感器接口418是与soc110的传感器设备接口的组件。例如，传感器接口418与gps设备112或惯性传感器106通信以接收指示传感器测量(例如，gps测量、惯性传感器测量等)的传感器数据。传感器数据可用于检测特定事件(例如，可能的事故、硬停、突然加速等)。

音频处理器420是检测驾驶员语音的组件。音频处理器420电连接到耦合到系统100的麦克风，并从麦克风接收指示语音输入或语音命令的音频数据。在一个方面，音频处理器420接收音频数据，并基于音频数据检测驾驶员的口头命令以执行驾驶员请求的动作。音频处理器420可以实现机器学习神经网络以基于音频数据确定口头命令。音频处理器420可以将音频数据存储在图1的存储器114中。

图像处理器430是从驾驶室fov304检测驾驶员或其他乘客的组件。图像处理器430电连接到耦合到系统100的摄像机，并且从摄像机接收指示捕获图像的图像数据或指示捕获视频的视频数据。在一个方面，图像处理器430接收图像数据或视频数据，并执行图像处理以获得运动矢量或提取驾驶室fov304中的对象的特定特征。例如，图像处理器430提取面部、鼻子、嘴、眼睛或其组合的轮廓，并获得驾驶室fov304中驾驶员的所提取的特征或其他部分的运动矢量。因此，图像处理器430可以作为面部检测器操作。图像处理器430可以将图像数据、视频数据、包括提取的特征或运动向量的修改数据，或其任何组合存储在图1所示的存储器114中。

事件检测器440是确定特定事件是否发生，并且执行相应过程的组件。事件检测器440可以通信地耦合到传感器接口418、音频处理器420和图像处理器430，并分析来自这些组件的输出以确定是否发生了某个事件。例如，事件检测器440基于来自传感器接口418的传感器数据检测可能的碰撞或突然的驾驶行为。再例如，事件检测器440确定驾驶员提供口头命令以开始记录视频，并且事件检测器440使摄像机开始记录。又例如，事件检测器440基于图像数据或视频数据检测fov的预定区域中的乘客的存在。又例如，事件检测器440基于从图像处理器430提取的特征或运动向量来检测车辆中乘客的存在。又例如，事件检测器440基于图像数据或视频数据检测fov中的qr码，并解码qr码。又例如，事件检测器440基于传感器数据检测车辆移动超出预定速度或预定距离。由事件检测器440检测到的事件的附加实例在下面参考图5至10进行描述。

驾驶员行为分析器445是确定驾驶员的驾驶行为并且生成指示所确定的驾驶行为的推断数据的组件。在一个方面，驾驶员行为分析器445考虑到如本文所述的车辆的外部环境来确定驾驶员的驾驶行为。例如，驾驶员行为分析器445响应于附近的交通状况确定驾驶员的动作或反应。又例如，驾驶员行为分析器445基于从图像处理器430提取的特征或运动矢量来确定用户状态，如困倦、分心驾驶、使用手机、注意力或其组合。

隐私处理器450是将隐私屏蔽应用于图像数据或视频数据的组件。隐私处理器450可以接收图像数据或视频数据，并修改接收的数据以隐藏图像数据或视频数据中的fov的一部分。在一种方法中，隐私处理器450自适应地检测乘客的存在，并自动将隐私屏蔽应用于对应于乘客存在的fov的区域。在另一种方法中，隐私处理器450将隐私屏蔽应用于fov的预定区域。隐私处理器450可以应用隐私屏蔽来模糊、禁用或将图像数据中的fov的一部分转换为“线条”。以下关于图5至10提供执行隐私屏蔽的详细实例和过程。

登录处理器455是验证驾驶员是否是车辆的授权驾驶员的组件。在一个实施例中，登录处理器455基于信标设备170的设备属性和驾驶员的个人属性来验证驾驶员。通过设备属性和个人属性验证车辆驾驶员可以提高确认驾驶员身份的准确性和效率。下面参考图10至13提供基于设备属性和个人属性验证驾驶员的额外细节和实例。

在一个方面，本文中“授权驾驶员”可以是“已知驾驶员”。在一些实施例中，soc110可以不包括哪个驾驶员应该驾驶哪辆车的数据库。相反，soc110可以被配置为识别哪个驾驶员当前正在驾驶车辆。在这种情况下，任何驾驶员都可以被授权驾驶车队中的任何车辆。soc110的目标是将驾驶行为量度适当地分配给正确的驾驶员。此外，同时，“已知驾驶员”可能不是“识别的驾驶员”，而是对应于“经过验证的驾驶员”。也就是说，soc110可能识别或不识别驾驶员是谁，而可能只是确定当前的驾驶员是在较早时间验证的同一个人。

手动禁用或启用视频流

与图3a和图3b中描述的实例一样，视频捕获系统或设备(例如idms)可包括多个视频流。诸如图2a和图2b中所示的设备，例如可以捕获四个视频流。当安装在车辆内部时，四个视频流的fov可以覆盖设备周围的360度水平视图，如图3a所示。视频流的组合可以被视为在水平方向上具有360度fov的视频。在一些实施例中，诸如图2a和图2b中所示的设备可以例如通过无线连接到远程安装的摄像机捕获多于四个视频流。

所公开的系统100能够收集多个视频流以启用或禁用一个或多个视频流一段时间。如上面参考图3b所述，当驾驶员下班时，可以禁用向内摄像机。

在一个实例中，系统100包括第一按钮，当按下时，禁用向内摄像机。另外，系统100可以包括第二按钮，当按下时，启动向内摄像机。在该实例中，可以在驾驶员驾驶时启用旨在监控驾驶行为的iot设备，但是当驾驶员下班时可以将其禁用。

启用的设备可以包括当前隐私状态的指示，其在本实例中可以等同于向内摄像机是打开还是关闭的指示。例如，led灯可以在摄像机打开(例如，隐私‘关闭’)时点亮，并且led灯可以当摄像机关闭(例如，隐私‘打开’)时熄灭。

由于led灯的存在可能对驾驶员有刺激性，尤其是在夜间驾驶期间，还预期了指示隐私状态的其他方式。例如，led指示器可以在摄像机关闭(例如，隐私‘打开’)时点亮，并且可以在摄像机打开(例如，隐私‘关闭’)时熄灭。

在一些实施例中，车队可以配置idms，使得led指示器可以打开以指示隐私模式不处于其默认状态。在一个实例中，卡车车队可以配置idms设备，使得向内摄像机默认关闭。在这种情况下，如果检测到覆盖状态(如下面更详细描述的)，则led可以点亮，使得向内摄像机暂时开启。或者，卡车车队可以配置设备，使得向内摄像机默认打开。在这种情况下，led可以点亮以指示向内摄像机关闭(例如，隐私‘打开’)。

对于具有组合的360度fov的系统，禁用向内摄像机可以被认为是一种对仅被向内摄像机覆盖的组合视图的所有部分启动隐私的方式。在图3a所示的实例中，视频的该部分可以对应于组合fov的在水平方向上从‘235’度延伸到‘305’度的部分。虽然在该实例中向内摄像机fov304可以从‘205’度延伸到‘335’度，但是在该实例中左摄像机可以捕获fov的从‘205’度到‘235’度的部分348。类似地，fov的从‘305’度到‘335’度的部分318可以被右摄像机覆盖。

在上面的实例中，设备上的按钮可以用作切换键以将期望的隐私设置“打开”或“关闭”。例如，第一按钮按下可以禁用视频流，从而对可以由设备记录的组合视频的一部分启动隐私。第二按钮按下可以使系统返回到先前的设置。由于驾驶员可能不确定设备的状态，按钮可以在两个位置之间物理地切换，例如伸展位置和按下位置，这可以分别指示向内摄像机被启用或禁用。

除了按钮按下之外，还考虑了启用或禁用视频的一部分的若干其他方法。例如，可以响应于语音命令‘打开’隐私模式。在另一实例中，可以响应于qr码或其他图像的呈现来‘打开’隐私模式。在一些实施例中，可以使用诸如触摸启用的智能手机的第二电子设备，使得驾驶员或乘客可以按下电子设备上的按钮或屏幕图标以启用或禁用隐私模式。替代地或另外地，远程操作员(诸如卡车车队的安全管理员)可以与因特网门户交互以指示所安装的设备启用或禁用隐私模式。

自动禁用和启用视频流

根据本公开的某些方面，根据本公开的某些方面的iot设备可以基于事件的检测而不是手动输入来启用或禁用隐私模式。在一些实施例中，可以响应于检测到触发事件来启用或禁用视频流。在一个实例中，设备可以配备有用于确定物理位置的装置，例如gps模块，或者通过能够基于视觉数据识别位置的摄像机和数据库系统。在该实例中，进入管制位置可以启用或禁用隐私模式。例如，军事基地可以建立管制，使得根据本公开的某些方面，具有摄像机的设备可以在军事基地禁用向外摄像机。

在另一个实例中，启用的设备可以与搭乘应用通信以基于与乘客上下车有关的事件来触发隐私模式。在一个实例中，可以基于驾驶员是否已经接载乘客来启用隐私模式。替代地或另外地，响应于驾驶员接受出租车服务请求，当车门打开时，当乘客进入车辆时，当乘客座位上的重量传感器指示突然改变时等，可以启用隐私模式。在一些实施例中，隐私模式触发器可以至少部分地基于特定乘客的期望隐私设置。同样地，当乘客离开车辆时，当驾驶员退出搭乘应用程序等时，可以禁用隐私模式。此外，设备可以基于不同的检测事件启用或禁用不同的隐私模式，如下所述。

对于前述用于根据期望的隐私修改视频的系统、设备和方法的一些用户，可以在乘客进入车辆的指定空间(例如驾驶员区域)时启用隐私模式。例如，操作员可以将设备配置为默认地模糊乘客的身份，但是如果乘客是好争辩的的、带有威胁的，或者如果识别出对应于驾驶员的危险情况，则覆盖隐私模式。

在一些实施例中，驾驶事件可以用作启用或禁用隐私模式的触发器。例如，如果检测到硬停，则可以禁用隐私模式。在一个实例中，设备可以被配置为默认地记录和模糊所有向内摄像机数据。该设备还可以被配置为基于检测到的硬停来覆盖该设置。例如，设备可以从远程服务器150请求加密密钥，该加密密钥可以用于对围绕事件的视频的一部分进行反向加密。或者，可以将视频默认地临时存储到队列中。硬制动事件的检测可以标记临时存储的视频的一部分，其可以包括在事件之后记录的视频，在没有加密的情况下存储，或者被存储使得视频的某些部分和/或时间间隔在没有加密的情况下存储。

可以响应于可能与惯性传感器上的可检测变化无关的交通违规而禁用隐私模式。例如，驾驶员可以在没有实质加速或减速的情况下穿过红灯。在检测到红灯违规时，设备可以根据与其他时间不同的隐私设置来存储和/或发送相应的视频数据。

可以在视频数据中检测到的一个或多个事件可以用于触发隐私模式的改变。在2017年1月11日提交的pct专利申请号pct/us17/13062——“驾驶员行为监控(driverbehaviormonitoring)”中描述了检测视频数据中的事件的若干设备、系统和方法，该申请通过引用整体并入本文。

预期了几种触发隐私设置应用的手动和自主方法，包括上面列出的触发器。对于某些应用，可以自动配置隐私模式“打开”或“关闭”。考虑到手动触发器的实例(其中可以通过按钮按下、语音命令、qr码的呈现等来启用隐私)，操作员在一天的驾驶结束时可能忘记按下按钮，发出语音命令，呈现qr码等。如果是这样的话，即使他下班，他也可能会让向内摄像机继续运行。同样，他可能记得在下班时启用隐私，但可能会在上班时忘记禁用隐私。在一个方面，可以在没有来自人的手动触发或输入的情况下自动配置启用和/或禁用隐私。

系统可以自动确定应该应用期望的隐私，而不是人为提供的触发器。在一个实例中，系统可以在车辆处于发动机关闭或发动机怠速状态时启用隐私。在该实例中，发动机怠速可以指车辆静止至少n分钟的情况，其中n可以是3。在一些实施例中，n的值可以由用户选择。当车辆速度超过某个阈值时，在该实例中可以禁用隐私。例如，当车速超过15mph时，可以禁用隐私。

在一些实施例中，人类操作员可以配置隐私模式和可以与隐私模式相关联的触发事件。在本实例中，隐私模式可以对应于禁用的向内摄像机。根据某些方面，可以检测(或以其他方式确定已经发生)指定的触发事件的发生，此时隐私模式可以应用于在事件的时间附近捕获的视频数据的部分。在该实例中，视频数据的该部分可以是与仅由向内摄像机覆盖的fov对应的部分。因此启用，系统或设备可以基于触发事件在适当的时间启用或禁用指定的隐私模式，其中触发事件没有来自人的显式触发。

继续当下班时可能需要隐私的卡车驾驶员的实例，根据本公开的某些方面，四摄像机系统可以在驾驶员下班时有效地变成三摄像机系统。与不利用主动隐私的替代方案相比，这可能是监视驾驶员和周围视场的优选方式。例如，第一驾驶员可以决定安装不具有向内摄像机的idms，从而不会担心向内摄像机会被错误地激活。在另一个实例中，第二驾驶员可以决定安装四摄像机系统，但是当他下班时使用主动隐私关闭向内摄像机。这种配置可能优于当驾驶员下班时关闭整个idms的配置，因为其余的摄像机(左、前和右)仍然可以监视和/或记录车辆周围的区域，从而为车辆提供安全性。

对于一些应用，可以指定应当应用隐私的组合fov的一部分以扩展超出单个摄像机的fov，但是不扩展到包括第二相机的整个fov。继续卡车驾驶员的实例，可以修改来自整个向内摄像机fov和一半向左摄像机fov的视频数据。该配置可以确保在启用隐私模式时不捕获驾驶员的图像，但是仍然可以监视被向左摄像机覆盖的fov的一部分。预期了实现这种期望的隐私模式的若干方法。例如，当该隐私模式“打开”时，可以禁用向内摄像机并且可以处理向左摄相机，使得与其fov的左侧部分相关联的像素值被设置为‘黑色’。‘黑色’隐私模式可以指在三通道颜色传感器的情况下将像素值设置为(0,0,0)，或者在单通道灰度传感器的情况下将像素值设置为(0)。或者，可以忽略像素值或不将像素值写入存储器。预期了用于修改图像的一部分的若干技术，如下一节中所述。

图像的一部分

对于车辆中的向内摄像机，fov的不同部分可以捕获不同的对象或不同类型的信息。在一些应用中，fov的一部分可能被模糊。例如，车辆的驾驶员或其他乘客可能被遮挡，但是可以监控车辆内的多部分以从向内摄像机收集其他相关信息，但仍保持车辆中驾驶员或一个或多个乘客的隐私。

来自向内摄像机的示例性图像在图5a中示出。在该图中，驾驶员502位于汽车的左侧。当摄像机安装在后视镜或挡风玻璃上时，汽车的左侧可能出现在向内摄像机fov的右侧，如本实例所示。在一些车辆中，例如在美国的运载车辆中，从这个角度来看，驾驶员通常可以在左侧找到。类似地，在一些国家，例如印度，从这个角度来看，驾驶员通常可以在左侧找到，这可能对应于汽车的右侧。在该图像中，驾驶员502身旁有坐在乘客座位上的乘客504，并且后座上没有乘客。在该视图中可见三个窗口，驾驶员侧后座窗口区域506、后窗区域508和乘客侧后座窗口区域510。图5b至d示出了如何根据不同的隐私设置来修改图像的不同部分，如下所述。

图5b示出了根据期望的隐私修改视频的前述方法的实例，其中为图像中的多个区域中的每个区域选择期望的隐私。在该实例中，驾驶员502的期望隐私可以被设置为“无”(意味着系统可以保持与驾驶员相关联的fov的部分不被修改)，使得有权访问视频的任何人都可以监视车辆的驾驶员502。任何可见窗口的期望隐私也可以设置为“无”，以便通过任何可见窗口(例如驾驶员侧后座窗口区域506、后窗区域508和乘客侧后座窗口区域510)的道路视图可以保持不被修改。此外，乘客区域(例如乘客座位区域512或后座区域514)的期望隐私可以被设置为“加扰”。在该实例中，与乘客相关联的视频观看视频输出的人可能无法解释。加扰的修改可以有助于保持任何乘客的隐私。在一些实施例中，加扰信号可以在稍后由授权人员恢复，如下所述。

图5b中示出的该隐私配置可能有利于可以轮流驾驶车辆的团队驾驶员。当其中一个驾驶员下班时，例如图5a中的乘客504，可以修改对应于他可能就座的位置的视频部分以增强其的隐私。在这种情况下，乘客座位区域512和后座区域514可能被遮挡。

除了解决隐私问题之外，本公开的某些方面可以应用于节省计算或存储器存储资源。在图5b所示的实例中，操作员可能已经确定在对应于汽车内部车顶的fov的一部分中不太可能发生感兴趣的事情。为了节省计算和/或存储器资源(分别与处理和/或存储在该部分中捕获的像素数据相关联)，操作员可以选择忽略来自某些识别的区域的视觉信息。在这种情况下，车顶区域516的期望隐私可以被设置为“黑色”，表示既不想遮挡也不想查看该区域中的视觉信息。来自车顶区域516的像素可以被忽略或者可以被重置为均匀的颜色。尽管如此，整个fov的图示可以将该区域绘制成均匀的颜色，例如黑色，如图5b所示。

根据本公开的某些方面，启用的系统可以被配置为在没有来自人类操作员的输入的情况下忽略来自fov的所选部分(其可以是来自一个摄像机的图像的区域)的视觉信息。在该实例中，系统可以被配置为检测用户定义任务的相关对象。在一段时间之后，系统可以确定感兴趣的对象未出现在fov的特定部分中，或者感兴趣的对象出现在那个区域中，但出现频率低于阈值。然后，系统可以将该部分设置为“黑色”模式。

与图像的加扰部分(诸如图5b的512和514)不同，图像的黑化部分(诸如图5b的516)可能在以后不可恢复。因为视觉信息已被忽略或丢弃，所以fov的“黑色”部分可以以每单位图像区域较少的比特存储在存储器中。另外，对图像执行的计算可以跳过这些区域，从而有效地减小输入图像尺寸。

虽然本实例将被忽略的区域示为“黑色”并且将模糊的区域示为“加扰的”，但是也可以预期示出图像的给定部分内的视频内容的其他方式。例如，被忽略的区域可以被示为具有带噪声的纹理图案的区域，使得其具有类似于图5b的加扰部分的外观。同样地，模糊但可恢复的区域，例如图5b中的512或514可以在视频观看器中以均匀的黑色示出。

在一些应用中，可以监视车辆的乘客，同时保持驾驶员的隐私。例如，根据本公开的某些方面启用的idms可以具有隐私配置，其中驾驶员可能坐着或休息(上班或下班)的向内视频fov的部分可能被默认遮挡。负责车辆和/或货物的车队管理公司可以制定针对与驾驶员一起乘坐车辆的乘客的政策。在这种情况下，与驾驶员相关联的fov部分可能被遮挡，但是对应于乘客区域的fov部分可能保持不被修改。

图5c示出了根据期望的隐私修改视频的上述方法的实例，其中为视频中的图像的多个部分中的每个部分选择期望的隐私模式。用于驾驶员座位区域518的期望隐私模式可以被设置为“加扰”。乘客区域(诸如乘客座位区域或后座区域)的期望隐私可以被设置为“无”。如图5b中所示，内部车顶区域516可以被设置为“黑色”。

图5d示出了根据期望的隐私修改视频的前述方法的实例，其中驾驶员的期望隐私和乘客区域(诸如乘客座位区域512或后座区域514)的期望隐私可以被设置为“加扰”。如图5b和5c所示，内部车顶区域516可以被设置为“黑色”。如果用户主要感兴趣的是具有对应于车辆外部的视频数据，则设备可以被配置有这些隐私设置。例如，这种视频数据可用于监视驾驶员的盲点。

触发图像的一部分的隐私模式

在一些实施例中，触发事件可以与期望的隐私和视频图像的选定部分相关联。继续参考图5c描述的示例，其中车队管理公司坚持无乘客政策，触发事件可以是乘客座位或后座乘客的出现。根据本公开的某些方面，驾驶员座位区域518、乘客座位区域512和后座区域514区域的期望隐私可以被默认设置为“加扰”，如图5d所示。另外，可以选择乘客的出现作为触发事件。该触发事件可以具有相关联的期望隐私模式以及与默认不同的视频的一部分。在该实例中，触发事件可以与视频的乘客座位区域512和后座区域514部分的“无”隐私模式相关联。由于在该实例中移除了隐私，因此该触发事件可被视为异常触发。当系统确定乘客已经出现(“触发”)时，与该触发事件相关联的隐私模式设置(“无”)可以覆盖默认设置。在该实例中，基于系统100(例如，事件检测器440)确定乘客坐在乘客座椅上，可以移除施加到乘客和后座区域(统称为“部分”)的加扰，导致如图5c所示的视图。

预期了几种用于确定是否已发生触发事件的方法。在本实例中，来自向内摄像机的视频可以用于检测例如fov中的面部。如果检测到不止一个面部，则系统100可以确定乘客已经出现在车辆中。类似地，系统100可以检测单个面部，但是可以将检测到的面部与驾驶员的不同图像或者先前观察到的驾驶员面部特征的呈现等进行比较，并且可以确定不匹配。在任一情况下，车辆中乘客的检测可以触发将相关联的隐私设置应用于图像的指示部分。隐私设置可以应用于检测到的事件周围的时段，包括在事件之前，例如，通过解扰可以本地存储在设备上的视频的适当部分。

在一些实施例中，可以在不依赖于视频数据的情况下检测触发事件的发生。例如，可以基于其他传感器的输出来确定触发事件。在一个实例中，系统可以直接通过有线连接，通过蓝牙或通过车辆的obd-ii端口访问乘客座椅中的重量传感器。触发事件的确定可以仅基于这种重量传感器的输出，和/或结合另一传感器。例如，超声波传感器可用于确定乘客座位上对象的存在，该对象具有与人类乘客(而不是例如重型纸板箱)匹配的签名。该输出单独，或与来自重量传感器的输出组合，可用于确定乘客的存在。

基于区域与基于对象的隐私

根据本公开的某些方面，视频的一部分可以被选择为区域(或区)、对象或者包括区域和对象的组合。在图5d所示的实例中，可以选择三个区域(512，514和518)以具有期望的“加扰”隐私。在该实例中，可以根据驾驶员可能出现在fov中的位置来选择驾驶员座位区域518。例如，在安装向内摄像机之后，启用的系统可以识别对应于驾驶员、乘客等的fov的部分。在该实例中，驾驶员座位区域518可以是覆盖驾驶员的梯形区域。在一些实施例中，可以根据观察到的驾驶员位置的历史来更新或调整驾驶员区域(或驾驶员座位区域)的位置。

在一些实施中，视频的基于隐私的修改可以根据对象的移动。在车辆中，移动对象可以是驾驶员的面部、手臂、躯干等。在固定的视频监视系统中，移动物体可以是在上学途中经过摄像机的孩子。图6a示出了来自本公开的实施例的输出图像，其中选择两个对象用于隐私修改、驾驶员的面部和乘客的面部。在该实例中，对应于所选对象的图像的部分602，604的期望隐私可能已被设置为“加扰”，如图6a所示。在视频序列的过程中，驾驶员面部和/或乘客面部的位置可以在向内摄像机的fov内移动。如果视频的修改部分在向内摄像机的fov内是静止的，则乘客的大幅度移动，例如可能使其全部或部分脸部在修改区域之外，从而使期望的隐私恶化或遭到破坏。

根据本公开的某些方面，根据期望的隐私修改视频的所选部分可以包括确定所选对象的位置的步骤。在该实例中，可以使用面部检测算法(单独或与跟踪算法组合)来确定对象在视频的给定帧中的位置。在确定对象的位置之后，启用的系统可以基于所确定的对象位置来选择视频的一部分。确定的对象位置和视频的所选部分不必相同。例如，所选部分可以与确定的对象位置以相同位置为中心，但可以大25％。

图6b示出了向左摄像机的视图，如图6a所示，其捕获驾驶员面部的视图。在该实例中，对应于驾驶员面部的左fov的部分620被加扰。

图6c和图6d示出了与图6a和图6b相同的视图，但隐私设置被配置成使得分别对应于后驾驶员窗口、后窗和后乘客窗口的窗口部分606，608，610具有“无”的隐私设置，并且其余区域具有“加扰”的隐私设置。这个实例可以说明可以以基于对象的方式指定隐私模式的系统的效用。如图6c所示，驾驶员的面部有时可以在窗户的视图前面交叉。在该实例中，驾驶员的面部已经在后驾驶员窗口部分606前面交叉。根据图6c中所示的隐私配置，在这些时间可以解扰驾驶员面部的一部分。由于这可能是不期望的，因此驾驶员可以将隐私设置配置为图6a和图6c中所示的组合。例如，驾驶员可以针对窗口位置将期望的隐私模式配置为“无”，但是这些可以被驾驶员和乘客面部的期望的“加扰”隐私模式所覆盖。因此，如图6e和图6f所示，未被与乘客和驾驶员的面部相对应的部分602，604阻挡的窗口部分606，608，610可以保持不被加扰。

虽然前面的实例示出了对应于车辆内的人和位置的视频部分的修改，但是可以预期其他隐私设置。例如，系统100可以模糊指向车辆外部的视频流部分。该配置可以应用于军事基地、机场或其他安全区域附近。在图7a中，示出了来自向内摄像机的图像，其中分别对应于后驾驶员窗、后窗和后乘客窗的fov的部分706，708，710被模糊化。同样，图7b示出了来自左摄像机的视图，其中对应于车辆外部的视图722的部分被模糊化。

如图7a所示，至少对于一些图像帧，隐私模式的基于区域的配置可以模糊已经被人模糊的车辆外部的视图。然而，可能希望使fov的对应于驾驶员面部的部分不被模糊。这可以通过组合基于对象的隐私设置来实现。在图7b所示的实例中，可以为驾驶员的面部702和乘客的面部704设置隐私模式“无”。此外，该隐私设置可以被配置为优先于与窗口区域相关联的“加扰”的隐私模式。

可配置的隐私设置

如先前实例中所示，可以配置设备，使得不同的隐私模式与设备的组合fov的不同部分相关联。例如，每个隐私模式可以与视频流、视频流的fov的一部分、多于一个视频流中的每一个的一部分等相关联。类似地，每个隐私模式可以与可以在一个或多个视频流中跟踪的对象相关联。另外，每个隐私模式可以与触发事件相关联。在一些实施例中，触发事件可以与时间间隔相关联(例如，在触发事件之前2分钟开始的3分钟)。

隐私模式、位置(视场和/或对象的一部分)和触发事件的每个集合可以被认为是“隐私设置”。此外，隐私设置可以具有优先级或表示一个隐私设置可能优先于其他设置的其他方式。在一些情况下，隐私设置可能包含隐含值。例如，可以在设备可操作的所有时间应用不具有定义的触发事件的隐私设置，受到优先级更高的其他隐私设置的约束。

由于隐私设置的配置可能是麻烦的，可能具有非预期的后果，和/或可能是耗时的，因此本公开的某些方面涉及用户界面。用户界面的一个方面可以包括图像的预分割。例如，如图8a所示，驾驶员座位区域818、乘客座位区域812、后座区域814，车顶区域816和窗户区域可以由不同的形状指示。如图8a所示，驾驶员、车队经理、安装人员或其他授权个人可以查看预分段图像，从而为给定隐私设置选择区域和/或对象。在选择一个或多个区域和/或对象时，可以让操作员选择隐私模式(其可以包括“加扰”，“无”，以及下一节中描述的其他模式)。用户可以进一步选择触发事件和优先级。

例如，为了实现图7c中所示的隐私配置，用户可以选择三个窗口区域，“加扰”隐私模式，以及优先级“2”作为第一隐私设置。用户可另外选择两个面部(驾驶员面部802和乘客面部804)，“无”隐私模式，以及优先级“1”作为第二隐私设置。用户可以进一步定制预先选择的面部对象以将他们缩小25％来实现更紧密的配合。例如，当在智能手机、平板电脑或其他触敏显示器上显示时，这可以通过按压图8a中所示图像中的两个面部来实现，然后按住其中一个框的角落并将其拖向框的中心，直到达到所需的紧密度。在该实例中减小对象的尺寸可能是有用的，因为用户可能不希望无意地结合可能围绕驾驶员面部的外部视图的部分。

类似地，不是使用如图8a中所示的基本上矩形的框，系统可以用对应于潜在感兴趣对象的形状的弯曲和/或成角度边界边缘预先分割图像。

由于在摄像机的视图中可能存在许多对象，因此本公开的某些方面涉及基于先前收集的统计数据的图像的智能预分割。例如，在设备处或在类似设备处收集的视频数据可以基于先前观察到的乘客位置来指示可被视为后乘客区域的fov的范围。在另一实例中，对应于儿童汽车组的向内摄像机的一部分可以是图像的预分割部分。

上述技术可以促进隐私设置的配置。在一些情况下，用户可以配置隐私设置而无需访问未修改的图像。在一个实例中，图8a中示出的背景图像本身可以被认为是隐私。根据某些方面，可以使用对象的线框或线条表示来代替图像。图78示出了用于配置隐私设置的用户界面的实例，该用户界面使用线框来指示摄像机视图中的不同对象和区域。如图8所示，可以预先分割不同区域(驾驶员座位区域818、乘客座位区域812、后座区域814和车顶区域816)和对象(驾驶员面部802和乘客面部804)以便于规范隐私设置。

如果没有配置，隐私设置的每个期望组合可能需要创建新产品。例如，在没有配置向内摄像机的隐私模式的能力的情况下，具有与向内摄像机有关的隐私的用户可以选择不包括向内摄像机的产品的版本。通过启用隐私设置的配置，用户可以在不同时间改变隐私设置而无不会产生切换设备硬件的成本。另外，可以减少生产具有各种隐私配置的设备的成本。例如，如果包括不使用的摄像机的成本较低，那么大规模生产包括客户不打算使用的摄像机和其他传感器的设备可能具有成本效益，而不是小批次地生产摄像机数量不同的多种产品。

其他形式的隐私配置可以包括手动干预。例如，用户可以在特定时间用镜头盖覆盖摄像机。同样，也可以自动将镜头盖应用于摄像机。实现隐私模式的手动方式可以更加确保使组合视场的敏感区域保持私密。然而，手动方式也易面临其他技术挑战。例如，镜头盖或盖定位系统可能会损坏。另外，依赖于覆盖摄像机镜头的方法可能受限于他们调整给定视频流的一部分的隐私设置的能力。

虽然上述用户界面实例被描述为用于配置隐私设置或一组隐私设置，但可以使用相同或类似的用户界面来向用户显示隐私是如何(或已经或将要)应用于图像。在一个实例中，如上所述，led可以用于指示隐私模式是启用还是禁用。考虑到隐私配置可以包括隐私设置的层次结构，用户可以看到全部隐私设置组合的效果。

配置用户界面可以通过智能手机，平板电脑上的触摸屏或集成在车辆内供卡车驾驶员使用。替代地或另外地，配置和/或显示用户界面可供远程位置处的操作员，例如车队管理员使用。在一些情况下，对于给定客户类型而言共同的隐私配置(其可以包括多个隐私设置)可以由用户选择或者被设备或系统预先加载。在一些实施例中，预加载的隐私配置可以由驾驶员、车队经理或其他授权人进一步调整。

在一些实施例中，隐私配置可以包括对象，诸如“驾驶员”，其可以根据使用国家而具有不同的典型位置。在这种情况下，可以使用gps信号等将所选“驾驶员”对象分配至车辆的正确侧。

在一些实施例中，用户可以配置多组隐私配置。系统可以基于gps或一些其他确定位置的方式来选择隐私配置。例如，卡车车队可以在欧洲操作车辆，并且不同的欧洲国家可能具有关于车辆隐私的不同法律和/或习惯。在该实例中，启用的系统可以实现适合于卡车进入的每个国家的隐私配置。

在一些实施例中，隐私模式可以由口头命令配置。在一个实例中，车辆的驾驶室中或房屋的房间中的人可以说出诸如“请保持隐私”的短语。在该实例中，iot可以定位说话者的来源，识别说话者的面部，然后配置新的隐私设置以修改与说话者的面部相对应的图像部分。可以利用波束成形来执行语音定位。在一些实例中，可以通过面部检测来增强语音定位，以识别该短语出自何人。在一些实施例中，隐私设置可以保持有效直到发出另一个短语。

在一些实施例中，隐私模式可以应用于音频信号。考虑图5b中所示的实例，系统可以进一步配置成使得从乘客座位区域512或514发出的音频信号被选择性地过滤或消除。在该配置中，可以收集音频数据的iot设备仍然可以过滤掉某些私人对话，例如乘客之间的对话。

除了提供隐私之外，某些区域的音频消除可以使得其他音频信号相对更容易理解。在一些应用中，用户可以在稍后的时间应用音频隐私特征，以便更容易辨别相关的音频信号。在一个实例中，起居室中的iot设备可以捕获立体声系统的视图。观看视频的人可以通过点击对应于立体声扬声器的图像部分来“视觉上静音”立体声。

隐私模式

隐私设置可以包括隐私模式。预期了几种隐私模式。图5b中示出了三种隐私模式。如上所述，在该实例中，为驾驶员座位区域518和可见窗口区域506，508和510选择“无”隐私模式。为乘客座位区域512和514选择“加扰”隐私模式，并且为内部车顶区域516选择“黑色”隐私模式。可以设想其他隐私模式，包括“模糊”、“禁用”和“线条”。音频隐私模式可以包括“失真”、“语音合成”、“翻译”等。

“无”隐私模式可以指示相应区域中的像素应该看起来与在没有应用隐私修改时出现的基本相同。

“加扰”的隐私模式可以指示相应区域中的像素应该看起来基本上类似于随机噪声。图像的加扰部分中的像素可以基于原始像素值，并且可以根据加扰函数进行变换。在一些实施例中，被加扰的视频记录的修改部分可以是可恢复的。例如，原始像素值可以乘以伪随机值序列，或者根据伪随机值序列的确定性函数进行变换。为了恢复原始视频，授权用户可以具有在本实例中用于生成伪随机值的种子值。通过访问在图像的加扰中使用的种子值，并且知道伪随机值的来源，授权用户可以能够通过已知随机数生成器的连续值来划分加扰的像素，其中从随机种子开始。在一些情况中，可以应用二次误差校正步骤来校正模糊点处的图像。在这些实例中，种子值可以被认为是一种加密密钥。在一些实施例中，可以使用对应于由相关人员选择的密码的加密密钥。例如，驾驶员可能已经创建了一个密钥，该密钥可用于加密或解密与向内摄像机相关联的视频。在事故发生后，驾驶员可以选择与另一方共享加密密钥，例如车队经理、执法机构等。

“黑色”隐私模式可以指示对应区域中的像素可以被设置为均匀值或者可以被忽略。例如，如果图像的左半部分被设置为“黑色”，则系统100可以保存图像的右半部分，并指示应该忽略的视频数据的左侧的水平像素值。可以从传感器读取忽略的像素值并丢弃。在一些实施例中，可能永远不会从传感器读取被忽略的像素值。

“模糊”的隐私模式可以指示相应区域中的像素已经模糊，例如，通过将该区域与二维高斯卷积。“模糊”区域内的对象的外观可以被模糊，使得对象的粗略形状是可辨别的，但是某些特征(例如，由高对比度边缘的特定图案表征的特征)可能不是不可识别的。

“线条”的隐私模式可以指示在相应区域中识别的对象可以由线条表示替换。图9a和图9b中示出了“线条”表示的一个实例。图9a中的原始图像已经进行了转换，以便勾勒出人物和相关对象边缘的线条表示。例如，线条表示可用于adas和自主驾驶系统，以跟踪或监视驾驶员的注意力。

“禁用”隐私模式可以对应于不打开，不消耗电力等的摄像机。与“黑色”或“加扰”隐私模式不同，“禁用”隐私模式可能不会捕获和/或记录任何视频，直到“禁用”设置被更改为止。因此，来自被“禁用”的摄像机的视频可能无法从移除“禁用”设置的触发事件之前的时间恢复。在一些实施例中，可以配置设备，使得仅可以由原始购买者或指定代理打开禁用的摄像机。

可以出于与隐私无关的原因选择“禁用”隐私模式。例如，idms可以被配置为基于存储器的存储容量来禁用摄像机。例如，如果idms设备接近存储器存储极限，则可以将其配置为禁用一个或多个摄像机。这可以扩展可以存储的来自其他摄像机的记录视频量。类似地，idms设备可以固定到停放，正在进行维修或由于某些其他原因而停用的车辆上。

除了修改像素值之外，本公开的某些方面可以涉及用推断的数据替换像素值，如下一节中所述。在这种情况下，隐私模式可以被设置为“推断”。“线条”表示可以被认为是一种“推断的”隐私模式。

推断数据的存储

本公开的某些方面涉及处理设备上的视频数据并存储推断数据而不是像素值。例如，所公开的系统100监视驾驶员的注意力。另外，所公开的系统100保持关于驾驶员身份的隐私。根据本公开的某些方面，可以用描述驾驶员注意力方面的推断数据替换对应于驾驶员的图像的一部分。与图9b中所示的“线条”隐私设置一样，来自向内摄像机的视频数据可以包括描述驾驶员的注视方向、手的位置等的一组参数。同样地，数据可以被简化为一组二进制指示符，例如驾驶员是否看向道路方向，驾驶员手是否放在方向盘上等的指示符。

在另一实例中，系统100可以被配置为验证驾驶员与对应于驾驶员的一部分的先前视图的本地存储的数据库之间的匹配。例如，该设备可以被配置为基于经训练以执行面部验证任务

的神经网络处理来自向内摄像机的图像来计算驾驶员的特征向量。特征向量可以存储在本地存储器中，其中特征向量可以基于从向内摄像机接收的图像的一部分对应于面部验证网络中的某些节点的值。稍后，设备可以对来自向内摄像机的新图像处理面部验证网络。然后，设备可以存储新图像是否包含与先前观看的人的相匹配的指示。在该实例中，系统100可以仅存储当前驾驶员可能是第二次观察到的同一人的指示，而不是存储可用于识别驾驶员的图像像素。在一个实例中，卡车可以由驾驶团队驾驶，驾驶团队由驾驶员a和驾驶员b组成。根据本公开的某些方面，系统100可以存储指示驾驶员a或驾驶员b是否正在驾驶的日志，但是标签驾驶员a(和标签驾驶员b)与特定人员的对应关系可能会被模糊。

在另一个实例中，驾驶员可以为向内摄像机呈现qr码。根据本公开的某些方面，系统100可以存储从qr码推断的数据而不是相关联的图像。在一个实例中，驾驶员可以为向内摄像机呈现qr码，使得qr码在fov中并且驾驶员的面部也在fov中。在该实例中，可以从视频图像推断qr码数据，其可以包括驾驶员的姓名、货物的指示等。然后，设备可以存储这些推断值，但是可以根据期望的隐私设置丢弃来自摄像机的视频数据。

与上述其他优先级设置一样，可以基于其他优先级设置来修改推断数据的存储。在一个实例中，面部验证系统可用于验证单个驾驶员已经在驾驶员座位上一段时间。第一隐私设置可以指示与驾驶员相关联的fov的部分应该是“黑色”，优先级为“3”。第二隐私设置可以指示与驾驶员相关联的fov的部分应该被“推断”，优先级为“2”。第三隐私设置可以指示与驾驶员相关联的fov的部分应该被设置为“无”，优先级为“1”，并且另外具有触发事件，其中触发事件是面部验证系统未能将当前驾驶员与先前查看的驾驶员相匹配。

在一个实施例中，设备可以被配置为根据配置的隐私设置来维护数据库。继续本实例，在检测到驾驶员的图像与先前观察到的驾驶员不匹配时，新图像和/或新特征向量可以存储在本地数据库中。在一个实例中，附加特征向量的存储可以改善面部验证系统的鲁棒性。替代地或另外地，可以将新图像识别为警告，传达给车队经理或其他感兴趣方。车队经理，例如随后可以请求查看相应的图像以判断面部验证系统是否出错或卡车中是否有新的驾驶员。

对错误的鲁棒性

修改图像的自动方法可能容易出错。本公开的某些方面涉及改善对错误的鲁棒性。继续本实例，基于驾驶员是否被验证为与在较早时候观察到的驾驶员相匹配，系统可以被配置为使得来自向内摄像机的视频数据不被记录到存储器，不被传输到另一设备等。面部验证系统可能产生可能出错，导致驾驶员隐私受损。例如，卡车可能遇到异常的照明条件，或者驾驶员可能以混淆面部验证网络的方式定向其面部。

根据某些方面，可以在隐私设置中使用的模块(诸如面部验证模块、注视方向模块等)可以包括模块特有的错误鲁棒性度量。例如，在面部验证模块中，除非满足某些其他条件，否则系统可能不会将面部验证错误视为“触发事件”。附加条件可以包括面部验证推断出对特定数量或百分比的帧的不匹配。

在另一实例中，可以使用对应于驾驶员面部的隐私设置来启用向内摄像机。虽然意图可能是加扰驾驶员的面部，但是例如，在每个图像中，面部检测模块可能针对一个或多个帧而失效。根据某些方面，该设备可以被配置为在图像的时间排序集上推断一“管”图像位置。管可以穿过每个检测到的面部位置，并且可以内插在检测到的图像之间。此外，管可以扩展内插位置的区域以进一步保护驾驶员的隐私。或者，对于面部检测模块未达到置信度阈值的每个帧，设备可以加扰或以其他方式模糊图像的较大部分，其可以是例如整个帧。

除了误检测，误验证等的错误之外，主动隐私系统可能易于出现与某些时间事件的检测有关的错误。在一个实例中，隐私设置可以指示乘客进入汽车后座触发的“加扰”隐私模式。诸如递归神经网络的分析模块可以被配置为检测乘客进入汽车后座作为触发事件。图10a示出了共乘乘客坐在小型货车的后座上的实例。在该实例中，检测到共乘乘客进入小型货车，并且因此根据隐私设置对相应的乘客座位区域1012进行加扰。

在某些情况下，神经网络(或其他视觉分析引擎)可能无法检测到事件。例如，经训练以检测乘客进入车辆后座的神经网络可能未暴露于乘客从驾驶员侧进入车辆的许多训练实例。由于训练实例的缺乏，神经网络可能经常无法检测到乘客何时从驾驶员侧进入。

根据某些方面，触发事件可以被认为是图像的一部分内出现对象。在本实例中，用户可以将触发事件设置为“乘客进入汽车后座”。根据本公开的某些方面，可以使用对象检测神经网络来检测汽车后座上的人。与面部检测网络一样，该网络也可能有错误。此外，与经训练以检测短时的临时事件(诸如进入汽车)的神经网络相比，经训练以检测汽车后座上的人的对象检测神经网络可具有相对更多的训练实例。因此，设备可以被配置为检测状态“人在汽车后座上”并且在模块持续检测到汽车后座上没有人的较早时间使用该状态来推断状态的改变。

在一些实施例中，可以为特定状态配置隐私设置。诸如“有乘客”的状态可以对应于“乘客进入汽车”的触发事件。在这种情况下，可以在时间上向前和向后应用与状态相关联的隐私设置，直到持续地识别出不同的状态，识别出对应于状态变化的触发事件或组合。

继续本实例，第二隐私设置可以指示可以由乘客进入受限的驾驶员区域和/或与驾驶员争论触发的“无”隐私模式。图10b示出了在乘客试图进入小型货车的前部区域时拍摄的图像，该区域可以被认为是受限的驾驶员区域。图10c示出了在乘客返回到乘客区域之后，当乘客表现出与针对驾驶员的争论或威胁行为一致的姿势时拍摄的图像。可以训练神经网络(或神经网络的分支等)以检测进入驾驶员区域的乘客。然而，这些事件可能不太可能，神经网络可能没有足够的训练数据来实现对新事件的令人满意的识别性能。例如，神经网络可能从未暴露于诸如图10b所示的图像，因此，可能无法将其识别为乘客视图进入受限的驾驶员区域。例如，在对应于该事件的若干图像上，神经网络可能已将驾驶员区域入侵事件的最大概率输出为0.25。然而，可以配置隐私设置，使得触发事件的检测对应于高于阈值0.4的概率输出。由于神经网络输出较低的值，因此系统可能会错过驾驶员区域入侵事件。

根据某些方面，神经网络(或另一神经网络，相同神经网络的单独分支等)可以正确地识别乘客在稍后时间与驾驶员争论，例如图10c所示的时间。在识别出该事件时，系统可以追溯地降低其他事件检测输出的阈值。在一个实例中，系统可以追溯地降低事件检测输出的阈值，该阈值可以被认为更可能发生检测事件。在该实例中，用于检测驾驶员区域入侵事件的阈值可以在事件“乘客争论”事件之前和之后的10分钟内减少到0.2。在这种调整下，可以反转应用于图10b中所示的事件时间附近的图像数据的隐私修改。

自动驾驶员验证

参照图11，示出了根据本公开的某些方面的图4的登录处理器455的框图。在一个实施例中，登录处理器455包括设备验证处理器1110、生物验证处理器1120、驾驶员验证器1130和消息生成器1140。这些组件可以体现为硬件、软件、固件或其任何组合。这些组件一起操作以基于指示信标设备170的设备属性和指示车辆驾驶员的个人属性来验证车辆的驾驶员是否是授权驾驶员。在其他实施例中，登录处理器455包括比图11中所示更少，更多或与之不同的组件。

设备验证处理器1110是获得信标设备170的设备属性的组件，并且确定驾驶员是否是车辆的授权驾驶员之一。如上面参考图4所述，期望车辆的驾驶员携带或佩戴信标设备170，该信标设备170与不同的设备属性相关联。设备属性指示相关信标设备170。信标设备170是指示拥有它的驾驶员是车辆的授权驾驶员之一的设备。例如，信标设备170是短程无线通信设备(例如，蓝牙设备、nfc徽章、rfid徽章等)。又例如，信标设备170是示出相关qr码的对象。来自短程无线通信设备的无线信号或显示的qr码表示设备属性。设备验证处理器1110可以基于通过短程无线通信设备108接收的无线信号、来自事件检测器440的解码的qr码或其组合来检测信标设备170的设备属性。因为预期信标设备170由车辆的一个或多个授权驾驶员携带或佩戴，所以检测到信标设备170的设备属性还指示驾驶员是来自授权有信标设备170的一个或多个授权驾驶员的候选驾驶员。

生物验证处理器1120是获得驾驶员的个人属性的组件，并且确定驾驶员是否是车辆的授权驾驶员。个人属性表示驾驶员的独特特征。个人属性的实例包括生物签名，诸如检测到的语音模式或检测到的面部模式。生物验证处理器1120可以体现为机器学习神经网络。在一些实施例中，生物验证处理器1120从音频处理器420获得语音模式的特征(例如，重音、发音、清晰度、嘶哑、鼻音、音调、音量和速度等)或从图像处理器430获得面部模式的特征(例如，面部、鼻子、嘴巴、眼睛或他们的组合的轮廓)，并将所获得的特征与客户端简档存储器405存储的特征进行比较，以识别与所获得的特征相关联的驾驶员。在一个方面，生物验证处理器1120执行面部识别以将由图像处理器430获得的多个特征与多个授权驾驶员的特征进行比较。在另一方面，生物验证处理器1120执行面部验证以将由图像处理器430获得的多个特征与特定候选驾驶员(例如，与信标设备170相关联的候选驾驶员)的特征进行比较。可以通过比较比面部验证更少数量的特征来执行面部识别。因此，与比较所有特征时相比，面部识别的执行更快，但是识别率可能降低。另一方面，可以用更多特征或所有特征对特定个体执行面部验证，因此与比较更少特征时相比，识别率可能提高。

驾驶员验证器1130是配置设备验证处理器1110和生物验证处理器1120以基于设备属性和个人属性确定驾驶员是否是车辆的授权驾驶员的组件。例如，驾驶员验证器1130使生物验证处理器1120执行快速面部识别以确定驾驶员是否是车辆的授权驾驶员之一。在根据面部识别确定驾驶员不是授权驾驶员之一的情况下，设备验证器1130通过设备验证处理器1110基于设备属性并且通过生物验证处理器1120基于面部验证确定驾驶员是否是授权驾驶员之一。当检测到特定事件时(例如，当按下系统100的某个按钮时，发动机启动时，或当车辆行驶超出预定速度时)，当远程服务器150提示时，或其任何组合时，驾驶员验证器1130可以定期地验证车辆的驾驶员。以下参照图12提供了基于设备验证处理器1110和生物验证处理器1120验证驾驶员的示例过程。

消息生成器1140是根据驾驶员验证器1130对驾驶员的验证生成电子报告消息的组件。在一个方面，响应于确定用户是授权驾驶员，消息生成器1140生成成功登录消息。在另一方面，响应于确定用户不是车辆的授权驾驶员之一，消息生成器1140生成警告消息。警告消息可以包括向内fov的图像数据或视频数据，其包括至少驾驶员的面部。消息生成器1140可以通过远程无线通信设备116将消息发送到远程服务器150。或者，消息生成器1140通过存储器114存储一个或多个消息。所存储的消息可以稍后由其他设备或远程服务器150访问。

在一个方面，针对隐私模式执行登录(或驾驶员的验证)。例如，在完全隐私模式中，其中没有启用或可用的驾驶室摄像机，可以基于信标设备170的rfid或蓝牙(bt)/bt-le来验证驾驶员。在部分隐私模式中，其中侧摄像机被启用/可用，但不是向内摄像机，可以基于qr码、rfid或bt/bt-le验证驾驶员。在无隐私问题模式中，其中向内和侧摄像机被启用并且可用，可以基于qr码、rfid或bt/bt-le来验证驾驶员。

参见图12，示出了根据本公开的某些方面的通过图1的soc110验证车辆驾驶员的过程的示例流程图。在一些实施例中，图12中的过程1200可以由其他实体执行。在一些实施例中，过程1200包括比图12中所示更少，更多或与之不同的步骤。

soc110检测1210车辆正在操作，并开始登录过程(或验证过程)。当车辆上的设备处于“活动”状态时，登录过程开始。soc110可以在车辆的每次点火开启时，或者车辆在长时间空闲(例如>n小时)之后开始移动的情况下处于“活动”状态。

如果在车辆中启用/允许向内摄像机，则soc110执行1220面部识别。soc110可以记录/捕获视频/图像以针对先前登录的驾驶员面部数据库(如果可用)验证捕获的面部。soc110确定1230是否找到可能的匹配。响应于验证驾驶员的面部与授权驾驶员之一的面部图像相匹配，soc110生成1235成功登录消息并且还可以生成欢迎语音提示，其中通过系统100上的扬声器播放所识别的驾驶员姓名。

如果从面部识别中未发现可能的匹配，则soc110基于设备属性执行1240设备验证。如果需要驾驶员干预，soc110可以通过适当的语音指令或者生成“嘟嘟声/啸声”来提示驾驶员使用他们的主要登录模式来认证自己。如果主登录模式不需要任何驾驶员干预，则可能会禁用提示。soc110可以允许预定的持续时间来搜索并执行信标设备170的设备验证。soc110确定1250信标设备170是否与来自授权有信标设备170的授权驾驶员的候选驾驶员相关联。

可能存在设备可以检测来自不同rf源/设备的多个未授权信标id的情况。要在设备级别对其进行过滤，则每个预期的信标id都嵌入有特定的散列。如果soc110发现多个预期的信标id，则soc110可以选择通过面部验证/识别来解析(如果向内摄像机被启用)，或者将检测到的信标id发送到远程服务器150，通过该远程服务器150可以将适当的信标id从多个信标id中识别出来。

响应于未能确定信标设备170与授权驾驶员之一相关联，soc110生成1255警告消息。

响应于确定信标设备170与来自授权驾驶员的候选驾驶员相关联，soc110执行1260面部验证以确定1270驾驶员的面部是否与具有信标设备170的候选驾驶员的面部图像相匹配。在一个方面，执行面部验证以将车辆中的驾驶员的特征与候选驾驶员的面部图像的特征进行比较。在一种方法中，当车辆停放在车队的车库时可能存在多个驾驶员。可以响应于在车辆启动之后确定车辆行驶超过预定速度或超过预定距离来执行面部验证。相应地，可以在附近没有多个驾驶员的情况下执行面部验证。

响应于确定驾驶员的面部与具有信标设备170的候选驾驶员的面部图像不匹配，soc110生成1275警告消息。

响应于确定驾驶员的面部与具有信标设备170的候选驾驶员的面部图像相匹配，soc110更新1280数据库以添加驾驶员的新面部图像，并生成1290成功登录消息。

可以将成功的登录消息或警告消息发送到远程服务器150。

参照图13，示出了根据本公开的某些方面的通过网络160通信地连接到系统100的远程服务器150验证车辆驾驶员的过程1300的示例流程图。在一些实施例中，图13中的过程1300可以由其他实体执行。在一些实施例中，过程1300包括比图13中所示更少，更多或与之不同的步骤。

远程服务器150例如通过网络160从soc110接收1310消息。远程服务器150确定1320所接收的消息是否是警告消息。响应于确定消息是成功登录消息或者不是警告消息，远程服务器150分配1325驾驶数据，指示由soc110识别的授权驾驶员正在驾驶车辆。

响应于确定所接收的消息是警告消息，远程服务器150自动检查1330警告消息，或者提示车队经理查看警告消息以确定1340警告消息是否是虚警。车队经理可以查看警告消息上附带的车辆中的驾驶员的图像或视频，并确定驾驶员是否被授权驾驶车辆。响应于确定警告消息是虚警，远程服务器150更新1345远程数据库，并且分配1348驾驶数据，指示授权驾驶员正在驾驶车辆。

响应于确定警告消息不是虚警，远程服务器150或车队经理确认1350未成功登录或未授权驾驶员未授权驾驶车辆。车队经理可以进一步采取适当的行动来阻止未授权驾驶员。

有利地，基于设备属性和个人属性的所公开的驾驶员验证允许捕获驾驶员的身份而无需驾驶员使用面部验证/识别和信标的任何干预。另外，所公开的验证允许在没有额外的昂贵硬件(例如，指纹传感器或其他生物传感器)的情况下提高验证驾驶员的准确性和效率。此外，即使附近有多个驾驶员时，所公开的验证也可以成功地验证驾驶员。具体地，当多个驾驶员在停车库中的车辆附近时，或者当团队中的多个驾驶员位于同一车辆内时，仅基于信标设备170验证驾驶员可能是不可行或不够的。通过基于设备属性和个人属性验证驾驶员，即使附近有多个驾驶员，也可以成功识别驾驶员。此外，可以使用信标id(例如，设备属性)自动更新驾驶员的面部数据库以进行面部关联。另外，可以向远程服务器150提供消息以通知未授权驾驶员在驾驶车辆。

联合客户端和云处理

根据本公开的各方面，可以在设备上处理记录的视频。替代地或另外地，可以在云中处理记录的视频。在一些实施例中，根据本公开的设备可以被称为客户端。客户端和云可以联合处理在客户端设备处获得的数据。在一个实例中，传感器数据可以被分割为帧的子集。帧的子集可以被发送到云中，在其中可以由云推断引擎处理。然后可以将云推断引擎的结果发送回客户端设备。同时，可以在客户端推断引擎本地处理在设备上获得的传感器数据。来自云的结果可以与客户端设备上的推断引擎的结果组合以获得可以由客户端设备使用的推断结果。在本实例中，云可以向客户端处的那些人提供额外的计算资源。如在2016年10月25日提交的pct专利申请号pct/us16/58723——“嵌入式数据推断的联合处理(jointprocessingforembeddeddatainference)”中所描述的，考虑了利用云的额外计算资源的若干方法，该申请通过引用整体并入本文。

数据存储

本公开的某些方面涉及就其存储位置方面修改视频。类似于隐私模式，其可以指代视频的一部分可以如何被修改，“存储”设置可以指特定存储器或存储器内的位置，在其中可以存储修改的(或未修改的)图像。

“无”存储设置可以指示图像数据不应存储在任何位置。该隐私设置可以对应于被修改以覆盖摄像机镜头的物理镜头盖。

“推断”存储设置可以指示应该从摄像机接收图像数据并在推断引擎中使用，但是不应该随后存储在设备存储器中，不应该将其发送到第二设备等。

“本地”存储设置可以指示图像数据(其可以是图像数据的修改版本，诸如“加扰”)应该本地存储在设备存储器中。

“云”存储设置可以指示应该将图像数据发送到云服务器。视觉数据‘应该’存储在位置中的设置可以用于确认数据的存储可能受制于系统约束和其他隐私设置。例如，如果无线数据连接不可用，则应该存储在云上的数据可能不会被传输到云。在这种情况下，数据可以缓存在本地存储器中并稍后传输到云服务器。仍然，在本地存储的数据被新收集的数据覆盖之前可能无法到达无线连接。

在一些实施例中，对应于视频的一部分的视频数据可以在第一隐私模式下(例如，“无”)存储在第一存储器中，并且对应于视频的相同部分的视频数据可以存储在第二隐私模式下(例如“加扰”)。例如，未修改的视频(隐私设置为“无”)可以存储在本地存储器中，但是加扰的视频可以存储在云服务器上。或者，根据本公开的某些方面，未修改的或基本上未修改的视频可以存储在远程服务器150上，并且对应于视频的相同部分的视频数据可以以修改的形式(例如，“加扰的”)存储在本地存储器中。如果系统管理员不希望从现场部署的设备访问未加扰的视频，则该实例可能是有用的，但在登录到安全的云服务器时可能仍希望访问未加扰的视频数据。

预期了修改视频的各种方式。如上所述，可以用加密密钥对视频进行“加扰”。加密密钥可用于在存储在本地存储器中之前加密启用的设备中的视频数据。然后可以将加密数据发送到云服务器。在云服务器处，加密密钥可用于将视频返回到未修改(或基本上未修改)的状态。因此，用于较高级别修改的隐私设置可以与更接近视频数据源的本地存储器存储相关联，并且用于相对较低级别的修改的隐私设置可以与移除存储位置相关联，诸如云服务器。

预期了用于实现“推断”存储设置的各种方式。在一个实例中，数据流可以从摄像机传感器读取到gpu存储器中，其中它可以由在gpu上运行的神经网络处理。在另一个实例中，数据流可以被读取到共享存储器中，该共享存储器可以由gpu和其他计算引擎(例如cpu)访问。在另一实例中，摄像机传感器数据可以由数字信号处理器(dsp)处理，该数字信号处理器(dsp)可以被配置为处理输入流。例如，dsp可以被配置为处理视频流以检测对象。

根据本公开的某些方面，可以根据“拖欠”的期望隐私来修改视频数据。在一个实例中，可以将视频上传到可以包括敏感信息的云。例如，视频可以来自车辆中的向前摄像机，并且可以包括附近汽车的牌照的视图。在该实例中，车队经理可以创建新的隐私设置，该隐私设置用于在部署的设备的本地存储器中对牌照进行模糊处理。可以将该隐私设置传送回设备，以使其可以包括在将来的修改中。另外，根据某些方面，隐私设置可以应用于可能已经存储在部署的设备的本地存储器中的其他视频。

如本文所用，术语“确定”包括各种动作。例如，“确定”可以包括计算、运算、处理、导出、调查、查找(例如，在表格、数据库或其他数据结构中查找)、判断等。另外，“确定”可以包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可以包括解析、选择、挑选、建立等。

如本文所使用的，指代项目列表中的“至少一个”的短语是指那些项目的任何组合，包括单个成员。作为实例，“a，b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。

本文公开的方法包括用于实现所描述的方法的一个或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非指定了特定顺序的步骤或动作，否则可以在不脱离权利要求的范围的情况下修改特定步骤和/或动作的顺序和/或使用。

处理系统可以被配置为通用处理系统，其中一个或多个微处理器提供处理器功能，外部存储器提供至少一部分机器可读介质，所有这些都通过外部总线架构与其他支持电路连接在一起。或者，处理系统可以包括一个或多个专用处理器，其用于实现神经网络，例如，以及用于本文所述的其他处理系统。

因此，某些方面可以包括用于执行本文给出的操作的计算机程序产品。例如，这样的计算机程序产品可以包括具有在其上存储(和/或编码)的指令或程序代码的计算机可读介质，该指令可由一个或多个处理器执行以执行本文描述的操作。对于某些方面，计算机程序产品可包括包装材料。

此外，应当理解，用于执行本文描述的方法和技术的模块和/或其他适当方式可以由用户终端和/或基站(如果可用)下载和/或以其他方式获得。例如，这种设备可以耦合到服务器以便于传送用于执行本文所述方法的方式。或者，可以经由存储装置(例如，ram、rom、诸如安全数字卡(sd)，usb存储设备的物理存储介质等)提供本文描述的各种方法，使得用户终端和/或基站可以在耦合或向设备提供存储装置时获得各种方法。此外，可以使用将本文描述的方法和技术提供给设备的任何其他合适的技术。

应该理解，权利要求不限于上面说明的精确配置和组件。在不脱离权利要求的范围的情况下，可以对上述方法和装置的布置、操作和细节进行各种修改、改变和变化。