用于标识和分析用户的个人情景的系统和方法
【专利摘要】用于标识在特定位置处的、具有便携式移动通信设备的用户的个人情景的方法和系统，所述方法和系统用于导出用户的社交信息，其中，使用在特定位置处的用户的个人情景标识在预定义范围内的用户，且给用户的已标识的个人情景指派置信度值。进一步，通过融合已指派的置信度值，获得在特定位置内的用户的当前位置信息。进一步，通过查找在各用户之间的确切直线距离，估计当前位置中的用户的接近度。进一步，借助于预定义密度准则，把在特定位置处的、具有相似当前位置信息的两个用户分组在一起。最终，在融合引擎处通过多模传感器数据融合导出用户的社交信息，且使用人际网络图来表示用户的社交信息。
【专利说明】用于标识和分析用户的个人情景的系统和方法 发明领域
[0001] 本发明一般涉及人的个人情景标识的领域。尤其，本发明涉及用于导出个人的社 交信息的个人情景标识的系统和方法。
[0002] 发明背景
[0003] 个人行为的分析已经成为在营销、组织发展等的领域中具有多种应用的重要方 面。由于这一点，个人情景分析的领域正在受到广泛重视。具体地，雇佣大量雇员的组织考 虑分析个体的行为以供该组织的更快和更好的成长。对关于个人情景的分析的不断增加的 需要已经引起组织行为分析、工作空间工效学分析、发现用户的物理交互网络、用户学习分 析、市场学习和实时使用捕捉等等领域的不断增加的增长。
[0004] 在使用现实挖掘技术和诸如具有对系统的专用软件和硬件要求的工作文化等的 其他相关方面来分析个人的社会行为的市场中可以获得多种技术。这样的系统经由合并所 有要求的传感器的专门设计的设备基于用户情景感知分析组织行为。这些设备相互交互， 并与服务器交互，以便收集与个体相关联的信息。然而，由于要求把与多个个体相关的数据 传输给后端服务器以供进一步处理，这样的系统和设备产生了威胁，由此提高了隐私担忧。 此外，在位于远处的服务器处进行进一步的细化和数据处理引起沉重的传输成本。进一步， 这样的数据传输引起电池功率额外使用，以便把每一种具体感知详情传送给后端服务器而 不处理它。
[0005] 此外，要求以额外成本部署附加的设备，以便跟踪个体的行为。这样的设备通常不 具有用以把所采集的用户数据转储到后端服务器以供进一步分析的总是开启的连接一 它需要坞接到专用数据采集站以便传递数据。而且，这样获得的设备不具有通过无线连接 到附加的外部传感器的措施，因此限制了该系统向更新的应用的可扩展性。
[0006] 而且，使用现实挖掘技术的情景识别和分析的当前解决方案依赖于用于感知用户 的活动、位置和相对于其他用户的接近度的可穿戴式传感器和移动设备。存在用来实现真 实世界中的用户的属性的总结的不同算法，由于传感器读数的误差以及周围环境的改变， 这样的结果常常是不准确的。在普遍存在的应用的情况中，这样的不准确性可以导致偏差 和不正常工作。此外，所使用的传感器在它们提供的数据的种类方面受到严重限制，并且时 常需要部署专用传感器。
[0007] 结果，存在对把个人情景分析系统与容易携带和易于操作的、更有效的、广泛可获 得的和用户友好的设备集成的不断增长的需要，并且由此消除对独立的专用设备或数据收 集系统的需要。也存在对在感知设备本身处处理原始感知数据以便节省设备的电池寿命 (无线电通信耗费大部分电池寿命）的需要，且由此也解决了对隐私保护和数据传输成本 的担忧。此外，通过现有通信装置（如USB、Wi-Fi或蓝牙）连接到附加的外部传感器的措 施也将引起对个体行为的更好掌握。进一步，个人情景分析将也引起基于现实生活注视点 和用户的亲和度创建社交网络。
[0008] 发明目标
[0009] 本发明的主要目标是通过广泛获得的移动通信设备使用现实挖掘技术来实现实 时个人情景标识系统。
[0010] 本发明的另一重要目标是，使用移动通信设备中存在的现有感知装置（例如板载 话筒-扬声器组合、加速度计、相机等等）、软/虚拟传感器（如用户的联网网站简档、用户 的电子邮件标头、用户的丰富站点摘要（RSS)馈送和社交博客简档）以及建筑物管理系统 (BMS)访问控制来捕捉个体的行为，建筑物管理系统（BMS)访问控制使用各种数据通信方 法对纳入电话中的实时数据进行操作。
[0011] 本发明的另一重要目标是，以描绘用户在隔间中工作时的交互、在主持会议时的 交互、会话中的讲演者、会议中的被动听众的交互、在小组讨论期间的交互等等的社交信息 的图表的形式来表示用户的社交网络。
[0012] 本发明的另一目标是把置信度值指派给捕捉用户的信息的现有感知装置。
[0013] 本发明的另一目标是分组具有相似位置信息的用户。
[0014] 本发明的另一目标是在后端服务器处融合来自各种源的多模数据。
[0015] 本发明的又一目标是提供与用于捕捉关于个体用户的附加详情的一个或多个外 部感知设备的连接。
[0016] 本发明的又一目标是通过在移动通信设备本身预处理传感器信息减少电池消耗 和系统的传输成本。
[0017] 发明概述
[0018] 在描述本方法、系统和硬件启用之前，应理解，本发明不限于所描述的特定的系统 和方法，这是由于可以存在本公开内容中没有明确地阐释的本发明的多种可能实施例。还 应理解，本描述中所使用的术语仅用于描述具体的版本或实施例的目的，且不旨在限制本 发明的范围。
[0019] 本发明提供用于标识在特定位置处的、具有便携式移动通信设备（102)的至少一 个用户的个人情景的方法和系统，以供导出用户的社交信息。用户的社交信息可以是在两 个用户之间的物理交互。
[0020] 在本发明的一种实施例中，提供了出于个人情景分析的目的用于捕捉和处理从移 动通信设备接收到的多传感器数据的系统和方法。在一个方面中，移动通信设备可以是移 动电话、平板或具有足够的处理能力且适当地适配有所要求的传感器的任何这样的移动设 备。移动通信设备也可以连接到一个或多个外部传感器，例诸如超声传感器、EEG传感器等 等。利用低能耗和低采样率的数据采集/捕捉方法来捕捉感知数据。感知过程将知晓设备 情景，诸如电池电平、存储器使用等等，以便得到有效和稳健的感知策略。进一步，使用在移 动通信设备本身上对传感器数据的板载分析来提取一个或多个参数。例如，用于活动检测 的加速度计分析、用于定位和接近度检测的使用超声的基带通信、用于情绪检测和邻近感 知的话筒捕捉的音频分析、用于环境光照检测的相机以及诸如EEG传感器等的外部生理传 感器的可选分析，以供进一步洞察用户情景。该系统允许在诸如因特网等的网络连接上从 作为网关的移动通信设备把板载分析的参数发送给后端系统。在一个方面中，出于安全/ 隐私目的，可以加密板载分析的参数。在另一方面中，移动设备可以彼此协作和交换信息， 以便获取更多情景信息。
[0021] 在本发明的一种实施例中，提供了一种方法，其用于：把预定义置信度值指派给用 户的已标识的个人情景；获得用户的确切的当前位置信息；借助于预先定义的密度准则分 组在特定位置处的、具有相似当前位置信息的至少两个用户；通过利用外部传感器（118) 和嵌入在用户的移动通信设备（102)中的内部传感器（104)，估计接近度，以供导出在特 定位置处的一组中的至少两个用户之间的确切直线距离；以及通过融合用户的当前位置 信息、在特定位置处的一组中的至少两个用户之间的所导出的确切直线距离和web传感器 (214)以物理交互信息的形式导出用户与其他用户的社会交往。
[0022] 然后，在后端服务器处可以进一步分析从传感器收集的所有这些参数信息，以供 创建单个的和经聚集的用户情景，该用户情景可以用于组织行为分析、工作空间工效学分 析、发现用户的物理交互网络并且也用于在用户学习中测量和分析用户响应等等。整个系 统一般地有利于学习用户个人情景并应用该知识来创建以与用户相关的动作或信息进行 响应的自适应智能系统，且有利于捕捉和分析用户特异的实时服务消耗数据。以适当格式 存储的这种信息还将在进行都市建模的同时增进城市中的人口建模和人群行为建模。
[0023] 在本发明的一种实施例中，为移动通信设备（102)提供一种系统，该系统进一步 包括内部传感器（104)、处理模块（110)、外部传感器（118)、内部存储器（116)、传输模块 (114)、后端服务器（120)和切换模块（112)。该系统进一步包括融合引擎（212)、前端应用 (124)和数据库（122)。
[0024] 在本发明的另一实施例中，一种系统进一步包括定位模块（202);置信度值指派 模块（204);当前位置标识模块（206);接近度估计模块（208)和分组模块（210)。
[0025] 上面所述的系统和方法优选地用于标识在特定位置处的、具有便携式移动通信设 备（102)的至少一个用户的个人情景以供导出用户的社交信息，且也可以用于许多其他应 用。
[0026] 附图简述
[0027] 在与附图结合阅读时，可更好地理解前面的概述以及优选实施例的下列详细描 述。出于阐释本发明的目的，附图中示出了本发明的示例结构；然而，本发明不限于附图中 所公开的特定的系统和方法：
[0028] 图1阐释根据一种实施例用于标识个人情景的系统的组件。
[0029] 图2表示根据一种实施例基于个人情景的社交系统（200)的框图。
[0030] 图3阐释根据一种实施例用于标识个人情景的逻辑流程（300)。
[0031] 图4阐释根据一种实施例基于个人情景的社会交往的逻辑流程（400)。
[0032] 图5描绘根据本发明的示例性实施例在相同位置处检测到的电话的数量的归一 化直方图。
[0033] 发明详细描述
[0034] 现在将详细讨论阐释了其全部特征的本发明的一些实施例。词"包括"、"具有"、 "含有"和"包含"以及它们的其他形式，在含义上预期是等效的并且是开放的，其原因在于， 这些词中的任何一个后面的项或多个项不是指这样的项或多个项的详尽列举，也不是指仅 限于所列出的项或多个项。
[0035] 还必须注意，除非情景另有明确说明，否则在本文和所附权利要求所使用的单数 形式"一种"、"一个"和"该"包括复数引用。尽管类似于或等效于在此描述的那些系统和 方法的任何系统和方法可以用于本发明的各实施例的实践或测试，但现在描述优选的系统 和方法。
[0036] 为了理解本说明书，本发明的一个或多个组件被描述为模块。例如，模块可以包括 硬件电路中的自包含组件，包括逻辑门、半导体设备、集成电路或任何其他分立组件。模块 也可以是由任何硬件实体（例如处理器）执行的任何软件程序的一部分。把模块实现为软 件程序可以包括由处理器或任何其他硬件实体执行的一组逻辑指令。进一步，模块可以通 过接口与一组指令或程序结合起来。
[0037] 所公开的各实施例仅仅阐释可以以各种形式实施的本发明的示例。
[0038] 图1涉及指根据本发明的一种示例性实施例用于个人情景标识的系统（100)。使 用独立地或者组合起来工作以便执行个人情景分析的一个或多个模块来构建系统（100)。 系统（100)包括移动通信设备（102)，其进一步包括内部传感器（104)例如加速度计、相 机、GPS、话筒等等，用于感知用户活动、位置、音频和环境光。内部传感器还提供使用超声 或更高的音频波段来进行定位和接近度检测的装置。外部传感器接口（108)把外部传感器 (118)(例如具有低能耗和低采样率的可穿戴式EEG)与移动通信设备（102)连接起来。处 理模块（110)和内部存储器（116)执行各种内部和外部传感器所捕捉的传感器数据的板载 分析。移动通信设备（102)进一步包括传输模块（114)和切换模块（112)，传输模块（114) 用于把相关信息传送给后端服务器（120)，当从移动通信设备（102)的规则活动产生中断 时，切换模块（112)用于在内部传感器（104)的其他移动设备应用（106)和个人情景分析 之间切换。
[0039] 处理模块（110)处理所感知的数据，分离情景数据且在传输模块（114)的帮助下 仅把用于个人情景标识的相关信息传送给后端服务器（120)。后端服务器（120)处理和分 析从移动通信设备（102)中存在的传输模块（114)所接收的信息。然后，后端服务器（120) 排序和处理与特定用户相关的每一信息。这种信息被存储在数据库（122)中，且由前端应 用（124)通过后端服务器（120)访问，以供创建个体和经聚集的用户情景，该用户情景可用 于组织行为分析、工作空间工效学分析，且也用于测量和分析用户学习中的用户响应等等。
[0040] 前端应用（124)通过后端服务器（120)进一步适用于以统计表示的形式呈现用户 的经导出的社交信息。统计表示可以包括各边具有多个属性的多模社会图，且可以根据需 要沿着多个维度查询。可以通过从双重传感器输入读取属性来准备社会图，第一传感器输 入是物理传感器的经分析的输出，且第二传感器输入是来自基于web软传感器的馈入。经 分析数据被用来生成社会图的节点和边缘。
[0041] 图2表示基于个人情景的社交导出系统（200)的框图。该系统包括定位模块 (202);置信度值指派模块（204);当前位置标识模块（206);接近度估计模块（208);分组 模块（210);以及由后端服务器（120)主控的融合引擎（212)。
[0042] 根据本发明的一种示例性实施例，系统（200)被配置为导出基于个人情景的社 交。用户的个人情景包括用户的身份（即该人是谁）、用户的接近度（即用户到其他个体或 用户的接近程度和持续时间）、用户的活动（即在隔间、讨论室、走廊等等中工作）以及用 户的位置。用户的社交是用户与其他个体的物理交互。系统（200)包括定位模块（202)， 其适于在各种源的预定义范围内定位用户以供标识在特定位置处的用户的个人情景。使用 外部传感器（118)和嵌入在移动通信设备（102)中的内部传感器（104)标识用户的个人情 景。进一步，取决于用户根据其定位的源，使用置信度值指派模块（204)来把预定义置信度 值指派给用户的已标识的个人情景。使用当前位置标识模块（206)来获得在特定位置中的 用户的确切的当前位置信息。通过使用融合引擎（212)融合用户的个人情景的已指派的置 信度值来获得确切的当前位置信息。进一步，该系统使用分组模块（208)分组被定位为具 有相似当前位置信息的两个用户。基于某种预定义密度准则确定两个用户的分组。使用接 近度估计模块（210)导出在特定位置处的一组中的两个用户之间的确切直线距离。通过融 合用户的当前位置信息和在特定位置的一组中的两个用户之间的所导出的确切直线距离， 使用由后端服务器（120)主控的融合引擎（212)来导出用户的社交信息。
[0043] 外部传感器（118)选自包括来自建筑物管理系统（BMS)的访问控制进入/离开信 息、使用深度相机（如3D相机）的监视、可穿戴式EEG、超声等等的组。嵌入在移动通信设 备（102)中的内部传感器（104)选自包括加速度计、磁力计、语音识别器、陀螺仪和W-Fi签 名等等的组。
[0044] 在其中捕捉室内位置检测的定位模块（202)使用了建筑物的访问控制日志、 Wi-Fi签名、磁力计签名、移动电话上的加速度计分析等等。基于Wi-Fi指纹和/或三角测 量的RSSI也可以提供室内定位。组合加速度计、磁力计和陀螺仪以便感知复杂运动（如步 行或爬楼梯或电梯或坐/站等等）。
[0045] 用户的个人情景选自包括身份、接近度、活动和位置的组。可以通过用户携带的 用户的移动电话、用户经过BMS时用户的智能卡、使用3D深度相机拍摄的用户的骨骼结构 和步态测量等等来捕捉用户的身份。可以通过用户的蓝牙、位于建筑结构中的接近度传感 器、红外接近度感知等等来捕捉的用户的接近度。可以通过用户与周围的人们的社交捕捉 用户的活动该社交可以包括例如在讲演期间谁都在倾听、在组讨论期间谁在提问等等的信 息，并且可以使用手势识别来标识交互（例如握手和交换名片等等）。可以使用定位模块 (202)检测用户的位置。
[0046] 置信度值指派模块（204)基于信息的来源把预定义置信度值指派给用户的已标 识的个人情景。内部源和外部源的预定义置信度值或置信度分数应当在〇%和100%之间 变化，但可以不包括任一边界在内。例如，建筑物管理系统（BMS)数据预定义置信度值的是 100%。语音识别软件可以提供可以被看作是置信度值的检测分数。来自语音数据的定位范 围可以是10平方米的量级，但不限于此。类似的情况可以是Wi-Fi签名和加速度计数据。 置信度分数可以根据从其捕捉他们的源而改变，取决于捕捉了多少数据以及从其捕捉数据 的环境，相同的传感器和分析可以产生非常高到非常低的置信度值。
[0047] 在本发明的一种实施例中，通过下式获得用来查找个体用户的位置信息的联合概 率函数：
【权利要求】
1. 一种用于标识在特定位置处的、具有便携式移动通信设备（102)的至少一个用户的 个人情景以供导出所述用户的社交信息的方法，所述方法包括： a. 通过使用定位模块（202)来标识在所述特定位置处的所述用户的个人情景来定位 在预定义范围内的至少一个用户，其中使用外部传感器（118)和嵌入在所述移动通信设备 (102)中的内部传感器（104)来标识所述用户的个人情景； b. 使用置信度值指派模块（204)把预定义置信度值指派给所述用户的所述已标识的 个人情景； c. 通过使用当前位置标识模块（206)和由后端服务器（120)主控的融合引擎（212)来 融合所述用户的个人情景的已指派的置信度值，获得在所述特定位置内的所述用户的确切 的当前位置信息； d. 通过利用所述外部传感器（118)和嵌入在所述用户的所述移动通信设备（102)中的 所述内部传感器（104)，使用接近度估计模块（208)估计接近度，以供导出在所述当前位置 处的至少两个用户之间的确切直线距离； e. 使用分组模块（210)，借助于预定义密度准则对在所述特定位置处的具有相似当前 位置信息的至少两个用户进行分组；以及 f. 通过使用由所述后端服务器（120)主控的融合引擎（212)来融合所述用户的所述当 前位置信息、在所述特定位置处的一个组中的至少两个用户之间的所导出的确切直线距离 和web传感器（214)，导出所述用户的所述社交信息。
2. 如权利要求1所述的方法，其特征在于，所述用户的个人情景选自包括身份、接近 度、活动和位置的组。
3. 如权利要求1所述的方法，其特征在于，所述移动通信设备（102)选自包括移动电 话、智能手机、膝上型计算机、掌上型设备、个人数字助理（PDA)的组。
4. 如权利要求1所述的方法，其特征在于，所述外部传感器（118)选自包括建筑物管理 系统（BMS)、3D深度相机和超声的组。
5. 如权利要求1所述的方法，其特征在于，所述内部传感器（104)选自包括加速度计、 磁力计、语音识别器、蓝牙RSSI和无线频率（Wi-Fi)签名的组。
6. 如权利要求1所述的方法，其特征在于，通过采用基于密度的群集方法导出用于分 组在所述特定位置处的、具有相似当前位置信息的至少两个用户的所述预定义密度准则。
7. 如权利要求1所述的方法，其特征在于，所述外部传感器（118)和嵌入在移动通信设 备（102)中的所述内部传感器（104)是物理/硬传感器。
8. 如权利要求1所述的方法，其特征在于，所述web传感器（214)是选自包括所述用户 的社交联网网站简档、所述用户的电子邮件标头、所述用户的RSS馈送和社交博客简档的 组。
9. 如权利要求1所述的方法，其特征在于，所述外部传感器（118)和所述内部传感 器（104)在通信上与处理模块（110)耦合，且所述外部传感器（118)经由外部传感器接口 (108)把所述感知数据传送给所述处理模块（110)，且所述内部传感器（104)直接把所述感 知数据传送给所述处理模块（110)。
10. 如权利要求9所述的方法，其特征在于，从所述外部传感器（118)和所述内部传感 器（104)接收到的所述经处理的感知数据被存储在在通信上与所述处理模块（110)耦合的 内部存储器（116)中。
11. 如权利要求1所述的方法，其特征在于，使用前端应用（124)来显示所述用户的所 述经导出的社交信息。
12. 如权利要求1所述的方法，其特征在于，所述用户的所述经导出的社交信息选自包 括在隔间中工作时的交互、在主持会议时的交互、会话中的讲演者、会议中的被动听众的交 互、在小组讨论期间的交互的一组交互。
13. 如权利要求1所述的方法，其特征在于，所述经融合的数据和所述用户的个人情景 被存储在数据库（122)中，所述数据库（122)在通信上耦合到所述后端服务器（120)。
14. 如权利要求1所述的方法，进一步包括，在从所述移动通信设备（102)的规则活动 产生中断时，使用切换模块（112)在内部传感器（104)的其他移动设备应用（106)和个人 情景分析之间切换。
15. -种用于标识在特定位置处的至少一个用户的个人情景以供导出所述用户的社交 信息的系统，所述系统包括移动通信设备（102);外部传感器（118);后端服务器（120)主 控的融合引擎（212);前端应用（124);以及数据库（122)，其特征在于： a. 所述移动通信设备（102)进一步包括： 内部传感器（104)，其适用于感知所述用户的个人情景并将其发送给所述移动通信设 备（102)的处理模块（110); 所述处理模块（110)适于执行从所述外部传感器（118)和所述内部传感器（104)接收 的所述感知数据的板载处理； 内部存储器（116)，其在通信上与所述处理模块（110)耦合，适于存储从所述外部传感 器（118)和所述内部传感器（104)接收的经处理的感知数据； 传输模块（114)，其适于把从所述处理模块（110)接收的经处理的感知数据传送给后 端服务器（120);以及 切换模块（112)，其适用于在从所述移动通信设备（102)的规则活动产生中断时在内 部传感器（104)的其他移动设备应用（106)和个人情景分析之间切换； b. 所述外部传感器（118)适用于感知所述用户的个人情景并经由所述移动通信设备 (102)的外部传感器接口（108)将其发送给所述处理模块（110); c. 所述后端服务器（120)主控的融合引擎（212)适用于融合所述用户的个人情景的已 指派的置信度值、所述用户的所述当前位置信息以及在所述特定位置处的一组中的至少两 个用户之间的经导出的确切直线距离； d. 前端应用（124)，其适用于显示所述用户的经导出的社交信息；以及 e. 数据库（122)，其在通信上耦合到所述后端服务器（120)，适于存储经融合的数据和 所述用户的个人情景。
16. 如权利要求15所述的系统，进一步包括： a. 定位模块（202)，其适用于通过标识所述用户的个人情景来定位在预定义范围内的 至少一个用户在所述特定位置处，其中使用所述外部传感器（118)和嵌入在所述移动通信 设备（102)中的所述内部传感器（104)来标识所述用户的个人情景； b. 置信度值指派模块（204)，其适用于把所述预定义置信度值指派给所述用户的所述 已标识的个人情景； C.当前位置标识模块（206)，其适用于通过使用融合引擎（212)融合所述用户的个人 情景的已指派的置信度值来获得在所述特定位置内的所述用户的确切的当前位置信息； d. 接近度估计模块（208)，其适用于通过利用所述外部传感器（118)和嵌入在所述用 户的所述移动通信设备（102)中的所述内部传感器（104)来估计接近度以供导出在所述当 前位置处的至少两个用户之间的确切直线距离； e. 分组模块（210)，其适用于借助于预定义密度准则对在所述特定位置处的具有相似 当前位置信息的至少两个用户进行分组；以及 f. 所述融合引擎（212)，其适用于通过融合所述用户的所述当前位置信息和在所述特 定位置处的一组中的至少两个用户之间的经导出的确切直线距离来导出所述用户的所述 社交信息。
17. 如权利要求15所述的系统，其特征在于，所述移动通信设备（102)选自包括移动电 话、智能手机、膝上型计算机、掌上型设备、个人数字助理（PDA)的组。
18. 如权利要求15所述的系统，其特征在于，所述外部传感器（118)是选自包括建筑物 管理系统（BMS)、3D深度相机、可穿戴式EEG和超声的组。
19. 如权利要求15所述的系统，其特征在于，所述内部传感器（104)选自包括加速度 计、磁力计、语音识别器和Wi-Fi签名的组。
【文档编号】H04M3/42GK104335564SQ201380014086
【公开日】2015年2月4日 申请日期:2013年1月22日 优先权日:2012年2月2日
【发明者】A·帕尔, B·普鲁肖特哈曼, P·米斯拉, S·K·科帕拉普, A·辛哈, C·包米克, P·辛哈, A·高瑟 申请人:塔塔咨询服务有限公司