企业系统中的接近度和环境感知的移动工作空间的制作方法_5

文档序号:9620945阅读:来源:国知局
行之后,可将NFC数据传输的负荷从设备B的NFC驱动器传递到客户端代 理 500。
[0139] 在步骤1007中,设备B的客户端代理500接收作为参数的NFC数据、解析参数并作 用于数据。客户端代理500可被配置成取决于接收的数据实施不同动作。如上文讨论的, NFC数据可对应于一个或多个文件应用或者从设备A发送到设备B的其他数据。在一些示 例中,如上讨论的,从设备A发送到设备B的NFC数据可以与从NFC标签发送到设备的NFC 数据相似(相同)。例如,步骤1005中的数据传输可包含应用商店URL和/或用户帐户和 一个或多个应用ID的清单。在这些示例中,接收设备(设备B)可以与步骤705中讨论的 相同方式接收并处理数据。
[0140] 图11是示出其中第一设备(设备A)使用客户端代理应用500 (客户端代理A)与 使用第二客户端代理应用500 (客户端代理B)的第二设备(设备B)建立通信会话并共享 设备能力的示例的流程图。图11的步骤对应于步骤901-904的一个或多个额外的示例,其 中,NFC通信被用于发起在位于近的物理接近度的两个设备之间的通信,在其之后,持续的 通信会话可被建立以共享设备能力。在此示例中,两个设备A和设备B可以是NFC兼容的、 蓝牙兼容的和/或Wi-Fi兼容的设备,其具有安装和配置的客户端代理应用500。
[0141] 在步骤1101中,设备A的用户经由客户端代理500选择与设备B共享的一组设备 能力。客户端代理500中的用户界面元件可允许用户选择各种设备能力,例如,输入和输出 能力和如上讨论的其他设备能力。例如,由移动手机操作系统提供的应用命令栏或快捷设 置可允许用户选择将共享的设备能力并可使得设备A准备好共享。在一些情况下,客户端 代理500可在允许步骤1101中识别的设备能力被共享之前要求用户确认和/或用户认证。 因此,在步骤1102中(可选的),客户端代理500可提示用户认证证书并可在允许用户共享 设备能力之前验证用户证书的真实性。在客户端代理500使得设备A准备好共享设备能力 之后,设备A可进入对等点发现状态。
[0142] 在步骤1103中,设备A和设备B可被一起点击。响应于点击设备,可从设备A发 送NFC消息到设备B。在步骤1103中发送的NFC消息可包含应用标识符信头和负荷,如在 1005中所讨论的。在步骤1104中,设备B可接收NFC数据并(可选地)提示设备用户确认 接收的数据应被设备接受。如在步骤1006中讨论的,设备B的操作系统可接收并解析NFC 消息以确定包含在消息中的应用标识符(在该情况下对应于客户端代理500),如有必要, 可启动客户端代理应用500,并然后可将负荷作为参数传递到设备B的客户端代理500。在 步骤1105中,设备B的客户端代理500接收作为参数的数据、解析参数并作用于数据。设 备B现在可进入对等点发现状态。
[0143] 在步骤1106中,在设备A和设备B均已经进入对等点发现状态之后,可建立设备A 和设备B之间的长期连接流。在该示例中的长期连接流可使用以下协议的一个或多个:蓝 牙;Wi-Fi直接(例如,设备在IEEE802. 11上直接与彼此进行通信);或者Wi-Fi设施(例 如,设备经由路由器或其他网络设备在IEEE802. 11上与彼此间接通信)。在一些示例中, 在可建立长期连接流之前,设备的一个或两个均可要求设备用户的点击确认。在步骤1106 中设备之间建立连接流之后,用于经由连接流进行通信的套接字可被提供至每个设备中的 客户端代理应用500。
[0144] 在步骤1107和1108中,在建立完成连接流之后,设备A的客户端代理500可使 用连接套接字和适当的协议以将数据发送至设备B的客户端代理500。如上讨论的,在步 骤1107中发送并在步骤1108中接收的数据可对应于在设备A处接收并在设备B处发送的 (或反之亦然)、如同数据是直接由用户输入到设备B地由设备B接收并处理的用户输入数 据(例如,键盘数据、鼠标数据、触摸屏数据、声音数据等)。步骤1107中发送的数据还可 对应于在设备A处产生并发送至设备B(或反之亦然)、在设备B上接收并输出的输出数据 (例如,显示屏输出、音频输出等)。
[0145] 在涉及设备至设备的长期通信会话的一些示例中,诸如PeerFinder类的软 件类可被使用。例如,当事件(例如,TriggeredConnectionStateChanged事件)在具 有TriggeredConnectionState.Completed状态的PeerFinder对象上被引发时,可提供 StreamSocket对象。可使用提供的StreamSocket对象的OutputStream创建数据写入 器(DataWriter),且可使用提供的StreamSocket对象的InputStream来创建数据阅读器 (DataReader)。可在用于双向通信的设备A和设备B上均可配置数据阅读器和数据写入器。 在一些示例中,如果只期望单向通信,那么可只在一个设备上配置数据写入器,且可只在另 一个设备上配置数据阅读器。
[0146] 在一些情况下,当使用数据阅读器和数据写入器在设备A和设备B之间传输数据 时,有限数量的数据类型可被写入数据写入器,例如,字符串数据和图像。这些类型可对应 于数据类型字段中传输的常数和数据传输的负荷。可假设,当发送字符串数据时,设备B具 有活动会话,并可假设当发送图像数据时,设备A具有活动会话。设备B可被配置成从数据 阅读器连续读取数据,直到被取消。设备B还可取决于发送的数据类型不同地反应。例如, 如果读取图像数据,图像将被显示在设备B的显示屏上。然而,如果读取字符串数据,设备 B可取决于字符串数据的源不同地反应。例如,如果数据写入器和数据阅读器只支持字符 串数据和图像,那么当由设备B接收字符串数据时,字符串数据可对应于键盘数据或声音 数据。对于特定设备,键盘数据可在一次发送至一个按键,从而使得数据传输的负荷可只由 该按键组成。对于一些设备,负荷中的按键数据可在前面加上预定的标识符字符串(例如, "按键"),以将负荷字符串识别为按键数据。在这些示例中,当设备B接收键盘数据时,包含 在负荷中的按键可被插入设备B上的客户端代理应用500的活动会话中。
[0147] 如上面所看到的,在一些情况下,字符串数据可表示按键数据或声音数据。声音数 据可表示口述或命令,且特定设备可允许用户在口述模式和命令模式之间选择。在一些情 况下,口述模式和命令模式可同时运行,且用户的说话可被理解为文字口述或命令。在一些 情况下,由用户至设备A的声音命令或口述可被转换至文字串并可被写入数据写入器,以 用于向设备B的传输。对于口述模式或命令模式,预定的标识符字符串(例如,"口述"或 "命令")可被加到转换的声音字符串的前面。当设备B接收命令或口述声音数据时,它可 脱去加在前面的标识符字符串(例如,"口述"或"命令")并分析字符串数据。如果接收 的声音数据被识别为命令数据,负荷字符串还可被转换为小写字母并可被检查已知命令清 单。如果命令被识别,它可被转换成特定按键序列,且该按键序列可被插入设备B上的客户 端代理应用500的活动会话中。在一些情况下,声音命令可针对客户端代理B(例如,命令 设备B上的客户端代理500以使其返回主屏幕、枚举应用、搜索文档等)。在一些情况下,声 音命令可针对设备B并被客户端代理B应用(例如,命令设备B上的客户端代理500增加 设备B上的音量、增强屏幕亮度、启动另一个本地应用314或410、关闭设备B等)。
[0148] 当经由数据写入器传输图像数据时,设备A可采用用于渲染绘画内的图形的原 始像素数据(例如,从D2DSurface)。设备A然后可压缩原始像素数据(例如,通过使用 GZipStream类)并可将压缩的字节阵列写入数据写入器。这个过程可在每次客户端代理 应用500接收要显示的新图像数据时发生。当设备B使用数据阅读器接收对应的图像数据 时,它可解压缩字节阵列、添加位图信头并然后可在设备B上显示图像。在一些情况下,应 用发送图像数据的协议可被扩展以允许设备A和设备B之间的不同分辨率。
[0149] 图12A-12I是用于在多个设备之间共享数据和能力的用户界面截屏和相关图。图 12A是示例客户端代理应用500的示例用户界面屏幕。在该示例中,客户端代理应用显示 "我的应用"列举视图和用于与对等设备共享数据和/或能力的各种选项(即,商店账户、 最喜爱的、会话、用户输入、镜像显示和扩展显示)。图12A中的用户界面还包含要求用户 点击设备以传输数据、表示用户已经选择要共享的数据类型和/或能力的消息。图12B是 示出示例客户端代理应用500中的远程会话视图(发布的MicrosoftWord)的示例用户屏 幕。图12B中的用户界面还包含用于与对等设备共享数据和/或能力的各种选项(即,商 店账户、最喜爱的、会话、用户输入、镜像显示和扩展显示)的选项。图12B中的用户界面还 包含要求用户点击设备以传输数据、表示用户已经选择要共享的数据类型和/或能力的消 息。因此,如在这些示例中示出的,从一个设备漫游到另一个设备的会话或应用可被简单的 点击和NFC的使用触发。这种示例可允许在工作在员工的办公室、会议室或其他物理位置 之间的快速环境转换。例如,在医院环境中的实现中,医生可在他们办公室中的台式计算机 上查看病人记录,并然后可快速从他们的办公室移动到患者房间并在他们的移动设备上查 看相同?目息。
[0150] 图12C是示出执行在三个配对设备上的客户端代理应用的实例的图。远程会话 视图被显示在图12C中的三个设备上,示出三个分离的应用正在共享会话。在该示例中, 通过共享三个设备的输出能力,应用中的两个已经从主机设备拖入配对的设备中。Adobe Reader已经在左边被拖入用户的平板电脑,MicrosoftWord已经在右边被拖入用户的移动 手机,且MicrosoftExcel在中心保持显示在主机设备上。如由设备之间的注释表示的,该 示例中,中心主机设备经由蓝牙从其他两个设备接收用户输入,并经由蓝牙向其他两个设 备输出图形。因此,图12C中的设备能力已经被结合,允许这些设备充当具有所有三个设备 的结合的能力的单个设备。这种"联合设备"可被建立在点对点通信上和/或通过诸如云 系统的企业系统的通信,以支持环境感知、设备发现和配对和能力协调。
[0151] 在图12D中,另一个图被示出为在两个设备之间共享设备能力。在该示例中,设备 能力共享被用于实现在主机移动设备和连接的台式计算机之间的显示镜像。相似地,在图 12E中,图像被示出为示出三个设备间的输入共享,允许用户提供来自台式计算机的具有键 盘或鼠标的输入、来自平板电脑的触摸屏输入和来自移动手机的声音口述和命令。
[0152] 图12F-12I示出用于移动设备以与一个或多个对等设备共享设备能力的示例用 户界面屏幕。图12F示出移动设备上的客户端代理应用500的示例用户界面屏幕。在该示 例中,客户端代理应用显示"我的应用"视图,其具有允许移动设备用户与对等设备共享能 力的选项。图12G-12I示出移动设备上的客户端代理应用500的示例用户界面屏幕,其中, 已经将移动设备的用户输入能力与一个或多个对等设备共享。在图12G中,客户端代理500 位于键盘输入模式中,其中,键盘用户输入可被传输至连接的对等设备;图12H中,客户端 代理500处于鼠标/跟踪垫输入模式中,其中,鼠标/跟踪垫用户输入可被传输至连接的对 等设备;以及在图121中,客户端代理500是声音口述输入模式,其中,声音用户输入可被传 输至连接的对等设备。
[0153] 识别与企业系统中的对象有关的对象和访问特征或能力
[0154] 图13是示出关于使用移动设备识别对象和其他实体、以及访问与企业系统中的 对象和实体有关的特征或能力的示例特征和方法的流程图。
[0155] 在步骤1301中,第一计算设备(例如,移动设备302或402)例如从移动设备的相 机、扫描仪或NFC数据阅读器接收输入数据。如在下文更详细地讨论的,在步骤1301中接 收的数据可对应于企业系统中的具有特定特征和能力的对象或实体(例如,公司网络或其 他云系统)。例如,用户(例如,公司员工或访客)可使用他们的移动设备302或402上的 相机来拍摄员工证件(例如,包含员工名称、员工ID号、和/或员工相片),或者可使用他们 的移动设备302或402上的扫描仪来扫描员工证件。用户还可拍摄诸如同事会议参与者或 用户在公司场所上碰到的某人的公司员工或访客的脸部。在医院设置中,用户可使用他们 的移动设备上的扫描仪以扫描具有患者姓名、条形码、识别号等的患者文件或患者手带。
[0156] 在步骤1301中接收的输入不需要对应于个体,但还可表示企业系统中的具有一 些特征或能力的位置或对象。例如,用户可扫描位于公司会议室、办公室或公司场所中的其 他位置的房间标签,例如,NFC标签、条形码或其他标签。相似地,与企业系统有关的诸如公 司汽车、打印机、扫描仪、投影仪、电话、计算机服务器或其他计算设备的对象可具有可被步 骤1301中的用户移动设备扫描的NFC标签、条形码或其他标签。在一些示例中,一些对象 不需要具有标签,且用户可代替地拍摄对象(例如,具有名称和/或房间号的会议室或办公 室招贴、具有打印机网络名称的打印机标签、公司汽车的车牌号等),从其中可识别对象。在 一些示例中,移动设备302或402可收集对应于所拍摄的相片或扫描的对象的GPS数据,从 而使得GPS数据可被用于识别实体或对象。例如,如果用户拍摄没有清晰的打印机名称或 标识符的公司打印机,用户移动设备可记录GPS坐标中的打印机的位置,以允许识别特定 打印机。
[0157] 在步骤1302中,可分析在步骤1301中接收的输入数据,并可识别相关的个体或对 象。在各种示例中,诸如NFC、图像模式识别(IPR)或光学特征识别(OCR)的技术可被用于 识别对象和文字输入,且脸部检测/识别技术可被用于识别在步骤1301中接收的个体的任 何图像。例如,可使用OCR来处理用移动设备相机拍摄的会议室招贴的图像,以确定房间名 称或号码,并然后可实施文字/关键字搜索以识别企业系统中的位置或对象(例如,公司资 源)清单之内的会议室。相似地,可使用图像处理、脸部检测/脸部识别技术来识别由同事 会议参与者或其他熟人的移动设备用户拍摄的图像。
[0158] 在一些情况下,可由拍摄图像的移动设备302在本地分析图像数据,而在其他情 况下,可从移动设备302将图像数据传输至企业系统中的服务,企业系统中的服务被配置 成分析数据并识别对应的个体或对象。例如,企业系统中的服务308可接收对应于人脸的 图像数据,并可将图像数据与一个或多个数据源(例如,员工识别记录、访客图像记录等) 进行比较以确定图像中的员工或访客的身份。作为另一个示例,企业系统中的服务308可 接收对应于设备(例如,打印机、投影仪等)或位置(例如,会议室、办公室等)的图像数据 和对应于图像的GPS坐标,并可使用图像和GPS数据来确定具有企业系统中的特征和/或 能力的、由图像和/或GPS数据表示的特定设备或对象。此外,可由移动设备302和一个 或多个企业资源304或服务309协作实施数据分析。例如,移动设备302可被配置成确定 接收的图像或扫描的对象所对应的数据类型,例如,对应于房间号或房间名称的文字串、个 人的脸或证件的图像、对象的图像等,并然后可基于数据类型传输对应的数据(例如,文字 串、对象标识符、图像等)至适当的企业资源或服务。例如,个体的图像可以被传输至员工/ 访客的人脸识别服务309,表示办公室或会议室招贴的文字字符串可被传输至建筑物目录 服务309,打印机、扫描仪、投影仪和其他设备的图像可与GPS坐标一起被传输至建筑物设 施服务309等。
[0159] 在步骤1303中,在对应于在步骤1301中接收的输入的个体和/或对象被识别之 后,可从企业系统中的各种资源和服务中检索与个体和/或对象有关的各种特征和能力。 在一些示例中,单点登录(SS0)技术可在移动设备上与客户端代理应用500 -起使用以从 若干个不同企业资源304和服务309中检索与个体或对象有关的特征和能力。例如,如果 在步骤1301中接收的输入数据表示公司员工,那么SSO可被用于(例如,通过ActiveSync 协议)联系邮件服务器(例如,MicrosoftExchange)并以检索与员工有关的联系人信息、 安排信息和邮件(例如,从或至员工的电子邮件、提到员工的电子信息等)。在医院或其他 医疗机构的环境中,如果在步骤1301中接收到的输入数据表示患者,那么企业系统可检索 患者的记录。作为另一个示例,如果在步骤1301中接收到的输入数据表示会议室,各种企 业资源304和服务309可被用于获取房间会议和空缺安排和会议室的特征和能力(例如, 座位尺寸、投影仪和陈述仪器等)。如果在步骤1301中接收的输入数据表示打印机、扫描 仪、投影仪或其他计算设备,各种企业资源304和服务309可被用于确定名称、位置、网络地 址、特征和能力等等。
[0160] 在步骤1304中,在步骤1301中检索的各种特征和能力可经由用户的移动设备302 呈现给用户,允许用户经由他们的移动设备立即访问这些特征和能力。如上讨论的,除了 其他因素之外,移动设备用户可获取的特征和能力可取决于实体的类型或对象,由相对于 实体或对象的各种企业资源304和服务309支持的特征和能力和与移动设备用户和实体或 对象有关的认证证书。如果在步骤1301中接收的输入数据表示公司员工,且如果联系人 信息和其他员工信息在步骤1303中被检索到,那么在步骤1304中可在移动设备上向用户 呈现员工信息和诸如将员工添加到用户联系人、呼叫员工、发送邮件给员工、为员工安排会 议、邀请员工参加会议或协作工作会议等的选项的各种相关功能。在医院或医疗设施的环 境中,如果在步骤1301中接收的输入数据表示患者,且如果患者信息在步骤1303中被检索 至IJ,那么在步骤1304中可将患者数据经由用户的移动设备302呈现给用户。作为另一个示 例,如果在步骤1301中接收的输入数据表示打印机、扫描仪、投影仪或其他设备,且如果在 步骤1303中检索到设备信息,则在步骤1304中可经由用户的移动设备302向用户呈现设 备信息(例如,设备能力、状态、安排等)和诸如连接至设备并安装用于设备的驱动器的选 项、在时间窗口内保留并安排设备的选项或直接或间接控制设备的各种选项的各种相关功 能。
[0161] 在某些实施方式中,可通过结合现实视图(例如,图像或视频输入)和与实体或对 象有关的共用和/或私人信息将增强的现实(AR)用户体验呈现给用户,为其,在步骤1301 中接收用户输入,并在步骤1303中检索额外的企业数据。例如,使用在步骤1303中检索的 诸如用户联系人数据、会议安排、状态、聊天记录或在步骤1303中从企业资源或服务中检 索的任何其他信息,计算机产生的数据,可将增强的现实上覆于诸如人脸、标记、会议室标 签、打印机等的实时和真实世界环境中。使用设备身份、状态、特征和能力的计算机产生的 清单还可使用增强的现实以增强诸如打印机、投影仪等设备视图。在其他示例中,增强的现 实技术不需要被使用,代替地,在步骤1304中可呈现独立用户界面。
[0162] 在步骤1304中,用于对象或实体的不同组的特征/能力可被呈现给移动设备用 户,取决于为相对于对象或实体的移动设备用户确定的访问等级。在一些情况下,移动设备 302的用户可被要求以提供认证证书,并在向用户提供任何特征/能力之前可被企业系统 认证。额外地,可由企业系统为与公司或企业系统有关的个人(例如,公司员工、访客等) 和对象(例如,会议室、文件、打印机等)保留不同等级的访问许可和对应的特征/能力组。
[0163] 在一些情况下,与个体和对象有关的信息、特征和能力可被指定为"共用的"或"私 人的",或者被分配更具体的和粒度组的可被用于控制对实体或对象的信息、特征和能力的 访问的用户许可。例如,在访客或对
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1