嵌入在实时多媒体应用中的启用雾的遥测的制作方法

本公开一般涉及计算机网络领域，并且更具体地，涉及实时多媒体应用中的启用雾的遥测(fogenabledtelemetry)。

背景技术：

在线交互式协作应用(例如，webex视频会议、视频聊天、远程呈现等)越来越多地用于诸如远程医疗、远程专家咨询/询问、远程专家诊断、远程支持和其他类似服务等之类的领域。随着云/物联网(iot)技术和传感器遥测的出现，越来越多的机器控制器和传感器连接到网络并且新数据被生成，这可能允许应用和服务提供商为其用户和客户提供更好的服务。然而，使由这些智能设备(例如，物)生成的数据与协作应用相结合可能是困难的。智能设备所生成的数据通常通过专用信道发送到云中的特定于设备的应用，在该应用中分析和决策系统进行对这些数据的处理和洞悉的获取。因此，改进是需要的。

附图说明

为了描述可以获得本公开的上述特征和其他优点的方式，将通过参考在所附附图中示出的其特定实施例来呈现对以上简要描述的原理的更具体描述。应理解的是，这些附图仅描绘了本公开的示例性实施例，因此不应认为是限制其范围，通过对附图的使用，用附加特征和细节来描述和解释本文的原理，其中：

图1示出了根据本发明的计算设备和网络的示例性配置。

图2示出了用于实时多媒体应用中的启用雾的遥测的计算设备之间的数据通信的示例；

图3示出了用于实时多媒体应用中的启用雾的遥测的示例方法；以及

图4a和图4b示出了示例性可能的系统实施例。

具体实施方式

以下阐述的详细描述旨在作为对主题技术的各种配置的描述，并且不旨在表示可以实践主题技术的唯一配置。附图并入本文并构成详细描述的一部分。详细描述包括出于提供对主题技术的更透彻理解的目的的具体细节。然而，清楚且显而易见的是，主题技术不限于本文所阐述的这些具体细节，并且可以在没有这些细节的情况下被实践。在一些实例中，结构和组件以框图形式示出，以避免模糊本主题技术的概念。

概览：

在独立权利要求中阐述了本发明的各方面，并且在从属权利要求中阐述了优选特征。一个方面的特征可以单独应用于每个方面或者与其他方面组合应用。

公开了用于实时多媒体应用中的启用雾的遥测的系统、方法、和计算机可读存储介质。边缘计算设备可以从至少第一传感器接收第一传感器数据，并从第一客户端设备接收协作数据流。协作数据流可以包括聊天数据、音频数据、或视频数据中的至少一个。边缘计算设备可以将第一传感器数据转换为协作数据流格式，以产生第一经转换的传感器数据，然后将第一经转换的传感器数据嵌入到协作数据流中，从而产生经嵌入的协作数据流。然后，边缘计算设备可以将经嵌入的协作数据流发送到预期的接收者。

详细描述：

公开了用于实时多媒体应用中的启用雾的遥测的系统和方法。来自通过一个或多个iot协议进行通信的一个或多个传感器的传感器数据可以嵌入到协作数据流中，以增强协作会话中的用户参与者之间的协作。例如，从患者收集的传感器数据(例如，心率、血压等)可以嵌入到协作数据流中并被发送给患者的医生并用于对患者进行诊断。作为另一示例，描述工业机器的性能的传感器数据可以嵌入到协作数据流中并发送给技术人员以诊断工业机器的性能问题。

为了实现这一点，可以使用任何良好定义的标准雾接口来配置边缘计算设备，以从一个或多个传感器接收传感器数据以及从客户端设备接收协作数据流。协作数据流可以包括作为与另一客户端设备的协作会话(例如，视频会议)的一部分而传输的聊天数据、音频数据、或视频数据中的一个或多个。边缘计算设备可以将传感器数据转换为协作数据流格式。这可以包括将传感器数据标准化为标准对象模型。然后，边缘计算设备可以将经转换的传感器数据嵌入到协作数据流中，该协作数据流可以被发送到其预期的接收者。

图1示出了根据本发明的计算设备和网络的示例性配置100。计算设备可以连接到通信网络，并且被配置为通过使用通信网络彼此通信。通信网络可以是任何类型的网络，包括诸如内联网之类的局域网(“lan”)、诸如因特网之类的广域网(“wan”)、或它们的任何组合。此外，通信网络可以是公共网络、专用网络、或它们的组合。还可以使用与一个或多个服务提供商相关联的任何数目的通信链路来实现通信网络，通信链路包括一个或多个有线通信链路、一个或多个无线通信链路、或它们的任何组合。另外，通信网络可以被配置为支持对使用任何数目的协议格式化的数据进行传输。

计算设备可以是能够与其他计算设备进行网络通信的任何类型的通用计算设备。例如，计算设备可以是个人计算设备(例如，台式机或工作站)、商业服务器、或便携式计算设备(例如，膝上型计算机、智能电话、平板电脑、或具有内置计算和存储能力的路由器)。计算设备可以包括图4a和图4b的计算设备400的特征、组件、和外围设备中的一些或全部。

为了辅助与其他计算设备的通信，计算设备还可以包括通信接口，该通信接口被配置为从与计算设备进行网络通信的另一计算设备接收通信(例如，请求、数据等)并且将该通信传送给计算设备上运行的适当模块。通信接口还可以被配置为将该通信发送到与计算设备进行网络通信的另一计算设备。

如图所示，系统100包括传感器102、客户端设备104、边缘计算设备106、协作服务器108、和客户端设备110。协作服务器108可以被配置为辅助两个或更多个客户端设备之间的协作会话。协作会话可以是对计算设备之间的协作数据(例如，视频、文本、音频、信令)的连续交换，使得计算设备的用户能够进行通信和协作。协作会话的示例包括webex视频会议、视频聊天、远程呈现(telepresence)等。客户端设备104和110可以包括使客户端设备104和110能够与协作服务器108通信以在客户端设备104和110之间建立协作会话的软件。

一旦建立了通信会话，客户端设备104和110就可以收集协作数据(例如，视频数据、音频数据、聊天数据)并将协作数据作为协作数据流发送到协作服务器108。协作服务器108可以从客户端设备104和110接收协作数据流，并将数据发送到其预期的接收者。例如，协作服务器108可以从客户端设备104接收协作数据流并将协作数据流发送到客户端设备110。同样，协作服务器108可以从客户端设备110接收协作数据流并将协作数据流发送到客户端设备104。

边缘计算设备106可以被配置为将用从传感器102收集的传感器数据嵌入协作数据流。边缘计算设备106可以是启用iox的边缘设备，例如，雾设备、网关、家庭云等。传感器102可以是能够收集传感器数据的任何类型的传感器。例如，传感器102可以是被配置为从人类用户收集传感器数据的医疗传感器，例如，心率监测器、血压监测器、温度计等。作为另一示例，传感器102可以是被配置为从机器收集传感器数据的机器传感器，例如，网络传感器、温度传感器、性能传感器等。

如图所示，边缘计算设备106可以接收来自客户端设备104的协作数据流以及由传感器102捕获的传感器数据。边缘计算设备104可以充当从传感器102收集数据的智能代理。为了与传感器102进行通信，边缘计算设备106可以包括与传感器相对应的一个或多个iot协议插件，例如，modbus、分布式网络协议(dnp3)、约束应用协议(coap)、消息队列遥测传输(mqtt)等。边缘计算设备106可以具有可扩展的架构，该架构可以从基于被配置用于进行监测的设备的在线插件库中配设所需的协议插件。传感器102和边缘计算设备106可以利用适当的协议来向边缘计算设备106注册传感器，在这之后，边缘计算设备106可以开始周期性地轮询传感器102以获得传感器数据。

边缘计算设备106可以将所接收的传感器数据转换为协作数据流格式，使得传感器数据可以被嵌入在从客户端设备102接收的协作数据流中。例如，边缘计算设备106可以将传感器数据标准化为协作协议的标准对象模型。协作协议的示例是一些协作工具所使用的可扩展消息传送及表示协议(xmpp)和数据分发服务(dds)。边缘计算设备106可以使用网络认证方法来将客户端设备104与用户身份相关联，并基于网络策略配置来标识要轮询的传感器并将数据嵌入到协作流中。边缘计算设备106还可以对传感器数据应用采样和压缩，以限制协作数据流中所包括的传感器数据的数量和大小。例如，边缘计算设备106可以应用策略来本地处理传感器数据，以用于用小的占用空间(footprint)来进行本地重要分析。

另外，边缘计算设备106可以在例如边缘计算设备106的出口接口处利用流量分类及标记的软件版本。经修改的元数据框架可以用于关联传感器数据流并扩展协作数据流。例如，webex流分类可以被以如下方式更改：

class-mapmatch-anyclassify-webex-meeting

matchclass-mapwebex-video

matchclass-mapwebex-data

matchclass-mapwebex-streaming

matchclass-mapwebex-sharing

matchapplicationwebex-meeting

matchapplicationall-things-sensors-data

matchapplicationall-things-sensors-telemetry

在完成适当的分类之后，边缘计算设备106可以使用传统方法来处理针对传感器数据和协作数据的路由、保护、和/或服务质量(qos)。边缘计算设备106可以将经嵌入的协作数据流发送到协作服务器108，其中协作数据可以被转发到其预期的接收者(例如，客户端设备110)。

图2示出了用于实时多媒体应用中的启用雾的遥测的计算设备之间的数据通信的示例。如图所示，传感器202、客户端协作工具204、雾协议插件208、雾收集器服务210、和协作服务器212可以彼此通信以在实时多媒体应用中提供启用雾的遥测。如图所示，传感器202可以与在边缘计算设备上运行的雾协议插件服务206通信以注册(214)传感器。例如，传感器可以使用诸如modbus、dnp3、coap、mqtt等之类的iot协议与协议插件服务进行通信。在向雾协议插件服务208注册了传感器202之后，雾协议插件208可以与传感器进行通信以周期性地轮询(216)传感器202以获得传感器数据。然后，雾协议插件服务208可以与雾收集器服务210进行通信以标准化和发布(218)传感器数据。这可以包括将传感器数据转换为协作数据流格式以包括在协作会话中。

在客户端设备上运行的客户端协作工具204可以与在边缘计算设备上运行的雾协作代理206进行通信以注册(220)客户端协作工具204。然后，客户端协作工具204可以发起(222)与雾协作代理206的通信以开始协作会话并将协作数据发送到雾协作代理206。响应于发起与客户端协作工具204的通信，雾协作代理206可以与雾收集器服务210进行通信以订阅(224)从传感器202接收的传感器数据。雾协作代理206还可以与协作服务器212进行通信以打开(226)信道，从而发起协作会话并发送/接收协作数据流。

然后，雾协作代理206可以从雾收集器服务210接收订阅的传感器数据228。然后，雾协作代理206可以将该传感器数据嵌入到协作数据流中，并将经嵌入的协作数据流230发送到协作服务器212以递送到预期的接收者(这作为协作会话的一部分)。

图3示出了用于实时多媒体应用中的启用雾的遥测的示例方法。应理解的是，除非另有说明，否则可以在各个实施例的范围内以类似或替代的顺序或并行地执行附加的、更少的、或替代的步骤。

在步骤302，边缘计算设备可以从至少第一传感器接收第一传感器数据，并从第一客户端设备接收协作数据流。协作数据流可以包括聊天数据、音频数据、或视频数据中的至少一个。边缘计算设备106可以包括用于与传感器进行通信的一个或多个iot协议插件，例如，modbus、dnp3、coap、mqtt等。传感器和边缘计算设备可以利用适当的协议来向边缘计算注册传感器，在这之后，边缘计算设备可以开始周期性地轮询传感器以获得传感器数据。

在步骤304，边缘计算设备可以将第一传感器数据转换为协作数据流格式，从而产生第一经转换的传感器数据。例如，边缘计算设备可以将传感器数据标准化为协作协议的标准对象模型。协作协议的示例是一些协作工具所使用的可扩展消息传送及表示协议(xmpp)和数据分发服务(dds)。

在步骤306，边缘计算设备可以将第一经转换的传感器数据嵌入到协作数据流中，从而产生经嵌入的协作数据流。

在步骤308，边缘计算设备可以将经嵌入的协作数据流发送到预期的接收者。例如，边缘计算设备可以将经嵌入的协作数据流发送到协作服务器，该协作服务器将把协作数据流转发到被包括在对应协作会话中的一个或多个客户端设备。

图4a和图4b示出了示例性可能的系统实施例。在实践本技术时，更合适的实施例对于本领域普通技术人员来说是显而易见的。本领域普通技术人员还将容易理解的是，其他系统实施例也是可能的。

图4a示出了传统的系统总线计算系统架构400，其中系统的组件使用总线405彼此电通信。示例性系统400包括处理单元(cpu或处理器)410和将包括系统存储器415(例如，只读存储器(rom)420和随机存取存储器(ram)425)的各种系统组件耦合至处理器410的系统总线405。系统400可以包括与处理器410直接连接的、邻近处理器410的、或者作为处理器410的一部分集成的高速存储器的缓存。系统400可以将数据从存储器415和/或存储设备430复制到缓存412，以供处理器410快速访问。这样，缓存可以提供避免处理器410在等待数据时的延迟的性能提升。这些和其他模块可以控制或被配置为控制处理器410执行各种动作。也可以使用其他系统存储器415。存储器415可以包括具有不同性能特性的多个不同类型的存储器。处理器410可以包括任何通用处理器和被配置为控制处理器410的硬件模块或软件模块(例如，存储在存储设备430中的模块1432、模块2434、和模块3436)、以及其中软件指令被结合到实际的处理器设计中的专用处理器。处理器410可以基本上是完全独立的计算系统，包含多个核或处理器、总线、存储器控制器、缓存等。多核处理器可以是对称的或非对称的。

为了使得用户能够与计算设备400进行交互，输入设备445可以表示任何数目的输入机构，例如，用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、动作输入、语音等。输出设备435也可以是本领域技术人员已知的多个输出机构中的一个或多个。在一些实例中，多模式系统可以使用户能够提供多种类型的输入以与计算设备400进行通信。通信接口440通常可以支配和管理用户输入和系统输出。对任何特定硬件布置进行的操作没有限制，因此可以容易地在改进的硬件或固件布置被开发时用这些改进的硬件或固件布置代替这里的基本特征。

存储设备430是非易失性存储器，并且可以是硬盘或可以存储计算机可访问的数据的其他类型的计算机可读介质，例如，磁带盒、闪存卡、固态存储器设备、数字通用盘、盒式磁带、随机存取存储器(ram)425、只读存储器(rom)420、以及它们的混合。

存储设备430可以包括用于控制处理器410的软件模块432、434、436。可以预期其他硬件或软件模块。存储设备430可以连接到系统总线405。在一个方面，执行特定功能的硬件模块可以包括与必要的硬件组件(例如，处理器410、总线405、显示器435等)相关联地存储在计算机可读介质中的软件组件，以执行该功能。

图4b示出了具有芯片组架构的计算机系统450，该芯片组架构可用于执行所描述的方法并生成和显示图形用户界面(gui)。计算机系统450是可用于实现所公开的技术的计算机硬件、软件、和固件的示例。系统450可以包括处理器455，其表示能够执行被配置为执行所识别的计算的软件、固件、和硬件的任何数目的物理和/或逻辑上不同的资源。处理器455可以芯片组460进行通信，其中芯片组460可以控制到处理器455的输入和来自处理器455的输出。在该示例中，芯片组460将信息输出到输出465(例如，显示器)并且可以向存储设备470读取和写入信息，存储设备470可以包括例如磁介质和固态介质。芯片组460还可以从ram475读取数据和向ram475写入数据。可以提供用于与各种用户接口组件485进行接口的桥接器480，用于与芯片组460进行接口。这种用户接口组件485可以包括键盘、麦克风、触摸检测及处理电路、指示设备(例如，鼠标)等。通常，对系统450的输入可以来自任何机器生成和/或人类生成的各种源。

芯片组460还可以与一个或多个通信接口490进行接口，其中通信接口490可以具有不同的物理接口。这种通信接口可以包括用于有线和无线局域网、宽带无线网络、以及个人区域网络的接口。用于生成、显示、和使用本文所公开的gui的方法的一些应用可以包括通过物理接口接收有序数据集或者可以通过处理器455分析存储在存储设备470或475中的数据来由机器本身生成。此外，机器可以经由用户接口组件485接收来自用户的输入并通过使用处理器455解释这些输入来执行适当的功能(例如，浏览功能)。

应理解的是，示例性系统400和450可以具有不止一个处理器410，或者可以是联网在一起的计算设备的群组或集群的一部分，以提供更大的处理能力。

总之，公开了用于实时多媒体应用中的启用雾的遥测的系统、方法、和计算机可读存储介质。边缘计算设备可以从至少第一传感器接收第一传感器数据，并从第一客户端设备接收协作数据流。协作数据流可以包括聊天数据、音频数据、或视频数据中的至少一个。边缘计算设备可以将第一传感器数据转换为协作数据流格式，从而产生第一经转换的传感器数据，然后将该第一经转换的传感器数据嵌入到协作数据流中，从而产生经嵌入的协作数据流。然后，边缘计算设备可以将经嵌入的协作数据流发送到预期的接收者。

为了解释的清楚，在一些实例中，本技术可以被呈现为包括各个功能块，这些功能块包括以软件或软件和硬件的组合体现的方法中的设备、设备组件、步骤或例程。

在一些实施例中，计算机可读存储设备、介质、和存储器可以包括包含比特流等的线缆或无线信号。然而，当被提到时，非暂态计算机可读存储介质明确地排除诸如能量、载波信号、电磁波、和信号本身之类的介质。

可以使用所存储的或可以其他方式从计算机可读介质中获得的计算机可执行指令来实现根据上述示例的方法。这样的指令可以包括例如使得或以其他方式配置通用计算机、专用计算机、或专用处理设备以执行特定功能或功能组的指令和数据。所使用的部分计算机资源可通过网络访问。计算机可执行指令可以是例如二进制文件、诸如汇编语言之类的中间格式指令、固件、或源代码。可用于存储在根据所描述的示例的方法期间的指令、所使用的信息、和/或所创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、具有非易失性存储器的usb设备、联网存储设备等。

实现根据这些公开内容的方法的设备可以包括硬件、固件、和/或软件，并且可以采用各种形状因子中的任何一种。这种形状因子的典型示例包括膝上型计算机、智能电话、小型个人计算机、个人数字助理等。本文所描述的功能也可以体现在外围设备或附加卡中。作为另一示例，这样的功能还可以在不同芯片之间的电路板上实现，或者在单个设备中执行的不同进程中实现。

指令、用于传送这些指令的介质、用于执行它们的计算资源、以及用于支持这种计算资源的其他结构是用于提供这些公开内容中描述的功能的手段。

尽管使用各种示例和其他信息来解释所附权利要求范围内的方面，但是不应基于这些示例中的特定特征或布置来暗示对权利要求的限制，因为本领域普通技术人员将能够使用这些示例来推导出各种各样的实现方式。此外，尽管可能已经以特定于结构特征和/或方法步骤的示例的语言描述了一些主题，但应理解的是，所附权利要求中定义的主题不必限于这些描述的特征或动作。例如，这样的功能可以不同地分布或者在除了本文识别的那些组件之外的组件中执行。而是，所公开的特征和步骤被公开为所附权利要求范围内的系统的组件和方法的示例。