本申请要求享有于2015年12月26日提交的发明名称为“technologiesforvalidatingtheoperationsofadevices(用于验证设备的操作的技术)”的美国发明专利申请序列号no.14/757,832的优先权。
背景技术：
随着物联网(iot)使用的增加，许多系统在增加，包括大量的现场设备，例如传感器、执行器等。在典型的iot系统中，网关设备与现场设备池进行通信。但是，确定网关设备正在成功地与现场设备进行通信可能是相对耗时的手动验证过程。手动验证过程典型地涉及针对每一个传感器或执行器设备执行一系列确定。例如，一个人必须手动地确定每一个现场设备是否在线并且是否在向网关设备发送数据和/或从网关设备接收数据。此外，这个人必须手动地确定每一个现场设备是否正在期望的速度范围内发送数据和/或接收数据。此外，这个人可以测量分组丢失的级别以确定现场设备是否正在根据期望的可靠性级别利用网关设备接收数据和发送数据。
随着耦合到网关设备的现场设备数量的增加，执行手动验证过程所需的时间相应地增加。因此，当数百个现场设备耦合到网关设备时，全部现场设备的手动验证过程可能是不切实际的。
附图说明
通过示例的方式且不通过限制的方式在附图中描绘了本申请中描述的概念。为了描绘的简单和清晰，附图中描绘的元件未必是按比例绘制的。在被认为适当的情况下，已经在附图中重复了附图标记以指示相应的或类似的元件。
图1是用于自动验证包括主机计算设备、网关设备和各种现场设备的现场设备的系统的至少一个实施例的简化框图；
图2是图1的主机计算设备的环境的至少一个实施例的简化框图；
图3-5是可以由图1和图2的主机计算设备执行的用于验证网关设备和现场设备的功能的方法的至少一个实施例的简化流程图；
图6是可以由图1和图2的主机计算设备执行的用于验证网关设备和现场设备的功能的方法的另一实施例的简化流程图；
图7是可以由图1和图2的主机计算设备分析的测试数据的分量(component)的简化框图；
图8是可以由图1和图2的主机计算设备访问的回归测试数据库的分量的简化框图；以及
图9是可以由图1和图2的主机计算设备访问的简档数据库的分量的简化框图。
具体实施方式
虽然本公开的构思易受各种修改和可供替换的形式的影响，但是已经通过示例的方式在附图中示出且将在本申请中详细描述其特定实施例。但是，应该理解的是，没有任何意图要将本公开的构思限制在所公开的特定形式，而是相反，其意图在于覆盖与本公开和所附权利要求书一致的全部的修改、等同物和可供替换物。
在说明书中提及的“一个实施例”、“实施例”、“说明性实施例”等指示所描述的实施例可以包括特定的特征、结构或特性，但是每一个实施例可以包括或未必包括该特定的特征、结构或特性。此外，这样的短语未必指代相同的实施例。进一步地，当结合实施例描述特定的特征、结构或特性时，所主张的是其是在本领域的熟练技术人员用于结合无论是否明确描述的其他实施例实现这样的特征、结构或特性的知识之内。此外，应该理解的是，在“至少一个a、b和c”形式的列表中保护的项可以指代(a)；(b)；(c)；(a和b)；(a和c)；(b和c)；或(a、b和c)。类似地，以“a、b或c中的至少一个”的形式列出的项可以指代(a)；(b)；(c)；(a和b)；(a和c)；(b和c)；或(a，b和c)。
在一些情况下，可以以硬件、固件、软件或其任何组合实现所公开的实施例。所公开的实施例还可以被实现为由易失性或非易失性机器可读(例如，计算机可读)存储介质执行的或在易失性或非易失性机器可读(例如，计算机可读)存储介质上存储的指令，该指令可以由一个或多个处理器读取并执行。机器可读存储介质可以被实现为用于以机器可读的形式存储或发送信息的任何存储设备、机制或其他物理结构(例如，易失性或非易失性存储器、介质盘、或其他介质设备)。
在附图中，可以按照特定的布置和/或顺序示出一些结构或方法特征。但是，应该理解的是，可以不要求这样的特定的布置和/或顺序。而是，在一些实施例中，这样的特征可以按照与在说明性附图中示出的不同的方式和/或顺序来布置。此外，在具体的附图中包含结构或方法特征并不意味着隐含这样的特征在所有实施例中都是要求的，并且在一些实施例中，可以不包含这样的特征或者这样的特征可以与其他特征组合。
现在参考图1，在说明性实施例中，用于自动验证现场设备105的系统100包括经由网络128耦合到网关设备104的主机计算设备102。在使用中，主机计算设备102被配置成验证网关设备104和耦合到网关设备104的现场设备105的功能，从而减小否则被要求验证网关设备104和现场设备105的功能的手动测试的量。为了这样做，在说明性实施例中，主机计算设备102初始地执行功能测试，以确定网关设备104究竟是否能够与每一个现场设备105进行通信。随后，主机计算设备102执行回归测试，在回归测试中主机计算设备102确定网关设备104和现场设备105在诸如一星期的延长时间段上交互得多好。在回归测试中，主机计算量化诸如在网关设备104和现场设备105之间的数据传输可靠性(即，分组丢失信息)的信息，以及在该时间段期间网关设备104的处理器使用和存储器使用。主机计算设备102识别测试中的异常(例如，无法与特定现场设备105进行通信和/或与特定现场设备105相对低的数据传输可靠性)并生成测试结果的报告以由技术员进行分析。可以在初始的部署、重配置以及其他操作模式下使用该过程。
主机计算设备102可以被实现为能够验证网关设备104和/或现场设备105的功能以及以其他方式执行本申请中描述的功能的任何类型的设备。例如，主机计算设备102可以被实现为，不进行限制，服务器计算机、计算机、计算设备、工作站、分布式计算系统、多处理器系统、消费类电子设备、智能装置、膝上型计算机、笔记本计算机、平板计算机、智能电话、移动计算设备、和/或能够执行本申请中描述的功能的任何其他计算设备。在某一实施例中，主机计算设备102可以被实现为单个计算设备。但是，在其他实施例中，主机计算设备102可以被实现为一起协作以便于实现下文描述的功能的多个设备。
如在图1中所示出的，说明性主机计算设备102包括处理器140、i/o子系统142、存储器144、数据存储设备146、显示器150以及外围设备152。当然，在其他实施例中，主机计算设备102可以包括其他的或另外的组件，例如在工作站中一般可以找到的那些组件(例如，各种输入/输出设备)。此外，在一些实施例中，说明性组件中的一个或多个可以被并入到另一组件中或以其他方式形成另一组件的一部分。例如，在一些实施例中，存储器144或其部分可以被并入到处理器140中。
处理器140可以被实现为能够执行本申请中描述的功能的任何类型的处理器。例如，处理器可以被实现为单核处理器或多核处理器、数字信号处理器、微控制器、或其他处理器或处理/控制电路。类似地，存储器144可以被实现为能够执行本申请中描述的功能的任何类型的易失性和非易失性存储器或数据存储装置。在操作中，存储器144可以存储在主机计算设备102的操作期间使用的各种数据和软件，例如操作系统、应用、程序、库和驱动器。存储器144经由i/o子系统142通信地耦合到处理器140，i/o子系统142可以被实现为便于实现与处理器140、存储器144以及主机计算设备102的其他组件的输入/输出操作的电路和/或组件。例如，i/o子系统142可以被实现为或以其他方式包括存储器控制器集线器、输入/输出控制集线器、固件设备、通信链路(即，点对点链路、总线链路、电线、电缆、光导、印刷电路板迹线等)和/或其他组件和子系统以便于实现输入/输出操作。在一些实施例中，i/o子系统142可以形成片上系统(soc)的一部分并且与处理器140、存储器144以及主机计算设备102的其他组件一起被并入到单个集成电路芯片上。
数据存储设备146可以被实现为被配置用于短期或长期数据存储的任何类型的设备或多个设备，诸如以存储器设备和电路、存储卡、硬盘驱动、固态驱动或其他数据存储设备为例。数据存储设备146可以存储例如验证指令、测试结果、简档和报告。
主机计算设备102还可以包括通信电路148，其可以被实现为能够通过计算机网络(未示出)在主机计算设备102和其他远程设备之间实现通信的任何通信电路、设备或其集合。通信电路148可以被配置成使用任何一个或多个通信技术(例如，有线或无线通信)和相关联的协议(例如，mqtt、modbus、zigbee、以太网、
此外，主机计算设备102可以包括显示器150。显示器150可以被实现为能够显示数字信息的任何类型的显示器，例如液晶显示器(lcd)、发光二极管(led)、等离子显示器、阴极射线管(crt)或其他类型的显示设备。在一些实施例中，主机计算设备102还可以包括一个或多个外围设备152。外围设备152可以包括任何数目的另外的输入/输出设备、接口设备和/或其他的外围设备。应该理解的是，在一些实施例中，主机计算设备102可以被实现为一起协作以便于实现在下文描述的功能的多个设备。
现场设备105可以被实现为诸如传感器、执行器、马达等等的任何类型的输入或输出设备。说明性现场设备105包括一个或多个传感器设备106和/或一个或多个执行器设备108。传感器设备106可以被实现为或以其他方式包括任何类型的传感器。用作说明地，传感器设备106包括磁传感器设备110、温度传感器设备112、红外传感器设备114、振动传感器设备116、智能插头传感器设备118以及照度传感器设备120。当然，在其他实施例中，传感器设备106可以包括另外的或其他的传感器设备。说明性磁传感器设备110被配置成向网关设备104发送与由磁传感器设备110检测到的磁场有关的数据。说明性温度传感器设备112被配置成向网关设备104发送与由温度传感器设备112检测到的温度相关的数据。说明性红外传感器设备114被配置成向网关设备104发送指示由红外传感器设备114检测到的红外辐射的数据。说明性振动传感器设备116被配置成向网关设备104发送与由振动传感器设备116检测到的振动有关的数据。说明性智能插头传感器设备118被配置成向网关设备104发送表示耦合到智能插头传感器设备118的设备的能量使用的数据。说明性照度传感器设备120被配置成向网关设备104发送指示例如由照度传感器设备120检测到的光的强度和持续时间的数据。
执行器设备108可以被实现为或以其他方式包括任何类型的执行器设备。用作说明地，执行器设备122包括响应于从网关设备104接收到相对应的命令而选择性地打开和关闭交换机的机电换能器。执行器设备124可以被类似地配置。在一些实施例中，传感器设备106和执行器设备108中的一个或多个被并入到相同的设备中，例如智能插头。
网关设备104可以被实现为能够执行本申请中描述的功能的任何类型的计算设备，包括但不限于，计算机、计算设备、服务器计算机、工作站、分布式计算系统、多处理器系统、消费类电子设备、智能装置、膝上型计算机、笔记本计算机、平板计算机、智能电话、移动计算设备和/或能够执行本申请中描述的功能的任何其他计算设备。这样，网关设备104可以包括一般在计算设备中找到的组件，例如，处理器、i/o子系统、存储器、数据存储设备、通信电路以及一个或多个外围设备。这样的组件可以基本上类似于在上文描述的主机计算设备102的那些类似的组件。这样，在理解到关于主机计算设备102在上文提供的对相应组件的描述等同地应用于网关设备104的相应组件的情况下，在本申请中不重复对类似组件的进一步描述。
服务器计算设备126可以被实现为能够执行本申请中描述的功能的任何类型的计算设备，包括但不限于，服务器计算机、计算机、计算设备、工作站、分布式计算系统、多处理器系统、消费类电子设备、智能装置、膝上型计算机、笔记本计算机、平板计算机、智能电话、移动计算设备、和/或能够执行本申请中描述的功能的任何其他计算设备。这样，服务器计算设备126可以包括一般在计算设备中找到的组件，例如，处理器、i/o子系统、存储器、数据存储设备、通信电路以及一个或多个外围设备。这样的组件可以基本上类似于上文描述的主机计算设备102的那些类似组件。这样，在理解到关于主机计算设备102在上文提供的对相应组件的描述等同地应用于服务器计算设备126的相应组件的情况下，在本申请中不重复对类似组件的进一步描述。
主机计算设备102被配置成通过网络128(“云”)与现场设备105、网关设备104以及服务器计算设备126进行通信。网络128可以被实现为任何数目的各种有线和/或无线网络。例如，网络128可以被实现为或以其他方式包括有线或无线局域网(lan)、有线或无线广域网(wan)、蜂窝网和/或公开可获得的诸如互联网的全球网。这样，网络128可以包括任何数目的另外设备，例如另外的计算机、路由器以及交换机，以便于在系统100的设备之间实现通信。
现在参考图2，在说明性实施例中，主机计算设备102在操作期间建立环境200。说明性实施例200包括指令发送器模块202、数据接收器模块210、分析模块214以及报告器模块228。环境200的各种模块可以被实现为硬件、固件、软件或其结合。这样，在一些实施例中，环境200的模块中的一个或多个可以被实现为电路或电子设备的集合(例如，指令发送器电路202、数据接收器电路210、分析电路214、报告器电路228等等)。应该理解的是，在这样的实施例中，指令发送器模块202、数据接收器模块210、分析模块214以及报告器模块228中的一个或多个可以形成主机计算设备102的处理器140、i/o子系统142和/或其他组件中的一个或多个的一部分。此外，在一些实施例中，说明性模块中的一个或多个可以形成另一模块的一部分和/或说明性模块的一个或多个可以彼此独立。此外，在一些实施例中，环境200的模块中的一个或多个可以被实现为虚拟化硬件组件或仿真架构，其可以由处理器140或主机计算设备102的其他组件建立和维护。
指令发送器模块202，其可以如上文讨论地被实现为硬件、固件、软件、虚拟化硬件、仿真架构和/或其组合，被配置成向网关设备104发送验证指令204，以针对通信地耦合到网关设备104的现场设备105中的一个或多个执行至少一个功能。此外，指令发送器模块202被配置成向网关设备104发送转发指令206。转发指令206指示网关设备104向服务器计算设备126发送或转发测试数据以用于存储和/或分析。在一些实施例中，指令发送器模块202还被配置成向网关设备104发送调试指令208，以执行调试过程，例如，当主机计算设备102检测到来自网关设备104的测试数据中的异常时。
数据接收器模块210，其可以如上文讨论地被实现为硬件、固件、软件、虚拟化硬件、仿真架构和/或其组合，被配置成从网关设备104接收测试数据212。如上文描述的，在一些实施例中，主机计算设备102可以不包括向网关设备104发送验证指令204、转发指令206和/或调试指令208的指令发送器模块202。而是，在这样的实施例中，网关设备104已经被配置成执行在验证指令204、转发指令206和/或调试指令208中的功能，并且数据接收器模块210从网关设备104接收测试数据212，而不用主机计算设备102指示网关设备104发送测试数据212。
分析模块214，其可以如上文讨论的被实现为硬件、固件、软件、虚拟化硬件、仿真架构和/或其组合，被配置成管理和分析现场设备105和/或网关设备104的验证。为此，分析模块214包括功能测试模块216、回归测试模块220以及简档模块224。功能测试模块216包括功能测试数据库218并且被配置成确定网关设备104是否正在与每一个现场设备105执行基本级的功能。例如，功能测试模块216确定网关设备104是否正在成功地从每一个传感器设备106接收(“订阅”)数据。进一步地，功能测试模块216确定网关设备104是否正在成功地向每一个执行器设备108发送(“公布”)数据。说明性功能测试模块216确定网关设备104是否正在以顺序或逐个的方式与每一个现场设备105执行上文的功能，而不是确定网关设备104是否能够或如何成功地同时与多个现场设备105进行通信。此外，功能测试模块216可以被配置成识别测试数据212中的任何异常702，并且响应于识别到一个或多个异常702而执行调试过程。在一些实施例中，功能测试模块216向指令发送器模块202发送信号，以向网关设备104发送调试指令208，用于执行一个或多个调试操作，以便于识别一个或多个异常702的源。在其他实施例中，功能测试模块216可以分析测试数据212以确定一个或多个异常702的源，而网关设备104不执行调试操作。
回归测试模块220被配置成确定网关设备104在预定义的时间段内同时与多个现场设备105进行通信的能力。回归测试模块220包括在本申请中更详细描述的回归测试数据库222。回归测试模块220在预定义的时间段806内，例如7天内，跟踪在网关设备104和现场设备105之间发送的数据800。例如，在至少一些实施例中，网关设备104在由上文描述的数据接收器模块210接收到的测试数据212中发送在网关设备104与现场设备105之间传送的数据800。回归测试模块220还可以跟踪在预定义的时间段806内网关设备104的处理器使用802和存储器使用804(参见图8)。在一些实施例中，回归测试模块220被配置成识别测试数据212中的一个或多个异常702，并且响应于识别到一个或多个异常702，执行调试过程。在一些实施例中，回归测试模块220可以被配置成向指令发送器模块202发送信号，以向网关设备104发送调试指令208，用于执行一个或多个调试操作，以确定来自回归测试的一个或多个异常702的源。在其他实施例中，回归测试模块220可以分析测试数据212并且确定一个或多个异常702的源，而网关设备104不执行任何调试操作。
简档模块224包括简档数据库226并且被配置成生成测量网关设备104和现场设备105的性能的简档900。为此，在说明性实施例中，简档模块224的特征在于在测试数据212中包括的至少一个传感器数据分组700。更特别地，简档模块224可以确定在预定义的时间段806期间在网关设备104与现场设备105之间的通信期间丢弃的数据分组的数目或数据分组丢失的平均速率。在一些实施例中，传感器数据分组700中的一个或多个包括传感器数据分组700被重新发送的指示符，例如，因为先前的传感器数据分组700被丢弃。简档模块224执行将从网关设备104接收到的例如测试数据212中的传感器数据分组700从一种格式904转换成另一种格式的算法902。例如，传感器数据分组700可以包括来自温度传感器设备112的定义电压电平的“原始”数据。简档模块224执行算法902以将电压电平(即，格式904)转换成温度值(即，格式906)。在其他实施例中，网关设备104执行算法902并且简档模块224测量网关设备104执行算法902所需的时间量。
应该理解的是，分析模块214的功能测试模块216、回归测试模块220以及简档模块224中的每一个可以分别被实现为硬件、固件、软件、虚拟化硬件、仿真架构和/或其组合。例如，功能测试模块216可以被实现为硬件组件，而回归测试模块220和/或简档模块224被实现为虚拟化硬件组件或硬件、固件、软件、虚拟化硬件、仿真架构、和/或其组合的某一其他组合。
报告器模块228，其可以如上文讨论地被实现为硬件、固件、软件、虚拟化硬件、仿真架构和/或其组合，被配置成生成指示系统100的状态的报告230(例如，网关设备104和/或一个或多个现场设备105的状态，基于功能测试、回归测试和简档900)。例如，报告230可以包括功能测试的分量的结果，例如网关设备104是否从一个或多个现场设备105成功地接收数据以及网关设备104是否成功地向一个或多个现场设备105发送数据。此外，在至少一些实施例中，报告230包括回归测试的分量的结果，包括例如，网关设备104在预定义的时间段806内是否与多个现场设备105成功地进行通信，网关设备104的处理器使用802以及网关设备104的存储器使用804。此外，在一些实施例中，报告包括在测试数据212中检测到的异常702的列表和调试过程的结果。进一步地，在一些实施例中，报告230包括来自由简档模块224生成的简档900的信息，例如对在网关设备104与现场设备105之间的数据传输可靠性的指示，例如与任何数据分组丢失有关的信息。进一步地，在一些实施例中，报告230包括对执行用于将原始传感器数据从格式904转换成格式906的算法902所需的时间和转换结果的指示。
现在参考图3，在使用中，主机计算设备102可以执行用于验证网关设备104和现场设备105的功能的方法300。该方法300开始于框302，其中主机计算设备102确定是否继续进行验证网关设备104和现场设备105的功能。如果为是，则方法300继续到框304，其中主机计算设备102向网关设备104发送验证指令204。例如，如在框306中所示出的，主机计算设备102可以发送指令以执行关于耦合到网关设备104的设备，例如现场设备105，的功能。此外或可供替换地，如在框308中所示出的，主机计算设备102可以发送针对网关设备104的指令，以执行与传感器设备106相关的功能。此外或可供替换地，如在框310中所示出的，主机计算设备102可以发送指令以从多个传感器设备106中的每一个接收至少一个传感器数据分组700。此外或可供替换地，如在框311中所示出的，主机计算设备102可以使用有线通信协议发送针对网关设备104的指令，以与现场设备105进行通信。此外或可供替换地，如在框312中所示出的，主机计算设备102可以使用无线通信协议发送指令以与现场设备105进行通信，例如zigbee或蓝牙协议。此外或可供替换地，如在框314中所示出的，主机计算设备102可以使用mq遥测传输(“mqtt”)协议向网关设备104发送验证指令204。
在一些实施例中，在框316中，主机计算设备102可以向网关设备104发送转发指令206。转发指令206指示网关设备104向服务器计算设备126发送(即，转发)测试数据212以进行存储和/或分析。在一些实施例中，网关设备104可能已经被编程或以其他方式被配置成向主机计算设备102且在一些实施例中也向服务器计算设备126发送测试数据212，而无需主机计算设备102向网关设备104发送特定的指令(例如，验证指令204和/或转发指令206)以执行这些功能。进一步地，如上文所描述的，在一些实施例中，服务器计算设备126和主机计算设备102是相同的计算设备。随后，在框318中，主机计算设备102等待从网关设备104接收测试数据212。在主机计算设备102接收到测试数据212之后，方法300继续到图4的框320。
在框320中，主机计算设备102被配置成基于验证指令执行功能测试。例如，在框322中，主机计算设备102可以确定网关设备104是否从至少一个传感器设备106接收到至少一个传感器数据分组700。如上文所描述的，测试数据212包括传感器数据分组700。因此，测试数据212中缺少传感器数据分组700指示网关设备104在功能测试期间未接收到至少一个传感器数据分组700。在一些实施例中，主机计算设备102可以检测测试数据212中指示网关设备104接收到或未接收到至少一个传感器数据分组700的标记，而不是基于测试数据212中缺少传感器数据分组700来确定网关设备104未接收到传感器数据分组700。此外或可供替换地，在框324中，主机计算设备102可以确定网关设备104是否向至少一个执行器设备108发送了执行数据800。例如，主机计算设备102可以在网关设备104与现场设备105之间发送的数据800中检测来自执行器设备108的确认。
在主机计算设备102完成在框320中的功能测试之后，方法300前进到框326，其中主机计算设备102确定是否响应于功能测试而已经检测到异常。例如，如果功能测试320的任何部分，例如从传感器设备106接收数据分组或向执行器设备108传输执行数据800，在测试数据212中发生故障(即，产生了异常702)，则主机计算设备102可以确定功能测试指示了异常。如果这样，方法300前进到框328，其中主机计算设备102执行调试过程。例如，在一些实施例中，主机计算设备102可以向指令发送器模块202发送信号，以向网关设备104发送调试指令208，以识别异常的源。在其他实施例中，主机计算设备102可以分析测试数据212以确定异常702的源。
返回参考框326，如果主机计算设备102未在测试数据212中检测到任何异常，则方法300前进到框330。在框330中，主机计算设备102基于验证指令执行回归测试。为此，在框332中，主机计算设备102可以确定至少一个现场设备105，例如传感器设备106，是否与网关设备104进行通信达预定义的时间段(例如，预定时间段806)。在一些实施例中，在框334中，主机计算设备102可以确定网关设备104是否成功地记录并报告了在网关设备104与至少一个现场设备105(例如，至少一个传感器设备106)之间传送的数据800，例如执行数据或传感器数据，从而使得主机计算设备102能够跟踪所传送的数据800。此外，在一些实施例中，在框336中，主机计算设备102可以确定网关设备104是否正在向主机计算设备102发送处理器使用数据和存储器使用数据，从而使得主机计算设备102能够跟踪网关设备104的处理器使用802和存储器使用804。在调试过程完成之后，方法300循环回到框320，在框320中，主机计算设备102重复功能测试。
在主机计算设备102完成了框330中的回归测试之后，方法300继续前进到框338，在框338中，主机计算设备102确定响应于回归测试是否已经检测到异常。例如，如果在测试数据212中回归测试330的任何部分发生故障(即，产生异常702)，则主机计算设备102可以确定回归测试指示异常。如果这样，方法300前进到框340，在框340中，主机计算设备102执行调试过程。在一些实施例中，主机计算设备102可以向网关设备104发送调试指令208，以识别异常的源。在其他实施例中，主机计算设备102可以分析测试数据212以确定异常702的源。在调试过程完成之后，方法300循环回到框330，在框330中，主机计算设备102重复回归测试。
返回参考框326，如果主机计算设备102响应于框330的回归测试而未检测到任何异常，则该方法300前进到图5的框342。在框342中，主机计算设备102至少部分地基于测试数据212生成简档900(参见图9)。为此，在框344中，主机计算设备102可以确定测试数据212中传感器数据分组700的特征。例如，主机计算设备102可以确定网关设备104与现场设备105进行通信的可靠性。更具体而言，在至少一些实施例中，主机计算设备102可以确定在预定义的时间段(例如，预定义的时间段806)期间被丢弃的数据分组(例如，数据分组700)的数目。如在框346处所示出的，主机计算设备102可以为将原始传感器数据(例如，数据分组700)从一种格式904转换到另一种格式906的算法(例如，算法902)形成简档。更具体而言，在说明性实施例中，主机计算设备102测量针对要执行的算法902的逝去时间量。在一些实施例中，由主机计算设备902执行算法902。在其他实施例中，由网关设备104执行算法902。
因此，在框348中，主机计算设备102生成报告230。例如，在框350中，主机计算设备102可以基于在方法300中生成的分析和简档而生成指示系统100，例如，网关设备104和现场设备105中的一个或多个，的状态的报告230。主机计算设备102可以使得例如在显示器150上显示报告230。此外或可供替换地，主机计算设备102可以向另一计算设备发送报告230，例如服务器计算设备126。
现在参考图6，在使用中，主机计算设备102可以执行用于验证网关设备104和现场设备105的功能的另一方法600。方法600开始于框602，在框602中，主机计算设备102确定是否继续进行验证网关设备104和现场设备105的功能。如果主机计算设备102确定继续进行该验证，则方法600前进到框604，在框604中，主机计算设备102确定网关设备104是否正在运行。例如，在框604中执行的过程可以表示系统100的功能测试。如果主机计算设备102在框604中确定网关设备104未在运行(即，网关设备104未向主机计算设备102发送数据)，则方法600前进到框618，在框618中，方法600终止。
但是，如果主机计算设备102确定网关设备104正在运行，则方法继续到框606，这代表说明性回归测试的开始。在框606中，主机计算设备102记录开始时间。开始时间被定义为针对回归测试预定义的时间段806的开始。随后，在框608中，主机计算设备102收集针对连接到网关设备104的所有现场设备105(例如，传感器设备106和/或执行器设备108)的数据。为此，主机计算设备102可以通过使用例如mqtt的通信协议与网关设备104进行通信来收集数据。在预定义的时间段806(例如，图6中示出的7天)之后，方法600继续到框610，在框610中，主机计算设备102记录预定义的时间段806的结束时间。随后，在框612中，主机计算设备102对从连接到网关设备104的所有在线的现场设备105收集到的数据(例如，数据分组700)执行分析。在框614中，主机计算设备102为每一个现场设备105的数据交易形成简档(例如，生成简档900)。例如，如上文所描述的，主机计算设备102可以针对回归测试生成指示在预定义的时间段806期间数据分组被丢弃的平均速率和/或被丢弃的数据分组的总量的报告。随后，在框616中，主机计算设备102报告测试(例如，框604到框614)的结果。主机计算设备102可以通过生成报告230来报告结果，如上文描述的。在主机计算设备102生成结果报告之后，方法600前进到框616，在框616中，方法600终止。
现在参考图7，示出了可以由主机计算设备102分析的测试数据212的分量的简化框图。说明性测试数据212包括数据分组700，例如从现场设备105，包括一个或多个传感器设备106和/或一个或多个执行器设备108，接收到的数据分组。此外，说明性测试数据212包括异常702。异常702指示系统100中的一个或多个设备，例如网关设备104和/或现场设备105中的一个或多个，根本未在运行，或未在与上文描述的功能测试或回归测试相关联的参数之内运行。应该理解的是，在一些实施例中，测试数据212不包含任何异常702。
现在参考图8，示出了回归测试数据库222的分量的简化框图。如上文所描述的，主机计算设备102访问回归测试数据库222(即，将数据存储在回归测试数据库和/或从回归测试数据库获取数据)。回归测试数据库222包括在网关设备104和现场设备105之间发送的数据800。此外，回归测试数据库222包括网关设备104的处理器使用数据802和网关设备104的存储器使用数据804。如从上文对由主机计算设备102执行的过程的描述应该理解的，主机计算设备102根据从网关设备104发送的测试数据212提取或外推上文描述的回归测试数据库222的分量。此外，回归测试数据库222包括指定针对回归测试主机计算设备102多久从网关设备104收集数据的预定义的时间段806。
现在参考图9，示出了由主机计算设备102访问的简档数据库226的分量的简化框图。简档数据库226包括由主机计算设备102生成的一个或多个简档900。此外，在至少一些实施例中，简档数据库226包括由主机计算设备102或网关设备104执行的用于将来自一个或多个现场设备105的原始数据(例如，数据分组700)从一种格式904(例如，电压电平)转换成另一种格式906(例如，温度值)的算法902。在说明性实施例中，简档数据库226可以包括定义两种不同格式904和906的规则。
示例
下文提供了在本申请中公开的技术的说明性示例。上述技术的实施例可以包括下文描述的示例中的任何一个或多个，及任何组合。
示例1包括一种用于验证系统的功能的主机计算设备，所述系统包括通信地耦合到至少一个传感器设备的网关设备，所述主机计算设备包括指令发送器模块，用于向所述网关设备发送验证指令以针对通信地耦合到所述网关设备的所述至少一个传感器设备执行至少一个功能；数据接收器模块，用于从所述网关设备接收测试数据；分析模块，用于执行对所述测试数据的分析，以确定所述系统是否通过了功能测试和回归测试中的至少一个，并且基于包括在所述测试数据中的至少一个传感器数据分组来生成所述测试数据的简档；以及报告器模块，用于基于所述分析和所述简档来生成指示所述系统的状态的报告。
示例2包括示例1的主题，并且其中所述分析模块进一步包括功能测试模块，用于确定所述网关设备是否从所述至少一个传感器设备接收到所述至少一个传感器数据分组。
示例3包括示例1和2中任何一项的主题，并且其中所述系统进一步包括执行器设备，其通信地耦合到所述网关设备，并且所述分析模块进一步包括功能测试模块，用于确定所述网关设备是否向所述执行器设备发送过执行数据。
示例4包括示例1-3中任何一项的主题，并且其中所述分析模块进一步包括回归测试模块，用于确定所述至少一个传感器设备是否在至少预定义的时间段内与所述网关设备进行通信。
示例5包括示例1-4中任何一项的主题，并且其中所述分析模块进一步包括回归测试模块，用于跟踪在所述网关设备和所述至少一个传感器设备之间发送的数据。
示例6包括示例1-5中任何一项所述的主题，并且其中所述分析模块进一步包括回归测试模块，用于跟踪所述网关设备的处理器使用和存储器使用中的至少一个。
示例7包括示例1-6中任何一项的主题，并且其中所述分析模块进一步包括简档模块，用于为将所述至少一个传感器数据分组从第一格式转换到第二格式的算法形成简档。
示例8包括示例1-7中任何一项所述的主题，并且其中所述指令发送器模块进一步用于将转发指令发送到所述网关设备，以便向至少一个服务器计算设备发送所述测试数据以进行分析。
示例9包括示例1-8中任何一项所述的主题，并且其中所述至少一个传感器设备包括多个传感器设备，并且所述指令发送器模块进一步用于向所述网关设备发送验证指令，以从所述多个传感器设备中的每一个接收所述至少一个传感器数据分组。
示例10包括示例1-9中任何一项所述的主题，并且其中所述指令发送器模块进一步用于利用mq遥测传输协议发送所述验证指令。
示例11包括示例1-10中任何一项所述的主题，并且其中所述分析模块进一步用于检测所述测试数据中的异常；并且所述指令发送器模块进一步用于响应于所述异常被检测到而向所述网关设备发送调试指令，以执行调试过程。
示例12包括示例1-11中任何一项的主题，并且其中所述指令发送器模块进一步用于向所述网关设备发送验证指令，以与所述至少一个传感器设备进行无线通信。
示例13包括示例1-12中任何一项所述的主题，并且其中所述指令发送器模块进一步用于向所述网关设备发送验证指令，以使用有线通信协议来与所述至少一个传感器设备进行通信。
示例14包括示例1-13中任何一项所述的主题，并且进一步包括简档模块，用于测量所述网关设备将从所述至少一个传感器设备接收到的第一多个数据点转换成第二多个数据点所需的时间量，其中所述第一多个数据点与第一度量相对应并且所述第二多个数据点与不同于所述第一度量的第二度量相对应。
示例15包括示例1-14中任何一项所述的主题，并且其中所述简档模块进一步用于确定在预定义的时间段期间在所述网关设备和所述至少一个传感器设备之间的通信期间被丢弃的数据分组的数目。
示例16包括示例1-15中任何一项的主题，并且其中所述简档模块进一步用于确定在预定义的时间段期间在所述网关设备和所述至少一个传感器设备之间的平均数据传输速率。
示例17包括一种用于验证系统的功能的方法，所述系统包括通信地耦合到至少一个传感器设备的网关设备，所述方法包括由主机计算设备向所述网关设备发送验证指令，以针对通信地耦合到所述网关设备的所述至少一个传感器设备执行至少一个功能；由所述主机计算设备在发送所述验证指令之后从所述网关设备接收测试数据；由所述主机计算设备分析所述测试数据以确定所述系统是否通过了功能测试和回归测试中的至少一个；由所述主机计算设备至少通过对包括在所述测试数据中的至少一个传感器数据分组进行特征化来为所述测试数据形成简档；以及由所述主机计算设备基于分析和形成简档来生成指示所述系统的状态的报告。
示例18包括示例17的主题，并且进一步包括由所述主机计算设备确定所述网关设备从所述至少一个传感器设备接收到所述至少一个传感器数据分组。
示例19包括示例17和18中任何一项的主题，并且其中所述系统进一步包括通信地耦合到所述网关设备的执行器设备，所述方法进一步包括由所述主机计算设备确定所述网关设备向所述执行器设备发送过执行数据。
示例20包括示例17-19中任何一项的主题，并且进一步包括由所述主机计算设备确定所述至少一个传感器设备在至少预定以的时间段内是否与所述网关设备进行通信。
示例21包括示例17-20中任何一项的主题，并且进一步包括由所述主机计算设备确定所述主机计算设备正在跟踪在所述网关设备和所述至少一个传感器设备之间发送的数据。
示例22包括示例17-21中任何一项所述的主题，并且进一步包括由所述主机计算设备确定所述主机计算设备正在跟踪所述网关设备的处理器使用和存储器使用中的至少一个。
示例23包括示例17-22中的任何一项的主题，并且进一步包括由所述主机计算设备为将所述至少一个传感器数据分组从第一格式转换成第二格式的算法形成简档。
示例24包括示例17-23中任何一项的主题，并且进一步包括由所述主机计算设备向所述网关设备发送转发指令，以便向至少一个服务器计算设备发送所述测试数据以进行分析。
示例25包括示例17-24中任何一项的主题，并且其中所述至少一个传感器设备包括多个传感器设备，并且发送验证指令以执行至少一个功能进一步包括向所述网关设备发送验证指令，以从所述多个传感器设备中的每一个接收所述至少一个传感器数据分组。
示例26包括示例17-25中任何一项的主题，并且其中发送所述验证指令进一步包括使用mq遥测传输协议发送所述验证指令。
示例27包括示例17-26中任何一项的主题，并且其中发送所述指令进一步包括使用无线通信协议向所述网关设备发送所述验证指令，以与所述至少一个传感器设备进行通信。
示例28包括示例17-27中任何一项的主题，并且其中发送所述验证指令进一步包括使用有线通信协议向所述网关设备发送验证指令，以与所述至少一个传感器设备进行通信。
示例29包括示例17-28中任何一项的主题，并且进一步包括由所述主机计算设备检测所述测试数据中的异常；以及由所述主机计算设备响应于检测到所述异常而向所述网关设备发送调试指令，以执行调试过程。
示例30包括是17-29中任何一项的主题，并且进一步包括由所述主机计算设备测量由所述网关设备将从所述至少一个传感器设备接收的第一多个数据点转换成第二多个数据点所需的时间量，其中所述第一多个数据点与第一度量相对应并且所述第二多个数据点与不同于所述第一度量的第二度量相对应。
示例31包括示例17-30中任何一项的主题，并且进一步包括由所述主机计算设备确定在预定义的时间段期间在所述网关设备和所述至少一个传感器设备之间的通信期间被丢弃的数据分组的数目。
示例32包括示例17-31中任何一项的主题，并且进一步包括由所述主机计算设备确定在预定义的时间段期间在所述网关设备和所述至少一个传感器设备之间的平均数据传输速率。
示例33包括包含多个指令的一种或多种计算机可读存储介质，所述指令在被执行时使得主机计算设备执行示例17-32中任何一项的方法。
示例34包括一种用于验证系统的功能的主机计算设备，所述系统包括通信地耦合到至少一个传感器设备的网关设备，所述主机计算设备包括用于向所述网关设备发送验证指令以针对通信地耦合到所述网关设备的所述至少一个传感器设备执行至少一个功能的单元；用于在发送所述验证指令之后从所述网关设备接收测试数据的单元；用于分析所述测试数据以确定所述系统是否通过了功能测试和回归测试中的至少一个的单元；用于至少通过对包括在所述测试数据中的至少一个传感器数据分组进行特征化来为所述测试数据形成简档的单元；以及用于基于所述分析和所述简档来生成指示所述系统的状态的报告的单元。
示例35包括示例34的主题，并且进一步包括用于确定所述网关设备从所述至少一个传感器设备接收到所述至少一个传感器数据分组的单元。
示例36包括示例34和35中任何一项的主题，并且其中所述系统进一步包括通信地耦合到所述网关设备的执行器设备，所述主机计算设备进一步包括用于确定所述网关设备向所述执行器设备发送过执行数据的单元。
示例37包括示例34-36中任何一项的主题，并且进一步包括用于确定所述至少一个传感器设备在至少预定义的时间段内与所述网关设备进行通信的单元。
示例38包括示例34-37中任何一项的主题，并且进一步包括用于确定所述主机计算设备正在跟踪在所述网关设备和所述至少一个传感器设备之间发送的数据的单元。
示例39包括示例34-38中任何一项所述的主题，并且进一步包括用于确定所述主机计算设备正在跟踪所述网关设备的处理器使用和存储器使用中的至少一个的单元。
示例40包括示例34-39中的任何一项的主题，并且进一步包括用于为将所述至少一个传感器数据分组从第一格式转换成第二格式的算法形成简档的单元。
示例41包括示例34-40中任何一项的主题，并且进一步包括用于向所述网关设备发送转发指令以便向至少一个服务器计算设备发送所述测试数据以进行分析的单元。
示例42包括示例34-41中任何一项的主题，并且其中所述至少一个传感器设备包括多个传感器设备，并且用于发送验证指以执行至少一个功能的单元包括用于向所述网关设备发送验证指令以从所述多个传感器设备中的每一个接收所述至少一个传感器数据分组的单元。
示例43包括示例34-42中任何一项的主题，并且其中用于发送所述验证指令的单元包括用于使用mq遥测传输协议发送所述验证指令的单元。
示例44包括示例34-43中任何一项的主题，并且其中用于发送指令的单元进一步包括用于使用无线通信协议向所述网关设备发送所述验证指令以与所述至少一个传感器设备进行通信的单元。
示例45包括示例34-44中任何一项的主题，并且其中用于发送所述验证指令的单元包括用于使用有线通信协议向所述网关设备发送所述验证指令以与所述至少一个传感器设备进行通信的单元。
示例46包括示例34-45中任何一项的主题，并且进一步包括用于检测所述测试数据中的异常的单元；以及用于响应于所述异常被检测到而向所述网关设备发送调试指令，以执行调试过程的单元。
示例47包括示例34-46中任何一项的主题，并且进一步包括用于测量由所述网关设备将从所述至少一个传感器设备接收到的第一多个数据点转换成第二多个数据点所需的时间量的单元，其中所述第一多个数据点与第一度量相对应并且所述第二多个数据点与不同于所述第一度量的第二度量相对应。
示例48包括示例34-47中任何一项的主题，并且进一步包括用于确定在预定义的时间段期间在所述网关设备和所述至少一个传感器设备之间的通信期间被丢弃的数据分组的数目的单元。
示例49包括示例34-48中任何一项的主题，并且进一步包括用于确定在预定义的时间段期间在所述网关设备和所述至少一个传感器设备之间的平均数据传输速率的单元。