用于重复活动序列中的循环持续时间测量的系统和方法与流程
本公开涉及用于重复活动序列中的循环持续时间的测量的系统和方法。
背景技术：
人类移动的各方面可以对于例如设计工具的方式、布局工作空间的方式或执行任务的方式具有大的影响。理解人体可以如何移动并且与物体和环境交互，可以结果产生更符合人体工程学的工具、导航起来更高效的工作空间以及执行起来更直观的任务。然而，可能的人类运动和姿势的范围是广泛的，并且诸如举起杯子、指向一个方向或转动螺钉之类的简单任务经常由一组复杂的生物力学相互作用产生。简单结果来自复杂移动的这种关系可能使人类运动和姿势极其难以用有意义或实用的方式被量化或理解。
技术实现要素：
在一个或多个说明性示例中，一种用于重复活动序列中的循环持续时间的测量的系统包括：显示设备；存储器，其被配置成存储运动分析应用和包括参考活动序列的运动捕获数据以及包括与查询活动序列的一个或多个循环相对应的帧的帧缓冲区；以及处理器，其可操作地连接到存储器和显示设备。处理器被配置成执行运动分析应用，以：使用全局优化来检测帧缓冲区内的循环，包括通过递归地迭代通过帧缓冲区以标识候选循环，直到帧缓冲区缺少用以创建附加循环的足够的帧，从而创建多个循环分段，计算所述多个循环分段中的每个的分段误差，以及将检测到的循环标识为所述多个循环分段中具有最低分段误差的一个；针对检测到的循环生成循环持续时间数据；从帧缓冲区移除属于检测到的循环的帧；以及将循环持续时间数据输出到显示设备。
在一个或多个说明性示例中，一种用于重复活动序列中的循环持续时间的测量的方法包括：使用全局优化来检测帧缓冲区内的循环，帧缓冲区包括与查询活动序列的一个或多个循环相对应的帧，所述检测包括通过递归地迭代通过帧缓冲区以标识与参考活动序列的循环相对应的候选循环，直到帧缓冲区缺少用以创建附加循环的足够的帧，从而创建多个循环分段，计算所述多个循环分段中的每个的分段误差，以及将检测到的循环标识为所述多个循环分段中具有最低分段误差的一个；针对检测到的循环生成循环持续时间数据；从帧缓冲区移除属于检测到的循环的帧；以及将循环持续时间数据输出到显示设备。
在一个或多个说明性示例中，一种非暂时性计算机可读介质包括运动分析应用的指令，所述指令当由一个或多个处理器执行时引起所述一个或多个处理器使用全局优化来检测帧缓冲区内的循环，帧缓冲区包括与查询活动序列的一个或多个循环相对应的帧，所述检测包括通过递归地迭代通过帧缓冲区以标识与参考活动序列的循环相对应的候选循环，直到帧缓冲区缺少用以创建附加循环的足够的帧，从而创建多个循环分段，计算所述多个循环分段中的每个的分段误差，以及将检测到的循环标识为所述多个循环分段中具有最低分段误差的一个；针对检测到的循环生成循环持续时间数据；从帧缓冲区移除属于检测到的循环的帧；使用全局优化继续检测帧缓冲区内的附加循环，直到帧缓冲区缺少用于附加循环的足够循环；以及输出循环持续时间数据。
附图说明
图1图示了用于重复活动序列中的循环持续时间的测量的示例系统；
图2图示了参考活动序列的循环和帧缓冲区的示例；
图3图示了用于重复活动序列中的循环持续时间的测量的示例过程；
图4图示了帧缓冲区内的循环分段搜索的示例图解；
图5图示了分段误差的计算的示例图解；
图6图示了从计算的分段确定循环的示例图解；以及
图7图示了用于下一循环检测的帧缓冲区的准备的示例。
具体实施方式
本文中描述了本公开的实施例。然而，将理解到，公开的实施例仅仅是示例，并且其他实施例可以采取各种以及替换形式。附图不一定是按比例的；一些特征可以被放大或最小化以示出特定部件的细节。因此，本文中公开的具体结构性和功能性细节不应被解释为是限制性的，而仅仅是作为用于教导本领域技术人员以各种方式采用实施例的代表性基础。如本领域普通技术人员将理解的，参考附图中的任何一个来图示和描述的各种特征可以与一个或多个其他附图中图示的特征相组合，以产生未被明确地图示或描述的实施例。图示的特征的组合为典型应用提供了代表性实施例。然而，与本公开的教导相一致的特征的各种组合和修改对于特定的应用或实现可能是期望的。
在工业中，基于惯性测量单元（imu）数据来测量重复人类物理活动中的循环持续时间是重要而又具有挑战性的工作。例如，工厂中装配线的生产率水平可以基于对操作者重复动作的准确测量来改进。然而，重复循环的手动测量是劳动密集型的。因此，开发一种自动测量循环持续时间的解决方案是必要的。一些系统基于预先记录的标准化操作对来自重复活动的循环执行实时检测。然而，这样的系统最适合于具有高标准化水平的重复活动，但不太适合于测量具有许多异常的重复活动的循环持续时间。高标准化水平意味着在查询活动与记录的标准化循环之间在取向和速度方面存在较少的运动差异。
本公开提出了一种使用来自imu的时间系列数据来测量重复人类物理活动中的循环持续时间的解决方案，所述解决方案具有改进的性能。与以纯实时的方式操作的一些系统相比，提出的方案测量被流传送到或以其他方式存储到缓冲区中的重复活动序列中的循环持续时间。提出的方案利用被存储在缓冲区中的所有活动的全局优化，目的是要最小化所有循环持续时间的总误差。因此，显著地改进循环持续时间测量准确度。准确度和响应延迟与缓冲区大小正相关。对于高度标准化的重复活动，相对较小的缓冲区大小仍然可以实现准确度预期。然而，响应延迟随着更小的缓冲区大小而减小。下面详细地讨论本公开的另外的方面。
图1是用于重复活动序列中的循环持续时间的测量的系统100的示例性实施例的示意图。系统100可以定量地计算移动的准确度，例如从规定的运动或姿势的偏离以及从完成的目标时间段的偏离。系统100包括处理器102，处理器102可操作地连接到存储器110、输入设备116、运动捕获设备118和显示设备108。如下面更详细地描述的，在操作期间，系统100（i）使用全局优化来检测包括与查询活动序列的一个或多个循环相对应的帧的帧缓冲区内的循环，所述检测包括（a）通过递归地迭代通过帧缓冲区以标识与参考活动序列的循环相对应的候选循环，直到帧缓冲区缺少用以创建附加循环的足够的帧，从而创建多个循环分段，（b）计算所述多个循环分段中的每个的分段误差，以及（c）将检测到的循环标识为所述多个循环分段中具有最低分段误差的一个，（ii）针对检测到的循环生成循环持续时间数据；（iii）从帧缓冲区移除属于检测到的循环的帧；以及（iv）输出循环持续时间数据。
在系统100中，处理器102包括一个或多个集成电路，所述集成电路实现中央处理单元（cpu）104和图形处理单元（gpu）106的功能性。在一些示例中，处理器102是片上系统（soc），其将cpu104和gpu106以及可选地包括例如存储器110、网络设备和定位系统的其他部件的功能性集成到单个集成设备中。在其他示例中，cpu104和gpu106经由诸如pciexpress或另一合适的外围数据连接之类的外围连接设备连接到彼此。在一个示例中，cpu104是商业上可获得的中央处理设备，其实现诸如x86、arm、power或mips指令集族中的一个的指令集。
gpu106可以包括用于向显示设备108显示至少二维（2d）和可选的三维（3d）图形的硬件和软件。显示设备108可以包括电子显示屏、投影仪、打印机或重现图形显示的任何其他合适的设备。在一些示例中，处理器102使用gpu106中的硬件功能性来执行包括驱动程序和其他软件指令的软件程序，以加速本文中描述的人类移动模型的图形描绘的生成和显示以及定量计算的可视化。
在操作期间，cpu104和gpu106执行从存储器110检索的存储的程序指令。存储的程序指令包括控制cpu104和gpu106的操作以执行本文中描述的操作的软件。
虽然图1将处理器102描绘为包括cpu104和gpu106两者，但是替换实施例可以省略gpu106，例如处理器102可以是如下服务器：所述服务器仅使用cpu104生成输出可视化数据，并且将输出可视化数据传输到使用gpu106和显示设备108来显示数据的远程客户端计算设备。附加地，处理器102的替换实施例可以包括微控制器、专用集成电路（asic）、现场可编程门阵列（fpga）、数字信号处理器（dsp）或者除了cpu104和gpu106之外或作为cpu104和gpu106的替代物的任何其他合适的数字逻辑设备。
在系统100中，存储器110包括非易失性存储器和易失性存储器设备两者。非易失性存储器包括诸如nand闪速存储器、磁和光学存储介质之类的固态存储器，或者当系统100去激活或失去电力时保留数据的任何其他合适的数据存储设备。易失性存储器包括静态和动态随机存取存储器（ram），所述静态和动态随机存取存储器（ram）在系统100的操作期间存储程序指令和数据，所述程序指令和数据包括运动分析应用112和运动捕获数据114。在一些实施例中，cpu104和gpu106均具有对单独的ram设备（例如，用于cpu104的ddrsdram的变体和用于gpu106的gddr、hbm或其他ram的变体）的访问，而在其他实施例中，cpu104和gpu106访问共享存储器设备。存储器110可以存储运动捕获数据114和运动分析应用112以供维护和检索。
输入设备116可以包括使得系统100能够接收运动捕获数据114和运动分析应用112的各种设备中的任何设备。合适的输入设备的示例还包括人机接口输入，诸如键盘、鼠标、触摸屏、语音输入设备等。在一些示例中，系统100将输入设备116实现为从另一个计算机或外部数据存储设备接收数据的网络适配器或外围互连设备，其对于以高效的方式接收大的运动捕获数据114集而言可以是有用的。
运动分析应用112包括指令，所述指令当由系统100的处理器102执行时引起系统100执行本文中描述的过程和操作。这些过程和操作包括（i）使用全局优化来检测包括与查询活动序列的一个或多个循环相对应的帧的帧缓冲区124内的循环，所述检测包括（a）通过递归地迭代通过帧缓冲区124以标识与参考活动序列的循环相对应的候选循环，直到帧缓冲区124缺少用以创建附加循环的足够的帧，从而创建多个循环分段，（b）计算所述多个循环分段中的每个的分段误差，以及（c）将检测到的循环标识为所述多个循环分段中具有最低分段误差的一个，（ii）针对检测到的循环生成循环持续时间数据126；（iii）从帧缓冲区移除属于检测到的循环的帧；以及（iv）输出循环持续时间数据126。
运动捕获数据114是指代表至少一个被跟踪的项目或该项目的部分随时间的位置的多个记录。例如，运动捕获数据114可以包括以下各项中的一个或多个：身体部位上的参考点随时间或以设置的时间间隔的位置的记录、随时间取得的传感器数据、视频流或已经使用计算机视觉技术被处理的视频流、指示机器随时间的操作状态的数据等。在一些情况下，运动捕获数据114可以包括代表多于一个连续移动的数据。例如，运动捕获数据114可以包括多个组合的运动捕获数据114集的组合。
运动捕获设备118是被配置成生成运动捕获数据114的设备。作为一些非限制性示例，运动捕获设备118可以包括：相机、视觉传感器、红外传感器、超声传感器、加速度计、压力传感器等。运动捕获设备118的一个非限制性示例是用户在执行循环运动时佩戴的一个或一对数字手套。数字手套可以包括捕获用户的运动以生成运动捕获数据114的传感器，运动捕获数据114可以存储在存储器110中或者在数据存储设备的其他地方。
移动是由操作者执行的动作。参考移动是指移动的基线或规范版本。参考移动可以用作针对其他移动的比较标准，以允许对其他移动与参考移动有多接近进行标识。
出于计算人类运动的准确度的目的，运动捕获数据114一般可以被分类为两个类别中的一个：参考活动序列120，其包括代表参考或基线移动的数据；以及查询活动序列122，其包括代表测试移动的数据，所述测试移动即是将相对于基线移动针对准确度进行比较和定量地评估的移动。
参考活动序列120可以包括从运动捕获设备118接收的运动捕获数据114。所述数据还可以包括经处理的移动数据，诸如例如从原始移动数据收集的帧、步骤、循环和时间信息。在一个示例中，参考移动被表示为具有有序的帧集合的参考活动序列120，所述有序的帧集合中的每个帧包括与参考移动的各个时间间隔相对应的运动捕获数据114。
查询活动序列122还可以包括从运动捕获设备118接收的运动捕获数据114。在一些示例中，运动捕获数据114中的一个移动或多个移动包括将移动分类为参考移动或测试移动的一个标签或多个标签。可以被编程的运动分析应用112被配置成诸如经由输入设备116从用户、或从另一个源接收指令，所述指令用于将一个移动或多个移动分类为参考移动或测试移动。
运动分析应用112也可以被编程为将接收到的移动分离成帧，由此“帧”与离散的时间间隔相对应。换言之，移动的每个帧包括运动捕获数据114的如下部分：所述部分与在该移动的时间线的各个间隔期间发生的移动部分相对应。在一些示例中，与个体帧相对应的间隔的持续时间被预设。在一些示例中，基于例如经由输入设备116从用户、或从另一个源接收的指令来设置与个体帧相对应的间隔的持续时间。在一些示例中，参考运动捕获数据114的一个或多个特性来设置与个体帧相对应的间隔的持续时间。例如，在一些实施例中，参考以下各项中的一个或多个来设置与个体帧相对应的间隔的持续时间：参考移动的持续时间、移动的总行进距离、移动内的多个个体运动或姿势、移动速度等。一般而言，帧持续时间的相同间隔用于参考移动以及用于将相对于该参考移动被评估的测试移动两者。
帧缓冲区124是被配置成保存一个或多个查询活动序列122的帧的数据存储装置。图2图示了参考活动序列120和帧缓冲区124的循环的示例。如示出的，参考活动序列120包括四帧，而帧缓冲区124包括具有十帧的重复查询活动序列122。如果系统100离线用于处理所保存的查询活动序列122数据，则帧缓冲区124可以包含所有序列帧。如果系统100以在线模式用于处理流传送的数据，则帧缓冲区124也可以在运行时被动态更新。帧包括从可佩戴的传感器捕获的运动捕获数据114和该捕获的数据的时间戳。如果可佩戴的传感器是运动捕获设备118（诸如手套或智能服装）的imu传感器，则可以从加速度计、陀螺仪和/或磁力计传感器接收所捕获的数据。
在一些实例中，运动捕获数据114可以作为存储的运动捕获数据的文件从数据存储设备接收。在这样的实例中，运动分析应用112可以将运动捕获数据114中的一个移动或多个移动分离成将被添加到帧缓冲区124以供进一步处理的帧。
参考回到图1，循环持续时间数据126可以包括指示帧缓冲区124中的循环的持续时间的信息。在一示例中，该信息可以包括帧缓冲区124内的循环的第一帧与最后一帧之间的经过时间。在一示例中，循环持续时间数据126可以被显示给显示设备108。如下面更详细地讨论的，系统100可以被配置成执行对重复查询活动序列122进行描述的帧缓冲区124中的运动捕获数据114的循环持续时间的测量。
运动分析应用112还可以将测试移动的帧映射到参考移动的对应帧。循环持续时间数据126在以下方面中可以是有用的：标识查询活动序列122的每个循环的边界，以用于与参考活动序列120进行比较。在一些示例中，测试移动和参考移动被同步，使得测试移动的帧被映射到时间上对应的参考移动的帧，并且在一些实施例中，测试移动和参考移动在移动内的姿势和运动方面被对齐，使得测试移动的帧被映射到参考移动的帧，所述参考移动的帧关于在移动中被执行的运动和/或姿势的序列相对应。运动分析应用112可以进一步计算一个测试移动或多个测试移动相对于参考移动的准确度。
图3图示了用于重复活动序列中的循环持续时间的测量的示例过程300。对于每次迭代，从帧缓冲区124中检测一个循环，生成循环信息，并且从帧缓冲区124移除属于检测到的循环的帧。这样的迭代继续，直到帧缓冲区124缺少用以形成附加循环的足够的帧。如下面更详细地讨论的，可以由系统100的处理器102执行过程200。
在302处，处理器102接收参考活动序列120和包含重复查询活动序列122的帧缓冲区124。在一示例中，可以从存储器110检索参考活动序列120。帧缓冲区124可以包括以下各项中的一个或两者：来自运动捕获设备118的先前记录的数据，以及从运动捕获设备118被实时流传送到帧缓冲区124中的动态数据。
在操作304处，处理器102使用全局优化来检测来自帧缓冲区124的一个循环。图4图示了帧缓冲区124内的循环分段搜索的示例图400。循环检测的每次迭代从帧缓冲区124中的剩余数据找到与参考活动序列120的循环匹配的循环。换言之，要在帧缓冲区124中找到循环等效于从帧缓冲区124中的剩余数据找到循环结束帧。找到循环结束帧的一种方法是首先计算每个帧的误差值。在一示例中，等式（1）可以用于计算帧误差值，如下：
其中
一种用于计算两个循环之间的距离的方案是要应用动态时间规整（dtw）来映射两个循环，并且然后将映射误差标识为两个循环的距离。dtw是用于通过计算在序列的离散部分之间的最佳匹配来比较在速度方面可能变化的序列的技术。dtw包括计算“规整路径”，所述“规整路径”对应于在一个序列的部分与在不同时间或以不同速率发生的另一个序列的类似部分之间的映射。应当注意，dtw的使用仅仅是一个示例，并且也可以使用用于确定两个循环之间的距离的其他方案。
响应于计算每个帧的误差值，可以通过标识每个帧的误差值的局部最小值来确定循环结束帧。因此，可以找到多个结束帧。为了限制结束帧的最终数量，可以定义局部最小值之间的最大方差。一旦确定了循环结束帧，就找到了循环。
示例图400图示了作为第一次迭代的结果的两个循环
图5图示了分段误差计算的示例图500。如所示出的，分段包括两个循环，即
图6图示了从所有的计算的分段确定循环的示例图600。在一示例中，作为图4中图示的方案的结果而生成的分段基于分段误差被排序，所述分段误差可以根据图5中图示的方案来计算。确定分段的第一循环、即具有最小分段误差的循环作为结果。
在操作306处，处理器102生成检测到的循环的循环信息，并且从帧缓冲区124移除检测到的循环的帧。由于帧缓冲区124的帧数据包含时间戳信息，因此，一旦检测到循环，就可以通过计算在循环的第一帧与最后一帧之间的经过时间来确定循环持续时间数据126。
图7图示了用于下一循环检测的帧缓冲区124的准备的示例。在一示例中，从帧缓冲区124移除检测到的循环的帧。如果系统100在在线系统中用于处理流传送的数据，则可以并发地执行检测循环和捕获新数据。在这样的情形中，帧缓冲区124可以在运行时期间被动态更新。如图7中所示，两个新的帧从流传送的数据被添加到帧缓冲区124。响应于包含足以形成一个循环的帧的经更新的缓冲区，可以重复用以检测附加循环的处理。
因而，在操作308处，处理器102确定系统100是否正在以在线模式操作。在一示例中，处理器102可以根据存储到存储器110的设置来标识出系统100正在以在线模式操作。附加地或替换地，处理器102可以根据处理器102到运动捕获数据114的源的连接、诸如经由运动捕获设备118或通过网络、例如从输入设备116标识出系统100正在以在线模式操作，该输入设备116通过网络从运动捕获设备118或数据存储装置接收数据。如果系统100没有正在以在线模式操作，则控制转到操作310。如果系统正在以在线模式操作，则控制转到操作314。
在操作310处，处理器102确定帧缓冲区124是否包含用于一个循环的足够的帧。在一示例中，处理器102可以验证：帧缓冲区124包含至少预定义阈值数量的帧（例如，至少一个帧、至少预定义数量的帧、至少定义量的平均循环的帧数量、至少最短循环的帧数量、至少参考活动序列120的帧中长度的百分比量等）。如果帧缓冲区124包含足够的帧，则控制转到操作304以检测附加循环。否则，控制转到操作312。
在操作312处，处理器102输出检测到的循环的持续时间。在一示例中，指示检测到的循环的持续时间的循环持续时间数据126包括在循环的第一帧与最后一帧之间的经过时间。在操作312之后，过程300结束。
在操作314处，处理器102确定流传送是否活动。在一示例中，处理器102可以标识是否已经接收到附加的运动捕获数据114（例如，从运动捕获设备118、从网络连接、从数据存储装置等）。附加地或替换地，处理器102可以根据处理器102到运动捕获数据114的源的持续连接（诸如到运动捕获设备118、网络、输入设备116或数据存储装置的持续连接），来标识出系统100流传送是活动的。如果流传送是活动的，则控制转到操作316。否则，控制转到操作312。
类似于如上面关于操作310所讨论的，在操作316处，处理器102确定帧缓冲区124是否包含用于一个循环的足够的帧。如果是，则控制转到操作304以检测附加循环。如果不是，则控制转到操作314以确定流传送是否活动。
因此，描述的方案提供了一种可扩展的解决方案，其用于根据imu数据来测量重复人类物理活动中的循环持续时间，所述解决方案针对具有高标准化水平的重复活动序列以及具有异常活动的重复活动序列。
作为进一步的增强，可以基于由所述方案产生的结果的品质来适配帧缓冲区124的大小。如果系统100在利用帧缓冲区124标识结果方面正实现良好的结果，则可以减小帧缓冲区124的长度，以减小循环确定中的等待时间。然而，如果系统100在利用帧缓冲区124标识结果方面正实现差的结果，则可以增加帧缓冲区124的长度以改进准确度，但是在等待时间中具有潜在的增加。例如，处理器102可以响应于检测到的循环的分段误差在预定义的阈值误差值以上而在帧缓冲区124的帧中增加长度，和/或处理器102可以响应于检测到的循环的分段误差在预定义的阈值误差值以下而在帧缓冲区124的帧中减少长度。
本文中公开的过程、方法或算法可以可交付给处理设备、控制器或计算机/由处理设备、控制器或计算机实现，所述处理设备、控制器或计算机可以包括任何现有的可编程电子控制单元或专用电子控制单元。类似地，所述过程、方法或算法可以以许多形式被存储为由控制器或计算机可执行的数据和指令，所述数据和指令包括但不限于：被永久地存储在不可写存储介质（诸如rom设备）上的信息以及被可更改地存储在可写存储介质（诸如软盘、磁带、cd、ram设备以及其他的磁和光学介质）上的信息。所述过程、方法或算法也可以在软件可执行对象中实现。替换地，可以使用诸如以下各项的合适的硬件部件来整体或部分地体现所述过程、方法或算法：专用集成电路（asic）、现场可编程门阵列（fpga）、状态机、控制器或其他硬件部件或设备，或者硬件、软件和固件部件的组合。
虽然上面描述了示例性实施例，但是这些实施例不旨在描述通过权利要求书所包含的所有可能的形式。说明书中使用的词语是描述的词语，而不是限制的词语，并且应当理解，在不脱离本公开的精神和范围的情况下，可以进行各种改变。如先前所述，各种实施例的特征可以被组合以形成可能未被明确地描述或图示的本发明的另外实施例。虽然各种实施例可能已被描述为在一个或多个期望的特性方面提供优势或者优选于其他实施例或现有技术实现，但是本领域普通技术人员认识到，一个或多个特征或特性可以取决于具体的应用和实现而被折衷，以实现期望的总体系统属性。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、可销售性、外观、包装、大小、可维护性、重量、可制造性、易于装配等。照此，在任何实施例被描述为在一个或多个特性方面不如其他实施例或现有技术实现那样合期望的程度上，这些实施例不在本公开的范围之外，并且对于特定的应用可以是合期望的。
- 还没有人留言评论。精彩留言会获得点赞！