科学评估程序代码输出的系统和方法与流程

1.本发明涉及软件质量保证系统领域；特别是，用于数字健康干预和软件作为医疗设备产品的程序代码输出的科学评估和数据驱动分析的系统和方法。


背景技术：

2.在向公众分发新的医疗治疗(如药品)或设备(如手术器械或植入物)之前，寻求治疗或设备市场批准的司法管辖区的相关监管机构，如美国食品和药物管理局(fda)，要求药品、设备的制造商，仪器或植入物进行广泛的临床试验研究，以证明其产品的临床有效性、安全性和医疗优势。制定了广泛且往往复杂的临床试验方案，定义了目标人口统计、拟议药物、患者方案、收集表格、统计相关数据的类型、研究中事件的时间或顺序，甚至报告数据的布局或其他合适的数据。
3.医疗设备和技术的一个不断扩大的领域是数字健康干预(即通过智能手机、网站、短信等数字技术提供的干预)，以提供有效、经济、安全和可扩展的干预措施，改善健康和医疗保健。将软件作为医疗设备(samd)的数字健康干预(dhi)可用于促进健康行为，改善心血管疾病、糖尿病和心理健康等长期疾病患者的预后，并提供远程有效治疗；例如，针对心理健康和身体问题的计算机认知行为疗法。作为医疗器械的软件(samd)由国际医疗器械监管机构论坛(imdrf)定义为“用于一个或多个医疗目的的软件，该软件不属于硬件医疗器械的一部分。”dhi通常是具有多个组成部分的复杂干预措施，许多干预措施有多个目标，包括让用户更好地了解自己的健康，与处于类似职位的其他人分享经验，改变对健康的看法和认知，评估和监测特定的健康状态或健康行为，滴定药物，明确健康优先事项并达成与之一致的治疗决定，并改善患者与医疗专业人员(hcp)之间的沟通。积极的组成部分可包括信息、心理教育、个人故事、正式决策辅助、行为改变支持、与hcp和其他患者的互动、自我评估或监测工具(问卷、可穿戴设备、监护仪和为面对面交付开发的有效的基于理论的心理干预，如认知行为治疗或正念训练)。
4.dhi和samd产品的监管审查和批准纳入了与“传统”医疗治疗和设备无关的独特监管评估考虑因素。samd和dhi的临床评估可要求制造商持续生成、收集、分析和评估与samd/dhi相关的临床数据，以生成临床证据，验证制造商预期使用时产品的临床相关性和性能指标。samd和dhi可进一步接受持续的生命周期审查，以彻底评估产品的性能。一旦产品上市(上市后)，作为正常生命周期管理过程的一部分，制造商可能需要不断收集真实世界的性能数据(例如投诉、安全数据)，以进一步了解用户的需求，以确保产品满足这些需求，并监测产品的持续安全性，实际使用中的有效性和性能。
5.与“传统”医疗治疗和设备相比，samd和dhi产品的独特性对此类产品的临床评估和临床试验提出了具体挑战。需要一种系统和方法来支持samd和dhi产品的科学评估和临床试验。通过应用的努力、独创性和创新，申请人发现了现有技术解决方案的不足，并开发了一种解决方案，该解决方案体现在本发明中，如下所述。


技术实现要素：

6.为了提供对本发明的基本理解，以下是对其某些实施例的简化总结。本总结内容并不广泛，也不旨在确定本发明的关键/关键要素或描述本发明的范围。其唯一目的是以简化形式呈现本发明的实施例，作为下文更详细描述的前奏。
7.本发明的一个对象包括系统、方法、设备和计算机可读介质，这些系统、方法、设备和计算机可读介质被配置为跨一个或多个平台或系统从一个或多个端点收集、处理和管理与dhi/samd程序、产品或平台相关联的数据。进一步的目标提供了用于程序代码的质量控制、质量分析和质量保证以及dhi/samd产品的特征集验证的方法。
8.本发明的目的包括系统、方法、设备和计算机可读介质，配置为处理和分析通过一个或多个用户与dhi和/或samd程序的交互生成的数据，用于提供dhi/samd输出与目标临床状况(包括病理过程或状态)之间临床关联的统计分析的产品或平台；dhi和/或samd提供了制造商规范定义的预期技术和临床数据。
9.本发明的目的包括一个数据管理系统，用于评估与dhi和/或samd计划、产品或平台相关的安全性、有效性、性能和/或患者结果；并提供分布式平台，以生成与dhi/samd相关联的累积知识库，该知识库可用于指导dhi/samd制造商的决策。
10.本发明的对象包括用于研究和评估dhi/samd的数据管理系统和分布式平台。数据管理系统和分布式平台的某些实施例可以配置为评估患者结果和dhi/samd在患者群体中的总体影响，并提供数据驱动的分析，以改进以人为中心的设计方法。
11.本发明的目的包括数据处理和数据管理系统，用于开发、分析和/或验证与dhi/samd的一个或多个组件相关的因果模型。根据一些实施例，数据处理和管理系统被配置为识别dhi/samd(及其交付包)的一个或多个基本或活性组件。某些实施例可以配置为根据某些预定义的业务逻辑或基于规则的框架来处理和分析数据；例如，多阶段优化策略(most)。某些实施例可以配置为根据一个或多个预测模型和/或机器学习框架处理和分析数据，包括但不限于线性/逻辑回归、主成分分析、广义线性混合模型、随机决策林、支持向量机和人工神经网络。
12.本发明的目的是提供用于对dhi/samd进行随机对照试验(rct)的系统和方法。某些实施例提供dhi/samd制造商通过以下方式生成更有用数据的系统和方法：改进早期形成性产品设计和开发的方法；更好地理解何时以及如何使用短期代理结果，以及何时需要最终结果；在不损害外部效度的情况下，改进试验和/或特征分析的内部效度的更好方法；改进方法，提高dhi/samd的吸收率，最大限度地减少缺失数据；以及更好的方法来考虑dhi/samd是否以及如何在目标患者群体中变得可扩展和可持续。
13.本发明的目的是提供分布式研究和评估平台，该平台被配置为通过以下方式对dhi和samd的不同研究生成的数据进行更有用的合成和比较：改进背景、目标人群、数字健康干预及其组件的规范和分类，在研究过程的阶段使用更合适的比较器，并改进dhi和samd的试验和研究报告。
14.本发明的某些方面提供一种计算机实现的系统，包括：至少一个服务器，与通信网络可通信地接合，以从一个或多个端点接收多个输入数据，所述一个或多个端点包括一个或多个电子设备，所述电子设备与用户群中的至少一个用户相关联,所述多个输入数据包括响应于一个或多个计算机化刺激或交互的多个用户生成的输入，所述一个或多个计算机
化刺激或交互与目标医疗或个人健康输出相关联；其中所述至少一个服务器包括处理器、数据库和非瞬态计算机可读介质，所述非瞬态计算机可读介质具有存储在其上的一个或多个指令，所述指令在执行时使处理器执行一个或多个操作，所述一个或多个指令包括以下指令：对于所述用户群中的至少一个用户，在两个或多个时间点分析一个或多个计算机化刺激或交互与所述多个用户生成的输入之间的刺激响应模式，以确定所述用户群中的至少一个用户的一个或多个性能指标；分析所述多个输入数据和所述一个或多个性能指标，以确定所述用户群中至少一个用户的一个或多个用户结果指标；根据验证模型，分析所述一个或多个计算机化刺激或交互以及一个或多个用户结果指标，以确定与所述目标医疗或个人健康输出相关的一个或多个功效指标；和将所述一个或多个用户结果指标和所述一个或多个功效指标输出到一个或多个管理员设备。
15.根据某些实施例，一个或多个指令还可以包括用于根据一个或多个科学评估参数和/或协议将用户群体分割成两个或多个用户组的指令。一个或多个计算机化刺激或交互可以包括在移动电子设备上执行的移动软件应用的实例，其中移动软件应用可以包括与目标生理或认知状况或状态相关联的计算机实现的治疗或干预。
16.根据某些实施例，一个或多个指令还可以包括用于根据一个或多个科学评估参数和/或协议修改或配置一个或多个计算机化刺激或交互的指令。一个或多个指令还可以包括用于从一个或多个电子设备连续接收多个输入数据并根据一个或多个科学评估参数和/或协议分割多个输入数据的指令。根据某些实施例，一个或多个指令还可以包括用于根据一个或多个科学评估参数和/或协议修改一个或多个用户权限或撤销用户对移动软件应用程序的访问的指令。
17.根据进一步的实施例，一个或多个端点可以进一步包括电子病历服务器或第三方应用服务器。一个或多个指令还可以包括用于根据一个或多个科学评估参数分析多个输入数据的指令，以确定用户群中至少一个用户的协议符合性或偏差的度量。此外，一个或多个指令可以包括用于根据一个或多个科学评估参数为两个或多个用户组中的第一用户组动态修改或配置一个或多个计算机化刺激或交互的指令。
18.本发明的进一步方面提供一种计算机实现的系统，包括至少一个服务器，包括至少一个处理器，该至少一个服务器实现被配置为提供多个科学评估功能的多个功能模块；应用服务器，通过通信网络与所述至少一个服务器可通信地接合,所述应用服务器托管软件产品，所述软件产品被配置为响应于一个或多个计算机化刺激或交互来处理多个用户输入，以生成用于医疗或个人健康状况的治疗、诊断或管理的目标输出；和非瞬态计算机可读存储介质，可操作地与所述至少一个处理器接合，并用计算机可执行指令编码，当所述计算机可执行指令由所述至少一个处理器执行时，所述计算机可执行指令执行用于对所述软件产品进行科学评估的方法，所述方法包括：在所述应用服务器和所述至少一个服务器之间建立通信接口和数据传输协议，所述数据传输协议被配置为能够将移动端点数据安全传输到所述至少一个服务器，其中所述移动端点数据包括来自执行软件产品实例的用户设备的用户生成的数据；配置所述软件产品的一个或多个科学评估参数，包括软件产品的一个或多个用户的一个或多个使用或会话参数,其中所述一个或多个用户包括用户群；根据所述一个或多个科学评估参数，为所述用户群中的一个或多个用户向用户设备提供软件产品的一个或多个实例；接收所述用户群中的一个或多个用户的移动端点数据和用户生成的数
据；根据分析框架处理所述移动端点数据和所述用户生成的数据，以确定所述用户群中一个或多个用户的一个或多个用户统计信息和一个或多个刺激输入模式，所述一个或多个用户统计信息和一个或多个刺激输入模式包括用户结果数据；和根据至少一个统计框架分析所述用户群的用户结果数据，以确定软件产品目标输出的一个或多个科学验证指标。
19.根据本发明的上述方面，对编码在非瞬态计算机可读介质上的软件产品进行科学评估的方法还可以包括监测用户对一个或多个科学评估参数的遵守情况(例如，协议符合性或偏差)。该方法还可以包括根据所述一个或多个科学评估参数将所述用户群分割成两个或多个用户组，其中所述一个或多个科学评估参数包括两个或多个用户组中第一用户组的第一组参数和第二用户组的第二组参数。本发明的计算机实现系统的某些实施例还可以包括至少一个第三方应用服务器，所述第三方应用服务器通过通信网络与所述至少一个服务器可通信地接合，所述至少一个第三方应用服务器被配置为执行至少一个科学评估功能。
20.根据本发明的某些方面，用于科学评估编码在非瞬态计算机可读介质中的软件产品的方法还可以包括根据一个或多个科学评估参数修改所述一个或多个计算机化刺激或交互、或撤销对软件产品的访问。该方法还可包括根据一个或多个科学评估参数向所述用户设备提供一个或多个通知，该一个或多个通知包括用于执行软件产品实例的用户指令或用户提示。根据某些实施例，根据一个或多个用户遵守规则向所述用户设备提供一个或多个通知。
21.本发明的进一步方面提供一种计算机实现的系统，包括：至少一个服务器，包括至少一个处理器，该至少一个服务器实现被配置为提供多个科学评估功能的多个功能模块；应用服务器，通过通信网络与所述至少一个服务器可通信地接合,所述应用服务器托管软件产品，所述软件产品被配置为响应于一个或多个计算机化刺激或交互来处理多个用户输入，以生成用于医疗或个人健康状况的治疗、诊断或管理的目标输出；和非瞬态计算机可读存储介质，可操作地与所述至少一个处理器接合，并用计算机可执行指令编码，当所述计算机可执行指令由所述至少一个处理器执行时，所述计算机可执行指令执行用于对所述软件产品进行科学评估的方法，所述方法包括：在所述应用服务器和服务器之间建立通信接口和数据传输协议，所述数据传输协议被配置为能够将移动端点数据安全传输到所述服务器，其中所述移动端点数据包括来自执行软件产品实例的用户设备的用户生成的数据；配置软件产品的一个或多个临床评估参数，包括软件产品的一个或多个安全性、有效性或性能参数；在两个或多个时间点向一个或多个用户设备提供软件产品的一个或多个实例；从一个或多个用户设备接收用户生成的数据和移动端点数据；根据分析框架处理用户生成的数据和移动端点数据，以确定用户群中每个用户的一个或多个用户统计信息和一个或多个刺激输入模式，一个或多个用户统计信息和一个或多个刺激输入模式包括用户结果数据；以及根据至少一个统计框架分析用户结果数据，以确定软件产品的一个或多个安全性、有效性或性能指标。
22.根据本发明的上述方面，对编码在非瞬态计算机可读介质上的软件产品进行科学评估的方法还可以包括修改或配置一个或多个计算机化刺激或交互，以响应一个或多个安全性、有效性或性能指标。该方法还可包括响应于修改或配置一个或多个计算机化刺激或交互，处理用户生成的数据和移动端点数据，并根据至少一个统计框架分析用户结果数据，
以确定一个或多个安全性、有效性或性能指标中的变化度量。该方法还可包括进一步修改或配置一个或多个计算机化刺激或交互，以响应一个或多个安全性、有效性或性能指标的变化测量。
23.前面相当广泛地概述了本发明的更相关和重要的特征，以便可以更好地理解下面对本发明的详细描述，并且可以更充分地理解本发明对本领域的贡献。下文将描述构成本发明权利要求主题的本发明的附加特征。本领域技术人员应当理解，可以容易地将概念和所公开的特定方法和结构用作修改或设计其他结构以实现本发明的相同目的的基础。本领域技术人员应当认识到，此类等效结构并不脱离本发明的精神和范围。
附图说明
24.通过以下对附图的详细描述，并结合附图，本发明的上述和其他目的、特征和优点将更加明显，附图将在下文中简要描述。
25.图1是示例性计算系统的功能框图，通过该系统可以实现本发明的某些方面；
26.图2是根据本发明的某些方面的用于科学评估软件产品的系统的架构图；
27.图3是根据本公开的某些方面的用于科学评估软件产品的系统的数据流图；
28.图4是根据本发明的某些方面的用于科学评估软件产品的系统的功能框图；
29.图5是根据本发明的某些方面的用于科学评估软件产品的系统的功能框图；
30.图6是根据本发明的某些方面的用于科学评估软件产品的系统的功能框图；
31.图7是根据本发明的某些方面，用于科学评估软件产品的系统内的协议设计例程的功能框图；
32.图8是根据本发明的某些方面，在用于科学评估软件产品的系统内进行试用选择和启动的例程的功能框图；
33.图9是根据本发明的某些方面，在用于科学评估软件产品的系统内进行患者招募的例程的功能框图；
34.图10是根据本发明的某些方面，用于科学评估软件产品的系统内的操作数据管理例程的功能框图；
35.图11是根据本发明的某些方面，用于科学评估软件产品的系统内软件交付物流的例程的功能框图；
36.图12是根据本发明的某些方面，用于科学评估软件产品的系统内的患者结果数据管理例程的功能框图；
37.图13是根据本发明的某些方面，用于科学评估软件产品的系统内的性能数据分析例程的功能框图；
38.图14是根据本发明某些方面的用于科学评估软件产品的方法的过程流程图；
39.图15是根据本发明某些方面的用于科学评估软件产品的方法的过程流程图；和
40.图16是根据本发明某些方面的用于科学评估软件产品的方法的过程流程图。
具体实施方式
41.本文描述了示例性实施例，以提供本发明的更详细描述。各种实施例的变化对于本领域技术人员来说是显而易见的。因此，在描述本发明的具体示例性实施例之前，应当理
解，本发明不限于本文描述的示例性实施例。还应理解，本文使用的术语是为了描述某些特定实施例，而不是旨在限制仅由所附权利要求书定义的本发明的范围。
42.此外，以下描述中使用的某些术语仅为方便而非限制。例如，单词“右”、“左”、“顶”、“底”、“上”、“下”、“内”和“外”表示参考图纸中的方向。“一个”一词的定义是指“至少一个”术语包括上述明确提及的词语、其派生词和类似含义的词语。
43.在提供值的范围的情况下，应理解，除非上下文另有明确规定，否则在该范围的上限和下限与该规定范围内的任何其他规定或干预值之间的每一个干预值，到下限单位的十分之一，都包含在本发明中。这些较小范围的上限和下限可以独立地包括在较小范围中，也包括在本发明中，但受制于所述范围中任何具体排除的限制。如果所述范围包括一个或两个限制，则本发明中还包括不包括这两个限制的范围。
44.除非明确指出相反，否则本说明书和权利要求书中使用的不定冠词“一个”和“一种”应理解为“至少一个”本说明书和权利要求书中使用的短语“和/或”应理解为指如此连接的元素中的“一个或两个”，即，在某些情况下连接出现，在其他情况下分离出现的元素。用“和/或”列出的多个元素应以相同的方式进行解释，即，“一个或多个”如此连接的元素。除“和/或”条款中明确标识的元素外，其他元素也可以选择性地存在，无论是与明确标识的那些元素相关还是无关。因此，作为非限制性示例，在一个实施例中，当与诸如“包含”的开放式语言结合使用时，对“a和/或b”的引用可以仅指a(可选地包括除b以外的元素)；在另一实施例中，仅限于b(可选地包括除a以外的元件)；在又一实施例中，a和b(可选地包括其他元件)；等。
45.如本说明书和权利要求书中所用，“或”应理解为与上述定义的“和/或”具有相同的含义。例如，当在列表中分隔项目时，“或”或“或者”和/或“应被解释为包含，即包括至少一个但也包括一个以上的元素数量或列表，以及可选的其他未列出的项目。只有明确表示相反的术语，例如“仅一个”或“恰好一个”，或在权利要求中使用时，“包括”将指在一系列元素或元素列表中仅包含一个元素。通常，本文中使用的术语“或”仅应解释为在前面带有排他性条款的情况下表示排他性替代品(即“一个或另一个，但不是两者”)，例如“其中之一”、“仅一个”或“恰好一个”、“基本上包括”当在权利要求中使用时，应具有其在专利法领域中使用的一般含义。
46.如本文在说明书和权利要求书中所使用的，关于一个或多个元素的列表，短语“至少一个”应理解为指从元素列表中的任何一个或多个元素中选择的至少一个元素，但不一定包括元素列表中具体列出的每个元素中的至少一个，也不排除元素列表中元素的任何组合。该定义还允许元素可以选择性地存在于短语“至少一个”所指的元素列表中，而不是特定识别的元素，无论这些元素与特定识别的元素相关还是无关。因此，作为非限制性示例，“a和b中的至少一个”(或等效地，“a或b中的至少一个”，或等效地“a和/或b中的至少一个”)可以在一个实施方案中指至少一个，可选地包括一个以上的a，不存在b(可选地包括除b以外的元素)；在另一实施例中，至少一个，可选地包括一个以上的b，不存在a(可选地包括除a以外的元件)；在另一个实施例中，至少一个(可选包括一个以上)a和至少一个(可选包括一个以上)b(可选包括其他元件)；等。
47.在权利要求以及上述说明书中，所有过渡性短语，例如“包括”、“携带”、“具有”、“包含”、“涉及”、“持有”、“由
……
组成”等应被理解为是开放式的，即意味着包括但不限于。
48.术语“程序”或“软件”在本文中在一般意义上用于指任何类型的计算机代码或计算机可执行指令集，可用于对计算机或其他处理器进行编程以实现如上文所讨论的本技术的各个方面。另外，应当理解，根据本实施例的一个方面，一个或多个计算机程序在被执行时执行本技术的方法不需要驻留在单个计算机或处理器上，而是可以以模块化方式分布在多个使用不同的计算机或处理器来实现本技术的各个方面。计算机可执行指令可以是由一台或多台计算机或其他设备执行的多种形式，例如程序模块。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。通常，程序模块的功能可以在各种实施例中根据需要组合或分布。
49.如在本文的某些示例中所使用的，术语“医疗保健提供者”包括一名或多名医生(包括儿科医生和/或行为专家)、护士、医生助理、心理学家、精神病医生以及医疗保健或医疗设施的辅助临床和行政办公室工作人员。
50.如在本文的某些示例中所使用的，术语“用户”包括软件程序、产品或平台的一个或多个最终用户，并且可以进一步包括：为目标医疗或个人健康目的而使用软件程序、产品或平台的患者；软件程序、产品或平台的临床试验、研究或评估的参与者；从事软件程序、产品或平台的用户，其目的是评估或开发数字健康干预和/或作为医疗设备程序、产品或平台的软件的一个或多个技术、临床和/或功能方面。
51.如本文所用，术语“软件程序”、“软件产品”和“软件平台”可以互换使用，并且可以用于描述了一个或多个软件程序、产品或平台，包括包含硬件和软件的任何组合的任何产品、程序和/或平台，被设计和/或用于任何目标医疗或个人健康目的，包括但不限于治疗、诊断、管理、预防、治愈或生成/为一个或多个医疗、健康或个人健康目的向一位或多位用户提供临床/健康/健康见解或建议；包括一个或多个数字健康干预(dhi)和/或作为医疗设备(samd)的软件；并且可以进一步包括在治疗和/或靶向与一种或多种神经、心理和/或躯体状况、疾病和/或障碍相关的一种或多种神经回路中本身具有直接治疗活性的软件，而不仅仅是作为整体治疗。
52.如本文所用，术语“数字健康干预(dhi)”可以与作为医疗设备(samd)的软件互换使用，并且涵盖正在设计和/或使用的任何软件程序、产品或平台，包括被设计和/或用于任何有针对性的医疗或个人健康目的的任何软件/硬件组合，包括但不限于为一个或多个医疗、健康或个人健康目的治疗、诊断、管理、预防、治愈或生成/提供临床/健康/健康见解或建议给一位或多位用户；包括任何软件程序、产品或平台，包括任何软件/硬件组合，被设计和/或用于促进健康行为，改善心血管疾病、糖尿病和心理健康状况等长期疾病患者的预后，并提供远程获得有效治疗的途径；例如，针对心理健康和躯体问题的计算机化认知行为疗法；并且可以进一步涵盖一个或多个软件程序、产品或平台，包括结合硬件和软件的任何组合的任何产品、程序和/或平台，其在治疗和/或靶向与一种或多种神经、心理和/或躯体病症、疾病和/或病症相关的一种或多种神经回路中具有直接治疗活性，而不仅仅是作为整体治疗的组成部分。
53.如本文所用，术语“作为医疗设备的软件(samd)”可以与术语数字健康干预(dhi)互换使用，并涵盖任何软件程序、产品或平台，包括任何软件/硬件组合，被设计和/或用于任何有针对性的医疗或个人健康目的，包括但不限于出于一种或多种医疗、健康或个人健康目的，治疗、诊断、管理、预防、治愈或产生/提供临床/健康/健康见解或建议给一位或多
位用户；并且可能进一步包括任何软件程序、产品或平台，包括任何软件/硬件组合，旨在用于执行这些目的而不是硬件医疗设备的一部分的一个或多个医疗目的；并且可能进一步涵盖一个或多个软件程序、产品或平台，包括包含硬件和软件的任何组合的任何产品、程序和/或平台，在治疗和/或靶向与一种或多种神经、心理和/或躯体病症、疾病和/或病症相关的一种或多种神经回路中具有直接治疗活性，而不仅仅是整体治疗的一个组成部分。
54.如在本文的某些示例中所使用的，术语“患者”包括为目标医疗或个人健康目的、指示和/或预期用途而使用软件程序、产品或平台的用户。
55.如本文某些示例中使用的，术语“利益相关者”包括软件程序、产品或平台的制造商；软件程序、产品或平台的管理用户；并且可以进一步包括医疗保健提供者、研究人员、调查员、审查员、管理员、父母、监护人、监护人或患者的其他护理人员中的一个或多个。
56.如本文的某些示例中所使用的，术语“研究者”、“管理员”或“研究人员”包括用户或利益相关者参与软件程序、产品或平台以评估或开发软件程序、产品或平台的一个或多个技术、临床和/或功能方面；并且可能进一步包括用户或利益相关者参与软件程序、产品或平台以进行科学评估，例如临床试验。
57.如本领域技术人员将理解的，本公开的实施例可以体现为一种方法(包括例如计算机实现的过程、业务过程和/或任何其他过程)、装置(包括，例如，系统、机器、设备、计算机程序产品和/或类似物)，或前述的组合。因此，本发明的实施例可以采取完全硬件实施例、完全软件实施例的形式(包括固件、常驻软件、微代码等)，或结合软件和硬件方面的实施例，在本文中通常称为“系统”。此外，本发明的实施例可以采用计算机可读介质上的计算机程序产品的形式，该介质具有包含在该介质中的计算机可执行程序代码。
58.如本文所定义和使用的所有定义应理解为控制字典定义、通过引用并入的文件中的定义和/或所定义术语的普通含义。除非另有定义，本文使用的所有技术和科学术语与本发明所属领域的普通技术人员通常理解的含义相同。尽管与本文描述的那些相似或等效的任何方法和材料也可以用于本发明的实践或测试，但是现在描述示例性方法和材料。本文提及的所有出版物均通过引用并入本文，以公开和描述与引用该出版物相关的方法和/或材料。
59.以下是与创造性方法、设备和系统相关的各种概念和实施例的更详细描述，用于收集、处理和分析多个端点数据以评估dhi/samd程序、平台或产品的一个或多个功能、科学和/或临床方面。某些实施例提供了一种平台来分析来自dhi/samd程序、平台或产品的用户生成数据，以确定与dhi/samd的一个或多个程序代码输出和/或功能方面相关的一个或多个安全性、有效性、性能和/或患者结果指标。某些实施方案还提供了一个平台，以设计和促进dhi/samd程序、平台或产品的研究、临床评估和/或临床试验的管理。某些实施例还提供了一种平台来连续监测和分析多个端点数据以验证和改进dhi/samd的安全性、功效和/或性能。
60.某些实施例提供一种用于配置和管理dhi/samd程序、平台或产品的临床试验的系统。这些实施例可以包括用于安全收集和分析数据的系统和方法，以及为了配置和管理临床试验的目的在不同系统和平台之间安全共享内容的系统和方法。内容可以是但不限于收集的数据和/或数据分析的结果。
61.本发明的某些实施例可以与一个或多个类型的测量组件耦合，用于接收和分析从
一个或多个测量组件的至少一个测量中收集的数据。作为非限制性示例，测量组件可以是生理组件。
62.本发明的某些实施例可以与一种或多种类型的认知平台耦合，用于分析从用户与认知平台的交互中收集的数据。作为非限制性示例，认知平台和/或平台产品可配置用于认知监测、认知评估、认知筛查和/或认知治疗，包括用于临床目的。来自认知平台的数据可以由本文公开的示例性系统、方法和装置用作症状测量数据。
63.本发明的某些实施例可用于促进对各种不同疾病的测试、监测和/或改进治疗，例如但不限于神经心理疾病，包括痴呆、帕金森病、脑淀粉样血管病、家族性淀粉样神经病、亨廷顿病或其他神经退行性疾病，自闭症谱系障碍(asd)、16pl 1.2重复的存在和/或执行功能障碍，包括注意力缺陷多动障碍(adhd)、感觉加工障碍(spd)、轻度认知障碍(mci)、阿尔茨海默病、多发性硬化症、精神分裂症、重性抑郁障碍(mod)或焦虑。
64.在非限制性示例中，本发明的某些实施例可以配置为促进adhd的测试、监测和/或改进治疗。多动症的症状包括注意力不集中、冲动和多动。儿童和成人都可能患有adhd，然而，这些症状可以从儿童时期开始表现出来。adhd在某些方面可以被视为一种慢性疾病。一旦确诊，通常会使用药物治疗，并通过行为疗法进行管理。
65.在一个示例中，本发明的某些实施例可以配置为收集和分析有助于监测进展和/或修改个人治疗计划的内容。在另一个示例中，本发明的某些实施例可以配置为帮助改善使用可视化的治疗结果。
66.在另一个示例中，本发明的某些实施例可以配置为应用程序(“app”)，供用户或利益相关者使用。本例中的科学评估平台可以配置为为数据收集提供安全、经过身份验证的访问。临床试验平台使儿童的家长、监护人、监护人或其他照顾者能够控制其他用户可以访问平台的级别和类型，从而促进通过安全访问(例如但不限于安全登录)收集数据。
67.在该非限制性示例性实施方式中，可以配置科学评估平台，使得个人(包括个人的父母、监护人或其他看护人)可以将其某个方面下载为应用程序，并使用该应用程序定期收集有关个人(包括儿童)的数据。该应用程序提供提醒和鼓励，以确保个人(包括个人的父母、监护人或其他看护人)的一致、长期参与。该应用程序被配置为向主要用户提供从另一个指定用户(例如但不限于教师或个人的其他照顾者)请求行为数据的能力。该请求可以通过电子邮件或其他方式发送的安全邀请发送。例如，当另一个次要用户收到邀请时，他们访问所提供的安全链接，提供设置帐户所需的信息(例如但不限于登录凭据)，以便每隔一段时间访问以在提供的测量字段中输入数据和其他信息(例如但不限于有关孩子在学校的表现或量化个人症状的信息)。
68.在用于adhd的科学评估平台的非限制性示例中，可量化的行为指标类型可以是与完成家庭作业的频率和质量相关的行为指标，执行家务的频率和质量，以及与父母、监护人、监护人或代表儿童行事的其他个人相处的质量。可以使用来自其他症状跟踪器的分数来设置示例性症状指标。
69.科学评估平台配置为允许主要用户与医疗保健提供商合作，以确定将在临床试验平台的测量字段中呈现并使用该平台进行量化的测试、系统或设备的类型。
70.示范性科学评估平台允许用户(例如但不限于家长、教师、医生、行为治疗师等)提供各种症状的量化测量，还从实际治疗中捕获数据(例如但不限于认知治疗和其他治疗的
分数)，分析收集的数据，生成增强的分析报告，该报告以可解释、有意义的指标的形式呈现数据和分析结果，可用于确定治疗进展是否充分或令人满意。
71.增强的分析报告可用于与医疗保健提供者协商，以评估个人对治疗的反应，确定对治疗的任何修改、对治疗进行修改的总体时间段等，以便为个体获得稳定的结果或改善的治疗结果。这可以为个人带来更好的状况管理(包括疾病管理)结果。
72.在本文的任何示例中，科学评估平台提供控制设置，使得由主要用户设置的次要用户的访问级别和许可可以被撤销或否决。虽然这些示例是相对于行为测量或症状测量进行描述的，但其他类型的测量也适用于科学评估平台。
73.现在转向附图，图1描绘了示例性计算系统，根据该计算系统可以实施本发明的某些图示实施例。处理系统100通常包括至少一个处理器102、存储器104、用于接收输入数据118的输入设备106和产生与至少一个总线110耦合在一起的输出数据120的输出设备108。在某些实施方案中，输入设备106和输出设备108可以是同一设备。还可以提供接口112用于将处理系统100耦合到一个或多个外围设备，例如接口112可以是pci卡或pc卡。也可以提供至少一个容纳至少一个数据库116的数据库存储设备114。存储器104可以是任何形式的存储器设备，例如易失性或非易失性存储器、固态存储设备、磁性设备等。处理器102可以包括多于一个不同的处理设备，例如用于处理处理系统100内的不同功能。输入设备106接收输入数据118并且可以包括例如键盘、指针设备(例如笔状设备或鼠标)、用于语音控制激活的音频接收设备(例如麦克风)、数据接收器或天线(例如调制解调器或无线数据适配器、数据采集卡等)。输入数据118可以来自不同的来源，例如结合通过网络接收的数据的键盘指令。输出设备108产生或生成输出数据120并且可以包括例如显示设备或监视器，在这种情况下输出数据120是可视的，在这种情况下输出数据120被打印的打印机，例如usb端口的端口、外围组件适配器、数据发射器或天线，例如调制解调器或无线网络适配器等。输出数据120可以是不同的并且来自不同的输出设备，例如监视器上的视觉显示连同传输到网络的数据。用户可以在例如监视器或使用打印机上查看数据输出或数据输出的解释。存储设备114可以是任何形式的数据或信息存储装置，例如易失性或非易失性存储器、固态存储设备、磁性设备等。
74.在使用中，处理系统100适合于允许数据或信息通过有线或无线通信装置存储在至少一个数据库116中和/或从至少一个数据库116中检索。接口112可以允许处理单元102和可以服务于特定目的的外围组件之间的有线和/或无线通信。通常，处理器102可以通过输入设备106接收指令作为输入数据118，并且可以通过利用输出设备108向用户显示处理后的结果或其他输出。可以提供多于一个的输入设备106和/或输出设备108。应当理解，处理系统100可以是任何形式的终端、服务器、专用硬件等。
75.应当理解，处理系统100可以是联网通信系统的一部分。处理系统100可以连接到网络，例如互联网或wan。输入数据118和输出数据120可以通过网络传送到其他设备。可以使用有线通信装置或无线通信装置实现信息和/或数据在网络上的传输。服务器可以促进网络和一个或多个数据库之间的数据传输。服务器和一个或多个数据库提供信息源的示例。
76.因此，图1中所示的处理计算系统环境100可以在使用与一台或多台远程计算机的逻辑连接的网络环境中操作。远程计算机可以是个人计算机、服务器、路由器、网络pc、对等
设备或其他公共网络节点，并且通常包括许多或所有上述元素。
77.还应理解，图1中描绘的逻辑连接包括局域网(lan)和广域网(wan)，但也可以包括其他网络，例如个域网(pan)。这样的网络环境在办公室、企业范围的计算机网络、内部网和互联网中很常见。例如，当在lan联网环境中使用时，计算系统环境100通过网络接口或适配器连接到lan。当在wan联网环境中使用时，计算系统环境通常包括调制解调器或用于通过wan(例如互联网)建立通信的其他装置。调制解调器可以是内部的或外部的，可以通过用户输入接口或通过另一种适当的机制连接到系统总线。在联网环境中，相对于计算系统环境100所描绘的程序模块或其部分可以存储在远程存储器存储设备中。应当理解，图1所示的网络连接是示例性的，并且可以使用在多台计算机之间建立通信链路的其他方式。
78.图1旨在提供对可以在其中实施本发明的各种实施例的说明性和/或合适的示例性环境的简要概括描述。图1是合适环境的示例并且不旨在暗示对本发明实施例的结构、使用范围或功能的任何限制。特定环境不应被解释为具有与示例性操作环境中所示的任何一个组件或组件组合有关的任何依赖性或要求。例如，在某些情况下，环境的一个或多个元素可能被认为是不必要的并被省略。在其他情况下，一个或多个其他元素可能被认为是必要的并被添加。
79.在下面的描述中，某些实施例可以参考由一个或多个计算设备(例如图1的计算系统100)执行的动作和操作的符号表示来描述。因此，将理解这种有时被称为由计算机执行的动作和操作包括计算机的处理器对以结构化形式表示数据的电信号的操作。这种操作转换数据或将它们保持在计算机的存储系统中的位置，这以本领域技术人员理解的方式重新配置或以其他方式改变计算机的操作。保存数据的数据结构是内存的物理位置，具有由数据格式定义的特定属性。然而，虽然在前述上下文中描述了实施例，但这并不意味着限制，因为本领域的技术人员将理解，下文描述的动作和操作也可以在硬件中实现。
80.本发明的实施例可以用许多其他通用或专用计算设备、系统或配置来实现。适用于本发明实施例的众所周知的计算系统、环境和配置的示例包括个人计算机、手持或膝上型设备、个人数字助理、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络、小型计算机、服务器计算机、游戏服务器计算机、网络服务器计算机、大型计算机和包括上述任何系统或设备的分布式计算环境。
81.本文将在由计算机执行的诸如程序模块之类的计算机可执行指令的一般上下文中描述本发明的各种实施例。通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。在某些实施方案中，也可以采用分布式计算环境，其中任务由通过通信网络链接的远程处理设备执行。在分布式计算环境中，程序模块可以位于本地和远程计算机存储介质中，包括内存存储设备。
82.由于上面显示和讨论了图1的通用计算系统环境100，下面的描述和剩余的图属于本发明的各种示例性实施例，一般涉及作为医疗器械产品和数字干预的软件中程序代码输出的数据分析和科学评估方法。一般而言，本文所述的方法包括对于所述用户群中的至少一个用户，在两个或多个时间点分析一个或多个计算机化刺激或交互与所述多个用户生成的输入之间的刺激响应模式，以确定所述用户群中的至少一个用户的一个或多个性能指标；分析所述多个输入数据和所述一个或多个性能指标，以确定所述用户群中至少一个用户的一个或多个用户结果指标；根据验证模型分析一个或多个计算机化刺激或交互以及一
个或多个用户结果度量以确定与目标医疗输出相关的一个或多个功效度量；以及将所述一个或多个用户结果指标和所述一个或多个功效指标输出到一个或多个管理员设备。
83.现在参考图2，示出了用于对软件产品进行科学评估的系统200的架构图。根据本公开的某些方面，系统200通常包括科学评估平台服务器206、科学评估引擎208、平台数据库210和管理员客户端设备214。科学评估引擎208可以包括科学评估平台产品240，其被配置为跨系统200向一个或多个客户端设备提供科学评估应用216。管理员客户端设备214可以与平台服务器206可操作地接合以执行科学评估应用程序216的实例，其可以可选地包括管理员接口220。平台服务器206可以与制造商服务器202、多个端点244、一个或多个经由通信网络212的客户端设备218。客户端设备218可以被配置为执行科学评估应用程序216的实例，其可以可选地被配置为呈现研究人员/调查人员用户界面224。
84.根据某些实施例，制造商服务器202与制造商数据库204可操作地接合以托管和执行软件产品228的服务器端实例，该软件产品228包括一个或多个数字健康干预(dhi)和/或作为医疗设备的软件(samd)产品。制造商服务器202可以与制造商客户端222可操作地接合以控制和/或配置软件产品228的一个或多个方面。制造商客户端222可以通过通信网络212与平台服务器206可通信地接合以执行科学评估应用216的实例，其可以可选地被配置为呈现制造商用户界面242。根据某些实施例，计算设备226可以通过通信网络212与制造商服务器202可通信地接合以执行软件产品228的实例228'。在一些实施例中，计算设备226可以包括具有一个或多个传感器和触摸屏界面的智能手机或平板电脑。实例228'可以包括一系列计算机化刺激或交互(csi)，包括与dhi/samd输出相关联的一个或多个用户提示。软件产品228可以被配置为从端点244接收和处理/聚合数据。端点244可以包括生物/生理测量设备230(例如，脑电图机、心率监测器、血压袖带、连续血糖监测(cgm)系统等)、被配置为测量用户的一个或多个活动输入和/或生理测量的移动/可穿戴电子设备(例如，智能手表或可穿戴活动监视器，包括一个或多个心率传感器、惯性或运动传感器、声学换能器、触摸界面等)以及一个或多个外部数据源234中的一个或多个，包括但不限于实验室信息管理系统(lims)236和/或电子病历(emr)系统238。
85.根据本公开的某些方面，系统200被配置为能够对软件产品228进行科学评估。在某些实施方案中，科学评估引擎208和科学评估平台产品240可操作地配置有平台服务器206和平台数据库210以分析软件产品228的程序代码的一个或多个安全性、功效、性能和/或质量保证方面。在其他实施方案中，科学评估引擎208和科学评估平台产品240可操作地配置有平台服务器206和平台数据库210，以实现对软件产品228的分布式临床试验的配置和管理。在其他实施方案中，科学评估引擎208和科学评估平台产品240可操作地配置有平台服务器206和平台数据库210，以实现对软件产品228的一个或多个输出的科学评估，用于一种或多种医学或临床预期用途。
86.根据某些实施例，科学评估引擎208被配置为根据一个或多个分析框架处理和分析来自端点244的数据。在某些实施方案中，科学评估引擎208可以根据一个或多个监督或非监督、线性或非线性、降维和/或数据聚合框架来处理和分析来自端点244的数据。合适的降维和数据聚合框架包括但不限于：主成分分析(pc a)、多维缩放(mds)、局部线性嵌入(lle)、独立成分分析和线性判别分析。在某些实施方案中，降低输入数据的维数包括应用pca算法，从而产生在向量空间中正交的输出数据。在某些实施方案中，减少输入数据的维
度包括应用流形学习方法来识别数据中的一个或多个非线性结构。流形学习方法对于从数据本身识别原始输入数据的高维结构特别有用，而无需使用预先确定的分类。
87.在其他实施方案中，mds用于将高维数据投影到低维表面。在这样的实施例中，观察包括用于输入到算法中的相似性距离增量。结果以x维中每个数据点的坐标向量的形式提供，目的是为给定的输入数据集找到k的代表。k的代表被称为“簇中心”或“质心”，并且被选择为具有从每个数据点到同一质心的最小距离。
88.在更进一步的实施例中，使用lee来识别或定位所选数据集的较低维度投影，这保留了本地邻域内的距离(位置)。此外，标记数据的维度可以使用监督方法来实现，例如线性判别分析和/或邻域成分分析。
89.根据某些实施例，科学评估引擎208还被配置为在处理输入数据以供分析之前清理一些或所有输入数据。科学评估引擎208采用的示例性数据清理技术可以包括但不限于数据的插补、封顶和下限。根据某些实施例，通过插补的数据清理可以包括使用决策树。在一个实施方案中，一个或多个叶节点可以包括一个类标签，其中大多数训练示例到达叶节点。在某些实施方案中，每个内部节点代表关于软件产品228的至少一个特征的问题，该特征将根据每个答案分支出来。每个答案都会生成一组问题，这些问题有助于确定数据并据此做出决策。决策树的最终结果表明了所有决策和结果场景的可能性。在替代示例性实施例中，可以采用k最近邻(knn)来进行缺失数据的插补。knn定义了样本的一组最近邻，并通过计算非缺失值的平均值来替换缺失数据到其邻居。最近邻测量为基于欧几里得距离的最接近的值。
90.在某些实施方案中，“贝叶斯网络”可用于数据集编译中的数据输入。具体地，根据本发明的实施例编译数据集包括采用一个或多个贝叶斯网络来对变量应用额外的独立约束，以便以简明的方式识别变量之间的一个或多个可能的关系。使用贝叶斯网络进行插补有几个优点，包括处理缺失数据模型的能力，编码所有变量之间的依赖关系，以及保持变量的联合概率分布。贝叶斯方法的一个关键要素是，在估计后验分布时将缺失数据作为一个附加的未知量纳入其中，后验分布被定义为先验分布和似然函数在观察到参数后积分的总知识。在某些实施方案中，特别是在对高数据输入值敏感的模型中，数据清理可能包括通过对输入数据集或在一个或多个特定百分位数(例如1％或99％)处的观察值进行封顶和取底的方法来计算平均值(方差)。
91.现在参考图3，示出了用于对软件产品进行科学评估的系统300的数据流程图。根据本公开的某些方面，系统300被可操作地配置为从多个端点302收集数据，通过一个或多个服务器304接收和处理数据，以及跨一个或多个客户端设备306分析和管理数据。根据某些实施例，软件产品是托管在制造商服务器320上并被提供给至少一个计算设备316，318的dhesamd。平台服务器322被配置为托管和执行科学评估应用程序，该科学评估应用程序被配置为在端点302、制造商服务器320和平台服务器322之间建立数据传输接口和数据传输协议。端点302可以包括至少一个计算设备316，318，包括平板电脑、手机、个人电脑等，执行包含dhi/samd的软件产品实例。在某些实施方案中，端点302还可以包括一个或多个连接的设备308，310，其可操作地配置有计算设备316。例如，计算设备316可以与生理或生物传感器设备308((例如，脑电图机、心率监测器、血压袖带、连续血糖监测(cgm)系统等)可通信地接合，和/或配置为测量用户的一个或多个活动输入和/或生理测量的移动/可穿戴电子设
备310(例如，智能手表或可穿戴活动监视器，包括一个或多个心率传感器、惯性或运动传感器、声学换能器、触摸界面等)。端点302还可包括一个或多个患者数据源312，包括电子病历系统和实验室信息管理系统。端点302还可以包括一个或多个第三方服务器，例如emr服务器、lims服务器和一个或多个第三方应用服务器。在一些实施例中，端点302可以被配置为具有与平台服务器322的直接数据传输接口。在一些实施例中，端点302可以被配置为具有与制造商服务器320的直接数据传输接口，其中制造商服务器320可以被配置为将端点数据传送到平台服务器322。在一些实施例中，一些端点302可以被配置为传输数据直接传输到制造商服务器320，并且其他端点302可以被配置为直接传输数据到平台服务器322。
92.仍然参考图3，根据某些实施例，制造商服务器320接收的端点数据根据制造商服务器320和平台服务器322之间的一个或多个数据传输协议传送到平台服务器322。平台服务器322处理端点数据并将端点数据提供给平台引擎324以供分析。根据某些实施例，平台引擎324包括可操作地与平台服务器322接合的平台数据库和在平台服务器322上执行的平台应用程序，该平台应用程序被配置为根据一个或多个科学评估模块处理端点数据。平台引擎324的输出被提供给执行平台应用的客户端实例的一个或多个客户端设备326，用于对软件产品进行科学评估。
93.现在参考图4，示出了用于对软件产品402进行科学评估的系统400的功能框图。根据本公开的某些方面，软件产品402是dhi/samd产品，其被可操作地配置用于至少一种预期的医疗或临床用途或目的。软件产品402在功能上被配置为通过将一个或多个应用实例/c sis 406提供给一个或多个用户设备410来实现所述至少一种预期的医疗或临床用途或目的。软件产品402包括一系列处理器可执行指令，包括应用/程序逻辑408，在计算设备(例如智能手机或平板电脑)上存储和执行和/或由远程服务器通过通信网络提供给计算设备。应用程序/程序逻辑408被可操作地配置为将一个或多个应用程序实例/c sis 406呈现给用户设备410；响应于一个或多个应用实例/c si 406接收一个或多个用户生成的输入414；根据应用程序/程序逻辑408处理一个或多个用户生成的输入414；并且通过应用实例/c sis406将一个或多个应用输出416呈现给用户设备410。应用程序/程序逻辑408被可操作地配置为根据用户的预期医疗或临床用途或目的连续处理用户输入414并呈现/递送一个或多个应用程序输出。应用程序/程序逻辑408可以被可操作地配置为响应于一个或多个应用程序实例/c sis 406而提供与用户输入414相对应的一个或多个性能数据输出412，以便评估或测量与软件产品402的预期医疗或临床用途或目的相关的用户性能/结果。
94.根据某些实施例并且仍然参考图4，评估引擎404通过应用程序接口(api)418与软件产品402可通信地接合以从软件产品402接收程序输出数据和用户输入数据。评估引擎404被配置为通过api 418通过一个或多个计算/分析框架处理并可选地清理接收到的数据。适用于各种实施例中的某些数据清理技术包括但不限于数据的插补、封顶和下限。数据处理420可以根据被配置为分析与软件产品402的预期医学或临床使用或目的相关联的一个或多个因变量的一个或多个科学评估参数动态配置。评估引擎404进一步被配置为执行一个或多个数据管理操作422，该操作被配置为根据科学评估参数对数据进行分段、分类和/或分析。评估引擎404被配置为呈现和输出用于数据报告424的数据。为了根据一个或多个科学评估参数评估数据的目的，数据报告424可以实现数据的结构化和动态报告给一个或多个客户端设备。评估引擎404和数据报告424被可操作地配置为提供数据的定量和定性
分析，以便评估在软件产品402的预期医疗、临床和/或个人健康使用或目的与通过用户与软件产品402的交互产生的用户性能数据和/或用户结果数据之间一个或多个协会的有效性和完整性。
95.现在参考图5，示出了用于对软件产品544进行科学评估的系统500的功能框图。根据本公开的某些方面，科学评估服务器502与制造商客户端504、管理员客户端512、执行软件产品514实例的一个或多个用户设备514、一个或多个移动或基于服务器的端点516以及一个或多个第三方和/或外部服务器510可通信地接合。科学评估服务器502可以包括处理器520、数据传输接口522、科学评估引擎524、数据库526和存储有指令的非瞬态存储器设备518，所述指令包括一个或多个功能模块，所述功能模块可操作地配置为使处理器520执行一个或多个科学评估函数。在某些实施方案中，一个或多个功能模块可操作地配置为能够设置和管理软件产品544的分布式临床试验。一个或多个功能模块可包括协议设计和审查模块528、试验/应用程序启动模块530、用户招聘模块532、操作数据管理模块536、供应物流模块538和用户结果数据管理模块540。
96.根据某些实施例，协议设计和审查模块528可以包括用于配置和执行一个或多个协议设计和审查功能的操作，包括用于以下的一个或多个功能：试验/评估设计；试验/评估方法；数据模型的选择和/或训练；用户权限和访问/使用参数；功能领域的数据分割和评估(例如安全性、有效性、性能等)；不良事件处理协议；质量控制和保证参数；数据管理和报告参数。试用/应用程序启动模块530可以包括用于配置和执行一个或多个试用/应用程序启动功能的一个或多个操作，包括用于以下的一个或多个功能：用户入职(例如安全帐户创建、首次用户体验、用户说明和消息传递以及用户同意)和用户人口统计/信息提示；用户报销设置，包括用户银行账户的电子链接(用于补偿用户时间和/或费用的试验或评估)；用户认证参数和协议；数据传输接口和协议，包括端点选择和接口。用户招募模块532可以包括用于配置和执行用户招募功能的一项或多项操作，包括用于以下方面的一项或多项功能：学习支持和学习选择参数；研究注册工作流程和参数；研究特定的同意条款和要求。操作数据管理模块536可以包括用于配置和执行一种或多种操作数据管理功能的操作，包括用于以下用途的一种或多种功能：用户分配和分段；用户通知和通信；操作数据处理和报告；数据安全协议和参数；用户活动和软件使用参数和通知；管理控制和访问权限，包括未使用、撤销访问或删除/阻止软件或特定功能的参数；不良事件跟踪和处理；以及与第三方系统的数据传输接口。供应物流模块538可包括用于配置和执行一种或多种供应物流功能的一种或多种操作，包括用于以下的一种或多种功能：软件产品采购；并行认证/登录框架；和额外的应用程序获取。用户结果数据管理模块540可以包括用于配置和执行用户招募功能的一项或多项操作，包括用于以下方面的一项或多项功能：数据呈现和报告；数据采集参数和数据传输协议；数据模型的选择和/或训练；数据分割和清洗；以及数据访问和数据查询参数。
97.根据本公开的某些方面并且仍然参考图5，系统500被可操作地配置为使得能够跨多个客户端设备对软件产品544进行科学评估和/或临床试验，这些客户端设备可通信地参与科学评估服务器502。根据某些实施例，软件产品544包括dhi/samd产品，其被可操作地配置用于至少一种预期的医疗、临床和/或个人健康用途或目的。系统500使一个或多个管理员/评估者用户56和/或一个或多个制造商用户54能够配置和管理用于软件产品544的科学评估、研究和/或临床试验的协议。根据一个实施例，管理员用户56执行科学评估应用程序
546的实例以配置和管理软件产品544的科学评估和/或临床试验。管理员用户56在厂商服务器504和科学评价服务器502之间建立数据传输接口和数据传输协议；以及可选地在一个或多个第三方/外部服务器510和科学评估服务器502之间建立数据传输接口和数据传输协议。另外，管理员用户56和/或制造商用户54可以在用户设备514、端点516和科学评估服务器502之间建立数据传输接口和数据传输协议。管理员用户56可以根据一个或多个功能模块配置和执行由科学评估应用程序546提供的一个或多个科学评估或临床试验功能。
98.根据本公开的某些方面并且仍然参考图5，系统500被可操作地配置为管理软件产品544的科学评估、研究和/或临床试验。根据某些实施例，一个或多个用户52可以根据一个或多个评估或试验参数/协议经由用户设备514访问软件产品544的实例。在一些实施例中，用户52可以被分割和/或分类为定义用户群体的一个或多个用户组。科学评估服务器502根据在科学评估应用程序546内配置的数据传输协议接收用户设备数据和端点数据。科学评估服务器502还可以从一个或多个第三方/外部服务器510接收一个或多个数据输入。科学评估引擎524可以可操作地与处理器520接合以根据一个或多个功能模块处理数据输入。科学评估引擎524可以进一步可操作地与处理器520接合以根据一个或多个功能模块分析数据输入。科学评估引擎524可以进一步可操作地与处理器520接合以根据一个或多个功能模块管理数据输入和结果数据。根据某些实施例，管理员客户端512和/或制造商客户端506可以通过科学评估应用程序546的实例查询和分析数据输入和结果数据。科学评估应用程序546可以被配置为呈现和输出一个或多个数据可视化和/或报告，配置为使管理员用户56和/或制造商用户54能够根据科学评估和/或临床试验参数评估软件产品544的一个或多个方面。
99.现在参考图6，示出了用于对软件产品602进行科学评估的系统600的功能框图。根据本公开的某些方面，软件产品602是dhi/samd产品，可操作地配置用于至少一种预期的医疗、临床和/或个人健康用途或目的。软件产品602在功能上被配置为通过提供给一个或多个用户设备610的一个或多个应用实例/c sis 606来实现至少一种预期的医疗或临床用途或目的。软件产品602包括一系列处理器可执行指令，包括在计算设备上存储和执行和/或由远程服务器通过通信网络提供给计算设备(例如智能手机或平板电脑)的应用/程序逻辑608。应用程序/程序逻辑608被可操作地配置为将一个或多个应用程序实例/c sis 606呈现给用户设备610；接收一个或多个用户生成的输入614以响应一个或多个应用实例/c sis 606；根据应用程序/程序逻辑608处理一个或多个用户生成的输入614；并且通过应用实例/c sis 606向用户设备610呈现一个或多个应用输出616。应用程序/程序逻辑608被可操作地配置为根据用户的预期医疗或临床用途或目的连续处理用户输入614并呈现/递送一个或多个应用程序输出。应用引擎/算法612可用于响应于输入614动态配置应用/程序逻辑608，以便实现软件产品602的至少一种预期的医疗或临床用途或目的。
100.根据某些实施例并且仍然参考图6，评估引擎604可操作以分析软件产品602的一个或多个安全性、功效和/或性能方面。评估引擎604可以通过应用程序接口(api)618与软件产品602通信地接合，以从软件产品602接收程序输出数据和用户输入数据。评估引擎604被配置为处理和可选地清理经由一个或多个计算/分析框架通过api 618接收的数据。适用于各种实施例中的某些数据清理技术包括但不限于数据的插补、封顶和下限。数据处理/清理操作620可以根据一个或多个科学评估参数动态配置，该参数被配置为分析与软件产品
602的预期医疗、临床和/或个人健康使用或目的相关联的一个或多个因变量。评估引擎604还可被配置为执行一个或多个数据管理操作622，该操作被配置为根据科学评估参数对数据进行分段、分类和/或分析。根据某些实施方案，一种或多种科学评价参数包括一种或多种安全性、功效或性能参数。评估引擎604可以根据一个或多个安全性、功效和/或性能参数分析数据以呈现和输出安全性、功效和/或性能分析624。安全性、功效和/或性能分析624可以被配置为分析和验证引擎/算法612的一个或多个方面。根据某些实施例，安全性、功效和/或性能分析624被配置为提供引擎/算法612实现至少一种预期的医疗、临床和/或个人健康用途或目的程度的定量和定性测量。在某些实施例中，安全性、功效和/或性能分析624可以被配置为提供反馈循环以通知、加强、修改和/或配置引擎/算法612的程序代码的一个或多个方面。
101.现在参考图7，示出了用于软件产品的科学评估的系统内的协议设计的例程700的功能框图。根据某些实施例，软件产品是dhi/samd产品。根据某些实施例，例程700体现为存储在至少一个非暂时性计算机可读介质上的一个或多个功能模块，由系统内的至少一个处理器执行以对软件产品进行科学评估。根据本公开的某些方面，例程700包括用于在科学评估平台和/或应用程序内配置科学评估协议、研究研究协议和/或临床试验协议的一个或多个操作，其可以包括一个或多个步骤702-716。在某些特定实施例中，例程700包括在科学评估服务器和一个或多个执行要评估的软件产品的实例的用户设备和/或软件产品的制造商服务器之间配置一个或多个数据传输协议和数据传输接口702。例程700可以进一步为一个或多个移动/可穿戴设备、第三方服务器和/或应用程序以及生物/生理传感器设备配置数据传输协议和数据传输接口。数据传输协议可以被配置为在用户设备、制造商服务器和相关联的数据源之间将用户生成的数据、设备数据和/或传感器数据传送到科学评估服务器。例程700可以通过定义要由科学评估服务器704评估的软件产品的一个或多个功效端点来继续。根据某些实施例，一个或多个功效端点被配置为验证或验证软件产品的一个或多个程序代码输出与至少一种预期的医疗、临床和/或个人健康用途或目的之间的关联。例程700还可以包括一个或多个安全和性能端点。例程700可以通过为软件产品的科学评估、研究和/或临床试验配置用户选择参数706来继续。例程700可以通过配置用于软件产品的科学评估、研究和/或临床试验的评估参数/方法708来继续。评估参数/方法可以包括软件产品710的处理/使用参数；用户通信参数712，包括在软件产品的科学评估或临床试验期间系统生成的通信/通知和用户/利益相关者通信；管理参数714，用于管理和管理软件产品的科学评估或临床试验。例程700可以通过配置一个或多个数据清理、处理和分析参数和方法716来继续。评估参数/方法可以包括软件产品710的处理/使用参数；用户通信参数712，包括在软件产品的科学评估或临床试验期间系统生成的通信/通知和用户/利益相关者通信；管理参数714，用于管理和管理软件产品的科学评估或临床试验。例程700可以通过配置一个或多个数据清理、处理和分析参数和方法716来继续。
102.现在参考图8，示出了用于在用于对软件产品进行科学评估的系统内进行科学评估选择和启动的例程800的功能框图。根据某些实施例，软件产品是dhi/samd产品。根据某些实施例，例程800体现为存储在至少一个非暂时性计算机可读介质上的一个或多个功能模块，由系统内的至少一个处理器执行以对软件产品进行科学评估。根据本公开的某些方面，例程800包括用于在科学评估平台和/或应用程序内配置科学评估选择和启动协议和参
数的一个或多个操作，其可以包括步骤802-828中的一个或多个。在某些特定实施例中，例程800通过执行用户入职工作流以将用户入职到待评估的软件产品802来启动。用户入职可以包括一个或多个入职步骤，包括：帐户创建810；首次用户体验实例812；一个或多个用户消息传递或用户培训的呈现814；以及与科学评估或临床试验参数和用户同意相关的指令的呈现816。例程800可以通过执行用户入职工作流以将用户入职到科学评估平台804来继续。用户入职工作流程还可包括用于将第三方或外部系统链接到科学评估服务器818的一个或多个操作；以及配置用户账户以管理科学评估协议、研究或临床试验820。例程800可以通过配置用户认证和许可806来继续，包括配置一个或多个产品许可822和一个或多个平台认证参数824。例程800可以通过执行一个或多个工作流来继续，以接收和处理将用于管理科学评估或临床试验808的用户数据。根据某些实施例，用户数据可以包括用户历史健康数据826(例如，电子病历数据和/或实验室信息管理系统数据)和用户人口统计数据828。
103.现在参考图9，示出了用于软件产品的科学评估的系统内的用户招募的例程900的功能框图。根据某些实施例，软件产品是dhi/samd产品。根据某些实施例，例程900体现为存储在至少一个非暂时性计算机可读介质上的一个或多个功能模块，由系统内的至少一个处理器执行以对软件产品进行科学评估。根据本公开的某些方面，例程900包括用于科学评估平台和/或应用内的用户招募协议和参数的一个或多个操作，其可以包括步骤902-908中的一个或多个。在某些特定实施例中，例程900通过经由至少一个用户设备向科学评估平台的用户呈现研究选择界面902来启动。在某些实施方案中，研究选择界面可以被配置为显示一项或多项可通过科学评估平台参与的研究。例程900可以通过经由至少一个用户设备向科学评估平台的用户呈现研究登记界面904来继续。在某些实施方案中，研究登记界面可以被配置为提供研究登记工作流，该研究登记工作流被配置为使科学评估平台的用户能够通过科学评估平台登记一项或多项研究。例程900可以通过经由至少一个用户设备向科学评估平台的用户呈现研究许可工作流904来继续。在某些实施方案中，研究许可工作流程可以包括一个或多个步骤，以获得用户的研究特定同意，以便用户参与科学评估、研究和/或临床试验。例程900可以通过处理研究招募输入908以及将用户登记到科学评估、研究研究和/或临床试验中或者将用户排除在科学评估、研究研究和/或临床试验之外来继续。
104.现在参考图10，示出了用于软件产品的科学评估的系统内的操作数据管理的例程1000的功能框图。根据某些实施例，软件产品是dhi/samd产品。根据某些实施例，例程1000体现为存储在至少一个非暂时性计算机可读介质上的一个或多个功能模块，由系统内的至少一个处理器执行以对软件产品进行科学评估。根据本公开的某些方面，例程1000包括用于科学评估平台和/或应用内的操作数据管理协议和参数的一个或多个操作，其可以包括步骤1002-1022中的一个或多个。在某些特定实施例中，例程1000通过利用科学评估服务器响应于软件产品的一个或多个实例和/或csi接收一个或多个操作数据输入1002来启动。一个或多个操作数据输入可以包括设备数据1012和/或用户生成的数据1014。例程1000可以通过根据一个或多个操作数据管理协议清理和/或分割操作数据1004来进行。例程1000可以通过根据一个或多个数据处理模型、框架和/或规则引擎处理操作数据1006来进行。例程1000可以通过响应于处理操作数据而执行一个或多个操作工作流1008来继续。根据某些实施例，一个或多个操作工作流可包括一个或多个用户通知1016；不良事件跟踪/处理1018；操作数据接口1020；以及管理控制和支持1022。在根据数据处理输出执行一个或多个操作
工作流时，例程1000可以通过更新和存储平台数据库中的操作数据来继续。
105.现在参考图11，示出了用于科学评估软件产品的系统内的软件交付物流的例程1100的功能框图。根据某些实施例，软件产品是dhi/samd产品。根据某些实施例，例程1100体现在一个或多个功能模块中，该功能模块存储在至少一个非暂时性计算机可读介质上并由系统内的至少一个处理器执行，用于对软件产品进行科学评估。根据本公开的某些方面，例程1100包括用于科学评估平台和/或应用程序内的软件交付逻辑协议和参数的一个或多个操作，其可以包括步骤1102-1108中的一个或多个。在某些特定实施例中，例程1100通过配置产品获取接口1102以供用户设备获取(例如，下载)作为研究或临床试验对象的软件产品来启动。例程1100继续为软件产品配置并行认证框架1104。并行认证框架可以被配置为能够跨制造商服务器和科学评估服务器对用户进行并行认证。在其中一个或多个附加评估和/或应用将与软件产品的研究或临床试验结合或作为其一部分进行评估的某些实施例中，例程1100继续为一个或多个附加评估和/或应用程序配置附加评估获取接口1106。在这样的实施例中，例程1100可以通过为一个或多个附加评估和/或应用配置并行认证框架1104来继续。
106.现在参考图12，示出了用于对软件产品进行科学评估的系统内的患者结果数据管理的例程1200的功能框图。根据某些实施例，软件产品是dhi/samd产品。根据某些实施例，例程1200体现在一个或多个功能模块中，该功能模块存储在至少一个非暂时性计算机可读介质上并由系统内的至少一个处理器执行，用于对软件产品进行科学评估。根据本公开的某些方面，例程1200包括用于科学评估平台和/或应用程序内的患者结果数据管理协议和参数的一个或多个操作，其可以包括步骤1202-1226中的一个或多个。在某些特定实施例中，例程1200通过利用科学评估服务器接收用户数据来启动，以响应经由软件产品1202呈现的一个或多个csi。用户数据可以包括设备/传感器数据1212和/或用户生成的数据(例如，用户输入)1214。例程1200可以通过根据一个或多个数据参数和/或数据处理协议1204清理和/或分段用户数据来继续。在某些实施方案中，一个或多个数据参数和/或数据处理协议可以包括清理和分割用户数据以区分性能和功效数据1216与管理或非性能数据1218。例程1200可以通过根据一个或多个统计和/或分析框架1220处理数据1206来继续。一个或多个统计和/或分析框架1220可根据科学评估或临床试验参数配置，并可配置为分析与软件产品的一个或多个安全性、有效性和/或性能端点相关的一个或多个因变量。响应于根据一个或多个统计和/或分析框架1220处理数据1206，例程1200可通过进一步处理数据以基于用户数据导出用户结果数据和/或一个或多个用户结果度量1208而继续。根据某些实施例，一个或多个用户结果度量1208可以包括一个或多个安全度量1222、功效度量1224和/或性能度量1226。例程1200可以通过响应于管理员用户的请求查询用户结果数据并且经由图形用户界面1210向管理员用户呈现/呈现一个或多个数据可视化和结果度量来继续。根据某个实施例，步骤1210还被配置为根据一个或多个科学评估、研究和/或临床试验协议呈现和输出一个或多个数据集。
107.现在参考图13，示出了用于dhi/samd 1302的科学评估(例如，研究或临床试验)的系统1300的功能框图。根据一个实施例，平台服务器1303包括用于科学评估dhi/samd 1302的科学评估平台和应用程序。制造商客户端1301可以被配置为托管dhi/samd 1302并向多个用户设备提供dhi/samd 1302。管理员客户端1305可以与平台服务器1303通信地接合以
选择性地配置一个或多个协议和参数以用于管理与dhi/samd 1302相关的科学评估、研究和/或临床试验。根据某些实施例，系统1300被可操作地配置为通过在管理员客户端1305上执行的科学评估应用程序内执行研究设置工作流1306来开始dhi/samd 1302的科学评估、研究和/或临床试验。研究设置工作流程1306被可操作地配置为接收和配置科学评估平台内的一个或多个研究参数1336。在接收到研究参数1336之后，平台服务器1303被可操作地配置为执行平台载入工作流1304。平台载入工作流1304可以包括在制造商客户端1301和平台服务器1303之间建立数据传输接口1334和一个或多个数据传输协议。数据传输接口1334可以被可操作地配置为将数据从dhi/samd 1302传输到平台服务器1303以进行处理和分析。在完成平台入职工作流程1304后，平台服务器1303可以被可操作地配置为执行一个或多个研究管理工作流程1310。管理员客户端1305可以通过在管理员客户端1305上执行的科学评估应用程序配置一个或多个操作参数1314，并且将一个或多个研究协议1340传送到平台服务器1303。平台服务器1303可以根据研究协议1340配置一个或多个平台逻辑/操作，并且可以为用户账户1308配置跨制造商客户端和平台服务器的并行认证1338。在完成研究管理工作流1310后，平台服务器1303可以被可操作地配置为执行一个或多个数据管理操作1318。平台服务器1303可以配置为响应于与dhi/samd 1302相关联的一个或多个实例/c sis 1316从制造商客户端1301接收用户生成的数据1342。平台服务器1303可以被配置为根据一个或多个数据管理参数清理/分割用户生成的数据1342，并通过科学评估应用程序将操作数据1344呈现给管理员客户端1305。管理用户可以通过科学评估应用程序查询操作数据1344并查看操作数据1344的一个或多个数据可视化；并且可以通过科学评估应用程序执行一个或多个研究管理工作流1320。平台服务器1303还可以被配置为根据一个或多个数据处理框架执行一个或多个数据处理操作1322，并通过科学评估应用程序将性能数据1346呈现给管理员客户端1305。管理用户可以根据一个或多个科学评估、研究和/或临床试验协议执行一个或多个数据分析操作1324。平台服务器1303可以进一步被配置为根据一个或多个用户结果管理参数执行一个或多个用户结果管理操作1330。用户结果管理操作1330可以包括向制造商客户端1301提供结果数据1348。制造商客户端1301可以被可操作地配置为执行用于验证和/或修改用于dhi/samd的一个或多个程序代码输出1328的操作。用户结果管理操作1330还可以包括通过科学评估应用程序向管理员客户端1301提供结果数据1348。根据某些实施例，科学评估应用被可操作地配置为执行一个或多个科学评估操作1332，包括对dhi/samd 1302的一个或多个程序代码输出1328的一个或多个统计分析。根据某些实施例，科学评估操作1332可以包括对dhi/samd 1302的一个或多个程序代码输出的一个或多个安全性、功效、性能和/或质量保证方面的评估。根据进一步的实施例，科学评估操作1332可以包括呈现一个或多个研究或临床试验数据输出。根据进一步的实施例，科学评估操作1332可以包括根据一种或多种医学或临床预期用途分析dhi/samd 1302的一个或多个功效端点。
108.现在参考图14，示出了用于对软件产品进行科学评估的方法1400的过程流程图。根据某些实施例，软件产品是dhi/samd产品。根据某些实施例，方法1400体现为一个或多个功能模块被存储在至少一个非暂时性计算机可读介质上，由系统内的至少一个处理器执行，用于软件产品的科学评估、研究和/或临床试验。根据本公开的某些方面，方法1400包括通过与科学评估服务器可操作地接合的处理器接收来自用户群体1402中的至少一个用户
的一个或多个端点的多个输入数据，以响应软件产品提供的一个或多个用户提示或csi。根据某些实施例，一个或多个端点包括一个或多个执行软件产品实例的用户计算设备。方法1400可以通过处理器根据统计框架、处理器和包括科学评估引擎的统计框架在两个或更多个时间点分析csi和用户生成的输入之间的至少一个刺激-响应模式来继续，以确定软件产品的一个或多个性能度量1404。方法1400可以通过利用科学评估引擎分析输入数据和性能度量来继续，以确定用户群体1406中的至少一个用户的一个或多个用户结果度量。方法1400可以进一步通过利用科学评估引擎分析csi和结果度量以确定与软件产品1408的主要指示或预期用途相关联的一个或多个安全性、功效和/或性能度量。方法1400可以进一步通过呈现结果度量和一个或多个安全性、功效和/或性能度量并将其输出到一个或多个管理员设备1410以对一个或多个软件产品的程序代码输出进行科学评估和/或分析验证来继续。
109.现在参考图15，示出了用于对软件产品进行科学评估的方法1500的过程流程图。根据某些实施例，软件产品是dhi/samd产品。根据某些实施例，方法1500体现为存储在至少一个非暂时性计算机可读介质上的一个或多个功能模块，该介质由系统内的至少一个处理器执行，用于对软件产品进行科学评估。根据某些实施例，方法1500可以是方法1400的延续。根据本公开的某些方面，方法1500包括在设备端点和科学评估服务器1502之间建立数据传输接口/协议。方法1500可以通过利用科学评估服务器为软件产品1504配置一个或多个科学评估参数来继续。方法1500可以通过根据科学评估参数1506将软件产品提供给一个或多个用户设备而进一步继续。根据一个实施例，一个或多个用户设备包括用户群。方法1500可以进一步继续，其中处理器与科学评估服务器可操作地接合，从用户群体1508中的一个或多个用户设备接收端点数据和用户生成的数据。方法1500可以进一步通过利用处理器根据统计框架处理移动端点数据和用户生成的数据以确定用户统计和刺激输入模式1510来继续，处理器和包含科学评估引擎的统计框架。方法1500可以进一步通过利用科学评估引擎分析用户群体的结果数据来确定/验证软件产品1512的一个或多个程序代码输出与软件产品的预期用途/利益之间的有效关联。
110.现在参考图16，示出了用于对软件产品进行科学评估的方法1600的过程流程图。根据某些实施例，软件产品是dhi/samd产品。根据某些实施例，方法1600体现为存储在至少一个非暂时性计算机可读介质上的一个或多个功能模块，该介质由系统内的至少一个处理器执行，用于对软件产品进行科学评估。根据某些实施例，方法1500可以是方法1400和/或1500的延续。根据本公开的某些方面，方法1600包括在科学评估服务器和包括至少一个执行软件产品1602的实例的计算设备的一个或多个端点之间建立数据传输接口和一个或多个数据传输协议。方法1600可以通过用科学评估服务器配置一个或多个科学评估协议来继续，该协议包括软件产品1604的安全性、功效和/或性能端点。方法1600可以进一步通过在两个或多个时间点1606向一个或多个用户设备提供与科学评估服务器可通信地接合的制造商服务器的一个或多个csi或软件产品实例来继续。根据某些实施例，一个或多个用户设备包括用户群。方法1600可以进一步通过利用与科学评估服务器可操作地接合的处理器从用户设备1608接收用户生成的数据和设备数据来继续。方法1600可以进一步通过利用处理器根据至少一个统计框架处理设备数据和用户生成的数据以确定一个或多个用户统计和刺激输入模式1610、处理器和至少一个包括一个科学的评估引擎的统计框架来继续。方法
1600可以通过使用科学评估引擎分析用户群体的用户结果数据来进一步继续，以确定/验证软件产品1612的一个或多个安全性、功效和/或性能度量。方法1600可以进一步通过根据安全性、功效和/或性能度量1614修改和/或配置软件产品的一个或多个csi，其中制造商服务器与科学评估服务器可通信地接合。
111.对本领域技术人员来说显而易见的是，本发明的上述实施例可以以多种方式中的任何一种来实现。例如，一些实施例可以使用硬件、软件或其组合来实现。当实施例的任何方面至少部分在软件中实现时，软件代码可以在任何合适的处理器或处理器集合上执行，无论是在单个计算机中提供还是分布在多个计算机之间。
112.此外，本发明的各个方面可以至少部分地体现为计算机可读存储介质(或多个计算机可读存储介质)(例如，计算机存储器、光盘、磁带、闪存、现场可编程门阵列或其他半导体器件中的电路配置，或其他有形计算机存储介质或非瞬态介质)由一个或多个程序编码，当在一个或多个计算机或其他处理器上执行时，这些程序执行实现上述技术的各种实施例的方法。计算机可读介质可以是可运输的，使得存储在其上的一个或多个程序可以加载到一个或多个不同的计算机或其他处理器上，以实现上述本技术的各个方面。
113.尽管本发明的实施例已经以某种程度的特殊性进行了描述，但可以理解，本发明是通过示例的方式提供的，并且在不脱离本发明的精神或范围的情况下，可以对部件的构造或布置的细节甚至步骤进行各种更改。本文中使用的术语和表达被用作描述术语而非限制术语，其使用并不打算排除由此描述的特征或步骤的等效物。