手术室黑盒设备、系统、方法和计算机可读介质与流程
相关申请的交叉引用
本申请要求于2014年9月23日提交的美国临时申请号62/054,057和于2015年3月26日提交的美国临时申请号62/138,647的优先权，其全部内容通过引用并入本文。
本文中所描述的实施例一般涉及医疗设备、系统和方法的领域，更具体地，涉及一种医疗或外科手术黑盒(black-box)设备、系统、方法和计算机可读介质。
背景技术：
在实况手术室(or)设置或患者干预区域中实现数据收集的先前尝试可能未成功。示例原因可能包括：(1.)不全面。先前尝试包括非常有限数目的投入，其可能导致无法标识导致不良后果的事件链，和/或无法验证提供质量改进益处。(2.)未同步。先前尝试没有实现记录多个视频-音频馈送的同步。(3.)不适用严格的数据分析方法。先前尝试使用隔离度量。这些尝试不能同时分析外科手术的多个方面——例如，技术表现、非技术技能、人为因素、工作流程、职业安全、通信等。以及(4.)分析的价值可能没有得到充分证明。这些仅是示例，并且可能存在先前途径的其它缺点。
附图说明
在附图中，
图1图示了根据一些实施例的架构平台的示意图。
图2图示了根据一些实施例的多信道记录设备或编码器的示意图。
图3图示了根据一些实施例的示例广角视频相机的示意图。
图4图示了根据一些实施例的示例麦克风的示意图。
图5图示了根据一些实施例的示例分布放大器和转换器的示意图。
图6图示了根据一些实施例的示例中央信号处理器的示意图。
图7图示了根据一些实施例的示例触摸屏监视器的示意图。
图8图示了根据一些实施例的示例视图的示意图。
图9图示了根据一些实施例的极性图案的示意图。
图10图示了根据一些实施例的示例网络的示意图。
图11图示了根据一些实施例的示例编码器的示意图。
图12图示了根据一些实施例的示例方法的流程图。
图13图示了根据一些实施例的示例接口的示意图。
图14图示了根据一些实施例的示例系统的示意图。
图15图示了根据一些实施例的示例视图的示意图。
图16图示了根据一些实施例的黑盒记录设备的示意图。
具体实施方式
为了说明各种实施例，对部件、架构、描述和定义进行参考。实施例可以提供一种系统、方法、平台、设备和/或计算机可读介质，其提供外科手术室(or)、重症监护病房、创伤室、急诊部、介入套间、内窥镜套间、产科套间和/或医疗或外科病房、门诊医疗设施、临床现场或保健训练设施(模拟中心)中的患者护理细节的综合数据收集。这些不同的示例环境或设置在本文中可以被称为手术现场或临床现场。
本文中所描述的实施例可以提供设备、系统、方法、平台和/或计算机可读介质，其提供一个或多个这样的设置中的患者护理的所有细节的综合数据收集，以便：标识和/或分析误差、不良事件和/或不良后果；提供综合数据，其允许调查从误差到不良事件的事件链；提供关于个体表现和/或团队表现的信息，例如，用于保健专业人员的能力、认证和/或再认证的高风险评估；提供数据用于基于所证明的表现缺陷来为外科手术和/或医疗团队设计个性化训练干预；标识人类表现和/或安全过程中的关键安全缺陷，例如，用于创建旨在降低风险和/或增强患者安全性的个性化解决方案；和/或评估医疗技术中的关键安全缺陷、和/或提供设计和/或表现改进的反馈，分析并监视临床环境中的效率和安全过程。
在一方面中，本文中所描述的实施例涉及一种用于收集和处理医疗或外科手术数据的系统。该系统可以具有多个硬件单元，其用于收集实时医疗或外科手术数据流，该硬件单元具有通过网络耦合至相机、传感器、音频设备和患者监视硬件的控制接口，实时医疗或外科手术数据流与手术现场或临床现场内的实时医疗过程有关。硬件单元可以从不同设备采集或收集一个或多个独立数据流，而硬件单元所提供的每个数据流又可以与通过其它硬件单元提供的其它数据流无关。因而，系统可以实现如本文中所描述的数据流的同步技术。该系统可以具有设备中间件和硬件，其用于转换(translate)、连接和格式化独立地从硬件单元(其又可以独立地从不同设备接收数据馈送)接收的实时医疗或外科手术数据流。
该系统可以具有编码器，该编码器具有网络服务器，用于将实时医疗或外科手术数据流同步并且记录到公共时钟或时间线，以生成会话容器文件。如所指出的，该同步可以以一致方式聚合独立的数据馈送，以生成由来自多个独立设备的数据生成的综合数据馈送。
该系统可以具有网络基础设施，该网络基础设施连接编码器、设备中间件和硬件以及硬件单元、以及虚拟专用网络的交换或网关硬件，以传送会话容器文件。
在一些示例实施例中，设备中间件和硬件使用网络基础设施来建立安全可靠连接，用于与编码器和硬件单元进行通信。
在一些示例实施例中，设备中间件和硬件使用硬件单元之间的时钟同步的网络协议，来实现实时医疗或外科手术数据流的数据一致性和精确同步，以辅助编码器生成会话容器文件。
在一些示例实施例中，编码器、以及设备中间件和硬件能够操作以与第三方设备进行接口，以接收作为实时医疗或外科手术数据流的一部分的附加数据馈送。
在一些示例实施例中，该系统具有可使用控制接口来访问的中央控制站，该控制站被配置成响应于包括播放/暂停、停止会话、记录会话、移动到会话帧、分割显示、记录状态指示符和日志文件在内的输入控制，来控制数据流的处理。
在一些示例实施例中，网络基础设施向来自硬件单元的实时医疗或外科手术数据流提供增加的故障切换和冗余。
在一些示例实施例中，该系统具有用于存储实时医疗或外科手术数据流的数据容器文件的存储区域网络，直到调度传输为止。
在一些示例实施例中，编码器对医疗或外科手术数据实现身份匿名化和加密。
在一些示例实施例中，编码器处理实时医疗或外科手术数据流以生成与医疗过程有关的测量度量。
在一些示例实施例中，实时医疗或外科手术数据流与时间线相关，其中编码器检测时间线上的对应时间的实时医疗或外科手术数据流内的事件、以及具有事件的会话容器文件的标签和时间戳，该时间戳与时间线上的时间相对应。
在一些示例实施例中，该系统具有用于对所同步的医疗或外科手术数据流进行注释和标记的智能仪表板接口，其中智能仪表板可以实现具有回放观看的查看器，用于审查内容和用于标记内容的接口控件。
在一些示例实施例中，智能仪表板是多维的，其在于如由实时医疗或外科手术数据流表示的用于医疗过程的所有尺寸变量的并集可以指示一个或多个可适用注释字典或编码模板的特定集合。
在一些示例实施例中，可以用于确定注释和标记词典的示例变量可以是：正在被执行的医疗过程的类型、正在被分析的过程的方面、其中过程正在被执行的地理区域/地区。
在另一方面，提供了一种多信道编码器，其用于将医疗或外科手术数据流收集、集成、同步和记录到具有公共时间线或时钟的单个接口上，从多个硬件单元接收该医疗或外科手术数据流作为独立实时或实况数据流，编码器具有网络服务器，该网络服务器用于调度用以记录的会话文件容器的传输，该编码器处理医疗或外科手术数据流以生成与实时医疗过程有关的测量度量。该编码器聚合从不同硬件单元或智能设备接收的多个独立的数据流或馈送。
在一些示例实施例中，编码器使用无损压缩操作来生成单个会话传输文件作为输出。
在一些示例实施例中，编码器检测数据流的记录的完成并且安全加密单个传输文件。
在一些示例实施例中，编码器对医疗或外科手术数据实现身份匿名化。
在一些示例实施例中，数据流包括音频、视频、文本、元数据、定量、半定量和数据馈送。
在另一方面中，提供了一种用于收集和处理医疗或外科手术数据的方法。该方法包括：在多信道编码器处接收来自位于手术室或其它患者干预区域中的一个或多个数据捕获设备的多个实况或实时独立输入馈送，该输入馈送与实况或实时医疗过程有关；
该方法可以包括：通过编码器将多个实况独立输入馈送同步到具有公共时间线或时钟的单个接口上；以及使用网络服务器来记录所同步的输入馈送。该方法可以包括：通过编码器使用所同步的输入馈送来生成输出会话文件；以及使用网络服务器来传送输出会话文件。
在一些示例实施例中，该方法还包括：处理数据流以进行身份匿名化。
在一些示例实施例中，该方法还包括：使用交换路由器将数据流路由到编码器。
在又一方面中，提供了一种用于收集和处理医疗或外科手术数据的基于云的系统。该系统可以具有编码器，其具有控制接口，用于响应于接收到控制命令，通过包括相机、传感器、音频设备和患者监视硬件在内的智能设备来触发实时医疗或外科手术数据流的收集，该医疗或外科手术数据与手术现场或临床现场内的实时医疗过程有关，编码器用于认证智能设备，智能设备通过在实时医疗或外科手术数据流内嵌入时间戳标记来同步实时医疗或外科手术数据流，通过设备时钟由每个智能设备来生成时间戳标记。该系统还具有媒体管理集线器服务器，其具有用于转换、连接、格式化和记录实时医疗或外科手术数据流的中间件和硬件，以在网络可访问存储设备上生成会话容器文件；以及无线网络基础设施，用于提供编码器、智能设备和媒体管理集线器服务器之间的安全网络连接，用于传达实时医疗或外科手术数据流。该系统还具有中央内容服务器，其用于存储和分发会话容器文件，并且向媒体管理集线器提供双向通信接口，以实现会话容器文件的文件传递握手。该系统还具有虚拟专用网络隧道(tunnel)的交换或网关硬件，其用于将会话容器文件从媒体管理集线器传送到所述中央内容服务器。基于云的系统可以使得匿名的独立智能设备能够对所收集的数据进行时间戳，并且实现同步技术来聚合独立的数据流和馈送以生成医疗或外科手术过程或单元的全面的实时数据表示。
在一些示例实施例中，媒体管理集线器服务器向智能设备广播时钟数据用于同步设备时钟。
在一些示例实施例中，编码器提供用户接口以接收控制命令并且显示医疗或外科手术数据的实时视觉表示。
在一些示例实施例中，媒体管理集线器服务器聚合、打包、压缩和加密实时数据流以生成会话容器文件。
在一些示例实施例中，媒体管理集线器服务器基于位置、日程、区域和要求来管理智能设备。
在一些示例实施例中，媒体管理集线器服务器从智能设备接收操作状态数据，以生成具有智能设备的操作状态数据的视觉表示的管理接口，该操作状态数据包括在线、离线、运行捕获和板载存储。
在一些示例实施例中，媒体管理集线器服务器处理操作状态数据以检测在正常状态之外操作的智能设备，并且响应生成在正常条件之外操作的所检测到的智能设备的警报通知。
在一些示例实施例中，媒体管理集线器服务器实现用于智能设备的设备通信接口，以实现用于实时医疗或外科手术数据流的设备数据传递握手。
在一些示例实施例中，媒体管理集线器服务器认证智能设备。
在一些示例实施例中，该系统具有计算智能平台，其用于接收会话容器文件以构建分析模型，以标识会话容器文件内的用于预测、成本和安全隐患的临床因素，分析模型提供网络用于从会话容器文件中提取涉及具有时变参数的多变量数据集的特征、相关性和事件行为。
在一些示例实施例中，该系统具有训练或教育服务器，其用于接收会话容器文件，处理会话容器文件以标识不良患者结果的根本原因，并且生成训练接口以使用所标识的根本原因和会话容器文件来传达训练或表现反馈数据。
在一些示例性实施例中，智能设备包括用于对手术现场或临床现场内的对象进行无标记运动跟踪的运动跟踪设备，该系统还包括处理器，其被配置成将来自运动跟踪设备的所捕获的运动数据转换成标识人为因素、工作流程设计和事件链的数据结构。
平台可以具有不同的方面，包括硬件、软件、前端部件、中间件部件、后端部件、富内容分析软件和分析软件(例如，数据库)。
图1示出了根据一些实施例的架构平台。该平台10包括各种硬件部件，诸如网络通信服务器12(也被称为“网络服务器”)和网络控制接口14(包括监视器、键盘、触摸接口、平板电脑、处理器和存储设备、网络浏览器)，用于现场专用网络管理。
多个处理器可以配置有操作系统和客户端软件(例如，linux、unix、windowsserver或等同物)、调度软件、备份软件。数据存储设备可以连接在存储区域网络上。
图1示出了外科或医疗数据编码器22。该编码器在本文中可以被称为数据记录器、“黑盒”记录器、“黑盒”编码器等等。本文中将对其它细节进行描述。平台10还可以具有物理和逻辑安全性，以防止意外或未经批准的访问。网络和信号路由器16连接部件。
该平台10包括硬件单元20，该硬件单元20包括用于捕获和生成用于提供给编码器22的医疗或外科手术数据馈送的数据捕获设备的集合或组。硬件单元20可以包括相机30(例如，广角、高清晰度、平移和变焦相机，诸如sonyevi-hd1或其它示例相机)，其安装在外科手术单元、icu、急诊单元或临床干预单元内，以捕获or的视频表示作为视频馈送以提供给编码器22。视频馈送可以被称为医疗或外科手术数据。示例相机30是驻留在外科手术单元、icu、急诊单元或临床干预单元中的腹腔镜或过程视野相机(aida、karlstorz或等同物)。示例视频硬件包括用于腹腔镜相机的信号分离的分布式放大器。硬件单元20具有安装在外科手术单元、icu、急诊单元或临床干预单元内的音频设备32(例如，诸如es935ml6、audiotechnica或其它示例的电容式鹅颈式麦克风)，以提供作为医疗或外科手术数据的另一示例的音频馈送。在外科手术单元、icu、急诊单元或临床干预单元中安装或使用的示例传感器34包括但不限于：环境传感器(例如，温度传感器、湿气传感器、湿度传感器等)、声学传感器(例如，环境噪声传感器、分贝传感器)、电传感器(例如，霍尔传感器、磁性传感器、电流传感器、微机电系统传感器、电容传感器、电阻传感器)、流量传感器(例如，空气传感器、流体传感器、气体传感器)、角度/位置/位移传感器(例如，陀螺仪传感器、姿态指示器传感器、压电传感器、光电传感器)、以及其它传感器(例如，应变传感器、液位传感器、载荷单元传感器、运动传感器、压力传感器)。传感器34提供作为医疗或外科手术数据的另一示例的传感器数据。硬件单元20还包括患者监视设备36和仪器批(lot)18。
可定制的控制接口14和gui(可以包括平板设备、pda、混合设备、可转换件(convertibles)等)可用于控制单元20的硬件部件的配置。平台10具有用于在专用vlan或其它网络上进行设备到设备转换和连接和同步的中间件和硬件。计算设备可以配置有匿名软件、数据加密软件、无损视频和数据压缩软件、语音失真软件、转录软件。网络硬件可能包括电缆，诸如以太网、rj45、光纤、sdi、hdmi、同轴、dvi、分量音频、分量视频等，以支持部件之间的有线连接性。网络硬件还可以具有无线基站以支持部件之间的无线连接性。
说明性实施例的描述和定义
提供了各种部件的说明性定义作为各种实施例的示例。
专用vlan可以是指网络技术，其经由受限“专用端口”提供客户端上的网络(现有骨干架构)的网络隔离和安全托管。
vpn可以跨越诸如因特网之类的公共网络来扩展专用网络。其使得计算机或网络使能设备能够跨越共享网络或公共网络发送和接收数据，就像它直接连接至专用网络一样，同时从专用网络的功能性、安全和管理策略中受益。图1示出了连接至交换器和网关硬件和、以及编码器22的示例vpn24(虚拟专用网络)。
匿名化软件用于匿名化和保护医疗、临床或急诊单元中的所有医疗专业人员、患者、区别对象或特征的身份。该软件实现用于检测医疗、临床或急诊单元中的面部、区别对象或特征的方法和技术，并且使区别元件的图像变形/模糊。变形/模糊的程度逐帧限制在局部区域，直至身份受到保护为止，而无需限制分析质量。
话音或词汇更改软件用于在医疗、临床或急诊环境中匿名化和保护所有医疗专业人员、患者、区别对象或特征的身份。该软件可以实现在医疗、临床或急诊环境中在硬件上运行的方法和技术，以更改话音、对话和/或移除日常语言的语句，以保留扬声器的身份，同时维持输入流的完整性以免对分析质量造成不良影响。
数据加密软件可以以在不能访问密钥的情况下而无法恢复的方式来执行以加密计算机数据。内容可以在源处被加密为单独的数据流，或加密为综合容器文件，用于存储在电子介质(即，计算机、存储系统、电子设备)上和/或通过互联网26传输。加密/解密密钥可以嵌入在容器文件中，并且可以通过主密钥进行访问，或分别传送。
无损视频和数据压缩软件使用允许原始数据从压缩数据完美或接近完美地重建的一类数据压缩技术来执行。
可以提供设备中间件和硬件用于从源设备转换、连接、格式化和同步独立数字数据流。平台10可以包括硬件、软件、算法和方法，用于直接或间接地(经由路由器、无线基站)与or编码器22和用于外科手术单元、icu、急诊或其它临床干预单元中的第三方设备(开放或专有)建立安全可靠的连接和通信。
硬件和中间件可以确保数据一致性、格式化和准确同步。可以通过诸如ntp等之类的分组交换网络，利用计算机系统和电子设备之间的时钟同步的联网协议来取得同步。
硬件单元可以包括第三方设备(开放或专有)，其非限制性示例是o2sat监视器、麻醉监视器、患者监视器、能量设备、智能外科手术设备(即，智能吻合器、智能腹腔镜仪器)、自主外科手术机器人等；医院患者管理系统(即，电子患者记录)；智能植入物；传感器，包括但不限于环境传感器，即，温度传感器、湿气传感器、湿度传感器等；声学传感器，即，环境噪声传感器、分贝传感器等；电传感器，即，霍尔传感器、磁性传感器、电流传感器、微机电系统传感器、电容传感器、电阻传感器等；流量传感器，即，空气传感器、流体传感器、气体传感器等；角度/位置/位移传感器，即，陀螺仪传感器、姿态指示器传感器、压电传感器、光电传感器等；其它传感器：应变传感器、液位传感器、负载单元传感器、运动传感器、压力传感器等。
转录软件可以利用诸如自然语言语音识别之类的技术来辅助人类语音转换成文本转录。
or或外科手术编码器：or或外科手术编码器(例如，编码器22)可以是多信道编码设备，其记录、集成、纳入和/或同步独立的音频、视频和数字数据流(定量、半定量和定性数据馈送)成单个数字容器。数字数据可以被纳入到编码器中作为元数据流，并且来源于在外科手术、icu、急诊或其它临床干预单元中使用的潜在传感器类型和第三方设备(开放或专有)阵列。这些传感器和设备可以通过中间件和/或硬件设备连接，该中间件和/或硬件设备可以用于从受推崇的源来转换、格式化和/或同步实时数据流。
可定制的控制接口和gui。控制接口(例如，14)可以包括中央控制站(非限制性示例是一个或多个计算机、平板电脑、pda、混合体和/或可转换件等)，其可以位于临床单元或指定的另一客户位置。可定制的控制接口和gui可能包含可定制的图形用户接口(gui)，其提供系统的简单的用户友好的和功能性的控制。
可定制的控制接口和gui的示例特征可以包括但不限于：播放/暂停按钮，其可以使得过程的某些分段能够不被记录。为了从记录中省略这些分段，用户接口可以暂停记录，并且在需要时重新启动。暂停和播放时间戳被记录在日志文件中，指示所提取的过程的确切时间；停止会话按钮，其被选择时，文件关闭并且自动传递到存储区域网络(san)；视频馈送的分屏象限显示，其可以在记录期间实时提供视频的视觉显示；记录的视觉指示器可能是出现在屏幕上的彩色的闪烁点，以向其中视频和音频馈送正在被记录的团队提供视觉指示；其中在记录结束时的日志文件，可能会生成日志文件(其指示关键时间点)，包括记录会话的开始时间和结束时间、暂停和重播；密码保护，其可以是指使用用于确保维护患者的机密性和隐私的一层或多层密码保护来防护的接口。
系统级应用可以是指平台10，其被设计成范围从小的单个临床干预单元到(多个)大规模临床干预单元的可伸缩平台(scalableplatform)。必要时，可以在更大规模应用中使用交换路由器以最大化效率和/或递送增加的故障切换和冗余能力。
示例应用
在一方面中，所描述的实施例可以提供说明性的小规模应用。作为小型单编码器平台，音频、视频和数据馈送直接经由电缆或间接经由连接的无线基站而连接至编码器22。
使用可定制的控制接口和gui，系统的激活可以开始将所有可用的音频、视频、传感器和数据馈送(其可以被称为医疗和外科手术数据馈送)记录、收集和流传输到编码器22。它将使用包括所安装的相机和腹腔镜相机在内的所有可用的相机、在手术单元、icu、急诊或其它临床干预单元中使用的所有音频麦克风和所有可用和实现的传感器和第三方设备(开放或专有)。暂停或停止或播放命令将向编码器22发送对应的命令。数字数据将通过中间件硬件和软件、并且使用跨越网络的网络同步的联网协议进行格式化、转换和同步。数字数据将被纳入编码器22中作为元数据。
编码器22可以负责同步所有馈送，使用无损音频/视频/数据压缩软件将它们编码成信号传送文件。
在完成记录之后，容器文件将被安全加密。加密/解密密钥可以嵌入容器文件中，并且可以通过主密钥访问，或分别被传送。
加密后的文件可以存储在编码器22上，或者存储在存储区域网络上，直到调度传输为止。
专用vlan上的通信服务器负责日程管理和自动文件和密钥传输。这可以通过客户端环境上的专用vlan进行，并且经由虚拟专用网(vpn)24引导回后台的公共数据线上传送。
作为配置的一部分，通信服务器可以负责利用备份软件来备份包括音频、视频、数据、加密后的文件等在内的数据。
通信服务器可以负责托管和引导专用vlan和后台之间的所有流量(traffic)。
在另一方面中，本文中所描述的实施例可以涉及编码器，其被配置成用于托管和操作匿名化和话音或(多个)词汇更改软件，用于保护医疗、临床或急诊环境中的医疗专业人员、患者、区别对象或特征的身份。这可以在压缩、集装和/或加密汇总数据(collectivedata)之前或者在接收到后台的传输和解密之后进行。
在一方面中，所描述的实施例可以提供说明性的大规模应用。
可能需要更大的应用环境。为了最大化效率并且递送增加的故障切换和冗余能力，可以使用交换路由器(例如，图1的路由器16)。在该示例中，较大的应用音频、视频和数据馈送可以通过电缆或经由连接的无线基站而连接至交换路由器16。路由器的目的是将音频、视频和数据馈送路由到在网络上可用的多个编码器22中的一个编码器。这可以向平台10提供更具成本效益的实现、更大的空间覆盖、以及增加的冗余和故障切换。
使用可定制的控制接口14和gui，激活信号可以触发或开始将所有可用的音频、视频和数据馈送(来自硬件单元20的部件)经由交换路由器16记录、收集和流传输到多个可用编码器22中的一个可用编码器。例如，数据流或馈送可以来自包括所安装的相机和腹腔镜相机在内的所有可用的相机、所有音频麦克风、以及在硬件单元20中使用的所有可用和实现的传感器以及第三方设备(开放或专有)，其可以涉及到外科手术单元、icu、急诊或其它临床干预单元。在控制接口14处接收的诸如暂停/停止/播放命令之类的控制命令可以向编码器22发送对应的控制命令。可以通过中间件硬件和软件、并且使用跨越网络进行时钟同步的联网协议，对数字数据进行格式化、转换和同步。数字数据流可以被纳入到编码器22中作为元数据。编码器22可以负责使用无损音频/视频/数据压缩软件将所有馈送同步并且将其编码成信号传送文件。
在完成记录之后，可以安全地加密容器文件。加密/解密密钥可以嵌入在主文件中并且可以通过主密钥访问，或者具有单独的密钥。加密后的文件将被存储在编码器22上或者被存储在存储区域网络上，直到调度传输为止。
专用vlan24上的通信服务器可以负责日程管理以及自动文件和密钥传输。这可以通过客户端环境上的专用vlan来进行，并且经由vpn24在引导回后台或其它系统的公共数据线上传送。
作为配置的一部分，通信服务器(例如，网络服务器12)可以负责利用备份软件来备份包括音频、视频、数据、加密后的文件等在内的数据。例如，通信服务器可以负责托管和引导专用vlan和后台系统之间的所有流量。
在一些示例中，编码器22还可以负责托管和操作匿名化和(多个)话音/词汇失真软件，用于保护在硬件单元20的数据流中捕获的医疗、临床或急诊环境中的所有医疗专业人员、患者、区别对象或特征的身份。这可以在压缩、集装和/或加密之前进行，或者在后台系统中解密之后进行。
在一方面中，本文中所描述的实施例可以提供一种容纳在临床区域中的设备、系统、方法、平台和/或计算机可读介质，并且允许在临床干预期间从个体、团队和/或技术表现以及它们的交互的每个方面来采集综合信息。数据捕获设备可以被分组为如图1所示的一个或多个硬件单元20。
根据一些实施例，该信息可以包括：来自过程领域的视频；临床环境的视频；音频；来自患者的生理数据；通过各种传感器(例如，环境传感器、声学传感器、电传感器、流量传感器、角度/位置/位移传感器和其它潜在传感器)的环境因素；来自在干预期间使用的医疗设备的软件数据；和/或来自保健提供者的个体数据(例如，心率、血压、皮肤电导、运动和眼睛跟踪等)。
根据一些实施例，该信息然后可以被同步(例如，通过编码器22)和/或用于评估：保健提供者的技术表现；临床团队成员的非技术表现；患者安全(通过注册的误差和/或不良事件的数目)；职业安全；工作流程；视觉干扰和/或噪声干扰；和/或医疗设备/外科手术设备和/或保健专业人员之间的交互等。
根据一些实施例，这可以通过使用客观结构化评估工具和问卷调查和/或通过从传感器34、音频设备32、麻醉设备、医疗设备/外科手术设备、植入物、医院患者管理系统(电子病历)或硬件单元20的其它数据捕获设备等检索一个或多个连续数据流来实现。
根据一些实施例，显著“事件”可以被检测、标记、时间戳和/或记录为表示过程和/或临床遭遇的整个持续时间的时间线上的时间点。时间线可以覆盖所捕获的和所处理的数据以用时间点来标记数据。
在完成数据处理和分析之后，可以在gui中表示的单个时间线上查看一个或多个这样的事件(以及潜在的所有事件)，例如，以允许评估员来：(i)标识事件集群；(ii)分析两个或更多个注册参数之间(以及潜在地在所有注册参数之间)的相关性；(iii)标识导致不良后果的潜在因素和/或事件模式；(iv)开发可能与误差/不良事件/不良后果统计学相关的干预(其在本文中可以被称为“危险区域”)的一个或多个关键步骤的预测模型；(v)标识表现结果(performanceoutcome)和临床成本之间的关系。这些是评估员可以使用的、由表示所记录的事件的gui所呈现的时间线的非限制性示例。
根据一些实施例分析这些潜在因素可以允许以下各项中的一项或多项：(i)主动监视临床表现；和/或(ii)监视保健技术/设备的表现；(iii)建立教育干预(例如，个性化结构化反馈(或指导))、基于模拟的危机场景、虚拟现实训练程序、认证/再认证保健从业人员和机构的课程；和/或标识医疗设备/外科手术设备的安全/表现缺陷，并且开发“智能”设备和植入物的改进和/或设计建议，以遏制未来过程中危险因素的比例和/或最终提高患者的安全结果和临床成本。
根据一些实施例的设备、系统、方法和计算机可读介质可以组合捕获和同步，并且通过严格的数据分析来确保视频/音频/元数据的传送以实现/证明某些值。根据一些实施例的设备、系统、方法和计算机可读介质可以组合多个输入，从而使得能够以同步方式重现在临床区域中发生的完整图片，使得能够分析和/或相关这些因素(因素之间和外部结果参数(临床和经济)。该系统可以将分析工具和/或过程汇集在一起，并且将该途径用于一个或多个目的，其示例在本文中得以提供。
除了开发数据平台10之外，一些实施例还可以包括评估任何过程的多个方面的综合数据收集和/或分析技术。实施例的一个或多个方面可以包括以同步方式记录和分析视频、音频和元数据馈送。数据平台10可以是模块化系统，并且在数据馈送方面不受限制——or/患者干预区域中的任何可测量参数(例如，通过由各种环境声学传感器、电传感器、流量传感器、角度/位置/位移传感器和其它传感器捕获的数据，可穿戴技术视频/数据流等)可以被添加到数据平台10。实施例的一个或多个方面可以包括：使用经验证的评级工具来分析数据，该评级工具可以查看临床干预的不同方面。这些方面可能包括：技术表现、非技术性“团队”表现、人为因素、患者安全、职业安全、工作流程、音频/视觉干扰等。可以使用手动和/或自动数据分析技术来分析视频、音频和同步后的元数据，其可以检测可以被标记和/或时间戳的预先确定的“事件”。所有标记的事件可以记录在标识整个过程的持续时间的主时间线上。统计模型可以用于标识和/或分析标记事件中的模式。各种实施例可以涵盖多种这样的统计模型，当前和未来。
根据一些实施例，可以针对整个医疗过程记录和同步所有视频馈送和音频馈送。在视频、音频和数据馈送没有被同步的情况下，被设计成在医疗过程期间测量技术技能和/或非技术技能的评级工具可能无法采集机构上的导致不良事件/后果的有用数据，并且建立表现和临床结果之间的相关性。
根据一些实施例，所采取的测量(例如，误差率、不良事件的数目、个体/团队/技术表现参数)可以以内聚方式(cohesivemanner)收集。根据一些实施例，适当时，数据分析可以建立所有注册参数之间的相关性。通过这些相关性，可以指出危险区域，可以开发高风险评估程序和/或可以设计教育干预。
在一方面中，本文中所描述的实施例可以提供一种用于记录数据的设备、系统、方法和/或计算机可读介质，其包括通过or/患者干预区域中的硬件设备捕获的多个音频/视频/元数据馈送(例如，房间相机、麦克风、过程视频、患者生理数据、来自用于患者护理的设备的软件数据、通过环境传感器/声学传感器/电传感器/流量传感器/角度/位置/位移传感器捕获的元数据以及本文中所概述的其它参数)。可以使用编码器(例如，图1的编码器22)同时处理、同步并且记录所捕获的数据馈送。这些同步的视频、音频和时间序列数据可以提供临床过程/患者交互的完整概述。在过程结束时，数据可以被同步、压缩、加密，并且可以在传输到用于评估和/或统计分析的数据分析计算系统/中心之前被匿名化。
可以使用编码器22(其可以包括分析软件和数据库)来分析数据，其保留使用多个评估工具/数据参数而捕获的数据的时间同步，并且允许将分析后的数据导出到不同的统计软件中。所导出的数据可以是会话容器文件。
根据一些实施例的设备、系统、方法和/或计算机可读介质可以以同步方式记录来自临床区域的视频、音频和数字数据馈送。平台可以是模块化系统，并且不限于所描述的示例数据馈送。与医疗过程有关的其它数据馈送还可以通过平台10进行收集和处理。例如，or中的任何可测量参数(例如，通过各种环境声学传感器、电传感器、流量传感器、角度/位置/位移传感器和其它传感器捕获的数据，可穿戴的技术视频/数据流等)可以被添加到数据记录器(例如，图1的编码器22)。
根据一些实施例的设备、系统、方法和/或计算机可读介质使用考虑外科手术/临床干预的不同方面或测量的经验证的评级工具来分析全面的同步数据。这些方面或测量可能包括：技术外科手术表现、非技术性“团队”表现、人为因素、患者安全、职业安全、工作流程、音频干扰/视觉干扰等。可以使用手动和/或自动数据分析技术分析视频、音频和/或元数据，其可以检测可以在会话容器文件或经处理的数据流中被标记和时间戳的特定“事件”。
根据一些实施例的设备、系统、方法和/或计算机可读介质记录表示过程/临床交互的整个持续时间的主时间线上所有标记事件。统计模型可以用于标识和分析标记事件中的模式。主时间线可以与处理后的医疗数据和会话文件相关。
根据一些实施例的设备、系统、方法和/或计算机可读介质基于所捕获的和经处理的医疗数据来生成结构化表现报告，用于标识和确定可能影响患者安全、效率和成本的个体/团队/技术表现测量和组织缺陷。
根据一些实施例的设备、系统、方法和/或计算机可读介质提供了用于设计解决特定安全隐患的目标教育干预的基础。这些可能包括个性化训练课程、基于模拟的训练场景、虚拟现实模拟任务和度量以及教育软件。
根据一些实施例的设备、系统、方法和/或计算机可读介质可以提供用于表现评估、认证和重新认证的高风险评估程序。
本文中所描述的实施例可以集成用于医疗过程的多个临床相关馈送(音频/视频/元数据)，并且允许对医疗过程、组织过程的人类和技术表现进行全面分析，并且将它们与安全效率和结果联系起来作为事件，以开发旨在提高安全性和效率并且降低成本的解决方案。
本文中所描述的实施例可以使得能够成功标识、收集和同步与医疗过程相关的多个视频、音频和元数据馈送(例如，以评估医疗过程的不同度量)，具有使所有视频和音频以可用形式渲染的足够的处理能力。
本文中所描述的实施例可以采用测量工具，并且使得能够客观评估人类和技术表现以及环境因素的各个方面并且包括客观评估人类和技术表现和环境因素的各个方面，以便理解导致医疗过程和医疗其它方面中的不良后果的事件链。
一些实施例的可能应用包括以下各项中的一项或多项：(i)在具有不良后果的高风险的临床区域中的患者护理的各个方面的文档编制。根据一些实施例的由编码器进行的综合数据收集可以使得能够详细重建任何临床遭遇和/或提供任何临床遭遇的详细重建。(ii)分析导致不良后果的事件链。根据一些实施例的数据收集和处理提供了回顾性评价导致药物和外科手术中不良后果的一个或多个机制和/或根本原因的机会。(iii)根据一些实施例的分析可以生成人为误差的发生率和背景的知识，并且可以使得能够开发减轻这些误差的后果的策略。(iv)设计外科手术团队的训练干预。根据一些实施例，所有标识的危险场景可以存储在数据库中并且与模拟干预相关联，该模拟干预旨在为常见的临床挑战准备临床团队并且减轻误差对临床后果的影响。(v)评价/改进/开发现有/新型保健技术和新治疗。根据一些实施例，综合数据集可以用于评价与实现新的保健技术相关联的安全隐患。此外，它可以使得能够评价保健技术对效率的影响。(vi)用于认证和认可目的。根据一些实施例，可以使用标准设置方法论将数据用于评估人的表现并且开发通过/失败得分。
本文中所描述的实施例可以与or设置相关联地使用。然而，实施例不限于此。实施例还可以应用于医疗设置，更普遍地，外科手术设置、重症监护室(“icu”)、创伤单元、介入套间、内窥镜检查套间、产科套间和急诊室设置。实施例可以用于门诊治疗设施、牙科中心和急诊医疗服务车辆。实施例可以用于保健专业人员教育的模拟/训练中心。
示例应用被呈现用于说明的目的，而非旨在穷举或将实施例限制于所公开的精确形式。一些实施例的其它优点、特征和/或特点，以及设备、系统、方法、平台和/或计算机可读介质的相关元件的操作方法和/或功能，和/或步骤、部件和/或制造经济的组合可以在考虑附图时变得更加清楚。根据一些实施例，可以从本示例性实施例中的附图理解关于它们的组织、使用和/或操作方法的系统、方法、设备和/或计算机可读介质的某些特征及其进一步的目的和/或优点。附图仅用于说明和/或描述的目的，并不旨在作为本发明的限制的定义。
自然地，备选设计和/或实施例可以是可能的(例如，用部件、单元、对象、特征、步骤、算法等的备选配置来替代其它的一个或多个部件、单元、对象、特征、步骤、算法等)。
尽管根据一些实施例的部件、单元、对象、特征、步骤、算法、关系和/或配置中的一些部件、单元、对象、特征、步骤、算法、关系和/或配置可能不被相互联系地具体引用，但是它们可以被与此相关联地使用和/或适于与此相关联地使用。本文中所提及的、描绘的和/或各种部件、单元、对象、结构、配置、特征、步骤、算法、关系、效用等可以但不一定并入和/或由一些实施例实现。本文中所提及的部件、单元、对象、结构、配置、特征、步骤、算法、关系、效用等中的任何一个或多个可以在一些实施例中或者通过某些实施例就其自身和/或在不参考、考虑或同样地实现本文中所提及的其它任何部件、单元、对象、结构、配置、特征、步骤、算法、关系、效用等的情况下以各种排列和组合来实现。
在不背离本发明的精神和范围的情况下，可以在根据本发明的其它实施例的设计、制造和/或实现中使用其它修改和变型。
多信道记录设备或编码器
图2图示了多信道记录设备40的示意图，其可以在本文中被称为编码器。图2的多信道数据记录设备40在一些实施例中可以是图1的编码器22，或根据其它实施例可以是编码器1610。
多信道记录设备40可以从各种数据源接收输入馈送42，包括例如来自or中的相机的馈送，来自可穿戴设备的馈送，与来自数据存储装置、监视设备和传感器的患者生理有关的馈送，来自各种传感器(温度传感器、分贝等级传感器、房间流量传感器)的环境因素的馈送，设备表现参数的馈送等。多信道记录设备40可以同步并且记录馈送以生成输出数据44(例如，作为会话文件导出)。输出数据可以包括例如评估个体和团队表现的测量值，标识误差和不良事件并且链接到结果，评价技术的表现和安全性，以及评估效率。
对于外科手术中造成因素和潜在的误差机制的研究可能很少。or的复杂、动态和/或数据密集的环境可能使得难以研究可能导致不良后果的误差和/或事件模式的根本原因。根据一些实施例的同步多信道记录设备40提供了or的综合概述或数据表示。该多信道记录设备40或“黑盒编码器”可以在航空黑盒之后进行建模，可以注册术中or环境的多个方面，包括房间和/或过程视频、音频、传感器、麻醉设备、医疗设备/手术设备、植入物和医院患者管理系统(电子病历)。黑盒记录设备40可以安装在医院、门诊临床设施、急诊医疗服务车辆、模拟/训练中心等现实生活or/患者干预区域中。
黑盒记录器40可以用于麻醉学、一般微创手术(mis)手术、介入放射学、神经外科手术和临床实践。黑盒记录器40可以实现同步、音频、视频、数据捕获、数据存储、数据隐私和分析协议等。
根据一些实施例，提供了一种用于在临床环境中的多信道数据记录设备40，其同时记录多个同步数据馈送，包括过程视图、房间相机、音频、通过多个传感器的环境因素、麻醉设备、医疗设备/外科手术设备、植入物和医院患者管理系统(电子病历)。手术室的多视角视图可以允许同时分析技术表现和非技术表现以及标识导致不良后果的关键事件。根据实施例的黑盒平台在现实生活or中的实现可以揭示在or/患者干预区域内发生的交互的有价值的见解，作为标识、分析和/或防止术中环境中的误差的工具。
多信道“黑盒”编码器40将来自实况or或其它患者干预区域的视听/数字数据馈送和/或其它定量、半定量和定性数据馈送集成并且同步到单个接口上。
硬件单元
编码器连接至可以被分组为硬件单元20(图1)的一个或多个数据捕获设备，以监视or或其它患者干预区域内的活动(并且捕获表示所监视的活动的数据)
硬件单元20可以位于or或其它患者干预区域。例如，可以在or/患者干预区域中安装几个记录设备，例如，如下：壁挂式广角镜头房间相机，用于允许整个房间可视化；若干心形麦克风，用于在允许分析的质量下捕获所有对话/噪声/警报的细节；过程视频捕获设备(内窥镜相机、x射线、mri等)；以及生命体征监视设备和传感器(环境传感器、声学传感器、电传感器、流量传感器、角度/位置/位移传感器和其它传感器)；医疗设备/外科手术设备；以及植入物。硬件单元(例如，数据获取设备的分组)与中间件硬件设备和编码器进行接口以连接并同步设备馈送。平台10的集成在or中可能是非侵入式的，其中设备设置最少。例如，麻醉和腹腔镜馈送可以在or中流式传输，并且在不更改房间的基础设施的情况下，可以安装麦克风和房间相机。
房间相机
根据一些实施例，硬件单元20可以具有相机30(图1)。图3示出了根据一些实施例的示例广角视频相机50的示意图。例如，可以安装两个广角相机50(日本东京索尼的evi-hd1)以捕获表示房间的整个视图(例如，180度或更大)的数据。作为说明性示例，房间相机50可以安装在护士站上方并且聚焦在手术台上，目的是捕获视野中的外科手术团队。进入房间的两个入口可以在视野范围内，其允许通过记录门的打开和关闭以及房间中存在的个体数目来测量步行流量。
麦克风
根据一些实施例，硬件单元20可以具有音频捕获设备34(图1)。图4示出了作为三向麦克风52，54，56的示例音频捕获设备(例如，日本东京的audiotechnica的
过程相机视图
根据一些实施例，硬件单元20可以具有提供过程相机视图的相机30(图1)。在单独的独立机器(德国图特林根karlstorz的aida)上，腹腔镜视频相机视图可以作为诊断护理的一部分记录在or中。为了将该视频馈送合并到黑盒记录设备或编码器中，分布式放大器(da)可以用于分割视频信号——允许在操作期间将一个信号显示在内场监视器上，另一信号被流式传输到黑盒记录设备或编码器中。在一些示例实施例中，da还可以确保黑盒腹腔镜记录的纵横比与内场监视器的16:9纵横比相对应。视频馈送可以以高清晰度被记录。图5示出了示例视频硬件60的示意图，其包括用于分割来自用于诊断护理的相机30的视频信号的da、以及用于将视频信号转换成用于编码器的适当视频格式的转换器。
麻醉设备
根据一些实施例，硬件单元20可以具有患者监视设备36(图1)。例如，患者监视设备35可以包括麻醉机监视器，其可以用于实时观察患者的生理数据并且检测患者生命体征的异常改变。根据一些实施例，可以使用生成vga输出的二次馈送的视频卡从麻醉机中提取生命体征显示。在与其它视频馈送集成和同步之前，生命体征视频馈送可以使用转换器单元(美国的阿拉巴马州的亨茨维尔的pesa的vidblox3g-sl)从vga转换成hd-sdi格式。
在一些实施例中，可以直接从麻醉设备提取原始数字数据，以便提供给将其纳入作为元数据的编码器22。
附加传感器
根据一些实施例，硬件单元20可以具有在外科手术单元、icu、急诊单元或临床干预单元中安装或利用的传感器30(图1)。示例传感器包括但不限于：环境传感器，即，温度传感器、湿气传感器、湿度传感器等；声学传感器，即，环境噪声传感器、分贝传感器等；电传感器，即，霍尔传感器、磁性传感器、电流传感器、微机电系统传感器、电容传感器、电阻传感器等；流量传感器，即，空气传感器、流体传感器、气体传感器等；角度/位置/位移传感器，即，陀螺仪传感器、姿态指示器传感器、压电传感器、光电传感器等；其它传感器，即，应变传感器、液位传感器、负载传感器、运动传感器、压力传感器等。
集成到手术室中的硬件单元
根据一些实施例，硬件单元20可以具有耦合数据捕获设备的信号处理器。图6图示了根据一些实施例的数字信号处理器62的示意图。根据一些实施例，视频和音频数据信号可以被馈送到信号处理器62中，该信号处理器62可以远程位于or的无菌核心内的机架中。信号处理器62能够支持纳入作为元数据的多个视频/音频信号和数字数据。信号处理器62可以负责从多个独立的数据馈送或流中收集音频和视频信号，并且将它们编码为压缩格式。
图10图示了经由网络基础设施38耦合至硬件单元20的编码器22的简化架构。这可以是直接或间接的网络连接。
对于较大的应用环境并且为了最大化效率并且递送增加的故障切换和冗余能力，可以使用交换路由器(例如，图1的路由器16)。音频、视频和数据馈送可以通过诸如电缆之类的网络基础设施或经由连接的无线基站而连接至交换路由器16(图1)。路由器的示例目的可以是将音频、视频和数据馈送路由到网络上可用的多个编码器22中的一个编码器。使用耦合至路由器16的多个编码器可以为系统提供更成本有效的实现、更大的空间覆盖、以及增加的冗余和故障切换。因而，图10所示的网络基础设施可以包括一个或多个交换器或路由器。进一步地，尽管为了简单起见仅示出了一个编码器22，但是可以存在经由网络基础设施38连接至一个或多个硬件单元20的多个编码器。尽管为了简单起见仅示出了一个硬件单元20，但是可以存在经由网络基础设施38连接至一个或多个编码器20的多个硬件单元20。
图11图示了根据一些实施例的编码器22的示意图。
为了简单起见，仅示出了一个编码器22，但是系统可以包括更多各编码器22以从(硬件单元20的)本地或远程数据捕获设备收集馈送并且交换数据。编码器22可以是相同或不同类型的计算硬件设备。编码器22具有至少一个处理器、数据存储设备(包括易失性存储器或非易失性存储器或其它数据存储元件或其组合)、以及至少一个通信接口。编码器22的部件可以以各种方式连接，包括直接耦合、经由网络间接耦合、在广泛的地理区域上分布，以及经由网络(可以被称为“云计算”)进行连接。
例如但不限于，编码器22可以是服务器、网络设施、嵌入式设备、计算机扩展单元、个体计算机、膝上型计算机、移动设备、平板电脑、台式电脑、或能够被配置成执行本文中所描述的方法的任何其它计算设备。
如所描绘的，编码器22包括至少一个处理器90、存储器92、至少一个通信接口94和至少一个网络服务器12。
每个处理器90可以是例如任何类型的通用微处理器或微控制器、数字信号处理(dsp)处理器、集成电路、现场可编程门阵列(fpga)、可重构处理器、可编程只读存储器(prom)、或其任何组合。如本文所描述的，处理器90可以被配置成同步所收集的数据费用以生成容器会话文件。如本文中所描述的，处理器90还可以实现匿名化和加密操作。
存储器92可以包括位于内部或外部的任何类型的计算机存储器的合适组合，诸如例如，随机存取存储器(ram)、只读存储器(rom)、只读光盘存储器(cdrom)、电光存储器、磁光存储器、可擦除可编程只读存储器(eprom)和电可擦除可编程只读存储器(eeprom)、铁电ram(fram)等。
通信接口94可以包括i/o接口部件，以使得编码器22能够与诸如键盘、鼠标、相机、触摸屏和麦克风之类的一个或多个输入设备或与诸如显示屏和扬声器之类的一个或多个输出设备互连。通信接口94可以包括网络接口部件，以使得编码器22能够与其它部件通信，以与其它部件交换数据，以访问和连接至网络资源，以服务应用，以及通过连接至能够携带数据的网络(或多个网络)来执行其它计算应用，该网络包括因特网、以太网、普通老式电话服务(pots)线、公共交换电话网(pstn)、综合业务数字网(isdn)、数字用户线(dsl)、同轴电缆、光纤、卫星、移动、无线(例如，wi-fi、wimax)、ss7信令网络、固定线路、专用网络(包括vpn24)、局域网、广域网等，以及包括这些的组合在内的其它网络。这些是网络基础设施的示例(例如，图10的网络基础设施38)
图12图示了根据一些实施例的用于收集医疗数据和外科手术数据的方法的流程图。
在102处，使用可定制的控制接口14和gui，用于激活系统的控制命令可以开始记录、收集和流式传输从数据捕获设备到多个可用编码器22中的一个编码器的所有可用音频、视频和数据馈送。数据捕获设备可以包括部分或所有可用的相机，其包括已安装的相机和腹腔镜相机；在外科手术单元、icu、急诊或其它临床干预单元中使用的所有音频麦克风以及所有可用和实现的传感器以及第三方设备(开放或专有)。暂停/停止/播放是在控制接口14处接收的附加控制命令，其可以触发传输对应命令到编码器22以控制记录。
在104处，响应于控制命令，硬件单元20的数据捕获设备捕获表示or或其它医疗单元的各个方面的数据，并且生成用于提供给编码器22的馈送或数据流。本文中描述了各种示例数据捕获设备。
在106处，可以通过中间件硬件和软件并且使用跨越网络进行时钟同步的联网协议对数字数据进行格式化、转换和同步。数字数据将被纳入编码器22中作为元数据。
在108处，如本文中所描述的，编码器22可以负责同步所有馈送以生成会话记录。
在110处，编码器22可以使用无损音频/视频/数据压缩软件将所同步的馈送编码到信号传送文件中。根据一些实施例，编码器22还可以负责托管(或存储)和操作匿名化和(多个)话音/词汇失真软件，以便保护医疗、临床或急诊环境中的所有医疗专业人员、患者、区分对象或特征的身份。这可以通过编码器22在压缩、集装和加密之前或在后台系统中解密之后进行。
在完成记录时，在110处，容器文件可以通过编码器22安全地加密。加密/解密密钥可以嵌入在主会话容器文件中并且可以通过主密钥访问，或者具有单独的密钥。
加密后的文件可以存储在编码器22(例如，图1的网络服务器16)上，或者存储在存储区域网络上直到调度传输为止。专用vlan上的通信或网络服务器16可以负责日程管理和自动化文件和密钥传输。这可以通过客户端环境上的专用vlan来进行，并且经由虚拟专用网(vpn)(例如，图1的vpn24)在指向后台的公共数据线上传送。作为配置的一部分，通信服务器16可以负责使用备份软件来备份包括音频、视频、数据、加密文件等在内的数据。通信服务器16可以负责托管和引导专用vlan和后台之间的所有流量。
根据一些实施例，同步后的压缩编码信号可以被馈送到位于or内部的触摸屏监视器中，该触摸屏监视器可以负责实时视觉显示馈送并且直接记录到外部硬盘驱动器上。
控制接口
根据实施例，可以在基于pc的触摸屏监视器上提供用户接口。用户接口在本文中可以被称为控制接口14(图1)，并且可以用作实时记录视频和音频馈送的“中央控制”站，并且将控制命令传送到编码器22。图形用户接口(gui)及其参数可以并入ui设计的原理，以提供简单的用户友好的和功能性的接口。
根据实施例，提供中央控制站(例如，计算机、平板电脑、pda、混合体、可转换件)的控制接口14的特征可以位于临床单元或另一客户指定位置。它包含可定制的图形用户接口(gui)，其提供对系统的简单的、用户友好的和功能性的控制。
根据实施例，控制接口14可以具有播放/暂停按钮。过程的一些分段可能不需要记录。为了从记录中跳过这些分段，用户接口可以在需要时通过响应于播放/暂停按钮的激活而生成的控制命令来暂停和重新开始记录。暂停和播放时间戳可以被记录在日志文件中，指示所提取的过程的精确时间。
根据实施例，控制接口14可以具有停止会话按钮。当选择“停止会话”按钮时，文件可以被关闭并且自动地被传递到存储区域网络(san)、编码器22等。
根据实施例，控制接口14可以具有视频馈送的分屏象限显示。视频的视觉显示可以在记录期间实时提供。
根据实施例，控制接口14可以具有记录的视觉指示器。例如，屏幕上可以出现红色的闪烁点，以便向团队提供正在记录视频和音频信息的视觉指示。
根据实施例，控制接口14可以具有日志文件。在记录结束时，可以生成指示关键时间点的日志文件，包括记录会话的开始和结束、暂停和重放。
根据实施例，控制接口14可以具有密码保护。该接口可以使用几层密码保护来保护，以确保维护患者的机密性和隐私。
图7图示了根据一些实施例的控制接口的示例示意图。控制接口14可以为具有(平板电脑设备的)触摸屏监视器的控制屏幕64提供密码保护。控制接口14可以向显示屏幕66提供来自位于or内的数据捕获设备的多个馈送的or的多个视图。
图8图示了与数据捕获设备的硬件单元集成以捕获表示or的不同视图的数据的or的示例示意图。用于该示例图示的数据捕获设备包括房间相机70、麦克风72(位于内场监视器处和护士站上方)、用于处理腹腔镜视频信号的分布式放大器和视频转换器74、以及经由控制命令来控制记录的触摸屏监视器76。
富内容分析单元(即，视频分析软件)
富内容分析单元便于同步处理、管理、审查、分析和标记多种格式的富内容(例如，视频、音频、诸如心率之类的实时患者元数据等)的能力。
富内容分析单元可以向用户(即，医疗专业人员、外科手术专家或医疗研究者)提供允许对富内容流进行注释和标记的智能仪表板。也就是说，智能仪表板可能采访回放查看以审查内容并且接口控件用于标记内容。智能仪表板可以是多维的，其在于所有尺寸变量(即，案例变量)的并集可以指示一个或多个可应用注释字典(即，编码模板)的特定集合。可以用于确定注释和标记字典的变量的一些示例可以是：正在执行的医疗过程的类型(例如，腹腔镜旁路)、正在分析的过程的方面(例如，技术技能、非技术技能等等)、执行过程的地理区域/地区(这可能指定映射到广义全球接受的字典的区域特定注释字典)等等。这些是示例变量。
富内容分析单元可以实现跨过各种医疗过程、国家/地区解释等的注释字典(即，编码模板)之间的数据模型和交叉引用。每个注释字典可以允许同步标记整个富内容流(即，允许创建描述性内容)。例如，内容流可以用适合于不同分析目标的形成良好的描述符进行标记。例如，注释字典可以允许标记技术技能(示例分析目标)，诸如缝合误差或装订误差(即，标签)，并且标记这些类型的误差可能已经出现的富内容流中的每个实例。
富内容是指以各种格式(音频、视频、数值数据等)的多个内容流。所有案例变量的并集可能需要定制的或基于先前验证的评级工具的多个注释字典，以评估过程和重新编码的不同方面，包括但不限于技术表现、非技术表现、非过程误差和事件、以及人为因素。每个注释词典可以是形成良好的关系数据集。
富内容分析单元的另一特征是整个富内容流和整个描述性内容的最终聚合(例如，技术技能注释/标记、非技术技能注释/标记等等)可以在同步后聚合中进行审查。
富内容分析单元可以利用web技术来散播，以确保内容被集中地托管在安全的医疗护理机构认可的环境中。对于正在被分析的过程的每个方面，富内容分析单元可以确保仅在单个用户接口上同时播放适用的富内容流(例如，当评级外科手术医生的纯技术技能时，来自手术室的音频馈送不适用)。富内容分析单元可以提供多种定制，其再次仅取决于所分析的过程的方面而提供。这些定制包括但不限于：增加任何内容流的粒度(例如，放大或缩小视频流的大小)的能力、控制任何内容流的回放速度(例如，增加或减小回放视频的速度)、改善内容流的质量(例如，应用滤波功能以增加音频流的清晰度)。
黑盒编码器分析单元(即，黑盒数据库)
黑盒编码器分析单元可以在富内容分析单元之间的两部分握手中提供第二部分。黑盒编码器分析单元可能包含定量和定性分析过程，以便于报告能力，包括但不限于比较分析、基准测试、负面趋势、数据挖掘、统计报告、故障分析和关键表现指示器。黑盒编码器分析单元还可以便于对统计软件研究工具(诸如matlab)的基于方面的集成。
黑盒编码器分析单元的示例特征可以是其关系数据库，其捕获和交叉引用整个数据集合成，其包括但不限于：使用结构化元数据标识的由富内容分析软件注释的完整结果和由富内容分析软件产生的标签内容流，诸如腹腔镜旁路的技术过程评级系统等等；设施变量，诸如部门、手术室等等；过程案例变量，诸如，案例紧急性、医务人员存在的数目及其名称(designation)等等；(结构化的形成良好的关系数据模型中的)过程案例笔记，诸如使用什么类型的吻合器、使用的什么止血剂等等；以患者为中心的数据，诸如血液工作；以及osats得分。
除了所列出的示例报告能力之外，黑盒编码器分析单元可以提供视觉比较分析。数据集可以全部或其一子集被显示在由相关元数据(诸如注释字典(例如，技术误差)或案例变量)的组成部分)分发的视觉时间线上。
视觉比较分析可以提供示例益处，包括但不限于：审查误差和事件以及确定前后行动和观察的能力；将视觉观察定义、执行和转换成可以在大量注释内容上执行的编程算法的能力。例如，以编程方式标识技术误差群集导致更严重的技术事件所在的地方；通过比较不同观察员的时间线，用基线测试、用基准测试并且改善评分员间(inter-rater)(即，内容流分析器/审查员)可靠性的能力；医疗团队在特定情况下评估主要不良事件(例如，人为误差、医疗设备故障等等)的原因的能力。
黑盒编码器分析单元的另一示例特征是其双重目的的能力，通过使用黑盒分析软件中限定的医疗护理智能分析而持续改进来改善患者结果。例如，标识可能导致严重后果的小的未被注意的可能的小动作；并且通过与诸如matlab等之类的研究相关的软件工具集成并且提供研究驱动的比较分析来通过附加研究倡议而支持持续改进，例如，使用“第1年”与“第2年”研究模型来比较具体后果。
说明性示例应用
黑盒记录设备的说明性示例实施例可以包括：两个壁挂式高清晰度广角相机；两个全向麦克风；腹腔镜相机视图；以及生命体征显示器。这些是硬件单元的示例数据捕获设备。该示例应用可以使用其中每个数据信号可以被馈送到以太网交换器(“es”)的因特网协议(“ip”)网络。es的目的可以是创建局域网(lan)，其建立所有源的中心连接点。在连接至es之前，每个数据馈送可以被分配自身的因特网协议(ip)地址。视频相机和对应的麦克风可以是基于ip的内置编码器，而腹腔镜和麻醉源馈送可以首先通过附加的编码器设备，其将模拟或数字视频信号转换成实时流传输协议(rtsp)视频流。数据信号可以被捆绑在es处并且被引导到基于pc的平台(患者观察系统，“pos”)上的触摸屏用户接口。pos可以负责将数据解码为可读信号，并且同步数据馈送。
在一些ip网络中，视频馈送和/或音频馈送可以通过网络从端点到端点分别流式传输，其可以创建沿着流式传输路径的网络延迟的机会。随着时间的推移，视频馈送和音频馈送之间的延迟可以累加，和/或每个馈送可以遇到不同的网络延迟。延迟可能是未知的和/或随时间而不断改变，和/或可能难以量化和/或考虑延迟和/或导致被称为“漂移”的效果。可以提供黑盒平台的另一示例实施例，而不具有上文所描述的示例的相同的ip联网功能。另一示例实施例可以使用微编码器同步的自同步信号处理器(self-clockingsignalprocessor)。根据示例实施例，自同步信号处理器可以确保音频流和视频流“锁定”而不漂移，并且因此允许馈送在记录后移位以实现同步。
黑盒系统的另一示例实施例可以使用放置在手术台上方和设备吊杆处的全向麦克风，以试图捕获围绕外科手术区(surgicalfield)的音频。然而，全向麦克风可以在所有角度具有相等的输出/输入，和/或可以检测来自所有方向的声音。这些麦克风可以导致次佳和/或劣等的音频质量，伴随有背景噪声过大，团队沟通检测不佳。
在黑盒系统的另一示例实施例中，可以使用在前方敏感并且与环境声音隔离的定向心形麦克风。这些麦克风可以被放置在内场监视器上，指向其中在外科手术团队中可能发生通信交换的外科手术区。这种设置可以通过清晰的话音和声音检测来获得优异的音频质量。
图9图示了全向麦克风的极性图案的示例示意图82和心形麦克风的极性图案的示例示意图80。如图82所示，全向麦克风可以在所有角度具有相等的灵敏度。如图80所示，心形麦克风可以是在前面灵敏度较高而在后面灵敏度较小的定向性的。
根据本文中所描述的实施例，同步后的多信道视频/音频/元数据记录平台可以用于术中环境。黑盒平台的开发和安装可能是个迭代过程，其可能包括系统的次要改变和主要改变。
虽然根据一些实施例，诸如电视广播之类的其它行业可以具有捕获视频和/或音频的设备，但是用于医疗用途的“黑盒”平台可以是成本有效的，确保患者和保健专业人员的隐私，在or中存储紧凑，适用于与or中的现有设备一起非侵入式安装，被设计成满足医院的感染控制标准等等。此外，平台可以将来自多个源的具有多种格式的多个馈送集成到单个系统上，并且可以确保将记录编码为与后续数据分析兼容的通用格式。
黑盒记录设备可以包括以下各项中的一项或多项：音频捕获和同步以及数字数据捕获。所有这些数据流的集成可以提供临床遭遇的完整重建。通信可以是非技术和人为因素表现分析的组成部分。例如，通信故障可能是or中的不良事件的促成因素。此外，or中的团队交互可能依赖于口头通信，其在没有足够的音频质量的情况下，可能无法正确评价。例如，对于独立视频文件，在没有音频部件的情况下，非技术表现的组成部分(包括团队合作、领导能力和决策)可能未经过评价。由于房间内的多个噪声源，音频可能难以在or中捕获。or中的主要噪声源可能包括以下各项：准备手术(切开前)、移动手推车和设备、门打开和砰击、移动和放下金属工具、抽吸、麻醉监视器、麻醉和外科手术设备的警报、和/或工作人员之间的对话和/或对讲机上的对话。麦克风系统可以被设计成捕获or中的所有音频，例如：捕获环境声音的全向麦克风，捕获麻醉师的周围环境的超心形麦克风，拾取临床医生在周围区域中的对话的心形麦克风，以及由麻醉师穿戴来捕获他们的话音的无线麦克风。虽然这样的麦克风设置能够捕获多个噪声源，但其在or中的侵入性质可能引入霍桑效应。此外，混合多个音频馈送可能导致较差的音频质量，并且分别分析每个馈送可能是耗时的。
根据一些示例实施例，平台可以包括麦克风最少的音频系统，其产生最佳音频质量。为了分析非技术技能和人为因素的表现，团队通信可以是感兴趣的音频源。由于通信可以发生在手术台周围的外科手术区处，所以可以将两个心形麦克风安装在内场监视器上并且指向外科手术团队。可以在护士站设置附加的麦克风并且指向擦洗护士和设备推车。测试和验证阶段可能有助于麦克风设置。测试可以在现实生活or中重新产生外科手术过程的噪声，以便标识可能导致期望和/或最佳音频质量的设置。
根据一些示例实施例，黑盒记录设备还可以提供音频视频和多馈送同步以进行适当的数据分析。因为甚至例如两个信号之间三十分之一秒的延迟就可能导致可检测的回波，所以音频馈送和视频馈送可以被同步。延迟滞后可能随时间而呈指数级增加。黑盒记录设备的示例实施例可以具有小于1/30秒的等待时间，从而导致用于适当数据分析的同步。可以提供多馈送同步用于外科手术案例的多视角分析。黑盒设备可以使得能够从多个视角分析or中的事件，诸如例如，房间视图、过程相机视图、生命体征和来自各种传感器的数字数据。视频/音频/数据馈送之间的等待时间可以减小多信道视频记录的价值。在黑盒记录设备的示例实施例中，可以通过中间件硬件和软件并且使用跨越网络进行时钟同步的联网协议对数字数据进行格式化、转换和同步。数字数据可以被纳入编码器中作为元数据。编码器可以负责同步所有馈送，使用无损音频/视频/数据压缩软件将它们编码成信号传送文件。
对于记录设备的设计，记录设备可以具有满足隐私关注的用户友好的接口。记录系统接口可以具有记录的馈送等的视觉显示，提供给参与者对记录的内容的意识，以及当记录发生时。此外，在一些示例实施例中，记录设备可以被设计成最大化患者和员工参与者两者的机密性和隐私。房间相机可以被定位成将患者的身份保持在视野之外。麦克风可以被放置成仅捕获外科手术区周围的通信，而不是外围中的不留记录的临时通信。系统的一些实施例可以具有暂停特征，其允许在不意图记录(例如，插管阶段或拔管阶段)的部分过程期间容易地且无缝地暂停记录。多层密码保护可以确保记录系统只能由研究团队的授权人员访问。
可以基于模块化设计来构建黑盒，即，在不更改系统的主要功能性/整体功能性的情况下，可以修改记录系统，可以移除或添加馈送(以及相关联的数据捕获设备)。这种设计途径可以允许黑盒记录设备或编码器并入其它数据馈送和/或适于不同的临床设置(例如，er部门、icu、内窥镜套间、产科套间、创伤室、外科手术病房/医疗病房等等)。该系统可以是模块化的，并且可以被扩展以适应修改和更大的应用。取决于医疗过程的性质和可用的数据捕获设备，该系统能够在其它示例中并入附加的视频、音频和/或时间序列数据馈送(例如，心率监测器、力-扭矩传感器)。
手术室中的“黑盒”数据记录设备
or是可能发生并发症的高风险工作环境。根本原因分析可能揭示大多数并发症是由多个事件导致的，而非单一原因。然而，标识这些根本原因的先前努力可能仅限于回顾性分析和/或自我报告。平台的示例实施例可以实现用于分析现实生活or中的音频-视频数据和患者相关数据的多信道数据记录系统。
根据一个或多个实施例，“黑盒”数据记录设备或编码器可以在or/患者干预区域中捕获多个同步的馈送，例如，房间和过程视图、音频、来自麻醉设备的患者生理数据、以及来自各种传感器或其它数据捕获设备的数字数据。这些馈送可以显示在单个接口(例如，控制接口14)上，从而提供对操作的全面概述。可以分析数据的技术技能、误差/事件发生率和非技术技能。根据一些实施例，术后人为因素调查问卷可以由手术团队完成。
图13至图15图示了根据一些实施例的各种示例视图的示意图。例如，图13图示了具有显示数据馈送的图形指示器150和具有各种数据捕获设备的示例定位的or布局的图形指示器的示意性接口。
图14图示了不同系统部件之间的数据流160的示意图。示出了差异数据捕获设备，包括相机162、166、170，患者监视器164，麦克风168、172等。数据捕获设备可以向编码器174，176、其它数据捕获设备或患者观察系统178提供输出数据馈送。医疗或外科手术数据可以被提供给显示设备180以供显示或经由触摸屏接口来接收交互命令以控制系统的一个或多个部件(例如，查看相机上的改变，开始或停止记录)。这是示例配置，并且其它流程和连接可以被不同的实施例使用。
图15图示了具有诸如患者监视器192、麦克风194、腹腔镜相机196、房间安装相机198和触摸屏显示设备199之类的不同数据捕获设备的示例or视图190，以提供所收集的实时医疗数据馈送的视觉表示作为输出数据，并且接收控制命令来开始或停止捕获过程，例如，作为输入数据。
黑盒记录设备或编码器可以提供用于分析or/患者干预区域中的医疗/外科手术设备的技术和非技术个体和团队表现、误差、事件模式、风险和表现。黑盒记录设备或编码器可以为进一步研究开辟机会，以标识不良后果的根本原因，并且制定具体的训练课程，以改善临床组织过程、以及外科手术/设备表现、效率和安全性。
云平台
黑盒记录设备的实施例可以解决改进同步的技术考虑，从而减少等待时间曝光，提供扩展的和多区域模态并且减少跨平台成本。云平台可能包括开发智能设备，并且为所收集的数据生成时间戳，以便同步设备和数据。
图16示出了根据一些实施例的可以提供基于云的平台的黑盒记录设备1600的示例示意图。提供该能力的示例平台部件包括自主的和半自主的智能使能设备和适配器，诸如医疗设备1602、相机1604、麦克风1606、传感器1608等。在一些实施例中，黑盒记录设备1600可以通过编码器1610提供，该编码器1610经由无线站1616连接至存储客户端媒体管理软件指令代码(cmms)1620的媒体管理集线器(mmh)1612。这经由客户端网络基础设施1618连接至中央内容服务器和管理软件(ccs)1614，该客户端网络基础设施1618被配置成采用和利用高性能无线通信标准。
智能使能设备和适配器可以是自主的或半自主的智能设备，包括但不限于智能相机1604、麦克风1606、数据和媒体转换器1612、编码器1610、适配器和传感器1608。在该说明性实施例中，智能使能设备或适配器可以结合机载存储、电源管理和(多个)无线电而并入并且利用soc设备(片上系统)或fpga设备(现场可编程门阵列)。它可以管理设备要求、设备到设备认证、存储、通信、内容处理、时钟同步和时间戳。取决于因素，技术可以直接集成到设备中或作为所附接的适配器。在一些示例实施例中，智能使能设备和适配器可以直接连接至ccs1614以经由安全客户端网络基础设施1618从操作站点提供数据，并且可以直接或经由mmh1612从ccs1624接收数据、命令和配置控件。
黑盒编码器1610可以由一个或多个计算设备、平板电脑和/或膝上型电脑组成，其可以运行外科手术人员的安全用户接口以操作黑盒平台。它可以驻留在经由以太网或无线(例如，经由站1616)而连接的客户端网络上，并且可以符合网络安全和it策略。在一些示例实施例中，黑盒编码器1610可以直接连接至ccs1614以经由安全客户端网络基础设施1618从操作站点提供数据，并且可以直接或经由mmh1612从ccs1624接收数据、命令和配置控件。
媒体管理集线器(mmh)1612可以是负责运行客户端媒体管理软件及其相关联的服务的计算机或服务器。作为说明性示例，它可以在unix、linux或windowsserver上运行。媒体管理集线器可能驻留在客户端网络上，并且除了必要的计算、io和存储要求之外，还必须符合客户端网络安全和it策略。
客户端媒体管理软件(cmms)1620可以是在媒体管理集线器1612上运行的应用，其作为后台中央服务器和智能使能捕获设备和适配器之间的中间管道。它可以负责驻留在客户端网络上的黑盒平台的管理和控制。cmms1620可以聚合、打包、压缩和加密所捕获的音频、视频、医疗设备数据、传感器数据、日志等。cmms1620可以使用标准化文件命名约定、关键字、文件夹等来组织输出文件和按事件分类。cmms1620可以提供设备管理，包括从控制台传递命令、设备认证、安全性、文件传递握手等等。cmms1620具有带有日志文件管理和误差报告的设备状态仪表板。cmms1620提供客户端站点和中央服务器之间的工作流程自动化、文件管理和传递。cmms1620提供遵守客户端网络安全和策略的附加的计算解决方案。cmms1620提供用于设备同步的时钟广播的处理和数据变换。
中央内容服务器和管理软件(ccs)服务器1614可以位于主站点处，并且用作与卫星或客户端站点集线器进行通信的双向接口。ccs服务器1614支持远程管理、自动化和文件传递握手，用于从客户端站点来递送打包的、压缩的和加密的内容。如本文中所描述的，ccs服务器1614用作黑盒分析软件和数据库的管道。
高性能无线通信(hpwc)可以由一个或多个无线站1616提供。例如，hpwc可以使用利用支持高带宽数字内容传输的802.11adwigig、hd无线或现行标准的多千兆位速度无线通信技术来实现。
作为功能性的说明性示例提供了工作流程。在从位于手术套间或外科手术套间中的平台控制台接收到命令时，智能使能设备将开始捕获适当的内容(音频、视频、数字数据)，以提供手术或外科手术套间和人以及其中的对象的数字表示。智能设备或智能适配器将处理(例如，记录、存储、生成、操纵、变换、转换和再现)所捕获的媒体和数据，并且以精确的时间线间隔在输出文件中嵌入时间戳标记。
如无线站1616所示，输出文件经由以太网或高性能无线通信路由器和/或设备从(多个)智能使能设备传送到mmh1612。无线路由器可以是使用802.11ad或普遍的多千兆速度标准的多频带无线站。
cmms1620可以聚合所有媒体和数据(音频、视频、设备数据、传感器数据、日志等等)并且打包、压缩和加密以生成输出文件。使用标准化文件命名约定、关键字、文件夹等将输出文件组织在网络可访问的存储设备上。
以预定间隔，文件可以通过vpn隧道(例如，被示出为客户端网络1618的安全网络基础设施)从客户端站点传递到处理设施或后台。接收设施处的ccs1614将管理文件传递并且将内容文件、媒体和数据分发到黑盒分析数据库。
系统1600实现同步技术。例如，基于硬件的编码和同步可以部分地使用软件方法来实现。通过从设备时钟嵌入时间戳，在智能使能设备上进行数据同步。设备时钟通过高速无线网络(被示出为客户端网络1618、无线站1616等)从mmh1612经由广播跨网络进行同步。由于在源处由软件进行同步，所以介质和数据可以具有近零等待时间水平和最高准确度水平。
系统1600实现设备管理技术。设备和覆盖区域可以在中央控制台上的管理权限下或者远程经由ccs1614管理。控件可以就位，以防止设备调度冲突。可以基于位置、区域要求或过程类型来呈现用户可选的捕获配置。
系统1600实现区域管理技术。由于当前基于硬件的编码和同步解决方案受到编码设备上可用的io端口的数目的限制。软件同步和智能使能设备可能允许部署规模更大并且容易。可以取得扩展区域和多区域捕获，从而允许对于支持数据分析的事件链而言更丰富的内容和更长的可见性。
系统1600实现设备状态技术。例如，智能使能设备或适配器操作状态将从认证设备广播回到cmms1620。客户端站点处的和/或远程通过ccs1614的管理员能够访问自动生成数据的视觉表示的设备仪表板接口，该视觉表示报告所有经认证的智能使能设备上的关键操作度量和状态(例如，在线、离线、运行捕获、板载存储等)。在智能使能设备或适配器在正常条件(例如，存储完全、离线)之外运行的情况下，将向管理员传送警报(电子邮件、sms)并且进行适当地记录。
系统1600实现文件管理技术。在智能使能设备或适配器上完成捕获和处理时，处理后的文件将被传递到mmh1612。cmms1614将与设备进行通信，并且传递将通过握手来确认。每个设备或适配器可以具有板载存储，其将作为跨平台的短期文件冗余和恢复。
系统1600可以提供降低的成本、更低的等待时间和更高的灵活性。受限工作空间中的多核编码器和铜缆布线可以转化为高成本和调试复杂性。电缆布线必须通过无菌核心中的导管来拉动。电缆长度影响信号的等待时间。硬有线连接可能会限制设备布置并且影响捕获质量。本文中所描述的示例实施例可以基于通过无线的软件解决方案(至少部分地配置各种硬件部件)，并且使用智能使能设备可以降低总体硬件成本，得到更高的精度和捕获质量、更大的灵活性和容易调试。
运动跟踪
本文中所描述的实施例可以使用3d相机或ir设备来实现运动跟踪。例如，黑盒平台可以在外科手术部位处收集和纳入人和对象的运动跟踪数据。为了在临床环境中维持完全自由，可能需要无标记运动跟踪。可以从3d相机或飞行时间相机/传感器来收集数据。
平台可以使用各种部件和数据变换来实现运动跟踪技术。例如，平台可以包括使用激光和/或红外(ir)设备的一个或多个自主的或半自主的3d深度相机或飞行时间(tof)传感器。作为另一示例，平台可以从tof传感器的输出信号生成距离和/或位置信息，并且将其转换成3d深度映射图或点云。本文中所描述的实施例可以包括用于处理来自3d相机或tof传感器的输出数据的计算设备。本文中描述的实施例可以提供定制的数据过程，以区分由所捕获的深度映射图的改变产生的运动。本文中所描述的实施例可以提供媒体管理硬件和软件，以将所捕获的点云作为运动数据与其它所收集的媒体一起进行聚合、打包、压缩、加密和同步。本文中所描述的实施例可以提供用于设备的中央控制台，并且捕获管理和处理软件以将运动数据转换成要用于研究人为因素、工作流程设计和事件链分析的可分析信息。
描述工作流程以提供由平台提供的功能性的说明性示例。在一些示例中，3d深度相机或tof传感器固定安装在手术套间或外科手术套间中。在从平台接收到命令时，相机捕获并且生成可查看的捕获区域的距离和位置信息。输出数据将被传递到运行定制过程的计算设备，该定制过程创建并且建立基线测量(静态场图)，并且通过比较和测量相邻3d深度映射图和点云之间的位置信息的改变来提供汇总的运动数据。汇总基线和帧测量数据可以被传递到媒体管理软件(例如，mmh1612上的软件1620)，其可以将运动数据与其它所收集的媒体一起进行聚合、打包、压缩、加密和同步。
以预定间隔，文件将通过vpn隧道从客户端站点传递到处理设施或后台，其中，运动数据将被处理成要用于研究人为因素、工作流程设计和分析链事件的可分析信息。
示例过程可以涉及不同的操作，包括例如用于接收被格式化和结构化以能够进行改变的点对点测量的3d深度映射图或点云的计算操作。然后，计算操作可以创建并且建立基线测量(静态场图)，并且分析和记录相邻深度映射图或点云中的改变。计算操作可以将改变映射到公共时间线，并且为了与参考静态场映射图进行比较，在时间连续基础上总结改变数据。
本文中所描述的实施例可以提供设备和所收集的数据的同步。例如，平台可以实现各种媒体流到公共时间线的同步，作为确定分析质量的因素。以下是维持同步精度要求的示例：所有源设备至通用计算机中的直接连接；压缩、加密、编码和组织多个音频、视频和数据文件流的足够的io和计算能力；评估、确定和理解所有传入馈送的等待时间；调整和校准数据馈送进以确保同步(示例引入偏移量)的效用或算法；以及将文件头中的时间戳校准为通用的回放标准。
本文中所描述的实施例可以提供分析工具。在将来的实施例中，过程操作可以将点云和/或深度映射位置、距离和改变测量转化为现实距离测量。这些测量可能准许以半自主方式创建关键绩效指标(kpi)。kpi可以用于进一步分析和/或提供影响时间线和事件链的工作流程和人为因素的建议。这些可以包括：所采取的步骤、所行进的距离、所采取的路径与最佳路径、意外碰撞或聚集的影响、空间设计的影响、人员、装备、设备的布置和方位的影响等等。
应用于黑盒数据集的分析
本文中所描述的实施例可以实现数据驱动的外科手术误差分析工具来调查误差机制，并且评估误差和事件模式。本文中所描述的实施例可以实现形成性反馈、自我评估、学习和质量控制的过程操作，以及从所收集的数据中标识模式、相关性、依赖性和签名。
本文中所描述的实施例可以提供数据驱动建模从数据中标识和提取特征、相关性和签名的应用，从or黑盒编码器收集和分析该数据。数据驱动建模提供了描述和分析所有那些系统的良好观点，对于该观点，封闭形式的分析表达式可能难以确定。使用与问题有关的输入-输出样本对的数据集，目标是要使用计算智能(ci)来重建识别关键因素并且预测临床结果、成本和安全隐患的数学模型。ci工具可以包括神经网络、支持向量机、模糊推理系统、以及来自时间序列分析和动态复杂系统的几种技术。使用基于ci的途径，可以构建离线解决方案和在线解决方案，用于分析外科手术中的误差、不良事件和不良后果。术语离线是指可以用于从描述记录在or中的过去事件的示例中自动推理知识(例如，因果关系规则、相关性)的解决方案。在线途径可以提供实时工具以在手术中辅助外科医生和or团队。这种仪器可以通过监视or中的当前状况来进行操作，从而报告可能导致潜在误差的状况(例如，噪声水平、温度、房间中的个体数目等)的事件。
以下提供了在or黑盒编码器解决方案中应用的计算智能方法论的概述。计算智能方法论可以用于设计能够提取包括具有时变参数的复杂多变量过程的事件的特征、相关性和行为的网络。对于本申请，方法可以包括人造神经网络(ann)、前向馈送和递归馈送两者、径向基函数网络(rbfn)、模糊逻辑系统(fls)和支持向量机(svm)。适用于由or黑盒生成的数据，这些系统将能够实现各种功能性，包括例如在表示人类表现、患者生理学、传感器、临床结果和临床成本的数据之间找到复杂的非线性且隐藏的关系，并且预测结果和行为。其它示例功能性包括功能性泛化，如此可接受地响应or黑盒编码器解决方案以前未被暴露的情形，并且当系统不能用等式表达或者当数学模型不存在或不明确时提供备选解决方案。
fls的示例优点是通过定性的if-then规则集合来表达非线性输入/输出关系以及处理数值数据和语言学知识的能力，尤其是后者，其可能难以通过传统数学来量化。另一方面，ann、rbfn和svm的主要优点是固有的学习能力，其使得网络能够自适应地提高其性能。本解决方案可以应用ci方法论，包括ann、rbfn和svm，以开发稳健网络和模型，其将从or黑盒数据集中提取特征，检测相关性并且标识事件模式。
如所指出的，本文中所描述的实施例可以使用人造神经网络来实现数据分析技术。例如，时间序列建模可以包括时间延迟ann和前向馈送多层感知器网络来建模非线性动力系统的应用。作为另一示例，混合随机和前向馈送神经网络可以用于通过将来自随机建模的先验知识并入基于神经网络的预测器来预测非线性和非平稳时间序列。作为另一示例，两层神经网络由一系列非线性预测单元和用于时间序列分类的基于贝叶斯的决策单元组成。作为另一示例，ann用于时间序列预测并且影响使用启发式方法来选择采样窗口的最佳大小。可以使用其它神经网络拓扑结构，诸如递归架构，借此，可以经由反馈连接将时间关系内置到网络中。已经广泛地研究了递归神经网络的周期性和混沌时间序列预测。一些附加示例包括基于过滤来自适合于时间序列预测的输入/输出空间的异常值的递归神经网络的稳健学习操作的应用；用于预测非线性信号的流水线递归神经网络中的最优参数调整的各种选择方法论；用于非线性和非平稳信号建模/预测的复值流水线递归神经网络；通过时间学习算法结合自适应反向传播预测混沌时间序列的递归预测神经网络；以及建模非平稳的非线性且嘈杂的时间序列的自组织图和递归神经网络。
一些示例性实施例可以使用径向基函数网络，其中，可以检查前向馈送和递归rbfn的黑盒数据集的时间序列建模。
一些示例性实施例可以使用神经模糊网络。可以利用不同的自适应神经模糊推理系统(anfis)、备选神经模糊架构(anfa)、动态演化神经模糊推理系统(denfis)到混沌时间序列预测。这种应用的示例包括：(1)用于动态系统预报的实时的基于神经模糊的预测器；以及(2)使用基于非正交的小波、递归补偿神经模糊系统和用于建模非线性动力系统的加权递归神经模糊网络的混合递归神经模糊网络。
其它示例实施例可以使用支持向量机。svm可以用于临床相关表现结果、不良事件、并发症和成本/投资回报的时间序列预测。
一些示例实施例可以使用非线性黑盒数据建模技术。在不存在先验信息的情况下，本文中所描述的实施例可以使用基于所测量的输入输出对的有限集合来描述系统的动态行为(特征/签名)的模型。各种非线性黑盒建模问题可以被实现为使用输入输出数据来选择最佳映射机制、然后尝试最小化模型的输出与所测量的输出之间的误差的问题。
使用黑盒数据生成的教育策略
本文中描述的实施例可以实现基于or黑盒表现分析的教育干预。例如，实施例可以提供训练解决方案或提供可以用于生成训练解决方案的输出数据文件。
从系统分析手术过程获得的数据可以提供对保健系统内的复杂过程的洞察，允许评估个体层面和团队层面的表现，并且评价人与现代技术的交互。此外，该数据可以用于确定具体的个体和团队表现缺陷、过程中的隐患区域，以及表征导致“接近失误(nearmiss)”或不良患者后果的事件的级联。该信息可以递送基于现实生活观察而非在当前训练中使用的假设场景来定制有效的教育干预所需的关键知识内容。这种基于经验学习理论的概念可以用于创建可概括的教育策略，可以将其打包并且递送给无法访问自己的现实生活数据的站点。
可以使用严格的研究方法论来测试所有训练干预，以生成根植于实际观察的有效训练解决方案集合。
教育干预可以采用多种多样的指导策略，诸如团队汇报、个体和团队辅导、误差意识和缓解训练、行为建模和预热模拟训练。
本文中所描述的实施例可以提供不良后果的根本原因的标识和训练场景的设计。通过示例，不良患者后果的原因可能仍然难以捉摸，因为它们通常是多因素的并且基于回顾性分析。本文中所描述的具有黑盒生成数据的实施例可以允许分析预期性记载的不良后果。可以标识、表征并且使用递归问题的模式以基于实际经验来生成场景集合。这种知识可能与在类似临床背景下参与患者治疗的所有or团队相关。可以编译教育内容并且递送给信息表、教科书、电子学习软件、虚拟现实模拟工具和软件，以及在制度层面上集成到sop中。
除了总结不良后果的常见或重大根本原因之外，这些场景可以用于生成用于虚拟or中的全尺寸模拟的软件包。这些变量可以编入模拟软件，从而被打包、商业化并且出口到世界各地的教育机构。
本文中所描述的实施例可以提供技术分析以确定误差频率、分布和隐患区域。例如，该数据的最终用户可能是执业医师/外科医生和学员。映射过程复杂性和标识潜在隐患区域可以用于创建直接针对这些步骤的教学策略。然后，诸如故意实践之类的教学策略可以用于训练外科医生来为这些步骤做好准备，从而将不良事件的风险降至最低。告知外科医生复杂步骤或隐患步骤还使得能够设计sop(诸如例如，在航空中，在起飞和着陆期间具有“无菌”驾驶舱概念)，以限制在这些敏感步骤期间的分心(无不相关谈话、最小化房间流量、减少总体噪声)。
本文中描述的实施例可以提供有益和有害的团队交互的标识，以及模拟团队训练场景的设计和验证。
团队的运作可能受到诸如通信之类的非技术技能的影响。非技术技能也与患者结果关联。因此，识别团队内对患者结果有益或不利的具体行为模式是可能需要随后制定特定团队训练干预和汇报会话的步骤。因此，核心将使用通过or黑盒观察生成的数据来标识团队的非技术表现的具体模式。该信息可以用作使用or模拟、角色扮演和汇报会话来设计特定团队干预的基础。被标识为在组织层面上影响团队表现的递归主题可以通过政策建议和sop的设计来解决。
该数据的最终用户可以是所有的专业间or团队。从黑盒数据导出的教学干预将被设计为跨学科团队训练的教学包。被标识成导致组织过程的中断的行为模式将通过本地级别和地区级别的政策改变来解决。
本文中所描述的实施例可以有助于改善电流和/或先前设计。例如，本文中所描述的实施例可以提供可扩展性。附加的设备可以添加到配置中，而不需要过多昂贵的硬件和电缆布线。作为另一示例，本文中所描述的实施例可以提供优化。它们可能是改善解决多变的物理空间并且为更广泛范围的事件链添加附加的捕获区域的能力。作为又一示例，本文中所描述的实施例可以提供增加的内容，其具有为更丰富的内容添加附加数据类型的更大能力。作为附加示例，本文中所描述的实施例可以提供改进的设备同步，以减少对昂贵的硬件编码器的依赖，增加准确度并且减少等待时间的暴露。本文中所描述的实施例可以提供通用计算设备的更大的杠杆作用并且降低整体平台成本。
本文中所描述的设备、系统和方法的实施例可以以硬件和软件的组合来实现。这些实施例可以在可编程计算机上实现，每个计算机包括至少一个处理器、数据存储系统(包括易失性存储器或非易失性存储器或其它数据存储元件或其组合)、以及至少一个通信接口。
程序代码应用于输入数据以执行本文中所描述的功能并且生成输出信息。输出信息应用于一个或多个输出设备。在一些实施例中，通信接口可以是网络通信接口。在可以组合元件的实施例中，通信接口可以是软件通信接口，诸如用于进程间通信的接口。在其它实施例中，可以存在被实现为硬件、软件及其组合的通信接口的组合。
在整个前述讨论中，将就服务器、路由器、门户、平台或由计算设备硬件形成的其它系统而言进行大量的参考。计算设备可以具有至少一个处理器，其被配置成执行存储在计算机可读有形非暂态介质上的软件指令。例如，服务器可以包括一个或多个计算机，其以满足所描述的角色、职责或功能的方式操作作为web服务器、数据库服务器或其它类型的计算机服务器操作。
该描述提供许多示例实施例。尽管每个实施例都表示本发明的元件的单一组合，但是其它示例可以包括所公开的元件的所有可能组合。因此，如果一个实施例包括元件a，b和c，并且第二实施例包括元件b和d，则也可以使用a，b，c或d的其它剩余组合。
术语“连接”或“耦合至”可以包括直接耦合(其中彼此相互耦合的两个元件彼此接触)和间接耦合(其中至少一个附加元件位于两个元件之间)。
实施例的技术方案可以是软件产品的形式。软件产品可以存储在非易失性或非暂态存储介质中，其可以是光盘只读存储器(cd-rom)、usb闪存盘或可移动硬盘。软件产品包括若干个指令，其使得计算机设备(个体计算机、服务器或网络设备)能够执行由实施例提供的方法。
尽管已经详细描述了实施例，但是应当理解，可以在不同的实施例中进行各种改变、替换和变更。
而且，本申请的范围并不旨在限于说明书中描述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将从本发明的公开内容中容易地理解，可以利用执行基本上相同的功能或实现与本文中所描述的对应的实施例基本上相同的结果的目前存在或将来开发的过程、机器、制造、物质的组成、手段、方法或步骤。
如可以理解的，上文所描述的和所说明的示例旨在仅仅是示例性的。
- 还没有人留言评论。精彩留言会获得点赞！