用于组合RFID标签和计算机视觉来定位残留手术物品的系统和方法与流程

用于组合rfid标签和计算机视觉来定位残留手术物品的系统和方法
技术领域
1.本公开大体上涉及用于射频(rf)标签的查询和检测系统，且更确切地说，涉及针对在手术部位内潜在地残留的手术物品的检测和库存系统。


背景技术：

2.在完成手术之前，确定患者的身体中是否存在与手术相关联的物件通常是有用的。此类物件可以采取各种形式。例如，物件可呈器械的形式，例如手术刀、剪刀、镊子、止血钳和/或夹具。并且，例如，物件可以采取相关配件和/或一次性物件的形式，例如外科手术海绵、纱布和/或垫片。在缝合患者之前未能定位物件可能需要额外的手术，并且在一些情况下可能具有不期望的医疗后果。
3.相应地，需要能够在医疗环境中提供存在检测和标记的手术物品/器具识别功能以及所述标记物品/器具的库存控制的技术。具体来说，检测在医疗过程的执行期间使用的标记的手术物品和材料的存在、识别所述手术物品和材料，以及维持所述手术物品和材料的库存。现有的技术使这些功能可以单独地以及彼此结合实现，但所使用的分散的解决方案的方法和包装对于应用来说不理想。更具体来说，附着或附连到正被跟踪的物品的组件要么在物理上太大，在执行过程中存在麻烦或障碍，要么解决方案的检测和识别性能可能在可变且不受控的电介质或导电材料存在下快速降低。
4.相应地，需要改进医疗环境中的存在检测、标记的物品识别和库存功能。


技术实现要素：

5.本公开涉及用于在手术期间检测体腔中使用的手术物品和/或装置的系统，具体来说，涉及包含直接插入到手术部位中以检测这类手术物品和/或装置的天线的系统。
6.根据本公开的方面，一种被配置成用于检测和计数潜在残留的手术物品的库存系统包含：rfid标签，所述rfid标签被配置成在被供能时发射返回信号；信号发生器，所述信号发生器被配置成产生用于rfid标签的供能信号；可操作地耦合到信号发生器的天线，所述天线被配置成接收至少一个由rfid标签发射的返回信号；被配置成捕捉区域的图像的成像装置；处理器；和存储器。存储器包含存储于其上的指令，所述指令在由处理器执行时致使系统给rfid标签供能，从天线接收返回信号，从成像装置捕捉包含患者的身体的至少所述部分的区域的图像，以及基于所述图像和接收到的信号确定rfid标签的空间位置。
7.在本公开的一方面中，所述系统可进一步包含显示器。所述指令在由处理器执行时可进一步致使系统在显示器上显示rfid标签的所确定的空间位置。
8.在本公开的另一方面中，所述rfid标签可包含唯一标识符。
9.在本公开的另一方面中，所述指令在由处理器执行时可进一步致使系统基于所述唯一标识符确定rfid标签的特性。
10.在本公开的另一方面中，所述指令在由处理器执行时可进一步致使系统基于某一
数量的rfid标签中的每个唯一rfid标签的唯一标识符确定所述数量的唯一rfid标签。
11.在本公开的又另一个方面中，所述rfid标签可包含视觉标记。
12.在本公开的一方面中，所述捕捉的图像可包含视觉标记。所述指令在由处理器执行时可进一步致使系统基于视觉标记确定rfid标签的唯一特性。
13.在本公开的另一方面中，所述指令在由处理器执行时可进一步致使系统使用机器学习网络和/或计算机视觉模型基于图像预测物件的身份。
14.在本公开的另一方面中，当确定rfid标签的空间位置时，所述指令在由处理器执行时可进一步致使系统使用机器学习网络和/或计算机视觉模型基于所预测的物件的身份和接收到的信号预测rfid标签的空间位置。
15.在本公开的又另一个方面中，所述指令在由处理器执行时可进一步致使系统使用机器学习网络基于图像预测患者的身体区域。
16.根据本公开的方面，一种用于检测和计数患者的身体内的潜在残留的手术物品的计算机实施的方法包含：给rfid标签供能，所述rfid标签被配置成当被供能时发射返回信号；从天线接收返回信号，所述天线可操作地耦合到信号发生器，所述天线被配置成接收至少一个由rfid标签发射的返回信号；从成像装置捕捉包含患者的身体的至少一部分的区域的图像，所述成像装置被配置成捕捉包含患者的身体的至少一部分的区域的图像；以及基于图像和接收到的信号确定rfid标签的空间位置。
17.在本公开的另一方面中，所述方法还可包含在显示器上显示rfid标签的所确定的空间位置。
18.在本公开的另一方面中，所述rfid标签包含唯一标识符。
19.在本公开的另一方面中，所述方法还可包含基于唯一标识符确定rfid标签的至少一个特性。
20.在本公开的又另一个方面中，所述方法还可包含基于某一数量的rfid标签中的每个唯一rfid标签的唯一标识符确定所述数量的唯一rfid标签。
21.在本公开的一方面中，所述rfid标签可包含视觉标记。
22.在本公开的一方面中，所述捕捉的图像可包含视觉标记。所述方法还可包含基于所述视觉标记确定所述rfid标签的唯一特性。
23.在本公开的一方面中，所述方法还可包含使用机器学习网络基于图像预测物件的身份。
24.根据本公开的方面，当确定rfid标签的空间位置时，所述方法还可包含使用机器学习网络基于所预测的物件的身份和接收到的信号预测rfid标签的空间位置。
25.根据本公开的方面，一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时致使所述处理器执行用于检测和计数患者的身体内的潜在残留的手术物品的方法，所述方法包含：对rfid标签供能，所述rfid标签被配置成当被供能时发射返回信号；从天线接收返回信号，所述天线可操作地耦合到信号发生器，所述天线被配置成接收至少一个由rfid标签发射的返回信号；从成像装置接收包含患者的身体的至少一部分的区域的图像，所述成像装置被配置成捕捉包含患者的身体的至少一部分的区域的图像；以及基于图像和接收到的信号确定rfid标签的空间位置。
附图说明
26.在附图中，相同的附图标记表示相同的元件或动作。附图中元件的尺寸和相对位置不一定是按比例绘制的。例如，不同元件的形状以及角度没有按比例绘制，并且这些元件中的一些元件被任意地放大和定位以提高附图的易读性。此外，所绘制元件的特定形状并不意图传达关于特定元件的实际形状的任何信息，而仅仅为便于在附图中进行识别而选择。
27.下文中参考图式描述当前公开的天线、rfid标签和含有它们的制品的各种方面。
28.图1为根据一个所说明的方面的示出手术环境的示意图，说明了医疗提供者使用库存系统来检测和计数在患者体内的被rfid标签标记的物件；
29.图2为用于检测患者身体内在手术部位内正在使用的手术器具的天线的示意图；
30.图3为图1的系统的控制器的框图；
31.图4为使用图1的系统检测和计数潜在残留的手术物品的计算机控制的方法的流程图；
32.图5为使用图1的系统检测和计数潜在残留的手术物品的计算机控制的方法的机器学习网络的流程图；以及
33.图6为根据本公开的方面的图5的神经网络的层的图。
具体实施方式
34.在以下描述中，阐述了某些具体细节以便提供对所公开的各方面的透彻理解。然而，相关领域的技术人员将认识到，各方面可以在没有这些特定细节中的一个或多个的情况下实践，或者利用其它方法、组件和材料等来实践。在其它情况下，与发射器、接收器或收发器相关联的熟知结构没有详细展示或描述，以避免不必要地混淆各方面的描述。
35.在本说明书中通篇提及的“一个方面”或“方面”是指与包含在至少一个方面中的方面结合描述的特定特征、结构或特性。因此，在整个本说明书中各个地方出现的短语“在一个方面”或“在一方面”不一定都是指同一方面。此外，在一个或多个方面中，特定特征、结构或特性可以以任何合适方式组合。
36.图1描绘手术环境“e”，其中医疗提供者12操作库存系统10以检测和计数射频识别(rfid)标签100以确定患者18体内物品、器具或物件100a存在或不存在。所述库存系统10可包含信号发生器120和由一个或多个通信路径耦合至信号发生器120的天线110，所述通信路径例如同轴电缆122。在库存系统10的一个方面中，天线110可采取手持式棒110a的形式。
37.物件100a可以采取各种形式，例如在执行外科手术过程中有用的器械、配件和/或一次性物件。例如，物件100a可能采取解剖刀、剪刀、镊、止血钳和/或夹具的形式。并且，例如，物件100a可以采取外科手术海绵、纱布和/或衬垫的形式。物件100a被标记、载运、附着或以其它方式耦合到rfid标签100。本文中所公开的库存系统10的各方面特别适合于与一个或多个rfid标签100一起操作，所述rfid标签没有被准确地调谐到所选择的或所选定的谐振频率。
38.在使用中，医疗提供者12可以将棒110a定位在患者18附近，以便检测一个或多个rfid标签100以及因此物件100a存在或不存在。在一些方面，医疗提供者12可以使棒110a沿着和/或横跨患者18的身体移动。对于示例性库存系统的详细描述，可参考blair等人共同
拥有的于2004年3月29日提交的标题为“使用标签和宽带检测装置检测物件的设备和方法(apparatus and method for detecting objects using tags and wideband detection device)”的美国专利申请公开第2004/0250819号，所述专利的全部内容特此以引用的方式并入本文中。
39.系统10可包含显示器140，所述显示器被配置成显示图像和/或其它数据。系统10可包含被配置成捕捉区域的图像的成像装置111，所述区域包含患者18身体的至少一部分。
40.现参考图2，用于检测和计数患者身体18内的手术器具(例如物件100a)的库存系统10包含信号发生器120，以为附连到物件100a(图1)的一个或多个双rfid标签100(图1)提供供能信号。每个rfid标签100被配置成在被供能时发射返回信号，使得天线110可以检测返回信号并确认患者18的身体内物件100a的存在。天线110经由通信电缆122可操作地耦合到信号发生器120，所述通信电缆可具有可变长度，从而为操作天线110的临床医生提供更大的活动范围。信号发生器120可包含控制器200。
41.在库存系统10的一个方面中，天线110为被配置成在手术部位15上面挥动的天线110，例如在患者18的身体上面。例如，在尝试检测双rfid标签100时天线110可在患者18身体上面保持在约为四英寸或约为五英寸的高度，使得用户可检测和/或确认在患者18身体内物件100a的存在。
42.系统10还可包含启用rfid的安全包装450(例如启用rfid的智能包装和/或启用rfid的安全相互认证包装)，所述安全包装450包含附连到其上的rfid标签。例如，rfid标签可固定到启用rfid的安全包装450的盖子或主体上。rfid标签100被配置成当被供能时发射返回信号。大体上，启用rfid的安全包装450将包含被配置成从启用rfid的安全包装450移除的手术物件454(例如棉签)。手术物件454包含附连到手术物件454的残留的手术物品rfid标签，例如双rfid标签100。手术物件454可包含例如在手术或其它过程完成时无意地留在患者体内的任何手术海绵、棉签、器械、工具和/或装置。
43.启用rfid的安全包装450包含但不限于例如盖子和闭合件，且所述启用rfid的安全包装大体上被配置成验证密封容器的内含物以确保产品为真、不是召回的部分、在有效期内和/或尚未被篡改或分流。启用rfid的安全包装450大体上包含安全包装rfid标签452。
44.在各方面中，残留的手术物品双rfid标签100可通过嵌入含有rfid标签100的唯一标识符的加密数据块与安全包装rfid标签452连接。例如，为实现残留的手术物件454的使用，可通过库存系统10中的天线110扫描rfid标签100。
45.图3说明控制器200包含连接到计算机可读存储介质或存储器230的处理器220。计算机可读存储介质或存储器230可为易失性类型的存储器，例如ram，或是非易失性类型的存储器，例如闪存介质、磁盘介质等。在本公开的各个方面，处理器220可为另一种类型的处理器，如但不限于数字信号处理器、微处理器、asic、图形处理单元(gpu)、现场可编程门阵列(fpga)或中央处理单元(cpu)。在本公开的某些方面，与处理器相反，网络推断也可在将权重实施为忆阻器、化学地或其它推断计算的系统中完成。
46.在本公开的各方面，存储器230可以是随机存取存储器、只读存储器、磁盘存储器、固态存储器、光盘存储器和/或另一类型的存储器。在本公开的一些方面，存储器230可与控制器200分离，并且可通过电路板的通信总线和/或通过如串行ata电缆或其它类型的电缆的通信电缆与处理器220通信。存储器230包含可由处理器220执行以操作控制器200的计算
机可读指令。在本公开的其它方面，控制器200可包含网络接口240以与其它计算机或服务器通信。存储装置210可以用于存储数据。
47.现参考图4，示出了根据本公开的方面用于检测和计数在患者身体内可能残留的手术物品的示例性计算机实施的方法400的流程图.尽管图4的步骤以特定次序示出，但不必全部以特定次序执行步骤，且可以另一次序执行特定步骤。为简单起见，将在下文所描述图4，其中控制器200执行操作。然而，在各种方面中，图4的操作可部分由图3的控制器200执行，且部分由另一装置执行，例如远程服务器。这些变化涵盖在本公开的范围内。
48.库存系统(例如手术室安全系统)的两个主功能为检测和计数潜在残留的手术物品(rsi)。如本文中所使用，术语“残留的手术物品”包含在手术或其它过程完成时无意地留在患者体内的任何手术海绵、器械、工具和/或装置。所公开的技术基于潜在残留的手术物品以安全方式且以提供对每个rfid标签100的个别识别的方式检测和计数潜在rsi，所述每个rsi包含rfid标签100。
49.初始地，在步骤402，信号发生器120使用天线110对rfid标签100供能。天线被配置成接收由rfid标签100发射的返回信号。rfid标签100可包含高频rfid标签、低频rfid标签和/或超高频rfid标签。
50.在一个方面中，rfid标签100可附着到手术物件454(例如手术纱布和/或手术海绵)。在各方面中，系统可包含启用rfid的安全包装450(例如智能包装)，所述安全包装包含一组人造的潜在rsi 454(例如棉海绵)。所述启用rfid的安全包装450包含rfid标签452(例如rfid芯片)，所述rfid标签能够与主机(例如控制器200)相互认证。rfid标签100可包含存储在其存储器中的唯一标识符。在各方面中，rfid标签可包含视觉标记。举例来说，视觉标记可包含符号或例如“x”的形状、颜色标记、荧光ir/uv标记，且条形码和/或器械和/或棉的qr码可以并入。例如，手术袋可具有应用于其上的涂层，所述涂层通过天线110实现识别。
51.接下来，在步骤404，控制器200从天线110接收返回信号，所述天线被配置成接收至少一个由rfid标签100发射的返回信号。
52.在各方面中，天线110可包含传感器112(例如陀螺仪和/或gps)，所述传感器被配置成当扫描rfid标签100时提供天线110的基于定位的数据。空间参数还可包含天线110到患者18的接近度。
53.接下来，在步骤406，成像装置111捕捉包含患者18身体的至少一部分的区域的图像。成像装置111被配置成捕捉包含患者18身体的至少一部分的区域的图像。图像可包含静态图像、立体图像和/或视频。
54.成像装置111可例如定位在天线110的手持机的面向患者侧上和/或在天线110的环上。预期成像装置111可定位于天线110任何合适的部分上。当手持机在患者18上面移动时，成像装置111捕捉天线110经过的区域的一系列图像。这些图像可用于建构由天线110观测到的区域和天线110的行进路径的马赛克图像。另一方面，图像可用于检测天线110当前所在的患者18的身体的区域。
55.在各方面中，控制器可基于唯一标识符确定rfid标签100的至少一个特性。特性可包含信号强度、唯一手术物件类型和/或序列号。在各方面中，控制器200可基于某一数量的rfid标签中的每个唯一rfid标签100的唯一标识符确定所述数量的唯一rfid标签。在各方面中，控制器200可基于rfid标签的视觉标记确定rfid标签100的唯一特性。
56.接下来，在步骤408，控制器200基于图像和接收到的信号确定rfid标签100的空间位置。
57.控制器200可使用机器学习(和/或其它计算机视觉技术)以分析图像并基于图像对天线110正扫描患者身体18的什么区域进行分类(图5)。在各方面中，控制器200可使用例如图5的机器学习网络的机器学习网络600基于图像预测物件100a的身份。例如，控制器200可基于唯一标识符(例如序列号)确定所述物件100a为特定的手术海绵。在各方面中，控制器200可使用机器学习网络基于所预测的物件100a的身份和接收到的信号预测rfid标签100的空间位置。控制器200可使用机器学习网络基于图像预测患者18的身体区域。
58.预期库存系统10可用于确保合适的扫描技术及确保临床医生扫描正确的身体部位以用于正确的手术。正确的手术和身体部位可基于电子病历连通性和所确定的身体部位而确定。
59.在各方面中，控制器200可将所确定的rfid标签100的空间位置显示在显示器140上(图1)。例如，图像数据可与在区域中的rfid标签100检测的存在或不存在或在观测的区域中rfid标签100信号的强度组合。可将所得数据呈现给操作员12，例如作为具有检测的区域列表，作为患者身体18的热图，所述热图示出扫描的区域以及区域检测的存在、不存在和/或强度，和/或具有检测的区域的图像。在一个方面中，控制器200可识别所观测到的区域的唯一检测的类型和数目。
60.预期显示器140可并入到天线110中、在直接连接的基站盒内，和/或可利用远程连接的显示器，例如远程显示屏或平板电脑。
61.预期所述图像的处理可在天线手持机111上、在直接连接的基站盒内或在远程处理中枢内进行。在各方面中，数据传送可为有线或无线的。
62.在各方面中，控制器可使用机器学习网络600(图5)增强为应用所收集的图像，例如超分辨率、去模糊、图像校正、遮挡检测和移除。
63.参考图5，控制器200可包含被配置成进行这些评估的机器学习网络600。例如，控制器200可使用机器学习以基于图像预测患者18的身体区域。例如，机器学习可包含卷积神经网络(cnn)和/或状态变型机器(svm)。cnn可在患者和rfid标签的先前图像上训练。在各方面中，所使用的机器学习网络600会自行多次运行通过场景，且除现场潜在专家的反馈和建议以外还可搜集其它结果，且随后进行组合以确定场景上的哪些路线会发挥最大效果。可以使用监督训练和/或无监督训练来训练机器学习网络600。机器学习网络可另外基于所预测的物件100a的身份和接收到的信号和/或任何其它合适的参数或指标来预测606rfid标签100的空间位置。
64.参考图6，大体上图5的机器学习网络600(例如卷积深度学习神经网络)包含至少一个输入层710、多个隐藏层706和至少一个输出层720。输入层710、多个隐藏层706和输出层720都包含神经元702(例如节点)。在各个层之间的神经元702经由权重674互连。机器学习网络600中的每个神经元702通过将特定的函数应用到来自前一层的输入值计算输出值。应用于输入值的函数由权重704的向量和偏差确定。在深度学习神经网络中，通过对这些偏差和权重进行迭代调节来进行学习。权重704的向量和偏差被称作过滤器(例如内核)且表示输入的特定特征(例如特定形状)。机器学习网络600可以输出未归一化对数概率(logits)。
65.虽然已在附图中示出和/或在本文中描述了本公开的若干方面，但是并不旨在将本公开限于此，而旨在使本公开与本领域所允许的范围一样广泛，并且应以同样的方式阅读本说明书。因此，以上描述不应被解释为限制性的，而是仅作为特定方面的范例。本领域的技术人员将设想在本文所附的权利要求书的范围内的其它修改。