从药物包装上的处方标签导入结构化处方记录的制作方法

本申请要求于2015年3月12日提交的美国专利申请号14/656,691的权益，该申请的全部内容通过引用并入本文用于所有目的。

背景技术：

本发明一般涉及药物管理，并且更具体地涉及处方记录的自动导入。

随着我们发现新的诊断技术和治疗，卫生保健技术变得越来越有效，并且使得现有的治疗更便宜并且更常见。曾经需要住院的许多疾病现在可以作为慢性疾病可治疗，从而给患者更长时间、更高质量的生活。然而，随着卫生保健过程脱离专业环境，日常管理越来越多地落在装备复制较差的患者及其家庭身上。

药物管理是医疗保健的一个特别困难的方面。随着更多的疾病变得可以使用药丸形式的处方药物来治疗，患者被给予更复杂的药物时间表。如今，预计患者按照严格的时间表执行十种以上不同药物的日常治疗方案并不罕见。

除了日常时间表之外，药物清单本身会导致困难。患者常常被没有分享健康记录的若干个独立诊所和医生来治疗。这意味着当患者看到新医生时，患者本人就是他的病史和当前药物清单的唯一知识来源。维持该信息的任务落在患者身上，因为没有一个诊所或药房可以确保它能够访问所有信息。

药剂师有责任核查患者的整个药物清单以获得可能的错误或危险的药物相互作用。然而，如果患者去到多位药剂师，则他们都没有完整的清单。再次，患者仅具有做完整核查所需的全部信息。

出现了各种服务来帮助患者进行这些管理任务。例如，有些网站让患者自己查阅药物相互作用，并且有些手机应用程序可以被编程来发出提醒，以便在正确的时间服用药丸。所有这些服务都有弱点：为了有效运作，它们需要准确的药物清单，该准确的药物清单难以获得。

许多服务依赖于患者手动录入其药物清单。由于说明和剂量的技术细节以及难以拼写和容易混淆的药物名称，对于外行人员来说，药物清单的准确转录是困难的。因此，这些服务缺乏准确性和缺乏使用。

更准确的方法可能从由患者的药房持有的原始处方记录中导出清单。然而，这样的记录通常保存在专用系统中，其对于患者而言，访问成本高昂或麻烦，或患者选择的服务可使用的格式不可用。

因此，需要一种方法，其允许一种服务来导入患者的准确处方记录，而无需患者手动录入，并且无需访问存储那些记录的专用系统。

技术实现要素：

本发明涉及一种用于从打印在提供给患者的药物包装(例如，药丸瓶、药物盒等)的标签上的信息中导出计算机处方记录的方法和系统。该系统捕获图像集合中的包装上的标签的各部分，基于图像集合来重建标签，标识标签中的文本，确定所标识的文本与信息类型的关联性，并且存储图像集合、所重建的标签、标签中所标识的文本、以及所确定的关联性作为例如检查队列中的批次。在检查过程期间，批次被检查，并且批次的结构化处方记录被确定，该批次由与批次相关联的系统和系统的用户进一步使用以向用户提供各种特征。

因此，用户可以容易且方便地捕获他的处方信息，而无需手动输入处方信息。该系统简单地基于药物标签的用户所拍摄的一个或多个图像来确定处方信息(例如，药物名称、患者姓名、医师信息、药房、服用药物的指示、数量、补充品等)并且为用户存储该信息。从该信息中可以基于所捕获的处方信息来使得系统为用户自动建立的各种特征流动。例如，在多种其他特征之间，系统可以为用户自动设置药物清单，可以准备补充品提醒，可以全天为用户创建服用药物的提醒，可以提供剂量跟踪信息(其还可以与家人共享，该家人可能想要确认在正确的时间服用正确的剂量)。所有这些都可以由标签的用户所拍摄的图像来触发并且方便地流动，使得用户不必麻烦输入附加信息或设置所有这些特征和提醒。

附图说明

图1是根据实施例的其中药物管理系统操作的系统环境的框图。

图2是根据实施例的药物管理系统的框图。

图3是根据实施例的使用质量测量值来预处理图像集合的方法的流程图。

图4A和图4B是根据实施例的呈现给用户的描述质量测量值的信息的示例。

图5是根据实施例的用于使用图像集合来重建标签并且从标签中提取信息的方法的流程图。

图6A、图6B、图6C、图6D、图6E和图6F是根据实施例的与药物管理系统的用户所使用的药物管理系统相关联的应用的用户界面的示例。

图7是根据实施例的由药物管理系统的检查者所使用的检查工具的示例。

仅出于说明的目的，附图描绘了本发明的各种实施例。本领域技术人员将从以下讨论中容易地认识到，在不背离本文中所描述的本发明的原理的情况下，可以采用本文中所说明的结构和方法的备选实施例。

具体实施方式

系统架构

图1是用于药物管理系统130的系统环境100的框图。图1所示的系统环境100包括网络110、一个或多个客户端设备120、药物管理系统130以及一个或多个第三方系统140。在备选配置中，可以在系统环境100中包括不同的和/或附加的部件。本文所描述的实施例可以适用于管理用户的药物的其他合适的在线系统。

客户端设备120是能够接收用户输入以及经由网络110传送和/或接收数据的一个或多个计算设备。在一个实施例中，客户端设备120是常规的计算机系统，诸如台式计算机或膝上型计算机。可替代地，客户端设备120可以是具有计算机功能性的设备，诸如个人数字助理(PDA)、移动电话、智能电话或另一合适的设备。客户端设备120被配置成经由网络110进行通信。在一个实施例中，客户端设备120执行允许客户端设备120的用户与药物管理系统130进行交互的应用，作为访问药物信息的应用的用户、或使用检查工具来检查与药物管理系统130的用户的药物信息相关联的检查队列中的批次的检查者。例如，用户可以使用允许用户使用集成到客户端设备120中的相机并且允许用户将图像或视频导入应用的应用。访问药物信息的应用的用户可以使用被称为120A的第一客户端设备，并且使用检查工具来检查检查队列中的批次的检查者可以使用在此被称为120B的第二客户端设备。例如，客户端设备120执行浏览器应用以经由网络110来实现客户端设备120和药物管理系统130之间的交互。在另一实施例中，客户端设备120通过在客户端设备120的本机操作系统(诸如或者ANDROID^TM)上运行的应用程序接口(API)与药物管理系统130进行交互。

客户端设备120被配置成使用有线通信系统和/或无线通信系统经由网络110进行通信，该网络110可以包括局域网和/或广域网的任何组合。在一个实施例中，网络110使用标准通信技术和/或协议。例如，网络110包括使用诸如以太网、802.11、全球微波接入互操作性(WiMAX)、3G、4G、码分多址(CDMA)、数字订户线(DSL)等之类的技术的通信链路。用于经由网络110进行通信的联网协议的示例包括多协议标签交换(MPLS)、传输控制协议/因特网协议(TCP/IP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)以及文件传输协议(FTP)。可以使用任何合适的格式(诸如超文本标记语言(HTML)或可扩展标记语言(XML))来表示通过网络110交换的数据。在一些实施例中，可以使用任何合适的技术或多个技术来加密网络110的通信链路中的全部或一些通信链路。

一个或多个第三方系统140可以耦合至网络110用于与药物管理系统130进行通信，其将在下文结合图2进行进一步描述。在一个实施例中，第三方系统140是传达数据库或密钥的信息以供客户端设备120B访问数据库中的信息的应用提供者。第三方系统140还可以向药物管理系统130传达数据库或密钥中的信息以供访问数据库中的信息。

图2是药物管理系统130的结构的框图。图2所示的药物管理系统130包括质量测量模块205、重建模块210、数据提取模块215、质量控制模块220、检查队列存储装置225、处方存储装置230、模板存储装置235、第三方数据库存储装置240和web服务器245。在其他实施例中，药物管理系统130可以包括用于各种应用的附加的较少的或不同的部件。未示出诸如网络接口、安全功能、负载平衡器、故障切换服务器、管理和网络操作控制台等之类的常规部件，以便不模糊系统架构的细节。

质量测量模块205确定图像的一个或多个质量测量值，其中质量测量值与图像中的一个或多个调整相关联。图像的调整可以是应用于图像的过滤器，或明度、对比度、色调、饱和度、颜色平衡、一个或多个颜色活力、水平、曲线、曝光、阈值、亮度的调整，以及可以对图像做出的任何其他合适的调整。质量测量模块205确定图像的一个或多个质量测量值，并且基于质量测量值来向系统130的用户提供描述质量测量值的信息。如下文结合图3、图4A和图4B所描述的，所提供的信息可以包括用于基于质量测量值来提高图像的质量的建议、指示或指南。

重建模块210访问药物包装(还可以被称为包装)上的药物标签(还可以被称为标签)的图像，其中每个图像与标签的一部分相关联；以及确定其中与图像相关联的标签的一部分所附接的包装的结构信息。示例药物包装包括处方包装，诸如药丸瓶、药物盒或管、液体药物瓶或其他药物容器。从这里开始，药物包装中的药物还可以被称为包装的内容物。基于结构信息，重建模块210确定用于将标签的该部分的像素映射到平坦表面上的对应像素的变换矩阵。例如，结构信息可以包括形状与包装类似的对象的标识，并且变换矩阵可以用于将对象上的标签的部分的像素映射到平坦表面上的对应像素。在其他实施例中，结构信息可以是包装或其中标签所附接的包装的一部分的几何模型、或包装或其中标签所附接的包装的一部分的点云表示。在图像集合中的图像中的每个图像中确定重叠特征，其中图像集合中的第一图像中的重叠特征也在图像集合中的第二图像中。然后，如下文结合图5进一步所描述的，重建模块210使用捕获标签的各部分的图像集合、图像集合中的图像中的重叠特征以及变换矩阵来重建包装上的标签。

数据提取模块215使用一个或多个文本识别算法、一个或多个对象识别算法、或任何其他合适的特征识别算法来标识或提取图像或所重建的标签中的机器可读信息或文本。在所标识的文本和一种或多种类型的信息之间确定关联性，其中信息类型可以是关于包装中的内容物的信息或关于用户的信息。在一个实施例中，数据提取模块215基于与所重建的标签匹配的模板的确定来确定这些关联性。例如，如果模板已知在标签的右上角的第一狭槽(slot)中具有某种类型的信息，则所重建的标签的右上角的所标识的文本与某种类型的信息相关联。所重建的标签中的所标识的文本、以及所标识的文本与一种或多种类型的信息的所确定的关联性被作为批次存储在检查队列存储装置225中，该批次还包括用于重建所重建的标签的图像集合。下文结合图5对由数据提取模块215提供的功能进行进一步描述。

质量控制模块220选择检查队列存储装置225中的一个或多个批次以在检查队列存储装置225中复制，或者经由在客户端设备120B上执行的检查工具多次提供给检查者，以供进行质量控制(QC)。因此，如下文在图5中进一步所描述的，系统130可以基于相同批次的检查之间的差异来控制质量，并且确保当检查以下各项时的一定程度的彻底性：所重建的标签，所重建的标签的所标识的文本，以及基于所重建的标签、所标识的文本以及所确定的关联性来导入结构化处方记录时所标识的文本与信息类型的关联性。

检查队列存储装置225存储一个或多个检查队列，其中每个检查队列包括一个或多个批次。如先前所描述的，批次包括捕获包装上的标签的图像集合、基于该图像集合而重建的所重建的标签的所标识的文本、以及所标识的文本与一种或多种类型的信息的所确定的关联性。批次还可以存储与该图像集合相关联的所重建的标签。对于已经由操作客户端设备120B的检查者检查的检查队列中的批次，该批次还可以与由检查者确认的结构处方记录相关联。

处方存储装置230存储药物管理系统130的用户的结构化处方记录。在一个实施例中，所存储的结构化处方记录与用户的标识符相关联地存储，并且在另一实施例中，处方存储装置230存储与药物管理系统130的用户相关联的一个或多个用户简档，并且与用户相关联的每个用户简档包括与用户相关联的结构化处方记录。处方存储装置230还可以存储与用户的用户简档中的用户相关联、或与用户的标识符相关联的批次。

模板存储装置235存储一个或多个模板、以及与一个或多个模板相关联的公司。例如，如果公司A已知针对标签使用第一类型的模板，以及针对标签使用第二类型的模板，则模板存储装置235存储第一类型的模板、第二类型的模板、以及公司A与第一类型的模板和第二类型的模板的关联性。因此，如果已知Walgreens针对处方或药物标签使用特定类型的模板，则模板存储装置235可以存储与Walgreens相关联的特定类型的模板。模板存储装置235中的每个模板包括一个或多个狭槽，并且对于模板中的每个狭槽，存储与狭槽相关联的信息类型。例如，如果已知模板中的第一狭槽与第一类型的信息(例如，用户名称)相关联，则模板存储装置235与第一类型的信息相关联地存储模板中的第一狭槽。在一个实施例中，模板中的第一狭槽的位置与第一类型的信息相关联。

第三方数据库存储装置240存储来自与第三方系统140相关联的一个或多个数据库的信息、或存储访问与第三方系统140相关联的一个或多个数据库中的信息的密钥。例如，如果已知药品公司是公司A，则药物管理系统130可以访问公司A的数据库，并且公司A可以访问药物管理系统130的处方存储装置230。在一个实施例中，如果用户给予要传送的信息的权限，则与包括在第三方系统130中的数据库中的系统130的用户相关联的信息仅可被系统130访问。

网络服务器245经由网络110将药物管理系统130链接到一个或多个客户端设备120、以及一个或多个第三方系统140。网络服务器245服务网页以及其他内容，诸如XML等。web服务器245可以在药物管理系统130和客户端设备120之间接收和路由消息，例如，描述质量测量值、经检查的批次、结构化处方记录或其他合适消息的信息。附加地，web服务器245可以提供应用程序接口(API)功能性以将数据直接发送到本地客户端设备操作系统，诸如ANDROID^TM、或BlackberryOS。

使用质量测量值来预处理图像集合

图3是使用质量测量值来预处理图像集合的方法的流程图。在各种实施例中，结合图3所描述的步骤可以以不同的顺序执行。附加地，在一些实施例中，该方法可以包括与图3所示的那些步骤不同的和/或附加的步骤。结合图3中的药物管理系统130描述的功能性在一个实施例中可以由质量测量模块205提供，或者可以在其他实施例中由任何其他合适的部件或多个部件来提供。附加地，客户端设备110可以执行与药物管理系统130相关联的一个或多个指令，诸如与药物管理系统130相关联的应用，以提供结合图3所描述的功能性。

系统130从用户操作的客户端设备接收305与用户相关联的包装上的标签的图像集合(例如，处方包装，诸如药丸瓶、药物盒或管、液体药物瓶或其他药物容器)。图像集合中的每个图像与标签的一部分相关联。例如，每个图像捕获标签的一部分，并且每个图像与和图像集合中的其他图像不同的标签的部分相关联或捕获该部分。因此，如果图像集合中的第一图像与标签的右上角相关联，则图像集合中的第二图像与不在该标签的右上角的标签的至少一部分相关联。包装上的标签可以是包装的任何部分，其包括关于包装中的内容物的信息或关于用户的信息。关于包装中的内容物的信息可以包括标识内容物的信息、与内容物交互的指示、与内容物相关联的到期日期、与内容物交互的警告、以及在与内容物进行交互的同时关于用户的内容物和安全性的任何其他合适的有用信息。如果内容物包括药丸，则与内容物交互包括消耗药丸。关于用户的信息可以包括用户的名称、地址、电话号码、以及与用户相关联的任何其他合适的联系信息。在一些实施例中，捕获单个图像，诸如专注于被确定为标签的关键部分或可能是全景图像的单个图像。

在备选实施例中，图像集合可以是视频馈送，并且可以由在与系统130相关联的用户操作的客户端设备上执行的应用自动捕获。例如，视频馈送或图像可以基于以下各项来自动捕获：相机运动(基于集成在客户端设备120中的运动传感器的运动数据)、与图像中的像素相关联的值、图像的任何合适的实时分析、描述其中图像或视频馈送正在被捕获的环境的信息、或它们的任何组合。

确定310图像集合中的图像的一个或多个质量测量值。每个质量测量值与图像中的一个或多个调整相关联。图像的调整包括调整明度、对比度、色调、饱和度、颜色平衡、一个或多个颜色活力、水平、曲线、曝光、阈值、亮度、以及可以对图像做出的任何其他合适的调整。图像的调整也可以是应用于图像的过滤器。图像的质量测量值是图像的调整的测量值。例如，如果图像的调整是对比度，则图像的质量测量值可以是对于图像已经调整了多少对比度的测量值。如下文结合图4A至图4B进一步所描述的，响应于确定310图像集合中的图像的一个或多个质量测量值，系统130可以向用户呈现描述质量测量值的信息。类似地，如下文结合图4A至图4B进一步所描述的，系统130可以经由在由用户操作的客户端设备120上执行的应用向用户呈现用于沿特定方位来旋转包装的指示。

响应于质量测量值(例如，如上文所描述的确定的一个或多个质量测量值中的质量测量值)没有超过与质量测量值的一个或多个调整相关联的一个或多个阈值测量值，系统130请求315图像的替换图像。在一个实施例中，一个或多个质量测量值用于照明、相机运动和聚焦。因此，与在客户端设备120上执行的系统130相关联的应用会分别通过图像中的亮度值、与客户端设备120相关联的运动数据、以及边缘密度分析来检查照明、相机运动和聚焦。

应用可以通过图像的亮度值来检查足够的照明。该应用提取图像的亮度值，并且如果所捕获的图像采用YUV格式，则亮度值就是像素值的Y分量。如果图像采用另一格式，则颜色空间变换可以应用于图像，以将图像转换为YUV格式。应用或服务器130可以确定亮度值的直方图，并且基于以下各项来确定图像的明度和对比度：与直方图相关联的最小值、与直方图相关联的最大值、最小值和最大值之间的差、或它们的任何组合。响应于图像的明度、对比度、或明度和对比度两者没有超过分别与明度、对比度、或明度和对比度两者相关联的对应的阈值测量值，该应用可以向用户显示描述图像的明度和对比度的信息。例如，所显示的信息可以包括鼓励用户增加环境照明的消息、通知用户需要更多的光以获得准确性的消息、或者帮助用户捕获具有更好质量的图像的任何其他合适的消息。

应用可以经由加速度计、或集成到由执行应用的用户操作的客户端设备120中的任何其他合适的运动传感器来检查相机运动。对于加速度计，如果加速度计读数的幅度高于与加速度计读数相关联的阈值测量值，则该应用可以向用户显示描述相机运动、以及在图像捕获期间相机是否需要更稳定的信息。

应用或系统130还可以通过对图像应用一个或多个过滤器来检查聚焦。例如，该应用可以对图像应用高斯模糊过滤器以消除虚假高频伪像，应用拉普拉斯过滤器来检测边缘，或其任何组合。可以确定在图像被过滤之后与图像相关联的边缘密度值。边缘密度值可以是图像中的多个采样点的平均边缘密度值、与图像相关联的最大边缘密度值、或图像中的边缘密度值的任何其他合适的组合。如果边缘密度值没有超过与边缘密度相关联的阈值测量值，则应用可以向用户显示描述图像中边缘密度的信息。边缘密度的阈值测量值可以基于对各种设备型号和配置进行的经验测试。

系统130可以确定与测量图像的调整水平的一个或多个质量测量值相对应的一个或多个阈值测量值。因此，超过对应的阈值测量值的图像的质量测量值表示图像具有没有降低图像质量的图像调整。例如，如果图像的质量测量值是对比度的测量值，则超过与对比度相关联的对应的阈值测量值的质量测量值表示图像的对比度足以可识别图像中的细节(诸如图像中的文本)。在另一实施例中，没有超过对应阈值测量值的图像的质量测量值表示图像具有没有降低图像质量的图像调整。例如，如果图像的质量测量值是曝光的测量值，则没有超过与曝光相关联的对应的阈值测量值的质量测量值表示图像没有太多的曝光，使得可识别图像(诸如文本)中的细节。替换或附加于阈值测量值，系统130可以确定与图像的调整水平相关联的测量值的范围。因此，在测量值的范围内的图像的质量测量值表示图像具有处于没有降低图像质量的范围内的图像的调整。如下文结合图4A和图4B所描述的，系统130还可以向用户呈现描述以下各项的信息：质量测量值中的一个或多个质量测量值是否超过对应的阈值测量值，没有超过对应的阈值测量值，在由系统130确定的测量值的范围内，或它们的任何组合。

响应于一个或多个质量测量值超过与质量测量值的调整相关联的对应的阈值测量值，系统130确定320图像集合中的另一图像的一个或多个附加的质量测量值。如下文结合图5进一步所描述的，如果质量测量值中的每个质量测量值为以下各项，则图像的质量适合于标识图像中的细节和特征：超过对应的阈值测量值，没有超过对应的阈值测量值，处于由系统130确定的测量值范围内，或它们的任何组合。系统130还可以确定整个标签是否被图像集合捕获，其中图像集合中的每个图像捕获标签的至少一部分，并且图像集合至少捕获整个标签。如下文结合图5进一步所描述的，在图像集合中的每个图像具有超过对应的阈值测量值的质量测量值的情况下，图像集合可以被存储在检查队列存储装置235中，并且图像集合将用于重建标签。

呈现描述质量测量值的信息

图4A和图4B是呈现给用户描述质量测量值的信息的示例。如图4A所示，系统130可以向由用户操作的客户端设备120提供指南405，以供在客户端设备120上执行的应用上的接口中呈现给用户。除了指南405之外，系统130还可以呈现用于呈现给用户的指令10，诸如“请将瓶与指南对齐”。如果应用响应于包装(诸如瓶)的旋转而自动捕获图像，则指令还可以指导用户沿特定方向缓慢旋转包装。指示的其他示例包括“不要阻止标签”、“拍摄多张照片”、“设计和聚焦药物包装”以及“捕获所有细节”，其还在捕获图像之前，可以经由用户操作的客户端设备120来呈现给用户。

如图4B所示，系统130还可以提供描述与所捕获的图像或实时视频馈送相关联的质量测量值的信息415。该信息可以描述所拍摄的图像或实时视频馈送中的调整的质量测量值是否高于或低于与调整相关联的阈值测量值。因此，如果照明基于图像中的没有超过阈值亮度值的亮度值是较差的，则信息415A可以表示“低照明(LOW LIGHT)-请使用更好的照明”。如果聚焦基于客户端设备120的运动数据、或者基于分别超过与运动数据相关联的阈值测量值或与边缘密度值相关联的阈值测量值的与图像相关联的边缘密度值是较差的，则信息415B可以表示“散焦(OUT OF FOCUS)-请将瓶移离相机”。

从标签重建标签并且提取信息

图5是使用图像集合来重建标签、并且从标签中提取信息的方法的流程图。在各种实施例中，结合图5所描述的步骤可以以不同的顺序执行。附加地，在一些实施例中，该方法可以包括与图5所示的那些步骤不同的步骤和/或附加的步骤。结合图5中的药物管理系统130所描述的功能性可以由质量测量模块205、重建模块210和数据提取模块215提供，或者可以在其他实施例中由任何其他合适的部件或多个部件来提供。附加地，客户端设备120可以执行与药物管理系统130相关联的一个或多个指令(诸如与药物管理系统130相关联的应用)，以提供结合图5所描述的功能性。

系统130访问505包装上的标签的图像集合。图像集中的每个图像与标签的一部分相关联。所访问的图像集合可以是从结合图3所描述的方法所接收305的图像集合。如下文进一步所描述的，图像集合可以存储在检查队列存储装置225中，以在检查过程期间提供帮助。如先前结合图3所描述的，可以确定310与图像集合中的每个图像相关联的一个或多个质量测量值，并且与阈值测量值进行比较，以确定是否需要新图像。

对于图像集合中的每个图像，系统130确定510包装的结构信息，其中与图像相关联的标签的部分被附加或相关联，并且基于用于将标签的部分的像素映射到平坦表面上的对应像素的包装的结构信息，来确定515一个或多个变换矩阵。在一个实施例中，系统130首先标识与标签的一部分相关联的图像集合中的每个图像中的位置，该标签的一部分与图像相关联。例如，基于关于标签已知的假设来标识与标签的一部分相关联的图像中的位置。假设可以是文本颜色、背景颜色、标签的方位。例如，假设可以是标签在白色背景上具有黑色文本，并且在图像上处于水平位置或垂直位置。因此，使用对比度，系统130可以标识与标签的一部分相关联的图像中的位置。

其中与图像相关联的标签的部分所附接的包装的结构信息包括包装的形状的标识、类似于包装的对象的形状的标识、形状与包装类似的一个或多个标识、与形状和包装类似的一个或多个标识相关联的得分、以及它们的任何组合。然后，系统130基于包括在结构信息中的标识来确定515一个或多个变换矩阵。包装的结构信息还可以包括一个或多个标识的得分，其中每个得分可以是权重、或表示与该标识相关联的形状与包装相似的百分比。然后，系统130基于包括在与最高得分相关联的结构信息中的标识、或超过阈值得分的得分，来确定515一个或多个变换函数。在一个实施例中，变换函数可以是变换矩阵，其中变换矩阵是用于将第一空间中的点变换为第二空间中的点的元素的阵列或矩形阵列。因此，其中与图像相关联的标签的部分附接到包装的图像中的像素被视为由其中标签所附接的包装的结构信息限定的第一空间中的点。因此，使用变换矩阵，系统130将像素映射到对应像素，其是作为平坦表面的第二空间中的点。一个或多个变换矩阵包括去除由图像集合中的图像捕获的包装上的标签的透视失真的任何合适的变换矩阵或变换。可替代地，变换函数可以是表示基于结构信息的包装的模型。例如，该模型是基于结构信息(诸如包装的形状的标识)的包装的数学表示。因此，如果包装的形状是圆柱形的，则该模型是圆柱体或圆柱形对象的数学表示。

包装的结构信息还可以是包装的几何模型或包装上的标签的部分。例如，几何模型可以是点云表示、或包装的任何其他合适的3D模型、或包装上的标签的部分。结构信息还可以包括与包装相关联的角度。例如，如果包装向上倾斜，则结构信息可以包括向上倾斜的可能的角度。

确定520图像集合中的图像中的每个图像中的一个或多个重叠特征。图像集合中的图像中的重叠特征是图像中与图像集合中的另一图像中的第二重叠特征相对应的特征。例如，包装上的标签可以包括作为直线的边框，并且重叠特征可以是出现在图像集合中的图像中的标签的一部分、以及图像集合中的另一图像中的标签的一部分中的边界中的像素集合。在其他示例中，重叠特征可以是像素集合、或出现在图像集合中的图像中的标签的一部分以及图像集合中的另一图像中的标签的一部分中的图案中的像素集合。对于图像集合中的每个图像，确定520一个或多个重叠特征。因此，图像集合中的至少每个图像具有与图像集合中的另一图像重叠的一个或多个特征。

系统130使用图像集合、图像集合中的图像中的每个图像中的一个或多个重叠特征、一个或多个变换矩阵、或其任何组合来重建525包装上的标签。在一个实施例中，系统130使用一个或多个变换矩阵来平坦化图像集合中的图像中的标签的每个部分，并且使用所确定520的图像集合中的图像的一个或多个重叠特征来重建525标签。可替代地，系统130使用所确定520的图像集合中的图像中的一个或多个重叠特征来重建525标签，并且使用一个或多个变换矩阵来平坦化所重建的标签。可以基于图像中的重叠部分，通过将图像集合中的图像拼接在一起来重建525标签。基于一个或多个变换矩阵，系统130将图像集合中的每个图像中的标签的部分中的像素映射到所重建的标签的第二空间中的对应的像素。标签的一部分中的每个像素与一个或多个变换矩阵中的变换矩阵相关联，并且关联性可以基于结构信息。如果系统130确定510第一图像中的其中标签的一部分所附接的包装是圆柱体、并且第二图像中的其中标签的一部分所附接的包装是平坦表面(诸如药丸瓶的顶部或底部)，则系统130将第二图像中的标签的部分中的像素中的一个或多个像素与至少一个变换矩阵相关联(该至少一个变换矩阵与平坦表面相关联)，并且将第一图像中的标签的部分中的像素中的一个或多个像素与至少一个变换矩阵相关联(该至少一个变换矩阵与圆柱体相关联)。在系统130重建525标签之后，还可以确定520图像中的每个图像中的一个或多个重叠特征。

使用文本识别算法来标识530所重建的标签中的文本。除了文本之外，系统130还可以标识530所重建的标签中的其他特征，诸如条形码、QR码、或数据的任何其他合适的机器可读表示。为了标识文本，系统130可以使用光学字符识别、光学词识别、智能字符识别、智能字识别、或任何其他合适的文本识别算法。

系统130确定535匹配所重建的标签的模板。在一个实施例中，基于所标识的文本来确定535模板。如果所标识的文本包括公司的名称，则系统130确定535所重建的标签使用公司已知使用的模板。作为示例，如果已知CVS使用特定类型的模板，并且所标识的文本包括字符序列“CVS”，则系统130确定535所重建的标签使用特定类型的模板。可替代地，基于与用户相关联的用户简档信息来确定535模板。如果用户简档信息包括陈述用户从其中购买包装中的内容物(诸如药)的公司的信息，则系统130确定535所重建的标签可以是公司使用的模板。然而，如下文在下一步骤中进一步所描述的，系统130可以基于将所标识的文本的一种或多种类型的信息进行关联540来确定535公司使用的模板不是所重建的标签的模板。每个模板与模板的一个或多个狭槽相关联，该狭槽与信息类型相关联。例如，与公司相关联的模板以及基于与公司的关联性的模板中的各种狭槽与标签中提供的信息类型相关联。例如，如先前结合图4所描述的，模板可以包括狭槽，其是用于信息(诸如关于包装中的内容物的信息或关于用户的信息)的类型的标签的指定子部分。模板可以是存储在模板存储装置235中的模板。

系统130将所重建的标签中的所标识的文本的一种或多种类型的信息相关联。在一个实施例中，基于与所重建的标签相关联的模板来标识540用于所标识的文本的一种或多种类型的信息。如果标签与已知使用包括用于用户名称的左上方的狭槽的模板的第一公司相关联，则系统130可以将所重建的标签的左上方的所标识的文本与用户名称相关联。在备选实施例中，系统130基于所标识的文本将所重建的标签中的所标识的文本的一种或多种类型的信息相关联。基于所标识的文本中的字符的图案，系统130可以将所标识的文本中的字符的各种图案与信息的类型相关联540。例如，如果字符包括五个数字，则系统130可以将五个数字与邮政编码相关联。如果字符包括十个数字，则系统130可以将该十个数字相关联540作为电话号码。

系统130通过将所标识的文本和相关联的一种或多种类型的信息存储在检查队列中来提供545所标识的文本和相关联的一种或多种类型的信息以供手动检查。在提供545所标识的文本和相关联的一种或多种类型的信息以供手动检查之前，系统130可以向用户提供所标识的文本和相关联的一种或多种类型的信息。例如，如果系统130标识530所重建的标签中的文本并且没有将一种或多种类型的信息与所标识的文本相关联，则系统130可以向用户提供所标识的文本以供用户与一种或多种类型的信息相关联。如果系统130仅关联了所重建的标签中的文本的一部分的一种或多种类型的信息，则系统130可以向用户提供所标识的文本、文本的一部分的相关联的一种或多种类型的信息、或其任何组合以供用户确认关联性，将用于所标识的文本的一种或多种类型的信息相关联540，或这两者。所标识的文本和相关联的信息类型被存储在检查队列存储装置225中的检查队列中。下文对用于检查检查队列的检查过程进行进一步描述。

接收550对所标识的文本和相关联的一种或多种类型的信息的检查的确认。所接收550的确认可以是所标识的文本和经检查的与所标识的文本相关联的一种或多种类型的信息被存储和/或可供用户访问的通知、或者可以是所标识的文本和经检查的一种或多种类型的信息被存储为结构化处方记录的通知。向用户呈现555经检查的所标识的文本和相关联的一种或多种类型的信息，并且可以响应于确认的接收550以及作为结构化处方记录而自动呈现555。所标识的文本和相关联的一种或多种类型的信息可以作为可编辑和可选择的选项而呈现555给用户，使得如果用户标识误差，则用户可以通过容易地选择所标识的文本和相应的信息类型来编辑所标识的文本和/或关联性。因此，如果用户看到电话号码的一部分已经被关联为邮政编码，则响应于用户选择邮政编码，用户可以经由向用户呈现的选项容易地选择邮政编码和将邮政编码关联作为电话号码的一部分的选项。

检查过程

如先前所描述的，服务器130通过将所标识的文本和相关联的一种或多种类型的信息存储在检查队列中来提供545所标识的文本和相关联的一种或多种类型的信息以供手动检查。因此，检查队列包括一个或多个批次，并且每个批次包括图像集合、使用图像集合的所重建的标签中的所标识的文本、以及所标识的文本的相关联的一种或多种类型的信息。

基于动态排队算法来向检查者(例如，与药物管理系统130或制药公司相关联的用户)呈现检查队列中的批次，该动态排队算法优化可以在服务器130中指定的一个或多个目标。目标描述了整体客户服务质量，诸如用户应该如何或何时收到经检查的标识的文本。目标的示例包括最小化从用户从图像集合中获取图像的时间到服务器130向用户呈现555经检查的标识的文本和相关联的一种或多种类型的信息的时间之间的轮转时间、质量、数量和用于递送经检查的信息的其他合适目标。质量的目标意味着轮转时间可能会更长，但是更多的人将会接收到经彻底检查的标识的文本，而数量的目标意味着轮转时间可能对于服务器130的更多用户而言更短。因此，排队算法确定基于目标来确定检查队列中的批次的顺序。在一个示例中，将与检查队列相关联的最大轮转时间和最小轮换转时间与阈值最小轮转时间和阈值最大轮转时间进行比较。在一个实施例中，如果最小轮转时间大于阈值最小轮转时间，则排队算法指示检查者检查检查队列中的最新批次，以降低与检查队列相关联的整体最小轮转时间。如果最大轮转时间大于阈值最大轮转时间，则排队算法指示检查者检查检查队列中最旧批次，以降低与检查队列相关联的总体最大轮转时间。目标还可以是当被检查时呈现经检查的标识的文本的部分，并且在该实施例中，排队算法还可以基于目标来确定检查每个批次的所标识的文本的顺序。

检查者修复、双重核查或确认所标识的文本、以及所标识的文本与一种或多种类型的信息的关联性。如果需要，则检查者还可以确定所标识的文本和与一种或多种类型的信息的关联性之间的关联性。在该检查过程期间，检查者可以使用检查工具，该检查工具包括数据库、用于查看图像集合中的图像的接口、以及用于校正或确定所标识的文本与一种或多种类型的信息之间的关联性的接口。如先前结合图2所描述的，数据库可以是公司的数据库以及个人数据库。例如，如果包装中的内容物包括药丸并且标签与制药公司相关联，则检查工具可以包括访问制药公司的用户数据库和对应的处方。

如结合图7所描述的，检查者可以使用检查工具来检查检查队列中的批次。图7是药物管理系统130的检查者所使用的检查工具的示例。检查工具包括用于图像呈现的接口705。图像可以在接口中以水平格式呈现，并且检查者可以具有旋转图像的能力，其中每个图像捕获药物包装上的处方标签的一部分或者是药物包装上的处方标签的一部分。如先前结合图2、图3、图4A、图4B和图5所描述的，处方标签的部分包括标识以下各项的文本：姓和名、药物、剂量、指示、处方号码、电话号码、条形码、补充日期、开处方者、以及与药物包装中的内容物相关联的任何其他合适的信息或与用户相关联的信息。然而，如图7中的公司名称“Walgreens”所示，每个图像仅捕获处方标签的一部分，因此，每个图像可以仅捕获文本的一部分。第一图像720A捕获公司名称“Walgree”的第一部分730A，并且第二图像720B捕获公司名称“reens”的第二部分730B，其中第一部分730A和第二部分730B至少在字符“ree”中重叠。另外，第一图像720A捕获第一部分730A，并且由于药物包装或药丸瓶的曲率而使公司名称的文本“Walgree”变形。类似地，第二图像720B捕获第二部分730B，并且由于药物包装或药丸瓶的曲率而使公司名称的文本“reens”变形。尽管为了匿名而被阻挡，但是处方标签中的其余部分也被捕获在如由相应的图像以与公司名称“Walgreens”的示例和公司名称“Walgreens”的捕获的部分730A和730B类似的方式捕获的药物包装的曲率而变形的各种图像720A，720B和720C中的各个部分中。其中呈现图像的接口还可以包括旋转控件710的固定放置，以便于其中旋转控件710放置在没有阻挡图像的位置的多次旋转。检查者还可以缩放和冻结图像或视频。例如，检查者可以选择包含在批次中的图像集合中的一个或多个图像进行放大。检查工具还包括用于填充数据字段的接口715。如先前结合图2所描述的，接口可以包括基于所标识的文本的先前自动填充的数据字段并且将数据字段与一个或多个数据库进行比较。某些数据字段还可以基于处方号码(诸如药房或公司名称、商店号码、地址和电话号码)自动完成。如果不使用缩略语或缩略语，则接口还可以自动完成各种数据字段，诸如日期、时间、药物名称和剂量。检查工具还可以包括各种快捷方式，其允许检查者使用检查工具快速批准所标识的文本和相关联的信息类型。检查工具还可以允许检查者在检查队列中选择所有与相同用户相关联的多个批次。批次的其他合适的排序选项也包含在检查工具中，诸如按时间戳排序(例如，当它们首次存储在检查队列中时对批次进行排序)，基于公司名称进行排序(例如，为了简化比较与图像相关联的批次中的该批次中的所标识的文本和与公司名称相关联的数据库)、以及任何其他合适的选项来便于检查过程，以便将经彻底检查的批次快速返回给用户。

如先前结合图2所描述的，检查过程还可以包括质量控制(QC)过程。检查过程可以包括多个层级的检查者，其中具有更多经验的检查者可能处于较高层级，主要检查较低层级的检查者的检查中的冲突报告。例如，系统130可以在检查队列中重复随机批次，并且具有由多个不同的检查者检查的相同批次。如果同一批次的检查存在冲突，则较高层次的检查人员将对批次进行检查，以解决冲突。在另一个实施例中，系统130可以确定同一批次的检查中的冲突测量值，并且如果冲突测量值超过阈值冲突测量值，则该批次由较高层级的检查者检查。例如，冲突测量值可以是在检查中不同的数据字段的数目、在检查中不同的字符的数目、基于药物量是否在检查中不同、或它们的任何组合。

药物管理系统的用户可用的特征

药物管理系统130的用户可以访问与所存储的处方记录相关联的各种特征，其中在拍摄药物标签的图像后，许多特征可以由系统基于记录来自动建立，而不需要附加的用户输入(或需要最小用户输入或简单地，特征的用户确认)。示例特征包括基于内容物的更新、网络更新、药物历史和管理选项。基于内容物的更新可以是特定于包装中的内容物的特征，并且有助于与内容物的交互。网络更新可以是特定于您网络或看护区(care zone)中的其他用户的包装中的内容物的特征。药物历史和管理选项包括用户基于用户的药物历史、用户简档信息、或与用户相关联的系统130所存储的任何其他合适的信息而具有的其他特征。将结合图6A、图6B、图6C、图6D、图6E和图6C对各种特征进行描述，其是与由药物管理系统130的用户使用的药物管理系统130相关联的应用的用户界面的示例。

基于内容物的更新可以包括基于与用户相关联的结构化处方记录的提醒。如图6A所示，在一个实施例中，示例提醒可以是何时补充处方或内容物、以及何时采取下一剂量，并且可以由用户经由日历615或待办事项清单615访问。另外，如图6B的620所示，提醒可以用于通知所标识的文本和所标识的文本与信息类型的关联性已经被检查并且被存储为结构化处方记录。例如，结构化处方记录可以是“每天服用两次，一次一片药丸”，并且可以创建两次提醒，比如每天两次向用户呈现“服用一片药丸”。提醒也可以定制，以允许用户适应包括在结构化处方记录中的“必要时”指示，并且用于定制提醒的示例接口如图6C所示。如图6C所示，向用户呈现所存储的处方记录信息625(处方、剂量和指示)，并且具有用于创建提醒的选项(如630所示)。如果指示没有指定具体时间表，而是“需要尽可能多但在Y小时内不要超过X”，则用户可以每Y小时设置多个提醒，其中如果X剂量已经被服用，则提醒被设置成不用服用。如图6D中的635所示，如果指示指定“睡觉时服用剂量”，则提醒可以是在默认夜间(诸如下午9点)“服用药丸”，并且用户可以将默认夜间时间改变为用户通常睡觉的时间。还可以向用户呈现如图6E所示的每日药物提醒清单640，其指示用户是否经由指示符645(诸如(文本)颜色、符号或其他合适的视觉通知)服用了他或她的剂量。另外，如图6F所示，可以向用户提供描述服用了多少剂量以及错过了多少剂量的信息650。类似地，当到了补充处方的时候，用户可以接收到提醒，告诉他现在是补充处方的时间，并且可能自动将补充订单自动放置在用于最后一个订单的药房。

系统130允许用户例如经由如图6A所示的选项605与他或她的网络或看护区中的其他成员共享他或她的记录。因此，网络更新是与用户网络或看护区中的另一成员相关联的特征、或者在网络的动作中通知另一成员的网络中的用户的特征。例如，第一用户(例如，母亲)可能需要服用处方药物，但是第一用户可能不是系统130的用户。然后，第一用户可以允许第二用户(例如，母亲的女儿)访问系统130上的他或她的记录，并且第二用户将获得第一用户的提醒。在另一示例中，父母可以监控他们的孩子的处方摄入量，以便父母都可以在孩子的网络或看护区中。因此，如果第一父母在早上给予孩子他或她的剂量并且在没有告知第二父母的情况下离开，则第一父母可以经由通知第二父母给予剂量的特征来更新第二父母。如果第三方设备用于检查用户是否服用了他或她的药物，则网络更新可以是与第三方设备相关联的通知。例如，第三方设备可以是处方瓶上的射频标识(RFID)标签、处方瓶上的重量检测、或检测在特定接近范围内药丸何时已经经过的接近度检测传感器(例如，集成在项链中)，并且网络更新可以是来自第三方设备的指示，即，处方瓶被打开，处方瓶重量少一点，接近范围内的药片已经经过、或与使用第三方设备相关联的任何其他合适的指示。

药物历史和管理选项也是系统130的用户可用的特征。如图6A中的610所示，用户可以基于用户的历史来与系统130一起请求或访问用户所服用的当前药物的完整清单。在一些实施例中，当对新药物进行成像时，自动生成并且更新已经捕获了标签图像的所有药物的药物清单。另一选项可以是用于跟踪用户的各种状态或医疗状态，诸如用户的葡萄糖水平。如果系统130与跟踪各种状态的另一应用相关联，则系统130还可以向用户建议使用另一应用。例如，系统130可以向用户提供呈现通知，其指定“您似乎需要基于您的药物来跟踪葡萄糖水平——我们建议使用该app来跟踪葡萄糖水平”。进一步地，用户可用的其他选项是用于基于分析或基于包装中的内容物来分析用户的处方历史和建议。基于分析的建议可以包括诸如“同时使用处方X、Y和Z在诊断为A的患者中常见——我们建议B”的陈述，其中B可以是“服用这种另外的处方组合”、“从X切换到C，因为它是个更便宜的通用等同物并且具有相同的效果”、“从X切换到C，因为对于您的保险计划，它是个更便宜通用等同物”以及“没有一起服用X与Z，时间间隔为D，因为副作用可以是E、F和G”。用户还具有可以便于补充或订购处方的选项。例如，可以向用户提供与应当何时服用剂量或者应当服用什么剂量相关联的各种包中的补充或次序的选项。用户可以接收标签为“早餐包”、“午餐包”、“与食物一起服用”或“睡前包”的其中有药丸的多个包。用户也可以指定何时以及何地补充或次序应当被放弃，并且能够跟踪补充或次序。

可以仅基于用户已经拍摄了图像以捕获处方信息来为用户自动设置上文所描述的特征中的任一个或多个特征。因此，用户不必手动输入信息，或者甚至设置提醒，因为该信息可以由系统自动完成。在一个实施例中，系统130在基于产生结构化处方记录的标签的图像的基础上来捕获的信息来为用户自动设置这些补充提醒、剂量跟踪、服用药物的提醒、药物清单等，使得用户在捕获图像之后自动开始接收提醒/跟踪或可以访问药物清单。在另一实施例中，系统130自动向用户提供提示以确认已经设置这些特征或以其他方式收集用户设置提醒所需要的信息/输入。在另一实施例中，用户在初始设置帐户时提供偏好(例如，我想要所有药物或某些药物的补充提醒，而非全天服用药物的提醒)，并且当拍摄处方的图像时，这些偏好被应用于自动设置这些特征。

总结

为了说明的目的，已经给出了对本发明的实施例的前述描述；它不旨在穷举的或将本发明限制于所公开的精确形式。相关领域的技术人员可以领会，鉴于上述公开内容，许多修改和变型是可能的。

本说明书的一些部分就关于信息的操作的算法和符号表示而言来描述本发明的实施例。这些算法描述和表示是数据处理领域的技术人员通常使用的，以便有效地将其工作的实质传达给本领域技术人员。在功能上、计算上或逻辑上描述的这些操作被理解为由计算机程序或等效电路、微代码等实现。此外，已经证明的是，在不失一般性的前提下，将这些操作的布置作为模块进行参考有时是方便的。所描述的操作及其相关联的模块可以以软件、固件、硬件或其任何组合来实现。

本文中所描述的步骤、操作或过程中的任一步骤、操作或过程可以单独地或与其他设备组合地用一个或多个硬件或软件模块来执行或实现。在一个实施例中，软件模块使用计算机程序产品来实现，该计算机程序产品包括计算机可读介质，其包含计算机程序代码，该计算机程序代码可由计算机处理器执行以执行所描述的步骤、操作或过程中的任何或全部的步骤、操作或过程。

本发明的实施例还可以涉及一种用于执行本文中的操作的装置。该装置可以特别构造用于所需目的，和/或其可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂态有形计算机可读存储介质中，或适合于存储电子指令的任何类型的介质中，其可以耦合至计算机系统总线。此外，本说明书中所提到的任何计算系统可以包括单个处理器，或者可以是采用多个处理器设计以提高计算能力的架构。

本发明的实施例还可以涉及通过本文中所描述的计算过程而生产的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂态有形计算机可读存储介质上，并且可以包括本文中所描述的计算机程序产品或其他数据组合的任何实施例。

最后，在说明书中使用的语言主要是为了可读性和说明目的而选择的，并且它可能没有被选择来描画或限定本发明的主题。因此，意图是本发明的范围不受该具体实施方式的限制，而是受在基于其的应用上发布的任何权利要求限制。因而，本发明的实施例的公开内容旨在是说明性的而非限制在所附权利要求中阐述的本发明的范围。