基于图像识别的用药指导方法、指导装置及可存储介质与流程

本发明涉及用药指导技术领域，具体地涉及一种基于图像识别的用药指导方法、一种基于图像识别的用药指导装置及一种计算机可读存储介质。

背景技术：

而随着科学技术的不断发展，图像识别技术已经成为一种普遍的ai技术，图像分割作为图像识别技术的一种基础ai技术，也逐渐应用到多个技术领域。

在医药领域，针对患者的用药教育主要是通过人工指导的方式进行的。例如医生在开药时，通过重复性地口头交代以告知患者应该如何用药；药师在发药的时候也是在发药窗口重复性地告知患者应该如何用药，而更多的知识需要患者自己通过说明书或网络查询、查看，为医生和患者均造成了极大的困扰。

一方面，由于无法与医院的信息系统进行对接或对接成本较高，若患者遗失自己的处方单或忘记医生/药师的口头交代，无法及时获取到专业、准确的用药指导，因此很难获知正确的用药方法，为患者造成了极大的困扰。

另一方面，在将传统的图像识别技术应用到医药领域时，由于医药领域存在大量的专业词汇或专业信息，因此直接通过传统图像识别技术对医药领域的信息进行识别，存在大量的错误或偏差识别信息，识别精确性较差，无法满足患者的实际需求。

技术实现要素：

为了克服现有技术中患者无法快速、精确获取到用药指导的技术问题，本发明实施例提供一种基于图像识别的用药指导方法，通过对传统图像识别方法按照医药领域进行针对性优化，从而提高对医药领域的信息的识别精确性，能够为患者提供快速、精确的用药指导信息，满足了患者的实际需求，提高了用户体验，保障了患者的人身安全。

为了实现上述目的，本发明实施例提供一种基于图像识别的用药指导方法，所述指导方法包括：获取患者治疗资料；按照预设图像识别算法对所述患者治疗资料进行识别，获得识别信息；对所述识别信息进行优化，获得用药指导信息。

优选地，所述基于预设图像识别算法对所述患者治疗资料进行识别，获得识别信息，包括：获取预设训练模型；基于所述预设训练模型对所述预设图像识别算法进行优化，获得优化后识别算法；基于所述优化后识别算法对所述患者治疗资料进行识别，获得所述识别信息。

优选地，所述指导方法还包括：在所述获取预设训练模型之前，获取多个训练处方信息；按照所述多个训练处方信息进行模型训练，获得所述预设训练模型。

优选地，所述患者治疗资料包括处方资料或待用药资料中的任意一种，所述按照预设图像识别算法对所述患者治疗资料进行识别，获得识别信息，包括：判断所述患者治疗资料的类别；在所述患者治疗资料为所述处方资料的情况下，按照第一预设识别算法对所述处方资料进行识别，获得第一识别信息；在所述患者治疗资料为所述待用药资料的情况下，按照第二预设识别算法对所述待用药资料进行识别，获得第二识别信息；将所述第一识别信息或所述第二识别信息作为所述识别信息。

优选地，所述指导方法还包括：在所述按照第二预设识别算法对所述待用药资料进行识别之前，获取多个待用药训练资料；基于所述多个待用药资料对所述第二预设识别算法进行优化，获得优化后第二预设识别算法。

优选地，所述指导方法还包括：在所述按照第二预设识别算法对所述待用药资料进行识别之前，判断所述待用药资料的清晰度是否符合预设清晰度要求；若否，则获取与所述待用药资料的相似度最高的匹配资料；将所述匹配资料作为所述待用药资料。

优选地，所述对所述识别信息进行优化，获得用药指导信息，包括：基于预设文本优化规则对所述第一识别信息进行优化，获得文本优化后信息；基于预设语义优化规则对所述文本优化后信息进行优化，获得所述优化后识别信息；或：基于预设文本优化规则对所述第二识别信息进行优化，获得所述优化后识别信息；将所述优化后识别信息作为所述用药指导信息。

优选地，在获得所述优化后识别信息后，所述指导方法还包括：获取患者个人信息；基于所述患者个人信息对所述优化后识别信息进行再优化，生成所述用药指导信息。

相应的，本发明还提供一种基于图像识别的用药指导装置，所述指导装置包括：获取模块，用于获取患者治疗资料；识别模块，用于按照预设图像识别算法对所述患者治疗资料进行识别，获得识别信息；优化模块，用于对所述识别信息进行优化，获得用药指导信息。

优选地，所述识别模块包括：模型获取单元，用于获取预设训练模型；第一优化单元，用于基于所述预设训练模型对所述预设图像识别算法进行优化，获得优化后识别算法；识别单元，用于基于所述优化后识别算法对所述患者治疗资料进行识别，获得所述识别信息。

优选地，所述指导装置还包括训练模块，所述训练模块包括：处方获取单元，用于在所述获取预设训练模型之前，获取多个训练处方信息；训练单元，用于按照所述多个训练处方信息进行模型训练，获得所述预设训练模型。

优选地，所述患者治疗资料包括处方资料或待用药资料中的任意一种，所述识别模块包括：判断单元，用于判断所述患者治疗资料的类别；第一识别单元，用于在所述患者治疗资料为所述处方资料的情况下，按照第一预设识别算法对所述处方资料进行识别，获得第一识别信息；第二识别单元，用于在所述患者治疗资料为所述待用药资料的情况下，按照第二预设识别算法对所述待用药资料进行识别，获得第二识别信息；第一确定单元，用于将所述第一识别信息或所述第二识别信息作为所述识别信息。

优选地，所述识别模块还包括第一预处理单元，所述第一预处理单元包括：训练资料获取子单元，用于在所述按照第二预设识别算法对所述待用药资料进行识别之前，获取多个待用药训练资料；优化子单元，用于基于所述多个待用药资料对所述第二预设识别算法进行优化，获得优化后第二预设识别算法。

优选地，所述识别模块还包括第二预处理单元，所述第二预处理单元包括：清晰度判断子单元，用于在所述按照第二预设识别算法对所述待用药资料进行识别之前，判断所述待用药资料的清晰度是否符合预设清晰度要求；匹配子单元，用于若否，则获取与所述待用药资料的相似度最高的匹配资料；确定子单元，用于将所述匹配资料作为所述待用药资料。

优选地，所述优化模块包括：第二优化单元，用于基于预设文本优化规则对所述第一识别信息进行优化，获得文本优化后信息；第三优化单元，用于基于预设语义优化规则对所述文本优化后信息进行优化，获得所述优化后识别信息；或：第四优化单元，用于基于预设文本优化规则对所述第二识别信息进行优化，获得所述优化后识别信息；第二确定单元，用于将所述优化后识别信息作为所述用药指导信息。

优选地，所述指导装置还包括再优化模块，所述再优化模块包括：个人信息获取单元，用于获取患者个人信息；再优化单元，用于基于所述患者个人信息对所述优化后识别信息进行再优化，生成所述用药指导信息。

另一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明提供的方法。

通过本发明提供的技术方案，本发明至少具有如下技术效果：

通过针对医药领域对传统的图像识别方法进行针对性的优化，并结合智能识别模型对医药信息进行识别，从而获得更精确的识别结果，并为患者提供更快速的用药指导信息获取方式，提高了患者的用户体验，保障了患者的人身安全。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明实施例提供的基于图像识别的用药指导方法的具体实现流程图；

图2是本发明实施例提供的基于图像识别的用药指导方法中对所述患者治疗资料进行识别的具体实现流程图；

图3是本发明另一实施例提供的基于图像识别的用药指导方法中中对所述患者治疗资料进行识别的具体实现流程图；

图4是本发明实施例提供的基于图像识别的用药指导装置的结构示意图。

具体实施方式

为了克服现有技术中患者无法快速、精确获取到用药指导的技术问题，本发明实施例提供一种基于图像识别的用药指导方法，通过对传统图像识别方法按照医药领域进行针对性优化，从而提高对医药领域的信息的识别精确性，能够为患者提供快速、精确的用药指导信息，满足了患者的实际需求，提高了用户体验，保障了患者的人身安全。

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

本发明实施例中的术语“系统”和“网络”可被互换使用。“多个”是指两个或两个以上，鉴于此，本发明实施例中也可以将“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。另外，需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

请参见图1，本发明实施例提供一种基于图像识别的用药指导方法，所述指导方法包括：

s10)获取患者治疗资料；

s20)按照预设图像识别算法对所述患者治疗资料进行识别，获得识别信息；

s30)对所述识别信息进行优化，获得用药指导信息。

在一种可能的实施方式中，某患者在医院就医后，获得医生对自己的诊断信息以及治疗方案，并进一步获得了自己的处方单。为了防止将来意外遗失处方单对自己带来的麻烦，因此通过本发明提供的用药指导装置获得在线的用药指导信息。

该患者首先通过自己的移动终端对自己的患者治疗资料进行读取，例如在本发明实施例中，患者通过打开微信小程序，并通过微信小程序拍摄自己的处方单以获取该处方单的拍摄图片。此时用药指导装置按照预设图像识别算法对该处方单进行识别，从而提取出该处方单上的相关治疗信息。然而进行简单提取出的信息在格式上以及信息丰富程度上并不能满足用户的实际需求，因此还对该治疗信息进行进一步的优化，从而获得最终的用药指导信息，此时患者可以随时打开微信小程序查看自己的用药指导信息，而不必担心因自己的处方单遗失或忘记医生的治疗交代而造成的困扰，大大提高了患者的用药便利性和准确性，提高了用户体验。

需要说明的是，用药指导装置可以通过多种方式获取患者的相关治疗资料，例如通过移动终端上的摄像头拍摄该治疗资料，也可以通过读取云端或本地存储的治疗资料的电子档以获取该治疗资料等方式，都属于本领域技术人员根据上述实施例容易想到的技术方案，上述实施例不应该作为对本发明保护范围的限制。

在本发明实施例中，通过对患者的相关治疗资料进行在线的识别并生成对应的用药指导信息，从而极大地方便了用户对自己的用药指导信息的保存，避免因处方单遗失或忘记医生/药师嘱托带来的麻烦，同时从该用药指导信息中能够获取到除了医生/药师口头交代以外的专业指导信息，还能够进一步对患者进行正确的用药指导，提高了患者的用药精确性，采用在线或微信小程序保存和查看的方式还进一步加快了患者查看自己用药指导信息的速度，提高了用户体验。

请参见图2，在本发明实施例中，所述基于预设图像识别算法对所述患者治疗资料进行识别，获得识别信息，包括：

s201)获取预设训练模型；

s202)基于所述预设训练模型对所述预设图像识别算法进行优化，获得优化后识别算法；

s203)基于所述优化后识别算法对所述患者治疗资料进行识别，获得所述识别信息。

进一步地，在本发明实施例中，所述指导方法还包括：在所述获取预设训练模型之前，获取多个训练处方信息；按照所述多个训练处方信息进行模型训练，获得所述预设训练模型。

由于在传统的图像识别算法中，往往都是根据通用的文字模型或文字语义进行的识别，而在医药领域，在处方单或药盒上往往存在大量的诊断结论、药品名称、用法用量以及专用缩写等专业词汇，而采用传统图像识别算法直接进行识别往往会造成大量的偏差或误差。因此在本发明实施例中，通过对预设图像识别算法进行基于医药领域的针对性优化，能够进一步提高对患者治疗资料中的文字信息的识别精确性。

在一种可能的实施方式中，首先获取多个训练处方信息，例如该多个训练处方信息为包含有患者个人信息、患者诊断信息以及患者用药信息的多个处方单，然后对上述多个处方单进行学习以创建一个基于处方语言的训练模型，然后根据该训练模型对预设识别算法进行优化，例如将基于处方语言的训练模型对传统识别算法中的通用语言模型进行替换，从而获得优化后识别算法，通过该优化后识别算法对处方单或药盒进行识别，能够获得更精确的文字识别信息。

在本发明实施例中，通过对传统的图像识别算法进行基于医药领域的针对性优化，从而大大提高了对医药领域的患者治疗信息的识别精确性，进而大大提高了后续对患者提供用药指导信息的精确性，同时通过本发明实施例所述的技术方案，患者只需要将患者治疗信息提交到用药指导装置中，就能够自动生成专业、精确的用药指导报告，而不需要与医院信息系统进行对接或自行查阅大量专业资料并进行用药安排，在线生成的方式也便于患者随时查看，解决了因处方单丢失或遗忘医嘱而带来的用药困惑，大大提高了患者的用药指导信息获取速度，提高了患者用药的精确性，保障了患者的人身安全，提高了用户体验。

请参见图3，在本发明实施例中，所述患者治疗资料包括处方资料或待用药资料中的任意一种，所述按照预设图像识别算法对所述患者治疗资料进行识别，获得识别信息，包括：

s211)判断所述患者治疗资料的类别；

s2121)在所述患者治疗资料为所述处方资料的情况下，按照第一预设识别算法对所述处方资料进行识别，获得第一识别信息；

s2122)在所述患者治疗资料为所述待用药资料的情况下，按照第二预设识别算法对所述待用药资料进行识别，获得第二识别信息；

s213)将所述第一识别信息或所述第二识别信息作为所述识别信息。

在一种可能的实施方式中，某患者在用药过程中，遗忘了医生对自己的用药嘱托，因此通过本发明实施例提供的指导装置快速获取正确的用药指导信息。在本发明实施例中，为了提高对不同的患者治疗资料的识别精确性，因此对于不同的患者治疗资料采用不同的识别方法以及不同的优化方式。例如在本发明实施例中，首先判断患者治疗资料的类别，并识别出当前患者的患者治疗资料为处方资料，例如该处方资料为处方单，因此按照第一预设识别算法对该处方单进行识别并获得第一识别信息。

在本发明实施例中，所述第一预设识别算法为基于ocr技术的图像识别算法，通过该ocr图像识别算法对处方单进行文字识别，从而提取出处方单上的文字信息。

在本发明实施例中，所述指导方法还包括：在所述按照第二预设识别算法对所述待用药资料进行识别之前，获取多个待用药训练资料；基于所述多个待用药资料对所述第二预设识别算法进行优化，获得优化后第二预设识别算法。

在一种可能的实施方式中，指导装置获取到患者的患者治疗资料为待用药资料，例如该待用药资料为待服用药物的药盒，因此按照第二预设识别算法对该药盒进行识别，以获得第二识别信息。在本发明实施例中，所述第二预设识别算法为基于facebookai实验室(fair)开源的detectron2工具中的预设图像识别算法，根据该预设图像识别算法对药盒进行自动的分割和目标检测等，从而从药盒上提取出更精确的文字信息，并将该文字信息作为第二识别信息。

进一步地，由于该detectron2工具中的预设图像识别算法为应用于普遍场景的识别算法，因此为了进一步提高第二预设识别算法对图像进行处理的精确性，还对该识别算法针对医药领域进行二次训练，从而获得更精确的处理结果。在本发明实施例中，通过获取多个药盒，并对药盒的形状、边缘等进行标注，将上述预设图像识别算法对上述标注后的药盒进行二次分割训练，从而获得优化后的识别算法，并根据该优化后的识别算法对患者的药盒进行识别，从而进一步提高对药盒的切割和识别的精确性。

在本发明实施例中，通过针对不同的患者治疗资料类型采用不同的识别算法，从而对不同类别的资料具有更高的识别精确性，极大地提高了对患者治疗资料中提取出的文字信息的正确性，减少了后续信息处理过程中的错误与偏差，提高了用药指导信息的准确性，保障了患者的人身安全。

进一步地，在本发明实施例中，所述指导方法还包括：在所述按照第二预设识别算法对所述待用药资料进行识别之前，判断所述待用药资料的清晰度是否符合预设清晰度要求；若否，则获取与所述待用药资料的相似度最高的匹配资料；将所述匹配资料作为所述待用药资料。

在一种可能的实施方式中，在按照detectron2工具中的预设图像识别算法对药盒进行识别的过程中，发现该药盒的图片存在模糊性较大或存在药盒部分缺失的情况，因此确定该图片的清晰度无法满足预设清晰度要求，因此立即查找与该图片相似的图片，例如自动从云端服务器查找与该图片相似的图片，并获取相似度最高的匹配图片作为替换的待用药资料，并对替换的待用药资料进行识别，从而降低因图片不够清晰而带来的误差或偏差，保证后续识别过程中能够获得更精确的识别信息。

在本发明实施例中，所述对所述识别信息进行优化，获得用药指导信息，包括：基于预设文本优化规则对所述第一识别信息进行优化，获得文本优化后信息；基于预设语义优化规则对所述文本优化后信息进行优化，获得所述优化后识别信息；或：基于预设文本优化规则对所述第二识别信息进行优化，获得所述优化后识别信息；将所述优化后识别信息作为所述用药指导信息。

在上述实施方式中，通过图像识别算法对患者治疗资料进行识别后提取到了对应的精确的识别信息，然而对于患者而言，仅提取出识别信息而未进行自然语言规则的优化，患者依然很难理解上述识别信息的具体内容或在理解上述识别信息的过程中存在极大的障碍。因此在本发明实施例中，还需要对上述识别信息进行进一步的优化，以更加便于患者的查看和理解。

在一种可能的实施方式中，指导装置获取到识别出的第一识别信息，此时首先按照预设文本优化规则对第一识别信息进行优化，例如该预设文本优化规则为文本结构化规则，例如根据医药领域的实际情况，将第一识别信息中的性别、出生日期、诊断、药物名称、给药方式、单次剂量、用药频次等信息结构化，从而实现对每个信息的精确提取、存储以及显示等功能；然后进一步针对医药领域的表述方式，按照预设文本优化规则对结构化后的上述信息进行优化，例如该预设文本优化规则为语义归一化规则，以将相同指意但不同表述的内容进行统一化易懂化的表述，例如将bid、b.i.d、2次/天等表述方式统一表述为1天2次，并将优化后的识别信息作为用药指导信息，从而更便于患者的理解，降低患者的理解难度。

进一步地，在对药盒的识别信息进行优化的过程中，还对药盒的识别信息中的药品通用名、药品品牌名、药物拼音名称、药物英文名称、生产厂家、生产厂家简称、药物批准文号、药物规格、药品商品码等信息进行匹配识别，从而进一步提高对该药盒对应的药品信息的识别精确性，避免因不同厂家生产的相同药品或相同厂家生产的不同使用规格的药品的差异导致最终生成的用药指导信息存在偏差的情况，进一步提高了对患者的用药指导信息的精确性和可靠性。

在本发明实施例中，在获得所述优化后识别信息后，所述指导方法还包括：获取患者个人信息；基于所述患者个人信息对所述优化后识别信息进行再优化，生成所述用药指导信息。

在一种可能的实施方式中，为了为患者提供更加符合患者实际情况的用药指导信息，还进一步获取患者的患者个人信息，例如通过提取上述结构化后的文本优化信息中的患者个人信息，例如提取出患者的性别、年龄、诊断结论、服用药物等信息，形成对患者的用户画像，然后根据该用户画像提供个性化的用药指导内容，例如针对65岁以上年纪的患者，提供具有更短句、更大字体等特征的用药指导内容，根据患者的诊断结论提供对应的疾病康复知识等，以及根据患者的服用药物推荐通用药品知识等，从而进一步辅助患者更好地查看、理解用药指导信息，以及采取更好的治疗方案，提高了用户体验，保障了患者的人身安全。

下面结合附图对本发明实施例所提供的基于图像识别的用药指导装置进行说明。

请参见图4，基于同一发明构思，本发明实施例提供一种基于图像识别的用药指导装置，所述指导装置包括：获取模块，用于获取患者治疗资料；识别模块，用于按照预设图像识别算法对所述患者治疗资料进行识别，获得识别信息；优化模块，用于对所述识别信息进行优化，获得用药指导信息。

在本发明实施例中，所述识别模块包括：模型获取单元，用于获取预设训练模型；第一优化单元，用于基于所述预设训练模型对所述预设图像识别算法进行优化，获得优化后识别算法；识别单元，用于基于所述优化后识别算法对所述患者治疗资料进行识别，获得所述识别信息。

在本发明实施例中，所述指导装置还包括训练模块，所述训练模块包括：处方获取单元，用于在所述获取预设训练模型之前，获取多个训练处方信息；训练单元，用于按照所述多个训练处方信息进行模型训练，获得所述预设训练模型。

在本发明实施例中，所述患者治疗资料包括处方资料或待用药资料中的任意一种，所述识别模块包括：判断单元，用于判断所述患者治疗资料的类别；第一识别单元，用于在所述患者治疗资料为所述处方资料的情况下，按照第一预设识别算法对所述处方资料进行识别，获得第一识别信息；第二识别单元，用于在所述患者治疗资料为所述待用药资料的情况下，按照第二预设识别算法对所述待用药资料进行识别，获得第二识别信息；第一确定单元，用于将所述第一识别信息或所述第二识别信息作为所述识别信息。

在本发明实施例中，所述识别模块还包括第一预处理单元，所述第一预处理单元包括：训练资料获取子单元，用于在所述按照第二预设识别算法对所述待用药资料进行识别之前，获取多个待用药训练资料；优化子单元，用于基于所述多个待用药资料对所述第二预设识别算法进行优化，获得优化后第二预设识别算法。

在本发明实施例中，所述识别模块还包括第二预处理单元，所述第二预处理单元包括：清晰度判断子单元，用于在所述按照第二预设识别算法对所述待用药资料进行识别之前，判断所述待用药资料的清晰度是否符合预设清晰度要求；匹配子单元，用于若否，则获取与所述待用药资料的相似度最高的匹配资料；确定子单元，用于将所述匹配资料作为所述待用药资料。

在本发明实施例中，所述优化模块包括：第二优化单元，用于基于预设文本优化规则对所述第一识别信息进行优化，获得文本优化后信息；第三优化单元，用于基于预设语义优化规则对所述文本优化后信息进行优化，获得所述优化后识别信息；或：第四优化单元，用于基于预设文本优化规则对所述第二识别信息进行优化，获得所述优化后识别信息；第二确定单元，用于将所述优化后识别信息作为所述用药指导信息。

在本发明实施例中，所述指导装置还包括再优化模块，所述再优化模块包括：个人信息获取单元，用于获取患者个人信息；再优化单元，用于基于所述患者个人信息对所述优化后识别信息进行再优化，生成所述用药指导信息。

进一步地，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明所述的方法。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。