一种自助抗原检测合规引导系统及方法与流程

1.本发明涉及视频通信与人工智能领域，具体地，涉及一种自助抗原检测合规引导系统及方法。


背景技术：

2.在现有的自主抗原快速检测中，由于检测过程全程由测试人自主进行，存在一定程度的合规风险与漏洞。如，受采样人经验和知识深度的限制，可能会出现包括但不限于采样流程步骤错误、特定操作步骤不符合规范或采样人主观故意作弊等，必然影响整体的抗原检测筛查有效性及造成传染病防治物资的浪费。如果由于采样过程不符合规范导致抗原阳性采样人得到不准确的阴性结果，将给采样人及可能产生时空伴随的群众带来极大的安全隐患，极易造成在传染病的潜在传播。因此，迫切需要一种能及时给予检测流程指引及合规验证的互动导引系统。


技术实现要素：

3.针对现有技术中的缺陷，本发明的目的是提供一种自助抗原检测合规引导系统及方法。
4.根据本发明的一个方面，提供一种自助抗原检测合规互动引导系统，包括：
5.多媒体通信模块，所述多媒体通信模块采集自助抗原检测现场操作过程中的实时视频并进行实时显示；
6.管理模块，所述管理模块与所述多媒体通信模块通信；
7.标注模块，所述标注模块接收所述媒体通信模块采集的实时视频并结合所述管理模块，在所述实时视频上标注操作指导信息；
8.操作指导模块，所述操作指导模块结合所述管理模块和标注模块，通过所述实时视频判定当前步骤对应操作是否合规，根据合规判断结果更新操作指导信息并发送至所述多媒体通信模块。
9.优选地，所述多媒体通信模块，包括：
10.音视频通讯单元，所述音视频通讯单元采样现场操作过程中的实时视频和进行音视频提示；
11.通讯管理单元，所述通讯管理单元用于对所述音视频通讯单元的数据流进行管理；
12.其中，所述音视频通讯单元，包括：
13.音视频通讯子单元，所述音视频通讯子单元播放所述音视频提示；
14.操作现场视频采集子单元，所述操作现场视频采集子单元采集包含操作者及操作零部件的视频；
15.所述通讯管理单元，包括：
16.远程通讯管理子单元，所述远程通讯管理子单元对所述音视频通讯子单元进行通
讯管理；
17.视频流管理子单元，所述视频流管理子单元对所述操作现场视频采集子单元进行管理。
18.优选地，所述音视频通讯单元为配置支持ar图像显示功能的任意便携式电子通讯装置。
19.优选地，所述标注模块，包括：
20.图像标注单元，所述图像标注单元截取所述音视频通信单元中采集到的实时视频图像，并在所述视频图像上实时标注所述管理模块传入的当前步骤操作指导信息；
21.标注信息查看单元，所述标注信息查看单元查看所述操作指导信息并将其传送至所述操作指导模块。
22.优选地，所述操作指导模块，包括：
23.信息处理单元，所述信息处理单元根据所述标注模块传入的实时视频和管理模块传入的操作指导信息进行合规判断并确定对应操作指导信息；
24.信息发送单元，所述信息发送单元向所述多媒体通信模块发送以ar方式融合所述操作指导信息的视频信息及音频信息。
25.优选地，所述操作指导信息包括：所述标注模块识别到的对应步骤所需零部件锚框、肢体关键点位锚框及坐标数据、面部五官关键点位锚框及坐标数据、音频、视频提示。
26.优选地，所述合规判断使用人工智能分类模型；
27.所述人工智能分类模型通过输入当前步骤所需零部件锚框、肢体关键点位锚框及坐标数据、面部五官关键点位锚框及坐标数据；输出当前正在执行抗原检测过程系列动作中某一设定动作的概率；
28.根据预先设定的概率阈值，判断所述设定动作是否完成；
29.结合各零部件的相对位置信息，确定设定动作所处步骤是否完成。
30.优选地，所述管理模块包括用户信息管理单元、操作信息管理单元、操作指导信息管理单元、通信信息管理单元和系统信息管理单元；
31.用户信息管理单元，存储当前操作者的用户名或相应身份标识；
32.操作信息管理单元，存储操作者操作时的面部关键点、肢体关键点、使用的测试零部件坐标及运动数据；
33.操作指导信息管理单元，存储并管理操作指导模块输出的操作指导信息时间及内容记录；
34.通信信息管理单元，管理各模块之间的通信。
35.系统信息管理单元，管理系统整体及各模块的运行日志、程序文档、数据输入输出以及各模块正常运行的系统信息。
36.根据本发明的第二个方面，提供一种自助抗原检测合规引导方法，采用任一项所述的系统，包括：
37.采集现场操作过程中的实时视频并进行实时显示；
38.所述实时视频上标注操作指导信息；
39.判断所述实时视频是否合规，根据合规判断结果更新所述操作指导信息并发送至所述实时视频。
40.与现有技术相比，本发明具有如下的有益效果：
41.本发明实施例中的自助抗原检测合规引导系统和方法，通过ar技术实现实时互动式可视化操作指导，直接利用操作现场的操作信息视频图像并对其进行指导信息标注，操作指导效率高。
42.本发明实施例中的自助抗原检测合规引导系统和方法，通过机器视觉技术与ai判定方法实现实时互动式可视化操作指导，可实时记录和追溯操作全过程信息，方便对采样及检测过程中操作的合规性进行验证。
43.本发明实施例中的自助抗原检测合规引导系统和方法，封装为离线程序或轻量化远程程序，实现在配置支持ar图像显示功能的任意便携式电子通讯装置上的使用，降低了合规验证与操作指引的准入门槛，有利于广泛实施，提高抗原检测结果可信度，从而提升传染病防治效率。
附图说明
44.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
45.图1为本发明一实施例中的自助抗原检测合规引导系统原理框图；
46.图2为本发明另一优选实施例中的自助抗原检测合规引导系统原理框图；
47.图3为本发明另一优选实施例中的自助抗原检测合规引导方法流程图；
48.图4为图3实施例中步骤s120的流程图。
具体实施方式
49.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
50.如图1所示，为本发明自助抗原检测合规引导系统的一个实施例，包括多媒体通信模块、标注模块、操作指导模块和管理模块；多媒体通信模块采集自助抗原检测现场操作过程中的实时视频并进行实时显示；管理模块与多媒体通信模块通信；标注模块接收媒体通信模块采集的实时视频并结合管理模块，在实时视频上标注操作指导信息；操作指导模块结合管理模块和标注模块，通过实时视频判定当前步骤对应操作是否合规，根据合规判断结果更新操作指导信息并发送至多媒体通信模块。
51.在本发明的另一个实施例中，管理模块用于对用户信息、操作信息、操作指导信息、通信信息和系统信息进行管理。标注模块会向管理模块传输其对当前图像帧的处理、识别、标注结果及此过程中的日志文件或是对异常信息进行抛出。
52.进一步的，管理模块向标注模块传输应当进行标注的信息，由管理模块对当前帧进行标注；管理模块向操作指导模块传输当前步骤信息以使后者知道应当对哪些信息进行判断以及调用哪个合规判断方法模型；操作指导模块判断完成之后向管理模块发送判断结果，判定特定步骤是否完成(其中的特定动作是否得到执行/使用的零部件是否到位)；管理模块向多媒体通信模块传输系统信息，如停止/开始调用图像采集单元进行采集，显示系统
提示或系统错误信息，用户点击特定交互位置时系统后台返回的信息进行弹窗(例如：是否确定退出程序，etc.)。
53.在本发明提供的一个优选实施例中，如图2所示，多媒体通信模块包括音视频通讯单元和通讯管理单元；视音视频通讯单元用于采样人现场操作过程的实时视频采集以及音视频提示，通讯管理单元用于对音视频通讯单元的数据流进行管理。
54.在本发明提供的一个优选实施例中，如图2所示，音视频通讯单元包括作音视频通讯子单元和操作现场视频采集子单元；音视频通讯子单元播放音视频提示；操作现场视频采集子单元采集包含操作者及操作零部件的视频；
55.通讯管理单元包括远程通讯管理子单元和视频流管理子单元，远程通讯管理子单元用于对音视频通讯子单元进行通讯管理，视频流管理子单元用于对操作现场视频采集子单元进行管理。
56.在本发明提供的一个优选实施例中，操作现场音视频通讯子单元为配置有前置摄像头、触摸屏及扬声器的智能手机，如samsung sm-n976n。
57.在本发明提供的一个优选实施例中，标注模块包括图像标注单元和标注信息查看单元；图像标注单元用于截取音视频通信中呈现的操作信息的视频图像，并在该图像上实时标注指导信息，形成操作指导信息。比如，识别到本步骤需要将采样后的拭子放入缓冲液瓶，那么标注单元就会在当前帧识别到的缓冲液瓶周围标注一个框，并将操作指导信息(文字)添加到该帧图像上。
58.同时，标注模块每隔一定时间或在判定到步骤切换时会依据当前所处于的操作步骤从标注模块语音数据库中选择对应的语音提示音频，作为操作指导音频信息。标注信息查看单元用于查看所标注的信息，并向操作指导模块传送操作指导信息。
59.在本发明提供的一个实施例中，操作指导模块包括信息处理单元和信息发送单元；信息处理单元根据管理模块传入的当前步骤信息进行合规判定并确定对应操作指导信息，假如判断合规，则更新为下一个步骤的操作指导信息；假如判断不合规，则保持原有的指导信息。
60.信息发送单元用于向多媒体通信模块发送以ar方式融合操作指导信息的视频信息及音频信息。本实施例中，多媒体通信模块采用的是增强现实的方式，例如一个背景透明的拭子图片出现在识别到的鼻孔锚框附近。
61.在本发明提供的一个优选实施例中，管理模块包括用户信息管理单元、操作信息管理单元、操作指导信息管理单元、通信信息管理单元和系统信息管理单元。
62.用户信息管理单元，存储当前操作者的用户名或相应身份标识，便于在多用户场景下进行用户管理。
63.操作信息管理单元，存储操作者进行关键步骤时的的面部关键点、肢体关键点、使用的测试零部件坐标及运动数据；在征得使用者同意的前提下，可在脱敏处理后用于合规判定ai模型的后续训练及改善。
64.操作指导信息管理单元，存储并管理操作指导模块输出的操作指导信息时间及内容记录。
65.通信信息管理单元，用于管理各模块之间的通信。
66.系统信息管理单元，用于管理系统整体及各模块的运行日志、程序文档、数据输入
输出以及其他各模块正常运行相关的系统信息。
67.基于相同的发明构思，本发明提供的另一个优选实施例，一种自助抗原检测合规引导方法，包括：
68.s1,采集现场操作过程中的实时视频并进行实时显示；
69.s2,在s1采集的实时视频上标注操作指导信息；
70.s3,判断s1采集的实时视频是否合规，根据合规判断结果更新s2中操作指导信息并发送至s1中的实时视频。
71.基于上述实施例，提供一个实际操作过程中的较佳实施例，其流程如图3所示，具体过程为：
72.s100，现场操作人员和自助抗原检测合规引导系统之间建立多媒体通信链路，开启前置摄像头识别采样操作区域，将操作人员镜像视角的实时视频传给后台系统；
73.s110，后台系统通过预先建立的人工智能机器视觉识别模型，形成操作指导信息，在手机屏幕上结合前置摄像头视频流显示ar操作指导信息，指引采样拭子、采样点位进入摄像头视野，记录拭子相对长度；
74.s120，后台系统通过预先建立的人工智能机器视觉识别模型，在语音指导操作人对采样点进行采样的同时，识别采样拭子的采样深度是否合规，同时记录采样时长，在判定合规时，更新下一步骤的指导信息，在手机屏幕上结合前置摄像头视频流显示ar操作指导信息；
75.s130，后台系统在手机屏幕上结合前置摄像头视频流显示ar操作指导信息，指引将采样拭子置于缓冲液容器，通过预先建立的人工智能机器视觉识别模型，识别并记录容器晃动幅度及混合时长，在判定合规时，在手机屏幕上结合前置摄像头视频流显示ar操作指导信息；
76.s140，后台系统在手机屏幕上结合前置摄像头视频流显示ar操作指导信息，指引操作人将检测混合试剂滴入快速检测盒采样孔，并提示检测结果判读方法及后续操作；同时将采样流程关键信息及是否合规等信息进行储存，以备核查。
77.在本发明的另一个实施例中，实施上述实施例中的s120，如图4所示，包括：
78.当抗原自测流程进行到鼻腔采样步骤时，通过上一步骤中已调整好视角的智能手机前置摄像头，获取并在屏幕上显示现场操作人员的镜像视角所看到的画面。系统标注模块识别到采样人面部的五官特征以及采样拭子的位置，对应采样的鼻腔入口去进行框选提示。识别到采样拭子到达对应采样点位后，通过识别拭子外露部分相对s110步骤中记录的采样拭子完整长度的比例，判断采样深度是否合规。
79.进一步地，系统可以通过后台计时器，计算采样时长是否合规。如不满足合规条件，则通过图像标注单元进行指引信息的标注，并通过操作指导模块将对应指引画面发送至多媒体通信模块，在屏幕上实时显示应实现操作，并播放对应指引音频；如采样过程已满足合规条件，则进入下一判定阶段，通过识别拭子是否完整以判定是否完成采样s120步骤。如未完成，则通过图像标注单元进行指引信息的标注，并通过操作指导模块将对应指引画面发送至多媒体通信模块，在屏幕上实时显示应实现操作，并播放对应指引音频；如判定为已完成，则完成s120步骤，进入后续步骤。
80.在本发明方法的一个实施例中，操作人员镜像视角的操作信息由操作人员的智能
手机前置摄像头进行采集，操作人员按照正常的位姿摆放设备即可准确采集操作视频，完整呈现各操作环节及各步骤操作流程，便于系统读取视频流、识别合规性及进行导引标注。
81.上述实施例中人工智能的方法，指通过包括但不限于各零部件、各肢体及五官关键点的检出与否、并且相应关键点坐标是否满足合规场景下所具有的关系等等。例如，鼻拭子采样是否合规的判断设计一下几个要点：拭子识别锚框的中心点坐标与任意一侧鼻孔关键点的识别坐标间相对距离是否小于设定的阈值距离，两关键点满足上一条件的连续时间是否大于等于设定的阈值时间，手掌与手指关键点在此期间是否存在扭转的动作。
82.需要说明的是，本发明提供的所述方法中的步骤，可以利用所述系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
83.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
84.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。