健康码的识别方法及装置与流程

本发明涉及图像识别领域，尤其涉及一种健康码的识别方法及装置。

背景技术：

健康码，是结合大数据实时分析人民的健康状况的、代表个人健康信息的二维码，应用于多种场合，尤其是小区、商场、超市等公共场所，特殊时期通过查看健康码以确认人员健康情况，从而控制人员的出入，有效保证了人民的健康。

但现今需要人工检查健康码，一方面需要投入较大的人力成本，另一方面也增加了检察人员的感染风险。

技术实现要素：

本发明针对现有技术中的缺点，提供了一种无需人工核查的健康码的识别方法及装置。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种健康码的识别方法，包括以下步骤：

获取二维码图像及包含所述二维码图像的待识别图像；

验证所述二维码图像是否为健康码；

当所述二维码图像为健康码时，基于所述二维码图像的颜色确定健康信息，并对所述待识别图像进行文本识别，基于识别结果提取关键信息；

基于所述健康信息和所述关键信息生成识别结果并输出。

作为一种可实施方式：

采集原始图像；

检测所述原始图像中是否包含二维码，当包含二维码时，获取所述二维码的位置信息；

基于所述位置信息截取并矫正所述二维码，获得二维码图像；

基于所述位置信息矫正所述原始图像，获得包含所述二维码图像的待识别图像。

作为一种可实施方式：

所述位置信息为所述二维码的坐标信息；

基于所述坐标信息从原始图像中截取二维码并对其进行透视变换，获得二维码图像；

基于三角函数和所述坐标信息计算旋转角度，基于所述旋转角度对所述原始图像进行矫正，获得待识别图像。

作为一种可实施方式：

检测并截取所述待识别图像中的文字区域，获得文字切片；

识别所述文字切片，基于识别结果结构化提取关键信息。

作为一种可实施方式：

所述关键信息包括时间信息；

提取所述待识别图像中的关键信息后还包括时间校验步骤，具体步骤为：

获取当前时间，当所述时间信息小于等于所述当前时间，且所述时间信息与所述当前时间的差值小于等于预设的时间阈值，判定通过时间校验。

作为一种可实施方式：

所述关键信息包括第一身份信息；

提取所述待识别图像中的关键信息后还包括身份核实步骤，具体步骤为：

采集第二身份信息，将所述第一身份信息与所述第二身份信息进行匹配，当匹配成功时判定通过身份核实。

作为一种可实施方式：

遍历所述二维码图像的rgb颜色通道，获得相应的通道数值；

基于通道数值分别计算各通道的标准差；

基于各标准差判断所述二维码图像的颜色；

基于预设的映射关系提取与所述颜色相对应的健康信息，获得健康信息。

作为一种可实施方式：

对所述二维码图像使用zxing进行解析，获得解析结果；

根据预设的健康码判断规则验证所述解析结果，验证成功后判定所述二维码图像为健康码。

本发明还提出一种健康码的识别装置，包括：

图像获取模块，用于获取二维码图像及包含所述二维码图像的待识别图像；

类型判断模块，用于验证所述二维码图像是否为健康码；

识别模块，用于当所述二维码图像为健康码时，基于所述二维码图像的颜色确定健康信息，并对所述待识别图像进行文本识别，基于识别结果提取关键信息；

输出模块，用于基于所述健康信息和所述关键信息生成识别结果并输出。

本发明还提出一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述任意一项所述方法的步骤。

本发明由于采用了以上技术方案，具有显著的技术效果：

1、本发明能够实现对健康码的快速检测，有效避免人员逗留产生的拥挤，且能代替现有检察人员，节省人力成本且能减少人员之间的接触，安全性高。

2、本发明容错性高，接受各种背景、角度的图片，与现有ocr技术相比适用范围广；

3、本发明在本地即可完成对健康码的识别，识别速度快，不受并发流量、网络速度等限制，同时还能有效保护相关人员的隐私。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种健康码识别方法的流程示意图；

图2为实施例1中部署文字识别模型的流程示意图；

图3为本发明一种健康码识别装置的模块连接示意图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。

实施例1、健康码的识别方法，如图1所示，包括以下步骤：

s100、获取二维码图像及包含所述二维码图像的待识别图像；

s200、验证所述二维码图像是否为健康码；

本实施例中对所述二维码图像使用zxing进行解析，获得解析结果；

根据预设的健康码判断规则验证所述解析结果，验证成功后判定所述二维码图像为健康码，否则等待下一张原始图像的输入。

zxing(zebracrossing)是一个开源的、多格式的、用java实现的一维/二维条码图像处理库，具有到其他语言的端口。

注，健康码判断规则针对相应健康码的格式对解析结果进行验证，故本领域的技术人员可根据实际情况自行设定，本实施例不对其进行限定。

s300、当所述二维码图像为健康码时，基于所述二维码图像的颜色确定健康信息，并对所述待识别图像进行文本识别，基于识别结果提取关键信息；

s400、基于所述健康信息和所述关键信息生成识别结果并输出。

上述识别方法在本地即可完成，无需将待识别图像上传至外部服务器，识别速度快，不受并发流量、网络速度等限制；

本方法能够实现对健康码的快速检测，有效避免人员逗留产生的拥挤，且能代替现有检察人员，节省人力成本且能减少人员之间的接触，安全性高。

进一步地，所述步骤s100获取二维码图像及包含所述二维码图像的待识别图像的具体步骤为：

s110、采集原始图像；

所述原始图像可为拍照图像(从相机中获取)或者截屏图像(从相册中获取)。

s120、检测所述原始图像中是否包含二维码，当包含二维码时，获取所述二维码的位置信息；

所述位置信息为所述二维码的坐标信息，本实施例中所述坐标信息为所述二维码四个顶点的坐标；具体获取方法如下：

s121、对所述原始图像进行缩放操作，按比例将宽度缩放到预设的宽度值，获得第一原始图像；

本实施例中将所述原始图像缩放到宽度1024*高度自适应的像素尺寸。

s122、对所述第一原始图像做模糊操作，然后通过边缘提取算法获取所述第一原始图像的边缘信息，基于边缘信息提取第二原始图像。

本实施例中使用高斯滤波器进行模糊操作，然后采用现有已公开的边缘提取算法进行边缘信息提取，基于边缘信息去除第一原始图像的背景，从而去除外界环境干扰，获得第二原始图像。

s123、基于形态学变化绘制第二原始图像中的物体区域的外接矩形坐标信息；

本实施例中，对所述第二原始图像使用图像学先膨胀后腐蚀操作连接细小的间隙，然后使用对所述图像做寻找外接矩形操作，得到外接矩形位置信息

s124、根据预设的矩形判断规则遍历外接矩形位置信息，基于遍历结果提取二维码外接矩形，并筛选出二维码的四个顶点

矩形判断规则包括判断二维码区域的规则和判断切片区域的规则，相关领域的技术人员可根据实际情况自行设定矩形判断规则；如本实施例中判断二维码区域的规则为：外接矩形面积最大且长宽符合相应健康码比例要求的矩形认定为二维码外接矩形。

本实施例中基于外接矩形位置信息遍历各外接矩形，根据矩形判断规则判断是否为二维码外接矩形；

当判定存在二维码外接矩形时，取出所述二维码外接矩形，获得四点坐标作为坐标信息。

当判定不存在二维码外接矩形时，等待下次原始图像的输入。

s130、基于所述位置信息截取并矫正所述二维码，获得二维码图像；

本实施例中基于所述坐标信息从原始图像(即，上述第一原始图像)中截取二维码并对其进行透视变换，获得二维码图像。

注，还可对进行透视变换后的图像使用超分辨率技术，以提升原图的清晰度，有效的加强对焦未精准或者这二维码区域过小的问题。

s140、基于所述位置信息矫正所述原始图像，获得包含所述二维码图像的待识别图像。

本实施例中基于三角函数和所述坐标信息计算旋转角度，基于所述旋转角度对所述原始图像进行矫正，获得待识别图像。

现今通常利用ocr技术进行目标检测、图像分割和图像分类，然而传统的ocr识别要求图片质量较好且无复杂的背景干扰等，限制较大。本实施例中通过对预处理原始图像的步骤的设计，提高识别健康码的容错性，能够接受各种背景、角度的原始图像，与现有ocr技术相比不过分依赖图片本身的拍摄质量、角度等，大大减少工作人员的接入，使得检查的场景极大程度的自动化、安全化。

进一步地，步骤s300中基于所述二维码图像的颜色确定健康信息的具体步骤为：

s311、遍历所述二维码图像的rgb颜色通道，获得相应的通道数值；

s312、基于通道数值分别计算各通道的标准差；

s313、基于各标准差判断所述二维码图像的颜色；

本领域的技术人员可根据实际情况自行设定颜色判断规则，以杭州健康码为例，其通过红、黄、绿三种颜色区分健康情况，其对应的颜色判断规则为：

黄色：蓝色通道标准差大于1.5倍红色通道标准差、蓝色通道标准差大于绿色通道标准差、且绿色通道标准差大于红色通道标准差；

红色：绿色通道标准差大于红色通道标准差、蓝色通道标准差大于红色通道标准差、蓝色通道标准差小于1.5倍绿色通道标准差、且绿色通道标准差小于1.5倍蓝色通道标准差；

绿色：红色通道标准差大于绿色通道标准差、且蓝色通道标准差大于绿色通道标准差。

s314、基于预设的映射关系提取与所述颜色相对应的健康信息，获得健康信息。

相关领域的技术人员可根据实际需要自行设定映射关系，以杭州健康码为例，与绿色相映射的健康信息为健康、黄色相映射的健康信息为轻度存疑、红色相映射的健康信息为重度存疑。

进一步地，步骤s300中对所述待识别图像进行文本识别，基于识别结果提取关键信息的具体步骤为：

s321、检测并截取所述待识别图像中的文字区域，获得文字切片；获得所述文字切片的具体步骤为：

将所述待识别图像代替上述原始图像，按照步骤s121至s123进行处理，即，依次进行缩放、模糊、边缘提取、膨胀和腐蚀操作，获得相应的外接矩形位置信息。

根据预设的判断切片区域的规则遍历外接矩形位置信息，基于遍历结果提取切片外接矩形；

基于切片外接矩形从待识别图像中提取文字区域，对所述文字区域依次进行扩白边、高斯模糊和归一化处理后，获得文字切片(高度48*宽度600的大小的像素图片)。

注，相关领域技术人员可根据实际需要自行设定判断切片区域的规则，本实施例中外接矩形的为：

切片外接矩形的宽小于1.5倍的二维码外接矩形的宽且大于1/4的二维码外接矩形宽、小于9/10的待识别图像的宽度、大于4倍切片外接矩形的长度且小于18倍的切片外接矩形的长度。

s322、识别所述文字切片，基于识别结果结构化提取关键信息。

具体步骤为：

将所得文字切片输入预设的文字识别模型，由预设的文字识别模型输出相应的识别结果。

所述识别结果为张量信息，张量信息中包含了每一个字符的可能性，总字符数为常见二级汉字字库+常见标点符号字库共6596个类别。

基于各文字切片的坐标位置信息将识别结果进行重新排序，输出相应的文本特征。

基于正则表达式从所得文本特征提取关键信息。

注：

排序规则例如可设为：寻找左上角坐标x值位于最小的文字切片，遍历文字切片的坐标信息，若当前文字切片的坐标位于已存在的切片数组中的两个文字切片坐标之中，则将该切片插入后继续对所述的重排序输出遍历，获得相应文本特征。

提取关键信息的方法例如可，对于时间字段获取关键年份信息为大于2018的数字，时分秒则为位于0-24的数字和0-60的数字；

上述文字识别模型的部署步骤具体为：

收集包含文本信息的样本图片，标注所述文本信息，获得训练样本；

构建学习模型计算图；

输入所述训练样本并基于梯度下降法迭代训练，直至相应的损失值不再下降或达到最大迭代次数，获得文字识别模型；

参照图2，本实施例将部署上述文字识别模型的步骤如下：

获得pc端固化模型：固化保存所述文字识别模型的模型参数和模型结构；

转换为tflite模型，转换所述文字识别模型至tflite格式，获得相应的tflite模型；

模型量化，量化所得tflite格式模型，量化方式为将模型中的参数从float转换为int8格式。

移动端部署tflite框架，tflite框架是谷歌tensorflow框架下针对移动端设备的专用框架，主要用于深度学习模型移动端设备的部署，可进行模型的前向传播计算。在实际使用中，相关领域的技术人员还可根据实际需要将所述文字识别模型部署至其他终端设备中。

加载tflite模型；

模型计算，即，完成对文字识别模型的部署，由所述文字识别模型对文字切片进行识别。

输出结果，即，输出各文字切片相应的张量信息作为识别结果。

所述文字识别模型采用crnn+ctc算法，基于tensorflow训练模型，最后激活函数采用softmax，输出6868个类别的置信度，置信度最高的为预测的文字；

由于模型的构建是比较常见的互联网技术，本实施例不做过多阐述。

所述关键信息包括时间信息。

提取所述待识别图像中的关键信息后还包括时间校验步骤，具体步骤为：

获取当前时间，当所述时间信息小于等于所述当前时间，且所述时间信息与所述当前时间的差值小于等于预设的时间阈值，判定通过时间校验。

相关领域可根据实际需要自行设定识别结果，本实施例步骤s400中所输出的识别结果包括健康、存疑和校验失败三种结果；

当时间校验失败时，输出校验失败的识别结果；

当时间校验成功时，如健康信息为健康，输出健康的识别结果，否则输出存疑的识别结果。

本领域的技术人员后续可基于所得识别结果进行相应控制，例如应用于门控，当识别结果为健康时控制开门，允许相应人员出入，否则保持关门并进行相应反馈。

由上可知，本实施例在本地部署文字识别模型，即，待识别图像在本地完成识别，无需上传至外部服务器，一方面与由服务器进行识别的技术方案相比识别速度快且不受并发流量、网络速度等限制，另一方面能够有效保护相关人员的隐私。

实施例2、于实施例1关键信息中增加身份信息，其余均等同于实施例1。

所述关键信息包括第一身份信息时，提取所述待识别图像中的关键信息后还包括身份核实步骤，具体步骤为：

采集第二身份信息，将所述第一身份信息与所述第二身份信息进行匹配，当匹配成功时判定通过身份核实。

本实施例中第一身份信息和第二身份信息均为姓名，其中第一身份信息从待识别图像中抽取获得，第二身份信息例如可从身份证、出入证、工作证或校园卡进行读取所得的，即第二身份信息为表示用户身份的标准身份信息，相关领域的技术人员可根据实际需要自行设定，本实施例中第二身份信息从身份证中读取获得。读取身份证中姓名可通过现有技术实现，故本实施例中不对其做详细介绍。

当第一身份信息和第二身份信息对应的姓名一致时，判定其匹配成功。

注，提取第一身份信息的规则为：提取名字字段为2-5位汉字且首位汉字位于中国常见姓氏大全，且当字符位数大于五时将形式大全扩展到常见少数民族形式大全。

本实施例对第一身份信息和第二身份信息的设计，能够自动核验相关人员身份，避免他人冒用表示健康的健康码，进一步提高安全性。

步骤s400基于所述健康信息和所述关键信息(时间信息和第一身份信息)生成识别结果并输出，即，基于关键信息对健康码进行身份校验和时间校验，当身份校验和/或时间校验不通过时，判定识别结果为校验失败，避免他人冒用健康码或使用过期的健康码导致对用户健康情况的误认；

当身份校验和时间校验的均成功后，基于健康信息识别用户健康情况，当健康信息表示健康时，判定识别结果为健康，否则判定为存疑。

实施例3、健康码的识别装置，如图3所示，包括图像获取模块100、类型判断模块200、识别模块300和输出模块400。

图像获取模块100，用于获取二维码图像及包含所述二维码图像的待识别图像；

类型判断模块200，用于验证所述二维码图像是否为健康码；

识别模块300，用于当所述二维码图像为健康码时，基于所述二维码图像的颜色确定健康信息，并对所述待识别图像进行文本识别，基于识别结果提取关键信息；

输出模块400，用于基于所述健康信息和所述关键信息生成识别结果并输出。

本实施例为与实施例1相对应的装置实施例，由于其与方法实施例(实施例1)基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

实施例4、于实施例3所述的健康码的识别装置增加身份信息识别模块，其余均等同与实施3；

所述身份信息识别模块包括身份获取单元和身份校验单元；

所述身份获取单元，用于对身份证进行采集，获得第二身份信息；

所述身份校验单元，用于将所述第一身份信息与所述第二身份信息进行匹配，当匹配成功时判定通过身份核实。

本实施例为与实施例2相对应的装置实施例，由于其与方法实施例(实施例2)基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

实施例5、计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现实施例1或实施例2所述方法的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程信息处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程信息处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程信息处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是：

说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

此外，需要说明的是，本说明书中所描述的具体实施例，其零、部件的形状、所取名称等可以不同。凡依本发明专利构思所述的构造、特征及原理所做的等效或简单变化，均包括于本发明专利的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。