家用健康仪器仪表数字读数识别方法及装置与流程

1.本发明涉及智慧医疗、医疗健康技术领域，特别是涉及一种基于深度学习的家用健康仪器仪表数字读数识别方法及装置。


背景技术：

2.人体健康检测仪的市场巨大，根据世界卫生组织的一项调查显示，全球95%的人处于不健康的状态。目前，我国70%的人处于亚健康状态，15%的人处于疾病状态，人体健康仪器有着非常重要的作用。世界银行针对中国慢性病做的调查数据显示，在今后的20年，40岁以上人群，慢性病的发病人数会增长三倍。同时，随着人口老龄化、医疗成本的升高，越来越多的家庭加入“防-治-养”一体化的防治模式，通过家用健康仪器定期对个人身体健康检测，实现家庭个人的健康管理。但是，如今大多数人体健康检测仪，如血压计、血糖仪等，并不具备物联网功能，无线实现个人检结果的上传，同时市面上的品牌、型号种类繁多，传统的手段无法实现一一兼容，部分用户是老年人，每次手动输入操作并不现实，这对目前的构建个人线上健康信息的管理提出了挑战。


技术实现要素：

3.为解决上述问题，本发明提供一种家用健康仪器仪表数字读数识别方法，实现对家用健康仪器的检测信息的识别和读取。
4.本发明采用的一个技术方案是：一种家用健康仪器仪表数字读数识别方法，包括：获取包括所述家用健康仪器仪表的图像；用已经训练好的仪盘检测模型对所述获取的图像进行检测，确定所述图像中家用健康仪器仪表的仪盘或显示屏幕区域位置信息，对所述仪盘或显示屏幕进行定位；用已经训练好的字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测，得到所述仪盘或显示屏幕中的所有字符的位置信息；用训练好的字符识别模型对所述所有字符中的每个字符进行识别，获取每个字符的具体数字信息；基于所述字符的位置信息和具体数字信息，依照预设规则对每个字符的具体数字信息进行组合，获取在仪盘或显示屏幕上的实际数字信息。
5.进一步的，所述获取包括所述家用健康仪器仪表的图像，包括：获取现场拍摄的所述家用健康仪器仪表的图像；或，获取其他设备传输的所述家用健康仪器仪表的图像；或，读取本地存储的所述家用健康仪器仪表的图像。
6.进一步的，所述用已经训练好的仪盘检测模型对所述获取的图像进行检测，还包括：判断对所述获取的图像是否存在仪盘或显示屏幕，如果存在仪盘或显示屏幕，确定所述图像中家用健康仪器仪表的仪盘或显示屏幕区域位置信息，对所述仪盘或显示屏幕进行定位。
7.进一步的，所述字符检测模型为已经训练好的七段码字符检测模型，所述字符识别模型为七段码字符识别模型；所述已经训练好的七段码字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测，得到所述仪盘或显示屏幕中的所有七段码字符的位置信息。
8.进一步的，所述依照预设规则对每个字符的具体数字信息进行组合，包括：对字符进行最近组合，得到字符按照从左到右，从上到下的顺序组合，获取组合后的实际数字信息。
9.进一步的，在获取包括所述家用健康仪器仪表的图像之前或者之后，确定所述家用健康仪器的标识信息；在获取在仪盘或显示屏幕上的实际数字信息之后，依据所述家用健康仪器仪表的标识信息，确定并返回所述家用健康仪器仪表的数字仪表对应的实际信息。
10.进一步的，在所述用已经训练好的仪盘检测模型对所述获取的图像进行检测之前，将所述获取的图像设置为预设的大小，和/或，对所述获取的图像进行压缩。
11.进一步的，所述确定所述图像中家用健康仪器仪表的仪盘或显示屏幕区域位置信息，对所述仪盘或显示屏幕进行定位，包括：确定并返回所述仪盘或显示屏幕区域的坐标信息。
12.进一步的，所述用已经训练好的字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测之前，还包括：对所述仪盘或显示屏幕区域进行分割，返回分割后的仪盘或显示屏幕图像。
13.依据上述方法，本发明对应还提供一种家用健康仪器仪表数字读数识别装置，包括：获取模块，用于获取包括所述家用健康仪器仪表的图像；仪盘定位模块，用于用已经训练好的仪盘检测模型对所述获取的图像进行检测，确定所述图像中家用健康仪器仪表的仪盘或显示屏幕区域位置信息，对所述仪盘或显示屏幕进行定位；字符定位模块，用于用已经训练好的字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测，得到所述仪盘或显示屏幕中的所有字符的位置信息；字符识别模块，用于用训练好的字符识别模型对所述所有字符中的每个字符进行识别，获取每个字符的具体数字信息；实际数字信息获取模块，用于基于所述字符的位置信息和具体数字信息，依照预设规则对每个字符的具体数字信息进行组合，获取在仪盘或显示屏幕上的实际数字信息。
14.本发明的有益效果是：通过上述技术方案的方法或者装置，本发明可以实现对不同品牌、不同型号的家用健康仪器的兼容，对家用健康仪器的检测信息的识别和读取，实现检测信息的物联网化。
附图说明
15.图1本发明实施例家用健康仪器仪表数字读数识别方法流程示意图。
16.图2本发明实施例家用健康仪器仪表数字读数识别装置示意图。
17.图3为健康仪器仪表的仪盘（屏幕）检测得到的图。
18.图4为仪盘（屏幕）区域内七段码数字检测以及识别的图。
19.图5为最终识别结果。
20.图6为本发明实施例模型训练流图。
21.图7为本发明实施例家用健康仪器仪表数字读数识别方法读数识别运行流图
具体实施方式
22.在本技术实施例提供的技术方案中，通过获取包括所述家用健康仪器仪表的图像；用已经训练好的仪盘检测模型对所述获取的图像进行检测，确定所述图像中家用健康仪器仪表的仪盘或显示屏幕区域位置信息，对所述仪盘或显示屏幕进行定位；用已经训练好的字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测，得到所述仪盘或显示屏幕中的所有字符的位置信息；用训练好的字符识别模型对所述所有字符中的每个字符进行识别，获取每个字符的具体数字信息；基于所述字符的位置信息和具体数字信息，依照预设规则对每个字符的具体数字信息进行组合，获取在仪盘或显示屏幕上的实际数字信息。可以实现对不同品牌、不同型号的家用健康仪器的兼容，对家用健康仪器的检测信息的识别和读取，实现检测信息的物联网化。
23.下面结合附图对本技术实施例技术方案的主要实现原理、具体实施方式及其对应能够达到的有益效果进行详细的阐述。
24.实施例一请参考图1、图7，本技术实施例提供一种家用健康仪器仪表数字读数识别方法，所述包括：s101：获取包括所述家用健康仪器仪表的图像；s102：用已经训练好的仪盘检测模型对所述获取的图像进行检测，确定所述图像中家用健康仪器仪表的仪盘或显示屏幕区域位置信息，对所述仪盘或显示屏幕进行定位；s103：用已经训练好的字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测，得到所述仪盘或显示屏幕中的所有字符的位置信息；s104：用训练好的字符识别模型对所述所有字符中的每个字符进行识别，获取每个字符的具体数字信息；s105：基于所述字符的位置信息和具体数字信息，依照预设规则对每个字符的具体数字信息进行组合，获取在仪盘或显示屏幕上的实际数字信息。
25.本发明所采用的用健康仪器仪表数字读数识别方法，可以应用于以智能电子设备，如智能手机等，该智能电子设备具有摄像功能，并具有数据处理能力。上述方法也可以应用于服务器。
26.该方法在智能电子设备上执行时，执行s101获取包括所述家用健康仪器仪表的图像，可以通过获取现场拍摄的所述家用健康仪器仪表的图像获得，如由智能手机的摄像头拍摄已显示测量信息的家用健康仪器仪表正面图片，使得拍摄的图像中包含仪盘或显示屏幕；智能电子设备也可以通过获取其他设备传输的数据得到所述家用健康仪器仪表的图像，如通过网络通信或者即使通信软件获取；智能电子设备还可以通过读取本地存储的所
述家用健康仪器仪表的图像，如智能电子设备内存中预先存储的图像。
27.对于执行设备是服务器时，执行s101获取包括所述家用健康仪器仪表的图像，服务器可以通过获取其他设备传输的数据得到所述家用健康仪器仪表的图像，如通过网络通信或者即使通信软件获取，也可以是云端数据库中获得；还可以通过读取本地存储的所述家用健康仪器仪表的图像，如服务器存储器中预先存储的图像。
28.如果是第一次使用本发明的方法，在执行s101之前或者之后，本发明的方法确定要获取的图像中的家用健康仪器仪表的标识信息，如生产厂家，型号等等，以便对识别结果进行对应型号的匹配，返回用户对应型号的检测结果。
29.s102：用已经训练好的仪盘检测模型对所述获取的图像进行检测，确定所述图像中家用健康仪器仪表的仪盘或显示屏幕区域位置信息，对所述仪盘或显示屏幕进行定位。
30.作为优选的实施例，在执行s102之前，需要将s101将获取的图像进行预处理，将上述图像设置为预设的大小，如设置为统一的大小，还可以对获取的图像进行压缩，以便于后续的图像检测出来，并方便图像的传输上传。
31.对于本步骤，s102可以通过以下方法实现：智能电子设备或者服务器判断所述获取的图像是否存在仪盘或显示屏幕，如果检测存在仪盘或显示屏幕，确定所述图像中家用健康仪器仪表的仪盘或显示屏幕区域位置信息，如仪盘或显示屏幕区域的坐标信息（左上x，左上y，以及长、宽等），实现对所述仪盘或显示屏幕进行定位；如过检测不到仪盘或显示屏幕，系统直接返回“无法检测到仪盘或显示屏幕，请重新上传图片”等类似的信息，以便用户重新拍摄或者上传家用健康仪器仪表的图像。
32.作为优选实施例，本发明的仪盘检测模型以及随后涉及到的其他模型均是基于神经网络的深度学习模型，上述基于神经网络的深度学习模型（深度学习模型主要包含两个部分，第一部分实现表盘数字的定位，第二部分实现表盘数字类别判定。例如一张含有表盘数字的图片，深度学习首先对图片中内容进行分析和检测，使用boundingbox将检测为数字的内容框画出来。然后第二部分深度学习模型对框画出来的图片内容进行进一步判定，判定它属于0到9中数字的哪一个。）。
33.s103：用已经训练好的字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测，得到所述仪盘或显示屏幕中的所有字符的位置信息。
34.在执行s103之前，可以对所述仪盘或显示屏幕区域进行分割，并返回分割后的仪盘或显示屏幕图像，从而便于s103的执行 （在对仪表读数识别的过程中，我们最感兴趣的区域是表盘显示信息，同时用户上传的过程中不能保证每张图片中是否包含了仪表盘,先对上传的图片进行仪表盘区域分割，便于判断图片中是否包含感兴趣的区域（也就是图片是否合格），同时后续信息提取的时候，保证获取的信息，就是仪器的读数。）。
35.s103的字符检测模型也是一种基于神经网络的深度学习模型，上述已经训练好的字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测，得到所述仪盘或显示屏幕中的所有字符相对于图像中家用健康仪器仪表的仪盘或显示屏幕区域的位置坐标信息，从而实现随后步骤中对每个字符的具体数字信息进行组合的执行。
36.s104：用训练好的字符识别模型对所述所有字符中的每个字符进行识别，获取每个字符的具体数字信息。
37.如前所述，s104中的字符识别模型同样也是一种基于神经网络的深度学习模型，其中获取的每个字符的具体数字信息指的是单个字符的数值，如：“8”、“5”等。
38.s105：基于所述字符的位置信息和具体数字信息，依照预设规则对每个字符的具体数字信息进行组合，获取在仪盘或显示屏幕上的实际数字信息。
39.其中的预设规则可以是：对字符进行最近组合，得到字符按照从左到右，从上到下的顺序组合，获取组合后的实际数字信息。如图4中的字符分别是“1”、“3”、“7”、“7”、“9”、“7”、“2”，则依据最近组合，从左到右，可知“1”、“3”、“7”可以组合，得出“137”，根据从上到下，可得“79”和“72”等仪盘或显示屏幕上的实际数字信息。
40.在s105获取在仪盘或显示屏幕上的实际数字信息之后，本发明的方法可以依据所述家用健康仪器仪表的标识信息，结合数据库中存储的不同家用健康仪器仪表对饮的屏幕显示信息，如图4中分别对应的“高压”、“低压”和“脉搏”，确定并返回所述家用健康仪器仪表的数字仪表对应的实际信息。上述返回的实际信息可以上传到服务器或者是医生的终端，从而实现了对不同品牌、不同型号的家用健康仪器的兼容，对家用健康仪器的检测信息的识别和读取，实现检测信息的物联网化，方便用户实时的收集个人的健康数据，从而为后续的健身或者治疗提供参考。
41.实施例二作为实施例一的优选方案，参考图6，本实施例的所述字符检测模型为已经训练好的七段码字符检测模型，所述已经训练好的七段码字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测，得到所述仪盘或显示屏幕中的所有七段码字符的位置信息。
42.所述字符识别模型为七段码字符识别模型，已经训练好的七段码字符识别模型对所有七段码字符进行识别，得到七段码字符对应的实际数字；然后对检测到的七段码目标根据其位置信息进行重新组合，得到从左到右，从上到下的组合信息，获取数字仪盘或者屏幕中的组合后的数字。
43.实施例三请参考图2，基于上述实施例一的方法，本发明对应还提供一种家用健康仪器仪表数字读数识别装置，包括：获取模块，用于获取包括所述家用健康仪器仪表的图像；仪盘定位模块，用于用已经训练好的仪盘检测模型对所述获取的图像进行检测，确定所述图像中家用健康仪器仪表的仪盘或显示屏幕区域位置信息，对所述仪盘或显示屏幕进行定位；字符定位模块，用于用已经训练好的字符检测模型对所述仪盘或显示屏幕区域位置信息对应的仪盘或显示屏幕区域进行字符检测，得到所述仪盘或显示屏幕中的所有字符的位置信息；字符识别模块，用于用训练好的字符识别模型对所述所有字符中的每个字符进行识别，获取每个字符的具体数字信息；实际数字信息获取模块，用于基于所述字符的位置信息和具体数字信息，依照预设规则对每个字符的具体数字信息进行组合，获取在仪盘或显示屏幕上的实际数字信息。
44.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法
的实施例中进行了详细描述，此处将不做详细阐述说明。
45.实施例四在本发明的具体应用时，工作过程可以是以下的步骤（参考图3-5）：s201、用户通过手机拍照采集已显示测量结果的家用健康仪器（如：欧姆龙、飞跃的血压计、血糖仪、小米的体脂仪等）的图片。
46.s202、进入系统，第一次适用需选择具体的健康仪器型号。
47.s203、图片预处理，实现获取图片的原始长宽高等信息，并重置图片的大小，上传图片。
48.s204、健康仪器仪表盘检测模型，对上传的图片进行检测，检测上传的图片中是否含有仪表盘（仪器的屏幕），如果有进入5，若否，则返回“无法检测到表盘，请重新上传”。
49.s204、在s203中获得的表盘区域进行数字检测，检测表盘中所有的7段码显示的数字，并进行定位。
50.s205、对s204中检测到的所有的数字进行分类，获取7段码显示对应的具体数字。
51.s206、对s205中获取的数字以及区域按照从左到右，从上到下的方式进行组合，获取组合后的具体数字信息，也就是仪表盘上的读数信息。
52.s207、结合数据库中存储的具体型号表盘显示的具体信息，返回健康仪器读数对应的信息，如欧姆龙血压计u30、u31等型号中表盘上中下三行读数分别对应“高压”“低压”“脉搏”信息。
53.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
54.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。