在线高并发的多功能材料缺陷自动打标系统和方法

1.本发明涉及图像处理目标检测领域，更具体地，涉及一种在线高并发的多功能材料缺陷自动打标系统和方法。


背景技术：

2.当前深度学习技术在目标检测领域上的应用十分广泛，各种不同的深度学习框架，数据集等百花齐放。而在缺陷检测领域中，材料缺陷的检测一直是一个难题，由于人与人之间视觉感官的差异，材料型号，缺陷程度情况各异，传统的人工打标签方法难以形成统一的标准，造成数据集标签错误率高，打标效率低。为了克服人工打标签的缺点，厂家们迫切需要一种能够自动打标的系统。现有的自动打标系统并没有包含深度学习模式，不能收集主流的缺陷检测领域深度学习框架和各种材料缺陷数据集。专利号为cn112668570a的中国发明专利于公开了一种目标检测多属性打标方法、装置、电子设备及存储介质，该方案是通过设置多属性，一次目标检测中可选择多种属性，将目标检测和多属性分类二者结合在一起，节省目标检测和多属性分类的时间，充分利用设备资源，实现了一个目标物标注多个类别标签的数据标注。但该方案并不能收集主流的缺陷检测领域深度学习框架和各种材料缺陷数据集。鉴于此，我们发明一种能提供不同领域材料缺陷图片进行自动打标的深度学习算法的在线高并发的多功能材料缺陷自动打标系统和方法。


技术实现要素：

3.本发明为克服上述现有技术所述的没有包含深度学习模式的缺点，发明一种能提供不同领域材料缺陷图片进行自动打标的深度学习算法的在线高并发的多功能材料缺陷自动打标系统和方法。
4.为解决上述技术问题，本发明的技术方案如下：
5.一种在线高并发的多功能材料缺陷自动打标系统，包括后端系统、用户终端，其特征在于，所述后端系统包括后台服务器和存储服务器，所述后台服务器包括自动打标模块和算法库模块，其中：所述用户终端用于提供可编辑界面给用户操作，并将收到的操作指令传输至所述后台服务器；所述存储服务器存储材料缺陷图片的相关数据；所述后台服务器根据用户终端传来的不同操作指令调用不同的功能模块作出响应，并从所述存储服务器调出相关数据返回给可编辑界面；所述算法库模块包含对于不同材料缺陷图片进行自动打标的不同缺陷检测领域的深度学习算法，所述后台服务器将不同的深度学习算法显示于所述可编辑界面，供用户进行选择；所述自动打标模块对材料缺陷图片进行缺陷检测及判断，并利用选择好的深度学习算法对缺陷检测及判断后的材料缺陷图片进行自动打标，自动打标完成后，所述后台服务器将自动打标后的图片存储于所述存储服务器中。
6.上述方案中，后端系统验证用户在用户终端输入的请求自动打标的信号，算法库模块为用户提供深度学习算法，供用户对所要自动打标的图片进行匹配，自动打标模块对图片进行缺陷检测及判断，并根据选择好的深度学习算法进行自动打标，自动打标完成后
的图片会存储在存储服务器中，存储服务器把自动打标结果显示于用户终端的可编辑界面。其中，算法库中包含对于不同材料进行自动打标的不同缺陷检测领域深度学习算法，该方案中的深度学习算法包括语义分割算法和目标检测算法。
7.该方案通过算法库模块存储了包含缺陷检测领域主流深度学习框架和数据集，即深度学习技术，对材料缺陷图片自动打标签，增加了缺陷标签的准确性，提高了打标签的效率，解决了现有的传统人工打标因人与人之间视觉感官的差异，材料型号，缺陷程度情况各异等原因使打标签方法难以形成统一的问题。
8.优选地，还包括前端系统，所述前端系统包括前台服务器，所述后台服务器还包括用户管理模块，所述用户管理模块包括用户登录注册子模块、用户列表子模块和用户个人详情子模块；所述存储服务器还存储用户数据；所述前台服务器为所述用户终端提供各种可视化操作界面作为可编辑界面，并将用户终端传来的操作指令传输给所述后台服务器；所述用户登录注册子模块接收用户进行登录注册的第一请求，并对该用户的用户登录注册的账号进行校验认证，然后用户登录注册子模块对该用户账号的登录密码进行加密处理，并存储于所述存储服务器；所述用户列表子模块用于从所述存储服务器读取查询用户登录注册的账号信息，并将查询结果通过前台服务器显示于所述可编辑界面；所述用户个人详情子模块根据用户进行登录注册的第一请求在存储服务器中匹配用户账号的id，并将匹配结果通过前台服务器显示于所述可编辑界面。
9.上述方案中，如果用户没有注册过该方案的账号，那么用户在使用该方案的时候，用户登录注册子模块将会对用户的注册信息进行加密处理，并存储于存储服务器；如果用户注册过该方案的账号，那么用户在使用该方案的时候，用户登录注册子模块将会接收用户进行登录的第一请求，然后把该请求信息传输给用户列表子模块，用户列表子模块将从存储服务器读取查询该用户的登录信息，然后用户个人详情子模块根据用户进行登录的第一请求在存储服务器中匹配用户 id，id信息匹配成功后，用户个人详情子模块将存储服务器中的用户信息通过前台服务器显示于用户终端的可编辑界面。
10.优选地，所述材料缺陷图片增删改查模块根据用户需求对所述存储服务器中的材料缺陷图片进行增删改查操作，通过所述前台服务器显示于所述可编辑界面；所述材料缺陷图片上传子模块用于在用户终端上传材料缺陷图片到存储服务器，通过前台服务器显示于所述可编辑界面；所述材料缺陷图片下载子模块用于在存储服务器下载材料缺陷图片到用户终端，通过前台服务器显示于所述可编辑界面。
11.上述方案中，用户在用户终端上传的材料缺陷图片被存储到存储服务器，材料缺陷图片增删改查模块可以为用户提供对材料缺陷图片进行增删改查操作的功能；自动打标完成后，材料缺陷图片下载子模块为用户提供在存储服务器下载材料缺陷图片到用户终端的功能。
12.优选地，所述后台服务器还包括图片数据可视化模块，所述图片数据可视化模块用于对存储服务器中材料缺陷图片的指标类型进行统计，通过前台服务器显示于所述可编辑界面。
13.上述方案中，图片数据可视化模块用于对数据库中图片的“已/未打标情况”，“缺陷打标类别”等指标进行统计，通过前台服务器显示于所述可编辑界面。
14.优选地，所述存储服务器包括数据库和数据库服务器；所述数据库存储用户从用
户终端上传的材料缺陷图片以及带有打标信息的相关文件，后台服务器根据需要从所述数据库调出相关数据给可编辑界面；所述数据库服务器用于保存用户数据、材料缺陷图片数据以及完成打标后的相关数据，后台服务器根据需要从所述数据库服务器调出相关数据给可编辑界面。
15.上述方案中，后台服务器和存储服务器通信连接，给后台服务器提供各种数据信息。其中，数据库服务器包括的表格有：用户表、权限表、缺陷类型表和缺陷图片表；所述用户表存储用户个人信息数据，包括用户id、用户名称、用户密码、用户创建时间、用户更新时间、用户电话和用户邮箱等；所述权限表存储系统操作的不同权限的相关信息数据，记录用户id及用户id所对应权限，包括权限id、权限名、权限创建时间和权限更新时间等；所述缺陷类型表记录材料缺陷的信息数据，包括缺陷类型id、缺陷名和缺陷描述等；所述缺陷图片表记录缺陷图片的信息数据，包括图片id、图片名、基本类型、图片类型、原始url、坐标点x1、坐标点x2、坐标点y1、坐标点y2等。
16.优选地，用户终端是电脑、平板、手机的任意一种或多种设备。
17.上述方案中，用户终端是电脑、平板、手机的任意一种或多种设备，不同设备搭载有相同或不同的操作系统，用于向用户提供可操作界面和人机交互接口；另外，该方案中搭载的操作系统为windows操作系统，其中各种服务器运行的服务器操作系统包括windows系统。
18.一种在线高并发的多功能材料缺陷自动打标方法，采用上述任一种在线高并发的多功能材料缺陷自动打标系统实现，包括以下步骤：s1：前台服务器接收用户在用户终端的可编辑界面进行登录注册的第一请求；s2：后台服务器通过前台服务器接收的第一请求对用户进行登录注册认证；若认证通过，则进入步骤s3，若不认证通过，则返回步骤s1；s3：后台服务器接收用户在用户终端上传的材料缺陷图片，存储到存储服务器；s4：存储服务器提供需要自动打标的材料缺陷图片，算法库模块提供深度学习算法，自动打标模块对材料缺陷图片进行缺陷检测及判断，然后开始自动打标，所述可编辑界面显示出预测的材料缺陷图片自动打标结果；s5：打标完成的图片存储到存储服务器中；s6：打标结束。
19.上述方案中，在步骤s4中，用户在存储服务器选择需要自动打标的材料缺陷图片和深度学习算法，其中，算法库用来提供深度学习算法供用户对需要自动打标的材料缺陷图片进行匹配，深度学习算法包括语义分割算法和目标检测算法。
20.优选地，所述s2具体步骤为：后台服务器对发出第一请求的用户的账号进行校验认证，并对账号的登录密码进行加密处理，然后存储于所述存储服务器；若账号校验认证通过，后台服务器赋予该用户一定的权限，进而进入自动打标过程，若账号校验认证不通过，则返回步骤s1。
21.上述方案中，如果用户没有注册过该方案的登录账号，后台服务器中的用户登录注册子模块将会对用户的注册信息进行加密处理，并存储于存储服务器；如果用户注册过该方案的登录账号，用户登录注册子模块将会接收用户进行登录的第一请求，并把该请求信息传输给后台服务器中的用户列表子模块，然后用户个人详情子模块根据用户进行登录的第一请求在存储服务器中匹配用户id，id信息匹配成功后，用户个人详情子模块将存储服务器中的用户信息通过前台服务器显示于用户终端的可编辑界面；后台服务器将赋予该用户一定的权限，进而进入自动打标过程，若账号校验认证不通过，则返回步骤s1。
22.优选地，所述s4具体步骤为：存储服务器提供需要自动打标的材料缺陷图片，算法库模块提供深度学习算法，然后开始自动打标，所述可编辑界面显示第一张图片的自动打标预测结果，显示结果会停留n秒的时间，若用户觉得深度学习算法预测的自动打标结果不对，可以手动停止该过程不读取下一张图片，并对该图片进行手工打标；若用户在n秒内并没有进行停止操作，系统将读取下一张照片，再重复上述操作，直到所选择的图片全部打标完成。
23.上述方案中，自动打标功能模块用于选择数据库中需要打标的材料缺陷图片，通过已训练好的深度学习模型，自动快速的对图片进行打标，自动打标后存储于存储服务器，通过前台服务器显示于用户终端的可编辑界面。
24.优选地，所述算法库还包含算法包，所述算法包包括缺陷检测领域的各种深度学习算法以及自动打标所用到的训练集，自动打标完成后，用户通过用户终端对所述算法包进行上传操作或下载共享。
25.上述方案中，在打标过程中，用户选择好需要自动打标的材料缺陷图片，并且选择好深度学习算法，该方案中的深度学习算法包括语义分割算法和目标检测算法，进入打标过程后，用户终端的可编辑界面显示第一张图片的自动打标预测结果，若选择了语义分割算法，则显示结果包括该图片的语义区域和缺陷类别；若选择了目标检测算法，则显示结果包括打标框的左上角(x1,y1)坐标、右下角 (x2，y2)坐标、该图片的缺陷类别以及预测的置信度。
26.与现有技术相比，本发明技术方案的有益效果是：
27.本发明提供一种在线高并发的多功能材料缺陷自动打标系统和方法，该方案包含深度学习模式的缺点，能收集主流的缺陷检测领域深度学习框架以及提供各种材料缺陷数据集，增加了材料缺陷图片的打标准确性。
附图说明
28.图1为本发明系统的工作框图；
29.图2为本发明方法的工作流程图；
30.图3为本发明中自动打标模块的工作框图。
具体实施方式
31.附图仅用于示例性说明，不能理解为对本专利的限制；
32.为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
33.下面结合附图和实施例对本发明的技术方案做进一步的说明。
34.实施例1
35.一种在线高并发的多功能材料缺陷自动打标系统，如图1所示，包括后端系统、用户终端，其特征在于，所述后端系统包括后台服务器和存储服务器，所述后台服务器包括自动打标模块和算法库模块，其中：所述用户终端用于提供可编辑界面给用户操作，并将收到的操作指令传输至所述后台服务器；所述存储服务器存储材料缺陷图片的相关数据；所述后台服务器根据用户终端传来的不同操作指令调用不同的功能模块作出响应，并从所述存
储服务器调出相关数据返回给可编辑界面；所述算法库模块包含对于不同材料缺陷图片进行自动打标的不同缺陷检测领域的深度学习算法，所述后台服务器将不同的深度学习算法显示于所述可编辑界面，供用户进行选择；所述自动打标模块对材料缺陷图片进行缺陷检测及判断，并利用选择好的深度学习算法对缺陷检测及判断后的材料缺陷图片进行自动打标，自动打标完成后，所述后台服务器将自动打标后的图片存储于所述存储服务器中。
36.在具体实施过程中，后端系统验证用户在用户终端输入的请求自动打标的信号，算法库模块为用户提供深度学习算法，供用户对所要自动打标的图片进行匹配，自动打标模块对图片进行缺陷检测及判断，并根据选择好的深度学习算法进行自动打标，自动打标完成后的图片会存储在存储服务器中，存储服务器把自动打标结果显示于用户终端的可编辑界面。其中，算法库中包含对于不同材料进行自动打标的不同缺陷检测领域深度学习算法，该方案中的深度学习算法包括语义分割算法和目标检测算法。
37.该方案通过算法库模块存储了包含缺陷检测领域主流深度学习框架和数据集，即深度学习技术，对材料缺陷图片自动打标签，增加了缺陷标签的准确性，提高了打标签的效率，解决了现有的传统人工打标因人与人之间视觉感官的差异，材料型号，缺陷程度情况各异等原因使打标签方法难以形成统一的问题。
38.实施例2
39.一种在线高并发的多功能材料缺陷自动打标系统，如图1所示，还包括前端系统，所述前端系统包括前台服务器，所述后台服务器还包括用户管理模块，所述用户管理模块包括用户登录注册子模块、用户列表子模块和用户个人详情子模块；所述存储服务器还存储用户数据；所述前台服务器为所述用户终端提供各种可视化操作界面作为可编辑界面，并将用户终端传来的操作指令传输给所述后台服务器；所述用户登录注册子模块接收用户进行登录注册的第一请求，并对该用户的用户登录注册的账号进行校验认证，然后用户登录注册子模块对该用户账号的登录密码进行加密处理，并存储于所述存储服务器；所述用户列表子模块用于从所述存储服务器读取查询用户登录注册的账号信息，并将查询结果通过前台服务器显示于所述可编辑界面；所述用户个人详情子模块根据用户进行登录注册的第一请求在存储服务器中匹配用户账号的id，并将匹配结果通过前台服务器显示于所述可编辑界面。在具体实施过程中，如果用户没有注册过该方案的账号，那么用户在使用该方案的时候，用户登录注册子模块将会对用户的注册信息进行加密处理，并存储于存储服务器；如果用户注册过该方案的账号，那么用户在使用该方案的时候，用户登录注册子模块将会接收用户进行登录的第一请求，然后把该请求信息传输给用户列表子模块，用户列表子模块将从存储服务器读取查询该用户的登录信息，然后用户个人详情子模块根据用户进行登录的第一请求在存储服务器中匹配用户id，id信息匹配成功后，用户个人详情子模块将存储服务器中的用户信息通过前台服务器显示于用户终端的可编辑界面；所述用户个人详情子模块根据用户进行登录注册的第一请求在存储服务器中匹配用户账号的 id，并将匹配结果通过前台服务器显示于所述可编辑界面。
40.所述材料缺陷图片增删改查模块根据用户需求对所述存储服务器中的材料缺陷图片进行增删改查操作，通过所述前台服务器显示于所述可编辑界面；所述材料缺陷图片上传子模块用于在用户终端上传材料缺陷图片到存储服务器，通过前台服务器显示于所述可编辑界面；所述材料缺陷图片下载子模块用于在存储服务器下载材料缺陷图片到用户终
端，通过前台服务器显示于所述可编辑界面。
41.在具体实施过程中，用户在用户终端上传的材料缺陷图片被存储到存储服务器，材料缺陷图片增删改查模块可以为用户提供对材料缺陷图片进行增删改查操作的功能；自动打标完成后，材料缺陷图片下载子模块为用户提供在存储服务器下载材料缺陷图片到用户终端的功能。
42.所述后台服务器还包括图片数据可视化模块，所述图片数据可视化模块用于对存储服务器中材料缺陷图片的指标类型进行统计，通过前台服务器显示于所述可编辑界面。
43.在具体实施过程中，图片数据可视化模块用于对数据库中图片的“已/未打标情况”，“缺陷打标类别”等指标进行统计，通过前台服务器显示于所述可编辑界面。
44.所述存储服务器包括数据库和数据库服务器；所述数据库存储用户从用户终端上传的材料缺陷图片以及带有打标信息的相关文件，后台服务器根据需要从所述数据库调出相关数据给可编辑界面；所述数据库服务器用于保存用户数据、材料缺陷图片数据以及完成打标后的相关数据，后台服务器根据需要从所述数据库服务器调出相关数据给可编辑界面。
45.在具体实施过程中，后台服务器和存储服务器通信连接，给后台服务器提供各种数据信息。其中，数据库服务器包括的表格有：用户表、权限表、缺陷类型表和缺陷图片表；所述用户表存储用户个人信息数据，包括用户id、用户名称、用户密码、用户创建时间、用户更新时间、用户电话和用户邮箱等；所述权限表存储系统操作的不同权限的相关信息数据，记录用户id及用户id所对应权限，包括权限id、权限名、权限创建时间和权限更新时间等；所述缺陷类型表记录材料缺陷的信息数据，包括缺陷类型id、缺陷名和缺陷描述等；所述缺陷图片表记录缺陷图片的信息数据，包括图片id、图片名、基本类型、图片类型、原始url、坐标点x1、坐标点x2、坐标点y1、坐标点y2等。
46.用户终端是电脑、平板、手机的任意一种或多种设备。
47.在具体实施过程中，用户终端是电脑、平板、手机的任意一种或多种设备，不同设备搭载有相同或不同的操作系统，用于向用户提供可操作界面和人机交互接口；另外，该方案中搭载的操作系统为windows操作系统，其中各种服务器运行的服务器操作系统包括windows系统。
48.实施例3
49.一种在线高并发的多功能材料缺陷自动打标方法，采用上述任一种在线高并发的多功能材料缺陷自动打标系统实现，如图3所示，包括以下步骤：s1：前台服务器接收用户在用户终端的可编辑界面进行登录注册的第一请求；s2：后台服务器通过前台服务器接收的第一请求对用户进行登录注册认证；若认证通过，则进入步骤s3，若不认证通过，则返回步骤s1；s3：后台服务器接收用户在用户终端上传的材料缺陷图片，存储到存储服务器；s4：存储服务器提供需要自动打标的材料缺陷图片，算法库模块提供深度学习算法，自动打标模块对材料缺陷图片进行缺陷检测及判断，然后开始自动打标，所述可编辑界面显示出预测的材料缺陷图片自动打标结果；s5：打标完成的图片存储到存储服务器中；s6：打标结束。
50.在具体实施过程中，在步骤s4中，用户在存储服务器选择需要自动打标的材料缺陷图片和深度学习算法，其中，算法库用来提供深度学习算法供用户对需要自动打标的材料缺陷图片进行匹配，深度学习算法包括语义分割算法和目标检测算法。
51.所述s2具体步骤为：后台服务器对发出第一请求的用户的账号进行校验认证，并对账号的登录密码进行加密处理，然后存储于所述存储服务器；若账号校验认证通过，后台服务器赋予该用户一定的权限，进而进入自动打标过程，若账号校验认证不通过，则返回步骤s1。
52.在具体实施过程中，如果用户没有注册过该方案的登录账号，后台服务器中的用户登录注册子模块将会对用户的注册信息进行加密处理，并存储于存储服务器；如果用户注册过该方案的登录账号，用户登录注册子模块将会接收用户进行登录的第一请求，并把该请求信息传输给后台服务器中的用户列表子模块，然后用户个人详情子模块根据用户进行登录的第一请求在存储服务器中匹配用户 id，id信息匹配成功后，用户个人详情子模块将存储服务器中的用户信息通过前台服务器显示于用户终端的可编辑界面；后台服务器将赋予该用户一定的权限，进而进入自动打标过程，若账号校验认证不通过，则返回步骤s1。
53.所述s4具体步骤为：存储服务器提供需要自动打标的材料缺陷图片，算法库模块提供深度学习算法，然后开始自动打标，所述可编辑界面显示第一张图片的自动打标预测结果，显示结果会停留n秒的时间，若用户觉得深度学习算法预测的自动打标的结果不对，可以手动停止该过程不读取下一张图片，并对该图片进行手工打标；若用户在n秒内并没有进行停止操作，系统将读取下一张照片，再重复上述操作，直到所选择的图片全部打标完成。
54.在具体实施过程中，在打标过程中，用户选择好需要自动打标的材料缺陷图片，并且选择好深度学习算法，该方案中的深度学习算法包括语义分割算法和目标检测算法，进入自动打标过程后，用户终端的可编辑界面显示第一张图片的自动打标预测结果，若选择了语义分割算法，则显示结果包括该图片的语义区域和缺陷类别；若选择了目标检测算法，则显示结果包括打标框的左上角(x1,y1)坐标、右下角(x2，y2)坐标、该图片的缺陷类别以及预测的置信度。其中，两张图片之间n秒的时间可以设置为5s～10s。
55.所述算法库还包含算法包，所述算法包包括缺陷检测领域的各种深度学习算法以及自动打标所用到的训练集，自动打标完成后，用户通过用户终端对所述算法包进行上传操作或下载共享。
56.在具体实施过程中，用户管理模块还包括用户个人详情子模块，用户个人详情子模块根据用户进行登录注册的所述第一请求中匹配用户id，并根据用户id 查询所述存储服务器，返回存储服务器中的用户信息，通过前台服务器显示于所述可编辑界面。
57.打标完成后，用户可以根据需要选择是否运行所述算法库模块，如图2所示，若运行，则所述算法库模块对缺陷检测领域的各种深度学习算法以及所用到的训练集打包封装成算法包，算法库模块对所述算法包进行上传或下载操作，用户管理模块对用户的用户权限进行验证，判断用户是否可对所述算法包进行上传操作或下载共享，若验证通过，则系统将调用封装好的数据共享借口，对算法包进行上传或下载操作；若验证不通过，则系统将停止工作；
58.实施例4
59.前台服务器根据权限的不同，包括首页显示模块、后台管理显示模块、平台功能显示模块；
60.首页展示模块：用于创建前端系统中关于首页的所有视图对象和控制对象，并通
过分页插件显示于用户终端的可编辑界面；前端系统在基础页面模板文件中，包涵了多个html文件，分别是网站的标题、头部、主体、底部的网站基础部分等，以此为网站前端页面基础模板，其他页面将继承公共模板的html文件，只修改相应的主体部分，这样将保持整个网站风格统一，导航栏、标题栏以及底部信息统一。
61.后台管理展示模块：用于创建前端系统中关于后台管理的所有视图对象和控制对象，并通过分页插件显示于用户终端的可编辑界面；通过抽离公用部分为单独的html文件，然后用一个基础html模板包含进菜单栏、标题栏、尾部的网页基础部分等等，然后其他html文件继承这个基础html，再重写其中的主体部分即可。
62.平台功能显示模块：用于创建前端系统中自动打标和算法库等功能的所有视图对象和控制对象，并通过分页插件显示于用户终端的可编辑界面；
63.附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。