一种应用于互联网检测中快速采集数据的系统及方法与流程

文档序号:17890598发布日期:2019-06-13 15:36阅读:142来源:国知局

本发明涉及互联网检测领域,更具体的涉及互联网检测领域中一种快速采集数据的系统及方法。



背景技术:

随着人工智能领域机器学习技术的迅猛发展,互联网检测领域也赢了快速发展,传统互联网检测多依赖于c/s架构,必须在客户端上(pc、手机、其它移动设备)上安装部署程序才能使用,这种方法有利于解决控制用户拍摄检测时的相机状态及光环境,但是程序部署费时费力,针对不同设备必须管理开发不同版本,使用并不方便,基于b/s架构的互联网检测技术仅需用户利用客户端进行拍照然后利用浏览器或api接口上传图片,就可以得到结果,使用十分方便,但是由于无法控制用户拍照检测时的相机状态及光环境,故有必要在研发时针对性的采集大量数据利用机器学习方法对其进行建模,以提高检测的准确率,并进行严谨的质量控制,然而传统技术中并无标准化采集大量数据并进行质量管理的系统及方法。

如果依赖实验人员采集数据,可能无法完全获得所有实际生活中的采集条件,这样会给最后的数据采集造成缺陷。



技术实现要素:

为了解决上述问题,本发明提供了一种采集大量数据并进行质量管理的系统及方法,尤其适用于互联网远程诊断。

具体而言,本发明提供了一种用于互联网检测中快速采集数据的系统,包括数据管理系统服务器端,所述数据管理系统服务器端配置在远程服务器上,用于远程处理大量的采集数据,以及为采集数据所需的条件设置参数;

所述数据管理系统服务器端包括采集模板管理及控制模块,该采集模板管理及控制模块包括试纸模板管理模块、数据采集相机参数模板管理模块、数据采集特征提取算法管理模块;

该模块包括试纸模板管理模块,试纸模板模块主要保存及管理试纸上的定位单元、校正单元及检测块的位置;并能够根据用户终端模块上传的试纸信息读取其中的定位单元、校正单元及检测块的位置信息,从而判断所述试纸的类型、所需要试剂的浓度;

所述数据采集相机参数模板管理模块,用于保存及管理不同项目的采集数据所需的设置参数;

所述数据采集特征提取算法管理模块,用于保存及管理不同项目针对性的采集数据后得到的图片或视频的特征提取办法;

所述数据管理系统服务器端还包括数据采集客户端模块,用于根据所述采集控制以及模板管理模块设定的相机设置参数对场景进行数据采集。

进一步的,还包括用户终端模块,所述数据采集客户端模块配置在所述用户终端模块中,所述用户终端模块配置在具有相机的移动终端上。

进一步的,所述相机设置参数包括相机拍摄参数、以及与相机姿态控制、采集速率及数量控制、采集模板控制。

进一步的,所述数据采集客户端模块还包括特征提取模块,用于根据所述数据采集特征提取算法管理模块所提供的提取方法对采集到的数据进行特征提取以计算出所对应的值。

进一步的,所述数据采集客户端模块还包括时间管理及控制模块,用于控制及管理采集时间,并对数据进行校正,保证数据的准确性及稳定性,还包括数据传输模块,用于将所述特征值数据传输数据至数据管理系统服务器端。

进一步的,所述数据管理系统服务器端还包括数据存储模块:用于保存数据,数据包括基线数据及实验数据。

一种使用所述的用于互联网检测中快速采集数据的系统的方法,包括以下步骤:

首先初始化数据收集管理系统服务器端和数据采集客户端模块;

将实际所要采集的试纸的信息输入所述数据采集客户端模块,所述数据采集客户端模块将该试纸的信息传输到数据收集管理系统服务器端,数据收集管理系统服务器端根据试纸模板管理模保存的信息确定所述试纸的类型、以及所需要与其反应的试剂类型、浓度;

用户根据所述试纸类型选定相应类型、浓度试剂进行反应,同一浓度使用多张试纸进行反应,并利用所述数据采集客户端模块拍摄相关的图片并获取相关数据发送给所述数据收集管理系统服务器端。

进一步的,利用所述数据采集客户端模块拍摄相关的图片并获取相关数据发送给所述数据收集管理系统服务器端采用重复以下步骤实现:

s1、打开数据采集客户端模块,根据数据管理系统服务器端的数据采集相机参数模板管理模块提供的设置数据,进行基线数据采集,所述设置数据包括固定采集时的外部光照、手机相机曝光补偿、白平衡状态、试纸上光校正单元的特征值,手机姿态,每张试纸采集5-10次数据,特征提取模块根据所述数据采集特征提取算法管理模块所提供的提取方法对采集到的数据进行特征提取以计算出所对应的值作为基线数据存储在所述数据存储模块中;

s2、根据所述数据采集相机参数模板管理模块提供的数据,进行常规应用场景数据采集;

特征提取模块根据所述数据采集特征提取算法管理模块所提供的提取方法对采集到的数据进行特征提取以计算出所对应的值作为常规应用场景数据存储在所述数据存储模块中;

s3、再次根据所述数据采集相机参数模板管理模块提供的数据进行非常规场景应用数据采集,采集时固定各种控制条件因素,使其不满足常规场景应用条件,该阶段任意配置采集数据的数量,特征提取模块根据所述数据采集特征提取算法管理模块所提供的提取方法对采集到的数据进行特征提取以计算出所对应的值作为非常规应用数据存储在所述数据存储模块中;

s4、重复s1-s3,并保证数据在试纸反应的稳定期内采集完毕。

进一步的,所述数据管理系统服务器端对数据存储模块中存储的数据进行数据统计,粗略估计所有采集数据集的分布形态,保证数据集的完整性及密度,并估计在不同条件下检测所能达到的最好的精度,如果某种条件或者某种状态的数据存在缺失,重复s1-s4,采集对应的数据

如此,本发明提供了一种大量参数采集的系统和方法,最大程度上减小了数据的误差,最大程度上获得了可靠、广泛、各种代表性条件下的数据,从而为最终的诊断提供了有利的、准确的数据基础。

具体实施方式

本发明将以实施例的方式对所述系统和方法进行详细描述,但是所作描述并非意味着对该系统和发明做出限制。

本发明的用于互联网检测中快速采集数据的系统包括数据管理系统服务器端和用户终端模块,所述用户终端模块可以配置在例如包括数码相机、手机等可以上传视频、图片的设备上,用于采集现实场景数据。

所述数据管理系统服务器端配置在远程服务器上,用于远程处理大量的采集数据,以及为采集数据所需的条件设置参数。

所述数据管理系统服务器端包括采集模板管理及控制模块,该采集模板管理及控制模块包括试纸模板管理模块、数据采集相机参数模板管理模块、数据采集特征提取算法管理模块。

试纸模板模块用于保存及管理试纸上的定位单元、校正单元及检测块的位置,并能够根据用户终端模块上传的试纸信息读取其中的定位单元、校正单元及检测块的位置信息,从而判断所述试纸的类型、所需要试剂的浓度。

数据采集相机参数模板管理模块用于保存及管理不同项目的采集数据所需的相机设置参数。

数据采集特征提取算法管理模块用于保存及管理不同项目针对性的采集数据后得到的图片或视频的特征提取办法。

所述数据管理系统服务器端还包括数据采集客户端模块,数据采集客户端模块包括数据采集模块、特征提取模块、时间管理及控制模块以及数据传输模块。

其中数据采集模块用于根据所述采集控制以及模板管理模块设定的相机设置参数对场景进行数据采集。所述相机设置参数包括相机拍摄参数、以及与相机姿态控制、采集速率及数量控制、采集模板控制等相关的参数。

所述特征提取模块,用于根据所述数据采集特征提取算法管理模块所提供的特征提取方法对采集到的数据进行特征提取以计算出所对应的值,所述特征可以是图片的rgb、harr,hog,sift,lbp等值。

时间管理及控制模块,用于控制及管理采集时间,并对数据进行校正,保证数据的准确性及稳定性。数据传输模块,用于将所述特征值数据传输数据至数据管理系统服务器端。

所述数据采集客户端模块还可以配置用户终端模块上,当配置在用户终端模块上时,该数据采集客户端模块自动地根据所述采集控制以及模板管理模块设定的相机参数对移动终端的相机参数进行控制,从而实现用户一键式采集数据。

所述数据管理系统服务器端还包括数据存储模块:用于保存数据,数据包括基线数据及实验数据。基线数据一般为固定采集设备、固定光照条件、试纸反应稳定窗口期内所采集的数据,基线数据作为试剂与试纸反应之后的标准值以待后续使用。实验数据一般为探索某些特定条件与标准值之间存在的关系而进行的试验得到的数据。

本发明的数据采集方法,包括以下步骤:

首先初始化数据收集管理系统服务器端和数据采集客户端模块。

将实际所要采集的试纸的信息输入所述数据采集客户端模块,所述数据采集客户端模块将该试纸的信息传输到数据收集管理系统服务器端,数据收集管理系统服务器端根据试纸模板管理模保存的信息确定所述试纸的类型、以及所需要与其反应的试剂类型、浓度。

用户根据所述试纸类型选定相应类型、浓度试剂进行反应,同一浓度使用多张试纸进行反应。并重复以下步骤:

s1、打开数据采集客户端模块,根据数据管理系统服务器端的数据采集相机参数模板管理模块提供的设置数据,进行基线数据采集。所述设置数据包括固定采集时的外部光照、手机相机曝光补偿、白平衡状态、试纸上光校正单元的特征值,手机姿态等。每张试纸采集5-10次数据,特征提取模块根据所述数据采集特征提取算法管理模块所提供的提取方法对采集到的数据进行特征提取以计算出所对应的值作为基线数据存储在所述数据存储模块中。

s2、根据所述数据采集相机参数模板管理模块提供的数据,进行常规应用场景数据采集。采集时无需固定各种控制条件因素,只需要各因素符合常规场景应用的定义,该阶段可任意配置采集数据的数量。控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式等。即在这种情况下,所述数据采集客户端模块可以任意拍摄和上传图片,而不需要对移动终端的相机进行任何控制。

特征提取模块根据所述数据采集特征提取算法管理模块所提供的提取方法对采集到的数据进行特征提取以计算出所对应的值作为常规应用场景数据存储在所述数据存储模块中。

s3、再次根据所述数据采集相机参数模板管理模块提供的数据进行非常规场景应用数据采集,采集时固定各种控制条件因素,使其不满足常规场景应用条件,该阶段可任意配置采集数据的数量,特征提取模块根据所述数据采集特征提取算法管理模块所提供的提取方法对采集到的数据进行特征提取以计算出所对应的值作为非常规应用数据存储在所述数据存储模块中。

控制条件因素包括拍摄角度、光照色温、光亮度、相机白平衡模式、相机曝光补偿模式等、并将每种控制条件因素的值与相应图片数据同时上传。

在这种情况下,所述数据采集客户端模块根据所述数据采集相机参数模板管理模块提供的数据对移动终端的相机进行参数配置,使其中某些控制条件因素固定从而背离常规场景。

s4、重复s1-s3,并保证数据在试纸反应的稳定期内采集完毕。

随后,所述数据管理系统服务器端对数据存储模块中存储的数据进行数据统计,粗略估计所有采集数据集的分布形态,保证数据集的完整性及密度,并估计在不同条件下检测所能达到的最好的精度。如果某种条件或者某种状态的数据存在缺失,重复s1-s4,采集对应的数据。

利用上述三个数据得到数据模型,包括基线数据模型、常规应用数据模型、非常规应用数据模型。

基线数据模型可应用可控制条件下试纸反应结果的预测,主要应用移动端,app下试纸检测。常规应用数据模型可应用于日常条件下网页上传形式的试纸检测。非常规应用数据模型主要用于网页上传形式试纸检测时,提升用户体验,降低对用户操作的要求。

对于任一批次生产的试纸,可以利用与基线数据采集办法相同的方式进行采集,并作为该批次的标准数据。利用该标准数据通过对应的特征采集算法所得到的值作为标准值。

利用上述三个数据得到数据模型下测得的数据值与标准值进行比较,就能输出比较结果。

如此,本发明提供了一种大量参数采集的系统和方法,可以实现多人、共同对数据进行采集,最大程度上减小了数据的误差,最大程度上获得了可靠、广泛、各种代表性条件下的数据,从而为最终的诊断提供了有利的、准确的数据基础。

尽管已经结合实施例对本发明进行了详细地描述,但是本领域技术人员应当理解地是,本发明并非仅限于特定实施例,相反,在没有超出本申请精神和实质的各种修正,变形和替换都落入到本申请的保护范围之中。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1