用于企业的私有化部署数据处理方法与流程

文档序号:20013195发布日期:2020-02-22 12:00阅读:来源:国知局

技术特征:

1.用于企业的私有化部署数据处理方法,其特征在于,该处理方法包括以下步骤:

s1:通过用户登录模块对用户和用户角色进行身份校验并将身份校验通过的用户与服务器建立通信连接;

s2:企业内部人员通过内网发送企业的私有数据以及私有数据对应的等级在企业私有云内进行存储;

s3:通过标注任务模块对私有数据进行任务创建,将创建的待标注任务绑定数据发送至智能工具模块进行处理,智能工具模块基于人在回路的增量式数据辅助标注技术对待标注任务进行标注,智能工具模块将无法标注的待标注任务发送至标注分配模块;

s4:标注分配模块将私有数据分配至对应的标注员电脑终端上,通过模板配置模块对不同的待标注任务进行区分配置,标注员在电脑终端上通过标注工具对待标注任务进行标注;

s5:标注员将标注好的待标注任务发送至智能工具模块,通过结果导出模块将标注结果导出到本地。

2.根据权利要求1中所述的用于企业的私有化部署数据处理方法,其特征在于,s1中所述的用户角色包括企业内部人员、管理员和普通人员;其中,管理员包括授权管理员和机构管理员,授权管理员用于对系统进行管理,管理包含用户角色的授权、数据管理、用户管理、项目管理和任务管理;机构管理员对机构的人员、项目、任务、数据进行统筹管理;普通人员包括标注员、质检员和验收员;标注员用于对标注数据进行加工标注;质检员用于对标注的数据进行质量检查;验收员对标注的数据进行验收。

3.根据权利要求1所述的用于企业的私有化部署数据处理方法,其特征在于,s3中所述的标注任务模块用于通过服务器获取企业私有云内私有数据以及私有数据对应的等级进行任务创建,将需要标注的私有数据标记为待标注任务;创建好任务后,需要给该待标注任务绑定数据,任务绑定数据支持按照数据集下的批次绑定和索引绑定,绑定数据后,标注任务模块将待标注任务发送至标注分配模块;所述标注分配模块用于将私有数据分配至对应的标注员电脑终端上,具体分配步骤如下:

步骤一:设定待标注任务记为dji,j=1、2、3、4;i=1……n;d1i、d2i、d3i、d4i依次表示为语音、图片、视频和文本;设定待标注任务等级记为gdji;待标注任务对应的文件大小为kdji;

步骤二:设定待标注任务对应的积分值标记为cj,j=1、2、3、4;且c4>c2>c3>c1;

步骤三:利用公式获取得到待标注任务的排序值pdji;其中λ为修正因子,取值为1.2;v1、v2和v3均为预设比例系数固定值;

步骤四:待标注任务进行依照排序值进行分类,设定分类区间记为a1、a2、a3和a4,且a1、a2、a3和a4的取值区间依次减小;当待标注任务排序值在分类区间a1内,则将该待标注任务标记为第一私有数据;当待标注任务排序值在分类区间a2内,则将该待标注任务标记为第二私有数据;当待标注任务排序值在分类区间a3内,则将该待标注任务标记为第三私有数据;当待标注任务排序值在分类区间a4内,则将该待标注任务标记为第四私有数据;

步骤五:统计所有第一私有数据、第二私有数据、第三私有数据和第四私有数据;分别构成第一私有数据集合、第二私有数据集合、第三私有数据集合和第四私有数据集合;

步骤六:根据标注员的标注权限值将标注员划分为第一标注员、第二标注员、第三标注员和第四标注员;第一标注员用于对第一私有数据进行标注,第二标注员用于对第二私有数据进行标注;第三标注员用于对第三私有数据进行标注,第四标注员用于对第四私有数据进行标注;

步骤七:统计第一标注员的所有人数记为r1,同时将第一标注员依照标注权限值由大到小进行排序;统计第一私有数据集合中第一私有数据的数量记为r2;利用公式r3=r2/r1获取得到第一标注员的标注数量r3,当不能整除时,r3的取值为商直接加上数值一;

步骤八:将第一私有数据集合中的第一私有数据依照排序值由大到小进行排序,将排序值靠前的r3个第一私有数据分配至标注权限值最大的第一标注员的电脑终端上,依次类推;同理,第二私有数据集合、第三私有数据集合和第四私有数据集合依照上述进行分配到对应标注员的电脑终端上;第一标注员、第二标注员、第三标注员和第四标注员通过标注工具对对应的第一私有数据、第二私有数据、第三私有数据和第四私有数据进行标注。

4.根据权利要求1所述的用于企业的私有化部署数据处理方法,其特征在于,s4中所述的标注工具包括图像类标注工具、语音类标注工具、文本类标注工具和视频类标注工具;其中,图像类标注工具包括目标检测、图片分类、实例分割、语义分割和人脸分割;语音类标注工具包括单段落、多段落、调节语音播放速度、语音波形缩放和语谱图切换;文本类标注工具包括实体标注、意图标注和分词标注;视频类标注工具包括抽帧后的图片标注、主体属性的标记和行踪轨迹追踪;第一标注员、第二标注员、第三标注员和第四标注员将标注好的私有数据发送至质检员的电脑终端上进行质量检查,当质检员对标注好的私有数据进行抽查,当抽查的私有数据标注合格,则质检员将私有标注好的私有数据发送至验收员的电脑终端上;当抽查的私有数据标注不合格,则发送至对应的标注员电脑终端上进行再次标注,同时该标注员的标注错误总次数增加一次;验收员将验收的私有数据发送至服务器内进行存储。

5.根据权利要求1所述的用于企业的私有化部署数据处理方法,其特征在于,s4中所述的模板配置模块用于对不同的待标注任务进行区分配置,通过框标注模板对不同的待标注任务进行分配属性配置来配置出不同的标注工具;框标注模板包括人脸框标注工具、汽车框标注工具。

6.根据权利要求3所述的用于企业的私有化部署数据处理方法,其特征在于,步骤六中所述的标注权限值通过权限计算模块进行计算,具体计算步骤如下:

ss1:设定标注员记为wi,i=1、……、n;标注员为机构内部标注工程师或企业内部人员;设定标注员的标注私有数据的数量记为mwi;标注员的标注错误总次数标记为cwi;

ss2:利用公式qwi=mwi*zk1-cwi*zk2获取得到标注员的标注权限值qwi;其中zk1和zk2为预设比例系数;k=1、2;z11、z12表示为机构内部标注工程师标注私有数据的数量的预设比例系数和标注错误总次数的系数;z21、z22表示为企业内部人员标注私有数据的数量的预设比例系数和标注错误总次数的系数;

ss3:依次由大到小设置第一阈值、第二阈值、第三阈值;当标注员的标注权限值大于或等于第一阈值,则将该标注员标记为第一标注员;当标注员的标注权限值小于第一阈值且大于或等于第二阈值,则将该标注员标记为第二标注员;当标注员的标注权限值小于第二阈值且大于或等于第三阈值,则将该标注员标记为第三标注员;当标注员的标注权限值小于第四阈值,则将该标注员标记为第四标注员。

7.根据权利要求1所述的用于企业的私有化部署数据处理方法,其特征在于,所述结果导出模块用于用户在线将该待标注任务的标注结果导出到本地,导出包括手工导出或通过openapi导出。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1