本发明属于数据识别以及行为控制领域,尤其涉及一种基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质。
背景技术:
现阶段的数据过滤主要使用的方法是关键字核对和人工审查,关键字核对是核对内容中有没有词语在违规关键字库中,而人工审查则是靠人工来判断违规内容。两种方法的缺点也非常明显,关键字核对不仅需要经常更新关键字库,而且误判率和漏判率也比较高;人工审核不仅受制于审核员的知识丰富度,而且效率也非常低。行为控制主要通过工业自动化的方法来控制机器做一些固定的动作,或者是通过传感器获取外界的信息后控制机器实现程序设定好的动作。
人工智能技术就是通过用人工的方法使机器具有与人类智慧有关的功能,如判断、推理、证明、思考、识别、设计、规划、问题求解等思维活动。随着人工智能技术的深入研究和开展,人工智能技术对人类的影响与日俱增,其用用领域也日益扩大,目前,人工智能技术已经用于机器翻译、医疗诊断、图像识别、语音识别、金融分析、无人驾驶等诸多技术领域,人工智能的应用在不断加深、不断成熟,甚至在某些领域已经超越人来。
将人工智能方法使用在内容过滤和动作控制,有着巨大的优势。由于人工智能具有自我学习能力,能解决关键字核对方法中经常要更新关键字库,误判和漏判的问题;还能解决人工审核标准不统一,审核员知识不足,效率低下的问题;也能在动作控制上按照人类的物权管理办法来控制机器对物体的使用。但本领域还没有一种基于人工智能技术的违规识别及机器行为控制方法。
技术实现要素:
本发明的目的在于克服现有技术之缺陷,提供了一种基于人工智能技术的违规识别及机器行为控制方法、设备、存储介质,其能自动识别不符合规定的数据等,效率高,且精确度高。
本发明是这样实现的:本发明提供一种基于人工智能技术的违规数据识别方法,包括如下步骤:
1)构建训练集;
2)构建用于识别违规数据的学习模型;
3)利用训练集中的训练样本训练学习模型,得到训练完成的学习模型;
4)使用训练完成的学习模型对输入的待识别数据进行计算识别,输出分类结果。
通过学习方法对训练集x中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
划分训练集x的属性,设定属性集d={d1,d2,d3},其中,d1、d2、d3为属性子集,
d1={d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,
d16,d17,d18}
={种族,年龄,学历,国籍,民族,性别,肤色,宗教,身高,体重,
服饰,疾病,视力,私车,住房,住址,职务,职业};
d2={d'1,d'2,d'3,d'4}={占有权,使用权,收益权,处分权};
d3={d″1,d″2,d″3,d″4}={角度,速度,力量,方向};
一个对象包含26个属性,只是有些属性是空的,例如3个对象如下:
一个人的对象:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},
一个物体的对象:{
一个动作的对象:{
设定x为输入,x={x1,x2,…,xm},xm代表第m个样本的输入,
xi=(xi1;xi2;…;xi|d|);|d|代表属性的个数,xi1代表第i个样本的第一个属性;y为输出,y={y1,y2,…,ym}={人身歧视、人身伤害、物体使用、物体拥有},ym代表第m个样本的输出,x1指的是第一个对象即第一个样本的输入,x2指的是第二个对象即第二个样本的输入,y1、y2...ym对应人身歧视、人身伤害、物体使用、物体拥有中的其中一个或几个;例如一个机器人发出种族歧视的话,并动手打人,那么输出值就是{人身歧视,人身伤害,
获取训练集为:x={(x1,y1),(x2,y2),……,(xm,ym)}。(x1,y1)为第一个样本。如x1是:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},
进一步地,学习模型使用线性模型实现,学习模型为:f(x)=wxi+b,使得
其中:w=(w1;w2;…;w|d|),|d|代表属性的个数;求系数w和b的解w*和b*,根据
使用最小二乘法对以上模型求解,得到:
进一步地,学习模型使用决策树模型实现,决策树模型包含一个根结点,若干个内部结点和若干个叶结点;叶结点对应决策结果,其他每个结点对应一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子节点中;根结点包含样本全集;整个决策树模型使用如下算法:
输入:训练集x,属性集d;
设定函数treegenerate(x,d);生成结点node;如果x中样本属于同一类别c,则将node标记为c类叶结点;如果d=φorx中样本在d上取值相同,则将node标记为叶结点,其类别标记为x中样本数最多的类;从d中选择最优划分属性a*;
当前样本集合x中第k类样本所占的比例为pk,其中k=(1,2,|y|),则x中的信息熵定义为:
假设离散属性a有v个可能的取值{a1,a2,……,av},若使用a来对样本集x进行划分,则会产生v个分支结点,其中第v个分支结点包含了x中所有在属性a上取值为av的样本,记为xv,根据
一般而言,信息增益越大,意味着使用属性a来进行划分所得的“纯度提升”越大,因此最优划分属性
进一步地,学习模型使用神经网络模型实现,按照bp算法建立一个拥有|d|个输入神经元,|y|个输出神经元,q个隐层神经元的多层前馈网络结构,其中输出层第j个神经元的阈值用θj表示,隐层第h个神经元的阈值用γh表示,输入层第i个神经元与隐层第h个神经元之间的连接权为vih,隐层第h个神经元与输出层第j个神经元之间的连接权为whj,隐层第h个神经元接收到的输入为
具体的过程采用以下算法:
输入:训练集
在(0,1)范围内随机初始化网络中所有连接权和阈值;
对于(xk,yk)∈x的每一个值,进行如下处理:
计算当前样本的输出集
计算输出层神经元的梯度项
计算隐层神经元的梯度项
更新连接权whj=ηgjbh,vih=ηehxi与阈值θj=-ηgj,γh=-ηeh;直到累计误差最小化
输出连接权与阈值确定的多层前馈神经网络。
本发明提供一种基于人工智能技术的机器行为控制方法,包括如下步骤:
1)获取待识别数据,将待识别数据的数据格式转换成用于识别违规数据的学习模型能够识别的数据格式;
2)将待识别数据输入到已经训练好的用于识别违规数据的学习模型中,使用已经训练好的学习模型对待识别数据进行识别,判断待识别数据是否符合预设的规定;
21)若待识别数据符合预设规定,则将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出,包括内容显示、动作执行等;
22)若待识别数据部分不符合预设规定,则过滤掉不符合预设规定的待识别数据,并进行提示,然后将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出,包括内容显示、动作执行等,使机器输出满足规定;
23)若待识别数据全部不符合预设规定,则过滤掉不符合预设规定的待识别数据,进行提示。
进一步地,待识别数据包括文字、图像、声音、视频、动作等。
本发明提供一种机器设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的机器行为控制方法。
本发明提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如上所述的机器行为控制方法。
与现有技术相比,本发明具有以下有益效果:本发明采用人工智能技术识别违规数据的方法能解决关键字核对方法中经常要更新关键字库,误判和漏判的问题,本发明算法是根据训练集中的数据自动更新,能够实现自我学习;还能解决人工审核标准不统一,审核员知识不足,效率低下的问题。且采用基于人工智能技术的机器行为控制方法也可以对包括对文字、图像、声音、视频、动作等内容进行内容过滤,过滤掉不符合要求的内容,进而指导、控制机器输出符合要求的文字、图像、声音、视频、动作。
附图说明
图1为本发明的基于人工智能技术的违规数据识别方法的流程图;
图2为本发明基于决策树模型的数据识别方法的示意图;
图3为本发明基于神经网络bp算法的数据识别方法示意图;
图4本发明基于人工智能技术的机器行为控制方法的流程图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
参见图1,本发明提供本发明提供一种基于人工智能技术的违规数据识别方法,包括如下步骤:
1)构建训练集;
2)构建用于识别违规数据的学习模型;
3)利用训练集中的训练样本训练学习模型,得到训练完成的学习模型;
4)使用训练完成的学习模型对输入的待识别数据进行计算识别,输出分类结果即可判断出数据是否违规。
通过学习方法对训练集x中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
实施例一
本实施例提供一种基于线性模型的数据识别方法,具体步骤包括:
划分训练集x的属性,设定属性集d={d1,d2,d3},其中,d1、d2、d3为属性子集,
d1={d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,
d16,d17,d18}
={种族,年龄,学历,国籍,民族,性别,肤色,宗教,身高,体重,
服饰,疾病,视力,私车,住房,住址,职务,职业};
d2={d'1,d'2,d'3,d'4}={占有权,使用权,收益权,处分权};
d3={d″1,d″2,d″3,d″4}={角度,速度,力量,方向};
一个对象包含26个属性,只是有些属性是空的,例如3个对象如下:
一个人的对象:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},
一个物体的对象:{
一个动作的对象:{
设定x为输入,x={x1,x2,…,xm},xm代表第m个样本的输入,xi=(xi1;xi2;…;xi|d|);|d|代表属性的个数,xi1代表第i个样本的第一个属性;y为输出,
获取训练集为:x={(x1,y1),(x2,y2),……,(xm,ym)}。(x1,y1)为第一个样本。
通过学习方法对训练集x中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
本实施例学习模型使用线性模型实现,学习模型为:f(x)=wxi+b,使得
其中:w=(w1;w2;…;w|d|);求w和b的解w*和b*,根据
使用最小二乘法对以上模型求解,得到:
使用模型输入待判别用例的输入空间的属性值,输出输出空间的值。
实施例二
参见图2,本实施例提供一种基于决策树模型的数据识别方法,具体步骤包括:
划分训练集x的属性,设定属性集d={d1,d2,d3},其中,d1、d2、d3为属性子集,
d1={d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,
d16,d17,d18}
={种族,年龄,学历,国籍,民族,性别,肤色,宗教,身高,体重,
服饰,疾病,视力,私车,住房,住址,职务,职业};
d2={d'1,d'2,d'3,d'4}={占有权,使用权,收益权,处分权};
d3={d″1,d″2,d″3,d″4}={角度,速度,力量,方向};
一个对象包含26个属性,只是有些属性是空的,例如3个对象如下:
一个人的对象:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},
一个物体的对象:{
一个动作的对象:{
设定x为输入,x={x1,x2,…,xm},xm代表第m个样本的输入,
xi=(xi1;xi2;…;xi|d|);|d|代表属性的个数,xi1代表第i个样本的第一个属性;y为输出,y={y1,y2,…,ym}={人身歧视、人身伤害、物体使用、物体拥有},ym代表第m个样本的输出,x1指的是第一个对象即第一个样本的输入,x2指的是第二个对象即第二个样本的输入,y1、y2...ym对应人身歧视、人身伤害、物体使用、物体拥有中的其中一个或几个;例如一个机器人发出种族歧视的话,并动手打人,那么输出值就是{人身歧视,人身伤害,
获取训练集为:x={(x1,y1),(x2,y2),……,(xm,ym)}。
通过学习方法对训练集x中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
本实施例的学习模型使用决策树模型实现,决策树模型包含一个根结点,若干个内部结点和若干个叶结点;叶结点对应决策结果,其他每个结点对应一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子节点中;根结点包含样本全集;整个决策树模型使用如下算法:
输入:训练集x,属性集d;
设定函数treegenerate(x,d);生成结点node;如果x中样本属于同一类别c,则将node标记为c类叶结点;如果d=φorx中样本在d上取值相同,则将node标记为叶结点,其类别标记为x中样本数最多的类;从d中选择最优划分属性a*;
当前样本集合x中第k类样本所占的比例为pk,其中k=(1,2,|y|),则x中的信息熵定义为:
假设离散属性a有v个可能的取值{a1,a2,……,av},若使用a来对样本集x进行划分,则会产生v个分支结点,其中第v个分支结点包含了x中所有在属性a上取值为av的样本,记为xv,根据
一般而言,信息增益越大,意味着使用属性a来进行划分所得的“纯度提升”越大,因此最优划分属性
使用模型输入待判别用例的输入空间的属性值,输出输出空间的值。
实施例三
参见图3,本实施例提供一种基于神经网络bp算法的数据识别方法,具体步骤包括:
划分训练集x的属性,设定属性集d={d1,d2,d3},其中,d1、d2、d3为属性子集,
d1={d1,d2,d3,d4,d5,d6,d7,d8,d9,d10,d11,d12,d13,d14,d15,
d16,d17,d18}
={种族,年龄,学历,国籍,民族,性别,肤色,宗教,身高,体重,
服饰,疾病,视力,私车,住房,住址,职务,职业};
d2={d'1,d'2,d'3,d'4}={占有权,使用权,收益权,处分权};
d3={d″1,d″2,d″3,d″4}={角度,速度,力量,方向};
一个对象包含26个属性,只是有些属性是空的,例如3个对象如下:
一个人的对象:{{东亚、18,大学,中国,汉族,男,黄色,无,180,120,正常,无,1.5,有,有,武汉,科长,公务员},
一个物体的对象:{
一个动作的对象:{
设定x为输入,x={x1,x2,…,xm},xm代表第m个样本的输入,xi=(xi1;xi2;…;xi|d|);|d|代表属性的个数,xi1代表第i个样本的第一个属性;y为输出,
获取训练集为:x={(x1,y1),(x2,y2),……,(xm,ym)}。
通过学习方法对训练集x中的训练样本行进训练,学得学习模型f:x→y,输入待行为判别内容,使用该学习模型计算得出相应的输出空间。
学习模型使用神经网络模型实现,按照bp算法建立一个拥有|d|个输入神经元,|y|个输出神经元,q个隐层神经元的多层前馈网络结构,其中输出层第j个神经元的阈值用θj表示,隐层第h个神经元的阈值用γh表示,输入层第i个神经元与隐层第h个神经元之间的连接权为vih,隐层第h个神经元与输出层第j个神经元之间的连接权为whj,隐层第h个神经元接收到的输入为
具体的过程采用以下算法:
输入:训练集
在(0,1)范围内随机初始化网络中所有连接权和阈值;
对于(xk,yk)∈x的每一个值,进行如下处理:
计算当前样本的输出集
计算输出层神经元的梯度项
计算隐层神经元的梯度项
更新whj=ηgjbh,vih=ηehxi,θj=-ηgj,γh=-ηeh;直到最小化
输出连接权与阈值确定的多层前馈神经网络。
使用模型输入待判别用例的输入空间的属性值,输出输出空间的值。
实施例四
参见图4,本发明提供一种基于人工智能技术的机器行为控制方法,包括如下步骤:
1)获取待识别数据(比如获取用户输入的数据),将待识别数据的数据格式转换成用于识别违规数据的学习模型能够识别的数据格式;例如现有的语音识别,图像识别技术,将声音、图像数据转换成文字或者降维后图像等。
2)将转换数据格式后的待识别数据输入到已经训练好的用于识别违规数据的学习模型中,使用已经训练好的学习模型对待识别数据进行识别,判断待识别数据是否符合预设的规定;
21)若待识别数据符合预设规定,则将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出,包括内容显示、动作执行等;
22)若待识别数据部分不符合预设规定,则过滤掉不符合预设规定的待识别数据,并进行提示,然后将合规的待识别数据的数据格式转换成对应机器能够识别的数据格式,并输出给对应机器,机器根据接收的数据执行相应输出,包括内容显示、动作执行等,使机器输出满足规定;
23)若待识别数据全部不符合预设规定,则过滤掉不符合预设规定的待识别数据,进行提示。
进一步地,待识别数据包括文字、图像、声音、视频、动作等。
实施例五
本发明提供一种机器设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如实施例四所述的机器行为控制方法。
实施例六
本发明提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如实施例四所述的机器行为控制方法。
本发明可以根据需要选择相应的算法实现学习模型,以上所述的几种算法仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。