一种基于硬件资源消耗的机器学习方法及装置制造方法
【专利摘要】本发明实施例提供一种基于硬件资源消耗的机器学习方法及装置，用以解决通过机器学习方法学习数学模型时，学习的数学模型不精确问题。该方法根据在学习该原数学模型的过程中的机器的硬件资源消耗量确定的硬件资源消耗量函数，硬件资源消耗量包括：机器的CPU的消耗量、机器的内存消耗量、机器的网络IO消耗量以及机器的磁盘消耗量中的一种或几种，确定目标数学模型，从而确定目标数学模型中的相应参数。本发明实施例考虑了在学习原数学模型的过程中的机器的硬件资源消耗量，将该硬件资源消耗量函数和原数学模型的参数作为一个整体来综合学习，提高学习到的数学模型的精确度，并且可在数学模型的学习过程中节省大量的硬件资源。
【专利说明】—种基于硬件资源消耗的机器学习方法及装置
【技术领域】
[0001]本发明涉及计算机【技术领域】，尤其涉及一种基于硬件资源消耗的机器学习方法及 装置。
【背景技术】
[0002]机器学习方法可以广泛的应用在网络资源的排序、推荐和对推荐的产品的预测上，机器学习得到的相应的数学模型可以应用在互联网中，用于向用户提供各种服务。
[0003]机器学习确定数学模型的过程中使用的数据量非常的大，基于这些数据在进行模拟拟合计算时，复杂度非常的高，对资源的消耗非常的大。而现有技术在通过机器学习确定数学模型时，只考虑数学模型带来的效果，例如线上的收益效果等，从来没有考虑过数学模型学习的过程中带来的资源消耗，很可能在通过机器学习数学模型的过程中浪费了大量的资源，但学习到的数学模型应用到具体的业务中后带来的效果非常的不理想。而且数学模型应用到具体场景的过程中实际上也会存在资源消耗，但现有技术在整个的数学模型的学习过程中并没有考虑这部分资源消耗的因素，因此很可能最后通过机器学习到的数学模型不够精确，影响最终上线后的效果。
【发明内容】
[0004]本发明实施例提供一种基于硬件资源消耗的机器学习方法及装置，用以解决现有技术在通过机器学习方法学习数学模型时，学习的数学模型不够精确的问题。
[0005]本发明实施例提供了一种基于硬件资源消耗的机器学习方法，所述方法包括:
[0006]根据机器学习方法，确定待学习的原数学模型；
[0007]根据学习该原数学模型的过程中机器的硬件资源消耗量，确定硬件资源消耗量函数，其中所述硬件资源消耗量包括:机器的CPU的消耗量、机器的内存消耗量、机器的网络IO消耗量以及机器的磁盘消耗量中的一种或几种；
[0008]根据确定的原数学模型及硬件资源消耗量函数，确定目标数学模型；
[0009]根据机器学习的方法，确定所述目标数学模型中的相应参数。
[0010]较佳地，为了更加精确的确定数学模型，当所述机器的硬件资源消耗量包括机器的CPU的消耗量、机器的内存消耗量、机器的网络IO消耗量以及机器的磁盘消耗量时，所述确定硬件资源消耗量函数包括:
[0011]根据学习该原数学模型的该机器CPU的核数，确定CPU的第一消耗量；
[0012]根据机器学习该原数学模型对CPU的占用率，确定CUP的第二消耗量；
[0013]根据机器学习该原数学模型对内存的占用，确定内存消耗量；
[0014]根据机器学习该原数学模型对网络IO占用，确定网络IO消耗量；
[0015]根据机器学习该原数学模型对磁盘的占用，确定磁盘消耗量；
[0016]根据确定的CPU的第一消耗量和CUP的第二消耗量的积，确定CPU消耗量；
[0017]根据学习该原数学模型的时间，及确定的CPU消耗量、内存消耗量、网络IO消耗量、磁盘消耗量和设置的每个消耗量对应的权值，确定学习原数学模型的过程中的硬件资源消耗量函数，其中每个消耗量对应的权值大于等于零。
[0018]较佳地，为了更加精确的确定数学模型，所述确定硬件资源消耗量函数包括:
[0019]按照设定的时间间隔，采集机器学习该原数学模型时对CPU的占用率，将采集到的当前CPU的占用率，确定为该时间间隔内CUP的第二消耗量；
[0020]按照设定的时间间隔，采集机器学习该原数学模型时对内存的占用，将采集到的当前对内存的占用，确定为该时间间隔内内存消耗量；
[0021]按照设定的时间间隔，采集机器学习该原数学模型时对网络IO的占用，将采集到的当前对网络IO的占用，确定为该时间间隔内网络IO消耗量；
[0022]按照设定的时间间隔，采集机器学习该原数学模型时对磁盘的占用，将采集到的当前对磁盘的占用，确定为该时间间隔内对的磁盘消耗量；
[0023]根据确定的每个时间间隔，及每个时间间隔内CPU消耗量内存消耗量、网络IO消耗量、磁盘消耗量和设置的每个消耗量对应的权值，确定学习原数学模型的过程中的硬件资源消耗量函数，其中每个消耗量对应的权值大于等于零。
[0024]较佳地，为了更加精确的确定数学模型，所述根据机器学习的方法，确定所述目标数学模型中的相应参数包括:
[0025]确定机器对该目标数学模型学习的过程中，该目标数学模型的最小值；
[0026]将该目标数学模型的最小值时，该目标数学模型的参数的值，确定学习到该目标数学模型的参数的值。
[0027]较佳地，为了更加精确的确定数学模型，所述基于保存的广告的历史展现点击信息，确定待学习的确定广告点击率的原数学模型包括:
[0028]基于保存的广告的历史展现点击信息，确定待学习的广告点击率的原数学模型
【权利要求】
1.一种基于硬件资源消耗的机器学习方法，其特征在于，所述方法包括: 根据机器学习方法，基于网络资源确定待学习的原数学模型； 根据学习该原数学模型的过程中机器的硬件资源消耗量，确定硬件资源消耗量函数，其中所述硬件资源消耗量包括:机器的CPU的消耗量、机器的内存消耗量、机器的网络IO消耗量以及机器的磁盘消耗量中的一种或几种； 根据确定的原数学模型及硬件资源消耗量函数，确定目标数学模型； 根据机器学习的方法，确定所述目标数学模型中的相应参数； 根据确定的所述相应参数，采用所述原数学模型应用在所述网络资源中。
2.如权利要求1所述的方法，其特征在于，当所述机器的硬件资源消耗量包括机器的CPU的消耗量、机器的内存消耗量、机器的网络IO消耗量以及机器的磁盘消耗量时，所述确定硬件资源消耗量函数包括: 根据学习该原数学模型的该机器CPU的核数，确定CPU的第一消耗量； 根据机器学习该原数学模型对CPU的占用率，确定CUP的第二消耗量； 根据机器学习该原数学模型对内存的占用，确定内存消耗量； 根据机器学习该原数学模型对网络IO占用，确定网络IO消耗量； 根据机器学习该原数学模型对磁盘的占用，确定磁盘消耗量； 根据确定的CPU的第一消耗量和CUP的第二消耗量的积，确定CPU消耗量； 根据学习该原数学模型的时间，`及确定的CPU消耗量、内存消耗量、网络IO消耗量、磁盘消耗量和设置的每个消耗量对应的权值，确定学习原数学模型的过程中的硬件资源消耗量函数，其中每个消耗量对应的权值大于等于零。
3.如权利要求2所述的方法，其特征在于，所述确定硬件资源消耗量函数包括: 按照设定的时间间隔，采集机器学习该原数学模型时对CPU的占用率，将采集到的当前CPU的占用率，确定为该时间间隔内CUP的第二消耗量； 按照设定的时间间隔，采集机器学习该原数学模型时对内存的占用，将采集到的当前对内存的占用，确定为该时间间隔内内存消耗量； 按照设定的时间间隔，采集机器学习该原数学模型时对网络IO的占用，将采集到的当前对网络IO的占用，确定为该时间间隔内网络IO消耗量； 按照设定的时间间隔，采集机器学习该原数学模型时对磁盘的占用，将采集到的当前对磁盘的占用，确定为该时间间隔内对的磁盘消耗量； 根据确定的每个时间间隔，及每个时间间隔内CPU消耗量内存消耗量、网络IO消耗量、磁盘消耗量和设置的每个消耗量对应的权值，确定学习原数学模型的过程中的硬件资源消耗量函数，其中每个消耗量对应的权值大于等于零。
4.如权利要求1所述的方法，其特征在于，所述根据机器学习的方法，确定所述目标数学模型中的相应参数包括: 确定机器对该目标数学模型学习的过程中，该目标数学模型的最小值； 将该目标数学模型的最小值时，该目标数学模型的参数的值，确定学习到该目标数学模型的参数的值。
5.如权利要求1所述的方法，其特征在于，所述基于网络资源确定待学习的原数学模型包括:基于网页中包含的信息，确定待学习的确定每个网页权重的原数学模型；或 基于数据库中记录的每个用户的操作行为，确定待学习的推荐系统的原数学模型；或 基于搜索到的语音信息，确定待学习的语音识别方法的原数学模型；或 基于搜索到的文本信息，确定待学习的文本分析方法的原数学模型；或 基于保存的每个用户的朋友圈的信息，确定待学习的确定用户社交网络的原数学模 型；或 基于保存的广告的历史展现点击信息，确定待学习的确定广告点击率的原数学模型。
6.如权利要求5所述的方法，其特征在于，所述基于保存的广告的历史展现点击信息，确定待学习的确定广告点击率的原数学模型包括: 基于保存的广告的历史展现点击信息，确定待学习的广告点击率的原数学模型
7.一种基于硬件资源消耗的机器学习装置，其特征在于，所述装置包括: 第一模型建立模块，用于根据机器学习方法，基于网络资源确定待学习的原数学模型； 第二模型建立模块，用于根据学习该原数学模型的过程中机器的硬件资源消耗量，确定硬件资源消耗量函数，其中所述硬件资源消耗量包括:机器的CPU的消耗量、机器的内存消耗量、机器的网络IO消耗量以及机器的磁盘消耗量中的一种或几种；根据确定的原数学模型及硬件资源消耗量函数，确定目标数学模型； 学习确定模块，用于根据机器学习的方法，确定所述目标数学模型中的相应参数，根据确定的所述相应参数，采用所述原数学模型应用在所述网络资源中。
8.如权利要求7所述的装置，其特征在于，所述第二模型建立模块，具体用于当所述硬件资源消耗量函数中包括CPU的消耗量、内存消耗量、网络IO消耗量以及磁盘消耗量时，根据学习该原数学模型的该机器CPU的核数，确定CPU的第一消耗量；根据机器学习该原数学模型对CPU的占用率，确定CUP的第二消耗量；根据机器学习该原数学模型对内存的占用，确定内存消耗量；根据机器学习该原数学模型对网络IO占用，确定网络IO消耗量；根据机器学习该原数学模型对磁盘的占用，确定磁盘消耗量；根据确定的CPU的第一消耗量和CUP的第二消耗量的积，确定CPU消耗量；根据学习该原数学模型的时间，及确定的CPU消耗量、内存消耗量、网络IO消耗量、磁盘消耗量和设置的每个消耗量对应的权值，确定学习原数学模型的过程中的硬件资源消耗量函数，其中每个消耗量对应的权值大于等于零。
9.如权利要求8所述的装置，其特征在于，所述第二模型建立模块，具体用于按照设定的时间间隔，采集机器学习该原数学模型时对CPU的占用率，将采集到的当前CPU的占用率，确定为该时间间隔内CUP的第二消耗量；按照设定的时间间隔，采集机器学习该原数学模型时对内存的占用，将采集到的当前对内存的占用，确定为该时间间隔内内存消耗量；按照设定的时间间隔，采集机器学习该原数学模型时对网络IO的占用，将采集到的当前对网络IO的占用，确定为该时间间隔内网络IO消耗量；按照设定的时间间隔，采集机器学习该原数学模型时对磁盘的占用，将采集到的当前对磁盘的占用，确定为该时间间隔内对的磁盘消耗量；根据确定的每个时间间隔，及每个时间间隔内CPU消耗量内存消耗量、网络IO消耗量、磁盘消耗量和设置的每个消耗量对应的权值，确定学习原数学模型的过程中的硬件资源消耗量函数，其中每个消耗量对应的权值大于等于零。
10.如权利要求7所述的装置，其特征在于，所述学习模块，具体用于确定机器对该目标数学模型学习的过程中，该目标数学模型的最小值；将该目标数学模型的最小值时，该目标数学模型的参数的值， 确定学习到该目标数学模型的参数的值。
【文档编号】G06F15/18GK103617146SQ201310659387
【公开日】2014年3月5日 申请日期:2013年12月6日 优先权日:2013年12月6日
【发明者】白明 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司