本发明涉及数据传输领域，特别是涉及一种基于机器学习的视频上传方法、装置、设备及计算机可读存储介质。
背景技术
现代生活中，使用身份信息注册金融服务、进入股市、保险等业务已经是人们日常生活的一部分，这些服务在注册的过程中，会要求注册人录制一段小视频用以确认身份信息。
然而，由于目前的视频录制，上传功能都是基于浏览器页面应用，耦合了视频录制与上传功能，上传不可中断，也不会自动调节上传速度大小，致使在业务高峰时段，部门上行带宽紧张，视频的上传占用了大量的资源，严重影响其他业务的办理。
现有的解决方案是高峰时期人工限制视频上传速度，以保证有足够的上行带宽留给其他业务，使得其它业务能正常办理，此种办法需要占用较大人力，且存在滞后性，通常都是其他业务的办理已经开始出现问题了再去限速，因此效果并不好。另外由于视频的录制与上传是耦合的，也就是说，视频的录制与上传是同时进行的，使得高峰时段被限速后，虽然其他业务能正常办理，但正在录制视频的业务的办理速度却大大下降了。
技术实现要素：
本发明的目的是提供一种基于机器学习的视频上传方法、装置、设备及计算机可读存储介质，以解决目前带宽分配不合理，需要人工介入，效率低下，影响业务的正常办理的问题。
为解决上述技术问题，本发明提供一种基于机器学习的视频上传方法，包括：
获取历史流量信息数据；
调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过机器学习机制所建立的预测模型；
根据所述视频上行带宽分配数据，调整各上传客户端上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值。
可选的，所述获取历史流量信息数据包括：
获取历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据。
可选的，所述调整各上传客户端上传速度包括：
调整各上传客户端上传视频数据时的上传速度；所述视频数据是录制完成后存储在储存介质中的视频数据。。
可选的，录制视频数据后，对所述视频数据通过p2p协议进行多副本复制。
可选的，建立预测模型包括：
通过基于机器学习的线性回归算法和统计算法建立预测模型。
可选的，所述调整各上传客户端上传速度包括：
调整各上传客户端速度参数来调整上传速度。
本发明还提供了一种基于机器学习的视频上传装置，包括：
获取模块，用于获取历史流量信息数据；
学习模块，用于调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据；
模型建立模块，用于通过机器学习机制所建立的预测模型；
流量调度模块，用于根据所述视频上行带宽分配数据，调整各上传客户端上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值。
可选的，所述获取模块具体用于：
获取历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据。
本发明还提供了一种基于机器学习的视频上传设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一项所述的基于机器学习的视频上传方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于机器学习的视频上传方法的步骤。
本发明所提供的基于机器学习的视频上传方法、装置、设备及计算机可读存储介质，通过获取历史流量信息数据；调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过机器学习机制所建立的预测模型；根据所述视频上行带宽分配数据，调整各上传客户端上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值。本申请通过使用机器学习技术，实现对在不影响其他业务情况下能分配给视频上传用的带宽的最大值的预测，并且能自动调控视频上传速度，使上传速度接近预测的上行带宽最大值。
更进一步的，，本发明还将视频录制后先存入存储介质，之后再由上传客户端从存储介质中读取视频数据并上传，由此实现了视频录制与视频上传的解耦，即将视频的上传与复制分离开，可以先录制，一段时间后再上传，此举可直接缓和高峰时段的网络压力，将部分上传任务留到网络负载低的时候再继续，既提升了业务的办理效率，又进一步有效利用了空闲时的网络资源。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于机器学习的视频上传方法的具体实施方式1的流程图；
图2为本发明所提供的基于机器学习的视频上传方法的具体实施方式2的流程图；
图3为本发明所提供的基于机器学习的视频上传方法的具体实施方式3的流程图；
图4为本发明所提供的基于机器学习的视频上传方法的具体实施方式4的流程图；
图5为本发明所提供的基于机器学习的视频上传方法的具体实施方式5的流程图；
图6为本发明实施例所提供的基于机器学习的视频上传装置的结构框图。
具体实施方式
现代生活中常有录制个人身份信息视频注册金融服务、参加保险及报名考试的场景，对于上述的机构或部门，业务高峰时段的网络带宽紧张一直是困扰他们的难题。由于目前上述部门使用的视频上传客户端都是网页内控件，功能很少，视频的录制和上传耦合在一起，即其工作原理是一边录视频一边直接把视频数据上传，若上传受阻，则会反过来影响正常的视频录制，又因为在高峰期常常没有足够的带宽供给，导致高峰期视频上传不顺，常常影响业务的正常办理。除上述问题之外，由于现行系统不具备上传速度自动调控的功能，导致其只会一味占用上行带宽，在业务高峰期时，多个上传客户端同时争抢上行带宽，致使整个部门的上行带宽都被其占用，影响其他业务的正常办理，且现有解决方案仅为在卡顿或其它问题发生后，人工限制上行带宽，有一定的滞后性，并且此举虽然能保证其他业务正常办理，但解决不了视频上传受阻导致的正在录制视频的业务不能正常办理的问题。同时，虽然高峰期带宽捉襟见肘，但在空闲期，带宽又被闲置，造成了资源的浪费，得不到有效利用。
为解决上述问题，本发明提供一种基于机器学习的视频上传方法，具体实施方式如下。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的核心是提供一种基于机器学习的视频上传方法,其具体实施方式1的流程图如图1所示，包括：
步骤s101：获取历史流量信息数据；
上述的历史流量数据信息来源可有多个，如档案中心、适应性管理服务器、部门共享存储介质服务器等。
上述的历史流量数据具体类型可有多种，如部门历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据等，当然，不是上述数据类型，只要能满足可反映一段时间内部门上行带宽压力变化即可。
上述历史流量数据可以覆盖一定时间周期，如一周内的数据、一个月内的数据或一个季度的数据，具体可根据实际需要作调整，比如银行或保险公司，业务压力以周为单位变动，即可选择一周内的数据。
步骤s102：调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过机器学习机制所建立的预测模型；
需要注意的是此处通过计算得出的上行带宽分配数据是将来一段时间分配给视频上传的上行带宽数据。
上述上行带宽的计算可以是实时的，也可以是一次性的，举例说明，系统可以一边接收当前部门上行带宽负载压力数据，一边结合历史流量信息数据计算接下来五分钟内的视频上行带宽分配数据；也可以结合历史流量信息数据一次性计算出接下来一天的视频上行带宽分配数据。
需要注意的是，上述通过机器学习建立预测模型的过程，同样需要历史流量数据，但需要特别指出，此处的历史流量数据与步骤s101中的历史流量数据并不相同，为与之区别，称机器学习时所用的历史流量数据为历史流量资料，上述历史流量资料的时间跨度和数据量要远远大于上述历史流量数据。历史流量资料与历史流量数据可以部分重合，也可以完全不重合，视实际情况而定。
简述上述预测模型的建立过程，
利用历史流量资料训练系统，具体为将大量历史流量资料输入机器学习系统，系统反复通过预设的公式计算，预测上行带宽分配数据，再与真实历史上行带宽分配数据进行对比，不断缩小与真实历史上行带宽分配数据的差距，直到预测结果与真实历史上行带宽分配数据的差值小于预设阈值。
除此之外，在预测模型投入部门使用一段时间后，可利用该时间段内的流量数据进一步对该预测模型进行训练，提升其准确度。
上述投入使用后的再次训练周期可为一周或一天或实时的。
步骤s103：根据所述视频上行带宽分配数据，调整各上传客户端上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值。
需要指出的是，阈值应尽可能小，因为此处应当使视频实际上传速度尽可能接近上述视频带宽分配数据，才能做到网络带宽资源的充分利用。
进一步需要指出的是，本步骤中，上传动作的执行者是上传客户端，上述上传客户端与现有技术中的内嵌在网页中的控件不同，为一独立程序，脱离了网页框架后，本上传客户端可以实现视频录制过程中的暂停，解决了现有技术中录制不可暂停的问题，使系统使用更方便，也可应对突发状况。
更进一步需要指出的是，本步骤中视频实际上传速度与所述视频上行带宽分配数据的差值指上述两数之差的绝对值，在实际操作中，由于网络波动等种种原因，不可能始终保持视频实际上传速度小于为其分配的视频上行带宽，同时，视频实际上传速度在合理范围内的波动不会影响本范明的效果。
本实施例所提供的基于机器学习的视频上传方法，通过获取历史流量信息数据；调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过机器学习机制所建立的预测模型；根据所述视频上行带宽分配数据，调整各上传客户端上传速度速度参数，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值。本实施例中，采用了机器学习技术，实现对在不影响其他业务情况下能分配给视频上传用的带宽的最大值的预测，并且能自动调控视频上传速度，使上传速度接近预测的上行带宽最大值，解决了现有技术中必须人工手动限速的问题，保证了部门在高峰时期各个业务的正常办理，同时由于系统设置的是后续的视频上行带宽，可以在业务高峰到来前限制高峰时上传速度，也解决了现有解决方案中人工介入的滞后性。除此之外，由于将录制视频的功能从网页控件转移到了单独的客户端程序上，增加了视频录制与上传的稳定性。
图2所示的是本发明基于机器学习的视频上传方法的另一种实施例，记为具体实施方式2，包括：
步骤s201：获取历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据；
步骤s202：调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过机器学习机制所建立的预测模型；
步骤s203：根据所述视频上行带宽分配数据，调整各上传客户端上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值。
具体实施方式2与具体实施方式1的不同之处在于，限定了历史流量数据为历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据。此三者为分析部门上行带宽较直接的数据，视频的上传速度由部门本地的上传速度，及档案中心的下行速度综合决定，因此有了历史上行带宽数据和档案中心历史下行带宽数据即可得知视频上传最大速度的变化规律；而视频档案流水日志则包括了业务视频办理的分布情况，即能得知何时视频上传需求高，何时视频上传需求低。当然，不仅限于上述三种数据类型，其他能反映与上述数据类型相似结论的数据类型均可。
本实施例中，使用历史流量数据为历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据，能更直接地获得部门历史带宽使用情况，减清了网络系统的计算负担。
图3所示的是本发明基于机器学习的视频上传方法的又一种实施例，记为具体实施方式3，包括：
步骤s301：获取历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据；
步骤s302：调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过机器学习机制所建立的预测模型；
步骤s303：根据所述视频上行带宽分配数据，调整各上传客户端上传视频数据时的上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值；所述视频数据是录制完成后存储在储存介质中的视频数据。
本实施例为具体实施方式2的改进，相比具体实施方式2，将客户端录制得到的视频先行放置在存储介质中，再由存储介质中上传至档案中心，此举将视频的录制和上传解耦，即当上行带宽资源紧张时，视频可以先录制，再保存至存储介质中，待上行带宽有余量时再从存储介质中上传，甚至能在部门工作时间之外继续自动上传，实现24小时上传，进一步利用本门网络资源。本实施例既缓解了业务高峰时的网络压力，又充分利用了空闲时的网络资源。
更进一步的，本实施例中，除了将将客户端录制得到的视频先行放置在存储介质中，还通过p2p协议对上述视频数据进行多副本复制。
在现有技术中，并无对视频数据进行备份的步骤，若管理人员误操作，或者业务电脑硬盘受损，则会导致视频文件丢失或损坏，造成巨大财产损失，而利用本实施例中的p2p对视频进行多副本备份的步骤，便可保证视频文件的完整性，提升整个业务流程的稳定性。
图4所示的是本发明基于机器学习的视频上传方法的其它一种实施例，记为具体实施方式4，包括：
步骤s401：获取历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据；
步骤s402：调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过基于机器学习的线性回归算法和统计算法建立预测模型；
步骤s403：根据所述视频上行带宽分配数据，调整各上传客户端上传视频数据时的上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值；所述视频数据是录制完成后存储在储存介质中的视频数据。
简单介绍一下机器学习中的线性回归算法和统计算法，
线性回归是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合(自变量都是一次方)。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。
统计算法是一类分类模型的统称，具体分为相似度模型、概率模型、线性模型、非线性模型和组合模型几大类。
本实施例为具体实施方式3的改进，将建立预测模型的方法限定为通过基于机器学习的线性回归算法和统计算法建立预测模型。使用线性回归算法和统计算法的优势在于基于上述历史流量资料的数量，预测的准确度会大幅提升，且上述两种算法结果易于理解，计算不复杂，可减轻系统负担。
图5所示的是本发明基于机器学习的视频上传方法的另外一种实施例，记为具体实施方式5，包括：
步骤s501：获取历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据；
步骤s502：调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过基于机器学习的线性回归算法和统计算法建立预测模型；
步骤s503：根据所述视频上行带宽分配数据，调整各上传客户端上传视频数据时的上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值；所述视频数据是录制完成后存储在储存介质中的视频数据。
本实施例为具体实施方式4的改进，在具体实施方式4的基础上，通过调节各个上传客户端的速度参数实现调节各个上传客户端上传速度。其优势在于，通过历史数据分析可知，上传客户端实际上传速度与设置的速度参数有线性关系，因此，通过调控上传客户端速度参数可直接调控上传客户端上传速度，且由于部门上传速度为各个上传客户端上传速度之和，则部门上传速度也与各个上传客户端上传速度有线性关系，又因为上传客户端实际上传速度与设置的速度参数的关系为线性关系，简单易于计算，因此采用通过调节各个上传客户端的速度参数调节各个上传客户端上传速度进而调节部门视频上传速度的方式，减少了计算量，减轻了系统负担。
本发明所提供的基于机器学习的视频上传装置，通过获取历史流量信息数据；调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过机器学习机制所建立的预测模型；根据所述视频上行带宽分配数据，调整各上传客户端上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值。本申请通过使用机器学习技术，实现对在不影响其他业务情况下能分配给视频上传用的带宽的最大值的预测，并且能自动调控视频上传速度，使上传速度接近预测的上行带宽最大值，另外，本发明还将视频的录制与上传解耦，即将视频的上传与复制分离开，可以先录制，一段时间后再上传，此举可直接缓和高峰时段的网络压力，将部分上传任务留到网络负载低的时候再继续，既提升了业务的办理效率，又进一步有效利用了空闲时的网络资源。
下面对本发明实施例提供的基于机器学习的视频上传装置进行介绍，下文描述的基于机器学习的视频上传装置与上文描述的基于机器学习的视频上传方法可相互对应参照。
图6为本发明实施例提供的基于机器学习的视频上传装置的结构框图，参照图6基于机器学习的视频上传装置可以包括：
获取模块100：用于获取历史流量信息数据；
学习模块200，用于调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据；
模型建立模块300，用于通过机器学习机制所建立的预测模型；
流量调度模块400，用于根据所述视频上行带宽分配数据，调整各上传客户端上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值
作为一种具体实施方式，本发明所提供的基于机器学习的视频上传装置中，上述获取模块具体用于：
获取历史上行带宽数据、视频档案流水日志及档案中心历史下行带宽数据。
作为一种具体实施方式，本发明所提供的基于机器学习的视频上传装置中，上述流量调度模块具体用于：
调整各上传客户端上传视频数据时的上传速度；所述视频数据是录制完成后存储在储存介质中的视频数据。
作为一种具体实施方式，本发明所提供的基于机器学习的视频上传装置中，还包括p2p复制模块，用于：
录制视频数据后，对所述视频数据通过p2p协议进行多副本复制。
作为一种具体实施方式，本发明所提供的基于机器学习的视频上传装置中，上述模型建立模块具体用于：
通过基于机器学习的线性回归算法和统计算法建立预测模型。
作为一种具体实施方式，本发明所提供的基于机器学习的视频上传装置中，上述流量调度模块具体用于：
调整各上传客户端速度参数来调整上传速度。
本实施例的基于机器学习的视频上传装置用于实现前述的基于机器学习的视频上传方法，因此基于机器学习的视频上传装置中的具体实施方式可见前文中的基于机器学习的视频上传方法的实施例部分，例如，获取模块100用于实现上述基于机器学习的视频上传方法中步骤s101，学习模块200用于实现方法中的步骤s102，模型建立模块300用于方法中预测模型的建立，流量调度模块400用于实现方法中的步骤s103，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明所提供的基于机器学习的视频上传装置，通过获取历史流量信息数据；调用预先建立的预测模型，根据所述历史流量信息数据计算出视频上行带宽分配数据，所述预测模型为通过机器学习机制所建立的预测模型；根据所述视频上行带宽分配数据，调整各上传客户端上传速度，使视频实际上传速度与所述视频上行带宽分配数据的差值小于预设的阈值。本装置通过使用机器学习技术，利用学习模块预测上行带宽占用情况，再通过流量调度模块调节个各上传客户端的上传速度，实现对在不影响其他业务情况下能分配给视频上传用的带宽的最大值的预测，并且能自动调控视频上传速度，使上传速度接近预测的上行带宽最大值，另外，本发明将视频的录制与上传解耦，更进一步利用存储介质存储和p2p服务器进行数据存储，可使视频将数据的上传避开网络附在高峰期，进一步有效率用了网络资源。
本发明还提供了一种系统，所述系统内各组成部分可分工协作执行上述任一实施例中所介绍的基于机器学习的视频上传方法。其与内容可参照现有技术，在此不再进行展开描述。
本发明另外提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一发明实施例中所介绍的基于机器学习的视频上传方法。其余内容可以参照现有技术，在此不再进行展开描述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、存储介质、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于机器学习的视频上传方法、装置、系统及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。