云边协同的自感知资源分配方法和装置与流程

1.本发明涉及物联网、云计算技术领域，具体涉及一种云边系统的自感知资源分配方法和装置。


背景技术：

2.近些年，各行业应用向着规模化发展，物联网和云计算的需求日益增加，云服务市场多数厂商不具备物联网网络运营能力，而具备物联网网络运营能力的厂商大多云服务能力较弱，以往相对独立的物联网和云计算的运营模式在技术上和方法上都难以满足综合场景的需求。例如工业互联网、视频监控等同时对物联网和云计算资源有需求的场景，设备终端数量大，用户层级多，云存储等资源利用零散，物联网、云计算资源难以实现合理分配，需要用户重复对接多套资源体系，非常麻烦。比如，在视频监控这一场景中，需要按照不同的监控业务需求，分别定制开发业务管理平台，并且需要通过人工为每个用户点位或者摄像头关联物联网流量、购买存储资源、设定存储策略，难以去业务化自动进行物联网、云计算资源的合理分配和管控，并且存在资源利用的浪费。另外，管控过程中需要懂业务、懂云计算、懂物联网的技术人员在各个业务管理平台操作，消耗大量的人力成本和学习成本。


技术实现要素：

3.本发明提供了一种云边协同的自感知资源分配方法和装置，在物联网和云计算资源对外供给、融合运营方面，帮助用户在不侵入实际业务的基础上，为多样化的物联网设备灵活、安全、合理的分配物联网、云计算资源，实现对设备的云存储、云算力、物联网流量等可细化分解的资源的自感知分配与调度。
4.为达此目的，本发明采用以下技术方案：
5.提供一种云边协同的自感知资源分配方法，包括步骤：
6.s1，边缘端接收中心云端各类平台定期下发的基础记录并覆盖更新后存储，同时保存设备端的设备活动记录；
7.s2，所述边缘端对当前接入的各所述设备端发起的数据上报请求的请求头进行头增强处理后转发给所述中心云端；
8.s3，所述中心云端对接收到的所述请求头中的加密数据进行解密后，进行云资源预分配规则计算；
9.s4，所述中心云端根据对每个所述设备端计算的云资源预分配规则进行资源调度、分配。
10.作为优选，保存在所述边缘端的第一记录模块的所述基础记录包括用户唯一id、设备类型、设备唯一标识号、物联网卡唯一识别号、设备初始资源分配级别中的任意一种或多种。
11.作为优选，保存在所述边缘端的第一记录模块的所述设备活动记录包括设备数据上报日志、设备控制指令接收日志、设备上线下线记录日志、设备占用服务器资源情况记
录、设备资源实际使用占分配大小比例中的任意一种或多种。
12.作为优选，步骤s2中，所述边缘端的第二处理模块对所述请求头进行头增强处理的方法步骤包括：
13.s21，按照预设的固定间隔周期m从所述第一记录模块中获取发起数据上报请求的全部所述设备端的所述基础记录，并按照固定间隔周期n从所述第一记录模块中获取发起数据上报请求的全部所述设备端的所述设备活动记录；
14.s22，根据获取到的各所述设备端的所述基础记录和所述设备活动记录，对每个所述设备端进行指标值计算；
15.s23，提取每类指标的指标值最大值maxi、最小值mini；
16.s24，对每个所述设备端的每个指标值作归一化处理，得到每个指标值对应的指标相对值gi；
17.s25，根据各指标对应的所述指标相对值gi和对应的预设权重ωi，计算待计算特征值的所述设备端的活跃度q：
18.s26，对接入所述边缘端的每个所述设备端对应的所述活跃度q作逻辑回归运算；
19.s27，将所述边缘端的第一处理模块加密的密文插入到所述请求头中。
20.作为优选，n＝2m小时。
21.作为优选，步骤s22中，待计算的所述指标值包括设备过去n小时的上传字节数x1、设备接收到的控制指令次数x2、设备过去n小时的在线时长x3、设备请求占用边缘服务器cpu的比重x4、设备请求占用边缘服务器内存的比重x5、设备请求占用边缘服务器带宽的比重x6、设备请求占用边缘服务器存储的比重x7、设备初始资源分配级别x8、设备过去n小时资源实际使用占分配大小比例x9中的任意一种或多种。
22.作为优选，步骤s24中，所述指标相对值gi的计算方法通过以下公式(1)表达：
[0023][0024]
公式(1)中，xi表示第i个指标的指标值；
[0025]gi
表示xi对应的指标相对值；
[0026]
所述活跃度通过以下公式(2)计算而得：
[0027][0028]
公式(2)中，k表示指标数量；
[0029]
步骤s26中的逻辑回归运算通过以下公式(3)表达：
[0030][0031]
公式(3)中，μ表示各所述设备端对应的所述活跃度的均值；
[0032]
γ表示各所述设备端对应的所述活跃度的标准差；
[0033]
表示逻辑回归函数。
[0034]
作为优选，步骤s27中，所述边缘端的所述第一处理模块的数据加密对象包括设备唯一标识号、物联网卡唯一识别号、资源套餐等级、设备类型和所述边缘端接收到所述设备
端数据上报请求的时间戳中的任意一种或多种。
[0035]
作为优选，步骤s3中，所述中心云端进行云资源预分配规则计算的方法包括步骤：
[0036]
s31，所述中心云端中的第三处理模块接收到所述边缘端的第二处理模块转发的数据上报请求后，暂存请求体数据，并从请求头中获取密文；
[0037]
s32，所述中心云端中的第一处理模块对所述密文进行解密，得到所述密文中携带的设备唯一标识号、物联网卡唯一识别号、资源套餐等级、设备类型和所述边缘端接收到设备端上报数据请求的时间戳；
[0038]
s33，所述中心云端的所述第三处理模块获取解密得到的所述物联网卡唯一识别号对应的物联网卡绑定的用户信息和所需资源类型，所述第三处理模块对每种资源类型预置有不同等级的资源套餐；
[0039]
s34，所述中心云端的所述第三处理模块遍历设备所需的每种资源类型，并匹配出每种资源类型相对应的所述资源套餐；
[0040]
s35，根据预先绑定的资源套餐与云资源预分配规则的关系，进一步匹配出所匹配的每种资源套餐对应的所述云资源预分配规则。
[0041]
10.根据权利要求9所述的云边协同的自感知资源分配方法，其特征在于，步骤s32中，所述中心云端在对所述密文进行解密的同时对解密结果进行验证，验证方法包括步骤：
[0042]
s321,判断解密得到的所述设备唯一标识号和所述物联网卡唯一识别号是否属于同个设备，
[0043]
若是，则判定验证成功并转入步骤s322；
[0044]
若否，则判定验证失败，并终止对对应设备的资源分配；
[0045]
s322，判断是否t
0-t
device
＜0∪t
0-t
device
＞5000毫秒，t0表示当前时间戳，t
device
表示解密得到的所述时间戳；
[0046]
若否，则判定验证成功；
[0047]
若是，则判定验证失败，并终止对对应设备的资源分配。
[0048]
本发明还提供了一种云边协同的自感知资源分配装置，可实现所述的自感知资源分配方法，包括边缘端和中心云端，
[0049]
所述边缘端，用于接收所述中心云端各类平台定期下发的基础记录并覆盖更新后存储，同时保存设备端的设备活动记录，并用对当前接入的各所述设备端发起的数据上报请求的请求头进行头增强处理后转发给所述中心云端；
[0050]
所述中心云端，用于对接收到的所述请求头中的加密数据进行解密后，进行云资源预分配规则计算，并用于根据对每个所述设备端计算的云资源预分配规则进行资源调度、分配。
[0051]
本发明以插件化的设计思路，通过云边协同的方式，从云端将用户、设备、物联网卡关联下发至边缘端，提出了一种头增强计算方法和处理模式，以最小的代价实现设备数据传输所需速率、存储资源、计算资源的自感知分配，实现了云(云计算)、物(物联网)资源的统一运营，按需自动调度，用户无需关注物、云资源对接方式，无需了解业务所需物、云资源需求用量如何评估，资源按需自动分配。本发明对促进物、云资源精细化管控，提高资源利用率，降低用户成本，深化云计算综合应用场景有着重要意义，并在此基础上实现了设备和资源的一体化运营服务。
附图说明
[0052]
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0053]
图1是本发明实施例提供的云边协同的自感知资源分配方法的实现步骤图；
[0054]
图2是本发明实施例提供的云边系统的自感知资源分配装置分配资源的示意图。
具体实施方式
[0055]
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
[0056]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0057]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0058]
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0059]
本发明实施例提供的云边系统的自感知资源分配方法，如图1和图2所示，包括如下步骤：
[0060]
s1，边缘端第一记录模块通过标准数据接口接收中心云端各类平台定期下发的基础记录，基础记录包括：用户唯一id、设备类型、设备唯一标识号、物联网卡唯一识别号、设备初始资源分配级别(级别数字大表示分配资源量多，优先级高)，收集到数据后覆盖更新存储到边缘端；
[0061]
边缘端的第一记录模块还同时保存设备端的设备活动记录，包括设备数据上报日志、设备控制指令接收日志、设备上线下线记录日志、设备占用服务器资源情况记录、设备资源实际使用占分配大小比例，设备活动记录的保存固定周期设定为n个月，边缘端将超过存储周期的日志数据删除；
[0062]
设备数据上报由设备端发起，经边缘端转至中心云端，在边缘端做日志记录；
[0063]
设备控制指令接收由中心云端发起，经边缘端转发至对应设备，在边缘端做日志记录；
[0064]
设备上线、下线记录由设备端上报，记录在边缘端，如有订阅，推送至中心云端；
[0065]
设备占用服务器资源情况记录了设备与中心云端之间全部信令通信占用服务器cpu、内存、存储空间、带宽的情况；
[0066]
设备资源实际使用用量、分配用量大小及其比例通过中心云端第四处理模块在每周调用结束后，进行统计反馈；
[0067]
s2，设备端按照业务需求，向对应的边缘端的第二处理模块发起数据上报请求，边缘端第二处理模块定期对与该边缘端通信连接的全部设备进行指标计算，具体包括指标数据预处理、特征值计算。当第二处理模块接收到设备端发送的数据上报请求时，在不改变数据上报请求体的前提下，在请求头中插入约定格式的数据，完成数据上报请求的头增强处理后，将上报数据转发至中心云端，具体处理步骤如下：
[0068]
s21，边缘端的第二处理模块按照预设的固定间隔周期m定期从第一记录模块中获取发起数据上报请求的全部设备端的基础记录，并按照2m的固定间隔周期定期从第一记录模块中获取发起数据上报请求的全部设备端的设备活动记录；
[0069]
s22，第二处理模块根据获取到的各设备端的基础记录与设备活动记录，对每个设备端进行指标值计算，待计算的指标值包括设备过去n小时的上传字节数x1、设备接收到的控制指令次数x2、设备过去n小时的在线时长x3、设备请求占用边缘服务器cpu的比重x4、设备请求占用边缘服务器内存的比重x5、设备请求占用边缘服务器带宽的比重x6、设备请求占用边缘服务器存储的比重x7、设备初始资源分配级别x8、设备过去n小时资源实际使用占分配大小比例x9；
[0070]
s23，提取每类指标提取每类指标的指标值最大值maxi、最小值mini；
[0071]
s24，对每个所述设备端的每个指标值作归一化处理，得到每个指标值对应的指标相对值gi，归一化方法通过以下公式(1)表达：
[0072][0073]
公式(1)中，xi表示第i个指标的指标值；
[0074]gi
表示xi对应的指标相对值；
[0075]
s25，根据各指标对应的指标相对值gi和对应的预设权重ωi，计算待计算特征值的设备端的活跃度q，活跃度q通过以下公式(2)计算而得：
[0076][0077]
公式(2)中，k表示指标数量；
[0078]
s26，对接入边缘端的每个设备端对应的活跃度q作逻辑回归运算(作逻辑回归计算的目的是：对活跃度进行分类，为不同类型的设备分配不同等级的资源，模型适用于工业上，分类计算量小，速度快，存储低，另外通过求导，将q较小(小于全部q的平均值)，并在运算后导数较小(低于0.25)的部分，直接归类为最低级的套餐；将q较大(大于全部q的平均值)，并运算后导数较小(低于0.25)的部分，直接归类为最高级的套餐；最大限度保障高频次使用资源的设备的优先级，防止低频次使用资源的设备占用资源)，逻辑回归运算通过以下公式(3)表达：
[0079]
[0080]
公式(3)中，各所述设备端对应的所述活跃度q的均值；
[0081]
γ表示各所述设备端对应的所述活跃度q的标准差；
[0082]
f(q)表示逻辑回归函数。
[0083]
确定预设的逻辑回归函数的导数较大(大于0.25)的区域为所对应的目标定义域(f(q)的倒数大于0.25时，对应q的范围)；
[0084]
将目标定义域均分为n段，对应n个可调度的资源套餐等级(资源套餐不同等级对数据传输速率、云存储资源池距离、云计算分配算力、是否加速做了不同大小的分配。比如：云存储套餐1级，设备每月使用云存储容量100g，存储资源池随机分配；比如云存储套餐2级，设备每月可使用云存储容量200g，存储资源池距离设备最近，保证能快速上传)，第j个资源套餐等级记为lj，j∈[0，n-1]，其中n≥2(如果只有一种套餐等级，就不需要资源分配，因此n≥2)，值域依次为：
[0085]
l0级：(-∞，q0)，l1级：(q0，qi)，
…
，l
n-1
级：(q
n-2
，∞)，qi为分成n段的活跃度q的第i段对应的边界值；
[0086]
n越大，资源套餐等级越高，性能越强。
[0087]
资源套餐包括：传输限速(对边缘端上传数据到中心云端进行限速)、云存储资源池距离(边缘端向中心云端的资源池上传数据。中心云端的资源池架设有：郑州节点、上海节点、杭州节点、广州节点等。使用哪个节点，对应资源池节点和边缘端的距离，对于数据上传速度有明显影响)、云计算分配算力、是否加速等属性，n个可调度的资源套餐等级在系统初始化时依据物联网和云计算的运营规模预先分配。
[0088]
需要强调的是，通过逻辑回归计算，得到了需要加入到请求头中的资源套餐等级。
[0089]
另外，逻辑回归之后求导，用于判断出活跃度相对低、相对高的设备，然后将相对低的直接归类为最低级的资源套餐，相对高的直接归类为最高级的资源套餐，这样有利于提高对各设备对应的资源套餐等级的计算速度。
[0090]
s27，将边缘端的第一处理模块加密的密文插入到请求头中；
[0091]
密文加密的原始参数包括：设备唯一标识号、物联网卡唯一识别号、资源套餐等级、设备类型、边缘端接收到设备端上报数据请求的时间戳。
[0092]
边缘端的第一处理模块对原始参数通过现有的rsa算法进行加密，具体加密过程不做阐述。
[0093]
边缘端的第一处理模块保留公钥对原始参数进行加密，而中心云端的第一处理模块保留私钥进行对请求头中插入的加密数据进行解密。
[0094]
s3，中心云端对接收到的请求头中的加密数据进行解密后，进行云资源预分配规则计算，具体计算过程包括如下步骤：
[0095]
s31，中心云端中的第三处理模块接收到边缘端的第二处理模块转发的数据上报请求后，暂存请求体数据，并从请求头中获取密文；
[0096]
s32，中心云端中的第一处理模块(中心云端和边缘端中的第一处理模块相同)对密文进行解密，得到密文中携带的设备唯一标识号、物联网卡唯一识别号、资源套餐等级、设备类型和时间戳；
[0097]
作为优选，中心云端在对密文进行解密的同时对解密结果进行验证，验证方法包括步骤：
[0098]
s321，判断解密得到的设备唯一标识号和物联网卡唯一识别号是否属于同个设备，
[0099]
若是，则判定验证成功并转入步骤s322；
[0100]
若否，则判定验证失败，并终止对对应设备的资源分配；
[0101]
s322，判断是否t
0-t
device
＜0∪t
0-t
device
＞5000毫秒，t0表示当前时间戳，t
device
表示解密得到的所述时间戳；
[0102]
若否，则判定验证成功；
[0103]
若是，则判定验证失败，并终止对对应设备的资源分配。
[0104]
中心云端在对密文进行解密的同时对解密结果进行验证抛弃了请求错误的设备端，利于减少资源分配的对象数量，确保了资源分配的正确性、合理性。
[0105]
s33，中心云端的第三处理模块获取解密得到的物联网卡唯一识别号对应的物联网卡绑定的用户信息和所需资源类型，第三处理模块对每种资源类型预置有不同等级的资源套餐；
[0106]
s34，中心云端的第三处理模块遍历设备所需的每种资源类型，并匹配出每种资源类型相对应的资源套餐；
[0107]
s35，根据预先绑定的资源套餐与云资源预分配规则的关系，进一步匹配出所匹配的每种资源套餐对应的云资源预分配规则。
[0108]
云资源预分配规则包括资源分配位置、路径、用量、算力、资源类型等参数。资源类型则包括对象存储、云硬盘、云主机、云容器、物联网或与计算网络带宽等。
[0109]
对象存储资源类型的预分配规则比如为：对象存储资源池节点和对应边缘端的距离，与资源套餐等级反向相关(边缘节点向中心云端的资源池上传数据。中心云端的资源池有：郑州节点、上海节点、杭州节点、广州节点等。使用哪个节点，对应资源池节点和边缘端的距离，对于数据上传速度有明显影响，因此距离越远，分配的资源套餐等级越高)；对象存储数据存放路径＝/边缘端唯一id/用户信息唯一id/物联网卡唯一识别号/当前日期(yyyy-mm-dd)；对象存储数据存放路径、存放时长，与资源套餐等级正向相关(资源套餐等级越高，存放时间越长)，超期自动删除。
[0110]
云硬盘资源类型的预分配规则比如为：云硬盘中数据存放路径＝边缘端唯一id/用户信息唯一id/物联网卡唯一识别号/当前日期(yyyy-mm-dd)；云硬盘存放数据、文件夹大小，与资源套餐等级正向相关(资源套餐等级越高，存储空间越大)。
[0111]
云主机、云容器资源类型的预分配规则比如为：云主机cpu速度和核数、内存大小、gpu速度和核数，与资源套餐等级正向相关。(资源套餐等级越高，cpu速度越快、核数越多)
[0112]
物联网或云计算资源类型的预分配规则比如为：带宽限制或告警流量值，与资源套餐等级正向相关。
[0113]
s4，中心云端根据对每个设备端计算的云资源预分配规则进行资源调度、分配。具体而言，中心云端的第三处理模块计算出云资源预分配规则后，调用中心云端的第四处理模块的组件化资源调度能力，第四处理模块包含各类资源调度组件，支持按照云资源预分配规则进行资源调度、分配，同时通过各类资源调度组件，定时获取资源使用情况，下发给对应的边缘端的第一记录模块。
[0114]
资源资源调度、分配的具体方法为：
[0115]
计算出云资源预分配规则后，中心云端的第三处理模块调用第四处理模块的资源调度组件化能力；中心云端的第四处理模块中的各资源调度组件与各类资源对外开放平台交互，获取云计算、物联网等平台的临时访问授权，按照云资源预分配规则分配当前周期m内，资源空间(存储空间)、监测阈值(带宽限制或告警流量阈值，等同于传输速率的限制)、所在路径(设备上报的数据存储的路径。一般按照设备归属的用户、设备编码、时间来创建路径，方便统计、查询、数据删除)、占用计算资源大小(比如：后续对设备上传的数据(视频图像)进行计算处理(图像切割、拼接)，占用的计算资源大小)等，实现各类资源的自感知分类。
[0116]
中心云端第四处理模块，在上一步结束m时间后(比如，m＝1小时的话，那设备上报的数据，存储到中心云端1小时后，中心云端反馈边缘端实际用了多少存储空间。因为并不是每次设备上报都要头增强处理和修改分配资源的。每次头增强处理完，设备可能上传过多次数据)，查询本次分配的资源实际用量，向对应边缘端的第一记录模块反馈，用于计算设备资源实际使用占分配大小的比例。
[0117]
如图2所示，本发明还提供了一种云边协同的自感知资源分配装置，可实现上述的自感知资源分配方法，该装置包括边缘端和中心云端，
[0118]
边缘端，用于接收中心云端各类平台定期下发的基础记录并覆盖更新后存储，同时保存设备端的设备活动记录，并用对当前接入的各设备端发起的数据上报请求的请求头进行头增强处理后转发给中心云端；
[0119]
中心云端，用于对接收到的请求头中的加密数据进行解密后，进行云资源预分配规则计算，并用于根据对每个设备端计算的云资源预分配规则进行资源调度、分配。
[0120]
综上，本发明通过自动化的方式实现了资源合理分配，有效降低了人工成本，并实现了资源分配和使用的插件化改造。
[0121]
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本技术说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。