一种大数据处理方法、大数据处理系统以及电子设备与流程

1.本发明涉及电子通信领域，尤其涉及一种大数据处理方法、大数据处理系统以及电子设备。


背景技术：

2.cn108132970a公开了一种大大数据处理方法，其包括如下步骤：s1、接收输入文件，根据输入文件大小进行输入分片，将各个输入分片分配一个映射任务，输入分片存储分片长度以及记录数据的位置的数组；s2、通过预先编写的映射函数在数据存储节点上进行映射得到中间文件；s3、合并中间文件中的重复键值，以降低映射输出文件冗余；并对合并后的键值进行序列化得到映射缓存文件；自动获取各个计算节点的计算负载值，根据计算节点的计算负载值将各个映射缓存文件分配到各个计算节点中；s4、在内存中开辟环形内存缓冲区，环形内存缓冲区用于映射输出文件输出；在环形内存缓冲区中创建配置文件，在配置文件中配置内存缓冲区的内存占用阈值；在环形内存缓冲区中内存占用大于或等于占用阈值时，保护线程暂停将数据写入内存，并在内存中写入溢出文件，溢出文件确定写入磁盘的文件，并将环形内存缓冲区的文件写入磁盘直至所有的映射输出文件输出完毕；s5、将所有的映射输出文件并存储到分布式文件存储系统上。该cn108132970a通过把海量的大数据按照预先设置的规则分割成了若干部分，分给多台处理器并行处理；然后把各台处理器处理后的结果进行汇总操作以得到最终结果，进而提高了数据处理类型以及速度，但是每类数据所需要的处理资源是不同的，即所需要的处理器数量是不同的，如果不做区分，要么使得处理器的处理负荷过大要么过小，无法有效利用处理资源，使得处理速度无法达到最优。


技术实现要素：

3.本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种大数据处理方法、大数据处理系统以及电子设备。
4.根据本发明，提供了一种大数据处理方法，包括如下步骤：
5.获取待处理的大数据；
6.根据数据拆分规则对大数据进行拆分；
7.根据数据处理优先级规则将拆分后的数据分发给处理器处理；
8.处理器根据数据处理规则对拆分数据进行处理，其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量。
9.进一步地，所述数据拆分规则为：将数据按照视频数据、语音数据和其他数据进行拆分。
10.进一步地，所述其他数据为不含有语音数据和视频数据的数据。
11.进一步地，所述数据处理优先级规则为：视频数据的处理优先级最低，语音数据的处理优先级次之，其他数据的处理优先级最高。
12.进一步地，所述n％为80％
‑
90％。
13.本发明还提供一种大数据处理系统，包括：
14.数据获取单元，用于获取待处理的大数据；
15.数据拆分单元，用于根据数据拆分规则对大数据进行拆分；
16.数据分配单元，根据数据处理优先级规则将拆分后的数据分发给数据处理单元；
17.数据处理单元，调用处理器并根据数据处理规则对拆分数据进行处理，其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量。
18.进一步地，所述数据拆分单元包括：
19.视频数据拆分模块，用于提取大数据中的视频数据；
20.语音数据拆分模块，用于提取大数据中的语音数据；
21.其他数据拆分模块，用于提取大数据中的其他数据。
22.进一步地，所述数据分配单元包括：
23.视频数据分配模块，用于分配视频数据；
24.语音数据分配模块，用于分配语音数据；
25.其他数据分配模块，用于分配其他数据。
26.进一步地，还包括设定单元，用于初始化状态时设定n％的数值。
27.本发明还提供一种电子设备，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行上述的方法。
28.本发明针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量，如此始终能够将处理器的控制在最大的处理能力上且不会超负荷运转，可以最大限度提高大数据的处理速度。
附图说明
29.结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
30.图1是本发明大数据处理方法的示意图；
31.图2是本发明大数据处理系统的示意图；
32.图3是本发明实施例电子设备的散热装置的结构示意图；
33.图4是图3中a的放大结构示意图；
34.图5是图3中b的放大结构示意图；
35.图6是图5中c的放大结构示意图；
36.图7是图5中d的放大结构示意图；
37.需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
具体实施方式
38.为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。
39.如图1所示，本实施例的大数据处理方法包括如下步骤：
40.s1、获取待处理的大数据。
41.s2、根据数据拆分规则对大数据进行拆分。该数据拆分规则为：将数据按照视频数据、语音数据和其他数据进行拆分，其他数据为不含有语音数据和视频数据的数据，例如可以是图片数据、文字数据等，即任一大数据都会被拆分成视频数据组、语音数据组和其他数据组，视频数据组包含了大数据中所有的视频数据，语音数据组包含了大数据中所有的语音数据，其他数据组包含了大数据中除视频数据、语音数据之外的所有数据。
42.s3、根据数据处理优先级规则将拆分后的分发给处理器处理。数据处理优先级规则为：视频数据的处理优先级最低，语音数据的处理优先级次之，其他数据的处理优先级最高，即会优先将其他数据发给处理器处理，最后才会将视频数据发给处理器处理，以为s4的数据处理做准备。
43.s4、处理器根据数据处理规则对拆分数据进行处理。其中数据处理规则为：针对某一类数据，处理器将该类数据均匀分割成若干子数据包，并对若干子数据包中的部分子数据包进行同时处理直至其处理负荷达到额定负荷的n％，则下次同时处理的子数据包数量为m/n％，其中m为处理器的处理负荷达到额定负荷的n％时其同时处理的子数据包的数量。举例来说，针对语音数据，处理器在处理完其他数据后开始处理语音数据时，处理器将该语音数据进行均匀分割成若干子数据例如有a个子数据包，并对a个子数据包中的部分子数据包例如b个进行同时处理直至其处理负荷达到额定负荷的n％例如80％，比方处理器同时处理m个子数据包就达到了额定负荷的80％，那么针对这类数据，处理器在额定负荷内时可以同时处理m/80％的，则接下来，处理器一次处理a个子数据包中的m/80％个，如此始终能够将处理器的控制在最大的处理能力上且不会超负荷运转，可以最大限度提高大数据的处理速度。n％为80％
‑
90％，这样测出的处理器的处理能力更为精准。
44.如图2所示，本实施例的大数据处理系统包括：数据获取单元、数据拆分单元、数据分配单元和数据处理单元，数据获取单元用于获取待处理的大数据，并将大数据发送至数据拆分单元，数据拆分单元根据上述的数据拆分规则对大数据进行拆分，将大数据拆分成视频数据组、语音数据组和其他数据组，该数据拆分单元包括用于提取大数据中视频数据的视频数据拆分模块、用于提取大数据中语音数据的语音数据拆分模块和用于提取大数据中其他数据的其他数据拆分模块，数据拆分单元通过视频数据拆分模块、语音数据拆分模块、其他数据拆分模块完成大数据拆分后，将拆分后的数据发送至数据分配单元，由数据分配单元按照上述的数据处理优先级规则将拆分后的数据分发给数据处理单元处理，该数据分配单元包括用于分配视频数据的视频数据分配模块、用于分配语音数据的语音数据分配模块和用于分配其他数据的其他数据分配模块，数据分配单元通过视频数据分配模块、语音数据分配模块、其他数据分配模块江将数据按照上述的数据处理优先级规则分配给数据
处理单元，数据处理单元调用处理器并根据上数据处理规则对拆分数据进行处理，使得处理器被控制在最大的处理能力上且不会超负荷运转，以最大限度提高大数据的处理速度。大数据处理系统还包括设定单元，设定单元用于初始化状态时设定n％的数值，n％为80％
‑
90％，具体可以根据处理器的使用情况设定，当然也可以根据次，设定则处理器同时处理同类数据的子数据包数量为md/n％，d介于0
‑
1之间，为折旧系数，处理器使用时间越长d越小。
45.本实施例同时提供一种电子设备，该电子设备包括存储器以及处理器，存储器中存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行上述的方法。
46.为了提高电子设备的散热性，如图3至图7所示，本发明实施例还提供电子设备的散热装置，该散热装置包括设于电子设备的线路箱12左侧的动力箱11，线路箱12内设有线路腔18，线路箱12左端面固定连接有用于承托动力箱11的承托板19，动力箱11内设有移动腔13，移动腔13前后壁左右滑动连接有移动板16，线路腔18左壁连通设有开口向左的连通腔67，线路腔18左壁连通设有开口向左且位于连通腔67上侧的放置腔61，移动腔13前后壁左右滑动连接有能够贯穿连通腔67且向右伸入至线路腔18内的风扇箱20，动力箱11右端面顶端固定连接有贯穿放置腔61且向右伸入至线路腔18内的测温箱60，测温箱60内设有测温腔62，测温腔62前后壁左右滑动连接有测温推板64，测温腔62右壁连通设有开口向右的进风口66，测温腔62右壁连接有热膨胀材料65，热膨胀材料65左端面与测温推板固定连接64，测温腔62左壁固定设有测温按钮63。移动腔13左壁固定设有移动电机14，移动电机14右端面动力连接有螺杆15，螺杆15外圆面贯穿移动板16且与移动板16螺纹连接，移动板16右端面固定连接有位于螺杆15与上下固定杆17之间的推块70。
47.风扇箱20内设有开口向左的齿轮腔25，齿轮腔25上下壁连通设有上下贯通且开口向右的探测腔24，上下探测腔24左壁连通设有开口向左的贯通腔21，上下探测腔24前后壁均左右滑动连接有探测块23，上下探测块23内设有上下贯通且开口向右的探测块腔69，探测块腔69左壁转动连接有卷绕轮轴27，卷绕轮轴27内设有开口向右的按钮腔28，按钮腔28前后壁左右滑动连接有向右延伸至按钮腔28右侧的推杆31，推杆31左端面与按钮腔28左壁之间固定连接有感应弹簧30，按钮腔28左壁固定设有感应按钮29。探测块腔69左壁固定设有拉绳电机26，拉绳电机26右端面与卷绕轮轴27左端面动力连接，卷绕轮轴27外圆面固定连接有卷绕轮32，探测块腔69前后壁上下滑动连接有上下对称且位于卷绕轮32上下两侧的铰接板35，卷绕轮32外圆面缠绕收纳有与上下两侧铰接板35相互靠近的一侧端面固定连接的拉绳33，探测块腔69左壁固定连接有上下对称且位于卷绕轮轴27上下两侧的弹簧座68，上下弹簧座68相互远离的一侧端面与上下两侧铰接板35相互靠近的一侧端面之间固定连接有伸缩弹簧34，上下两侧铰接板35相互远离的一侧端面铰接有铰接杆37，上下铰接杆37后端面相互远离的一端固定连接有加宽块38。
48.上下探测块23左端面均固定连接有贯穿贯通腔21且与移动板16右端面固定连接的固定杆17，齿轮腔25左壁转动连接有齿轮轴43，齿轮轴43外圆面转动连接有固定齿轮块44，固定齿轮块44右端面固定连接有风扇箱板46，风扇箱板46右端面固定连接有风扇罩47，风扇罩47内设有风扇腔48，齿轮轴43与风扇箱板46转动连接且向右延伸至风扇腔48内。齿轮腔25左壁固定设有齿轮电机39，齿轮电机39右端面动力连接有动力轴40，动力轴40外圆面固定连接有风扇主动齿轮41，动力轴40外圆面固定连接有位于风扇主动齿轮41右侧的转动主动齿轮45，齿轮轴43外圆面固定连接有与风扇主动齿轮41啮合传动且位于固定齿轮块
44左侧的风扇从动齿轮42，固定齿轮块44与转动主动齿轮45啮合传动。
49.风扇腔48左壁固定连接有上下对称的固定块56，上下固定块56内转动连接有向上下两侧延伸至固定块56上下两侧的风扇轴50，上下风扇轴50外圆面相互靠近的一侧固定连接有从动锥齿轮58，齿轮轴43位于风扇腔48内的一侧外圆面固定连接有与上下从动锥齿轮58啮合传动的主动锥齿轮59，上下风扇轴50外圆面相互远离的一侧固定连接有侧风扇49。上下固定块56相互远离的一侧端面均连通设有与外界连通的侧除灰孔57，风扇腔48上下壁固定连接有分隔板51，齿轮轴43外圆面贯穿分隔板51且与分隔板51转动连接，分隔板51右端面连通设有位于齿轮轴43上下两侧且与外界连通的除灰孔54，齿轮轴43外圆面固定连接有位于分隔板51右侧的正向风扇53。
50.初始状态下：热膨胀材料65在常温下处于收缩状态，上下两侧铰接板35位于相互靠近位置，伸缩弹簧34处于绷紧状态，感应弹簧30处于放松状态。工作时，当线路腔18内温度过高时热膨胀材料65会受热膨胀，从而推动测温推板64向左移动按压测温按钮63，当测温按钮63被按压时移动电机14启动从而带动螺杆15转动，通过螺杆15的转动从而通过螺纹连接带动移动板16向右移动，通过移动板16的向右移动从而带动上下两侧固定杆17向右移动，从而带动上下两侧探测块23向右移动至线路腔18内，此时拉绳电机26带动卷绕轮轴27转动从而带动卷绕轮32转动，通过卷绕轮32的转动从而将拉绳33放松，此时通过伸缩弹簧34的推力从而推动上下两侧铰接板35向上下两侧移动，从而带动四个铰接杆37伸长增大范围并线路腔18内对线路以及结构进行探测，当铰接杆37与加宽块38与线路腔18内的线路接触后能够推动线路并将线路推起收集，通过移动板16的继续移动从而通过推块70推动风扇箱20向右移动至线路腔18内，此时当推杆31与线路腔18内部的结构或是线路接触而无法继续向右移动时，推杆31向左移动并克服感应弹簧30的推力从而按压感应按钮29，此时关闭移动电机14并停止移动板16的继续移动，同时齿轮电机39启动从而带动动力轴40转动，通过动力轴40的转动从而带动转动主动齿轮45转动，转动主动齿轮45的转动通过啮合传动从而带动固定齿轮块44转动，从而带动风扇箱板46转动，通过动力轴40的转动从而带动风扇主动齿轮41转动，风扇主动齿轮41的转动通过啮合传动从而带动风扇从动齿轮42转动，通过风扇从动齿轮42的转动从而带动齿轮轴43转动，从而带动正向风扇53旋转向左产生风力，通过风扇箱板46的转动以及上下两侧侧风扇49与正向风扇53的抽吸从而对线路腔18内的灰尘进行全方位的抽吸，此时线路腔18内的灰尘能够进入上下两侧除灰孔54内并向外排出，通过齿轮轴43的转动从而带动主动锥齿轮59转动，通过主动锥齿轮59的转动从而通过啮合传动带动上下两侧从动锥齿轮58转动，从而带动上下两侧侧风扇49旋转向相互靠近一侧产生风力，从而将线路腔18内的灰尘抽吸入上下两侧侧除灰孔57内并向外排出，复位时通过移动电机14带动螺杆15反转，从而通过上下两侧探测块23的向左移动从而带动风扇箱20回到移动腔13内。因此本实施例的电子设备的散热装置通过热膨胀块来稳定的感应温度，当温度过高时向内伸入探测内部结构的探测杆，从而将内部的线路进行限位，并且控制风扇伸入的距离，风扇伸入之后能够进行全方位的抽吸，从而尽可能的将内部的灰尘全部进行抽吸，防止内部由于灰尘堆积而导致散热不佳。
51.可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等
同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。