一种数据处理方法、系统及电子设备的制造方法

文档序号:9910848阅读:488来源:国知局
一种数据处理方法、系统及电子设备的制造方法
【技术领域】
[0001]本发明涉及电子技术领域,特别涉及一种数据处理方法、系统及电子设备。
【背景技术】
[0002]目前,电子设备中的硬件资源(如内存资源、网络资源等)越来越多,其中,在中央处理器(Central Processing Unit,CPU)方面,如对于Power8系统来说,其CPU包括12个核,每个核支持8个线程。通过操作系统对相应资源的管理,能够执行不同的功能,使得电子设备具有较强的数据处理能力。
[0003]现有的数据处理平台(如hadoop、map_reduce等)通常都是直接运行在Linux、LXC(一种Linux容置工具)上,或者也可以运行在kvm(—种开源的系统虚拟化模块)的虚拟机上,虚拟机通过电子设备的硬件资源提供数据处理服务。但在任务较多时,将存在大量的并行进程,其通过轮流切换来获得CPU分配的执行时间,以使用电子设备的硬件资源。但在多个进程并行执行时,多个进程可能会同时竞争电子设备中同一硬件资源,造成进程之间的锁竞争较为严重,甚至可能出现死锁,可能会导致电子设备故障。

【发明内容】

[0004]本申请提供一种数据处理方法、系统及电子设备,用于解决电子设备的数据处理效果较差的技术问题。
[0005]第一方面,提供一种数据处理方法,包括以下步骤:
[0006]获取电子设备中的待处理任务;
[0007]根据所述待处理任务,分配相应的执行环境,所述执行环境中包括用于进行数据处理的硬件资源、虚拟机和执行库,所述硬件资源不可为其它执行环境使用,所述执行库包括用于处理所述待处理任务的函数,所述虚拟机用于调用所述执行库中的函数以处理所述待处理任务;
[0008]通过所述执行环境对待处理任务进行处理。
[0009]第二方面,提供一种数据处理系统,包括:
[0010]应用任务管理模块,用于获取所述电子设备中的待处理任务,生成与所述待处理任务相应的分配请求;
[0011 ]执行环境管理模块,与所述应用任务管理模块相连,用于接收所述应用任务管理的分配请求,并根据所述分配请求,分配与所述待处理任务相应的执行环境,以通过所述执行环境对待处理任务进行处理;其中,所述执行环境中包括用于进行数据处理的硬件资源、虚拟机和执行库,所述硬件资源不可为其它执行环境使用,所述执行库包括用于处理所述待处理任务的函数,所述虚拟机用于调用所述执行库中的函数以处理所述待处理任务。
[0012]第三方面,提供一种电子设备,包括:
[0013]内存;
[0014]处理器,用于获取电子设备中的待处理任务,并根据所述待处理任务,分配相应的执行环境,并通过所述执行环境对待处理任务进行处理,其中,所述执行环境中包括用于进行数据处理的硬件资源、虚拟机和执行库,所述硬件资源不可为其它执行环境使用,所述执行库包括用于处理所述待处理任务的函数,所述虚拟机用于调用所述执行库中的函数以处理所述待处理任务。
[0015]本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
[0016]本申请中,在获取电子设备中的待处理任务后,可以为待处理任务分配相应的执行环境,通过分配的执行环境所包括的资源即可实现对待处理任务的处理,当存在大量待执行的任务时,可以将硬件资源划分给不同的执行环境,从而不同的执行环境可以分别使用独占的硬件资源地对待处理任务进行处理,尽量避免出现多个进程竞争同一的硬件资源的情况,避免了可能出现的死锁现象,降低电子设备的故障率,也提高电子设备的数据处理效率。
【附图说明】
[0017]图1为本发明实施例中数据处理系统的结构框图;
[0018]图2为本发明实施例中数据处理方法的流程图;
[0019]图3为本发明实施例中数据处理系统的示意图;
[0020]图4为本发明实施例中数据处理系统的处理流程;
[0021]图5为本发明实施例中电子设备的结构图。
【具体实施方式】
[0022]下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
[0023]本发明实施例中,电子设备可以包括PC(个人计算机)、笔记本、PAD(平板电脑)、或手机等,本发明对此不作限制。
[0024]可选的,电子设备包括相应的硬件资源,如CPU、内存、输入输出设备、物理网卡等。通过在电子设备中安装操作系统,能够较好地实现对电子设备中硬件资源的管理,并实现相应的功能,如数据处理等。
[0025]电子设备一般使用的操作系统可以包括Android、1S、Linux和Windows等,本发明实施例以基于Linux操作系统实现为例。
[0026]在实际应用中,电子设备的内存可以主要是指同步动态随机存储器(SynchronousDynamic Random Access Memory,简称SDRAM)。
[0027]本发明实施例中,电子设备在内核层可以设置有用于进行数据处理的数据处理系统,如图1所示,该系统中设置多个用于进行数据处理的执行环境,每个执行环境包括相应的资源,这里的资源,主要包括硬件资源、JAVA虚拟机(Java Virtual Machine,JVM)和执行库,关于该系统中具体模块的作用,在后续实施例中将进行具体介绍。
[0028]可选的,一个执行环境可以利用其包括的资源独立地完成相应的数据处理任务,在一个执行环境中每次可以只处理一个进程,这样可以避免多个进程竞争相同的硬件资源。
[0029]其中,硬件资源可以包括CPU资源、内存资源和网络资源中的至少一种,每个执行环境包括的硬件资源可以是电子设备根据执行环境要执行的任务所需的硬件资源为其划分的。
[0030]执行库中可以包括用于处理待处理任务的函数,例如,执行库中可以包括Iibc库,gpLinux下的ANSI C的函数库,Iibc库可以为JVM提供用于进行数据处理的函数。
[0031]本发明实施例中,JVM可以运行相应的代码,并通过调用执行库提供的函数实现对执行环境包括的硬件资源的访问,以及,JVM可以调用执行库中的函数以获取执行任务所需要的执行文件等。
[0032]下面结合附图对本发明优选的实施方式进行详细说明。
[0033]如图2所示,本发明实施例提供一种数据处理方法,该方法描述如下。
[0034]S11:获取电子设备中的待处理任务;
[0035]S12:根据待处理任务,分配相应的执行环境,执行环境中包括用于进行数据处理的硬件资源、虚拟机和执行库,硬件资源不可为其它执行环境使用,执行库包括用于处理待处理任务的函数,虚拟机用于调用执行库中的函数以处理待处理任务;
[0036]SI 3:通过执行环境对待处理任务进行处理。
[0037]可选的,待处理任务可以包括针对电子设备的数据请求任务,比如可以包括来自电子设备中安装的应用的数据请求任务等。例如,对于电子设备中的数据处理应用,如map-reduce应用来说,当需要执行数据请求任务时,其可以生成多个映射任务(map task)和归约任务(reduce task),对于map-r
当前第1页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1