专利名称：移动终端及其图像分屏处理方法
技术领域：
本发明涉及移动终端技术，尤其涉及一种移动终端及其图像分屏处理方法。
背景技术：
随着移动终端技术的发展，例如智能手机、平板电脑等移动终端可以实现的功能越来越丰富。移动终端通常都集成有摄像头，可以实现拍照和摄像功能，极大地丰富了人们的生活。用户在使用移动终端拍摄时，通常只能拍摄普通的照片或录像，若想为照片或录像增加其他效果，还需要该照片或录像导入计算机，通过专门的图像处理软件进行处理。用户在拍摄过程中不能实时预览效果，不能满足用户的需求。
发明内容
本发明提供一种移动终端及其图像分屏处理方法，提高了移动终端对图像的分屏处理效果。本发明第一个方面提供一种移动终端的图像分屏处理方法，包括图像处理模块获取摄像头模块实时采集到的视频流；所述图像处理模块根据接收到的分屏指示信息确定分屏模式，根据所述分屏模式和所述视频流确定各分屏分别对应的视频流，其中，所述分屏模式用以指示将显示模块的显示区域划分为至少两个所述分屏；所述图像处理模块根据接收到的处理指示信息，分别对各所述分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给所述显示模块。本发明另一个方面提供一种移动终端，包括摄像头模块和显示模块，还包括图像处理模块，所述图像处理模块包括视频流获取子模块，用于获取摄像头模块实时采集到的视频流；分屏子模块，用于根据接收到的分屏指示信息确定分屏模式，根据所述分屏模式和所述视频流确定各分屏分别对应的视频流，其中，所述分屏模式用以指示将显示模块的显示区域划分为至少两个所述分屏；图像处理子模块，用于根据接收到的处理指示信息，分别对各所述分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给所述显示模块。由上述技术方案可知，本发明第一个方面提供的移动终端的图像分屏处理方法流程图，图像处理模块获取摄像头模块实时采集到的视频流，根据接收到的分屏指示信息确定分屏模式，根据分屏模式和视频流确定各分屏分别对应的视频流，根据接收到的处理指示信息，分别对各分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给显示模块。不仅实现了移动终端实时采集到的视频流的分屏处理，而且可以根据接收到的处理指示信息对各分屏对应的视频流的图像分别进行处理，以显示不同的处理效果，提高了移动终端对图像的分屏处理效果。
本发明另一个方面提供的移动终端，视频流获取子模块获取摄像头模块实时采集到的视频流，分屏子模块根据接收到的分屏指示信息确定分屏模式，根据分屏模式和视频流确定各分屏分别对应的视频流，图像处理子模块根据接收到的处理指示信息，分别对各分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给显示模块。不仅实现了移动终端实时采集到的视频流的分屏处理，而且可以根据接收到的处理指示信息对各分屏对应的视频流的图像分别进行处理，以显示不同的处理效果，提高了移动终端对图像的分屏处理效果。
图1为本发明实施例一提供的移动终端的图像分屏处理方法流程图；图2为本发明实施例二提供的移动终端的图像分屏处理方法流程图；图3为本发明实施例三提供的移动终端的图像分屏处理方法流程图；图4为本发明实施例四提供的移动终端结构示意图；图5为本发明实施例五提供的移动终端结构示意图。
具体实施例方式实施例一图1为本发明实施例一提供的移动终端的图像分屏处理方法流程图。如图1所示，本实施例提供的移动终端的图像分屏处理方法具体可以应用于移动终端对摄像头模块采集的视频流的实时处理过程，并通过显示模块为用户显示。该移动终端具体可以为智能手机、平板电脑等移动设备，摄像头模块和显示模块可以集成在该移动终端上，也可以单独设置。本实施例提供的移动终端的图像分屏处理方法具体包括步骤10、图像处理模块获取摄像头模块实时采集到的视频流；步骤20、图像处理模块根据接收到的分屏指示信息确定分屏模式，根据分屏模式和视频流确定各分屏分别对应的视频流，其中，分屏模式用以指示将显示模块的显示区域划分为至少两个分屏；具体地，图像处理模块可以通过移动终端的中央处理器(Central Processing Unit，简称CPU)或微控制器(Micro Control Unit，简称MCU)来实现，也可以通过CPU和图形处理器(Graphic Processing Unit，简称GPU)配合实现。分屏指示信息具体可以为用户通过移动终端的输入模块输入的用以确定分屏模式的指示信息。移动终端可以为用户提供选择界面，以引导用户进行分屏模式的选择。若移动终端的显示模块通过触摸屏来实现，则可以为用户提供可触控选择的操作控件，操作控件具体可以通过Widget技术来实现。分屏模式用以指示将显示模块的显示区域划分为至少两个分屏，分屏模式具体可以包括左右二分屏、上下二分屏、三分屏、四分屏、六分屏和八分屏等，可以根据显示需要预先设置可供用户选择的分屏模式。确定每个分屏对应的视频流，每个分屏对应的视频源是相同的，即该视频流都是由摄像头模块实时采集到的。步骤30、图像处理模块根据接收到的处理指示信息，分别对各分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给显示模块。
处理指示信息具体可以为用户通过移动终端的输入模块输入的用以对图像进行处理的指示信息，处理指示信息中可以包括图像处理的具体参数信息。移动终端也可以为用户提供的操作界面，以引导用户进行图像处理操作。该处理指示信息可以为针对于某个分屏的处理指示信息，也可以为对所有分屏的处理指示信息。具体地，每个分屏都分配有分屏标识，当用户需要对某个分屏对应的视频流进行处理时，针对该分屏的处理指示信息携带有对应于该分屏的分屏标识，则图像处理模块根据该标识确定分屏，并对该分屏对应的视频流进行相应地处理。视频流具体由一帧帧的图像组成，则对视频流的处理过程为对视频流的每一帧图像进行处理，将各分屏对应的处理后的图像拼接成分屏图像，以实现分屏显示。例如分屏模式为三分屏，则分屏图像包括三个分屏，各分屏中分别显示各自对应的处理后的图像。若用户未指示对某个分屏对应的视频流进行处理，则该分屏中显示的图像即为从摄像头模块获取到的视频流的图像。在实际应用中，用户在使用移动终端进行拍摄时，首先通过显示模块预览待拍摄的图像，此时可以选择分屏模式将显示模块的显示区域分成多个分屏，再对各分屏对应的视频流的图像进行处理，各分屏所显示的图像具有不同的效果，用户可以在当前模式下进行拍摄，用户对比后选择最满意的处理效果的分屏，可以将该分屏全屏显示，在该效果下进行图像的拍摄，拍摄到的图像跟预览到的图像相同。用户也可以在摄像过程中，输入该分屏指示信息和处理指示信息，则分屏效果和图像处理效果均被录制下来。用户在拍摄过程中就可以完成对拍摄效果的添加，无需进行后期复杂的视频编辑处理。本实施例提供的移动终端的图像分屏处理方法流程图，图像处理模块获取摄像头模块实时采集到的视频流，根据接收到的分屏指示信息确定分屏模式，根据分屏模式和视频流确定各分屏分别对应的视频流，根据接收到的处理指示信息，分别对各分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给显示模块。不仅实现了移动终端实时采集到的视频流的分屏处理，而且可以根据接收到的处理指示信息对各分屏对应的视频流的图像分别进行处理，以显示不同的处理效果，提高了移动终端对图像的分屏处理效果。实施例二图2为本发明实施例二提供的移动终端的图像分屏处理方法流程图。如图2所示，本实施例提供的移动终端的图像分屏处理方法在图1所示实施例的基础上，步骤30，图像处理模块根据接收到的处理指示信息，分别对各分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给显示模块，具体可以包括如下步骤步骤301、图像处理模块的中央处理单元根据处理指示信息生成参数矩阵，根据处理指示信息中的分屏标识，确定待处理的视频流，根据待处理的视频流的图像生成纹理，将参数矩阵、纹理和分屏模式发送给图像处理模块的图形处理单元；步骤302、图形处理单元根据参数矩阵对纹理进行处理；步骤303、图形处理单元将各分屏分别对应的处理后的图像拼接成分屏图像并发送给显示模块。具体地，图像处理模块包括中央处理单元和图形处理单元，中央处理单元可以通过CPU或MCU来实现，图形处理单元可以通过GPU实现。中央处理单元根据处理指示信息中的分屏标识确定待处理的视频流，获取该视频流的每一帧图像，可以先根据分屏模式确定
6每个分屏的大小，将图像调整成适应该分屏大小的图像，再根据该调整后的图像生成纹理， 所生成的纹理可以为一个，也可以为多个，其数量根据场景的处理需要来设置。具体地，图像处理单元可以基于开放图形库(Open Graphics Library，简称OpenGL)技术，则纹理可以为OpenGL纹理。该处理指示信息具体可以包括非线性处理指示信息、色温处理指示信息、 亮度处理指示信息、对比度处理指示信息、曝光度处理指示信息、饱和度处理指示信息和色相处理指示信息等。中央处理单元根据处理指示信息生成与该处理指示信息对应的参数矩阵，该参数矩阵可以被图形处理单元解析并执行。该处理指示信息可以为上述一种处理指示信息，也可以多种处理指示信息的结合。中央处理单元实现分屏控制，协调资源分别对各分屏对应的视频流进行处理，接收到的处理指示信息进行转换整合，图形处理单元对纹理进行相应地处理，通过中央处理单元和图形处理单元的配合，实现了对实时获取的视频流的处理，可以使该处理过程更加高效和流畅。进一步地，在本实施例中，步骤30、图像处理模块根据接收到的处理指示信息，分别对各分屏对应的视频流的图像进行处理，可以包括如下步骤图像处理模块调用分别对应于各分屏的线程，对各分屏对应的视频流的图像进行处理。通过调用不同的线程分别对视频流进行处理，可以避免各视频流之间的干扰，进一步提高了对视频流的分屏处理效果。在本实施例中，处理指示信息具体可以包括以下至少一种非线性处理指示信息、 色温处理指示信息，亮度处理指示信息、对比度处理指示信息、饱和度处理指示信息、色相处理指示信息、曝光度处理指示信息、蒙版处理指示信息和边框处理指示信息。可以预先设置多个蒙版和边框以供用户选择。处理指示信息可以指示某种特定的处理，也可以是多种处理的结合。该处理指示信息还可以用以指示某种特定的风格，如影楼风格、怀旧风格、欧洲风格等，则该处理指示信息中可以包括配合实现该特定风格的所有处理参数。处理指示信息可以根据实际的图像处理需要来设置，不以本实施例为限。实施例三图3为本发明实施例三提供的移动终端的图像分屏处理方法流程图。如图3所示， 本实施例提供的移动终端的图像分屏处理方法在如图1所示实施例的基础上，步骤20中的图像处理模块根据接收到的分屏指示信息确定分屏模式之前，具体还可以包括如下步骤步骤40、图像处理模块以预设时间间隔接收模式切换指示信息，其中，模式切换指示信息包括分屏指示信息和处理指示信息。具体地，移动终端可以预设多个分屏模式，并以预设时间间隔在各分屏模式之间进行切换。模式切换指示信息包括分屏指示信息和处理指示信息，该分屏指示信息和处理指示信息用以指示将要切换的分屏模式和在该分屏模式下各分屏对应视频流的处理指示。 分屏模式、该分屏模式对应的处理指示信息以及切换时间均可以预先设置并存储。也可以为用户提供设置界面以供用户进行设置。则用户在通过移动终端摄像的过程中，可以为用户提供一键拍摄功能，当用户选择了该一键拍摄功能，就可以实现在拍摄过程中以预设时间间隔在不同的分屏模式之间进行切换，且不同分屏模式中各分屏的处理效果不同。因此，拍摄的视频中也就包含了上述效果。用户无需进行后期处理就可以拍摄出个性化的视频作品，提高了用户体验。在本实施例中，步骤40，图像处理模块以预设时间间隔接收模式切换指示信息之后，步骤30中的图像处理模块将分屏图像发送给显示模块之前，具体还可以包括如下步骤步骤50、图像处理模块将预设转场动画发送给显示模块。当图像处理模块在接收到的模式切换指示信息的控制下或定时触发的模式切换指示信息的控制进行模式切换时，可以在两个模式之间插入预设转场动画，以实现两个模式的平滑渐进过渡，给用户以顺畅的体验。 在本实施例中，步骤30中的图像处理模块将各处理后的图像拼接成分屏图像之后，具体还可以包括如下步骤步骤60、图像处理模块将分屏图像编码后存储至存储模块。用户在进行拍摄时，图像处理模块可以通过预设编码算法对分屏图像进行编码后存储以形成视频文件。在实际处理过程中，对图像的编码存储过程和对图像的显示过程可以同时进行。图像处理模块也可以调用两个线程分别对预览过程和存储过程进行处理，以避免两个处理过程的干扰，尤其是在大分辨率的高清视频录制过程中，可以保证用户实时预览视频的顺畅。在本实施例中，图像处理模块还可以实现高清视频的拍摄，获取高清视频，如 720p/1080p。实施例四图4为本发明实施例四提供的移动终端结构示意图。如图4所示，本实施例提供的移动终端具体可以实现本发明任意实施例提供的移动终端的图像分屏处理方法的各个步骤，此不再赘述。本实施例提供的移动终端，包括摄像头模块11和显示模块12，该移动终端具体还包括图像处理模块13，图像处理模块13包括视频流获取子模块131、分屏子模块132和图像处理子模块133。视频流获取子模块131用于获取摄像头模块11实时采集到的视频流。 分屏子模块132用于根据接收到的分屏指示信息确定分屏模式，根据分屏模式和视频流确定各分屏分别对应的视频流，其中，分屏模式用以指示将显示模块12的显示区域划分为至少两个分屏。图像处理子模块133用于根据接收到的处理指示信息，分别对各分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给显示模块12。本实施例提供的移动终端，视频流获取子模块131获取摄像头模块11实时采集到的视频流，分屏子模块132根据接收到的分屏指示信息确定分屏模式，根据分屏模式和视频流确定各分屏分别对应的视频流，图像处理子模块133根据接收到的处理指示信息，分别对各分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给显示模块12。不仅实现了移动终端实时采集到的视频流的分屏处理，而且可以根据接收到的处理指示信息对各分屏对应的视频流的图像分别进行处理，以显示不同的处理效果，提高了移动终端对图像的分屏处理效果。实施例五图5为本发明实施例五提供的移动终端结构示意图。如图5所示，本实施例提供的移动终端在图4所示实施例的基础上，优选地，图像处理子模块133包括中央处理单元21和图形处理单元22。中央处理单元21用于根据处理指示信息生成参数矩阵，根据处理指示信息中的分屏标识，确定待处理的视频流，根据待处理的视频流的图像生成纹理，将参数矩阵、纹理和分屏模式发送给图像处理模块13的图形处理单元22。图形处理单元22用于根据参数矩阵对纹理进行处理，将各分屏分别对应的处理后的图像拼接成分屏图像并发送给显示模块12。中央处理单元21可以通过CPU或MCU来实现，图形处理单元22可以通过 GPU实现。中央处理单元21实现分屏控制，协调资源分别对各分屏对应的视频流进行处理， 接收到的处理指示信息进行转换整合，图形处理单元22对纹理进行相应地处理，通过中央处理单元21和图形处理单元22的配合，实现了对实时获取的视频流的处理，提高了处理过程的高效性和流畅性。在本实施例中，图像处理子模块133具体还可以用于调用分别对应于各分屏的线程，对各分屏对应的视频流的图像进行处理。通过调用不同的线程分别对视频流进行处理， 可以避免各视频流之间的干扰，进一步提高了对视频流的分屏处理效果。进一步地，在本实施例中，图像处理模块13还可以包括模式切换子模块134，模式切换子模块134用于以预设时间间隔接收模式切换指示信息，其中，模式切换指示信息包括分屏指示信息和处理指示信息。通过模式切换子模块134的设置，可以实现在拍摄过程中以预设时间间隔在不同的分屏模式之间进行切换，且不同分屏模式中各分屏的处理效果不同。因此，拍摄的视频中也就包含了上述效果。用户无需进行后期处理就可以拍摄出个性化的视频作品，提高了用户体验。优选地，在本实施例中，图像处理模块13还可以包括转场处理子模块135，转场处理子模块135用于将预设转场动画发送给显示模块12。通过转场处理子模块135的设置， 可以实现模式切换时的平滑渐进过渡，进一步提高了用户体验。在本实施例中，该移动终端还包括存储模块14，相应地，图像处理模块13具体还可以包括拍摄子模块136，拍摄子模块136用于将分屏图像编码后存储至存储模块14。本发明提供的移动终端及其图像分屏处理方法，提供了可扩展的分屏模型，让用户可以轻松点击，即可完成以前需要在个人电脑里面非常耗时耗力的多屏幕组合效果。让用户在拍摄前实时预览选择，并一次性拍摄即完成了高清视频，而无需后续复杂的后期视频编辑制作工作。而且在智能拍摄模式下，普通用户只需一键点击，也可拍摄出来非常个性化的高质量视频作品。在专业拍摄模式下，高级用户可以有很丰富的与图形图像相关的各种细粒度调解功能选项，充分挖掘视频拍摄的可能性，而无需等待在后期制作中进行。本领域普通技术人员可以理解实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
权利要求
1.一种移动终端的图像分屏处理方法，其特征在于，包括图像处理模块获取摄像头模块实时采集到的视频流；所述图像处理模块根据接收到的分屏指示信息确定分屏模式，根据所述分屏模式和所述视频流确定各分屏分别对应的视频流，其中，所述分屏模式用以指示将显示模块的显示区域划分为至少两个所述分屏；所述图像处理模块根据接收到的处理指示信息，分别对各所述分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给所述显示模块。
2.根据权利要求1所述的移动终端的图像分屏处理方法，其特征在于，所述图像处理模块根据接收到的处理指示信息，分别对各所述分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给所述显示模块，包括所述图像处理模块的中央处理单元根据所述处理指示信息生成参数矩阵，根据所述处理指示信息中的分屏标识，确定待处理的视频流，根据所述待处理的视频流的图像生成纹理，将所述参数矩阵、所述纹理和所述分屏模式发送给所述图像处理模块的图形处理单元；所述图形处理单元根据所述参数矩阵对所述纹理进行处理；所述图形处理单元将各所述分屏分别对应的处理后的图像拼接成所述分屏图像并发送给所述显示模块。
3.根据权利要求1所述的移动终端的图像分屏处理方法，其特征在于，所述图像处理模块根据接收到的处理指示信息，分别对各所述分屏对应的视频流的图像进行处理，包括所述图像处理模块调用分别对应于各所述分屏的线程，对各所述分屏对应的视频流的图像进行处理。
4.根据权利要求1或2所述的移动终端的图像分屏处理方法，其特征在于，所述处理指示信息包括以下至少一种非线性处理指示信息、色温处理指示信息，亮度处理指示信息、对比度处理指示信息、 饱和度处理指示信息、色相处理指示信息、曝光度处理指示信息、蒙版处理指示信息和边框处理指示信息。
5.根据权利要求1或2所述的移动终端的图像分屏处理方法，其特征在于，所述图像处理模块根据接收到的分屏指示信息确定分屏模式之前，还包括所述图像处理模块以预设时间间隔接收模式切换指示信息，其中，所述模式切换指示信息包括所述分屏指示信息和所述处理指示信息。
6.根据权利要求5所述的移动终端的图像分屏处理方法，其特征在于，所述图像处理模块以预设时间间隔接收模式切换指示信息之后，所述图像处理模块将所述分屏图像发送给所述显示模块之前，还包括所述图像处理模块将预设转场动画发送给所述显示模块。
7.根据权利要求1或2所述的移动终端的图像分屏处理方法，其特征在于，所述图像处理模块将各处理后的图像拼接成分屏图像之后，还包括所述图像处理模块将所述分屏图像编码后存储至存储模块。
8.一种移动终端，包括摄像头模块和显示模块，其特征在于还包括图像处理模块，所述图像处理模块包括视频流获取子模块，用于获取摄像头模块实时采集到的视频流； 分屏子模块，用于根据接收到的分屏指示信息确定分屏模式，根据所述分屏模式和所述视频流确定各分屏分别对应的视频流，其中，所述分屏模式用以指示将显示模块的显示区域划分为至少两个所述分屏；图像处理子模块，用于根据接收到的处理指示信息，分别对各所述分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给所述显示模块。
9.根据权利要求8所述的移动终端，其特征在于所述图像处理子模块包括中央处理单元和图形处理单元；所述中央处理单元用于根据所述处理指示信息生成参数矩阵，根据所述处理指示信息中的分屏标识，确定待处理的视频流，根据所述待处理的视频流的图像生成纹理，将所述参数矩阵、所述纹理和所述分屏模式发送给所述图像处理模块的图形处理单元；所述图形处理单元用于根据所述参数矩阵对所述纹理进行处理，将各所述分屏分别对应的处理后的图像拼接成所述分屏图像并发送给所述显示模块。
10.根据权利要求8所述的移动终端，其特征在于所述图像处理子模块还用于调用分别对应于各所述分屏的线程，对各所述分屏对应的视频流的图像进行处理。
11.根据权利要求8或9所述的移动终端，其特征在于，所述图像处理模块还包括 模式切换子模块，用于以预设时间间隔接收模式切换指示信息，其中，所述模式切换指示信息包括所述分屏指示信息和所述处理指示信息。
12.根据权利要求11所述的移动终端，其特征在于，所述图像处理模块还包括 转场处理子模块，用于将预设转场动画发送给所述显示模块。
13.根据权利要求8或9所述的移动终端，其特征在于还包括存储模块，相应地，所述图像处理模块还包括拍摄子模块，用于将所述分屏图像编码后存储至所述存储模块。
全文摘要
本发明提供一种移动终端及其图像分屏处理方法，该移动终端的图像分屏处理方法包括图像处理模块获取摄像头模块实时采集到的视频流；图像处理模块根据接收到的分屏指示信息确定分屏模式，根据分屏模式和视频流确定各分屏分别对应的视频流，其中，分屏模式用以指示将显示模块的显示区域划分为至少两个分屏；图像处理模块根据接收到的处理指示信息，分别对各分屏对应的视频流的图像进行处理，将各处理后的图像拼接成分屏图像并发送给显示模块。本发明提供的移动终端及其图像分屏处理方法，实现了对实时采集到的视频流的分屏处理，而且可以对各分屏对应的视频流的图像分别进行处理，提高了移动终端对图像的分屏处理效果。
文档编号H04N5/14GK102547069SQ201210017458
公开日2012年7月4日 申请日期2012年1月19日 优先权日2012年1月19日
发明者崔刚 申请人:西安联客信息技术有限公司