影像分割方法
【技术领域】
[0001]本发明是有关于一种影像处理方法与其电子装置，且特别是有关于一种用以进移动态影像分割的影像处理方法。
【背景技术】
[0002]为了在自拍影像上发展出更多样化的数字影像视觉特效，由自拍影像中提取出前景人物对象是一项必备的技术。一般来说，为了从影像中辨视出前景人物对象通常需采用一些脸部辨视演算法(例如边缘侦测、脸部特征侦测等)。
[0003]近来的移动装置经常包含两个相机，其为前相机与后相机。前相机设置在显示面板的同一侧，通常主要用来进行自拍(selfie shooting)、视频通话或其他与使用者本身相关的影像功能。后相机则设置在相对的另一侧，通常主要用来拍摄其他人物、风景或一些背景场景。一般情况下，当使用者握持移动装置时，前相机通常朝向使用者本身。若前相机所拍摄到的前景人物对象可即时提取，则可以将前景人物对象结合至另一影像，以实现某些视觉特效或是特定功能。更进一步，若前相机所拍摄到的前景人物对象可即时提取，则涉及前景人物对象的视觉特效可以即时地在使用者介面上呈现，如此一来，用来设定或调整视觉特效的使用者介面便可以更为直觉且便于操作。
[0004]然而，由影像的背景中提取出前景人物对象需要一定的运算时间。传统作法在提取前景人物对象时存在一定的延迟时间，因此，难以即时地由影像背景中提取出前景人物对象。如此一来，基于自拍影像的视觉特效便难以即时地呈现在使用者眼前。
【发明内容】
[0005]本发明的一方面为一种影像分割方法，其适用于包含第一相机单元以及动态感测器的电子装置，该影像分割方法包含:提供至少一预定模版遮罩；由动态感测器取得姿态数据，姿态数据是相关于第一相机单元的指向或位置；根据姿态数据将预定模版遮罩其中一者调整为适应性模版遮罩；以及，根据适应性模版遮罩由第一相机单元撷取的第一影像中提取对象。
[0006]本发明的另一方面为一种影像分割方法，适用于包含第一相机单元以及动态感测器的电子装置，影像分割方法包含:以该第一相机撷取一第一影像；由该第一影像估算一对象姿态；由该动态感测器取得一姿态数据，该姿态数据是相关于当该第一影像被撷取时该第一相机单元的一指向或一位置；根据该姿态数据分析一相机姿态；根据该对象姿态与该相机姿态，追踪一相对动态；提供一预定模版遮罩；根据该相对动态，将该预定模版遮罩调整为一适应性模版遮罩；以及，根据该适应性模版遮罩，由该第一相机单元撷取的该第一影像中适应性地提取一对象。
[0007]本发明的另一方面为一种影像分割方法，适用于包含一第一相机单元以及一动态感测器的一电子装置，该影像分割方法包含:提供一第一模版遮罩；以该第一相机单元撷取一第一影像，该第一影像包含一对象；根据该第一模版遮罩，由该第一影像中提取该对象；以该第一相机单元撷取一第二影像；由该动态感测器取得一姿态数据，该姿态数据是相关于当该第二影像被撷取时该第一相机单元的一指向或一位置；根据该姿态数据与该第一影像的该对象，追踪由该第一影像至该第二影像之间的一相对动态；根据该相对动态，动态地提供一第二模版遮罩；以及，根据该第二模版遮罩，由该第一相机单元撷取的该第二影像中适应性地提取另一对象。
[0008]基于上述态样，适应性模版遮罩可以根据动态感测器取得的姿态数据、对象姿态与相机姿态之间的相对动态而产生，影像分割方法利用适应性模版遮罩进行对象提取具有较高的精确性以及维持较高的计算效率。
【附图说明】
[0009]为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附附图的说明如下:
[0010]图1绘示根据本发明的一实施例中一种电子装置的示意图；
[0011]图2绘示根据本发明的一实施例中一种根据适应性模版遮罩由影像中提取对象的方法的方法流程图；
[0012]图3绘示根据一操作例中第一相机单元所撷取的影像的示意图；
[0013]图4A绘示根据本发明的一实施例中一种预定模版遮罩的示意图；
[0014]图4B、图4C以及图4D绘示根据本发明的实施例中在不同操作情况下的三种适应性模版遮罩的示意图；
[0015]图5绘示根据本发明的一实施例中一种电子装置的示意图；
[0016]图6绘示根据本发明的一实施例中一种根据适应性模版遮罩由影像中提取对象的方法的方法流程图；
[0017]图7绘示根据本发明的一实施例中一种电子装置的示意图；
[0018]图8绘示根据本发明的一实施例中一种根据适应性模版遮罩由影像中提取对象的方法的方法流程图。
【具体实施方式】
[0019]下文是举实施例配合所附附图作详细说明，以更好地理解本发明的实施方式，但所提供的实施例并非用以限制本发明所涵盖的范围，而结构操作的描述非用以限制其执行的顺序，任何由元件重新组合的结构，所产生具有均等功效的装置，皆为本发明所涵盖的范围。
[0020]请参阅图1，其绘示根据本发明的一实施例中一种电子装置100的示意图。如图1所示，电子装置100包含动态感测器120、第一相机单元140以及处理模块160。处理模块160耦接至动态感测器120以及第一相机单元140。电子装置100适用于执行影像分割(segmentat1n)方法，其用以根据适应性模版遮罩(adaptive model mask)由影像中提取一对象。请一并参阅图2，其绘示根据本发明的一实施例中一种根据适应性模版遮罩由影像中提取对象的方法200的方法流程图。于部分实施例中，由影像中分割得到的对象为一前景对象(例如，人脸、脸部肖像、人体、多人群体或是靠近第一相机单元的一目标对象)。于部分实施例中，由影像中分割得到的对象为一背景中的目标对象(例如，山、海滩、车辆等)Ο
[0021]动态感测器120与第一相机单元140均设置于电子装置100中。因此，当电子装置100移动(且第一相机单元140随之相对应移动)时，动态感测器120用以感测到电子装置100及第一相机单元140的移动状态。于部分实施例中，动态感测器120包含陀螺仪(gyroscope)、重力感测器(g-sensor)、惯性感测器(Inertial Sensor)及/或电子罗盘(electrical compass)。动态感测器120用以产生姿态数据P0S，例如电子装置100上的加速度、转速、旋转力矩、地球磁场强度等信息。
[0022]第一相机单元140用以撷取影像頂Ga。于部分实施例中，第一相机单元140为前相机设置于电子装置100的正面(通常设置在与显示单元184同一面)。因此，于一实施例中，第一相机单元140所撷取的影像IMGa经常是自拍影像(selfie image)。请一并参阅图3，其绘示根据一操作例中第一相机单元140所撷取的影像頂Ga的示意图。
[0023]如图3所示，影像頂Ga当中存在一对象0BJ(于此实施例中为一前景对象)。于此例中，影像IMGa是朝向握持电子装置100的使用者所拍摄的自拍影像，因此其中的前景对象为人物肖像。然而，前景对象0BJ并不仅限于此一使用者。于其他部分实施例中，前景对象0BJ可为多人群体(例如使用者与站在使用者旁的多名友人)、或是人物连同他的个人物品(例如使用者以及使用者手中握持的产品)等。
[0024]为了由影像頂Ga当中提取前景对象0BJ，有多种不同的辨识演算法(例如基于深度信息的对象辨识演算法、人脸特征辨识演算法)以辨认前景对象0BJ并将前景对象0BJ由影像IMGa的背景中分离出来。然而，辨识演算法需要占用大量的演算时间。如此一来，前景对象0BJ的计算结果便无法在影像頂Ga撷取时快速产生(或是即时性产生)。
[0025]为了减少由影像頂Ga中提取前景对象0BJ时的延迟时间，可在影像頂Ga上采用特定的预定模版遮罩(pre-defined model mask)。请一并参阅图4A，其绘示根据本发明的一实施例中一种预定模版遮罩MSKp的示意图。当预定模版遮罩MSKp施加在影像頂Ga上时，影像MGa中通过预定模版遮罩MSKp中空白区域的部分影像被提取为前景对象0BJ，而影像頂Ga中位于预定模版遮罩MSKp中阴影区域的部分影像则被遮蔽。预定模版遮罩MSKp的形状是参考过往经验、统计或以机器学习方式计算常见自拍影