图像处理方法、装置、电子设备及存储介质与流程
本发明涉及图像处理领域，具体而言，涉及图像处理方法、装置、电子设备及存储介质。
背景技术：
随着科学技术的发展和技术产业化应用水平的提升，手机的性能越来越好、硬件配置已经越来越完备。但同时，随着手机市场竞争越来越激烈，拼硬件配置已经不能吸引到更多的电子消费者，所以，大部分的手机厂商都在追求手机产品的差异化功能规划、设计、营销等。如早已流行的手机技术应用有：双摄美颜、3d解锁、ar贴纸等等。然而现有的移动终端拍照是通过对所述移动终端的相机预览画面进行图像识别，确定所述预览画面中的人脸位置；基于所述人脸位置与所述预览画面的黄金分割点的位置关系，计算旋转角度；控制所述移动终端的摄像头转动所述旋转角度，以完成拍照，但是其由于仅考虑人脸位置与所述预览画面的黄金分割点的位置关系，仅简单控制摄像头旋转，导致图像画面容易产生畸变，成像质量不易控制，用户体验较差，应用空间有限。
技术实现要素：
本发明实施例提供的图像处理方法、装置、电子设备及存储介质，可以解决现有技术中存在的图像画面容易产生畸变，成像质量不易控制，用户体验较差，应用空间有限的技术问题。
为了实现上述目的，本发明实施例采用的技术方案如下：
第一方面，本发明实施例提供的一种图像处理方法，应用于电子设备，所述电子设备包括可调摄像头模组，包括：获取当前时刻所采集的预览图像；确定所述预览图像所匹配的预设矫正参数；根据所述预设矫正参数控制所述可调摄像头模组进行姿态调整。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，所述的确定所述预览图像所匹配的预设矫正参数，包括：基于预设场景识别模型提取所述预览图像所对应的场景特征；根据所述场景特征确定所述预览图像对应的场景信息；确定所述场景信息所匹配的预设矫正参数。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，还包括：配置场景分类图像矫正参数表，所述矫正参数表中存储有每个场景所对应的预设矫正参数；确定所述场景信息所匹配的预设矫正参数，包括：从所述场景分类图像矫正参数表中查找与所述场景信息匹配的预设矫正参数。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，所述根据所述预设矫正参数控制所述可调摄像头模组进行姿态调整，包括：根据所述预设矫正参数对所述预览图像进行畸变矫正，得到矫正后的矩阵结果；根据所述矩阵结果动态反馈式调节所述可调摄像头模组的位移和转角。
结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，所述根据所述预设矫正参数对所述预览图像进行畸变矫正，得到矫正后的矩阵结果，包括：确定所述预览图像中的畸变点的原始位置信息；根据所述原始位置信息以及所述预设矫正参数对所述预览图像进行畸变矫正，得到每个所述畸变点矫正后的矫正位置；根据每个所述畸变点所对应的所述矫正位置以及所述原始位置信息确定出所述可调摄像头模组所对应的位移矩阵以及转角矩阵；将所述位移矩阵以及所述转角矩阵作为所述矩阵结果。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，所述根据所述矩阵结果动态反馈式调节所述可调摄像头模组的位移和转角，包括：根据所述位移矩阵动态反馈式调节所述可调摄像头模组的所述位移；根据所述转角矩阵动态反馈式调节所述可调摄像头模组的所述转角。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，所述方法还包括：根据姿态调整后的所述可调摄像头模组执行拍摄操作。
第二方面，本发明实施例提供的一种图像处理装置，应用于电子设备，所述电子设备包括可调摄像头模组，所述装置包括：图像采集模块，用于获取当前时刻所采集的预览图像；数据处理模块，用于确定所述预览图像所匹配的预设矫正参数；姿态调整模块，用于根据所述预设矫正参数控制所述可调摄像头模组进行姿态调整。
第三方面，本发明实施例提供的一种电子设备，包括：存储器、处理器、与所述处理器连接的可调摄像头模组以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述图像处理方法的步骤。
第四方面，本发明实施例提供的一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的图像处理方法。
与现有技术相比，本发明实施例带来了以下有益效果：
本发明实施例提供的图像处理方法、装置、电子设备及存储介质，通过获取当前时刻所采集的预览图像；确定所述预览图像所匹配的预设矫正参数；根据所述预设矫正参数控制所述可调摄像头模组进行姿态调整，从而能够动态的采集到清晰无畸变的图像，使得能够对成像质量进行控制，显著提高用户体验，并且还能够有效提高应用空间，并且无需用户手动调节，且能够避免手动调节出现的误差，以及能够有效解决现有技术中存在的图像画面容易产生畸变、成像质量不易控制、用户体验较差和应用空间有限的技术问题。
本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明第一实施例提供的图像处理方法的流程图；
图2为图1所示的图像处理方法中的一种场景示意图；
图3为图1所示的图像处理方法中的另一种场景示意图；
图4为图1所示的图像处理方法中的标定板；
图5为图1所示的图像处理方法中的畸变图像；
图6为图1所示的图像处理方法中的图像畸变矫正示意图；
图7为图1所示的图像处理方法中的枕型畸变示意图；
图8为图1所示的图像处理方法中的桶型畸变示意图；
图9为图1所示的图像处理方法中矫正后得到的矫正结果示意图；
图10为本发明第二实施例提供的图像处理装置的功能模块示意图；
图11为本发明第三实施例提供的一种电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
第一实施例
由于现有的拍照方法仅考虑人脸位置与预览画面的黄金分割点的位置关系，只能简单控制摄像头旋转，导致存在图像画面容易产生畸变、成像质量不易控制、用户体验较差和应用空间有限等技术问题，为了解决上述技术问题，本实施例首先提供了一种图像处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。以下对本实施例进行详细介绍。
请参阅图1，是本发明实施例提供的图像处理方法的流程图。下面将对图1所示的具体流程进行详细阐述。
步骤s101，获取当前时刻所采集的预览图像。
作为一种实施场景，在监控到触发可调摄像头模组执行拍摄操作时，获取当前时刻所采集的预览图像。例如，用户在进行拍照时，在点击图像采集设备(如手机或摄像装置或可调摄像头模组)的拍摄按钮时所得到的拍摄瞬间的预览数据帧(即预览图像)。例如，图像采集设备(如：可调摄像头模组)在开启预览视频流后，用户在某个场景按下拍摄按钮或者点击拍摄图标的瞬间所采集到的图像。
可选地，拍摄按钮可以是电子设备上的虚拟按钮，也可以是电子设备上的物理按钮，或者是其它控制设备，例如自拍杆上的按键。在此，不作具体限定。
例如，电子设备监控到用户按下了拍摄按钮时，立即采集按下拍摄按钮所对应的时刻的预览图像。
在一可能的实施例中，根据预览图像中的目标物设置预设矫正参数，目标物可以是人，还可以是动物或者是风景(例如，天空、草地、山川)等。
在步骤s101之前，图像处理方法还包括：配置场景分类图像矫正参数表，所述矫正参数表中存储有每个场景所对应的预设矫正参数。
可选地，场景分类图像矫正参数表中存储有用于针对不同拍摄场景有不同的推荐矫正参数(即预设矫正参数)，例如：人像更关注人脸畸变；建筑等场景更关注大线条畸变。
可选地，预设矫正参数为可调摄像头模组的模组参数，如焦距、曝光值、光圈值等。可选地，用户也可以自己调节不同场景的预设矫正参数的大小。
步骤s102，确定所述预览图像所匹配的预设矫正参数。
作为一种实施方式，步骤s102包括：基于预设场景识别模型提取所述预览图像所对应的场景特征；根据所述场景特征确定所述预览图像对应的场景信息；确定所述场景信息所匹配的预设矫正参数。
可选地，预先存储有多个场景的场景特征图像以及与每个场景特征图像匹配的场景信息。通过将所采集到的场景特征与预先存储的场景特征进行比对，从而确定所采集到的场景特征所对应的场景信息。举例来说，如图2和图3所示，根据预设场景识别模型对图2所示的预览图像进行场景识别，得到的场景信息为广场场景，对图3所示的预览图像进行场景识别，得到的场景信息为宠物场景(或动物场景)。
可选地，预设场景识别模型的建立包括：获取标注有场景信息的图像样本数据；通过所述图像样本数据对初始场景识别模型进行神经网络训练，得到预设场景识别模型。
可选地，可以通过获取预先已经标注好有场景信息的图像作为图像样本数据，也可以是通过采集预设数量的各类场景图像(例如，预设数量可以是10万张)，再对每张场景图像进行标注，得到标注数据，标注数据作为图像样本数据。
可选地，通过所述图像样本数据对初始场景识别模型进行神经网络训练，得到预设场景识别模型，包括：将所述图像样本数据按预设比例划分为训练集、验证集和测试集；通过训练集对初始场景识别模型进行神经网络进行神经网络训练，并用所述验证集对训练过程中的中间结果进行验证(实时调整训练参数)；当训练精度和验证精度均达到预设阈值时，停止训练过程，得到训练后的场景识别模型；根据所述测试集对所述训练后的场景识别模型进行测试，得到测试结果；若所述测试结果满足预设规则(例如，性能或能力)，将所述训练后的场景识别模型作为预设场景识别模型。
其中，预设比例可以根据实际需求进行设置。一般地，训练集所占比例大于验证集和测试集所占比例。例如，训练集、验证集和测试集的比例可以是8∶1∶1。
其中，训练精度是指通过训练集对场景识别模型进行训练所得到的误差范围，一般的，预先为训练精度设置有一个预设阈值，预设阈值的大小可以根据实际需求进行设置，在此，不作具体限定。同理，验证精度是指对训练后的场景识别模型进行验证时所得到的一个数值，并且同样预先为验证精度设置有一个预设阈值，预设阈值的大小可以根据实际需求进行设置，在此，不作具体限定。
可选地，确定所述场景信息所匹配的预设矫正参数，包括：从所述场景分类图像矫正参数表中查找与所述场景信息匹配的预设矫正参数。
可选地，所述的从所述场景分类图像矫正参数表中查找与所述场景信息匹配的预设矫正参数，包括：根据所述场景信息的标识信息查找所述场景分类图像矫正参数表中与所述标识信息所匹配的预设矫正参数。
其中，标识信息可以是字符串，也可以是数字或者是单个字符，在此，不作具体限定。
在本实施例中，通过预设场景识别模型能够智能识别每个预览图像所对应的场景，进而能够更智能的区分场景，以实现对每个场景的图像进行畸变矫正，进而有效提高成像质量。
作为另一种实施方式，获取用户针对当前预览图像输入的矫正参数，以根据矫正参数对所述预览图像进行畸变矫正。例如，用户在预览图像显示界面直接输入矫正参数，或者是对预览图像显示界面所显示的预设矫正参数进行调节。
步骤s103，根据所述预设矫正参数控制所述可调摄像头模组进行姿态调整。
作为一种实施方式，步骤s103包括：根据所述预设矫正参数对所述预览图像进行畸变矫正，得到矫正后的矩阵结果；根据所述矩阵结果动态反馈式调节所述可调摄像头模组的位移和转角。可选地，所述根据所述预设矫正参数对所述预览图像进行畸变矫正，得到矫正后的矩阵结果，包括：确定所述预览图像中的畸变点的原始位置信息；根据所述原始位置信息以及所述预设矫正参数对所述预览图像进行畸变矫正，得到每个所述畸变点矫正后的矫正位置；根据每个所述畸变点所对应的所述矫正位置以及所述原始位置信息确定出所述可调摄像头模组所对应的位移矩阵以及转角矩阵；将所述位移矩阵以及所述转角矩阵作为所述矩阵结果。
其中，原始位置信息为畸变点在成像设备上的原始位置。所述原始位置为畸变点在二维坐标系下的二维坐标。
可选地，畸变点的原始位置满足：
其中，k为畸变图像中的像素与镜头(如可调摄像头模组的镜头)中心的距离和理论距离的比值，r为畸变图像中的像素与镜头中心的距离。
其中，理论距离是指在没有畸变的图像中，以可调摄像头模组的镜头为中心所确定的同心圆的半径(即光圈值)。例如，如图4所示，为没有发生畸变的图像a，在没有畸变的图像a中从近到远的同心圆(1-5)半径应该为ra(ra1，ra2，ra3，ra4，ra5)，当然，同心圆的数量可以更多。如图5所示的畸变图像b，在畸变图像b中测出来的同心圆半径为rb(rb1，rb2，rb3，rb4，rb5，rb6，rb7)。
例如，如图6中的第一幅图为畸变图，通过根据预设矫正参数对该图像进行畸变矫正，得到矫正后的图像，如图6中的第二幅图(从左至右的顺序)所示。
举例来说，如图7、图8所示，预览图像为枕型畸变图像或桶型畸变图像时，通过预设矫正参数对该预览图像进行畸变矫正，得到如图9所示的矫正后的示意图，从而实现动态矫正图像畸变，使得后期所得到的拍摄图像无畸变，进而能够控制成像质量，有效提高成像质量，进一步显著地提升用户体验。
可选地，根据所述矩阵结果动态反馈式调节所述可调摄像头模组的位移和转角，包括：根据所述位移矩阵动态反馈式调节所述可调摄像头模组的所述位移；根据所述转角矩阵动态反馈式调节所述可调摄像头模组的所述转角。
可选地，所述原始位置信息满足：
在本实施例中，通过对图像进行畸变矫正，动态反馈式调节可调摄像头模组的姿态，让图像成像无畸变，提升图像成像质量，改善用户体验，即通过根据矩阵结果对可调摄像头模组进行姿态动态调整，以实现动态反馈式调节可调摄像头，从而动态实现采集到清晰无畸变的图像，使得无需用户手动调节，并且能够避免手动调节出现的误差，以及能够有效解决现有技术中仅简单控制摄像头旋转使得图像画面容易产生畸变的技术问题。
在一可选的实施例中，所述方法还包括：根据姿态调整后的所述可调摄像头模组执行拍摄操作。
可选地，可调摄像头模组可以是可旋转的摄像头模组，也可以是可伸缩摄像头模组。
可选地，拍摄操作可以拍照或者是录像。
可选地，在执行拍摄操作后，可以将所采集的图像显示在电子设备上或者是通过网络发送至显示终端(如显示屏)上进行。
可选地，将执行拍摄操作后所得到的图像进行存储，如存储在本地或者是云端。
本发明实施例所提供的图像处理方法，通过获取当前时刻所采集的预览图像，确定该预览图像所匹配的预设矫正参数；根据预设矫正参数控制可调摄像头模组进行姿态调整。进而实现对预览图像进行畸变矫正，以及通过动态反馈式调节可调摄像头，从而能够动态的采集到清晰无畸变的图像，使得能够对成像质量进行控制，显著提高用户体验，并且还能够有效提高应用空间，并且无需用户手动调节，且能够避免手动调节出现的误差，以及能够有效解决现有技术中存在的图像画面容易产生畸变、成像质量不易控制、用户体验较差和应用空间有限的技术问题。
第二实施例
对应于第一实施例中的图像处理方法，图10示出了采用第一实施例所示的图像处理方法一一对应的图像处理装置。如图10所示，所述图像处理装置400应用于电子设备，所述电子设备包括可调摄像头模组，所述图像处理装置400包括图像采集模块410、数据处理模块420和姿态调整模块430。其中，图像采集模块410、数据处理模块420和姿态调整模块430的实现功能与第一实施例中对应的步聚一一对应，为避免赘述，本实施例不一一详述。
图像采集模块410，用于获取当前时刻所采集的预览图像。
数据处理模块420，用于确定所述预览图像所匹配的预设矫正参数。
可选地，所述数据处理模块420还包括：场景识别单元和矫正参数获取单元；其中，
场景识别单元，用于确定所述预览图像所对应的场景信息；
矫正参数获取单元，用于确定所述场景信息所匹配的预设矫正参数。
可选地，所述场景识别单元还用于：根据预设场景识别模型对所述预览图像进行场景识别，得到所述预览图像对应的场景信息。
可选地，在所述场景识别单元之前，图像处理装置400还包括：模型训练模块，
模型训练模块用于，获取标注有场景信息的图像样本数据；通过所述图像样本数据对初始场景识别模型进行神经网络训练，得到预设场景识别模型。
可选地，在图像采集模块410之前，图像处理装置400还包括：配置模块.
配置模块，用于配置场景分类图像矫正参数表，所述矫正参数表中存储有每个场景所对应的预设矫正参数。
数据处理模块420还用于：从所述场景分类图像矫正参数表中查找与所述场景信息匹配的预设矫正参数。
可选地，从场景分类图像矫正参数表中查找与场景信息匹配的预设矫正参数，包括：根据所述场景信息的标识信息查找场景分类图像矫正参数表中与标识信息所匹配的预设矫正参数。
可选地，数据处理模块420还用于：基于预设场景识别模型提取所述预览图像所对应的场景特征；根据所述场景特征确定所述预览图像对应的场景信息；确定所述场景信息所匹配的预设矫正参数。
姿态调整模块430，用于根据所述预设矫正参数控制所述可调摄像头模组进行姿态调整。
可选地，姿态调整模块430，还用于：根据所述预设矫正参数对所述预览图像进行畸变矫正，得到矫正后的矩阵结果；根据所述矩阵结果动态反馈式调节所述可调摄像头模组的位移和转角。可选地，所述根据所述预设矫正参数对所述预览图像进行畸变矫正，得到矫正后的矩阵结果，包括：确定所述预览图像中的畸变点的原始位置信息；根据所述原始位置信息以及所述预设矫正参数对所述预览图像进行畸变矫正，得到每个所述畸变点矫正后的矫正位置；根据每个所述畸变点所对应的所述矫正位置以及所述原始位置信息确定出所述可调摄像头模组所对应的位移矩阵以及转角矩阵；将所述位移矩阵以及所述转角矩阵作为所述矩阵结果。
可选地，所述根据所述矩阵结果动态反馈式调节所述可调摄像头模组的位移和转角，包括：根据所述位移矩阵动态反馈式调节所述可调摄像头模组的所述位移；根据所述转角矩阵动态反馈式调节所述可调摄像头模组的所述转角。
在一可选的实施例中，所述装置还包括：根据姿态调整后的所述可调摄像头模组执行拍摄操作。
第三实施例
如图11所示，是电子设备300的示意图。所述电子设备300包括存储器302、处理器304、与所述处理器304连接的可调摄像头模组306存储在所述存储器302中并可在所述处理器304上运行的计算机程序303以及用于显示根据调整后的可调摄像头模组306执行拍摄操作所得到的图像的显示器305，所述计算机程序303被处理器304执行时实现第一实施例中的所述图像处理方法，为避免重复，此处不再赘述。或者，所述计算机程序303被处理器304执行时实现第二实施例所述图像处理装置中各模块/单元的功能，为避免重复，此处不再赘述。
示例性的，计算机程序303可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器302中，并由处理器304执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序303在电子设备300中的执行过程。例如，计算机程序303可以被分割成第二实施例中的图像采集模块410、数据处理模块420和姿态调整模块430，各单元的具体功能如第一实施例或第二实施例所述，在此不一一赘述。
电子设备300可以是带可调摄像头模组306的桌上型计算机、笔记本、掌上电脑或智能手机等设备。
其中，存储器302可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器302用于存储程序，所述处理器304在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器304中，或者由处理器304实现。
处理器304可能是一种集成电路芯片，具有信号的处理能力。上述的处理器304可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
显示器305可以是lcd显示屏，也可以是led显示屏。例如，手机上的显示屏。
可调摄像头模组306可以是可旋转的摄像头模组，也可以是可伸缩摄像头模组。
可以理解的是，图11所示的结构仅为电子设备300的一种结构示意图，电子设备300还可以包括比图11所示更多或更少的组件。图11中所示的各组件可以采用硬件、软件或其组合实现。
第四实施例
本发明实施例还提供一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，所述计算机程序被处理器执行时实现第一实施例中的所述图像处理方法，为避免重复，此处不再赘述。或者，所述计算机程序被处理器执行时实现第二实施例所述图像处理装置中各模块/单元的功能，为避免重复，此处不再赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
- 还没有人留言评论。精彩留言会获得点赞！