一种通过表情识别拍摄照片的方法
【专利摘要】一种通过表情识别拍摄照片的方法，用于移动设备照片或者视频拍摄，主摄像头采集需要拍摄的物体或者场景，辅助摄像头采集包含拍摄者完整的面部信息的图像信息，判断辅助摄像头捕获到的拍摄者面部表情或者动作的图像信息与预设条件是否吻合，如果条件满足，触发拍摄的快门流程，完成照片拍摄。本发明使移动设备的拍摄手段更加灵活，在拍摄者不方便触摸快门按键的时候，只需要一个简单的面部表情或者动作就可以拍摄到照片，另一方面，本发明所述触发快门的方法是非接触式的，极大地减少人为抖动造成照片模糊的机会。
【专利说明】一种通过表情识别拍摄照片的方法
【技术领域】
[0001]本发明涉及一种通过表情识别拍摄照片的方法。
【背景技术】
[0002]目前人们对拍摄的需求越来越高，特别是随着智能化的移动设备的普及，人们希望做到随时随地，灵活方便地拍摄照片或者视频片段。然而目前大部分的拍摄方法都是接触式的，比如机械和电子快门，都是物理按键，拍摄者使用的时候，一方面需要稳定移动设备，另一方面需要按下快门，很不适合单手操作，缺乏灵活性。随着智能手机发展，拍照按钮被屏幕上快门图标取代，但是由于没有触感，经常出现按错位置的情况。而且接触移动设备时不可避免地造成设备抖动，或多或少会引起拍摄的画面模糊。
[0003]现有的与表情识别触发拍照相关的专利有我国2009年公开的笑脸追踪系统及方法(申请号:200710203477.X)，此专利是一种笑脸追踪方法，通过相机模块的镜头拍摄图片；将上述拍摄的图片转换成黑白图片；读取所述黑白图片上的各个点的亮度值；通过上述亮度值及脸部的基本轮廓截取图片中的头像图形，及在上述截取的头像图形中截取嘴唇图形；比较上述截取的嘴唇图形与相机模块保存的人脸微笑时嘴唇图形的相似度，得出一个百分比的值，所述百分比的值作为相似度的值；判断所述相似度的值是否大于相机模块设定的值；当所述相似度的值大于相机模块设定的值时，将拍摄的图片保存到相机模块的存储介质中。
[0004]笑脸追踪系统及方法有触发快门拍摄照片的功能，但是准确地讲，这种方法并不是拍摄者主动触发的拍摄手段，应用场景只有被拍摄对象是人物，并且在微笑的情况才会自动触发快门。如果需要拍摄的画面里没有人物笑脸的时候，拍摄者还是需要借助物理按键和触摸按钮来主动触发快门拍摄。
[0005]因此，急需提供一种灵活的非接触式的拍摄照片的方法。
【发明内容】
[0006]本发明提供的一种通过表情识别拍摄照片的方法，触发快门的方法是非接触式的，提高了拍摄的灵活性，准确性，降低了照片模糊的可能性。
[0007]为了达到上述目的，本发明提供一种通过表情识别拍摄照片的方法，该方法用于移动设备上，基于移动设备上的硬件实现，所述的硬件包含主控制模块、电路连接该主控制模块的主摄像头、辅助摄像头、数字信号处理器DSP、内部存储器和显示屏，该方法包含以下步骤:
步骤1、移动设备进入拍摄程序，主控制模块判断内部存储器中是否已经存储有面部表情或者动作的图像信息，如果有，进行步骤2，如果没有，进行步骤1.1 ；
步骤1.1、主控制模块提醒用户是否要输入表情或者动作图像信息，如果用户选择输入表情或者动作图像信息，则主控制模块控制辅助摄像头捕获拍摄者的表情或者动作的图像信息，然后用于后面触发快门的判断条件，如果用户不选择输入表情或者动作图像信息，则后续在判断是否触发快门的时候完全依靠图像处理算法，最后跳转到步骤2 ；
步骤2、进入到预览模式，主控制模块控制主摄像头采集需要拍摄的物体或者场景，经过数字信号处理器DSP处理之后，在显示屏上显示，同时，主控制模块控制辅助摄像头也开始采集图像信息，通过数字信号处理器DSP处理捕获的面部轮廓信息；
步骤3、主控制模块判断辅助摄像头采集到的图像信息是否包含拍摄者完整的面部信息，如果拍摄者没有面对辅助摄像头，主控制模块应当通过显示屏提醒拍摄者目前的状态，并且跳转到步骤1，重新进入下一次的拍摄流程，继续捕捉面部信息；
步骤4、数字信号处理器DSP开始对拍摄者完整的面部图像信息进行计算和分析；
步骤5、主控制模块对步骤4的计算结果进行判断，如果捕获的图像数据和用户预设的条件吻合，那么进行步骤6，如果条件不吻合，主控制模块通过显示屏提醒拍摄者目前的状态，并且跳转到步骤1，重新进入下一次的拍摄流程，继续捕捉面部信息；
步骤6、主控制模块触发拍摄的快门流程，设置好合适的拍摄参数，完成自动对焦过程，控制王摄像头拍摄照片，将照片存储在内部存储器当中。
[0008]步骤7、主控制模块判断拍摄者的面部表情或者动作是否仍然满足预设条件，如果满足，跳转到步骤6，实现连续拍摄功能，如果不满足，跳转到步骤8 ；
步骤8、拍摄程序回到预览模式，并且跳转到步骤1，重新进入下一次的拍摄流程，继续捕捉面部信息，等待下一次拍摄。
[0009]所述的步骤4中，纵向上，数字信号处理器DSP分别处理得到的每一帧图像信息，记录拍摄者面部表情或者动作的变化过程，横向上，数字信号处理器DSP用得到的图像信息和预存在内部存储器里拍摄者的表情或者动作信息比对；如果用户没有使用预存图像信息，那么数字信号处理器DSP只做纵向分析。
[0010]所述的移动设备是智能手机，或数码相机。
[0011]本发明的优点在于:
1、本发明实现了一种通过表情识别触发快门拍摄的方法，以拍摄者的面部表情或者动作作为触发条件，使用起来更加灵活，具有趣味性。
[0012]2、本发明具有主要数据采集模块(主摄像头)和辅助数据采集模块(辅助摄像头)，辅助数据采集模块不依靠被拍摄物体和场景，连续对拍摄者的面部表情或者动作进行捕捉。
[0013]3、本发明是一种非触摸式的快门触发手段，避免接触造成移动设备抖动，减少照片模糊的可能性。
【专利附图】
【附图说明】
[0014]图1是本发明的硬件结构示意图。
[0015]图2是本发明的流程图。
【具体实施方式】
[0016]以下根据图1和图2，具体说明本发明的较佳实施例。
[0017]本发明提供一种通过表情识别拍摄照片的方法，该方法可用于移动设备上。
[0018]所述的移动设备可以是智能手机，数码相机，但是并不局限于这些移动设备。[0019]本发明基于移动设备上的硬件实现，如图1所示，这些硬件包含主控制模块101、电路连接该主控制模块101的主摄像头102、辅助摄像头103、数字信号处理器DSP104、内部存储器105和显示屏106。
[0020]所述的主控制模块101可以采用arm、MIPS等架构的微处理芯片，完成整个拍摄流程的监测和控制。
[0021]所述的主摄像头102和辅助摄像头103是数据输入装置，主摄像头102是用来采集被拍摄物体或者场景的，根据需要选择合适的规格，辅助摄像头103用来捕捉拍摄者面部的表情和动作，所以选择视角较大的摄像头，以便完整地得到拍摄者的面部区域，并且帧率足够大，这样能够获得拍摄者完整的面部动作。
[0022]主控制模块101通过I2C控制总线向主摄像头102和辅助摄像头103发送命令，完成摄像头寄存器初始化和曝光控制，主摄像头102和辅助摄像头103则通过MIPI串行总线或者并行总线向主控制模块101发送图像数据，这样就完成了主控制模块101和摄像头的双向通信。
[0023]所述的数字信号处理器DSP104对主控制模块101通过摄像头获得的图像数据进行处理，该数字信号处理器DSP104和主控制模块101之间通过内部总线进行通信。
[0024]图像数据包括两部分，一部分是主摄像头102获得的被拍摄物体和场景的图像数据，这部分是拍摄者打算记录下来的，所以在数字信号处理器DSP104中经过白平衡算法，曝光算法，自动对焦算法等算法处理，最真实，优质地显示到显示屏106上，给拍摄者预览；另一部分是辅助摄像头103获得的拍摄者的面部表情或者动作的图像数据，这部分是用来作为触发快门的判断条件，因此并不需要显示到显示屏106上，数字信号处理器DSP104主要计算出图像数据的轮廓信息，判断拍摄者眼睛，嘴巴，眉毛等部位的位置，在不停获取拍摄者面部图像数据的过程中，计算嘴角有没有扬起来，拍摄者有没有点头等。
[0025]本发明提供一种通过表情识别拍摄照片的方法，该方法包含以下步骤:
步骤1、移动设备进入拍摄程序，主控制模块101判断内部存储器105中是否已经存储有面部表情或者动作的图像信息，如果有，进行步骤2，如果没有，进行步骤1.1 ；
每个人表情动作多种多样，提前存储拍摄者的表情信息，比如微笑，点头，皱眉等可以提高判断的准确性，比如，拍摄者选择微笑作为触发快门的判断条件，程序会保存拍摄者面部各部位的轮廓信息，拍摄者的肤色信息，拍摄者从严肃到微笑这个过程中嘴角移动的形状和幅度；
步骤1.1、主控制模块101提醒用户是否要输入表情或者动作图像信息，如果用户选择输入表情或者动作图像信息，则主控制模块101控制辅助摄像头103捕获拍摄者的表情或者动作的图像信息，然后用于后面触发快门的判断条件，如果用户不选择输入表情或者动作图像信息，则后续在判断是否触发快门的时候完全依靠图像处理算法，最后跳转到步骤2 ；
步骤2、进入到预览模式，主控制模块101控制主摄像头102采集需要拍摄的物体或者场景，经过数字信号处理器DSP104处理之后，在显示屏106上显示，同时，主控制模块101控制辅助摄像头103也开始采集图像信息，通过数字信号处理器DSP104处理捕获的面部轮
廓信息；
步骤3、主控制模块101判断辅助摄像头103采集到的图像信息是否包含拍摄者完整的面部信息，如果拍摄者没有面对辅助摄像头103，主控制模块101应当通过显示屏106提醒拍摄者目前的状态，并且跳转到步骤I，重新进入下一次的拍摄流程，继续捕捉面部信息；步骤4、数字信号处理器DSP104开始对拍摄者完整的面部图像信息进行计算和分析；拍摄者在预览的过程中，辅助摄像头保持对拍摄者面部表情或者动作的捕捉，当拍摄者希望拍摄当下预览里的画面时，只需要做出预设的面部表情或者动作；
纵向上，数字信号处理器DSP104分别处理得到的每一帧图像信息，记录拍摄者面部表情或者动作的变化过程，横向上，数字信号处理器DSP104用得到的图像信息和预存在内部存储器105里拍摄者的表情或者动作信息比对；
如果用户没有使用预存图像信息，那么数字信号处理器DSP104只做纵向分析；
步骤5、主控制模块101对步骤4的计算结果进行判断，如果捕获的图像数据和用户预设的条件吻合，那么进行步骤6，如果条件不吻合，主控制模块101通过显示屏106提醒拍摄者目前的状态，并且跳转到步骤I，重新进入下一次的拍摄流程，继续捕捉面部信息；
步骤6、主控制模块101触发拍摄的快门流程，设置好合适的拍摄参数，完成自动对焦过程，控制主摄像头103拍摄照片，将照片存储在内部存储器105当中。
[0026]步骤7、主控制模块101判断拍摄者的面部表情或者动作是否仍然满足预设条件，如果满足，跳转到步骤6，实现连续拍摄功能，如果不满足，跳转到步骤8 ；
步骤8、拍摄程序回到预览模式，并且跳转到步骤1，重新进入下一次的拍摄流程，继续捕捉面部信息，等待下一次拍摄。
[0027]本发明主要用于移动设备照片或者视频拍摄，判断辅助摄像头捕获到的拍摄者面部表情或者动作的图像信息与预设条件是否吻合，如果条件满足，触发拍摄的快门流程，完成照片拍摄，本发明使移动设备的拍摄手段更加灵活，在拍摄者不方便触摸快门按键的时候，只需要一个简单的面部表情或者动作就可以拍摄到照片，另一方面，本发明所述触发快门的方法是非接触式的，极大地减少人为抖动造成照片模糊的机会。
[0028]尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
【权利要求】
1.一种通过表情识别拍摄照片的方法，该方法用于移动设备上，基于移动设备上的硬件实现，所述的硬件包含主控制模块(101)、电路连接该主控制模块(101)的主摄像头(102)、辅助摄像头(103)、数字信号处理器DSP (104)、内部存储器(105)和显示屏(106); 其特征在于，该方法包含以下步骤: 步骤1、移动设备进入拍摄程序，主控制模块(101)判断内部存储器(105)中是否已经存储有面部表情或者动作的图像信息，如果有，进行步骤2，如果没有，进行步骤1.1 ； 步骤1.1、主控制模块(101)提醒用户是否要输入表情或者动作图像信息，如果用户选择输入表情或者动作图像信息，则主控制模块(101)控制辅助摄像头(103)捕获拍摄者的表情或者动作的图像信息，然后用于后面触发快门的判断条件，如果用户不选择输入表情或者动作图像信息，则后续在判断是否触发快门的时候完全依靠图像处理算法，最后跳转到步骤2 ； 步骤2、进入到预览模式，主控制模块(101)控制主摄像头(102)采集需要拍摄的物体或者场景，经过数字信号处理器DSP (104)处理之后，在显示屏(106)上显示，同时，主控制模块(101)控制辅助摄像头(103)也开始采集图像信息，通过数字信号处理器DSP (104)处理捕获的面部轮廓信息； 步骤3、主控制模块(101)判断辅助摄像头(103)采集到的图像信息是否包含拍摄者完整的面部信息，如果拍摄者没有面对辅助摄像头(103)，主控制模块(101)应当通过显示屏(106)提醒拍摄者目前的状态，并且跳转到步骤I，重新进入下一次的拍摄流程，继续捕捉面部信息； 步骤4、数字信号处理器DSP (104)开始对拍摄者完整的面部图像信息进行计算和分析； 步骤5、主控制模块(101)对步骤4的计算结果进行判断，如果捕获的图像数据和用户预设的条件吻合，那么进行步骤6，如果条件不吻合，主控制模块(101)通过显示屏(106)提醒拍摄者目前的状态，并且跳转到步骤1，重新进入下一次的拍摄流程，继续捕捉面部信息； 步骤6、主控制模块(101)触发拍摄的快门流程，设置好合适的拍摄参数，完成自动对焦过程，控制主摄像头(103)拍摄照片，将照片存储在内部存储器(105)当中； 步骤7、主控制模块(101)判断拍摄者的面部表情或者动作是否仍然满足预设条件，如果满足，跳转到步骤6，实现连续拍摄功能，如果不满足，跳转到步骤8 ； 步骤8、拍摄程序回到预览模式，并且跳转到步骤1，重新进入下一次的拍摄流程，继续捕捉面部信息，等待下一次拍摄。
2.如权利要求1所述的通过表情识别拍摄照片的方法，其特征在于，所述的步骤4中，纵向上，数字信号处理器DSP (104)分别处理得到的每一帧图像信息，记录拍摄者面部表情或者动作的变化过程，横向上，数字信号处理器DSP (104)用得到的图像信息和预存在内部存储器(105)里拍摄者的表情或者动作信息比对；如果用户没有使用预存图像信息，那么数字信号处理器DSP (104)只做纵向分析。
3.如权利要求1所述的通过表情识别拍摄照片的方法，其特征在于，所述的移动设备是智能手机，或数码相机。
【文档编号】H04N5/232GK103685940SQ201310600001
【公开日】2014年3月26日 申请日期:2013年11月25日 优先权日:2013年11月25日
【发明者】崔宗敏, 郑新建, 邵笑杰, 王琼 申请人:上海斐讯数据通信技术有限公司