一种基于拍照的音频输出方法和装置的制造方法
【专利摘要】本发明实施例提供了一种基于拍照的音频输出方法和装置，该方法包括：当摄像头采集到预览图像数据时，确定所述预览图像数据中的一个或多个目标对象；对所述一个或多个目标对象计算相对于扬声器的声场角；对所述一个或多个目标对象计算相对于扬声器的偏向角；当接收到拍照指示时，驱动扬声器按照所述声场角和所述偏向角定向输出音频。本发明实施例将拍照的提示声定向输出至该目标对象在实际所映射的被拍照者，使得被拍照者在环境嘈杂等因素下可以听清提示声，从而提高了拍照的成功率，避免重新拍照的几率，减少电子设备的资源浪费，提高拍照的效率，降低拍照的成本；此外，定向输出音频以外的区域一般听不清拍照的提示声，减少对其他人的影响。
【专利说明】
一种基于拍照的音频输出方法和装置
技术领域
[0001]本发明涉及音频处理技术领域，特别是涉及一种基于拍照的音频输出方法和一种基于拍照的音频输出装置。
【背景技术】
[0002]随着科技的发展，各种电子设备，尤其是诸如手机、平板电脑等移动设备，在人们的工作、学习、日常交流等各方面的使用率也越来越高。
[0003]手机、平板电脑等电子设备中，大多数都配置有摄像头，使得拍照成为电子设备的一个重要应用。
[0004]目前，在拍照的场景中，通常会通过扬声器发出提示声，提示用户及被拍照者拍照的时机。
[0005]但是，由于环境嘈杂等因素，有可能会出现被拍照者听不清楚提示声的情况。若被拍照者没听清提示声，稍微动一下，拍出的照片就模糊了，尤其是在拍摄小孩时，由于不能很好的吸引小孩子的注意力，所以很难对小孩子进行拍照。
[0006]若照片模糊，则需要进行重新拍照，浪费电子设备的资源，拍照的效率低，成本高。
[0007]而且，在人员众多等场景下，拍照的提示声可能会传给其他人(非被拍照者)，对其他人造成影响。
【发明内容】
[0008]鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于拍照的音频输出方法和相应的一种基于拍照的音频输出装置。
[0009]为了解决上述问题，本发明实施例公开了一种基于拍照的音频输出方法，包括:
[0010]当摄像头采集到预览图像数据时，确定所述预览图像数据中的一个或多个目标对象；
[0011]对所述一个或多个目标对象计算相对于扬声器的声场角；
[0012]对所述一个或多个目标对象计算相对于扬声器的偏向角；
[0013]当接收到拍照指示时，驱动扬声器按照所述声场角和所述偏向角定向输出音频。
[0014]本发明实施例还公开了一种基于拍照的音频输出装置，包括:
[0015]目标对象确定模块，用于在摄像头采集到预览图像数据时，确定所述预览图像数据中的一个或多个目标对象；
[0016]声场角计算模块，用于对所述一个或多个目标对象计算相对于扬声器的声场角；
[0017]偏向角计算模块，用于对所述一个或多个目标对象计算相对于扬声器的偏向角；
[0018]音频定向输出模块，用于在接收到拍照指示时，驱动扬声器按照所述声场角和所述偏向角定向输出音频。
[0019]本发明实施例包括以下优点:
[0020]本发明实施例通过对预览图像数据中的一个或多个目标对象计算声场角和偏向角，在拍照时按照该声场角和偏向角定向输出音频，将拍照的提示声定向输出至该目标对象在实际所映射的被拍照者，使得被拍照者在环境嘈杂等因素下可以听清提示声，从而提高了拍照的成功率，避免重新拍照的几率，减少电子设备的资源浪费，提高拍照的效率，降低拍照的成本；此外，定向输出音频以外的区域一般听不清拍照的提示声，减少对其他人的影响。
【附图说明】
[0021]图1是本发明的一种基于拍照的音频输出方法实施例的步骤流程图；
[0022]图2A和图2B是本发明的一种声场角和偏向角的场景示例图；
[0023]图3A和图3B是本发明的一种声场角的计算示例图；
[0024]图4A至图4C是本发明的一种偏向角的计算示例图；
[0025]图5是本发明的一种基于拍照的音频输出装置实施例的结构框图。
【具体实施方式】
[0026]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0027]参照图1，示出了本发明的一种基于拍照的音频输出方法实施例的步骤流程图，具体可以包括如下步骤:
[0028]步骤101，当摄像头采集到预览图像数据时，确定所述预览图像数据中的一个或多个目标对象；
[0029]需要说明的是，本发明实施例可以应用在各种电子设备中，例如，手机、平板电脑、个人数字助理、穿戴设备(如眼镜、手表等)等等，本发明实施例对此不加以限制。
[0030]该电子设备的操作系统可以包括Android (安卓)、1S、Windows Phone、Windows等等，通常可以支持摄像头、扬声器的运行。
[0031]摄像头是电子设备上的一个硬件，可以用于拍照和拍摄，可以是前置的(与电子设备的屏幕同方向)，也可以是后置(与电子设备的屏幕反方向)的，本发明实施例对此也不加以限制。
[0032]在实际应用中，景物(Scene)通过摄像头的镜头(Lens)生成的光学图像投射到图像感应处理器(Sensor)表面上，然后转为电信号，经过A/D(模数转换)转换后变为数字图像信号，由数字信号处理芯片(DSP)或编码库中对数字图像信号进行压缩并转化为特定的图像文件格式，通过数据总线传输到移动设备的处理器(Central Processing Unit，CPU)进行处理，则可以在电子设备的显示屏显示了。
[0033]需要说明的是，预览是相对于拍照而言的，该预览图像数据是在拍照存储之前提供给用户调整、选择用的图像数据，保存在缓存中。
[0034]摄像头所采集的是一系列的预览图像数据，即多帧的预览图像数据，本发明实施例中，可以在摄像头不断采集预览图像数据的同时，不断进行声场角和偏向角的计算，直至用户拍照。
[0035]当然，还可以提供一个选择控件，用户可以通过该选择控件选择是否在拍照时定向输出音频，本发明实施例在确定预览图像数据中的一个或多个目标对象之前，可以判断该选择控件的状态，若选择控件的状态为选择定向输出音频，则可以继续执行确定预览图像数据中的一个或多个目标对象的步骤，若选择控件的状态为不定向输出音频，则可以不执行确定预览图像数据中的一个或多个目标对象的步骤，以减少电子设备的资源消耗。
[0036]在本发明的一种优选实施例中，步骤101可以包括如下子步骤:
[0037]子步骤S11，检测所述预览图像数据中的人脸，，确定为一个或多个目标对象。
[0038]—般而言，摄像头在采集预览图像数据时，可以通过人脸检测进行自动对焦，所谓人脸检测可以是指从一帧预览图像数据中标定出所有人脸的位置和尺寸。
[0039]则在本发明实施例中，可以将检测成功的对象认定为目标对象，该目标对象实际所映射的被拍照者可以为人。
[0040]进一步而言，以Android(安卓)系统为例，在Android(安卓)系统中提供了两个抓哟的 API (Applicat1n Program Interface，应用程序编程接口)，android, media.FaceDetector 和 android, media.FaceDetector.Face，实现在位图上进行人脸检测。
[0041]在本发明的另一种优选实施例中，步骤101可以包括如下子步骤:
[0042]子步骤S11，当接收到对焦操作指示时，确定所述对焦操作指示对应的、在所述预览图像数据中的一个或多个人脸为一个或多个目标对象；
[0043]在本发明实施例中，用户可以进行手动对焦，通过点击预览图像数据、选择对焦框等操作触发对焦操作指示，摄像头可以按照该对焦操作指示，对用户选定的对象进行对焦操作。
[0044]则在本发明实施例中，可以将对焦操作指示对应的对象认定为目标对象，该目标对象实际所映射的被拍照者可以为人、也可以为动物、还可以为静物。
[0045]或，
[0046]子步骤S12，当接收到取消操作指示时，取消已确定的一个或多个目标对象。
[0047]在摄像头自动对焦识别的人不是所需的被拍摄者等情况下，用户可以通过点击目标对象等方式触发取消操作指示，取消该目标对象。
[0048]在具体实现中，在预览图像数据中确定的目标对象可以为一个，也可以是多个(即两个或两个以上)，本发明实施例对此不加以限制。
[0049]步骤102，对所述一个或多个目标对象计算相对于扬声器的声场角；
[0050]扬声器，可以为输出音频的硬件，如微型压电薄膜超声传感器。
[0051]假设在扬声器定向输出音频时，在某个范围内被拍摄者能听到该音频，该范围外其他人一般不能听到该音频，则该范围相对于扬声器的角度可以称为声场角。
[0052]即如图2A和图2B所示，声场角R，可以为扬声器201在输出音频的情况下，所能听到音频的角度范围。
[0053]在本发明的一种优选实施例中，步骤102可以包括如下子步骤:
[0054]子步骤S21，测量扬声器与所述一个或多个目标对象之间的目标距离；
[0055]需要说明的是，目标距离是指扬声器与目标对象整体之间的直线距离，并非一定指扬声器与某个目标对象之间的直线距离。
[0056]在本发明实施例的一种优选示例中，子步骤S21进一步可以包括如下子步骤:
[0057]子步骤S211，当所述目标对象为一个时，获取摄像头与所述目标对象之间的候选距离，作为目标距离；
[0058]或者，
[0059]子步骤S212，当所述目标对象为多个时，分别获取摄像头与所述多个目标对象之间的多个候选距离；
[0060]子步骤S213，采用所述多个候选距离计算目标距离。
[0061]由于摄像头与扬声器都配置在同一个电子设备中，两者之间的差距一般很小，因此，摄像头与目标对象之间的候选距离(两者之间的直线距离)，和，扬声器与目标对象之间的候选距离(两者之间的直线距离)的差异很小，一般在可接受的差异范围内。
[0062]并且，通过预览图像数据计算摄像头与目标对象之间的候选距离，因此，在本示例中，为了避免添加额外的硬件，可以将摄像头与目标对象之间的候选距离，替换为，扬声器与目标对象之间的候选距离。
[0063]当目标对象为单个时，可以将摄像头与目标对象之间的候选距离直接设置为扬声器与目标对象之间的目标距离。
[0064]当目标对象为多个时，可以采用摄像头与多个目标对象之间的多个候选距离计算扬声器与目标对象之间的目标距离，如计算多个候选距离平均值、选取多个候选距离种的最大值、选取多个候选距离中的最小值等等，本发明实施例对此不加以限制。
[0065]进一步而言，可以通过以下的一种或多种方式计算摄像头与目标对象之间的候选距离:
[0066]1、立体视觉。
[0067]模仿人类的立体感知分析方法，将双目或多目摄像头在不同视点观察同一目标对象，获取在不同视角下的目标对象的二维图像，通过三角测量原理计算图像像素的位置偏差即视差，来获取目标对象的二维?目息。
[0068]2、运动测距法。
[0069]用弹幕摄像头在不同时间或不同的空间位置获取连续的目标对象的二维图像，通过目标对象在二维图像序列的时间或空间变化计算出目标对象的距离和其他参数。
[0070]3、单目测距。
[0071]单目测距中基于图像处理的测距方法有:对焦测距法(Depth from Focus，DFF)和散焦测距法(Depth from Defocus, DFD)。
[0072]对焦测距法是通过调节光写参数拍摄一系列的图像数据，在这些图像数据中找出最清晰的图像数据，根据这种图像数据的拍摄参数，利用几何光学的成像原理，计算出距离。
[0073]散焦测距法是根据物体散焦程度越大、图像越模糊的原理，利用在不同光学参数下拍摄的两帧或三帧图像数据来确定散焦点扩散函数的扩散参数，根据散焦扩散参数与目标对象距离的关系来进行深度计算。
[0074]当然，上述计算方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他计算方式，本发明实施例对此不加以限制。另外，除了上述计算方式外，本领域技术人员还可以根据实际需要采用其它计算方式，本发明实施例对此也不加以限制。
[0075]此外，除了复用摄像头与目标对象之间的候选距离，还可以直接通过主动测距法测量扬声器与目标对象之间的候选距离，即使用激光等波束或具有一定纹理结构的光找事目标对象，通过分析目标对象反射光的纹理形变或测量光速的传播时间来确定物体的距离，本发明实施例对此亦不加以限制。
[0076]子步骤S22，获取与所述一个或多个目标对象匹配的试听范围距离；
[0077]假设在定向输出音频时，在某个范围内能听到该音频，该范围外一般不能听到该音频，则该范围的距离称为试听范围距离。
[0078]即试听范围距离，可以为能听到定向输出音频的范围的距离。
[0079]应用本发明实施例，可以预先按照目标对象设置匹配的试听范围距离，例如，一个目标对象的试听范围为35cm，两个目标对象的试听范围为45cm等等。
[0080]当然，还可以根据焦距、目标对象在预览图像数据中的差距计算一个合适的试听范围距离，等等，本发明实施例对此不加以限制
[0081]子步骤S23，根据所述目标距离和所述试听范围距离计算声场角。
[0082]在具体实现中，可以采用目标距离和试听范围距离，按照三角函数关系计算声场角。
[0083]在一个实施例中，以目标距离为高、以试听范围距离为底，构建等腰三角形，按照以下三角函数关系计算声场角:
[0084]tanR/2 = (K/2) /L
[0085]其中，R为声场角，K为试听范围距离，L为目标距离。
[0086]当然，除了正切tan函数之外，还可以采用其他三角函数关系计算声场角，本发明实施例对此不加以限制。
[0087]例如，如图3A所示，在目标对象为一个时，测得摄像头与目标对象的候选距离为L0,即可以认为扬声器301与目标对象的目标距离为L。，一个目标对象的试听范围距离为K。，则以目标距离L。为高、以试听范围距离K。为底，构建等腰三角形，按照以下三角函数关系计算声场角Ro:
[0088]tanR0/2 = (K0/2) /L0
[0089]又例如，如图3Β所示，在目标对象为三个时，测得摄像头与目标对象的候选距离分布为L2、L3、L4,即扬声器301与目标对象的目标距离L1= (L 2+L3+L4) /3，三个目标对象的试听范围距离为K1，则以目标距离L1为高、以试听范围距离K i为底，构建等腰三角形，按照以下三角函数关系计算声场角R1:
[0090]tanRi/2 = (^/2) /L1
[0091]步骤103，对所述一个或多个目标对象计算相对于扬声器的偏向角；
[0092]如图2A和图2B所示，偏向角S，可以为目标对象实际所映射的被拍摄者偏离扬声器201正向方向的角度。
[0093]在本发明的一种优选实施例中，步骤103可以包括如下子步骤:
[0094]子步骤S31，将所述预览图像中的目标对象投影到预设的坐标系中，所述坐标系基于扬声器的位置构建；
[0095]由于摄像头采集的预览图像数据与实际的景物一般是等比例的，因此，在预览图像数据中目标对象偏离扬声器的角度与实际中目标对象所映射的被拍摄者相对于扬声器的偏向角的值一般是一样的。
[0096]应用本发明实施例，可以预先基于扬声器的位置构建坐标系。
[0097]需要说明的是，扬声器与出声孔(电子设备外壳上的孔，扬声器发出的音频可以通过该出声孔进行传播)的位置通常是相对的，扬声器在电子设备上的投影位置(即以电子设备的背面作为投影面，将扬声器投影至该投影面的位置)与出声孔经常是重合的，因此，也可以基于出声孔直接构建坐标系。
[0098]其中，投影为投射线通过物体(如扬声器)，向选定的投影面投射，并在该面上得到图形的方法。
[0099]本发明实施例中，可以以扬声器或出声孔为原点，构建坐标系，如直角坐标系。
[0100]以该坐标系的平面为投影平面，将预览图像中的目标对象投影到该坐标系中，进行偏向角的计算。
[0101 ] 子步骤S32，在所述坐标系中，计算所述一个或多个目标对象的焦点坐标；
[0102]焦点坐标，可以为在对目标对象进行对焦操作时焦点的坐标。
[0103]在本发明实施例的一种优选示例中，子步骤S32进一步可以包括如下子步骤:
[0104]子步骤S321，当所述目标对象为一个时，查找所述目标对象左上角的第一坐标、右下角的第二坐标；
[0105]子步骤S322，计算所述第一坐标和所述第二坐标的平均值，作为焦点坐标；
[0106]在本示例中，目标对象为一个区域，则可以以该区域的中点作为焦点坐标。
[0107]或者，
[0108]子步骤S323，当所述目标对象为多个时，查找最左侧的目标对象左上角的第三坐标、右下角的第四坐标，及，最右侧的目标对象左上角的第五坐标、右下角的第六坐标；
[0109]子步骤S324，分别计算所述第三坐标和所述第四坐标的平均值，及，所述第五坐标和所述第六坐标的平均值，作为焦点坐标。
[0110]在本示例中，目标对象为一个区域，则可以以该区域的中点作为焦点坐标。
[0111]若具有多个目标对象，则可以计算最左侧的目标对象的焦点坐标和最右侧的目标对象的焦点坐标，共两个焦点坐标。
[0112]子步骤S33，采用所述焦点坐标计算偏向角。
[0113]在具体实现中，可以采用焦点坐标按照三角函数关系计算偏向角。
[0114]在本发明实施例的一种优选示例中，当目标对象为一个时，可以以焦点坐标的X轴坐标的值和Y轴坐标的值为直角边，构建直角三角形，按照以下三角函数关系计算偏向角:
[0115]t an S = X0/Y0
[0116]其中，S为偏向角，X。为焦点坐标的X轴坐标的值，Y。为焦点坐标的Y轴坐标的值。
[0117]当然，除了正切tan函数之外，还可以采用其他三角函数关系计算偏向角，本发明实施例对此不加以限制。
[0118]在本发明实施例的另一种优选示例中，子步骤S33进一步可以包括如下子步骤:
[0119]子步骤S331，当所述目标对象为多个时，采用最左侧的目标对象的焦点坐标计算第一候选偏向角；
[0120]子步骤S332，采用最右侧的目标对象的焦点坐标计算第二候选偏向角；
[0121]子步骤S333，若最左侧的目标对象和最右侧的目标对象位于扬声器的两侧，则将第一特征角度设置为偏向角；
[0122]其中，所述第一特征角度为所述第一候选偏向角与所述第二候选偏向角之差的一半;
[0123]子步骤S334，若最左侧的目标对象和最右侧的目标对象位于扬声器的同一侧，则将第二特征角度设置为偏向角；
[0124]其中，所述第二特征角度为所述第一候选偏向角与所述第二候选偏向角之和的一半。
[0125]在本示例中，对于每个焦点坐标，可以以焦点坐标的X坐标的值和Y坐标的值为直角边，构建直角三角形，按照三角函数关系计算第一候选偏向角、第二候选偏向角，若最左侧的目标对象和最右侧的目标对象分别位于扬声器正向方向的两侧，则偏向角:
[0126]S= (S1-S2)/2
[0127]若最左侧的目标对象和最右侧的目标对象分别位于扬声器正向方向的同一侧(如左侧或右侧)，则偏向角:
[0128]S = (S^S2)/2
[0129]其中，S为偏向角，S1为第一候选偏向角，S 2为第二候选偏向角。
[0130]需要说明的是，上述计算
[0131]例如，如图4A所示，以扬声器的投影O为圆点，构建XY坐标系，当目标对象为一个时，该目标对象的左上角为点A (X1, Y1)，右下角为点B (X2, Y2)，则焦点坐标U ((XfX2) /2，(YfY2) /2)，则以焦点坐标U的X轴坐标(XJX2) /2和Y轴坐标(YJY2) /2为直角边，构建直角三角形，按照以下三角函数关系计算偏向角S3:
[0132]tanS3= (X !+X2) /2/ (Y^Y2) /2 ；
[0133]又例如，如图4B所示，以扬声器的投影O为圆点，构建XY坐标系，当目标对象为三个时，最左侧的目标对象的左上角为点C (X3，Y3)，右下角为点D (X4，Y4)，则焦点坐标V ((X3+X4) /2, (Y3+Y4) /2)，最右侧的目标对象的左上角为点E (X5, Y5)，右下角为点F (X6, Y7)，则焦点坐标 W((X5+X6)/2，(Υ5+Υ6)/2);
[0134]则分别以焦点坐标V的X轴坐标(X3+X4) /2和Y轴坐标(Y3+Y4) /2为直角边，以及，焦点坐标W的X轴坐标(Χ5+Χ6) /2和Y轴坐标(Υ5+Υ6) /2为直角边，构建直角三角形，按照以下三角函数关系计算第一候选偏向角S5和第二候选偏向角S6:
[0135]tanS5 = (X 3+X4) /2/ (Y3+Y4) /2 ；
[0136]tanS6 = (X 5+X6) /2/ (Y5+Y6) /2 ；
[0137]假设S#30°，S6为50°，则偏向角S 4= (S 6_S5)/2 = 10°，表示对三个目标对象整体向扬声器的右侧偏离10°。
[0138]又例如，如图4C所示，以扬声器的投影O为圆点，构建XY坐标系，当目标对象为三个时，最左侧的目标对象的左上角为点G(x7，Y7)，右下角为点H(X8，Y8)，则焦点坐标为M((X7+X8)/2, (Y7+Ys)/2)，最右侧的目标对象的左上角为点I (X9，Y9)，右下角为点J(X1Q，Y1Q)，则焦点坐标为 N((X9+X10) /2，(Y9+Y10) /2);
[0139]则分别以焦点坐标V的X轴坐标(x7+xs) /2和Y轴坐标(Y7+Ys) /2为直角边，以及，焦点坐标W的X轴坐标(X9+X1(]) /2和Y轴坐标(Y9+Y1(]) /2为直角边，构建直角三角形，按照以下三角函数关系计算第一候选偏向角S8和第二候选偏向角S9:
[0140]tanS8= (X 7+X8) /2/ (Y7+Y8) /2 ；
[0141]tanS9= (X 9+X10) /2/ (Y9+Y10) /2 ；
[0142]假设SsS50°，S9为30°，则偏向角S 7= (S s+S9)/2 = 40°，表示对三个目标对象整体向扬声器的右侧偏离40°。
[0143]步骤104，当接收到拍照指示时，驱动扬声器按照所述声场角和所述偏向角定向输出音频。
[0144]在具体实现中，用户可以通过点击拍照控件、在预览图像数据上点击等操作触发拍照指示，摄像头进行拍照处理，同时，驱动扬声器按照声场角和偏向角定向输出音频，即向目标对象所在的实际区域发出拍照提示声，以提示被拍照者正在进行拍照。
[0145]定向输出音频，可以通过利用超声波在空气中的非线性传播效应产生高指向性可听声的(即声频定向)。
[0146]根据非线性声学理论，两平面波在不均匀介质中非线性传播，当向超声换能器(扬声器的组件之一)输入两列频率为f\、f2的电信号时，超声换能器通过机械振动向空气中发射两列频率为f\、f2的超声波。当这两列超声波在空气中传播的过程中将产生非线性交互作用，从而生成了包括基频其和频fl+f2、差频fl-f 2及各阶谐波在内的复杂声波。由于声衰系数α与频率的平方成正比，频率较高的超声波信号f\、f2、匕+&及各次谐波将很快被空气吸收掉，剩下处于声频范围内的差频信号在空气中继续传播。
[0147]声波是否具有指向性，与声波波长和声源尺寸的比率密切相关。当声波波长远大于声源尺寸时，声波没有指向性；当声波波长接近直至远小于声源尺寸时，声波将逐渐呈现出越来越强的指向性。因此，当贺礼选择超声频率f\、&时，可使差频信号f 于可听范围内，从而通过超声波产生声频波。
[0148]进一步而言，在参数声学阵理论中，超声换能器(扬声器的组件之一)向空气介质中发出强烈调制的超声波，超声波在沿其传播主轴方向(如声场角、偏向角指向的方向)行进的过程中不断通过非线性交互作用调制出声频信号，这些不断解调出来的声频波累积叠加起来，由此一个端射式虚拟声源阵列(end-fire vitual arrray)通过这种方式实现了。这个虚拟声源阵列即所谓的参量声学阵，参量声学阵使得声频波的能量在声波前进方向上不断得到加强。由于超声波具有很强的指向性，传播主轴方向(如声场角、偏向角指向的方向)以外这种叠加加强效应会很微弱，这最终使得声频波在主传播轴方向(如声场角、偏向角指向的方向)具有了很强的指向性。
[0149]需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0150]参照图5，示出了本发明的一种基于拍照的音频输出装置实施例的结构框图，具体可以包括如下模块:
[0151]目标对象确定模块501，用于在摄像头采集到预览图像数据时，确定所述预览图像数据中的一个或多个目标对象；
[0152]声场角计算模块502，用于对所述一个或多个目标对象计算相对于扬声器的声场角；
[0153]偏向角计算模块503，用于对所述一个或多个目标对象计算相对于扬声器的偏向角；
[0154]音频定向输出模块504，用于在接收到拍照指示时，驱动扬声器按照所述声场角和所述偏向角定向输出音频。
[0155]在本发明的一种优选实施例中，所述目标对象确定模块501可以包括如下子模块:
[0156]第一确定子模块，用于检测所述预览图像数据中的人脸，确定为一个或多个目标对象。
[0157]在本发明的一种优选实施例中，所述目标对象确定模块501可以包括如下子模块:
[0158]第二确定子模块，用于在接收到对焦操作指示时，确定所述对焦操作指示对应的、在所述预览图像数据中的一个或多个人脸为一个或多个目标对象；
[0159]或，
[0160]取消子模块，用于在接收到取消操作指示时，取消已确定的一个或多个目标对象。
[0161]在本发明的一种优选实施例中，所述声场角计算模块502可以包括如下子模块:
[0162]目标距离测量子模块，用于测量扬声器与所述一个或多个目标对象之间的目标距离；
[0163]试听范围距离获取子模块，用于获取与所述一个或多个目标对象匹配的试听范围距离，所述试听范围距离为能听到音频的范围的距离；
[0164]第一计算子模块，用于根据所述目标距离和所述试听范围距离计算声场角。
[0165]在本发明实施例的一种优选示例中，所述目标距离测量子模块进一步可以包括如下子模块:
[0166]第一获取子模块，用于在所述目标对象为一个时，获取摄像头与所述目标对象之间的候选距离，作为目标距离；
[0167]或者，
[0168]第二获取子模块，用于在所述目标对象为多个时，分别获取摄像头与所述多个目标对象之间的多个候选距离；
[0169]第二计算子模块，用于采用所述多个候选距离计算目标距离。
[0170]在本发明的一种优选实施例中，所述偏向角计算模块503可以包括如下子模块:
[0171]投影子模块，用于将所述预览图像数据中的目标对象投影到预设的坐标系中，所述坐标系基于扬声器的位置构建；
[0172]焦点坐标计算子模块，用于在所述坐标系中，计算所述一个或多个目标对象的焦点坐标；
[0173]第三计算子模块，用于采用所述焦点坐标计算偏向角。
[0174]在本发明实施例的一种优选示例中，所述焦点坐标计算子模块进一步可以包括如下子模块:
[0175]第一查找子模块，用于在所述目标对象为一个时，查找所述目标对象左上角的第一坐标、右下角的第二坐标；
[0176]第四计算子模块，用于计算所述第一坐标和所述第二坐标的平均值，作为焦点坐标；
[0177]或者，
[0178]第二查找子模块，用于在所述目标对象为多个时，查找最左侧的目标对象左上角的第三坐标、右下角的第四坐标，及，最右侧的目标对象左上角的第五坐标、右下角的第六坐标；
[0179]第五计算子模块，用于分别计算所述第三坐标和所述第四坐标的平均值，及，所述第五坐标和所述第六坐标的平均值，作为焦点坐标。
[0180]在本发明实施例的一种优选示例中，所述第三计算子模块进一步可以包括如下子模块:
[0181]第一候选偏向角计算子模块，用于在所述目标对象为多个时，采用最左侧的目标对象的焦点坐标计算第一候选偏向角；
[0182]第二候选偏向角计算子模块，用于采用最右侧的目标对象的焦点坐标计算第二候选偏向角；
[0183]第一设置子模块，用于在最左侧的目标对象和最右侧的目标对象位于扬声器的两侧时，则将第一特征角度设置为偏向角；
[0184]第二设置子模块，用于在最左侧的目标对象和最右侧的目标对象位于扬声器的同一侧时，则将第二特征角度设置为偏向角；
[0185]其中，所述第一特征角度为所述第一候选偏向角与所述第二候选偏向角之差的一半；所述第二特征角度为所述第一候选偏向角与所述第二候选偏向角之和的一半。
[0186]对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0187]本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0188]本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0189]本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0190]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0191]这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0192]尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0193]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0194]以上对本发明所提供的一种基于拍照的音频输出方法和一种基于拍照的音频输出装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【主权项】
1.一种基于拍照的音频输出方法，其特征在于，包括: 当摄像头采集到预览图像数据时，确定所述预览图像数据中的一个或多个目标对象； 对所述一个或多个目标对象计算相对于扬声器的声场角； 对所述一个或多个目标对象计算相对于扬声器的偏向角； 当接收到拍照指示时，驱动扬声器按照所述声场角和所述偏向角定向输出音频。2.根据权利要求1所述的方法，其特征在于，所述确定所述预图像数据中的一个或多个目标对象的步骤包括: 检测所述预览图像数据中的人脸，确定为一个或多个目标对象。3.根据权利要求1所述的方法，其特征在于，所述确定所述预图像数据中的一个或多个目标对象的步骤包括: 当接收到对焦操作指示时，确定所述对焦操作指示对应的、在所述预览图像数据中的一个或多个人脸为一个或多个目标对象； 或， 当接收到取消操作指示时，取消已确定的一个或多个目标对象。4.根据权利要求1或2或3所述的方法，其特征在于，所述对所述一个或多个目标对象计算相对于扬声器的声场角的步骤包括: 测量扬声器与所述一个或多个目标对象之间的目标距离； 获取与所述一个或多个目标对象匹配的试听范围距离，所述试听范围距离为能听到音频的范围的距离； 根据所述目标距离和所述试听范围距离计算声场角。5.根据权利要求4所述的方法，其特征在于，所述测量扬声器与所述一个或多个目标对象之间的目标距离的步骤包括: 当所述目标对象为一个时，获取摄像头与所述目标对象之间的候选距离，作为目标距离； 或者， 当所述目标对象为多个时，分别获取摄像头与所述多个目标对象之间的多个候选距离；采用所述多个候选距离计算目标距离。6.根据权利要求1或2或3或5所述的方法，其特征在于，所述对所述一个或多个目标对象计算相对于扬声器的偏向角的步骤包括: 将所述预览图像数据中的目标对象投影到预设的坐标系中，所述坐标系基于扬声器的位置构建； 在所述坐标系中，计算所述一个或多个目标对象的焦点坐标；采用所述焦点坐标计算偏向角。7.根据权利要求6所述的方法，其特征在于，所述计算所述一个或多个目标对象的焦点坐标的步骤包括: 当所述目标对象为一个时，查找所述目标对象左上角的第一坐标、右下角的第二坐标； 计算所述第一坐标和所述第二坐标的平均值，作为焦点坐标； 或者， 当所述目标对象为多个时，查找最左侧的目标对象左上角的第三坐标、右下角的第四坐标，及，最右侧的目标对象左上角的第五坐标、右下角的第六坐标； 分别计算所述第三坐标和所述第四坐标的平均值，及，所述第五坐标和所述第六坐标的平均值，作为焦点坐标。8.根据权利要求6或7所述的方法，其特征在于，所述采用所述焦点坐标计算偏向角的步骤包括: 当所述目标对象为多个时，采用最左侧的目标对象的焦点坐标计算第一候选偏向角； 采用最右侧的目标对象的焦点坐标计算第二候选偏向角； 若最左侧的目标对象和最右侧的目标对象位于扬声器的两侧，则将第一特征角度设置为偏向角； 若最左侧的目标对象和最右侧的目标对象位于扬声器的同一侧，则将第二特征角度设置为偏向角； 其中，所述第一特征角度为所述第一候选偏向角与所述第二候选偏向角之差的一半；所述第二特征角度为所述第一候选偏向角与所述第二候选偏向角之和的一半。9.一种基于拍照的音频输出装置，其特征在于，包括: 目标对象确定模块，用于在摄像头采集到预览图像数据时，确定所述预览图像数据中的一个或多个目标对象； 声场角计算模块，用于对所述一个或多个目标对象计算相对于扬声器的声场角； 偏向角计算模块，用于对所述一个或多个目标对象计算相对于扬声器的偏向角； 音频定向输出模块，用于在接收到拍照指示时，驱动扬声器按照所述声场角和所述偏向角定向输出音频。10.根据权利要求9所述的装置，其特征在于，所述目标对象确定模块包括: 第一确定子模块，用于检测所述预览图像数据中的人脸，确定为一个或多个目标对象。11.根据权利要求9所述的装置，其特征在于，所述目标对象确定模块包括: 第二确定子模块，用于在接收到对焦操作指示时，确定所述对焦操作指示对应的、在所述预览图像数据中的一个或多个人脸为一个或多个目标对象； 或， 取消子模块，用于在接收到取消操作指示时，取消已确定的一个或多个目标对象。12.根据权利要求9或10或11所述的装置，其特征在于，所述声场角计算模块包括: 目标距离测量子模块，用于测量扬声器与所述一个或多个目标对象之间的目标距离； 试听范围距离获取子模块，用于获取与所述一个或多个目标对象匹配的试听范围距离，所述试听范围距离为能听到音频的范围的距离； 第一计算子模块，用于根据所述目标距离和所述试听范围距离计算声场角。13.根据权利要求12所述的装置，其特征在于，所述目标距离测量子模块包括: 第一获取子模块，用于在所述目标对象为一个时，获取摄像头与所述目标对象之间的候选距离，作为目标距离； 或者， 第二获取子模块，用于在所述目标对象为多个时，分别获取摄像头与所述多个目标对象之间的多个候选距离； 第二计算子模块，用于采用所述多个候选距离计算目标距离。14.根据权利要求9或10或11或13所述的装置，其特征在于，所述偏向角计算模块包括: 投影子模块，用于将所述预览图像数据中的目标对象投影到预设的坐标系中，所述坐标系基于扬声器的位置构建； 焦点坐标计算子模块，用于在所述坐标系中，计算所述一个或多个目标对象的焦点坐标； 第三计算子模块，用于采用所述焦点坐标计算偏向角。15.根据权利要求14所述的装置，其特征在于，所述焦点坐标计算子模块包括: 第一查找子模块，用于在所述目标对象为一个时，查找所述目标对象左上角的第一坐标、右下角的第二坐标； 第四计算子模块，用于计算所述第一坐标和所述第二坐标的平均值，作为焦点坐标； 或者， 第二查找子模块，用于在所述目标对象为多个时，查找最左侧的目标对象左上角的第三坐标、右下角的第四坐标，及，最右侧的目标对象左上角的第五坐标、右下角的第六坐标； 第五计算子模块，用于分别计算所述第三坐标和所述第四坐标的平均值，及，所述第五坐标和所述第六坐标的平均值，作为焦点坐标。16.根据权利要求14或15所述的装置，其特征在于，所述第三计算子模块包括: 第一候选偏向角计算子模块，用于在所述目标对象为多个时，采用最左侧的目标对象的焦点坐标计算第一候选偏向角； 第二候选偏向角计算子模块，用于采用最右侧的目标对象的焦点坐标计算第二候选偏向角； 第一设置子模块，用于在最左侧的目标对象和最右侧的目标对象位于扬声器的两侧时，则将第一特征角度设置为偏向角； 第二设置子模块，用于在最左侧的目标对象和最右侧的目标对象位于扬声器的同一侧时，则将第二特征角度设置为偏向角； 其中，所述第一特征角度为所述第一候选偏向角与所述第二候选偏向角之差的一半；所述第二特征角度为所述第一候选偏向角与所述第二候选偏向角之和的一半。
【文档编号】G06K9/00GK105827931SQ201510345291
【公开日】2016年8月3日
【申请日】2015年6月19日
【发明人】刘华银
【申请人】维沃移动通信有限公司