基于输入声音信号的影像存储装置及方法与流程

本发明涉及基于输入声音信号的影像存储装置及方法，更详细地，涉及一种在汽车黑匣子除加速度传感器值之外附加输入有效的冲击事件声音时存储影像的基于输入声音信号的影像存储装置及方法。

背景技术：

一般而言，汽车黑匣子根据车辆发动状态分为行使模式、停车模式运转。

在行使模式下，以普通平时录像、平时冲击录像、手动录像等3种录像方式存储画面。

平时录像是以一定时间单位拍摄行使中的所有影像，并存储于平时录像文件夹的方式，平时冲击录像是在发生使用者设定的感度以上的冲击时，冲击时点(以下称为冲击事件)为基准，拍摄之前一定时间和之后一定时间的影像，并存储于平时冲击文件夹的方式，手动录像是按下特定按钮时，以按下按钮的时点为基准，拍摄之前一定时间和之后一定时间的影像，并存储于手动录像文件夹的方式。

在平时冲击录像中为了感知冲击事件，作为输入装置主要使用加速度传感器，冲击事件感知运算法是加速度传感器的X，Y，Z方向的加速度值的瞬间大小和最近一定时间期间平均大小的差异输出为使用者预先设定的感度以上的值时，称其为冲击事件。

使用加速度传感器的冲击事件感知运算法是判断瞬间加速度值是否成为设定值以上，因此，不仅在原先汽车黑匣子要感知的车辆的冲突等的有效的冲击事件(True Positive)，而根据车辆行驶的道路环境对于因道路破损、限速带等发生的无需的事件和停车时开闭车门及关闭车厢时也发生无效的冲击事件(False Positive)。

在发生此类无效的事件时，将一定时间的录像影像存储于平时冲击文件夹，从而，使得有限大小的存储空间被无效的冲击事件影像文件占满，导致使用者难以找到实际有效的冲击事件，并且，继续存储实际上无需存储的较大影像文件，因此，缩短SD卡型的闪存(Flash Memory)的寿命。

并且，当无效的冲击事件增多而占满有限的大小的文件夹时，首先覆盖时间最长的影像文件，此时，可能覆盖有效的冲击事件。

[先行技术文献]

(专利文献1)韩国登录专利公报注册号第10-1015408号

技术实现要素：

(一)要解决的技术问题

本发明为了解决上述的问题，提供一种基于输入声音信号的影像存储装置及方法，预先设定有效的冲击事件的有效声音和无效的冲击事件的无效声音后，在汽车黑匣子除加速度传感器值之外附加输入由冲击事件引起的冲击声音时，将所述冲击声音与有效声音及无效声音进行比较，如果与有效声音匹配时，以发生冲击事件的时点为基准，存储之前一定时间的影像和之后一定时间的影像，如果与无效声音匹配时，不存储影像，从而，在具有有限的存储空间的存储器能够存储更多量的影像。

(二)技术方案

为了实现上述目的，本发明的基于输入声音信号的影像存储装置，包括：加速度传感器部，输出由冲击事件发生的加速度传感器值；话筒部，接收输入的由所述冲击事件发生的冲击声音；摄像头部，拍摄外部影像；及处理部，感知通过所述加速度传感器部的冲击事件，通过所述话筒部输入的冲击声音与预先设定存储的有效声音相应时，将以发生所述冲击事件的时点为基准在之前一定时间和之后一定时间期间通过摄像头部拍摄的影像存储于所述存储部。

并且，包括：存储部，存储有包括预先设定的有效声音及无效声音的验证声音。

所述有效声音为与车辆事故有关的声音，所述无效声音为与车辆事故无关的声音。

所述处理部感知通过所述加速度传感器部的冲击事件，通过所述话筒部输入的冲击声音与预先设定存储的无效声音相应时，通过所述摄像头部拍摄的影像不存储于所述存储部。

所述处理部如果目前加速度传感器值与将之前加速度传感器值平均的平均值的差异大于预先设定的检测设定值，判定为冲击事件。

并且，为了达到上述目的，本发明的基于输入声音信号的影像存储方法，包括：(a)传感器比较步骤，处理部将通过加速度传感器部输入的目前的加速度传感器值与将之前加速度传感器值平均的平均值的差异，与预先设定的检测设定值进行比较；(b)声音比较步骤，所述传感器比较步骤中，如果目前的加速度传感器值与所述平均值的差异大于检测设定值，将通过话筒部输入的冲击事件的冲击声音与预先设定存储的验证声音进行比较；及(c)影像存储步骤，所述声音比较步骤中，如果所述冲击声音与所述验证声音中的有效声音匹配时，将以发生所述冲击事件的时点为基准之前一定时间和之后一定时间期间通过摄像头部拍摄的影像存储于存储部。

所述声音比较步骤之前，包括：声音检测步骤，从输入声音区分背景噪音；特征点提取步骤，除通过所述声音检测步骤区分的背景噪音之外的输入声音中提取特征点；及分类步骤，将通过所述特征点提取步骤提取特征点的输入声音分类为有效声音和无效声音，作为验证声音存储。

所述声音比较步骤，包括：声音检测步骤，从所述冲击声音区分背景噪音；特征点提取步骤，从除通过所述声音检测步骤区分的背景噪音之外的冲击声音中提取特征点；比较步骤，将通过所述特征点提取步骤提取的冲击声音的特征点与验证声音进行比较；及验证步骤，通过所述比较步骤验证冲击声音是否为验证声音中的有效声音或无效声音。

声音检测步骤中演算以30ms长度的帧单位形成的输入声音及冲击声音的对数能源，而区分背景噪音。

在特征点提取步骤，为了提取除背景噪音之外的输入声音及冲击声音的特征点，使用mel频率倒谱系数。

所述分类步骤中利用高斯混合模型而将提取特征点的输入声音分类为有效声音和无效声音。

所述比较步骤中演算提取特征点的冲击声音的最大对数似然值，与验证声音进行比较。

(三)有益效果

如以上说明的本发明的基于输入声音信号的影像存储装置及方法，预先设定根据有效的冲击事件的有效声音和根据无效的冲击事件的无效声音后，在汽车黑匣子除加速度传感器值之外被附加输入由冲击事件引起的冲击声音时，将所述冲击声音与有效声音及无效声音进行比较，如果与有效声音匹配时，以发生冲击事件的时点为基准，存储之前一定时间的影像和之后一定时间的影像，如果与无效声音匹配时，不存储影像，从而，在具有有限的存储空间的存储器能够存储更多量的影像。

附图说明

图1为图示根据本发明的一实施例的影像存储装置的框图；

图2为用于说明根据本发明的一实施例的有效声音及无效声音设定方法的流程图；

图3至图5为用于说明在根据本发明的一实施例的有效声音及无效声音设定方法中声音检测的示例图；

图6为用于说明根据本发明的一实施例的有效声音及无效声音设定方法中特征点提取的示例图；

图7至图9为用于说明根据本发明的一实施例的有效声音及无效声音设定方法中的分类过程的示例图；

图10为用于说明根据本发明的一实施例的加速度传感器值的示例图；

图11为用于说明根据本发明的一实施例的影像存储方法的流程图；

图12为用于说明根据本发明的一实施例的影像存储方法中是否为有效声音的流程图。

附图标记说明

100:处理部 200:话筒部

300:加速度传感器部 400:前方摄像头部

500:后方摄像头部

具体实施方式

以下，为了使得本发明的技术领域的普通技术人员容易地实施本发明，参照附图详细说明本发明的优选实施例。

图1为图示根据本发明的一实施例的影像存储装置的框图；图2为用于说明根据本发明的一实施例的有效声音及无效声音设定方法的流程图；图3至图5为用于说明在根据本发明的一实施例的有效声音及无效声音设定方法中声音检测的示例图；图6为用于说明根据本发明的一实施例的有效声音及无效声音设定方法中特征点提取的示例图；图7至图9为用于说明根据本发明的一实施例的有效声音及无效声音设定方法中的分类过程的示例图；图10为用于说明根据本发明的一实施例的加速度传感器值的示例图；图11为用于说明根据本发明的一实施例的影像存储方法的流程图；图12为用于说明根据本发明的一实施例的影像存储方法中是否为有效声音的流程图。

根据本发明的一实施例的基于输入声音信号的影像存储装置，包括：处理部100、话筒部200，加速度传感器部300、前方摄像头部400、后方摄像头部500、第2存储部700及扬声器部800。

向所述话筒部200输入因冲击事件发生的冲击声音。

所述加速度传感器部300输出因冲击事件发生的加速度传感器值。

所述前方摄像头400拍摄车辆的前方的外部影像，所述后方摄像头500拍摄车辆的后方的外部影像。

本发明的前方摄像头400支持Full HD级分辨率、后方摄像头500支持HD级分辨率。

车辆上除了所述前方摄像头400及后方摄像头500之外，还可形成有拍摄向左侧及右侧的外部影像的摄像头。

所述摄像头包括镜头模组、图像传感器模组、紫外线过滤器模组及图像信号处理模组(ISP)而形成。

所述第2存储部700可为SD卡形态的闪存。

所述第2存储部700中存储包括预先设定的有效声音及无效声音的验证声音。

所述处理部100包括CPU(llO)、视频编解码器(Video Codec；130)、SDRAM、LPDDR2、LPDDR3等临时存储器形态的第1存储部150而构成。

所述处理部100感知通过所述加速度传感器部300的冲击事件，并且，通过所述话筒部200输入的冲击声音与预先设定而存储的有效声音相应时，以发生所述冲击事件的时点为基准，将之前一定时间和之后一定时间期间通过前方摄像头400或后方摄像头500拍摄的影像存储于所述第2存储部700。

相反，所述处理部100通过所述加速度传感器部300感知冲击事件，并且，通过所述话筒部200输入的冲击声音与预先设定而存储的无效声音相应时，通过所述前方摄像头400或后方摄像头500拍摄的影像不存储于所述存储部。

所述扬声器部800的作用是在发生冲击事件时通过音响信号向使用者告知。

所述验证声音是预先设定而存储的，首先，通过话筒等接收输入的作为验证声音使用的声音S110。

可预先设定将要作为验证声音使用的有效声音及无效声音，分别输入。

例如，有效声音为冲撞声音、急刹车声音、尖叫等与车辆事故有关的声音，无效声音为车门开闭声音、车备箱关闭声音、限速带通过声音、通过声音、坑洞通过声音、大桥通过声音、车辆内噪音等与车辆事故无关的声音。

作为所述验证声音使用的有效声音及无效声音并非限定于上述的示例，可设定为不同种类。

如图3所示，作为验证声音使用的输入的声音以30ms长度的帧单位形成，如果10ms长度的一个帧被消除，则附加10ms长度的一个帧的形态形成。

然后，对于所述帧利用数学式1演算对数能源。

数学式1

在此，E为帧的对数能源，i为帧index，χ为输入信号，L为帧长度。

然后，如图4及图5所示，利用数学式2，区分背景噪音Β和有效声音及无效声音的对数能源L。

数学式2

BE(i)＝r·BE(i)+(l-r)E (i)

在此，BE为背景噪音能源、r为增益更新。

然后，如图6所示，为了提取除背景噪音之外的有效声音及无效声音的特征点P，使用mel频率倒谱系数(Mel-Frequency Cepstrum Coefficient)S120。

此时，可使用预加重(Pre emphasis)、开窗口(Windowing)、快速傅立叶变换(FFT)，Mel滤波器组(Mel Filter Bank)，对数压缩(Logarithmic Compression)、离散余弦变换(DCT)等通常的图案认知方法。

然后，将提取特征点的有效声音及无效声音利用高斯混合模型(Gaussian mixture model)分别分类为有效声音和无效声音S130。

作为参考，图7为表示混合物6个、1次反复的分类的示例，图8为表示混合物6个、300次反复的分类的示例，图9为表示混合物10个、300次反复的分类的示例。

然后，分别存储以有效声音和无效声音分类的输入声音，作为验证声音使用S140。

如上述地，预先设定验证声音而存储后，所述处理部100接收通过车辆的加速度传感器部300输入的目前的加速度传感器值S210。

如图10所示，可将坐标设定为向车辆的前方的方向为X，向车辆的侧面的方向为Y，向车辆的下部的方向为Z，并且，将向前方的加速度传感器值设为α_χ，向侧面的加速度传感器值设为α_y，向下部的加速度传感器值设为α_ζ。

并且，对于任意多个α_χ的平均，对于任意多个α_y的平均，对于任意多个α_Z的平均分别存储为α'_x，α'_y及α'_Z。

然后，如果目前未发生冲击事件S220，将目前的加速度传感器值与将以前加速度传感器值平均的平均值的差异，与预先设定的任意检测设定值V_th进行比较S230。

例如，如果α_χ和α'_χ的差异值的绝对值大于检测设定值V_th，表示向X方向发生了冲击事件，如果a_y和α'_y的差异值的绝对值大于检测设定值V_th，表示向Y方向发生了冲击事件，如果α_Z和α'_Z的差异值的绝对值大于检测设定值V_th，表示向Z方向发生了冲击事件。

相反，α_χ和α'_χ的差异值的绝对值小于或等于检测设定值V_th，a_y和a'_y的差异值的绝对值小于或等于检测设定值V_th，或α_Z和α'_Z的差异值的绝对值大于或等于检测设定值V_th，为未发生冲击事件的状态，各个α_x，α_y及α_Z被用于更新平均值S270。

然后，如果判定为发生了冲击事件S240，将通过话筒部200输入的冲击事件的冲击声音与所述验证声音进行比较S250。

首先，被输入由冲击事件的冲击声音时S251，从冲击声音区分背景噪音S252，并从区分背景噪音的冲击声音提取特征点S253。

所述S251步骤至S253步骤与上述的S110步骤和S120步骤相同，因此，省略详细的说明。

然后，将提取特征点的冲击声音与验证声音进行比较S254。

可演算提取特征点的冲击声音的最大对数似然(MaximumLog-likelihood)值，与验证声音进行比较，然后，验证所述冲击声音是否为验证声音中的有效声音或无效声音S255。

然后，所述冲击声音与所述验证声音中的有效声音匹配时，将以发生所述冲击事件的时点为基准，之前一定时间和之后一定时间期间通过摄像头部拍摄的影像存储于第2存储部700(S260)。

表1为判定根据加速度值和有效声音及无效声音的影像存储与否的示例。

[表1]

如表1所示，在只使用加速度传感器的冲击事件判定附加冲击声音比较，从而，只有在输入有效声音的情况下，存储影像。

只使用以往加速度传感器时，将从车辆的侧面发生的加速度变化始终判定为侧面冲突，而发生了冲击事件，但，通过将冲击声音与验证声音进行比较，能够分为冲撞音和车门开闭声音，从而，能够判定影像的存储与否。

并且，对于轴的情况也相同地，将冲击声音与验证声音进行比较，区分为有效声音和无效声音，而能够判定影像的存储与否。

作为参考，如果χ轴，γ轴的加速度差异为大于V_th值，并α_x为负数时，可判定为车辆要急刹车，此时，存储前方摄像头影像更具有意义，如果α_x为正数，则为从后方发生了冲突，因此，存储后方摄像头影像更具有意义。

基于上述的输入声音信号而感知冲击事件的情况相同地，可附加基于输入影像信号而感知冲击事件的影像分类部(未图示)而判定冲击事件。

例如，如果在影像分类部作为有效影像存储有物体接近的状态的影像，将车辆发生的加速度变化与输入影像信号进行比较，被输入接近状态的影像时，将其判断为冲击事件并存储影像。

相反，在未输入接近状态的输入影像的状态下，车辆发生加速度变化时，判断为非冲击事件，不存储影像。

并且，将根据本发明的步骤S110至步骤S140，步骤S210至270及步骤S251至S255的基于输入声音信号的影像存储方法编成程序，并存储于CD-ROM，存储器，ROM，EEPROM等存储媒介，以便通过电脑读取。

以上的说明中提示了本发明的优选实施例，但，本发明并非限定于此，本发明的技术领域的普通技术人员在不脱离本发明的技术思想的范围内可进行各种更换、变形及变更。

工业上的利用性

本发明利用基于输入声音信号的影像存储装置，在汽车黑匣子除加速度传感器值之外附加输入因冲击事件的预先设定的冲击声音时，以发生冲击事件的时点为基准，存储之前一定时间的影像和之后一定时间的影像，从而，在具有有限的存储空间的存储器存储更多量的的影像。