便携式信息处理装置、以及其指令输入方法与流程

本发明涉及便携式信息处理装置、便携式信息处理装置的指令输入方法、以及存储介质。

背景技术：

近年来，便携式信息处理装置将智能手机等的触摸显示部普及起来。在这样的便携式信息处理装置中，作为用户的输入方法，例如有以下的(1)～(3)的方法。

(1)有基于画面的触摸(touch)或者轻拍(tapping)的输入方法。这样的方法使用触摸传感器检测画面的触摸或者键入。在该方法中，因为需要使手指或笔等直接接触画面，所以例如在放在口袋的情况下，不能从口袋外(越过纤维)进行操作。

(2)有进行语言输入的方法。这样的方法是利用麦克风收集语音并使用语音识别技术识别语音。因为有对周围造成麻烦的情况，所以该方法不能在用户不能出声的环境(例如，会议中、电车中)中使用。

(3)有摇动设备来进行姿势输入的方法。利用g传感器检测设备的运动，并进行与检测到的运动对应的输入。在该方法中，用户需要用手拿着设备摇动，所以在没有空间的场所中不方便。

技术实现要素：

本发明是鉴于上述而完成的，其目的在于提供能够保持放在口袋等的状态输入指令而不对周围造成麻烦的便携式信息处理装置、便携式信息处理装置的指令输入方法、以及计算机可执行程序。

为了解决上述的课题，并实现目的，本发明的第一方式的便携式信息处理装置具备：麦克风，用于输入声音；解析单元，对从上述麦克风输入的声音的规定频带的衰减进行解析；以及指令输入单元，基于上述解析单元的解析结果输入指令。

另外，也可以是上述解析单元对上述输入的声音的规定频带的衰减进行解析，来判定手指对于上述麦克风的刮擦方向，上述指令输入单元输入与手指对于上述麦克风的刮擦方向对应的指令。

另外，上述指令输入单元也可以在手指对于上述麦克风的刮擦方向是接近上述麦克风的方向的情况和该刮擦方向是远离上述麦克风的方向的情况下输入不同的指令。

另外，也可以还具备检测对于上述便携式信息处理装置的轻拍操作的检测单元，上述指令输入单元基于由上述检测单元检测到的轻拍操作的检测结果输入指令。

另外，上述指令输入单元也可以输入与上述解析单元的解析结果和上述检测单元的检测结果的双方结果对应的指令。

另外，为了解决上述的课题，并实现目的，本发明的第二方式的便携式信息处理装置的指令输入方法包括：解析工序，对从麦克风输入的声音的规定频带的衰减进行解析；以及指令输入工序，基于上述解析工序的解析结果输入指令。

另外，为了解决上述的课题，并实现目的，本发明的第三方式的安装于便携式信息处理装置的程序使计算机执行：解析工序，对从麦克风输入的声音的规定频带的衰减进行解析；以及指令输入工序，基于上述解析工序的解析结果输入指令。

根据本发明的上述方式，能够在将便携式信息处理装置放入衣服的口袋等的状态下，不对周围造成麻烦地输入指令。

附图说明

图1是表示本实施方式的便携式信息处理装置的概念图的图。

图2是表示应用了本实施方式的便携式信息处理装置的智能手机的外观的立体图。

图3是表示图2的智能手机的硬件构成例的框图。

图4是用于对图2的智能手机的使用状态进行说明的说明图。

图5是用于对布摩擦音与语音或正常声音的频谱的比较进行说明的图。

图6是表示功率谱的时间序列的推移的一个例子的图。

图7是表示布摩擦音的功率谱的各频率(f1～f12)的功率的一个例子的图。

图8是表示布摩擦音的平均频谱与平均频率的时间推移的特性的图。

图9是用于对由指令输入用应用执行的指令输入处理进行说明的流程图。

具体实施方式

以下，基于附图详细地对本发明的便携式信息处理装置、其指令输入方法、以及计算机可执行程序进行说明。虽然本发明的构成要素一般地在本说明书的附图示出，但能够容易地理解也可以通过各种构成广泛地以各种方式配置设计。因此，以下关于本发明的装置、方法、以及程序的实施方式的更详细的说明并不限定权利要求书所示的本发明的范围，仅示出本发明选择出的实施方式的一个例子，且仅示出与权利要求书所示的本发明没有矛盾地关于装置、方法、以及程序的选择出的实施方式。本领域技术人员能够理解即使没有一个以上的具体细节、或者用其他的方法、部件、材料也能够实现本发明。另外，执行流程图的各步骤的顺序并不局限于流程图所示的顺序，也可以在不脱离本发明的主旨的范围内变更顺序。此外，本发明并不被该实施方式限定。另外，下述实施方式中的构成要素包含本领域技术人员能够容易地设想的构成要素或者实质相同的构成要素。

图1是表示本实施方式的便携式信息处理装置的概念图的图。本实施方式的便携式信息处理装置例如是智能手机、平板手机、便携式电话终端、游戏终端、以及pda等各种能够携带的信息处理装置。

在图1中，信息处理装置1具备：麦克风11，用于输入声音；解析单元12，对从麦克风11输入的声音的规定频带的衰减进行解析；指令输入单元13，基于解析单元12的解析结果输入指令；检测单元14，检测对于便携式信息处理装置1的轻拍(tapping)；以及处理单元15，执行按照从指令输入单元13输入的指令的处理。

解析单元12、指令输入单元13、检测单元14、以及处理单元15例如由硬件或软件(os、api、服务、实用程序、库、驱动器、以及应用等程序)的模块、或者其组合构成。另外，也可以通过计算机执行程序，来实现解析单元12、指令输入单元13、检测单元14、以及处理单元15的功能。

麦克风11是用于收集声音并将其输入的模块，例如能够由单个麦克风、双麦克风、麦克风阵列等构成。

解析单元12具备声音的频率解析功能。解析单元12也可以对从麦克风11输入的声音的规定频带的衰减进行解析，并例如判定手指对于麦克风11的刮擦(scraping)方向。如后面描述详细那样，例如，在将便携式信息处理装置1放在口袋的情况中，若越过口袋(纤维)使手指刮擦便携式信息处理装置，则产生布摩擦音(参照图4)。该布摩擦音能够通过提取出所输入的语音的规定频带来检测。能够通过对布摩擦音(所输入的语音的规定频带)的衰减进行解析，来判定手指对于麦克风11的刮擦方向。解析单元12也可以判定手指对于麦克风11的刮擦方向是接近麦克风11的方向还是远离麦克风11的方向。另外，不仅可以判定对于麦克风11的刮擦方向，也可以判定刮擦的长度。

检测单元14具备检测用户的手指对于便携式信息处理装置1的轻拍的功能。检测单元14例如能够由g传感器等构成。检测单元14通过例如对g传感器的传感器输出进行3d变动分析来检测用户对于便携式信息处理装置1的轻拍操作(包括轻拍的次数、轻拍的节奏)。检测单元14在例如将便携式信息处理装置1放入口袋的情况下，即使越过口袋(纤维)用手指轻拍便携式信息处理装置，也能够通过其振动检测轻拍操作。

指令输入单元13至少基于解析单元12的解析结果输入指令。指令例如是音量增加、音量减少、电源on、电源off、画面锁定、以及画面锁定解除等各种指令。

另外，指令输入单元13也可以在手指对于麦克风11的刮擦方向是接近麦克风11的方向的情况和是远离麦克风11的方向的情况下输入不同的指令。例如，也可以在手指对于麦克风11的刮擦方向是接近麦克风11的方向的情况下，输入使音量增加的指令，另一方面，在手指对于麦克风11的刮擦方向是远离麦克风11的方向的情况下，输入使音量减少的指令。

另外，指令输入单元13也可以基于由检测单元14检测到的轻拍的检测结果输入指令。例如，指令输入单元13也可以输入与用户对于便携式信息处理装置1的轻拍次数、轻拍的节奏对应的指令。另外，指令输入单元13也可以在例如进行规定的节奏的轻拍操作的情况下，输入电源off的指令。

另外，指令输入单元13也可以输入与解析单元12的解析结果和检测单元14的检测结果的组合对应的指令。例如，也可以在进行了2次远离麦克风11的方向的手指的刮擦和轻拍的情况下，输入电源off的指令。另外，也可以通过手指的刮擦选择指令，并通过轻拍操作确定并输入该指令，例如，也可以在进行手指向接近麦克风11的方向的刮擦的情况下，选择音量增加，然后，在进行了2次轻拍的情况下，确定并输入选择出的指令。

另外，指令输入单元13也可以在输入了指令的情况下，例如，使用触觉反馈，利用振子等的振动将输入了指令的主旨(指令输入成功的主旨)通知(反馈)给用户。

如以上说明那样，根据本实施方式的便携式信息处理装置1，具备用于输入声音的麦克风11、对从麦克风11输入的声音的规定频带的衰减进行解析的解析单元12、以及基于解析单元12的解析结果输入指令的指令输入单元13。因此，能够在将便携式信息处理装置1放入衣服的口袋等的状态下，不取出便携式信息处理装置1从口袋外进行指令输入，而与语音输入不同不会对周围造成麻烦。

另外，解析单元12对所输入的声音的规定频带的衰减进行解析，判定手指对于麦克风11的刮擦方向，指令输入单元13输入与手指对于麦克风11的刮擦方向对应的指令。因此，仅通过将手指越过纤维对于便携式信息处理装置1刮擦就能够进行指令输入。另外，能够使用单一的麦克风来判定手指的刮擦方向，所以能够成为低成本的构成。另外，能够按每个刮擦方向分配不同的指令，所以能够输入多个指令。

另外，指令输入单元13在手指对于麦克风11的刮擦方向是接近麦克风11的方向的情况下，输入使音量增加的指令，另一方面，在手指对于麦克风11的刮擦方向是远离麦克风11的方向的情况下，输入使音量减少的指令，所以能够简单地进行音量的增加、减少。

另外，具备检测对于便携式信息处理装置1的轻拍操作的检测单元14，因为指令输入单元13基于由检测单元14检测到的轻拍操作的检测结果输入指令，所以用户能够通过进行轻拍操作来输入指令。

另外，因为指令输入单元13输入与解析单元12的解析结果和检测单元14的检测结果的组合对应的指令，所以能够组合刮擦操作和轻拍操作来输入多个种类的指令。

(实施例)

例示出将本实施方式的便携式信息处理装置应用于智能手机的情况并进行说明。图2是表示应用了本实施方式的便携式信息处理装置的智能手机的外观的立体图。

如图2所示，智能手机100具备大致六面体形状的框体102。将框体102的表面中的一侧的面称为正面102a，将与正面102a对置的另一侧的面称为背面(未图示)，将框体102的表面中被正面102a和背面夹着的面称为侧面102b。智能手机100在框体102的正面102a的大致中央部分配置有由用于显示图标、图像等的显示部103b和配置在显示部103b上的触摸传感器103a构成的触摸显示部103。

在框体102的正面102a的上方配置有接收器107。在框体102的右侧的侧面102b配置有用于调整音量的音量按钮(未图示)以及电源按钮(未图示)等。另外，在框体102的下侧的侧面102b侧配置有麦克风105以及扬声器106。

触摸显示部103显示文字、图形、图标、以及图像等信息，并且检测使用手指、记录针、笔等(以下，称为“指示体”)对于触摸传感器103a进行的各种操作。触摸传感器103a检测各种操作的方式能够采用静电电容式、感压式等方式。另外，在触摸显示部103显示有与各种应用等对应的图标。用户能够通过触摸图标使对应的应用起动。

图3是表示图2的智能手机100的硬件构成例的框图。如图3所示，智能手机100具备控制部110、内存(memory)111、存储器(storage)112、无线通信部115、通信部116、音频设备117、电源部124、触摸显示部103(触摸传感器103a、显示部103b)、操作部123、接收器107、g传感器125、以及gps定位部126等。

触摸显示部103具有显示部103b和重叠于显示部103b的触摸传感器103a。触摸传感器103a将使用手指、笔等指示体对于触摸传感器103a进行的各种操作与进行了操作的场所的触摸传感器103a上的位置一起检测，并通知给控制部110。由触摸传感器103a检测到的操作包含触摸操作、滑动操作、以及纵摇操作。显示部103b例如由液晶显示器(lcd：liquidcrystaldisplay)、有机el(organicelectro－luminescence：有机电致发光)面板等构成，显示文字、图形等。

操作部123通过电源按钮、音量按钮等受理用户的操作，并将与受理到的操作对应的指示信号发送到控制部110。

电源部124根据控制部110的控制，将从蓄电池或者ac适配器得到的电力供给到包括控制部110的智能手机100的各部。

通信部116例如通过3g/4glte方式经由被基站分配的信道，在与基站之间建立无线信号线路，在与基站之间进行电话通信以及信息通信。

无线通信部115进行基于bluetooth(注册商标)的通信标准的通信、基于wi－fi(wirelessfidelity：无线保真)的通信标准的通信。

g传感器125检测智能手机100的x轴向、y轴向、以及z轴向(参照图2)的加速度x、y、z，并将检测到的加速度x、y、z作为传感器输出来输出到控制部110。另外，g传感器125构成为在处于画面锁定状态(节能状态)的情况下也从电源部124供给电力，并在处于画面锁定状态(节能状态)的情况下也能够动作。

gps定位部126接收来自多个gps(globalpositioningsystem：全球定位系统)卫星的电波，获取基于纬度、经度信息的地理位置数据，并输出到控制部110。

音频设备117具备麦克风105、扬声器106、以及语音处理用的dsp118。麦克风105收集包括语音的声音，并输出到dsp218。扬声器106输出与从dsp118输出的语音数据对应的语音。

dsp118具备wakeonvoice(语音唤醒)功能，在处于画面锁定状态(节能状态)的情况下也从电源部124供给电力。因此，音频设备117在处于画面锁定状态的情况下也能够从麦克风105收集声音。此外，dsp118也可以构成为在利用g传感器125检测到轻拍动作之后，紧接着进行唤醒并输入语音。

dsp118具备包括a/d转换器、d/a转换器、放大器、各种过滤器等的语音处理用lsi以及内存等，在对从麦克风105输入的声音(包括语言)进行a/d转换后进行信号处理，将语音处理后的声音数据(数字数据)输出到控制部110，或者对从控制部110输入的声音数据(数字数据)进行信号处理，并对信号处理后的声音数据进行d/a转换，使其从扬声器106输出。

内存111例如由ram、dram等构成，作为暂时存储有由控制部110执行的程序、控制部110参照的数据、控制部110的运算结果等的工作区域使用。

存储器112例如是非易失性存储器(例如，eeprom、ssd)，保存利用于控制部110中的处理的程序、数据。存储于存储器112的程序包含：用于实现智能手机的各功能的os112a、用于对设备进行硬件控制的驱动器112b、用于在将智能手机100放入口袋等的状态下进行指令输入的指令输入用应用112c、用于使语音文件再生的语音再生应用、用于实现电话功能的电话应用、用于实现电子邮件功能的邮件应用、用于实现web浏览器功能的浏览器应用、文件阅览用应用、以及文字处理器应用等其他的应用112d、以及各种数据等。os112a介入各种应用与设备间的通信。

控制部110例如是cpu(centralprocessingunit：中央处理器)、微处理器、dsp等，统一控制智能手机100的动作来实现各种功能(模式)。具体而言，控制部110通过根据需要参照存储于存储器112的数据、在内存111展开的数据，并执行存储于存储器112的程序所包含的命令，控制触摸显示部103、无线通信部115、通信部116、音频设备117等来实现各种功能(模式)。此外，控制部110执行的程序、参照的数据也可以通过通信部116、无线通信部115所进行的通信从服务器装置下载，或者更新。

指令输入用应用112c是用于在将智能手机100放入口袋等的状态下，用户将手指越过纤维(从口袋上)对智能手机100刮擦，来进行指令输入的应用。

指令输入用应用112c对从麦克风105输入的声音的规定频带的衰减进行解析，来执行将与解析结果对应的指令输出到os112a的指令输入处理。另外，在指令输入处理中，指令输入用应用112c对从g传感器125输入的传感器输出进行3d变动解析，来检测轻拍操作(轻拍次数、节奏)，并将与检测到的轻拍操作(轻拍次数、节奏)对应的指令输出到os112a。os112a执行从指令输入用应用112c输入的指令。

在上述构成中，例如，音频设备117、控制部110、以及指令输入用应用112c等能够实现上述图1的解析单元12的功能。另外，控制部110以及指令输入用应用112c等能够实现上述图1的指令输入单元13的功能。另外，g传感器125以及指令输入用应用112c等能够实现上述图1的检测单元14的功能。另外，控制部110以及os112a等能够实现图1的处理单元15的功能。

参照图4～图9，对由指令输入用应用112c执行的指令输入处理进行说明。首先，参照图4～图8对指令输入用应用112c对从麦克风105输入的声音的规定频带的衰减进行解析来判定手指的刮擦方向的原理进行说明。

图4是用于对智能手机100的使用状态进行说明的说明图。如图4所示，有用户想保持将智能手机100放入衣服的口袋的状态下使用智能手机100的情况。在本实施例中，用户能够在将智能手机100放入衣服的口袋的状态下输入指令。在本实施例中，例如，若手指越过口袋的纤维(布)对放在口袋的智能手机100刮擦，则产生布摩擦音(手指与纤维的摩擦音：也称为刮擦音)。对该布摩擦音的规定频带的衰减进行解析，来判定手指的刮擦方向，并输入与判定出的手指的刮擦方向对应的指令。

例如，在图4中，在使麦克风105向下地将智能手机100放入口袋的情况下，通过使手指越过口袋的纤维向下方(接近麦克风105的方向)或上方(远离麦克风105的方向)刮擦，从而用户能够输入指令。例如，也可以在使手指越过口袋的纤维向接近麦克风105的方向(下方)刮擦的情况下，输入使音量增加的指令，另一方面，在使手指越过口袋的纤维向远离麦克风105的方向(上方)刮擦的情况下，输入使音量减少的指令。

此外，在图4中，示出使麦克风105向下地将智能手机100放入口袋的情况，但在使麦克风105向上地将智能手机100放入口袋的情况下，刮擦方向相反，也可以在使手指越过口袋的纤维向上方(接近麦克风105的方向)刮擦的情况下，输入使音量增加的指令，另一方面，在越过口袋的纤维向下方(远离麦克风105的方向)刮擦的情况下，输入使音量减少的指令。

图5是用于对布摩擦音与语音、正常声音的频谱的比较进行说明的图。图5(a)示出语音、正常声音的频谱的一个例子，图5(b)示出布摩擦音的频谱的一个例子。

如图5(a)所示，语音、正常声音的主要分量为22khz×1/9＝2.44khz以下，包括高次谐波分量在内没有更高的频率分量。另一方面，如图5(b)所示，布摩擦音有广泛分布到22khz×5/9＝12.22khz附近的频率分量。通常的智能手机等的麦克风输入特性的极限在20khz以下能够充分辨别(例如，44khz取样处理的情况)。

如以上所述，布摩擦音例如能够通过提取所输入的声音的2.4khz～12.22khz的频带来检测，更优选的是，为了防止语音、正常声音的错误检测，而希望从该频带中提取更高频的频带。

另外，在图5(b)中，若进一步从8khz附近观察(a的区域)，则根据距离迅速地衰减。若手指经由纤维接近麦克风105(图4的下方向的刮擦)，则该区域的频谱的总量增大。另一方面，若手指经由纤维远离麦克风105(图4的上方向的刮擦)，则该区域的频谱的总量急剧地减少。

图6是表示功率谱的时间序列的推移的一个例子的图。图6(a)示出使手指经由纤维远离麦克风105地刮擦的情况下的各时间(t1～t6)的功率谱的推移。图6(b)示出使手指经由纤维接近麦克风105地刮擦的情况下的各时间(t1～t6)的功率谱的推移。在图6中，横轴表示频率f(f1＜f12)，纵轴表示功率。

如图6(a)所示，若使手指经由纤维远离麦克风105地刮擦，则频谱的总量减少。另一方面，如图6(b)所示，若使手指经由衣物接近麦克风105地刮擦，则频谱的总量增加。

图7是表示布摩擦音的功率谱的各频率(f1～f12)的功率的一个例子的图。横轴表示频率(f1～f12)，纵轴表示功率。平均功率谱的量p能够通过σpn(n＝1，···，n)/n计算。平均功率谱的频率能够通过σpn＊fn(n＝1，···，n)/σnpn(n＝1，···，n)计算。

图8是表示布摩擦音的平均频谱和平均频率的时间推移的特性的图。横轴表示时间(t0～t10)，纵轴表示平均频率(11000hz～12400hz的范围内)以及功率。在图8中，实线示出接近麦克风105的情况下的平均频率，虚线示出远离麦克风105的情况下的平均频率，点划线示出平均功率谱量。如图8所示，接近麦克风105的情况下的平均频率增加。另一方面，远离麦克风105的情况下的平均频率减少。

指令输入用应用112c以规定的时间间隔对从麦克风105输入的声音的规定频带取样，该取样出的平均频率的频谱量按时间序列增加的情况下，判定为刮擦方向是接近麦克风105的方向，在频谱量按时间序列减少的情况下，判定为刮擦方向是远离麦克风105的方向。

图9是用于对由指令输入用应用112c执行的指令输入处理进行说明的流程图。在图9中，首先，指令输入用应用112c除去持有智能手机100的用户的移动/步行引起的g传感器125的输出变动(步骤s1)。接下来，指令输入用应用112c基于g传感器125的传感器输出判断智能手机100的方向(姿势)是否是大体垂直方向(verticaldirection)(步骤s2)。这是为了判定智能手机100是否是放在衣服的口袋的状态。在智能手机100的方向大体处于垂直方向(重力方向与智能手机100的y轴向大体平行)的情况下，判定为是智能手机100放在衣服的口袋的状态。

在智能手机100的方向是大体垂直方向的情况下(步骤s2的“是”)，指令输入用应用112c将麦克风105打开(步骤s4)，另一方面，在智能手机100的方向(姿势)不是垂直方向的情况下(步骤s2的“否”)，将麦克风105关闭(步骤s3)。这是为了通过仅在智能手机100放在口袋的情况下打开麦克风105来减少消耗电力。

接着，指令输入用应用112c判断是否从由麦克风105输入的声音检测到布摩擦音(刮擦音)(步骤s5)。在未检测到布摩擦音的情况下(步骤s5的“否”)，移至步骤s7。

另一方面，在检测到布摩擦音的情况下(步骤s5的“是”)，指令输入用应用112c基于布摩擦音判定手指刮擦的方向，输入与判定出的手指刮擦的方向对应的对应指令(步骤s6)。更具体而言，指令输入用应用112c在手指的刮擦方向是接近麦克风105的方向的情况下，将使音量增加的指令输出到os112a，os112a根据所输入的指令使音量增加。另一方面，指令输入用应用112c在手指的刮擦方向是远离麦克风105的方向的情况下，将使音量减少的指令输出到os112a，os112a使音量减少。

在步骤s7中，指令输入用应用112c基于g传感器125的传感器输出判断是否检测到手指的轻拍操作(步骤s7)。在未检测到手指的轻拍操作的情况下(步骤s7的“否”)，返回到步骤s1。

另一方面，在检测到手指的轻拍操作的情况下(步骤s7的“是”)，指令输入用应用112c输入与检测到的轻拍操作(轻拍次数、节奏等)对应的指令(步骤s8)。更具体而言，指令输入用应用112c将与检测到的轻拍操作(轻拍次数、节奏等)对应的指令输出到os112a，os112a根据所输入的指令使音量增加。

附图标记说明

1...便携式信息处理装置；11...麦克风；12...解析单元；13...指令输入单元；14...检测单元；15...处理单元；100...智能手机；105...麦克风；110...控制部；111...内存；112...存储器；112a...os；112c...指令输入用应用；117...音频设备；125...g传感器。