声音处理装置、声音处理方法、信息记录介质以及程序的制作方法

专利名称：声音处理装置、声音处理方法、信息记录介质以及程序的制作方法
技术领域：
本发明涉及灵活利用如触摸屏等可检测接触的有无以及接触位置那样的硬件的 特性，模拟乐器演奏的声音处理装置、声音处理方法、信息记录介质和程序。
背景技术：
以往，提出了一种模拟吉他演奏的游戏方案。这样的技术例如被公开在以下的专 利文献1中。专利文献1所公开的技术是，由模拟吉他在选音指示的输出定时进行发音输出控 制和旋律输入操作评价，该模拟吉他具有从演奏曲的多个旋律音中选择并指示与演奏曲 的演奏对应的至少1个旋律音的音键(neck button)、和决定并指示所选择的旋律音的输 出定时的拨子(picking blade)。另一方面，目前正在普及具有触摸屏的便携式游戏机。专利文献1 日本特开2001-293246号公报因此，人们希望灵活利用触摸屏的特性，在便携式游戏机中实现例如专利文献1 所公开那样的通过模拟乐器的演奏来进行游戏的技术。

发明内容
本发明为了解决上述的课题而提出，其目的在于，提供一种灵活利用如触摸屏等 可检测接触的有无以及接触位置那样的硬件的特性，来模拟乐器演奏的声音处理装置、声 音处理方法、信息记录介质和程序。为了达到上述目的，本发明的第1观点涉及的声音处理装置具有检测部和声音输 出部。检测部在用户接触到被接触部的表面时，检测出该位置，在离开该表面时，检测出 该情况。在可实现声音处理装置的游戏装置中，被接触部例如是在液晶画面上重叠了触摸 传感器的触摸屏等，当用户与触摸屏的表面接触时，检测部检测出表示该接触位置的坐标 值。另外，如果是未接触该表面的状态、即离开的状态，则检测部检测出未接触的情况。其 中，检测部例如以规定的时间间隔进行检测。声音输出部在满足了规定的操作条件时，开始输出规定的输出声音。此时，满足规 定的操作条件的情况是，(a)在检测出接触位置之后立即检测出离开、且即将检测出离开之前的接触位置 的变化为规定的阈值速度以上的情况；或(b)持续检测出的接触位置的变化的方向在规定的误差范围内成为反方向的情 况。BP," (a)在检测出接触位置之后立即检测出离开、且即将检测出离开之前的接触 位置的变化为规定的阈值速度以上的情况”，例如是用户在与触摸屏接触之后，迅速抬手， 离开了触摸屏的情况。用户的这样操作被判定为是模拟向一个方向拨动吉他弦的操作的有效操作，声音输出部开始输出声音的输出。而“(b)持续检测出的接触位置的变化的方向在规定的误差范围内成为反方向的 情况”，例如设想了用户在与触摸屏接触的同时，使接触位置往复移动的情况。接触位置的 变化的方向可以不完全相反，只要在规定的范围内大致相反即可。例如，在接触位置的变化 方向发生了变化时，只要变化之前的接触位置的变化方向、与变化之后的接触位置的变化 方向所构成的角度在规定的范围内即可。用户的这种“持续检测出的接触位置的变化的方向在规定的误差范围内成为反方 向”的操作，被判定为模拟了往复拨弦、即在向下拨动了吉他弦后进行向上拨弦的操作(或 相反)的有效操作，声音输出部开始输出声音的输出。根据这样的声音处理装置，在根据规定的条件检测出离开时、或改变了拨弦方向 的瞬间，开始输出规定的输出声音。因此，用户不需要在意手持安装了本声音处理装置的游 戏装置的方向、和进行拨弦的方向，即可享受吉他模拟演奏的乐趣。而且，满足上述规定的操作条件的情况也可以是取代满足上述(a) (b)的情况，而 满足(c)持续检测出的接触位置的轨迹越过了规定的判定线的情况。这里，判定线是配置在触摸屏表面的规定位置的线，声音输出部在用户与触摸屏 接触、且越过了判定线的情况下，在该越过的时刻开始输出规定的输出声音。即，判定线相 当于吉他的琴弦，通过导入判定线，能够更忠实地模拟发出吉他音的结构。而且，声音处理装置可以还具有调整部。调整部可以调整该判定线的方向，以使持 续检测出的接触位置的轨迹与该判定线交叉的角度接近直角。S卩，不同的用户，对于手持可实现本声音处理装置的游戏装置的方向、对触摸屏进 行的拨弦的方向，存在个体差。为了吸收该个体差，调整部调整判定线的方向，使其与用户 进行的拨弦的方向接近直角。另外，声音输出部可以在检测出离开时，在开始声音的输出之前插入规定的延迟 时间，当满足规定的操作条件时，减少该延迟时间。S卩，声音输出部可以在满足了操作条件时，在经过规定的延迟时间后开始声音的 输出。当在宽阔的场所进行演奏时，在进行操作后需要经过若干的延迟时间后，声音才能传 到离演奏者远的人群。因此，通过这样插入延迟时间，即使是便携式游戏机，也能够发挥如 同在宽阔的场所进行演奏的效果。此外，通常与只进行一次拨弦的情况相比，持续进行了拨弦的情况不容易感到延 迟。因此，为了强调初次的延迟，在检测出离开时，将该延迟时间返回为默认值，在持续满足 操作条件时，可以通过与上次满足操作条件的情况相比缩短延迟时间，来逐渐缩短延迟时 间。另外，声音输出部也可以根据(d)从开始接触的位置到在满足该规定的操作条件之前检测出的接触位置的距 离、以及(e)从在之前满足了该规定的操作条件的时刻检测出的接触位置，到下一次满足 该规定的操作条件之前检测出的接触位置的距离，来决定应该开始该输出的输出声音的音量。S卩，根据从对触摸屏开始接触的位置到在满足操作条件之前检测出的接触位置的
6距离，来决定音量，以便在用户对触摸屏进行了小动作拨弦的情况下，输出小的输出声音， 在进行了大动作拨弦的情况下，输出大的输出声音。或者，根据从在满足了规定的操作条 件的时刻检测出的接触位置、到下一次满足该规定的操作条件之前检测出的接触位置的距 离，决定音量，以便在用户对触摸屏进行了往复拨弦的情况下，也能够同样地控制音量。此 时，被测定距离的该2个接触位置之间的距离，可以是直线距离，也可以是路程。另外，声音输出部还输出规定乐曲的伴奏声音，在该伴奏声音中，根据从开始输出起的经过时间被指定的演奏定时、与应该在该 演奏定时输出的演奏声音对应。S卩，在模拟吉他演奏的游戏中，输出伴奏声音，用户和着伴奏声音进行演奏。该游 戏将用户应该进行该演奏的正确定时、与此时应该输出的演奏声音对应存储。而且，声音输出部可以在满足了该规定的操作条件、且满足了该任意条件的时刻、 和与该伴奏声音对应的演奏定时的任意时刻一致的情况下，将应该在该演奏定时输出的演 奏声音作为该规定的输出声音，开始输出。即，在模拟吉他演奏的游戏中，用户和着伴奏，对触摸屏进行满足开始声音输出的 操作条件的拨弦操作(有效的拨弦操作)。如果用于在正确的定时对触摸屏进行拨弦操作 (即，用户的操作定时与应该演奏的定时一致)，则输出正确的演奏声音。另外，声音输出部也可以在满足了该规定的操作条件、且满足了该任意条件的时 刻和与该伴奏声音对应的演奏定时的任意定时不一致的情况下，将表示失败的声音作为该 规定的输出声音，开始输出。即，如果用户没有和着伴奏，而在错误的定时对触摸屏进行了拨弦操作，则声音输 出部输出表示失败的声音。而且，声音输出部也可以在规定的阈值时间持续检测出的接触位置在规定的位置 范围内的情况下，停止该开始的输出声音的输出。即，“规定的阈值时间持续检测出的接触 位置在规定的位置范围内”意味着停止了拨弦。因此，在满足了这样的条件的情况下，声音 输出部停止该输出。其中，只要任意的位置在规定的范围内被连续接触即可。另外，还具有由该用户捏住、用于与该表面接触的接触部件，该接触部件的特征 是，形成为拨子状、或在拨子状的前端配置了突起的形状。即，接触部件是所谓触笔，其被手 持的部分具有吉他拨子的形状，也可以在前端具备突起。通过具有吉他拨子的形状，用户不 仅容易进行拨弦操作，而且还使人感觉到实际操作吉他的临场感。并且，通过接触部件在前 端具备突起，检测接触位置变得容易。本发明的其他观点涉及的声音处理方法，是使用了具有检测部和声音输出部的声 音处理装置的声音处理方法，在检测步骤中，检测部在用户与被接触部的表面接触时，检测出该位置，在离开该 表面时，检测出该情况。而且，在声音输出步骤中，当满足了规定的操作条件时，声音输出部开始输出规定 的输出声音。这里，满足该规定的操作条件的情况是，(a)在检测出接触位置之后立即检测出离开、且即将检测出离开之前的接触位置 的变化为规定的阈值速度以上的情况；或(b)持续检测出的接触位置的变化的方向在规定的误差范围内成为反方向的情况。并且，声音处理装置还具有调整部，而且，满足上述规定的操作条件的情况也可以是取代满足上述(a) (b)的情况，而 满足(C)持续检测出的接触位置的轨迹越过了规定的判定线的情况。此时，可以具备调整部调整该判定线的方向，使持续检测出的接触位置的轨迹与 该判定线交叉的角度接近直角的调整步骤。另外，本发明的其他观点涉及的信息记录介质所记录的程序，构成为使计算机作 为上述声音处理装置发挥功能。本发明的其他观点涉及的信息记录介质所记录的程序，构 成为使计算机执行上述声音处理方法。而且，本发明的其他观点涉及的程序，构成为使计算机作为上述声音处理装置发 挥功能。本发明的其他观点涉及的程序，构成为使计算机执行上述声音处理方法。另外，本发明的程序可以记录在压缩盘、软盘、硬盘、光磁盘、数字视频盘、磁带、半 导体存储器等计算机可读取的记录介质中。上述程序可以独立于执行该程序的计算机，而 通过计算机通信网进行发布、销售。另外，上述信息记录介质可以独立于该计算机进行发 布、销售。根据本发明，可提供一种灵活利用触摸屏等能够检测接触的有无以及接触位置那 样的硬件的特性，模拟乐器演奏的声音处理装置、声音处理方法、信息记录介质和程序。


图1是表示可实现一个实施方式涉及的项目选择装置的典型的游戏装置的概要 结构的示意图。图2是表示可实现一个实施方式涉及的项目选择装置的典型的游戏装置的外观 的图。图3是一个实施方式涉及的项目选择装置的功能框图。图4A是表示一个实施方式涉及的项目选择装置中的表和窗、以及它们之间的关 系的图。图4B是表示被窗覆盖了的表的要素显示在触摸屏上的样子的图。图5是说明一个实施方式涉及的项目选择装置的处理动作的流程图。图6A是说明与触摸屏的接触位置的移动对应的窗的移动方向的图。图6B是说明与触摸屏的接触位置的移动对应的窗的移动方向的图。图6C是说明相对于接触位置的移动，所显示的表的区域的变化样子的图。图6D是说明相对于接触位置的移动，所显示的表的区域的变化样子的图。图7A是表示在窗的位置超出了表的区域时，对窗进行再配置的样子的图。图7B是表示在窗到达了表的边端时，表的要素被巡回显示的样子的图。图7C是表示在窗到达了表的边端时，表的要素被巡回显示的样子的图。图8A是表示拨子(pick)形状的触笔的一例的图。图8B是表示用户手持拨子形状的触笔的样子的图。图8C是表示用户使用图8A所示的触笔在触摸屏上进行模拟吉他演奏的样子的 图。
8
图9是一个实施方式涉及的声音处理装置的功能框图。图10是说明一个实施方式涉及的声音处理装置的处理动作的流程图。图11是表示接触位置的轨迹的一例的图。图12是说明其他实施方式涉及的声音处理装置的功能框图。图13是说明其他实施方式涉及的声音处理装置的处理动作的流程图。图14A是表示接触位置的轨迹的一例的图。图14B是表示对判定线的位置及方向进行调整的样子的图。图14C是表示在调整判定线时，求出拨弦(stroke)方向的方法的图。图中100-游戏装置；101-CPU ； 102-R0M ； 103-RAM ； 104-接 口 ； 105-输入部； 106-存储卡；107-图像处理部；108-触摸屏；109-NIC;110-声音处理部；111-麦克风； 112-扬声器；200-项目选择装置；201-存储部；202-显示部；203-检测部；204-项目输出 部；205-移动部；206-接触部件；1000-声音处理装置；1001-检测部；1002-声音输出部； 1003-调整部。
具体实施例方式本实施方式涉及的游戏装置如后述那样，大体上作为项目选择装置及声音处理装 置发挥功能。即，首先，用户从曲目表中选择希望在作为项目选择装置的游戏装置中进行模 拟吉他演奏的乐曲。然后，在作为声音处理装置的游戏装置中，使用所选择的乐曲，进行吉 他演奏的模拟。图1是表示可实现本发明的实施方式涉及的项目选择装置、及声音处理装置的典 型的便携式游戏装置的概要结构的示意图。而图2是表示该便携式游戏装置的外观图。下 面，参照本图进行说明。游戏装置100 具备CPU (Central Processing Unit) 101、ROM (Read Only Memory) 102、RAM (Random Access Memory) 103、接口 104、输入部 105、存储卡 106、图像处理 部 107、触摸屏 108、NIC (Network Interface Card) 109、声音处理部 110、麦克风 111 和扬 声器112。通过将保存有游戏用程序和数据的存储卡106 (将在后面详细说明)装入到与接 口 104连接的插槽(未图示)中，并接通游戏装置100的电源，使得该程序被执行，来实现 本实施方式的项目选择装置及声音处理装置。CPU101控制游戏装置100整体的动作，与各个构成要素连接，相互交换控制信号 和数据。CPU101具有时钟(未图示)，外围设备与时钟生成的信号同步进行动作。R0M102中记录有在接通电源后立即执行的IPL(Initial Program Loader)。通过 由CPU101执行该IPL，存储卡106等中记录的程序被读出到RAM103，由CPU101开始执行。而且，在R0M102中记录有游戏装置100整体的动作控制所必要的操作系统程序和 各种数据。RAM103用于暂时保存数据和程序，其保持从存储卡106等读出的程序和数据、以 及在游戏的进行中所必要的数据等。通过接口 104插拔自如地连接的存储卡106具有存储用于如上述那样实现游戏 的程序、和游戏所附带的图像数据与声音数据的读出专用ROM区域；以及保存游戏结果等数据的SRAM区域。CPUlOl对存储卡106进行读出处理，读出必要的程序和数据，将读出的 数据暂时存储到RAM103等中。输入部105是图2所示的控制键等，用于受理用户的指示输入。图像处理部107在由CPUlOl和图像处理部107所具备的图像运算处理器(未图 示)，对从存储卡106读出的数据进行了加工处理后，将其记录到图像处理部107所具备的 帧存储器(未图示)中。帧存储器中记录的图像信息被以规定的同步定时转换成视频信号， 然后输出到触摸传感式显示器(触摸屏108)。由此，能够进行各种图像显示。图像运算处理器能够高速执行2维图像的重叠运算、α混合等透视运算以及各种 饱和运算。而且，还可以高速执行将被配置在3维虚拟空间并附加了各种纹理信息的多边形 信息，采用Z缓冲法进行渲染，以获得从规定的视点位置俯瞰了被配置在3维虚拟空间内的 多边形的渲染图像的运算。并且，通过使CPUlOl和图像运算处理器配合动作，能够按照定义文字形状的字体 信息，将字符串作为2维图像向帧存储器描画，或向各个多边形表面描画。字体信息被记录 在R0M102中，但也可以利用存储卡106中记录的专用字体信息。其中，上述触摸屏108是通过叠加触摸传感器而构成的液晶屏。触摸屏108对用 户利用手指或输入笔等按压的位置所对应的位置信息进行检测，并输入到CPU101。另外，根据用户通过输入部105或触摸屏108输入的指示，能够将RAM103中暂时 存储的数据恰当地存储到存储卡106中。NIC109用于将游戏装置100与互联网等计算机通信网(未图示)连接。对于 NIC109而言，例如在通过无线方式将游戏装置与LAN (Local Area Network)连接的情况下， 由遵照IEEE802. 11等标准的接口(未图示)构成，而在通过有线方式与LAN连接的情况 下，由遵照10BASE-T/100BASE-T标准的设备、或用于使用电话线路与互联网连接的模拟调 制解调器、ISDN(Integrated Services Digital Network)调制解调器、ADSL (Asymmetric Digital Subscriber Line)调制解调器、用于使用有线电视线路与互联网连接的电缆调制 解调器等、和进行调制解调器与CPUlOl之间的连接的接口(未图示)构成。借助NIC109与互联网内的SNTP服务器连接，通过从这里取得信息，还可以获得当 前的日期信息。另外，也可以设定为使各种网络游戏的服务器装置能够发挥与SNTP服务器 同样功能的结构。声音处理部110将从存储卡106读出的声音数据转换成模拟声音信号，并从与声 音处理部110连接的扬声器112输出。而且，在CPUlOl的控制下，生成在游戏的进行过程 中应该发生的效果音和乐曲数据，并从扬声器112输出与其对应的声音。在存储卡106中记录的声音数据是MIDI数据的情况下，声音处理部110参照其具 有的音源数据，将MIDI数据转换成PCM数据。另外，在是ADPCM形式或Ogg Vorbis形式等 压缩完毕的声音数据的情况下，将其展开，转换成PCM数据。通过对PCM数据以与其采样频 率对应的定时进行DA(DigitaVAnalog)转换，并输出到扬声器112等，可实现声音输出。而且，声音处理部110对从麦克风111输入的模拟信号以适当的采样频率进行A/ D转换，生成PCM形式的数字信号。除此以外，游戏装置100也可以构成为取代存储卡106，而具有从DVD-ROM读出程序和数据的DVD-ROM驱动器，使DVD-ROM具有与存储卡106相同的功能。另外，接口 104也 可以构成为从存储卡106以外的外部存储介质读出数据。或者，游戏装置100可以构成为使用硬盘等大容量外部存储装置，来实现与 R0M102、RAM103、存储卡106等相同的功能。另外，虽然本实施方式涉及的项目选择装置及声音处理装置在便携式游戏装置上 实现，但也可以在一般的计算机上实现。一般的计算机与上述游戏装置100同样，具有 CPU、RAM、R0M、NIC等，并且具有比游戏装置100简易的功能的图像处理部，作为外部存储装 置，除了具有硬盘以外，还可利用软盘、光磁盘、磁带等。另外，也可以取代输入部，将键盘和 鼠标等作为输入装置进行利用。而且，当在安装了程序后执行该程序时，可作为项目选择装 置及声音处理装置发挥功能。下面，对项目选择装置进行说明，然后对声音处理装置进行说明。需要说明的是， 只要未做标注，对项目选择装置及声音处理装置，利用图1所示的游戏装置100加以说明。 项目选择装置及声音处理装置可根据必要，适当地置换成一般的计算机的要素，这些实施 方式也属于本发明的范围。(项目选择装置)图3是表示本实施方式涉及的项目选择装置200的概要结构的框图。项目选择装 置200如图3所示，具有存储部201、显示部202、检测部203、项目输出部204、移动部205 等。另外，如后述那样，项目选择装置200也可以如图8所示具备接触部件206。下面，参照 本图，对项目选择装置200的各构成要素进行说明。存储部201用于存储将成为选择对象的项目作为要素的表。该表采用了至少具有 1行和列的2维排列结构。例如，在利用游戏装置100选择多个曲目进行再生的情况下，该 表可以构成为将该各个曲目作为要素。另外，在具有N个要素的1维表的情况下，也可以将 该表分成A个组，构成A行、N/A列(或N/A行、A列)的2维表。存储卡106、RAM103等通 过配合动作，作为存储部201发挥功能。显示部202从存储部201中取得表的构成信息，如图4A所示那样，生成表的图像 数据(参照300)。另外，虽然在图中表具有5行4列的要素，但表的大小不限于此。在本实 施方式中，考虑到表的大小比触摸屏平面的大小大的情况，准备了覆盖表的图像数据的一 部分的具有规定大小的区域的窗(参照310)。该窗的大小和位置被存储在存储部201中。 窗的位置根据用户的操作指示进行移动而被更新。显示部202取得存储部201中存储的窗 的位置，将被该窗覆盖的区域中包含的该表的要素，例如如图4B所示那样进行显示。另外，对于图4B中显示的项目的一览而言，要素的边界与显示区域的边界不一 致，但也可以调整成一致。这样，由于被窗覆盖的区域是由显示部202显示的区域，所以，下面只要未做标 注，窗和区域便表示相同的含义。CPUlO 1、RAM103、图像处理部107、触摸屏108等通过配合 动作，作为显示部202发挥功能。窗的位置例如由该窗的原点0’距离表的原点0(例如表的左上)的坐标值(例如 从0到0’的X方向及Y方向的像素数)表示。另外，如果将所显示的表的X方向的大小设 为W，则表示各要素的区块(参照图4A的301)的X方向的大小W为W/N(N 列数)，如果将 表的Y方向的大小设为L，则区块的Y方向的大小1为L/M(M 行数)。
11
检测部203以规定的时间间隔检测是否与触摸屏接触。用户所触摸的触摸屏平面 的位置，例如被表示为将触摸屏左上角作为原点时的坐标值。另外，在触摸屏未被触摸的情 况下，检测部203输出表示未被触摸的信号。触摸屏108、CPUlOl等通过配合动作，作为检 测部203发挥功能。项目输出部204在根据检测部203的检测结果，判断为用户开始对触摸屏的接触， 并在几乎不移动该接触位置地离开了触摸屏的情况下，将在该接触的位置所显示的项目作 为选择结果输出。这里，对于“几乎不移动”而言，只要从开始接触到离开的期间所检测出 的位置都在规定的范围内即可。CPUlOl等作为项目输出部204发挥功能移动部205在根据检测部203的检测结果，判断为用户按照拂触触摸屏的方式进 行了接触移动的情况下，取得离开触摸屏之前的接触移动的速度。然后，根据该速度，使存 储部201中存储的窗的位置被移动更新。当显示部202显示被移动的窗覆盖的表的区域时， 表被滚动显示。另外，移动部205在用户接触触摸屏的期间，按照在接触位置显示与开始对触摸 屏的接触时接触位置上所显示的项目相同的项目的方式，移动窗的位置。即，开始接触时所 接触的项目被固定于接触位置。因此，在表滚动的情况下，如果再次接触触摸屏，则该接触 位置所显示的内容被固定于接触位置，还可以停止滚动。CPU101、RAM103、存储卡106等通 过配合动作，作为移动部205发挥功能。(动作处理)下面，参照图5，对具有上述结构的项目选择装置200的处理动作进行说明。在接通了项目选择装置200的电源后，通过由CPUlOl执行IPL，进行将存储卡106 中记录的程序读取到RAM103中等的初始化处理。当随着程序的进行，开始了项目选择处 理时，首先，显示部202显示将成为选择对象的项目的一部分一览显示的选择画面(步骤
5400)。在本实施方式中，选择对象的项目是用于对执行吉他模拟的乐曲进行能够确定的信 息(曲目等)。此时，显示部202如上述那样，从存储部201中取得表的构成信息，生成表的图像 数据。由于窗的位置在初始状态下被配置在表的原点，所以，显示部202显示从表的原点起 在X方向上被覆盖为窗的宽度W、及在Y方向上被覆盖为窗的长度L的区域。然后，在检测部203检测出坐标值时，CPUlOl将其存储到存储部201中(步骤
5401)。被存储的坐标值用于之后计算出接触位置的变化速度。接着，CPUlOl判定检测部203检测出的状态是否发生了变化(步骤S402)。S卩，在 上次检测出的是坐标值时，如果这次检测出离开状态(即没有接触触摸屏的状态)、或检测 出与上次不同的坐标值，则判定为状态发生了变化。或者，在上次检测出的是离开状态时， 如果这次检测出任意坐标值，则判定为状态放生了变化。CPUlOl在状态未变化的期间(步 骤S402 否)，再次返回到步骤S402，等待状态发生变化。CPUlOl在判定为检测状态发生了变化时(步骤S402 是)，接着判定这次检测出 的是离开状态、还是坐标值(步骤S403)。在这次检测出的是坐标值的情况下(步骤S403 否)，接着，CPUlOl判定上次检测 出的状态是离开状态、还是不同的坐标值(步骤S410)。如果上次检测出的状态是离开状 态，则判定为用户开始了接触(步骤S410 是)，CPUlOl将开始接触时的触摸屏上的坐标值
12和窗的位置，暂时存储到RAM103中(步骤S411)。然后，使处理返回到步骤S400。另一方面，在这次检测出的是坐标值(步骤S403 否)、且上次检测出的状态不是 离开状态的情况下(步骤S410 否)，意味着这次检测出的是与上次检测出的坐标值不同的 坐标值。即，在接触的状态下接触位置发生了移动。此时，移动部205按照上次接触的位置 所显示的要素被拖拽显示到这次接触的位置的方式，移动窗(步骤S412)。S卩，如图6A所示，在上次检测出的状态是坐标值(p 1，ql)、这次检测出的状态是坐 标值(P，q)的情况下，接触位置在X方向上移动了 P-Pl，且在Y方向上移动了 q-ql。因此， 如图6B所示，移动部205将窗310的位置(xl，yl)向相反方向(即(xl-(p-pl), yl-(q-ql)) 移动相当于接触位置所移动的量。在图6B中，将移动后的窗表示为310’，将该窗310’的位 置用(X，y) = (xl-(p-pl), yl-(q-ql)表示。例如，在图6C中，处于要素GG的左上部被接触的状态。当在该被接触的状态下， 向图6C所示的箭头方向移动了接触位置时，窗的位置向与接触位置的变化方向相反的方 向移动相同的变化量。由此，如图6D所示那样，在接触位置上，与图6C同样，显示要素GG 的左上部。另外，在通过拖拽操作，窗的位置发生变化，窗的区域超出了表的区域的情况下， 进行再次配置，使窗的位置(x，y)始终表示表的区域内的坐标。例如，在窗的位置到达了表 的边端的情况下，将窗的位置移动到表的相反极端的位置。即，在表被显示于由原点(0，0)、 (W，0)、(0，L)、(W，L)所包围的区域中时，使由X = W表示的表300的边界线成为X = 0的 边界线，使由Y = L表示的边界线成为Y = 0的边界线。由此，表示窗的位置的坐标值，对在X方向上比W大的部分加上0。而对在X方向 上比0小的部分，从W中减去。另一方面，对在Y方向上比L大的部分加上0。而对在Y方 向上比0小的部分，从L中减去。这样，窗的位置被巡回移动。例如，在图7A中，表示了在窗310的位置位于从表300的原点起的(_cx，_dy)的 位置(C、d是任意常数)，(-CX, -dy)位于表300的区域外的情况下，窗的位置被再次配置 到表的区域内的(W-cx，L-dy)的样子。被再次配置的窗用310’表示。由此，处理返回到步骤S400，当显示部202显示被当前窗覆盖的表的区域时，用户 接触的触摸屏的位置所显示的要素，被显示成拖拽移动到用户移动了接触后的移动目的地 的位置。其中，窗的大小被预先存储在存储部201中。不过，在随着步骤S412中的窗位置的移动，窗区域的一部分被配置成从表中超出 的情况下，显示部202对从表中超出的窗的区域，进行巡回显示，以使表的行及列各自的开 头和最后的要素邻接。对此，例如可以进行以下的计算。例如，将W及L分别设为表300的X方向及Y方 向的大小，将W’及L’分别设为窗310的X方向及Y方向的大小。如果窗310的原点0’的 坐标值是(X、y)，则应该显示的表的区域成为从表300的原点0到(x, y)、(X+W，，y)、(χ, y+L’)、(x+W’，y+L’ )所包围的区域。如果将该应该显示的表的区域内的任意点的坐标值 设为(s，t)，则通过计算(s’, t，)= (s mod W，t mod L)，坐标值(s，，t，)即使在窗的区 域超出表的区域而配置的情况下，也能够通过巡回，被赋予表的区域内的坐标值。由此，例如如图7B所示那样，在窗310位于表300中的情况下，所显示的表的要素 成为图7C所示的情况。
另一方面，如果这次检测出的是离开状态(步骤S403 是)，则项目输出部204判 定在步骤S400中存储到存储部201中的坐标值是否在规定的范围内(步骤S404)。例如，在存储的检测位置全部包含在具有规定半径的区域内的情况下，判定为接 触位置未发生移动(步骤S404 是)，项目输出部204例如将在所存储的检测位置的平均坐 标值上当前显示的表的项目，作为选择结果输出(步骤S405)。在得到选择结果后，结束项目选择处理，CPUlOl根据得到的选择结果，进行规定的处理。另外，所存储的坐标值可以在步骤S405之后被废弃(步骤S420)。另一方面，在所存储的检测位置都不在规定的范围内的情况下(步骤S404 否)， 判断为接触位置发生了移动，CPUlOl计算出刚解除接触之前的接触位置的移动速度，判定 计算出的移动速度是否为规定的阈值速度以上(步骤S406)。例如，在将刚解除接触前的检测坐标设为(pl，ql)，并且将其前一个检测坐标设为 (p2，q2)(它们是通过参照存储部201中存储的最新坐标值、和其之前的坐标值而得到的)， 将检测部203进行检测的时间间隔设为Tl的情况下，表示解除接触前的接触位置的变化的 速度向量，可通过下式求出。((pl-p2)/Tl，(ql-q2)/Tl)如果上述χ成分及y成分中大的一方的成分为规定的阈值速度以上(步骤S406 是)，则判定为用户对触摸屏进行了拂触操作，移动部205将窗的位置，以与用户拂触的速 度相应的速度，向大的一方成分的方向移动(步骤S407)。S卩，χ成分比y成分大的情况意味着接触被解除前的接触位置的移动速度的方向 接近χ方向。因此，使窗的位置沿行方向(左右方向)，以(pl_p2)/Tl的速度移动。另一方 面，y成分比χ成分大的情况意味着该移动速度的方向接近y方向。因此，使窗的位置沿列 方向(上下方向)，以(ql-q2)/Tl的速度移动。也可以将对该计算出的接触位置的χ方向 及y方向的移动速度乘以了规定的系数的值，作为窗的移动速度。另外，如果χ成分和y成 分的大小相同，则向行或列的任意规定的方向，以该方向的成分的速度使窗的位置移动。接着，显示部202进行与步骤S400同样的处理，显示具有选择项目作为要素的表 中被窗覆盖的区域(步骤S408)。然后，CPUlOl判定是否检测到接触(步骤S409)，若判定 为检测到接触(步骤S409 是)，则认为开始了接触，进入到步骤S411的处理。而在未检测 到接触的期间(S409 否)，返回到步骤S407的处理。结果，表在下一次检测到接触之前，由 显示部202在行方向或列方向，根据拂触之前的接触移动速度滚动显示。另外，对于拖拽操作，在如上述那样窗到达了表的图像的边界时，移动部205使窗 的位置巡回移动。另一方面，在判断为接触位置的移动速度低于规定的速度时(步骤S406 否)， CPUlOl使处理返回到步骤S400。到此，项目选择处理结束。(声音处理装置)下面，对利用以如上述那样选择的曲目而确定的乐曲，来实现模拟吉他演奏的声 音处理装置1000进行说明。图9是表示本实施方式涉及的声音处理装置1000的概要结构的示意图。声音处 理装置1000如图9所示，具有检测部1001和声音输出部1002等。另外，声音处理部1000
14可以如后述那样，具有接触部件206 (参照图8)。下面，参照本图，对本实施方式涉及的声音 处理装置1000的各构成要素进行说明。检测部1001与项目选择装置的检测部203同样，用于以规定的时间间隔检测是否 与触摸屏接触。用户接触的触摸屏平面的位置，例如被表示为将触摸屏的左上角作为原点 时的坐标值。另外，在触摸屏未被接触的情况下，输出表示未接触的信号。触摸屏108和 CPUlOl等通过配合动作，作为检测部1001发挥功能。声音输出部1002根据检测出的结果，判断用户对触摸屏进行的操作是否满足规 定的操作条件，在满足的情况下，进行开始或停止输出声音的输出的控制。声音处理部110 等作为声音输出部1002发挥功能。(动作处理)下面，对具有上述结构的本实施方式涉及的声音处理装置1000的动作处理进行 说明。在存储卡106中，对应于曲目等乐曲的属性信息，存储有该乐曲的伴奏声音、演奏 声音、和应该输出该演奏声音的定时等。在根据用户的指示选择了曲目，并通过按下规定的控制键等发出游戏开始的指示 时，CPUlOl将与该曲目对应的伴奏声音从存储卡106展开到RAM103中，借助声音处理部 110输出到扬声器112等。伴奏声音例如如卡拉OK的引导旋律那样包含引导演奏声音，向用 户提示应该输出演奏声音的定时。用户和着引导演奏声音，按照满足规定的操作条件(即， 使声音处理装置1000判定为是有效的拨弦操作)的方式，对触摸屏进行操作。或者，也可以通过视觉方式向用户提示输出当前的演奏声音的定时。例如，可以显 示随着时间以规定的间隔向规定的方向前进的标记，并在该标记的前进方向上显示对输出 演奏声音的定时进行表示的定时用标记。用户在该移动的标记到达了该定时用标记的时间 点，按照满足规定的操作条件的方式，对触摸屏进行操作。另外，输出各个演奏声音的定时 被表示为，例如在将伴奏声音开始的时刻设为0的情况下，从该开始时刻起的相对的时间， 与该各个演奏声音对应存储。下面，参照图10，对本实施方式涉及的声音处理装置1000根据用户对触摸屏的操 作，进行输出或停止声音的处理流程进行说明。检测部1001首先在步骤S500中检测触摸屏108的状态。即，如果有接触，则检测 出对存在接触的位置进行表示的坐标值，如果没有接触，则检测出表示未接触的情况。然 后，在检测部1001上次检测出的是坐标值的情况下，CPUlOl将该坐标值存储到RAM103等中 设置的用于存储该坐标值的区域中。由于在初始状态下，不存在之前检测出的状态，所以， 坐标值未被存储地进入到步骤S501。另外，根据后述的处理可知，被存储的坐标值成为继续检测出的全部坐标值的轨 迹、或其一部分。在检测到离开状态、或被确定了有效的拨弦操作后，所存储的坐标值被废 弃，从该时刻再次开始检测坐标的存储。这样存储的坐标值在之后决定输出音量等时使用。然后，CPUlOl确定规定数量的被存储的检测坐标是否全部在规定的范围内(例 如，根据规定数量的被存储的检测坐标的中点、或平均值，确定在规定的范围内是否包含全 部的检测坐标)(步骤S501)。如果全部的检测坐标在规定的范围内(步骤S501:是)，则 意味着在规定的时间，接触位置的变化停止。如果有范围外的坐标(步骤S501 否)，则意味着规定数量的被存储的检测坐标正在变化。在步骤S501为否的情况下，处理接下来进入 到步骤S502。CPUlOl判断检测部1001检测出的状态是否从上次检测出的状态发生了变化(步 骤S502)。即，在上次检测出坐标值的情况下，如果满足这次检测出离开状态(即触摸屏108 未被接触的状态)、或检测出与上次不同的坐标值的条件，则判定为状态发生了变化。另外， 在上次检测出离开状态的情况下，如果这次检测出任意的坐标值，则判定为状态发生了变 化。CPUlOl在状态未变化的期间(步骤S502:否)再次返回到步骤S500，等待状态发生变 化。其中，上次检测出的状态例如被暂时存储到RAM103等中。在判定为检测状态发生了变化时(步骤S502 是)，CPUlOl接下来判定这次检测 出的是离开状态还是坐标值(步骤S503)。在这次检测出的不是离开状态，而是坐标值的情况下(步骤S503 否)，上次检测 出的状态是离开状态、或其他坐标值。首先，如果上次检测出的是离开状态(步骤S521: 是)，则CPUlOl使处理返回到步骤S500。其中，在步骤S500中，由于在上次检测出的状态 是坐标值的情况下，存储该上次检测出的坐标值，所以，在步骤S521中作为开始接触的位 置而被确定的坐标值，在接下来执行步骤S500时被存储。另一方面，在这次检测出的坐标值是与上次检测出的坐标值不同的坐标值的情况 下(步骤S521 否)，意味着继续检测出的接触位置发生了变化。此时，CPUlOl计算出该 接触位置的移动向量(移动方向)(步骤S531)。移动向量通过从步骤S501中存储的坐标 值中，减去这次检测出的坐标值和其前1个坐标值(即所存储的最新的坐标值)而求出。 然后，将该移动向量、与通过上次执行步骤S531而求出的接触位置的移动向量(执行步 骤S531的结果被暂时存储到RAM103中)进行比较，来判定是否是大致相反的方向(步骤 S532)。S卩，CPUlOl求出这次求出的移动向量、与上次执行步骤S531而求出的接触位置的 移动向量的内积。如果内积小于负的规定值，则判定为该2个向量大致反向(步骤S532: 是)。另一方面，如果该内积大于上述的规定值，则判定为该2个向量不反向(步骤S532: 否)。另外，在从开始接触时起继续检测出的接触位置最初发生变化的情况下，不存在 “上次的移动方向”。因此，该情况下，认为移动方向未向反向变化，进行处理(即，认为是步 骤S532为否地进行处理)。在如上述那样，判定为拨弦的方向向反方向变化的情况下(即，判断为S532为是 的情况)，在本实施方式中，判定为进行了有效的往复拨弦。如果在应该输出演奏声音的定 时前后的规定范围内的时刻得到是进行了有效的往复拨弦的判定，则声音输出部1002从 RAM103中取得与该定时对应存储的演奏声音，以规定的方法确定音量(步骤S533)，开始输 出(步骤S534)。另一方面，在即使进行了有效的往复拨弦，但不是从应该输出演奏声音的 时刻起在前后规定的范围内的时刻进行的情况下，声音输出部1002在步骤S534中，输出表 示失败的声音。其中，预先设定了从开始输出演奏声音起持续输出的时间。参照图11，说明在进行了有效的往复拨弦操作时，对声音输出部1002输出的演奏 声音的音量进行决定的方法。图11表示从点A开始接触，在点B折返，进行反向的拨弦，并 且，在点C折返进行了拨弦的情况。
16
在图11的例子中，当拨弦变成反向时首先确定的是检测出紧接点B之后的接触位 置(即点B’)的时刻。因此，判定为在检测出点B’的时间点首先进行了有效的往复拨弦操 作。该情况下，根据从开始接触的点A到移动方向变化前的点B的距离决定音量，输出演奏 声音。同样，在检测出点C’的时间点，判定为再次进行了有效的往复拨弦，根据从点B’到 点C的距离决定音量，输出演奏声音。从点A到点B、或从点B’到点C的距离，可以是直线距离，也可以是轨迹的长度。 这里，轨迹的长度例如是指，从点A到点B、或从点B’到点C为止持续检测出的接触坐标间 的直线距离的总和。本实施方式中，在利用了任意距离的情况下，都是得到的距离越长，输 出越大的音量。例如，可以通过对得到的距离乘以规定的常数来求出音量，也可以预先准备 表示与距离对应的音量的表，根据参照该表计算出的音量，取得对应的音量。另外，在所存储的检测坐标在步骤S535中被废弃之后，这次检测出的接触位置在 处理返回到步骤S500的时刻，被存储到RAM103中。由此，在刚进行了有效的拨弦操作后开 始接触的位置，必定作为所存储的检测坐标的最旧的坐标值被存储。而且，之后持续检测出 的坐标值被陆续存储。由此，被判定为进行了有效的拨弦操作之前的值，作为所存储的检测 坐标值中最新的坐标值被存储。因此，声音输出部1002通过参照该被存储的检测坐标值， 可得到计算距离所必要的坐标值。最后，为了在后述的处理中利用，将进行了往复拨弦操作的情况存储到RAM103等 中(例如，只要在RAM103中准备对是否进行了往复拨弦操作进行表示的往复标志即可) (步骤 S536)。在本实施方式中，如后述那样，对用户在触摸屏108上向单方向拂触的情况，也判 定为进行了有效的拨弦操作。但是，在用户进行往复拨弦操作，开始了反方向的拨弦的时 刻，也输出演奏声音。因此，在往复拨弦操作后，用户进行拂触操作、再次输出演奏声音是不 自然的。因此，本实施方式中，在检测到离开状态的情况下，参照往复标志，确定其之前是 否刚进行了往复拨弦操作(步骤S504)。然后，在往复标志中存储有进行了往复拨弦操作的 信息时(步骤S504 是)，废弃往复标志的信息(步骤S505)。并且，废弃所存储的检测坐 标(步骤S506)，将处理返回到步骤S500。即，在检测出离开状态之前进行了往复拨弦操作 的情况下，不进行演奏声音的输出地将处理返回到步骤S500。另一方面，在检测出离开状态之前未进行往复拨弦操作的情况下(步骤S504: 否)，CPUlOl计算出检测出离开状态之前的接触位置的变化速度(步骤S507)。该变化速 度如果为阈值速度以上(步骤S507 是)，则CPUlOl判定为有效地进行了向单方向拂触的 操作(即，进行了有效的单方向拨弦操作)。当在应该输出演奏声音的定时前后的规定的范围内的期间，判定为在步骤S507 中进行了有效的单方向拨弦操作时，声音输出部1002从存储卡106中取得与该定时对应存 储的演奏声音。然后，通过规定的方法确定该演奏声音的音量(S508)，以该音量输出该演奏 声音(步骤S509)。不过，当判定为该拨弦操作是有效的时刻不包含在应该输出演奏声音的 定时前后的规定范围内时，声音输出部1002输出表示失败的声音。其中，根据从接触检测开始的位置到检测出离开状态之前的接触位置的距离，确 定音量。与步骤S533同样，该2点之间的距离可以是直线距离，也可以是轨迹的长度，该距离通过取得所存储的检测坐标值而求出。另外，在步骤S501中，如果存储了规定数量的检测位置、这些检测位置全在规定 的范围内(步骤S501 是)，则CPUlOl判定为接触位置的变化停止了规定的时间。如果在 判定为接触位置的变化停止了规定的时间时，有正被输出的声音，则声音输出部1002停止 该输出(步骤S541)。另外，此时也可以输出特殊的弱音。另一方面，在接触位置的变化停 止了规定的时间时，未输出声音的情况下，声音输出部1002直接使处理进入到步骤S542。 在步骤S542中，CPUlOl将存储的检测坐标全部废弃，使处理返回到步骤S500。声音处理装置1000如上述那样进行声音的输出及停止。(其他实施方式)在第1实施方式中，声音处理装置1000在确定了拂触动作时，或对触摸屏108的 拨弦方向变化成反方向时，判定为进行了有效的拨弦操作。由此，用户能够与把持游戏装置 100的方向、用户进行拨弦的方向等无关地进行有效的拨弦操作的判定。在本实施方式中，导入相当于吉他的琴弦的判定线，更忠实地再现发出吉他音的 结构。并且，与上述实施方式同样，对能够吸收用户把持游戏装置的方向、和进行拨弦的方 向等，进行模拟吉他演奏的声音处理装置进行说明。需要说明的是，该判定线可以显示在触 摸屏上，也可以不显示。图12表示了本实施方式涉及的声音处理装置1000的功能框图。本实施方式中， 在上述实施方式所具备的检测部1001、声音输出部1002的基础上，还具有调整部1003。不过，声音输出部1002取代上述实施方式中说明的判定条件，在持续检测出的接 触位置的轨迹越过了规定的判定线的情况下，判定为进行了有效的拨弦操作(即满足规定 的操作条件)。而且，调整部1003调整判定线的方向和位置，以使判定线的方向与持续检测出的 接触位置的轨迹交叉的角度接近直角。这里，判定线用于模拟被配置在触摸屏平面的吉他 的琴弦。即，在本实施方式中，声音处理装置1000在用户接触触摸屏108的同时越过了判 定线的情况下，判定为进行了有效的拨弦操作。判定线的方向和位置例如根据世界坐标系被存储在存储卡106中，当用户发出游 戏开始指示时，被读取到RAM103中。这样，存储卡106、RAM103以及CPUlOl等通过配合动 作，作为调整部1003发挥功能。下面，参照图13，对具有上述结构的图12所示的声音处理装置1000的动作处理进 行说明。首先，步骤S601与图10所示的步骤S500同样，声音处理装置1000在检测出坐标 值的情况下，存储该坐标值。在本实施方式中，也是从后述的处理中可知，步骤S601中存储 的坐标值成为持续检测出的坐标值的轨迹、或其一部分。在检测出离开状态、或确定了有效 的拨弦操作后，废弃说存储的坐标值，从该时刻再次开始检测坐标的存储。接着，如果所存储的规定数量的检测位置全部在规定的范围内(步骤S602 是)， 则意味着接触位置的变化停止了规定的时间。因此，进行与步骤S541及S542相同的处理， 如果在该时刻有正被输出的声音，则声音输出部1002停止该输出(步骤S610、611)。如果在步骤S602中，规定数量的检测位置全不在规定的范围内(步骤S602 否)， 则CPUlOl接下来判定是否检测出离开状态(步骤S603)。在检测出离开状态的情况下(步骤S603 是)，CPU101将所存储的检测位置全部废弃(步骤S604)，使处理返回到步骤S601。另一方面，在这次检测出的不是离开状态，而是坐标值的情况下(步骤S603 否)， CPUlOl接下来判定接触位置的轨迹是否越过了判定线(步骤S620)。即，判定将这次检测 出的坐标值和上次存储的坐标值连接的线段是否与判定线交叉。本实施方式中，在接触位置的轨迹越过了判定线的情况下(步骤S620 是)，判定 为进行了有效的拨弦操作。由此，与第1实施方式同样，当判定为在应该输出演奏声音的定 时前后的规定范围内的期间，进行了有效的拨弦操作时，声音输出部1002从存储卡106中 取得与该定时对应存储的演奏声音。然后，通过规定的方法确定该取得的演奏声音的音量 (步骤S621)，开始该演奏声音的输出(步骤S622)。不过，当判定为在不包含于应该输出演 奏声音的定时前后的规定的范围内的时刻，接触位置的轨迹越过了判定线的情况下，声音 输出部1002输出表示失败的声音。需要说明的是，与上述第1实施方式同样，以规定的长 度输出演奏声音。另外，在本实施方式中，根据持续检测出的接触位置的轨迹中，从上次被判定为越 过了判定线的时刻之后检测出的坐标值，到这次被判定为越过了判定线的时刻之前检测出 的坐标值为止的距离，来确定演奏声音的音量。这里，与第1实施方式相同，该2点之间的 距离可以是直线距离，也可以是轨迹的长度。而且，该得到的距离的长度越长，越增大音量。参照图14A，对为了计算出音量而确定的距离进行说明。图14A表示了触摸屏平面 1081中的持续检测出的坐标值的轨迹的一例。首先，在点P处开始拨弦操作，在从点Q-I检 测到点Q的期间，越过判定线L。进而，继续进行拨弦操作，在点R处折返，在从点S-I检测 出S的期间，再次越过判定线。在图14A的例子中，当从点P向R进行了拨弦时，检测出点Q，判定为首次越过了 判定线L。不过，由于此前检测坐标的轨迹未越过判定线L，所以，将作为接触开始位置的点 P，设定为“在上次判定为越过了判定线之后检测出的坐标值”，根据从点P到这次越过了判 定线之前检测出的坐标值Q-I的距离，确定音量。其中，距离可以是直线距离，也可以是移 动距离(路程)。接着，当在点R折返进行了拨弦时，如果检测出点S，则确定为再次越过了判定线 L。该情况下，由于“上次判定为越过了判定线之后检测出的坐标值”是点Q，所以，根据从点 Q到这次越过了判定线之前检测出的坐标值S-I的距离，确定音量。另外，从图13所示的流程图中可知，在本实施方式中，从开始了拨弦的时刻的坐 标值起进行存储。当接触位置的轨迹越过判定线，判定为进行了有效的拨弦操作时，在后述 的步骤S624中将至此存储的检测坐标废弃，存储从越过了判定线后最初检测出的坐标值 起持续检测出的坐标值。即，例如图14A的例子那样，在从点Q进一步继续进行了拨弦操作 的情况下，从点Q起再次存储检测坐标。因此，无论是开始接触并最初越过了判定线的情况、还是在越过了判定线后继续 接触，并再次越过了判定线的情况，都可通过参照所存储的坐标值，取得上述的距离计算所 必要的信息。另外，在将这次检测出的接触位置和上次检测出的接触位置连接的线段未越过判 定线的情况下(步骤S620 否)，这次检测出的坐标值在接下来执行步骤S601的处理时，继 续作为检测出的接触位置的轨迹被存储。
19
接着，调整部1003调整判定线的位置(步骤S623)。例如在图14A中，以用户从点 P向点R进行了拨弦操作的情况为例进行说明。如上所述，在点Q被检测出的时刻，判定为 越过了判定线。由此，调整部1003按照判定线L如图14B所示那样旋转角度θ的方式，更 新判定线的位置及方向，以使将在判定为越过了判定线的时刻检测出的点Q、和此前检测出 的点Q-I连接的线段与判定线L垂直相交。其中，使判定线L旋转的中心可以是判定线与 检测坐标的轨迹交叉的点，也可以是规定的位置(例如触摸屏的中心)。另外，在关闭游戏装置100的电源时，将关闭电源的时刻判定线的位置和方向写 入到存储卡106。然后，在下一次将该写入的值作为判定线的位置和方向使用。或者，也可 以在每次接通电源时，从初始状态更新判定线的位置。这样，通过调整判定线，使该拨弦的方向与判定线垂直相交，可吸收用户把持游戏 装置100的方向和进行拨弦的方向等，实现便于用户操作的人性化的声音处理装置1000。以上，对本发明的实施方式进行了说明，但本发明不限于上述的实施方式，可进行 各种变形和应用。而且，还能够将上述的实施方式的各构成要素自由组合。例如，项目选择装置及声音处理装置也可以进一步具有接触部件206，用户在与触 摸屏接触时使用接触部件206。如图8Α所示，接触部件206是所谓触笔的变形，可以构成 容易在触摸屏上进行拂触操作的吉他拨子的形状。另外，也可以在接触部件206的前端设 置突起，使检测部203、检测部1001容易检测出接触。用户如图8Β所示那样捏住接触部件 206的吉他拨子状的部分，使突起部分与触摸屏接触。图8C表示了用户使用这样的接触部件206，使接触部件206与触摸屏平面1081接 触，进行模拟吉他演奏时的样子。虚线表示接触位置的变化(即拨弦)轨迹。此时，判定线 L由调整部调整为与该拨弦的方向大致垂直相交。而且，在上述实施方式涉及的项目选择装置中，如果在表滚动时接触触摸屏，则在 该接触位置显示的内容能够被固定在接触位置，停止滚动。但是，由于在从开始接触到离开 为止的期间，如果检测出的坐标全部在规定的范围内，则项目输出部将在该坐标处显示的 项目作为选择结果输出，所以，导致在解除接触的时刻，不仅停止滚动，而且选择了在接触 的坐标值所显示的项目。因此，例如可以只在从开始接触到离开的期间检测出的坐标全在规定的范围内、 且从开始接触到离开的时间在规定的阈值时间以内的情况下，项目输出部将在该坐标上显 示的项目作为选择结果输出。由此，当到离开为止，在相同位置接触了规定的阈值时间以上 时，不进行选择，继续显示用户接触时的窗的位置。并且，在上述实施方式中，项目选择装置的移动部根据用户对触摸屏进行的拂触 操作的方向，限制在上下方向或左右方向移动了窗的位置。但也可以使窗向与解除接触之 前的接触位置的变化速度相反的方向移动。由此，表在上下方向、左右方向以外的方向也被 滚动显示。另外，在上述实施方式中，项目选择装置的移动部在窗的位置到达表的端边时，将 该区域的位置巡回移动。但也可以向相反的方向移动。例如，在表被显示在由原点(0,0), (W，0)、(0，L)、(W，L)包围的区域中时，窗的位 置(x，y)不包含在该区域内的情况下，对于在X方向比W大的部分，只要将从W中减去的值 作为X方向的坐标值即可。或者，对于在X方向比0小的部分，只要将对0加上的值作为X
20方向的坐标值即可。另一方面，对于在Y方向比L大的部分，只要将从L中减去的值作为Y 方向的坐标值即可，而对于在Y方向比0小的部分，只要将对0加上的值作为Y方向的坐标 值即可。而且，在上述实施方式中，项目选择装置的移动部使用检测出离开状态之前的接 触位置的变化速度，在步骤S407中移动了窗的位置。但也可以在步骤S407中，对计算出的 离开之前的接触位置的速度乘以规定的系数，逐渐减慢窗的位置的移动速度。另外，在其他实施方式中，声音处理装置的调整部也可以根据过去的拨弦操作，来 调整判定线。例如，在拨弦操作时，通过从确定为与判定线交叉的时刻的接触位置减去此前 检测出的接触位置，来求出归一化后的方向向量(以下称为交叉向量)。然后，暂时存储通 过将该交叉向量加上相加向量并进行归一化而新获得的相加向量。其中，由于在初始状态 下，相加向量不具有数值，所以计算出的交叉向量成为相加向量。然后，更新所存储的判定 线的位置和方向，使其与该相加向量垂直相交。例如，在进行了图14A所示的拨弦时，如图14C所示，交叉向量成为从点Q-I向Q 延伸的向量、和从点S-I向点S延伸的向量，相加向量成为向量A。然后，同样地在与判定线交叉的时刻求出交叉向量，与相加向量相加并进行归一 化。不过，由于在相加时，需要使交叉向量与相加向量的方向一致，所以求出该2个向量的 内积。在内积的结果得到比负的规定值小的值的情况下，认为该2个方向向量大致方向相 反。由此，对这次求出的交叉向量乘以负1，使方向一致，然后与相加向量相加。另一方面， 在内积比该规定值大的情况下，直接将交叉向量与相加向量相加即可。然后，更新判定线的 位置和方向，使其与该相加向量垂直相交。这样，通过将拨弦操作中的交叉向量不断与作为过去的交叉向量之和的相加向量 相加，可更正确地提取出用户的拨弦“习惯”。或者，也可以取代上述交叉向量，而使用从与判定线交叉的拨弦的开始位置到终 点位置的方向向量。这里，拨弦的终点在拂触的情况下是解除接触之前的位置。另一方面， 在进行了往复拨弦操作的情况下，是拨弦的方向成为反方向之前的位置。另外，在上述实施方式涉及的声音处理装置中，声音输出部根据从开始接触的时 刻到满足规定的操作条件的距离等，决定了音量。但也可以根据持续检测出的接触位置的 轨迹中、任意持续检测出的2点接触位置的变化速度的代表值(例如平均速度)，来决定音 量。即，速度越快，越大加音量。而且，在上述实施方式涉及的声音处理装置中，预先设定了声音输出部持续输出 演奏声音的时间。但也可以根据持续检测出的接触位置的轨迹中、任意持续检测出的2点 接触位置的变化速度的代表值(例如平均速度)，来决定持续输出的演奏声音的长度。艮口， 速度越快，演奏声音输出的时间越长。并且，声音输出部也可以从满足了操作条件起经过规定的时间后，开始声音的输 出。例如，在宽阔的场所进行演奏的情况下，从进行操作起，在经过若干延迟时间后，声音才 到达离演奏者远的人群。因此，通过如此插入延迟时间，即便使用便携式游戏机，也能够发 挥如同在宽阔的场所进行演奏的效果。而且，该情况下，声音输出部在检测出离开时，将该延迟时间恢复成默认值，在每 次连续满足操作条件时缩短该延迟时间。通常，与只进行一次拨弦的情况相比，持续进行拨弦的情况不容易感到延迟。因此，为了强调初次的延迟，可以在持续满足操作条件时，通过 将延迟时间比上次满足操作条件的情况缩短，来逐渐缩短延迟时间。另外，在上述实施方式涉及的项目选择装置及声音处理装置中，检测部除了触摸 屏以外，也可以是轨迹板、图形输入板等检测接触的有无及接触位置的硬件。而且，上述实施方式涉及的项目选择装置和声音处理装置除了在游戏装置中实现 以外，也可以在具有触摸屏的其他终端装置中实现。其中，本发明申请主张以日本国专利申请特愿2008-151554号为基础的优先权， 并在本申请书中引用了该基础申请的全部内容。工业上的可利用性如以上说明那样，根据本发明，可提供一种灵活利用触摸屏等能够检测接触的有 无以及接触位置那样的硬件的特性，模拟乐器演奏的声音处理装置、声音处理方法、信息记 录介质和程序。
2权利要求
一种声音处理装置(1000)，其特征在于，具有检测部(1001)，其在用户与被接触部的表面接触时，检测出该位置，在离开该表面时，检测出该情况；和声音输出部(1002)，其在满足了规定的操作条件时，开始输出规定的输出声音；满足该规定的操作条件的情况是，(a)在检测出接触位置之后立即检测出离开、且即将检测出离开之前的接触位置的变化为规定的阈值速度以上的情况；或(b)持续检测出的接触位置的变化的方向在规定的误差范围内成为反方向的情况。
2.根据权利要求1所述的声音处理装置(1000)，其特征在于，满足上述规定的操作条件的情况是取代满足上述(a) (b)的情况，而满足(c)持续检测 出的接触位置的轨迹越过了规定的判定线的情况，所述声音处理装置还具有调整部(1003)，用于调整该判定线的方向，使持续检测出的 接触位置的轨迹与该判定线交叉的角度接近直角。
3.根据权利要求1所述的声音处理装置(1000)，其特征在于，在检测出离开时，上述声音输出部(1002)在开始声音的输出之前插入规定的延迟时 间，当满足上述规定的操作条件时，减少该延迟时间。
4.根据权利要求1所述的声音处理装置(1000)，其特征在于，上述声音输出部(1002)根据(d)从开始接触的位置到在满足该规定的操作条件之前检测出的接触位置的距离、以及(e)从在之前满足了该规定的操作条件的时刻检测出的接触位置，到下一次满足该规 定的操作条件之前检测出的接触位置的距离，来决定应该开始该输出的输出声音的音量。
5.根据权利要求1所述的声音处理装置(1000)，其特征在于，上述声音输出部(1002)还输出规定乐曲的伴奏声音，在该伴奏声音中，根据从开始输出起的经过时间而指定的演奏定时、与应该在该演奏 定时输出的演奏声音对应，上述声音输出部(1002)在满足了该规定的操作条件、且满足了该任意条件的时刻、和 与该伴奏声音对应的演奏定时的任意定时一致的情况下，将应该在该演奏定时输出的演奏 声音作为该规定的输出声音，开始输出。
6.根据权利要求5所述的声音处理装置(1000)，其特征在于，上述声音输出部(1002)在满足了该规定的操作条件、且满足了该任意条件的时刻和 与该伴奏声音对应的演奏定时的任意定时不一致的情况下，将表示失败的声音作为该规定 的输出声音，开始输出。
7.根据权利要求1所述的声音处理装置(1000)，其特征在于，上述声音输出部(1002)在规定的阈值时间持续检测出的接触位置在规定的位置范围 内的情况下，停止该开始的输出声音的输出。
8.根据权利要求1所述的声音处理装置(1000)，其特征在于，还具有由用户捏住、用于与该表面接触的接触部件(206)，该接触部件(206)形成为拨子状、或在拨子状的前端配置了突起的形状。
9.一种声音处理方法，是使用了具有检测部(1001)和声音输出部(1002)的声音处理 装置(1000)的声音处理方法，其特征在于，包括由上述检测部(1001)在用户与被接触部的表面接触时，检测出该位置，在离开该表面 时，检测出该情况的检测步骤；和由上述声音输出部(1002)在满足了规定的操作条件时，开始输出规定的输出声音的 声音输出步骤；满足该规定的操作条件的情况是，(a)在检测出接触位置之后立即检测出离开、且即将检测出离开之前的接触位置的变 化为规定的阈值速度以上的情况；或(b)持续检测出的接触位置的变化的方向在规定的误差范围内成为反方向的情况。
10.根据权利要求9所述的声音处理方法，其特征在于， 上述声音处理装置(1000)还具有调整部(1003)，满足上述规定的操作条件的情况是取代满足上述(a) (b)的情况，而满足(c)持续检测 出的接触位置的轨迹越过了规定的判定线的情况，还包括由上述调整部(1003)调整该判定线的方向，使持续检测出的接触位置的轨迹 与该判定线交叉的角度接近直角的调整步骤。
11.一种信息记录介质，其特征在于，记录有使计算机作为以下各部发挥功能的程序，即检测部(1001)，其在用户与被接触部的表面接触时，检测出该位置，在离开该表面时， 检测出该情况；和声音输出部(1002)，其在满足了规定的操作条件时，开始输出规定的输出声音； 并且，满足该规定的操作条件的情况是，(a)在检测出接触位置之后立即检测出离开、且即将检测出离开之前的接触位置的变 化为规定的阈值速度以上的情况；或(b)持续检测出的接触位置的变化的方向在规定的误差范围内成为反方向的情况。
12.根据权利要求11所述的信息记录介质，其特征在于，满足上述规定的操作条件的情况是取代满足上述(a) (b)的情况，而满足(c)持续检测 出的接触位置的轨迹越过了规定的判定线的情况，上述程序使上述计算机作为调整部(1003)发挥功能，用于调整该判定线的方向，使持 续检测出的接触位置的轨迹与该判定线交叉的角度接近直角。
13.一种程序，其特征在于，使计算机作为以下各部发挥功能，即检测部(1001)，其在用户与被接触部的表面接触时，检测出该位置，在离开该表面时， 检测出该情况；和声音输出部(1002)，其在满足了规定的操作条件时，开始输出规定的输出声音； 并且，满足该规定的操作条件的情况是，(a)在检测出接触位置之后立即检测出离开、且即将检测出离开之前的接触位置的变 化为规定的阈值速度以上的情况；或(b)持续检测出的接触位置的变化的方向在规定的误差范围内成为反方向的情况。
14.根据权利要求13所述的程序，其特征在于，满足上述规定的操作条件的情况是取代满足上述(a) (b)的情况，而满足(c)持续检测 出的接触位置的轨迹越过了规定的判定线的情况，上述程序使上述计算机作为调整部(1003)发挥功能，用于调整该判定线的方向，使持 续检测出的接触位置的轨迹与该判定线交叉的角度接近直角。
全文摘要
检测部(1001)检测有无对触摸屏的表面的接触、以及在有接触的情况下检测其坐标值。声音输出部(1002)在确定了进行拂触动作时、或对触摸屏的拨弦方向变化为反方向时，判定为进行了有效的拨弦操作。而且，当判定为在声音处理装置(1000)中存储的正确的定时进行了有效的拨弦操作时，声音输出部(1002)开始演奏声音的输出。
文档编号G10H1/053GK101960513SQ20098010632
公开日2011年1月26日 申请日期2009年5月29日 优先权日2008年6月10日
发明者竹广将史 申请人:科乐美数码娱乐株式会社