演奏支援システムおよび制御方法 特許第7106091号
（2022.6.28 特許査定）
3軸角速度センサ（9軸慣性センサ）などのセンシングデバイス（演奏者に装着されて動作検出部のあるものなら何でも）を身に付けて楽器を演奏することで、体を動かして、センサによる演奏や動きの情報から、速度（BPM）や強弱の情報を算出、その情報を演奏に即座に反映させて合奏できる技術です。MIDIデータによる演奏を人の演奏意図に引きずり込む事が出来ます。
このデモンストレーションでは先導楽器がコンガですが、ギターやウクレレのピッキング動作、ドラム、タンバリン、ウッドブロックなどの各種打楽器演奏等でも機能することを確認しています。原理的に、拍や、拍の振り幅で身体が動けば、つまり、センサを手首や足首、つま先、かかとなどにつけて拍に合わせてセンサを動かせれば機能します。
この技術を簡単なデモンストレーションで説明します。
１．テンポ(BPM)を78で固定して、｢ちいさい秋みつけた｣のMIDIファイルを制作。
２．手にセンサを装着、今回は右手首にシリコンゴムのバンドで装着。
３．｢ちいさい秋みつけた｣のMIDI演奏を開始。
４．曲のテンポに合わせてコンガをたたく。一定のテンポでコンガをたたいているつもりでも、演奏速度（テンポ）は微妙にアップダウンしている（テンポ計で確認）ので、この技術では平均値を捉えることが重要となる。このデモンストレーションのように、ずっとたたき続ける必要はない（１番はたたいていない）。たたかなければBPMはゼロで認識され、例外BPM条件から、そもそも平均値に加算されない。初期BPM値か、平均値BPM値で維持される。
５．リタルダンドしたい部分が近づいてきたら、コンガをたたくテンポを自分の感性で下げていく。そうすると、刻々と変わるBPM値でシステムがリタルダンドを認識、演奏中の楽曲のテンポが下がっていく。滑らかなリタルダンド実現のために、オートパイロットもできる。
６．右手首の回転動作をすることでアテンポとなる。このアテンポのためのトリガー動作は好みの動作に変更できる。
本技術は様々な楽器演奏に使える。センサの装着部位やセンサの種類をその人の身体機能に合わせて変えられる。これまで、MIDIデータのBPM変化は、DAWやシーケンスソフト等で、制作時の作りこみで指定していたので、再生時に曲全体のBPMは変更出来ても、合奏者の楽器演奏の演奏表現としてその場で意図的に緩急や揺らぎを持たせたり、楽曲内の任意の位置で変更する事ができなかった。本技術ではこれを自在に可能にする。あるBPM値固定で先ずはMIDIファイルを適当に制作しておき、ステージでの観客や場の雰囲気に合わせてBPMを自在に変えられる。自分の感情、演奏意図を込められる。テンポ以外に、センサの振り幅等で、強弱（クレッシェンド、デクレッシェンド等）の変更にも対応している技術である。人と楽器演奏ロボットとの共演において、人の演奏意図をロボット側システムに伝える技術として重要である。また、電子楽器を使ったMIDI演奏に、人の演奏パフォーマンスと共演させる場面で色々な応用ができる。センシング部はBLEやWifi等でワイヤレスに出来る。
【請求項１】
楽曲データを楽曲として再生する再生部と、
前記再生部によって再生された楽曲に合わせて楽器を演奏する演奏者に装着され、前記
演奏者の動作を検出する動作検出部と、
前記動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、
前記受信部が受信した前記動作情報に基づいて、前記再生部の再生条件を補正する制御
部と、を備え、
前記動作検出部は、前記演奏者が演奏している間は、連続して前記動作情報を検出する
ものであり、
前記制御部は、所定時間での前記演奏者が演奏しているテンポの平均値を算出し、前記
平均値が所定の範囲内であった場合、前記楽曲データのうちの、未だ再生されていない未
再生データのテンポを補正せず、前記平均値が所定の範囲外であった場合、前記未再生デ
ータのテンポを補正することを特徴とする演奏支援システム。
【請求項２】
前記制御部は、前記動作情報から前記演奏者が演奏しているテンポを検出し、その検出
結果に基づいて、前記再生部による再生のテンポを補正する請求項１に記載の演奏支援シ
ステム。
【請求項３】
前記制御部は、所定時間毎に前記平均値を算出し、最新の前記平均値を、前記未再生デ
ータのテンポを補正するか否かの判断に用いる請求項１または２に記載の演奏支援システ
ム。
【請求項４】
前記制御部は、前記動作情報から前記演奏者の演奏の強弱を検出し、その検出結果に基
づいて、前記未再生データの強弱を補正して、前記再生部に再生させる請求項１ないし３
のいずれか１項に記載の演奏支援システム。
【請求項５】
前記動作検出部は、角速度センサーを有する請求項１ないし４のいずれか１項に記載の
演奏支援システム。
【請求項６】
前記再生部は、前記楽器を演奏する演奏装置を有する請求項１ないし５のいずれか１項
に記載の演奏支援システム。 P.2
【請求項７】
楽曲データを楽曲として再生する再生部と、
前記再生部によって再生された楽曲に合わせて楽器を演奏する演奏者に装着され、前記
演奏者の動作を検出する動作検出部と、
前記動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、
前記受信部が受信した前記動作情報に基づいて、前記再生部の再生条件を補正する制御
部と、を備え、
前記制御部は、前記楽曲データのうちの、未だ再生されていない未再生データを補正し
て、前記再生部に再生させるものであり、前記動作情報から前記演奏者の演奏の強弱を検
出し、その検出結果に基づいて、前記未再生データの強弱を補正して、前記再生部に再生
させることを特徴とする演奏支援システム。
【請求項８】
楽曲データを楽曲として再生する再生部と、前記再生部によって再生された楽曲に合わ
せて楽器を演奏する演奏者に装着され、前記演奏者が演奏している間は、連続して前記演
奏者の動作に関する動作情報を検出する動作検出部と、前記動作検出部が検出した前記動
作情報を受信する受信部と、を備える演奏支援システムを制御する制御方法であって、
所定時間での前記演奏者が演奏しているテンポの平均値を算出し、前記平均値が所定の
範囲内であった場合、前記楽曲データのうちの、未だ再生されていない未再生データのテ
ンポを補正せず、前記平均値が所定の範囲外であった場合、前記未再生データのテンポを
補正することを特徴とする制御方法。
【請求項９】
楽曲データを楽曲として再生する再生部と、前記再生部によって再生された楽曲に合わ
せて楽器を演奏する演奏者に装着され、前記演奏者の動作を検出する動作検出部と、前記
動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、を備える
演奏支援システムを制御する制御方法であって、
前記動作情報から前記演奏者の演奏の強弱を検出し、その検出結果に基づいて、前記楽
曲データのうちの、未だ再生されていない未再生データの強弱を補正して、前記再生部に
再生させることを特徴とする制御方法。
#MIDIファイルの再生 #人の楽器演奏との共演合奏 #テンポや強弱等の演奏意図をその場で反映
初稿: 2022.7.2
更新: 2022.7.30 特許登録番号の記載とリンク情報