MIDIによるテンポや強弱(緩急)をウエアラブル慣性センサで自在にコントロールする技術

演奏支援システムおよび制御方法　特許第7106091号（2022.7.15 登録）

慣性センサのセンシングデバイス（演奏者に装着されて動作検出部のあるものなら何でも）をウエアラブルに身に付けて、体を動かして、演奏のテンポ(BPM)や強弱(緩急)を自在にコントロールできる技術です。MIDIを利用した合奏支援、演奏支援技術です。作り込んだMIDIデータでの演奏を、人の演奏意図に引きずり込む事が出来ます。

一例ですが、このデモンストレーションでは先導楽器がコンガですが、テンポ一定で作った「ちいさい秋みつけた」の楽曲を、手振りにより、テンポをコントロールさせて演奏している動画です。

打楽器を叩く動作以外に、ギターやウクレレのピッキングの動作、ドラム、タンバリン、ウッドブロックなどの各種打楽器演奏時の動作によるセンシングによる演奏意図の付与を確認しています。拍毎に、身振り手振りで動かせば機能します。センサを指や、手首、足首、つま先、かかとなどにつけても機能します。とにかく、拍に合わせてセンサさえ動かせれば、慣性センサが動きの方向を認識し機能します。

この技術を簡単なデモンストレーションで説明します。

動画の意味の説明です。

———————————–

１．テンポ(BPM)を78で固定して、｢ちいさい秋みつけた｣のMIDIファイルを制作。

２．手にセンサを装着、今回は右手首にシリコンゴムのバンドで装着。

３．｢ちいさい秋みつけた｣のMIDI演奏を開始。

４．曲のテンポに合わせてコンガをたたく。角速度センサは手首の回転（スナップ）や叩く方向をモニタリングしている。一定のテンポでコンガをたたいているつもりでも、演奏速度（テンポ）は微妙にアップダウンしている（テンポ計で確認）ので、この技術では平均値を捉えることが重要となる。このデモンストレーションのように、ずっとたたき続ける必要はない（１番はたたいていない）。たたかなければBPMはゼロで認識され、例外BPM条件から、そもそも平均値に加算されない。初期BPM値か、平均値BPM値で維持される。

５．リタルダンドしたい部分が近づいてきたら、コンガをたたくテンポを自分の感性で下げていく。そうすると、刻々と変わるBPM値でシステムがリタルダンドを認識、演奏中の楽曲のテンポが下がっていく。滑らかなリタルダンド実現のために、オートパイロットもできる。

６．右手首の回転動作をすることでアテンポとなる。このアテンポのためのトリガー動作は好みの動作に変更できる。

———————————–

本技術は様々な楽器演奏に使える。センサの装着部位やセンサの種類をその人の身体機能に合わせて変えられる。これまで、MIDIデータのBPM変化は、DAWやシーケンスソフト等で、制作時の作りこみで指定していたので、再生時に曲全体のBPMは変更出来ても、合奏者の楽器演奏の演奏表現としてその場で意図的に緩急や揺らぎを持たせたり、楽曲内の任意の位置で変更する事ができなかった。

本技術ではこれを自在に可能にする。あるBPM値固定で先ずはMIDIファイルを適当に制作しておき、ステージでの観客や場の雰囲気に合わせてBPMを自在に変えられる。自分の感情、演奏意図を込められる。テンポ以外に、センサの振り幅等で、強弱（クレッシェンド、デクレッシェンド等）の変更にも対応している技術である。人と楽器演奏ロボットとの共演において、人の演奏意図をロボット側システムに伝える技術として重要である。また、電子楽器を使ったMIDI演奏に、人の演奏パフォーマンスと共演させる場面で色々な応用ができる。センシング部はBLEやWifi等でワイヤレスに出来る。

【請求項１】
楽曲データを楽曲として再生する再生部と、
前記再生部によって再生された楽曲に合わせて楽器を演奏する演奏者に装着され、前記
演奏者の動作を検出する動作検出部と、前記動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、
前記受信部が受信した前記動作情報に基づいて、前記再生部の再生条件を補正する制御
部と、を備え、
前記動作検出部は、前記演奏者が演奏している間は、連続して前記動作情報を検出する
ものであり、
前記制御部は、所定時間での前記演奏者が演奏しているテンポの平均値を算出し、前記
平均値が所定の範囲内であった場合、前記楽曲データのうちの、未だ再生されていない未
再生データのテンポを補正せず、前記平均値が所定の範囲外であった場合、前記未再生デ
ータのテンポを補正することを特徴とする演奏支援システム。

【請求項２】
前記制御部は、前記動作情報から前記演奏者が演奏しているテンポを検出し、その検出
結果に基づいて、前記再生部による再生のテンポを補正する請求項１に記載の演奏支援シ
ステム。

【請求項３】
前記制御部は、所定時間毎に前記平均値を算出し、最新の前記平均値を、前記未再生デ
ータのテンポを補正するか否かの判断に用いる請求項１または２に記載の演奏支援システ
ム。

【請求項４】
前記制御部は、前記動作情報から前記演奏者の演奏の強弱を検出し、その検出結果に基
づいて、前記未再生データの強弱を補正して、前記再生部に再生させる請求項１ないし３
のいずれか１項に記載の演奏支援システム。

【請求項５】
前記動作検出部は、角速度センサーを有する請求項１ないし４のいずれか１項に記載の
演奏支援システム。

【請求項６】
前記再生部は、前記楽器を演奏する演奏装置を有する請求項１ないし５のいずれか１項
に記載の演奏支援システム。 P.2

【請求項７】
楽曲データを楽曲として再生する再生部と、
前記再生部によって再生された楽曲に合わせて楽器を演奏する演奏者に装着され、前記
演奏者の動作を検出する動作検出部と、
前記動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、
前記受信部が受信した前記動作情報に基づいて、前記再生部の再生条件を補正する制御
部と、を備え、
前記制御部は、前記楽曲データのうちの、未だ再生されていない未再生データを補正し
て、前記再生部に再生させるものであり、前記動作情報から前記演奏者の演奏の強弱を検
出し、その検出結果に基づいて、前記未再生データの強弱を補正して、前記再生部に再生
させることを特徴とする演奏支援システム。

【請求項８】
楽曲データを楽曲として再生する再生部と、前記再生部によって再生された楽曲に合わ
せて楽器を演奏する演奏者に装着され、前記演奏者が演奏している間は、連続して前記演
奏者の動作に関する動作情報を検出する動作検出部と、前記動作検出部が検出した前記動
作情報を受信する受信部と、を備える演奏支援システムを制御する制御方法であって、
所定時間での前記演奏者が演奏しているテンポの平均値を算出し、前記平均値が所定の
範囲内であった場合、前記楽曲データのうちの、未だ再生されていない未再生データのテ
ンポを補正せず、前記平均値が所定の範囲外であった場合、前記未再生データのテンポを
補正することを特徴とする制御方法。

【請求項９】
楽曲データを楽曲として再生する再生部と、前記再生部によって再生された楽曲に合わ
せて楽器を演奏する演奏者に装着され、前記演奏者の動作を検出する動作検出部と、前記
動作検出部が検出した前記演奏者の動作に関する動作情報を受信する受信部と、を備える
演奏支援システムを制御する制御方法であって、
前記動作情報から前記演奏者の演奏の強弱を検出し、その検出結果に基づいて、前記楽
曲データのうちの、未だ再生されていない未再生データの強弱を補正して、前記再生部に
再生させることを特徴とする制御方法。