音楽生演奏と『映像』のリアルタイム同期技術 MUSICROBOT

音楽演奏と映像(マルチメディア)とのリアルタイム同期技術

あらかじめ用意した画像、動画、歌詞などの複数のコンテンツを生演奏に合わせて、リアルタイムに同期しながら上映、またはプロジェクションマッピングができる装置を開発しました。

この装置を使うと、ビデオ編集ソフトのようなものは使わずに、簡単に音楽映像作品を制作できるのが特長です。同期させるコンテンツの修正なども非常に簡単で、演奏直前でもOKです。これは従来の汎用ビデオ編集ソフトによる制作では映像と音楽を同期させる場合、映像側を音楽に合わせて調整したり、あげくのはてに書き出し処理で動画をつくるのでとても手間がかかり、とても面倒です。第一、従来のそような動画では、曲のテンポを変えた生演奏との同期が原理的に出来ません。本システムでは、曲に映像が任意の位置で同期できる方法なので、例えば合奏の途中で人の演奏意図により曲のテンポをリタルダンドやアッチェレランドで不規則に変えても、音楽と映像の同期タイミングが小節や音符位置でずれません。

この技術は、音楽演奏と映像などのマルチメディアとの同期を生演奏で簡単に実現します。楽曲に映像が連動すると、いままでになかった効果がドラマチックに生まれます。

映像(マルチメディア)を楽器演奏ロボットとの共演で連動させるために、MUSICROBOTの技術として開発しております。

The following two tabs change content below.
庄司英一 (Eiichi Shoji, MONOZUKURI LAB)
人とロボットが共生する工学技術をめざして、先端マテリアル創造ものづくり研究室として福井大学で活動しています。日頃の研究活動から、開示できる情報を発信します。

シェアする

  • このエントリーをはてなブックマークに追加

フォローする

%d人のブロガーが「いいね」をつけました。