スイス人の女性指揮者 Lena-Lisa Wüstendörfer さんの両手のモーションデータを利用した WebGL 可視化デモが面白い
流れるような手の動きを再現
今回ご紹介するのは、スイスの女性指揮者である Lena-Lisa Wüstendörfer さんのウェブサイトです。
いわゆるポートフォリオのサイトだと思うのですが、そこに WebGL を利用した、彼女の手の動きを再現したパーティクルデモが置かれています。
どうやらこれは、彼女の指揮している様子を撮影した映像を元に、手の動きを追従するようにパーティクルを配置することで実現しているようです。
実際にもととなった映像と比較しながらパーティクルの動きを見ることもできるようになっており、ダイナミックなパーティクルの動きが非常に面白い作品となっています。
マウスボタンのホールドで実際の映像を重ねられる
今回のサイト、WebGL のデモが最初から表示されるようになっており、ロードが完了すると、パーティクルが飛び出しては消えていくような、そんなシーンからスタートします。
一見するとなにやら不規則にパーティクルが飛び回っているだけのようにも見えるのですが……
このパーティクルの生成や、あるいはそれらが移動するアルゴリズムは、指揮者さんが実際に指揮を行っている様子を撮影した映像が元になっているとのこと。
そう言われて見てみると、たしかにパーティクルの動きが、まるでタクトを振るう指揮者の手の動きのように見えないこともありません。
ただ、やっぱりパーティクルの動きを見ているだけでは、具体的に指揮の様子を再現しているようには、なかなか見えないかもしれません。
音楽の指揮に詳しい人だと、逆にわかったりするのでしょうか。
どうしても、一般のひとから見ると単なるパーティクルのデモにしか見えないかもしれないなあという気がします。
しかし、画面内でマウスボタンをホールドすると、そこに実際に手の動きの解析に使われた動画と思われる映像が重なるように表示されます。
この上に重なるように出てくる部分は WebGL ではなく、単に半透明にしたレイヤー上で動画を再生しているだけのものだと思いますが、それでも重ねながら見てみると、なるほど指揮者の手の動きをかなり正確に再現していることがわかります。
パーティクルを描いている 3D シーンのほうは、マウスカーソルの位置に応じてカメラのアングルが微妙に変化します。
一方で、上に重なって表示される動画のほうは、カメラアングルが変わるわけではなく、定点から撮影された映像が流れるだけなので、どうしても本当に一体感のあるビジュアルという感じがしないのがちょっともったいないですね……
恐らく、いわゆる普通の二次元映像をもとにパーティクルの生成を行っていると思われるので、これがモーションキャプチャなどで得られた三次元情報をベースにしていたら、もっと迫力のある動きになったのかもしれません。
二次元的ないわゆる普通の映像から、手の動きだけを抽出してパーティクルの生成に反映する、という試みはかなり面白いですね。
惜しむらくは、やはりパーティクルをカーソルに連動して動くようにしてしまったことかなあという感じがします。
重なって表示される動画のほうは視点が動かせないのに、パーティクルだけは視点が変更されるようになっているので、そのあたりはちょっともったいない感じがしました。
かといって動かさなかったら立体感や奥行きを感じられないじゃないか! というふうに反射的に思ってしまったりもするんですが、そこは見せ方次第で解決できたような気もします。
3D の表現と 2D の表現を共存させることは、結構生半可ではないというか……かなり双方に対する理解が深くないと難しいものだと思います。今回のサイトを見ていて、そんなことをあらためて感じさせられました。
とは言え、技術デモとしては非常に興味深い内容になっています。
気になる方はぜひチェックしてみてください。