人間の心拍数を読み取ることでその「リズム」にシンクロする音源を再生！ IoT と WebGL を組み合わせたデモ

doxas : 2017-03-02 13:58:20

心拍数のテンションにシンクロするサウンド

今回ご紹介するのは、パリにある Gobelins という学校の研究成果として発表されているもので、Arduino により人体の心拍数を計測した結果から WebGL のビジュアルを生み出すというもの。

まずその発想が非常に奇抜で面白いですが、ビジュアルのほうもかなり凝った作りになっていて、とても興味深いですね。

私はあまり IoT とか、あるいはマイコンのようなものとかはわからないのですが、そのあたりの知識が無くても楽しめるコンテンツとなっています。

あくまでも今回の作品はデモ作品なので、気軽な気持ちで見てみましょう。

今回のデモは、先ほども書いたとおり研究成果の配信のためのデモ作品なので、インタラクティブ性やリアルタイム性を重視した作りにはなっていません。

ですから手持ちの Arduino を繋いでブラウザで云々ということではなく、実際にこのようなプロジェクトを行いましたという、その成果を披露するためのものですね。

デモはなかなかレベルの高いビジュアルを実現しており、質感などもとても良いのですが、マウス等で視点を操作したりできるわけではありません。基本的には、眺めているだけで徐々にシーンが変化していきます。

上の画像は静止画なので、止まっているとちょっとわかりにくいかなと思うのですが、人の形をしたジオメトリの、右手の人差し指にセンサーが付いている状態を表しています。

指輪型のセンサーを人差し指に装着して、ここから心拍数を計測するわけですね。

WebGL のデモのほうでは、画像には映っていませんが現在計測中です、ということを表すインジケータが出てきます。実際にその場で計測しているのではなく、あくまでもデモとしての演出上そうなっているだけですが、計測結果が出ると、またしてもシーンが遷移していきます。

計測された心拍の情報は、今度はカラフルな糸のような形となって、腕を遡り、心臓へと向かいます。

さて、指先で計測された心拍の情報が心臓まで戻ってくると、今度はこの心臓の箇所で、激しくビートが刻まれる演出が始まります。

このシーンまで来ると、心拍数の情報を元にして、なにかしらのアルゴリズムを用いて特徴を抽出したあと、これに合わせてサウンドクラウド上から特定の楽曲がリアルタイムにダウンロードされてきます。

これ、本当に指にセンサー付けている状態だと、感情の変化などで心拍数が変化したら、音楽が唐突に切り替わったりするんですかね。すごいです。

今回のはデモなので、少しずつ勝手に心拍数が変化するようになっています。

サウンドビジュアライザとなった心臓周辺部分は、幾重にもコイルが巻かれたかのような形状で、ダイナミックにアニメーションします。

サウンドに連動しているため、滑らかなアニメーションがとても迫力ある動きにもなりますし、落ち着いた鼓動のような動きにもなります。

いろいろな視点からぐりぐりしつつ眺めることはできないので、ずっと定点から見つめる感じになってしまうのですが、それでも十分に見応えがあります。

今回の作品は、実際にそのプロジェクトで使われた技術そのものをウェブで体験できるわけではないのですが、順序立てて、少しずつシーンが変化していく様子なども含めて、臨場感のある仕上がりになっているなと思いました。

サウンドビジュアライザ部分の実装も、あまり見たことのない独特なコイル状の形がとても面白いですね。色のセンスもいいですし、普通にウェブサイトの実装として見てみても、シンプルに美しく仕上がっているなと感じます。

フランスの Gobelins に関連した WebGL 使いのクリエイターさんは実はかなりの数がいて、これまでに当サイトで紹介してきた作品のなかにも、結構このスクールを卒業した方が作ったものって多いんですよね。

フランスで WebGL 作品が最近多く見受けられるようになってきたのは、もしかするとこの Gobelins が下支えしながら作った、クリエイティブな文化の影響が、あるのかもしれませんね。素晴らしい。