カメラが顔の表情を読み取り音楽を演奏？ たとえば右目をパチパチと動かしたらMIDIチャンネル１が鳴る、口を大きく開けたらモジュレーションが作動する、、、あごを動かしたらベースサウンドが鳴る、、、、、なんてことができる顔ジェスチャーコントローラーなんです。
オープンソースのFace OSCは次のリンクからダウンロードが可能。github.com/downloads/kylemcdonald/ofxFaceTracker/FaceOSC.zip これにOSCulatorというMIDI変換プログラムを使うことで、顔の表情がMIDIコントローラーとして作動。ビデオではどのように顔の動きをキャプチャーし、DAWソフトPropellerhead Reasonをどのようにコントロールするのかを説明しています。背景を暗くし、前方から照明を当てることでカメラはより表情をよく読み取れるとのこと。
今までマイクロソフトKinectを使ったボディジェスチャーコントローラーはいくつか紹介してきましたが、このFaceOSCはウェブカメラがあれば試すことができます。しかし何のため？あまりに実験的過ぎ？ と考えるのはナンセンス。難しいテクノロジーが昇華して、素敵なテクノロジーになっていくのではないでしょうか。下のビデオではAbleton Liveを使いジャムしている様子。
