【TouchDesigner】Macでボディトラッキングをしたい！TouchDesigner初心者奮闘ログ

０　最終目的は「人の動きに合わせたプロジェクションマッピングを作ること！」

TouchDesignerを触ってみようと思った一番のきっかけは、
「人の動きに合わせて映像が変化するプロジェクションマッピングを作りたい」という思いからでした。
体を動かすと、光や映像が反応して変わる・・そんな表現を自分の手で作れたら楽しいだろうな・・と思ったためです。

実際に調べてみると、TouchDesignerではカメラの映像を解析して人の位置や動きを取得し、
それをもとに映像を変化させることができるとのこと。すごい・・
「これだ！」と思い、まずはWebカメラを使ったボディトラッキングに挑戦してみることにしました。

１　まずはチュートリアルを見て学ぶ

何事も先人を見て学ぼうということで、まずはチュートリアルをみて同じように作業してみることにしました。
TDSWさんのチュートリアルで無事バナナを回し終え、早速ボディトラッキングに挑戦です。

まず最初に参考にしたのが、こちらのYouTubeチュートリアルです。
👉Interactive Eye Projection with Webcam or Kinect - TouchDesigner Tutorial 009
URL： https://www.youtube.com/watch?v=ZAdEsJGvf5U

動画では、Kinectを使って人の動きをリアルタイムで取得し、映像と連動させる方法が解説されています。
英語の動画ではありますが、ノード構成や操作の流れが丁寧に示されています。

一つひとつノードを追加しながら、「これは映像入力」「これは位置情報を処理する部分」など、少しずつ構造を理解・・・はできませんでしたが、なんとなく形になってきました！
なんとか形になってきた時──チュートリアルの終盤で、とんでもない壁にぶつかりました。

２　困ったこと①「Macだと使えない機能がある」

チュートリアルの中で登場した「Body Track CHOP」というノード。
これを使えばカメラから人の動きを直接取得できる……はずだったのですが、
これが！！！！！この機能が！！！！Windows専用だったのです！！！

TouchDesigner自体はMacでも問題なく動作しますが、ボディトラッキング系の機能はKinect依存のものが多く、
Mac環境ではそのまま利用できません。
ここで初めて「Macだとできないことがある」という現実に直面しました。

諦めきれなかったので、「なんとかWebカメラだけで体の動きを検出する方法はないのか？」と調べ始め、
そこで出会ったのが「MediaPipe」でした。

３　MediaPipeに辿り着く

MediaPipeは、Googleが開発している機械学習ライブラリで、
Webカメラから顔・手・全身の動きをリアルタイムで検出することができます。
しかも、Pythonで動かすだけでなく、TouchDesignerでも利用できるプラグインが存在していました。
（Pythonについては・・・・・・・一旦置いておきましょう。プラグインが解決してくれます。）

プラグインを導入すると、TouchDesigner上でWebカメラの映像をもとに人の姿勢や骨格情報を取得できるようになります。
これをうまく使えば、Kinectがなくてもボディトラッキングが実現できる！！！

早速セットアップを行い、いざ人体検出の実験へ。
カメラに向かって手を振ると──画面上に関節を認識した点が出現！
ちゃんと人を認識している！と感動したのも束の間、次の課題に直面しました。

４　困ったこと②「初歩的ミス」

最初の数回はうまく検出できていたのに、なぜか途中から動かなくなる。
プラグイン開発者が配布しているサンプルではうまく行くのに、自分のデータに持ってくると動かない・・・・
同じ設定のはずなのに、映像は真っ暗、数値も反応なし。
「もしかしてプラグインの不具合？」と疑い、再起動や再インストールを繰り返すこと3時間──。

原因は、ノードの接続先を間違えていただけでした。画面がつかなくて困っていたらPCの電源が入っていないだけ、みたいな感じです。
ノードを組んでいく中で、入力？を別のノードにつないでいたため、映像がうまく流れていなかったのです。
教訓としては、「英語でよく分からなくても、チュートリアルをちゃんとみよう」です。

５　まとめ　現在の到達点

色々ありまして、いまのところは「Webカメラで人体を検出」「体のどの部分がどの座標にあるか」という数値を
TouchDesigner上で取得できるところまで到達しました。
Windowsだと１CHOPで終わることを・・・とんでも回り道で進んでいます。
ここから先は、この数値を使って映像を反応させたり、エフェクトを動かしたりといった応用に挑戦していく予定です。

Mac環境でのボディトラッキングはまだ情報も少なく、試行錯誤の連続ですが、
一歩ずつ動作が見えるたびに「できた！」という喜びが大きいです。
今後は、取得した動きをもとに、「人の動きに合わせて映像が変化する」表現づくりにもチャレンジしていきたいと思います。

同じようにMac環境で試行錯誤している初心者の方にとって、
少しでも参考になったり、笑い飛ばしていただけるような内容になっていれば幸いです。

旅館のプロモーション動画の制作は、アビリブプロモーションにお任せください

アビリブプロモーションは、宿泊観光業に特化したWebマーケティング会社「アビリブ」の動画制作サービスになります。
弊社は、人を動かす生命線を「クリエイティブ×Webマーケティング」と定義し、世の中に新しい「人の動き」を作り、成長を続けてきた会社です。

旅館のプロモーション動画について、ご相談等ございましたらお気軽にご連絡ください。
以下に弊社の特徴がございますので、ご参考ください。

■当社の強み

・設立1999年、旅館・ホテル・観光に特化してきた会社
・宿泊観光業に特化しているからこその独自ノウハウ
・蓄積したマーケティングノウハウ：25年以上
・あらゆる領域を全てワンストップで制作できる、総合力のある会社
　（動画制作、スチール写真撮影、モデルキャスティグの手配をはじめ、Webサイト制作、Web広告、システム開発、
　グラフィックデザイン、インバウンド対策など）
・社員数：230名
・国内14拠点、海外8拠点
・健康経営優良法人認定
・グーグルパートナー認定、YAHOO!プロモーション広告正規代理店
・プライバシーマーク取得承認
 

■制作実績

・動画制作実績：1,000件以上
・写真撮影実績：1,500件以上
・モデル手配実績：500件以上
・撮影モデル：50名以上
・Webサイト制作実績：6,000件以上
・サイト運用実績：3,000件以上
・システム構築実績：1,000件以上
・Web広告運用実績：1,000件以上
・印刷物制作実績：3,000件以上

記事一覧に戻る