MediaPipeの公式サイト見てたら、ブラウザ上ですぐ試せるデモがあったので。
公式サイト
MediaPipeに入っている色々なモデルを試せる。
入力元をPC内蔵のWebカメラにできるので、使いやすい。
これはObject detectionを試した例。
Hand Landmark Detectionを試す
左のバーから、Hand Landmark Detectionを選択。
どの程度ピアノ弾いてる動きをとらえられそうか、見てみる。
試した動画をgifで上げておく。
前回設定したパラメータも変えられる。
検出のconfidenceの閾値とか。
GPU使うかどうかも設定できるが、ここで使われたのはCPUに内蔵されてるほう(Intel Irix Xe Graphics)だった。
以下、試した感触。
- カメラの正面に手があるとばっちり検出される、関節位置も十分な正確さでは。
処理時間も10~25msぐらいなので、リアルタイム処理もいけそうか？
- ある程度(数十cmぐらいか？)離れても認識される。
関節位置もいい感じに見える。
- ピアノの手を、正面から見た感じ。
それっぽい感じもするが、マーカーが大きめなためか、関節位置があっているかどうかいまいちわからない。
- 少し指を動かしてみた感じ。
検出されている関節位置も動いてる感じはする。
やっぱりマーカーが大きくていまいちわからないが。
- 斜め前方から。
それらしく関節位置が出ているような。
前回の動画と同じようなアングルだが、今回はもう少し手の解像度が高くて認識されたとか？
どの程度の解像度になったのかちゃんと確認できないが。 - ときどき奥側の手をロストしている。動きぶれしてるから？
- 反対の斜め前方から。 上と同様。
確認はこんなところで。
前回使った動画だとかなりピアノ的な手の動きをとらえるのが厳しかったが、今回はそこそこできた。
見た目でなんとなくだが、手の解像度が上がったためじゃないか？
カメラの位置を変えるとか、解像度を上げるとかで、MediaPipeでもいけるかもしれない。
(ついで1) ブログ用のgif加工作業
これは、ScreenToGifで顔を隠す作業をしたりしてるの図。
選択したフレーム一括で図形描画したりと、便利。
でもやっぱり顔隠し作業めんどくさい。
もうさらしちゃっても別に支障ないかな。。。
(ついで2) MediaPipeで顔隠し
MediaPipeのFace Landmark Detectionのサンプルを動かしてみたら、顔にアバターつけてくれた。 顔にしっかり追従するし、目やまぶたの動きもとらえていて面白い。
https://mediapipe-studio.webapps.google.com/studio/demo/face_landmarker
これで顔隠しするのでもいいかも？
今回はここまで
まだまだ続けたい。
