Open Poseとは

Open Poseは、カーネギーメロン大学のZhe Caoらが開発した、複数の人の姿勢を推定する手法と、それを実装してソースコードを公開したソフトウェアの名前です。手法の論文は2016年に公開され、2017年のCVPRで発表されました。

何ができるか

カメラの画像から、写っている人それぞれの肩、ひじ、手首、ひざなどの関節の位置（キーポイント）を求め、線で結んだ骨格として出力します。普通のカラー画像だけで動きます。ソフトウェアでは、体・足・手・顔をあわせて最大135点の特徴点を推定できます。

仕組み

多人数の姿勢推定で難しいのは、見つけた関節が「誰のものか」を決めることです。人が近づいたり重なったりすると、別の人の関節どうしを結んでしまいやすくなります。Open PoseはCNNで、次の2種類の地図を推定します。

• 関節の種類ごとに、その関節がありそうな場所を表す地図（コンフィデンスマップ）
• 関節どうしを結ぶ部位（前腕やすねなど）の位置と向きを、画素ごとの2次元ベクトルで表した地図（Part Affinity Fields、PAF）

次に、関節の候補の組ごとに、2点を結ぶ線に沿ってPAFの向きがどれだけそろっているかを調べます。よくそろっている組ほど同じ人の部位らしいと判断し、人ごとの骨格を組み立てます。

このように部品を先に見つけてから人に組み立てる方式を、ボトムアップ型と呼びます。人を先に検出してから1人ずつ関節を推定するトップダウン型と比べ、人の検出の失敗に引きずられにくく、人数が増えても処理時間が増えにくい点が利点です。

使うときの注意

ソフトウェアは非商用の利用なら無償ですが、商用の利用には別にライセンスが必要です。業務で使う場合は、事前に利用条件を確認する必要があります。

覚え方

「関節の点（コンフィデンスマップ）と、向きの矢印（PAF）で骨格を組み立てる」と覚えます。