日
← すべての記事

AppleのDepth Pro 2は単眼カメラから距離を推定する。何を測るべきか

Depth Pro 2は写真と動画に対応する。絶対距離、物体の輪郭、フレーム間の安定性は分けて評価したい。

コラムAI最前線著者Open Market Notes種類記事
手描きのカメラの横に、赤い立方体を載せた深度マップが描かれている。

Appleの研究チームはDepth Pro 2のコードとモデルの重みを公開した。論文は11月19日付でarXivに提出され、20日にはAppleのモデルページで約2,400万から8億7,200万パラメーターまでの4種類が確認できた。通常のカメラで撮った写真、動画、ライブ映像から、入力解像度で画素ごとの深度をメートル単位に推定する。重みはダウンロードできるが、ライセンスは非商用の科学研究と学術開発に限られる。商用SDKや一般利用者向け機能の提供とは異なる。

前後がわかることと、距離がわかること

テーブルとソファの間にキャラクターを合成するなら、自然に隠れ方を表現できれば、テーブルがカメラから1メートルか2メートルかは大きな違いにならないかもしれない。室内の配置を画像から決める場合は、家具の位置が20センチずれていると、その判断に影響する。どちらも深度を使うが、前者では前後関係と輪郭、後者では既知の距離を使った尺度の検証が重要だ。

単眼画像には尺度の曖昧さがある。近くの小さな物体と遠くの大きな物体が同じ画素数を占めることはある。モデルはカメラの情報や学習した規則性を使って推定する。Appleは焦点距離が不明な場合に使う推定器を用意したが、元の画像に新たな物理測定を加えるわけではない。レンズの変更、切り抜き、撮影角度によって手掛かりが変わるため、一台で正しかった結果を別の機種にも当てはめることはできない。

輪郭の鮮明さと動画の安定性

境界が曖昧だと、手前の物体と遠い背景を混同する。花瓶の輪郭が数画素ずれるだけで、隠れるはずの背景が合成結果に見えることもある。動画では、各フレームの輪郭が鮮明でも、カメラが動くと境界が飛ぶ場合がある。逆に強く平滑化すると、物体の移動に推定が遅れてしまう。安定した誤差は誤差のままで、一枚の画像がきれいでも動画の安定性は証明できない。Appleはこの両立を一つのネットワークで試している。公表された比較は試験の出発点であり、個別用途での結果を保証しない。

評価では、既知の距離との絶対誤差、物体の輪郭付近での位置ずれ、静止時と移動時のフレーム間の揺れと追従遅れを分けて測りたい。細い物体は、画像上で数画素ずれたのか、推定された空間で数センチずれたのかも分ける。実測した室内の試験場面を複数の焦点距離、照明、機種で撮り直し、反射や透明な面、細い物体、重なり合う輪郭を別に集計すると、全体の平均が隠す失敗を把握しやすい。

モデルの大きさと処理全体の速度

4種類から精度と速度を比較できるが、重みの大きさは撮影から表示までの時間ではない。カメラの取得、前処理、データ移動、表示にも時間がかかる。平均フレームレートだけでは、操作を途切れさせる少数の遅いフレームが見えにくい。表示の遅延分布とフレーム落ち、場面が急に変わった後に推定が落ち着くまでの時間を記録したい。一度だけ計算する用途なら待って鮮明な輪郭を得てもよいが、ライブ表示では一部の遅い更新でも影響が出る。

Depth Pro 2は単眼カメラでこれらを試す方法を増やした。推定値が測定器の読みになるわけではない。合成では遮蔽と表示の連続性を優先し、寸法で判断する用途では独立に測った距離と比較して、利用できる機種と条件を明記したい。

出典

情報提供を目的とした内容です。投資・法律・税務・財務上の助言には該当しません。