繁
← 全部文章

Apple Depth Pro 2 用一般相機估算距離,誤差該怎麼量

Depth Pro 2 可處理照片與影片。要判斷它能否用於量距,應分開檢查尺度誤差、邊界與畫面穩定。

專欄AI前沿作者Open Market Notes類型文章
一般相機旁有一張用黑色線條和紅色方塊表示的深度圖。

Apple 研究團隊公開 Depth Pro 2 程式碼及模型權重。論文於 11 月 19 日提交 arXiv,11 月 20 日可見的模型頁列出四個版本,參數規模約介於 2,400 萬與 8.72 億之間。模型可讀取單張照片、影片或即時相機畫面,並按輸入解析度估計各像素以公尺計的深度。權重雖可下載,模型頁所列授權仍限非商業科學研究及學術開發,不能當成商用許可或已經推出的消費功能。

看出前後,與知道相距多遠不同

若知道沙發在茶几後面,軟體就可將動畫角色置於茶几前、沙發後。這樣的遮擋效果不一定在乎茶几離鏡頭一公尺還是兩公尺。利用影像估算空間配置時,家具的位置偏差二十公分,就可能影響後續的尺寸判斷。兩種任務都需要深度,前者主要在意順序和輪廓,後者需用已知距離核對整體尺度。

單相機影像有尺度歧義。距離近的小物體和距離遠的大物體,投影可能一樣大。模型得依靠相機資訊和從資料學到的規律推估。Apple 提供焦距未知時可使用的估計模型,但它無法在單張照片中創造額外的物理約束。同一空間用不同鏡頭、裁切或角度拍攝,所得絕對距離可能不同。一台裝置上的結果不能直接推論至另一台。

清楚與穩定,並不是同一件事

深度邊界模糊時,前景會和後面的背景混在一起。花瓶邊緣即使只錯幾個像素,合成畫面也可能露出不該出現的背景。換成影片,即使逐格邊界都清楚,畫面晃動時輪廓仍可能跳動;若把多幀預測過度平滑,物體移動後深度圖又可能短暫落後。穩定的畫面可以一直估錯距離,結果清楚的單幀也未必能用於連續效果。Apple 研究的目標,是用同一套網路兼顧這幾個面向;論文結果是團隊的基準資料,並不代表每種應用環境。

評估可分三部分:用量得的距離檢查絕對誤差;在物體輪廓附近統計偏移;在靜止和移動的畫面分別量跨幀抖動與反應延遲。細小物體邊緣差了幾個像素,與其真實空間位置偏了幾公分,需要分開記錄。團隊可以先做一批室內對照樣本,再改換焦距、照明和相機重複拍攝;玻璃、反射材質、細長物體和互相遮擋的輪廓則宜分開統計。這些群組會顯示平均數看不見的問題,也讓評估結果較容易對應用途。

模型尺寸要與實際延遲一起看

四種尺寸方便研究者比較準確度與速度,但權重大小不能代表端到端延遲。相機擷取、影像預處理、資料搬運和畫面更新都要花時間。只報平均幀率,可能把足以中斷操作的少數慢幀略過。除了可見延遲的分布,也可記錄掉幀與場景變化後預測恢復所需的時間。有些應用只需在點擊時估計一次,可以接受等待以取得較好的輪廓;要隨相機持續更新,少數慢幀也有明顯代價。

Depth Pro 2 讓研究人員更容易用單一相機檢驗這些取捨,並沒有把估計變成儀器讀數。製作影像效果時可先看遮擋及連續性;需要依尺寸做決策時,則應回到可獨立量測的距離,說明哪些裝置、場景與工作條件下可以採用結果。

來源

內容僅供參考,不構成投資、法律、稅務或財務建議。