苹果 Depth Pro 2 能从普通相机估算距离,误差该怎么量
Depth Pro 2 同时处理照片与视频。判断它能不能用于测距,要把绝对误差、物体边界和画面稳定性分开看。

苹果研究团队公开了 Depth Pro 2 的代码和模型权重。论文于 11 月 19 日提交 arXiv,11 月 20 日公开的模型页面列出四个版本,参数规模约从 2400 万到 8.72 亿。模型接收普通相机的单张照片、视频或实时画面,输出与输入分辨率匹配的逐像素深度估计,单位是米。公开下载不等于开放商用:模型页面列出的苹果许可限于非商业科研与学术开发,不能把代码和权重可下载写成面向终端用户发布的功能。
看起来有层次,与量出几米是两件事
如果知道沙发在茶几后面,软件就能尝试把动画角色放到茶几前、沙发后。至于茶几究竟离镜头一米还是两米,这类遮挡效果未必在乎。另一项任务却可能完全依赖尺度:如果把一张图片转成房间布局,近处家具的位置偏离二十厘米,后续尺寸判断就可能受影响。两种任务都用到了深度信息,但前者主要关心前后关系和轮廓,后者要核实米制估计。
单目照片存在尺度歧义。一个小物体在近处和一个更大的物体在远处,投影尺寸可以相同。模型要借助拍摄参数与从数据中学到的场景规律来估算距离。苹果提供了一个在焦距未知时使用的估计模型。它能够补足部分输入信息,不能让单张图像所缺少的物理约束凭空出现。对同一个空间,换镜头、做数字裁切或改变视角后,都可能得到不同结果;某次测试看起来准确,不能据此推断另一类设备也准确。
边界清楚、画面平稳,各自解决了什么
模糊的深度边界可能把靠得很近的前景和远处背景混在一起。一条花瓶轮廓只偏几像素,叠加效果就会在边缘露出不该出现的背景。等输入变成视频,即使每帧的轮廓都很清楚,边界也可能随相机晃动而跳动。反过来,把前后多帧过度平滑,物体已经移动,预测仍可能短暂留在原位。一个结果可以稳定地给出错误距离,也可以对单帧给出漂亮答案,却不能支持连续画面。苹果研究的目标是让同一套网络同时处理这些取舍,论文中的优势来自团队给出的基准,实际环境还要另测。
好的评估会把三个维度分开:对照已知距离测绝对误差;在物体轮廓附近另算边界偏移;在静物与运动场景分别记录跨帧抖动和响应迟滞。对微小物体测量,还应区分到底是画面偏了几像素,还是表示的真实空间偏了几厘米。在室内可用实测距离制作少量对照样本,再换焦距、照度和机型重复采集。把玻璃、反射表面、细杆和遮挡边缘分组,有助于找到整体平均数没有反映的失效场景。基准再高,也不能替代与任务相关的误差定义。
选择模型规模,要测完整流程
四种尺寸使研究人员可以比较精度与速度,权重体积却不是端到端时延。相机采集、图像预处理、显存搬运和结果渲染都会增加时间。只报告平均帧率,还可能漏掉少数会打断操作的慢帧。更有用的是同时报告屏幕可见的延迟分布、跳帧频率,以及画面快速变化后深度估计需要多久恢复。如果应用只在点击时估一次,接受较慢的处理以换取边界质量可能合理;如果画面要随相机不断更新,慢帧的成本就高得多。
Depth Pro 2 扩大了研究者用单相机检验这些问题的空间。它不能把统计估计改成仪器读数。用于制作图像效果,主要应看遮挡和连续感;要做严肃测距,还须把估计与可独立量得的距离对照,并且说明在什么机型、什么条件下允许继续使用。
来源
内容仅供参考,不构成投资、法律、税务或财务建议。