
苹果机器学习研究团队 11 月 19 日在 arXiv 发布 Depth Pro 2:一个单目深度估计模型,能给单张照片、整段视频乃至实时画面,在原始分辨率下算出以米为单位的深度。代码与权重已经开源,论文编号 arXiv:2611.26603。
它解决了什么问题
以往的单目深度估计总要在两个指标之间取舍:多帧方法时间一致性好、边缘却糊;单帧方法边缘锐利、视频里却闪烁。Depth Pro 2 用一个网络同时处理单张图与多帧视频,在精度、锐利度、时间一致性与速度四个维度上同时刷新了此前最好成绩。
做法上是一个多视角 Transformer 加 DPT 解码器:Transformer 在前三分之一网络块之后交替做帧内注意力与跨帧注意力,共享帧间信息;解码器再把多个网络块的 token 组装成 1/32 到 1/4 分辨率的特征图,逐帧解码出逆深度图。
四档模型,从 97MB 到 3.5GB
| 模型 | 参数 | 下载体积 |
|---|---|---|
| S | 24M | 97 MB |
| B | 97M | 386 MB |
| L | 334M | 1.3 GB |
| H+(默认) | 872M | 3.5 GB |
四档共用一个 94MB 的视场角估计器,没有 EXIF 焦距信息时由它预测焦距。另有导出的 Core ML 模型,方便在苹果设备上跑。
怎么跑起来
Linux 或 Apple silicon Mac,装好 uv 后克隆仓库:
uv run depth-pro-2 predict -i assets/example.jpg -o out/ # 一张照片 uv run depth-pro-2 predict -i assets/example.mp4 -o out/ # 一段视频
默认用 H+ 模型,笔记本上建议加 -m depthpro2-s 换 S 模型。视频默认按 16 帧一个片段、重叠 4 帧处理,保证片段交界处深度稳定;实时画面则用 –mode unbuffered 逐帧预测。输出是红近蓝远的深度彩图,另可导出 16 位灰度 PNG 或含米制深度与焦距的 .npz。
Mac 演示与许可提醒
仓库 demo/ 里有一个最小 Mac 应用,用 Core ML 跑实时摄像头深度,需要 Apple silicon、macOS 15 或更新、Xcode 16 或更新;演示文档里还给了 M4 Max MacBook Pro 上的运行数据。
要注意的是许可:代码与权重分开授权,模型权重仅限研究用途,即非商业的科学研究与学术开发活动,商用前先看清 LICENSE_MODEL。另两个使用提醒:天空像素的深度是无穷大,做点云或合成前先裁剪深度范围;深度按焦距缩放,焦距估错 10%,距离就偏 10%。
获取
代码:GitHub 仓库(385 星);项目主页:Depth Pro 2 官网;权重:Hugging Face,另有在线演示空间。
同类开源模型可以对照着看:Inkling 2 Mini:26B 开源权重模型,32GB MacBook 就能离线跑;以及 Edge0-145B 开源发布:1450 亿参数大模型登上笔记本。
转自 arXiv 作者 Peiyun Hu 等的论文《Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth》,原文链接











