苹果发布 Depth Pro 2:照片、视频都能算出米级深度,4 档模型最小仅 97MB

Depth Pro 2 深度估计示例:原图在上,预测深度在下

苹果机器学习研究团队 11 月 19 日在 arXiv 发布 Depth Pro 2:一个单目深度估计模型,能给单张照片、整段视频乃至实时画面,在原始分辨率下算出以米为单位的深度。代码与权重已经开源,论文编号 arXiv:2611.26603。

它解决了什么问题

以往的单目深度估计总要在两个指标之间取舍:多帧方法时间一致性好、边缘却糊;单帧方法边缘锐利、视频里却闪烁。Depth Pro 2 用一个网络同时处理单张图与多帧视频,在精度、锐利度、时间一致性与速度四个维度上同时刷新了此前最好成绩。

做法上是一个多视角 Transformer 加 DPT 解码器:Transformer 在前三分之一网络块之后交替做帧内注意力与跨帧注意力,共享帧间信息;解码器再把多个网络块的 token 组装成 1/32 到 1/4 分辨率的特征图,逐帧解码出逆深度图。

四档模型,从 97MB 到 3.5GB

模型 参数 下载体积
S 24M 97 MB
B 97M 386 MB
L 334M 1.3 GB
H+(默认) 872M 3.5 GB

四档共用一个 94MB 的视场角估计器,没有 EXIF 焦距信息时由它预测焦距。另有导出的 Core ML 模型,方便在苹果设备上跑。

怎么跑起来

Linux 或 Apple silicon Mac,装好 uv 后克隆仓库:

uv run depth-pro-2 predict -i assets/example.jpg -o out/   # 一张照片
uv run depth-pro-2 predict -i assets/example.mp4 -o out/   # 一段视频

默认用 H+ 模型,笔记本上建议加 -m depthpro2-s 换 S 模型。视频默认按 16 帧一个片段、重叠 4 帧处理,保证片段交界处深度稳定;实时画面则用 –mode unbuffered 逐帧预测。输出是红近蓝远的深度彩图,另可导出 16 位灰度 PNG 或含米制深度与焦距的 .npz。

Mac 演示与许可提醒

仓库 demo/ 里有一个最小 Mac 应用,用 Core ML 跑实时摄像头深度,需要 Apple silicon、macOS 15 或更新、Xcode 16 或更新;演示文档里还给了 M4 Max MacBook Pro 上的运行数据。

要注意的是许可:代码与权重分开授权,模型权重仅限研究用途,即非商业的科学研究与学术开发活动,商用前先看清 LICENSE_MODEL。另两个使用提醒:天空像素的深度是无穷大,做点云或合成前先裁剪深度范围;深度按焦距缩放,焦距估错 10%,距离就偏 10%。

获取

代码:GitHub 仓库(385 星);项目主页:Depth Pro 2 官网;权重:Hugging Face,另有在线演示空间。

同类开源模型可以对照着看:Inkling 2 Mini:26B 开源权重模型,32GB MacBook 就能离线跑;以及 Edge0-145B 开源发布:1450 亿参数大模型登上笔记本。

转自 arXiv 作者 Peiyun Hu 等的论文《Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth》,原文链接

© 版权声明
THE END
喜欢就支持一下吧
点赞6 分享