地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA
最新 11 月 19 日消息,11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。
官方称,LoFT 原生面向连续视频建模,采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。

最新从官方公布信息获悉,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。
模型结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。

官方表示,为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。




评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与 VGGT-Ω、DA3-Giant 等代表性模型比较。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 涵盖机器人、自动驾驶及通用视频场景。据官方公布信息,LoFT 在多项深度估计指标上达到 SoTA。


在应用侧,官方称 LoFT 可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。
参考
项目主页
《地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。
相关图文
-
8 年 7 次霸榜,“123456”再度蝉联 2026 全球最糟糕密码榜首
网络安全公司 NordPass 发布《2026 年最常用密码 Top 200》报告,指出“123456”再次位居全球最糟糕密码第一位,这也是该密码在 8 年间第 7 次登顶。... -
美国科技服务接连出现故障:微软、苹果、AWS、银行、空管系统之后,国家安全局机密通信网络也受影响
近期苹果、微软、AWS、航空管理系统等接连出现故障,美国国家安全局机密通信网络也因补丁更新发生中断,目前暂无证据表明故障属于网络攻击。#科技故障#... -
顶刊论文中的实验图片被质疑用 AI 生成,湖南省科技厅同步核查学术不端
该论文标尺刻度、作者单位地址、邮编存在多处异常,被质疑实验图片由 AI 生成,院方与湖南省科技厅已同步展开核查。#学术不端##一论文医学实验图片被指疑似AI生成# #多方回应一论文实验图片被疑AI生成#... -
新任 007 演员官宣:“蝙蝠侠”罗伯特 · 帕丁森接棒,网友玩梗戏称新片为《007:黑暗骑士崛起》
Prime Video 昨晚官宣,新任 007 将由 40 岁的罗伯特 · 帕丁森饰演。目前,新片首曝预告片已播出。值得一提的是,罗伯特 · 帕丁森还是史上首位同时出演蝙蝠侠和 007 詹姆斯 · 邦德的演员。网友顺势玩梗,称新片可以命名为《007:黑暗骑士崛起》或《布鲁斯 · 韦恩在英国》。... -
中国铁路:网传“一旅客过安检喝白酒”信息不实,系喝水用于拍视频
中国铁路官方今日转发上海铁路局阜阳车务段官方微博进行澄清。经核查,此信息不实,该旅客喝的是水,不是白酒,用于拍视频。...












