东说念主类能当然地感知 3D 天下的几何结构与语义实质 开yun体育网，但对 AI 而言，这"两者兼得"一直是稠密挑战。

传统步伐将 3D 重建（底层几何）与空间诱骗（高层语义）割裂处理 ，导致子虚集会且无法泛化 。而新步伐试图将 3D 模子与特定的视觉谈话模子（VLM）"锁死" ，这不仅为止了模子的感知能力（举例，无法差异褪色类别的两个不同实例 ），更阻遏了其相宜更强卑劣任务的彭胀性 。

面前，NTU 连结 StepFun 建议了 IGGT ( Instance-Grounded Geometry Transformer ) ，一个改进的端到端大型长入 Transformer，初次将空间重建与实例级高低文诱骗如鱼得水。

为治理上述问题，本征询的主要孝敬在于：

端到端长入框架：

  建议 IGGT，一个大型长入 Transformer，将空间重建和实例级高低文诱骗的常识长入在褪色个模子中进行端到端考试 。

大范围实例数据集： 

构建了一个全新的大范围数据集 InsScene-15K，包含 15K 个场景 、2 亿张图像 ，以及通过新颖数据管线标注的高质地、3D 一致的实例级掩码 。

实例解耦与即插即用： 

首创"实例接地的场景诱骗" ( Instance-Grounded Scene Understanding ) 范式 。iGGT 不与任何特定 VLM 绑定，而是生成实例掩码看成"桥梁" ，使其能以"即插即用"的方式与大肆 VLMs（如 CLIP, OpenSeg ）和 LMMs（如 Qwen-VL 2.5 ）无缝集成 。

多应用支援：  该长入示意极地面彭胀了卑劣能力，是首个能同期支援空间追踪、绽开词汇分割和场景问答（QA）的长入模子 。

InsScene-15K 数据集的构建

InsScene-15K 数据集是通过一个新颖的数据顾问经由构建的 ，该经由由 SAM2 驱动 ，并整合了三种不同起原的数据，每种起原的处理方式不同。

图 2  △InsScene-15K 数据集标注管线总览。

合成数据 ( Synthesis Data - 如 Aria, Infinigen ) ：

这是最班师的。在模拟环境中，RGB 图像、深度图、相机位姿和物体级的分割掩码被同期生成 。 由于这些模拟生成的掩码是"无缺准确的" ，因此无需任何后处理，班师使用。

真确天下视频收集 ( Video Captured - 如 RE10K ) ：

这个经由如图 2 ( a ) 所示，是一个定制化的 SAM2 视频密集瞻望管线 。 最初，在视频的第 0 帧使用 SAM 生成密集的运转掩码提议 ( Initial Mask Proposals ) 。 然后，使用 SAM2 视频对象分割器将这些掩码在时辰上上前传播 ( Propagate Masks Forward ) 。 为了处理新出现的对象或幸免漂移，管线会迭代式地添加新关节帧：淌若未被遮蔽的区域特等阈值，就在新帧上再走运行 SAM 来发现新物体 。 终末，施行一次双向传播 ( Bi-directional Propagation ) 来确保通盘视频序列的高度时辰一致性 。

真确天下 RGBD 收集 ( RGBD Captured - 如 ScanNet++ ) ：

这个经由如图 2 ( b ) 所示，是一个掩码优化经由 ( Mask Refinement Pipeline ) 。 ScanNet++ 自带的 3D 标注是疏忽的 。经由最初将这些 3D 标注投影到 2D 图像，以获取具有一致 ID 的运转 GT 掩码 。 同期，使用 SAM2 为褪色张 RGB 图像生成局势精准但莫得 ID 的细粒度掩码提议 。 关节轨范是匹配与合并：将 SAM2 生成的缜密掩码与投影的疏忽 GT 掩码进行对都，为缜密掩码分派正确的、多视图一致的 ID 。 通过这种方式，管线极地面普及了 2D 掩码的质地，使其既保执了 3D 的 ID 一致性，又具有了 SAM2 级别的局势准确性 。

IGGT 模子的构建

IGGT 架构概览：

输入图像被编码为长入的 Token 示意，随后由几何头（Geometry Head）和实例头（Instance Head）分别处理，以同期生成高质地的几何重建和实例接地的聚类效果。

IGGT 的架构由三部分关节组件组成：

长入 Transformer ( Large Unified Transformer )

死守 VGGT，模子最初使用预考试的 DINOv2 索要图像块级 Token。随后，通过 24 个重观点模块对多视图图像的 Token 进行 intra-view self-attention 和 global-view cross-attention，将其编码为遒劲的长入 Token 示意 Ti。

双解船埠与跨模态和会 ( Downstream Heads and Cross-Modal Fusion )

长入 Token 被送入两个并行的解码器：

Geometry Head： 禁受自 VGGT，雅致瞻望相机参数、深度图和点图。

Instance Head： 接收 DPT-like 架构，解码出实例特征。

Cross-Modal Fusion Block： 为了让实例头感知缜密的几何范围，团队策画了一个跨模态和会块。它通过一个窗口滑动交叉重观点 ( sliding window cross attention ) ，将几何头的空间结构特征高效地镶嵌到实例示意中，显赫增强了实例特征的空间感知能力。

3D 一致性对比监督 ( 3D-Consistent Contrastive Supervision )

为了让模子仅从 2D 输入中学到 3D 一致的实例特征，团队策画了一个多视角对比蚀本 Lmvc。 该蚀本的中枢想想是：在特征空间中，"拉近"来自不同视角但属于褪色 3D 实例的像素特征，同期"推开"属于不同实例的特征。

其中 m ( pi ) 和 m ( pj ) 分别是像素 pi 和 pj 的实例 ID，而 fpi 和 fpj 是其对应的实例特征。

基于实例 Grounded 的场景诱骗

其中枢想想是将 3D 模子的长入示意与卑劣的特定谈话模子（VLMs 或 LMMs）进行"解耦" 。

这与以往的步伐不同，以往的步伐时常将 3D 模子与特定的谈话模子（如 LSeg）"紧密耦合"或"强行对都"，这为止了模子的感知能力和彭胀性 。最初欺骗无监督聚类（HDBSCAN）将 IGGT 瞻望的 3D 一致性实例特征分组，从而将场景分割为不同的对象实例 。

这些聚类效果随后被再行投影以生成 3D 一致的 2D 实例掩码 ，这些掩码充任"桥梁" ，终赫然与多样 VLMs（如 CLIP、OpenSeg）和 LMMs（如 Qwen2.5-VL）的"即插即用"式集成 。这种解耦范式极地面彭胀了模子的应用范围：

实例空间追踪 ( Instance Spatial Tracking ) ：  欺骗聚类生成的 3D 一致性掩码，不错在多个不同视角的图像中密集地追踪和分割特定对象实例，即使在相机大幅通晓的情况下也不易丢失标的 。

绽开词汇语义分割 ( Open-Vocabulary Semantic Segmentation ) ：  实例掩码不错看成"指示"（prompts），被送入大肆现成的 VLM（如 OpenSeg） 。VLM 会对每个掩码界说的区域分派一个语义类别，从而终了绽开词汇的分割 。

QA 场景定位 ( QA Scene Grounding ) ：  这种解耦的实例聚类不错与 LMM（如 GPT-40 或 Qwen-VL 2.5）交互 。举例，不错在多个视图中高亮自大褪色个实例的掩码，然后向 LMM 发问，以在 3D 场景中施行以对象为中心的复杂问答任务 。

实证效果

比拟于已有的步伐，IGGT 是惟逐一个或者同期作念到重建、诱骗和追踪三个任务的模子，并在诱骗和追踪标的上大幅普及。

在实例 3D 追踪任务上，IGGT 的追踪 IOU 和生遵循高达 70% 和 90%，是惟逐一个或者生效追踪物体散失又再行出现的模子。

IGGT 与 SAM2 和 SpaTracker+SAM 进行比较。为了清晰起见，通盘实例都使用不同的 ID 和形状进行可视化。

团队同期还针对场景作念了充分的可视化实验，不错看出 IGGT 或者生成 3D 一致的基于实例的特征，这些特征在多个视图中保执差异性：褪色类别的多个实例在 PCA 空间中呈现雷同但可差异的形状。

将 3D 一致的 PCA 效果与基于实例特征的聚类掩码进行可视化。PCA 中雷同的形状示意实例间的特征雷同度更高。关于聚类掩码，褪色个对象实例在多个视图中分享相通的形状。

在 2D / 3D 绽开词汇分割任务上，收货于 Instance-grounded paradigm 的特色，不错无缝接入最新的 Vision-Language Model 以普及模子的查询性能。

Scannet 和 Scannet++ 上的 2D 绽开词汇分割的定性效果：

Scannet 和 Scannet++ 上的 3D 绽开词汇分割的定性效果。

此外，团队还不错欺骗实例掩码（instance masks）构建视觉指示（visual prompts），并将其接入如 Qwen-VL 等大型多模态模子（LMM），以终了更复杂的针对场景中特定物体的查询与问答任务。相悖，即即是现时源流进的 LMM 模子，在处理多视图或三维场景诱骗方面仍存在显赫的局限。

与 vanilla Gemini 2.5 Pro 比拟，QA 场景诱骗的应用：

论文邻接：https://arxiv.org/abs/2510.22706

技俩主页：https://lifuguan.github.io/IGGT_official

Huggingface：https://huggingface.co/datasets/lifuguan/InsScene-15K

一键三连「点赞」「转发」「谨防心」

迎接在考虑区留住你的方针！

—  完  —

咱们正在招聘别称眼疾手快、柔柔 AI 的学术剪辑实习生  � �

感敬爱的小伙伴迎接柔柔 � �  了解确定

� � 点亮星标 � �

科技前沿阐明逐日见开yun体育网