延世大学与首尔大学联手：让AI真正“看懂“3D场景里的每一件物体

这项由延世大学与首尔大学联合完成的研究以预印本形式发布于2026年6月28日论文编号为arXiv:2606.29513感兴趣的读者可通过该编号查询完整论文。当你走进一间客厅你的大脑在零点几秒内就完成了一件了不起的事情你不仅看到了这个空间还立刻识别出了沙发在哪里、桌子在哪里、椅子在哪里。你的认知系统天然地将这个空间分解成一件件独立的物体而不是把它当成一团连续的颜色和光线。然而当今主流的3D场景重建技术却恰恰在这一点上与人类大脑背道而驰——它们把整个场景揉成一堆密密麻麻的点或者气泡根本不知道哪些点属于沙发哪些点属于桌子。这篇研究的出发点就是要扭转这个局面。研究团队把这个问题的本质归结为一种表示不匹配不是机器缺乏足够聪明的特征而是它用来表示场景的基本单位根本就不是物体而是细碎的几何片段。就算你在每个碎片上贴了标签贴完之后你还是得重新做一遍把碎片拼回物体的工作。这就好比一个积木盒子被倒在地上你给每块积木涂上了颜色但想知道哪些积木拼成了一栋房子哪些拼成了一辆车你还得一块一块地重新拼。研究团队想做的是让机器一开始就以物体为单位来理解场景而不是先堆一堆碎积木再慢慢拼回去。一、旧方法的根本困境堆积木容易认积木难要理解这项研究的价值得先搞清楚现有方法到底有什么问题。目前最流行的3D场景表示方式叫做3D高斯溅射——你可以把它理解为用无数个半透明的小气泡来填充空间每个气泡记录一小块区域的颜色、透明度和形状信息。把这些气泡渲染出来就能得到逼真的3D场景图像。这种方式在视觉效果上非常出色但它天然缺乏物体意识——每个气泡只知道自己这一小块区域长什么样完全不知道自己属于沙发还是地板。近年来研究者们尝试给每个气泡贴上语义标签比如从大型2D视觉模型那里借来特征向量附加到每个气泡上。这个思路有一定效果但问题依然存在同一件沙发上的每个气泡都各自存了一份我是沙发的信息信息被重复存储了成千上万次极度浪费更重要的是如果你想对沙发做任何操作比如把它移走或者替换成另一张椅子你得先把分散在几万个气泡里的沙发信息全部找出来并重新组合这个过程繁琐且容易出错。更根本的问题在于一个气泡永远只是局部几何的碎片无论你在上面贴什么标签它都没有能力理解我是沙发整体的一部分这件事。物体层面的上下文信息根本无法从碎片中自然涌现出来只能依靠后续复杂的后处理步骤来勉强重建。二、新框架的核心思路先认物体再记细节研究团队提出的解决方案叫做实例结构化3D词元组Instance-Structured 3D Token Groups。这个名字听起来复杂但背后的思路用日常语言来说相当直接给每件物体分配一个身份证再给这件物体的每个局部区域分配一个详细档案两者合在一起就是这件物体的完整表示。具体来说系统会为场景中识别出的每件物体生成一个群组词元Group Token这就是那张身份证它记录了这件物体是什么、大概在哪里、有多大。与此同时每件物体还拥有一组锚点词元Anchor Tokens这些锚点就像是详细档案里的各个条目每个锚点负责记录物体某个局部区域的几何形状和外观细节并进一步生成那个区域的3D高斯气泡用于渲染。这种两层结构的关键在于分工明确群组词元管这是什么物体、它作为一个整体的身份锚点词元管这件物体的这个局部区域长什么样。两者相互配合既保留了足够的细节来渲染高质量图像又从一开始就以物体为单位组织信息无需任何后处理来重建物体边界。更值得注意的是整个过程只需要给机器看几张没有相机位置信息的普通照片称为无姿态图像——不需要事先告诉机器相机在哪里拍的机器自己会在一次前向推断中完成整个场景的分解和重建。三、机器怎么学会认物体一场拼图游戏的训练研究团队面临的一个核心挑战是你怎么教机器以物体为单位理解场景他们的方案是让机器同时完成两件事并用两种不同的评分标准来督促它一方面机器渲染出来的图像要尽可能接近真实照片这用来保证几何和外观的准确性另一方面机器划定的这是一件物体的边界要尽可能匹配真实的物体分割图这用来保证物体识别的准确性。两个目标同时优化让机器在学会把场景画得像的同时也学会把场景拆得对。训练过程中有一个技术细节相当关键锚点怎么知道自己该归属于哪件物体系统通过一种叫做softmax竞争的机制来解决这个问题。每个锚点词元和所有群组词元分别计算相似度分数然后通过一个归一化操作让每个锚点最终归属于与它最相似的那个群组词元。这就像是一次投票每个锚点把票投给它最认同的那个物体身份证票数归一化后形成一个清晰的归属关系。这个机制促使不同群组词元之间相互竞争争夺对锚点的所有权最终形成清晰的物体边界。此外研究团队还注意到一个实践中的细节如果一开始就用很强的物体分割损失来督促机器会因为几何还没学好而产生混乱的训练信号反而让两个目标互相干扰。为此他们设计了一个热身期机制训练最初的一段时间约1500步物体分割的监督信号逐渐从零增大到正常水平等到几何重建基本稳定后物体分割的监督才全面介入。实验证明这个设计非常有效——没有热身期时分割性能甚至还不如先分别训练两个目标再合并的方案。还有一个额外设计锚点归属时还引入了一个空白通道专门接收那些不属于任何有意义物体区域比如边缘噪声或背景混乱区域的锚点这让系统能更干净地处理场景中非物体的部分。四、存储语义的聪明方法一张摘要加若干注解当系统学会了以物体为单位组织场景之后研究团队进一步利用这种结构来高效存储语义信息也就是这是什么东西这类知识。传统方法是给每个气泡都存一个高维度的特征向量比如512维这就像给每片积木都印一本512页的说明书不仅占用海量存储空间而且同一件物体的几万个气泡上都存着几乎一样的说明书浪费极度严重。研究团队的方案是每件物体只存一个群组级语义特征这是一个512维的向量相当于这件物体的语义摘要此外每个锚点存一个极低维度仅8维的残差记录这个局部区域与整体摘要之间的细微差异。渲染时像素的完整语义特征由物体摘要加上局部残差合成得到。这个分解设计有多高效与其他方法相比存储的语义信息量从840万个数值Uni3R方法每个气泡64维特征压缩到了5.94万个数值缩减了超过140倍而语义检索精度mIoU指标反而从0.558提升到了0.657提升幅度相当可观。这背后的逻辑是同一件物体内部的语义变化本来就不大一个锚点词元内的区域在语义上高度相似真正需要细分的只是极少量的局部差异8维残差已经完全足够捕捉这些差异了。五、系统从头到尾怎么运转一次完整的场景理解之旅从几张普通照片到一个结构化的3D场景整个过程分为几个连贯的阶段。首先系统把输入的多张照片送入一个预训练好的几何基础模型具体是VGGT模型这个模型会从照片中提取每个位置的几何特征并生成一张点图——你可以把它理解为把照片里每个像素的位置估计到3D空间中形成一张密集的3D坐标图。然后系统把从多张照片中提取的特征和坐标信息合并形成一个统一的上下文特征集合为后续的词元生成提供原料。接着系统从这片3D坐标云中用最远点采样的方式选出1024个代表性位置每个位置对应一个锚点词元的初始位置初始状态由该位置的上下文特征加上3D坐标的编码合成。与此同时100个群组词元作为可学习的嵌入向量被随机初始化准备通过训练来代表场景中的100个潜在物体实例。随后两个变换器模块接续工作。第一个是图像-锚点变换器它让锚点词元通过交叉注意力机制从整个上下文特征集合中汲取信息使每个锚点既了解自己附近的几何细节也能感知更大范围的场景信息。第二个是锚点-群组变换器它让群组词元通过交叉注意力机制从所有锚点词元中聚合信息使每个群组词元能够整合它所代表的那件物体的整体特征。最后每个锚点词元通过一个小型神经网络生成32个3D高斯气泡每个气泡的位置、大小、旋转、不透明度和颜色用球谐函数表示都由这个网络预测。每个气泡从它的父锚点那里继承归属概率因此整个3D场景自然地被分割成最多100个物体实例的集合每个实例都有专属的气泡群。六、实验结果全面超越或媲美同类方法研究团队在ScanNet室内场景数据集上进行了全面评测覆盖三个核心任务。在开放词汇语义特征提取任务上系统以相当大的优势领先于所有对比方法。具体来说在目标视角下的语义分割精度mIoU上该方法达到0.657而最接近的对比方法C3G仅为0.513Uni3R为0.558LSM为0.512。这个优势直接来源于实例级语义存储的设计——物体级摘要天然地保证了同一物体内部语义的一致性这是逐气泡存储特征的方法所不具备的内在优势。在新视角重建质量上系统表现出了良好的竞争力但并未在所有指标上全面领先。Uni3R在PSNR和SSIM上略高于该方法分别为25.53对25.280.873对0.771这个差距来源于架构上的设计取舍该方法使用了紧凑的1024个锚点词元每个词元生成32个气泡总共约3.3万个气泡而Uni3R和LSM各自使用了13.1万个像素对齐的高斯气泡密度高出约4倍。然而一个值得关注的现象是在将ScanNet训练的模型直接迁移到MipNeRF360户外场景零样本测试完全不做微调时该方法的PSNR达到16.52而Uni3R仅为14.58在SSIM和LPIPS上同样更优。这表明锚点-群组结构学到的是更具泛化能力的场景先验而不是过度拟合于训练数据的分布。在类无关实例分割任务上使用8张上下文图像该方法取得了最为显著的领先。AP指标上该方法达到0.235而需要对每个场景单独优化的Gaussian Grouping仅为0.139ObjectGS为0.178甚至先做前向推断再做后处理优化的IGGTLUDVIG也仅为0.122。一个全前向推断的模型在实例分割上超越所有需要逐场景优化的方法这个结果颇具说服力当物体实例是表示的原生结构单元时分割质量有着天然的保障不需要后期费力地从零碎的几何基元中重建物体边界。七、把物体当作操作界面三种直接可用的应用能力实例结构化词元组的价值不仅体现在评测指标上更体现在它直接开放出来的操作能力上。场景编辑能力是最直观的体现。因为每件物体对应一组独立的词元和气泡想移走一件物体只需要把对应的词元组删除剩余场景完全不受影响想移动一件物体只需要对它的锚点坐标和气泡位置做一个刚体变换想从另一个场景里插入一件物体只需要把那个场景里对应的词元组搬运过来。整个过程不需要任何手动标注、后处理流程或场景特定的优化所有操作都直接作用于一次前向推断产出的词元组。对比之下传统的基于气泡的方法要实现同等的编辑效果要么需要在优化阶段就加入特殊的身份监督Gaussian GroupingObjectGS要么需要把2D预测提升和合并到3D中IGGT流程繁琐且容易引入误差。开放词汇3D实例检索是另一个直接受益于实例结构的能力。每个词元组存有一个群组级语义嵌入文本查询或图像查询可以直接与这些嵌入做相似度匹配找出最匹配的物体实例。由于检索是在物体层面最多100个实例进行而不是在气泡层面数万个气泡进行检索的复杂度与场景中的物体数量成正比而非与几何基元数量成正比效率提升极为显著。检索结果是一个完整的、空间连贯的物体实例而不是散落在各处的气泡子集这个性质直接来源于表示的实例结构无需任何聚合后处理。在RealEstate10K数据集上的实验进一步展示了系统的泛化能力该数据集没有任何人工标注的实例分割标签研究团队用SAM2自动生成的伪标签作为监督信号来训练系统结果在重建质量上依然优于对比方法C3G预测的实例分割图也保持了合理的连贯性即便伪标签本身有时会把同一件物体拆分成多个ID系统依然能学出相对一致的物体边界。这说明词元组结构对监督噪声有一定的容忍性不依赖高质量的标注数据才能工作。八、几个关键设计选择的消融验证研究团队用消融实验验证了几个关键设计选择的必要性。关于联合训练他们对比了三种方案同时优化重建损失和分割损失的联合训练最终方案、先单独训练重建再单独训练分割的顺序训练、以及联合训练但不使用热身期的方案。顺序训练导致分割AP从0.193大幅下降到0.032这说明重建和分割两个目标必须共同训练才能让词元组结构真正涌现——重建目标会引导锚点词元学到与物体边界相容的几何表示而分割目标则直接塑造群组词元的边界感知两者相互强化。没有热身期的方案比顺序训练还要差AP仅0.081因为在几何尚未稳定的早期就引入强分割损失会产生互相冲突的梯度把两个目标都破坏掉。关于分解特征提取他们对比了只用锚点残差、只用群组级嵌入、两者结合三种方案。只用锚点残差效果最差mIoU 0.524因为8维残差的容量根本不足以单独表示完整的语义信息没有群组摘要来承担主要语义负担时残差只能苦苦硬撑。只用群组级嵌入已经相当不错mIoU 0.635这说明同一物体内部的语义变化确实相当小一个512维的共享摘要能捕捉绝大部分语义信息。加入锚点残差后进一步提升到0.657说明物体内部确实存在一些值得精细刻画的局部语义差异两层设计各有其不可替代的贡献。九、这项研究的局限与未来方向研究团队坦率地指出了当前框架的几个局限也描述了他们设想的未来延伸方向。在当前局限方面评测主要集中在有界的室内场景扩展到室外环境或大规模城市场景还未经验证100个群组词元的上限在更复杂的场景中可能成为瓶颈。单个群组词元对复杂或高度多样化物体的语义表达能力也可能有限未来可以考虑每个群组使用多个语义基向量。此外当前框架假设场景是静止的无法处理物体运动的情况这限制了它在机器人等需要处理动态环境的应用中的直接使用。在未来方向方面研究团队提出了两个颇有想象力的延伸路径。其一是与大型语言模型的结合一个场景被压缩为不超过100个词元组这恰好是大模型能够高效处理的规模可以直接对物体级词元做语言推理需要细节时再查询锚点层这为语言指导的3D场景理解和操作提供了一条清晰的路径。其二是作为机器人的感知前端给机器人几张场景照片系统在一次前向推断中产出所有物体的实例句柄机器人可以用语义嵌入将语言指令比如把那本书拿过来定位到具体的词元组再用词元组的操作接口来规划和模拟物理操作而操作的计算复杂度只与物体数量相关而非与几何基元数量相关时效性远优于传统方法。说到底这项研究做的事情可以用一句话概括它让机器在理解3D场景时从看到一堆点变成了看到一件件物体而且这种理解是在场景重建的第一步就完成的而不是作为后处理的附加产物。这个改变看似只是表示方式的调整实际上开启了一系列原本需要复杂后处理才能实现的功能从场景编辑到语义检索全部变得直接而自然。对于普通人来说这意味着未来的AR眼镜、家用机器人或者智能家居系统能够以更接近人类直觉的方式理解它们看到的空间——不是这里有一片橙色的像素区域而是这里有一张沙发。有兴趣深入了解技术细节的读者可以通过arXiv编号2606.29513查阅原论文。QAQ1实例结构化3D词元组和传统3D高斯溅射的根本区别是什么A传统3D高斯溅射把场景表示为数万个独立的几何气泡没有任何物体边界概念想知道哪些气泡属于同一件物体还需要额外处理。实例结构化3D词元组直接以物体为单位组织表示每件物体有专属的身份词元和一组细节词元物体边界是表示的原生结构无需后处理重建。Q2这套系统需要人工标注3D物体信息来训练吗A不需要任何3D标注。系统完全通过2D图像监督来学习RGB图像监督几何重建质量2D实例分割图可以是人工标注也可以是SAM2自动生成的伪标签监督物体边界。3D层面的实例结构自然地从2D监督中涌现不依赖昂贵的3D标注数据。Q3实例结构化3D词元组的语义检索为什么比传统方法高效A传统方法把语义特征存在每个气泡上检索时需要遍历数万个气泡并聚合结果。实例结构化词元组只在物体层面存储一个共享语义摘要检索时直接在最多100个物体嵌入上做匹配复杂度与物体数量而非气泡数量相关效率差异可达数百倍且检索结果天然是完整连贯的物体实例。