极市导读
COB-GS作为一种3DGS细化方法，联合优化了语义和视觉信息，使两个不同层次能够有效地相互协作。实验结果表明，COB-GS显著提高了分割精度和对预训练模型中不准确掩模的鲁棒性，在保持高视觉质量的同时产生了清晰的边界。 >>加入极市CV技术交流群，走在计算机视觉的最前沿
在3D视觉领域，精确的对象分割至关重要，但传统的3D高斯分割方法常常难以清晰描绘对象边界。为此，我们提出了清晰对象边界（COB-GS）方法，通过联合优化语义和视觉信息，显著提升了分割精度。COB-GS采用自适应高斯分裂技术，有效解决了模糊边界问题，同时保持高视觉质量。实验结果表明，该方法在处理不准确掩模时表现优异，为3D分割技术的进步提供了新思路。
论文：https://arxiv.org/abs/2503.19443
代码：https://github.com/ZestfulJX/COB-GS
1. 概要
精确的对象分割对于3D视觉领域的高质量场景理解至关重要。然而，基于3DGS的3D分割在精确描绘对象边界方面存在困难，因为高斯基元由于其固有的体积和训练过程中缺乏语义指导，经常跨越对象边缘。为了应对这些挑战，我们引入了用于3DGS分割的清晰对象边界（COB-GS），旨在通过清晰地描绘场景中交织高斯基元的模糊边界来提高分割精度。与现有的去除模糊高斯和牺牲视觉质量的方法不同，COB-GS作为一种3DGS细化方法，联合优化了语义和视觉信息，使两个不同层次能够有效地相互协作。实验结果表明，COB-GS显著提高了分割精度和对预训练模型中不准确掩模的鲁棒性，在保持高视觉质量的同时产生了清晰的边界。
2. 方法介绍
我们的工作从优化的角度出发，提出一种基于掩码标签梯度统计的场景中物体边界自适应的高斯分裂方法，在场景优化阶段，联合优化物体掩码标签以及场景纹理信息，以保证3D场景中物体边界的准确性以及纹理的高质量，而分割阶段只需要筛选掩码标签即可。
具体来说，在掩码标签与纹理信息交替优化的过程中，我们提出了一种物体边界自适应的高斯分裂方法，借助优化过程中掩码标签的梯度信息进行边界语义模糊高斯的定位与分裂，以在优化空间中自适应地明确物体边缘。我们提出一种掩码与纹理联合交替优化的学习策略，在有明确物体边缘语义引导的基础上，提高场景的纹理质量。
此外，实际上，二进制掩码由于其离散的性质，并且是由训练好的2D视觉模型预测得到，容易在不同视点下物体边缘预测少量像素结果不一致的情况，进而导致边界高斯分裂时无法收敛，通过对物体边缘细小高斯的提取，进一步提高了我们方法针对掩码边界错误的鲁棒性。此外，我们介绍了一种基于SAM2的两阶段掩码提取方法，极大的简化了在三维重建数据集上提取感兴趣区域掩码的过程，同时解决了SAM2本身在长序列预测过程中的跟踪失败的问题。
3. 实验
3.1 实验设置
我们从定量和定性两个方面证明了我们方法的有效性。为了进行量化，我们使用了NVOS数据集，该数据集来自LLFF数据集，并提供了具有精确对象边缘的地面真实掩模，我们从分割质量评估和视觉质量评估两方面验证我们的方法的有效性。为了进行定性评估，我们使用了来自各种数据集的场景，包括LLFF、MIP-360、T&T和LERF。这些数据集涵盖了现实世界的复杂场景，包括室内和室外场景，以及前方和周围的场景。
3.2 COB-GS的定量分析
首先是分割质量，我们提取与对象对应的高斯集，并为目标视图渲染2D掩模。然后，我们计算GT遮罩和渲染遮罩之间的平均IoU和平均精度。结果如表1所示。由于场景表示不足，基于NeRF的方法显示出有限的分割细节。在3DGS分割中，基于特征的方法由于高维特征模糊而导致对象边界不平滑。与我们最相似的方法是基于掩模的3DGS方法。SAGD对错误的GT掩码缺乏鲁棒性，导致分割边缘出现小的高斯伪影。FlashSplat可以减少边缘模糊，但会损害对象的结构完整性。
由于对象分割结果缺乏参考图像，我们使用CLIP-IQA，这是一种无参考IQA，用于评估图像与给定文本提示的匹配程度。我们设置了三个侧重于边界质量的提示，以全面评估分割结果，如表2所示。SAGD和FlashSplat粗略地处理高斯分布，破坏了外观，牺牲了视觉质量以获得分割精度。
3.3 COB-GS的定性分析
在图3中，我们展示的分割结果的可视化证明了我们的方法在分割边缘清晰度上的效果，相比之下，现有的方法会存在明显的边界模糊高斯，强制删除边界高斯也会造成视觉效果的不完整。
3.4 消融实验
我们验证了我们提出的语义与纹理联合优化的效果，不论是在分割结果边界的清晰度上，还是在重塑场景边界纹理质量上，都取得了很好的效果。
此外，我们对提出了不同模块进行消融，完整的COB-GS在分割质量上效果最优。
4. 总结
COB-GS的创新设计旨在共同优化语义和纹理，确保它们相辅相成。该过程得到了边界自适应高斯分裂方法的支持。具体来说，在语义优化阶段，我们利用语义梯度统计来识别和分割模糊的高斯分布，并将其与对象边界对齐。然后，我们沿着精确细化的边界结构增强场景纹理。实验结果表明，3D分割性能有了显著提高，特别是在清晰的对象边界、准确的纹理和对不准确掩模的鲁棒性方面。
（文：极市干货）