极市干货

一个关于MoE的猜想

作者

本文提出了关于如何演进MoE模型的猜想，主要是在MoE Routing的基础上再套一层构建The Mixure of Expert Group（MoEG）。文章从代数和范畴论的角度分析了MoE模型的结构，并探讨了通过两层Routing Gate来优化模型并行计算和通信效率的方法。

一次搞定自驾场景的可控生成和长时序生成？科大和地平线提出DrivingWorld：基于视频GPT构建自动驾驶世界模型

作者

DrivingWorld模型通过创新的空间-时间解耦机制和高效的编码解码模块，实现了自动驾驶场景的可控生成和超长时间视频生成。该研究由香港科技大学与地平线联合完成，论文、代码均开放获取。