从DeepSeek-V3到Kimi K2：八种现代 LLM 架构大比较
GPT-2以来七年，主要大模型架构对比分析。主要介绍DeepSeek V3、Mistral Small 3.1、Qwen3、SmolLM3等模型的架构特点及其在内存占用、性能优化等方面的创新点。
NoPE
1000万上下文！新开源多模态大模型，单个GPU就能运行
Meta 最新开源模型 Llama 4 Scout 达到千万级上下文，拥有 1090 亿参数。其使用 NoPE 架构解决长度泛化问题，并通过优化训练流程和强化学习框架提升性能。