Flash Attention技术

DeepMind专家Vlad Feinberg在普林斯顿的演讲中讨论了模型规模扩展法则的历史、优化策略及未来研究方向，强调小模型客户需求、推理感知扩展法则，并建议开发硬件专用内核和改进量化技术。