梁文锋

DeepSeek创始人梁文锋亲自署名的论文长啥样？

作者

最近，DeepSeek团队发表的论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》引起广泛关注。该文由DeepSeek创始人梁文锋亲自署名。NSA（Natively Sparse Attention）通过动态分层稀疏策略、粗粒度token压缩和细粒度token选择，显著提升了长文本处理速度，并在多个任务中超越了传统注意力模型。

Claude挣钱强于o1！OpenAI开源百万美元编码基准，检验大模型钞能力

作者

OpenAI 推出并开源 SWE-Lancer 基准测试，用于评估 AI 大模型在现实世界软件工程任务中的表现。包含 1400 多个自由软件工程任务，总价值 100 万美元。包括自家 GPT-4o、o1 和 Anthropic Claude 3.5 Sonnet 在内的前沿模型未能解决大多数任务，仅 Claude 3.5 Sonnet 拿到最高报酬 403,325 美元。

太震撼了！梁文锋携DeepSeek团队丢出注意力新机制重磅论文，网友：这才是真正的OpenAI

作者

DeepSeek发布原生稀疏注意力（NSA）技术，旨在提升大语言模型处理长文本的能力和效率。NSA通过动态分层稀疏策略结合粗粒度的Token压缩和细粒度的选择优化，实现了高效长文本建模，实验结果显示NSA在多个任务中超越了Full Attention模型，并显著提升了计算速度。

刚刚，DeepSeek放出重磅论文！梁文锋亲自参与！

作者

论文提出原生稀疏注意力（NSA）技术，有望大幅提升大语言模型处理长文本的能力和效率。NSA结合动态分层稀疏策略与硬件优化，显著提升计算速度并在训练中支持端到端训练。实验表明使用NSA预训练的模型在多个任务上性能超越Full Attention模型，并且在64k长度序列下实现显著加速。