跳至内容
每时AI

每时AI

  • 资讯
  • 国际
  • 分享
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 关于我们

GiantPandaCV

[Triton编程][基础]vLLM Triton Merge Attention States Kernel详解

2025年6月13日14时 作者 GiantPandaCV

7907703243110
编辑丨GiantPandaLLM
0x00 前言
本文介绍vLLM中Tr

分类 学术 标签 NCU工具、 PyTorch原生实现、 Triton算子、 关键部分代码、 加速效果、 潜在应用 发表评论

图解Vllm V1系列5:调度器策略(Scheduler)

2025年6月11日14时 作者 GiantPandaCV

online serving 这两种场景下的整体运作流程,以offline batching为例:

分类 学术 标签 FCFS、 num_new_tokens、 token_budget、 vLLM、 单步调度策略、 抢占 发表评论

MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding

2025年6月6日14时 作者 GiantPandaCV

lerating-llama-4-moe-inference/
MetaShuffling: 加速L

分类 学术 标签 1000个随机提示、 Llama 4模型、 MetaShuffling、 MoE推理、 单主机服务、 性能优化 发表评论

[Triton编程][基础] Triton Fused Softmax Kernel详解: 从Python源码到PTX分析

2025年5月29日19时 作者 GiantPandaCV

562146477609112
编辑丨GiantPandaLLM
0x00 前言
Triton Fu

分类 学术 标签 CUDA性能优化、 Triton Fused Softmax、 代码示例、 技术交流、 知识产权、 社区贡献 发表评论

一键式训练端到端Agent,Qwen3+MCP工具集高效集成!

2025年5月27日14时 作者 GiantPandaCV

本文介绍了一种名为RLFactory的开源框架,旨在通过简单且高效的端到端训练方法解决现有深度学习框架在奖励设计和工具配置上的复杂问题。

分类 学术 标签 DeepSearch模型、 Qwen3模型、 RLFactory、 异步工具调用、 端到端Agent模型、 高效训练 发表评论

【CUDA 博客】使用PTX指令更高效地加载和存储矩阵

2025年5月26日14时 作者 GiantPandaCV

表到本公众号。原始地址为:https://veitner.bearblog.dev/load-and

分类 学术 标签 CUDA、 fragments、 ldmatrix、 stmatrix、 对称性、 矩阵初始化 发表评论

【CUDA博客】关于TensorCore和Inline PTX Assembly的一个超简短笔记

2025年5月24日14时 作者 GiantPandaCV

表到本公众号。原始地址为:https://veitner.bearblog.dev/a-short-

分类 学术 标签 bfloat16、 HMMA.1688.F32、 TensorCore、 半精度浮点、 性能分析、 浮8 发表评论

[Triton编程][基础] Triton极简入门: Triton Vector Add

2025年5月24日14时 作者 GiantPandaCV

778199261291694
编辑丨GiantPandaLLM
0x00 前言
后续会陆续更新一些

分类 学术 标签 CUDA、 LeetCUDA、 TIL scheduling、 Triton、 Vector Add、 高性能 发表评论

【CUDA 博客】TMA简介 & 让矩阵转置在Hopper GPUs上变得更快

2025年5月23日19时 作者 GiantPandaCV

表到本公众号。原始地址为:https://veitner.bearblog.dev/tma-intr

分类 学术 标签 CUDF、 CUTLASS、 Hopper、 Swizzle、 矩阵转置、 高效实现 发表评论

Sglang 源码学习笔记(三)- 分布式和并行(以deepseek 为例)(WIP)

2025年5月21日14时 作者 GiantPandaCV

082781461207006
编辑丨GiantPandaLLM
写在前面
基于上述的两篇文章,我们

分类 学术 标签 DeepEPMoE、 gemm运算、 专家ID、 冗余专家、 动态调整、 并行化 发表评论
较早文章
较新文章
← 上一页 页面1 页面2 页面3 页面4 … 页面11 下一页 →

AGI AI AI技术 Anthropic ChatGPT Claude DeepSeek DeepSeek-R1 DeepSeek R1 GitHub GPT-4o LLM Meta OpenAI Python Sam Altman 人工智能 人形机器人 具身智能 大型语言模型 大模型 大语言模型 字节跳动 工业机器人 开源 强化学习 微软 扩散模型 技术创新 智能体 木易 机器学习 深度学习 清华大学 生成式AI 用户体验 百度 腾讯 自然语言处理 英伟达 谷歌 阿里云 阿里巴巴 马斯克 黄仁勋

分类

  • 分享
  • 国际
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 资讯
  • Kiro:从原型到生产的智能开发助理
  • Agentic-R1 推理新范式,融合多策略蒸馏,实现高效工具链长链推理
  • Amazon Bedrock AgentCore:加速 AI 代理商用部署的企业级基础设施
  • 一款新出的多智能体构建系统:CommonGround
  • 刚刚,Sam Altman宣布:GPT-5即将发布

2025 年 7 月
一 二 三 四 五 六 日
 123456
78910111213
14151617181920
21222324252627
28293031  
« 6 月    

归档

  • 2025 年 7 月
  • 2025 年 6 月
  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 11 月

AI新闻 | X平台 | APK反编译 | 京ICP备2024096144号 |
© 2025 每时AI • Built with GeneratePress
 下载我们的APP,AI秒送达!  立即下载
×