跳至内容
每时AI

每时AI

  • 资讯
  • 国际
  • 分享
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 关于我们

批量大小

社区供稿 | 3700 次预训练总结超参规律,开源海量实验,告别盲猜

2025年4月17日14时 作者 Hugging Face

参数优化至关重要。为了探究最佳超参数的规律,我们开展了大规模的实证研究,通过在不同配置上进行网格搜索

分类 开源 标签 Step Law、 学习率、 批量大小、 数据集规模、 模型规模、 超大规模模型 发表评论

Adam的epsilon如何影响学习率的Scaling Law?

2024年12月1日22时 作者 PaperWeekly

本文探讨了Adam优化算法中的beta1参数对学习率与批量大小之间关系的影响,发现其会使得Surge现象出现的概率降低,并且在β1接近1时,结果趋向于SignSGD。

分类 大模型、 学术 标签 Adam 模型、 SignSGD 形式、 作者姓名、 大量数据、 学习率、 批量大小 发表评论

AGI AI AI技术 Anthropic ChatGPT Claude Cursor DeepSeek DeepSeek-R1 GitHub GPT-4o LLM Meta OpenAI Python Sam Altman 人工智能 人形机器人 具身智能 大型语言模型 大模型 大语言模型 字节跳动 工业机器人 开源 强化学习 微软 扩散模型 技术创新 智能体 木易 机器学习 深度学习 清华大学 生成式AI 用户体验 百度 腾讯 自然语言处理 英伟达 谷歌 阿里云 阿里巴巴 马斯克 黄仁勋

分类

  • 分享
  • 国际
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 资讯
  • 商汤拟配售25亿港元,用于支持生成式AI、具身智能等业务
  • 大疆迎来强劲对手!影石创新宣布进军无人机市场
  • 因为不用AI写代码,我在终面挂了 一个程序员的奇葩面试经历
  • AGICamp 第 004 周 AI 应用榜单发布:算力自由 GPU 云平台、insight- AI 健康分析搭子、小葵上榜
  • 腾讯杀入 AI IDE 赛道,CodeBuddy 内测码放送

2025 年 7 月
一 二 三 四 五 六 日
 123456
78910111213
14151617181920
21222324252627
28293031  
« 6 月    

归档

  • 2025 年 7 月
  • 2025 年 6 月
  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 11 月

AI新闻 | X平台 | APK反编译 | 京ICP备2024096144号 |
© 2025 每时AI • Built with GeneratePress
 下载我们的APP,AI秒送达!  立即下载
×