Andrej Karpathy:神奇大模型不存在的,只是对人类标注的拙劣模仿
知名AI学者Andrej Karpathy认为,大型语言模型的对话回答主要是模仿人工标注数据的结果,并非真正的人工智能。他批评了RLHF(奖励学习强化学习)的方法。
知名AI学者Andrej Karpathy认为,大型语言模型的对话回答主要是模仿人工标注数据的结果,并非真正的人工智能。他批评了RLHF(奖励学习强化学习)的方法。
本期内容涵盖了SoraVids、OLMo 2、StableAnimator、OneDiffusion和Model Context Protocol等五个AI项目。其中,SoraVids由desuAnon发布在Hugging Face平台,提供OpenAI视频生成模型Sora的视频及提示;OLMo 2是Ai2开发的完全开源语言模型;StableAnimator致力于高质量的人像动画生成,保持身份一致性并无需后处理;OneDiffusion是一个多功能的大规模扩散模型,支持双向图像合成和理解。Model Context Protocol则提供了一个新的标准连接AI助手与数据源,优化响应质量。
新智元报道
编辑:乔杨
【新智元导读】
Ai2和华盛顿大学联合Meta、CMU、斯坦福等机构发布了最
新智元报道:论文提出RAG任务分类法,将用户查询分为显式事实、隐式事实、可解释理由和隐含理由四个级别,并讨论了不同的技术和方法来优化性能。
Andrej Karpathy 回忆自己曾看好 RNN 和强化学习,但最终未能把握住大模型时代的到来。他指出,2015年已经认识到自回归语言模型的强大潜力,却错过了发展大规模预训练模型的机会。