资讯
news
Andrej Karpathy 首次公开私人邮件:揭秘Transformer 注意力机制真相
揭秘Transformer‘注意力’机制的起源故事,它源于2014年实习生Dzmitry Bahdanau在Yoshua Bengio实验室中的实践思考与创新。通过软搜索设计解决了序列到序列模型中的瓶颈问题,最终提出RNNSearch架构,并引入softmax加权平均技术。
腾讯版Sora开源!最强开源视频模型,130亿参数、物理模拟、电影级画质!
腾讯开源了最新最强文生视频模型HunyuanVideo(混元),具备物理模拟、一镜到底等特性。生成的视频细节丰富,如熊猫吃火锅、神仙弹琵琶等。混元模型支持生成带音乐的视频,并在参数量上达到业界最大规模。
哈佛等最新报告:ChatGPT等AI普及率,比互联网、PC更快
聚焦生成式AI技术发展与应用。哈佛大学联合报告指出,39.5%受访者使用过生成式AI,28%在工作中使用。生成式AI普及速度远超PC和互联网。