Andrej Karpathy 首次公开私人邮件:揭秘Transformer 注意力机制真相

揭秘Transformer‘注意力’机制的起源故事,它源于2014年实习生Dzmitry Bahdanau在Yoshua Bengio实验室中的实践思考与创新。通过软搜索设计解决了序列到序列模型中的瓶颈问题,最终提出RNNSearch架构,并引入softmax加权平均技术。

腾讯版Sora开源!最强开源视频模型,130亿参数、物理模拟、电影级画质!

腾讯开源了最新最强文生视频模型HunyuanVideo(混元),具备物理模拟、一镜到底等特性。生成的视频细节丰富,如熊猫吃火锅、神仙弹琵琶等。混元模型支持生成带音乐的视频,并在参数量上达到业界最大规模。