信息论

大模型在理解世界上的表现与人类不同。他们擅长压缩信息，但缺乏人类那样的细粒度语义区分。研究引入信息论框架揭示了AI与人类的差异。