探索LLM如何捕捉和表征领域特定知识

本文发现大型语言模型在预填充阶段的隐藏状态中内在地编码了鲁棒的领域特定知识，形成了“潜在领域相关轨迹”，利用这些轨迹进行查询路由的模型选择策略，在提高性能（尤其是在开放式生成任务上）方面出人意料地优于直接使用领域微调模型，揭示了预训练 LLM 内在领域理解的强大潜力。

参考文献：
[1] https://arxiv.org/pdf/2504.16871

知识星球服务内容：Dify源码剖析及答疑，Dify对话系统源码，NLP电子书籍报告下载，公众号所有付费资料。加微信buxingtianxia21进NLP工程化资料群。