UGBench:大语言模型的“遗忘”基准测试工具

UGBench:大语言模型的“遗忘”基准测试工具。它能解决大语言模型知识遗忘的评估难题,核心价值在于提供一个通用的、无偏的机器遗忘评估框架。亮点:1. 覆盖3个数据领域,包括TOFU、哈利·波特和ZsRE;2. 支持14种现有遗忘方法;3. 使用Phi-1.3B和LLaMA2-7B两种不同规模的语言模型进行测试。

参考文献:
[1] http://github.com/MaybeLizzy/UGBench



知识星球服务内容:Dify源码剖析及答疑,Dify对话系统源码,NLP电子书籍报告下载,公众号所有付费资料。加微信buxingtianxia21进NLP工程化资料群

(文:NLP工程化)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往