Infinite Retrieval:不用RAG也无需长上下文模型就能实现无限上下文检索的新方法!
处理超长文本一直是大模型的挑战,《Infinite Retrieval》提出无需额外训练的方法,利用LLM注意力机制进行信息检索,实现理论上的无限上下文长度。
处理超长文本一直是大模型的挑战,《Infinite Retrieval》提出无需额外训练的方法,利用LLM注意力机制进行信息检索,实现理论上的无限上下文长度。
香港科技大学研究人员提出「原子思维」(AOT)改进了GPT-4o-mini在HotpotQA上的性能至80.6%,超越了现有方法。该技术通过将复杂问题分解为独立的子问题,实现更高效和准确的推理。
微软推出的PIKE-RAG旨在提高大型语言模型在复杂工业应用中的性能,其亮点包括在HotpotQA上的高准确率、多领域知识支持及灵活的模块化设计。