小红书上周发布的大模型 dots.llm1 已经被 llama.cpp 支持
小红书大模型 dots.llm1 已经被 llama.cpp 支持，本地用户可以使用 llama.cpp 作为推理引擎生成小红书风格内容。
推理引擎
技术总结：25个大模型推理引擎对比及多模态推理大模型实现梳理
2025年5月12日，北京晴天。文章介绍了两篇技术总结，一是对25个大模型推理引擎的对比分析；二是多模态领域的推理进展总结，涵盖评测数据、实现路径及未来发展设想等内容。
Kimi开源底层推理框架，1小时GitHub揽星1.2k
月之暗面Kimi联合清华大学等机构开源大模型推理架构Mooncake，采用分阶段方式逐步实现高性能KVCache多级缓存的开源。该架构提升了Kimi用户体验，降低了成本，并为处理长文本和高并发需求提供了解决方案。