llm-d：Kubernetes原生高性能分布式LLM推理框架，助力大规模语言模型推理部署
Kubernetes原生高性能分布式LLM推理框架，提升性能、灵活部署和优化资源利用。相关技术参考及服务内容介绍。
推理框架
在CPU上运行100B模型只需4MB内存！微软BitNet掀了英伟达的桌子！
微软发布BitNet推理框架，通过三值量化将LLM模型大小瘦身至原来的1/16，在CPU上实现2.37到6.17倍加速，并节能82.2%，甚至可在普通笔记本CPU上运行100B参数级大模型。