CUDA

AMD MI300X在FP8下全面超越英伟达H200，吞吐量最高可达H200的5倍。得益于SGLang框架和优化的AI内核库AITER，MI300X在延迟相似的情况下实现了更高的吞吐量，并且在固定并发情况下性能提升75%。