标签：Tensor Parallelism

如何通过KV稀疏实现对vLLM的1.5倍加速

在过去一年中，KV稀疏算法的研究取得了显著进展，但在实际应用中，如何将这些算法与现有的大型语言模型（LLM）框架如vLLM相融合，以提高推理性能，仍是一个挑...

AIGC动态

1个月前