标签:吞吐量

10倍吞吐提升无损性能:多模态适用的KV cache量化策略来了,即插即用无需改原模型

多模态大语言模型在实际应用中展现出卓越性能,但其计算开销和显存占用问题仍然是关键瓶颈。KV cache机制通过显存换取计算效率,但随着输入数据规模的增大,...