标签:大模型推理

4090单卡跑满血版DeepSeek-R1,清华团队开源项目再破大模型推理门槛

清华大学KVCache.AI团队与趋境科技联合推出的KTransformers开源项目,通过技术创新实现了千亿参数模型在消费级硬件上的本地化部署。该项目最新版本支持24G显...