标签:LoRA

LoRA、完全微调到底有何不同?MIT 21页论文讲明白了

本研究旨在探讨完全微调和低秩自适应(LoRA)两种微调大型语言模型方法之间的差异。微调是将预训练的大型语言模型应用于特定下游任务的关键步骤,而LoRA方法...

如何从头开始编写LoRA代码,这有一份教程

本文介绍了一种名为 LoRA(Low-Rank Adaptation) 的微调技术,用于微调大语言模型(LLM)。LoRA 是一种流行的技术,通过仅更新一小部分低秩矩阵而不是整个神...

使用 Hugging Face 微调 Gemma 模型

在这篇文章中,我们将介绍 Google Deepmind 开放的 Gemma 语言模型,它现在可以通过 Hugging Face 向更广泛的开源社区开放。Gemma 提供了两个规模的版本:2B ...