标签：训练成本
五年后的今天，训练GPT-2只需不到700刀、24小时，Karpathy又整新活
2019年2月，OpenAI发布了具有15亿参数的GPT-2模型，该模型在文本生成方面表现出色，充分利用了预训练的Transformer架构，被认为是大型预言模型的始祖。现在在...
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队发布了一种名为CEPE（并行编码上下文扩展）的新方法，该方法通过添加小型编码器和交叉注意力模块，扩展了预训练和指令微调模型的上下文窗口。这种...
深度 | 万模大战，杀出一匹黑马
文章总结：本文主要介绍了近期在多模态大模型领域的最新进展，包括LLaVA-NeXT、SPHINX-X、MobileVLM和CogCoM等多个模型。这些模型在性能、训练成本、多模态理...
