Transformer作者初创重磅发布Transformer²！AI模型活了，动态调整自己权重

67 0 0

文章摘要

【关键词】 Transformer²、动态调整、奇异值微调、自适应系统、活体智能

Sakana AI的研究团队提出了一种名为Transformer²的新方法，旨在提高大型语言模型（LLM）的泛化和自适应能力。该方法通过奇异值微调和权重自适应策略，使LLM能够实时选择性地调整权重矩阵中的单一组件，以适应未见过的任务。与传统的全面训练方法相比，Transformer²更为灵活高效，减少了参数数量并降低了过拟合的风险。

Transformer²的核心在于动态调整权重矩阵中的关键组件，这一过程分为两步：首先，模型分析传入的任务以理解其需求；然后，应用任务专用的适应性调整以生成最佳结果。在训练阶段，引入了奇异值微调（SVF）方法，使用强化学习（RL）来增强或抑制不同组件的信号，以应对多种下游任务。在推理阶段，新方法采用三种不同的策略来识别任务的特征，并根据任务要求调整模型的权重。

研究结果表明，Transformer²在多种任务中表现出显著的进步，包括数学、编码、推理和视觉理解等，在效率和特定任务的表现上超越了传统静态方法如LoRA，同时所需的参数大大减少。此外，该方法还能将一个模型的知识转移到另一个模型中，为特定任务技能的解耦与重用提供了可能性。

Transformer²的提出，为AI系统的发展提供了新的方向，即从静态实体转变为不断学习、演化和适应的「活体智能」。这种自适应系统将推动AI工具的高效、个性化和完全集成，为各行业的进步和日常生活的发展铺平了道路。