LLM最全「怪癖」首曝光！马里兰OpenAI等30+学者祭出75页提示报告

文章摘要

【关 键 词】 语言模型、提示技术、研究报告、性能提升、技术创新

由马里兰大学、OpenAI、斯坦福大学、微软等12所机构的30多名研究者共同完成的一项大规模系统研究，首次深入探讨了大型语言模型（LLM）的提示技术，并发布了一份长达75页的详尽报告。该研究通过结合人工和AI的力量，从arXiv、Semantic Scholar和ACL数据库中处理了4,797条记录，筛选出1,565篇相关论文，建立了包含33个术语的综合词汇表、58种文本提示技术的分类体系以及40种其他模态的提示技术。

研究揭示了LLM在提示中的一些奇特现象，例如，重复某些内容可以显著提高模型的性能，而将人名匿名化或替换为随机姓名时，模型的准确性会下降。这些现象表明，LLM对提示中的特定细节非常敏感，但研究者尚未找到明确的理由解释这些细节的重要性。此外，研究还发现LLM对示例的选择和顺序也非常敏感，同一示例以不同顺序出现时，模型的效果可能大相径庭。

报告中提出了三大类提示技术：基于文本、多语言和多模态。文本提示技术进一步细分为少样本提示、思维链（CoT）等方法。少样本提示通过在提示中直接举例来提高模型性能，而思维链则结合了示例和逻辑推理。研究还指出，代码辅助推理等技术虽然尚未广泛使用，但具有巨大潜力。

研究者建议，提示工程师和准确理解目标的专家之间需要密切合作，以更好地控制模型的提示。自动化提示虽然具有潜力，但人类微调和机器优化的结合可能是最有前途的方法。这项研究为理解LLM的提示技术提供了宝贵的见解，并为未来的研究和应用奠定了基础。

原文和模型

【原文链接】 阅读原文 [ 6201字 | 25分钟 ]
【原文作者】 新智元
【摘要模型】 moonshot-v1-32k
【摘要评分】 ★★★★★

Moonshot AI

月之暗面 (Moonshot AI) 创立于2023年3月，致力于寻求将能源转化为智能的最优解，通过产品与用户共创智能，2023年10月推出全球首个支持输入20万汉字的智能助手产品Kimi。创始团队核心成员参与了 Google Gemini、Google Bard、盘古NLP、悟道等多个大模型的研发，多项核心技术被Google PaLM、Meta LLaMa、Stable Diffusion等主流产品采用。