LLM最全「怪癖」首曝光！马里兰OpenAI等30+学者祭出75页提示报告

416 0 0

文章摘要

由马里兰大学、OpenAI、斯坦福大学、微软等12所机构的30多名研究者共同完成的一项大规模系统研究，首次深入探讨了大型语言模型（LLM）的提示技术，并发布了一份长达75页的详尽报告。该研究通过结合人工和AI的力量，从arXiv、Semantic Scholar和ACL数据库中处理了4,797条记录，筛选出1,565篇相关论文，建立了包含33个术语的综合词汇表、58种文本提示技术的分类体系以及40种其他模态的提示技术。

研究揭示了LLM在提示中的一些奇特现象，例如，重复某些内容可以显著提高模型的性能，而将人名匿名化或替换为随机姓名时，模型的准确性会下降。这些现象表明，LLM对提示中的特定细节非常敏感，但研究者尚未找到明确的理由解释这些细节的重要性。此外，研究还发现LLM对示例的选择和顺序也非常敏感，同一示例以不同顺序出现时，模型的效果可能大相径庭。

报告中提出了三大类提示技术：基于文本、多语言和多模态。文本提示技术进一步细分为少样本提示、思维链（CoT）等方法。少样本提示通过在提示中直接举例来提高模型性能，而思维链则结合了示例和逻辑推理。研究还指出，代码辅助推理等技术虽然尚未广泛使用，但具有巨大潜力。

研究者建议，提示工程师和准确理解目标的专家之间需要密切合作，以更好地控制模型的提示。自动化提示虽然具有潜力，但人类微调和机器优化的结合可能是最有前途的方法。这项研究为理解LLM的提示技术提供了宝贵的见解，并为未来的研究和应用奠定了基础。