大模型能自己优化Prompt了，曾经那么火的提示工程要死了吗？

AIGC动态9个月前发布 almosthuman2014

1,006 0 0

模型信息

【模型公司】 月之暗面
【模型名称】 moonshot-v1-32k
【摘要评分】 ★★★★★

文章摘要

<随着ChatGPT的上线，"提示工程“这一名词迅速走红。提示工程指的是通过设计查询方式，使大型语言模型（LLM）或AI绘画、视频生成器得到最佳结果或绕过模型的安保措施。目前，互联网上充斥着各种提示工程指南和快捷查询表，帮助用户充分利用LLM。商业领域中，许多公司也在利用LLM构建产品copilot、自动化繁琐工作和创造个人助理。

然而，一些研究表明，提示工程的最佳效果还是由模型自身实现，而非人类工程师。这引发了对提示工程未来的怀疑，以及对提示工程岗位可能只是昙花一现的担忧。

研究者们发现，让模型自己解释推理过程（思维链技术）可以提高解决数学和逻辑问题的性能。此外，提供正向的prompt有时也能提升模型性能。尽管如此，使用不同prompt组合的测试结果显示出极大的不一致性，表明最佳方法可能因模型、数据集和策略的特定组合而异。

自动化提示优化的方法可以替代试错式的提示工程。新开发的自动化工具可以在给定示例和成功指标的情况下，迭代式地找到最优语句。这些自动生成的prompt往往非常怪异，但表现优于试错方法找到的最佳prompt。

图像生成算法也能从自动生成的prompt中受益。英特尔的研究团队开发了NeuroPrompts工具，可以自动改进简单的输入prompt，从而生成更美观的图像。该工具使用强化学习优化prompt，并由图像评估工具PickScore判断美观程度。自动生成的prompt在这一过程中也表现优于人类专家。

尽管自动化提示微调技术取得了成功，但提示工程仍将以某种形式继续存在。Red Hat的高级副总裁Tim Cramer表示，自适应生成式AI是一个复杂、多阶段的工作，需要人类参与。提示工程师的任务不仅仅是提问和确保答案的质量，还包括开发原型、产品化、确保可靠性、调整输出格式、测试、安全和合规等。

许多公司正在推出新的工作岗位：大型语言模型运营（LLMOps），涵盖提示工程和其他部署产品所需的任务。尽管这一职位的名称和特性可能会不断变化，但专家们认为，由于AI模型的不断发展，提示工程岗位不会很快消失。当前，这一领域正处于早期阶段，规则尚不明确，被形容为”狂野西部”。