六位一线AI工程师总结爆火！大模型应用摸爬滚打一年心得公开，网友：全程高能

文章摘要

【关 键 词】 提示词技巧、RAG应用、微调策略、工作流设计、评估监测

在本文中，作者们分享了自己在大模型应用开发过程中的心得和经验。主要观点包括：

1. 提示词使用技巧：提示词设计应该简洁明了，避免过于复杂，并且要根据实际应用场景设计。使用示例数量要足够多，反映预期输入分布，并且可以根据上下文进行迭代和评估。

2. RAG和微调：当需要大模型掌握新知识时，应该优先使用RAG而非微调。RAG在性能上始终优于微调，且更新成本更低。长上下文不会使RAG过时，仍需选择输入模型的信息。

3. 微调使用情况：当提示词无法完成所有任务时，需要考虑微调。但如果提示词已完成90%的任务，微调可能不值得投资。在考虑微调时，可以尝试使用合成数据或开源数据集来降低成本。

4. 工作流和输出多样性：在设计工作流时，要明确目标并制定具体计划，优先考虑确定性工作流程。输出多样性可以通过调整提示词内元素的顺序、保留上下文中的前几轮输出等方式实现。

5. 评估和监测：创建基于真实输入输出的断言测试，并进行严格的评估。使用大模型进行定性比较，但要避免让大模型在量表上对单个输出评分。此外，进行“实习生测试”以评估提示词的完善程度。

这些经验对于大模型应用开发具有很大的实用价值。

原文和模型

【原文链接】 阅读原文 [ 6109字 | 25分钟 ]
【原文作者】 量子位
【摘要模型】 glm-4
【摘要评分】 ★★★★★

智谱AI

智谱AI是一家国内的AI大模型...