我处理了 5 亿 GPT tokens 后：langchain、RAG 等都没什么用

文章摘要

【关 键 词】 OpenAI、GPT-4、GPT-3.5、文本处理、经验分享

1. Truss主要使用OpenAI的模型，其中GPT-4占85%，GPT-3.5占15%。

2. 在使用LLM时，简洁的提示比提供详细列表或指令更有效。

3. Truss发现，对于他们的用例，只需要使用OpenAI的聊天API，而不需要Langchain或其他复杂的API。

4. 使用流式API可以改善延迟，为用户提供速度可变的输出，这是ChatGPT在用户体验方面的一个重大创新。

5. GPT在处理“如果没有找到任何内容，则返回空”的提示时表现不佳，它倾向于提供不真实的答案而不是返回空。

6. GPT-4允许的最大输入窗口为128K tokens，而输出窗口仍然只有4K tokens。

7. 对于大多数普通用例，向量数据库和RAG/embeddings几乎没有用处。

8. 在Truss的用例中，GPT很少产生幻觉，它通常能可靠地从文本中提取信息。

我们不会实现真正的人工通用智能（AGI），并且GPT-4确实是有用的，但它不会导致大规模失业。

他建议不需要紧跟LLMs/AI领域的最新发展，因为模型性能的总体改进会超过小幅优化。

他对GPT-5的期待是渐进式的改进，而不是革命性的变化。

原文和模型

【原文链接】 阅读原文 [ 3613字 | 15分钟 ]
【原文作者】 AI前线
【摘要模型】 gpt-4
【摘要评分】 ★★☆☆☆

OpenAI GPT-4

GPT-4是OpenAI公司开发的自然...