领英 AI 落地复盘：多 Agent 配合、端到端输出

282 0 0

文章摘要

在过去六个月中，LinkedIn团队开发了一款基于生成式人工智能（AI）的应用，旨在重新设计求职流程并改变专业内容的浏览方式。该应用利用大数据为求职者提供职位评估和职场建议，加快信息获取速度，提高职位适配判断力和个人职业规划指导。

开发这一应用并非易事，团队在多方面遇到阻碍。文章分享了产品打造的挑战与成就，以及未来发展方向。设计过程中，团队采用多Agent设计，拆解公共部分和垂直领域部分分别开发，提高效率。同时，通过巧妙设计测评过程，动员团队所有角色共同参与，保证上线质量。此外，将内部API翻译成LLM友好可利用的API，实现端到端流式输出，降低时延。

以一个实际场景为例，用户在浏览LinkedIn动态时，对设计可访问性感兴趣，系统会选择合适Agent，搜集信息并生成回复。用户可继续提问，系统会转由专门的职业和就业Agent处理。这一过程得益于大型语言模型（LLM）的快速发展。

总体设计采用检索增强生成（RAG）模式，包括路由、检索和生成三个步骤。团队通过设立固定流程、使用小型模型处理路由和检索任务、基于嵌入的检索等方式提高开发速度。然而，生成阶段工作复杂，需要大量精力和创造力提升最后20%的表现。

评价回答质量方面，团队面临制定评估标准、扩展数据标注和实现自动化评估的挑战。为保证评估得分统一，需要基于事实并体现同理心。数据标注方面，语言学团队开发工具和流程，每天评估多达500个对话。自动评估仍在开发中，以加快迭代速度。

调用内部API方面，LinkedIn拥有大量独特数据，但LLM未接受这些信息训练。团队建立RAG流程，通过技能包装使LLM能够执行各种操作。为解决LLM输出错误，开发了内部防御性YAML解析器。

质量稳定性方面，团队在第一个月内完成基本体验的80%，但检测和减少幻觉、提高质量分数的挑战被低估。构建助手更像是在专家系统中调整规则，依赖prompt engineering。

容量与延迟方面，团队关注质量与延迟、吞吐量与延迟、成本和端到端流式处理。通过异步非阻塞管道优化服务吞吐量。目前正在将简单任务转移到内部微调模型，为LLM部署提供更可预测的基础设施。

总之，LinkedIn团队通过这款AI应用，为用户提供了更快速、更智能的求职和职业发展体验。尽管面临诸多挑战，但团队不断学习、优化，期待未来能向更多用户推出更高质量的服务。